Giới thiệu dự án
“Thay nhân vật AI” là một Skill dành cho Claude, nhằm thay nhân vật trong các video đang thịnh hành bằng nhân vật AI nguyên bản do bạn thiết kế, đồng thời cố gắng giữ nguyên chuyển động và nhịp điệu của video gốc.
Dự án không chỉ gọi Seedance 2.5 để thay nhân vật trong video mà còn bao gồm thiết kế nhân vật, tạo prompt cho ảnh thiết lập, quản lý hồ sơ nhân vật, kiểm tra video nguồn, tạo video so sánh, cũng như tạo nội dung đăng TikTok, Instagram và Twitter.
Nhân vật mẫu “ông Văn” kết hợp đầu của một thư sinh thời Minh với cơ thể của người đi làm: búi tóc lớn cài ngang bằng trâm ngọc, mặc bộ vest rộng hơn một cỡ, đi tất trắng và dép lê. Trong ví dụ, nhân vật trong video gốc được thay thế nhưng chuyển động vẫn giữ nguyên.
Tính năng chính
- Thiết kế nhân vật nguyên bản: Dựa trên nguyên tắc “sự phóng đại phải mọc trên cơ thể, không phải được mặc lên người”, tạo phương án nhân vật và prompt cho ảnh thiết lập.
- Lưu hồ sơ nhân vật: Lưu ảnh thiết lập, ảnh chính diện và mô tả ngoại hình để tái sử dụng khi thay nhân vật, giảm tình trạng hình tượng bị biến đổi.
- Kiểm tra video nguồn: Tự động báo cáo độ phân giải và thời lượng video, tự phóng to khi thiếu pixel và tạo ảnh xem trước.
- Tạo prompt thay nhân vật: Hỗ trợ thay một hoặc nhiều người, đồng thời dùng số thứ tự
@ảnhđể liên kết các tư liệu liên quan. - Gọi Seedance 2.5: Tự động gửi tác vụ, kiểm tra trạng thái và tải kết quả thông qua API BytePlus ModelArk hoặc Volcano Ark.
- Tạo video so sánh: Xếp video gốc và video sau khi thay nhân vật cạnh nhau, thêm nhãn và tránh viền đen.
- Chuẩn bị nội dung đăng: Tạo gợi ý phụ đề cho TikTok, Instagram và nội dung phù hợp với chuỗi bài hướng dẫn trên Twitter.
Cấu trúc tệp dự án
Các tệp và thư mục chính của dự án gồm:
skills/ai-character-swap/SKILL.md: Nội dung Skill dành cho Claude.skills/ai-character-swap/scripts/seedance_swap.py: Tập lệnh Python đi kèm, chỉ phụ thuộc vào Python 3 và ffmpeg.新手说明.md: Hướng dẫn dành cho người chưa quen với dòng lệnh, bao gồm cách hoàn thành quy trình bằng phiên bản web.examples/: Thư mục chứa các video so sánh mẫu của dự án.
Chuẩn bị
Cài đặt ffmpeg
Tập lệnh của dự án cần ffmpeg để xử lý video. Người dùng macOS có thể cài đặt bằng Homebrew:
brew install ffmpegNgười dùng Windows có thể cài đặt bằng winget:
winget install ffmpegBản thân tập lệnh chỉ phụ thuộc vào Python 3 và ffmpeg. Sau khi cài đặt, bạn nên kiểm tra để đảm bảo hai lệnh này có thể chạy bình thường trong terminal.
Kích hoạt API Seedance 2.5
Nếu muốn Claude tự động gửi tác vụ thay nhân vật và tải video, bạn cần kích hoạt API Seedance 2.5 và tạo API Key. Dự án đọc khóa thông qua biến môi trường ARK_API_KEY:
export ARK_API_KEY="API_Key_của_bạn"Trong môi trường Windows, hãy thiết lập biến môi trường tương ứng theo terminal mà hệ thống đang sử dụng. Không ghi trực tiếp API Key thật vào mã nguồn công khai hoặc đăng lên kho lưu trữ.
Cách 1: Để Claude tự động chạy
- Cài đặt ffmpeg và chuẩn bị môi trường Python 3.
- Kích hoạt API Seedance 2.5, tạo API Key và thiết lập
ARK_API_KEY. - Thêm
skills/ai-character-swap/trong dự án vào Skill của Claude. - Chuẩn bị ảnh của một nhân vật nguyên bản và video có nhân vật cần thay thế.
- Gửi ảnh nhân vật và video cho Claude trên máy tính của bạn, đồng thời nêu rõ đối tượng cần thay thế.
Một mô tả tác vụ cơ bản có thể viết như sau:
Hãy thay người trong video bằng “ông Văn”. Trước tiên hãy kiểm tra video, dùng ảnh và mô tả ngoại hình trong hồ sơ nhân vật để tạo prompt thay nhân vật, sau đó tạo video so sánh trái phải và đưa ra nội dung đăng bài.Claude sẽ xử lý thông tin nhân vật, video nguồn và tác vụ Seedance theo quy trình trong Skill. Nếu video có nhiều nhân vật, bạn có thể nêu rõ người cần thay hoặc yêu cầu thay nhiều nhân vật cùng lúc.
Cách 2: Không viết mã, sử dụng phiên bản web
Nếu chưa quen với dòng lệnh hoặc API, bạn có thể đọc Hướng dẫn cho người mới trong dự án và sử dụng “Cách 1: Phiên bản web”. Phương pháp này dùng ChatGPT kết hợp với phiên bản web của Seedance để hoàn thành việc thiết kế nhân vật và thay nhân vật trong video, không cần chạy trực tiếp tập lệnh của dự án.
Cách dùng phiên bản web phù hợp để trải nghiệm toàn bộ quy trình trước; khi cần tự động gửi, kiểm tra và tải tác vụ, hãy sử dụng kết hợp Claude Skill với API Seedance 2.5.
Quy trình sản xuất hoàn chỉnh
1. Thiết kế nhân vật nguyên bản
Trước tiên hãy xác định điểm tương phản cốt lõi và đặc điểm nhận diện trực quan của nhân vật. Dự án nhấn mạnh rằng các đặc điểm phóng đại phải trở thành một phần của cơ thể và hình tượng nhân vật, thay vì chỉ đơn giản thêm một bộ trang phục. Sau khi hoàn tất thiết kế, hãy tạo prompt cho ảnh thiết lập và chuẩn bị ảnh chính diện của nhân vật.
2. Tạo hồ sơ nhân vật
Sắp xếp ảnh thiết lập, ảnh chính diện và mô tả ngoại hình thành hồ sơ nhân vật. Việc tham chiếu cùng một hồ sơ mỗi lần thay nhân vật giúp duy trì tính nhất quán của kiểu tóc, đường nét khuôn mặt, vóc dáng, trang phục và các thông tin trực quan khác.
3. Kiểm tra video nguồn
Gửi video cần xử lý cho Claude hoặc quy trình đi kèm để lấy thông tin về độ phân giải và thời lượng trước. Nếu video nguồn có quá ít pixel, quy trình sẽ tự động phóng to và tạo ảnh xem trước để dễ xác nhận tư liệu có phù hợp cho bước tiếp theo hay không.
4. Tạo prompt thay nhân vật
Tạo prompt dựa trên hồ sơ nhân vật và nội dung video. Khi có nhiều tư liệu, hãy dùng số thứ tự @ảnh để liên kết ảnh nhân vật với ảnh tham chiếu trong prompt. Khi thay một người, cần nêu rõ mục tiêu; khi thay nhiều người, cần chỉ rõ ảnh và nhân vật tương ứng với từng vai.
5. Gọi Seedance 2.5
Quy trình API sẽ tự động gửi tác vụ, kiểm tra trạng thái tạo và tải kết quả sau khi tác vụ hoàn tất. seedance_swap.py trong dự án cung cấp các chức năng đi kèm này. Định dạng yêu cầu cụ thể được tổng hợp dựa trên mã tích hợp Seedance 2.5 cho ComfyUI do BytePlus phát hành.
Khi lần đầu sử dụng API, bạn nên dùng tùy chọn --dry-run của tập lệnh để kiểm tra quy trình và yêu cầu, không nên bắt đầu ngay với video dài. Sau khi xác nhận cấu hình chính xác, hãy thử nghiệm thực tế bằng một video ngắn.
6. Tạo video so sánh
Sau khi xác nhận kết quả thay nhân vật, hãy tạo video so sánh trái phải: giữ video gốc ở bên trái, đặt kết quả thay nhân vật bằng AI ở bên phải và thêm nhãn rõ ràng. Dự án sẽ xử lý bố cục khung hình, nhằm tạo ra video không có viền đen để thuận tiện trình bày hiệu quả.
7. Tạo nội dung đăng
Cuối cùng, hãy yêu cầu Claude tạo gợi ý phụ đề TikTok và Instagram dựa trên video hoàn chỉnh, hoặc biên soạn thành chuỗi bài hướng dẫn trên Twitter. Trước khi đăng, cần kiểm tra để nội dung nêu chính xác rằng video có sử dụng AI.
Gợi ý sử dụng nâng cao
Ưu tiên cố định hồ sơ nhân vật
Không nên mô tả lại nhân vật từ đầu mỗi lần thay. Liên tục sử dụng cùng một ảnh thiết lập, ảnh chính diện và mô tả ngoại hình có thể giảm tình trạng nhân vật không nhất quán giữa các video.
Bắt đầu bằng video ngắn, sau đó mới dùng video dài
Hiện tại, phần gọi API vẫn nên được chạy thử thận trọng. Trước tiên dùng --dry-run để kiểm tra yêu cầu, sau đó dùng video ngắn để xác minh API Key, thông số video và quy trình tải xuống; chỉ xử lý tư liệu chính thức sau khi xác nhận thành công.
Làm rõ mối quan hệ giữa nhân vật và hình ảnh
Trong video có nhiều người, prompt cần nêu rõ nhân vật cần thay và dùng số thứ tự @ảnh để liên kết đúng tư liệu nhân vật. Điều này giúp tránh ghép nhầm ảnh nhân vật với người cần thay.
Chú ý bản quyền video và quyền hình ảnh
Dự án yêu cầu nhân vật phải là bản gốc. Không sử dụng ảnh của người nổi tiếng, người có ảnh hưởng hoặc người quen để tạo nhân vật, vì điều này có thể khiến nền tảng chặn nội dung và cũng có thể gây ra vấn đề về quyền hình ảnh.
Bật nhãn AI khi đăng
Khi đăng nội dung lên TikTok và Instagram, cần gắn nhãn nội dung do AI tạo theo yêu cầu của nền tảng. Video so sánh và nội dung đăng cũng không nên khiến người xem hiểu lầm rằng tư liệu hoàn toàn được quay trong thực tế.
Trạng thái dự án và hướng xử lý lỗi
Chức năng kiểm tra video, tạo prompt và tạo video so sánh đã được kiểm thử thành công bằng tư liệu mẫu. Phần gọi API sử dụng định dạng yêu cầu được tổng hợp từ mã tích hợp chính thức của BytePlus, vì vậy khi dùng lần đầu nên chạy dry run trước, sau đó xác minh bằng video ngắn.
Nếu gặp vấn đề, trước tiên hãy kiểm tra ffmpeg đã được cài đặt hay chưa, ARK_API_KEY đã được thiết lập chính xác chưa, video có quá dài hoặc độ phân giải có quá thấp không, đồng thời xem hướng dẫn trong kho lưu trữ của dự án. Nếu vẫn không thể giải quyết, bạn có thể gửi Issue cho dự án.
Tổng kết
“Thay nhân vật AI” tích hợp thiết kế nhân vật, quản lý tính nhất quán của nhân vật, kiểm tra video, gọi API Seedance 2.5, tạo video so sánh và biên soạn nội dung đăng vào một Claude Skill. Bạn có thể làm quen với quy trình bằng phiên bản web trước, hoặc cấu hình API để Claude tự động hoàn thành toàn bộ quy trình từ kiểm tra tư liệu đến xuất video hoàn chỉnh.
Trước khi bắt đầu, hãy duy trì hai nguyên tắc: sử dụng nhân vật nguyên bản và gắn nhãn chính xác cho nội dung AI khi đăng. Điều này giúp tái sử dụng nhân vật ổn định hơn, đồng thời giảm rủi ro liên quan đến bản quyền, quyền hình ảnh và việc tuân thủ quy định của nền tảng.