Tạo video AI nói chuyện từ một ảnh với Digital Human Koubo

Digital Human Koubo là gì?

Digital Human Koubo là một Agent Skill mã nguồn mở để tạo video AI dạng người dẫn chuyện. Bắt đầu với một ảnh tham chiếu được phép sử dụng và yêu cầu nội dung, tác nhân AI có thể chuẩn bị kịch bản, tạo các đoạn video người dẫn đồng bộ khẩu hình, kiểm tra chất lượng, đồng nhất giọng nói, thêm phụ đề và phần trình bày hình ảnh, rồi kết xuất tệp MP4 hoàn chỉnh bằng Remotion.

Cấu hình người dẫn được lưu trong persona.json, bao gồm ảnh tham chiếu khuôn mặt, trang phục, mô tả giọng nói và mẫu lời nhắc. Nhờ đó, bạn có thể sử dụng cùng một nhân vật kỹ thuật số trong các bối cảnh trường quay livestream, lớp học, cửa hàng, đường phố và những cảnh được tạo khác.

Chỉ sử dụng khuôn mặt và giọng nói của bạn, hoặc tài liệu mà bạn có quyền sử dụng rõ ràng. Không mạo danh người thật hay nhà sáng tạo, đồng thời phải gắn nhãn các video hoàn chỉnh là sản phẩm trình diễn người kỹ thuật số bằng AI.

Tính năng chính

• Nhân vật kỹ thuật số có thể tái sử dụng: Tạo người dẫn nhất quán từ một ảnh tham chiếu và cấu hình nhân vật được lưu trữ.
• Tạo video đồng bộ khẩu hình: Chia kịch bản thành các đoạn dài không quá 15 giây và tạo chúng bằng Grok Video 1.5 thông qua Renoise MCP.
• Chi tiêu dựa trên phê duyệt: Tác nhân báo cáo số đoạn, thời lượng, ước tính tín dụng và số dư tài khoản trước khi tạo. Tác nhân chờ phê duyệt, tạo đoạn đầu tiên để xem xét rồi mới tạo hàng loạt các đoạn còn lại.
• Kiểm soát chất lượng tự động: Lời thoại được tạo sẽ được chuyển thành văn bản bằng whisper và so sánh với kịch bản. Bốn khung hình của mỗi đoạn cũng được kiểm tra để phát hiện các vấn đề như phụ đề bị chèn cố định ngoài ý muốn.
• Đồng nhất giọng nói: So khớp phổ tần, khử âm gió, thêm vang phòng đồng nhất và chuẩn hóa độ lớn giúp các đoạn được tạo riêng lẻ có âm thanh giống một bản ghi duy nhất hơn.
• Năm phong cách biên tập: Tác nhân đề xuất phong cách dựa trên chủ đề, định dạng, thời lượng và đối tượng khán giả mục tiêu.
• Bộ công cụ trình bày: Bốn mươi tám thành phần cung cấp hook, thẻ dẫn chứng, bộ đếm, bản đồ, thẻ chương, phụ đề động, hiệu ứng phóng cận và các mẫu biên tập khác.
• Nhiều ngôn ngữ: Tiếng Anh, tiếng Nhật, tiếng Hàn, tiếng Pháp, tiếng Tây Ban Nha và tiếng Ả Rập đã được kiểm thử, trong đó whisper được dùng để xác minh lời thoại.
• Văn bản chiều sâu tùy chọn: Trên macOS, tính năng phân đoạn người của Apple Vision có thể đặt văn bản lớn giữa nền và người dẫn.

Tìm hiểu quy trình sản xuất

Skill hướng dẫn một tác nhân tương thích thực hiện quy trình sau:

1. Kiểm tra Renoise MCP, ffmpeg, Python, Node.js, Remotion và whisper.
2. Phân tích nội dung, đề xuất hai phong cách biên tập và thu thập các lựa chọn cần thiết trong một lượt câu hỏi.
3. Tạo kịch bản được chia đoạn trong script.json, đảm bảo các đoạn lời thoại được tạo không vượt quá giới hạn 15 giây.
4. Báo giá chi phí tín dụng Renoise dự kiến và chờ xác nhận.
5. Tạo đoạn đầu tiên, yêu cầu phê duyệt, rồi tạo các đoạn còn lại.
6. Tải các đoạn video một cách an toàn, chuyển lời thoại thành văn bản và kiểm tra các khung hình đại diện.
7. Áp dụng tính năng đồng nhất giọng nói và tạo dòng thời gian cấp độ từ trong tl.json.
8. Biên tập bằng mẫu phong cách Remotion và các thành phần trình bày đã chọn.
9. Kết xuất video, kiểm tra các chuyển cảnh và chuẩn hóa độ lớn âm thanh cuối cùng.

Trước khi cài đặt

Để tự động hóa toàn bộ quy trình, tác nhân của bạn phải có khả năng tải Agent Skills, kết nối với máy chủ MCP từ xa và thực thi lệnh cục bộ. Claude Code đã được dùng để xây dựng và kiểm thử repository. Codex được kỳ vọng hoạt động với cùng các tập lệnh, trong khi OpenClaw, WorkBuddy và các sản phẩm khác cũng có thể hoạt động nếu cung cấp đủ cả ba khả năng này.

Một tác nhân chỉ có MCP và trò chuyện vẫn có thể lập kế hoạch video, báo giá chi phí tạo và tạo các đoạn video thông qua Renoise. Khi đó, việc tải xuống cục bộ, kiểm tra chất lượng, biên tập và kết xuất phải được hoàn tất bằng một tác nhân có khả năng sử dụng shell hoặc bằng cách chạy thủ công các lệnh đã được ghi lại.

Cài đặt Digital Human Koubo

1. Sao chép repository

git clone https://github.com/andyhuo520/digital-human-koubo.git
cd digital-human-koubo

2. Cài đặt cả hai Agent Skills

Repository chứa skill chính digital-human-koubo và engine finance-explainer được Style A sử dụng. Người dùng Claude Code có thể cài đặt cả hai bằng:

mkdir -p ~/.claude/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.claude/skills/

Với Codex, hãy sao chép chúng vào thư mục skills của Codex:

mkdir -p ~/.codex/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.codex/skills/

Nếu tác nhân của bạn nhập skill thông qua giao diện đồ họa, hãy tạo một tệp ZIP chứa cả hai thư mục:

cd skills
zip -r ../digital-human-skills.zip digital-human-koubo finance-explainer
cd ..

3. Kết nối Renoise MCP

Tạo tài khoản tại Renoise. Việc xác thực diễn ra trong trình duyệt, vì vậy bạn không cần dán khóa API vào dự án.

Với Claude Code, hãy cài đặt plugin chính thức:

/plugin marketplace add ArcoCodes/renoise-plugins-official
/plugin install renoise@renoise-plugins-official

Với Codex, hãy thêm và xác thực máy chủ MCP từ xa:

codex mcp add renoise --url https://renoise.ai/api/public/mcp
codex mcp login renoise

Các ứng dụng khách tương thích khác có thể sử dụng https://renoise.ai/api/public/mcp làm URL MCP từ xa tùy chỉnh. Sau khi kết nối, hãy yêu cầu tác nhân kiểm tra số dư Renoise của bạn. Việc này xác minh cả quá trình xác thực lẫn quyền truy cập công cụ trước khi bạn bắt đầu tạo các tài sản trả phí.

4. Cài đặt các công cụ sản xuất cục bộ

Quy trình cục bộ yêu cầu ffmpeg, Python 3 cùng NumPy và Pillow, Node.js 18 trở lên, whisper.cpp và một mô hình whisper. Trên macOS, thiết lập điển hình là:

brew install ffmpeg python node whisper-cpp
python3 -m pip install numpy pillow

Tải ggml-medium-q5_0.bin từ bộ sưu tập mô hình whisper.cpp và đặt vào ~/models/. Ngoài ra, bạn có thể trỏ quy trình đến một vị trí khác:

export WHISPER_MODEL=/path/to/model.bin

Người dùng Claude Code có thể chạy tập lệnh chẩn đoán đi kèm. Tập lệnh bỏ qua các phần phụ thuộc đã được cài đặt và liệt kê tùy chọn cho mọi thành phần còn thiếu:

bash ~/.claude/skills/digital-human-koubo/scripts/doctor.sh

Trên Windows, hãy cài đặt ffmpeg, Python và Node.js bằng Winget, sau đó lấy whisper-cli từ các bản phát hành whisper.cpp. Trên Linux, hãy cài đặt ffmpeg và Python bằng trình quản lý gói của hệ thống, sử dụng phiên bản LTS của Node.js và tự biên dịch whisper.cpp nếu cần.

5. Tạo tài sản âm thanh

Kho lưu trữ không đóng gói âm thanh của bên thứ ba. Hãy tạo một bộ gồm 30 hiệu ứng âm thanh nguyên bản và một bản nhạc nền tạm thời bằng:

python3 ~/.claude/skills/digital-human-koubo/scripts/make_assets.py

Tập lệnh new_edit.sh cũng thực hiện bước này cho các dự án mới. Để sử dụng nhạc nền chất lượng cao hơn, hãy đặt bản nhạc mà bạn được cấp phép sử dụng tại <project>/public/music/bgm.mp3.

Tạo nhân vật kỹ thuật số của riêng bạn

1. Chọn một ảnh chính diện với ánh sáng đồng đều, miệng khép và tóc không che khuôn mặt.
2. Yêu cầu tác nhân tạo một bảng tham chiếu bốn góc, hiển thị mặt trước, cả hai bên và mặt sau. README khuyến nghị GPT Image 2.5 ở độ phân giải 2K.
3. Kiểm tra cùng một hình ảnh và câu thoại với các mô hình video hiện có, chẳng hạn như Grok Video 1.5 và Wan 3.0, rồi chọn kết quả bạn thích.
4. Tải ảnh tham chiếu đã được phê duyệt lên Renoise.
5. Sao chép giá trị material:<id> được trả về vào skills/digital-human-koubo/persona.json, bên dưới renoise.reference_material.

Các ID material có trong kho lưu trữ thuộc tài khoản Renoise của tác giả và sẽ không hoạt động với tài khoản khác. Hãy thay thế chúng bằng ảnh tham chiếu do chính bạn tải lên. Có thể cấu hình người dẫn thứ hai thông qua trường other_hosts.me được mô tả trong tài liệu.

Tạo video đầu tiên

Sau khi có kỹ năng và các công cụ, hãy mô tả video bằng ngôn ngữ tự nhiên. Hãy nêu chủ thể, thời lượng mong muốn, thông tin ưu đãi chính xác và mọi yêu cầu hình ảnh.

Use my digital human skill to make a 30-second livestream ad:
WorkBuddy course, 10 lessons, ¥99, previously ¥999.

Bạn cũng có thể yêu cầu một video giải thích dài hơn hoặc cách đóng gói cụ thể:

Make a 3-minute explainer about why Silicon Valley Bank collapsed.
Use the finance and technology explainer style.
Add a map route when the countries are mentioned.
Put “¥99” behind the presenter and begin with a teaser cold open.

Tác nhân sẽ phản hồi bằng một chẩn đoán nội dung ngắn, hai phong cách được đề xuất và một bộ câu hỏi duy nhất bao quát phong cách, tỷ lệ khung hình, thời lượng, mức độ dày đặc của phụ đề và người dẫn. Sau đó, tác nhân chuẩn bị kịch bản và thiết kế cảnh trước khi hiển thị báo giá tín dụng.

Đừng tự động phê duyệt. Hãy kiểm tra số lượng phân đoạn, tổng số giây, số dư hiện tại và số tín dụng dự kiến. Sau khi phê duyệt, hãy kiểm tra phân đoạn đầu tiên về tính nhất quán của nhân vật, cách phát âm, độ đồng bộ môi, bố cục khung hình và phụ đề không mong muốn. Chỉ phê duyệt các phân đoạn còn lại khi mẫu đạt yêu cầu.

Chọn phong cách chỉnh sửa

• Phong cách A, giải thích về tài chính hoặc công nghệ: Định dạng 16:9 cho các video dài khoảng 3–20 phút về sự kiện, bằng chứng, dữ liệu và các câu hỏi “tại sao”.
• Phong cách B, người có ảnh hưởng nói trước máy quay: Định dạng 9:16 cho các video giới thiệu sản phẩm, video bán hàng và nội dung ý kiến dài 30–120 giây. Phụ đề có thể tiết chế, tiêu chuẩn hoặc sôi động.
• Phong cách C, phân tích màn ra mắt: Định dạng 16:9 cho các thông báo sản phẩm hoặc mô hình dài 30–90 giây, thường có người dẫn đứng cạnh cảnh quay bổ trợ.
• Phong cách D, hướng dẫn từng bước: Định dạng 16:9 cho các hướng dẫn thiết lập và nội dung hướng dẫn dài 3–8 phút.
• Phong cách E, nhiều người dẫn và nhiều cảnh: Định dạng 16:9 cho các nội dung trình diễn đa ngôn ngữ dài 3–7 phút với nhiều người dẫn hoặc địa điểm.

Phong cách A chỉ vay mượn các nguyên tắc về cấu trúc và chỉnh sửa từ những định dạng giải thích phổ biến. Phong cách này không sử dụng khuôn mặt, giọng nói, bối cảnh hay câu chữ của bất kỳ nhà sáng tạo nào.

Tùy chỉnh cách đóng gói

Hệ thống đóng gói có 48 thành phần được đặt tên. Chúng được nhóm xoay quanh phần mở đầu thu hút, bằng chứng và dữ liệu, chú thích, nhân vật, nhịp điệu và tương tác. Ví dụ gồm TeaserColdOpen, NumberSpike, EvidenceCard, MapRoute, LowerThird, PunchInHost, ChapterCard và TextBehind.

Các thành phần được thêm vào danh sách pack. Thời gian có thể tham chiếu đến một phân đoạn và một từ được nói, cho phép hiệu ứng bám theo lời thoại thay vì chỉ dựa vào số giây thô:

{
  "pack": [
    {
      "use": "NumberSpike",
      "at": "1:不到十块钱",
      "until": "1:end",
      "text": "¥9.9/节",
      "label": "一节课"
    },
    {
      "use": "Danmaku",
      "items": [
        { "t": "真的假的？", "at": "1:" },
        { "t": "AI 还能帮我干活？", "at": "1:教你", "hot": true }
      ]
    }
  ]
}

Hãy xác thực cấu hình chỉnh sửa trước khi kết xuất:

python3 scripts/check_edit.py <project>/src

Tạo văn bản phía sau người dẫn

Hiệu ứng văn bản tạo chiều sâu sử dụng một lớp nền, văn bản cỡ lớn và phần cắt trong suốt của người dẫn. Việc phân đoạn người phụ thuộc vào Apple Vision, vì vậy hiệu ứng cụ thể này yêu cầu macOS mặc dù phần còn lại của quy trình hoạt động đa nền tảng.

python3 scripts/cutout_video.py \
  public/main.mp4 \
  public/main_cut_s4.webm \
  --from 17.2 \
  --to 22.4

Chỉ xử lý những giây cần hiệu ứng. Hiệu ứng hoạt động tốt nhất với cảnh trung và khoảng trống rõ ràng xung quanh chủ thể. Nếu người dẫn chiếm hơn khoảng 60 phần trăm khung hình, tập lệnh sẽ cảnh báo rằng văn bản có thể bị che khuất. Đánh dấu các phân đoạn liên quan bằng "shot": "depth" để chúng được tạo với bố cục phù hợp hơn.

Mẹo sản xuất nâng cao

Mở đầu ngay vào vấn đề

Đưa ra tuyên bố, hành động hoặc câu hỏi trọng tâm trong ba giây đầu tiên. Tránh bắt đầu bằng lời chào hoặc logo. Trong 30 giây đầu, hãy giới thiệu một thay đổi về hình ảnh hoặc biên tập khoảng ba đến năm giây một lần.

Sử dụng chuyển động hợp lý

Đối với nhân vật kỹ thuật số quay bằng một máy ảnh, các cú cắt phóng gần tại ranh giới câu tạo nhịp điệu hình ảnh với chi phí thấp. Mẫu được ghi nhận luân phiên giữa các khung hình khoảng 1.0×, 1.18× và 1.32×.

Sử dụng hiệu ứng âm thanh có chọn lọc

Duy trì một lớp nhạc nền, nhưng chỉ dành hiệu ứng âm thanh cho những sự kiện có ý nghĩa. Một khoảng lặng ngắn khoảng 0.6–1.0 giây trước khi tiết lộ có thể khiến phần tiết lộ hiệu quả hơn.

Rà soát lỗi chép lời một cách thông minh

Whisper có thể chuyển các từ chỉ số bằng tiếng Trung được nói thành chữ số. Điều này có thể làm giảm điểm khớp văn bản được tính toán ngay cả khi âm thanh chính xác. Hãy nghe các phân đoạn đáng ngờ trước khi trả phí để tạo lại chúng.

Giữ nguyên tỷ lệ khung hình nguồn

Đầu ra 9:16 720p của Grok là 720×1280. Không kéo giãn đầu ra sang tỷ lệ khung hình khác. Hãy sử dụng mẫu phù hợp, cắt có chủ đích hoặc tạo lại theo định dạng yêu cầu.

Tránh âm thanh người dẫn bị lặp

Tắt tiếng bản âm thanh của video người dẫn khi sử dụng âm thanh đã làm sạch. Phát đồng thời các bản âm thanh gốc và đã xử lý với độ lệch rất nhỏ sẽ tạo ra hiện tượng lọc lược chói tai.

Thận trọng khi sử dụng giọng nói thay thế

Giọng nói gốc của Grok thường mang lại khả năng đồng bộ tốt nhất vì mô hình tạo chuyển động môi cùng với giọng nói đó. Xiaomi MiMo TTS có thể cung cấp giọng nói được thiết kế, giọng nói nhân bản được cấp phép hoặc lời thuyết minh, nhưng việc thay thế giọng nói được tạo có thể gây độ lệch khoảng 100 mili giây. Điều này ít nhận thấy hơn trong cảnh hình trong hình so với cận cảnh toàn màn hình. Để khớp chính xác với bản ghi âm của chính bạn, hãy tham khảo tài liệu của kỹ năng về mô hình điều khiển bằng âm thanh như OmniHuman.

Chiến lược chi phí và phê duyệt

Việc tạo nội dung sử dụng tín dụng Renoise và giá có thể thay đổi. README ghi nhận một quảng cáo livestream dọc dài 27 giây ở mức 482 tín dụng, trong khi các bài hướng dẫn dài vài phút cần vài nghìn tín dụng. Hãy xem những con số này là ví dụ thay vì mức giá cố định.

Luôn dựa vào báo giá trực tiếp của tác nhân. Đồng thời hãy xem xét độ phân giải dự kiến: mức giá tham khảo được ghi nhận là 17 tín dụng mỗi giây cho Grok Video 1.5 ở 720p, 10 tín dụng mỗi giây ở 480p và 23 tín dụng cho một lần tạo GPT Image 2.5 2K tại thời điểm README được viết.

Danh sách kiểm tra xuất bản có trách nhiệm

• Chỉ sử dụng khuôn mặt và giọng nói mà bạn sở hữu hoặc có sự cho phép rõ ràng để sử dụng.
• Không bao giờ giả mạo người thật hoặc ngụ ý rằng người dẫn AI là một sự chứng thực có thật.
• Gắn nhãn video là do một nhân vật kỹ thuật số AI thể hiện, đồng thời gắn nhãn các cảnh hoặc động vật được tạo là do AI tạo.
• Không bịa đặt giá cả, đánh giá, ưu đãi, số liệu thống kê hoặc nhận xét của khách hàng. Đánh dấu rõ dữ liệu mẫu.
• Không chèn ảnh tĩnh phim có bản quyền, khung hình truyền hình, hình ảnh người nổi tiếng hoặc meme trên web chưa được cấp phép.
• Ghi công Google Noto khi sử dụng các tài sản emoji động đi kèm.
• Kiểm tra các yêu cầu cấp phép riêng của Remotion, đặc biệt đối với các công ty có hơn ba người.

Kết luận

Digital Human Koubo kết hợp việc lập kế hoạch do tác nhân điều khiển, tạo nội dung bằng Renoise, xác minh dựa trên whisper, xử lý âm thanh và biên tập bằng Remotion thành một quy trình sản xuất có kiểm soát. Cách an toàn nhất để bắt đầu là cài đặt cả hai kỹ năng, xác minh mọi phần phụ thuộc, cấu hình nhân vật được cấp phép của riêng bạn và tạo một video thử nghiệm ngắn. Hãy cẩn thận phê duyệt báo giá và phân đoạn đầu tiên trước khi mở rộng sang các dự án dài hơn, đa ngôn ngữ hoặc có nhiều thành phần đóng gói.