AIチュートリアル

1枚の写真からデジタルヒューマン「Koubo」でAIトーキングヘッド動画を作成

このチュートリアルでは、デジタルヒューマン「Koubo」を使って、写真と自然言語による指示から、リップシンク、字幕、プロ品質の編集を備えた動画を作成する方法を説明します。エージェントスキルのインストール、Renoise MCPの接続、ローカルツールの準備、デジタルヒューマンのペルソナ作成、制作ワークフローの実行、編集コンポーネントのカスタマイズ、よくある品質問題の回避までを解説します。

2026年10月26日約21分で読了

デジタルヒューマンKouboとは？

Digital Human Kouboは、AIによるトーキングヘッド動画を制作するためのオープソースのAgent Skillです。使用許可を得た参照写真とコンテンツの依頼から、AIエージェントが台本の準備、リップシンク付きのプレゼンター映像の生成、品質確認、音声の統一、字幕やビジュアル演出の追加を行い、Remotionで完成したMP4を書き出せます。

プレゼンターの設定はpersona.jsonに保存され、顔の参照画像、衣装、音声の説明、プロンプトテンプレートなどが含まれます。これにより、ライブ配信スタジオ、教室、店舗、街中など、生成されたさまざまなシーンで同じデジタル人物を再利用できます。

自分自身の顔と声、または使用について明確な許可を得た素材のみを使用してください。実在の人物やクリエイターになりすますことは禁止し、完成した動画にはAIデジタルヒューマンによるパフォーマンスであることを表示してください。

主な機能

再利用可能なデジタルヒューマン：1枚の参照写真と保存されたペルソナ設定から、一貫性のあるプレゼンターを作成できます。
リップシンク生成：台本を15秒以内のセグメントに分割し、Renoise MCP経由でGrok Video 1.5を使って生成します。
承認ベースの支出：生成前に、エージェントがセグメント数、長さ、クレジット見積もり、アカウント残高を報告します。承認を待ち、残りを一括生成する前に最初のセグメントを生成して確認します。
自動品質管理：生成音声をwhisperで文字起こしし、台本と比較します。また、セグメントごとに4フレームを確認し、意図しない焼き込み字幕などの問題を検査します。
音声の一貫性：スペクトルマッチング、ディエッシング、共通のルームリバーブ、ラウドネス正規化により、別々に生成されたクリップを1回の録音のように聞こえさせます。
5種類の編集スタイル：テーマ、形式、長さ、想定視聴者に応じて、エージェントがスタイルを提案します。
パッケージングツールキット：48個のコンポーネントにより、フック、エビデンスカード、カウンター、マップ、チャプターカード、アニメーション字幕、パンチインなど、さまざまな編集パターンを利用できます。
多言語対応：英語、日本語、韓国語、フランス語、スペイン語、アラビア語でテスト済みで、音声確認にはwhisperを使用します。
奥行きのあるテキスト表示（任意）：macOSでは、Apple Visionの人物セグメンテーションにより、背景とプレゼンターの間に大きなテキストを配置できます。

制作ワークフローを理解する

このスキルは、互換性のあるエージェントを次のパイプラインに沿って案内します。

Renoise MCP、ffmpeg、Python、Node.js、Remotion、whisperを確認します。
コンテンツを分析し、2種類の編集スタイルを提案して、必要な選択肢を1回の質問で収集します。
script.jsonにセグメント分割した台本を作成し、生成する音声クリップを15秒以内に収めます。
予想されるRenoiseのクレジット費用を提示し、確認を待ちます。
最初のセグメントを生成して承認を求め、その後、残りのセグメントを生成します。
クリップを安全にダウンロードし、音声を文字起こしして、代表的なフレームを確認します。
音声の統一処理を適用し、tl.jsonに単語単位のタイムラインを作成します。
Remotionのスタイルテンプレートと選択したパッケージングコンポーネントで編集します。
動画をレンダリングし、トランジションを確認して、最終的なラウドネスを正規化します。

インストール前の準備

ワークフロー全体を自動化するには、エージェントがAgent Skillsを読み込み、リモートMCPサーバーに接続し、ローカルコマンドを実行できる必要があります。リポジトリの構築とテストにはClaude Codeを使用しました。Codexでも同じスクリプトが動作する見込みです。OpenClaw、WorkBuddyなどの製品も、これら3つの機能をすべて提供していれば利用できます。

MCPとチャットのみを扱うエージェントでも、動画の計画、生成コストの提示、Renoiseによるクリップの作成は可能です。その場合、ローカルへのダウンロード、品質確認、編集、レンダリングは、シェルを実行できるエージェントを使うか、記載されたコマンドを手動で実行して完了する必要があります。

Digital Human Kouboをインストールする

1. リポジトリをクローンする

git clone https://github.com/andyhuo520/digital-human-koubo.git
cd digital-human-koubo

2. 2つのAgent Skillsをインストールする

リポジトリには、メインのdigital-human-kouboスキルと、Style Aで使用するfinance-explainerエンジンが含まれています。Claude Codeユーザーは、次のコマンドで両方をインストールできます。

mkdir -p ~/.claude/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.claude/skills/

Codexの場合は、スキルディレクトリにコピーします。

mkdir -p ~/.codex/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.codex/skills/

エージェントがグラフィカルインターフェースからスキルをインポートする場合は、両方のフォルダを含むZIPアーカイブを作成します。

cd skills
zip -r ../digital-human-skills.zip digital-human-koubo finance-explainer
cd ..

3. Renoise MCPに接続する

Renoiseでアカウントを作成します。認証はブラウザで行われるため、プロジェクトにAPIキーを貼り付ける必要はありません。

Claude Codeの場合は、公式プラグインをインストールします。

/plugin marketplace add ArcoCodes/renoise-plugins-official
/plugin install renoise@renoise-plugins-official

Codexの場合は、リモートMCPサーバーを追加して認証します。

codex mcp add renoise --url https://renoise.ai/api/public/mcp
codex mcp login renoise

その他の互換クライアントでは、カスタムリモート MCP URL として https://renoise.ai/api/public/mcp を使用できます。接続後、エージェントに Renoise の残高を確認するよう依頼してください。これにより、有料アセットの生成を始める前に、認証とツールへのアクセスの両方を確認できます。

4. ローカル制作ツールをインストールする

ローカルパイプラインには、ffmpeg、NumPy と Pillow を含む Python 3、Node.js 18 以降、whisper.cpp、および whisper モデルが必要です。macOS では、一般的なセットアップは次のとおりです。

brew install ffmpeg python node whisper-cpp
python3 -m pip install numpy pillow

whisper.cpp のモデルコレクションから ggml-medium-q5_0.bin をダウンロードし、~/models/ に配置します。別の場所を指定することもできます。

export WHISPER_MODEL=/path/to/model.bin

Claude Code ユーザーは、付属の診断スクリプトを実行できます。インストール済みの依存関係はスキップし、不足しているものについては選択肢を一覧表示します。

bash ~/.claude/skills/digital-human-koubo/scripts/doctor.sh

Windows では Winget を使って ffmpeg、Python、Node.js をインストールし、whisper.cpp のリリースから whisper-cli を入手します。Linux ではシステムのパッケージマネージャーで ffmpeg と Python をインストールし、Node.js の LTS 版を使用します。必要に応じて whisper.cpp をソースからビルドしてください。

5. オーディオアセットを生成する

このリポジトリにはサードパーティ製のオーディオは含まれていません。次のコマンドで、30種類の効果音と仮のバックグラウンドトラックを含むオリジナルのセットを生成します。

python3 ~/.claude/skills/digital-human-koubo/scripts/make_assets.py

new_edit.sh スクリプトでも、新規プロジェクト作成時にこの手順が実行されます。より高品質なサウンドトラックを使うには、使用許諾を得た音楽を <project>/public/music/bgm.mp3 に配置してください。

自分のデジタルヒューマンを作成する

正面向きで、均一な照明、口を閉じた状態、髪が顔にかかっていない写真を選びます。
正面、左右の側面、背面を示す4方向のリファレンスシートを生成するようエージェントに依頼します。README では、2K 解像度の GPT Image 2.5 が推奨されています。
利用可能な動画モデル（Grok Video 1.5 や Wan 3.0 など）で、同じ画像と話すセリフをテストし、好みの結果を選びます。
承認したリファレンスを Renoise にアップロードします。
返された material:<id> の値を skills/digital-human-koubo/persona.json の renoise.reference_material にコピーします。

リポジトリに含まれる material ID は作者の Renoise アカウントに属しているため、別のアカウントでは機能しません。自分でアップロードしたリファレンスに置き換えてください。2人目のプレゼンターは、ドキュメントに記載された other_hosts.me フィールドで設定できます。

最初の動画を作成する

スキルとツールが利用可能になったら、動画の内容を自然言語で説明します。テーマ、希望する長さ、事実に基づくオファーの詳細、必要なビジュアル上の要望を含めてください。

Use my digital human skill to make a 30-second livestream ad:
WorkBuddy course, 10 lessons, ¥99, previously ¥999.

より長い解説動画や、特定のパッケージ構成を依頼することもできます。

Make a 3-minute explainer about why Silicon Valley Bank collapsed.
Use the finance and technology explainer style.
Add a map route when the countries are mentioned.
Put “¥99” behind the presenter and begin with a teaser cold open.

エージェントは、短いコンテンツ診断、推奨スタイル2つ、そしてスタイル、アスペクト比、長さ、字幕の強さ、プレゼンターをまとめて確認する質問を1セット提示します。その後、クレジット見積もりを表示する前に、台本とシーン設計を準備します。

自動的に承認しないでください。セグメント数、合計秒数、現在の残高、予想クレジットを確認します。承認後は、セグメント1でアイデンティティの一貫性、発音、リップシンク、構図、不要な字幕を確認してください。サンプルに問題がない場合にのみ、残りのバッチを承認します。

編集スタイルを選択する

スタイル A、金融またはテクノロジー解説: 出来事、証拠、データ、「なぜ」という問いを扱う、およそ3～20分の動画向けの16:9形式。
スタイル B、インフルエンサーのトーキングヘッド: 30～120秒の製品紹介、セールス動画、意見動画向けの9:16形式。字幕は控えめ、標準的、または躍動的にできます。
スタイル C、ローンチ解説: 30～90秒の製品またはモデル発表向けの16:9形式。多くの場合、プレゼンターの横に補足映像を配置します。
スタイル D、ステップごとのチュートリアル: 3～8分のセットアップガイドや操作説明コンテンツ向けの16:9形式。
スタイル E、複数ホスト・複数シーン: 複数のプレゼンターや場所を使う、3～7分の多言語デモンストレーション向けの16:9形式。

スタイル A は、人気の解説形式から構成と編集の原則だけを取り入れています。クリエイターの顔、声、セット、言い回しは使用しません。

パッケージをカスタマイズする

パッケージシステムには、名前付きのコンポーネントが48種類含まれています。冒頭のフック、証拠とデータ、注釈、人、リズム、インタラクションを中心に分類されています。例として、TeaserColdOpen、NumberSpike、EvidenceCard、MapRoute、LowerThird、PunchInHost、ChapterCard、TextBehind があります。

コンポーネントは pack リストに追加します。タイミングではセグメントと発話単語を参照できるため、単純な秒数だけに頼らず、音声に合わせてエフェクトを適用できます。

{
  "pack": [
    {
      "use": "NumberSpike",
      "at": "1:不到十块钱",
      "until": "1:end",
      "text": "¥9.9/节",
      "label": "一节课"
    },
    {
      "use": "Danmaku",
      "items": [
        { "t": "真的假的？", "at": "1:" },
        { "t": "AI 还能帮我干活？", "at": "1:教你", "hot": true }
      ]
    }
  ]
}

レンダリング前に編集設定を検証します。

python3 scripts/check_edit.py <project>/src

プレゼンターの背後にテキストを作成する

奥行きテキスト効果では、背景レイヤー、大きなテキスト、そしてプレゼンターを透明に切り抜いた画像を使用します。人物のセグメンテーションは Apple Vision に依存するため、パイプラインの他の部分がクロスプラットフォームであっても、この特定の効果には macOS が必要です。

python3 scripts/cutout_video.py \
  public/main.mp4 \
  public/main_cut_s4.webm \
  --from 17.2 \
  --to 22.4

効果が必要な秒数だけを処理してください。ミディアムショットで、被写体の周囲に十分な空間が見えている場合に最も効果的です。プレゼンターがフレームの約 60 パーセントを超えて占める場合、スクリプトはテキストが隠れる可能性があると警告します。該当するセグメントには "shot": "depth" を付け、より適したフレーミングで生成されるようにしてください。

高度な制作のヒント

冒頭をすぐに始める

最初の 3 秒で、主張、アクション、または中心となる問いを提示します。挨拶やロゴから始めるのは避けてください。最初の 30 秒間は、およそ 3～5 秒ごとにビジュアルまたは編集上の変化を入れます。

動きを効果的に使う

シングルカメラのデジタルヒューマンでは、文の区切りでパンチインすることで、低コストに映像のリズムを作れます。ドキュメントに記載されたパターンでは、およそ 1.0×、1.18×、1.32× のフレーミングを切り替えます。

効果音は選択的に使う

バックグラウンドミュージックは流し続けますが、効果音は意味のある出来事に限定してください。明かしの前に約 0.6～1.0 秒の短い無音を入れると、演出効果を高められます。

文字起こしの誤りを適切に確認する

Whisper は、話された中国語の数詞を数字に変換することがあります。音声が正しい場合でも、計算されるテキスト一致スコアが下がる可能性があります。再生成に費用をかける前に、疑わしいセグメントを聞き直してください。

元のアスペクト比を維持する

Grok の 9:16 720p 出力は 720×1280 です。別のアスペクト比に引き伸ばさないでください。適切なテンプレートを使う、意図的にクロップする、または必要な形式向けに再生成する、といった方法を選びます。

プレゼンター音声の二重再生を避ける

加工済みの音声を使う場合は、プレゼンター動画の音声トラックをミュートしてください。元のトラックと処理済みトラックをわずかなずれで同時に再生すると、耳障りなコムフィルタリングが発生します。

別の音声は慎重に使う

Grok のネイティブ音声は、通常、最も優れた同期を提供します。モデルがその音声に合わせてリップモーションを生成するためです。Xiaomi MiMo TTS では、作り込んだ音声、許可を得たクローン音声、ナレーションを使用できますが、生成音声を置き換えると約 100 ミリ秒のずれが生じることがあります。これは、全画面のクローズアップよりもピクチャーインピクチャーのショットで目立ちにくくなります。自分の録音と正確に一致させるには、OmniHuman のような音声駆動モデルについて、スキルのドキュメントを参照してください。

コストと承認の戦略

生成には Renoise クレジットを使用し、料金は変更される可能性があります。README には、27 秒の縦型ライブ配信広告が 482 クレジット、一方で数分間のチュートリアルには数千クレジットが必要だったと記録されています。これらの数値は固定料金ではなく、例として扱ってください。

必ずエージェントの最新見積もりを利用してください。予定している解像度も確認します。README 作成時に記載されていた参考料金は、Grok Video 1.5 の 720p が 1 秒あたり 17 クレジット、480p が 1 秒あたり 10 クレジット、2K GPT Image 2.5 の生成が 23 クレジットでした。

責任ある公開のチェックリスト

自分が所有する、または明示的な使用許可を得ている顔と声だけを使用する。
実在の人物になりすましたり、AI プレゼンターが実在する人物による推薦であるかのように示したりしない。
動画が AI デジタルヒューマンによる演技であることを表示し、生成されたシーンや動物には AI 生成であることを表示する。
価格、レビュー、オファー、統計、顧客の主張を捏造しない。サンプルデータであることを明確に示す。
著作権で保護された映画のスチール画像、テレビ番組のフレーム、著名人の画像、またはライセンスのないウェブミームを挿入しない。
付属のアニメーション絵文字アセットを使用する場合は Google Noto のクレジットを表示する。
Remotion の個別のライセンス要件を確認する。特に 3 人を超える企業では注意する。

まとめ

Digital Human Koubo は、エージェント主導の計画、Renoise による生成、whisper ベースの検証、音声処理、Remotion による編集を、管理された制作ワークフローに統合します。安全に始めるには、両方のスキルをインストールし、すべての依存関係を確認し、自分が使用を許可されているペルソナを設定して、短いテスト動画を制作してください。長尺、多言語、または多数の要素を含むプロジェクトへ拡大する前に、見積もりと最初のセグメントを慎重に承認します。