メインコンテンツへ移動
AIチュートリアル

ローカル環境でAIデジタルヒューマンを構築する方法

自分のパソコン上に、聞くことも話すこともでき、口の動きもあり、会話できるAIデジタルヒューマンを構築したい。AIツールを一切使わず、または高額な費用をかけることなく

デジタルハッカー約33分で読了
ローカル環境でAIデジタルヒューマンを構築する方法

自分のパソコン上に、聞く・話す・口の動きがあり、会話もできるAIデジタルヒューマンを構築したいと思いませんか。AIツールを使ったり、高額なサブスクリプション料金を払ったりする必要はありません。音声認識、ローカル大規模言語モデル、音声合成、リップシンクをつなぎ合わせることで、ローカル環境で動作するリアルタイム対話システムを構築できます。

この記事では、ハードウェアの準備から始め、Windows + WSL2環境で一連の導入を完了します。最終的には、Webページにカスタムデジタルヒューマンを表示し、マイクを通してAIデジタルヒューマンと会話すると、AIデジタルヒューマンがクローンした音声で返答するようになります。

一、システム全体の動作フロー

この構成は1つのモデルだけで動作するのではなく、複数のコンポーネントを導入します。

llama.cppはローカル言語モデルの実行を担当し、faster-whisperはユーザーの音声をテキストに変換します。Qwen3-TTSは参照音声に基づいて返答音声を生成し、LiveTalkingとWav2Lipは音声に合った口の動きを生成します。

二、ハードウェア要件とVRAMの目安

最低構成：

  • NVIDIA GPU：VRAM 8GB

  • メモリ：16GB

  • 空きストレージ：最低60GB

  • OS：Windows 10/11、WSL2対応

推奨構成：

  • NVIDIA GPU：VRAM 16GB以上

  • メモリ：32GB以上

  • モデルとWSLファイルの保存にはSSDを推奨

Qwen3 14B量子化モデルを例にすると、VRAMのおおよその割り当ては次のとおりです。

  • コンポーネント｜目安のVRAM使用量

  • Qwen3-14B Q4_K_M｜約9GB

  • faster-whisper large-v3｜約3GB

  • Qwen3-TTS 1.7B｜約4GB

  • Wav2Lip 256｜約1.3GB

  • 合計｜約17GB

VRAM 24GBのGPUなら、この組み合わせをより余裕を持って実行できます。VRAM 16GBの場合は8Bモデルに変更し、コンテキスト長を短くできます。8GB前後の場合は、4Bモデルと中規模の音声認識モデルから始めることをおすすめします。

三、WSL2のネットワークとメモリを設定する

1.  まず、Windowsのユーザーディレクトリに.wslconfigファイルを作成します。

C:\Users\ユーザー名\.wslconfig

2. 次の内容を入力します。

[wsl2]
memory=32GB
networkingMode=mirrored

[experimental]
hostAddressLoopback=true

memoryは実際のメモリ容量に応じて変更できます。通常は物理メモリの半分から4分の3程度を割り当てれば十分です。hostAddressLoopback=trueは、WindowsホストとWSL間のWebRTC通信に特に重要です。これがないと、後述する WebRTC 接続は常に失敗しますが、エラーの原因はほとんど分かりません。ブラウザーには JSON 解析エラーが表示され、ICE 候補リストは空になります。

3. 変更後、PowerShellで次を実行します。

wsl --shutdown

WSLに再度入ると、設定が有効になります。

四、Windows側でローカル大規模言語モデルを起動する

1. llama.cppを準備する

Windows用のllama.cppをダウンロードし、次のような固定ディレクトリに展開します。

E:\llama.cpp

安定版のダウンロード先：https://pan.quark.cn/s/0073852e4042

2. VRAM容量に応じてモデルを選ぶ

  • VRAM容量｜推奨モデル｜ダウンロード先

  • 16GB以上｜Qwen3-14B-Instruct Q4_K_M｜https://pan.quark.cn/s/f48c2144ac71

  • 8–16GB｜Qwen3-8B GGUF Q4_K_M｜https://pan.quark.cn/s/78b8643f1be3

  • 8GB未満｜Qwen3-4B GGUF｜https://pan.quark.cn/s/fd588898ccbf

ダウンロードした.ggufファイルを次の場所に置きます。

E:\llama.cpp\models

3. 推論サービスを起動する

Windowsのコマンドプロンプトで次を実行します。

cd /d E:\llama.cpp
llama-server -m E:\llama.cpp\models\Qwen3-14B-Instruct-Q4_K_M.gguf ^
  -np 1 -c 8192 -fa on --temp 1.0 --top-p 0.95 ^
  --host 0.0.0.0 --port 8090

各パラメーターの役割：

  • host 0.0.0.0：WSLからWindows側のモデルサービスへのアクセスを許可します。

  • c 8192：コンテキスト長を設定します。短い会話ならこれで十分です。

  • temp 1.0：返答が定型的になりすぎないようにします。

  • port 8090：サービスのポートを指定します。

このコマンドプロンプトは常に起動したままにしてください。ポートが使用中と表示されるのに、通常の確認ではプロセスが見つからない場合は、Hyper-Vがそのポートを予約していないか確認できます。

netsh interface ipv4 show excludedportrange protocol=tcp

競合が見つかった場合は、モデルサービスと呼び出しスクリプトのポートを同時に変更するのが最も簡単です。

五、デジタルヒューマンの背景画像と動画を作成する

1. 好みのデジタルヒューマン画像をデザインする

デジタルヒューマンの画像は「見栄え」だけを追求するのではなく、後のWebページのレイアウトと口の動きの生成に十分な余白を確保する必要があります。安定しやすい構図は次のとおりです。

  • 画面比率は16:9にする。

  • 人物は右側3分の1の位置に配置する。

  • 左側に広めの暗い余白を残し、インタラクティブな光球と字幕を配置できるようにする。

  • 唇は自然に閉じ、歯を見せない。

  • 手で口、あご、顔の輪郭を隠さない。

  • やや暗いサイドライトを使い、口元のわずかなぼけによる違和感を抑える。

次のプロンプトの考え方を参考に、人物、服装、シーンを自由に置き換えてください。

映画的な低照度の横顔ポートレート、画面右側に座る成人女性、柔らかなリムライト、
左側に広い暗いネガティブスペース、自然な表情、閉じた唇、固定カメラ、
リアルな肌の質感、16:9の横長構図。

ネガティブプロンプトには、口を開ける、歯を見せる、人物を中央に配置、明るく雑然とした背景、手で口元を隠す、文字、透かし、プラスチックのような肌、漫画風などを追加できます。

2. ComfyUI + Wan2.2で5秒のデジタルヒューマン動画を生成する

ComfyUIをダウンロードしてインストールし、起動後にWan2.2の画像から動画を生成するワークフローを選択し、背景画像を初期フレームとして設定します。初回は次の控えめなパラメーターをおすすめします。

  • パラメーター｜推奨値

  • 解像度｜背景画像の比率に合わせる。元チュートリアルの例は704 × 896

  • 長さ｜5秒

  • フレームレート｜25 fps

  • Prompt Enhance｜オフ

ComfyUI ダウンロード先：https://pan.quark.cn/s/bb9d21f1e724

プロンプトでは動作だけを記述し、人物の外見を再度説明しないでください。例：

人物は元の位置を保ち、わずかに呼吸し、ゆっくり1回まばたきする。頭部をごく小さく自然に動かした後、開始時の姿勢に戻る。
唇は常に閉じたまま、固定カメラ、ズーム・パン・チルトなし。

書き出したファイルをidle.mp4という名前で保存します。

実際の発話時の口の動きはWav2Lipがリアルタイムで生成するため、「発話中」「聞き取り中」などの複数の動画を別途作成する必要はありません。

よくある注意点をいくつか紹介します。

  • プロンプト強化を有効にしないでください。 prompt_enhance をオフにしないと、モデルが人物やシーンを再設計する可能性があります。

  • 出力比率は入力画像の比率と一致させる必要があります。16:9の横長背景画像を使う場合は、ワークフローが対応する横長サイズに変更し、引き伸ばしや人物の切り抜きを避けてください。

  • プロンプトには動作だけを書いてください。外見を繰り返し説明すると、かえって人物がずれやすくなります。

  • 5秒の動画でループする待機動作には十分です。むやみに長くすると、重複や変形が起こりやすくなります。

六、参照音声を録音する（音声クローン）

Qwen3-TTSは参照音声に基づいて声質と話し方を模倣します。5～15秒程度の音声を録音し、次の条件を満たすようにしてください。

  • 話者は1人だけ。

  • 静かな環境で、音楽や目立つ残響がない。

  • 自然な話速で、クローンしたいスタイルと感情が一致している。

  • 正確な逐語録も同時に保存する。

録音後、ファイルを（ wavまたはmp3形式）書き出し、デスクトップのAIフォルダーに置いて、ファイル名をref.wavにします。録音で話した内容を一語一句正確に書き起こしてください。後で設定に入力します。感情もクローンされるため、録音時には希望する話し方や口調を使うようにしてください。

参照音声は「一括導入パッケージ」をダウンロードしてください。これらのスクリプトは、音声対話環境のインストール、各サービスの起動、音声と映像の同期処理に使用します。スクリプトはプロジェクトのバージョン変更に伴って更新される可能性があるため、使用前にダウンロード先、ポート、モデル名を簡単に確認することをおすすめします。含まれるファイル：

  • ファイル｜用途

  • install-voice.sh｜音声対話部分の一括インストール

  • start-voice.sh｜音声サービスの起動／停止／ログ

  • start-livetalking.sh｜口の動きサービスの起動／停止

  • avatar-sync.js｜音声転送 + デジタルヒューマン背景レイヤー

  • wav2lip256.pth｜口の動きモデルの重み

  • wav2lip256_avatar1.tar.gz｜公式サンプルアバター（動作確認用）

一括導入パッケージのダウンロード先：https://pan.quark.cn/s/d4fc5bfc88eb

七、ファイルを整理する

最後に、5秒のデジタルヒューマン動画ファイル idle.mp4と音声ファイルref.wav`をデスクトップのAIフォルダーに入れます。最終的なディレクトリ構成は次のとおりです。

C:\Users\ユーザー名\Desktop\AI\
├── install-voice.sh
├── start-voice.sh
├── start-livetalking.sh
├── avatar-sync.js
├── wav2lip256.pth
├── wav2lip256_avatar1.tar.gz
├── idle.mp4
└── ref.wav

八、WSL2をインストールする（Ubuntu 24.04とGPU対応）

PowerShellを管理者として開きます。

wsl --update
wsl --install -d Ubuntu-24.04

インストール完了後、PCを再起動して最初の手順で作成した .wslconfig を有効にします。再起動後にUbuntuターミナルを開き、ユーザー名とパスワードを設定して、GPUパススルーを確認します。

nvidia-smi

GPUのモデル名とドライバー情報が表示されれば、GPUパススルーは正常です。

WSL内でGPUドライバーを重複してインストールしないでください。GPUドライバーはWindows側にのみインストールし、WSLではホストが提供するCUDAパススルーを使用します。WSL内でGPUドライバーを再度インストールすると libcuda.so が上書きされ、GPUが使用できなくなります。

九、導入パッケージをWSLにコピーする

 Ubuntuターミナルで、パス中のWindowsユーザー名を自分のものに置き換えます。

#コピー（パスを自分のユーザー名に置き換える）：
mkdir -p ~/setup
cp -r "/mnt/c/Users/ユーザー名/Desktop/AI/." ~/setup/
cd ~/setup
ls -la

#改行コードを変換：
sudo apt update
sudo apt install -y dos2unix
dos2unix *.sh

#実行権限を付与：
chmod +x *.sh

  • なぜ改行コードを変換するのか：WindowsのテキストファイルではCRLF改行が一般的で、変換しないとbash^Mやbad interpreterエラーが発生することがあり、多くの人がここでつまずきます。

  • /mnt/cで大量のPythonファイルを直接実行すると、通常は遅くなり、権限の問題も起きやすくなります。Linuxのホームディレクトリにコピーしたほうが安定します。

十、音声対話モジュールのインストールとテスト

1. インストールスクリプトを実行する

cd ~/setup
./install-voice.sh

インストール中にPython環境が作成され、音声活動検出、faster-whisper、Qwen3-TTS、フロントエンドコンポーネントが準備されます。ネットワークとディスクの速度によっては、10数分かかる場合があります。

2. 参照音声の形式を統一する

ffmpeg -i ~/setup/ref.wav -ac 1 -ar 16000 -c:a pcm_s16le ~/s2s/ref.wav

#形式を確認：pcm_s16le / 16000 / 1チャンネルである必要があります：
ffprobe -v error \
  -show_entries stream=sample_rate,channels,codec_name \
  -show_entries format=duration \
  -of default=nw=1 ~/s2s/ref.wav

確認結果は次の条件を満たしている必要があります：

  • コーデック：pcm_s16le

  • サンプリングレート：16000

  • チャンネル：モノラル

3. 参照音声の文字起こしを入力する

以下の文字列を、録音で実際に話している内容に置き換えます：

sed -i 's|^REF_TEXT=.*|REF_TEXT="録音と完全に一致する文字起こしをここに入力"|' ~/setup/start-voice.sh
grep -n "^REF_TEXT=" ~/setup/start-voice.sh

文字起こしの文字抜け、誤字、または句読点の大きな違いは、クローンの品質を低下させます。

4. 初回起動

cd ~/setup
./start-voice.sh

次に、Windowsのブラウザーで開きます：

http://localhost:7860/

ブラウザーによるマイクの使用を許可し、ページ内のインタラクションボタンをクリックしてテストします。初回は設定を開き、NOISE GATEを一番左まで下げるか、直接オフにすることをおすすめします。そうしないと、通常の発話まで背景ノイズとして除去されることがあります。

十一、LiveTalking（リップシンク）とWav2Lipのインストール

新しい Ubuntuターミナルを開き、WSLに入って順番に実行します：

mkdir -p ~/livetalking
cd ~/livetalking
git clone https://github.com/lipku/LiveTalking.git
cd LiveTalking

uv venv --python 3.10 .venv-lt
source .venv-lt/bin/activate

uv pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 \
  --index-url https://download.pytorch.org/whl/cu124

uv pip install -r requirements.txt
sudo apt install -y ffmpeg libgl1 libglib2.0-0

システムにuvがまだない場合は、先にuv公式のインストール手順に従ってインストールし、その後で上記のコマンドを再実行してください。

リップシンクモデルとデフォルトのデジタルヒューマンを配置します：

cd ~/livetalking/LiveTalking

# 注意：wav2lip.pthに名前を変更する必要があります
cp ~/setup/wav2lip256.pth models/wav2lip.pth

# 公式サンプルアバター
tar -xzf ~/setup/wav2lip256_avatar1.tar.gz -C data/avatars/

# 確認
ls -lh models/ && ls data/avatars/

注意：元のファイル名はwav2lip256.pthですが、プロジェクトはデフォルトでこのファイル名を使って重みを検索するため、コピー後はwav2lip.pthという名前にする必要があります。

まず公式サンプルのデジタルヒューマンをテストします：

cd ~/livetalking/LiveTalking
source .venv-lt/bin/activate

python app.py --transport webrtc --model wav2lip \
  --avatar_id wav2lip256_avatar1 \
  --stun 'stun:stun.l.google.com:19302'

ブラウザーで開きます：

http://localhost:8010/index.html

接続に成功したら、中国語のテキストを送信します。音声、人物の動き、テキストに合った口の動きが同時に現れれば、この段階は正常に完了です。

ターミナルログのinferfpsとfinalfpsでリアルタイム性を確認できます。通常は両方とも25前後以上になることが望ましいです。inferfpsが明らかに不足する場合は、モデルの負荷を下げるか、より軽い設定に変更する必要があります。

インターネット上のチュートリアルではMuseTalkがよく推奨されています。画質は確かに優れていますが、今回のAIデジタルヒューマンでは画質の要求がそれほど高くありません。一方、Wav2LipのVRAM使用量は約1.3GBにすぎず、暗所、横顔、人物が画面内で小さい映像であれば、低コストで許容できる品質を実現できます。MuseTalkは12GのVRAMを使用します。また、完全なローカル展開ではSTUNも必要ありませんが、空文字列を渡してはいけません。STUNアドレスの形式エラーにより、WebRTCの起動に失敗する可能性があります。

十二、動画を自分のデジタルヒューマンアバターに変換する

LiveTalkingの実行中に開きます：

http://localhost:8010/avatar.html

以下の方法で生成タスクを送信します：

  • アルゴリズム：Wav2Lip

  • Avatar ID：wav2lip256_myavatar（wav2lip256_プレフィックスを維持）

  • 動画ファイル：前に生成したidle.mp4

ステータスがCOMPLETEDになったら、自分のデジタルヒューマンを起動します：

cd ~/setup
AVATAR_ID=wav2lip256_myavatar ./start-livetalking.sh

今後これをデフォルトで起動したい場合は、スクリプト内のAvatar IDを変更します：

sed -i 's/wav2lip256_lingdu/wav2lip256_myavatar/' ~/setup/start-livetalking.sh

生成後に口元付近に明らかな裂け目が現れる場合は、急いでモデルを変更するのではなく、まず待機動画で手、髪、襟などが口や顎を頻繁に遮っていないか確認してください。

十三、正しい順序でシステム全体を起動する

システム全体を動かすには、3つのターミナルウィンドウが必要です。

1つ目のウィンドウ：Windowsローカル大規模モデル

cd /d E:\llama.cpp
llama-server -m E:\llama.cpp\models\Qwen3-14B-Instruct-Q4_K_M.gguf ^
  -np 1 -c 8192 -fa on --temp 1.0 --top-p 0.95 ^
  --host 0.0.0.0 --port 8090

 2つ目のウィンドウ：WSLリップシンクサービス

cd ~/setup
./start-livetalking.sh

3つ目のウィンドウ：WSL音声サービス

cd ~/setup
./start-voice.sh

最後にhttp://localhost:7860/を開き、必要に応じてCtrl + F5で強制更新します。まずページをクリックしてデジタルヒューマンを接続し、その後、音声インタラクションボタンをクリックして話し始めます。

サービスを停止するときは、次を実行します：

./start-voice.sh stop
./start-livetalking.sh stop

Windows側のllama.cppウィンドウは、 Ctrl + Cを押して直接停止できます。

十四、自然で低遅延なキャラクター設定

WebページのSettings → INSTRUCTIONSにキャラクター設定を書き込みます。「優しい、活発、思いやりがある」といった形容詞だけを並べるのではなく、短い対話例をいくつか同時に示し、モデルに返答のテンポを学習させるのがおすすめです。

次のような制約を設定できます：

あなたは自然で親しみやすいバーチャルパートナーです。口語的に話し、1回の返答は2〜3文だけにしてください。
Markdown、リスト、番号、絵文字、舞台動作の描写は使用しないでください。
ユーザーの質問を繰り返さず、直接答えてください。不確かな情報については、率直に説明してください。

例：
ユーザー：今日は少し疲れた。
アシスタント：まずは無理をして全力で頑張らなくていいですよ。水を飲んで10分休んでから、ゆっくり取り組みましょう。

短い返答は実際の会話らしくなるだけでなく、音声全体の合成を待つ時間も大幅に短縮します。Markdownと絵文字を無効にするのは、TTSが記号や書式マークを読み上げるのを防ぐためです。/no_thinkは不要な長い推論出力を無効にし、最初の発話までの遅延をさらに短縮します。

十五、割り込み発話や誤検出による中断を減らす

リアルタイム音声システムで最も調整が難しいのは、モデルではなく「ユーザーがいつ話し終えたと判断するか」です。中国語の発話中には途中で間が入ることが多く、無音判定が短すぎると頻繁に割り込んで話し始めます。

~/setup/start-voice.shで、次のパラメータを試すことができます：

MIN_SILENCE_MS=1200 
VAD_THRESH=0.6
MIN_SPEECH_MS=500
SPEECH_PAD_MS=300

パラメータの意味：

  • MIN_SILENCE_MS：どれだけ沈黙したら発話終了と判定するか。まずは1200msを使用し、反応が遅いと感じたら900msに下げます。

  • VAD_THRESH：音声活動のしきい値。騒がしい環境では0.7まで上げられます。

  • MIN_SPEECH_MS：短すぎる音を除外します。

  • SPEECH_PAD_MS：音声の前後に少しバッファを残し、語頭や語尾の欠落を減らします。

ログを確認します：

tail -f ~/s2s/logs/s2s.log | grep -E "soft-ended|discard"

パラメータを変更してもログの動作がまったく変わらない場合、通常はパラメータが無効なのではなく、サービスが実際には再起動されていません。

十六、VRAMが不足したときの負荷軽減

効果の高い順に、次を試すことができます：

  • Qwen3-14BをQwen3-8Bに変更する。約3GB節約できます。

  • Qwen3-4Bに変更する。約6GB節約できます。

  • 音声認識モデルを`medium`に変更する。約1.5GB節約できます。

  • llama.cppのコンテキストを`-c 8192`から`-c 4096`に下げる。さらに約1GB節約できます。

  • Wav2Lipを維持し、VRAMが不足しているときは、より重いリップシンクモデルに変更しない。

音声チャットでは、1回のやり取りは通常2〜3文だけです。14Bと8Bの「聞こえ方」の差は、待ち時間による体験の差を上回らない場合があります。VRAMが厳しいときは、まず安定性と低遅延を優先してください。

十七、よくある障害のクイックチェック

  • 現象｜原因と対処方法

  • bad interpreter または ^M が表示される｜スクリプトが Windows 改行になっています。`dos2unix *.sh` を実行してください

  • WebRTC が接続できない｜`.wslconfig` の `hostAddressLoopback=true` を確認し、その後 `wsl --shutdown` を実行してください

  • Webページに JSON の解析失敗と表示される｜多くの場合、バックエンドが 500 エラーを返しています。起動ターミナルに表示される実際のエラーを確認してください

  • malformed/uri:invalid scheme｜STUN アドレスが空、または形式が正しくありません。有効な `stun:` アドレスを渡してください

  • Webページは開けるが話しても反応しない｜NOISE GATE を無効にするか下げ、ブラウザーにマイクの使用許可を与えていることを確認してください

  • デジタルヒューマンが頻繁に割り込む｜`MIN_SILENCE_MS` を大きくしてください。1200ms から始めるのがおすすめです

  • 回答が質問と合っていない｜まず誤った区切りを修正し、互いに競合するリアルタイム文字起こし処理を同時に有効にしていないことを確認してください

  • 毎回、声の違いが大きい｜TTS Base モデルを使用しているか確認し、参照音声と台本を照合してください

  • 声が変調されたように聞こえる｜`avatar-sync.js` のサンプリングレート設定を確認してください。通常は 16000Hz の音声と一致させます

  • ポートのバインドに失敗するがプロセスが見つからない｜Hyper-V の予約済みポート範囲を確認し、予約されていないポートに変更してください

  • GPU 使用率が 100% だが長時間進展がない｜ビデオメモリからシステムメモリへのフォールバックが発生している可能性があります。モデルを小さくするか、NVIDIA コントロールパネルで CUDA のシステムメモリフォールバックポリシーを確認してください

  • LAN IP を使用するとマイクが使えない｜ブラウザーは通常、マイクへのアクセスに localhost または HTTPS を要求します

  • PC のスリープ復帰後にサービスが使えない｜`wsl --shutdown` を実行してから、3 つのサービスを再起動してください

  • 再起動時にポート使用中と表示される｜まず 2 つの `stop` コマンドを実行し、古いプロセスが終了したことを確認してから再起動してください

十八、任意：ワンクリック起動スクリプトを作成する

3 つのサービスがそれぞれ安定して動作することを確認したら、Windows で start-ai-avatar.bat を新規作成できます：

@echo off
start "llama-server" cmd /k "cd /d E:\llama.cpp && llama-server -m E:\llama.cpp\models\Qwen3-14B-Instruct-Q4_K_M.gguf -np 1 -c 8192 -fa on --temp 1.0 --host 0.0.0.0 --port 8090"
timeout /t 25

start "livetalking" wsl -d Ubuntu-24.04 -- bash -lc "cd ~/setup && ./start-livetalking.sh"
timeout /t 30

start "voice" wsl -d Ubuntu-24.04 -- bash -lc "cd ~/setup && ./start-voice.sh"
timeout /t 10

start http://localhost:7860/

待ち時間は自分の PC に合わせて調整してください。初回の構築ではバッチスクリプトに直接頼らないでください。どこかの手順が失敗したとき、どのサービスに問題があるのか判断しにくくなるためです。

十九、スマートフォンからのアクセスと外部公開に関するセキュリティ上の問題

ブラウザーのマイクは機密性の高い権限です。通常の LAN IP でWebページを開くと、ページがセキュアコンテキストではないため、ブラウザーが許可を拒否する場合があります。技術的には Cloudflare Tunnel などのツールを使って、ローカルページを次のような HTTPS アドレスにマッピングできます：

cloudflared tunnel --url http://localhost:7860

ただし、これによりローカルサービスがインターネットからアクセス可能になる場合があります。認証のない一時アドレスを公開・拡散しないでください。個人の声、会話記録、撮影素材を含むサービスを直接公開することは絶対に避けてください。リモートで使用する必要がある場合は、少なくともアクセス制御を追加し、使用後は速やかにトンネルを閉じてください。

二十、デプロイが本当に成功したか確認する方法

「Webページが開ける」ことを完了の基準にしないでください。次の順番で検収することをおすすめします：

  • 1. llama.cpp の 8090 ポートで中国語の応答を正常に生成できる；

  • 2. 音声Webページがマイク入力を認識し、合成音声を返す；

  • 3. LiveTalking のサンプル人物が発声し、対応する口の動きを生成する；

  • 4. カスタム待機動画を正常に Avatar へ変換できる；

  • 5. 3 つのサービスを連携した後、最初の発話までの待ち時間が約 1–2 秒で、連続対話中に頻繁な割り込みがない；

  • 6. 長時間実行してもビデオメモリ使用量が継続的に増加せず、サービスの再起動・停止コマンドが有効に機能する。

1 回の応答の遅延は通常、音声認識、言語モデルの最初の token、音声合成、口の動きの推論、完全な音声を待つためのバッファリングなど、複数の処理が積み重なって発生します。体験を改善したい場合は、すべてのモデルを闇雲に変更するのではなく、まずログから最も遅い処理がどれかを判断してください。

おわりに：

この構成の本当に面白いところは、単に「1 枚の写真をしゃべらせる」ことではありません。複数のローカル AI モジュールをつなぎ、完全なリアルタイムインタラクションの流れを構築できる点にあります。バーチャルパートナーとして使えるだけでなく、展示会場の案内係、デスクトップ音声アシスタント、ライブ配信のデジタルヒューマン、キャラクターのプロトタイプなどにも応用できます。

初回の構築では、段階ごとに検証するのが最も確実です。まず言語モデルを動かし、次に音声をテストし、その後に口の動きを確認し、最後にカスタム人物へ置き換えてください。各段階に明確な成功基準を設ければ、複雑なシステムでも、原因を特定・再現できる小さな問題の集合に分解できます。

最後にもう一度注意してください。デジタルヒューマンの外見と声には、個人の権利が関わる場合があります。公開展示や商用利用の前には、必ず素材の権利者から許諾を得て、AI システム内で人物との対話に使用することを明確に伝えてください。

#AIオーディオ#AIデザイン#AIブラウザ#AIプログラミング#AI動画#AI金融#オープンソース#データ分析#効率化ツール#大規模モデル