PersonaTalk 運営中

PersonaTalkは、AIビジュアル吹き替えフレームワークとして、吹き替え音声を変更した際に人物の口の動きと音声が合わなくなる問題の解決を主な目的としています。人物動画とターゲット音声を入力し、新しい音声に合わせて口が動く動画を生成すると同時に、人物本来の顔の表現とビジュアルスタイルにも配慮します。

人物が話す映像を扱うコンテンツ制作工程を対象としており、言語の置き換え、キャラクターの吹き替え、顔アニメーションの生成などに適しています。

動画内の人物の口の動きをターゲット音声に合わせ、人物固有の話し方や顔の表現をできる限り保持します。デュアルアテンション顔レンダリング機構は、唇の領域とその他の顔領域に個別に注目することで、肌の質感やメイクなどのディテールを維持し、歯のちらつきなどの映像上の問題を抑えます。

PersonaTalkはゼロショット方式で新しい人物を処理し、資料によれば、新しい人物ごとに個別の学習や微調整を行う必要はありません。

映像の翻訳制作では、さまざまな言語の吹き替え映像を作成し、人物の口の動きをターゲット言語に合わせられます。広告チームは、元の映像における人物の表現を保ちながら、同じ動画を地域ごとの言語版に適応できます。

オンライン教育コンテンツでは、講座の言語変換やバーチャル講師動画の制作に利用できます。アニメーターやデジタルヒューマン開発者は、キャラクターの口の動きや顔の表情の生成に活用できます。特に、人物が正面を向いて話す映像素材に適しています。

使用前に人物動画とターゲット音声を用意する必要があり、最終的な品質は入力素材が顔や口の処理に適しているかどうかに左右されます。人物が遮られている場面、顔の動きが複雑な場面、映像と音声の関係が不明瞭な場面では、出力後に口の動き、歯、顔の質感が自然かどうかを場面ごとに確認してください。

現時点の資料には、具体的な導入手順、ハードウェア要件、処理速度、出力形式などの情報がなく、複雑な場面における適用範囲も明記されていません。実際に導入する前にプロジェクトのドキュメントを確認し、代表的な素材でテストする必要があります。