WeVisCut 運営中

WeVisCutは、Tencent WeChat Visionがオープンソースとして公開する長尺動画自動編集Agentです。ナレーション台本を入力すると、9Bの小型モデルが共有プロダクション状態のランタイムを活用し、絵コンテ、音声ナレーション、素材検索、合成、品質検査と修正を自動で行い、数分間の完成動画を直接出力します。WeVisCutは、編集インバージョンと検証リプレイのパイプラインにより、3,750本の完成動画から13万件以上の学習データを復元しました。評価ではClaude Opus 5と同等の性能を示し、生成トークンを約33倍削減、完成動画1分あたりのコストはわずか$0.09です。

台本から長尺動画を生成：ナレーションや知識系の台本を入力すると、手動の絵コンテ作成なしで数分間の完成動画を自動出力します。
単一ポリシーによる全工程の意思決定：1つの9Bモデルがオーケストレーター、ジェネレーター、批評者の3役を担い、複数段階のAgentワークフローに置き換わります。
共有プロダクション状態：harnessがショット、素材、タイムラインなどの状態を永続保存し、前工程のツール結果が次工程の意思決定を直接制約します。
品質検査と修正の閉ループ：ポリシーが完成動画を自動検査し、失敗箇所を特定して範囲を限定した部分修正を行います。成功済みの部分は作り直しません。
監督との対話による編集：初回の完成動画後、チャットで素材の変更、音楽の修正、字幕の調整を指示でき、ポリシーが部分的に再計画して再納品します。
編集可能なタイムラインで納品：Studioランタイムが8トラックのタイムラインを提供し、ショット単位の再レンダリングとバージョンのロールバックに対応します。
低コストなプライベート運用：成功した出力1分あたり約$0.09、壁時計時間2.1分で、9Bモデルの重みをローカルにデプロイできます。

WeChatで「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
問題設定：長い制作工程における状態管理。長尺動画の台本から映像への変換では、素材選択、ツール実行、修正判断が相互に依存します。各ショットが個別に正しくても、動画全体のリズムが整うとは限りません。複数の汎用Agent工程に分割すると、各工程でグローバルコンテキスト全体を再シリアライズする必要があり、トークンと呼び出しコストがショット数に比例して累積します。WeVisCutの中核思想は、1つの9Bポリシーで制作状態全体を維持し、「全体を理解する」処理を各ステップで繰り返すのではなく、継続的に一度行うことです。
状態を持つHarness：共有プロダクション状態。Runtimeは永続化されたproduction stateを維持し、検証に合格したツール結果だけを状態に書き込みます。ポリシーは毎回1つのツール呼び出しだけを発行し、現在の状態から有効なアクションを選択します。不正な呼び出しは型付きblockerによって拒否され、依存関係を先に満たしてから再試行するよう強制されます。状態とモデルコンテキストを分離することで、ポリシーが全履歴を繰り返し持ち運ぶ必要をなくします。
単一ポリシーによる3役：共有パラメータを持つ1つのポリシーが、ロールルーティングによってオーケストレーター、ジェネレーター、批評者として機能します。アクション空間は12個のツールに固定され、ハードコードされた段階機はありません。軌跡全体はポリシーが自律的に決定し、ガードレールは不正な呼び出しだけを遮断します。
学習データ：Editing Inversion + Verified Replay。完成動画には結果だけが示され、編集意図は明示されません。そこで作者は4段階のパイプラインで教師データを復元します。まず完成動画から台本とショットの意図を逆算し、次にruntimeで再生して実行可能性を検証します。リプレイで欠陥が明らかになった場合は、範囲を限定して修正し、成功した成果物を保持します。最後に実行記録をツールフィードバック付きの学習例として具体化します。3,750本の完成動画から134,771件の実行可能な教師データを生成し、モデルが失敗後に復旧する方法を学習できるようにしました。
3段階の学習：統一SFTとruntime検証を組み合わせたRFTで、ツール利用と復旧行動を初期化します。Guided-OPDでは教師の介入を取り入れて復旧判断を学習し、介入を学習の進行に合わせて段階的に減らします。RCF-DAPOでは、同じロールと同じプロダクションコンテキスト内で候補出力を比較し、判断品質を最適化します。3段階の学習により、Overallはベースモデルの74.5から90.5まで向上しました。

コードを取得：GitHubからリポジトリをクローンします。github.com/Tencent/WeVisCut
環境を準備：リポジトリの説明に従ってStudioランタイムと依存関係をインストールします。
モデルをダウンロード：HuggingFaceからtencent/WeVisCutの9Bモデルの重みを取得します。
サービスを起動：起動スクリプトを実行してポリシーとツールレジストリを読み込み、StudioのWebインターフェースを開きます。
台本を入力：画面上でナレーションや知識系の長文台本を貼り付けるか、アップロードします。
制作を確認：Agentが自動で章立て、絵コンテ作成、音声ナレーション、素材検索を行い、タイムラインをリアルタイムで構築します。制作過程は可視化されます。
対話で修正：初回の完成動画後、監督チャット画面から修正を指示し、部分的に再納品します。
完成動画を出力：タイムライン画面でショットごとに確認して最終動画を書き出すか、必要に応じてバージョンをロールバックして再レンダリングします。

極めて低コスト：動画1分の出力成功あたり、生成トークンは2,377個、コストは$0.09 בלבדです。9Bの小型モデルをプライベート環境にデプロイできます。
高い納品信頼性：5指標のOverallは90.5でベースモデルを16ポイント上回り、計画実行率、長期整合性、レンダリング出力率のすべてで優れています。
1つのポリシーで全工程を管理：単一の9Bモデルがオーケストレーション、生成、批評の3役を担い、複数段階のAgentワークフローに置き換わるため、コンテキストの再構築を繰り返しません。
状態を継続管理：共有プロダクション状態により、前工程のツール結果が次工程の意思決定を直接制約します。長い工程でもリズムを失わず、全体理解を繰り返す必要がありません。
自己修復：学習データに失敗からの復旧軌跡が含まれているため、ポリシーが品質検査、問題特定、範囲を限定した部分修正を行い、成功済みの部分を保持します。
対話型編集：完成動画に対して自然言語で修正を指示でき、部分的に再計画して撮り直しを回避します。

プロジェクト公式サイト：https://tencent.github.io/WeVisCut/
GitHubリポジトリ：https://github.com/Tencent/WeVisCut
HuggingFaceモデル：https://huggingface.co/tencent/WeVisCut
arXiv技術論文：https://arxiv.org/pdf/2610.38352

知識解説動画の大量制作：長文の解説記事やナレーション台本を数分間の解説動画に自動変換し、MCNや個人メディアの日次更新に適しています。
企業研修と講座制作：研修教材や講義資料のナレーションを短時間で動画化し、社内研修動画の外注コストを削減します。
ニュース・情報の可視化：金融やテクノロジー分野のニュース台本に自動で画像や音楽を付けて動画化し、情報系アカウントのテンポの速い配信に対応します。
マーケティングと製品紹介：製品コピーからプロモーション動画の初稿をワンクリックで生成し、その後マーケティング担当者が対話形式で素材やスタイルを微調整できます。
多言語コンテンツの海外展開：台本を翻訳した後、音声ナレーションと字幕のバージョンを直接再生成し、同じ制作パイプラインを大量に再利用できます。