rea-video 運営中

rea-videoは、AI Agent向けに設計されたオープンソースのAI動画リバースエンジニアリングツールです。ショットごとに映像が人物による実写、AI生成、3Dレンダリング、コードによるモーション表現、画面録画のいずれかを判定し、カメラ位置やライティング、字幕スタイル、編集テンポ、音声構成を分解します。ショット単位のレポートと再現プランを出力し、ショットのプロンプトを逆算することもできます。再現ツールと組み合わせれば、商品や人物を差し替えた新しい動画を作成できます。ローカル環境ではffmpegとPython 3.10以上が必要です。ビジョンモデルを接続すると判定精度が向上します。

動画タイプ判定：ショットごとに、映像が人物による実写、AI生成、3Dレンダリング、コードによるモーション表現、画面録画のいずれかを判定します。混合編集の場合は区間ごとに分解して再構成します。
制作方法の分解：カメラ位置やライティング、カメラワーク、カラー調整のプランを出力します。また、各AIショットのプロンプトと必要な参考素材を逆算できます。
字幕と装飾要素の抽出：各字幕の開始・終了時間、色、縁取り、表示アニメーションを示し、SRT/ASSとして書き出せます。ステッカー、絵文字、ピクチャーインピクチャーの位置と表示時間も特定します。
編集と音声の分析：カット位置、編集テンポ、音楽のビートとの対応関係を示し、ナレーション／AI音声、AI音楽またはライブラリ音楽、そのBPM、効果音の配置を判定します。
再現プランの生成：対象動画モデルの能力に応じてショットを一括整理し、実写、生成、コード作成が必要な部分を区別した生成計画を作成します。ショットごとのスクリーンショットを含むHTMLレポートを出力します。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
ショット分割：まず動画のショット境界を検出し、実際のタイムスタンプに基づいて分割します（可変フレームレート動画では、実際のフレーム時間に合わせてカット位置を調整します）。同時に音声トラックを人物音声、音楽、効果音の3つに分離し、後続の種類別分析に備えます。
マルチモーダルな証拠収集：定量面では、フレームのテンポ、センサーノイズ、画面全体が単一平面として動いているかを測定し、メタデータ内のAIGCタグも確認します。視覚面では、モデルが手、文字、物理的な整合性を検査します。聴覚面では、BPMや調性を分析し、歌唱と会話を区別します。
証拠の優先順位付け：ハードな証拠を「そう見える」というモデルの直感より優先します。2種類の結論が衝突した場合は要確認としてマークし、Agentによる目視確認に回すことで、誤判定率を最小限に抑えます。
モデルの能力に基づく再現計画：内蔵された動画・画像・音声モデルの能力表に基づき、ショットを生成回数が最小になる計画へ一括変換します。また、その区間を動画モデルで生成するか、LLMにBlender/Three.js/Remotionのコードを書かせて再構築するかを決定します。
Agent駆動アーキテクチャ：プロジェクトはCLIとSkillの形式で提供され、Claude Code、CodexなどのAgentから呼び出せます。動画モデルなしでも実行でき、Geminiまたは豆包に接続すると各ショットのプロンプトを自動で逆算できるため、精度と自動化レベルを同時に高められます。

環境を準備：コンピューターにffmpegとPython 3.10以上をインストールします。
Agentを選択：Claude Code、Codex、またはコマンドを実行できる任意のAI Agentで使用します。
プロジェクトをインストール：Agentに「https://github.com/JuneYaooo/rea-videoをインストール」と伝えるだけで自動的に完了します。
分解を開始：Agentに「この動画を分解して /path/to/video.mp4」と伝えると、一連の処理が実行されます。
ビジョンモデルを接続：Geminiまたは豆包のエンドポイントとKeyをAgentに提供すると、ショットごとの判定精度が向上し、プロンプトも逆算できます。接続しない場合は、Agentが画像を直接確認して要確認のショットを再検証します。
結果を確認：概要、実写／生成／コード作成の3種類に分類された再現計画、ショットごとのスクリーンショットと音声分析を含むreport.htmlが得られます。
再現を続行：レポートをcheap-claude-videoやHypitなどのツールに渡し、レシピに従って要素を差し替えた新しいバージョンを生成します。

幅広い対応範囲：人物による実写、AI生成、3Dアニメーション、コードによるモーション表現、画面録画、混合編集を分解できます。混合動画も区間ごとに個別判定します。
証拠重視：フレームのテンポ、センサーノイズ、AIGCメタデータなどのハードな証拠をモデルの直感より優先します。矛盾する項目はAgentによる再確認に回し、公式の自己検証では元動画に対する精度が約99%に達しています。
出力がそのままレシピに：結論だけでなく、カメラ位置やライティングの一覧、逆算したプロンプト、モデルの能力に応じて一括整理した再現計画を出力するため、すぐに実行できます。
極めて細かな粒度：字幕の開始・終了時間とスタイル、ステッカーの位置、カットと音楽ビートの関係、人物音声／AI音声、BPMをすべて定量的に分解します。
Agentネイティブ：CLI+Skill形式でClaude Code、CodexなどのAgentに接続でき、1つの指示で環境構築から全工程まで自動実行できます。

GitHubリポジトリ：https://github.com/JuneYaooo/rea-video

EC動画の再現：人気の高い商品紹介動画のカメラ位置、絵コンテ、字幕テンポを分解し、自社商品に置き換えて同様の動画を一括制作します。
MCNの競合調査：競合動画の構成（実写の割合、AI生成区間、コードによるモーション表現）をショットごとに分析し、制作コストと工程を把握します。
AIショート動画制作の効率化：気に入ったAIショート動画から各ショットのプロンプトと生成パラメータを逆算し、自分で試行錯誤するコストを削減します。
混合コンテンツの分解：「人物+AIキャラクター+画面録画」の混合動画について、区間ごとに制作方法を判定し、元のタイムラインに沿って自分のバージョンを再構成します。
解説・モーション表現の再現：3D解説動画やコードによるモーション表現の動画を、Blender/Remotionで再構築する方法に落とし込み、より低コストで類似した効果を再現します。