メインコンテンツへ移動
AIチュートリアル

reelbench-skillsを使ってClaude CodeとCodexで動画のショット分析と絵コンテ同期を行う

このチュートリアルでは、reelbench-skillsの2つの動画機能を紹介します。完成動画をショット単位で分解する分析と、動画と絵コンテ情報を同期して合成する機能です。skillのインストール、導入先の選択、出力ファイルの確認方法に加え、更新、オフライン利用、レイアウト調整のコツも学べます。

reelbench-skillsによるClaude CodeとCodexでの動画分析・絵コンテ同期

プロジェクト概要

reelbench-skillsは、動画作業向けのClaude CodeおよびCodex用skillのセットです。現在はvideo-shotsとvideo-syncが含まれており、それぞれ完成動画のショット分析と、ショットの切り替えに合わせて絵コンテ情報を同期更新する動画の作成に使用します。

プロジェクトに必要なのはNode.js 18以上、ffmpeg、ffprobeだけです。npm依存関係はなく、追加のAPI Keyも必要ありません。現在のClaude CodeまたはCodexセッションの利用枠を使います。

2つの主要機能

video-shots:ショット単位の分析

video-shotsは、完成動画をショット単位の分析表に分解し、長さ、画角、カテゴリー、カメラワーク、映像、リズムなどを記録します。ショットの切り替え位置と長さはffmpegが測定し、意味理解が必要な内容はモデルが判断します。最後に15項目の品質ゲートで結果を確認します。

生成されるレポートは外部依存のない単一ファイルのインタラクティブページで、オフラインでもダブルクリックして開けます。ページには埋め込みプレーヤー、再生に同期したハイライト、ショットへのクリックジャンプ、ショットのリズムバー、検索、フィルター、並べ替え、リスト表示とカード表示、冒頭・末尾のキーフレーム、統計分布、登場人物、品質チェックが含まれます。

ショット分析レポートのインタラクティブページ

狭い画面のデバイスでもショット表を確認できるため、さまざまな画面サイズで分析結果をチェックできます。

狭い画面で表示したショット表

video-sync:絵コンテ情報付き動画の合成

video-syncは、完成動画と絵コンテ情報を1つの映像にまとめるための機能です。動画のショットが切り替わると、対応する情報も同期して更新され、ショット一覧も自動スクロールして現在の項目をハイライトします。

  • 横長素材には上下配置レイアウトを使用できます。
  • 縦長素材には左右並列レイアウトを使用できます。
  • レイアウトは1つのCSSにまとめられているため、統一的に調整できます。

インストール前の準備

開始前に、以下のツールがインストールされていることを確認してください。

  • Node.js:バージョン18以上。
  • ffmpeg:動画処理とショットの切り替え位置の測定に使用。
  • ffprobe:通常はffmpegと一緒にインストールされ、メディア情報の読み取りに使用。

macOSユーザーはHomebrewでインストールできます。

brew install node ffmpeg

また、Claude CodeまたはCodexの少なくとも一方をインストールする必要があります。インストールスクリプトは現在の環境を確認し、対応する既存のディレクトリにskillをリンクします。

reelbench-skillsのインストール

クローンして自動インストール

まずリポジトリをクローンし、インストールスクリプトを実行します。

git clone https://github.com/eternityspring/reelbench-skills.git
cd reelbench-skills
./scripts/install.sh

デフォルトでは、スクリプトがローカル環境に応じてskillを~/.claude/skills/および/または~/.codex/skills/へシンボリックリンクします。

インストール先を選択

特定のツールだけにインストールしたい場合は、対応するオプションを使用します。

./scripts/install.sh --claude
./scripts/install.sh --codex

1つ目のコマンドはClaude Codeだけに、2つ目はCodexだけにインストールします。

1つのskillだけをインストール

現在ショット分析だけが必要な場合は、名前を指定してインストールできます。

./scripts/install.sh video-shots

同様に、実際の用途に応じてリポジトリに用意された他のskillを選択できます。

シンボリックリンクを使わない

各skillは自己完結しているため、対象ディレクトリに直接コピーすることもできます。

cp -r skills/video-shots ~/.claude/skills/

コピー方式は簡単で直接的ですが、リポジトリの更新後に再度コピーする必要があります。シンボリックリンク方式なら、更新内容がClaude CodeまたはCodexのskillディレクトリにすぐ反映されます。

基本的な使用手順

video-shotsで完成動画を分析

  1. video-shotsが、使用中のClaude CodeまたはCodexにインストールされていることを確認します。
  2. 分析する動画ファイルを用意します。
  3. 現在のセッションで、video-shotsを使って動画をショット分析し、希望する出力言語を指定します。
  4. 処理が完了したら、まず生成されたHTMLレポートを開き、ショットの区切り、キーフレーム、品質結果を確認します。
  5. その後の処理が必要な場合は、JSON、Markdown、またはモーションカーブのデータを読み取ります。

セッションでは、次のようなタスクを指定できます。

video-shotsを使ってこの動画をショット単位で分析し、ショットの長さ、画角、カテゴリー、カメラワーク、映像、リズムを出力して、品質ゲートも確認してください。

リポジトリの英語広告サンプルでは--lang enを使用しており、レポートの内容も英語です。英語の成果物が必要な場合は、タスクで言語を明示し、このオプション設定を参考にしてください。

ショット分析の成果物を理解する

リポジトリにあるdemo-reportは、202.9秒のAIショートフィルム『啥是AI』から作成されています。サンプルでは53ショットを識別し、平均ショット長は3.83秒、1分あたりの切り替え回数は15.7回で、15項目すべての品質ゲートに合格しています。

サンプルディレクトリには、典型的な成果物の構成が示されています。

demo-report/
├── shots-report.html
├── shots.json
├── shots.md
├── track.json
└── frames/
  • shots-report.html:ダブルクリックで直接開ける、単一ファイルのインタラクティブなショット分析レポート。
  • shots.json:ショット分析の主要データ。
  • shots.md:Markdown形式のショット表。
  • track.json:フレーム間差分から得たモーションカーブ。機械測定の証拠として使用。
  • frames/:各ショットの冒頭・末尾のキーフレーム。53ショットのサンプルでは画像が106枚あります。

まずHTMLレポートで視覚的な確認を行い、その後の自動化要件に応じてshots.jsonまたはtrack.jsonを使用することをおすすめします。

video-syncで同期表示動画を作成

  1. 完成動画と対応する絵コンテ情報を用意します。
  2. video-syncがインストールされていることを確認します。
  3. Claude CodeまたはCodexのセッションで、このskillを使って動画を合成するよう指示します。
  4. 横長または縦長の素材に応じて、上下配置または左右並列レイアウトを選択します。
  5. 生成後、ショットの切り替え、情報の更新、一覧のスクロールとハイライトが同期しているか確認します。

タスクの指示は次のように記述できます。

video-syncを使って、この動画と絵コンテ情報を合成してください。ショットの切り替え時に情報を同期更新し、ショット一覧を自動スクロールしてハイライトしてください。

リポジトリのサンプルでは、30秒の英語広告動画と5ショット分の絵コンテ情報を合成しています。出力サイズは1280×1296です。関連ファイルはdemo-syncサンプルディレクトリで確認できます。

応用テクニック

シンボリックリンクで素早く更新

インストールスクリプトでシンボリックリンクを作成している場合は、リポジトリで次を実行するだけです。

git pull

更新内容はリンク済みのskillにすぐ反映されるため、ファイルを再度コピーする必要はありません。プロジェクトのバージョンを継続的に追いかける場合に特に便利です。

必要なものだけをインストールして環境への影響を抑える

Claude Codeだけを使う場合は--claudeを、Codexだけを使う場合は--codexを付けます。ショット分析だけを行う場合はvideo-shotsだけをインストールし、skillディレクトリを簡潔に保つこともできます。

機械測定の証拠を優先して確認

ショット分析の結果に疑問がある場合は、track.jsonのフレーム間差分によるモーションカーブと、各ショットの冒頭・末尾のキーフレームを組み合わせて再確認できます。プロジェクトでは切り替え位置と長さをffmpegに測定させることで、定量化できる部分とモデルが判断する部分を分けています。

レポートで素早く再確認

動画を再生しながら現在のショットが正しくハイライトされるか確認し、検索、フィルター、並べ替えを使って特定の画角、カテゴリー、人物を探します。ショットをクリックすると対応する時間へ移動し、キーフレームをクリックすると大きな画像を表示できます。確認後は、品質チェックの項目がすべて合格しているか確認します。

video-syncのレイアウトを調整

video-syncのレイアウトは1つのCSSにまとめられています。異なるアスペクト比に対応する場合は、横長向けの上下配置または縦長向けの左右配置を起点に調整でき、複数箇所のスタイルを個別に変更する必要はありません。

シンボリックリンクを解除

これらのskillが不要になった場合は、次を実行します。

./scripts/install.sh --uninstall

このコマンドは、インストールスクリプトが作成したシンボリックリンクを解除します。

まとめ

reelbench-skillsは、動画のショット分析と絵コンテ同期表示を、Claude CodeおよびCodexで利用できるskillとしてまとめたものです。video-shotsを使えば、機械測定の証拠、キーフレーム、品質チェックを備えたインタラクティブなレポートを取得できます。video-syncを使えば、ショットの切り替えと絵コンテ情報が同期する動画を作成できます。依存関係が少なく、追加のAPI Keyも不要で、シンボリックリンクによる更新とレポートのオフライン閲覧にも対応しているため、検証可能な動画分析ワークフローの構築に適しています。