メインコンテンツへ移動
AIチュートリアル

GPT 6 Astraの身体性ポリシー評価を実行・探索する

GPT 6 Astraの身体性ポリシー評価リポジトリの使い方を学びます。バイリンガルレポートのプレビュー、静的サイトの再構築、オフラインテストの実行、RoboDojoまたはRoboLab評価の準備を、プロジェクトの環境とセキュリティ境界を守りながら行います。

約13分で読了
GPT 6 Astraの身体性ポリシー評価を実行・探索する

このプロジェクトの概要

このリポジトリには、ロボット制御で GPT 6 Astra を使用するための評価コードと、バイリンガルの技術レポートが含まれています。10 個の RoboDojo タスクについて、各タスク 5 件の対応ケースを用い、GPT 6 Astra Direct と、π₀.₅ のアクションをレビューし、必要に応じて修正するハイブリッドポリシーを比較しています。

ハイブリッドポリシーの平均 Score は 62.60、成功率は 48% です。実行された制御ステップの 14.4% で GPT の修正が使用されました。GPT 6 Astra Direct の成功率は 26%、ネイティブスコアを利用できる 48 エピソードでの平均 Score は 37.81 でした。両方の成功率は、選択された 50 件すべてのケースを使用しています。公式モデルとの比較は、同一シードで再実行した結果ではなく、公開参照値を再重み付けしたものです。

このリリースは、履歴情報を含まないソーススナップショットです。認証情報、非公開アノテーション、生のモデルセッション、元の運用ログ、シミュレータアセット、モデルチェックポイントは含まれていません。必要なシミュレータ環境とポリシー環境は、各上流プロジェクトから別途入手する必要があります。

リポジトリの構成

  • hybrid_rollout/robodojo/ には、シミュレータ統合、ポリシーサーバー、コントローラ、スキル、スケジューラが含まれています。
  • hybrid_rollout/robolab/ には、独立した RoboLab 統合が含まれています。
  • hybrid_rollout/report_site/ には、バイリンガルレポートのソース、ギャラリー、パッケージングツールが含まれています。
  • report_web/ には、ビルド済みレポートと 21 本の記事クリップが含まれています。
  • public_results/ には、選択されたケースのメタデータ、スコア、シード、出典情報が含まれています。
  • licenses/ には、サードパーティのライセンス告知が含まれています。

本番サイトには完全な動画ギャラリーが含まれており、別のリポジトリで管理されています。RoboDojo のウェブサイトには評価動画 100 本とギャラリークリップ 43 本があります。RoboLab のギャラリーには、3 つの手法、10 個のタスク、5 回の試行を対象とする 150 本の録画があります。

バイリンガルレポートをプレビューする

このリリースを確認する最も簡単な方法は、リポジトリのルートからローカルレポートのプレビューを起動することです。プレビューサーバーは動画のバイト範囲リクエストに対応しているため、レポートに含まれるクリップを効率的に再生できます。

python3 -m hybrid_rollout.report_site.preview --directory report_web --port 8768

ブラウザで http://127.0.0.1:8768/ を開きます。デフォルトでは英語が選択されています。言語ボタンを使用するか、?lang=zh を追加して中国語に切り替えてください。

静的な report_web/ ディレクトリは、標準的な HTTP サーバーでホスティングすることもできます。公開 GitHub Pages で提供されるのは、コンパイル済みの静的レポートと選択されたメディアのみであり、アノテーション API やロールアウトサービスは公開されません。

レポートフロントエンドを再ビルドする

レポートを再ビルドするには、ロックされた Vite のバージョンに対応する Node.js を使用します。このリリースでは Node 24 を使用しました。フロントエンドアプリケーションに移動し、ロックされた依存関係をインストールして、本番ビルドを実行します。

cd hybrid_rollout/report_site/app
npm ci --ignore-scripts --no-audit --no-fund
npm run build

ビルドにより、保持された共有ランタイムが検証され、自立型の dist/index.html が作成されます。このファイルを report_web/index.html にコピーし、data.json、scores.csv、citation.bib、ライセンス、メディアは同じ場所に保持してください。

公開用の著者作業スナップショットが含まれているため、このフロントエンドの再ビルドに非公開の実験ストアは必要ありません。フロントエンドの再ビルドだけを目的に build.py を実行しないでください。このオフライン証拠抽出ユーティリティには、元の非公開軌跡アーカイブが必要です。

新しい評価を準備する

新しい評価には、外部にインストールされた環境が必要です。このリポジトリは単独で動作するシミュレータ配布物ではありません。

  1. Isaac Sim 5.1、対応する RoboDojo のソースとアセット、π₀.₅ OpenPI/JAX チェックポイントをインストールして設定します。RoboLab には独自の環境とセットアップ要件があります。これらはすべて、各上流プロジェクトから、それぞれの利用条件に従って入手してください。
  2. hybrid_rollout/robodojo/SOURCE.json を確認し、記録された上流リビジョンとチェックポイントの識別情報を把握します。
  3. 独立したツール環境、シミュレータ環境、OpenPI/JAX 環境、チェックポイント、Codex CLI を準備します。シミュレータ環境とポリシー環境は、軽量なリポジトリツールから分離してください。
  4. hybrid_rollout/robodojo/cluster.env.example をコピーまたは確認します。パス、コンテナイメージ、ユーザー ID とグループ ID、認証情報ファイルのパス、明示的なケース識別子を設定してください。公開エクスポート内のパスは汎用的な例であり、実行可能なクラスタ認証情報ではありません。
  5. hybrid_rollout.robodojo.codex_backend.profiles を使用して、分離されたロールアウト認証を管理します。ログインやリース操作の前に、--help で CLI を確認してください。
  6. public_results/evaluation_cases.json を使用して、ポリシー間でタスク、シーン、シードを対応付けます。各ケースには、ハイブリッドの結果と Direct の結果が 1 件ずつ含まれています。

モデルは gpt-6-astra、推論設定は xhigh に固定されています。自身で認証済みアカウントまたはゲートウェイへのアクセスを用意する必要があり、ポリシーやモデルの実行には費用が発生する場合があります。

評価方法を選択する

ROLLOUT_EVALUATION_METHOD に設定して、ポリシーモードを選択します。

ROLLOUT_EVALUATION_METHOD=pi05_plus_gpt

ハイブリッドポリシーには pi05_plus_gpt を使用します。このモードでは、GPT が π₀.₅ のアクションをレビューし、必要に応じて修正できます。Direct ポリシーを選択するには、次を使用します。

ROLLOUT_EVALUATION_METHOD=gpt_only

gpt_only は GPT 6 Astra Direct を表す内部 CLI 識別子です。このモードでは π₀.₅ は起動しません。

コンテナのエントリーポイントは hybrid_rollout/robodojo/cluster_entrypoint.sh です。各コンテナは1つのケースを明示的に実行し、成果物を保存して、自身のコンポーネントをクリーンアップします。オプションの acp.py ファイルは SenseCore 固有の提出アダプターです。クラスター固有のキャンペーン移行ヘルパーには、デプロイ環境ごとの計画が必要であり、1コマンドで実行できる公開ローンチ手順ではありません。

再現可能なオフラインテストを実行する

オフラインテストには tools の依存関係が必要です。一方、シミュレーターと OpenPI の依存関係は、それぞれの環境に個別にインストールする必要があります。専用の仮想環境に requirements-tools.txt をインストールし、レポートと診断のテストを実行してください。

python3 -m unittest hybrid_rollout.report_site.test_i18n hybrid_rollout.report_site.test_editorial_revision -v
python3 -m pytest hybrid_rollout/robodojo/test_proposal_diagnostics.py hybrid_rollout/robodojo/test_prompt_context.py hybrid_rollout/robodojo/test_network_continue.py

これらのテストでは、シミュレーションやモデル呼び出しは実行されません。元の共有ストレージ、独自仕様のシミュレーター、または過去の運用フィクスチャに依存するテストは、この公開スナップショットだけでは再現できません。このリリースでは、有料モデルやGPUを使用する実験を再実行していません。

セキュリティとデプロイに関するガイダンス

codex_backend/profiles.py と codex_backend/config.toml のゲートウェイURLには、予約済みの .invalid プレースホルダーを使用しています。選択したプロファイルと対応する設定で、承認済みのエンドポイントを明示的に設定してください。ネットワークでプロキシ除外が必要な場合は、ROLLOUT_GATEWAY_NO_PROXY を設定してください。

APIキーや auth.json を決してコミットせず、対話型Codexのホームディレクトリも変更しないでください。認証情報は、制限された権限でリポジトリ外に保存してください。過去のプロファイル識別子は互換性のためだけに存在し、このリリースでは企業向けサービスやリレーサービスを設定していません。

アノテーションツールとレビューツールは、信頼できるローカルネットワーク上で使用してください。デフォルトのループバックバインドを維持するか、サービスをLANからアクセス可能にする前に、認証付きリバースプロキシを使用してください。Codexツールの実行とシミュレーターRPCは、分離された信頼できる環境内に保持し、信頼できないプログラム、シリアライズ済みRPCデータ、または軌跡アーカイブを提供しないでください。

高度な使用方法と研究リファレンス

ポリシーを比較する際は、public_results/evaluation_cases.json のケースメタデータを使用して、タスク、シーン、シードの対応関係を維持してください。ギャラリーマニフェストには各動画のURL、サイズ、SHA-256が記録されており、ダウンロードしたメディアの検証に役立ちます。

レポート、ギャラリー、動画コレクション全体については、レポートと動画ギャラリーをご覧ください。本番サイトのソースはウェブサイトリポジトリで公開されています。RoboLabギャラリーでは、RoboLabの個別の録画を提供しています。

プロジェクト所有のコードはMITライセンスです。サードパーティコンポーネント、フォント、ベンチマークアセット、ロゴには、それぞれの利用条件が適用されます。THIRD_PARTY_NOTICES.md を確認してください。モデルの重みとシミュレーターアセットは再配布していません。

結論

このリポジトリは、評価およびレポート用のソースリリースとして利用するのが最適です。付属のレポートをプレビューし、その静的フロントエンドを再構築し、利用可能なオフラインテストを実行して、文書化された環境の境界に従い、新たな RoboDojo または RoboLab の実行を準備してください。モデルやシミュレーターのワークロードを起動する前に、必要な上流依存関係を取得し、承認済みサービスを設定し、公開メタデータにケースを対応させ、認証情報と制御インターフェースを保護してください。