OpenAIは本日（7月31日）、フレームワークを改善することで、GPT-5.6 SolモデルのARC-AGI-3スコアが188%向上したと発表しました。
注：ARC-AGI-3はARC Prizeチームが開発した新しいインタラクティブ推論ベンチマークで、現在、AIの汎用人工知能（AGI）を測定する世界で最も厳格かつ高度なインタラクティブ推論評価基準として広く認められています。
このベンチマークは、従来のAIにおける「問題を解く」形式や知識質問応答の静的なテスト方式を完全に打ち破り、AIを未知の「ゲーム環境」に直接投入して、人間のようなリアルタイムの探索、学習、適応能力を備えているかを評価します。
最適化を行う前のGPT-5.6 SolのARC-AGI-3ベンチマークスコアは7.8%でした。一方、GPT-5.5モデルのスコアはわずか0.4%でした。
OpenAIは検証の結果、GPT-5.6シリーズの公式フレームワークに、GPT-5.6 Solの性能に影響する2つの仕組みがあることを発見しました。
1つ目は、ゲーム内の各アクション後にプライベート推論が破棄されることです。つまり、GPT-5.6 Solはアクションを1回実行するたびに、ゲームを改めて理解する必要があります。モデルは過去のアクション記録と短いメモを見ることはできますが、それらのアクションにつながった計画、洞察、思考過程を見ることはできません。
2つ目は、公式フレームワークがローリング・トランケーション・ウィンドウを採用していることです。履歴が長くなるにつれて、古いアクションがコンテキストから消えていきます。つまり、GPT-5.6 Solは過去の思考を保持できないだけでなく、過去のアクションの記憶も失ってしまいます。
これらの問題に対して、OpenAIは推論保持（inference preservation）とコンテキスト圧縮（context compression）という2つの解決策を提案しました。
推論保持については、OpenAIはResponses APIを使ってARC-AGI-3のテストフレームワークを再実装しました。GPT-5.6では、前回のresponse IDを渡すだけで、ツール呼び出しや複数ターンのインタラクションにおける推論を自動的に保持できます。
OpenAIによると、推論保持を有効にすると、GPT-5.6は各ラウンドでゲームを改めて説明する必要がなくなります。その結果、各アクション前の思考に費やす時間が減り、過去の考えを保持できるため、時間の経過とともに学習しやすくなり、より一貫した戦略を採用できるようになります。
コンテキスト圧縮については、公式のARC-AGI-3フレームワークは会話コンテキストが175000文字を超えると、最も古いメッセージを破棄します。OpenAIは、ローリング・トランケーションには2つの欠点があると説明しています。モデルが初期の観察やアクションを失うこと、そしてタスクの大部分でより満杯に近いコンテキストウィンドウを使って動作するため、性能がわずかに損なわれる可能性があることです。
コンテキスト圧縮を有効にすると、GPT-5.6 Solは長時間のタスクで各ゲームについて学習した情報をより適切に保持し、より少ない出力トークンで高いスコアを獲得できます。
公式harnessを使用した場合、GPT-5.6 SolのARC-AGI-3スコアは13.3%でした。一方、推論保持（inference preservation）とコンテキスト圧縮（context compression）を有効にすると、GPT-5.6 Solは出力トークン数を6分の1に削減しながら、38.3%のスコアを達成し、成績が188.42%向上しました。
harness（一般にハーネスエンジニアリングと呼ばれる）とは、大規模モデルの外部に配置され、実行環境、ツール統合、ルールによる制約、フィードバック機構を提供するシステムアーキテクチャ全体を指します。
強力なAIモデルを、力に満ちているものの制御しにくい荒馬にたとえるなら、harnessはその手綱や鞍、乗り手の進路にあたります。モデル自体のアーキテクチャを変えるのではなく、モデルを安全かつ信頼性の高い形で制御し、複雑な作業を実際に完遂できるかどうかを決めるものです。
