AIモデルを使って別のAIモデルを訓練することが、次世代のAI研究所が重点的に探究する方向性になりつつある。現地時間28日、Anthropicの研究員プログラムに所属する研究者が、この構想を実際に導入した場合にどのような形になるのかを示した。
Anthropicは最新論文「自動化研究員はアラインメントの失敗を確実に軽減できる」を発表し、AIシステムを利用して一連のアラインメント評価におけるモデルの性能を改善する方法を紹介した。研究チームは10種類の具体的な不整合行動を対象にテストを設定。自動化システムは最終的に10項目すべての指標を改善し、同時にモデル全体の能力も損なわなかった。
このシステムは、Anthropicの研究員プログラムのメンバーである陳岳翰氏（音訳）が率いて開発したもので、ワークフローは従来の科学研究と似ている。自動化システムはまず既存の文献を調査し、訓練方法を提案。その後、計画に沿ってモデルを30分間訓練し、複数回の試行を通じてテスト成績を段階的に向上させる。有効な手法は残し、効果のない手法は淘汰することで、研究プロセス全体を迅速にスケールできる。
論文は、全体として、これらの結果が自動化されたアラインメント後訓練が近い将来、実際に実行可能な手法になる可能性を初めて示すものだと指摘している。
この研究は、再帰的な自己改善に向けた一歩でもある。多くの人は、再帰的な自己改善をAI発展の次なる重要な段階と見なしている。AIモデルが自身のアラインメント訓練方法を改善できるなら、より広範な訓練プロセスをさらに改善することも不可能ではない。その段階に至れば、人間のAI研究者は次第に存在する必要性を失う可能性すらある。
論文では、自動化アラインメント研究員（AAR）と人間の研究者の性能も直接比較している。「最も優れたAAR手法は、平均でわずか6時間で、経験豊富な人間の研究者が提案した手法を上回ることができた。人間が方向性を示した研究が、より優れた性能につながることはなかった」
コスト差も同様に大きい。「AARに必要なAPI推論コストは1時間あたり約4ドル（注：現在の為替レートで約27元）にすぎない。一方、人間の研究者に支払った費用は1時間あたり150ドル（現在の為替レートで約1,011元）だった」
ただし、この手法には依然として明確な限界がある。自動化システムの効果はまず、ベンチマークが真のアラインメント目標を正確に反映できるかどうかに左右される。ベンチマーク自体の信頼性が確保されていても、その構築と長期的な維持には依然として多大な投資が必要だ。自動化研究員が依存する研究文献も、継続的な維持と拡充が求められる。
参考
Automated researchers can reliably mitigate alignment failures