Neonは昨日（8月6日）ブログ記事を公開し、Castform社と連携して検索モデル向けのトレーニング手法を発表しました。
注：Neonは完全マネージド型のサーバーレス（Serverless）PostgreSQLデータベースです。コンピューティングとストレージを分離し、自動スケーリング、必要に応じたゼロまでのスケールダウン、Gitのようなデータベースブランチ機能をサポートしており、最新のクラウドネイティブアプリケーションやAIエージェントに適しています。
一方、Castformは主に企業や開発者向けに、AI音声エージェントとモデルのトレーニングプラットフォームを提供しています。非常にリアルな音声インタラクションと自動化されたワークフローにより、企業の日常的な通話、営業フォローアップ、カスタマーサポートを支援します。
ブログ記事では、優れたAIエージェントには次の2つの能力が必要だと指摘しています。1つ目はツールを使って正しいコンテキストデータを見つけること、2つ目は検索にどのモデルを使うかを判断するルーティング能力です。
そこでNeonチームはCastform社と連携し、強化学習を用いて4Bパラメータのオープンソースモデルを後学習しました。検索タスクにおいて、このモデルの精度はOpenAIのGPT-5.6 Solと同等、あるいはそれ以上で、コストは後者の約1/100でした。
Neonチームによると、現在ドキュメント検索で主流となっているのは埋め込み検索（embedded search）です。通常、ドキュメントを数値データに変換し、類似した内容を検索します。
しかし、AIエージェントの普及に伴い、検索プロセスはエージェント型検索へと移行し始めています。このようなシステムでは、AIモデルが大きな問題を複数の小さな問題に分解し、検索クエリを自律的に決定して検索結果を確認します。その結果に基づいて次の検索を行い、必要な情報を集めるまで検索を続けます。
Neonによると、エージェント型検索は複雑な問題への対応に適していますが、検索のたびに高性能モデルを呼び出す必要があるため、時間とコストが増加します。Neonが示した典型的なリクエストの場合、GPT-5.6 Solを使った1回の検索リクエストには10秒以上かかり、コストは約$0.03です。
Castformは、比較的小規模なオープンソースモデルをトレーニングし、特定のデータから必要な情報を見つける方法を学習させることを選びました。Neonはドキュメントの保存場所と検索機能を提供し、Castformは「何を検索すべきか」をモデルに判断させるトレーニングを担当しました。
トレーニングでは、モデルがタスクの完了を試み、システムが結果を採点し、その評価結果を後続の試行に反映します。評価項目には、正しいドキュメントを見つけたか、適切な段落を引用したか、最終回答が正しいかが含まれます。
Neonの検証では、Castformによる後学習を受けたモデルの平均評価スコアは1.447となり、GPT-5.6 Solの1.369を上回りました。また、比較対象のGPT-5.4の1.377も超え、この検証における最高記録を更新しました。
コスト面では、後学習モデルの1回あたりの推論コストは0.000929ドル（現在の為替レートで約0.0063元）。GPT-5.6 Solの1回あたりの推論コストは0.087338ドル（現在の為替レートで約0.59元）でした。