リッチ・サットン（Rich Sutton）氏は、現在の人工知能ブームを支える重要技術の先駆者の一人だ。しかし今、テクノロジー大手がAIの発展を持続させるために進めている方向性には、深刻な問題があると考えている。
カナダのコンピューター科学者でチューリング賞受賞者でもある同氏は、現地時間の火曜日に公開されたセコイア・キャピタルのポッドキャストで、AI業界が合成訓練データへの依存を強めており、業界全体を誤った方向へ導いている可能性があると語った。
合成データの利用が大規模言語モデルの継続的なスケール拡大に役立つかと問われると、サットン氏は率直にこう答えた。「これは絶対に大きな誤りです。おそらく、次に得られる重要な教訓になるでしょう」
合成データとは、現実世界の生データから収集したものではなく、アルゴリズムやAIモデルによって人工的に生成された情報を指す。AI企業がインターネットやその他の新たな訓練データ源を探し続ける中、合成データの魅力はますます高まっている。例えば、自動運転の訓練にはコンピューターが生成した自動車画像を、AI不正検知システムには架空の銀行取引記録を利用できる。
ある意味では、テクノロジー大手もサットン氏の見方を認めている。
各大手テクノロジー企業は、より多くの実データを得るためにあらゆる手段を講じている。OpenAIは以前、インターネットから容易に取得できないデータをAIモデルの訓練に利用するため、大規模で独自性のあるデータセットを探していると公表した。今週初めには、Googleが1,000万ドル（注：現在の為替レートで約6,756.9万元）を支払い、破産したSpirit Airlinesの社内データとソフトウェアを買収することに同意した。これは、AI訓練における独自の実データの価値が高まり続けていることを浮き彫りにしている。
サットン氏は火曜日のポッドキャストで、人工的に作られたデータでは実データを十分に代替できないと述べた。
同氏は人間の行動を例に挙げて説明した。「他人の思考のために合成データを作り出すことはできません」と語った。
サットン氏は、AIエージェントが現実の環境と相互作用し、実際に起きていることを観察し、行動の結果から学び続けることで得られる、現実の経験データを重視している。
「合成データによって、ドローンが現実の物理世界で環境とどのように相互作用するかを予測することはできません」とサットン氏は述べた。また、ロボットのモーターには摩擦や摩耗などの変数が存在すると指摘した。「この世界は極めて複雑で、どのようなシミュレーションもその一部を垣間見るにすぎません」
現在、この理念はあるスタートアップの事業方針となっている。
先月、サットン氏は元教え子のKhurram Javed氏とともにOak Labを設立した。同社は、あらかじめ整理された大規模なデータセットに主に依存するのではなく、自身の経験から継続的に学習できるAIエージェントを開発している。
現時点で、Oak Labは資金調達ラウンドや投資家に関する情報を公表していない。