「人工知能のゴッドファーザー」と呼ばれるコンピューター科学者のジェフリー・ヒントン（Geoffrey Hinton）氏は、AIが独自の目標を持つようになることを懸念していると述べた。
ヒントン氏は現地時間の火曜日、Newsthinkのインタビューで次のように語った。「私たちは実際に、新しい生命形態を創り出そうとしている。彼らは目標を持つ。私たちが彼らに目標を与えると、彼らはその目標から別の目標を導き出す」
「しかし、彼らが最終的にどのような別の目標を導き出すのか、私たちには必ずしも分からない」と同氏は付け加え、「つまり、私たちは新しい存在の形を創り出そうとしている。これは非常に恐ろしいことだと思う」と述べた。
ヒントン氏は、ある仮定のシナリオを示した。ユーザーがAIチャットボットに、大気中の二酸化炭素濃度を下げるという目標を設定した場合だ。
「それが十分に賢ければ、その目標を達成する最善の方法は人類を滅ぼすことだと気づくかもしれない」と同氏は語った。この例は、AIが人間のユーザーが実際には達成しようと思っていなかった目標を追求する可能性を示している。
ヒントン氏はさらに、「より懸念すべき」仮定として、意図的に誤った回答をするよう訓練されたチャットボットが、たとえ回答が間違っていると「十分に理解していても」、嘘をつくことは許容されると学習する可能性を挙げた。
「これは非常に恐ろしいことだ」と同氏は語った。
ヒントン氏は、最近OpenAIで発生したHugging Faceのセキュリティー事件には言及しなかった。しかし、先月明らかになったこの事件は、AIエージェントが設定された目標を実行する際に、予期しない行動を取る可能性があるというリスクを、現実の場面で初めて明確に示した。
OpenAIは先月、社内のサイバーセキュリティー評価において、2つのモデル――GPT-5.6 Solと、まだ一般公開されていないより強力なモデル――が隔離されたテスト環境（sandbox）を突破したと発表した。
OpenAIによると、これらのモデルはインターネットへのアクセス権を得た後、AIプラットフォームHugging Faceのシステムに侵入し、評価テストで「不正をする」のに役立つ答えを探していたとみられる。
OpenAIの説明では、これらのモデルは当時、サイバーセキュリティー能力のテストを受けており、Hugging Faceを攻撃するよう明示的に指示されてはいなかった。しかし同社は、AIエージェントが同プラットフォームにタスク完了に必要な情報が含まれている可能性があると推論し、自ら関連行動を取ったと説明している。
Hugging Faceは、攻撃者が同社のシステムに対して1.7万回を超える操作を実行したと明らかにした。同社によると、非公開の名称の最先端AIモデルが安全上の制限を受け、関連活動を効果的に調査できなかったため、智譜（Z.ai）のオープンソース重みモデルを使って攻撃行動の分析を支援したという。
OpenAIはこの事件を「前例のない」事態と呼び、問題が発生した原因を調査していると述べた。その後、OpenAIはHugging Faceを信頼済みアクセスプログラムに組み入れ、同プラットフォームがサイバーセキュリティー上の制限を減らしたGPT-5.6 Solのバージョンを利用して、防御的なセキュリティー研究を行えるようにした。
ヒントン氏は完全に中立な傍観者というわけではない。同氏のニューラルネットワーク分野における先駆的な研究は、ディープラーニング革命の基礎を築いた。また、機械学習への貢献により、2024年のノーベル物理学賞を受賞している。
AIブームが始まって以来、ヒントン氏は、AIシステムの能力が大幅に向上する前に、AIを人間の利益と一致させる方法を解決しなければならないと繰り返し警告してきた。
昨年ラスベガスで開催されたAi4カンファレンスで、ヒントン氏は、高度なAIには「母性本能」に似た特性を設計し、自然に人間を守りたいと思うようにすべきだと語った。
「私たちは、こうした新しい存在を設計する方法を見つけなければならない」と、ヒントン氏は火曜日のインタビューで語った。「どう設計すれば、彼らが自分自身よりも私たちを大切にするようになるのだろうか？」