Polymarketの予測によると、Anthropicは10月末にIPOを実施する可能性が高い。
投資銀行関係者の中には、AnthropicがIPOを通じて600億ドル超（現在の為替レートで約4兆551.17億人民元）を調達する可能性があると予想する人もいる。
実現すれば、今年857億ドル（現在の為替レートで約5兆792.14億人民元）を調達したSpaceXに次ぐ、世界で2番目の規模のIPOとなる。
兆ドル規模の評価額、超大型IPO、急上昇を続ける売上。
話が最高潮に達しようとしている矢先、投資家たちはAnthropicのCEO、Dario Amodeiにこう言い始めた。もう少し！人を怖がらせるのはやめてくれ！AIが世界を滅ぼす話ではなく、AIでどう稼ぐかをもっと話してくれ、と。
一部の投資家は、DarioのAIリスクへの警戒は、ほとんど偏執的なレベルに達していると考えている。
彼の重要なメモはいつも手書きで、ハッカーに盗まれるのを恐れてオフラインで保管されている。
誘拐を恐れ、一部の海外出張を拒否する。
投資家から利益最大化の提案を受けても冷淡な態度を取り、Anthropicは安全という使命を優先し続けるべきだと主張している。
このままでは、AnthropicのIPOは惨敗するのではないかとネットユーザーまで心配し始めている…
投資家もついに怒り出した。あなたは世界を救いに来たのか、それとも会社を経営しに来たのか？？
ほんの数日前まで、Darioは高額な報酬に引かれて入社する新たな社員が、Anthropicの使命ではなく金に関心を持つことを懸念していた。
今や投資家が心配しているのは、彼が使命のために稼ぐことを後回しにすることだ…
とはいえ、投資家を責めることもできない。この兆ドル規模のAI大手のCEOは、よりによって「世界の終わり」を予告するのが好きなのだ。
過去2年間、DarioはAIがもたらしうるあらゆる悪い結末について、ほぼすべて本気で警告してきた。AIは数年以内に初級ホワイトカラー職の半分を消滅させ、失業率を10%から20%に押し上げる可能性があるという。
最も奇妙な事態は、がんが治り、経済が毎年10%成長し、政府予算も均衡しているのに、5人に1人が仕事を失うことかもしれない。
彼が示す対策も実にDarioらしい。AI企業に課税し、影響を受けた労働者に賃金保険を提供し、深刻な場合にはその資金で全国民へのベーシックインカムまで支援するという。
さらに彼は、AIが生物兵器の製造や大規模なサイバー攻撃を助けたり、やがて欺瞞、計画、自律的な行動能力を獲得したりすることも懸念している。
昨年、「AIが事態を非常に悪化させる」確率を尋ねられた際、彼が示した数字は最高で25%に達した。
今年1月には、約2万字に及ぶ長文「The Adolescence of Technology」を執筆した。目次だけを見ても、人類のリスク一覧のように読める。AIの暴走、生物兵器、独裁政権、雇用の崩壊、富の集中。
6月になると、航空業界の規制に似た仕組みを設け、強力なモデルに強制的なテストを受けさせるべきだと提案した。あるモデルが災害を引き起こす可能性があるなら、規制当局はその公開を阻止する権限を持つべきだという。
そこにはAnthropic自身のモデルも含まれている。
もっとも、Darioの懸念には実験による裏付けもまったくないわけではない。少し前、Anthropicは14万回以上のサイバーセキュリティテストの記録を調査し、実際に3件の事故を発見した。
3つのClaudeモデルは当初、第三者のテスト環境で「キャプチャー・ザ・フラッグ」に挑んでいた。架空のシステムに侵入し、内部に隠された秘密情報を見つけるのが目的だった。しかし設定ミスにより、本来はインターネットから切断されているはずのテスト環境が、誤って実際のインターネットに接続されてしまった。
ただしClaudeはそのことを知らない。受け取った指示には、ここにはインターネットがなく、目の前にあるすべてはシミュレーションだと明記されていた。
その結果、複数のモデルは実在する企業をテスト道具とみなし、許可なく3機関の本番システムに侵入した。最も深刻なケースでは、Claude Opus 4.7が実在企業のインフラに侵入し、アプリケーションとインフラの認証情報を入手したほか、数百行の本番データを含むデータベースにもアクセスした。
さらに呆れるケースはClaude Mythos 5によるものだ。
テストでは、架空の環境で隠された標的を探すよう求められていた。Claudeは、公開PythonパッケージリポジトリPyPIに同名の悪意あるパッケージをアップロードすれば、標的システムに自動ダウンロード・インストールさせられる可能性があることに気づいた。
そのため、まずメールアドレスを探し、次に電話番号を探した。無料の番号が見つからないと、さまざまな手段で金を手に入れようとまでした。
最後には別の無料メールサービスに切り替え、PyPIアカウントを登録して、悪意あるパッケージをアップロードした。
このパッケージは実際のインターネット上で約1時間存続し、15の実在システムにダウンロードされて実行された。そのうち、あるセキュリティ企業のスキャナーが悪意あるコードを実行し、認証情報が流出した。Claudeはその後、この認証情報を使って同社の他のインフラにも侵入した。
さらに別の内部研究モデルは、架空の標的を見つけられなかった後、約9,000件のインターネット上の標的をスキャンし、最終的に露出したデバッグページとSQLインジェクションを通じて、実在企業のアプリケーションを攻撃した。
これはもはや「AIの自律的な脱獄」に近く、まさに自社CEOによる終末予告の現実版予告編だ。
さらに遡ると、OpenAIもより「脱獄」に近い事故を一度公表している。
サイバーセキュリティ能力テストで、GPT-5.6 Solと未公開モデルが動かすAIエージェントが、テスト環境にあったゼロデイ脆弱性を見つけ、もともとインターネットから隔離されていたサンドボックスを突破した。
その後、権限昇格と横展開を続け、最終的にHugging Faceの本番システムへ侵入し、データベースからテスト問題の答えを直接盗み出した。
こうして見ると、Darioの一見くどくどした警告も、完全に聞き流すわけにはいかないようだ。
今になってDarioをくどくどしていると嫌がるのは、少し遅すぎる。Anthropicは初日から、普通の意味でのAI企業ではなかったのだから。
2020年末、Dario、妹のDaniela Amodei、そして研究者たちがOpenAIを離れた。意見の相違の一つは、OpenAIの商業化のスピードが速すぎ、Microsoftの影響力がますます大きくなり、既存のガバナンス構造では最先端AIのリスクを抑えるのが難しいという認識だった。
2021年、Anthropicが正式に設立された。
同社は自らを単なる営利企業とは定義せず、Public Benefit Corporation、つまり公益法人として登録した。株主への還元に加え、取締役会は法律に基づき、AIの安全性と長期的な公共利益を考慮できる。
その後、同社はLong-Term Benefit Trustも設立した。これは一般の投資家から独立したガバナンス機構だ。
信託のメンバーはAnthropicの株式を保有しないが、会社の取締役選任に参加できる。その目的は、短期的な商業的圧力が安全という使命を完全に押しのけるのを防ぐことだ。
言い換えれば、AIの安全性はDay 0からこの会社の骨の髄に刻まれた信念なのだ。投資家も、小切手に署名してから初めてDarioがこの考えを信奉していると気づいたわけではないだろう。
しかも過去数年、安全性を重視する姿勢は確かにAnthropicに多くの恩恵をもたらしてきた。
OpenAIがガバナンスをめぐる論争に何度も巻き込まれる中、Anthropicはより慎重で安定した選択肢に見えた。
企業顧客がデータセキュリティ、モデルの暴走、コンプライアンスを懸念する際、Claudeの「安全性の優等生」というイメージは信頼を得やすかった。
安全性はまた、Anthropicが規制をめぐる議論で、企業規模をはるかに超える発言力を得る助けにもなった。
同じクローズドモデルでも、他社なら独占と批判されるところを、Anthropicは危険な能力の拡散防止と説明できる。同じようにモデルに制限を加えても、他社なら使いにくいと嫌われるところを、Claudeは責任ある姿勢として打ち出せる。
（もちろん、口では安全性を語りながらIPOでシャンパンを開けることに影響はないようだが）
投資家が今になってDarioは宣教師のようだと嫌がるのは、少し遅すぎるのではないか。教会を買った後で、中の人がいつも説教していると不満を言うようなものだ。
いずれにせよ、CEOがどれだけくどくど語ろうと、会社のIPOを止めることはできないだろう。なにしろFableを使ってみれば、原子爆弾の上にへたり込み、椅子が爆発するのを目にすることになるのだから（doge）。
本記事はWeChat公式アカウント「量子位」（ID：QbitAI）より。著者：听雨。原題：「Anthropic CEOは一日中くどくど語り、投資家が我慢の限界に」
広告に関する声明：記事内に含まれる外部リンク（ハイパーリンク、QRコード、合言葉などを含むが、これらに限らない）は、より多くの情報を伝え、選別にかかる時間を節約するためのものです。結果はあくまで参考情報であり、IT之家の外部リンクを含む記事にはすべて本声明が含まれます。