今週、大量の貴重な書籍が大規模言語モデル（LLM）の訓練データを提供するためだけにまとめて粉砕されているという情報が伝わり、読書愛好家や一般のネットユーザーから幅広い注目を集めた。
報道によると、一部の書籍業者は最近、異常なほど大量の書籍の注文を受けた。業界関係者は、AI企業がより高品質でクリーンな訓練データを得ると同時に、著作権リスクをできる限り回避しようとしているのではないかと推測している。そして今回の論争の焦点となったのが、書籍データベースサイトのISBNdbだ。外部からは、同サイトがこうした行為を促しただけでなく、AI企業と書籍業者の仲介まで行ったと見られている。世論が急速に広がるなか、ISBNdbはこの論争との関係を断とうとし、以前公開していた関連コンテンツを削除した。
ISBNdbは最新の声明で、「当社は最近、ウェブサイト上のマーケティング用ランディングページに関する報道を把握しており、それが引き起こした懸念も理解しています。当社はAIモデルを訓練しておらず、関連事業に携わったこともありません。あのページは市場ニーズを試すためのもので、関連サービスが実際に開始されたことはありません。現在、当該ページは削除しました」と述べた。
数日前、404 Mediaは、複数の書籍業者が突然、大量の書籍購入注文を受けたと報じた。学校や図書館では近年、予算が逼迫し、購入需要も減少しているため、多くの業者は経営上のプレッシャーを抱えており、このような高額注文を受け入れやすい状況にあった。
当時、外部では背後にいる買い手はAI企業ではないかとの見方が広がった。ISBNdbが世論の焦点となったのは、同サイトがかつて、AI企業と書籍保管業者を結びつけることに特化したようなサービスを提供していたためだ。
現在は削除された宣伝ページには、かつて次のように記されていた。「世界最高品質のAI訓練データは、本棚に並んでいる。書籍には、選別され、査読され、専門分野で蓄積された人類の知識が含まれている。その構造化の度合いは、いかなるウェブクローラーにも再現できない。内容は濃密で、編集され、権威性を備えている」
実際、こうした行為が明らかになったのは今回が初めてではない。今年1月には、公開された裁判資料によって、Anthropic社内で「Project Panama（パナマ計画）」と呼ばれるプロジェクトの存在が明らかになった。このプロジェクトは、できる限り大量の書籍を購入し、デジタルスキャンを終えた後に紙の書籍を廃棄することを目的としていた。
その後、Anthropicは著作者らと総額15億ドル（注：現在の為替レートで約101.47億元）の和解に合意した。しかし、後に公開された裁判資料によると、この行為自体は合法と見なされており、同社が本当に懸念していたのは、それによって生じる世論の反発だった。そのためAnthropicは、関連する行為が明るみに出るのを避けるため、高額な代償を支払うことを受け入れた。
現在、この内幕が公になったことで、最近相次いでいる貴重な書籍の大量購入注文にも、より厳しい注目が集まっている。
ある匿名の書籍販売業者は404 Mediaの取材に対し、「こうすれば、もともと売るのが難しかった在庫を処分できるうえ、収入も得られる。一方で、これらの書籍が最終的に使われる目的は好きではないし、希少な書籍がそのままパルプにされるのを見るのも望んでいない」と語った。
報道によると、AI企業は「クリーン」な訓練データを入手することがますます難しくなるなか、新たなデータ源を探している。
インターネット上にあふれる低品質なコンテンツや、AI自身が生成したコンテンツの増加は、モデル訓練に「負のフィードバックループ」の問題を引き起こす可能性がある。そのため各社は、より高品質なデータを得ながら、外部の注目をできる限り避けようとしている。
今年の夏、映画会社A24はグーグルとの提携を発表し、DeepMindに訓練素材を提供すると明らかにした。これは、メディア生成モデルが、品質が低くスタイルも混在した大量のAIコンテンツから脱却するのを支援することを目的としている。
では、なぜ紙の書籍を廃棄する必要があるのか。報道では、痕跡を隠すためでも、希少な知識を収集するためでもないと見られている。
「パナマ計画」に関する資料には、書籍を廃棄する具体的な理由は記されていない。しかし、最も可能性の高い説明は、依然としてコスト削減だ。実際、書籍のデジタルスキャンは必ずしも原書を破壊する必要はないが、工程全体で低コストと高効率を追求するなら、より平らで鮮明なスキャン結果を得るために背を直接解体し、その後、損傷した書籍を古紙として処理する可能性が高い。