央视ニュースによると、最近、AIを使ったお見合い詐欺が社会で発生しており、中高年女性を専門に狙い、犯罪者がAIでいわゆるお見合い相手を生成して金銭をだまし取っている。最近、四川省成都市の警察は「AIお見合い」詐欺グループを摘発し、王某ら28人の犯罪容疑者を相次いで逮捕した。
IT之家が通報内容を確認したところ、通報者の卞さんは動画プラットフォームで結婚相談所を見つけ、お見合いを希望していると伝えた。その後、「マッチングセンターの王主任」というアカウント名の人物から「李さん」の紹介が送られてきた。そこには「李さん」の個人情報が詳しく記載され、写真も1枚添えられていた。卞さんはお見合いサービス料として2000元を相次いで支払ったが、「李さん」とはどうしても連絡がつかず、画面の向こうの「王主任」も返信しなくなった。
警察が調べたところ、卞さんと契約した会社は存在していなかった。しかし現地確認では、それと非常によく似た会社が見つかった。この会社は結婚相談業を主力としていたが、現場にはお見合い担当者も、いわゆる「仲人」もおらず、いたのは営業職、編集職、配信者だけだった。編集担当者のパソコンには、通報者が提供した婚活相手の男性の資料とまったく同じAI画像が表示されていた。
数々の異常から、警察はこの会社が普通の結婚相談サービス会社ではないと気づいた。その後、警察は現場の従業員を通じて会社経営者の王某と連絡を取った。電話で王某は返金に応じると述べたが、契約内容については一貫して話をそらした。卞さんの返金要求は解決したものの、捜査担当者はそこで捜査を終えなかった。王某の配信アカウントを連日張り込んだ結果、いわゆる「李さん」の姿が頻繁に画面に登場していることを警察は確認した。
確かな証拠を押さえた警察は、王某ら28人の犯罪容疑者を逮捕した。逮捕現場では、この一味はなおもAIで生成した男性の姿を使って配信し、多数のトーク例や台本を作成していた。AI画像の人物設定からセリフのやり取りまで、配信中のあらゆる工程が入念に設計されていた。
ネットユーザーの信頼を深めるため、配信者はボイスチェンジャーを使い、「お見合いを求める優良な男性」になりすましてライブ通話を行っていた。調べによると、このいわゆる結婚相談所は実際のお見合いサービスを一切提供していなかった。被害者がサービス料を支払った後、被害者と話していたのも、いわゆる優良な男性たちではなく、会社のアフターサービス担当者が引き続き一人二役を演じていた。
1年足らずの間に、このグループの犯行による被害総額は100万元余りに達し、約50人余りが財産的損失を被った。現在、王某ら28人の犯罪容疑者には、公安機関により法に基づいて刑事強制措置が講じられている。
央视ニュースは、AIを使って架空の人物設定を作るこの種の詐欺手口の危険性は明らかであり、さらに懸念されるのは、こうした詐欺が現在もショート動画プラットフォーム上に存在していることだと指摘した。プラットフォームは検知と警告を強化し、リスクの段階別対応メカニズムを構築すべきだ。AI生成の疑いがあり、婚活・交流への誘導特徴を持つライブ配信やショート動画を検知し、ユーザーを外部サイトへ誘導したり、サービス料を要求したりする詐欺の兆候がある場合、プラットフォームはコンテンツへのラベル付けだけにとどまらず、段階に応じて制限措置を講じ、規定に基づいて詐欺関連の手がかりを公安、ネット情報などの主管部門へ移送すべきである。
専門家は、技術手段を更新し、プラットフォーム間の連携ガバナンスを強化することで、問題解決への道を見いだせると提案している。プラットフォームはAI生成コンテンツの表示義務を厳格に履行するだけでなく、AIコンテンツの識別・リスク管理システムを整備し、高リスクの詐欺関連コンテンツに対する監視、警告、連携対応を強化すべきだ。アルゴリズムによって配信を遮断し、情報源から虚偽情報の生存空間を狭める必要がある。一般ユーザーも自身のリスク意識を高め、AI生成の疑いがあるコンテンツに対しては、技術的な検査を利用して真偽を見分けることができる。