Google傘下のAI研究所は現地時間12日、大規模な多言語手話テキスト変換（SL2T）翻訳モデルを発表した。
このモデルにより、手話AIが初めて消費者向け製品に登場した。Google Pixel 11シリーズのスマートフォンで、GboardとLive Transcribeアプリが手話からテキストへの入力に対応する（初期段階ではアメリカ手話のみで、今後はより多くの手話やデバイスに拡大される予定）。
世界では約7000万人の聴覚障害者が200種類を超える手話を使用している。新機能により、音声入力に似た柔軟な「タイピングの代替」体験を利用できる。テストでは、英語で入力するよりもアメリカ手話を使うほうが速く、自然で、快適であることが示された。
DeepMindによると、手話は独立した自然言語であり、独自の文法と語彙を持つ。そのため手話の翻訳には、手話を順番どおりに文字へ変換するのではなく、本格的な機械翻訳が必要になる。SL2Tの課題に対応するモデルには、手話話者の身体の複数の部位が同時に行う動きを「理解」する能力が求められ、強力なコンピュータービジョン処理能力が必要となる。
Google DeepMindのSL2Tモデルは、50種類を超える手話の10万時間分のデータを使って訓練された。手話を一連の姿勢特徴点の位置情報に変換することで、ユーザーのプライバシーと安全を守り、元の動画ストリームをサーバーに送信する必要がない。また、従来広く使われていた「中間アノテーション」を廃止し、空間情報を直接解釈する。