SeedRealtime – ByteDanceが発表したネイティブ音声・映像フルデュプレックス大規模モデル 運営中

SeedRealtimeは、ByteDanceのSeedチームが開発したネイティブ音声・映像フルデュプレックス大規模モデルです。統合アーキテクチャにより音声、映像、テキストをネイティブに融合し、見ながら、聞きながら、話しながら行う全モーダルのリアルタイムインタラクションを実現します。音声・映像の統合理解、能動的なインタラクション、滑らかな対話リズムという3つの主要なブレークスルーを備え、エンドツーエンド評価では、カスケード型モデルと比べて対話リズムに関する問題を半減させています。現在、豆包アプリで全面展開されており、業界初の大規模導入された音声・映像フルデュプレックスAI製品となっています。

音声・映像の統合理解：音声、映像、時間情報をネイティブに深く融合し、視覚的な場面と組み合わせて同音異義語の曖昧さを解消し、時間的な指示対象を正確に理解します。見たもの、聞いたもの、話したものを一体的に認識できます。
能動的なインタラクション：環境を継続的に認識し、能動的に発話する能力を備えています。画面の状態が変化した際にユーザーへ能動的に通知し、ツールを呼び出して表現に取り入れることで、受動的な応答を能動的な協働へと進化させます。
滑らかなインタラクションのリズム：ユーザーの対話状態とコミュニケーションのリズムをリアルタイムに把握し、適切なタイミングで自然に会話へ入り、間を取り、応答します。高い耐干渉性を備え、周囲の雑談と背景ノイズを区別できます。
複数人の状況認識：複数人がいる騒がしい環境でも、顔の認識、音源の識別、内容の理解を同時に行い、一人ひとりの声と身元を継続的に対応付けます。

エンドツーエンドの統合モデリング：エンドツーエンドの音声・映像統合モデリングフレームワークを採用し、認識、理解、意思決定、表現を同一モデル内で同期して行います。これにより、カスケード型システムにおけるASR→VLM→TTSの多段階処理による情報損失と遅延の累積を回避します。
ネイティブなフルデュプレックスインタラクション：外部VADルールによる発話ターンの判定に依存せず、モデル自身がマルチモーダル情報の流れに基づいて対話状態とタイミングを継続的に判断します。これにより、一問一答の半二重方式ではなく、本当の意味で「話しながら聞く」ことを実現します。
音声・映像の時間的アライメント：音声、映像、時間情報を統一的にモデリングし、現在の場面、ジェスチャー、視線、過去の動作を組み合わせてユーザーの意図を理解します。クロスモーダルな曖昧さの解消と指示対象の解析を実現します。
低遅延のエンジニアリング最適化：音声・映像入力のチャンク化とストリーミング生成に加え、高効率な量子化と推論最適化を組み合わせ、「聞く—理解する—応答する」までのエンドツーエンド遅延を継続的に短縮します。

豆包アプリを更新：豆包アプリを最新バージョンに更新します。
音声通話に入る：アプリを開き、任意のチャット画面で「電話をかける」ボタンをタップします。
ビデオモードに切り替える：通話画面に入ったら、カメラとマイクの権限を許可し、ビデオ通話に切り替えます。
リアルタイムインタラクションを開始：画面を見せながら自然に話すと、モデルが音声・映像のストリームを同期して認識し、リアルタイムに応答します。
能動的な観察を使う：継続的な観察を指示できます。モデルは対象が現れたり画面が変化したりした際に、能動的に通知します。

エンドツーエンドの統合アーキテクチャ：単一モデルで音声、映像、テキストをネイティブに融合し、カスケード型システムで複数モジュールを直列接続することによる情報損失と遅延の累積を解消します。
ネイティブなフルデュプレックスインタラクション：外部VADルールに依存せず、モデルがマルチモーダル情報の流れに基づいて対話のタイミングを継続的に自律判断します。一問一答ではなく、本当の意味で「話しながら聞く」ことを実現します。
音声・映像の統合理解：音声、映像、時間情報を深く融合し、視覚的な場面と組み合わせて同音異義語の曖昧さを解消し、「これ」「あそこ」などのクロスモーダルな指示対象を正確に解析します。
能動的な環境認識：継続的な視覚観察能力を備え、画面の状態が変化したり対象が現れたりした際に能動的に通知します。インタラクションを受動的な応答から能動的な協働へと進化させます。
滑らかで耐干渉性の高いリズム：ユーザーの対話状態をリアルタイムに把握し、騒がしい環境でも雑談と正式な質問を正確に区別します。カクつきと誤作動をカスケード型モデルと比べて半減させています。

プロジェクト公式サイト：https://seed.bytedance.com/en/seedrealtime

スマートガイド：博物館で展示品の映像を継続的に観察し、対象が現れた際に歴史的背景や制作技法の詳細を能動的に解説します。
外国語の会話練習：画面を組み合わせてリアルタイムに発音を訂正し、例文を作成します。騒がしい環境でも学習者に常に集中します。
機器操作のガイド：複雑な機器を操作する際、視覚的な状態の変化に基づいてリアルタイムに誤りを指摘し、調整方法を提案します。
移動情報アシスタント：空港の騒がしい環境で大型ディスプレイのフライト情報を認識し、到着時刻に回答するとともに、経路を案内します。
子どもの学習支援：子どもと学習する際、画面の内容をリアルタイムに観察して発音を訂正し、背景の人の声にも影響されません。