SeedRealtime – Mô hình lớn song công âm thanh-video nguyên bản do ByteDance phát triển Đang hoạt động

SeedRealtime là mô hình lớn song công âm thanh-video nguyên bản do đội ngũ Seed của ByteDance phát triển. Dựa trên kiến trúc thống nhất, mô hình tích hợp nguyên bản âm thanh, video và văn bản, mang đến tương tác thời gian thực toàn phương thức với khả năng vừa xem, vừa nghe, vừa nói. Mô hình tạo ra ba đột phá cốt lõi: hiểu kết hợp âm thanh-video, tương tác chủ động và nhịp hội thoại mượt mà. Đánh giá đầu cuối cho thấy các vấn đề về nhịp hội thoại đã giảm một nửa so với mô hình xâu chuỗi. Hiện mô hình đã được triển khai đầy đủ trên ứng dụng Doubao, trở thành sản phẩm AI âm thanh-video song công đầu tiên trong ngành được triển khai ở quy mô lớn.

Hiểu kết hợp âm thanh-video: Tích hợp sâu nguyên bản âm thanh, hình ảnh và thông tin thời gian, có thể kết hợp bối cảnh hình ảnh để phân biệt các từ đồng âm, hiểu chính xác tham chiếu theo trình tự thời gian, đồng thời cảm nhận thống nhất những gì được nhìn thấy, nghe thấy và nói ra.
Khả năng tương tác chủ động: Có khả năng liên tục cảm nhận môi trường và chủ động biểu đạt, có thể chủ động nhắc người dùng khi trạng thái hình ảnh thay đổi, đồng thời gọi công cụ để đưa thông tin vào lời nói, nâng cấp phản hồi bị động thành cộng tác chủ động.
Nhịp độ tương tác mượt mà: Cảm nhận theo thời gian thực trạng thái hội thoại và nhịp giao tiếp của người dùng, tự nhiên tiếp lời, ngừng nghỉ và phản hồi đúng lúc. Mô hình có khả năng chống nhiễu tốt, có thể phân biệt trò chuyện của người xung quanh với tiếng ồn nền.
Nhận diện bối cảnh nhiều người: Trong môi trường nhiều người và ồn ào, mô hình đồng thời nhận diện khuôn mặt, phân biệt nguồn âm thanh và hiểu nội dung, liên tục liên kết giọng nói với danh tính của từng người.

Mô hình hóa thống nhất đầu cuối: Sử dụng khung mô hình hóa âm thanh-video thống nhất đầu cuối, đưa nhận thức, hiểu, ra quyết định và biểu đạt vào cùng một mô hình để xử lý đồng thời, tránh tổn thất thông tin và độ trễ cộng dồn qua nhiều giai đoạn ASR → VLM → TTS trong hệ thống xâu chuỗi.
Tương tác song công nguyên bản: Không phụ thuộc vào quy tắc VAD bên ngoài để phán đoán lượt nói. Bản thân mô hình liên tục quyết định trạng thái và thời điểm hội thoại dựa trên luồng thông tin đa phương thức, thực sự实现 “vừa nói vừa nghe” thay vì chế độ bán song công hỏi đáp một lượt.
Căn chỉnh trình tự thời gian âm thanh-video: Mô hình hóa thống nhất âm thanh, hình ảnh và thông tin thời gian, kết hợp bối cảnh hiện tại, cử chỉ, hướng nhìn và hành động trước đó để hiểu ý định người dùng, hoàn thành phân biệt nghĩa và phân giải tham chiếu xuyên phương thức.
Tối ưu độ trễ thấp trong kỹ thuật: Thông qua đầu vào âm thanh-video theo khối và quá trình tạo luồng, kết hợp lượng tử hóa hiệu quả cùng tối ưu suy luận để liên tục rút ngắn độ trễ đầu cuối từ “nghe thấy đến hiểu và phản hồi”.

Cập nhật ứng dụng Doubao: Cập nhật ứng dụng Doubao lên phiên bản mới nhất.
Vào cuộc gọi thoại: Mở ứng dụng, sau đó nhấn nút “Gọi điện” trong bất kỳ khung hội thoại nào.
Chuyển sang chế độ video: Sau khi vào giao diện cuộc gọi, cấp quyền camera và micro, rồi chuyển sang cuộc gọi video.
Bắt đầu tương tác thời gian thực: Vừa trình chiếu hình ảnh vừa nói chuyện tự nhiên; mô hình đồng bộ cảm nhận luồng âm thanh-video và phản hồi theo thời gian thực.
Sử dụng tính năng quan sát chủ động: Có thể đưa ra chỉ thị quan sát liên tục; mô hình sẽ chủ động nhắc khi đối tượng xuất hiện hoặc hình ảnh thay đổi.

Kiến trúc thống nhất đầu cuối: Sử dụng một mô hình duy nhất để tích hợp nguyên bản âm thanh, video và văn bản, loại bỏ tổn thất thông tin cùng độ trễ cộng dồn do nhiều mô-đun nối tiếp trong hệ thống xâu chuỗi.
Tương tác song công nguyên bản: Không phụ thuộc vào quy tắc VAD bên ngoài; mô hình tự chủ liên tục phán đoán thời điểm hội thoại dựa trên luồng thông tin đa phương thức, thực sự实现 “vừa nói vừa nghe” thay vì hỏi đáp một lượt.
Hiểu kết hợp âm thanh-video: Tích hợp sâu âm thanh, hình ảnh và thông tin thời gian, có thể kết hợp bối cảnh hình ảnh để phân biệt các từ đồng âm, đồng thời phân giải chính xác các tham chiếu xuyên phương thức như “cái này”, “ở đó”.
Cảm nhận môi trường chủ động: Có khả năng quan sát hình ảnh liên tục, có thể chủ động nhắc khi trạng thái hình ảnh thay đổi hoặc đối tượng xuất hiện, nâng cấp tương tác từ phản hồi bị động thành cộng tác chủ động.
Nhịp tương tác mượt mà, chống nhiễu: Cảm nhận trạng thái hội thoại của người dùng theo thời gian thực, phân biệt chính xác trò chuyện và câu hỏi chính thức trong môi trường ồn ào; tình trạng giật và kích hoạt nhầm đã giảm một nửa so với mô hình xâu chuỗi.

Trang web dự án: https://seed.bytedance.com/en/seedrealtime

Hướng dẫn viên thông minh: Liên tục quan sát hình ảnh hiện vật trong bảo tàng, chủ động giới thiệu bối cảnh lịch sử và chi tiết chế tác khi đối tượng xuất hiện.
Luyện ngoại ngữ: Kết hợp hình ảnh để sửa phát âm và đưa ra ví dụ đặt câu theo thời gian thực, luôn tập trung vào người học mục tiêu trong môi trường ồn ào.
Hướng dẫn vận hành thiết bị: Khi vận hành thiết bị phức tạp, dựa trên thay đổi trạng thái hình ảnh để sửa lỗi theo thời gian thực và đưa ra đề xuất điều chỉnh.
Trợ lý thông tin di chuyển: Trong môi trường ồn ào tại sân bay, nhận diện thông tin chuyến bay trên màn hình lớn, trả lời thời gian đến và cung cấp hướng dẫn lộ trình.
Hỗ trợ giáo dục trẻ em: Khi đồng hành cùng trẻ học tập, quan sát nội dung hình ảnh theo thời gian thực để sửa phát âm, không bị ảnh hưởng bởi giọng nói nền.