Eleven Realtime Đang hoạt động

Eleven Realtime là dòng mô hình Agent giọng nói tích hợp do ElevenLabs phát triển, gồm hai phiên bản v1 Mini và v1 Max. Eleven Realtime tích hợp nhận dạng giọng nói, suy luận mô hình ngôn ngữ, gọi công cụ và tổng hợp giọng nói trong một mô hình duy nhất, thay thế phương thức kết nối nhiều thành phần truyền thống, đồng thời hỗ trợ hơn 90 ngôn ngữ và hơn 17,000 giọng nói. Mini tập trung vào hội thoại tự nhiên với chi phí thấp, còn Max hướng đến các tác vụ phức tạp, đạt độ chính xác suy luận giọng nói 98.8%, độ trễ âm thanh đầu tiên chỉ 0.57 giây. API tương thích với chuẩn OpenAI Realtime, giúp nhà phát triển dễ dàng chuyển đổi.

Tương tác giọng nói tích hợp: Tích hợp nhận dạng giọng nói, suy luận LLM, gọi công cụ và tổng hợp giọng nói trong một mô hình duy nhất, không cần xây dựng riêng ngăn xếp công nghệ ASR, VAD, LLM và TTS.
Hỗ trợ đa ngôn ngữ: Hỗ trợ hơn 90 ngôn ngữ, phù hợp với các ứng dụng giọng nói hướng đến người dùng toàn cầu.
Kho giọng nói phong phú: Tương thích với hơn 17,000 giọng nói trong thư viện ElevenLabs, cho phép tự do chuyển đổi giọng.
Lựa chọn linh hoạt giữa hai phiên bản: v1 Mini phù hợp với hội thoại tự nhiên chi phí thấp, còn v1 Max phù hợp với các tác vụ phức tạp.
Phản hồi độ trễ thấp: Độ trễ âm thanh đầu tiên trung bình chỉ 0.57–0.62 giây; trong đó Max nhanh hơn đồng thời duy trì độ chính xác suy luận giọng nói 98.8%.
Trải nghiệm hội thoại tự nhiên: Tối ưu hóa nhịp dừng, lượt nói, xử lý ngắt lời và các động thái hội thoại khác, đạt hơn 94% trên Full-Duplex-Bench.
Khả năng gọi công cụ: v1 Max đạt tỷ lệ hoàn thành tác vụ sử dụng công cụ 87.1%, có thể kết nối với hệ thống bên ngoài để thực hiện các thao tác nhiều bước.
Tương thích OpenAI API: Tuân theo chuẩn OpenAI Realtime API; nhà phát triển đã có tích hợp chỉ cần thay đổi endpoint và tên mô hình để chuyển đổi nhanh chóng.

Kiến trúc Speech-to-Speech đầu cuối: Eleven Realtime sử dụng mô hình đầu cuối chuyển giọng nói thành giọng nói: âm thanh người dùng được đưa trực tiếp vào mô hình, mô hình hoàn tất quá trình hiểu, suy luận và ra quyết định bên trong, sau đó xuất trực tiếp phản hồi bằng giọng nói. Không cần qua bước chuyển giọng nói thành văn bản hiển thị ở giữa, nhờ đó giảm độ trễ truyền tải và tổn thất thông tin giữa các thành phần.
Mô hình thống nhất thực hiện suy luận và gọi công cụ: Bản thân mô hình đảm nhiệm chức năng suy luận của mô hình ngôn ngữ: hiểu ý định người dùng, suy luận hội thoại nhiều lượt, xác định thời điểm gọi công cụ bên ngoài và tiếp tục tạo phản hồi bằng giọng nói dựa trên kết quả công cụ. v1 Max được thiết kế để tăng cường chuỗi xử lý này, đạt tỷ lệ hoàn thành tác vụ sử dụng công cụ 87.1%, cao hơn nhiều so với 60.3% của Mini.
Cơ chế động lực hội thoại tích hợp: Mô hình xử lý nguyên bản các “quyết định vi mô” của tương tác giọng nói: xác định sau khi người dùng dừng bao lâu thì nên tiếp lời, cách dừng và tiếp tục tự nhiên khi bị người dùng ngắt lời, cũng như thời điểm phát ra các tín hiệu phản hồi như “ừm” và “đúng”. Các cơ chế này được xác thực qua những chuẩn đánh giá như Full-Duplex-Bench, giúp nhịp hội thoại gần với người thật.
Suy luận theo luồng để đạt độ trễ thấp: Mô hình hoạt động theo phương thức streaming, vừa hiểu vừa tạo nội dung, không cần chờ hoàn tất đầu vào hoặc lập kế hoạch cho toàn bộ đầu ra, nhờ đó kiểm soát độ trễ âm thanh đầu tiên ở mức 570–620 mili giây. Điều này giải thích vì sao Max phản hồi nhanh hơn dù có độ chính xác cao hơn.
Cung cấp khả năng qua Realtime API trên WebSocket: Dịch vụ bên ngoài sử dụng kết nối WebSocket lâu dài để truyền âm thanh hai chiều theo thời gian thực; giao thức tương thích với chuẩn OpenAI Realtime API, cho phép nhà phát triển tiếp tục sử dụng OpenAI SDK. Nền tảng ElevenAgents còn đóng gói thêm các kênh điện thoại, Web, WhatsApp cùng các tính năng doanh nghiệp như cơ sở tri thức, hàng rào bảo vệ và giám sát.

Cách 1: Thông qua ElevenAgents (khuyến nghị, không cần mã) Đăng ký và đăng nhập: Đăng ký tài khoản trên website ElevenLabs và đăng nhập.
Tạo Agent: Truy cập ElevenAgents, tạo Agent mới hoặc mở Agent hiện có.
Chọn mô hình: Chọn Realtime v1 Mini hoặc v1 Max trong menu thả xuống.
Cấu hình khả năng: Tùy nhu cầu, cấu hình cơ sở tri thức, quy trình làm việc, hàng rào bảo vệ và các nội dung khác.
Xuất bản: Kết nối với các kênh như điện thoại, Web và WhatsApp; nền tảng tích hợp sẵn tính năng kiểm thử và giám sát để đưa vào vận hành.
Cách 2: Thông qua Realtime API (nhà phát triển) Chuẩn bị khóa: Lấy API Key trong bảng điều khiển ElevenLabs để xác thực.
Tái sử dụng mã hiện có: Nếu đã tích hợp OpenAI Realtime API, chỉ cần đổi địa chỉ WebSocket thành wss://api.elevenlabs.io/v1/convai/realtime và thay đổi tên mô hình.
Chỉ định mô hình và giọng nói: Ví dụ, thiết lập eleven_realtime_v1_mini và chọn giọng brian.
Thiết lập kết nối WebSocket: Sử dụng RealtimeAgent + WebSocket transport của OpenAI SDK để thiết lập luồng âm thanh hai chiều.
Bắt đầu hội thoại: Sau khi kết nối thành công, có thể tương tác bằng giọng nói theo thời gian thực; nếu cần các tính năng nền tảng như kênh và cơ sở tri thức, hãy chuyển sang ElevenAgents.

Kiến trúc tích hợp: Kết hợp nhận dạng giọng nói, suy luận, gọi công cụ và tổng hợp trong một mô hình duy nhất, giảm chi phí lựa chọn và tích hợp nhiều thành phần.
Phá vỡ sự đánh đổi giữa tốc độ và độ chính xác: v1 Max đạt độ chính xác suy luận giọng nói 98.8% với độ trễ âm thanh đầu tiên 0.57 giây, kết hợp độ chính xác cao và độ trễ thấp.
Trải nghiệm hội thoại tự nhiên: Đạt hơn 94% trên Full-Duplex-Bench, với khả năng tiếp lời sau khi dừng, phục hồi sau khi bị ngắt và phân chia lượt nói gần với người thật.
Mạnh về tác vụ phức tạp: v1 Max đạt tỷ lệ hoàn thành tác vụ gọi công cụ 87.1%, có thể thực hiện quy trình nhiều bước, phù hợp với các kịch bản doanh nghiệp.
Phủ rộng ngôn ngữ và giọng nói: Hỗ trợ hơn 90 ngôn ngữ và hơn 17,000 giọng nói, cho phép một hệ thống phục vụ người dùng toàn cầu.
Dễ chuyển đổi: API tương thích với chuẩn OpenAI Realtime; nhà phát triển đã có tích hợp chỉ cần sửa hai dòng mã để chuyển đổi.
Lựa chọn linh hoạt giữa hai phiên bản: Mini chi phí thấp đáp ứng hầu hết các cuộc hội thoại thường ngày, còn Max tập trung vào suy luận phức tạp, giúp kiểm soát chi phí theo nhu cầu.
Sẵn sàng cho môi trường production: Thông qua ElevenAgents, có thể trực tiếp sử dụng đầy đủ khả năng triển khai gồm kết nối kênh, cơ sở tri thức, hàng rào bảo vệ, kiểm thử và giám sát.

Website dự án: https://elevenlabs.io/blog/realtime

Trợ lý giọng nói AI: Trợ lý cá nhân hội thoại hằng ngày, hiểu chỉ dẫn và phản hồi tức thì bằng giọng nói tự nhiên; phiên bản Mini có thể đáp ứng với chi phí thấp.
Giáo dục trực tuyến/học ngôn ngữ: Ví dụ ứng dụng học tiếng Anh cho trẻ em, trong đó nhân vật cần hiểu lời nói của học sinh, sửa lỗi kịp thời và tương tác bằng giọng nói tự nhiên, đòi hỏi độ tự nhiên và tốc độ phản hồi cao.
Chăm sóc khách hàng qua điện thoại doanh nghiệp: Xử lý các yêu cầu nhiều bước cần gọi hệ thống nghiệp vụ như “tra cứu đơn hàng, đổi địa chỉ”; tỷ lệ hoàn thành gọi công cụ cao của phiên bản Max phù hợp với kịch bản này.
Sàng lọc khách hàng tiềm năng: Tự động gọi ra hoặc tiếp nhận cuộc gọi từ khách hàng tiềm năng, xác định mức độ quan tâm, thu thập và ghi lại thông tin qua hội thoại; Max có thể suy luận và thực hiện theo quy trình.
Nhân vật ảo/NPC trong game: Mang khả năng hội thoại bằng giọng nói theo thời gian thực đến các nhân vật tương tác, hỗ trợ hơn 90 ngôn ngữ và kho giọng nói phong phú, phù hợp với nội dung toàn cầu và trải nghiệm nhập vai.