Step Audio 3 Đang hoạt động

StepAudio 3 là dòng mô hình ngôn ngữ lớn về giọng nói do StepFun phát triển, gồm năm mô hình Realtime, ASR, TTS, Gen và Music. Trong đó, Realtime đạt độ chính xác suy luận giọng nói 99,7%, ASR đạt tỷ lệ lỗi từ 1,7%, cả hai đều đứng đầu thế giới trên bảng xếp hạng Artificial Analysis. StepAudio 3 có thể nghe hiểu và nói, đồng thời hiểu sắc thái cảm xúc, hoàn thành suy luận phức tạp, tạo giọng người và hiệu ứng âm thanh đồng nhất, tham gia toàn bộ quy trình sáng tác âm nhạc, đáp ứng các kịch bản như hội thoại thời gian thực, chuyển lời nói thành phụ đề, lồng tiếng phim ảnh và sản xuất âm nhạc.

Realtime - hội thoại thời gian thực: Hỗ trợ tương tác song công toàn phần nguyên bản, có thể nghe hiểu, suy nghĩ, phán đoán nhịp điệu hội thoại và thực hiện tác vụ.
ASR - nhận dạng giọng nói: Chuyển lời nói thành văn bản với độ chính xác cao bằng tiếng Trung, tiếng Anh, phương ngữ và lời nói trộn Trung-Anh; hiểu thuật ngữ chuyên ngành và ngữ cảnh phức tạp.
TTS - tổng hợp giọng nói: Tạo giọng nói như người thật, tái hiện ngữ điệu, cảm xúc, khoảng ngắt, tiếng cười, sự do dự và các chi tiết cận ngôn ngữ khác.
Gen - tạo âm thanh: Tạo đồng thời giọng người, hiệu ứng âm thanh, âm thanh môi trường và nhạc nền, đồng thời kiểm soát chính xác trình tự thời gian của từng thành phần.
Music - sáng tác âm nhạc: Hỗ trợ tạo nhạc từ đầu, phối nhạc cho giọng hát mộc, hát lại bài hát và sáng tác nhiều vòng tương tác bằng ký âm ABC.

Realtime: Sử dụng kiến trúc song công toàn phần nguyên bản, cho phép nghe và nói diễn ra song song; trong hội thoại liên tục, mô hình đồng thời hoàn thành việc hiểu âm thanh, suy luận và tạo giọng nói, hỗ trợ suy luận và tạo nội dung song song cũng như thực thi Tool Call bất đồng bộ.
ASR: Kết hợp nhận dạng giọng nói độ chính xác cao với mô hình ngôn ngữ lớn, tận dụng khả năng hiểu ngữ cảnh, kho kiến thức và năng lực suy luận của mô hình để sửa các từ đồng âm, tên người, địa danh và thuật ngữ chuyên ngành, nâng cấp từ “chuyển âm thanh thành văn bản” lên “hiểu ngữ cảnh”.
TTS: Dựa trên kiến trúc tạo luồng để vừa tạo vừa phát, đáp ứng yêu cầu độ trễ thấp của tương tác thời gian thực; đồng thời mô hình hóa âm sắc, ngữ điệu, nhịp điệu và khoảng lấy hơi, tự điều chỉnh cảm xúc và giọng điệu theo ngữ nghĩa.
Gen: Dùng một mô hình thống nhất thay thế quy trình phân tán truyền thống gồm lồng tiếng, hiệu ứng âm thanh và phối nhạc; dựa trên mô tả ngôn ngữ tự nhiên và âm thanh tham chiếu để tạo đồng thời nhiều lớp âm thanh, tham gia thiết kế âm thanh thông qua khả năng sắp xếp thời gian cho lời thoại, hiệu ứng và âm thanh môi trường.
Music: Hỗ trợ đồng thời việc tạo nhạc từ đầu và sáng tác có điều kiện. Bằng cách hiểu các yếu tố âm nhạc trong giọng hát mộc, lời bài hát và giai điệu, kết hợp ký âm ABC để kiểm soát có cấu trúc, mô hình hóa các đoạn bài hát, diễn tiến giai điệu và biến đổi năng lượng, từ đó tạo ra tác phẩm có cấu trúc hoàn chỉnh.

Truy cập trang web chính thức: Truy cập trang chủ StepAudio 3 https://static.stepfun.com/blog/stepaudio3/ để tìm hiểu khả năng của từng mô hình.
Chọn mô hình: Chọn Realtime, ASR, TTS, Gen hoặc Music tùy theo nhu cầu.
Vào trung tâm trải nghiệm: Truy cập Trung tâm trải nghiệm giọng nói StepFun https://www.stepfun.com/studio/audio để dùng thử trực tuyến hiệu quả của từng mô hình.
Đăng ký nền tảng mở: Truy cập Nền tảng mở StepFun https://platform.stepfun.com/ để đăng ký tài khoản và lấy API Key.
Đọc tài liệu API: Xem các tham số yêu cầu và ví dụ gọi API trên trang hướng dẫn tích hợp của mô hình tương ứng trên nền tảng mở.
Tích hợp và gọi API: Làm theo tài liệu để tích hợp API vào ứng dụng của bạn, chỉ cần truyền văn bản, âm thanh hoặc mô tả bằng ngôn ngữ tự nhiên để tạo kết quả.
Gỡ lỗi và tối ưu: Điều chỉnh các tham số như âm sắc, cảm xúc, tốc độ nói và cấu trúc dựa trên kết quả trả về cho đến khi đáp ứng nhu cầu.

Thành tích trên bảng xếp hạng nổi bật: Độ chính xác suy luận giọng nói của Realtime (99,7%) và tỷ lệ lỗi từ của ASR (1,7%) đều đứng đầu thế giới trên Artificial Analysis, được bên thứ ba chứng nhận năng lực.
Tương tác giống con người hơn: Có thể cảm nhận cảm xúc, ngữ điệu và nhịp điệu hội thoại, biết khi nào nên tiếp lời, khi nào nên chờ và cách xử lý khi bị ngắt lời.
Vừa trò chuyện vừa xử lý công việc: Suy luận, gọi công cụ và các tác vụ dài có thể chạy bất đồng bộ ở chế độ nền, không làm gián đoạn cuộc hội thoại hiện tại, giúp trợ lý giọng nói chuyển từ công cụ trò chuyện thành trợ lý có thể làm việc.
Một mô hình đảm nhiệm toàn bộ chuỗi xử lý âm thanh: Trước đây, lồng tiếng, hiệu ứng âm thanh, âm thanh môi trường và nhạc nền cần nhiều công cụ phối hợp; nay chỉ với một lần tạo, mô hình cung cấp đầy đủ các lớp âm thanh và có thể sắp xếp chính xác thời điểm, thứ tự xuất hiện của từng loại âm thanh.
Trao quyền sáng tạo lại cho người dùng: Hỗ trợ nhiều phương thức đầu vào như giọng hát mộc, lời bài hát, giai điệu và ký âm ABC; AI giúp bạn viết tiếp và hoàn thiện tác phẩm.

Tìm hiểu sản phẩm: Truy cập trang chủ chính thức của StepAudio 3 https://static.stepfun.com/blog/stepaudio3/ để làm quen với khả năng riêng của năm mô hình Realtime, ASR, TTS, Gen và Music.
Dùng thử trực tuyến: Vào Trung tâm trải nghiệm giọng nói StepFun, nhập văn bản hoặc tải lên âm thanh để trải nghiệm miễn phí hiệu quả của từng mô hình.
Đăng ký nền tảng: Đăng ký tài khoản trên Nền tảng mở StepFun, tạo ứng dụng và lấy API Key.
Đọc tài liệu: Mở trang hướng dẫn tích hợp của mô hình tương ứng để tìm hiểu địa chỉ API, tham số yêu cầu và phương thức tính phí.
Gửi yêu cầu: Truyền văn bản, tệp âm thanh hoặc mô tả bằng ngôn ngữ tự nhiên qua yêu cầu API để nhận kết quả tổng hợp, nhận dạng hoặc tạo giọng nói.
Tinh chỉnh và tối ưu: Điều chỉnh các tham số như âm sắc, cảm xúc, tốc độ nói, ngôn ngữ và cách sắp xếp âm thanh dựa trên kết quả.
Tích hợp và đưa vào vận hành: Nhúng API vào sản phẩm hoặc quy trình làm việc của bạn, hoàn tất triển khai và liên tục giám sát hiệu quả.

Trang web dự án: https://static.stepfun.com/blog/stepaudio3/

Chăm sóc khách hàng thông minh và trợ lý giọng nói: Hội thoại song công thời gian thực, có thể cảm nhận cảm xúc của người dùng và thực hiện tác vụ bất đồng bộ, giúp giao tiếp với khách hàng tự nhiên và hiệu quả hơn.
Biên bản cuộc họp và tạo phụ đề: ASR chuyển chính xác các tệp âm thanh dài và hội thoại nhiều người thành văn bản, tự động nhận dạng thuật ngữ chuyên ngành, trực tiếp tạo biên bản cuộc họp hoặc phụ đề video.
Tương tác giọng nói trên xe: Hỗ trợ môi trường nhiều tiếng ồn, giọng địa phương và lời nói trộn Trung-Anh, phản hồi với độ trễ thấp, nâng cao trải nghiệm điều khiển bằng giọng nói khi lái xe.
Sản xuất phim ảnh và nội dung âm thanh: Trong kịch phát thanh, sách nói và lồng tiếng hoạt hình, có thể tạo đồng thời giọng người, hiệu ứng âm thanh, âm thanh môi trường và nhạc nền, giảm nhu cầu phối hợp nhiều công cụ và hậu kỳ trộn âm.
Sáng tác âm nhạc và sản xuất bản hát lại: Chỉ cần cung cấp giọng hát mộc để tự động phối khí, hoặc dựa trên lời bài hát và giai điệu để viết tiếp một bài hát hoàn chỉnh, hỗ trợ nhạc sĩ nhanh chóng hoàn thiện bản Demo và sản phẩm cuối.