MiDashengLM-Spatial Đang hoạt động

MiDashengLM-Spatial là mô hình ngôn ngữ lớn hiểu âm thanh không gian do đội ngũ Dasheng của Xiaomi phát hành mã nguồn mở, là mô hình đầu cuối đầu tiên trong ngành hợp nhất khả năng hiểu âm thanh tổng quát và nhận thức không gian trong một kiến trúc duy nhất. MiDashengLM-Spatial sử dụng MiDashengLM-7B làm nền tảng, bổ sung bộ mã hóa Spatial-Dasheng và mô-đun điều kiện hóa từ ngữ nghĩa phân cấp đến không gian, có khả năng nhận biết phương vị nguồn âm, quỹ đạo chuyển động và mối quan hệ không-thời gian giữa nhiều nguồn âm, đồng thời hỗ trợ định vị từng khung hình đối với các nguồn âm chồng lấn. Với 1M cảnh không gian và 6M dữ liệu huấn luyện QA đi kèm, mô hình được phát hành theo giấy phép Apache 2.0 và hướng đến ứng dụng trong nhà thông minh và khoang lái ô tô.

Định vị nguồn âm: xác định âm thanh phát ra từ bên trái, bên phải hay chính diện.
Nhận biết quỹ đạo chuyển động: nhận biết hướng và đường đi của nguồn âm khi di chuyển trong không gian.
Suy luận quan hệ không-thời gian giữa các nhóm: suy luận quan hệ vị trí không gian tương đối giữa nhiều nguồn âm, chẳng hạn nguồn nào ở bên trái hơn hoặc chúng có cùng phía hay không.
Hiểu nội dung theo không gian: kết hợp “nghe thấy gì” và “âm thanh phát ra từ đâu” để trả lời câu hỏi, chẳng hạn xác định người nói nào gọi món trước.
Mô tả âm thanh không gian: tạo mô tả đầy đủ theo dạng mở về vị trí, chuyển động và quan hệ thời gian của tất cả nguồn âm trong cảnh.
Chuyển giọng nói không gian thành văn bản: chuyển lời nói thành văn bản theo thứ tự phát biểu và ghi chú phương vị của từng người nói.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc hai nhánh thống nhất: mô hình sử dụng MiDashengLM-7B làm nền tảng, mở rộng thành bộ mã hóa âm thanh không gian Spatial-Dasheng, tạo cấu trúc song song gồm nhánh ngữ nghĩa và nhánh không gian, lần lượt phụ trách hiểu nội dung và nhận biết phương vị, đồng thời thực hiện khả năng hiểu âm thanh tổng quát và nhận thức không gian trong một mô hình duy nhất.
Bộ mã hóa Spatial-Dasheng: dựa trên đầu vào hai tai, phát hiện và định vị từng khung hình đối với các nguồn âm chồng lấn, nắm bắt các manh mối hai tai như ITD/ILD để mô hình hóa chi tiết phương vị và quỹ đạo chuyển động của nguồn âm trong không gian.
Điều kiện hóa phân cấp từ ngữ nghĩa đến không gian (HSSC): một cơ chế điều kiện hóa truyền tuần tự biểu diễn của các tầng trung gian trong nhánh ngữ nghĩa đến các tầng tương ứng của nhánh không gian, giúp mô hình không gian tận dụng ngữ cảnh ngữ nghĩa, đồng thời duy trì sự độc lập về chức năng giữa hai nhánh.
Quy trình dữ liệu cảnh không gian có khả năng mở rộng: xây dựng 1 triệu cảnh âm học không gian thông qua mô phỏng, bao phủ âm thanh môi trường, giọng nói và âm nhạc, đồng thời tự động tạo mô tả không gian cấp cảnh và 6 triệu cặp QA xác minh sự kiện, hỗ trợ huấn luyện năng lực không gian ở quy mô lớn.
Khả năng khái quát Sim-to-Real: mô hình được huấn luyện bằng dữ liệu tổng hợp thể hiện năng lực nhận thức không gian ổn định trên bản ghi âm hai tai thực tế, đồng thời không làm suy giảm hiệu năng hiểu âm thanh tổng quát của mô hình nền khi có thêm năng lực không gian.

Sao chép kho mã nguồn: git clone https://github.com/xiaomi-research/midashenglm-spatial.git.
Tạo môi trường suy luận và cài đặt các phần phụ thuộc: conda create -n midashengspatial python=3.13 -y && conda activate midashengspatial, sau đó pip install -r requirements.txt.
Lấy trọng số mô hình: không cần tải riêng, mã nguồn sẽ tự động tải mispeech/midashenglm-spatial từ HuggingFace.
Chuẩn bị âm thanh hai tai: đầu vào là âm thanh hai kênh hai tai thực tế (2, T).
Tải mô hình và bộ xử lý: sử dụng AutoModelForCausalLM và AutoProcessor với trust_remote_code=True để tải mô hình.
Xây dựng tin nhắn hội thoại: sắp xếp messages theo thứ tự huấn luyện “âm thanh trước, văn bản sau”, chẳng hạn âm thanh + “Write a general audio caption describing the sound source and its spatial information.”
Thực hiện suy luận: xử lý đầu vào bằng processor.apply_chat_template, sau đó gọi model.generate và dùng batch_decode để xuất kết quả.
Chạy theo ví dụ tham khảo: example/inference.py trong kho mã nguồn cung cấp ví dụ hoàn chỉnh có thể chạy trực tiếp.

Tiên phong trong ngành: mô hình âm thanh-ngôn ngữ đầu cuối thống nhất mã nguồn mở đầu tiên, đồng thời hỗ trợ hiểu âm thanh tổng quát và nhận thức không gian trong một kiến trúc duy nhất.
Năng lực nhận thức không gian hàng đầu: đạt độ chính xác 70.3% trên tập con suy luận không gian của STAR-Bench, gần mức 73.7% của con người và vượt xa mức 47.0% của Gemini-3.6-Flash.
Nhận thức chân thực và đáng tin cậy: ACR Channel-Swap đạt 72.6%, chứng minh khả năng phán đoán phương vị trái phải dựa trên manh mối thính giác thực tế.
Không suy giảm năng lực: kết quả trên các tiêu chuẩn tổng quát như hỏi đáp âm thanh đơn kênh, nhận dạng giọng nói và mô tả âm thanh gần tương đương với mô hình nền MiDashengLM-7B; năng lực không gian không làm mất tính tổng quát.
Phân tích nguồn âm chồng lấn: bộ mã hóa Spatial-Dasheng hỗ trợ phát hiện và định vị từng khung hình đối với các nguồn âm chồng lấn, có thể xử lý những tình huống phức tạp trong thực tế như nhiều người nói cùng lúc.

Trang web dự án: https://jinbo-hu.github.io/midashenglm-spatial-demo/
Kho GitHub: https://github.com/xiaomi-research/midashenglm-spatial
Kho mô hình HuggingFace: https://huggingface.co/mispeech/midashenglm-spatial
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2610.11156

Tương tác trong khoang lái thông minh: xác định hành khách ở ghế nào đang nói, từ đó thực hiện nhận dạng giọng nói và lệnh theo từng khu vực.
Nhận thức âm học trong nhà thông minh: sử dụng loa hoặc thiết bị gia dụng để nhận biết phương vị và chuyển động của âm thanh trong nhà.
Âm thanh không gian AR/VR: cung cấp khả năng hiểu không gian ở lớp thính giác cho thế giới ảo, hỗ trợ định vị nguồn âm, tạo mô tả không gian và tương tác nhập vai.
Thiết bị trợ thính và hỗ trợ tiếp cận: giúp người khiếm thính nhận biết âm thanh phát ra từ hướng nào, tăng cường nhận thức môi trường và an toàn khi di chuyển.