MiDashengLM-Spatial خدام

MiDashengLM-Spatial هو موديل كبير لفهم الصوت المكاني مفتوح المصدر من فريق Dasheng ديال Xiaomi، وهو أول موديل من نوعو فالصناعة كيوحّد فهم الصوت العام والإدراك المكاني فمعمارية وحدة وبطريقة من البداية للنهاية. مبني على MiDashengLM-7B، وزيد عليه مشفّر Spatial-Dasheng وموديول هرمي كينقل الدلالة للشروط المكانية، وكيقدر يحدّد اتجاه مصدر الصوت، المسار ديال الحركة، والعلاقات الزمانية والمكانية بين مصادر صوت متعددة، مع دعم تحديد مصادر الصوت المتداخلة فكل إطار. ومعاه بيانات تدريب فيها 1M ديال المشاهد المكانية و6M ديال أزواج QA، ومنشور برخصة Apache 2.0، وغادي يتطبّق فالبيوت الذكية ومقصورات السيارات.

تحديد مصدر الصوت: كيحدّد واش الصوت جاي من اليسار، اليمين، ولا من القدّام مباشرة.
الإدراك ديال مسار الحركة: كيتعرّف على الاتجاه والمسار اللي كيتحرّك فيه مصدر الصوت فالمجال.
الاستدلال على العلاقات الزمانية والمكانية بين المجموعات: كيدير استدلال على المواقع المكانية النسبية بين مصادر صوت متعددة، بحال شكون كاين أكثر فاليسار وواش كاينين فنفس الجهة.
فهم المحتوى المكاني: كيجمع بين «شنو سمعنا» و«منين جاي الصوت» باش يجاوب على الأسئلة، بحال تحديد شكون من المتكلمين طلب الماكلة قبل.
وصف الصوت المكاني: كينتج وصف مفتوح وكامل لمواقع جميع مصادر الصوت وحركتها والعلاقات الزمنية بينها فالمشهد.
تحويل الكلام المكاني للنص: كيفرّغ الكلام حسب ترتيب المتكلمين، وكيحدّد جهة كل متكلم.

تابعونا فـ WeChat وردّوا بـ «开源» باش تنضمّو لمجموعة التواصل ديال مشاريع الذكاء الاصطناعي مفتوحة المصدر
معمارية موحّدة بفرعين: الموديل مبني على MiDashengLM-7B، وموسّع بمشفّر الصوت المكاني Spatial-Dasheng، وكيشكّل بنية فيها فرع دلالي وفرع مكاني خدامين بالتوازي؛ كل واحد مسؤول على فهم المحتوى والإدراك ديال الاتجاه، باش يتحقّق فهم الصوت العام والإدراك المكاني فموديل واحد.
مشفّر Spatial-Dasheng: معتمد على الإدخال ثنائي الأذن، وكيكتاشف ويحدّد مصادر الصوت المتداخلة فكل إطار، وكيستافد من الإشارات الثنائية بحال ITD/ILD باش يدير نمذجة مكانية دقيقة لاتجاه مصدر الصوت ومسار حركتو.
الشروط الهرمية من الدلالة للمكان (HSSC): آلية شرطية كتنقل تمثيلات الطبقات الوسطى ديال الفرع الدلالي بشكل تدريجي للطبقات المطابقة فالفرع المكاني، وهادشي كيخلّي النمذجة المكانية تستافد من السياق الدلالي مع الحفاظ على الاستقلال الوظيفي بين الفرعين.
خط أنابيب قابل للتوسّع لبيانات المشاهد المكانية: بالمحاكاة، تبناو 1 مليون مشهد صوتي مكاني كيغطي أصوات البيئة والكلام والموسيقى، وكيتم توليد أوصاف مكانية للمشهد بشكل آلي و6 ملايين زوج QA للتحقّق من الحقائق، باش يدعم التدريب واسع النطاق على القدرات المكانية.
التعميم من المحاكاة للواقع (Sim-to-Real): الموديل المدرّب على البيانات الاصطناعية كيبان عندو إدراك مكاني قوي فالتسجيلات الحقيقية ثنائية الأذن، ومن غير ما يكتاسب القدرات المكانية ما كيفقدش أداء الفهم العام للصوت اللي كيوفّرو الموديل الأساسي.

نسخ مستودع الكود: git clone https://github.com/xiaomi-research/midashenglm-spatial.git.
إنشاء بيئة الاستدلال وتثبيت الاعتماديات: conda create -n midashengspatial python=3.13 -y && conda activate midashengspatial، ومن بعد pip install -r requirements.txt.
الحصول على أوزان الموديل: ما كايناش حاجة لتحميلها بوحدها، حيث الكود كيجيبها أوتوماتيكياً من HuggingFace من mispeech/midashenglm-spatial.
تحضير الصوت ثنائي الأذن: خاص الإدخال يكون صوت ستيريو حقيقي ثنائي الأذن بالشكل (2, T).
تحميل الموديل والمعالج: استعمل AutoModelForCausalLM وAutoProcessor وحمّل الموديل بـ trust_remote_code=True.
بناء رسائل الحوار: رتّب messages حسب ترتيب التدريب «الصوت قبل النص»، مثلاً الصوت + “Write a general audio caption describing the sound source and its spatial information.”.
تنفيذ الاستدلال: عالج الإدخال عبر processor.apply_chat_template، ومن بعد عيّط على model.generate واستعمل batch_decode لإخراج النتيجة.
التشغيل باستعمال المثال المرجعي: الملف example/inference.py الموجود فالمستودع فيه مثال كامل قابل للتشغيل مباشرة.

الأول فالصناعة: أول موديل مفتوح المصدر من البداية للنهاية كيوحّد الصوت واللغة، وكيجمع بين فهم الصوت العام والإدراك المكاني فمعمارية وحدة.
إدراك مكاني من الطراز العالي: وصلات الدقة لـ 70.3% فمجموعة الاستدلال المكاني ديال STAR-Bench، قريبة من مستوى البشر اللي هو 73.7%، وفايتة بزاف Gemini-3.6-Flash اللي جاب 47.0%.
إدراك حقيقي وموثوق: وصل ACR ديال Channel-Swap لـ 72.6%، وهادشي كيثبت أن تحديد الجهة اليسرى واليمنى مبني على إشارات سمعية حقيقية.
بلا ما يضحي بالقدرات: النتائج ديالو فالمعايير العامة بحال الأسئلة والأجوبة على الصوت الأحادي، والتعرّف على الكلام، ووصف الصوت، تقريباً مساوية لنتائج الموديل الأساسي MiDashengLM-7B؛ القدرات المكانية ما كتجيش على حساب الاستعمال العام.
تحليل مصادر الصوت المتداخلة: مشفّر Spatial-Dasheng كيدعم اكتشاف وتحديد مصادر الصوت المتداخلة فكل إطار، وكيقدر يتعامل مع الحالات المعقّدة فالواقع بحال هضرة بزاف ديال الناس فنفس الوقت.

الموقع الرسمي للمشروع: https://jinbo-hu.github.io/midashenglm-spatial-demo/
مستودع GitHub: https://github.com/xiaomi-research/midashenglm-spatial
مستودع الموديل فـ HuggingFace: https://huggingface.co/mispeech/midashenglm-spatial
الورقة التقنية فـ arXiv: https://arxiv.org/pdf/2610.11156

التفاعل داخل السيارات الذكية: تحديد شكون من الركاب اللي كيهضر، باش يتدار التعرّف على الكلام وتنفيذ التعليمات حسب كل منطقة.
الإدراك الصوتي فالبيوت الذكية: استعمال السماعات أو الأجهزة المنزلية باش يتحدّد اتجاه الأصوات فالدار وحركتها.
الصوت المكاني فـ AR/VR: توفير فهم مكاني سمعي للعوالم الافتراضية، مع تحديد مصادر الصوت، وتوليد الأوصاف المكانية، والتفاعل الغامر.
أجهزة المساعدة السمعية والولوجيات: مساعدة الناس اللي عندهم ضعف فالسمع يعرفو منين جاي الصوت، وتقوية الإدراك ديال المحيط والسلامة فالتنقّل.