MiDashengLM-Spatial آپریشن میں

MiDashengLM-Spatial Xiaomi کی Dasheng ٹیم کا اوپن سورس کردہ اسپیشل آڈیو سمجھنے والا بڑا ماڈل ہے، جو صنعت کا پہلا اینڈ ٹو اینڈ ماڈل ہے جو ایک ہی معماری میں عمومی آڈیو فہم اور فضائی ادراک کو یکجا کرتا ہے۔ MiDashengLM-Spatial کی بنیاد MiDashengLM-7B پر ہے، جس میں Spatial-Dasheng انکوڈر اور درجہ وار معنوی سے فضائی شرطی ماڈیول شامل کیے گئے ہیں۔ یہ صوتی ذرائع کی سمت، حرکتی راستے اور متعدد صوتی ذرائع کے زمانی و مکانی تعلقات کو محسوس کر سکتا ہے، اور اوورلیپ کرنے والے صوتی ذرائع کی فریم بہ فریم تعیینِ مقام کو سپورٹ کرتا ہے۔ اس کے ساتھ 1M فضائی مناظر اور 6M QA تربیتی ڈیٹا فراہم کیا گیا ہے۔ یہ Apache 2.0 لائسنس کے تحت جاری کیا گیا ہے اور اسے اسمارٹ ہومز اور گاڑیوں کے کیبنز میں استعمال کیا جائے گا۔

صوتی ماخذ کی تعیینِ مقام: یہ معلوم کرنا کہ آواز بائیں طرف، دائیں طرف یا عین سامنے سے آ رہی ہے۔
حرکتی راستے کا ادراک: فضائی ماحول میں صوتی ماخذ کے حرکت کرنے کی سمت اور راستے کو محسوس کرنا۔
گروہی زمانی و مکانی تعلقات کا استدلال: متعدد صوتی ذرائع کے باہمی نسبتی فضائی مقامات کا استدلال کرنا، مثلاً کون زیادہ بائیں جانب ہے یا آیا وہ ایک ہی سمت میں ہیں۔
فضائی مواد کی تفہیم: ”کیا سنا گیا“ اور ”آواز کہاں سے آئی“ کو ملا کر سوالات کے جواب دینا، مثلاً یہ طے کرنا کہ کس بولنے والے نے پہلے کھانا آرڈر کیا۔
فضائی آڈیو کی وضاحت: منظر میں موجود تمام صوتی ذرائع کے مقام، حرکت اور زمانی تعلقات کی مکمل وضاحت کھلے انداز میں تیار کرنا۔
فضائی تقریر کی نقل: بولنے کی ترتیب کے مطابق مواد نقل کرنا اور ہر بولنے والے کی سمت درج کرنا۔

WeChat پر فالو کریں اور ”开源“ کا جواب بھیج کر AI اوپن سورس پروجیکٹس کے گروپ میں شامل ہوں۔
یکجا دو شاخوں والی معماری: ماڈل کی بنیاد MiDashengLM-7B پر ہے، جسے Spatial-Dasheng اسپیشل آڈیو انکوڈر کے ذریعے وسعت دی گئی ہے۔ اس سے معنوی شاخ اور فضائی شاخ متوازی طور پر کام کرتی ہیں، جو بالترتیب مواد سمجھنے اور سمت محسوس کرنے کی ذمہ دار ہیں۔ یوں ایک ہی ماڈل میں عمومی آڈیو فہم اور فضائی ادراک بیک وقت حاصل ہوتا ہے۔
Spatial-Dasheng انکوڈر: دو کانوں سے حاصل ہونے والے ان پٹ کی بنیاد پر اوورلیپ کرنے والے صوتی ذرائع کی فریم بہ فریم شناخت اور تعیینِ مقام کرتا ہے، ITD/ILD جیسے دو طرفہ سماعتی اشاروں کو پکڑتا ہے اور صوتی ماخذ کی سمت و حرکتی راستے کی باریک سطح کی فضائی ماڈلنگ انجام دیتا ہے۔
درجہ وار معنوی سے فضائی شرطی نظام (HSSC): یہ ایک شرطی طریقۂ کار ہے جو معنوی شاخ کی درمیانی پرتوں کی نمائندگی کو بتدریج فضائی شاخ کی متعلقہ پرتوں تک منتقل کرتا ہے۔ اس طرح فضائی ماڈلنگ معنوی سیاق سے فائدہ اٹھاتی ہے، جبکہ دونوں شاخیں اپنے افعال کے لحاظ سے آزاد اور الگ رہتی ہیں۔
قابلِ توسیع فضائی منظر ڈیٹا پائپ لائن: تخروپن کے ذریعے 100 万 فضائی صوتی مناظر تیار کیے جاتے ہیں، جن میں ماحولیاتی آوازیں، تقریر اور موسیقی شامل ہیں۔ منظر کی سطح کی فضائی وضاحتیں اور 600 万 حقائق کی توثیق کرنے والے QA جوڑے خودکار طور پر تیار کیے جاتے ہیں، جو فضائی صلاحیت کی بڑے پیمانے پر تربیت کو ممکن بناتے ہیں۔
Sim-to-Real عمومی کاری: مصنوعی ڈیٹا پر تربیت یافتہ ماڈل حقیقی دو طرفہ ریکارڈنگز پر مضبوط فضائی ادراک کی صلاحیت دکھاتا ہے، اور فضائی صلاحیت حاصل کرنے کے ساتھ ساتھ بنیادی ماڈل کی عمومی آڈیو فہم کی کارکردگی بھی برقرار رکھتا ہے۔

کوڈ ریپوزٹری کلون کریں: git clone https://github.com/xiaomi-research/midashenglm-spatial.git۔
استدلال کا ماحول بنائیں اور انحصار انسٹال کریں: conda create -n midashengspatial python=3.13 -y && conda activate midashengspatial، پھر pip install -r requirements.txt چلائیں۔
ماڈل کے وزن حاصل کریں: الگ سے ڈاؤن لوڈ کرنے کی ضرورت نہیں؛ کوڈ خودکار طور پر HuggingFace سے mispeech/midashenglm-spatial حاصل کرے گا۔
دو طرفہ آڈیو تیار کریں: (2, T) چینلز پر مشتمل حقیقی دو طرفہ آڈیو بطور ان پٹ دیں۔
ماڈل اور پروسیسر لوڈ کریں: AutoModelForCausalLM اور AutoProcessor کے ذریعے trust_remote_code=True کے ساتھ ماڈل لوڈ کریں۔
مکالمے کے پیغامات تیار کریں: تربیت کی ترتیب ”پہلے آڈیو، پھر متن“ کے مطابق messages ترتیب دیں، مثلاً آڈیو + “Write a general audio caption describing the sound source and its spatial information.”۔
استدلال انجام دیں: processor.apply_chat_template کے ذریعے ان پٹ پر کارروائی کرنے کے بعد model.generate کال کریں، پھر batch_decode سے نتائج آؤٹ پٹ کریں۔
مثال کے مطابق چلائیں: ریپوزٹری میں موجود example/inference.py براہِ راست چلنے والی مکمل مثال فراہم کرتی ہے۔

صنعت میں اولین: یہ پہلا اوپن سورس اینڈ ٹو اینڈ یکجا آڈیو-لینگویج ماڈل ہے، جو ایک ہی معماری میں عمومی آڈیو فہم اور فضائی ادراک دونوں کو سپورٹ کرتا ہے۔
اعلیٰ ترین فضائی ادراک: STAR-Bench کے فضائی استدلال ذیلی مجموعے پر درستگی 70.3% ہے، جو انسانی سطح کی 73.7% کارکردگی کے قریب اور Gemini-3.6-Flash کی 47.0% سے کہیں زیادہ ہے۔
قابلِ اعتماد ادراک: Channel-Swap ACR 72.6% ہے، جو ثابت کرتا ہے کہ بائیں اور دائیں سمت کا فیصلہ حقیقی سماعتی اشاروں پر مبنی ہے۔
صلاحیت میں کوئی کمی نہیں: مونو آڈیو سوال و جواب، تقریر کی شناخت اور آڈیو وضاحت جیسے عمومی معیارات پر کارکردگی بنیادی MiDashengLM-7B کے تقریباً برابر ہے؛ فضائی صلاحیت عمومی استعمال کو متاثر نہیں کرتی۔
اوورلیپ کرنے والے صوتی ذرائع کا تجزیہ: Spatial-Dasheng انکوڈر اوورلیپ کرنے والے صوتی ذرائع کی فریم بہ فریم شناخت اور تعیینِ مقام کو سپورٹ کرتا ہے، اس لیے حقیقی مناظر میں متعدد افراد کے بیک وقت بولنے جیسی پیچیدہ صورتِ حال کو سنبھال سکتا ہے۔

پروجیکٹ کی ویب سائٹ: https://jinbo-hu.github.io/midashenglm-spatial-demo/
GitHub ریپوزٹری: https://github.com/xiaomi-research/midashenglm-spatial
HuggingFace ماڈل ریپوزٹری: https://huggingface.co/mispeech/midashenglm-spatial
arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2610.11156

اسمارٹ کیبن تعامل: یہ طے کرنا کہ گاڑی کی کس نشست پر بیٹھا مسافر بول رہا ہے، تاکہ زون کے لحاظ سے تقریر کی شناخت اور احکامات پر عمل درآمد ممکن ہو۔
اسمارٹ ہوم صوتی ادراک: اسپیکرز یا گھریلو آلات کے ذریعے گھر میں پیدا ہونے والی آوازوں کی سمت اور حرکت کو محسوس کرنا۔
AR/VR اسپیشل آڈیو: ورچوئل دنیا کے لیے سماعتی سطح پر فضائی فہم فراہم کرنا، جس سے صوتی ماخذ کی تعیینِ مقام، فضائی وضاحت کی تیاری اور عمیق تعامل ممکن ہو۔
سماعتی معاون اور قابلِ رسائی آلات: سماعت سے محروم افراد کو یہ محسوس کرنے میں مدد دینا کہ آواز کس سمت سے آ رہی ہے، تاکہ ماحول کا ادراک اور سفر کی حفاظت بہتر ہو۔