MiDashengLM-Spatial চালু আছে

MiDashengLM-Spatial হলো Xiaomi Dasheng দলের উন্মুক্ত-সোর্স করা স্থানিক অডিও বোঝাপড়ার বৃহৎ মডেল, যা শিল্পে প্রথম এন্ড-টু-এন্ড মডেল হিসেবে একটি একক আর্কিটেকচারে সাধারণ অডিও বোঝাপড়া ও স্থানিক উপলব্ধিকে একীভূত করেছে। MiDashengLM-Spatial-এর ভিত্তি হলো MiDashengLM-7B। এতে নতুন Spatial-Dasheng এনকোডার এবং হায়ারার্কিক্যাল সেমান্টিক-টু-স্পেশাল কন্ডিশনিং মডিউল যুক্ত করা হয়েছে। এটি শব্দের উৎসের দিক, গতিপথ এবং একাধিক শব্দের উৎসের স্থান-কালীন সম্পর্ক শনাক্ত করতে পারে এবং ওভারল্যাপ করা শব্দের উৎসকে প্রতি ফ্রেমে নির্ধারণ করতে পারে। এর সঙ্গে 1M স্থানিক দৃশ্য ও 6M QA প্রশিক্ষণ ডেটা রয়েছে। Apache 2.0 লাইসেন্সের অধীনে প্রকাশিত এই মডেল স্মার্ট হোম ও গাড়ির কেবিনে ব্যবহৃত হবে।

শব্দের উৎস নির্ধারণ: শব্দটি বাম দিক, ডান দিক নাকি সরাসরি সামনে থেকে আসছে তা নির্ধারণ করে।
গতিপথ শনাক্তকরণ: স্থানিক পরিবেশে শব্দের উৎস কোন দিকে ও কী পথে চলছে তা শনাক্ত করে।
গোষ্ঠীগত স্থান-কালীন সম্পর্কের যুক্তি: একাধিক শব্দের উৎসের আপেক্ষিক স্থানিক সম্পর্ক নির্ণয় করে, যেমন কোনটি বেশি বাম দিকে বা একই পাশে আছে কি না।
স্থানিক বিষয়বস্তু বোঝাপড়া: “কী শোনা যাচ্ছে” এবং “শব্দটি কোথা থেকে আসছে” একত্র করে প্রশ্নের উত্তর দেয়, যেমন কোন বক্তা আগে খাবারের অর্ডার দিয়েছেন তা নির্ধারণ করা।
স্থানিক অডিও বর্ণনা: দৃশ্যের সব শব্দের উৎসের অবস্থান, গতি ও সময়গত সম্পর্কের পূর্ণাঙ্গ বর্ণনা উন্মুক্তভাবে তৈরি করে।
স্থানিক স্পিচ-টু-টেক্সট: বক্তৃতার ক্রম অনুযায়ী বিষয়বস্তু প্রতিলিপি করে এবং প্রতিটি বক্তার অবস্থান চিহ্নিত করে।

WeChat-এ অনুসরণ করে “开源” লিখে উত্তর পাঠান এবং AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
একীভূত দ্বি-শাখা আর্কিটেকচার: মডেলটির ভিত্তি MiDashengLM-7B। এতে Spatial-Dasheng স্থানিক অডিও এনকোডার সম্প্রসারিত করে সেমান্টিক শাখা ও স্থানিক শাখার সমান্তরাল কাঠামো তৈরি করা হয়েছে। এগুলো যথাক্রমে বিষয়বস্তু বোঝা ও দিক শনাক্ত করার কাজ করে। ফলে একটি একক মডেলের মধ্যেই সাধারণ অডিও বোঝাপড়া ও স্থানিক উপলব্ধি একসঙ্গে বাস্তবায়িত হয়।
Spatial-Dasheng এনকোডার: দ্বিকর্ণ ইনপুটের ওপর ভিত্তি করে ওভারল্যাপ করা শব্দের উৎস প্রতি ফ্রেমে শনাক্ত ও নির্ধারণ করে। এটি ITD/ILD-এর মতো দ্বিকর্ণ সংকেত ধরতে পারে এবং শব্দের উৎসের দিক ও গতিপথের সূক্ষ্ম স্থানিক মডেল তৈরি করে।
হায়ারার্কিক্যাল সেমান্টিক-টু-স্পেশাল কন্ডিশনিং (HSSC): এই কন্ডিশনিং পদ্ধতি সেমান্টিক শাখার মধ্যবর্তী স্তরের উপস্থাপনাগুলো ধাপে ধাপে স্থানিক শাখার সংশ্লিষ্ট স্তরে পাঠায়। এতে স্থানিক মডেলিং সেমান্টিক প্রেক্ষাপট ব্যবহার করতে পারে, একই সঙ্গে দুই শাখার কার্যকরী স্বাধীনতাও বজায় থাকে।
সম্প্রসারণযোগ্য স্থানিক দৃশ্য ডেটা পাইপলাইন: সিমুলেশনের মাধ্যমে 100万个 স্থানিক অ্যাকোস্টিক দৃশ্য তৈরি করা হয়, যেখানে পরিবেশের শব্দ, বক্তৃতা ও সঙ্গীত অন্তর্ভুক্ত থাকে। পাশাপাশি দৃশ্য-স্তরের স্থানিক বর্ণনা এবং 600万个 তথ্য যাচাইকারী QA জোড়া স্বয়ংক্রিয়ভাবে তৈরি করা হয়, যা স্থানিক সক্ষমতার বৃহৎ পরিসরের প্রশিক্ষণকে সহায়তা করে।
Sim-to-Real সাধারণীকরণ: সংশ্লেষিত ডেটায় প্রশিক্ষিত মডেলটি বাস্তব দ্বিকর্ণ রেকর্ডিংয়েও স্থিতিশীল স্থানিক উপলব্ধি প্রদর্শন করে। একই সঙ্গে স্থানিক সক্ষমতা অর্জন করেও এটি ভিত্তি মডেলের সাধারণ অডিও বোঝাপড়ার কর্মদক্ষতা হারায় না।

কোড রিপোজিটরি ক্লোন করুন: git clone https://github.com/xiaomi-research/midashenglm-spatial.git।
ইনফারেন্স পরিবেশ তৈরি করে নির্ভরতা ইনস্টল করুন: conda create -n midashengspatial python=3.13 -y && conda activate midashengspatial, তারপর pip install -r requirements.txt।
মডেলের ওজন সংগ্রহ করুন: আলাদাভাবে ডাউনলোডের প্রয়োজন নেই। কোডটি স্বয়ংক্রিয়ভাবে HuggingFace থেকে mispeech/midashenglm-spatial সংগ্রহ করবে।
দ্বিকর্ণ অডিও প্রস্তুত করুন: ইনপুট হিসেবে (2, T) দুই-চ্যানেলের বাস্তব দ্বিকর্ণ অডিও দিন।
মডেল ও প্রসেসর লোড করুন: trust_remote_code=True ব্যবহার করে AutoModelForCausalLM এবং AutoProcessor দিয়ে মডেল লোড করুন।
কথোপকথনের বার্তা তৈরি করুন: প্রশিক্ষণের “আগে অডিও, পরে টেক্সট” ক্রম অনুযায়ী messages সাজান, যেমন অডিও + “Write a general audio caption describing the sound source and its spatial information.”।
ইনফারেন্স চালান: processor.apply_chat_template দিয়ে ইনপুট প্রক্রিয়াকরণের পর model.generate কল করুন এবং batch_decode দিয়ে ফলাফল আউটপুট দিন।
উদাহরণ অনুসরণ করে চালান: রিপোজিটরির example/inference.py ফাইলে সরাসরি চালানো যায় এমন সম্পূর্ণ উদাহরণ রয়েছে।

শিল্পে প্রথম: প্রথম উন্মুক্ত-সোর্স করা এন্ড-টু-এন্ড একীভূত অডিও-ভাষা মডেল, যা একটি একক আর্কিটেকচারে সাধারণ অডিও বোঝাপড়া ও স্থানিক উপলব্ধি উভয়ই সমর্থন করে।
শীর্ষস্থানীয় স্থানিক উপলব্ধি: STAR-Bench-এর স্থানিক যুক্তি উপসেটে নির্ভুলতা 70.3%, যা মানবস্তরের 73.7%-এর কাছাকাছি এবং Gemini-3.6-Flash-এর 47.0%-এর তুলনায় অনেক বেশি।
নির্ভরযোগ্য উপলব্ধি: Channel-Swap ACR 72.6%, যা প্রমাণ করে যে বাম-ডান দিক নির্ধারণ বাস্তব শ্রবণ সংকেতের ওপর ভিত্তি করে।
সাধারণ সক্ষমতায় ক্ষতি নেই: একক-চ্যানেল অডিও প্রশ্নোত্তর, স্পিচ রিকগনিশন, অডিও বর্ণনা ইত্যাদি সাধারণ বেঞ্চমার্কে ফলাফল ভিত্তি MiDashengLM-7B-এর প্রায় সমান। স্থানিক সক্ষমতার জন্য সাধারণ ব্যবহারের ক্ষমতা কমে না।
ওভারল্যাপ করা শব্দের উৎস বিশ্লেষণ: Spatial-Dasheng এনকোডার ওভারল্যাপ করা শব্দের উৎস প্রতি ফ্রেমে শনাক্ত ও নির্ধারণ করতে পারে এবং বাস্তব দৃশ্যে একসঙ্গে একাধিক ব্যক্তির কথা বলার মতো জটিল পরিস্থিতি সামলাতে পারে।

প্রকল্পের ওয়েবসাইট: https://jinbo-hu.github.io/midashenglm-spatial-demo/
GitHub রিপোজিটরি: https://github.com/xiaomi-research/midashenglm-spatial
HuggingFace মডেল: https://huggingface.co/mispeech/midashenglm-spatial
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2610.11156

স্মার্ট কেবিনে মিথস্ক্রিয়া: গাড়ির কোন আসনের যাত্রী কথা বলছেন তা নির্ধারণ করে অঞ্চলভিত্তিক স্পিচ রিকগনিশন ও নির্দেশনা কার্যকর করা।
স্মার্ট হোমে অ্যাকোস্টিক উপলব্ধি: স্পিকার বা গৃহস্থালি ডিভাইসের মাধ্যমে বাড়ির শব্দের দিক ও গতি শনাক্ত করা।
AR/VR স্থানিক অডিও: ভার্চুয়াল জগতের জন্য শ্রবণভিত্তিক স্থানিক বোঝাপড়া প্রদান করা, যাতে শব্দের উৎস নির্ধারণ, স্থানিক বর্ণনা তৈরি ও নিমগ্ন মিথস্ক্রিয়া সম্ভব হয়।
শ্রবণসহায়ক ও প্রতিবন্ধীবান্ধব ডিভাইস: শ্রবণপ্রতিবন্ধী ব্যক্তিদের শব্দ কোন দিক থেকে আসছে তা বুঝতে সহায়তা করা এবং পরিবেশ-সচেতনতা ও চলাচলের নিরাপত্তা বাড়ানো।