Ming-3.0 চালু আছে

Ming-3.0 হলো Ant Group-এর Ling ওপেন-সোর্স করা একটি স্পিচ মডেল সিরিজ। স্পিচ সিন্থেসিস, অডিও বোঝাপড়া ও কথোপকথন, এবং স্পিচ রিকগনিশন—এই তিন ধরনের কাজকে কেন্দ্র করে এতে পাঁচটি মডেল রয়েছে। Ming-3.0-tts সিরিজে “ডিরেক্টর মোড”-এর মাধ্যমে আবেগ, গতি ও জোরের সূক্ষ্ম নিয়ন্ত্রণ করা যায়; Ming-3.0-audio সিরিজ দীর্ঘ রেকর্ডিং এন্ড-টু-এন্ড বুঝে কাঠামোবদ্ধ আউটপুট দিতে পারে; Ming-3.0-asr সিরিজ হটওয়ার্ড ইনজেকশন ও উপভাষা শনাক্তকরণ সমর্থন করে। মডেলগুলো ইতিমধ্যে Ant Group-এর একাধিক অভ্যন্তরীণ ব্যবসায় ব্যবহৃত হচ্ছে এবং অনলাইন অভিজ্ঞতা ও API সেবা প্রদান করে।

Voice Design ভয়েস ডিজাইন: টেক্সটের বর্ণনা বা রেফারেন্স অডিও ব্যবহার করে কাঙ্ক্ষিত কণ্ঠস্বর তৈরি করুন।
ডিরেক্টর মোড: নির্দেশনার মাধ্যমে কণ্ঠের আবেগের পরিবর্তন, জোর দেওয়ার স্থান এবং ছন্দ সূক্ষ্মভাবে নিয়ন্ত্রণ করুন।
ইনলাইন প্যারালিঙ্গুইস্টিক ট্যাগ: টেক্সটে হাসি, দীর্ঘশ্বাসের মতো চিহ্ন যোগ করে চরিত্রের অবস্থা আরও প্রাণবন্ত করুন।
দীর্ঘ অডিওর এন্ড-টু-এন্ড বোঝাপড়া: দীর্ঘ রেকর্ডিং সরাসরি ট্রান্সক্রাইব, সারসংক্ষেপ ও বিশ্লেষণ করে ঐকমত্য এবং মতভেদ তুলে ধরে, পাশাপাশি আবেগ ও বক্তার তথ্য সংরক্ষণ করে।
স্পিচ রিজনিং ও টুল কলিং: রেকর্ডিং বোঝার ভিত্তিতে যুক্তি প্রয়োগ ও বাহ্যিক টুল কল করে সম্পূর্ণ স্পিচ টাস্ক সমর্থন করে।
Context ASR হটওয়ার্ড ইনজেকশন: শনাক্তকরণের সময় হটওয়ার্ডের তালিকা ও কথোপকথনের পূর্বপ্রসঙ্গ পাঠিয়ে উচ্চারণভঙ্গি, স্থাননাম ও পেশাগত পরিভাষা নির্ভুলভাবে শনাক্ত করুন।
মডেল সমন্বিত ওয়ার্কফ্লো: TTS, Audio ও ASR—এই তিন ক্ষমতা স্বাধীনভাবে সমন্বয় করে ডেভেলপারের নিজস্ব ব্যবসায়িক প্রবাহে যুক্ত করা যায়।

WeChat-এ ফলো করে “ওপেন সোর্স” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
Audio সিরিজ: দীর্ঘ অডিও বোঝার আর্কিটেকচার। Ming-3.0-audio-flash ইনপুটে 6.25 Hz কম-ফ্রেম-রেট অডিও রিপ্রেজেন্টেশন ব্যবহার করে একই রেকর্ডিংয়ের সংশ্লিষ্ট সিকোয়েন্সের দৈর্ঘ্য কমায়; এর ভাষা-ভিত্তি Ling-3.0, যা KDA ও Gated MLA মিশ্র অ্যাটেনশনের সঙ্গে দীর্ঘমেয়াদি নির্ভরতা ধরার পাশাপাশি গণনার পরিমাণ নিয়ন্ত্রণ করে। এরপর sparse MoE আর্কিটেকচার যুক্ত করে ইনফারেন্সের চাপ আরও কমানো হয়। ফলে দীর্ঘ রেকর্ডিং নিয়ে ধারাবাহিক প্রশ্ন ও দ্রুত উত্তর দেওয়া সম্ভব হয়, একই সঙ্গে মানুষের কণ্ঠ, অডিও ইভেন্ট ও পরিবেশের শব্দের মতো সূক্ষ্ম অ্যাকোস্টিক তথ্য সংরক্ষিত থাকে।
TTS সিরিজ: শর্তনির্ভর স্পিচ জেনারেশন। Ming-3.0-tts মাত্র 0.5B প্যারামিটার ব্যবহার করেও অত্যন্ত স্বাভাবিক সংশ্লেষণ করতে পারে। মূল ধারণা হলো, ডিরেক্টরের নির্দেশনা এবং কণ্ঠস্বরের বর্ণনা/রেফারেন্স অডিওকে শর্ত হিসেবে নিয়ে সংশ্লেষণযোগ্য টেক্সটের সঙ্গে যৌথভাবে অ্যাকোস্টিক জেনারেশন নিয়ন্ত্রণ করা, যাতে মডেল টেক্সটের বর্ণনার মাধ্যমে সূক্ষ্ম অভিনয়ধর্মী স্তর উপস্থাপন করতে পারে।
TTS প্যারালিঙ্গুইস্টিক ট্যাগ: স্পষ্ট অ্যাকোস্টিক ইভেন্ট নিয়ন্ত্রণ। টেক্সটে [Laughter]-এর মতো ইনলাইন ট্যাগ যোগ করে প্যারালিঙ্গুইস্টিক ইভেন্টের অবস্থান মডেলকে স্পষ্টভাবে জানানো হয়, ফলে হাসি, দীর্ঘশ্বাস ও কাশির মতো অভিব্যক্তি নির্ভুলভাবে সন্নিবেশ করা যায়।
ASR সিরিজ: কর্পাস ইঞ্জিনিয়ারিং + কনটেক্সট ইনজেকশন। Ming-3.0-asr-tiny ম্যান্ডারিন, ইংরেজি, উপভাষা ও ডোমেইনভিত্তিক হটওয়ার্ড সমৃদ্ধ উচ্চমানের কর্পাস তৈরি করে এবং ডেটার বণ্টন যুক্তিসংগতভাবে নিয়ন্ত্রণ করে। একই সঙ্গে ভাষা মডেলের ভিত্তির কনটেক্সট বোঝার ক্ষমতা ব্যবহার করে সম্ভাব্য হটওয়ার্ডের তালিকা ও কথোপকথনের পূর্বপ্রসঙ্গকে শর্ততথ্য হিসেবে শনাক্তকরণ প্রক্রিয়ায় যুক্ত করা হয়, যা সমোচ্চারিত শব্দ ও দুর্লভ নাম শনাক্ত করতে সহায়তা করে। নির্দিষ্ট পরিস্থিতির জন্য অতিরিক্ত প্রশিক্ষণের প্রয়োজন হয় না।

অনলাইন অভিজ্ঞতা: https://ling.tbox.cn-এ গিয়ে Ling Studio Chat-এ Ming-3.0-audio-flash নির্বাচন করুন এবং অডিও আপলোড করে অডিও বোঝাপড়া ও কথোপকথনের ক্ষমতা ব্যবহার করুন।
API সংযুক্তি: Ling Studio-এর মাধ্যমে tts-0.5B, audio-flash ও asr-tiny—এই তিন মডেলের উন্মুক্ত API সেবা কল করে স্পিচ রিকগনিশন ও স্পিচ জেনারেশন নিজের ব্যবসায়িক ওয়ার্কফ্লোতে যুক্ত করুন।
স্থানীয় ডিপ্লয়মেন্ট: Hugging Face থেকে মডেলের ওজন ডাউনলোড করে স্থানীয় পরিবেশে লোড ও চালান।
ওয়ার্কফ্লোতে সমন্বয়: প্রয়োজন অনুযায়ী TTS, Audio ও ASR-এর বিভিন্ন ক্ষমতা যুক্ত করে “স্পিচ ইনপুট → বোঝাপড়া ও বিশ্লেষণ → স্পিচ আউটপুট”-এর মতো সম্পূর্ণ চক্র তৈরি করুন।

তিনটি কাজের পূর্ণ কভারেজ: স্পিচ সিন্থেসিস, অডিও বোঝাপড়া ও স্পিচ রিকগনিশন—এই তিন পণ্য লাইনে পাঁচটি মডেল রয়েছে। ডেভেলপাররা প্রয়োজন অনুযায়ী এগুলো নির্বাচন বা সমন্বয় করে ওয়ার্কফ্লোতে যুক্ত করতে পারেন।
ডিরেক্টর মোডে শিল্পক্ষেত্রে অনন্য: টেক্সট নির্দেশনার মাধ্যমে আবেগ, জোর ও ছন্দ সূক্ষ্মভাবে নিয়ন্ত্রণ করা যায়, যা প্রচলিত TTS দিয়ে কঠিন অভিনয়ধর্মী স্পিচ জেনারেশন সম্ভব করে।
0.5B ছোট মডেলে SOTA: উচ্চারণের দৃঢ়তা 93.2%, পুরো তালিকায় যৌথভাবে 1ম; Controlled Voice 1069 Elo, উন্মুক্ত ওজনের মডেলগুলোর মধ্যে 1ম। একই মানের বড় মডেলের তুলনায় ডিপ্লয়মেন্ট খরচ অনেক কম।
দীর্ঘ অডিওর এন্ড-টু-এন্ড বোঝাপড়া: আবেগ, বক্তার পরিচয় ও পরিবেশের শব্দের মতো তথ্য সরাসরি সংরক্ষণ করে, ফলে সভা ও সাক্ষাৎকারের নোট এক ধাপেই তৈরি করা যায়।
দীর্ঘ অডিওতে দক্ষ রিজনিং: 6.25Hz কম-ফ্রেম-রেট রিপ্রেজেন্টেশন + KDA/Gated MLA মিশ্র অ্যাটেনশন + sparse MoE দীর্ঘ রেকর্ডিং বোঝা ও ইন্টার‌্যাকশনের গণনাগত চাপ উল্লেখযোগ্যভাবে কমায়।
হটওয়ার্ড ও কনটেক্সট প্রশিক্ষণ ছাড়াই ইনজেকশন: ASR শনাক্তকরণের সময় সরাসরি হটওয়ার্ডের তালিকা ও কথোপকথনের পূর্বপ্রসঙ্গ পাঠানো যায়; উপভাষা, স্থাননাম ও পেশাগত পরিভাষা শনাক্ত করতে অতিরিক্ত প্রশিক্ষণের প্রয়োজন নেই।

HuggingFace মডেল সংগ্রহ: https://huggingface.co/collections/inclusionAI/ming-30

সভা ও সাক্ষাৎকারের নোট তৈরি: audio-flash দিয়ে সরাসরি দীর্ঘ রেকর্ডিং প্রক্রিয়া করে “যেসব বিষয়ে ঐকমত্য হয়েছে, যেসব বিষয়ে সিদ্ধান্ত বাকি, এবং বিভিন্ন পক্ষের যুক্তি” স্বয়ংক্রিয়ভাবে তুলে কাঠামোবদ্ধ সভার নোটে রূপান্তর করুন। এতে হাতে ট্রান্সক্রিপ্ট ঘাঁটার সময় বাঁচে।
অডিও কনটেন্ট ও চরিত্রের ডাবিং: কনটেন্ট টিম TTS-এর Voice Design ও ডিরেক্টর মোড ব্যবহার করে চরিত্র অনুযায়ী সংলাপের সঙ্গে সামঞ্জস্যপূর্ণ আবেগ, গতি ও শৈলীর কণ্ঠ তৈরি করতে পারে। হাসি ও দীর্ঘশ্বাসও যোগ করা যায়, ফলে চরিত্র আরও প্রাণবন্ত হয়।
কাস্টমার সার্ভিস ও ব্যবসায়িক স্পিচ ট্রান্সক্রিপশন: asr-tiny-তে পণ্যের নাম, স্থাননামসহ শিল্পক্ষেত্রের হটওয়ার্ড ও কথোপকথনের পূর্বপ্রসঙ্গ যুক্ত করে উপভাষাযুক্ত গ্রাহকের কণ্ঠ নির্ভুলভাবে শনাক্ত করা যায়। এটি কাস্টমার সার্ভিস রেকর্ড, Alipay সার্চ ও নিরাপত্তা যাচাইয়ের মতো ক্ষেত্রে উপযোগী।
পণ্যভিত্তিক ভয়েস অ্যাসিস্ট্যান্ট: TTS ও ASR সমন্বয় করে স্পিচ ইনপুট → সেমান্টিক বোঝাপড়া → স্পিচ আউটপুট—এই দুই ধাপ যুক্ত করা যায়, যেমন A-Fu APP-এর প্রধান কথোপকথন ও ভয়েস কল, এবং চিকিৎসকের কণ্ঠ ক্লোন করা অ্যাসিস্ট্যান্ট।