Hy-SimulMT চালু আছে

Hy-SimulMT হলো টেনসেন্ট হুনইয়ানের ওপেন-সোর্স করা একযোগে অনুবাদের বড় মডেল। এটি চীনা ও ইংরেজি কথ্য ভাষার মধ্যে রিয়েল-টাইমে স্পিচ-টু-স্পিচ অনুবাদ সমর্থন করে, একই সঙ্গে শুনে অনুবাদ করতে পারে এবং বক্তার কণ্ঠস্বর তাৎক্ষণিকভাবে ক্লোন করতে পারে। পরীক্ষায় Hy-SimulMT-এর প্রতিক্রিয়া বিলম্ব প্রায় 3 সেকেন্ড, যা মানব অনুবাদকদের 4–5 সেকেন্ডের স্তরের চেয়ে ভালো। RealSI মূল্যায়ন সেটে এর বিলম্ব সর্বনিম্ন এবং অনুবাদের মান ওপেন-সোর্স মডেলগুলোর মধ্যে সর্বোচ্চ; এটি অধিকাংশ বাণিজ্যিক API-কে ছাড়িয়ে যায় এবং বিভিন্ন ক্ষেত্রে বাস্তব পরীক্ষায় মানব একযোগে অনুবাদ বিশেষজ্ঞদেরও ছাড়িয়ে গেছে।

রিয়েল-টাইম স্পিচ ইন্টারপ্রিটেশন: বক্তার অডিও ধারাবাহিকভাবে মডেলে প্রবাহিত হতে পারে। মডেল শুনতে শুনতে অনুবাদ করে এবং বলতে বলতে অনূদিত বক্তব্য প্রকাশ করে, ফলে চীনা ও ইংরেজির মধ্যে দ্বিমুখী স্পিচ-টু-স্পিচ রিয়েল-টাইম অনুবাদ সম্ভব হয়।
রিয়েল-টাইম কণ্ঠস্বর ক্লোনিং: অনূদিত আউটপুটে বক্তার নিজস্ব কণ্ঠস্বর ও স্বরভঙ্গি বজায় রাখা যায়। বহু-বক্তার কথোপকথনে এটি বিভিন্ন বক্তার কণ্ঠ আলাদা করে শনাক্ত ও পুনরুদ্ধার করতে পারে।
টেক্সট ও স্পিচ—দুই ধরনের আউটপুট: মডেল অনূদিত টেক্সট আউটপুট করতে পারে (Interleave সংস্করণ একই সঙ্গে উৎস ভাষার টেক্সটও দিতে পারে) এবং সহায়ক TTS পরিষেবার মাধ্যমে অনূদিত স্পিচ আউটপুট করা যায়।
কম বিলম্বের প্রতিক্রিয়া: পরীক্ষায় একযোগে অনুবাদের বিলম্ব প্রায় 3 সেকেন্ড, যা মানব পেশাদার অনুবাদকদের 4.5–4.7 সেকেন্ডের স্তরের চেয়ে দ্রুত।

WeChat-এ অনুসরণ করে “开源” লিখে উত্তর দিন এবং AI ওপেন-সোর্স প্রকল্পের যোগাযোগ গ্রুপে যোগ দিন
স্ট্রিমিং একযোগে অনুবাদ ডিকোডিং: ক্রমবর্ধমান উপলব্ধি ও “আগে বলা, পরে সংশোধন”। একযোগে অনুবাদের মূল দ্বন্দ্ব হলো “আরও তথ্য পেলে অনুবাদ নির্ভুল হয়” এবং “আগে শুরু করলে শোনার অভিজ্ঞতা ভালো হয়”—এই দুইয়ের মধ্যে ভারসাম্য। Hy-SimulMT বক্তার কথা শেষ হওয়া পর্যন্ত অপেক্ষা করে না। এটি ধারাবাহিক অডিও স্ট্রিমে গ্রহণের সঙ্গে সঙ্গে ক্রমবর্ধমান উপলব্ধি করে এবং অল্প পরিমাণ কথ্য তথ্য জমলেই অনুবাদ তৈরি শুরু করে। পরবর্তী তথ্য আসার পর আগের আউটপুট অসম্পূর্ণ বা ভুল মনে হলে, মানব অনুবাদকের আত্মসংশোধনের মতো অনূদিত বক্তব্য সংশোধন করে।
বৃহৎ আকারের স্পার্স MoE অনুবাদ ব্যাকবোন: ওপেন-সোর্স মডেলটি Hy-SimulMT-30B-A3B, অর্থাৎ মোট 30B প্যারামিটার এবং প্রতি ধাপে প্রায় 3B সক্রিয় প্যারামিটারসহ একটি Mixture-of-Experts (MoE) আর্কিটেকচার। এটি হুনইয়ান HYV3ForCausalLM মডেল পরিবারের ওপর ভিত্তি করে তৈরি এবং প্রধান ইনফারেন্স ব্যাকএন্ড হিসেবে vLLM ব্যবহার করে। স্পার্স অ্যাক্টিভেশনের নকশা বড় মডেলের অনুবাদের মান বজায় রেখেও ইনফারেন্স খরচকে ছোট মডেলের কাছাকাছি রাখে, তাই গতি-সংবেদনশীল অনলাইন রিয়েল-টাইম একযোগে অনুবাদের জন্য এটি উপযোগী।
স্বাধীন TTS কম্পোনেন্টের মাধ্যমে কণ্ঠস্বর ক্লোনিং: মূল মডেলটি স্ট্রিমিং স্পিচ রিকগনিশন ও একযোগে অনুবাদ সম্পন্ন করে এবং টেক্সট আউটপুট দেয় (শুধু অনূদিত টেক্সট এবং উৎস টেক্সট+অনূদিত টেক্সট—এই দুই ধরনের আউটপুট মোডে)। স্পিচ সংশ্লেষণ ও ইনপুট কণ্ঠস্বর ক্লোনিং কনফিগারযোগ্য TTS পরিষেবা পরিচালনা করে। এই মডুলার নকশায় অনুবাদের মান ও কণ্ঠস্বরের স্বাভাবিকতা আলাদাভাবে উন্নত করা যায় এবং তৃতীয় পক্ষের TTS সহজে যুক্ত করা যায়। তবে ক্যাসকেড চেইনে ASR শনাক্তকরণের ভুল পরবর্তী ধাপে ছড়িয়ে পড়তে পারে, যা অনুবাদ মডেলের দৃঢ়তার মাধ্যমে সামলাতে হয়।

রিপোজিটরি ক্লোন করুন: git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git চালিয়ে প্রকল্প ডিরেক্টরিতে প্রবেশ করুন।
এক ক্লিকে ইনফারেন্স পরিষেবা স্থাপন: SimulInfer/ ডিরেক্টরিতে প্রবেশ করে bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave চালান।
TTS কনফিগার করুন (ঐচ্ছিক): স্পিচ আউটপুট ও কণ্ঠস্বর ক্লোনিং প্রয়োজন হলে config.toml-এ TTS পরিষেবার সংযোগ কনফিগার করুন। শুধু টেক্সট অনুবাদের জন্য এই ধাপ দরকার নেই।
ব্যবহার শুরু করুন: টার্মিনালে Ready: http://127.0.0.1:8080/ প্রদর্শিত হওয়া পর্যন্ত অপেক্ষা করুন। ব্রাউজারে ঠিকানাটি খুলে অনুবাদের দিক নির্বাচন করুন, তারপর অডিও ফাইল আপলোড করুন অথবা মাইক্রোফোন চালু করে কথা বলুন। শেষ করতে 「Stop and finish」-এ ক্লিক করুন।
কমান্ড-লাইন কল: curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav ব্যবহার করে ফাইল আপলোড করা যায়, অথবা রিপোজিটরির সঙ্গে থাকা simulinfer-client ক্লায়েন্ট দিয়ে অনুবাদের ফল পাওয়া যায়।

কম বিলম্বে অগ্রগণ্য: পরীক্ষায় StreamLAAL প্রায় 3 সেকেন্ড, যা মানব পেশাদার অনুবাদকদের চেয়ে দ্রুত এবং তুলনামূলক সিস্টেমগুলোর মধ্যে সর্বনিম্ন বিলম্বের ওপেন-সোর্স একযোগে অনুবাদ মডেল।
মান ও গতি একসঙ্গে: RealSI দীর্ঘ অডিও মূল্যায়নে “সর্বনিম্ন বিলম্ব + সর্বোচ্চ মান” অর্জন করেছে। GEMBA স্কোর সব তুলনামূলক ওপেন-সোর্স মডেল এবং 5টি বাণিজ্যিক API-এর মধ্যে 4টিকে ছাড়িয়ে গেছে।
মানব বিশেষজ্ঞদের স্তরে পৌঁছেছে: CATTI প্রথম/দ্বিতীয় স্তরের সনদধারী 6 জন একযোগে অনুবাদ বিশেষজ্ঞের সঙ্গে অন্ধ পরীক্ষার তুলনায় অনুবাদের মানের স্কোর বেশি এবং প্রতিক্রিয়ার গতি দ্রুত।
রিয়েল-টাইম কণ্ঠস্বর ক্লোনিং: অনূদিত স্পিচ বক্তার কণ্ঠস্বর ও স্বরভঙ্গি অত্যন্ত স্বাভাবিকভাবে পুনরুদ্ধার করতে পারে। বহু-বক্তার পরিস্থিতিতে বিভিন্ন বক্তাকে আলাদা করা যায়, ফলে যোগাযোগ আরও স্বাভাবিক হয়।

GitHub রিপোজিটরি: https://github.com/Tencent-Hunyuan/Hy-SimulMT
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/collections/tencent/hy-simulmt

আন্তর্জাতিক সম্মেলন ও ফোরাম: বড় আন্তর্জাতিক অনুষ্ঠানে স্বেচ্ছাসেবক ও基层 পরিষেবা কর্মীদের জন্য এটিকে নির্দিষ্ট অফিসিয়াল AI অনুবাদ অ্যাপ্লিকেশন হিসেবে ব্যবহার করা হয়, বিশেষ করে বিদেশি অতিথি অভ্যর্থনা ও现场 যোগাযোগে।
আন্তঃভাষিক ব্যবসায়িক আলোচনা ও সভা: বহুজাতিক প্রতিষ্ঠানের সভায় চীনা ও ইংরেজির মধ্যে রিয়েল-টাইম অনুবাদ সম্ভব করে। অংশগ্রহণকারীরা নিজেদের মাতৃভাষায় কথা বলতে ও শুনতে পারেন, ফলে যোগাযোগের খরচ কমে।
বক্তৃতা ও প্রশিক্ষণে একযোগে অনুবাদ: একাডেমিক বক্তৃতা, কর্পোরেট অভ্যন্তরীণ প্রশিক্ষণ ও উন্মুক্ত ক্লাসের মতো দীর্ঘ সময়ের একক বক্তৃতায় মডেল স্থিতিশীলভাবে অনুবাদ করতে পারে এবং অনূদিত বক্তব্য স্বাভাবিক থাকে। “সহায়ক বোঝাপড়া”র সরঞ্জাম হিসেবে এটি উপযোগী।
বহু-বক্তার সাক্ষাৎকার ও মিডিয়া কনটেন্ট: সাক্ষাৎকার, পডকাস্ট ও প্রামাণ্যচিত্রের মতো বহু-বক্তার কথোপকথনে একযোগে অনুবাদের সময় প্রতিটি বক্তার কণ্ঠস্বর ক্লোন করা হয়, ফলে শ্রোতা বুঝতে পারেন কে কথা বলছেন।
বিদেশি পর্যটন ও দৈনন্দিন পরিষেবা: বিমানবন্দর, হোটেল, প্রদর্শনী ও রেস্তোরাঁর মতো বিদেশি অতিথিসেবা কেন্দ্রের কম-ঝুঁকির যোগাযোগে পরিষেবা কর্মী ও বিদেশি পর্যটকদের মধ্যে মৌলিক, ব্যবহারযোগ্য মুখোমুখি কথোপকথনে সহায়তা করে।