Hy-SimulMT Faoliyat yuritmoqda

Hy-SimulMT — Tencent Hunyuan tomonidan ochiq manbada taqdim etilgan sinxron tarjima uchun katta model bo‘lib, xitoycha va inglizcha nutqni real vaqt rejimida nutqdan nutqqa tarjima qilishni qo‘llab-quvvatlaydi. U tinglash bilan bir vaqtda tarjima qiladi va so‘zlovchining ovoz tembrini real vaqt rejimida klonlaydi. Hy-SimulMT amaliy sinovlarda taxminan 3 soniyalik javob kechikishiga ega bo‘lib, inson tarjimonlarining 4–5 soniyalik ko‘rsatkichidan yaxshiroq natija ko‘rsatdi; RealSI baholash to‘plamida kechikish eng past, tarjima sifati esa ochiq manbali modellar orasida eng yuqori bo‘ldi. U ko‘plab tijoriy API’lardan ustun keldi va turli sohalardagi amaliy sinovlarda inson sinxron tarjima mutaxassislaridan yuqori sifat ko‘rsatdi.

Real vaqt rejimidagi sinxron tarjima: so‘zlovchining audiosi modelga uzluksiz uzatiladi, model tinglash bilan birga tarjima qiladi va gapirish bilan bir vaqtda tarjima natijasini chiqaradi. Shu tariqa xitoycha va inglizcha nutq o‘rtasida ikki yo‘nalishli, real vaqt rejimidagi nutqdan nutqqa tarjima amalga oshiriladi.
Real vaqt rejimida ovoz tembrini klonlash: tarjima natijasi so‘zlovchining o‘z ovoz tembri va ohangini saqlab qolishi mumkin. Ko‘p kishilik suhbatlarda turli so‘zlovchilarning ovozlarini ajratib, qayta tiklaydi.
Matn va nutqni birgalikda chiqarish: model tarjima matnini chiqara oladi (Interleave versiyasi manba tilidagi matnni ham bir vaqtda chiqaradi), tarjima nutqini chiqarish uchun mos TTS xizmatidan foydalanish mumkin.
Past kechikishli javob: amaliy sinovlarda sinxron tarjima kechikishi taxminan 3 soniyani tashkil etdi, bu inson professional tarjimonlarining 4.5–4.7 soniyalik ko‘rsatkichidan tezroq.

WeChat’da kuzatib, “开源” deb javob yuboring va AI ochiq manbali loyihalar guruhiga qo‘shiling
Oqimli sinxron tarjima dekodlashi: inkremental tushunish va “avval gapirish, keyin tuzatish”. Sinxron tarjimaning asosiy muammosi “ko‘proq ma’lumot to‘planmaguncha kutish orqali aniqlikni oshirish” va “erta gapirib, tinglash tajribasini yaxshilash” o‘rtasidagi muvozanatdir. Hy-SimulMT so‘zlovchining gapini tugatishini kutmaydi. U uzluksiz audio oqimini qabul qilish bilan birga inkremental tarzda tushunadi va oz miqdordagi nutq ma’lumotini to‘plagach, tarjimani yaratishni boshlaydi. Keyingi ma’lumotlar kelganda avvalgi chiqish to‘liq emasligi yoki xato ekanligi aniqlansa, inson tarjimonining o‘zini tuzatishiga o‘xshab tarjima matnini tuzatadi.
Katta hajmdagi siyrak MoE tarjima magistrali: ochiq manbali model Hy-SimulMT-30B-A3B bo‘lib, jami 30B parametr va har safar taxminan 3B faollashtiriladigan parametrga ega aralash ekspertlar (MoE) arxitekturasidir. U Hunyuan HYV3ForCausalLM model oilasiga asoslangan va asosiy inference backend sifatida vLLM’dan foydalanadi. Siyrak faollashtirish dizayni katta model tarjima sifatini saqlagan holda inference xarajatlarini kichik model darajasiga yaqinlashtiradi. Shu sababli u tezlikka sezgir bo‘lgan real vaqt rejimidagi sinxron tarjima uchun mos keladi.
Ovoz tembrini klonlash mustaqil TTS komponenti orqali amalga oshiriladi: modelning o‘zi oqimli nutqni tanish va sinxron tarjima uchun javob beradi hamda matnni chiqaradi (faqat tarjima matni yoki manba matni + tarjima matni rejimlari mavjud). Nutq sintezi va kiruvchi ovoz tembrini klonlash sozlanadigan TTS xizmati zimmasida bo‘ladi. Bunday modulli dizayn tarjima sifati va ovozning tabiiyligini alohida optimallashtirish hamda uchinchi tomon TTS xizmatlarini ulash imkonini beradi. Kamchiligi shundaki, zanjirli jarayonda ASR tanishidagi xatolar quyi bosqichlarga o‘tishi mumkin; ularni tarjima modelining barqarorligi orqali bartaraf etish kerak.

Repozitoriyni klonlash: git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git buyrug‘ini bajaring va loyiha katalogiga kiring.
Inference xizmatini bir buyruq bilan joylashtirish: SimulInfer/ katalogiga kirib, bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave buyrug‘ini ishga tushiring.
TTS’ni sozlash (ixtiyoriy): nutq chiqarish va ovoz tembrini klonlash kerak bo‘lsa, config.toml faylida TTS xizmati ulanishini sozlang; faqat matnli tarjima uchun bu qadam shart emas.
Foydalanishni boshlash: terminalda Ready: http://127.0.0.1:8080/ yozuvi paydo bo‘lishini kuting, brauzerda ushbu manzilni oching, tarjima yo‘nalishini tanlang, so‘ng audio faylni yuklang yoki mikrofon orqali gapiring. Yakunlash uchun “Stop and finish” tugmasini bosing.
Buyruqlar satri orqali chaqirish: faylni curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav buyrug‘i yordamida yuklash yoki tarjima natijasini olish uchun repozitoriy bilan birga keladigan simulinfer-client mijozidan foydalanish mumkin.

Past kechikishda yetakchi: StreamLAAL amaliy sinovlarda taxminan 3 soniyani tashkil etdi. Bu inson professional tarjimonlaridan tezroq va taqqoslangan tizimlar orasida kechikishi eng past bo‘lgan ochiq manbali sinxron tarjima modelidir.
Sifat va tezlik uyg‘unligi: RealSI uzun audio baholashida “eng past kechikish + eng yuqori sifat” natijasiga erishdi. GEMBA balli barcha taqqoslangan ochiq manbali modellar va 5 ta tijoriy API’ning 4 tasidan yuqori bo‘ldi.
Inson mutaxassislari darajasida: 6 nafar CATTI I/II darajali sertifikatga ega sinxron tarjima mutaxassislari bilan o‘tkazilgan ko‘r-ko‘rona taqqoslashda tarjima sifati yuqoriroq, javob tezligi esa tezroq bo‘ldi.
Real vaqt rejimida ovoz tembrini klonlash: tarjima nutqi so‘zlovchining ovoz tembri va ohangini yuqori darajada tiklaydi. Ko‘p kishilik vaziyatlarda turli so‘zlovchilarni ajratadi va muloqotni tabiiyroq qiladi.

GitHub repozitoriysi: https://github.com/Tencent-Hunyuan/Hy-SimulMT
HuggingFace model kutubxonasi: https://huggingface.co/collections/tencent/hy-simulmt

Xalqaro konferensiyalar va forumlar: yirik xalqaro tadbirlarda ko‘ngillilar va boshlang‘ich darajadagi xizmat xodimlari uchun rasmiy AI tarjima ilovasi sifatida belgilanib, xorijiy mehmonlarni kutib olish va joyida muloqot qilishda qo‘llanadi.
Tillararo biznes muzokaralari va yig‘ilishlar: kompaniyalarning xalqaro yig‘ilishlarida xitoycha va inglizcha real vaqt tarjimasini ta’minlaydi. Ishtirokchilar o‘z ona tilida gapirib, tinglashlari mumkin, bu esa muloqot xarajatlarini kamaytiradi.
Nutq va treninglar uchun sinxron tarjima: akademik ma’ruzalar, korporativ treninglar va ochiq darslar kabi bir kishi uzoq vaqt gapiradigan vaziyatlarda model barqaror tarjima qiladi va tabiiy tarjima nutqini yaratadi. U “yordamchi tushunish” vositasi sifatida mos keladi.
Ko‘p so‘zlovchili intervyu va media kontenti: intervyu, podkast va hujjatli filmlardagi ko‘p kishilik suhbatlarda har bir so‘zlovchining ovoz tembrini bir vaqtda klonlaydi, shuning uchun tinglovchi kim gapirayotganini ajrata oladi.
Xorijiy sayyohlik va kundalik xizmatlar: aeroport, mehmonxona, ko‘rgazma, restoran kabi xorijliklarga xizmat ko‘rsatish joylaridagi past xavfli muloqot vaziyatlarida xizmat xodimlariga xorijiy sayyohlar bilan asosiy, amaliy yuzma-yuz muloqotni amalga oshirishga yordam beradi.