Index-Translate Inafanya kazi

Index-Translate ni familia ya miundo ya utafsiri wa lugha nyingi iliyotolewa kwa chanzo huria na timu ya Index LLM ya B站, iliyojengwa kwa misingi ya Qwen3.5 na kutumia leseni ya Apache-2.0. Miundo ya maandishi inashughulikia lugha 150 na inapatikana katika ukubwa wa 2B/9B/35B-A3B, ikiwa na uwezo wa kufuata maagizo ya utafsiri kama vile istilahi, umbizo na maudhui ya kuhifadhi. Familia ya Index-Translate pia inajumuisha utafsiri wa sauti wa Index-Echo, utafsiri unaodhibitiwa kwa silabi wa Index-Homura, na utafsiri wa hati ndefu wa Index-NativeLong.

Utafsiri wa maandishi wa Index-Translate: Hushughulikia utafsiri wa maandishi na maudhui yaliyopangwa katika lugha 150, huku ikiweza kutekeleza kwa wakati mmoja mahitaji kama vile kusawazisha istilahi, kuhifadhi umbizo na kutafsiri sehemu maalum.
Utafsiri wa sauti wa Index-Echo: Husaidia sauti-kwa-sauti (S2ST, udubishaji) na sauti-kwa-maandishi (S2TT, manukuu), na wakati wa kuunda udubishaji hurejelea sifa za sauti ya mzungumzaji kutoka kwenye sauti chanzi.
Utafsiri unaodhibitiwa kwa silabi wa Index-Homura: Hupokea idadi lengwa ya silabi kama ingizo, hubadilisha kiotomatiki maneno na urefu wa tafsiri, na kutoa maandishi yenye muda unaolingana kwa udubishaji wa video.
Utafsiri wa hati ndefu wa Index-NativeLong: Huingiza hati nzima mara moja na kuendelea kutoa tafsiri, ukitumia muktadha mrefu kudumisha uthabiti wa majina ya watu, istilahi na viwango vya dhana.

Fuata akaunti kwenye WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Msingi na usanifu uliounganishwa: Familia nzima imejengwa juu ya Qwen3.5. Kupitia urekebishaji kwa data ya korpasi za lugha nyingi na maagizo ya utafsiri, miundo ya maandishi hujifunza kwa pamoja uwezo wa kutafsiri na kufuata masharti ndani ya usanifu mmoja; uelekezaji hutumia vLLM, huku miundo ya maandishi ikitumia usimbaji wa uchoyo kwa chaguo-msingi ili kuhakikisha matokeo thabiti na yanayoweza kurudiwa.
Utafsiri wa sauti wa Index-Echo: Hutumia mchakato wa hatua kwa hatua wa “utambuzi→tafsiri→usanisi”. S2ST huunganisha CosyVoice baada ya utafsiri kwa ajili ya usanisi wa sauti, na huondoa vekta ya mwakilishi wa mzungumzaji kutoka kwenye sauti chanzi na kuiingiza kwenye moduli ya usanisi ili kunakili rangi ya sauti; sauti hugawanywa kwa madirisha ya sekunde 60, huku muktadha wa kihistoria wa madirisha 5 ya kwanza ukihifadhiwa ili kudumisha mtiririko wa maudhui.
Udhibiti wa silabi wa Index-Homura: Huongeza idadi lengwa ya silabi kama sharti dhahiri kwenye kidokezo, na kwa kutumia usimbaji wa sampuli huwezesha modeli kuchagua maneno na kupanga urefu kwa wakati mmoja wakati wa kutafsiri, ikipanga upya muundo wa sentensi ili kufikia bajeti ya silabi; kwenye SandGlass, 81.92% ya matokeo yana tofauti ya silabi isiyozidi 10%.
Utafsiri wa hati ndefu wa Index-NativeLong: Hutumia uingizaji wa hati nzima asilia, husoma hati nzima mara moja kisha kuendelea kutoa tafsiri, na kwa msaada wa dirisha la muktadha mrefu sana “hukumbuka” majina ya watu na matumizi ya istilahi katika sehemu zilizotangulia wakati wa uzalishaji, hivyo kudumisha uthabiti bila jedwali la istilahi la nje; hii ni tofauti na utafsiri wa jadi wa vipande unaotegemea muktadha wa karibu na jedwali la istilahi linaloundwa kiotomatiki.
Mbinu za tathmini: Mbali na vigezo vya jumla kama FLORES na WMT26, timu imeunda seti nne za kazi za tathmini: instTrans, MEME, SandGlass na tathmini ya hati ndefu yenye viwango mbalimbali vya urefu. Ubora wa utafsiri na ufuataji wa maagizo hupigwa alama tofauti, jambo linalokaribia zaidi mazingira halisi ya matumizi.

Clone hazina: endesha git clone https://github.com/bilibili/Index-Translate.git kisha uingie kwenye saraka ya mradi.
Sakinisha utegemezi: endesha pip install -U vllm na pip install -r inference/llm/requirements.txt ili kuandaa mazingira ya vLLM yenye usaidizi wa Qwen3.5.
Anzisha huduma: endesha vllm serve IndexTeam/Index-Translate-2B --host 127.0.0.1 --port 8000 --max-model-len 4096 ili kuanzisha huduma ya modeli kwenye porti ya ndani 8000.
Tekeleza utafsiri: fungua terminali mpya na endesha python inference/llm/translate.py "你好，世界" --target en --model IndexTeam/Index-Translate-2B ili kupata tafsiri.
Muunganisho maalum: Kwa chaguo-msingi, mteja hutuma maombi kwa http://127.0.0.1:8000/v1. Unaweza kutumia --base-url/--api-key au vigezo vya mazingira OPENAI_BASE_URL/OPENAI_API_KEY kuunganisha huduma yako mwenyewe.
Utafsiri unaodhibitiwa kwa silabi: ita inference/llm/syllable_translate.py na tumia --syllables kuingiza idadi lengwa ya silabi.
Utafsiri wa hati ndefu: ita doc_translate.py na tumia --direction kubainisha mwelekeo uliowekwa kama zh-en / zh-ja.
Utafsiri wa sauti: Fuata mwongozo wa manukuu wa S2TT au mwongozo wa udubishaji wa S2ST kwenye hazina, na utumie s2tt.py au dub.py kuchakata sauti na video.
Demo ya mtandaoni: tembelea https://index-translate.bilibili.com/ moja kwa moja ili kujaribu aina nne za utafsiri: maandishi, sauti, silabi na hati ndefu.
Kiendelezi cha kivinjari: Baada ya kupeleka modeli ndani ya nchi, unaweza kutafsiri kurasa za wavuti kupitia kiendelezi cha Chrome/Edge/Firefox.

Ufunikaji mpana wa lugha: Miundo ya maandishi inasaidia utafsiri wa pande mbili katika lugha 150, ikiwa na utendaji bora katika lugha zenye wazungumzaji wachache; kiwango cha off-target cha 35B-A3B kwenye FLORES_minor_pair ni 2.4% pekee.
Ufuataji thabiti wa maagizo: Wakati wa kutafsiri, hutekeleza kwa wakati mmoja mahitaji ya kusawazisha istilahi, kuhifadhi umbizo na kubainisha sehemu za kutafsiri. Alama ya ufuataji wa maagizo ya 9B kwenye instTrans_minor ni 0.7725, ya juu zaidi kati ya miundo yote iliyolinganishwa.
Inaelewa misimu ya jamii: Tathmini ya MEME imeboreshwa kwa misemo ya jamii kama vile maneno yenye sauti zinazofanana, vifupisho na mizaha, hivyo inaweza kutafsiri kwa usahihi na kwa ufasaha misimu kama “结芬” na “狒瘾”.
Utafsiri wa sauti huhifadhi rangi ya sauti: Wakati wa kuunda udubishaji katika lugha lengwa, Index-Echo hurejelea sifa za mzungumzaji wa sauti chanzi ili kutengeneza udubishaji wa lugha mbalimbali wenye mtindo wa sauti asilia.
Urekebishaji wa udubishaji kwa silabi: Index-Homura hupokea idadi lengwa ya silabi na kupanga upya sentensi kulingana na bajeti; 81.92% ya matokeo yana tofauti ya silabi isiyozidi 10%, hivyo kuhudumia moja kwa moja matukio ya udubishaji wa video.
Uthabiti katika hati ndefu: Index-NativeLong hutafsiri hati nzima asilia, hudumisha uthabiti wa majina ya watu na istilahi katika hati ndefu bila jedwali la istilahi la nje, na hutofautisha kwa usahihi viwango vya dhana.

Hazina ya GitHub: https://github.com/bilibili/Index-Translate
Hazina ya modeli ya HuggingFace: https://huggingface.co/collections/IndexTeam/index-translate
Ripoti ya kiufundi: https://github.com/bilibili/Index-Translate/blob/main/docs/Index_Translate_Series_Technical_Report.pdf

Udubishaji wa video kwa masoko ya ndani: Tumia Index-Echo kutafsiri video na kuunda udubishaji katika lugha lengwa huku ukihifadhi rangi ya sauti ya mzungumzaji asilia. Ukiunganisha na udhibiti wa silabi wa Index-Homura, mistari ya mazungumzo inaweza kuendana na muda wa picha, jambo linalofaa kwa tamthilia, kozi na Vlog zinazopelekwa kwenye masoko ya kimataifa.
Uundaji wa manukuu ya lugha nyingi: Tumia uwezo wa S2TT wa kubadilisha sauti kuwa maandishi ili kuunda kiotomatiki manukuu ya lugha nyingi kama Kichina, Kijapani, Kiingereza na Kihispania kwa mihadhara, matangazo ya moja kwa moja na video fupi, na kusaidia usambazaji wa maudhui katika lugha mbalimbali.
Kupeleka maudhui ya jamii kwenye masoko ya kimataifa: Unapotafsiri maoni ya moja kwa moja, masasisho na machapisho, hifadhi maana ya misimu asilia, kama “狒瘾”→“FFXIV itch”, pamoja na lebo za mada na muundo wa emoji, ili maudhui ya michezo na utamaduni wa anime yabaki na muktadha katika masoko ya nje.
Utafsiri wa hati ndefu na riwaya za mtandaoni: Tumia Index-NativeLong kutafsiri riwaya nzima na hati ndefu kama glacier史. Bila kudumisha mwenyewe jedwali la istilahi, inaweza kuhifadhi uthabiti wa majina ya watu, istilahi na viwango vya dhana, hivyo kufaa kwa riwaya za mtandaoni na uchapishaji wa kimataifa.
Ujanibishaji wa biashara ya mtandaoni na nyenzo za bidhaa: Kwa maagizo, tafsiri safu maalum pekee za CSV ya bidhaa huku ukihifadhi vichwa na nambari, au tafsiri kwa muundo wa JSON matangazo yaliyopangwa, ili tafsiri ziweze kuunganishwa moja kwa moja na mifumo ya baadaye ya biashara na kupunguza gharama za mchakato wa ujanibishaji.