T3PO Inafanya kazi

T3PO ni modeli ya tafsiri ya wakati mmoja ya mtiririko iliyotolewa kama chanzo huria na NetEase Youdao, jina kamili likiwa “simulTaneous Translation via pareTo Policy Optimization”. T3PO inalenga kutafsiri huku mtu akiendelea kuzungumza, ikitathmini kwa nguvu ikiwa muktadha unatosha; ukitosha huanza kutafsiri mara moja, usipotosha husubiri kidogo, na hutumia dhana ya Pareto kusawazisha ubora na ucheleweshaji. T3PO ikiunganishwa na R2T2 huunda mnyororo wa kuzungumza, kusikiliza na kutafsiri kwa wakati mmoja, ikiwa imeboreshwa kwa hali kama vile mzungumzaji kujirekebisha, nambari za ripoti za kifedha na kuchuja misemo ya kawaida ya Kiingereza.

Tafsiri ya mtiririko ya wakati mmoja: Lugha chanzi inapoendelea kuwasili, hupokea na kutoa tafsiri kwa wakati mmoja bila kusubiri sentensi nzima ikamilike.
Uamuzi wa kusoma na kuandika: Muktadha ukitosha, WRITE hutoa tafsiri; usipotosha, READ huendelea kusubiri, ikisawazisha kikamilifu “haraka” na “usahihi”.
Usawazishaji wa ubora na ucheleweshaji: Kwa kutumia dhana ya Pareto, ubora wa tafsiri na ucheleweshaji huboreshwa kwa kujitegemea, na mkakati mmoja unaweza kuelekezwa kwenye ucheleweshaji mdogo au uaminifu wa juu.
Mzunguko kamili wa tafsiri ya sauti ya wakati mmoja: Baada ya kuunganishwa na R2T2, maandishi ya utambuzi yaliyoongezeka na kuthibitishwa, ambayo “hayabadilishwi tena”, hutumiwa kama lugha chanzi kuunda mchakato wa “kuzungumza, kusikiliza na kutafsiri kwa wakati mmoja”.
Ulinganifu na lugha halisi ya mazungumzo: Imeundwa kwa hali kama vile mzungumzaji kujirekebisha, nambari za ripoti za kifedha na misemo ya kawaida ya Kiingereza, kwa kutumia mikakati iliyo karibu zaidi na tafsiri ya kibinadamu ya wakati mmoja.

Fuata akaunti ya WeChat na ujibu “开源” ili ujiunge na kundi la mawasiliano la miradi ya AI ya chanzo huria
Uundaji wa kazi: T3PO huichukulia tafsiri ya wakati mmoja kama mchakato wa uamuzi unaoongezeka: kila hatua modeli huangalia “kiambishi awali cha lugha chanzi kilichosikilizwa + kiambishi awali cha tafsiri kilichozalishwa”, kisha huamua READ ili kuendelea kusubiri lugha chanzi au WRITE ili kuzalisha neno linalofuata la lengwa, hadi matokeo yakamilike.
Utenganishaji wa ubora na ucheleweshaji: Ubora wa tafsiri na ucheleweshaji wa majibu hupimwa kando, kisha hatua ya uendeshaji huchaguliwa kwenye mpaka wa Pareto; modeli hiyo hiyo inaweza kuhudumia mahitaji ya “afadhali ichelewe kidogo lakini iwe sahihi” na “toa rasimu kwanza, kisha isahihishe”.
Uboreshaji wa Pareto DPO: Upande wa mafunzo hutumia mbinu za uboreshaji wa mapendeleo kama Pareto DPO/PDPO, ili mkakati upende zaidi vitendo vya READ/WRITE vyenye “ubora wa juu kwa ucheleweshaji sawa, au ucheleweshaji mdogo kwa ubora sawa”.
Usimbuaji wa kujirudia unaoongezeka: Wakati wa uelekezaji, WRITE huzalisha tokeni za lengwa kwa kujirudia, huku READ ikitumia muktadha zaidi wa lugha chanzi; kiambishi awali cha lengwa hutumika wakati huo huo kama “maudhui yaliyotafsiriwa” na “kizuizi cha baadaye”, na utoaji huanzishwa tu baada ya maana ya kiambishi awali cha chanzi kutosha, hivyo kupunguza tafsiri zisizo sahihi za vipande vya sentensi.
Uunganishaji na ASR: T3PO yenyewe inalenga tafsiri ya wakati mmoja kutoka maandishi hadi maandishi; inapounganishwa upande wa mbele na ASR ya append-only kama R2T2, kila sehemu ya maandishi thabiti inapotolewa na kitengo cha utambuzi, kitengo cha tafsiri hutekeleza READ/WRITE mara moja.

Fungua hazina: Tembelea hazina ya GitHub https://github.com/netease-youdao/Confucius4-T3PO.
Andaa mazingira: Fuata README kuunda mazingira yaliyotengwa ya Python/CUDA na kusakinisha vitegemezi.
Pakua uzani: Pakua Confucius4-T3PO na modeli zinazolingana za upande wa nyuma kutoka Hugging Face au ModelScope.
Uthibitishaji wa haraka: Endesha mfano rasmi au Web UI na uhakikishe kuwa inaweza kutoa tafsiri za mtiririko za READ/WRITE.
Unganisha utambuzi wa sauti: Anzisha R2T2 WebSocket na utumie maandishi thabiti yanayoongezeka kama ingizo la lugha chanzi la T3PO.
Rekebisha kiwango cha ucheleweshaji: Rekebisha mkakati wa kusoma na kuandika pamoja na vigezo vinavyohusiana na chunk/kusubiri kulingana na mahitaji ya ubora na ucheleweshaji.
Fanya majaribio ya uimara: Zingatia kupima kujirekebisha kwa mzungumzaji, nambari, majina maalum, mchanganyiko wa Kichina na Kiingereza, na ukatishaji wa sentensi ndefu.
Usambazaji wa uzalishaji: Ifungashe kama huduma ya mtiririko na ufuatilie ucheleweshaji wa herufi ya kwanza, uondoaji/kusita, kumbukumbu ya video na wakati mmoja wa miunganisho.

Utoaji wa mtiririko wenye ucheleweshaji mdogo: Haitarajii sentensi nzima ikamilike; hupokea lugha chanzi na kutoa tafsiri kwa wakati mmoja, ikiwa karibu na kasi ya tafsiri ya kibinadamu ya wakati mmoja.
Usawazishaji wa ubora na ucheleweshaji: Hutumia dhana ya Pareto kufanya uchaguzi unaohitajika kati ya “haraka zaidi” na “sahihi zaidi”.
Uamuzi unaojibadilisha wa kusoma na kuandika: Muktadha usipotosha, husubiri; ukitosha, huanza kutafsiri, hivyo kupunguza tafsiri zisizo sahihi za vipande vya sentensi na marekebisho ya kurudia.
Ulinganifu na lugha halisi ya mazungumzo: Ni thabiti zaidi katika hali za kujirekebisha, nambari za ripoti za kifedha, mchanganyiko wa Kichina na Kiingereza, na misemo ya kawaida, hivyo kutoa uzoefu unaokaribia tafsiri ya vitendo ya wakati mmoja.
Urahisi wa kuunganisha utambuzi wa sauti: Ikiunganishwa na R2T2, inaweza kuunda moja kwa moja mchakato wa tafsiri ya sauti wa kuzungumza, kusikiliza na kutafsiri kwa wakati mmoja.

Hazina ya GitHub: https://github.com/netease-youdao/Confucius4-T3PO
Hazina ya modeli ya HuggingFace: https://huggingface.co/netease-youdao/Confucius4-T3PO

Mikutano ya kimataifa na mikutano ya uzinduzi: Hutengeneza manukuu ya Kichina na Kiingereza kwa wakati halisi, kuwawezesha washiriki wa lugha tofauti kusikiliza na kusoma tafsiri kwa wakati mmoja.
Mikutano ya simu ya ripoti za kifedha na mawasilisho ya utafiti wa uwekezaji: Hutanguliza usahihi wa nambari, vipimo na majina maalum, ili kuzuia maamuzi yasiyo sahihi ya uwekezaji yanayosababishwa na tafsiri ya mtiririko isiyo sahihi.
Huduma kwa wateja wa kimataifa na vituo vya simu: Huwapa mawakala na wateja tafsiri ya sauti yenye ucheleweshaji mdogo, na kuunga mkono usambazaji wa ndani ili kutimiza mahitaji ya uzingatiaji wa kanuni.
Elimu mtandaoni na tafsiri ya wakati mmoja darasani: Hutafsiri mafundisho ya mwalimu kwa wakati halisi katika lugha ya mwanafunzi, na huongeza usahihi wa istilahi maalum za kozi kwa kutumia orodha ya istilahi.
Maonyesho, safari na mawasiliano ya ana kwa ana kati ya lugha tofauti: Hutoa manukuu yanayobebeka au tafsiri kupitia vifaa vya masikioni katika mazingira yenye kelele, harakati na mtandao usio thabiti, ili kurahisisha mawasiliano ya papo hapo.