LingBot-World 2.0 Inafanya kazi

LingBot-World 2.0 ni modeli ya ulimwengu ya mwingiliano wa wakati halisi iliyowekwa wazi na Ant Lingbo Technology, inayoweza kuchezwa kwa wakati halisi kama mchezo. Mchezo unaunga mkono mienendo, mashambulizi, kurusha uchawi, kuruka na matukio ya mazingira kama mvua na theluji, ukiweza kuunda picha mfululizo kwa saa bila kupoteza uthabiti; ukiwa na vifaa vya hali ya juu unaweza kufikia 720P/60FPS. Kwa sasa modeli imewekwa wazi katika matoleo manne: 14B, 1.3B Small, Bidirectional na Causal Pretrain. Inaweza kutumika katika michezo, uigaji wa akili iliyojikita mwilini na uundaji wa data za mwingiliano.

Uchunguzi wa mwingiliano wa wakati halisi: Modeli huunda kwa wakati halisi ulimwengu wazi unaoweza kutembelewa kwa uhuru na kubadilishwa mtazamo, kwa 720P / 60FPS na ucheleweshaji wa chini ya sekunde.
Vitendo mbalimbali vya wahusika: Inaunga mkono mashambulizi, kurusha mishale, kurusha uchawi, kupiga risasi, kuruka, kuteleza hewani na vitendo vingine vingi.
Matukio yanayoendeshwa na mazingira: Inaweza kuitikia matukio ya ulimwengu yanayobadilika yanayoendeshwa na maandishi, kama theluji na mvua.
Uundaji wa muda mrefu wa kiwango cha saa: Picha hudumisha uthabiti wakati wa kucheza kwa muda mrefu, bila kupoteza mwelekeo au kuharibika.
Udhibiti shirikishi wa mawakala: Ina “Player Agent + Director Agent” iliyojengwa ndani; wa kwanza hupanga tabia za mhusika, na wa pili huunganisha vipengele vya eneo.
Ulimwengu wa pamoja wa wachezaji wengi: Inaunga mkono watu wengi kuzama kwa wakati mmoja katika ulimwengu mmoja unaozalishwa na kushirikiana kuunda eneo.
Uigaji wa akili iliyojikita mwilini: Kutoka katika ulimwengu wa michezo hadi uigaji wa roboti, utabiri wa hali za baadaye na uundaji wa data za mwingiliano.
Usambazaji mwepesi wa ndani: Toleo la 1.3B Small linaweza kufanya kazi kwa wakati halisi kwenye GPU ya kadi moja ya kiwango cha watumiaji.

Mkakati wa mafunzo ya awali ya kisababishi: Kupitia mafunzo ya awali ya kisababishi yaliyoundwa kwa umakini (Causal Pretrain), modeli hufikia muda wa mwingiliano usio na kikomo huku ikidumisha ubora wa matokeo kwa muda mrefu. Hiki ndicho kiini cha kuzuia kupoteza uthabiti kwa muda mrefu.
Ufinyishaji wa wakati halisi: Toleo la wakati halisi hufinywa kutoka kwenye modeli ya msingi, huku modeli ya Bidirectional ikiwa chanzo cha ufinyishaji wa ubora wa juu, ili kuhakikisha kasi ya uelekezaji inatosha kuendesha mkondo wa video wa 720P/60FPS.
Mienendo ya kuona yenye masharti ya vitendo: Kwa kujifunza mienendo ya masharti ya “kitendo-picha” kutoka kwenye video nyingi za mtu wa kwanza, video sintetiki na video za mtandaoni, modeli inaweza kubadilisha kwa uaminifu vitendo na matukio kuwa mabadiliko ya kuona.
Muundo wa mawakala wawili: Agentic Harness ya kwanza ya aina yake; Pilot Agent hupanga na kutekeleza tabia za mhusika, huku Director Agent ikiunganisha vipengele vipya vya mazingira kadiri eneo linavyoendelea, na hivyo kuchanganya uendeshaji wa wakala na uingiliaji wa mtumiaji.
Ushirikiano wa modeli kubwa na ndogo: Modeli kuu ya 14B inaambatana na modeli nyepesi ya 1.3B, ikisawazisha ufanisi na uwezo wa kusambazwa kwenye kadi moja na kupunguza kizingiti cha kurudia utafiti.

Muda wa mwingiliano usio na kikomo: Mkakati wa mafunzo ya awali ya kisababishi huwezesha modeli kuunda picha mfululizo kwa kiwango cha saa bila kupoteza uthabiti wa muda mrefu, na kuvuka kizuizi cha muda cha modeli za kawaida za video.
Uzoefu wa wakati halisi na laini: Toleo la wakati halisi lililofinywa linaunga mkono 720P / 60FPS na ucheleweshaji wa chini ya sekunde, na kufikia kwa kweli kiwango cha mwingiliano “kinachoweza kuchezwa”.
Vipengele vingi vya mwingiliano: Linajumuisha vitendo kama mashambulizi, kurusha mishale, kurusha uchawi na kupiga risasi, pamoja na matukio ya mazingira kama mvua na theluji yanayoendeshwa na maandishi, hivyo kupanua kwa kiasi kikubwa vipimo vya mwingiliano.
Muundo wa mawakala wawili wa kwanza wa aina yake: Pilot Agent hupanga tabia za mhusika, huku Director Agent ikiunganisha vipengele vya eneo kwa wakati halisi; uendeshaji wa wakala na uingiliaji wa mtumiaji hufanya kazi kwa pamoja.
Ushirikiano na ulimwengu wa pamoja: Watumiaji wengi wanaweza kuingia kwa wakati mmoja katika ulimwengu mmoja unaozalishwa; mmoja hucheza na mwingine huongoza, na hivyo kubadilisha mtindo wa jadi wa uundaji wa mchezaji mmoja.
Kizingiti cha chini cha usambazaji: Toleo la 1.3B Small linahitaji GPU ya kadi moja tu ya kiwango cha watumiaji ili kufanya kazi kwa wakati halisi, hivyo hata wasanidi binafsi wanaweza kulirudia ndani ya kompyuta zao.

Muda mrefu sana: Mafunzo ya awali ya kisababishi yanaunga mkono uundaji wa mfululizo wa kiwango cha saa, huku picha zikidumisha uthabiti kwa muda mrefu.
Inaweza kuchezwa kwa wakati halisi: Toleo la wakati halisi lililofinywa hufikia 720P/60FPS na ucheleweshaji wa mwingiliano wa chini ya sekunde.
Mwingiliano mwingi: Linajumuisha mashambulizi, kurusha mishale, kurusha uchawi na kupiga risasi, pamoja na matukio ya mazingira yanayoendeshwa na maandishi.
Muundo wa Agent wawili: Pilot Agent hupanga tabia za mhusika, na Director Agent huunganisha eneo kwa wakati halisi.
Ushirikiano wa wachezaji wengi: Watumiaji wengi wanaweza kushiriki ulimwengu mmoja unaozalishwa; mmoja hucheza na mwingine huongoza.
Usambazaji wenye kizingiti cha chini: Toleo la 1.3B Small linaweza kufanya kazi kwa wakati halisi ndani ya kompyuta kwa kutumia GPU ya kadi moja ya kiwango cha watumiaji.
Maeneo mbalimbali: Kutoka ulimwengu wa michezo hadi uigaji wa roboti, utabiri wa siku zijazo na uundaji wa data za mwingiliano.

Tovuti rasmi ya mradi: https://technology.robbyant.com/lingbot-world-v2
Hifadhi ya GitHub: https://github.com/robbyant/lingbot-world-v2
Maktaba ya modeli ya HuggingFace: https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast
Waraka wa kiufundi wa arXiv: https://arxiv.org/pdf/2607.07534

Uundaji wa michezo ya AI: Kama injini ya mchezo ya uzalishaji wa wakati halisi, huunda viwango, maeneo na matukio kulingana na vitendo vya mchezaji, na kupunguza gharama ya uzalishaji wa maudhui ya kiwango cha AAA.
Uigaji wa awali wa filamu na upigaji picha pepe: Mkurugenzi hutumia maagizo ya maandishi kujenga na kutembelea maeneo pepe kwa wakati halisi, kuhakiki haraka picha na hali, na kufupisha kwa kiasi kikubwa muda wa maandalizi ya eneo na marekebisho ya hati.
Uwanja wa mafunzo ya akili iliyojikita mwilini: Huwapa roboti mazingira ya uigaji yenye uhalisia wa juu na yanayoweza kuingiliana, kwa ajili ya kufundisha uwezo wa utambuzi, maamuzi na mwingiliano wa muda mrefu, huku ikipunguza gharama ya majaribio kwenye roboti halisi.
VR/AR na utalii wa kidijitali: Huunda nafasi pepe za kuzama zinazoweza kuchunguzwa bila kikomo, kwa matumizi katika maonyesho pepe, uelekezaji wa utalii na uzoefu wa metaverse wa ushirikiano wa watu wengi.
Elimu na mafunzo shirikishi: Huunda maabara pepe zinazoweza kuendeshwa, mazoezi ya dharura na matukio ya kihistoria; wanaojifunza hupata mafunzo ya kuzama kwa kina zaidi kuliko kutazama video ndani ya “ulimwengu unaoweza kuchezwa”.