Orbis Inafanya kazi

Orbis ni Live Model ya kwanza ya Visko (modeli ya ulimwengu ya wakati halisi), inayofanya video za AI ziendelee kufanya kazi kama matangazo ya moja kwa moja. Watumiaji wanaweza kuingiza maagizo mapya wakati wowote ili kubadilisha mwelekeo wa picha papo hapo, bila kusubiri video ikamilike. Modeli hii inaauni uundaji wa mtiririko wa wakati halisi wa 4K@24FPS, hutumia mfumo wa kumbukumbu wa viwango vingi kudumisha uwiano kwa muda wa saa nyingi, na hutegemea mgawanyo wa muda wa kisababishi pamoja na zawadi zinazotambua fizikia ili kuhakikisha mwendo halisi na wa asili. Inafaa kwa matangazo ya moja kwa moja ya mtandaoni, hadithi shirikishi, uigaji wa roboti na hali nyingine.

Uundaji wa mtiririko wa wakati halisi: Picha hutolewa bila kukatika kama matangazo ya moja kwa moja, kwa uwasilishaji wa wakati halisi wa 4K@24FPS.
Mwingiliano wakati wa uundaji: Watumiaji wanaweza kuongeza au kurekebisha vidokezo wakati wowote; maagizo mapya huanza kutumika kwenye picha zinazofuata ndani ya wastani wa sekunde 1.
Ingizo la aina nyingi: Inaauni maandishi-kwa-video, picha-kwa-video na mwendelezo wa video kama njia tatu za kuanzisha ulimwengu.
Ulinganifu wa muda mrefu: Mfumo wa kumbukumbu wa viwango vingi hudumisha uundaji endelevu wa saa nyingi bila kupungua sana kwa ubora.
Uhalisia wa fizikia: Zawadi zinazotegemea mgawanyo wa kisababishi na modeli ya ulimwengu huhakikisha kuwa mwendo na mwingiliano wa vitu unafuata sheria za fizikia.

Mgawanyo wa muda wa kisababishi: Uundaji huchukuliwa kama tatizo la thamani ya mwanzo; kila chunk hutabiri kipindi kinachofuata kwa kutumia historia iliyowasilishwa pekee. Hii inalingana kiasili na muundo wa Markov wa mageuzi ya kifizikia na huepuka tatizo la “kelele za siku zijazo kuchafua maamuzi ya sasa” katika uondoaji wa kelele wa pande mbili.
Kumbukumbu yenye mipaka ya viwango vingi: Historia ya hivi karibuni huhifadhiwa katika azimio lake asilia la latent, huku historia ya mbali ikibanwa hatua kwa hatua. Taarifa iliyo nje ya dirisha huunganishwa kuwa hali ya kujifunza yenye uwezo thabiti, hivyo kutenganisha gharama ya kumbukumbu na ukokotoaji na urefu wa rollout.
Mchakato wa mafunzo wa hatua kwa hatua: Modeli ya pande mbili hujifunza msingi wa kuona wa muda mfupi, kisha hubanwa kuwa jenereta ya mtiririko. Baada ya hapo hufanyiwa mafunzo ya video ndefu yaliyo na ulinganifu wa matukio, urekebishaji kwa data iliyochaguliwa na wataalamu, na hatimaye ulinganifu wa mgawanyo kwa kujilazimisha pamoja na mafunzo ya kuimarisha ya GRPO ili kuoanisha zawadi za kuona na fizikia.
Ulinganifu wa zawadi zinazotambua fizikia: Modeli ya ulimwengu iliyogandishwa ya latent ya V-JEPA 2 hutathmini ulinganifu wa utabiri kati ya fremu za mgombea na hali ya historia, na kuongoza uundaji unaofuata mienendo halisi. Hii huboreshwa kwa pamoja na zawadi ya ubora wa kuona.
Uhandisi wa uelekezaji wa mtiririko: Matumizi tena ya hali, utekelezaji wa Transformer uliokusanywa, uchakataji sambamba wa mfuatano kwenye GPU nyingi, na ushirikiano wa mchakato wa hatua kwa hatua wa kusimbua, kuongeza azimio na kusafirisha huwezesha uwasilishaji wa 4K kwa wakati halisi.

Anzisha kipindi: Tembelea Playground kwenye tovuti rasmi ya Visko au piga API, kisha ingiza maandishi, pakia picha au bandika mwanzo wa video ili kuanzisha kipindi cha wakati halisi.
Anzisha uundaji wa wakati halisi: Bofya kitufe cha Live ili kuanzisha uundaji wa mtiririko; picha zitaendelea kujitokeza kiotomatiki kama matangazo ya moja kwa moja.
Intervenisha picha kwa wakati halisi: Wakati wa uundaji, ingiza vidokezo vipya au maagizo ya sauti wakati wowote; mwelekeo wa picha zinazofuata unaweza kubadilika kwa wakati halisi ndani ya wastani wa sekunde 1.
Badilisha mandhari bila mshono: Tumia “Morph the scene” kueleza mabadiliko ya mandhari; maagizo mapya yataunganishwa bila mshono kwenye mpaka wa chunk unaofuata.
Chagua ubora wa matokeo: Chagua azimio la 1080p, 2K au 4K kulingana na mahitaji; mfumo hutumia uongezaji wa azimio wa mtiririko kuwasilisha picha zenye ubora wa juu kwa wakati halisi.
Hifadhi vipande: Bofya kitufe cha Clip ili kukata na kuhifadhi kipande cha video kinachozalishwa wakati wowote kwa uhariri au kushiriki baadaye.
Unganisha kwenye programu yako: Baada ya kupata API Key, unaweza kuunganisha uwezo wa Orbis wa uundaji wa wakati halisi kwenye programu, matangazo ya moja kwa moja au mtiririko wa uigaji wa roboti.

Mwingiliano wa mtiririko wa wakati halisi: Picha huendelea kuundwa kama matangazo ya moja kwa moja; watumiaji wanaweza kuingiza maagizo mapya wakati wowote ili kubadilisha mwelekeo papo hapo bila kusubiri video ikamilike.
Ulinganifu wa muda mrefu sana: Mfumo wa kumbukumbu wenye mipaka ya viwango vingi hudumisha uundaji endelevu wa saa nyingi bila kupungua sana kwa ubora au kubadilika kwa rangi.
Uhalisia mkubwa wa fizikia: Mgawanyo wa muda wa kisababishi pamoja na zawadi ya modeli ya ulimwengu ya latent huhakikisha kuwa mwendo na mwingiliano wa vitu unafuata sheria halisi za fizikia.
Uwasilishaji wa ubora wa juu kwa wakati halisi: Uundaji asilia pamoja na uongezaji wa azimio wa mtiririko huwezesha kutoa video ya 4K@24FPS kwa wakati halisi.
Kiolesura kimoja cha uundaji: Mfumo uleule wa mwendelezo wa kisababishi unaauni maandishi-kwa-video, picha-kwa-video na mwendelezo wa video kama njia tatu za kuanzisha.

Tovuti rasmi ya mradi: https://www.visko.ai/models
Waraka wa kiufundi: https://www.visko.ai/blog/papers/files/Visko_Orbis_1_0__A_Live_Model_for_Real_TimeInteractive_Long_Video_Generation.pdf

Burudani shirikishi na uundaji wa hadithi: Watumiaji huchagua matawi ya hadithi kwa wakati halisi au husimulia hadithi kwa sauti, huku picha zikibadilika mara moja kulingana na maagizo ili kuunda uzoefu wa “filamu inayoweza kuchezwa”.
Matangazo ya AI na watangazaji pepe: Hutumika kama injini ya picha ya wakati halisi kwa watangazaji pepe, ikiendelea kuunda picha za matangazo na kujibu maoni ya watazamaji au maagizo ya sauti bila hitaji la nyenzo zilizorekodiwa awali.
Mafunzo ya uigaji wa roboti: Hufunza na kujaribu tabia za roboti katika ulimwengu pepe wenye uhalisia wa juu unaozalishwa, na kupunguza gharama ya majaribio na makosa kabla ya kutumwa katika mazingira halisi.
Elimu na mafunzo ya kuzamisha: Huonyesha maarifa dhahania au mandhari za kihistoria kwa wakati halisi; wanafunzi wanaweza kuuliza kwa sauti na kubadilisha maudhui ya uwasilishaji papo hapo.
Maonyesho pepe ya biashara mtandaoni: Influencer pepe huonyesha bidhaa kwa nguvu katika mandhari zinazozalishwa kwa wakati halisi; watumiaji wanaweza kuomba mara moja mabadiliko ya mtindo, pembe au hali ya matumizi.