Genie 4 Inafanya kazi

Genie 4 ni modeli mpya ya kizazi kijacho ya ulimwengu kutoka Google DeepMind, inayoweza kuunda ulimwengu pepe unaoweza kuchunguzwa kwa uhuru kwa wakati halisi. Watumiaji wanaweza kumdhibiti mhusika kwa kibodi na kubadilisha hali ya hewa au kuongeza vipengele kwa maandishi wakati wa matumizi. Kwa mara ya kwanza, inaunga mkono sauti asilia na mazungumzo shirikishi. Genie 4 inaunganisha uwezo wa familia ya Gemini: Gemini hushughulikia hoja na upangaji, huku Genie ikitoa mazingira kwa njia ya uwasilishaji. Inaweza kutumika katika mafunzo ya roboti, maandalizi ya filamu, prototaipu za michezo na maeneo mengine. Kwa sasa, uigaji hudumu takriban dakika 2 na umefunguliwa kwa wajaribu kupitia onyesho la utafiti.

Uundaji wa ulimwengu unaoweza kuchunguzwa kwa wakati halisi: Ingiza maandishi ili kuunda ulimwengu pepe unaoweza kuchunguzwa kwa uhuru, bila kujenga awali mandhari ya pande tatu.
Udhibiti wa kibodi na maandishi kwa wakati halisi: Tumia kibodi kumwongoza mhusika na kamera; wakati wa matumizi, unaweza kuingiza vidokezo ili kubadilisha hali ya hewa au kuongeza watu na vitu.
Uundaji wa sauti asilia: Kwa mara ya kwanza, mfumo unaweza kuunda kwa wakati mmoja sauti za mazingira, muziki na mazungumzo ya wahusika zinazosawazishwa na ulimwengu. Huu ni modeli ya kwanza ya Genie yenye uwezo wa asili wa multimodali.
Mazungumzo shirikishi na wahusika: Wahusika pepe wanaweza kuunda lugha na miitikio kwa wakati halisi kulingana na maingizo ya mtumiaji na matukio ya ulimwengu, bila kutegemea mazungumzo yaliyowekwa awali.
Uigaji halisi wa fizikia: Inaweza kuiga migongano, aerodinamiki, mvutano wa dunia na sheria nyingine za fizikia. Harakati za wahusika huwa za asili na zinaweza kuongozwa kwa wakati halisi.
Mzunguko funge wa wakala mahiri wa Gemini: Gemini 3.8 Flash hufanya kazi kama wakala wa mwongozo wa wakati halisi, akiangalia picha, akigawanya kazi katika hatua na kuthibitisha matokeo ya utekelezaji ili kudumisha uhusiano wa kisababishi katika uigaji.
Uigaji wa mafunzo ya roboti: Ikiunganishwa na Gemini 4 Argon, roboti zinaweza kufanya mazoezi ya kazi tata mara kwa mara katika ulimwengu pepe kabla ya kuhamishiwa katika mazingira halisi.
Zana ya prototaipu kwa sekta nyingi: Inaunga mkono maandalizi ya filamu, uthibitishaji wa dhana za michezo, ujenzi upya wa mandhari kutoka picha za kihistoria na uigaji wa viwanda, ikiruhusu kuunda mandhari kutoka sifuri hadi moja.

Muundo wa modeli ya ulimwengu: Genie 4 inaendeleza mkondo wa mfululizo wa Genie wa “kujifunza ulimwengu kutoka kwenye video”. Kwa kujifunza data nyingi za video, inatambua uhusiano wa kisababishi kati ya vitendo na mabadiliko ya mazingira, kisha hutabiri na kuunda kwa wakati halisi kitakachotokea baada ya kila tendo la mtumiaji.
Gemini Omni kama msingi wa hisi: Gemini Omni huupa uigaji maarifa ya awali kuhusu mwonekano na tabia ya ulimwengu halisi, na kuhakikisha kuwa ulimwengu unaozalishwa unakaribia uhalisia katika ubora wa picha, tabia za vitu na sheria za fizikia. Huu ndio msingi wa kihisi wa uigaji mzima.
Mzunguko funge wa wakala wa Gemini 3.8 Flash: Gemini 3.8 Flash hufanya kazi kama wakala wa mwongozo wa wakati halisi, akiendelea kuchunguza picha zinazozalishwa, kugawanya kazi katika hatua na kuthibitisha fremu kwa fremu ikiwa utekelezaji umefanikiwa. Mtumiaji anapoingilia kati au mazingira yanapobadilika, hubadilisha mpango mara moja ili kudumisha uhusiano wa kisababishi katika uigaji wa muda mrefu.
Uwasilishaji unaoendeshwa na mgawanyo wa kazi wa Gemini 4 Argon: Katika majaribio ya utafiti, Argon hugawanya maagizo ya mtumiaji katika hatua zinazoendelea na kuyaingiza kwenye Genie 4 kwa wakati halisi kama manukuu ya maandishi. Kwa kuwa Genie 4 inaunga mkono mwongozo wa maandishi wa wakati halisi, mchakato wa uigaji unaweza kujibadilisha kulingana na maendeleo ya kazi, na hivyo kuweka msingi wa maeneo tata kama mafunzo ya roboti.

Jiunge na orodha ya kusubiri: Tembelea tovuti rasmi ya Project Genie na utume ombi la kujiunga na waitlist ya Genie 4.
Subiri sifa za kufikia: Kwa sasa, onyesho la utafiti limefunguliwa kwa wajaribu wanaoaminika pekee.
Fungua Project Genie: Baada ya kupata sifa, tumia Project Genie kuingia kwenye kiolesura cha uundaji cha Genie 4.
Ingiza kidokezo ili kuunda ulimwengu: Eleza mandhari unayotaka kwa maandishi, na Genie 4 itaunda ulimwengu pepe unaoweza kuchunguzwa kwa wakati halisi.
Udhibiti wa kibodi na kamera: Tumia kibodi ya kawaida kumwongoza mhusika na kubadilisha mtazamo wa kamera, huku ukichunguza ulimwengu kwa uhuru.
Rekebisha mandhari kwa maagizo ya wakati halisi: Endelea kuingiza vidokezo vya maandishi wakati wa matumizi ili kubadilisha hali ya hewa au kuongeza watu na vitu. Gemini itaelewa nia yako kwa kuzingatia mandhari ya sasa.
Wasiliana na wahusika: Zungumza moja kwa moja na wahusika pepe; wataunda majibu kwa wakati halisi, huku sauti ikizalishwa na modeli yenyewe.
Matumizi ya hali ya juu kwa wajaribu: Wasanidi wanaweza kutumia Genie 4 kupitia Gemini API / AI Studio na kuiunganisha katika mtiririko wa kazi wa prototaipu za michezo, maandalizi ya filamu na televisheni au uigaji wa roboti.

Ushirikiano wa wakati halisi: Kutoka “video ya AI inayotazamwa tu” hadi ulimwengu hai unaoweza kuingiliwa na kubadilishwa wakati wowote; kila tendo huwa kigezo kipya kinachoathiri maendeleo ya ulimwengu.
Multimodali asilia: Modeli ya kwanza ya ulimwengu inayozalisha picha na sauti kwa wakati mmoja, huku sauti za mazingira, muziki, mazungumzo ya wahusika na mandhari ya kuona zikiendana kwa wakati halisi.
Uwezo wa hoja unaoimarishwa na Gemini: Modeli kubwa ya lugha hushughulikia upangaji na uthibitishaji, huku Genie ikishughulikia uwasilishaji, hivyo uigaji hupata mantiki ya kuaminika ya kisababishi na uwezo wa hoja wa hatua nyingi.
Uhalisia wa kiwango cha juu: Kwa kutumia maarifa ya awali ya mwonekano na tabia kutoka Gemini Omni, uhalisia wa picha, asili ya harakati za wahusika na usahihi wa uigaji wa fizikia vimefikia kiwango kipya katika mfululizo huu.
NPC mahiri: Wahusika wanaweza kuunda lugha na miitikio kwa nguvu kulingana na mazingira na maingizo ya mtumiaji, bila vikwazo vya mazungumzo yaliyowekwa awali na miti ya tabia ya michezo ya jadi.

Tovuti rasmi ya mradi: https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/

Kuunda uigaji wa ulimwengu kwa wakati halisi
Kidokezo cha mazingira: Mwonekano mpana wa angani juu ya mandhari kubwa iliyoganda ya Antaktika, ukiwa na barafu nyingi zilizofunikwa na theluji, vilele vya milima ya barafu vyenye ncha kali na milima ya barafu ya buluu iliyochongwa, yote ikiangazwa na mwanga mkali wa ncha za dunia chini ya anga safi la buluu iliyopauka. Baluni nyingi za hewa moto zimetawanyika kwenye upeo wa macho katika miinuko tofauti, huku puto kubwa yenye mistari ya rangi ya krimu, nyekundu na buluu ikielea kwa umahiri katika umbali wa kati juu ya uwanda wa barafu.
Kidokezo cha mhusika: Picha kutoka mtazamo wa mtu wa kwanza aliyesimama ndani ya kikapu cha kusuka cha mwanzi cha puto linaloruka, akitazama juu ya ukingo wa kikapu wenye mapambo ya ngozi upande wa kulia wa fremu. Nguzo nyeusi zenye mito, minyororo ya chuma ya kuunganisha na sehemu ya chini yenye rangi nyeusi ya dari ya puto iliyo juu vinaweka ndani yake mandhari ya ncha za dunia inayopita polepole.
Kidokezo cha mazingira: Mwonekano mpana wa angani unaoonyesha mandhari kubwa iliyoganda ya Antaktika, ikiwa na barafu zisizo na mwisho zilizofunikwa na theluji, vilele vyenye ncha kali vya milima ya barafu na milima ya barafu ya buluu yenye maumbo mbalimbali, iking'aa chini ya mwanga safi wa ncha za dunia. Anga ni safi na la buluu iliyopauka. Baluni nyingi za hewa moto zimetawanyika kwenye upeo wa macho katika miinuko tofauti, huku puto kubwa yenye mchanganyiko wa rangi ya krimu, nyekundu na buluu ikielea kwa umahiri katika umbali wa kati juu ya uwanda wa barafu.
Kidokezo cha mhusika: Picha kutoka mtazamo wa mtu wa kwanza, ukiwa umesimama ndani ya kikapu cha kusuka cha mwanzi cha puto linaloruka na kutazama nje kupitia ukingo wa kikapu wenye mapambo ya ngozi upande wa kulia wa fremu. Nguzo nyeusi zenye mito, minyororo ya chuma ya kuunganisha na ukingo mweusi wa sehemu ya chini ya puto iliyo juu vinaweka ndani yake mandhari ya ncha za dunia inayopita polepole.
Kuiga matukio tata
Kidokezo: Korongo mwenye taji anatembea kwenye theluji chini ya anga safi la machweo lenye mpito wa rangi. Rangi za asili katika mtindo wa maandishi ya hali halisi.
Kidokezo: Korongo mwenye taji anatembea kwenye theluji chini ya anga safi la machweo lenye mpito wa rangi. Rangi za asili, mtindo wa maandishi ya hali halisi.

Maandalizi ya filamu na televisheni (Pre-vis): Wakurugenzi wanaweza kuunda mandhari pepe zinazoweza kuchunguzwa kwa maandishi, na kurekebisha kwa wakati halisi kamera, mwangaza, mazungumzo na vitendo. Hii huruhusu kujaribu mipango mbalimbali ya upigaji bila kujenga mandhari au kufanya maandalizi ya awali.
Uundaji wa prototaipu za michezo: Wasanidi wanaweza kuunda mazingira ya mchezo yanayoweza kuchunguzwa kwa sekunde chache kupitia vidokezo, kuthibitisha mtindo wa kisanii, mwonekano wa vifaa na uchezaji kabla ya kuamua kuwekeza katika uundaji rasmi.
Habari na elimu ya historia: Waandishi wa picha wanaweza kubadilisha picha za kihistoria za pande mbili kuwa mandhari zenye mwendo zinazoweza kuchunguzwa, au kuiga maendeleo ya matukio kama mafuriko na moto wa misitu, na kufanya habari na ufundishaji viwe vya kuzamisha zaidi.
Uigaji wa mafunzo ya roboti: Roboti zenye umbo la binadamu zinaweza kufanya mazoezi ya kazi tata mara kwa mara katika ulimwengu pepe. Gemini hugawanya hatua, huku Genie 4 ikiiga mazingira, hivyo kupunguza gharama na hatari.
Uigaji wa viwanda kwa biashara: Biashara zinaweza kuunda haraka mandhari tata kwa njia ya sifuri hadi moja, kwa matumizi katika uigaji wa viwanda, majaribio ya mazingira na uthibitishaji wa michakato, na kupunguza muda na gharama za majaribio halisi.