EdenLive Inafanya kazi

EdenLive ni injini ya uwasilishaji wa uzalishaji wa wakati halisi iliyotengenezwa na VAST, na ni matokeo ya hatua ya mradi wake wa modeli ya dunia, Project Eden. EdenLive hutumia Proxy ya picha zilizorahisishwa au video ya marejeo kama ishara ya udhibiti, ikiunganishwa na fremu ya kwanza lengwa na vidokezo vya maandishi ili kuendelea kuzalisha picha halisi au zenye mtindo kwa wakati halisi. Kwenye RTX 5090 moja inaweza kufikia 720P na zaidi ya 24FPS, huku ucheleweshaji ukiwa milisekunde mia chache tu. Muundo mkuu wa EdenLive unatenganisha udumishaji wa hali ya dunia na uwasilishaji wa picha. Hivyo inaweza kuzalisha picha shirikishi bila kuhitaji mali kamili za kisanii. Imefunguliwa kikamilifu kwa matumizi katika michezo, uhuishaji na uzalishaji wa data kwa akili bandia yenye mwili.

Uwasilishaji wa uzalishaji wa wakati halisi: hutumia Proxy ya picha zilizorahisishwa au video ya marejeo kama ishara ya udhibiti, na kuendelea kuzalisha picha zenye maelezo au zenye mtindo kwa wakati halisi, kwa zaidi ya 24 FPS katika 720P.
Mabadiliko ya mtindo wowote wa picha: toa tu fremu ya kwanza lengwa na vidokezo vya maandishi ili kubadilisha picha hiyo hiyo kuwa mitindo tofauti ya kuona, kama anime, uchoraji wa mafuta au uhalisia.
Aina yoyote ya ingizo la marejeo: inasaidia uhuishaji wa 2D, mandhari za 3D, video halisi na vyanzo vingine kama marejeo ya muundo na mwendo, bila kutegemea njia maalum ya uwasilishaji.
Uzalishaji wa Proxy-to-Fine: huzalisha picha za mwisho zenye ubora wa juu moja kwa moja kutoka kwenye muundo mb粗 wa mandhari, bila kuhitaji kutengeneza mapema mali kamili za kisanii.
Muunganisho wa mwingiliano wa michezo: hufanya kazi kwa kutenganishwa na mfumo wa mwingiliano wa juu, huku ikihifadhi kiolesura cha mchezo na mifumo ya uendeshaji ili kutekeleza mnyororo kamili wa udumishaji wa hali na uwasilishaji wa wakati halisi.
Ekolojia ya chanzo huria: hutoa uzani wa modeli, msimbo wa uelekezaji na ripoti ya kiufundi, pamoja na Game Prototype Turbo inayoweza kuzalisha mchezo wa Proxy unaoweza kuchezwa kwa amri ya lugha ya kawaida.
Uzalishaji wa data kwa akili bandia yenye mwili: hubadilisha mwonekano wa picha huku ikihifadhi mfuatano wa awali wa vitendo na muundo wa mandhari, na kutoa data mbalimbali kwa mafunzo ya roboti.

Fuata WeChat na ujibu “开源” ili kujiunga na kundi la mawasiliano la miradi ya AI ya chanzo huria
Muundo wa kutenganisha hali na uwasilishaji: EdenLive hutenganisha udumishaji wa hali ya dunia na uzalishaji wa picha. Sheria za mchezo, nafasi za wahusika, uamuzi wa migongano na kadhalika hurekodiwa na kusasishwa waziwazi na mfumo wa mwingiliano wa juu, huku modeli ya video ikiwa haihitaji tena kukisia hali kwa njia fiche. Hii huzuia makosa kujilimbikiza hatua kwa hatua kadiri muda wa uzalishaji unavyoongezeka, na kuifanya modeli izingatie ubora wa picha na utendaji wa wakati halisi.
Mbinu ya uzalishaji ya Proxy-to-Fine: modeli hutumia mpangilio wa mandhari, mwendo wa kamera na mienendo ya kiwango cha jumla kutoka kwenye picha ya marejeo ya Proxy kama masharti. Picha ya marejeo haihitaji kufikia usahihi maalum wa kijiometri, huku modeli ikiweza kuzalisha picha lengwa yenye maelezo mengi.
Udhibiti wa masharti wa aina nyingi za data: uzalishaji huendeshwa kwa pamoja na aina tatu za ingizo: mtiririko wa video ya marejeo hutoa taarifa za muundo na mwendo, fremu ya kwanza lengwa huamua mwonekano wa jumla na mtindo wa picha, na vidokezo vya maandishi huongeza mtindo na maelezo. Kwa kushirikiana, hivi huwezesha udhibiti rahisi wa marejeo yoyote pamoja na mtindo wowote.
Uzalishaji wa mtiririko wa wakati halisi: modeli hutumia uelekezaji wa mtiririko badala ya kuzalisha sehemu nzima nje ya mtandao, ikiendelea kupokea picha za marejeo zinazobadilika na kutoa matokeo ya uwasilishaji fremu kwa fremu. Kwa RTX 5090 moja, vigezo bilioni 5 na usanidi wa 720P, hufikia zaidi ya 24 FPS na ucheleweshaji wa mwisho hadi mwisho wa kiwango cha milisekunde mia chache, huku ikiweza kuzalisha mfululizo kwa dakika kadhaa.

Pata msimbo: kloni hazina ya chanzo huria kutoka GitHub https://github.com/VAST-AI-Research/EdenLive.
Pakua uzani: pakua kutoka Hugging Face https://huggingface.co/VAST-AI/EdenLive uzani wa modeli unaolingana na ukubwa unaohitajika.
Andaa ingizo la kwanza, picha ya marejeo: toa Proxy ya mandhari iliyorahisishwa au mtiririko wa video ya marejeo, kutoka kwenye mandhari ya 2D/3D uliyojenga, matokeo ya injini ya mchezo au rekodi ya skrini.
Andaa ingizo la pili, fremu ya kwanza lengwa: bainisha picha ya kwanza inayoamua mtindo wa jumla na mwonekano wa picha.
Andaa ingizo la tatu, vidokezo vya maandishi: andika maelezo ya mtindo na mambo ya kina.
Endesha uelekezaji: ita msimbo wa uelekezaji; EdenLive itabadilisha picha ya marejeo kuwa picha au mtiririko wa video wenye maelezo mengi katika mtindo uliobainishwa kwa wakati halisi.
Unganisha mfumo wa mwingiliano: endelea kuingiza picha za marejeo zinazobadilika kutoka kwenye injini ya juu ili kutekeleza mzunguko kamili wa uwasilishaji kwa wakati halisi katika matukio shirikishi kama michezo.
Pata uzoefu wa Demo ya mwisho hadi mwisho: tumia Game Prototype Turbo ya chanzo huria kuzalisha mchezo wa Proxy unaoweza kuchezwa kwa lugha ya kawaida, kisha uunganishe EdenLive kwa uwasilishaji wa wakati halisi ili kukamilisha mchakato.

Utendaji bora wa wakati halisi: RTX 5090 moja inaweza kuzalisha mfululizo wa dakika kadhaa katika 720P na zaidi ya 24FPS, huku ucheleweshaji wa mwisho hadi mwisho ukiwa wa kiwango cha milisekunde mia chache tu.
Muundo thabiti wa utenganishaji: hali ya dunia hudumishwa waziwazi na mfumo wa mwingiliano, huku modeli ya video ikizingatia uwasilishaji, hivyo kuzuia mkusanyiko wa makosa unaosababishwa na kukisia hali kwa njia fiche.
Kizingiti cha chini cha ingizo: marejeo ya Proxy hayahitaji jiometri yenye maelezo mengi wala njia maalum ya uwasilishaji; hata mandhari rahisi inaweza kutoa picha ya kiwango cha mwisho.
Mabadiliko huru ya mtindo: picha hiyo hiyo ya marejeo inaweza kuzalishwa kwa mtindo wowote, kama uhalisia, anime au uchoraji wa mafuta, bila kutengeneza upya mali kwa kila mtindo.
Inaoana na marejeo yoyote: inasaidia uhuishaji wa 2D, mandhari za 3D, video halisi na vyanzo vingine, na kukamilisha uwasilishaji wa uzalishaji kwa njia moja.

Tovuti rasmi ya mradi: https://vast-eden.ai/?p=edenlive
Hazina ya GitHub: https://github.com/VAST-AI-Research/EdenLive
Hazina ya modeli ya Hugging Face: https://huggingface.co/VAST-AI/EdenLive
Ripoti ya kiufundi: https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

Uundaji wa michezo kwa AI: kwa kutumia EdenLive kutoa picha za kiwango cha mwisho kwa wakati halisi, wasanidi huru wanaweza kutengeneza michezo ya 3D kwa gharama ndogo.
Uzalishaji wa awali wa filamu na uhuishaji: baada ya mkurugenzi kuamua muundo wa picha, mwendo wa kamera na njia za wahusika kwa kutumia michoro rahisi, anaweza kuzalisha kwa mbofyo mmoja matoleo ya mitindo tofauti kama uhalisia, katuni na uchoraji wa mafuta, na kuamua haraka mwelekeo wa kisanii.
Utiririshaji/video yenye mtindo wa wakati halisi: kwa kutumia video ya mtu halisi kama marejeo, utendaji wa mtu huyo unaweza kubadilishwa kwa wakati halisi kuwa picha za anime au mitindo mingine, kwa matumizi ya watangazaji pepe na uundaji wa video fupi.
Uzalishaji wa data za mafunzo ya akili bandia yenye mwili: hubadilisha mwonekano huku ikihifadhi mfuatano wa vitendo vya roboti na muundo wa mandhari, na kuzalisha haraka data mbalimbali za uigaji kwa mafunzo ya roboti.
Elimu shirikishi na uzoefu pepe: mandhari rahisi za 3D za programu za elimu na maonyesho zinaweza kuwasilishwa kwa wakati halisi kama picha zenye ubora wa juu, na kuwapa watumiaji uzoefu wa kuzama na wa mwingiliano kupitia kivinjari au kifaa chepesi.