JD.com imetangaza leo kufungua chanzo cha modeli yake ya uhariri wa video wa mtiririko wa wakati halisi, JoyAI-Video-Edit. Watumiaji wanaweza kutazama video huku wakibadilisha wahusika na mandhari kwa wakati mmoja, na hivyo kubadilisha uundaji wa video kutoka “kuanza na nyenzo kisha kuhariri” hadi uhariri shirikishi wa wakati halisi.
JD.com imesema rasmi kuwa katika uwanja wa uhariri wa video wa mtiririko wa wakati halisi, JoyAI-Video-Edit inaongoza kikamilifu kwa viashiria vyote ikilinganishwa na modeli代表ative za sasa katika sekta, na imefikia kiwango cha juu duniani.
Uhariri wa video wa wakati halisi lazima kwanza utatue tatizo la kasi. Video huundwa na fremu zinazoendelea moja baada ya nyingine; ikiwa kasi ya kuchakata ya modeli haiwezi kufuata kasi ya uchezaji, kutatokea kukwama na ucheleweshaji. JoyAI-Video-Edit inategemea modeli iliyotengenezwa kikamilifu na kampuni ya JoyAI-Video, na kwa mwonekano wa 720P inafikia kasi ya uelekezaji wa modeli ya fremu 30 kwa sekunde, hivyo inaweza kudumisha uwazi wa juu wa picha huku ikifuata kasi ya uchezaji wa video za kawaida za filamu na televisheni.
Urefu wa video pia ni kizingiti kingine cha uhariri wa mtiririko. Hapo awali, modeli za uhariri wa mtiririko ziliweza kuchakata vipande vya sekunde au dakika chache pekee, lakini JoyAI-Video-Edit inaunga mkono uhariri thabiti wa mtiririko wa muda wowote, na inaweza kuendelea kuchakata video inapochezwa. Watumiaji hawahitaji kusubiri video nzima itengenezwe; wanaweza kubadilisha mandhari, kubadilisha vitu, kurekebisha mwonekano wa wahusika au kubadilisha mtindo wa picha kwa wakati halisi wakati wa uchezaji, na kutimiza “kutazama huku wakiumba”.
Kwa mfano, mtayarishaji anaweza kuwafanya wahusika kwenye video wabadilishe mavazi mfululizo, kubadilisha barabara ya kawaida kuwa ulimwengu wa uhuishaji wakati wa matangazo ya moja kwa moja, au kujaribu samani, kuta na athari tofauti za mwanga katika usanifu wa mapambo ya nyumba.
Ili kutathmini uwezo wa modeli, timu ya watafiti ililinganisha JoyAI-Video-Edit na modeli代表ative za kimataifa za uhariri wa video wa mtiririko, zikiwemo SANA Streaming, LiveEdit na Xmax-X2.0. Matokeo yalionyesha kuwa katika data za tathmini zinazojumuisha matukio ya kawaida ya uhariri wa video, JoyAI-Video-Edit iliongoza kwa ujumla katika matokeo yote.
Katika tathmini ya jumla yenye mamlaka ya sekta ya OpenVE-Bench, modeli hii ilizidi mbinu zote za sasa za uhariri wa mtiririko, na ilikuwa na üstünisho hasa katika kazi za mtindo wa jumla, kubadilisha sehemu, kufuta sehemu na kuhariri manukuu, huku ikiitangulia kwa kiasi kikubwa modeli nyingine za sekta.
Si kwa ajili ya uundaji wa video pekee, JoyAI-Video-Edit pia inatoa njia mpya ya kiteknolojia ya kutengeneza kwa wingi data za akili yenye mwili. Mafunzo ya roboti yanahitaji video nyingi za kushika, kusogeza na kutumia vitu, lakini ukusanyaji wa data kutoka kwa roboti halisi una gharama kubwa; matukio hatari au yasiyo ya kawaida pia ni vigumu kukusanywa tena na tena. Kwa kutegemea uwezo wake wa kuhariri kwa udhibiti mandhari, vitu na maudhui ya picha, JoyAI-Video-Edit inaweza kubadilisha video za mikono ya binadamu kuwa nyenzo za uendeshaji wa mikono au mikono ya roboti, na kwa kuhifadhi nafasi ya vitu, uhusiano wa anga na mwelekeo wa vitendo, kubadilisha mandhari, vitu na maumbo ya roboti ili kupanua video moja kuwa sampuli nyingi zaidi za mafunzo.
Anwani za chanzo huria za JoyAI-Video-Edit ni:
https://huggingface.co/jdopensource/JoyAI-Video-Edit
https://github.com/jd-opensource/JoyAI-Video-Edit