JoyAI-Video-Edit Inafanya kazi

JoyAI-Video-Edit ni modeli ya uhariri wa video wa wakati halisi na utiririshaji endelevu iliyotengenezwa na JD.com na kuwekwa wazi. Inategemea usanifu wa difusheni wa kujirudia wenye vigezo 16B, ikifikisha kasi ya uelekezaji ya 30FPS katika azimio la 720P na kusaidia uhariri thabiti wa utiririshaji wa video za urefu wowote. Watumiaji wanaweza kutumia maagizo ya lugha ya kawaida kurekebisha watu, mandhari, mitindo na vitu kwa wakati halisi video inapochezwa, bila kusubiri video nzima itengenezwe. Katika tathmini ya OpenVE-Bench, modeli hii ilizidi mbinu zote za uhariri wa utiririshaji na kuongoza kwa ukamilifu katika vipimo mbalimbali, huku pia ikitoa njia ya kutengeneza data kwa kiwango kikubwa kwa ajili ya akili iliyo na mwili.

Uhariri wa wakati halisi na utiririshaji: Kila fremu ya video huhaririwa mara tu inapowasili, bila kuhitaji kujua mfuatano mzima mapema.
Udhibiti wa maagizo ya wazi: Inasaidia kuhamisha mtindo wa jumla, kuongeza, kuondoa na kubadilisha vitu vya sehemu maalum, kubadilisha mandhari ya nyuma, kurekebisha vitendo na kuhariri kwa mwongozo wa picha ya marejeo.
Uchakataji wa urefu wowote: Huondoa kikomo cha sekunde au dakika, na inaweza kuendelea kuhariri kwa uthabiti video inapochezwa.
Usambazaji wa kasi ya juu wa 720P: Pipeline ya mwisho hadi mwisho hufikia 30.19 FPS katika azimio la 720×1280.
Uwezo wa uhariri wa pande nyingi: Unajumuisha kubadilisha mavazi ya watu, kubadilisha mandhari, kubadilisha mtindo, kubadilisha vitu na kuhariri manukuu.

Fuata WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi ya AI iliyo wazi
Kisimbaji cha masharti cha MLLM: Hutumia modeli kubwa ya lugha ya aina nyingi kusimba maagizo ya lugha ya kawaida kuwa masharti ya uhariri, na kuwezesha udhibiti wa kisemantiki ulio wazi.
VAE ya video ya kisababishi: Hutumia kisimbaji otomatiki cha tofauti chenye muundo wa wakati wa kisababishi kubana na kujenga upya fremu za video, na kuhakikisha uwiano wa wakati katika mazingira ya utiririshaji.
Kiini cha MMDiT chenye vigezo 16B: Hutumia Transformer ya difusheni ya aina nyingi yenye vigezo 16B kama msingi, ikiunganisha vipengele vya maandishi na picha kwa uzalishaji wa difusheni wa kujirudia.
Usafishaji wa ulinganishaji wa mgawanyo wa kujirudia: Huongeza kasi ya uelekezaji kupitia mkakati wa usafishaji unaolingana na mgawanyo wa kujirudia, na kupunguza kwa kiasi kikubwa tofauti za mgawanyo kati ya mafunzo na uelekezaji.
Uboreshaji wa muda mrefu na uelekezaji wa KV yenye mipaka: Huanzisha uboreshaji wa uthabiti wa muda mrefu pamoja na utaratibu wa akiba ya KV yenye mipaka, ili kukandamiza mkengeuko wa wakati unaojilimbikiza na kudumisha upitishaji wa juu.

Maandalizi ya mazingira: Unda mazingira ya Conda yenye python=3.10 na usakinishe utegemezi wa requirements.txt.
Pakua uzani: Pata faili za modeli kutoka Hugging Face na uweke checkpoint katika muundo maalum wa saraka.
Anzisha huduma: Ingia kwenye saraka ya deploy na utekeleze bash run_server.sh ili kuanzisha seva ya ndani.
Fungua kiolesura: Fungua http://localhost:8080 kwenye kivinjari ili kuingia kwenye kiolesura cha uhariri shirikishi.
Uhariri wa wakati halisi: Pakia video au unganisha mtiririko wa kamera, kisha ingiza maagizo ya lugha ya kawaida ili kuhariri video inapochezwa.

Uhariri wa wakati halisi na utiririshaji: Fremu za video huchakatwa mara tu zinapowasili, bila kusubiri mfuatano mzima, na hivyo kutoa uzoefu halisi wa mwingiliano wa “cheza na hariri papo hapo”.
Kasi na ubora wa hali ya juu: Uelekezaji wa mwisho hadi mwisho hufikia 30.19 FPS katika azimio la 720P, na katika tathmini ya OpenVE-Bench ilizidi mbinu zote za uhariri wa utiririshaji na nje ya mtandao.
Matokeo thabiti ya urefu wowote: Huondoa kikomo cha modeli za kawaida zinazosaidia vipande vya sekunde au dakika pekee, na inaweza kuendelea kuhariri kwa uthabiti bila mkengeuko video inapochezwa.
Udhibiti wa kisemantiki ulio wazi: Kwa kutegemea kisimbaji cha masharti cha MLLM, inasaidia uhariri wa pande nyingi unaoendeshwa na maagizo ya lugha ya kawaida, ikijumuisha mtindo wa jumla, vitu vya sehemu maalum, kubadilisha mandhari ya nyuma na uhariri unaoongozwa na picha ya marejeo.
Usanifu bora wa uelekezaji: Transformer ya difusheni ya kujirudia yenye vigezo 16B, ikiunganishwa na usafishaji wa ulinganishaji wa mgawanyo na akiba ya KV yenye mipaka, hupunguza kwa kiasi kikubwa tofauti kati ya mafunzo na uelekezaji na kukandamiza makosa ya wakati yanayojilimbikiza.

Hifadhi ya GitHub: https://github.com/jd-opensource/JoyAI-Video-Edit
Maktaba ya modeli ya HuggingFace: https://huggingface.co/jdopensource/JoyAI-Video-Edit
Makala ya kiufundi ya arXiv: https://arxiv.org/pdf/2608.03974

Uundaji wa video fupi: Watayarishi wanaweza kubadilisha mavazi ya watu na kurekebisha mtindo wa mandhari video inapochezwa, na hivyo kuongeza ufanisi wa uzalishaji wa maudhui.
Vipengele maalum vya wakati halisi kwenye matangazo ya moja kwa moja: Watangazaji wanaweza kubadilisha mandhari ya nyuma au kuongeza vipengele pepe wanapotangaza, na hivyo kuimarisha mwonekano wa matangazo kwa njia shirikishi.
Mapambo ya nyumba na usanifu wa ndani: Watumiaji wanaweza kubadilisha samani, nyenzo za kuta na athari za mwanga kwa wakati halisi wanapotazama video ya chumba, na kusaidia kufanya maamuzi ya ukarabati.
Maandalizi ya awali ya baada ya utengenezaji wa filamu na televisheni: Wakurugenzi wanaweza kujaribu kwa haraka mitindo mbalimbali ya kuona na mabadiliko ya mandhari wakati wa uhariri, na kupunguza gharama ya majaribio.
Utengenezaji wa data kwa akili iliyo na mwili: Hubadilisha video za uendeshaji wa mikono ya binadamu kuwa nyenzo za uendeshaji wa mikono ya roboti, na kupanua data ya mafunzo ya roboti kwa gharama ndogo.