HiDream-O1-Video-1.0 Inafanya kazi

HiDream-O1-Video-1.0 (kwa kifupi HD-V1) ni muundo asilia wa generative wa video wenye modali zote uliotengenezwa na HiDream.ai. Unaunga mkono ingizo la modali nyingi, ikiwemo maandishi, picha na video, na unaweza kutoa video ya 1080p yenye urefu wa sekunde 5–20 kwa mbofyo mmoja. Muundo huu unaongoza katika uzalishaji unaozingatia sheria za fizikia na ujumuishaji asilia wa sauti na picha. Ulishika nafasi ya nne duniani katika orodha ya Artificial Analysis ya uzalishaji wa video kutoka picha (With Audio), na nafasi ya nane katika jaribio lisilo na upendeleo la Arena.ai, jambo linaloashiria kuwa video za AI za China zimeingia katika kundi la juu duniani.

Ingizo la aina nyingi: Inaauni maandishi, picha, video na aina nyingine nyingi za data kama masharti ya uundaji.
Uzalishaji wa video wa uaminifu wa juu moja kwa moja: Tengeneza video za ubora wa juu wa 1080p zenye urefu wa sekunde 5–20 kwa kubofya mara moja.
Uelewa wa nia: Moduli ya awali ya uelewa wa aina nyingi hubadilisha ingizo la mazungumzo kuwa mpango uliopangwa kitaalamu wa mandhari, wahusika, vitendo, athari za sauti na mengineyo.
Uzalishaji unaozingatia sheria za fizikia: Sheria za fizikia kama vile mvuto, mgongano na hali ya mwendo zimejumuishwa katika mantiki ya uundaji, hivyo mabadiliko ya umbo na mwendo wa picha huendana na ulimwengu halisi.
Upangaji mahiri wa muda: Huamua kiotomatiki urefu wa video kulingana na mantiki ya matukio na mdundo wa simulizi, badala ya kujaza dirisha maalum kwa njia ya kiufundi.
Ushirikiano wa sauti na picha: Huunda kwa pamoja ishara za maandishi, video na sauti, hivyo kusawazisha kiasili mwendo wa midomo, athari za sauti na picha.
Uthabiti wa simulizi na wahusika: Hutumia mchakato wa kupanga kwanza, kuunda kwa pamoja baadaye, kisha kusawazisha kwa Reward, ili kuhakikisha mwendelezo wa simulizi katika mandhari ndefu na kuzuia wahusika kubadilika bila kutarajiwa.

Muundo asilia wa umoja wa modali zote: HD-V1 hutumia muundo asilia wa umoja wa modali zote uliotengenezwa na Zhixiang. Tangu mwanzo wa usanifu wake, umeelekezwa kwenye uwakilishi wa pamoja wa maandishi, video na sauti. Vipengele hivi vitatu huundwa pamoja, huwekana mipaka na hupangiliwa katika mchakato mmoja wa uzalishaji; mwendo wa picha huongoza mdundo wa sauti, huku mazungumzo na athari za sauti zikiboresha hisia za picha, na masharti ya maandishi yakidumu katika mchakato mzima.
Moduli ya awali ya kuelewa nia za modali nyingi: Kwanza, modeli hutumia modeli ya uelewa wa modali nyingi kuelewa kwa kina na kupanga kwa muundo ingizo la mtumiaji, ikibadilisha lugha asilia ya mazungumzo na isiyo dhahiri kuwa nyuga za kitaalamu kama vile muda wa picha, eneo la tukio, wahusika waliopo, vitendo na mihemko ya uso, aina ya picha na muundo, urefu wa lenzi na mwendo wa kamera, mazungumzo na sauti za mandharinyuma. Kadiri uelewa unavyokuwa wa kina, ndivyo upangaji unavyokuwa thabiti; na kadiri upangaji unavyokuwa thabiti, ndivyo uzalishaji wa pamoja unaofuata unavyopungua uwezekano wa kupotoka. Hivyo, mfumo huepuka tangu chanzo kutokuelewa kikamilifu nia, kukatika kwa mwendelezo wa picha na kuhama kwa wahusika.
Mantiki ya uzalishaji inayojumuisha sheria za fizikia: Jinsi vitu vinavyoanguka kutokana na mvutano, jinsi migongano inavyotoa mwitikio, jinsi hali ya mwendo inavyoendelea, jinsi mwanga na vivuli vinavyopungua, na jinsi nafasi inavyodumisha mwendelezo.
Mchakato wa uzalishaji wa hatua tatu wa kupanga—kuzalisha—kupangilia: Zhixiang inapendekeza mbinu ya kiteknolojia ya kupanga kwanza, kisha kuzalisha kwa pamoja, na hatimaye kutumia Reward ya modali nyingi kwa upangiliaji. Kwanza modeli hupanga simulizi na hali za wahusika kwa mtazamo wa jumla; wakati wa uzalishaji wa pamoja, huweka mipaka kwa picha, vitendo na maana; kisha hutumia ishara za zawadi za modali nyingi kupanga kwa pamoja ubora wa picha, mwendelezo na uhalali wa kifizikia, na kuhakikisha uwiano wa jumla katika picha ndefu ambapo wahusika, hisia na motisha huathiriana.

Thibitisha hali ya ufikiaji: Kwa sasa, modeli iko katika hatua ya majaribio ya ndani na bado haijazinduliwa rasmi kwa umma; unahitaji kuomba sifa za kuijaribu mapema kupitia https://n1y46cmwsp.feishu.cn/share/base/form/shrcnVBeO99NQQWARxNirglcbct。
Jaza fomu ya ombi kwa kuchanganua msimbo wa QR: Bonyeza na ushikilie ili kuchanganua msimbo wa QR na kufungua ukurasa wa fomu ya ombi。
Wasilisha taarifa za ombi: Jaza taarifa za kibinafsi/kampuni na mahitaji ya matumizi kulingana na maelekezo ya fomu, kisha usubiri ukaguzi rasmi baada ya kuwasilisha。
Subiri arifa ya kuwezeshwa: Baada ya ombi kuidhinishwa, utapokea sifa za kujaribu modeli katika hatua ya ndani。
Jaribu uwezo wa modeli: Baada ya kupata sifa hizo, unaweza kutumia kiolesura rasmi kuingiza maandishi, picha au video na kuzalisha kwa kubofya mara moja video ya sekunde 5–20 yenye ubora wa 1080p, ikiwa na picha na sauti vilivyounganishwa。

Usanifu wa asili wa multimodal: Ni modeli ya kwanza ya video katika sekta inayounda kwa pamoja mifano ya maandishi, video na sauti, hivyo kutoa video na sauti kwa muunganiko wa asili.
Uzalishaji unaoongozwa na sheria za fizikia: Sheria za fizikia kama vile mvutano wa dunia, migongano, hali ya mwendo, kupungua kwa mwanga na vivuli, pamoja na mwendelezo wa anga, zinaeleweka kwa kweli na modeli na kuandikwa katika mantiki ya uzalishaji. Mabadiliko ya umbo, mwitikio wa mwendo na athari za sauti zote huendana na uhusiano halisi wa sababu na matokeo.
Uelewa wa kina wa nia: Moduli ya uelewa wa nia ya multimodal iliyo mbele hubadilisha maingizo ya mtumiaji yaliyo katika lugha ya mazungumzo na vipande vipande kuwa mpango uliopangiliwa wa kitaalamu unaojumuisha muda wa kila picha, muundo wa mandhari, mwendo wa kamera, vitendo na mihemko ya uso, pamoja na mazungumzo na athari za sauti. Hii huzuia kutokuelewa nia na kukatika kwa mwendelezo wa picha tangu chanzo.
Muda unaofuata masimulizi: Inavunja mantiki ya jadi ya “kujaza maudhui katika dirisha la muda lililowekwa”. Modeli hupanga muda kwa uhuru kulingana na mantiki ya maendeleo ya tukio na kasi ya masimulizi, na hivyo kuzuia kusubiri bila maana au kupunguza mwendo baada ya kitendo kukamilika.
Masimulizi yenye mwendelezo na uthabiti wa wahusika: Inatumia mchakato wa kiufundi wa kupanga kwanza, kisha kuzalisha kwa pamoja, na hatimaye kufanya ulinganishaji wa Reward wa multimodal. Kwa kuunganishwa na Diffusion RL na modeli ya Reward iliyolinganishwa na utambuzi wa binadamu, inahakikisha kuwa wahusika, hisia na motisha zao vinaendelea kuwa vyenye uwiano na havibadiliki kiholela katika picha zinazofuatana.

Video fupi za matangazo na uuzaji: Tengeneza moja kwa moja video za bidhaa za 1080p zenye sauti na picha zilizounganishwa, ukiondoa gharama za kuongeza sauti baada ya utengenezaji; uwasilishaji halisi wa vifaa unafaa kwa kuonyesha bidhaa za hali ya juu.
Uundaji wa maudhui ya video fupi/mitandao ya kijamii: Muda unaojibadilisha wa sekunde 5–20 unaendana kiasili na kasi ya video fupi; vidokezo vya lugha ya mazungumzo vinatosha kuunda video kamili yenye athari za sauti na usawazishaji wa mwendo wa midomo.
Uigaji wa awali wa filamu na upangaji wa mipangilio (Previs): Panga kwa muundo mandhari, ukubwa wa picha, miondoko ya kamera na athari za sauti, ili kuwasaidia waongozaji kuthibitisha kwa haraka kasi ya usimulizi na uwezekano wa picha kabla ya upigaji.
Uonyeshaji wa bidhaa za biashara ya mtandaoni: Ingiza picha ya bidhaa ili kuunda video ya matumizi katika mazingira halisi; mwendo wa vitu una uhalisia wa kimwili, huku usawazishaji wa sauti za vitu ukisaidia kuongeza kiwango cha ubadilishaji.
Maudhui ya elimu na uelimishaji wa sayansi: Geuza vipengele vya maarifa vilivyotawanyika kuwa maonyesho yanayobadilika na sahihi kwa mujibu wa sheria za fizikia; usawazishaji wa sauti na picha hurahisisha uelewa.