HOMIE Inafanya kazi

HOMIE ni mfumo wa wazi wa Chuo Kikuu cha Sayansi na Teknolojia cha Hong Kong wa kutengeneza video za watu wa kidijitali, unaotumia mtandao mkuu wa Wan2.1-T2V-14B na kuunganisha modeli kubwa ya Qwen3-VL ya modali nyingi. Mfumo huu hushughulikia kwa pamoja vipengele vinne: mtu wa kidijitali+bidhaa+Logo+maandishi, na kutatua kwa usahihi changamoto nne kuu: mwingiliano kati ya mtu na kitu, uwekaji wa chapa, uaminifu wa maandishi ya OCR na uthabiti wa mitazamo mingi. Mafunzo ya modeli yanahitaji hatua 5.5K tu/saa takriban 10,000 za A100, huku usahihi wa OCR ukiwa umeongezeka kwa 38.7% ikilinganishwa na modeli bora zaidi za wazi. Mfumo unaunga mkono uelekezaji kutoka 480P kwenye kadi moja hadi 720P kwenye kadi nyingi, na kupunguza kwa kiasi kikubwa kizingiti cha kutengeneza video za biashara mtandaoni, watangazaji pepe na matumizi mengine.

Ubinafsishaji wa video za mwingiliano kati ya mtu na kitu: Inaunga mkono watu wengi na vitu mbalimbali kuonekana kwa wakati mmoja katika video moja, huku ikidumisha mwonekano thabiti wa kila mhusika na kutengeneza vitendo vya mwingiliano vya asili na vinavyoeleweka, kama vile kushika, kuonyesha na kukabidhi bidhaa.
Uwekaji sahihi wa Logo/dhana dhahania: Kwa kutumia uwezo wa kimantiki wa modeli kubwa ya modali nyingi (MLLM), mfumo huweka kiotomatiki Logo ya chapa na dhana nyingine dhahania kwenye kitu kinachohusiana zaidi kimaana, bila kuhitaji kueleza wazi uhusiano wa eneo katika kidokezo.
Uzalishaji wa maandishi ya OCR yenye uaminifu wa juu: Pamoja na picha ya marejeo ya OCR, mfumo huhakikisha maandishi kwenye vifungashio na lebo za bidhaa yanasomeka wazi katika video inayozalishwa, bila kufifia au kuchanganyika, na kutatua tatizo la maandishi “kuganda kuwa mkusanyiko usioeleweka” katika uzalishaji wa video kwa AI.
Uzalishaji wenye uthabiti wa mitazamo mingi: Unapopewa picha za marejeo za kitu kimoja kutoka mitazamo mingi, mfumo hudumisha mwonekano na maelezo thabiti kitu kinapozunguka au kusogea kwenye video, jambo linalofaa kwa kuonyesha sanamu ndogo, modeli za 3D, wanasesere na vitu vingine.

Mfuate WeChat na ujibu “开源” ili ujiunge na kundi la mawasiliano la miradi ya AI ya wazi
Muundo wa jumla: DiT ya Alibaba Wan2.1-T2V-14B hutumika kama mtandao mkuu, Qwen3-VL-2B-Thinking huongezwa kama moduli ya uelewa wa kuona, na kwa kushirikiana na kisimbaji cha maandishi cha UmT5 pamoja na kisimbaji cha kuona cha VAE, huunda usanifu wa uzalishaji wenye njia tatu zinazofanya kazi sambamba: “maandishi+maana ya modali nyingi+mwonekano”.
Mbinu ya kuunganisha MLLM: Bila kuharibu ulinganifu wa awali wa maandishi hadi video wala kusababisha gharama kubwa ya ulinganishaji upya, uwezo wa kimantiki wa modeli kubwa ya modali nyingi huingizwa kwenye DiT, na kuiwezesha modeli kuelewa kiotomatiki uhusiano fiche kati ya picha za marejeo.
Mwongozo wa umakini wa kujitegemea wa modali nyingi wa kimataifa (GMG): Katika safu ya umakini wa kujitegemea ya DiT, vipengele vya maana vilivyotolewa na MLLM vinawekewa ulinganifu wa kimataifa na tokeni za kuona za VAE. Kupitia makadirio, ujumuishaji na mabadiliko ya affine, kila tokeni ya video wakati wa uzalishaji inaweza “kuona” taarifa ya maana ya jumla kutoka kwenye picha ya marejeo.
Upachikaji wa modali na marejeo (MRE): Tokeni za vipengele vya MLLM na tokeni za kuona za VAE hupewa upachikaji wa modali tofauti, huku picha tofauti za marejeo zikipewa upachikaji huru wa marejeo. Tokeni za picha za marejeo za mitazamo mingi/OCR za mhusika yuleyule huunganishwa ili kuzuia kuchanganyika kwa taarifa.
Mafunzo ya hatua tatu yanayoendelea: mhusika mmoja 480P→ wahusika wengi 480P→ ubora wa juu 720P; mafunzo yote hukamilika kwa hatua 5.5K tu, chini sana ya makumi ya maelfu ya hatua yanayotumiwa na mbinu zinazofanana.

Maandalizi ya mazingira: Kloni hazina ya msimbo ya HOMIE kutoka GitHub hadi kwenye kompyuta ya ndani na ukamilishe kusakinisha vitegemezi vya mazingira.
Upakuaji wa uzani: Pakua uzani rasmi wa modeli zilizofunzwa awali kutoka HuggingFace hadi kwenye saraka maalum ya modeli.
Maandalizi ya nyenzo: Andaa picha za marejeo, zikiwemo picha za watu, picha za bidhaa, picha za Logo au picha za maandishi ya OCR na nyenzo nyingine za wahusika wengi.
Uandishi wa vidokezo: Andika vidokezo vya maandishi vinavyoeleza kwa usahihi vitendo vya mwingiliano na mandhari kati ya watu na vitu katika video inayolengwa.
Kuendesha uelekezaji: Endesha hati ya uelekezaji; HOMIE itaunganisha kiotomatiki taarifa za marejeo za modali nyingi na kutengeneza video iliyobinafsishwa.
Uteuzi wa mwonekano: GPU ya kadi moja inaweza kutengeneza moja kwa moja video ya mwonekano wa 832×480, huku FSDP ya kadi nyingi ikiweza kupanua hadi utoaji wa ubora wa juu wa 720P.

Mfumo uliounganishwa: Mfumo mmoja hushughulikia kwa wakati mmoja kazi nne kuu—mwingiliano kati ya mtu na kitu, uwekaji wa Logo, uaminifu wa maandishi ya OCR na uthabiti wa mitazamo mingi—bila kuhitaji kubadilisha modeli kwa matukio tofauti.
Mafunzo yenye ufanisi: Mafunzo hukamilika kwa hatua 5.5K tu/saa takriban 10,000 za A100, gharama ikiwa chini sana ya hatua 30–40,000 zinazohitajika kwa kawaida na mbinu zinazofanana.
Uunganishaji wa MLLM bila hasara: Uwezo wa kimantiki wa modeli kubwa ya modali nyingi huingizwa kwenye mchakato wa uzalishaji wa video bila kupunguza udhibiti wa kisimbaji cha maandishi wala kusababisha gharama kubwa ya ulinganishaji upya.
Ubora unaoongoza: Usahihi wa OCR umeongezeka kwa 38.7%, uthabiti wa mitazamo mingi umeongezeka kwa 8.2%, na katika utafiti wa watumiaji 40, 64.7% walipigia kura ubora wa jumla kuwa wa kwanza.
Uelekezaji unaonyumbulika: Inaunga mkono uelekezaji kutoka 480P kwenye kadi moja hadi 720P kwenye kadi nyingi, na inaweza kutoa video wima ya 1280×720, inayofaa moja kwa moja kwa biashara ya moja kwa moja na utengenezaji wa video fupi.

Tovuti rasmi ya mradi: https://yiyangcai.github.io/homie-page.github.io
Hazina ya GitHub: https://github.com/YIYANGCAI/HOMIE
Hazina ya modeli ya HuggingFace: https://huggingface.co/yychai/homie-r2v-wan2.1
Karatasi ya kiufundi ya arXiv: https://arxiv.org/pdf/2607.18217

Uuzaji wa bidhaa kupitia matangazo ya moja kwa moja ya biashara mtandaoni: Tengeneza video ya mtu maalum wa kidijitali akishika bidhaa maalum na kufanya kitendo maalum, ukiunga mkono utoaji wa video wima ya 1280×720 inayofaa moja kwa moja kwa majukwaa ya video fupi.
Utengenezaji wa matangazo ya chapa: Weka kiotomatiki Logo ya chapa kwenye bidhaa inayohusiana kimaana, bila kuhitaji kubainisha wazi uhusiano wa eneo katika kidokezo.
Watangazaji pepe/watu wa kidijitali: Dumisha utambulisho thabiti wa mtu wa kidijitali huku akiingiliana kwa asili na bidhaa mbalimbali.
Uonyeshaji wa bidhaa kutoka mitazamo mingi: Kwa kutumia picha za marejeo za sanamu ndogo, modeli ya 3D au mwanasesere kutoka mitazamo mingi, tengeneza video ya kuizungusha na kuionyesha, huku mwonekano ukibaki thabiti kutoka kila pembe.
Uaminifu wa maandishi kwenye vifungashio: Pamoja na picha ya marejeo ya OCR, hakikisha maandishi kwenye vifungashio na lebo za bidhaa yanasomeka wazi kwenye video, jambo linalofaa kwa vyakula, vipodozi, virutubisho na matukio mengine yanayohitaji kuonyesha viambato/maelekezo.