HOMIE Faoliyat yuritmoqda

HOMIE — Gonkong Fan va Texnologiyalar Universiteti tomonidan ochiq kodda taqdim etilgan raqamli inson video generatsiyasi freymvorki bo‘lib, Wan2.1-T2V-14B tayanch tarmog‘iga asoslangan va Qwen3-VL multimodal katta til modelini integratsiya qiladi. Freymvork raqamli inson+mahsulot+Logo+matnning to‘rtta elementini yagona tarzda qayta ishlaydi hamda inson va obyekt o‘zaro ta’siri, brend logotipini mahsulotga joylashtirish, OCR matnining aniqligi va ko‘p rakursli izchillik kabi to‘rtta asosiy muammoni aniq hal qiladi. Modelni o‘qitish uchun atigi 5.5K qadam/10 mingga yaqin A100 soati talab etiladi, OCR aniqligi ochiq koddagi eng kuchli modelga nisbatan 38.7% yuqori, 480P bir kartali hisoblashdan 720P ko‘p kartali inferensgacha qo‘llab-quvvatlanadi. Bu elektron tijoratdagi mahsulot targ‘iboti, virtual boshlovchilar kabi sohalarda video yaratish to‘sig‘ini sezilarli darajada pasaytiradi.

Inson va obyekt o‘zaro ta’siriga ega videolarni individuallashtirish: bir videoda bir nechta inson va turli obyektlarni bir vaqtda ko‘rsatishni qo‘llab-quvvatlaydi, har bir subyekt ko‘rinishining izchilligini saqlaydi hamda tabiiy va mantiqiy o‘zaro ta’sir harakatlarini (masalan, mahsulotni ushlash, namoyish etish va uzatish) yaratadi.
Logo/abstrakt tushunchalarni aniq joylashtirish: multimodal katta til modelining (MLLM) semantik xulosa chiqarish qobiliyatidan foydalanib, brend logotipi kabi abstrakt tushunchalarni semantik jihatdan eng mos obyektlarga avtomatik joylashtiradi; promptda joylashuv munosabatini aniq tasvirlash talab etilmaydi.
OCR matnini yuqori aniqlikda generatsiya qilish: OCR ma’lumotnoma tasviri bilan birgalikda ishlatilib, mahsulot qadoqlari va yorliqlaridagi matn generatsiya qilingan videoda aniq o‘qilishini, xiralashmasligini va belgilar aralashib ketmasligini ta’minlaydi. Bu AI video generatsiyasidagi “matnning bir uyum xira ko‘rinishi” muammosini hal qiladi.
Ko‘p rakursli izchil generatsiya: bir obyektning turli rakursdagi ma’lumotnoma tasvirlari berilganda, obyekt videoda aylanganda yoki harakatlanganda uning ko‘rinishi va tafsilotlari izchil saqlanadi. Bu kolleksiya buyumlari, 3D modellar, qo‘g‘irchoqlar kabi namoyish sahnalariga mos keladi.

WeChat’da kuzatib boring va “开源” so‘ziga javob yuboring, AI ochiq kod loyihalari guruhiga qo‘shiling
Umumiy arxitektura: Alibaba Wan2.1-T2V-14B DiT modeli tayanch sifatida olinadi, vizual tushunish moduli sifatida Qwen3-VL-2B-Thinking joriy etiladi, UmT5 matn enkoderi va VAE vizual enkoderi bilan birgalikda “matn+multimodal semantika+vizual” uch yo‘nalishli parallel generatsiya arxitekturasi hosil qilinadi.
MLLM integratsiyasi strategiyasi: mavjud matndan video generatsiyasidagi moslashuv munosabatlarini buzmasdan va qimmat qayta moslashtirish xarajatlarini yuzaga keltirmasdan, multimodal katta til modelining semantik xulosa chiqarish qobiliyati DiT’ga singdiriladi. Shu orqali model ma’lumotnoma tasvirlari orasidagi yashirin munosabatlarni avtomatik tushuna oladi.
Global multimodal self-attention yo‘naltirishi (GMG): DiT self-attention qatlamlarida MLLM ajratib olgan semantik xususiyatlar VAE vizual tokenlari bilan global tekislanadi. Proyeksiyalash, pooling va affin transformatsiya orqali generatsiya jarayonidagi har bir video tokeni ma’lumotnoma tasvirining global semantik ma’lumotlarini “ko‘ra” oladi.
Modallik-ma’lumotnoma embedding’i (MRE): MLLM xususiyat tokenlari va VAE vizual tokenlariga alohida modallik embedding’lari beriladi, turli ma’lumotnoma tasvirlariga mustaqil ma’lumotnoma embedding’lari biriktiriladi hamda bir subyektning ko‘p rakursli/OCR ma’lumotnoma tasvirlari tokenlari o‘zaro bog‘lanadi. Bu ma’lumotlarning chalkashib ketishining oldini oladi.
Uch bosqichli bosqichma-bosqich o‘qitish: bitta subyekt 480P→ ko‘p subyekt 480P→ yuqori aniqlikdagi 720P. O‘qitish jami atigi 5.5K qadamda yakunlanadi, bu shu turdagi usullardagi o‘n minglab qadamlardan ancha kam.

Muhitni tayyorlash: GitHub’dan HOMIE kod repozitoriysini lokal muhitga klonlang va muhit bog‘liqliklarini o‘rnating.
Og‘irliklarni yuklab olish: HuggingFace’dan rasmiy e’lon qilingan oldindan o‘qitilgan og‘irliklarni belgilangan model katalogiga yuklab oling.
Materiallarni tayyorlash: inson fotosuratlari, mahsulot tasvirlari, Logo tasvirlari yoki OCR matn tasvirlari kabi ko‘p subyektli ma’lumotnoma materiallarini tayyorlang.
Prompt yozish: maqsadli videodagi inson va obyektlar o‘rtasidagi o‘zaro ta’sir harakatlari hamda sahnani aniq tasvirlaydigan matnli prompt yozing.
Inferensni ishga tushirish: inferens skriptini ishga tushiring. HOMIE multimodal ma’lumotnoma axborotlarini avtomatik birlashtirib, individuallashtirilgan video generatsiya qiladi.
Ruxsatni tanlash: bitta GPU kartasi 832×480 ruxsatdagi videoni bevosita generatsiya qilishi mumkin, ko‘p kartali FSDP esa 720P yuqori aniqlikdagi chiqishgacha kengaytiriladi.

Yagona freymvork: bitta freymvork inson va obyekt o‘zaro ta’siri, Logo’ni mahsulotga joylashtirish, OCR matn aniqligi va ko‘p rakursli izchillik kabi to‘rtta asosiy vazifani bir vaqtda bajaradi; turli sahnalar uchun turli modellarni almashtirish shart emas.
O‘qitish samaradorligi: o‘qitishni yakunlash uchun atigi 5.5K qadam/10 mingga yaqin A100 soati talab etiladi. Bu shu turdagi usullarda odatda kerak bo‘ladigan 3–4 o‘n ming qadamdan ancha arzon.
MLLM’ni yo‘qotishsiz integratsiya qilish: matn enkoderining boshqariluvchanligini kamaytirmagan va qimmat qayta moslashtirish xarajatlarini yuzaga keltirmagan holda, multimodal katta til modelining semantik xulosa chiqarish qobiliyati video generatsiyasi pipeline’iga singdiriladi.
Yuqori sifat: OCR aniqligi 38.7% ga, ko‘p rakursli izchillik 8.2% ga oshgan; 40 kishilik foydalanuvchi tadqiqotida 64.7% ishtirokchi umumiy sifatni birinchi o‘ringa qo‘ygan.
Moslashuvchan inferens: 480P bir kartali hisoblashdan 720P ko‘p kartali inferensgacha qo‘llab-quvvatlanadi va 1280×720 vertikal video chiqarish mumkin. Bu jonli mahsulot targ‘iboti va qisqa video yaratish uchun bevosita mos keladi.

Loyiha rasmiy sayti: https://yiyangcai.github.io/homie-page.github.io
GitHub repozitoriysi: https://github.com/YIYANGCAI/HOMIE
HuggingFace model kutubxonasi: https://huggingface.co/yychai/homie-r2v-wan2.1
arXiv texnik maqolasi: https://arxiv.org/pdf/2607.18217

Elektron tijoratda jonli mahsulot targ‘iboti: belgilangan raqamli insonning belgilangan mahsulotni ushlab, belgilangan harakatlarni bajaradigan targ‘ibot videosini generatsiya qilish; 1280×720 vertikal chiqishni qo‘llab-quvvatlaydi va qisqa video platformalariga bevosita mos keladi.
Brend reklamasini yaratish: brend Logo’sini semantik jihatdan mos mahsulotlarga avtomatik joylashtiradi; promptda joylashuv munosabatini aniq ko‘rsatish talab etilmaydi.
Virtual boshlovchi/raqamli inson: raqamli insonning shaxsiy izchilligini saqlagan holda, turli mahsulotlar bilan tabiiy o‘zaro ta’sirni amalga oshiradi.
Mahsulotni turli rakurslarda namoyish etish: kolleksiya buyumi, 3D model yoki qo‘g‘irchoqning turli rakursdagi ma’lumotnoma tasvirlari berilganda, aylantirib namoyish qiluvchi video generatsiya qilinadi va barcha rakurslarda tashqi ko‘rinish izchil saqlanadi.
Qadoq matnining aniqligi: OCR ma’lumotnoma tasviri bilan birgalikda mahsulot qadoqlari va yorliqlaridagi matn videoda aniq o‘qilishini ta’minlaydi. Bu oziq-ovqat, kosmetika, sog‘liqni saqlash mahsulotlari kabi tarkib yoki ko‘rsatmalarni namoyish qilish zarur bo‘lgan sahnalarga mos keladi.