Hy-Nomas Faoliyat yuritmoqda

Hy-Nomas — Tencent Hunyuan jamoasi tomonidan ochiq kodli tarzda taqdim etilgan interaktiv video olamini yaratish modeli. U videolarni segmentli autoregressiv usulda yaratadi, har bir segment oralig‘ida matnli ko‘rsatmalar yoki kamera trayektoriyasi boshqaruvini erkin almashtirishni qo‘llab-quvvatlaydi va lifelong KV cache orqali uzoq muddatli izchillikni saqlaydi. Hy-Nomas kodi va vaznlari ochiq e’lon qilingan. Distillangan hamda INT8 kvantlangan versiyalari taqdim etilgan; optimallashtirilgandan so‘ng bitta RTX 4090 qurilmasida mahalliy inferensni amalga oshirish mumkin.

Erkin shakldagi matnli boshqaruv: istalgan shakldagi matnli ko‘rsatmalarni qo‘llab-quvvatlaydi va yaratilayotgan olamdagi obyektlar, uslub, sahna hamda harakatlarni boshqaradi.
Kamera trayektoriyasini boshqarish: kamera harakati trayektoriyasi asosida shartlangan generatsiyani amalga oshiradi va matnli ko‘rsatmalar bilan erkin birlashtirish yoki almashtirish imkonini beradi.
Ko‘p bosqichli interaktiv generatsiya: Web-interfeys segment chegaralarida yangi buyruqlar kiritib, ketma-ket bir necha bosqichda generatsiya qilishni qo‘llab-quvvatlaydi.
Ko‘rsatmalarni kuchaytirish (Nomas-PE): ichki onlayn model foydalanuvchining og‘zaki buyruqlarini avtomatik ravishda strukturaviy generatsiya ko‘rsatmalariga aylantiradi.
Iste’molchi darajasidagi mahalliy joylashtirish: INT8 kvantlash va CPU offload optimallashtirishi orqali bitta RTX 4090 qurilmasida inferensni amalga oshirish mumkin.
LoRA nozik sozlashi: maxsus video ma’lumotlari yordamida nozik sozlashni qo‘llab-quvvatlaydi; natijani distillangan modelga birlashtirib, inferensda ishlatish mumkin.

WeChat’da kuzatib, “开源” deb javob yuboring va AI ochiq kodli loyihalar guruhiga qo‘shiling
Segmentli autoregressiv arxitektura: uzun videoni segmentlar bo‘yicha yaratadi. Har bir segment joriy ko‘rsatma yoki kamera signali asosida shartlanadi va barcha segmentlar bo‘ylab davom etadigan lifelong KV cache saqlanadi. Shu orqali sahna, obyektlar va uslub vaqt davomida izchil qolib, uzoq muddatli olam generatsiyasi amalga oshadi.
Distillash orqali tezlashtirilgan inferens: distillash mashg‘uloti yordamida denoising bosqichlari 4/6/8 tagacha qisqartiriladi. Maxsus nozik sozlangan PixelUMM dekoderi 32 kanalli DCAE-V yashirin o‘zgaruvchilarini qayta ishlaydi va sifatni saqlagan holda inferens kechikishini sezilarli kamaytiradi.
Kam videoxotirali inferens mexanizmi: DiT vaznlari va KV cache INT8 formatida saqlanadi, hisoblash esa BF16 formatida davom etadi; tarixiy kontekstning cheksiz o‘sishiga yo‘l qo‘ymaslik uchun suriluvchi oyna orqali qisqartiriladi; matn kodlagichi, DiT va VAE bosqichma-bosqich CPU/GPU o‘rtasida almashtiriladi. Natijada eng yuqori videoxotira sarfi iste’molchi darajasidagi videokarta ko‘tara oladigan darajaga tushiriladi.
LoRA segmentlarini majburiy o‘qitish: nozik sozlash uchun distillanmagan checkpoint asosiy model sifatida olinadi va segment forcing o‘qitish liniyasi qo‘llanadi. Faqat LoRA parametrlari (rank/alpha 256) o‘qitiladi. O‘qitish tugagach, LoRA vaznlari distillangan checkpoint’ga birlashtirilib, distillash tezligini saqlaydigan va moslashtirish imkoniyatiga ega inferens modeli olinadi.

Ikki modalni erkin almashtirish: har bir segmentni yaratishda matnli ko‘rsatmalar va kamera trayektoriyasi boshqaruvi o‘rtasida erkin almashish mumkin, interaktiv usul moslashuvchan.
Uzoq muddatli izchillik: lifelong KV cache obyektlar, sahna va uslubning segmentlar bo‘ylab davomiyligini ta’minlaydi hamda uzun videolardagi siljishning oldini oladi.
Iste’molchi qurilmalarida ishlaydi: INT8 kvantlash, suriluvchi oyna va CPU offload yordamida bitta RTX 4090 qurilmasida mahalliy inferensni amalga oshirish mumkin.
Juda tez inferens: distillashdan so‘ng atigi 4~8 ta denoising bosqichi talab qilinadi va generatsiya kechikishi sezilarli kamayadi.
To‘liq ochiq kodli: kod, vaznlar, o‘qitish hamda ma’lumotlarni belgilash jarayonlari to‘liq ochiq; Apache 2.0 litsenziyasi tijoriy foydalanishga ruxsat beradi.

Loyiha rasmiy sayti: https://hy-nomas.hy.tencent.com/
GitHub repozitoriysi: https://github.com/Tencent-Hunyuan/Hy-Nomas
HuggingFace model kutubxonasi: https://huggingface.co/tencent/Hy-Nomas

AI o‘yin prototiplarini ishlab chiqish: matn va kamera buyruqlari orqali interaktiv o‘yin olamlarini tezda yaratib, o‘yin konsepsiyalarini kam xarajat bilan tekshirish.
Robotlarni simulyatsion o‘qitish: rasmiy Robotics LoRA yordamida realistik robot qo‘li ishlaydigan muhitlarni yaratish va embodied intelligence uchun sintetik o‘quv ma’lumotlarini taqdim etish.
Kino va televideniye pre-vizuallashtirishi hamda storyboard: kino uslubidagi LoRA yordamida izchil uzun kadrlarni yaratib, rejissyorlarga kamera harakati dizayni va vizual ko‘rib chiqishda yordam berish.
Virtual turizm va makon taqdimoti: kamera trayektoriyasi boshqaruvi yordamida sayyohlik maskanlari, ko‘rgazma zallari va ko‘chmas mulk sahnalarini kezish mumkin bo‘lgan formatda yaratib, an’anaviy 3D modellashtirishni almashtirish.
AI tadqiqotlari va ta’limi: o‘qitish, nozik sozlash va ma’lumotlarni belgilash uchun to‘liq kod ochiq bo‘lib, olam modellari yo‘nalishida ta’lim va ilmiy tadqiqotlar uchun asos bo‘la oladi.