Hy-Nomas Inafanya kazi

Hy-Nomas ni modeli ya kizazi cha ulimwengu wa video shirikishi iliyotolewa kama chanzo huria na timu ya Tencent Hunyuan. Hutengeneza video kwa njia ya autoregressive ya vipande, ikiwezesha kubadilisha kwa uhuru vidokezo vya maandishi au udhibiti wa mwelekeo wa kamera kati ya vipande, na kutumia lifelong KV cache kudumisha ulinganifu wa muda mrefu. Msimbo na uzani wa Hy-Nomas umetolewa kama chanzo huria, ukiwa na matoleo yaliyodistiliwa na ya quantization ya INT8. Baada ya uboreshaji, RTX 4090 moja inaweza kufanya inference ndani ya kifaa.

Udhibiti wa maandishi wa namna yoyote: Inaauni vidokezo vya maandishi vya aina yoyote ili kudhibiti vitu, mtindo, mandhari na vitendo katika ulimwengu unaozalishwa.
Udhibiti wa mwelekeo wa kamera: Inaweza kuzalisha maudhui kulingana na mwelekeo wa mwendo wa kamera, na kuuchanganya au kuubadilisha kwa uhuru na vidokezo vya maandishi.
Uzalishaji shirikishi wa raundi nyingi: Kiolesura cha wavuti kinaauni kuingiza maagizo mapya kwenye mipaka ya vipande, hivyo kuwezesha uzalishaji endelevu wa raundi nyingi.
Uboreshaji wa vidokezo (Nomas-PE): Modeli ya mtandaoni iliyojengwa ndani hubadilisha kiotomatiki maagizo ya kawaida ya mtumiaji kuwa vidokezo vilivyopangwa vya uzalishaji.
Usambazaji wa ndani kwenye vifaa vya watumiaji: Uboreshaji wa quantization ya INT8 na CPU offload huwezesha inference kwa RTX 4090 moja.
Fine-tuning ya LoRA: Inaunga mkono fine-tuning kwa kutumia data maalum ya video, na inaweza kuunganishwa katika modeli iliyodistiliwa kwa ajili ya inference.

Fuata WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Muundo wa autoregressive wa vipande: Video ndefu huzalishwa kwa vipande, kila kipande kikiwa na masharti ya kidokezo cha sasa au ishara ya kamera. lifelong KV cache inayopita katika vipande vyote hudumishwa ili kuweka mandhari, vitu na mtindo vikiwa na ulinganifu wa muda, na hivyo kuwezesha kizazi cha ulimwengu wa muda mrefu.
Inference iliyoharakishwa kwa distillation: Mafunzo ya distillation hupunguza hatua za denoising hadi hatua 4/6/8. Kwa kushirikiana na dekoda ya PixelUMM iliyofanyiwa fine-tuning maalum, hushughulikia vigeu fiche vya DCAE-V vyenye njia 32, na hupunguza kwa kiasi kikubwa muda wa inference huku ikidumisha ubora.
Mbinu ya inference yenye matumizi madogo ya VRAM: Uzani wa DiT na KV cache huhifadhiwa kwa INT8, huku hesabu ikiendelea kwa BF16. Muktadha wa zamani hukatwa kwa sliding window ili usikue bila kikomo. Text encoder, DiT na VAE hubadilishwa kati ya CPU/GPU kwa hatua, hivyo kupunguza kilele cha VRAM hadi kiwango kinachoweza kubebwa na kadi za picha za watumiaji.
Mafunzo ya LoRA yenye kulazimisha vipande: Fine-tuning hutumia checkpoint isiyodistiliwa kama modeli msingi, na pipeline ya segment forcing. Vigezo vya LoRA pekee ndivyo vinavyofunzwa (rank/alpha 256). Baada ya mafunzo, uzani wa LoRA huunganishwa tena kwenye checkpoint iliyodistiliwa, na kuunda modeli ya inference inayohifadhi kasi ya distillation huku ikiwa na uwezo wa kubinafsishwa.

Ubadilishaji huru wa njia mbili: Kila kipande kinaweza kuzalishwa kwa kubadilisha kwa uhuru kati ya kidokezo cha maandishi na udhibiti wa mwelekeo wa kamera, hivyo mwingiliano huwa rahisi kubadilika.
Ulinganifu wa muda mrefu: lifelong KV cache huhakikisha mwendelezo wa vitu, mandhari na mtindo katika vipande mbalimbali, na kuzuia video ndefu kupotoka.
Inaendeshwa kwenye vifaa vya watumiaji: Quantization ya INT8, sliding window na CPU offload huwezesha inference ya ndani kwa RTX 4090 moja.
Inference ya kasi kubwa: Baada ya distillation, inahitaji hatua 4~8 pekee za denoising, hivyo kupunguza kwa kiasi kikubwa muda wa uzalishaji.
Chanzo huria kikamilifu: Msimbo, uzani, mafunzo na mchakato wa kuweka lebo za data vyote vimewekwa wazi, na leseni ya Apache 2.0 inaruhusu matumizi ya kibiashara.

Tovuti rasmi ya mradi: https://hy-nomas.hy.tencent.com/
Hifadhi ya GitHub: https://github.com/Tencent-Hunyuan/Hy-Nomas
Hifadhi ya modeli ya HuggingFace: https://huggingface.co/tencent/Hy-Nomas

Utengenezaji wa mfano wa mchezo wa AI: Tengeneza kwa haraka ulimwengu wa mchezo shirikishi kupitia maagizo ya maandishi na kamera, na uthibitishe kwa gharama ndogo dhana za uchezaji.
Mafunzo ya uigaji wa roboti: Tumia Robotics LoRA rasmi kuzalisha mazingira halisi ya uendeshaji wa mikono ya roboti, na kutoa data sanisi ya mafunzo kwa akili iliyojumuishwa.
Uhakiki wa filamu na ubao wa matukio: Tumia LoRA yenye mtindo wa sinema kuzalisha picha ndefu zenye mwendelezo, na kuwasaidia wakurugenzi kubuni mwendo wa kamera na kuhakiki taswira.
Utalii pepe na uonyeshaji wa nafasi: Tumia udhibiti wa mwelekeo wa kamera kuzalisha mandhari za maeneo ya utalii, kumbi za maonyesho na majengo zinazoweza kuchunguzwa, na kuchukua nafasi ya uundaji wa jadi wa 3D.
Utafiti na elimu ya AI: Msimbo kamili wa mafunzo, fine-tuning na uwekaji lebo za data umetolewa kama chanzo huria, na unaweza kutumika kama msingi wa ufundishaji na utafiti wa modeli za ulimwengu.