TensorFold yordamida Apple Silicon qurilmalarida MiniMax H3 matndan videoga va rasmdan videoga kliplar yarating

Bu loyiha nima qiladi

Ushbu repository MiniMax H3 video modelini Apple Silicon qurilmalarida TensorFold uchun paketlaydi. U TensorFold’ning H3 oilasini MLX int8 Metal yadrolari va LightX2V Turbo adapteri bilan birlashtirib, sinxronlashtirilgan stereo audio bilan video yaratadi.

Paket matndan videoga yaratishni, shuningdek 1.1-versiyadan boshlab berilgan birinchi kadr yordamida rasmdan videoga yaratishni qo‘llab-quvvatlaydi. O‘lchangan Mac Studio M5 Ultra, 256 GB xotira sharoitida Turbo adapteri bilan 5 soniyalik 864x480 klip taxminan 50 soniyada yaratiladi. 768x448 klip esa hujjatlashtirilgan benchmark sharoitlarida taxminan 40 soniya oladi.

Repository server yoki tayyor mahsulot emas, balki ishlab chiqish uchun render yo‘lini taqdim etadi. tensorfold generate buyrug‘i mavjud emas; har bir renderda model kiritilgan skriptlar orqali yuklanadi.

Asosiy imkoniyatlar

• Matndan videoga: sahnani tasvirlang va video hamda stereo audioga ega MP4 yarating.
• Rasmdan videoga: birinchi kadrni taqdim eting va keyin nima bo‘lishini tasvirlang.
• Turbo yaratish: LightX2V adapteri hujjatlashtirilgan tezkor yo‘lda renderni uchta forward amaliyotigacha qisqartiradi.
• MLX va int8 yadrolari: tanlangan transformer va dekoder amaliyotlari mos M5 tensor qurilmalarida int8 Metal yadrolaridan foydalanadi.
• Takrorlanadigan sozlama: o‘rnatuvchi TensorFold, MLX, yordamchi kutubxonalar, model reviziyalari va adapter checksum qiymatlarini aniq belgilaydi.
• Ixtiyoriy asosiy model renderi: adapterdan foydalanishni o‘chirib, asosiy modelga yaqinroq render kerak bo‘lganda taxminan 20 ta sampling qadamidan foydalaning.

Uskuna va dasturiy ta’minot talablari

E’lon qilingan unumdorlik ko‘rsatkichlari 256 GB unified memory’ga ega Mac Studio M5 Ultra’da, macOS 27.0.1 tizimida o‘lchangan. Loyiha kamida 128 GB xotira talab qilinishini, adapter birlashtirilganda esa maksimal xotira sarfi taxminan 103 GB ga yetishi mumkinligini qayd etadi. Adaptersiz maksimal xotira sarfi taxminan 65 GB deb ko‘rsatilgan.

int8 yadrolari Metal 4 tensor amaliyotlarini talab qiladi, shuning uchun qayd etilgan tezlashuv mos M5 qurilmalariga mo‘ljallangan. Bunday amaliyotlarsiz tizimlarda H3 oilasi bfloat16 formatida ishlaydi va README’da tasvirlangan C asosidagi muqobillardan sekinroq bo‘lishi mumkin.

Sizga Homebrew, Python 3.11, uv va FFmpeg ham kerak bo‘ladi. MiniMax H3 modelini yuklab olish taxminan 144 GB, Turbo adapteri esa taxminan 1.96 GB hajmni egallaydi.

Loyihani o‘rnatish

Repository’ni klonlang va kerakli host vositalarini o‘rnating:

git clone https://github.com/drowzeys/keys-Mac-TensorFold-MiniMax-H3-MLX.git
cd keys-Mac-TensorFold-MiniMax-H3-MLX
brew install python@3.11 uv ffmpeg

Bir martalik sozlash skriptini ishga tushiring:

bash oneshot-setup.sh

O‘rnatuvchi ~/.local/opt/tensorfold-h3 manzilida ajratilgan muhit yaratadi hamda H3 oilasi va belgilangan dependency lock bilan TensorFold 0.6.5 ni o‘rnatadi. Docker mavjud bo‘lsa, u loyiha GHCR’dagi oldindan qurilgan carrier’dan checksum orqali tasdiqlangan TensorFold payload’ini olishi mumkin; aks holda Git’dan mos source commit’ni yuklab oladi.

Sozlash jarayoni kerakli minimax-h3-mlx reviziyasini ham klonlaydi, MiniMax H3 FL2VA qismini ~/h3-models/MiniMax-H3 manziliga yuklab oladi, Turbo adapterini yuklaydi va outputs/test.mp4 manzilida test klipini yaratadi.

Mavjud o‘rnatmani qayta o‘rnatmasdan tekshirish uchun quyidagini ishga tushiring:

bash oneshot-setup.sh --verify

Dastlabki test renderini o‘tkazib yuborish uchun:

bash oneshot-setup.sh --no-render

Standart o‘rnatish va model manzillarini PREFIX va H3_MODEL_DIR muhit o‘zgaruvchilari orqali o‘zgartirishingiz mumkin.

Matndan videoga klip yaratish

scripts/generate.sh skriptidan prompt va chiqish fayli nomi bilan foydalaning:

bash scripts/generate.sh "A hummingbird hovering over red flowers, soft wing hum" out.mp4

Standart yo‘l sozlangan Turbo adapteri va repository’ning standart yaratish sozlamalaridan foydalanadi. Prompt vizual sahnani, shuningdek kerak bo‘lsa, mo‘ljallangan audioni ham tasvirlaydi.

Deterministik variant uchun seed ko‘rsating va qo‘llab-quvvatlanadigan canvas’ni tanlang:

WIDTH=768 HEIGHT=448 SEED=7 bash scripts/generate.sh "A quiet train crossing a snowy valley at dawn" out.mp4

Promptlarni matn faylida saqlashingiz mumkin. Bunday holatda prompt argumentini bo‘sh qoldiring va PROMPT_FILE ni belgilang:

PROMPT_FILE=prompts/black-mirror-scene.txt SEED=2077 bash scripts/generate.sh "" out.mp4

Rasmdan videoga klip yaratish

FIRST_FRAME o‘zgaruvchisini rasm fayliga o‘rnating. Rasm birinchi kadrga aylanadi, prompt esa undan keyingi harakat yoki hodisani tushuntiradi:

FIRST_FRAME=photo.jpg WIDTH=1344 HEIGHT=768 bash scripts/generate.sh "She turns to the camera and smiles" out.mp4

Rasm tanlangan canvas’ga cho‘ziladi, shuning uchun tomonlar nisbati mos o‘lchamlarni tanlang yoki renderdan oldin rasmni qirqing. README 16:9 uchun 1344x768, 9:16 uchun 768x1344 va kvadrat kontent uchun 768x768 o‘lchamlarini tavsiya qiladi.

MiniMax uslubidagi rasmdan videoga promptlar birinchi kadrni aniq ko‘rsatishi mumkin, masalan:

For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced. The subject walks through the doorway and looks toward the window.

Birinchi kadrni yaratish Turbo adapteri va 20 bosqichli asosiy yo‘l orqali mavjud. Oxirgi kadr va reference-image rejimlari ushbu to‘plamga ulanmagan.

Kadrlar, aniqlik va samplingni boshqaring

Kadrlar soni 17n + 5 shakliga mos kelishi kerak. README qo‘llab-quvvatlanadigan misollar sifatida 56, 73, 90, 124, 192, 243 va 362 kadrni ko‘rsatadi. Kenglik va balandlik 32 ga karrali bo‘lishi kerak, chiqarilgan model uchun umumiy canvas limiti esa ko‘pi bilan 768x1344 piksel.

Tezkor Turbo yo‘li uchta forward amalidan foydalanadi. Adapterni o‘chirib, 20 bosqichli renderdan foydalanish uchun ADAPTER=none va POINTS=21 ni belgilang:

ADAPTER=none POINTS=21 bash scripts/generate.sh "A lantern glowing beside a forest path" base-model.mp4

README bu sozlamani asosiy modelga yaqinroq deb ta’riflaydi, Turbo esa tezda tiniq kadrlar yaratishi mumkin, biroq ba’zan shakllarni takrorlashi ehtimoli bor. Bir xil seed ishlatilganda ham ikki rejim turli kompozitsiyalarni yaratishi mumkin.

Tezlikdagi muvozanatni tushuning

Tezlikdagi eng katta yaxshilanish 20 ta forward o‘rniga Turbo adapterining uchta forwardidan keladi. int8 SwiGLU MLP, int8 QKV amallari, attention chiqishi va video decoder kernel’lari qo‘llab-quvvatlanadigan M5 tensor qurilmalarida qo‘shimcha yutuqlar beradi.

Hujjatlarda ko‘rsatilgan 864x480 benchmarkida Turbo yo‘li denoising uchun taxminan 27.6 soniya, matnni kodlash, yuklash va kvantlash hamda dekodlashni qo‘shganda esa umumiy hisobda taxminan 50 soniya davom etdi. Xuddi shu taqqoslashda 20 bosqichli TensorFold int8 renderi umumiy hisobda taxminan 210 soniya davom etdi.

Bu ko‘rsatkichlar muayyan qurilmaga xos va universal deb qabul qilinmasligi kerak. Repository shuningdek attention’ning o‘zi MLX scaled dot-product attention bo‘lib qolayotganini qayd etadi, chunki o‘lchangan int8 flash-uslubidagi muqobil variant sezilarli tezlik afzalligini bermagan.

Kengaytirilgan sozlash va ish jarayoni bo‘yicha maslahatlar

Tayyor carrier’dan foydalaning

Installer GHCR carrier’dan foydalanishi mumkin, biroq carrier Mac runtime’i emas. Metal container ichida ishlamaydi; carrier faqat TensorFold wheel’i, dependency lock fayli, generatsiya skripti va native o‘rnatish uchun checksum’larni taqdim etadi.

docker pull ghcr.io/drowzeys/keys-mac-tensorfold-minimax-h3-mlx:1.1
docker run --rm -v "$PWD":/out ghcr.io/drowzeys/keys-mac-tensorfold-minimax-h3-mlx:1.1 cp -a /payload/. /out/payload/

Carrier’ni qayta yaratish va push qilish uchun repository quyidagini taqdim etadi:

PUSH=1 bash scripts/build-carrier.sh

Xotira sarfini hisobga oling

Modelni yuklash va adapterni birlashtirish ko‘p xotira talab qiladi. Renderni boshlashdan oldin, ayniqsa Turbo adapteridan foydalanganda, keraksiz ilovalarni yoping. Repository o‘lchangan yo‘lda AdaLN jadvallarini har bir ishga tushirishda bir marta proyeksiyalash va weight’larni bo‘shatish taxminan 24 GiB xotirani tejashini bildiradi.

Image-to-video uchun mos canvas’ni tanlang

Birinchi rasm kompozitsiyani saqlash uchun avtomatik qirqilmay, cho‘zilgani sababli manba rasmini maqsadli aspect ratio’ga moslab tayyorlang. Bu portrait, landscape yoki kvadrat kliplar yaratishda istalmagan buzilishlarning oldini oladi.

Muqobil adapterlardan ehtiyotkorlik bilan foydalaning

Loader FastH3’ni adapter yo‘li va POINTS=5 orqali o‘qiy oladi, masalan ADAPTER=.../adapter_model.safetensors bilan. README bu yo‘l 864x480 formatida sinovdan o‘tkazilgani, test promptida 76 soniya davom etgani va Turbo’dan ko‘ra serharakatroq ko‘ringanini bildiradi. U 1344x768 uchun e’lon qilingan, biroq loyiha doirasida bu format sinovdan o‘tkazilmagan.

Sifat taqqoslashlarini to‘g‘ri talqin qiling

README sifat har tomonlama baholanmaganini ta’kidlaydi. int8 yo‘li bfloat16 kompozitsiyasini saqlab, tafsilotlarni o‘zgartirishi mumkin, uchta forwardli Turbo renderi esa bfloat16 Turbo renderidan farq qilishi mumkin. Shuning uchun benchmark jadvallari bir xil harakat yoki audio sifatini kafolatlash o‘rniga o‘lchangan tezlik va tanlangan stillarni taqqoslaydi.

Litsenziya va loyiha holati

To‘plam model weight’larini o‘z ichiga olmaydi. MiniMax H3’ni yuklab olishdan oldin MiniMax H3 Community License hujjatini, jumladan undagi hududiy cheklovlarni o‘qing. Shuningdek, repository’ning credits faylini ko‘rib chiqing va tegishli hollarda original MiniMax, TensorFold, MLX, H3, adapter hamda aloqador loyiha mualliflariga havola bering.

Bu yerda ishlatilgan H3 oilasi chiqarilgan TensorFold versiyasining bir qismi emas, balki upstream’ga taklif qilingan draft pull request sifatida ta’riflangan. Shu sababli sozlamani qayta yaratish uchun hujjatlarda ko‘rsatilgan revision’larni pin qilish muhim.

Xulosa

Ushbu repository MiniMax H3 video generatsiyasini mos Apple Silicon Mac’larda native tarzda ishga tushirishning yo‘naltirilgan usulini taqdim etadi. Pin qilingan muhitni o‘rnatib, modelni yuklaganingizdan so‘ng text-to-video kliplar yaratishingiz, birinchi kadrni animatsiyalashingiz, tezkor Turbo adapteri va 20 bosqichli asosiy yo‘l o‘rtasida almashishingiz hamda canvas, kadrlar soni, seed va prompt sozlamalarini moslashingiz mumkin. Xotira va saqlash hajmiga katta talablar bo‘lishini kuting; e’lon qilingan vaqt ko‘rsatkichlarini umumiy kafolatlar sifatida emas, balki ko‘rsatilgan M5 tizimida o‘lchangan natijalar sifatida qabul qiling.