VDN-MiniMax-H3 آپریشن میں

VDN-MiniMax-H3، OpenVDN ٹیم کا اوپن سورس ویڈیو جنریشن ایکسیلیریشن حل ہے، جسے MiniMax-H3 کی بنیاد پر تیار کیا گیا ہے۔ ماڈل ہائبرڈ اٹینشن آرکیٹیکچر استعمال کرتا ہے: مقامی سلائیڈنگ ونڈو Softmax باریک تفصیلات برقرار رکھتا ہے، طویل فاصلے کی لکیری اٹینشن طویل مدتی سیاق و سباق کو سنبھالتی ہے، اور پھر 8 مراحل کی ڈسٹلیشن کے ذریعے ڈینوائزنگ مراحل کی تعداد کو نمایاں طور پر کم کیا جاتا ہے۔ ماڈل 8 NVIDIA B200 پر صرف 11.23 سیکنڈ میں تقریباً 14.4 سیکنڈ کی 768p ویڈیو تیار کر سکتا ہے، جبکہ تصویر کا معیار اصل 50 مراحل والے Dense H3 کے تقریباً برابر رہتا ہے۔

مخلوط توجہ کا آرکیٹیکچر: ویڈیو کی توجہ کو مقامی Softmax شاخ اور دور فاصلے کی لکیری شاخ میں تقسیم کرتا ہے، تاکہ باریک تفصیلات اور طویل مدتی سیاق و سباق دونوں برقرار رہیں۔
8 مراحل میں تیز رفتار تخلیق: DMD2 ڈسٹلیشن کے ذریعے شور ختم کرنے کے مراحل کو 50 سے کم کر کے 8 کر دیتا ہے، جس سے تخلیق کا وقت نمایاں طور پر کم ہو جاتا ہے۔
تقریباً بے نقصان تصویری معیار: 11.23 سیکنڈ میں 14.4 سیکنڈ کی ویڈیو تخلیق کرتے ہوئے، بصری معیار اصل 50 مراحل والے Dense H3 بیس لائن کے قریب رہتا ہے۔
تین مرحلوں کی تربیتی موافقت: بتدریج تہہ وار ہم آہنگی، اینڈ ٹو اینڈ شاخ کی موافقت اور LoRA کی مشترکہ موافقت استعمال کی جاتی ہے، تاکہ پہلے سے تربیت یافتہ ماڈل میں بے ترتیب ابتدائی کاری کی خلل اندازی سے بچا جا سکے۔
شاخوں کے لیے مخصوص متوازی کاری: Softmax اور لکیری شاخوں کو مختلف GPU پر تقسیم کرتا ہے، جس سے معیاری Ulysses متوازی کاری کے مقابلے میں تاخیر مزید 13.3% کم ہو جاتی ہے۔

وی چیٹ پر فالو کریں اور جواب میں “开源” لکھیں، AI اوپن سورس پروجیکٹس کے تبادلۂ خیال گروپ میں شامل ہوں
ہائبرڈ اٹینشن آرکیٹیکچر: VDN ویڈیو اٹینشن کو مقامی Softmax اور طویل فاصلے کی لکیری، باہم تکمیلی شاخوں میں تقسیم کرتا ہے۔ پہلی شاخ باریک تفصیلات برقرار رکھتی ہے، جبکہ دوسری لکیری پیچیدگی کے ساتھ طویل مدتی سیاق و سباق کو پروسیس کرتی ہے، یوں مکمل مربعی پیچیدگی والی اٹینشن کی جگہ لیتی ہے۔
مقامی Softmax شاخ: دو طرفہ سلائیڈنگ ونڈو استعمال کرتی ہے۔ ہر 5 فریم کو ایک گروپ بنا کر قریبی بلاکس پر توجہ دی جاتی ہے، اور ابتدا و انتہا کے فریموں کو حدی لنگر کے طور پر شامل کیا جاتا ہے۔ اٹینشن کی کثافت میں صرف 3.57% اضافہ کرکے عالمی زمانی تسلسل برقرار رکھا جا سکتا ہے۔
Video Delta Attention: روایتی token بہ token Delta Rule کو فریم بہ فریم مشترکہ حل میں اپ گریڈ کرتی ہے۔ نارمل مساوات کے ذریعے تمام spatial tokens مل کر نئی حالت کا تعین کرتے ہیں، اس لیے یہ فطری طور پر non-expansive ہے اور token کے باہمی تعلق کو خودکار طور پر ڈھال سکتی ہے؛ فریم کے حجم کو سختی سے اسکیل کرنے کی ضرورت نہیں رہتی۔
متن کی دو شاخوں میں شمولیت: Softmax شاخ میں متن ہر فریم کے لیے عالمی طور پر قابلِ مشاہدہ ہوتا ہے؛ جبکہ لکیری شاخ میں متن کو ابتدائی مرحلے پر یک بار دو طرفہ حالت میں لکھ دیا جاتا ہے، جس سے بار بار حساب سے بچا جا سکتا ہے۔
گیٹڈ فیوژن میکانزم: دونوں شاخوں کے آؤٹ پٹ کا اسکیل مختلف ہوتا ہے۔ ہر شاخ کو مواد سے متعلق Sigmoid گیٹ اور آزاد آؤٹ پٹ پروجیکشن فراہم کیا جاتا ہے، جس کے بعد انہیں یکجا کیا جاتا ہے۔ تربیت کے پہلے دو مراحل میں Softmax گیٹ کو منجمد رکھا جاتا ہے، تاکہ آپٹمائزر اصل شاخ کو کمزور کرکے نقصان گھٹانے کی کوشش نہ کرے۔
تین مرحلوں کے ذریعے تربیتی موافقت: پہلے لکیری شاخ کو تہہ بہ تہہ ہم آہنگ کیا جاتا ہے، پھر تمام ہائبرڈ ماڈیولز کو end-to-end مشترکہ طور پر بہتر بنایا جاتا ہے، اور آخر میں QKVO LoRA اور لکیری شاخ کے ذریعے مشترکہ fine-tuning کی جاتی ہے۔ پورے عمل کے دوران پہلے سے تربیت یافتہ backbone کو منجمد رکھا جاتا ہے، تاکہ تخلیق کے معیار میں خرابی نہ آئے۔

ماحول کی تیاری: GitHub ریپوزٹری کلون کرنے کے بعد Python 3.12 کا ماحول بنائیں، پھر PyTorch 2.13.0 اور پروجیکٹ کی انحصاری پیکیجز انسٹال کریں۔
ماڈل ڈاؤن لوڈ کریں: ModelScope کے ذریعے OpenVDN/vdn-minimax-h3 کے وزن مقامی ckpts ڈائریکٹری میں ڈاؤن لوڈ کریں۔
سرکاری مثال چلائیں: scripts/inference/8nfe_tuned_fp8.sh چلانے سے ایک GPU پر مثالی ویڈیو تیار کی جا سکتی ہے۔
ملٹی GPU انفیرنس: ہارڈویئر کے مطابق 8 GPUs پر چلانے کے لیے 8nfe_tuned_fp8_ulysses_h200.sh یا b200.sh اسکرپٹ منتخب کریں۔
حسب ضرورت پرامپٹ: encode_prompt.py کے ذریعے Qwen3-VL-32B کو کال کر کے متن کو .pt فیچر فائل میں انکوڈ کریں، پھر ویڈیو تیار کرنے کے لیے اسے infer.py میں منتقل کریں۔

انتہائی تیز تخلیق: 8 مراحل کی ڈسٹلیشن اور ہائبرڈ اٹینشن کے ذریعے 8 B200 پر صرف 11.23 سیکنڈ میں تقریباً 14.4 سیکنڈ کی 768p ویڈیو تیار ہوتی ہے، جو اصل ماڈل کے مقابلے میں 74.5 گنا تیز ہے۔
تقریباً بے نقصان معیارِ تصویر: بصری تفصیلات، موضوع کی یکسانیت اور ہدایات پر عمل کرنے کی صلاحیت 50 مراحل والے Dense H3 بیس لائن کے قریب ہے، اور 4 مراحل والے FastH3 سے نمایاں طور پر بہتر ہے۔
ہائبرڈ اٹینشن آرکیٹیکچر: مقامی Softmax باریک زمانی تفصیلات برقرار رکھتا ہے، جبکہ طویل فاصلے والی لکیری اٹینشن طویل مدتی سیاق و سباق کو لکیری پیچیدگی کے ساتھ پروسیس کرتی ہے، یوں معیار اور کارکردگی میں توازن قائم رہتا ہے۔
فریم سطح کا مشترکہ حل (VDA): token بہ token اپ ڈیٹ کو فریم بہ فریم مشترکہ آپٹیمائزیشن میں تبدیل کرتا ہے، قدرتی طور پر غیر توسیعی اور token کے باہمی تعلق کے مطابق ہوتا ہے، اور سخت اسکیلنگ کی ضرورت نہیں رہتی۔
مرحلہ وار ہموار موافقت: تہہ بہ تہہ الائنمنٹ، اینڈ ٹو اینڈ برانچ موافقت اور LoRA کی مشترکہ فائن ٹیوننگ پر مشتمل تین مراحل کی تربیت کے ذریعے پری ٹرینڈ ماڈل میں بے ترتیب ابتدائی کاری سے پیدا ہونے والی رکاوٹ سے بچا جاتا ہے۔
برانچ کے لیے مخصوص متوازی عمل درآمد: Softmax اور VDA برانچز کو مختلف GPU پر تقسیم کر کے چلایا جاتا ہے، جس سے معیاری Ulysses متوازی عمل درآمد کے مقابلے میں تاخیر مزید 13.3% کم ہو جاتی ہے۔

پروجیکٹ کی آفیشل ویب سائٹ：https://openvdn.github.io/
GitHub ریپوزٹری：https://github.com/OpenVDN/vdn-minimax-h3
HuggingFace ماڈل ریپوزٹری：https://huggingface.co/OpenVDN/vdn-minimax-h3

حقیقی وقت میں انٹرایکٹو ویڈیو تخلیق: 8 مراحل میں انتہائی تیز جنریشن تخلیق کاروں کو پرامپٹس کو حقیقی وقت میں ایڈجسٹ کرنے اور نتائج کا فوری پیش نظارہ دیکھنے کے قابل بناتی ہے، جس سے تخلیقی تکرار کا دورانیہ نمایاں طور پر کم ہو جاتا ہے۔
اشتہاری مارکیٹنگ کے مواد کی بڑے پیمانے پر تیاری: ای کامرس اور برانڈز متعدد ورژنز میں مصنوعات کی نمائش والی ویڈیوز اور متحرک پوسٹرز تیزی سے تیار کر سکتے ہیں، تاکہ تہواروں کی پروموشنز جیسے کثرت سے درکار مواد کی ضروریات پوری کی جا سکیں۔
فلم اور ٹی وی کی پیشگی نمائش اور متحرک اسٹوری بورڈز: ہدایت کار اور پروڈکشن ٹیمیں باقاعدہ شوٹنگ سے پہلے تیزی سے اسٹوری بورڈ اینیمیشن تیار کر سکتی ہیں، تاکہ شاٹ کی زبان، منظر کی ترتیب اور بیانیہ کی رفتار کی جانچ کی جا سکے۔
گیمز کے لیے متحرک مواد کی تخلیق: اوپن ورلڈ گیمز یا ورچوئل سوشل پلیٹ فارمز کے لیے حقیقی وقت میں NPC اینیمیشنز، ماحولیاتی ٹرانزیشنز اور کھلاڑی کی ذاتی نوعیت کی کہانی کے حصے تیار کیے جا سکتے ہیں۔
سوشل میڈیا کی مختصر ویڈیوز کی صنعتی پیمانے پر تیاری: MCN ادارے اور خود میڈیا تخلیق کار کم لاگت اور زیادہ ہم وقتی صلاحیت کے ساتھ مختصر ڈرامائی ویڈیوز، ورچوئل کرداروں کے Vlog اور دیگر مختصر ویڈیو مواد تیار کر سکتے ہیں۔