H3-World آپریشن میں

H3-World ٹینسینٹ، نیشنل یونیورسٹی آف سنگاپور اور ہانگ کانگ پولی ٹیکنک یونیورسٹی کی جانب سے پیش کیا گیا ایک ایکشن کنٹرولڈ ورلڈ ماڈل ہے، جسے 33B MiniMax-H3 ویڈیو جنریٹر پر فائن ٹیون کیا گیا ہے۔ ماڈل کی بورڈ آپریشنز کو انگریزی ہدایات میں تبدیل کرتا ہے، انہیں پری ٹرینڈ ٹیکسٹ پاتھ وے کے ذریعے ماڈل میں شامل کرتا ہے، اور ٹائم اٹینشن روٹنگ کے ذریعے ہر ہدایت کو متعلقہ ویڈیو فریم سے منسلک کرتا ہے تاکہ درست زمانی ہم آہنگی کے ساتھ کنٹرول ممکن ہو۔ H3-World نے صرف 8000 گیم ویڈیوز استعمال کیں اور rank-32 LoRA کے ذریعے 0.199% پیرامیٹرز کو فائن ٹیون کیا، جس سے ماڈل کی بورڈ ان پٹ کے مطابق حقیقی وقت میں قابلِ کنٹرول مناظر تخلیق کر سکتا ہے اور غیر دیکھے گئے مناظر تک بھی عمومی صلاحیت دکھاتا ہے۔ یہ انٹرایکٹو تخلیقی دنیا کی جانب ایک اہم قدم ہے۔

کی بورڈ ایکشن سے ویڈیو کنٹرول: کی بورڈ سے دی گئی کردار کی حرکت اور کیمرہ آپریشنز کو متعلقہ ویڈیو تبدیلیوں میں تبدیل کرتا ہے، جس سے ”بٹن دبائیں اور کنٹرول کریں“ جیسی انٹرایکٹو دنیا کی نقل ممکن ہوتی ہے۔
درست زمانی کنٹرول: ایک ہی ویڈیو کے مختلف اوقات میں مختلف ایکشن ہدایات پر عمل کر سکتا ہے اور ایکشن کے وقوع پذیر ہونے کے وقت کو درست طور پر کنٹرول کرتا ہے۔
متعدد ماحول میں عمومی صلاحیت: گیم مناظر پر تربیت کے باوجود نیون شہر، صحرائی نخلستان اور خیالی گرجا گھر جیسے مختلف بصری ماحول تک عمومی صلاحیت رکھتا ہے اور منظر کے مواد کو مستحکم برقرار رکھتا ہے۔
ترکیبی ایکشن کی عمومی صلاحیت: تربیت میں دیکھے گئے کردار اور کیمرہ ایکشن کے بنیادی عناصر کو ملا کر ایسے ایکشن جوڑے بنا سکتا ہے جو پہلے کبھی نہیں دیکھے گئے، یوں ترکیبی کنٹرول ممکن ہوتا ہے۔
طویل مدتی تخلیق: زیادہ طویل زمانی سلسلے کی مسلسل قابلِ کنٹرول ویڈیو تخلیق کی حمایت کرتا ہے، جہاں ایکشن ہدایات منظر کے ارتقا کو مسلسل چلا سکتی ہیں۔

وی چیٹ پر فالو کریں اور ”开源“ کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
ایکشن کی لسانی نمائندگی: ہر فریم کے کی بورڈ آپریشن کو ایک مختصر انگریزی ہدایت، مثلاً ”strafe left“، میں تبدیل کرتا ہے تاکہ ایکشن قدرتی زبان کی شکل میں موجود رہے۔
پری ٹرینڈ ٹیکسٹ پاتھ وے کا دوبارہ استعمال: ہدایات MiniMax-H3 کے اصل ٹیکسٹ انکوڈنگ پاتھ کے ذریعے ماڈل میں شامل ہوتی ہیں، جس سے ویڈیو پری ٹریننگ کے دوران سیکھی گئی معنوی نمائندگی براہِ راست دوبارہ استعمال ہوتی ہے۔ اس لیے ماڈل ایکشن کے مفہوم کو فطری طور پر سمجھتا ہے اور اسے شروع سے ایکشن انکوڈنگ سیکھنے کی ضرورت نہیں ہوتی۔
ٹائم اٹینشن روٹنگ: مخصوص اٹینشن ماسک کے ذریعے ہر ہدایت کو اس سے متعلقہ ویڈیو کے latent فریم سے منسلک کیا جاتا ہے اور ہدایت کے اثر کو مقررہ زمانی وقفے تک محدود رکھا جاتا ہے۔ اس سے ملحقہ ایکشنز کے درمیان کنٹرول کے اخراج کو روکا جاتا ہے، جو درست زمانی کنٹرول کی کلید ہے۔
ہلکی LoRA فائن ٹیوننگ: صرف H3 کے self-attention پروجیکشن پر rank-32 LoRA ٹرین کی جاتی ہے۔ 0.199% قابلِ تربیت پیرامیٹرز، 8000 گیم ویڈیوز اور 10000 آپٹیمائزیشن اسٹیپس کے ذریعے ماڈل کو ڈھالا جاتا ہے، جس سے ویڈیو جنریٹر کو ورلڈ ماڈل میں تبدیل کرنے کی لاگت نمایاں طور پر کم ہو جاتی ہے۔

طریقہ اول: آن لائن تجربہ
طریقہ دوم: مقامی تنصیب
Hugging Face پر موجود انٹرایکٹو ڈیمو Space (hugging-apps/h3-world-action-demo) کھولیں۔ 135GB وزن ڈاؤن لوڈ کیے بغیر کی بورڈ سے چلنے والے کنٹرول کا تجربہ کیا جا سکتا ہے۔
ابتدائی فریم کی تصویر اپ لوڈ کریں یا منتخب کریں، اور منظر کی وضاحت کے لیے prompt درج کریں۔
پیش سیٹ ایکشنز یا کی بورڈ کیز، یعنی کردار کی حرکت اور کیمرہ آپریشنز، کے ذریعے کنٹرول ہدایات دیں۔
ماڈل حقیقی وقت میں تقریباً 5.2 سیکنڈ کی 832×480 قابلِ کنٹرول ویڈیو کلپ تخلیق کرتا ہے۔
ماحول کی تیاری: Python 3.10 + CUDA 12.8 کا conda ماحول بنائیں، پھر PyTorch 2.10 اور requirements.txt کی dependencies انسٹال کریں۔
کوڈ حاصل کریں: H3-World کی آفیشل repository کو clone کریں، DiffSynth-Studio کو مخصوص directory میں clone کریں، مخصوص commit پر سوئچ کریں، پھر آفیشل attention patch لگائیں۔ یہ مرحلہ لازمی ہے، ورنہ LoRA مؤثر نہیں ہوگی۔
وزن ڈاؤن لوڈ کریں: Hugging Face سے MiniMax-H3 کے base weights، تقریباً 135GB، اور H3-World LoRA (step-10000.safetensors) ڈاؤن لوڈ کرکے repository کی متعلقہ directories میں رکھیں۔
کیش ترتیب دیں: env.sh چلائیں تاکہ Hugging Face، Torch اور Triton کے caches کو repository کے اندر منتقل کیا جا سکے۔
انفرنس چلائیں: ابتدائی فریم کی تصویر، جامد معنوی شرط اور زمانی جدول کی صورت میں ایکشن سلسلہ فراہم کریں، جس میں ہر حصہ کردار یا کیمرہ کی ایک ہدایت سے متعلق ہو۔
نتائج تخلیق کریں: ماڈل ایکشن کے زمانی جدول کے مطابق متعلقہ زمانی ویڈیو latent تیار کرکے decode شدہ آؤٹ پٹ دیتا ہے، اور اسے autoregressive طریقے سے طویل زمانی سلسلے تک بڑھایا جا سکتا ہے۔

نئے ماڈیولز کے بغیر نفیس ڈیزائن: پری ٹرینڈ ٹیکسٹ پاتھ وے کو براہِ راست دوبارہ استعمال کرتا ہے اور ایکشن کنٹرول کے مسئلے کو زبان سمجھنے کے ایسے مسئلے میں تبدیل کر دیتا ہے جس میں ماڈل پہلے ہی ماہر ہے۔
انتہائی کم تربیتی لاگت: صرف 8000 گیم ویڈیوز، 10000 آپٹیمائزیشن اسٹیپس اور rank-32 LoRA کے ذریعے 0.199% پیرامیٹرز کو فائن ٹیون کرکے 33B ماڈل کی انٹرایکٹو کنٹرول صلاحیت فعال کی جاتی ہے۔
درست زمانی کنٹرول: ٹائم اٹینشن روٹنگ کے ذریعے ایک ہی ویڈیو میں زمانی جدول کے مطابق مختلف ایکشنز انجام دیے جا سکتے ہیں، جس سے global prompt کے ذریعے ایکشن کے درست وقت کو کنٹرول نہ کر پانے کا مسئلہ حل ہوتا ہے۔
روایتی conditional injection سے نمایاں بہتر: additive-bias اور FiLM جیسے براہِ راست ایکشن conditional طریقوں کے مقابلے میں، زبان سے منسلک طریقہ مربوط کردار اور کیمرہ حرکت پیدا کرتا ہے اور منظر کے مواد کو متاثر نہیں کرتا۔
طاقتور ترکیبی عمومی صلاحیت: تربیت میں دیکھے گئے ایکشن کے بنیادی عناصر کو ایسے ایکشن جوڑوں میں ملا سکتا ہے جو پہلے کبھی سامنے نہیں آئے، اور تقسیم سے باہر کے بصری ماحول تک عمومی صلاحیت رکھتا ہے۔
وسیع اطلاق: ایک ہی ماڈل first-person اور third-person منظرناموں، کردار کی حرکت اور کیمرہ موومنٹ سمیت متعدد کنٹرول اقسام کو سنبھال سکتا ہے، اور مختلف کاموں کے لیے الگ الگ تربیت کی ضرورت نہیں ہوتی۔

پروجیکٹ کی آفیشل ویب سائٹ：https://danzer1xxxxchan.github.io/H3-World/
GitHub repository：https://github.com/Danzer1xxxxChan/H3-World
HuggingFace ماڈل repository：https://modelscope.cn/models/DANNY621/H3-World
تکنیکی مقالہ：https://modelscope.cn/papers/2609.01560

گیم پروٹوٹائپ ڈویلپمنٹ: ڈیزائنر صرف ابتدائی منظر فراہم کرکے حقیقی وقت میں ورچوئل ماحول کو ”کھیل“ سکتا ہے، اور مکمل گیم انجن بنانے سے پہلے لیول کے تصور اور کیمرہ زبان کی تیزی سے جانچ کر سکتا ہے۔
AI Agent ٹریننگ سینڈ باکس: embodied agents کے لیے قابلِ تعامل ورچوئل ماحول فراہم کرتا ہے۔ agent کی بورڈ ایکشنز کے ذریعے دنیا کو دریافت کرتا ہے اور بصری فیڈبیک حاصل کرتا ہے، جس سے حقیقی دنیا میں تربیت کی لاگت کم ہوتی ہے۔
فلم اور اینیمیشن پری ویژولائزیشن: ڈائریکٹر کی بورڈ سے ورچوئل کیمرہ موومنٹ، مثلاً پین، ٹریک، اوپر اٹھانا اور نیچے کرنا، کنٹرول کرتا ہے اور حقیقی وقت میں اسٹوری بورڈ کا پیش منظر بناتا ہے، جس سے ابتدائی previz پروڈکشن سائیکل نمایاں طور پر مختصر ہو جاتا ہے۔
روبوٹ آپریشن حکمتِ عملی کی جانچ: روبوٹک بازو یا ڈرون کی حرکت کی ہدایات کو ایکشن زبان میں تبدیل کرکے تخلیق کردہ simulation ماحول میں ایکشن سلسلے کی زمانی معقولیت جانچی جاتی ہے۔
عمیق مواد کی تخلیق: VR اور گیم انٹرایکشن کے امتزاج سے ایسا UGC ٹول فراہم کرتا ہے جس میں صارف قدرتی کی اسٹروکس کے ذریعے ذاتی نوعیت کی ورچوئل دنیا کے ارتقا کو چلا سکتے ہیں، اور ہر شخص ”قابلِ کھیل ویڈیو“ تخلیق کر سکتا ہے۔