Hy-Nomas آپریشن میں

Hy-Nomas Tencent Hunyuan ٹیم کا اوپن سورس انٹرایکٹو ویڈیو ورلڈ جنریشن ماڈل ہے، جو سیگمنٹڈ آٹو ریگریسو طریقے سے ویڈیوز تیار کرتا ہے، ہر سیگمنٹ کے درمیان ٹیکسٹ پرامپٹ یا کیمرہ ٹریجیکٹری کنٹرول کے درمیان آزادانہ سوئچنگ کو سپورٹ کرتا ہے، اور lifelong KV cache کے ذریعے طویل مدتی تسلسل برقرار رکھتا ہے۔ Hy-Nomas کا کوڈ اور وزن اوپن سورس کیے گئے ہیں، جبکہ ڈسٹلڈ ورژن اور INT8 کوانٹائزڈ ورژن بھی فراہم کیے گئے ہیں۔ آپٹیمائزیشن کے بعد ایک RTX 4090 پر مقامی طور پر inference کیا جا سکتا ہے۔

آزادانہ ٹیکسٹ کنٹرول: کسی بھی نوعیت کے ٹیکسٹ پرامپٹس کو سپورٹ کرتا ہے، جن کے ذریعے تیار کردہ دنیا میں موجود اشیا، انداز، مناظر اور حرکات کو کنٹرول کیا جا سکتا ہے۔
کیمرہ ٹریجیکٹری کنٹرول: کیمرہ کی حرکتی ٹریجیکٹری کی بنیاد پر کنڈیشنڈ جنریشن ممکن ہے، اور اسے ٹیکسٹ پرامپٹس کے ساتھ آزادانہ طور پر ملایا یا تبدیل کیا جا سکتا ہے۔
ملٹی ٹرن انٹرایکٹو جنریشن: Web انٹرایکٹو انٹرفیس سیگمنٹ کی حدود پر نئی ہدایات شامل کرنے کو سپورٹ کرتا ہے، جس سے مسلسل کئی مراحل میں جنریشن ممکن ہوتی ہے۔
پرامپٹ میں اضافہ (Nomas-PE): بلٹ اِن آن لائن ماڈل صارف کی عام بول چال کی ہدایات کو خودکار طور پر ساخت یافتہ جنریشن پرامپٹس میں تبدیل کرتا ہے۔
صارف سطح کی مقامی تنصیب: INT8 کوانٹائزیشن اور CPU offload آپٹیمائزیشن کے ساتھ ایک RTX 4090 پر inference مکمل کیا جا سکتا ہے۔
LoRA فائن ٹیوننگ: حسب ضرورت ویڈیو ڈیٹا کے ذریعے فائن ٹیوننگ کو سپورٹ کرتا ہے، اور inference کے لیے اسے ڈسٹلڈ ماڈل میں ضم کیا جا سکتا ہے۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
سیگمنٹڈ آٹو ریگریسو آرکیٹیکچر: طویل ویڈیوز کو سیگمنٹس میں تقسیم کر کے تیار کیا جاتا ہے۔ ہر سیگمنٹ موجودہ پرامپٹ یا کیمرہ سگنل سے مشروط ہوتا ہے، جبکہ تمام سیگمنٹس میں جاری رہنے والا lifelong KV cache برقرار رکھا جاتا ہے، جس سے منظر، اشیا اور انداز وقت کے ساتھ یکساں رہتے ہیں اور طویل مدتی ورلڈ جنریشن ممکن ہوتی ہے۔
ڈسٹلیشن کے ذریعے تیز inference: ڈسٹلیشن ٹریننگ کے ذریعے denoising steps کو 4/6/8 steps تک کم کیا جاتا ہے۔ مخصوص طور پر فائن ٹیون کیے گئے PixelUMM ڈیکوڈر کے ساتھ 32 چینلز والے DCAE-V latent variables کو پروسیس کیا جاتا ہے، جس سے معیار برقرار رکھتے ہوئے inference latency میں نمایاں کمی آتی ہے۔
کم VRAM inference میکانزم: DiT weights اور KV cache کو INT8 میں اسٹور کیا جاتا ہے، جبکہ computation BF16 میں برقرار رہتی ہے؛ تاریخی context کو sliding window کے ذریعے truncate کیا جاتا ہے تاکہ یہ لامحدود طور پر نہ بڑھے؛ text encoder، DiT اور VAE کو مراحل کے مطابق CPU/GPU کے درمیان منتقل کیا جاتا ہے، جس سے peak VRAM کا استعمال صارف سطح کے گرافکس کارڈ کی قابل برداشت حد تک رہتا ہے۔
LoRA سیگمنٹ فورسنگ ٹریننگ: فائن ٹیوننگ کے لیے non-distilled checkpoint کو base model کے طور پر استعمال کیا جاتا ہے اور segment forcing training pipeline اپنائی جاتی ہے۔ صرف LoRA parameters (rank/alpha 256) کو ٹرین کیا جاتا ہے؛ ٹریننگ مکمل ہونے کے بعد LoRA weights کو distilled checkpoint میں ضم کر کے ایسا inference model حاصل کیا جاتا ہے جو ڈسٹلیشن کی رفتار بھی برقرار رکھتا ہے اور حسب ضرورت صلاحیت بھی فراہم کرتا ہے۔

دوہری موڈ میں آزادانہ سوئچنگ: ہر سیگمنٹ کی جنریشن کے دوران ٹیکسٹ پرامپٹ اور کیمرہ ٹریجیکٹری کنٹرول کے درمیان آزادانہ سوئچ کیا جا سکتا ہے، جس سے انٹرایکشن کا طریقہ لچک دار رہتا ہے۔
طویل مدتی تسلسل: lifelong KV cache اشیا، مناظر اور انداز کو مختلف سیگمنٹس میں برقرار رکھتا ہے اور طویل ویڈیوز میں drift سے بچاتا ہے۔
صارف سطح پر قابلِ اجرا: INT8 کوانٹائزیشن، sliding window اور CPU offload کے ساتھ ایک RTX 4090 پر مقامی inference ممکن ہے۔
انتہائی تیز inference: ڈسٹلیشن کے بعد صرف 4~8 denoising steps درکار ہوتے ہیں، جس سے جنریشن latency میں نمایاں کمی آتی ہے۔
مکمل اوپن سورس: کوڈ، weights، training اور data annotation کے تمام مراحل عوامی طور پر دستیاب ہیں، اور Apache 2.0 لائسنس کے تحت تجارتی استعمال ممکن ہے۔

پروجیکٹ ویب سائٹ: https://hy-nomas.hy.tencent.com/
GitHub repository: https://github.com/Tencent-Hunyuan/Hy-Nomas
HuggingFace model repository: https://huggingface.co/tencent/Hy-Nomas

AI گیم پروٹوٹائپ ڈیولپمنٹ: ٹیکسٹ اور کیمرہ ہدایات کے ذریعے انٹرایکٹو گیم ورلڈز تیزی سے تیار کریں اور کم لاگت میں گیم پلے کے تصورات کی جانچ کریں۔
روبوٹ سمولیشن ٹریننگ: آفیشل Robotics LoRA کی مدد سے حقیقت سے قریب مکینیکل بازوؤں کے آپریشن کے ماحول تیار کریں اور embodied intelligence کے لیے مصنوعی تربیتی ڈیٹا فراہم کریں۔
فلم اور ٹی وی پری ویژولائزیشن اور اسٹوری بورڈنگ: سنیماٹک LoRA کے ذریعے مربوط طویل شاٹس تیار کریں، تاکہ ڈائریکٹرز کو کیمرہ موومنٹ ڈیزائن اور بصری پیش نظارہ میں مدد ملے۔
ورچوئل ثقافتی سیاحت اور اسپیس ڈسپلے: کیمرہ ٹریجیکٹری کنٹرول کے ذریعے قابلِ گشت سیاحتی مقامات، نمائشی ہالز اور پراپرٹی کے مناظر تیار کریں اور روایتی 3D ماڈلنگ کا متبادل فراہم کریں۔
AI تحقیق اور تعلیم: ٹریننگ، فائن ٹیوننگ اور ڈیٹا اینوٹیشن کا مکمل کوڈ اوپن سورس ہے، اس لیے اسے ورلڈ ماڈل کے شعبے میں تدریس اور تحقیق کے بنیادی پلیٹ فارم کے طور پر استعمال کیا جا سکتا ہے۔