HOMIE آپریشن میں

HOMIE ہانگ کانگ یونیورسٹی آف سائنس اینڈ ٹیکنالوجی کا اوپن سورس ڈیجیٹل ہیومن ویڈیو جنریشن فریم ورک ہے، جو Wan2.1-T2V-14B بیک بون نیٹ ورک پر مبنی ہے اور Qwen3-VL ملٹی موڈل بڑے ماڈل کو مربوط کرتا ہے۔ یہ فریم ورک ڈیجیٹل انسان، مصنوعات، Logo اور متن کے چار عناصر کو یکجا طور پر ہینڈل کرتا ہے، اور انسان و شے کے تعامل، برانڈ Logo کی مصنوعات پر تنصیب، OCR متن کی درستگی اور متعدد زاویوں سے یکسانیت کے چار بڑے مسائل کو درستگی سے حل کرتا ہے۔ ماڈل کی تربیت کے لیے صرف 5.5K مراحل اور تقریباً 1 万 A100 گھنٹے درکار ہوتے ہیں۔ OCR کی درستگی اوپن سورس کے بہترین ماڈل کے مقابلے میں 38.7% بہتر ہے۔ یہ 480P سنگل کارڈ سے 720P ملٹی کارڈ inference تک سپورٹ کرتا ہے، جس سے ای کامرس لائیو سیلنگ اور ورچوئل اینکر جیسے منظرناموں میں ویڈیو سازی کی رکاوٹ نمایاں طور پر کم ہو جاتی ہے۔

انسان و شے کے تعامل پر مبنی ذاتی نوعیت کی ویڈیو: ایک ہی ویڈیو میں متعدد افراد اور مختلف اشیا کو بیک وقت دکھانے، ہر مرکزی عنصر کی ظاہری یکسانیت برقرار رکھنے اور قدرتی و مناسب باہمی حرکات، مثلاً چیز پکڑنا، مصنوعات دکھانا اور منتقل کرنا، پیدا کرنے کی سہولت فراہم کرتا ہے۔
Logo اور تجریدی تصورات کی درست تنصیب: ملٹی موڈل بڑے ماڈل (MLLM) کی معنوی استدلال کی صلاحیت استعمال کرتے ہوئے برانڈ Logo جیسے تجریدی تصورات کو خودکار طور پر معنوی طور پر متعلقہ اشیا پر لگاتا ہے، اور prompt میں مقام کا تعلق واضح طور پر بیان کرنے کی ضرورت نہیں رہتی۔
OCR متن کی اعلیٰ وفاداری کے ساتھ تخلیق: OCR حوالہ جاتی تصویر کے ساتھ مصنوعات کی پیکیجنگ اور لیبلز پر موجود متن کو تیار کردہ ویڈیو میں صاف اور قابلِ مطالعہ رکھتا ہے، دھندلاہٹ اور حروف کے خلط ملط ہونے سے بچاتا ہے، اور AI ویڈیو جنریشن میں متن کے غیر واضح ہونے کے مسئلے کو حل کرتا ہے۔
متعدد زاویوں سے یکسانیت کے ساتھ تخلیق: ایک ہی شے کی متعدد زاویوں سے لی گئی حوالہ جاتی تصاویر فراہم کرنے پر، ویڈیو میں شے کے گھومنے یا حرکت کرنے کے دوران اس کی ظاہری شکل اور تفصیلات کو یکساں رکھتا ہے۔ یہ فنکشن کلیکٹیبلز، 3D ماڈلز اور گڑیوں کی نمائش جیسے منظرناموں کے لیے موزوں ہے۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
مجموعی فن تعمیر: علی بابا کے Wan2.1-T2V-14B کا DiT بیک بون کے طور پر استعمال کیا گیا ہے، Qwen3-VL-2B-Thinking کو بصری تفہیم کے ماڈیول کے طور پر شامل کیا گیا ہے، جبکہ UmT5 متن encoder اور VAE بصری encoder کے ساتھ مل کر متن، ملٹی موڈل معنوی معلومات اور بصری معلومات پر مشتمل تین متوازی راستوں والا جنریشن فن تعمیر تشکیل دیا گیا ہے۔
MLLM انضمام کی حکمت عملی: اصل متن سے ویڈیو alignment تعلق کو متاثر کیے بغیر اور مہنگی دوبارہ alignment لاگت پیدا کیے بغیر، ملٹی موڈل بڑے ماڈل کی معنوی استدلال کی صلاحیت کو DiT میں شامل کیا جاتا ہے، تاکہ ماڈل حوالہ جاتی تصاویر کے درمیان پوشیدہ تعلقات کو خودکار طور پر سمجھ سکے۔
عالمگیر ملٹی موڈل self-attention رہنمائی (GMG): DiT کی self-attention تہہ میں MLLM سے حاصل کردہ معنوی خصوصیات اور VAE بصری token کو عالمی سطح پر align کیا جاتا ہے۔ projection، pooling اور affine transformation کے ذریعے جنریشن کے دوران ہر video token کو حوالہ جاتی تصویر کی عالمی معنوی معلومات تک رسائی دی جاتی ہے۔
Modal-Reference Embedding (MRE): MLLM feature token اور VAE بصری token کو الگ الگ modal embedding دی جاتی ہے، مختلف حوالہ جاتی تصاویر کو آزاد reference embedding دی جاتی ہے، اور ایک ہی مرکزی عنصر کی متعدد زاویوں سے لی گئی یا OCR حوالہ جاتی تصویر کے token کو باہم مربوط کیا جاتا ہے تاکہ معلومات کے اختلاط سے بچا جا سکے۔
تین مرحلوں پر مشتمل تدریجی تربیت: واحد مرکزی عنصر 480P → متعدد مرکزی عناصر 480P → ہائی ڈیفینیشن 720P؛ مجموعی طور پر صرف 5.5K مراحل میں تربیت مکمل ہو جاتی ہے، جو اسی نوع کے طریقوں کے دسیوں ہزار مراحل سے کہیں کم ہے۔

ماحول کی تیاری: GitHub سے HOMIE کا code repository مقامی ماحول میں clone کریں اور environment dependencies کی تنصیب مکمل کریں۔
وزن ڈاؤن لوڈ کریں: HuggingFace سے سرکاری طور پر جاری کردہ pretrained weights کو مخصوص model directory میں ڈاؤن لوڈ کریں۔
مواد کی تیاری: حوالہ جاتی تصاویر تیار کریں، جن میں افراد کی تصاویر، مصنوعات کی تصاویر، Logo کی تصاویر یا OCR متن کی تصاویر سمیت متعدد مرکزی عناصر کا مواد شامل ہو۔
prompt لکھیں: ایسا متنی prompt لکھیں جو ہدف ویڈیو میں افراد اور اشیا کے درمیان تعامل، حرکات اور منظر کو درست طور پر بیان کرے۔
inference چلائیں: inference script چلائیں؛ HOMIE خودکار طور پر ملٹی موڈل حوالہ جاتی معلومات کو یکجا کر کے ذاتی نوعیت کی ویڈیو تیار کرے گا۔
ریزولوشن منتخب کریں: سنگل کارڈ GPU براہِ راست 832×480 ریزولوشن کی ویڈیو تیار کر سکتا ہے، جبکہ ملٹی کارڈ FSDP کے ذریعے 720P ہائی ڈیفینیشن output تک توسیع ممکن ہے۔

یکجا فریم ورک: ایک ہی فریم ورک انسان و شے کے تعامل، Logo کی مصنوعات پر تنصیب، OCR متن کی درستگی اور متعدد زاویوں سے یکسانیت کے چاروں کام انجام دیتا ہے، اس لیے مختلف منظرناموں کے لیے مختلف ماڈلز تبدیل کرنے کی ضرورت نہیں رہتی۔
موثر تربیت: تربیت مکمل کرنے کے لیے صرف 5.5K مراحل اور تقریباً 1 万 A100 گھنٹے درکار ہوتے ہیں، جو اسی نوع کے طریقوں کے معمول کے 3–4 万 مراحل سے کہیں کم لاگت رکھتے ہیں۔
MLLM کا بے ضرر انضمام: متن encoder کی controllability کو قربان کیے بغیر اور مہنگی دوبارہ alignment لاگت پیدا کیے بغیر، ملٹی موڈل بڑے ماڈل کی معنوی استدلال کی صلاحیت کو ویڈیو جنریشن pipeline میں شامل کرتا ہے۔
نمایاں معیار: OCR درستگی میں 38.7% نسبتی بہتری، متعدد زاویوں سے یکسانیت میں 8.2% بہتری، اور 40 افراد پر مشتمل صارف تحقیق میں 64.7% نے مجموعی معیار کو پہلی ترجیح دی۔
لچک دار inference: 480P سنگل کارڈ سے 720P ملٹی کارڈ inference تک سپورٹ کرتا ہے اور 1280×720 عمودی ویڈیو output کر سکتا ہے، جو لائیو سیلنگ اور مختصر ویڈیو سازی کے لیے براہِ راست موزوں ہے۔

پروجیکٹ کی آفیشل ویب سائٹ: https://yiyangcai.github.io/homie-page.github.io
GitHub repository: https://github.com/YIYANGCAI/HOMIE
HuggingFace model repository: https://huggingface.co/yychai/homie-r2v-wan2.1
arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2607.18217

ای کامرس لائیو سیلنگ: مخصوص ڈیجیٹل انسان کو مخصوص مصنوعات پکڑ کر مخصوص حرکات کرتے ہوئے سیلنگ ویڈیو میں دکھاتا ہے، 1280×720 عمودی output سپورٹ کرتا ہے اور مختصر ویڈیو پلیٹ فارمز کے لیے براہِ راست موزوں ہے۔
برانڈ اشتہارات کی تیاری: برانڈ Logo کو معنوی طور پر متعلقہ مصنوعات پر خودکار طور پر لگاتا ہے، اور prompt میں مقام کا تعلق واضح طور پر بتانے کی ضرورت نہیں ہوتی۔
ورچوئل اینکر / ڈیجیٹل انسان: ڈیجیٹل انسان کی شناخت میں یکسانیت برقرار رکھتے ہوئے مختلف مصنوعات کے ساتھ قدرتی تعامل کرتا ہے۔
مصنوعات کی متعدد زاویوں سے نمائش: کلیکٹیبل، 3D ماڈل یا گڑیا کی متعدد زاویوں سے لی گئی حوالہ جاتی تصاویر فراہم کرنے پر گھومنے والی نمائش کی ویڈیو تیار کرتا ہے، جس میں ہر زاویے سے ظاہری شکل یکساں رہتی ہے۔
پیکیجنگ کے متن کی درستگی: OCR حوالہ جاتی تصویر کے ساتھ مصنوعات کی پیکیجنگ اور لیبلز پر موجود متن کو ویڈیو میں صاف اور قابلِ مطالعہ رکھتا ہے۔ یہ خوراک، کاسمیٹکس اور صحت بخش مصنوعات جیسے ان منظرناموں کے لیے موزوں ہے جہاں اجزا یا ہدایات دکھانا ضروری ہو۔