WorldCast آپریشن میں

WorldCast ووہان یونیورسٹی اور Xiaomi کا مشترکہ اوپن سورس ویڈیو جنریشن ماڈل ہے۔ یہ ایک کردار کی ریفرنس تصویر، مطلوبہ کیمرہ ٹریجیکٹری اور 1–4 من پسند زاویوں کی اینکر تصاویر لے کر ایسی ویڈیو بنا سکتا ہے جس میں کیمرہ کردار کے گرد 360 ڈگری گھومتا ہے اور کردار کی شناخت برقرار رہتی ہے۔ WorldCast یہ کام دو طریقۂ کار سے کرتا ہے: ایک طریقۂ کار کیمرہ ٹریجیکٹری کو سنبھالتا ہے، ریفرنس تصویر کو پوائنٹ کلاؤڈ میں تبدیل کرتا ہے اور ٹریجیکٹری کے ساتھ فریم بہ فریم رہنمائی فراہم کرتا ہے؛ دوسرا طریقۂ کار مختلف زاویوں کے درمیان شناخت برقرار رکھتا ہے، اینکر تصاویر کو قابلِ تلاش یادداشت کے طور پر محفوظ کرتا ہے اور کیمرہ جس سمت گھومے، اسی سمت کی معلومات حاصل کرتا ہے، تاکہ کیمرہ کردار کے پیچھے پہنچنے پر چہرہ تبدیل نہ ہو۔

وسیع زاویے کا کیمرہ کنٹرول: مطلوبہ کیمرہ ٹریجیکٹری دے کر کیمرے کو کردار کے گرد گھمانے، آگے بڑھانے، پیچھے کھینچنے اور چکر لگانے کی سہولت؛ زیادہ سے زیادہ 360 ڈگری کی مکمل گردش 지원 کرتا ہے۔
مختلف زاویوں میں شناخت کا تسلسل: تیار کردہ ویڈیو میں کردار کے چہرے کے خد و خال، بالوں کے انداز اور لباس ہر زاویے سے ایک ہی شناخت برقرار رکھتے ہیں۔
کثیر زاویہ اینکر تصاویر سے تکمیل: اضافی معلومات کے طور پر 1–4 من پسند زاویوں کی اینکر تصاویر قبول کرتا ہے، خاص طور پر ان حصوں کو مکمل کرنے کے لیے جو ایک ریفرنس تصویر میں دکھائی نہیں دیتے۔
متن اور تصویر پر مبنی دوہری شرط کے ساتھ جنریشن: متنی پرامپٹ اور ابتدائی کردار کی تصویر کو ملا کر ٹریجیکٹری کے ساتھ قابلِ کنٹرول بعد کے فریم تیار کرتا ہے، جو کردار کی نمائش اور ورچوئل شوٹنگ کی پیشگی تیاری جیسے منظرناموں کے لیے موزوں ہے۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
ٹریجیکٹری سے ہم آہنگ ہندسی رہنمائی: ابتدائی ریفرنس تصویر سے گہرائی کا اندازہ لگانے کے لیے پہلے سے تربیت یافتہ ڈیپتھ ایسٹی میٹر استعمال کیا جاتا ہے، پھر تصویر کو رنگین 3D پوائنٹ کلاؤڈ میں ری پروجیکٹ کیا جاتا ہے؛ کالیبریشن کے ذریعے وہ پیمانہ تلاش کیا جاتا ہے جو رینڈر شدہ حرکت کو مطلوبہ ٹریجیکٹری سے سب سے زیادہ ہم آہنگ بنائے۔ اس کے بعد پوائنٹ splatting اور ڈیپتھ بفر کے ذریعے ٹریجیکٹری کے ساتھ فریم بہ فریم RGB رہنما تصویر اور اوورلے ماسک رینڈر کیے جاتے ہیں۔ اسی دوران Plücker شعاعی انکوڈنگ کے ذریعے مطلوبہ کیمرے کی ہندسی معلومات حاصل کر کے شور زدہ latent variables اور ابتدائی فریم کی شرط کے ساتھ patch embedding سے پہلے چینل کی سطح پر جوڑا جاتا ہے۔ اوورلے ماسک ان پکسلز کی نشان دہی کرتا ہے جنہیں پوائنٹ کلاؤڈ نے ڈھانپا نہیں، تاکہ جنریٹر کو معلوم ہو کہ کن علاقوں کو آزادانہ طور پر مکمل کرنا ہے۔
ہندسی طور پر ہم آہنگ میموری اٹینشن (GAMA): ابتدائی اور اینکر تصاویر پر foreground segmentation اور ہندسی تخمینہ لگایا جاتا ہے، پھر Umeyama alignment کے ذریعے تمام اینکر کیمروں کو مطلوبہ ٹریجیکٹری کے ایک ہی coordinate system میں رکھا جاتا ہے؛ ہر مشاہدے کو VAE کے ذریعے encode کر کے Plücker شعاعی نمائندگی شامل کی جاتی ہے، پھر انہیں ملا کر ایک “ہندسی طور پر ہم آہنگ کردار کی یادداشت” بنائی جاتی ہے۔ backbone کے بلاک 0، 2، ……، 38 کے بعد 20 میموری اٹینشن بلاکس داخل کیے جاتے ہیں، تاکہ ویڈیو tokens اور میموری tokens مشترکہ self-attention انجام دیں اور موجودہ زاویے کے مطابق تکمیلی ہندسی شواہد تلاش کریں؛ residual branch کو صفر سے initialize کیا جاتا ہے، اس لیے تربیت کے آغاز میں پہلے سے تربیت یافتہ backbone متاثر نہیں ہوتا۔ Ablation تجربات سے ظاہر ہوا کہ GAMA ہٹانے کے بعد شناخت کی مماثلت 0.555 سے کم ہو کر 0.370 رہ جاتی ہے۔
دو مرحلوں کی تربیت اور ڈیٹا کی تیاری: پہلے مرحلے میں 50,000 UE5 مصنوعی کیمرہ موشن sequences پر کیمرہ کنٹرول کی صلاحیت تربیت دی جاتی ہے۔ Ablation سے معلوم ہوا کہ یہ ڈیٹا ہٹانے پر trajectory error ATE، 0.100 سے بگڑ کر 0.359 ہو جاتا ہے، جبکہ Plücker condition بھی ناگزیر ہے؛ دوسرے مرحلے میں 30,000 Blender کثیر زاویہ اینکر رینڈرنگ ڈیٹا پر میموری اٹینشن کی تربیت دی جاتی ہے۔ اس ڈیٹا میں 99 کردار اور 33 ماحول شامل ہیں، مجموعی طور پر 80,000 samples بنتے ہیں، اور ہر sample کے لیے ریفرنس ویڈیو، ابتدائی RGB-D، کیمرہ intrinsics اور extrinsics، رینڈرنگ گائیڈ اور اوورلے ماسک فراہم کیے جاتے ہیں۔

ریپوزٹری کلون کریں: git clone https://github.com/PixCtrol/WorldCast اور ڈائریکٹری میں داخل ہوں۔
ماحول تیار کریں: Python ≥3.10 اور bf16 کو سپورٹ کرنے والا CUDA GPU تیار کریں، پھر pip install -r requirements.txt چلائیں۔
وزنز ڈاؤن لوڈ کریں: HuggingFace سے Wan2.1-I2V-14B-720P base ڈاؤن لوڈ کر کے pretrained/Wan2.1-I2V-14B-720P/ میں رکھیں، اور base_dit.safetensors اور worldcast_bank.safetensors کو checkpoints/ میں رکھیں۔
ان پٹ تیار کریں: 1 کردار کی ریفرنس تصویر اور 1–4 اینکر تصاویر رکھیں، پھر manifest فائل میں تصاویر کے paths، متنی پرامپٹ اور کیمرہ ٹریجیکٹری متعین کریں۔
Inference چلائیں: ویڈیو بنانے کے لیے python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors چلائیں۔
Batch اور کسٹمائزیشن: بیچ inference کے لیے scripts/infer/infer_worldcast.py اور launch/infer/run_anchor_inference_example.sh دیکھیں؛ ٹریجیکٹری scripts/data/trajectories.py کے ذریعے تیار کی جا سکتی ہے۔

مختلف زاویوں میں شناخت کا سب سے مضبوط تسلسل: خود تیار کردہ CLACT benchmark پر شناخت کی مماثلت ArcFace کے مطابق 0.555 تک پہنچتی ہے، جو Uni3C سمیت دیگر baselines سے نمایاں بہتر ہے؛ کیمرہ کردار کے پیچھے پہنچنے پر بھی “چہرہ تبدیل” نہیں ہوتا۔
کیمرہ کنٹرول کی سب سے زیادہ درستگی: trajectory errors ATE 0.065، RTE 0.020 اور RRE 0.896 تقابلی طریقوں میں بہترین ہیں، اور زیادہ سے زیادہ 360 ڈگری کی مکمل گردش کو سپورٹ کرتے ہیں۔
وسیع زاویے کے مناظر کے لیے مخصوص ڈیزائن: اینکر تصویر کی میموری retrieval کے ذریعے ایک تصویر میں نظر نہ آنے والی “پچھلی جانب” کی معلومات کو واضح طور پر مکمل کیا جاتا ہے، خاص طور پر وسیع زاویے کی ٹریجیکٹری میں شناخت کے بکھرنے کے مسئلے کے لیے۔
طریقۂ کار کی افادیت قابلِ تصدیق: Ablation سے ظاہر ہوا کہ GAMA میموری اٹینشن ہٹانے پر ArcFace 0.555 سے تیزی سے کم ہو کر 0.370 رہ جاتا ہے، لہٰذا مختلف زاویوں میں تسلسل کا فائدہ واضح طور پر ایک مخصوص طریقۂ کار سے حاصل ہوتا ہے۔
مکمل اوپن سورس: مقالہ، inference کوڈ اور ماڈل weights تینوں Apache-2.0 لائسنس کے تحت دستیاب ہیں، جو کیمرہ کنٹرول کے شعبے میں مکمل طور پر کھلے کاموں میں ایک نایاب مثال ہے۔

پروجیکٹ ویب سائٹ: https://pixctrol.github.io/WorldCast/
GitHub ریپوزٹری: https://github.com/PixCtrol/WorldCast
HuggingFace ماڈل ریپوزٹری: https://huggingface.co/ly56/worldcast
arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2610.33135

کردار کی گردشی نمائش: کیمرے کو ورچوئل کردار کے گرد 360 ڈگری گھما کر لباس، مجسمے اور ورچوئل آئیڈل کی ظاہری تفصیلات کو مستقل رکھیں۔
ورچوئل شوٹنگ کی پیشگی تیاری: حقیقی شوٹنگ سے پہلے کردار کے متبادل کو مقررہ کیمرہ پوزیشن کی ٹریجیکٹری پر چلا کر کیمرہ موومنٹ کی پیشگی جانچ کریں، اسٹوری بورڈ کے اثرات کی تصدیق کریں اور حقیقی شوٹنگ کی آزمائش و خطا کی لاگت کم کریں۔
ڈیجیٹل انسان کی کثیر زاویہ مستقل ویڈیو: ڈیجیٹل انسان کے مڑنے، سائیڈ پروفائل اور پشت کے مناظر جیسے کثیر زاویہ مواد تیار کریں، جبکہ “ایک ہی چہرہ” برقرار رہے؛ یہ ورچوئل اینکرز اور تشہیری ویڈیوز کے لیے موزوں ہے۔
گیم کردار کی اینیمیشن: گیم کے cutscenes یا کردار کی نمائش کے صفحات کے لیے گردشی کیمرہ موومنٹ والی اینیمیشن تیار کریں، تاکہ روایتی کثیر زاویہ modeling اور rendering کی تکراری لاگت سے بچا جا سکے۔
ای کامرس مصنوعات کی اینیمیشن: مصنوعات کے گرد گھومتی ہوئی نمائش کی ویڈیوز تیار کریں، جو product detail pages اور اشتہاری مواد میں استعمال کی جا سکیں۔