WorldCast خدام

WorldCast هو موديل لتوليد الفيديو مفتوح المصدر طوّراتو جامعة ووهان بالتعاون مع Xiaomi. كيدخل صورة مرجعية للشخصية، ومسار الكاميرا المستهدف، ومن 1 حتى 4 صور مرساة من زوايا مختلفة، وكيولّد فيديو كتدور فيه الكاميرا 360 درجة حول الشخصية بلا ما تضيع الهوية ديالها. WorldCast كيعتمد على جوج آليات: الأولى كتتكلف بمسار الكاميرا، وكتحوّل الصورة المرجعية لسحابة نقطية وكتستعملها لتوجيه كل إطار أثناء الرندرة؛ والثانية كتتكلف بالحفاظ على الهوية بين الزوايا، بحيث كتخزّن صور المراسي فذاكرة قابلة للاسترجاع، وكلما دارت الكاميرا لزاوية معينة كتستعمل المعلومات ديالها، وبهذا كتفادى تبدّل الوجه ملي كتولي الشخصية ضهرها للكاميرا.

تحكم واسع فالكاميرا: كتدخل مسار الكاميرا المستهدف، وكيقدر المشهد يدور حول الشخصية، يقرب أو يبعد، ويدير حركة دائرية، مع دعم حركة كاملة حتى 360 درجة.
الحفاظ على الهوية بين الزوايا: ملامح الشخصية، تسريحة الشعر واللباس كيبقاو بنفس الهوية من أي زاوية فالفيديو المولّد.
إكمال صور المراسي متعددة الزوايا: كيدعم من 1 حتى 4 صور مرساة من زوايا مختلفة كمعلومات إضافية، باش يكمل خصوصاً الجهة اللي ما بايناش فالصورة المرجعية الوحيدة.
توليد بشروط نصية وبصرية: كيجمع بين التوجيه النصي وصورة الشخصية الأولية، وكيولّد إطارات لاحقة قابلة للتحكم على طول المسار، ومناسب لعرض الشخصيات والبروفات الأولية للتصوير الافتراضي وغيرها.

تابع حساب WeChat وكتب “开源” فالرد باش تنضم لمجموعة التواصل ديال مشاريع الذكاء الاصطناعي مفتوحة المصدر
التوجيه الهندسي المتوافق مع المسار: كيستعمل مقدّر عمق مدرّب مسبقاً باش يقدّر العمق انطلاقاً من الصورة المرجعية الأولية، ومن بعد كيرجع إسقاط الصورة لسحابة نقطية ثلاثية الأبعاد ملوّنة؛ وبالمعايرة كيلقى المقياس اللي كيخلي حركة الرندرة أقرب ما يمكن للمسار المستهدف. باستعمال point splatting وذاكرة عمق، كيرندر صور توجيه RGB وقناع التغطية لكل إطار على طول المسار، وكيضمّن كذلك المعلومات الهندسية للكاميرا المستهدفة بواسطة ترميز أشعة Plücker، عبر دمج القنوات مع المتغيرات الكامنة المشوشة وشرط الإطار الأولي قبل patch embedding. قناع التغطية كيعلّم البيكسلات اللي ما غطاتهمش السحابة النقطية، وكيبيّن للمولّد المناطق اللي خاصها إكمال حر.
انتباه الذاكرة المتوافق هندسياً (GAMA): كيدير تقسيم المقدمة وتقدير الهندسة للصورة الأولية وصور المراسي، وكيستعمل محاذاة Umeyama باش يحط كاميرات المراسي فالنظام الإحداثي نفسه ديال المسار المستهدف؛ كل مشاهدة كتترمّز بواسطة VAE وكيزاد ليها تمثيل أشعة Plücker، ومن بعد كتتلصق فـ“ذاكرة شخصية متوافقة هندسياً”. كيدخل 20 كتلة ديال انتباه الذاكرة من بعد الكتل 0 و2 و…… و38 فـbackbone، وكيخلي رموز الفيديو ورموز الذاكرة يديرو self-attention مشترك، مع استرجاع الأدلة الهندسية المكملة حسب الزاوية الحالية؛ فرع الباقي مهيأ بصفر، وبهذا ما كيأثرش على backbone المدرّب مسبقاً فبداية التدريب. التجارب الاستئصالية كتبرهن أن حذف GAMA كيهبط تشابه الهوية من 0.555 حتى 0.370.
التدريب على جوج مراحل وبناء البيانات: فالمرحلة الأولى كيتدرّب التحكم فالكاميرا على 5万 تسلسل مُركّب لحركة الكاميرا من UE5. التجارب الاستئصالية كتبرهن أن حذف هاد البيانات كيخلّي خطأ المسار ATE يطلع من 0.100 حتى 0.359، وأن شرط Plücker ضروري حتى هو؛ فالمرحلة الثانية كيتدرّب انتباه الذاكرة على 3万 من بيانات الرندرة متعددة الزوايا من Blender، كتشمل 99 شخصية و33 بيئة، بمجموع 8万 عينة. وكل عينة فيها فيديو مرجعي، وRGB-D أولي، ومعلمات الكاميرا الداخلية والخارجية، وتوجيه الرندرة وقناع التغطية.

استنساخ المستودع: نفّذ git clone https://github.com/PixCtrol/WorldCast ودخل للمجلد.
إعداد البيئة: وجد Python ≥3.10 وكارت شاشة CUDA كيدعم bf16، ونفّذ pip install -r requirements.txt.
تحميل الأوزان: حمّل قاعدة Wan2.1-I2V-14B-720P من HuggingFace وحطّها فـ pretrained/Wan2.1-I2V-14B-720P/، وحط base_dit.safetensors وworldcast_bank.safetensors فـ checkpoints/.
تحضير المدخلات: حط صورة مرجعية وحدة للشخصية ومن 1 حتى 4 صور مراسي، وحدد فـ manifest (ملف الفهرس) مسارات الصور، والتوجيه النصي، ومسار الكاميرا.
تشغيل الاستدلال: نفّذ python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors باش تولّد الفيديو.
المعالجة الجماعية والتخصيص: شوف scripts/infer/infer_worldcast.py وlaunch/infer/run_anchor_inference_example.sh للاستدلال الجماعي، وتقدر تولّد المسارات باستعمال scripts/data/trajectories.py.

أقوى حفاظ على الهوية بين الزوايا: فمعيار CLACT اللي تبنى داخلياً، وصل تشابه الهوية بـArcFace لـ0.555، متفوّق بوضوح على الأساسيات بحال Uni3C، وحتى ملي كتدور الكاميرا لوراء الشخصية ما كيتبدلش وجهها.
أعلى دقة فالتحكم فالكاميرا: خطأ المسار ATE هو 0.065، وRTE هو 0.020، وRRE هو 0.896، وكلها أفضل النتائج بين الطرق المقارنة، مع دعم دوران كامل حتى 360 درجة.
تصميم مخصص للمشاهد واسعة الزاوية: باسترجاع ذاكرة صور المراسي كيكمل بشكل صريح معلومات الجهة الخلفية اللي ما كتبانش فالصورة الوحيدة، ومصمم خصيصاً لحل انهيار الهوية فالمسارات واسعة الزاوية.
المساهمة التقنية قابلة للتحقق: التجارب الاستئصالية كتبرهن أن حذف انتباه ذاكرة GAMA كيهبط ArcFace من 0.555 حتى 0.370، وبالتالي مصدر التحسن فالاتساق بين الزوايا واضح وماشي مبني على الغموض.
انفتاح كامل: الورقة العلمية، وكود الاستدلال، وأوزان الموديل متوفرين كاملين ومفتوحين برخصة Apache-2.0، وهاد الشي كيخليه من المشاريع القليلة المفتوحة بالكامل فمجال التحكم فالكاميرا.

الموقع الرسمي: https://pixctrol.github.io/WorldCast/
مستودع GitHub: https://github.com/PixCtrol/WorldCast
مستودع الموديل على HuggingFace: https://huggingface.co/ly56/worldcast
الورقة التقنية على arXiv: https://arxiv.org/pdf/2610.33135

عرض الشخصية من جميع الجهات: خلّي الكاميرا تدور 360 درجة حول الشخصية الافتراضية، مع الحفاظ دائماً على تفاصيل اللباس، المجسم أو الشخصية الافتراضية.
البروفة الأولية للتصوير الافتراضي: قبل التصوير الحقيقي، استعمل بديل الشخصية باش تجرّب حركة الكاميرا على المسار المحدد، وتتحقق من نتيجة الستوريبورد، وتنقص تكلفة التجارب فالتصوير.
فيديوهات الشخصيات الرقمية من زوايا متعددة مع الحفاظ على الهوية: ولّد لقطات للشخصية الرقمية وهي كتدور، أو من الجانب، أو من الخلف، مع الحفاظ على “نفس الوجه”، لاستعمالها فالبث الافتراضي وفيديوهات التعريف بالشخصية.
تحريك شخصيات الألعاب: ولّد حركات دائرية للكاميرا فالمشاهد الانتقالية ديال الألعاب أو صفحات عرض الشخصيات، وتفادى التكلفة المتكررة ديال النمذجة والرندرة التقليدية من زوايا متعددة.
فيديوهات المنتجات التجارية: ولّد فيديوهات دوّارة لعرض المنتجات، لاستعمالها فصفحات التفاصيل والمواد الإعلانية.