WorldCast চালু আছে

WorldCast উহান বিশ্ববিদ্যালয় ও Xiaomi-এর যৌথভাবে ওপেন-সোর্স করা একটি ভিডিও জেনারেশন মডেল। একটি চরিত্রের রেফারেন্স ছবি, কাঙ্ক্ষিত ক্যামেরা ট্রাজেক্টরি এবং 1–4টি যেকোনো দৃষ্টিকোণের অ্যাঙ্কর ছবি ইনপুট হিসেবে দিলে, এটি চরিত্রকে ঘিরে ক্যামেরার 360 ডিগ্রি ঘূর্ণনসহ পরিচয় অক্ষুণ্ণ রাখা ভিডিও তৈরি করতে পারে। WorldCast দুটি প্রক্রিয়ার মাধ্যমে এটি করে। একটি প্রক্রিয়া ক্যামেরা ট্রাজেক্টরি নিয়ন্ত্রণ করে: রেফারেন্স ছবিকে পয়েন্ট ক্লাউডে রূপান্তর করে এবং ট্রাজেক্টরি বরাবর প্রতিটি ফ্রেম রেন্ডার করে নির্দেশনা দেয়। অন্যটি বিভিন্ন দৃষ্টিকোণ নিয়ন্ত্রণ করে: অ্যাঙ্কর ছবিগুলোকে অনুসন্ধানযোগ্য মেমরিতে সংরক্ষণ করে এবং ক্যামেরা যে দিকেই ঘুরুক, সেই দিকের তথ্য আহরণ করে। ফলে ক্যামেরা চরিত্রের পেছনে গেলেও মুখের পরিচয় বদলে যায় না।

বড় কোণের ক্যামেরা নিয়ন্ত্রণ: কাঙ্ক্ষিত ক্যামেরা ট্রাজেক্টরি ইনপুট দিলে ক্যামেরা চরিত্রকে ঘিরে ঘুরতে, কাছে আসতে বা দূরে সরে যেতে পারে; সর্বোচ্চ 360 ডিগ্রির পূর্ণ-বৃত্তাকার গতি সমর্থিত।
বিভিন্ন দৃষ্টিকোণে পরিচয়ের সামঞ্জস্য: তৈরি করা ভিডিওতে চরিত্রের মুখাবয়ব, চুলের ধরন ও পোশাক যেকোনো দৃষ্টিকোণেই একই পরিচয় বজায় রাখে।
বিভিন্ন দৃষ্টিকোণের অ্যাঙ্কর ছবি দিয়ে পরিপূরণ: অতিরিক্ত তথ্য হিসেবে 1–4টি যেকোনো দৃষ্টিকোণের অ্যাঙ্কর ছবি গ্রহণ করে, যা একক রেফারেন্স ছবিতে দেখা যায় না এমন অংশ পূরণ করে।
টেক্সট ও ছবি-ভিত্তিক দ্বৈত শর্তে জেনারেশন: টেক্সট প্রম্পট ও প্রাথমিক চরিত্রের ছবি একত্র করে ট্রাজেকটরি বরাবর নিয়ন্ত্রণযোগ্য পরবর্তী ফ্রেম তৈরি করে; চরিত্র প্রদর্শন ও ভার্চুয়াল শুটিংয়ের প্রি-ভিজুয়ালাইজেশনের মতো কাজে উপযোগী।

WeChat-এ অনুসরণ করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
ট্রাজেকটরি-সমন্বিত জ্যামিতিক নির্দেশনা: প্রাথমিক রেফারেন্স ছবি থেকে গভীরতা অনুমান করতে প্রি-ট্রেইনড ডেপথ এস্টিমেটর ব্যবহার করা হয় এবং ছবিকে রঙসহ ত্রিমাত্রিক পয়েন্ট ক্লাউডে রিভার্স-প্রজেক্ট করা হয়। ক্যালিব্রেশনের মাধ্যমে এমন স্কেল নির্ধারণ করা হয় যাতে রেন্ডার করা গতি কাঙ্ক্ষিত ট্রাজেকটরির সঙ্গে সর্বাধিক সামঞ্জস্যপূর্ণ হয়। এরপর point splatting ও depth buffer ব্যবহার করে ট্রাজেকটরি বরাবর প্রতিটি ফ্রেমের RGB নির্দেশনা ছবি ও কভারেজ মাস্ক রেন্ডার করা হয়। একই সঙ্গে Plücker ray encoding-এর মাধ্যমে কাঙ্ক্ষিত ক্যামেরার জ্যামিতিক তথ্য প্রকাশ করে noise latent ও প্রাথমিক ফ্রেমের শর্তের সঙ্গে patch embedding-এর আগে চ্যানেল-ভিত্তিক সংযোজন করা হয়। কভারেজ মাস্ক পয়েন্ট ক্লাউডে আবৃত না হওয়া পিক্সেল চিহ্নিত করে এবং কোন অঞ্চল জেনারেটরকে স্বাধীনভাবে পূরণ করতে হবে তা নির্দেশ করে।
জ্যামিতি-সমন্বিত মেমরি অ্যাটেনশন (GAMA): প্রাথমিক ছবি ও অ্যাঙ্কর ছবিতে foreground segmentation ও জ্যামিতিক অনুমান করা হয়। Umeyama alignment-এর মাধ্যমে প্রতিটি অ্যাঙ্কর ক্যামেরাকে কাঙ্ক্ষিত ট্রাজেকটরির একই coordinate system-এ স্থাপন করা হয়। প্রতিটি observation VAE দিয়ে encode করে Plücker ray representation যুক্ত করার পর একত্র করে একটি “জ্যামিতি-সমন্বিত চরিত্র মেমরি” তৈরি করা হয়। Backbone-এর 0, 2, ……、38 নম্বর ব্লকের পরে 20টি memory attention block যুক্ত করা হয়, যাতে ভিডিও token ও memory token যৌথ self-attention সম্পাদন করতে পারে এবং বর্তমান দৃষ্টিকোণ অনুযায়ী পরিপূরক জ্যামিতিক প্রমাণ উদ্ধার করতে পারে। Residual branch শূন্য দিয়ে initialize করা হয়, ফলে প্রশিক্ষণের শুরুতে pre-trained backbone-এ কোনো ব্যাঘাত ঘটে না। Ablation পরীক্ষায় দেখা যায়, GAMA বাদ দিলে পরিচয়-সাদৃশ্য 0.555 থেকে 0.370-এ নেমে যায়।
দুই ধাপের প্রশিক্ষণ ও ডেটা নির্মাণ: প্রথম ধাপে 5万টি UE5-এ তৈরি ক্যামেরা-মোশন সিকোয়েন্সের ওপর ক্যামেরা নিয়ন্ত্রণের ক্ষমতা প্রশিক্ষণ দেওয়া হয়। Ablation ফলাফলে দেখা যায়, এই ডেটা বাদ দিলে ট্রাজেকটরি ত্রুটি ATE 0.100 থেকে বেড়ে 0.359 হয়; Plücker শর্তও অপরিহার্য। দ্বিতীয় ধাপে 3万টি Blender-এ রেন্ডার করা বহু-দৃষ্টিকোণ অ্যাঙ্কর ডেটার ওপর মেমরি অ্যাটেনশন প্রশিক্ষণ দেওয়া হয়। এতে 99টি চরিত্র ও 33টি পরিবেশসহ মোট 8万টি sample রয়েছে। প্রতিটি sample-এর সঙ্গে রেফারেন্স ভিডিও, প্রাথমিক RGB-D, ক্যামেরার intrinsic ও extrinsic parameters, রেন্ডার করা নির্দেশনা এবং কভারেজ মাস্ক দেওয়া হয়।

রিপোজিটরি ক্লোন করুন: git clone https://github.com/PixCtrol/WorldCast এবং ডিরেক্টরিতে প্রবেশ করুন।
পরিবেশ প্রস্তুত করুন: Python ≥3.10 ও bf16 সমর্থনকারী CUDA GPU প্রস্তুত করে pip install -r requirements.txt চালান।
ওজন ডাউনলোড করুন: HuggingFace থেকে Wan2.1-I2V-14B-720P base ডাউনলোড করে pretrained/Wan2.1-I2V-14B-720P/ ডিরেক্টরিতে রাখুন এবং base_dit.safetensors ও worldcast_bank.safetensors checkpoints/ ডিরেক্টরিতে রাখুন।
ইনপুট প্রস্তুত করুন: 1টি চরিত্রের রেফারেন্স ছবি ও 1–4টি অ্যাঙ্কর ছবি রাখুন এবং manifest (তালিকা ফাইল)-এ ছবির path, text prompt ও ক্যামেরা ট্রাজেকটরি নির্দিষ্ট করুন।
Inference চালান: ভিডিও তৈরি করতে python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors চালান।
ব্যাচ ও কাস্টম ব্যবহার: batch inference-এর জন্য scripts/infer/infer_worldcast.py ও launch/infer/run_anchor_inference_example.sh দেখুন। scripts/data/trajectories.py ব্যবহার করে ট্রাজেকটরি তৈরি করা যায়।

বিভিন্ন দৃষ্টিকোণে পরিচয়ের সামঞ্জস্য সবচেয়ে শক্তিশালী: নিজস্ব CLACT benchmark-এ ArcFace পরিচয়-সাদৃশ্য 0.555, যা Uni3Cসহ অন্যান্য baseline-এর তুলনায় স্পষ্টভাবে এগিয়ে। ক্যামেরা চরিত্রের পেছনে গেলেও মুখের পরিচয় বদলে যায় না।
ক্যামেরা নিয়ন্ত্রণের নির্ভুলতা সর্বোচ্চ: ট্রাজেকটরি ত্রুটির ATE 0.065, RTE 0.020 এবং RRE 0.896, যা তুলনামূলক পদ্ধতিগুলোর মধ্যে সেরা; সর্বোচ্চ 360 ডিগ্রির পূর্ণ-বৃত্তাকার ঘূর্ণন সমর্থিত।
বড়-কোণের দৃশ্যের জন্য বিশেষ নকশা: অ্যাঙ্কর ছবির মেমরি রিট্রিভালের মাধ্যমে একক ছবিতে অদৃশ্য “পেছনের” তথ্য স্পষ্টভাবে পূরণ করা হয়, যা বড়-কোণের ট্রাজেকটরিতে পরিচয় ভেঙে পড়ার সমস্যা সমাধানের জন্য বিশেষভাবে তৈরি।
প্রক্রিয়াগত অবদান যাচাইযোগ্য: Ablation পরীক্ষায় GAMA memory attention বাদ দিলে ArcFace 0.555 থেকে 0.370-এ তীব্রভাবে নেমে যায়। ফলে বিভিন্ন দৃষ্টিকোণে সামঞ্জস্যের উন্নতির উৎস স্পষ্ট এবং অনুমাননির্ভর নয়।
সম্পূর্ণ উন্মুক্ততা: paper, inference code ও model weights তিনটিই Apache-2.0 লাইসেন্সে উন্মুক্ত, যা ক্যামেরা নিয়ন্ত্রণের ক্ষেত্রে বিরল পূর্ণাঙ্গ ওপেন-সোর্স কাজ।

প্রকল্পের ওয়েবসাইট: https://pixctrol.github.io/WorldCast/
GitHub রিপোজিটরি: https://github.com/PixCtrol/WorldCast
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/ly56/worldcast
arXiv প্রযুক্তিগত পেপার: https://arxiv.org/pdf/2610.33135

চরিত্রকে ঘিরে প্রদর্শন: ভার্চুয়াল চরিত্রকে ঘিরে ক্যামেরার 360 ডিগ্রি ঘূর্ণন তৈরি করে পোশাক, ফিগারিন ও ভার্চুয়াল আইডলের বাহ্যিক বিবরণ সব সময় সামঞ্জস্যপূর্ণ রাখা।
ভার্চুয়াল শুটিংয়ের প্রি-ভিজুয়ালাইজেশন: বাস্তব শুটিংয়ের আগে নির্ধারিত ক্যামেরা-পজিশনের ট্রাজেকটরি অনুযায়ী চরিত্রের বিকল্প দিয়ে ক্যামেরা মুভমেন্ট পরীক্ষা করা, storyboard-এর ফল যাচাই করা এবং বাস্তব শুটিংয়ের পরীক্ষামূলক খরচ কমানো।
ডিজিটাল মানুষের বহু-দৃষ্টিকোণ সামঞ্জস্যপূর্ণ ভিডিও: ডিজিটাল মানুষের ঘুরে দাঁড়ানো, পাশের দৃশ্য ও পেছনের দৃশ্যের মতো বহু-কোণের footage তৈরি করা এবং “একই মুখ” বজায় রাখা; ভার্চুয়াল主播 ও ব্র্যান্ড-প্রচারমূলক ভিডিওতে ব্যবহারযোগ্য।
গেম চরিত্রের অ্যানিমেশন: গেমের cutscene বা চরিত্র প্রদর্শন পৃষ্ঠার জন্য চারপাশে ঘোরার ক্যামেরা অ্যানিমেশন তৈরি করা এবং প্রচলিত বহু-দৃষ্টিকোণ মডেলিং ও rendering-এর পুনরাবৃত্ত খরচ এড়ানো।
ই-কমার্স পণ্যের অ্যানিমেশন: পণ্যকে ঘিরে ঘূর্ণায়মান প্রদর্শনী ভিডিও তৈরি করে product detail page ও বিজ্ঞাপনের উপকরণে ব্যবহার করা।