Wan-Animate-2 – 万相团队开源的新一代角色动画模型 চালু আছে

Wan-Animate-2 হলো 万相 টিমের ওপেন-সোর্স করা নতুন প্রজন্মের চরিত্র অ্যানিমেশন মডেল। Wan-Animate-এর একটি বড় আর্কিটেকচারাল আপগ্রেড হিসেবে এটি স্পষ্ট পোজ কঙ্কাল এবং সহায়ক পোজ-এক্সট্রাকশন নেটওয়ার্কের ওপর নির্ভরতা বাদ দিয়ে end-to-end দ্বৈত-শাখার Diffusion Transformer (DiT) ব্যবহার করেছে, যা সরাসরি রেফারেন্স ভিডিও থেকে মোশন prior ধারণ করে। মডেলটি টেক্সট-চালিত ভিউ নিয়ন্ত্রণ সমর্থন করে এবং সর্বোচ্চ 24 fps-সমর্থিত একটি রিয়েল-টাইম স্ট্রিমিং ভ্যারিয়েন্ট সরবরাহ করে।

ড্রাইভিং ভিডিও থেকে চরিত্র অ্যানিমেশন: reference.png রেফারেন্স ছবি এবং template.mp4 ড্রাইভিং টেমপ্লেট ভিডিও ইনপুট দিয়ে রেফারেন্স চরিত্রকে ড্রাইভিং ভিডিওর অ্যাকশন ও ক্যামেরা-রিদম অনুকরণ করানো যায়।
End-to-end মোশন ট্রান্সফার: নতুনভাবে নকশা করা DiT সরাসরি ড্রাইভিং ভিডিও প্রক্রিয়া করে; মধ্যবর্তী মোশন এক্সট্রাক্টর ব্যবহার না করে একই সঙ্গে মোশনের বিশ্বস্ততা ও পরিচয়ের সামঞ্জস্য বাড়ানোর লক্ষ্য রাখে।
পরিচয়/চেহারা সংরক্ষণ: reference image token এবং reference video token-কে attention গণনায় যুক্ত করে রেফারেন্স চেহারা জেনারেশন প্রক্রিয়ায় প্রবেশ করানো হয়, ফলে “অ্যাকশন মিললেও মুখ বিকৃত” হওয়ার সমস্যা কমে।
টেক্সট স্বাভাবিকীকরণ নিয়ন্ত্রণ: ইনফারেন্সের আগে LLM ব্যবহার করে নির্দিষ্ট ফরম্যাটের caption তৈরি করা হয়। এতে শুধু “চরিত্রের চেহারার বর্ণনা + পটভূমির বর্ণনা” লেখা হয়; অ্যাকশন বর্ণনা বা আবেগ অনুমান করা হয় না। এরপর এটি Wan-Animate-2-এর prompt হিসেবে ব্যবহৃত হয়।
টেক্সট-চালিত ভিউ নিয়ন্ত্রণ: টেক্সটের মাধ্যমে আউটপুট ক্যামেরার ভিউকে ড্রাইভিং ভিডিও থেকে আলাদা করা যায়, ফলে “একই অ্যাকশন, ভিন্ন ক্যামেরা অবস্থান/ভিউ” তৈরি করা সহজ হয়।
Base উচ্চমানের মোড: ডিফল্ট ইনফারেন্স স্ক্রিপ্ট সাধারণ কনফিগারেশন ব্যবহার করে। অফিসিয়াল Diffusers উদাহরণে num_inference_steps=40, যা গুণমানকে বেশি অগ্রাধিকার দেয়।
Distillation কম-ধাপের মোড: Distillation ওজনের উদাহরণে 10 steps, guidance_scale=1.0 এবং Euler solver/no CFG ব্যবহার করা হয়েছে, যা দ্রুত আউটপুট ও কম লেটেন্সির যাচাইয়ের জন্য উপযোগী।
রিয়েল-টাইম উন্নয়নধারা: পেপারে Wan-Animate-2-Lite প্রস্তাব করা হয়েছে। teacher forcing, error buffer, Self-Forcing distillation এবং chunk-wise backpropagation ব্যবহার করে লেটেন্সিকে রিয়েল-টাইম সীমার কাছাকাছি আনা হয়, যা স্ট্রিমিং চরিত্র অ্যানিমেশনের জন্য তৈরি।
লোকাল ও অনলাইন ব্যবহার: লোকাল Gradio স্ক্রিপ্ট সরবরাহ করা হয়েছে। Base-এর জন্য wan_animate_2_gradio.py এবং distillation-এর জন্য wan_animate_2_gradio_distillation.py ব্যবহার করা হয়। README-তে ModelScope Studio-এর অনলাইন demo-এর দিকনির্দেশও রয়েছে।
ইঞ্জিনিয়ারিং ইকোসিস্টেম: ওজন HuggingFace/ModelScope-এ রয়েছে; মডেল ID-এর উদাহরণ Wan-AI/Wan2.2-Animate-2-14B। Diffusers সোর্স থেকে ইনস্টল করে সংযুক্ত করা যায়; ComfyUI/DiffSynth-Studio এখনও Todo।
কনফিগারযোগ্য সমান্তরাল জেনারেশন: ডিফল্টভাবে 8×A800, 720P অনুযায়ী টিউন করা হয়েছে এবং 2×A800, 480P-তেও পরীক্ষা করা হয়েছে। ভিন্ন হার্ডওয়্যারের ক্ষেত্রে YAML সমান্তরাল কনফিগারেশন পরিবর্তন করতে হবে।

WeChat-এ ফলো করে “开源” লিখে রিপ্লাই দিন এবং AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
হার্ডওয়্যার প্রস্তুতি: প্রথমে অফিসিয়াল ডিফল্ট 8×A800, 720P অনুযায়ী পরিকল্পনা করুন। অফিসিয়ালভাবে 2×A800, 480P-তেও পরীক্ষা করা হয়েছে; সাধারণ ভোক্তা-গ্রেডের একক GPU-তে চলবে ধরে নেওয়া উচিত নয়।
রিপোজিটরি ক্লোন করুন: git clone --recursive https://github.com/Wan-Video/Wan-Animate-2.git
পরিবেশ তৈরি করুন: Python 3.11; torch 2.7.0 / torchvision 0.22.0 / torchaudio 2.7.0 এবং CUDA 12.6 সোর্স ইনস্টল করুন। এরপর requirements.txt ও flash-attn ইনস্টল করে শেষে pip install -e . চালান।
ওজন ডাউনলোড করুন: HuggingFace-এর জন্য huggingface-cli download Wan-AI/Wan2.2-Animate-2-14B --local-dir ./ckpts/; ModelScope-এর জন্য modelscope download --model Wan-AI/Wan2.2-Animate-2-14B --local_dir ./ckpts/ ব্যবহার করুন।
প্রথমে caption তৈরি করুন: Qwen3.7-Plus-এর মতো LLM ব্যবহার করে অফিসিয়াল চীনা ফরম্যাট অনুযায়ী শুধু “চরিত্রের চেহারার বর্ণনা + পটভূমির বর্ণনা” লিখুন; অ্যাকশন, আবেগ বা মূল্যায়ন লিখবেন না।
Base চালান: infer ডিরেক্টরিতে প্রবেশ করে wan_animate_2_demo.py চালান এবং --prompt, --refer-img-file, --refer-video-file, --config ./wan_animate_2.yaml প্যারামিটার দিন।
Distillation সংস্করণ চালান: wan_animate_2_distillation.yaml ব্যবহার করুন এবং --sample_guide_scale 1.0 --step 10 যোগ করুন। Diffusers-এ সংশ্লিষ্ট সেটিং হলো guidance_scale=1.0, flow_solver="euler"।
সমান্তরাল কনফিগারেশন পরিবর্তন করুন: GPU সংখ্যা বা মেমরি অফিসিয়ালের সঙ্গে না মিললে প্রথমে YAML parallel configs পরিবর্তন করুন, এরপর OOM বা গতি-সংক্রান্ত অস্বাভাবিকতা পরীক্ষা করুন।
দ্রুত ব্যবহার: ডিপ্লয় করতে না চাইলে আগে ModelScope Studio ব্যবহার করে দেখুন। লোকালে wan_animate_2_gradio.py অথবা wan_animate_2_gradio_distillation.py চালান।

অ্যাকশনের বিশ্বস্ততা ও পরিচয়ের সামঞ্জস্যই প্রধান আকর্ষণ: মধ্যবর্তী মোশন এক্সট্রাক্টর বাদ দেওয়ায় তাত্ত্বিকভাবে একটি স্তরের ত্রুটি সঞ্চয় কমে।
প্রোডাকশন ওয়ার্কফ্লোর সঙ্গে বেশি সামঞ্জস্যপূর্ণ: অফিসিয়ালভাবে caption-কে নির্দিষ্ট ফরম্যাটে আগে তৈরি করা হয় এবং চরিত্রের চেহারা ও পটভূমি বর্ণনা করতে বলা হয়, অ্যাকশন বর্ণনা করতে নয়। এতে স্থিতিশীলভাবে পুনরুৎপাদন করা সহজ হয়।
কম লেটেন্সির দিকনির্দেশ স্পষ্ট: Distillation-এ 10 ধাপের ইনফারেন্স চালানো যায়; Lite পেপারটি সরাসরি রিয়েল-টাইম/স্ট্রিমিং ডিজিটাল মানবের দিকে লক্ষ্য করে।
বাণিজ্যিক ব্যবহারে তুলনামূলকভাবে সুবিধাজনক: Apache-2.0 দ্বিতীয় পর্যায়ের উন্নয়নের জন্য বেশি সুবিধাজনক, তবে বাস্তব বাণিজ্যিক ব্যবহারে উপকরণের কপিরাইট,肖像 অধিকার ও প্ল্যাটফর্মের নিয়ম মেনে চলতে হবে।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://humanaigc.github.io/wan-animate-2
Github রিপোজিটরি: https://github.com/Wan-Video/Wan-Animate-2
ModelScope: https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-2-14B
arXiv প্রযুক্তিগত পেপার: https://arxiv.org/pdf/2608.06009
অনলাইন Demo: https://www.modelscope.cn/studios/Wan-AI/Wan2.2-Animate

ভার্চুয়াল অ্যাঙ্কর / ডিজিটাল মানব লাইভস্ট্রিম: Lite-এর দিকনির্দেশ রিয়েল-টাইম সীমা ও স্ট্রিমিং চরিত্র অ্যানিমেশনের দিকে স্পষ্টভাবে লক্ষ্য করে, তাই “বাস্তব মানুষ দ্বারা চালিত ভার্চুয়াল অবতার”-এর কম-লেটেন্সির লাইভস্ট্রিমে উপযোগী।
শর্ট ভিডিও / শর্ট ড্রামায় চরিত্রের বিকল্প: অভিনেতার পারফরম্যান্স ভিডিওকে driving video হিসেবে ব্যবহার করে চরিত্রের ইলাস্ট্রেশন বা রেফারেন্স ছবিতে প্রয়োগ করা যায়। ফ্যান্টাসি চরিত্র, IP অবতার ও কম-খরচের বিকল্প দৃশ্যে এটি উপযোগী; মূল বিষয় হলো end-to-end মোশন ট্রান্সফার ও পরিচয় সংরক্ষণ।
নৃত্য, MV ও জেসচার ডান্সের দ্বিতীয় পর্যায়ের নির্মাণ: একটি নাচের টেমপ্লেট দিয়ে বিভিন্ন চরিত্র চালিয়ে বহু-চরিত্রের পুনর্নির্মাণ, একই ফ্রেমে পোশাক পরিবর্তন বা স্টাইলাইজড MV তৈরি করা যায়। ভিউ নিয়ন্ত্রণের মাধ্যমে “একই অ্যাকশন, ভিন্ন ক্যামেরা অবস্থান”-এর সম্পাদনা উপকরণও তৈরি করা যায়।
ই-কমার্স ও ব্র্যান্ড কনটেন্ট: ব্র্যান্ড mascot বা ভার্চুয়াল মডেলকে একই টেমপ্লেট অনুযায়ী অ্যাকশন দেখাতে ব্যবহার করা যায়, যেমন নতুন পণ্যের শর্ট ভিডিও, ইভেন্ট পেজের ভিডিও ও সোশ্যাল মিডিয়া উপকরণ। বাণিজ্যিক ব্যবহারের আগে肖像, পোশাকের কপিরাইট ও প্ল্যাটফর্মের নিয়ম মেনে চলতে হবে।
শিক্ষা / জ্ঞানভিত্তিক ব্লগারের কোর্স উপকরণ: লেকচারারের চেহারা বা কার্টুন লেকচারারকে নির্দিষ্ট অ্যাকশন টেমপ্লেট অনুযায়ী চালিয়ে ভূমিকা, ট্রানজিশন ও জ্ঞানবিন্দু ব্যাখ্যার দৃশ্য ব্যাচে তৈরি করা যায়, ফলে বারবার শুটিংয়ের খরচ কমে।
গেম NPC / কাটসিনের প্রিভিজ: পরিকল্পনাকারীরা প্রথমে বাস্তব মানুষের পারফরম্যান্স দিয়ে চরিত্রের প্রোটোটাইপ দ্রুত চালিয়ে অ্যাকশনের ছন্দ, ক্যামেরা ও আবেগ যাচাই করতে পারেন। এরপর আনুষ্ঠানিক মোশন ক্যাপচার ও রেন্ডারিং পাইপলাইনে নেওয়া হবে কি না সিদ্ধান্ত নেওয়া যায়।