EchoWM চালু আছে

EchoWM হলো জেডি ডটকম এক্সপ্লোরেশন রিসার্চ ইনস্টিটিউটের ওপেন-সোর্স করা একটি ইন্টার‌্যাক্টিভ অডিওভিজুয়াল ওয়ার্ল্ড মডেল। মডেলটি JoyAI-Echo-এর নেটিভ অডিও-ভিডিও জেনারেশন ক্ষমতা বজায় রেখে ব্যবহারকারীকে প্রথম/তৃতীয়-পুরুষ দৃষ্টিকোণ থেকে AI-জেনারেটেড জগতে রিয়েল-টাইমে চলাফেরা ও অনুসন্ধানের সুযোগ দেয়। দৃশ্য, স্থানিক সম্পর্ক, পরিবেশের শব্দ ও কণ্ঠস্বর একসঙ্গে সামঞ্জস্যপূর্ণ থাকে এবং দীর্ঘ সময়েও বিচ্যুত হয় না। মডেলটি একটি একীভূত ক্যামেরা-ইনটেন্ট ইন্টারফেস ও ওয়ার্ল্ড ডেটা ইঞ্জিনের মাধ্যমে প্রশিক্ষিত; WBench নেভিগেশন মূল্যায়নে গড় 81.7 স্কোর নিয়ে প্রথম স্থান অর্জন করেছে।

রিয়েল-টাইমে অনুসন্ধানযোগ্য বিশ্ব তৈরি: ব্যবহারকারী WASD দিকনির্দেশক কী ব্যবহার করে AI-জেনারেটেড দৃশ্যে স্বাধীনভাবে চলতে, ঘুরতে ও ফিরে যেতে পারেন;操作 অনুযায়ী বিশ্ব রিয়েল-টাইমে প্রসারিত হয়।
নেটিভ অডিও-ভিডিও যৌথ জেনারেশন: একই কাঠামোর মধ্যে 720p ভিডিওর পাশাপাশি পরিবেশের শব্দ, সঙ্গীত ও চরিত্রের কণ্ঠস্বর তৈরি হয়; দৃশ্যের পরিবর্তনের সঙ্গে শব্দ স্বাভাবিকভাবে এগিয়ে চলে।
প্রথম/তৃতীয়-পুরুষ দ্বৈত দৃষ্টিকোণ নিয়ন্ত্রণ: প্রথম-পুরুষে ক্যামেরা পর্যবেক্ষকের গতিবিধি অনুসরণ করে, আর তৃতীয়-পুরুষে ক্যামেরা চরিত্র, যানবাহন ও অন্যান্য বিষয়ের গতিবিধি স্বয়ংক্রিয়ভাবে অনুসরণ করে।
বহু-ধাপের দীর্ঘমেয়াদি ধারাবাহিকতা: আগের অংশের শেষের অডিও-ভিডিওকে পরবর্তী ধাপের প্রসঙ্গ হিসেবে ব্যবহার করা হয়, ফলে বহু ধাপের操作 পরেও দৃশ্যের বিন্যাস, বিষয়ের চেহারা ও শব্দ সামঞ্জস্যপূর্ণ থাকে।
WBench নেভিগেশন মূল্যায়নে প্রথম: 158টি কেসে গড় স্কোর 81.7; সামঞ্জস্য ও ইন্টার‌্যাক্টিভিটি উভয় সূচকেই শীর্ষস্থানীয়।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের আলোচনাগোষ্ঠীতে যোগ দিন
একীভূত ক্যামেরা-ইনটেন্ট ইন্টারফেস: বিচ্ছিন্ন কীবোর্ড নির্দেশকে প্রাথমিক পোজের তুলনায় ধারাবাহিক 6-DoF ট্র্যাজেক্টরিতে রূপান্তর করা হয়, যাতে ক্যামেরার গতিবিধি একই ইন্টারফেসে বর্ণনা করা যায়। প্রথম-পুরুষে এটি সরাসরি পর্যবেক্ষকের গতিবিধি প্রকাশ করে; তৃতীয়-পুরুষে মডেল ডেটা থেকে “বিষয়ের গতি—ক্যামেরার অনুসরণ” সম্পর্ক শেখে। অতিরিক্ত চরিত্র-ট্র্যাজেক্টরি বা ক্যামেরা প্রিসেট প্যারামিটারের প্রয়োজন হয় না। ট্র্যাজেক্টরি শুধু ভিডিও শাখায় প্রবেশ করানো হয়, আর অডিও দৃশ্যের সঙ্গে সমন্বিতভাবে পরিবর্তিত হয়।
ওয়ার্ল্ড ডেটা ইঞ্জিন: চার ধরনের পরিপূরক ডেটা উৎস একত্রিত করা হয়—অভ্যন্তরীণভাবে সংগৃহীত gameplay, মানুষের খেলার রেকর্ডিং, UE সিমুলেশন এবং সাধারণ ইন্টারনেট ভিডিও। এরপর ট্র্যাজেক্টরির সর্বাধিক স্থানান্তর-পরিমাণের 90তম পার্সেন্টাইলকে বৈশ্বিক “স্কেল” হিসেবে ব্যবহার করে একীভূত নরমালাইজেশন করা হয়। এতে বিভিন্ন ট্র্যাজেক্টরির আপেক্ষিক স্থানান্তর-ভেদ বজায় থাকে এবং খণ্ডভিত্তিক স্কেল নির্ধারণের কারণে গতির আকস্মিক পরিবর্তন এড়ানো যায়।
ক্রমিক চার-পর্যায়ের প্রশিক্ষণ: প্রথম পর্যায়ে AV-rich ডেটা দিয়ে অডিও-ভিডিও ধারাবাহিক প্রি-ট্রেনিং করা হয়। দ্বিতীয় পর্যায়ে ব্যাকবোন স্থির রেখে শুধু হালকা ট্র্যাজেক্টরি শাখা প্রশিক্ষণ দিয়ে নিয়ন্ত্রণ-প্রতিক্রিয়া জোরদার করা হয়। তৃতীয় পর্যায়ে নিয়ন্ত্রণের নির্ভরযোগ্যতা ও অডিওভিজুয়াল মান—উভয় বৈশিষ্ট্যসম্পন্ন ডেটা দিয়ে কম লার্নিং রেটে যৌথ ফাইন-টিউনিং করা হয়। চতুর্থ পর্যায়ে অটোরিগ্রেসিভ পোস্ট-ট্রেনিংয়ের মাধ্যমে Teacher Forcing-কে পরিবর্তন করে কারণভিত্তিক ব্লক জেনারেশন করা হয়; স্বল্পমেয়াদি Self-Gradient Forcing-এর সাহায্যে মডেলকে নিজের তৈরি ইতিহাসের সঙ্গে মানিয়ে নেওয়া হয়। পরে ডিস্ট্রিবিউশন-ম্যাচিং ডিস্টিলেশনের মাধ্যমে এটিকে চার ধাপের স্যাম্পলিংয়ে সংকুচিত করা হয় এবং sink-plus-FIFO ক্যাশিং ব্যবস্থার সাহায্যে নিয়ন্ত্রণের KV খরচ সীমিত রেখেও দীর্ঘমেয়াদি স্ট্রিমিং ইন্টার‌্যাকশন সমর্থন করা হয়।

রিপোজিটরি ক্লোন করুন: git clone দিয়ে github.com/jd-opensource/JoyAI-Echo ডাউনলোড করে echo_wm/ ডিরেক্টরিতে প্রবেশ করুন (দীর্ঘ ভিডিও প্রকল্প echo_longvideo/ থেকে এটি স্বতন্ত্র)।
পরিবেশ তৈরি করুন: conda create -n echo-wm python=3.11 দিয়ে পৃথক পরিবেশ তৈরি করে সক্রিয় করুন।
নির্ভরতা ইনস্টল করুন: প্রথমে PyTorch 2.9.1 (cu128) ইনস্টল করুন, এরপর pip install -r requirements.txt চালান এবং torch.cuda.is_available() দিয়ে GPU ব্যবহারের সক্ষমতা যাচাই করুন।
মডেলের ওজন ডাউনলোড করুন: hf download Echo-Team/Echo-WM দিয়ে মডেল checkpoint ডাউনলোড করুন। Gemma 3 টেক্সট এনকোডারও ডাউনলোড করতে হবে (এটি gated রিপোজিটরি; আগে HF পেজে লাইসেন্স গ্রহণ করে hf auth login চালাতে হবে)।
অফিশিয়াল উদাহরণ চালিয়ে যাচাই করুন: scripts/run_wm_case.py --case examples/wm_cases/0010-এর মতো বিল্ট-ইন সম্পূর্ণ কেস চালিয়ে পরিবেশের কনফিগারেশন সঠিক আছে কি না নিশ্চিত করুন।
কাস্টম জেনারেশন: inference_wm.py চালিয়ে প্রথম ফ্রেমের ছবি, ছয়-ক্ষেত্রের প্রম্পট এবং অ্যাকশন স্ট্রিং (Action DSL) পাঠালে শব্দসহ ভিডিও আউটপুট পাওয়া যাবে।
অ্যাকশন নির্দেশ লিখুন: ক্যামেরার গতিবিধি বর্ণনা করতে Action DSL ব্যবহার করুন। ফরম্যাট হলো <কী>-<ফ্রেম সংখ্যা>, কমা দিয়ে যুক্ত; যেমন w-60,a-60 অর্থ 60 ফ্রেম সামনে এগিয়ে 60 ফ্রেম বামে যাওয়া। w/s/a/d/i/j/k-এর সমন্বয় সমর্থিত।

অডিওভিজুয়াল একীকরণ: একই কাঠামোর মধ্যে নেটিভভাবে 720p ভিডিও এবং পরিবেশের শব্দ, সঙ্গীত ও কণ্ঠস্বর যৌথভাবে তৈরি হয়। দৃশ্য ও ঘটনার সঙ্গে শব্দও সমন্বিতভাবে পরিবর্তিত হয়, ফলে অধিকাংশ ওয়ার্ল্ড মডেলের “শুধু দৃশ্য, শব্দ নয়” সমস্যার সমাধান হয়।
একীভূত নিয়ন্ত্রণ ইন্টারফেস: একই আপেক্ষিক 6-DoF ট্র্যাজেক্টরি দিয়ে প্রথম-পুরুষ পর্যবেক্ষকের গতি এবং তৃতীয়-পুরুষ ক্যামেরার বিষয় অনুসরণ—উভয়ই নিয়ন্ত্রণ করা যায়; আলাদা দৃষ্টিকোণের জন্য পৃথক কন্ট্রোলার নকশার প্রয়োজন নেই।
দীর্ঘমেয়াদি ধারাবাহিকতা: অটোরিগ্রেসিভ পোস্ট-ট্রেনিং ও sink-plus-FIFO ক্যাশিং ব্যবস্থার মাধ্যমে ব্যবহারকারী আগের ধাপের শেষের অডিও-ভিডিও প্রসঙ্গের ওপর ভিত্তি করে বহু ধাপে অনুসন্ধান চালিয়ে যেতে পারেন; দৃশ্য, বিষয় ও শব্দ দীর্ঘ সময়েও বিচ্যুত হয় না।
মূল্যায়নে অগ্রগামী: WBench Navigation মূল্যায়নে গড় 81.7 স্কোর নিয়ে প্রথম স্থান অর্জন করেছে; ব্যবহারকারী গবেষণায় সামগ্রিক পছন্দ LingBot-World-v2 ও HappyOyster-এর তুলনায় উল্লেখযোগ্যভাবে বেশি।

প্রকল্পের ওয়েবসাইট：https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/wm/
GitHub রিপোজিটরি：https://github.com/jd-opensource/JoyAI-Echo
arXiv প্রযুক্তিগত গবেষণাপত্র：https://arxiv.org/pdf/2608.23189

গেম প্রোটোটাইপ উন্নয়ন: নির্মাতারা জেনারেটেড দৃশ্যে প্রবেশ করে খেলার মাধ্যমে স্থানিক বিন্যাস, রুটের নকশা ও ক্যামেরা-অভিজ্ঞতা যাচাই করতে পারেন, এরপর নির্মাণের দিক নির্ধারণ করেন।
ইন্টার‌্যাক্টিভ গল্প বলা: ব্যবহারকারীর পছন্দ অনুযায়ী কাহিনি বিভিন্ন শাখায় এগিয়ে যায় এবং ধারাবাহিকভাবে তৈরি হয়; প্রচলিত পূর্বনির্ধারিত উপকরণের বিকল্প হিসেবে ইন্টার‌্যাক্টিভ নাটক ও ইন্টার‌্যাক্টিভ উপন্যাসে ব্যবহার করা যায়।
নিমগ্নতামূলক কনটেন্ট: চলচ্চিত্র ও বিজ্ঞাপনের বিষয়বস্তু “দেখা” থেকে “প্রবেশ”-এ রূপান্তরিত হয়; দর্শক দৃশ্যের ভেতরের জগৎ স্বাধীনভাবে অনুসন্ধান করতে পারেন।
ভার্চুয়াল ভ্রমণ: জাদুঘর, পর্যটনকেন্দ্র, রিয়েল এস্টেটসহ বিভিন্ন দৃশ্যের কম খরচে ডিজিটাল পরিভ্রমণ, যেখানে প্রতিটি ফ্রেম আলাদাভাবে মডেল করার প্রয়োজন নেই।
ডিজিটাল মানবের অভিনয়: চরিত্রের কণ্ঠ ও গতিবিধি আশপাশের গতিশীল পরিবেশ, ক্যামেরা ও শব্দের সঙ্গে সমন্বিতভাবে তৈরি হয়; ভার্চুয়াল অ্যাঙ্কর ও ডিজিটাল কর্মীর মতো ক্ষেত্রে প্রযোজ্য।