HelixWorld চালু আছে

HelixWorld হলো Noiz AI ও হংকং ইউনিভার্সিটি অব সায়েন্স অ্যান্ড টেকনোলজির যৌথভাবে উন্মুক্ত করা একটি রিয়েল-টাইম ইন্টার‌্যাক্টিভ অডিও-ভিজ্যুয়াল ওয়ার্ল্ড মডেল। মডেলকে একটি প্রাথমিক ছবি ও টেক্সট বর্ণনা দিলে WASD এবং দিকনির্দেশক কী ব্যবহার করে AI-উৎপাদিত জগতে হাঁটা ও চারপাশে তাকানো যায়। দৃশ্য ও ত্রিমাত্রিক স্থানিক শব্দ একই সঙ্গে রিয়েল টাইমে তৈরি হয়, এবং দৃষ্টিকোণের সঙ্গে শব্দের অবস্থান স্বাভাবিকভাবে পরিবর্তিত হয়। HelixWorld LTX-2.3-এর ওপর ভিত্তি করে তৈরি, এবং “দ্বিমুখী শিক্ষক + কারণগত ডিস্টিলেশন” প্রশিক্ষণ পদ্ধতি ব্যবহার করে। একটি H800 GPU-তেই 768×512 রেজোলিউশন ও 24 FPS-এ রিয়েল-টাইম জেনারেশন সম্ভব। এর সঙ্গে প্রকাশিত HelixBench স্থানিক ধ্বনিবিদ্যার সামঞ্জস্য বিশেষভাবে মূল্যায়ন করে।

রিয়েল-টাইম ইন্টার‌্যাক্টিভ বিশ্ব তৈরি: একটি প্রাথমিক ছবি ও টেক্সট বর্ণনা ইনপুট দিয়ে AI-উৎপাদিত জগতে স্বাধীনভাবে অনুসন্ধান করা যায়।
কীবোর্ড/অ্যাকশন নিয়ন্ত্রণ: WASD দিয়ে চলাচল এবং দিকনির্দেশক কী দিয়ে দৃষ্টিকোণ সামঞ্জস্য করা যায়; ক্রিয়ার সঙ্গে সঙ্গে দৃশ্য প্রতিক্রিয়া জানায়।
নেটিভ অডিও-ভিজ্যুয়াল যৌথ জেনারেশন: ভিডিও ও স্টেরিও অডিও একই সঙ্গে তৈরি হয়, পরে ডাবিং করা হয় না।
স্থানিক ধ্বনির সামঞ্জস্য: ক্যামেরা ঘোরার সঙ্গে শব্দের অবস্থান স্বাভাবিকভাবে বদলে যায়; যেমন বাম পাশের শব্দের উৎসের দিকে ঘুরে তাকালে শব্দের দিকও সেই অনুযায়ী পরিবর্তিত হয়।
তিন-ট্র্যাক ডিকাপলড প্রম্পট: ভিডিও, অডিও এবং অডিও-ভিজ্যুয়াল যৌথ বর্ণনা আলাদাভাবে ব্যবহার করে তৈরি হওয়া বিষয়বস্তু নিয়ন্ত্রণ করা যায়।
রিয়েল-টাইম মসৃণ অভিজ্ঞতা: একটি H800 GPU-তে 768×512 রেজোলিউশন ও 24 FPS-এ রিয়েল-টাইম জেনারেশন।

WeChat-এ ফলো করে “开源” লিখে উত্তর পাঠান, AI ওপেন সোর্স প্রকল্পের গ্রুপে যোগ দিন
দ্বিমুখী শিক্ষক মডেলের প্রি-ট্রেনিং: প্রথমে একটি দ্বিমুখী অডিও-ভিজ্যুয়াল ডিফিউশন মডেলকে শিক্ষক হিসেবে প্রশিক্ষণ দেওয়া হয়। ধারাবাহিক 6-DoF ক্যামেরা ট্র্যাজেক্টরি PRoPE-এর মাধ্যমে ভিজ্যুয়াল অ্যাটেনশনে যুক্ত হয়, 81 ধরনের বিচ্ছিন্ন অ্যাকশন AdaLN-Zero দিয়ে ডিফিউশন টাইমস্টেপকে নিয়ন্ত্রণ করে, এবং ক্রস-মোডাল অ্যাটেনশন ক্যামেরার গতিবিধি অডিও শাখায় প্রেরণ করে। ফলে শব্দে স্বাভাবিক স্টেরিও পরিবর্তন তৈরি হয়।
কারণগত ডিস্টিলেশনের মাধ্যমে রিয়েল-টাইম রূপান্তর: শিক্ষক মডেলকে অল্প ধাপের কারণগত ছাত্র মডেলে ডিস্টিল করা হয়। ভিডিও ল্যাটেন্ট ও অডিও টোকেন ব্লকভিত্তিক প্রক্রিয়াকরণ করা হয়; ব্লকের মধ্যে দ্বিমুখী অ্যাটেনশন এবং ব্লকের মধ্যে KV cache-এর মাধ্যমে কারণগত সংযোগ রাখা হয়। ODE ইনিশিয়ালাইজেশনের সহায়তায় ছাত্র মডেলটি 4 ধাপে ডিনয়জিং সম্পন্ন করতে পারে, যা রিয়েল-টাইম ইনফারেন্সের চাহিদা পূরণ করে।
অনলাইন ট্র্যাজেক্টরি ডিস্টিলেশনের মাধ্যমে ড্রিফট দমন: অটোরিগ্রেসিভ দীর্ঘমেয়াদি জেনারেশনে ত্রুটি জমে যাওয়ার সমস্যা মোকাবিলায় প্রশিক্ষণের সময় শিক্ষক Probability Flow ODE-এর শেষ বিন্দুকে লক্ষ্য হিসেবে ব্যবহার করে ছাত্র মডেলের ভেলোসিটি ফিল্ড তত্ত্বাবধান করা হয়। এটি ডিস্ট্রিবিউশন ম্যাচিং লস (DMD)-এর সঙ্গে এলোমেলোভাবে পালাক্রমে ব্যবহৃত হয়, ফলে জেনারেশনের বৈচিত্র্য ও দীর্ঘমেয়াদি স্থিতিশীলতা দুটিই বজায় থাকে।
দীর্ঘমেয়াদি স্ট্রিমিং ফাইন-টিউনিং: স্লাইডিং-উইন্ডো KV cache-এর মাধ্যমে দীর্ঘ সিকোয়েন্স ধাপে ধাপে প্রশিক্ষণ করা হয়; sink ফ্রেম অ্যাঙ্কর এবং ঐতিহাসিক গ্রেডিয়েন্ট ট্রাঙ্কেশন রাখা হয়। প্রায় এক মিনিটের দীর্ঘ সিকোয়েন্স ফাইন-টিউনিংয়ের মাধ্যমে দীর্ঘ সময়ের জেনারেশনে দৃশ্যের ড্রিফট ও শব্দের অবনতি আরও কমানো হয়।

পদ্ধতি এক: অনলাইন অভিজ্ঞতা https://helixworld.org খুলে একটি নমুনা ছবি নির্বাচন করুন অথবা নিজের ছবি আপলোড করুন।
দৃশ্যের টেক্সট বর্ণনা লিখুন।
জগতে প্রবেশের পর WASD দিয়ে চলাচল এবং দিকনির্দেশক কী দিয়ে দৃষ্টিকোণ ঘুরিয়ে রিয়েল টাইমে তৈরি বিষয়বস্তু অনুসন্ধান করুন।
চলমান অবস্থায় যেকোনো সময় প্রম্পট পরিবর্তন করে পরবর্তী দৃশ্যের জেনারেশন সামঞ্জস্য করা যায়।
পদ্ধতি দুই: স্থানীয় ডিপ্লয়মেন্ট পরিবেশের প্রস্তুতি: Linux সিস্টেম, Python 3.11, CUDA 12.x, NVIDIA GPU (প্রস্তাবিত 80GB VRAM), ffmpeg এবং ffprobe।
প্রকল্প ডাউনলোড করে নির্ভরতা ইনস্টল করুন: git clone https://github.com/NoizAI/HelixWorld.git, conda পরিবেশ তৈরি করে pip install -r requirements.txt চালান।
মডেল ওজন ডাউনলোড করতে python download_models.py চালান।
একটি প্রাথমিক ছবি প্রস্তুত করে ./run.sh-এর মাধ্যমে ছবি, দৃশ্য/শব্দ/যৌথ প্রম্পট, অ্যাকশন সিকোয়েন্সসহ অন্যান্য প্যারামিটার নির্ধারণ করুন। MP4 আউটপুট outputs ডিরেক্টরিতে তৈরি হবে।

প্রথম ওপেন সোর্স রিয়েল-টাইম ইন্টার‌্যাক্টিভ অডিও-ভিজ্যুয়াল ওয়ার্ল্ড মডেল: ব্যবহারকারীর নিয়ন্ত্রণে দৃশ্য ও স্থানিক স্টেরিও শব্দ যৌথভাবে রিয়েল টাইমে তৈরি হয়, এবং কোড ও মডেল ওজন সম্পূর্ণ উন্মুক্ত।
সত্যিকারের “মাথা ঘোরালেই শব্দ বদল”: শব্দের অবস্থান দৃষ্টিকোণের ঘূর্ণনকে কঠোরভাবে অনুসরণ করে, এবং স্থানিক সামঞ্জস্যের স্কোর সমজাতীয় মডেলের তুলনায় কয়েক গুণ বেশি।
একটি GPU-তেই রিয়েল টাইম: একটি H800-তে 24 FPS ও RTF 0.77-এ রিয়েল-টাইম জেনারেশন, গতি সমজাতীয় মডেলের তুলনায় 2.5 গুণেরও বেশি।
দীর্ঘমেয়াদি জেনারেশনে ড্রিফট নেই: অনলাইন ট্র্যাজেক্টরি ডিস্টিলেশন ও দীর্ঘমেয়াদি ফাইন-টিউনিংয়ের ফলে 30 সেকেন্ডের বেশি ধারাবাহিক জেনারেশনেও দৃশ্য ও শব্দ স্থিতিশীল থাকে, এবং বৈচিত্র্য কমার বদলে বাড়ে।
অডিওর মানে সামগ্রিক অগ্রগণ্যতা: HelixBench-এর মূল সূচকগুলোতে সামগ্রিকভাবে সেরা ফল, এবং অডিওসহ দৃশ্যের ব্যবহারকারী ব্লাইন্ড টেস্টে 67.9% পছন্দের হার নিয়ে প্রতিদ্বন্দ্বীদের স্পষ্টভাবে ছাড়িয়ে যায়।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://helixworld.org/
GitHub রিপোজিটরি: https://github.com/NoizAI/HelixWorld
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2609.38123

ইমার্সিভ গেম প্রোটোটাইপ: মডেলিং ও গেম ইঞ্জিন ছাড়াই একটি ছবি ইনপুট দিয়ে হাঁটা ও অনুসন্ধানযোগ্য ওপেন ওয়ার্ল্ড তৈরি করা যায়, ফলে গেম ডেমো তৈরির সময় উল্লেখযোগ্যভাবে কমে।
VR/AR ভার্চুয়াল স্পেস: প্রথম-ব্যক্তি দৃষ্টিকোণ ও স্থানিক অডিওর সমন্বয় হেডসেট ডিভাইসের জন্য স্বাভাবিকভাবে উপযোগী; দ্রুত ভার্চুয়াল প্রদর্শনী হল ও ডিজিটাল টুইন পরিবেশ তৈরি করা যায়।
চলচ্চিত্র ও বিজ্ঞাপনের প্রিভিজ: পরিচালক কনসেপ্ট ছবি আপলোড করে দৃশ্যের ভেতরে “প্রবেশ” করে অডিও-ভিজ্যুয়াল প্রভাব শুনতে ও দেখতে পারেন, এবং শুটিংয়ের আগে কম খরচে ক্যামেরা ভাষা ও আবহ নকশা যাচাই করতে পারেন।
AI ভিডিও কল/ভার্চুয়াল অ্যাঙ্কর ব্যাকগ্রাউন্ড: কণ্ঠস্বর ও ইন্টার‌্যাকশনের ভিত্তিতে সামঞ্জস্যপূর্ণ ডায়নামিক ব্যাকগ্রাউন্ড ও সাউন্ড ইফেক্ট রিয়েল টাইমে তৈরি করে গ্রিন স্ক্রিন ও স্থির উপকরণের বিকল্প হিসেবে ব্যবহার করা যায়।
এমবডিড ইন্টেলিজেন্স প্রশিক্ষণ ও সিমুলেশন: ইন্টার‌্যাক্টিভ ওয়ার্ল্ড সিমুলেটর হিসেবে রোবট ও স্বয়ংচালিত যানকে শব্দ-আলো প্রতিক্রিয়াসহ কম খরচের প্রশিক্ষণ পরিবেশ দেয়, যা ভৌত ইন্টার‌্যাকশনের নিয়ম শেখায় সহায়তা করে।