EdenLive চালু আছে

EdenLive হলো VAST-এর তৈরি একটি রিয়েল-টাইম জেনারেটিভ রেন্ডারার, যা তাদের বিশ্ব মডেল প্রকল্প Project Eden-এর একটি পর্যায়ক্রমিক ফলাফল। EdenLive Proxy-এর সরলীকৃত দৃশ্য বা রেফারেন্স ভিডিওকে নিয়ন্ত্রণ সংকেত হিসেবে ব্যবহার করে, লক্ষ্য প্রথম ফ্রেম ও টেক্সট প্রম্পটের সঙ্গে মিলিয়ে ধারাবাহিকভাবে রিয়েল-টাইমে বাস্তবধর্মী বা স্টাইলাইজড দৃশ্য তৈরি করে। একটি RTX 5090-এ এটি 720P, 24FPS-এর বেশি গতি এবং মাত্র কয়েকশ মিলিসেকেন্ড বিলম্ব অর্জন করতে পারে। EdenLive-এর মূল নকশায় বিশ্ব-অবস্থা রক্ষণাবেক্ষণ ও ভিজ্যুয়াল রেন্ডারিং আলাদা রাখা হয়েছে। সম্পূর্ণ আর্ট অ্যাসেট ছাড়াই ইন্টার‌্যাক্টিভ দৃশ্য তৈরি করা যায়। এটি সম্পূর্ণ ওপেন সোর্স এবং গেম, অ্যানিমেশন ও embodied AI ডেটা তৈরিসহ বিভিন্ন ক্ষেত্রে ব্যবহার করা যায়।

রিয়েল-টাইম জেনারেটিভ রেন্ডারিং: Proxy-এর সরলীকৃত দৃশ্য বা রেফারেন্স ভিডিওকে নিয়ন্ত্রণ সংকেত হিসেবে ব্যবহার করে ধারাবাহিকভাবে রিয়েল-টাইমে বিস্তারিত বা স্টাইলাইজড দৃশ্য তৈরি করে; 720P-তে ফ্রেমরেট 24 FPS-এর বেশি।
যেকোনো ভিজ্যুয়াল স্টাইল পরিবর্তন: শুধু লক্ষ্য প্রথম ফ্রেম ও টেক্সট প্রম্পট দিলেই একই দৃশ্যকে অ্যানিমে, তেলচিত্র, বাস্তবধর্মীসহ বিভিন্ন ভিজ্যুয়াল স্টাইলে রূপান্তর করা যায়।
যেকোনো রেফারেন্স ইনপুট: 2D অ্যানিমেশন, 3D দৃশ্য, বাস্তব ভিডিওসহ বিভিন্ন উৎসকে গঠন ও গতির রেফারেন্স হিসেবে সমর্থন করে; নির্দিষ্ট রেন্ডারিং পাইপলাইনের ওপর নির্ভরশীল নয়।
Proxy-to-Fine জেনারেশন: মোটামুটি দৃশ্যের গঠন থেকে সরাসরি উচ্চমানের চূড়ান্ত দৃশ্য তৈরি করে; আগে থেকে সম্পূর্ণ আর্ট অ্যাসেট প্রস্তুত করার প্রয়োজন নেই।
গেম ইন্টার‌্যাকশন সংযুক্তি: আপস্ট্রিম ইন্টার‌্যাকশন সিস্টেমের সঙ্গে আলাদাভাবে কাজ করে, গেমের UI ও নিয়ন্ত্রণ ব্যবস্থা বজায় রেখে অবস্থা রক্ষণাবেক্ষণ এবং রিয়েল-টাইম রেন্ডারিংয়ের সম্পূর্ণ চেইন তৈরি করে।
ওপেন সোর্স ইকোসিস্টেম: মডেল ওজন, ইনফারেন্স কোড এবং প্রযুক্তিগত প্রতিবেদন উন্মুক্ত; সঙ্গে রয়েছে Game Prototype Turbo, যা প্রাকৃতিক ভাষা থেকে এক ক্লিকেই খেলার উপযোগী Proxy গেম তৈরি করতে পারে।
Embodied AI ডেটা তৈরি: মূল অ্যাকশন ট্র্যাজেক্টরি ও দৃশ্যের গঠন অক্ষুণ্ণ রেখে ভিজ্যুয়াল চেহারা পরিবর্তন করে, রোবট প্রশিক্ষণের জন্য বৈচিত্র্যময় ডেটা সরবরাহ করে।

WeChat-এ ফলো করে “开源” লিখে রিপ্লাই দিন, AI ওপেন সোর্স প্রকল্পের গ্রুপে যোগ দিন
অবস্থা ও রেন্ডারিং আলাদা করা আর্কিটেকচার: EdenLive বিশ্ব-অবস্থা রক্ষণাবেক্ষণ ও ভিজ্যুয়াল জেনারেশনকে পৃথক রাখে: গেমের নিয়ম, চরিত্রের অবস্থান, সংঘর্ষ নির্ধারণ ইত্যাদি আপস্ট্রিম ইন্টার‌্যাকশন সিস্টেম স্পষ্টভাবে রেকর্ড ও আপডেট করে। ভিডিও মডেলকে আর অন্তর্নিহিত অবস্থা অনুমান করতে হয় না। ফলে জেনারেশনের সময় বাড়ার সঙ্গে ভুল ধীরে ধীরে জমা হয় না এবং মডেল দৃশ্যের মান ও রিয়েল-টাইম পারফরম্যান্সে মনোযোগ দিতে পারে।
Proxy-to-Fine জেনারেশন প্যারাডাইম: মডেল Proxy-এর সরলীকৃত রেফারেন্স দৃশ্য থেকে দৃশ্যের বিন্যাস, ক্যামেরা মুভমেন্ট ও মোটামুটি গতিশীলতাকে শর্ত হিসেবে ব্যবহার করে। রেফারেন্স দৃশ্যের নির্দিষ্ট জ্যামিতিক নির্ভুলতা থাকা জরুরি নয়; তবুও বিস্তারিত লক্ষ্য দৃশ্য তৈরি করা যায়।
মাল্টিমোডাল শর্ত নিয়ন্ত্রণ: জেনারেশন তিন ধরনের ইনপুট দ্বারা চালিত হয়: রেফারেন্স ভিডিও স্ট্রিম গঠন ও গতির তথ্য দেয়, লক্ষ্য প্রথম ফ্রেম সামগ্রিক ভিজ্যুয়াল চেহারা ও স্টাইল নির্ধারণ করে, আর টেক্সট প্রম্পট স্টাইল ও বিস্তারিত তথ্য যোগ করে। তিনটি একসঙ্গে যেকোনো রেফারেন্স ও যেকোনো স্টাইলের নমনীয় নিয়ন্ত্রণ সম্ভব করে।
রিয়েল-টাইম স্ট্রিমিং জেনারেশন: মডেল অফলাইন সম্পূর্ণ ভিডিও তৈরি না করে স্ট্রিমিং ইনফারেন্স ব্যবহার করে। এটি ক্রমাগত পরিবর্তনশীল রেফারেন্স দৃশ্য গ্রহণ করে এবং ফ্রেম ধরে রেন্ডারিং ফলাফল দেয়। একটি RTX 5090, 5B প্যারামিটার ও 720P কনফিগারেশনে এটি 24 FPS-এর বেশি গতি এবং কয়েকশ মিলিসেকেন্ডের এন্ড-টু-এন্ড বিলম্ব অর্জন করে; কয়েক মিনিট ধরে ধারাবাহিকভাবে জেনারেট করতে পারে।

কোড সংগ্রহ: GitHub থেকে ওপেন সোর্স রিপোজিটরি ক্লোন করুন https://github.com/VAST-AI-Research/EdenLive।
ওজন ডাউনলোড: Hugging Face থেকে উপযুক্ত আকার ও স্পেসিফিকেশনের মডেল ওজন ডাউনলোড করুন https://huggingface.co/VAST-AI/EdenLive।
ইনপুট এক প্রস্তুত করুন, রেফারেন্স দৃশ্য: Proxy-এর সরলীকৃত দৃশ্য বা রেফারেন্স ভিডিও স্ট্রিম দিন, যা নিজস্ব 2D/3D দৃশ্য, গেম ইঞ্জিনের আউটপুট বা স্ক্রিন রেকর্ডিং থেকে আসতে পারে।
ইনপুট দুই প্রস্তুত করুন, লক্ষ্য প্রথম ফ্রেম: সামগ্রিক ভিজ্যুয়াল স্টাইল ও চেহারা নির্ধারণকারী একটি প্রথম ফ্রেমের ছবি নির্বাচন করুন।
ইনপুট তিন প্রস্তুত করুন, টেক্সট প্রম্পট: স্টাইল ও বিস্তারিত বর্ণনা করে এমন টেক্সট প্রম্পট লিখুন।
ইনফারেন্স চালান: ইনফারেন্স কোড কল করুন। EdenLive রেফারেন্স দৃশ্যকে নির্দিষ্ট স্টাইলের বিস্তারিত দৃশ্য বা ভিডিও স্ট্রিমে রিয়েল-টাইমে রেন্ডার করবে।
ইন্টার‌্যাকশন সিস্টেম সংযুক্ত করুন: আপস্ট্রিম ইঞ্জিনের তৈরি পরিবর্তনশীল রেফারেন্স দৃশ্য ধারাবাহিকভাবে মডেলে পাঠান, যাতে গেমসহ রিয়েল-টাইম ইন্টার‌্যাক্টিভ দৃশ্যের রেন্ডারিং লুপ সম্পূর্ণ হয়।
এন্ড-টু-এন্ড ডেমো ব্যবহার করুন: ওপেন সোর্স Game Prototype Turbo দিয়ে প্রাকৃতিক ভাষা থেকে খেলার উপযোগী Proxy গেম তৈরি করুন, তারপর EdenLive দিয়ে রিয়েল-টাইমে রেন্ডার করে সম্পূর্ণ প্রক্রিয়াটি দেখুন।

উচ্চ রিয়েল-টাইম পারফরম্যান্স: একটি RTX 5090 দিয়ে 720P, 24FPS-এর বেশি গতিতে কয়েক মিনিট ধরে ধারাবাহিকভাবে জেনারেট করা যায়; এন্ড-টু-এন্ড বিলম্ব মাত্র কয়েকশ মিলিসেকেন্ড।
স্থিতিশীল আলাদা আর্কিটেকচার: ইন্টার‌্যাকশন সিস্টেম স্পষ্টভাবে বিশ্ব-অবস্থা রক্ষণাবেক্ষণ করে, আর ভিডিও মডেল রেন্ডারিংয়ে মনোযোগ দেয়; অন্তর্নিহিত অবস্থা অনুমানের কারণে ভুল জমা হয় না।
কম ইনপুট বাধা: Proxy রেফারেন্সে সূক্ষ্ম জ্যামিতি বা নির্দিষ্ট রেন্ডারিং পাইপলাইন প্রয়োজন হয় না; মোটামুটি দৃশ্য থেকেই চূড়ান্ত মানের দৃশ্য তৈরি করা যায়।
স্বাধীন স্টাইল পরিবর্তন: একই রেফারেন্স দৃশ্য থেকে বাস্তবধর্মী, অ্যানিমে, তেলচিত্রসহ যেকোনো স্টাইল তৈরি করা যায়; প্রতিটি স্টাইলের জন্য নতুন করে অ্যাসেট বানাতে হয় না।
বিভিন্ন রেফারেন্সে ব্যবহারযোগ্য: 2D অ্যানিমেশন, 3D দৃশ্য, বাস্তব ভিডিওসহ বিভিন্ন উৎস সমর্থন করে এবং সেগুলোকে একীভূত জেনারেটিভ রেন্ডারিংয়ে রূপ দেয়।

প্রকল্পের ওয়েবসাইট：https://vast-eden.ai/?p=edenlive
GitHub রিপোজিটরি：https://github.com/VAST-AI-Research/EdenLive
HuggingFace মডেল রিপোজিটরি：https://huggingface.co/VAST-AI/EdenLive
প্রযুক্তিগত পেপার：https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

AI গেম ডেভেলপমেন্ট: EdenLive-এর রিয়েল-টাইম রেন্ডারিংয়ের মাধ্যমে চূড়ান্ত মানের দৃশ্য তৈরি করে স্বাধীন ডেভেলপাররা কম খরচে 3D গেম বানাতে পারেন।
চলচ্চিত্র ও অ্যানিমেশনের প্রি-প্রোডাকশন: পরিচালক সরল দৃশ্যের মাধ্যমে কম্পোজিশন, ক্যামেরা মুভমেন্ট ও চরিত্রের গতিপথ নির্ধারণ করার পর এক ক্লিকেই বাস্তবধর্মী, কার্টুন, তেলচিত্রসহ বিভিন্ন স্টাইলের সংস্করণ তৈরি করতে পারেন এবং দ্রুত আর্ট ডিরেকশন চূড়ান্ত করতে পারেন।
রিয়েল-টাইম স্টাইলাইজড লাইভস্ট্রিম/ভিডিও: বাস্তব মানুষের ভিডিওকে রেফারেন্স হিসেবে ব্যবহার করে অভিনয়কে রিয়েল-টাইমে অ্যানিমে বা অন্য স্টাইলের দৃশ্যে রেন্ডার করা যায়, যা ভার্চুয়াল অ্যাঙ্কর ও শর্ট ভিডিও তৈরিতে ব্যবহারযোগ্য।
Embodied AI প্রশিক্ষণ ডেটা তৈরি: রোবটের অ্যাকশন ট্র্যাজেক্টরি ও দৃশ্যের গঠন অক্ষুণ্ণ রেখে ভিজ্যুয়াল চেহারা পরিবর্তন করে রোবট প্রশিক্ষণের জন্য দ্রুত বৈচিত্র্যময় সিমুলেশন ডেটা তৈরি করা যায়।
ইন্টার‌্যাক্টিভ শিক্ষা ও ভার্চুয়াল অভিজ্ঞতা: শিক্ষা ও প্রদর্শনমূলক অ্যাপের সরলীকৃত 3D দৃশ্যকে রিয়েল-টাইমে উচ্চমানের দৃশ্যে রেন্ডার করে, যাতে ব্যবহারকারীরা ব্রাউজার বা হালকা ডিভাইসেই নিমগ্ন ও ইন্টার‌্যাক্টিভ অভিজ্ঞতা পান।