JoyAI-Video-Edit চালু আছে

JoyAI-Video-Edit হলো JD.com-এর নিজস্বভাবে তৈরি ও ওপেন-সোর্স করা রিয়েল-টাইম স্ট্রিমিং ভিডিও এডিটিং মডেল। এটি 16B প্যারামিটারের অটোরিগ্রেসিভ ডিফিউশন আর্কিটেকচারের ওপর ভিত্তি করে তৈরি এবং 720P রেজোলিউশনে 30FPS ইনফারেন্স গতি অর্জন করে। মডেলটি যেকোনো দৈর্ঘ্যের ভিডিওতে স্থিতিশীল স্ট্রিমিং এডিটিং সমর্থন করে। ব্যবহারকারীরা ভিডিও চলার সময় স্বাভাবিক ভাষার নির্দেশের মাধ্যমে মানুষ, দৃশ্য, স্টাইল ও বস্তু রিয়েল টাইমে পরিবর্তন করতে পারেন, সম্পূর্ণ ভিডিও তৈরি হওয়ার জন্য অপেক্ষা করার প্রয়োজন হয় না। OpenVE-Bench মূল্যায়নে মডেলটি সব স্ট্রিমিং এডিটিং পদ্ধতিকে ছাড়িয়ে প্রতিটি সূচকে এগিয়ে রয়েছে এবং embodied intelligence-এর জন্য বৃহৎ পরিসরে ডেটা সংশ্লেষণের পথও তৈরি করতে পারে।

রিয়েল-টাইম স্ট্রিমিং এডিটিং: ভিডিও ফ্রেম আসার সঙ্গে সঙ্গে সম্পাদনা করা যায়, সম্পূর্ণ সিকোয়েন্স আগে থেকে জানা প্রয়োজন নেই।
ওপেন-এন্ডেড নির্দেশনা নিয়ন্ত্রণ: গ্লোবাল স্টাইল ট্রান্সফার, স্থানীয় অবজেক্ট যোগ, অপসারণ ও পরিবর্তন, ব্যাকগ্রাউন্ড প্রতিস্থাপন, অ্যাকশন সমন্বয় এবং রেফারেন্স ছবি-নির্দেশিত সম্পাদনা সমর্থন করে।
যেকোনো দৈর্ঘ্যের প্রক্রিয়াকরণ: সেকেন্ড বা মিনিটভিত্তিক সীমাবদ্ধতা অতিক্রম করে, ভিডিও চলার সঙ্গে ধারাবাহিকভাবে স্থিতিশীল সম্পাদনা করা যায়।
720P উচ্চ-থ্রুপুট ডিপ্লয়মেন্ট: 720×1280 রেজোলিউশনে এন্ড-টু-এন্ড pipeline 30.19 FPS গতি অর্জন করে।
বহুমাত্রিক সম্পাদনা ক্ষমতা: পোশাক পরিবর্তন, দৃশ্য রূপান্তর, স্টাইল পরিবর্তন, বস্তু প্রতিস্থাপন ও সাবটাইটেল সম্পাদনাসহ বিভিন্ন কাজ সমর্থন করে।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন এবং AI ওপেন-সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
MLLM কন্ডিশন এনকোডার: মাল্টিমোডাল বৃহৎ ভাষা মডেলের মাধ্যমে স্বাভাবিক ভাষার নির্দেশকে এডিটিং কন্ডিশনে এনকোড করে, ফলে ওপেন-এন্ডেড সেমান্টিক নিয়ন্ত্রণ সম্ভব হয়।
কারণগত ভিডিও VAE: কারণগত টেম্পোরাল কাঠামোর ভ্যারিয়েশনাল অটোএনকোডার ব্যবহার করে ভিডিও ফ্রেম সংকোচন ও পুনর্গঠন করা হয়, যা স্ট্রিমিং পরিস্থিতিতে টেম্পোরাল সামঞ্জস্য নিশ্চিত করে।
16B প্যারামিটারের MMDiT ব্যাকবোন: 16B মাল্টিমোডাল ডিফিউশন Transformer-কে মূল ভিত্তি হিসেবে ব্যবহার করে টেক্সট ও ভিজ্যুয়াল বৈশিষ্ট্য একত্রিত করে অটোরিগ্রেসিভ ডিফিউশন জেনারেশন সম্পন্ন করে।
অটোরিগ্রেসিভ ডিস্ট্রিবিউশন-ম্যাচিং ডিস্টিলেশন: অটোরিগ্রেসিভ ডিস্ট্রিবিউশন সামঞ্জস্যপূর্ণ ডিস্টিলেশন কৌশলের মাধ্যমে ইনফারেন্স দ্রুত করা হয় এবং প্রশিক্ষণ ও ইনফারেন্সের ডিস্ট্রিবিউশন পার্থক্য উল্লেখযোগ্যভাবে কমানো হয়।
দীর্ঘ-সময়কালীন অপ্টিমাইজেশন ও bounded KV ইনফারেন্স: দীর্ঘ-সময়কালীন স্থিতিশীলতা অপ্টিমাইজেশন এবং bounded KV cache প্রক্রিয়া প্রবর্তন করে ক্রমবর্ধমান টেম্পোরাল বিচ্যুতি দমন করা হয় এবং উচ্চ থ্রুপুট বজায় রাখা হয়।

পরিবেশ প্রস্তুতি: python=3.10 সহ একটি Conda পরিবেশ তৈরি করুন এবং requirements.txt-এর নির্ভরতা ইনস্টল করুন।
ওজন ডাউনলোড: Hugging Face থেকে মডেল ফাইল সংগ্রহ করে নির্দিষ্ট ডিরেক্টরি কাঠামো অনুযায়ী checkpoint রাখুন।
সেবা চালু: deploy ডিরেক্টরিতে গিয়ে bash run_server.sh চালিয়ে স্থানীয় সার্ভার চালু করুন।
ইন্টারফেসে প্রবেশ: ব্রাউজারে http://localhost:8080 খুলে ইন্টার‌্যাক্টিভ এডিটিং ইন্টারফেসে প্রবেশ করুন।
রিয়েল-টাইম এডিটিং: ভিডিও আপলোড করুন বা ক্যামেরা স্ট্রিম সংযুক্ত করুন, তারপর স্বাভাবিক ভাষার নির্দেশ লিখে ভিডিও চলার সময় সম্পাদনা করুন।

রিয়েল-টাইম স্ট্রিমিং এডিটিং: ভিডিও ফ্রেম আসার সঙ্গে সঙ্গে প্রক্রিয়াকরণ করা হয়, সম্পূর্ণ সিকোয়েন্সের জন্য অপেক্ষা করতে হয় না, ফলে সত্যিকারের ভিডিও চলার সময় সম্পাদনার ইন্টার‌্যাক্টিভ অভিজ্ঞতা পাওয়া যায়।
গতি ও মানের সমন্বয়: 720P রেজোলিউশনে এন্ড-টু-এন্ড ইনফারেন্স গতি 30.19 FPS এবং OpenVE-Bench মূল্যায়নে সব স্ট্রিমিং ও অফলাইন এডিটিং পদ্ধতিকে ছাড়িয়ে গেছে।
যেকোনো দৈর্ঘ্যে স্থিতিশীল আউটপুট: প্রচলিত মডেলের সেকেন্ড বা মিনিটদৈর্ঘ্যের ক্লিপ সীমাবদ্ধতা অতিক্রম করে, ভিডিও চলার সঙ্গে দীর্ঘ সময় ধরে বিচ্যুতিহীন স্থিতিশীল সম্পাদনা করা যায়।
ওপেন-এন্ডেড সেমান্টিক নিয়ন্ত্রণ: MLLM কন্ডিশন এনকোডারের ভিত্তিতে স্বাভাবিক ভাষার নির্দেশের মাধ্যমে গ্লোবাল স্টাইল, স্থানীয় অবজেক্ট, ব্যাকগ্রাউন্ড প্রতিস্থাপন ও রেফারেন্স ছবি-নির্দেশিত সম্পাদনাসহ বহুমাত্রিক এডিটিং সমর্থন করে।
দক্ষ ইনফারেন্স আর্কিটেকচার: 16B প্যারামিটারের অটোরিগ্রেসিভ ডিফিউশন Transformer-এর সঙ্গে ডিস্ট্রিবিউশন-ম্যাচিং ডিস্টিলেশন ও bounded KV cache ব্যবহার করে প্রশিক্ষণ ও ইনফারেন্সের পার্থক্য উল্লেখযোগ্যভাবে কমানো এবং টেম্পোরাল ক্রমবর্ধমান ত্রুটি দমন করা হয়।

GitHub রিপোজিটরি：https://github.com/jd-opensource/JoyAI-Video-Edit
HuggingFace মডেল রিপোজিটরি：https://huggingface.co/jdopensource/JoyAI-Video-Edit
arXiv প্রযুক্তিগত গবেষণাপত্র：https://arxiv.org/pdf/2608.03974

স্বল্পদৈর্ঘ্য ভিডিও নির্মাণ: নির্মাতারা ভিডিও চলার সময় মানুষের পোশাক রিয়েল টাইমে পরিবর্তন ও দৃশ্যের স্টাইল সমন্বয় করতে পারেন, ফলে কনটেন্ট উৎপাদনের দক্ষতা বাড়ে।
লাইভ স্ট্রিমিংয়ের রিয়েল-টাইম ইফেক্ট: স্ট্রিমাররা সম্প্রচারের সময় ব্যাকগ্রাউন্ড পরিবর্তন বা ভার্চুয়াল উপাদান যোগ করে ইন্টার‌্যাক্টিভ ভিজ্যুয়াল উন্নতি করতে পারেন।
গৃহসজ্জা ও অভ্যন্তরীণ নকশা: ব্যবহারকারীরা ঘরের ভিডিও দেখার সময় আসবাব, দেয়ালের উপকরণ ও আলোর প্রভাব রিয়েল টাইমে পরিবর্তন করে সাজসজ্জার সিদ্ধান্তে সহায়তা নিতে পারেন।
চলচ্চিত্র ও টেলিভিশনের পোস্ট-প্রোডাকশন প্রিভিজ: পরিচালকরা সম্পাদনার পর্যায়ে দ্রুত বিভিন্ন ভিজ্যুয়াল স্টাইল ও দৃশ্য প্রতিস্থাপন পরীক্ষা করতে পারেন, ফলে পরীক্ষামূলক পরিবর্তনের খরচ কমে।
Embodied intelligence ডেটা সংশ্লেষণ: মানুষের হাতের কাজের ভিডিওকে রোবোটিক আর্ম পরিচালনার উপকরণে রূপান্তর করে কম খরচে রোবট প্রশিক্ষণ ডেটার পরিমাণ বাড়ানো যায়।