জেডি ডটকম আজ নিজস্বভাবে তৈরি রিয়েল-টাইম স্ট্রিমিং ভিডিও এডিটিং মডেল JoyAI-Video-Edit ওপেন-সোর্স করার ঘোষণা দিয়েছে। ব্যবহারকারীরা ভিডিও দেখার সময়ই চরিত্র ও দৃশ্য পরিবর্তন করতে পারবেন। এর ফলে ভিডিও তৈরির প্রক্রিয়া “আগে উপকরণ তৈরি, পরে সম্পাদনা” থেকে রিয়েল-টাইম ইন্টার্যাক্টিভ সম্পাদনায় রূপান্তরিত হবে।
জেডি ডটকমের কর্মকর্তারা জানিয়েছেন, স্ট্রিমিং রিয়েল-টাইম ভিডিও সম্পাদনার ক্ষেত্রে JoyAI-Video-Edit বর্তমান শিল্পের প্রতিনিধিত্বশীল মডেলগুলোর তুলনায় সব সূচকে এগিয়ে এবং বিশ্বমানের পর্যায়ে পৌঁছেছে।
রিয়েল-টাইম ভিডিও সম্পাদনার প্রথম চ্যালেঞ্জ হলো গতি। ভিডিও একের পর এক ধারাবাহিক ফ্রেমে গঠিত। মডেল প্রক্রিয়াকরণের গতি প্লেব্যাকের গতির সঙ্গে তাল মিলিয়ে চলতে না পারলে আটকে যাওয়া ও বিলম্ব দেখা দেয়। সম্পূর্ণ নিজস্বভাবে তৈরি JoyAI-Video মডেলের ওপর ভিত্তি করে JoyAI-Video-Edit 720P রেজোলিউশনে প্রতি সেকেন্ডে ৩০ ফ্রেমের মডেল ইনফারেন্স গতি অর্জন করেছে। উচ্চ মানের ছবির স্বচ্ছতা বজায় রেখেও এটি সাধারণ চলচ্চিত্র ও টেলিভিশন ভিডিওর প্লেব্যাক গতির সঙ্গে তাল মিলিয়ে চলতে পারে।
ভিডিওর দৈর্ঘ্যও স্ট্রিমিং সম্পাদনার একটি বড় সীমাবদ্ধতা। এর আগে স্ট্রিমিং এডিটিং মডেলগুলো কয়েক সেকেন্ড বা কয়েক মিনিটের ক্লিপই প্রক্রিয়া করতে পারত। কিন্তু JoyAI-Video-Edit যেকোনো দৈর্ঘ্যের স্থিতিশীল স্ট্রিমিং সম্পাদনা সমর্থন করে এবং ভিডিও চলতে থাকার সঙ্গে সঙ্গে ধারাবাহিকভাবে প্রক্রিয়া চালাতে পারে। ব্যবহারকারীদের পুরো ভিডিও তৈরি হওয়া পর্যন্ত অপেক্ষা করতে হবে না; ভিডিও চলার সময়ই তারা দৃশ্য পরিবর্তন, বস্তু প্রতিস্থাপন, চরিত্রের চেহারা সমন্বয় বা ছবির স্টাইল বদলাতে পারবেন। অর্থাৎ “দেখতে দেখতেই তৈরি করা” সম্ভব হবে।
উদাহরণস্বরূপ, নির্মাতারা ভিডিওর চরিত্রকে ধারাবাহিকভাবে পোশাক বদলাতে দিতে পারেন, লাইভস্ট্রিমে সাধারণ রাস্তার দৃশ্যকে অ্যানিমেশনের জগতে রূপান্তর করতে পারেন, আবার বাড়ির অভ্যন্তরীণ নকশায় বিভিন্ন আসবাব, দেয়াল ও আলোর প্রভাবও পরীক্ষা করতে পারেন।
মডেলটির সক্ষমতা মূল্যায়নের জন্য গবেষণা দল JoyAI-Video-Edit-এর সঙ্গে আন্তর্জাতিকভাবে পরিচিত SANA Streaming, LiveEdit, Xmax-X2.0 এবং অন্যান্য প্রতিনিধিত্বশীল স্ট্রিমিং ভিডিও এডিটিং মডেলের তুলনা করেছে। ফলাফলে দেখা গেছে, প্রচলিত ভিডিও এডিটিং দৃশ্যপট অন্তর্ভুক্ত মূল্যায়ন ডেটায় JoyAI-Video-Edit-এর সামগ্রিক কার্যকারিতা সবদিক থেকে এগিয়ে।
শিল্পক্ষেত্রের স্বীকৃত OpenVE-Bench সাধারণ মূল্যায়নে মডেলটি বর্তমানে প্রচলিত সব স্ট্রিমিং এডিটিং পদ্ধতিকে ছাড়িয়ে গেছে। সামগ্রিক স্টাইল, স্থানীয় প্রতিস্থাপন, স্থানীয় অপসারণ এবং সাবটাইটেল সম্পাদনাসহ বিভিন্ন কাজে এর সুবিধা বিশেষভাবে স্পষ্ট; একই ধরনের শিল্প মডেলগুলোর তুলনায় এটি উল্লেখযোগ্যভাবে এগিয়ে।
শুধু ভিডিও তৈরিই নয়, JoyAI-Video-Edit embodied intelligence ডেটার বৃহৎ পরিসরে সংশ্লেষণের জন্যও একটি নতুন প্রযুক্তিগত পথ তৈরি করেছে। রোবট প্রশিক্ষণের জন্য প্রচুর বস্তু ধরার, বহন করার ও পরিচালনার ভিডিও দরকার হয়। কিন্তু বাস্তব রোবট দিয়ে ডেটা সংগ্রহের খরচ বেশি, আর বিপজ্জনক বা বিরল দৃশ্যও বারবার সংগ্রহ করা কঠিন। দৃশ্য, বস্তু ও ছবির বিষয়বস্তু নিয়ন্ত্রণযোগ্যভাবে সম্পাদনার সক্ষমতার ওপর নির্ভর করে JoyAI-Video-Edit মানুষের হাতের কাজের ভিডিওকে রোবটিক গ্রিপার বা রোবোটিক আর্ম পরিচালনার উপকরণে রূপান্তর করতে পারে। বস্তুগুলোর অবস্থান, স্থানিক সম্পর্ক ও গতিপথ বজায় রেখেই দৃশ্য, বস্তু এবং রোবটের আকৃতি পরিবর্তন করা যায়, ফলে একটি ভিডিও থেকে আরও বেশি প্রশিক্ষণ নমুনা তৈরি করা সম্ভব।
JoyAI-Video-Edit-এর ওপেন-সোর্স ঠিকানা:
https://huggingface.co/jdopensource/JoyAI-Video-Edit
https://github.com/jd-opensource/JoyAI-Video-Edit