WeVisCut চালু আছে

WeVisCut হলো Tencent WeChat Vision-এর ওপেন-সোর্স করা দীর্ঘ ভিডিও স্বয়ংক্রিয় সম্পাদনা Agent। ভয়েসওভার স্ক্রিপ্ট ইনপুট দিলে, একটি 9B ছোট মডেল শেয়ার করা উৎপাদন-অবস্থার রানটাইম ব্যবহার করে স্বয়ংক্রিয়ভাবে শট বিভাজন, ভয়েসওভার, উপকরণ অনুসন্ধান, সংযোজন ও গুণমান যাচাই এবং মেরামত সম্পন্ন করে, সরাসরি কয়েক মিনিটের সম্পূর্ণ ভিডিও তৈরি করে। WeVisCut সম্পাদনা উল্টো বিশ্লেষণ ও যাচাইকৃত রিপ্লে পাইপলাইন ব্যবহার করে 3,750টি সম্পূর্ণ ভিডিও থেকে ১৩০,০০০-এর বেশি প্রশিক্ষণ ডেটা পুনরুদ্ধার করেছে। মূল্যায়নে Claude Opus 5-এর সমতুল্য ফল দেখিয়েছে, জেনারেট করা token প্রায় 33 গুণ কম লাগে এবং প্রতি মিনিট সম্পূর্ণ ভিডিওর খরচ মাত্র $0.09।

স্ক্রিপ্ট থেকে দীর্ঘ ভিডিও: ভয়েসওভার/জ্ঞানভিত্তিক স্ক্রিপ্ট ইনপুট দিলে স্বয়ংক্রিয়ভাবে কয়েক মিনিটের সম্পূর্ণ ভিডিও তৈরি হয়, হাতে শট বিভাজনের প্রয়োজন নেই।
একক কৌশলে সম্পূর্ণ প্রক্রিয়ার সিদ্ধান্ত: একটি 9B মডেল একইসঙ্গে সমন্বয়কারী, সৃষ্টিকারী ও সমালোচকের তিনটি ভূমিকা পালন করে এবং বহু-ধাপের Agent workflow প্রতিস্থাপন করে।
শেয়ার করা উৎপাদন-অবস্থা: harness শট, উপকরণ, টাইমলাইনসহ বিভিন্ন অবস্থা স্থায়ীভাবে সংরক্ষণ করে; আগের ধাপের টুলের ফলাফল সরাসরি পরের ধাপের সিদ্ধান্তকে নিয়ন্ত্রণ করে।
বন্ধ-চক্র গুণমান যাচাই ও মেরামত: কৌশলটি স্বয়ংক্রিয়ভাবে সম্পূর্ণ ভিডিও পরীক্ষা করে, ব্যর্থতা শনাক্ত করে এবং সীমাবদ্ধ স্থানীয় মেরামত করে; সফল অংশগুলো পুনরায় তৈরি করে না।
পরিচালকের সঙ্গে কথোপকথনে ভিডিও সম্পাদনা: প্রথম সংস্করণ তৈরির পর চ্যাটের মাধ্যমে উপকরণ বদলানো, সংগীত পরিবর্তন বা সাবটাইটেল সামঞ্জস্য করা যায়; কৌশলটি স্থানীয়ভাবে পুনঃপরিকল্পনা করে নতুন সংস্করণ সরবরাহ করে।
সম্পাদনাযোগ্য টাইমলাইন সরবরাহ: Studio রানটাইম 8-ট্র্যাক টাইমলাইন প্রদান করে এবং প্রতিটি শট পুনরায় রেন্ডার ও সংস্করণ ফিরিয়ে নেওয়া সমর্থন করে।
কম খরচে ব্যক্তিগত স্থাপন: সফলভাবে তৈরি প্রতি মিনিটে খরচ প্রায় $0.09 এবং দেয়াল-ঘড়ি সময় 2.1 মিনিট; 9B ওজন ওপেন-সোর্স হওয়ায় স্থানীয়ভাবে স্থাপন করা যায়।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন এবং AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
সমস্যার সংজ্ঞা: দীর্ঘ প্রক্রিয়ার উৎপাদন-অবস্থা ব্যবস্থাপনা। দীর্ঘ ভিডিওর স্ক্রিপ্ট থেকে ভিডিও তৈরির কঠিন দিক হলো উপকরণ নির্বাচন, টুল চালানো এবং মেরামতের সিদ্ধান্ত পরস্পরের ওপর নির্ভরশীল; প্রতিটি শট আলাদাভাবে সঠিক হলেই পুরো ভিডিওর ছন্দ ঠিক থাকে না। একাধিক সাধারণ Agent ধাপে ভাগ করলে প্রতিটি ধাপকে পুরো বৈশ্বিক প্রেক্ষাপট আবার সিরিয়ালাইজ করতে হয়, ফলে শটের সংখ্যা বাড়ার সঙ্গে token ও কলের খরচও সরলরৈখিকভাবে বাড়ে। WeVisCut-এর মূল ধারণা হলো একটি 9B কৌশল দিয়ে পুরো উৎপাদন-অবস্থা বজায় রাখা, যাতে “সম্পূর্ণ প্রেক্ষাপট বোঝা” প্রতিটি ধাপে পুনরাবৃত্তি না করে একবার ধারাবাহিকভাবে করা যায়।
অবস্থা-নির্ভর Harness: শেয়ার করা উৎপাদন-অবস্থা। Runtime একটি স্থায়ী production state বজায় রাখে এবং কেবল যাচাইকৃত টুলের ফলাফলই অবস্থায় লেখে। কৌশলটি প্রতিবার একটি মাত্র টুল কল পাঠায় এবং বর্তমান অবস্থা থেকে বৈধ কাজ নির্বাচন করে; অবৈধ কলকে টাইপভিত্তিক blocker প্রত্যাখ্যান করে, ফলে নির্ভরতা আগে পূরণ করে পুনরায় চেষ্টা করতে হয়। অবস্থা ও মডেলের প্রেক্ষাপট আলাদা থাকে, তাই কৌশলটিকে পুরো ইতিহাস বারবার বহন করতে হয় না।
একক কৌশলের তিন ভূমিকা: একই শেয়ার করা প্যারামিটারের কৌশল ভূমিকা-রাউটিংয়ের মাধ্যমে সমন্বয়কারী, সৃষ্টিকারী ও সমালোচক হিসেবে কাজ করে। Action space 12টি টুলে নির্দিষ্ট; কোনো হার্ডকোড করা ধাপ-যন্ত্র নেই। পুরো ট্রাজেক্টরি কৌশল নিজেই নির্ধারণ করে, আর গার্ডরেল কেবল অবৈধ কল আটকায়।
প্রশিক্ষণ ডেটা: Editing Inversion + Verified Replay। সম্পূর্ণ ভিডিওতে শুধু ফলাফল দেখা যায়, সম্পাদনার উদ্দেশ্য প্রকাশ পায় না। লেখক চার ধাপের পাইপলাইনে তত্ত্বাবধান পুনরুদ্ধার করেন: প্রথমে সম্পূর্ণ ভিডিও থেকে স্ক্রিপ্ট ও শটের উদ্দেশ্য উল্টোভাবে অনুমান করা হয়; পরে runtime-এ রিপ্লে করে চালানোর সক্ষমতা যাচাই করা হয়; রিপ্লেতে ত্রুটি ধরা পড়লে সীমাবদ্ধ মেরামত করা হয় এবং সফল ফল সংরক্ষণ করা হয়; শেষে টুলের প্রতিক্রিয়াসহ কার্যকর রেকর্ডকে প্রশিক্ষণ উদাহরণে রূপ দেওয়া হয়। 3,750টি সম্পূর্ণ ভিডিও থেকে 134,771টি কার্যকর তত্ত্বাবধান ডেটা তৈরি করা হয়েছে, যা মডেলকে ব্যর্থতার পর পুনরুদ্ধার করতে শেখায়।
তিন ধাপের প্রশিক্ষণ: একীভূত SFT এবং runtime যাচাইকরণসহ RFT টুল ব্যবহার ও পুনরুদ্ধার আচরণের প্রাথমিক প্রশিক্ষণ সম্পন্ন করে; Guided-OPD শিক্ষক হস্তক্ষেপের মাধ্যমে পুনরুদ্ধারের সিদ্ধান্ত শেখায় এবং প্রশিক্ষণের সঙ্গে হস্তক্ষেপ ধীরে ধীরে কমায়; RCF-DAPO একই ভূমিকা ও একই উৎপাদন-প্রেক্ষাপটে প্রার্থীদের ফল তুলনা করে সিদ্ধান্তের মান উন্নত করে। তিন ধাপে Overall স্কোর বেসের 74.5 থেকে 90.5-এ উন্নীত হয়েছে।

কোড সংগ্রহ: GitHub থেকে github.com/Tencent/WeVisCut রিপোজিটরি ক্লোন করুন।
পরিবেশ প্রস্তুত: রিপোজিটরির নির্দেশনা অনুযায়ী Studio রানটাইম ও নির্ভরতা ইনস্টল করুন।
মডেল ডাউনলোড: HuggingFace থেকে tencent/WeVisCut-এর 9B ওজন ডাউনলোড করুন।
সেবা চালু: স্টার্টআপ স্ক্রিপ্ট চালিয়ে কৌশল ও টুল রেজিস্ট্রি লোড করুন এবং Studio ওয়েব ইন্টারফেস খুলুন।
স্ক্রিপ্ট ইনপুট: ইন্টারফেসে ভয়েসওভার/জ্ঞানভিত্তিক দীর্ঘ স্ক্রিপ্ট পেস্ট বা আপলোড করুন।
উৎপাদন পর্যবেক্ষণ: Agent স্বয়ংক্রিয়ভাবে অধ্যায় ও শট ভাগ করে, ভয়েসওভার তৈরি করে, উপকরণ অনুসন্ধান করে এবং বাস্তব সময়ে টাইমলাইন তৈরি করে; পুরো প্রক্রিয়া দেখা যায়।
কথোপকথনের মাধ্যমে পরিবর্তন: প্রথম সংস্করণ তৈরির পর পরিচালকের চ্যাট উইন্ডোতে পরিবর্তনের অনুরোধ করুন এবং স্থানীয়ভাবে নতুন সংস্করণ তৈরি করুন।
সম্পূর্ণ ভিডিও রপ্তানি: টাইমলাইন ইন্টারফেসে প্রতিটি শট নিশ্চিত করে চূড়ান্ত ভিডিও রপ্তানি করুন, অথবা প্রয়োজনে সংস্করণ ফিরিয়ে নিয়ে পুনরায় রেন্ডার করুন।

অত্যন্ত কম খরচ: সফলভাবে এক মিনিট ভিডিও তৈরি করতে মাত্র 2,377টি জেনারেট করা token ও $0.09 লাগে; 9B ছোট মডেল ব্যক্তিগতভাবে স্থাপন করা যায়।
নির্ভরযোগ্য সরবরাহ: পাঁচটি সূচকে Overall 90.5, যা বেসের চেয়ে 16 পয়েন্ট বেশি; পরিকল্পনা বাস্তবায়নের হার, দীর্ঘমেয়াদি সামঞ্জস্য এবং রেন্ডারিং ফলনের হারে সামগ্রিকভাবে এগিয়ে।
একটি কৌশলেই পুরো প্রক্রিয়া: একক 9B মডেল সমন্বয়, সৃষ্টি ও সমালোচনার তিন ভূমিকা পালন করে এবং বহু-ধাপের Agent workflow প্রতিস্থাপন করে, ফলে প্রেক্ষাপট বারবার পুনর্নির্মাণের প্রয়োজন হয় না।
অবস্থার ধারাবাহিক ব্যবস্থাপনা: শেয়ার করা উৎপাদন-অবস্থা আগের ধাপের টুলের ফলাফলকে পরের ধাপের সিদ্ধান্তের সঙ্গে সরাসরি যুক্ত করে; দীর্ঘ প্রক্রিয়ায় ছন্দ নষ্ট হয় না এবং পুরো প্রেক্ষাপট বারবার বুঝতে হয় না।
স্বয়ংক্রিয় মেরামত: প্রশিক্ষণ ডেটায় ব্যর্থতার পর পুনরুদ্ধারের ট্রাজেক্টরি রয়েছে। কৌশলটি গুণমান যাচাই, সমস্যা শনাক্তকরণ ও সীমাবদ্ধ স্থানীয় মেরামত করতে পারে এবং সফল অংশগুলো সংরক্ষণ করে।
ইন্টার‌্যাক্টিভ ভিডিও সম্পাদনা: সম্পূর্ণ ভিডিও তৈরির পর স্বাভাবিক ভাষায় কথোপকথনের মাধ্যমে পরিবর্তন করা যায়; স্থানীয়ভাবে পুনঃপরিকল্পনা হয়, পুনরায় শুটিং নয়।

প্রকল্পের ওয়েবসাইট: https://tencent.github.io/WeVisCut/
GitHub রিপোজিটরি: https://github.com/Tencent/WeVisCut
HuggingFace মডেল: https://huggingface.co/tencent/WeVisCut
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2610.38352

জ্ঞানভিত্তিক জনপ্রিয় বিজ্ঞান ভিডিওর ব্যাপক উৎপাদন: জনপ্রিয় বিজ্ঞানভিত্তিক দীর্ঘ লেখা/ভয়েসওভার স্ক্রিপ্ট স্বয়ংক্রিয়ভাবে কয়েক মিনিটের ব্যাখ্যামূলক ভিডিওতে রূপান্তর করা যায়; MCN ও স্বতন্ত্র কনটেন্ট নির্মাতাদের দৈনিক প্রকাশের জন্য উপযোগী।
কর্পোরেট প্রশিক্ষণ ও কোর্স তৈরি: প্রশিক্ষণ সামগ্রী ও কোর্সের ভয়েসওভার দ্রুত সম্পূর্ণ ভিডিওতে রূপান্তর করে অভ্যন্তরীণ প্রশিক্ষণ ভিডিও তৈরির আউটসোর্সিং খরচ কমানো যায়।
সংবাদ ও তথ্যের ভিজ্যুয়ালাইজেশন: অর্থনীতি ও প্রযুক্তি-সংক্রান্ত সংবাদ স্ক্রিপ্ট থেকে স্বয়ংক্রিয়ভাবে ছবি, সংগীত ও সম্পূর্ণ ভিডিও তৈরি করা যায়; দ্রুতগতির সংবাদ অ্যাকাউন্টে প্রকাশের উপযোগী।
বিপণন ও পণ্য ব্যাখ্যা: এক ক্লিকে পণ্যের কপি থেকে প্রচারমূলক ভিডিওর প্রাথমিক সংস্করণ তৈরি করা যায়, এরপর বিপণনকর্মীরা কথোপকথনের মাধ্যমে উপকরণ ও শৈলী সূক্ষ্মভাবে সামঞ্জস্য করতে পারেন।
বহুভাষিক কনটেন্ট আন্তর্জাতিক বাজারে প্রকাশ: স্ক্রিপ্ট অনুবাদ করে সরাসরি নতুন ভয়েসওভার ও সাবটাইটেল সংস্করণ তৈরি করা যায় এবং একই উৎপাদন পাইপলাইন ব্যাপকভাবে পুনর্ব্যবহার করা যায়।