আজ MiniMax আনুষ্ঠানিকভাবে তাদের নতুন প্রজন্মের সাধারণ ভিডিও মডেল MiniMax H3 ওপেন সোর্স করেছে।
জানা গেছে, MiniMax H3 একটি সাধারণ-উদ্দেশ্যের পূর্ণ-মাল্টিমোডাল জেনারেটিভ সিস্টেম। এটি টেক্সট, ছবি, ভিডিও ও অডিও দিয়ে গঠিত মাল্টিমোডাল কনটেক্সট একসঙ্গে বুঝতে পারে এবং সর্বোচ্চ 2K রেজোলিউশন, সর্বোচ্চ 15 সেকেন্ড দৈর্ঘ্য ও নেটিভ স্টেরিও অডিওসহ ভিডিও তৈরি করতে পারে। টাস্ক জেনারালাইজেশনভিত্তিক সিস্টেম নকশার কারণে, প্রি-ট্রেনিং পর্যায়েই H3 বিস্তৃত মাল্টিমোডাল কনটেক্সট বোঝা ও তৈরি করার সক্ষমতা অর্জন করেছে। ফলে এটি জটিল মাল্টিমোডাল নির্দেশনা অত্যন্ত ভালোভাবে অনুসরণ করতে পারে।
H3 নিম্নলিখিত ইনপুট ও আউটপুট স্পেসিফিকেশন সমর্থন করে:
আউটপুট দৈর্ঘ্য: 4–15 সেকেন্ড
আউটপুট অ্যাসপেক্ট রেশিও: 21:9, 16:9, 4:3, 1:1, 3:4 এবং 9:16-সহ বিভিন্ন অ্যাসপেক্ট রেশিও সমর্থন করে, তবে এগুলোতেই সীমাবদ্ধ নয়
আউটপুট রেজোলিউশন: বিভিন্ন রেজোলিউশন সমর্থন করে; ডিফল্টভাবে ছোট প্রান্ত 768 পিক্সেলে সেট করা হয়। H3-Regenerate-2K ব্যবহার করে 2K রেজোলিউশনে জেনারেশন করা যায়
আউটপুট ফ্রেম রেট: 24 FPS
আউটপুট অডিও: 32 kHz স্টেরিও
সমর্থিত কথোপকথনের ভাষা: স্থিতিশীলভাবে 11টি ভাষা সমর্থন করে: আরবি, চীনা, ইংরেজি, ফরাসি, জার্মান, ইতালীয়, জাপানি, কোরিয়ান, পর্তুগিজ, রুশ এবং স্প্যানিশ। অন্যান্য ভাষার ক্ষেত্রেও বিভিন্ন মাত্রায় সমর্থন রয়েছে।
মডেল সংস্করণ ও ইনপুট স্পেসিফিকেশন:
① H3-Base-FL2VA
প্রথম ও শেষ ফ্রেম মোড: 0, 1 বা 2টি ছবি ইনপুট হিসেবে সমর্থন করে:
কোনো ছবি ইনপুট না দিলে এটি টেক্সট-টু-ভিডিও মোড;
প্রথম ফ্রেমের ছবি ইনপুট দিলে এটি প্রথম ফ্রেম-টু-ভিডিও মোড;
শেষ ফ্রেমের ছবি ইনপুট দিলে এটি শেষ ফ্রেম-টু-ভিডিও মোড;
একসঙ্গে প্রথম ও শেষ ফ্রেমের ছবি ইনপুট দিলে এটি প্রথম ও শেষ ফ্রেম-টু-ভিডিও মোড
② H3-Base-Ref2VA
পূর্ণ-মাল্টিমোডাল রেফারেন্স মোড:
ছবি: সর্বোচ্চ 9টি;
ভিডিও: সর্বোচ্চ 3টি ক্লিপ; প্রতিটি ক্লিপের দৈর্ঘ্য 2–15 সেকেন্ড হতে হবে এবং মোট দৈর্ঘ্য 15 সেকেন্ডের বেশি হতে পারবে না;
অডিও: সর্বোচ্চ 3টি ক্লিপ। অডিও অবশ্যই ছবি বা ভিডিওর সঙ্গে ইনপুট দিতে হবে, একমাত্র ইনপুট হিসেবে দেওয়া যাবে না; প্রতিটি ক্লিপের দৈর্ঘ্য 2–15 সেকেন্ড হতে হবে এবং মোট দৈর্ঘ্য 15 সেকেন্ডের বেশি হতে পারবে না;
মিশ্র ইনপুট: সব ধরনের ইনপুট ফাইল মিলিয়ে সর্বোচ্চ 12টি
সম্পূর্ণ H3 সিস্টেমটি নিম্নলিখিত তিনটি মডিউল নিয়ে গঠিত:
H3-Contex t-IR: ইনপুট ক্রমশ জটিল হয়ে ওঠায়, আমরা এমন একটি বিশেষ সিস্টেম তৈরি করেছি, যা ইনপুটের মাল্টিমোডাল নির্দেশনা গভীরভাবে বুঝে তা থেকে মূল তথ্য বের করে এবং H3-এর জন্য সহজবোধ্য, সরাসরি জেনারেশনে ব্যবহারযোগ্য রূপে রূপান্তর করে। এই রূপটির নাম Context Intermediate Representation (কনটেক্সট ইন্টারমিডিয়েট রিপ্রেজেন্টেশন)। চূড়ান্ত আউটপুটের মানের জন্য H3-Context-IR অত্যন্ত গুরুত্বপূর্ণ। তাই আমরা জেনারেশন প্রক্রিয়ায় H3-Context-IR API সংযুক্ত করার জোরালো পরামর্শ দিই। বিকল্পভাবে, প্রম্পট নির্দেশিকা অনুসরণ করে নিজস্ব কনটেক্সট প্রসেসিং সিস্টেম তৈরি করা যায়।
H3-Base: H3-Context-IR-এর আউটপুটের ভিত্তিতে অডিও ও ভিডিও তৈরি করে এবং 768p রেজোলিউশনের ফলাফল আউটপুট দেয়।
H3-Regenerate-2K: 768p জেনারেট করা ফলাফলকে মূল কনটেক্সটসহ আবার H3-তে পাঠিয়ে 2K রেজোলিউশনে আউটপুট পুনরায় তৈরি করে। এতে H3-এর শক্তিশালী জেনারেশন সক্ষমতা কাজে লাগানোর পাশাপাশি মূল কনটেক্সটে থাকা সমৃদ্ধ তথ্যও পুরোপুরি ব্যবহার করা যায়, ফলে আরও নির্ভুল বিবরণ ও উন্নত ভিজ্যুয়াল বিশ্বস্ততাসহ উচ্চ-রেজোলিউশনের ফলাফল তৈরি হয়।
MiniMax H3, MiniMax H3 Community License-এর অধীনে প্রকাশিত হয়েছে।
ওপেন সোর্স ঠিকানা: huggingface.co/MiniMaxAI/MiniMax-H3