HiDream-O1-Video-1.0 চালু আছে

HiDream-O1-Video-1.0 (সংক্ষেপে HD-V1) হলো ঝিশিয়াং ফিউচার (HiDream.ai)-এর তৈরি একটি নেটিভ মাল্টিমোডাল ভিডিও জেনারেশন মডেল। এটি টেক্সট, ছবি, ভিডিওসহ বিভিন্ন ধরনের ইনপুট সমর্থন করে এবং এক ক্লিকেই 5–20 সেকেন্ডের 1080p ভিডিও তৈরি করতে পারে। ভৌত নিয়মভিত্তিক জেনারেশন এবং অডিও-ভিডিওর নেটিভ সমন্বয়ে মডেলটি Artificial Analysis-এর ইমেজ-টু-ভিডিও র‍্যাঙ্কিংয়ে (With Audio) বিশ্বে চতুর্থ এবং Arena.ai-এর ব্লাইন্ড টেস্ট র‍্যাঙ্কিংয়ে অষ্টম স্থানে রয়েছে, যা নির্দেশ করে যে চীনের AI ভিডিও প্রযুক্তি বিশ্বব্যাপী শীর্ষ স্তরে প্রবেশ করেছে।

বহুমাত্রিক ইনপুট: টেক্সট, ছবি, ভিডিওসহ বিভিন্ন ধরনের ইনপুটকে জেনারেশনের শর্ত হিসেবে সমর্থন করে।
উচ্চ বিশ্বস্ততার ভিডিও সরাসরি তৈরি: এক ক্লিকে 5–20 সেকেন্ডের 1080p উচ্চমানের ভিডিও তৈরি।
উদ্দেশ্য বোঝা: পূর্ববর্তী বহুমাত্রিক বোধগম্যতা মডিউল কথ্য ইনপুটকে কাঠামোবদ্ধ করে শট, চরিত্র, অ্যাকশন, সাউন্ড ইফেক্টসহ পেশাদার পরিকল্পনায় রূপান্তর করে।
পদার্থবিদ্যার নিয়মভিত্তিক জেনারেশন: মাধ্যাকর্ষণ, সংঘর্ষ, জড়তাসহ পদার্থবিদ্যার নিয়মগুলো জেনারেশন লজিকে অন্তর্ভুক্ত করা হয়েছে, ফলে দৃশ্যের বিকৃতি ও গতিবিধি বাস্তব জগতের সঙ্গে সামঞ্জস্যপূর্ণ থাকে।
স্মার্ট দৈর্ঘ্য পরিকল্পনা: নির্দিষ্ট সময়সীমা যান্ত্রিকভাবে পূরণ না করে ঘটনা ও বর্ণনার ছন্দ অনুযায়ী স্বয়ংক্রিয়ভাবে ভিডিওর দৈর্ঘ্য নির্ধারণ করে।
অডিও-ভিডিও একীভূতকরণ: টেক্সট, ভিডিও ও অডিও সংকেতের যৌথ মডেলিংয়ের মাধ্যমে ঠোঁটের নড়াচড়া, সাউন্ড ইফেক্ট ও দৃশ্যের স্বাভাবিক সমন্বয় নিশ্চিত করে।
বর্ণনা ও চরিত্রের সামঞ্জস্য: প্রথমে পরিকল্পনা, পরে যৌথ জেনারেশন এবং শেষে Reward অ্যালাইনমেন্ট প্রক্রিয়া ব্যবহার করে দীর্ঘ শটে বর্ণনার ধারাবাহিকতা ও চরিত্রের স্থিরতা নিশ্চিত করে।

নেটিভ সর্বমোডাল একীভূত আর্কিটেকচার: HD-V1, ঝিশিয়াং-এর নিজস্ব নেটিভ সর্বমোডাল আর্কিটেকচার ব্যবহার করে। আর্কিটেকচার নকশার শুরু থেকেই টেক্সট, ভিডিও ও অডিওর একীভূত উপস্থাপনার কথা বিবেচনা করা হয়েছে। একই প্রজন্মন প্রক্রিয়ায় এই তিনটি উপাদান যৌথভাবে মডেল, পারস্পরিকভাবে সীমাবদ্ধ ও সামঞ্জস্যপূর্ণ হয়; দৃশ্যের গতি শব্দের ছন্দকে প্রভাবিত করে, সংলাপ ও সাউন্ড এফেক্ট দৃশ্যের আবেগকে সমৃদ্ধ করে, আর টেক্সটের শর্ত পুরো প্রক্রিয়াজুড়ে বজায় থাকে।
পূর্ববর্তী মাল্টিমোডাল অভিপ্রায়-বোঝাপড়া মডিউল: মডেল প্রথমে একটি মাল্টিমোডাল বোঝাপড়া মডেলের সাহায্যে ব্যবহারকারীর ইনপুট গভীরভাবে বিশ্লেষণ ও কাঠামোবদ্ধভাবে পরিকল্পনা করে। এর মাধ্যমে কথ্য ও অস্পষ্ট স্বাভাবিক ভাষাকে শটের দৈর্ঘ্য, দৃশ্যের স্থান, উপস্থিত চরিত্র, অঙ্গভঙ্গি ও অভিব্যক্তি, শটের পরিসর ও কম্পোজিশন, ক্যামেরা মুভমেন্ট ও ফোকাল দৈর্ঘ্য, সংলাপ এবং ব্যাকগ্রাউন্ড সাউন্ডের মতো পেশাদার ক্ষেত্রগুলোতে রূপান্তর করা হয়। বোঝাপড়া যত গভীর হয়, পরিকল্পনা তত স্থিতিশীল হয়; পরিকল্পনা যত স্থিতিশীল হয়, পরবর্তী যৌথ প্রজন্ম তত কম বিচ্যুত হয়। ফলে শুরু থেকেই অভিপ্রায়ের অপূর্ণ ব্যাখ্যা, দৃশ্যের অসংগতি ও চরিত্রের বিচ্যুতি এড়ানো যায়।
পদার্থবিজ্ঞানের নিয়ম অন্তর্নিহিত প্রজন্মন যুক্তি: কোনো বস্তু মাধ্যাকর্ষণের কারণে কীভাবে পড়ে, সংঘর্ষে কীভাবে প্রতিক্রিয়া জানায়, জড়তা কীভাবে অব্যাহত থাকে, আলো ও ছায়া কীভাবে ক্ষয়প্রাপ্ত হয় এবং স্থানিক ধারাবাহিকতা কীভাবে বজায় থাকে।
পরিকল্পনা—প্রজন্মন—সামঞ্জস্যকরণের তিন-পর্যায়ের প্রজন্মন প্রক্রিয়া: ঝিশিয়াং প্রথমে পরিকল্পনা, পরে যৌথ প্রজন্মন এবং শেষে মাল্টিমোডাল Reward-এর মাধ্যমে সামঞ্জস্যকরণের প্রযুক্তিগত ধারণা প্রস্তাব করেছে। মডেল প্রথমে সামগ্রিক স্তরে বর্ণনা ও চরিত্রের অবস্থা পরিকল্পনা করে; যৌথ প্রজন্মনের সময় দৃশ্য, ক্রিয়া ও অর্থকে সীমাবদ্ধ রাখে; এরপর মাল্টিমোডাল পুরস্কার সংকেত ব্যবহার করে ছবির গুণমান, ধারাবাহিকতা ও পদার্থগত যুক্তিসংগততাকে একীভূতভাবে সামঞ্জস্য করে। এর ফলে দীর্ঘ শটে চরিত্র, আবেগ ও প্রেরণা পরস্পরকে প্রভাবিত করলেও সামগ্রিক সামঞ্জস্য বজায় থাকে।

উন্মুক্ত অবস্থার বিষয়টি নিশ্চিত করুন: বর্তমানে মডেলটি অভ্যন্তরীণ পরীক্ষার পর্যায়ে রয়েছে এবং এখনও সবার জন্য আনুষ্ঠানিকভাবে চালু হয়নি। আগাম ব্যবহারের অনুমতির জন্য আবেদন করতে হবে https://n1y46cmwsp.feishu.cn/share/base/form/shrcnVBeO99NQQWARxNirglcbct।
আবেদন ফর্ম পূরণ করতে স্ক্যান করুন: QR কোডটি দীর্ঘক্ষণ চাপ দিয়ে স্ক্যান করে আবেদন ফর্মের পাতায় প্রবেশ করুন।
আবেদনের তথ্য জমা দিন: ফর্মের নির্দেশনা অনুযায়ী ব্যক্তিগত/প্রতিষ্ঠানের তথ্য এবং ব্যবহারের প্রয়োজনীয়তা পূরণ করে জমা দিন। এরপর সরকারি পর্যালোচনার জন্য অপেক্ষা করুন।
সক্রিয়করণের বিজ্ঞপ্তির জন্য অপেক্ষা করুন: পর্যালোচনা পাস করলে অভ্যন্তরীণ পরীক্ষামূলক ব্যবহারের অনুমতি পাবেন।
মডেলের সক্ষমতা ব্যবহার করুন: অনুমতি পাওয়ার পর, সরকারি প্রদত্ত প্রবেশপথে টেক্সট, ছবি বা ভিডিও ইনপুট দিয়ে এক ক্লিকেই 5–20 সেকেন্ডের 1080p অডিও-ভিজ্যুয়াল সমন্বিত ভিডিও তৈরি করতে পারবেন।

নেটিভ সর্বমোডাল আর্কিটেকচার: শিল্পক্ষেত্রে প্রথম ভিডিও মডেল, যা টেক্সট, ভিডিও ও অডিও সংকেতের যৌথ মডেলিং করে এবং অডিও-ভিজ্যুয়ালকে একীভূতভাবে তৈরি করে।
পদার্থবিজ্ঞানের নিয়মভিত্তিক জেনারেশন: মাধ্যাকর্ষণ, সংঘর্ষ, জড়তা, আলো-ছায়ার ক্ষয়, স্থানিক ধারাবাহিকতা ইত্যাদি পদার্থবিজ্ঞানের নিয়ম মডেলটি সত্যিকারভাবে বুঝে জেনারেশন লজিকে অন্তর্ভুক্ত করে। ফলে দৃশ্যের বিকৃতি, গতির প্রতিক্রিয়া ও শব্দপ্রভাব বাস্তব কারণ-সম্পর্কের সঙ্গে সামঞ্জস্যপূর্ণ হয়।
গভীর অভিপ্রায় বোঝাপড়া: একটি প্রাক-প্রক্রিয়াকরণ মাল্টিমোডাল অভিপ্রায়-বোঝার মডিউল কথ্য ও খণ্ডিত ব্যবহারকারী ইনপুটকে শটের দৈর্ঘ্য, শটের পরিসর ও কম্পোজিশন, ক্যামেরা মুভমেন্ট, অঙ্গভঙ্গি ও অভিব্যক্তি, সংলাপ এবং শব্দপ্রভাবসহ পেশাদার পরিকল্পনায় কাঠামোবদ্ধ করে। এর মাধ্যমে শুরু থেকেই অভিপ্রায়ের অসম্পূর্ণ ব্যাখ্যা ও দৃশ্যের অসংলগ্নতা এড়ানো যায়।
বর্ণনার প্রয়োজনে দৈর্ঘ্য নির্ধারণ: “নির্দিষ্ট দৈর্ঘ্যের উইন্ডোতে কনটেন্ট ভরাট” করার প্রচলিত যুক্তি ভেঙে, মডেলটি ঘটনা বিকাশের যুক্তি ও বর্ণনার ছন্দ অনুযায়ী স্বয়ংক্রিয়ভাবে দৈর্ঘ্য পরিকল্পনা করে। ফলে动作 শেষ হওয়ার পর অর্থহীন অপেক্ষা বা সময় পূরণে ধীরগতির প্লেব্যাকের প্রয়োজন হয় না।
বর্ণনার ধারাবাহিকতা ও চরিত্রের সামঞ্জস্য: প্রথমে পরিকল্পনা, পরে যৌথ জেনারেশন এবং শেষে মাল্টিমোডাল Reward-এর মাধ্যমে মূল্যায়ন—এই প্রযুক্তিগত পদ্ধতি গ্রহণ করা হয়েছে। Diffusion RL এবং মানবীয় উপলব্ধির সঙ্গে সামঞ্জস্যপূর্ণ Reward মডেলের সমন্বয়ে ধারাবাহিক শটজুড়ে চরিত্র, আবেগ ও প্রেরণার সামঞ্জস্য বজায় থাকে এবং সেগুলো বিচ্যুত হয় না।

বিজ্ঞাপন ও বিপণনমূলক স্বল্পদৈর্ঘ্য ভিডিও: অডিও ও ভিজ্যুয়াল একসঙ্গে সরাসরি 1080p পণ্যের ভিডিও তৈরি করে, পোস্ট-প্রোডাকশনে ডাবিংয়ের খরচ কমায় এবং বাস্তবসম্মত পদার্থগত উপস্থাপনা উচ্চমানের পণ্য প্রদর্শনের জন্য উপযোগী।
স্বল্পদৈর্ঘ্য ভিডিও/সামাজিক মাধ্যমের কনটেন্ট তৈরি: 5–20 সেকেন্ডের স্বয়ংক্রিয়ভাবে মানিয়ে নেওয়া দৈর্ঘ্য স্বল্পদৈর্ঘ্য ভিডিওর ছন্দের সঙ্গে স্বাভাবিকভাবে মেলে; কথ্য ভাষার প্রম্পট দিয়েই সাউন্ড ইফেক্ট ও ঠোঁটের নড়াচড়ার সমন্বয়সহ সম্পূর্ণ ভিডিও তৈরি করা যায়।
চলচ্চিত্রের প্রি-ভিজ্যুয়ালাইজেশন ও স্টোরিবোর্ড (Previs): শট, শটের পরিসর, ক্যামেরা মুভমেন্ট ও সাউন্ড ইফেক্ট কাঠামোবদ্ধভাবে পরিকল্পনা করে, যা পরিচালককে শুটিংয়ের আগে দ্রুত গল্প বলার গতি ও দৃশ্যের সম্ভাব্যতা যাচাই করতে সহায়তা করে।
ই-কমার্স পণ্যের গতিশীল প্রদর্শন: পণ্যের ছবি ইনপুট দিলেই ব্যবহারের দৃশ্যসহ ভিডিও তৈরি করা যায়; বস্তুর ভৌত গতি বাস্তবসম্মত হওয়ায় এবং সাউন্ড ডিজাইন সমন্বিত থাকায় রূপান্তরের হার বাড়ে।
শিক্ষা ও বিজ্ঞানভিত্তিক জনপ্রিয়করণ: বিচ্ছিন্ন জ্ঞানবিন্দুগুলোকে ভৌত নিয়ম মেনে তৈরি গতিশীল প্রদর্শনীতে রূপান্তর করে, ফলে অডিও-ভিজ্যুয়ালের সমন্বয় বোঝার বাধা কমায়।