Hy-Nomas চালু আছে

Hy-Nomas হলো Tencent Hunyuan দলের ওপেন সোর্স ইন্টার‌্যাক্টিভ ভিডিও ওয়ার্ল্ড জেনারেশন মডেল। এটি সেগমেন্টভিত্তিক অটোরিগ্রেসিভ পদ্ধতিতে ভিডিও তৈরি করে, প্রতিটি সেগমেন্টের মধ্যে টেক্সট প্রম্পট বা ক্যামেরা ট্র্যাজেক্টরি নিয়ন্ত্রণে স্বাধীনভাবে পরিবর্তন সমর্থন করে এবং lifelong KV cache-এর মাধ্যমে দীর্ঘমেয়াদি সামঞ্জস্য বজায় রাখে। Hy-Nomas-এর কোড ও ওজন ওপেন সোর্স করা হয়েছে। এতে ডিস্টিলড সংস্করণ এবং INT8 কোয়ান্টাইজড সংস্করণ রয়েছে; অপ্টিমাইজেশনের পর একটি RTX 4090-এ স্থানীয়ভাবে ইনফারেন্স চালানো যায়।

স্বাধীন টেক্সট নিয়ন্ত্রণ: যেকোনো ধরনের টেক্সট প্রম্পট সমর্থন করে, যার মাধ্যমে তৈরি করা বিশ্বের বস্তু, শৈলী, দৃশ্য ও গতিবিধি নিয়ন্ত্রণ করা যায়।
ক্যামেরা ট্র্যাজেক্টরি নিয়ন্ত্রণ: ক্যামেরার গতিপথের শর্ত অনুযায়ী ভিডিও তৈরি করা যায় এবং টেক্সট প্রম্পটের সঙ্গে স্বাধীনভাবে মিলিয়ে ব্যবহার করা যায়।
বহু-পর্যায়ের ইন্টার‌্যাক্টিভ জেনারেশন: ওয়েব ইন্টার‌্যাকশন ইন্টারফেস সেগমেন্টের সীমানায় নতুন নির্দেশনা যোগ করে ধারাবাহিকভাবে একাধিক পর্যায়ে ভিডিও তৈরি করতে পারে।
প্রম্পট উন্নতকরণ (Nomas-PE): বিল্ট-ইন অনলাইন মডেল ব্যবহারকারীর কথ্য নির্দেশনাকে স্বয়ংক্রিয়ভাবে কাঠামোবদ্ধ জেনারেশন প্রম্পটে রূপান্তর করে।
ভোক্তা-স্তরের স্থানীয় স্থাপন: INT8 কোয়ান্টাইজেশন ও CPU offload অপ্টিমাইজেশনের মাধ্যমে একটি RTX 4090-এই ইনফারেন্স সম্পন্ন করা যায়।
LoRA ফাইন-টিউনিং: কাস্টম ভিডিও ডেটা ব্যবহার করে ফাইন-টিউনিং সমর্থন করে এবং ইনফারেন্সের জন্য ডিস্টিলড মডেলে তা একীভূত করা যায়।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন, AI ওপেন সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
সেগমেন্টভিত্তিক অটোরিগ্রেসিভ আর্কিটেকচার: দীর্ঘ ভিডিওকে একাধিক সেগমেন্টে ভাগ করে তৈরি করা হয়। প্রতিটি সেগমেন্ট বর্তমান প্রম্পট বা ক্যামেরা সংকেতের ওপর নির্ভরশীল এবং সব সেগমেন্টজুড়ে চলমান lifelong KV cache বজায় রাখে। ফলে সময়ের সঙ্গে দৃশ্য, বস্তু ও শৈলীর সামঞ্জস্য বজায় থাকে এবং দীর্ঘমেয়াদি বিশ্ব তৈরি করা সম্ভব হয়।
ডিস্টিলেশন-ভিত্তিক দ্রুত ইনফারেন্স: ডিস্টিলেশন প্রশিক্ষণের মাধ্যমে ডিনয়জিং ধাপ 4/6/8 ধাপে কমিয়ে আনা হয়। বিশেষভাবে ফাইন-টিউন করা PixelUMM ডিকোডার 32-চ্যানেলের DCAE-V ল্যাটেন্ট প্রক্রিয়া করে, যা গুণমান বজায় রেখেও ইনফারেন্সের বিলম্ব উল্লেখযোগ্যভাবে কমায়।
কম VRAM ইনফারেন্স ব্যবস্থা: DiT ওজন এবং KV cache INT8-এ সংরক্ষণ করা হয়, তবে গণনা BF16-এ থাকে। ঐতিহাসিক কনটেক্সট স্লাইডিং উইন্ডোর মাধ্যমে সীমিত রাখা হয়, যাতে তা অসীমভাবে না বাড়ে। টেক্সট এনকোডার, DiT ও VAE পর্যায়ক্রমে CPU/GPU-এর মধ্যে স্থানান্তরিত হয়, ফলে সর্বোচ্চ VRAM ব্যবহার ভোক্তা-স্তরের গ্রাফিক্স কার্ডের সক্ষমতার মধ্যে থাকে।
LoRA সেগমেন্ট ফোর্সিং প্রশিক্ষণ: ফাইন-টিউনিংয়ের ভিত্তি হিসেবে নন-ডিস্টিলড checkpoint ব্যবহার করা হয় এবং segment forcing প্রশিক্ষণ পাইপলাইন অনুসরণ করা হয়। এতে শুধু LoRA প্যারামিটার (rank/alpha 256) প্রশিক্ষিত হয়। প্রশিক্ষণ শেষে LoRA ওজন ডিস্টিলড checkpoint-এ একীভূত করে এমন একটি ইনফারেন্স মডেল তৈরি করা হয়, যাতে ডিস্টিলেশনের গতি ও কাস্টমাইজেশন দুটোই বজায় থাকে।

দুই মোডে স্বাধীন পরিবর্তন: প্রতিটি সেগমেন্ট তৈরির সময় টেক্সট প্রম্পট ও ক্যামেরা ট্র্যাজেকটরি নিয়ন্ত্রণের মধ্যে স্বাধীনভাবে পরিবর্তন করা যায়, ফলে ইন্টার‌্যাকশন পদ্ধতি অত্যন্ত নমনীয়।
দীর্ঘমেয়াদি সামঞ্জস্য: lifelong KV cache বস্তু, দৃশ্য ও শৈলীর ধারাবাহিকতা সেগমেন্টজুড়ে বজায় রাখে এবং দীর্ঘ ভিডিওতে বিচ্যুতি এড়ায়।
ভোক্তা-স্তরের হার্ডওয়্যারে চালানো যায়: INT8 কোয়ান্টাইজেশন, স্লাইডিং উইন্ডো ও CPU offload-এর মাধ্যমে একটি RTX 4090-এ স্থানীয় ইনফারেন্স চালানো সম্ভব।
অত্যন্ত দ্রুত ইনফারেন্স: ডিস্টিলেশনের পর মাত্র 4~8 ধাপ ডিনয়জিং প্রয়োজন হয়, যা জেনারেশনের বিলম্ব উল্লেখযোগ্যভাবে কমায়।
সম্পূর্ণ ওপেন সোর্স: কোড, ওজন, প্রশিক্ষণ ও ডেটা অ্যানোটেশন প্রক্রিয়া সম্পূর্ণ প্রকাশিত এবং Apache 2.0 লাইসেন্সের অধীনে বাণিজ্যিকভাবে ব্যবহারযোগ্য।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://hy-nomas.hy.tencent.com/
GitHub রিপোজিটরি: https://github.com/Tencent-Hunyuan/Hy-Nomas
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/tencent/Hy-Nomas

AI গেম প্রোটোটাইপ তৈরি: টেক্সট ও ক্যামেরা নির্দেশনার মাধ্যমে দ্রুত ইন্টার‌্যাক্টিভ গেম ওয়ার্ল্ড তৈরি করে কম খরচে গেমপ্লে ধারণা যাচাই করা যায়।
রোবট সিমুলেশন প্রশিক্ষণ: অফিসিয়াল Robotics LoRA ব্যবহার করে বাস্তবসম্মত রোবটিক আর্ম পরিচালনার পরিবেশ তৈরি করা যায়, যা embodied intelligence-এর জন্য সিন্থেটিক প্রশিক্ষণ ডেটা সরবরাহ করে।
চলচ্চিত্রের প্রি-ভিজুয়ালাইজেশন ও স্টোরিবোর্ড: সিনেমাটিক LoRA ব্যবহার করে ধারাবাহিক দীর্ঘ শট তৈরি করা যায়, যা পরিচালককে ক্যামেরা মুভমেন্টের নকশা ও ভিজ্যুয়াল প্রিভিউতে সহায়তা করে।
ভার্চুয়াল পর্যটন ও স্থান উপস্থাপন: ক্যামেরা ট্র্যাজেকটরি নিয়ন্ত্রণের মাধ্যমে ঘুরে দেখা যায় এমন পর্যটনস্থান, প্রদর্শনী হল ও রিয়েল এস্টেট দৃশ্য তৈরি করা যায়, যা প্রচলিত 3D মডেলিংয়ের বিকল্প হিসেবে ব্যবহৃত হতে পারে।
AI গবেষণা ও শিক্ষা: সম্পূর্ণ প্রশিক্ষণ, ফাইন-টিউনিং ও ডেটা অ্যানোটেশন কোড ওপেন সোর্স করা হয়েছে, তাই এটি ওয়ার্ল্ড মডেল গবেষণার শিক্ষা ও গবেষণার ভিত্তি হিসেবে ব্যবহারযোগ্য।