DMAD চালু আছে

DMAD (Distribution Matching as Adversarial Distillation) হলো বাইটড্যান্স ও টেক্সাস এঅ্যান্ডএম ইউনিভার্সিটির যৌথভাবে উন্মুক্ত করা স্বল্প-ধাপের ডিস্টিলেশন ফ্রেমওয়ার্ক, যা ডিফিউশন মডেল জেনারেশন দ্রুততর করতে ব্যবহৃত হয়। DMAD একটি দ্বি-শ্রেণির ডিসক্রিমিনেটর প্রশিক্ষণ দিয়ে লক্ষ্য বণ্টন ও শিক্ষার্থী বণ্টনের পার্থক্য সরাসরি শেখে, সহায়ক ডিফিউশন মডেলের প্রয়োজন দূর করে এবং 50-ধাপের শিক্ষক মডেলকে 4-ধাপের শিক্ষার্থী মডেলে ডিস্টিল করে। এটি ImageNet, SDXL, Wan2.1 এবং MiniMax-H3-33B সমর্থন করে; 8GB ভিডিও মেমোরিতে প্রায় 5 সেকেন্ডের 1344×768 রেজোলিউশনের অডিওসহ ভিডিও তৈরি করা যায়।

স্বল্প-ধাপের ছবি তৈরি: ImageNet-64-এর EDM মডেলকে 1-ধাপের স্যাম্পলিংয়ে ডিস্টিল করে, FID 1.04 পর্যন্ত কমানো যায়; SDXL দিয়ে মাত্র 4 ধাপে টেক্সট থেকে ছবি তৈরি করা যায়।
স্বল্প-ধাপের টেক্সট-টু-ভিডিও: Wan2.1-T2V-14B-কে 4-ধাপের শিক্ষার্থী মডেলে ডিস্টিল করে, VBench স্কোর 85.15 অর্জন করে।
যৌথ অডিও-ভিডিও তৈরি: MiniMax-H3-33B-এর 50-ধাপের শিক্ষক মডেলকে 4 ধাপে ডিস্টিল করে 1344×768 ভিডিও এবং 32kHz নেটিভ স্টেরিও অডিও তৈরি করে।
ভোক্তা-স্তরের হার্ডওয়্যার সমর্থন: 8GB ভিডিও মেমোরির জন্য ComfyUI ওয়ার্কফ্লো এবং কম ভিডিও মেমোরির কমান্ড-লাইন ইনফারেন্স প্রদান করে; 8GB গ্রাফিক্স কার্ডে প্রায় 5 সেকেন্ড এবং 12GB-তে প্রায় 15 সেকেন্ডের অডিওসহ ভিডিও তৈরি করা যায়।
প্রশিক্ষণ ও ইনফারেন্স সম্পূর্ণ ওপেন সোর্স: ডিস্টিলেশন পদ্ধতি, প্রশিক্ষণ কোড, ইনফারেন্স স্ক্রিপ্ট এবং একাধিক মডেলের LoRA ওজন প্রকাশ করা হয়েছে; কমান্ড লাইন ও ComfyUI উভয় ব্যবহারের পদ্ধতি সমর্থিত।

WeChat-এ ফলো করে “开源” (ওপেন সোর্স) লিখে উত্তর দিন, AI ওপেন সোর্স প্রকল্পের গ্রুপে যোগ দিন
ডিস্ট্রিবিউশন ম্যাচিং বা অ্যাডভারসেরিয়াল ডিস্টিলেশন: DMAD একটি দ্বি-শ্রেণির ডিসক্রিমিনেটর প্রশিক্ষণ দিয়ে লক্ষ্য নমুনা ও শিক্ষার্থী নমুনা আলাদা করে। সর্বোত্তম ডিসক্রিমিনেটরের logit দুই বণ্টনের লগ-ডেনসিটি অনুপাতের সমান; এর ইনপুটের ওপর গ্রেডিয়েন্ট নিলে score-এর পার্থক্য পাওয়া যায়, যা শিক্ষার্থীর সংশোধনের দিক সরাসরি নির্দেশ করে এবং সহায়ক score ফিটিং মডেলের প্রয়োজন দূর করে।
শেয়ার্ড ব্যাকবোন ও ডুয়াল-হেড ডিসক্রিমিনেটর: ডিসক্রিমিনেটর একটি অভিন্ন শেয়ার্ড ফিচার ব্যাকবোন ও দুটি ডিসক্রিমিনেশন হেড ব্যবহার করে। শিক্ষক হেড শিক্ষক নমুনা ও শিক্ষার্থী নমুনা আলাদা করে, আর বাস্তব ডেটা হেড বাস্তব নমুনা ও শিক্ষার্থী নমুনা আলাদা করে; উভয়কেই বাইনারি ক্রস-এন্ট্রপি দিয়ে প্রশিক্ষণ দেওয়া হয়। শিক্ষার্থী দুটি logit-এর ওজনযুক্ত রৈখিক ক্ষতি ব্যবহার করে আপডেট হয়; আপডেটের সময় ডিসক্রিমিনেটরের প্যারামিটার স্থির থাকে, তবে গ্রেডিয়েন্ট ব্যাকপ্রপাগেশন চালু থাকে।
নয়েজ পরিসরে গতিশীল ওজনায়ন: শিক্ষক নমুনা ও বাস্তব ডেটার বণ্টনগত পার্থক্য নয়েজ স্তরের সঙ্গে পরিবর্তিত হয়। DMAD বাস্তব ডেটা হেডের দুই ধরনের নমুনায় গড় logit পার্থক্যকে অভিজ্ঞতালব্ধ সংকেত হিসেবে ব্যবহার করে এবং 0.99 ক্ষয়যুক্ত এক্সপোনেনশিয়াল মুভিং অ্যাভারেজের মাধ্যমে বিভিন্ন নয়েজ পরিসর অনুসরণ করে। যে পরিসরে পার্থক্য কম, সেখানে বেশি শিক্ষক ওজন দেওয়া হয়; স্বাভাবিকীকরণের পর তা শিক্ষার্থী ক্ষতিতে যুক্ত হয়।
অফলাইন শিক্ষক নমুনার মাধ্যমে দ্রুত প্রশিক্ষণ: শিক্ষক মডেল কেবল আগে থেকে তৈরি ও ক্যাশ করা নমুনা সরবরাহ করে; প্রশিক্ষণের সময় অনলাইনে শিক্ষককে কল করার প্রয়োজন হয় না। 4টি H200 GPU এবং MiniMax-H3 rank-128 LoRA কনফিগারেশনে, প্রতিটি শিক্ষার্থী আপডেট ও সংশ্লিষ্ট ডিসক্রিমিনেটর আপডেটের সময় 818.1 সেকেন্ড থেকে কমে 233.3 সেকেন্ড হয়েছে, ফলে প্রায় 3.51 গুণ প্রশিক্ষণ ত্বরণ অর্জিত হয়েছে।

রিপোজিটরি ক্লোন করুন: git clone https://github.com/Yzmblog/DMAD.git চালিয়ে প্রকল্প ডিরেক্টরিতে প্রবেশ করুন।
পরিবেশ তৈরি করুন: conda ব্যবহার করে Python 3.12 পরিবেশ তৈরি ও সক্রিয় করুন।
নির্ভরতা ইনস্টল করুন: অফিসিয়াল নির্দিষ্ট সংস্করণ অনুযায়ী PyTorch 2.11.0 (cu126), torchvision ও torchaudio ইনস্টল করুন; এরপর pip install -r requirements.txt এবং pip install -U modelscope-hub চালান।
হার্ডওয়্যার প্রস্তুত করুন: CUDA সমর্থনকারী NVIDIA GPU নিশ্চিত করুন এবং প্রায় 64GB সিস্টেম মেমোরি ও 170GB ডিস্ক স্পেস বরাদ্দ রাখুন।
বেস মডেল ডাউনলোড করুন: modelscope download MiniMax/MiniMax-H3 ব্যবহার করে MiniMax-H3 বেস মডেল ডাউনলোড করুন।
ডিস্টিলেশন ওজন ডাউনলোড করুন: ModelScope থেকে DMAD-এর 4-ধাপের LoRA ডাউনলোড করুন।
কমান্ড-লাইন ইনফারেন্স: inference.py চালিয়ে মডেল পাথ, LoRA, প্রম্পট ফাইল, --steps 4, --height 768 --width 1344 নির্দিষ্ট করুন; ভিডিও মেমোরি অনুযায়ী --low-vram 8 অথবা --low-vram 12 নির্বাচন করুন।
আউটপুট দেখুন: আউটপুট ডিরেক্টরিতে 0000.mp4, প্রম্পটের txt ফাইল এবং settings.json থাকবে। সফলভাবে চালানোর পর নিজের প্রম্পট ফাইল দিয়ে তা প্রতিস্থাপন করা যাবে।

ইনফারেন্সে ব্যাপক গতি বৃদ্ধি: 50-ধাপের শিক্ষক মডেলকে 4-ধাপের শিক্ষার্থী মডেলে ডিস্টিল করে ডিনয়জিং পুনরাবৃত্তি 92%-এর বেশি কমানো হয়, অথচ শিক্ষকের কাছাকাছি জেনারেশন গুণমান বজায় থাকে।
উচ্চতর প্রশিক্ষণ দক্ষতা: ডিসক্রিমিনেটর সরাসরি বণ্টনগত পার্থক্য শেখে এবং সহায়ক ডিফিউশন মডেলের প্রয়োজন দূর করে; 4টি H200 GPU-তে প্রশিক্ষণ আপডেট প্রায় 3.51 গুণ দ্রুত হয়।
উন্নত জেনারেশন গুণমান: ImageNet-64-এ এক ধাপের জেনারেশনে FID 1.04, যা DMD2, SiDA ইত্যাদি পদ্ধতির চেয়ে ভালো; মানব মূল্যায়নে DMD2-এর তুলনায় সামগ্রিক পছন্দের হার 79.1% এবং rCM-এর তুলনায় 84.6%।
বহুমাত্রিক ব্যবহারের পূর্ণ পরিসর: একই ফ্রেমওয়ার্ক ছবি, টেক্সট-টু-ভিডিও এবং যৌথ অডিও-ভিডিও জেনারেশন সমর্থন করে।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://yzmblog.github.io/projects/DMAD/
GitHub রিপোজিটরি: https://github.com/Yzmblog/DMAD
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/ZhengmingYu/DMAD
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2610.02188

স্বল্পদৈর্ঘ্য ভিডিও কনটেন্ট তৈরি: 4 ধাপে নেটিভ অডিওসহ 5–15 সেকেন্ডের ভিডিও তৈরি করা যায়। কনটেন্ট নির্মাতারা 8GB ভোক্তা-স্তরের গ্রাফিক্স কার্ডেই দ্রুত সামাজিক যোগাযোগমাধ্যমের উপকরণ তৈরি করতে পারেন, ফলে উৎপাদন ব্যয় ব্যাপকভাবে কমে।
বিজ্ঞাপন ও বিপণন উপকরণ তৈরি: ব্র্যান্ডগুলো প্রম্পটের ভিত্তিতে পণ্য প্রদর্শন ও দৃশ্যভিত্তিক ভিডিও ব্যাচে তৈরি করতে পারে; উচ্চমানের অডিও আউটপুটের সঙ্গে বিজ্ঞাপনের ধারণা থেকে চূড়ান্ত উপকরণ তৈরির সময় কমে।
চলচ্চিত্রের প্রিভিজ ও কনসেপ্ট ডিজাইন (Previs): পরিচালক ও শিল্প দল স্বল্প-ধাপের ডিস্টিলেশনের মাধ্যমে দ্রুত শট প্রিভিজ, পরিবেশের রেফারেন্স এবং স্টোরিবোর্ডের খসড়া তৈরি করে প্রাথমিক সৃজনশীল পুনরাবৃত্তি ত্বরান্বিত করতে পারে।
গেম ও অ্যানিমেশন অ্যাসেট তৈরি: চরিত্রের অ্যানিমেশন, দৃশ্যের কনসেপ্ট আর্ট এবং গতিশীল ব্যাকগ্রাউন্ড উপকরণ তৈরি করে স্বাধীন গেম স্টুডিও ও ছোট অ্যানিমেশন দলগুলোকে অ্যাসেট উৎপাদন ব্যয় কমাতে সহায়তা করে।