HOMIE চালু আছে

HOMIE হলো হংকং ইউনিভার্সিটি অব সায়েন্স অ্যান্ড টেকনোলজি ওপেন-সোর্স করা ডিজিটাল হিউম্যান ভিডিও জেনারেশন ফ্রেমওয়ার্ক, যা Wan2.1-T2V-14B ব্যাকবোন নেটওয়ার্কের ওপর ভিত্তি করে তৈরি এবং Qwen3-VL মাল্টিমোডাল বড় ভাষা মডেল সমন্বিত। ফ্রেমওয়ার্কটি ডিজিটাল হিউম্যান+পণ্য+Logo+টেক্সট—এই চারটি উপাদান একসঙ্গে প্রক্রিয়া করে মানুষ-পণ্য ইন্টারঅ্যাকশন, ব্র্যান্ড লোগো সংযুক্তি, OCR টেক্সটের নির্ভুলতা এবং বহু-দৃষ্টিকোণ সামঞ্জস্যের চারটি মূল সমস্যা নির্ভুলভাবে সমাধান করে। মডেল প্রশিক্ষণে মাত্র 5.5K ধাপ/প্রায় 1万 A100 ঘণ্টা প্রয়োজন। OCR নির্ভুলতা ওপেন-সোর্সের সেরা মডেলের তুলনায় 38.7% বেশি। এটি 480P একক-কার্ড থেকে 720P বহু-কার্ড ইনফারেন্স সমর্থন করে এবং ই-কমার্স লাইভ কমার্স, ভার্চুয়াল উপস্থাপকসহ বিভিন্ন ক্ষেত্রে ভিডিও তৈরির বাধা উল্লেখযোগ্যভাবে কমায়।

মানুষ-পণ্য ইন্টারঅ্যাকশন ভিডিও ব্যক্তিগতকরণ: একই ভিডিওতে একাধিক ব্যক্তি ও বিভিন্ন বস্তু একসঙ্গে দেখানো যায়, প্রতিটি বিষয়ের চেহারার সামঞ্জস্য বজায় থাকে এবং স্বাভাবিক, যৌক্তিক ইন্টারঅ্যাকশন সম্ভব হয় (যেমন হাতে ধরা, পণ্য প্রদর্শন, পণ্য হস্তান্তর ইত্যাদি)।
Logo / বিমূর্ত ধারণার নির্ভুল সংযুক্তি: মাল্টিমোডাল বড় ভাষা মডেলের (MLLM) অর্থগত বিশ্লেষণ ক্ষমতা ব্যবহার করে ব্র্যান্ড Logo-এর মতো বিমূর্ত ধারণাগুলো স্বয়ংক্রিয়ভাবে অর্থগতভাবে সবচেয়ে প্রাসঙ্গিক বস্তুর সঙ্গে যুক্ত করা হয়। প্রম্পটে অবস্থানগত সম্পর্ক স্পষ্টভাবে বর্ণনা করার প্রয়োজন নেই।
OCR টেক্সটের উচ্চ-নির্ভুলতা জেনারেশন: OCR রেফারেন্স ছবির সহায়তায় পণ্যের প্যাকেজিং ও লেবেলের লেখা তৈরি করা ভিডিওতে স্পষ্ট ও পাঠযোগ্য থাকে; ঝাপসা বা বিকৃত হয় না। ফলে AI ভিডিও জেনারেশনের “লেখা একসঙ্গে জট পাকিয়ে যাওয়া” সমস্যা সমাধান হয়।
বহু-দৃষ্টিকোণ সামঞ্জস্যপূর্ণ জেনারেশন: একই বস্তুর বহু-দৃষ্টিকোণ রেফারেন্স ছবি দিলে ভিডিওতে বস্তুটি ঘুরলে বা নড়লে তার চেহারা ও বিবরণের সামঞ্জস্য বজায় থাকে। এটি ফিগার, 3D মডেল, পুতুলসহ প্রদর্শনমূলক দৃশ্যের জন্য উপযোগী।

WeChat-এ “ওপেন সোর্স” লিখে অনুসরণ করুন এবং AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
সামগ্রিক স্থাপত্য: আলির Wan2.1-T2V-14B-এর DiT ব্যাকবোন হিসেবে ব্যবহৃত হয়েছে। এর সঙ্গে ভিজ্যুয়াল বোঝাপড়া মডিউল হিসেবে Qwen3-VL-2B-Thinking, পাশাপাশি UmT5 টেক্সট এনকোডার ও VAE ভিজ্যুয়াল এনকোডার যুক্ত হয়ে “টেক্সট+মাল্টিমোডাল অর্থ+ভিজ্যুয়াল”—এই তিনটি সমান্তরাল প্রবাহের জেনারেশন আর্কিটেকচার তৈরি করেছে।
MLLM সমন্বয় কৌশল: বিদ্যমান টেক্সট-টু-ভিডিও অ্যালাইনমেন্ট নষ্ট না করে এবং ব্যয়বহুল পুনরায় অ্যালাইনমেন্টের প্রয়োজন ছাড়াই MLLM-এর অর্থগত বিশ্লেষণ ক্ষমতা DiT-তে যুক্ত করা হয়েছে, যাতে মডেল রেফারেন্স ছবিগুলোর অন্তর্নিহিত সম্পর্ক স্বয়ংক্রিয়ভাবে বুঝতে পারে।
গ্লোবাল মাল্টিমোডাল সেল্ফ-অ্যাটেনশন গাইডেন্স (GMG): DiT-এর সেল্ফ-অ্যাটেনশন স্তরে MLLM থেকে আহরিত অর্থগত বৈশিষ্ট্য ও VAE ভিজ্যুয়াল token-এর গ্লোবাল অ্যালাইনমেন্ট করা হয়। প্রজেকশন, পুলিং ও অ্যাফাইন ট্রান্সফরমেশনের মাধ্যমে জেনারেশনের প্রতিটি ভিডিও token রেফারেন্স ছবির গ্লোবাল অর্থগত তথ্য “দেখতে” পারে।
মোডালিটি-রেফারেন্স এমবেডিং (MRE): MLLM বৈশিষ্ট্য token ও VAE ভিজ্যুয়াল token-কে পৃথক modality embedding দেওয়া হয়, বিভিন্ন রেফারেন্স ছবিকে পৃথক reference embedding দেওয়া হয় এবং একই বিষয়ের বহু-দৃষ্টিকোণ/OCR রেফারেন্স ছবির token-গুলোকে সংযুক্ত করা হয়, যাতে তথ্যের বিভ্রান্তি এড়ানো যায়।
তিন ধাপের ক্রমোন্নত প্রশিক্ষণ: একক বিষয় 480P→ বহু বিষয় 480P→ উচ্চ-রেজোলিউশন 720P। মোট মাত্র 5.5K ধাপেই প্রশিক্ষণ সম্পন্ন হয়, যা একই ধরনের পদ্ধতির কয়েক দশ হাজার ধাপের তুলনায় অনেক কম।

পরিবেশ প্রস্তুতি: GitHub থেকে HOMIE কোড রিপোজিটরি স্থানীয় কম্পিউটারে ক্লোন করে প্রয়োজনীয় পরিবেশ ও নির্ভরতা ইনস্টল করুন।
ওজন ডাউনলোড: HuggingFace থেকে প্রকাশিত অফিসিয়াল প্রি-ট্রেইনড ওজন নির্দিষ্ট মডেল ডিরেক্টরিতে ডাউনলোড করুন।
উপকরণ প্রস্তুতি: ব্যক্তি, পণ্য, Logo বা OCR টেক্সটের ছবি ইত্যাদি একাধিক বিষয়ের রেফারেন্স ছবি প্রস্তুত করুন।
প্রম্পট লেখা: লক্ষ্য ভিডিওতে ব্যক্তি ও বস্তুর ইন্টারঅ্যাকশন,动作 ও দৃশ্য সঠিকভাবে বর্ণনা করে টেক্সট প্রম্পট লিখুন।
ইনফারেন্স চালানো: ইনফারেন্স স্ক্রিপ্ট চালালে HOMIE স্বয়ংক্রিয়ভাবে মাল্টিমোডাল রেফারেন্স তথ্য একত্র করে ব্যক্তিগতকৃত ভিডিও তৈরি করবে।
রেজোলিউশন নির্বাচন: একক GPU-তে সরাসরি 832×480 রেজোলিউশনের ভিডিও তৈরি করা যায়। বহু-কার্ড FSDP ব্যবহার করে 720P উচ্চ-রেজোলিউশন আউটপুটে সম্প্রসারণ করা যায়।

ঐক্যবদ্ধ ফ্রেমওয়ার্ক: একটি ফ্রেমওয়ার্কেই মানুষ-পণ্য ইন্টারঅ্যাকশন, Logo সংযুক্তি, OCR টেক্সটের নির্ভুলতা এবং বহু-দৃষ্টিকোণ সামঞ্জস্য—এই চারটি কাজ করা যায়; বিভিন্ন দৃশ্যের জন্য আলাদা মডেল বদলানোর প্রয়োজন নেই।
দক্ষ প্রশিক্ষণ: মাত্র 5.5K ধাপ / প্রায় 1万 A100 ঘণ্টায় প্রশিক্ষণ সম্পন্ন হয়, যা একই ধরনের পদ্ধতিতে সাধারণত প্রয়োজনীয় 3–4万 ধাপের তুলনায় অনেক কম খরচসাপেক্ষ।
MLLM-এর ক্ষতিহীন সমন্বয়: টেক্সট এনকোডারের নিয়ন্ত্রণক্ষমতা বিসর্জন না দিয়ে এবং ব্যয়বহুল পুনরায় অ্যালাইনমেন্ট ছাড়াই মাল্টিমোডাল বড় ভাষা মডেলের অর্থগত বিশ্লেষণ ক্ষমতা ভিডিও জেনারেশন পাইপলাইনে যুক্ত করা হয়েছে।
উন্নত মান: OCR নির্ভুলতা 38.7% বৃদ্ধি পেয়েছে, বহু-দৃষ্টিকোণ সামঞ্জস্য 8.2% উন্নত হয়েছে এবং 40 জনের ব্যবহারকারী গবেষণায় 64.7% অংশগ্রহণকারী সামগ্রিক মানকে প্রথম হিসেবে বেছে নিয়েছেন।
নমনীয় ইনফারেন্স: 480P একক-কার্ড থেকে 720P বহু-কার্ড ইনফারেন্স সমর্থিত। 1280×720 উল্লম্ব ভিডিওও আউটপুট করা যায়, যা সরাসরি লাইভ কমার্স ও শর্ট-ভিডিও তৈরিতে ব্যবহারযোগ্য।

প্রকল্পের ওয়েবসাইট：https://yiyangcai.github.io/homie-page.github.io
GitHub রিপোজিটরি：https://github.com/YIYANGCAI/HOMIE
HuggingFace মডেল রিপোজিটরি：https://huggingface.co/yychai/homie-r2v-wan2.1
arXiv প্রযুক্তিগত গবেষণাপত্র：https://arxiv.org/pdf/2607.18217

ই-কমার্স লাইভ কমার্স: নির্দিষ্ট ডিজিটাল হিউম্যানকে নির্দিষ্ট পণ্য হাতে নিয়ে নির্দিষ্ট动作 করতে দেখানো কমার্স ভিডিও তৈরি করা যায়। 1280×720 উল্লম্ব আউটপুট সমর্থিত, যা সরাসরি শর্ট-ভিডিও প্ল্যাটফর্মে ব্যবহারযোগ্য।
ব্র্যান্ড বিজ্ঞাপন তৈরি: প্রম্পটে অবস্থানগত সম্পর্ক স্পষ্টভাবে উল্লেখ না করেই ব্র্যান্ড Logo স্বয়ংক্রিয়ভাবে অর্থগতভাবে সংশ্লিষ্ট পণ্যের সঙ্গে যুক্ত করা যায়।
ভার্চুয়াল উপস্থাপক / ডিজিটাল হিউম্যান: ডিজিটাল হিউম্যানের পরিচয়গত সামঞ্জস্য বজায় রেখেই বিভিন্ন পণ্যের সঙ্গে স্বাভাবিক ইন্টারঅ্যাকশন করা যায়।
পণ্যের বহু-দৃষ্টিকোণ প্রদর্শন: ফিগার, 3D মডেল বা পুতুলের বহু-দৃষ্টিকোণ রেফারেন্স ছবি দিলে ঘূর্ণায়মান প্রদর্শন ভিডিও তৈরি হয় এবং প্রতিটি কোণে চেহারার সামঞ্জস্য বজায় থাকে।
প্যাকেজিং টেক্সটের নির্ভুলতা: OCR রেফারেন্স ছবির সহায়তায় পণ্যের প্যাকেজিং ও লেবেলের লেখা ভিডিওতে স্পষ্ট ও পাঠযোগ্য থাকে। এটি খাদ্য, প্রসাধনী, স্বাস্থ্যসেবা পণ্যসহ উপাদান/নির্দেশনা প্রদর্শনের প্রয়োজনীয় দৃশ্যের জন্য উপযোগী।