UnifoLM-WLA-1.0 চালু আছে

UnifoLM-WLA-1.0 হলো ইউনিট্রি টেকনোলজি推出িত 6B প্যারামিটারের একটি এমবডিড মাল্টিমোডাল বৃহৎ মডেল। প্রায় 2500 ঘণ্টার বাস্তব রোবট ডেটা দিয়ে প্রশিক্ষিত এই মডেল দৃষ্টি, ভাষা ও ক্রিয়াকে একীভূতভাবে মডেল করে এবং একটি মডেলের মাধ্যমে 64টি ডেস্কটপ ও পুরো শরীরের চলনভিত্তিক কাজ পরিচালনা করে। মডেলটির প্রায় 4B প্যারামিটারের UnifoLM-ER-1 পারসেপশন-রিজনিং মডেল এবং ER-Flow অ্যাকশন-মডেলিং মডেলের ওজন উন্মুক্ত করা হয়েছে। ER-Flow ভবিষ্যৎ গতিশীলতা পূর্বাভাস ও বিচ্ছিন্ন অ্যাকশন লার্নিং একীভূত করে। সম্পূর্ণ সিস্টেম ও পোস্ট-ট্রেনিং কোড ধাপে ধাপে প্রকাশ করা হবে।

এমবডিড পারসেপশন ও রিজনিং: বস্তুর অবস্থান, স্থানিক সম্পর্ক এবং পরিচালনাযোগ্য অঞ্চল শনাক্ত করে; “লক্ষ্য কোথায়, বস্তুগুলোর মধ্যে কী সম্পর্ক” ধরনের প্রশ্নের উত্তর দেয় এবং অপারেশনাল সিদ্ধান্তের জন্য পারসেপশন ভিত্তি তৈরি করে।
ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন একীভূত সম্পাদন: কাজের নির্দেশনাকে সরাসরি রোবটের সম্পাদনযোগ্য ক্রিয়ায় রূপান্তর করে। একটি মডেলের মাধ্যমে 54টি ডেস্কটপ কাজ ও 10টি পুরো শরীরের চলনভিত্তিক অপারেশন পরিচালনা করে; প্রতিটি কাজের জন্য আলাদা নীতি প্রশিক্ষণের প্রয়োজন হয় না।
ইন্টারঅ্যাকশন ফলাফল পূর্বাভাস: ক্রিয়া সম্পাদনের আগে অপারেশনের ফলে দৃশ্যপটে যে পরিবর্তন ঘটবে তা পূর্বাভাস দেয়, ফলে অকার্যকর প্রচেষ্টা কমে।
পুরো শরীরের সমন্বিত অপারেশন: ঊর্ধ্বাঙ্গের কাজ ও নিম্নাঙ্গের চলন একসঙ্গে নিয়ন্ত্রণ করে; বিছানা গোছানো, কাপড় ভাঁজ করা, আবর্জনা ফেলা ইত্যাদি চলন ও অপারেশনের সমন্বয় দরকার এমন জটিল কাজ সম্পন্ন করতে পারে।

WeChat-এ অনুসরণ করে “开源” লিখে উত্তর দিন এবং AI ওপেন-সোর্স প্রকল্পের আলোচনাগোষ্ঠীতে যোগ দিন
একীভূত VLA আর্কিটেকচার: ভিশন-ল্যাঙ্গুয়েজ মডেলকে ভিত্তি হিসেবে ব্যবহার করে ছবি, ভাষার নির্দেশনা ও ক্রিয়াকে একই মডেলে যৌথভাবে মডেল করা হয়। প্রায় 2500 ঘণ্টার বাস্তব রোবট ডেটা দিয়ে এন্ড-টু-এন্ড প্রশিক্ষণের মাধ্যমে 6B প্যারামিটারের মডেল তৈরি করা হয়েছে, যা পারসেপশন, পরিকল্পনা ও নিয়ন্ত্রণকে আলাদা মডিউলে ভাগ করার ফলে সৃষ্ট ত্রুটি সঞ্চয় এড়ায়।
বিচ্ছিন্ন অ্যাকশন উপস্থাপনা: RVQ-এর মাধ্যমে একীভূত অ্যাকশন স্পেসের প্রান্ত-প্রভাবক ভঙ্গি, ডেক্সটেরাস হ্যান্ডের জয়েন্ট এবং নিম্নাঙ্গের জয়েন্টকে পৃথক অ্যাকশন টোকেনে রূপান্তর করা হয়। এতে ধারাবাহিক নিয়ন্ত্রণ সমস্যা ভাষা মডেলের উপযোগী টোকেন পূর্বাভাস সমস্যায় পরিণত হয় এবং ভিশন ও টেক্সট তথ্য একই সিকোয়েন্সে প্রক্রিয়াকৃত হয়।
ভবিষ্যৎ গতিশীলতা পূর্বাভাস (ER-Flow স্তর): মাস্কড টোকেন প্রক্রিয়া ব্যবহার করে ইনফারেন্সের সময় একই সঙ্গে অ্যাকশন টোকেন ও ভবিষ্যৎ গতিশীল অঞ্চলের টোকেন পূর্বাভাস দেওয়া হয়। ফলে মডেল “হাত লাগানোর আগে” অপারেশনের ফলে দৃশ্যপটে সম্ভাব্য পরিবর্তন কল্পনা করে, তারপর সেই ভিত্তিতে অ্যাকশন সিকোয়েন্স তৈরি করে এবং পারসেপশন ও অ্যাকশনের মধ্যে ক্লোজড-লুপ সংযোগ স্থাপন করে।
স্তরভিত্তিক মডেল নকশা: ER-1 নিম্নস্তরের পারসেপশন ও রিজনিং পরিচালনা করে, আর ER-Flow তার ওপর অ্যাকশন মডেলিং যুক্ত করে। দুটিই WLA সিস্টেমের পারসেপশন ভিত্তি ও মধ্যস্তর গঠন করে; পূর্ণ 6B সিস্টেম এগুলোর ওপর পোস্ট-ট্রেনিং একীভূত করে পুরো শরীরের অপারেশন সক্ষমতা অর্জন করে।

কোড সংগ্রহ: প্রকল্পের হোমপেজ unigen-x.github.io/unifolm-wla.github.io অথবা GitHub রিপোজিটরি unitreerobotics/unifolm-wla-এ যান। README অনুসরণ করে কোড ক্লোন করুন এবং নির্ভরতা ইনস্টল করুন।
ওজন ডাউনলোড: HuggingFace থেকে উন্মুক্ত করা UnifoLM-ER-1 এবং UnifoLM-ER-Flow মডেলের ওজন সংগ্রহ করুন; huggingface-cli download কমান্ড ব্যবহার করলেই হবে।
ইনফারেন্স উদাহরণ চালানো: প্রথমে প্রকল্পের দেওয়া ইনফারেন্স স্ক্রিপ্ট দিয়ে ER-1 লোড করুন। রোবটের বর্তমান দৃশ্য ও কাজের বিবরণ ইনপুট দিয়ে লক্ষ্য শনাক্তকরণ, স্থানিক সম্পর্ক বোঝা ইত্যাদি পারসেপশন-রিজনিং আউটপুট স্বাভাবিক কিনা পরীক্ষা করুন।
অ্যাকশন পূর্বাভাস যুক্ত করা: ER-Flow লোড করে বর্তমান ছবি + কাজের নির্দেশনা + সম্ভাব্য অ্যাকশন ইনপুট দিন। মডেল বিচ্ছিন্ন অ্যাকশন টোকেন এবং ভবিষ্যৎ গতিশীল অঞ্চলের পূর্বাভাস দেবে। এরপর অফিসিয়াল RVQ ডিকোডিং পদ্ধতি অনুসারে এগুলোকে ধারাবাহিক নিয়ন্ত্রণ সংকেতে রূপান্তর করতে হবে।
বাস্তব রোবট নিয়ন্ত্রণে মানিয়ে নেওয়া: ডিকোড করা অ্যাকশন নির্দেশনা ইউনিট্রি G1 / H1 ইত্যাদি রোবটের গতি নিয়ন্ত্রণ ইন্টারফেসে যুক্ত করুন এবং সিমুলেশন বা বাস্তব রোবটে অল্প পরিসরে যাচাই করে তারপর স্থাপন করুন, কারণ ওজনের মধ্যে সম্পূর্ণ রোবট নিয়ন্ত্রণ ব্যবস্থা অন্তর্ভুক্ত নেই।

এক মডেলে বহু কাজ: 6B প্যারামিটারের মাধ্যমে 54টি ডেস্কটপ অপারেশন ও 10টি পুরো শরীরের চলনভিত্তিক অপারেশন, মোট 64টি কাজ পরিচালনা করে। প্রতিটি কাজের জন্য আলাদা নীতি প্রশিক্ষণের প্রয়োজন নেই এবং সাধারণীকরণ ক্ষমতা উন্নত।
বাস্তব রোবট ডেটার দৃঢ় ভিত্তি: প্রায় 2500 ঘণ্টার বাস্তব রোবট অপারেশন ডেটা দিয়ে প্রশিক্ষিত, কেবল সিমুলেশন ডেটা দিয়ে নয়; ফলে অ্যাকশন আউটপুট বাস্তব রোবটের ডায়নামিক বৈশিষ্ট্যের আরও কাছাকাছি।
শক্তিশালী পারসেপশন ভিত্তি: নিম্নস্তরের ER-1 মডেলটি Qwen3-VL-4B-এর ওপর ভিত্তি করে তৈরি এবং 5 মিলিয়নের বেশি নমুনা দিয়ে শক্তিবর্ধিত প্রশিক্ষণপ্রাপ্ত। RefSpatial-Bench-সহ 7টি ওপেন-সোর্স মডেল মূল্যায়নে এটি প্রথম স্থান অর্জন করেছে।
“আগে অনুমান, পরে কাজ”: ER-Flow মাস্কড টোকেনের মাধ্যমে অপারেশনের ফলে ভবিষ্যৎ দৃশ্যপটে যে পরিবর্তন ঘটবে তা পূর্বাভাস দেয়; অ্যাকশনের পরিণতি আগে কল্পনা করে তারপর সম্পাদন করে, ফলে অকার্যকর প্রচেষ্টা ও সংঘর্ষের ঝুঁকি কমে।
পুরো শরীরের একীভূত নিয়ন্ত্রণ: RVQ ডেক্সটেরাস হ্যান্ড, প্রান্ত-প্রভাবকের ভঙ্গি ও নিম্নাঙ্গের জয়েন্টকে একীভূত অ্যাকশন টোকেনে এনকোড করে, ফলে একই মডেলের অধীনে ঊর্ধ্বাঙ্গের অপারেশন ও নিম্নাঙ্গের চলনের সমন্বিত সিদ্ধান্ত নেওয়া যায়।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://unigen-x.github.io/unifolm-wla.github.io/
GitHub রিপোজিটরি: https://github.com/unitreerobotics/unifolm-wla
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/unitreerobotics/UnifoLM-ER-Flow
https://huggingface.co/unitreerobotics/UnifoLM-ER-1

গৃহস্থালি পরিষেবা: কাপড় ভাঁজ করা, বিছানা গোছানো, আবর্জনা ফেলা ইত্যাদি দৈনন্দিন গৃহস্থালির কাজ সম্পন্ন করে; এটি উদ্বোধনী অনুষ্ঠানে প্রদর্শিত প্রধান ক্ষেত্র।
শিল্প উৎপাদন: উৎপাদন লাইনে যন্ত্রাংশ তোলা, সরঞ্জাম এগিয়ে দেওয়া, সাধারণ সংযোজন ইত্যাদি পুনরাবৃত্তিমূলক অপারেশনাল কাজ সম্পাদন করে।
লজিস্টিকস ও গুদাম: পণ্য বাছাই, প্যাকেজ বহন, তাক গোছানো ইত্যাদি চলন ও অপারেশনের সমন্বয় দরকার এমন গুদামজাত কাজ সম্পন্ন করে।
গবেষণা ও শিক্ষা: সম্পূর্ণ ওপেন-সোর্স এন্ড-টু-এন্ড VLA ভিত্তি হিসেবে বিশ্ববিদ্যালয় ও গবেষণাগারগুলোকে এমবডিড ইন্টেলিজেন্স অ্যালগরিদম গবেষণা এবং এমবডিড রিজনিং ডেটা প্রশিক্ষণে সহায়তা করে।
বাণিজ্যিক নির্দেশনা ও পরিষেবা: প্রদর্শনী হল, শপিং মল ইত্যাদি স্থানে পথনির্দেশ, পণ্য পৌঁছে দেওয়া এবং মানুষের সঙ্গে যোগাযোগভিত্তিক পরিষেবা কাজ সম্পাদন করে।