GPT 6 Astra এমবডিড-পলিসি মূল্যায়ন চালান ও অন্বেষণ করুন

এই প্রকল্পটি কী করে

এই রিপোজিটরিতে রোবোটিক নিয়ন্ত্রণে GPT 6 Astra ব্যবহারের জন্য মূল্যায়ন কোড এবং একটি দ্বিভাষিক কারিগরি প্রতিবেদন রয়েছে। এতে দশটি RoboDojo টাস্কে, প্রতিটি টাস্কের জন্য পাঁচটি সামঞ্জস্যপূর্ণ কেসসহ, GPT 6 Astra Direct-এর সঙ্গে এমন একটি হাইব্রিড নীতির তুলনা করা হয়েছে যা π₀.₅-এর অ্যাকশন পর্যালোচনা করে এবং প্রয়োজনে সংশোধন করে।

হাইব্রিড নীতিতে গড় Score 62.60 এবং 48% সাফল্য পাওয়া গেছে। সম্পাদিত নিয়ন্ত্রণ ধাপের 14.4%-এ GPT সংশোধন ব্যবহৃত হয়েছে। উপলভ্য নেটিভ স্কোরসহ 48টি এপিসোডে GPT 6 Astra Direct-এর সাফল্য ছিল 26% এবং গড় Score ছিল 37.81। উভয় সাফল্যের হারেই নির্বাচিত 50টি কেস ব্যবহার করা হয়েছে। অফিসিয়াল-মডেল তুলনাগুলো একই seed-এ পুনরায় চালানো ফল নয়; এগুলো পুনঃওজন করা প্রকাশ্য রেফারেন্স।

এই রিলিজটি ইতিহাস-বিহীন একটি সোর্স স্ন্যাপশট। এতে কোনো শংসাপত্র, ব্যক্তিগত অ্যানোটেশন, কাঁচা মডেল সেশন, মূল অপারেশন লগ, সিমুলেটর অ্যাসেট বা মডেল চেকপয়েন্ট নেই। প্রয়োজনীয় সিমুলেটর এবং নীতি-পরিবেশ সংশ্লিষ্ট আপস্ট্রিম প্রকল্প থেকে আলাদাভাবে সংগ্রহ করতে হবে।

রিপোজিটরির বিন্যাস বুঝুন

• hybrid_rollout/robodojo/-তে সিমুলেটর ইন্টিগ্রেশন, নীতি সার্ভার, কন্ট্রোলার, স্কিল এবং শিডিউলার রয়েছে।
• hybrid_rollout/robolab/-তে পৃথক RoboLab ইন্টিগ্রেশন রয়েছে।
• hybrid_rollout/report_site/-তে দ্বিভাষিক প্রতিবেদনের সোর্স, গ্যালারি এবং প্যাকেজিং টুল রয়েছে।
• report_web/-তে প্রিবিল্ট প্রতিবেদন এবং এর 21টি আর্টিকেল ক্লিপ রয়েছে।
• public_results/-তে নির্বাচিত কেসের মেটাডেটা, স্কোর, seed এবং প্রোভেন্যান্স রয়েছে।
• licenses/-তে তৃতীয় পক্ষের নোটিশ রয়েছে।

প্রোডাকশন ওয়েবসাইটে সম্পূর্ণ ভিডিও গ্যালারি রয়েছে এবং এটি পৃথক একটি রিপোজিটরিতে রক্ষণাবেক্ষণ করা হয়। RoboDojo ওয়েবসাইটে 100টি মূল্যায়ন ভিডিও এবং 43টি গ্যালারি ক্লিপ রয়েছে। RoboLab গ্যালারিতে তিনটি পদ্ধতি, দশটি টাস্ক এবং পাঁচটি ট্রায়ালজুড়ে 150টি রেকর্ডিং রয়েছে।

দ্বিভাষিক প্রতিবেদনটির প্রিভিউ দেখুন

রিলিজটি ঘেঁটে দেখার দ্রুততম উপায় হলো রিপোজিটরির রুট থেকে স্থানীয় প্রতিবেদন প্রিভিউ চালু করা। প্রিভিউ সার্ভার ভিডিওর byte range সমর্থন করে, তাই প্রতিবেদনটি অন্তর্ভুক্ত ক্লিপগুলো দক্ষতার সঙ্গে চালাতে পারে।

python3 -m hybrid_rollout.report_site.preview --directory report_web --port 8768

ব্রাউজারে http://127.0.0.1:8768/ খুলুন। ডিফল্টভাবে ইংরেজি নির্বাচিত থাকে। ভাষা বোতাম ব্যবহার করুন অথবা চীনা ভাষায় পরিবর্তন করতে ?lang=zh যোগ করুন।

স্ট্যাটিক report_web/ ডিরেক্টরিটি সাধারণ HTTP সার্ভার দিয়েও হোস্ট করা যায়। পাবলিক GitHub Pages কেবল কম্পাইল করা স্ট্যাটিক প্রতিবেদন এবং নির্বাচিত মিডিয়া পরিবেশন করে; এটি অ্যানোটেশন API বা rollout সার্ভিস প্রকাশ করে না।

প্রতিবেদনের ফ্রন্টএন্ড পুনর্নির্মাণ করুন

প্রতিবেদন পুনর্নির্মাণ করতে লক করা Vite সংস্করণের সঙ্গে সামঞ্জস্যপূর্ণ Node.js ব্যবহার করুন। এই রিলিজে Node 24 ব্যবহার করা হয়েছে। ফ্রন্টএন্ড অ্যাপ্লিকেশনে প্রবেশ করে লক করা নির্ভরতাগুলো ইনস্টল করুন এবং প্রোডাকশন বিল্ড চালান।

cd hybrid_rollout/report_site/app
npm ci --ignore-scripts --no-audit --no-fund
npm run build

বিল্ডটি সংরক্ষিত শেয়ার্ড runtime যাচাই করে এবং একটি স্বয়ংসম্পূর্ণ dist/index.html তৈরি করে। ওই ফাইলটি report_web/index.html-এ কপি করুন এবং পাশাপাশি data.json, scores.csv, citation.bib, লাইসেন্স ও মিডিয়া রাখুন।

পাবলিক authoring snapshot-টি অন্তর্ভুক্ত আছে, তাই এই ফ্রন্টএন্ড পুনর্নির্মাণের জন্য কোনো ব্যক্তিগত experiment store প্রয়োজন নেই। শুধু ফ্রন্টএন্ড পুনর্নির্মাণের জন্য build.py চালাবেন না। ওই অফলাইন evidence-extraction utility-র জন্য মূল, অপ্রকাশ্য trajectory archive প্রয়োজন।

নতুন মূল্যায়ন প্রস্তুত করুন

নতুন মূল্যায়নের জন্য বাইরে থেকে ইনস্টল করা পরিবেশ প্রয়োজন। এই রিপোজিটরি স্বতন্ত্র সিমুলেটর ডিস্ট্রিবিউশন নয়।

1. Isaac Sim 5.1, সামঞ্জস্যপূর্ণ RoboDojo সোর্স ও অ্যাসেট এবং π₀.₅ OpenPI/JAX চেকপয়েন্ট ইনস্টল ও কনফিগার করুন। RoboLab-এর নিজস্ব পরিবেশ ও সেটআপের প্রয়োজনীয়তা রয়েছে। সংশ্লিষ্ট শর্ত অনুযায়ী আপস্ট্রিম প্রকল্প থেকে এগুলো সংগ্রহ করুন।
2. রেকর্ড করা আপস্ট্রিম revision এবং চেকপয়েন্টের পরিচয় নির্ধারণ করতে hybrid_rollout/robodojo/SOURCE.json পর্যালোচনা করুন।
3. আলাদা tools environment, simulator environment, OpenPI/JAX environment, checkpoint এবং Codex CLI প্রস্তুত করুন। সিমুলেটর ও policy environment-কে হালকা রিপোজিটরি টুলগুলো থেকে পৃথক রাখুন।
4. hybrid_rollout/robodojo/cluster.env.example কপি করুন বা পর্যালোচনা করুন। আপনার path, container image, user ও group ID, credential file path এবং স্পষ্ট case identity সেট করুন। পাবলিক export-এর pathগুলো সাধারণ উদাহরণ, চালানোর উপযোগী cluster credential নয়।
5. বিচ্ছিন্ন rollout authentication পরিচালনা করতে hybrid_rollout.robodojo.codex_backend.profiles ব্যবহার করুন। login বা lease operation-এর আগে --help দিয়ে CLI পরীক্ষা করুন।
6. নীতিগুলোর মধ্যে task, scene এবং seed সামঞ্জস্য করতে public_results/evaluation_cases.json ব্যবহার করুন। প্রতিটি কেসে একটি hybrid ফলাফল এবং একটি Direct ফলাফল রয়েছে।

মডেলটি gpt-6-astra-এ নির্দিষ্ট এবং reasoning xhigh। আপনার নিজস্ব অনুমোদিত account বা gateway access প্রয়োজন হবে, এবং policy বা model execution-এর জন্য খরচ হতে পারে।

মূল্যায়ন পদ্ধতি নির্বাচন করুন

নীতি মোড নির্বাচন করতে ROLLOUT_EVALUATION_METHOD সেট করুন:

ROLLOUT_EVALUATION_METHOD=pi05_plus_gpt

হাইব্রিড নীতির জন্য pi05_plus_gpt ব্যবহার করুন; এতে GPT π₀.₅-এর অ্যাকশন পর্যালোচনা করে এবং প্রয়োজনে সংশোধন করতে পারে। Direct নীতি নির্বাচন করতে ব্যবহার করুন:

ROLLOUT_EVALUATION_METHOD=gpt_only

gpt_only হলো GPT 6 Astra Direct-এর অভ্যন্তরীণ CLI identifier। এটি π₀.₅ চালু করে না।

কনটেইনারের এন্ট্রি পয়েন্ট হলো hybrid_rollout/robodojo/cluster_entrypoint.sh। প্রতিটি কনটেইনার একটি নির্দিষ্ট কেস চালায়, এর আর্টিফ্যাক্ট সংরক্ষণ করে এবং নিজস্ব কম্পোনেন্টগুলো পরিষ্কার করে। ঐচ্ছিক acp.py ফাইলটি SenseCore-নির্দিষ্ট সাবমিশন অ্যাডাপ্টার। ক্লাস্টার-নির্দিষ্ট ক্যাম্পেইন মাইগ্রেশন সহায়কদের জন্য ডিপ্লয়মেন্ট-স্থানীয় পরিকল্পনা প্রয়োজন; এগুলো এক কমান্ডে চালানো যায় এমন পাবলিক লঞ্চ রেসিপি নয়।

পুনরুৎপাদনযোগ্য অফলাইন টেস্ট চালান

অফলাইন টেস্টের জন্য tools নির্ভরতাগুলো প্রয়োজন, তবে simulator এবং OpenPI নির্ভরতাগুলো আলাদা পরিবেশে পৃথকভাবে ইনস্টল করতে হবে। একটি নিবেদিত ভার্চুয়াল পরিবেশে requirements-tools.txt ইনস্টল করুন, তারপর রিপোর্ট ও ডায়াগনস্টিক টেস্ট চালান।

python3 -m unittest hybrid_rollout.report_site.test_i18n hybrid_rollout.report_site.test_editorial_revision -v
python3 -m pytest hybrid_rollout/robodojo/test_proposal_diagnostics.py hybrid_rollout/robodojo/test_prompt_context.py hybrid_rollout/robodojo/test_network_continue.py

এই টেস্টগুলো সিমুলেশন বা মডেল কল সম্পাদন করে না। মূল শেয়ার্ড স্টোরেজ, মালিকানাধীন সিমুলেটর বা ঐতিহাসিক অপারেশন ফিক্সচারের ওপর নির্ভরশীল টেস্টগুলো একমাত্র এই পাবলিক স্ন্যাপশট থেকে পুনরুৎপাদন করা যায় না। এই রিলিজে অর্থপ্রদত্ত মডেল বা GPU পরীক্ষা পুনরায় চালানো হয়নি।

নিরাপত্তা ও ডিপ্লয়মেন্ট নির্দেশনা

codex_backend/profiles.py এবং codex_backend/config.toml-এর গেটওয়ে URL-গুলোতে সংরক্ষিত .invalid প্লেসহোল্ডার ব্যবহার করা হয়েছে। নির্বাচিত প্রোফাইল ও সংশ্লিষ্ট কনফিগারেশনে স্পষ্টভাবে নিজের অনুমোদিত এন্ডপয়েন্ট কনফিগার করুন। আপনার নেটওয়ার্কে প্রয়োজন হলে ROLLOUT_GATEWAY_NO_PROXY সেট করুন।

API কী বা auth.json কখনো কমিট করবেন না এবং আপনার ইন্টার‌্যাক্টিভ Codex হোম পরিবর্তন করবেন না। সীমিত অনুমতিসহ রিপোজিটরির বাইরে ক্রেডেনশিয়াল সংরক্ষণ করুন। ঐতিহাসিক প্রোফাইল শনাক্তকারীগুলো কেবল সামঞ্জস্যের জন্য রয়েছে; এই রিলিজে কোনো কোম্পানি বা রিলে সার্ভিস কনফিগার করা নেই।

অ্যানোটেশন ও রিভিউ টুলগুলো একটি বিশ্বস্ত স্থানীয় নেটওয়ার্কে রাখুন। ডিফল্ট লুপব্যাক বাইন্ডিং বজায় রাখুন, অথবা কোনো সার্ভিসকে LAN-এ অ্যাক্সেসযোগ্য করার আগে অথেন্টিকেটেড রিভার্স প্রক্সি ব্যবহার করুন। Codex টুল এক্সিকিউশন ও সিমুলেটর RPC একটি বিচ্ছিন্ন, বিশ্বস্ত পরিবেশের মধ্যে রাখুন এবং অবিশ্বস্ত প্রোগ্রাম, সিরিয়ালাইজড RPC ডেটা বা ট্র্যাজেক্টরি আর্কাইভ সরবরাহ করবেন না।

উন্নত ব্যবহার ও গবেষণা রেফারেন্স

নীতিগুলোর তুলনা করার সময় টাস্ক, দৃশ্য এবং সিডের সামঞ্জস্য বজায় রাখতে public_results/evaluation_cases.json-এর কেস মেটাডেটা ব্যবহার করুন। গ্যালারি ম্যানিফেস্টে প্রতিটি ভিডিওর URL, আকার এবং SHA-256 দেওয়া আছে, যা ডাউনলোড করা মিডিয়া যাচাইয়ে সহায়তা করতে পারে।

রিপোর্ট, গ্যালারি এবং সম্পূর্ণ ভিডিও সংগ্রহের জন্য রিপোর্ট ও ভিডিও গ্যালারি দেখুন। প্রোডাকশন ওয়েবসাইটের সোর্স ওয়েবসাইট রিপোজিটরিতে পাওয়া যাবে। RoboLab গ্যালারি-তে আলাদা RoboLab রেকর্ডিং রয়েছে।

প্রকল্পের নিজস্ব কোড MIT লাইসেন্সপ্রাপ্ত। তৃতীয় পক্ষের কম্পোনেন্ট, ফন্ট, বেঞ্চমার্ক অ্যাসেট এবং লোগোগুলো নিজ নিজ শর্তের অধীনে রয়েছে; THIRD_PARTY_NOTICES.md দেখুন। মডেল ওজন ও সিমুলেটর অ্যাসেট পুনর্বিতরণ করা হয় না।

উপসংহার

এই রিপোজিটরিটি মূল্যায়ন ও রিপোর্টিংয়ের সোর্স রিলিজ হিসেবে ব্যবহার করাই সবচেয়ে উপযোগী: অন্তর্ভুক্ত রিপোর্টের প্রিভিউ দেখুন, এর স্ট্যাটিক ফ্রন্টএন্ড পুনর্নির্মাণ করুন, উপলভ্য অফলাইন টেস্ট চালান এবং নতুন RoboDojo বা RoboLab রান প্রস্তুত করতে নথিভুক্ত পরিবেশগত সীমারেখা ব্যবহার করুন। কোনো মডেল বা সিমুলেটর ওয়ার্কলোড চালু করার আগে প্রয়োজনীয় আপস্ট্রিম নির্ভরতা সংগ্রহ করুন, অনুমোদিত সার্ভিস কনফিগার করুন, পাবলিক মেটাডেটার সঙ্গে কেসগুলোর সামঞ্জস্য নিশ্চিত করুন এবং ক্রেডেনশিয়াল ও কন্ট্রোল ইন্টারফেস সুরক্ষিত রাখুন।