GPT 6 Astra gavdalangan siyosat baholashlarini ishga tushirish va o‘rganish

Bu loyiha nima qiladi

Ushbu repozitoriy robotlarni boshqarishda GPT 6 Astra’dan foydalanish uchun baholash kodi va ikki tilli texnik hisobotni o‘z ichiga oladi. U o‘nta RoboDojo vazifasida, har bir vazifa uchun beshtadan moslashtirilgan holat bilan GPT 6 Astra Direct modelini π₀.₅ harakatlarini ko‘rib chiqadigan va ixtiyoriy ravishda tuzatadigan gibrid siyosat bilan taqqoslaydi.

Gibrid siyosat o‘rtacha 62.60 Score va 48% muvaffaqiyat ko‘rsatkichini qayd etdi. Bajarilgan boshqaruv qadamlarining 14.4 foizida GPT tuzatishlaridan foydalanildi. GPT 6 Astra Direct mavjud native natijalarga ega 48 ta epizodda 26% muvaffaqiyat va 37.81 o‘rtacha Score qayd etdi. Har ikkala muvaffaqiyat ko‘rsatkichi ham tanlangan 50 ta holatning barchasidan foydalanadi. Rasmiy model taqqoslashlari bir xil seed bilan qayta ishga tushirilgan sinovlar emas, balki qayta vaznlangan ochiq manba ma’lumotlaridir.

Reliz tarixni o‘z ichiga olmaydigan manba snapshotidir. Unda hisob ma’lumotlari, maxfiy izohlar, xom model sessiyalari, dastlabki operatsiyalar jurnallari, simulyator aktivlari yoki model checkpointlari mavjud emas. Talab qilinadigan simulyator va siyosat muhitlari upstream loyihalardan alohida olinishi kerak.

Repozitariy tuzilishini tushunish

• hybrid_rollout/robodojo/ katalogida simulyator integratsiyasi, siyosat serveri, boshqaruvchi, ko‘nikmalar va rejalashtiruvchi joylashgan.
• hybrid_rollout/robolab/ katalogida alohida RoboLab integratsiyasi joylashgan.
• hybrid_rollout/report_site/ katalogida ikki tilli hisobot manbasi, galereya va paketlash vositalari joylashgan.
• report_web/ katalogida tayyorlangan hisobot va uning 21 ta maqola klipi mavjud.
• public_results/ katalogida tanlangan holat metama’lumotlari, natijalar, seedlar va kelib chiqish ma’lumotlari mavjud.
• licenses/ katalogida uchinchi tomon bildirishnomalari mavjud.

Ishlab chiqarish veb-saytida to‘liq video galereyasi mavjud bo‘lib, u alohida repozitariyda yuritiladi. RoboDojo veb-saytida 100 ta baholash videosi va 43 ta galereya klipi mavjud. RoboLab galereyasida uchta usul, o‘nta vazifa va beshta sinovni qamrab olgan 150 ta yozuv mavjud.

Ikki tilli hisobotni ko‘rib chiqish

Relizni o‘rganishning eng tezkor usuli repozitoriy ildizidan mahalliy hisobot preview’ini ishga tushirishdir. Preview server video bayt diapazonlarini qo‘llab-quvvatlaydi, shuning uchun hisobot o‘z ichiga kiritilgan kliplarni samarali ijro eta oladi.

python3 -m hybrid_rollout.report_site.preview --directory report_web --port 8768

Brauzerda http://127.0.0.1:8768/ manzilini oching. Standart bo‘yicha ingliz tili tanlangan. Xitoy tiliga o‘tish uchun til tugmasidan foydalaning yoki ?lang=zh parametrini qo‘shing.

Statik report_web/ katalogini standart HTTP server orqali ham joylashtirish mumkin. Ochiq GitHub Pages faqat kompilyatsiya qilingan statik hisobot va tanlangan media fayllarni taqdim etadi; u izohlar API’si yoki rollout xizmatlarini ochib bermaydi.

Hisobot frontendini qayta yig‘ish

Hisobotni qayta yig‘ish uchun qulflangan Vite versiyasiga mos Node.js’dan foydalaning. Ushbu relizda Node 24 ishlatilgan. Frontend ilovasiga o‘ting, qulflangan bog‘liqliklarni o‘rnating va production build’ini ishga tushiring.

cd hybrid_rollout/report_site/app
npm ci --ignore-scripts --no-audit --no-fund
npm run build

Build saqlangan umumiy runtime’ni tekshiradi va mustaqil dist/index.html faylini yaratadi. Ushbu faylni report_web/index.html manziliga ko‘chiring; data.json, scores.csv, citation.bib, litsenziyalar va media fayllarni uning yonida saqlang.

Ochiq mualliflik snapshot’i kiritilgan, shuning uchun ushbu frontend build’ini qayta yaratish uchun maxfiy tajriba ombori kerak emas. Frontendni shunchaki qayta yig‘ish uchun build.py faylini ishga tushirmang. Ushbu offline dalil ajratish vositasi dastlabki, ochiq bo‘lmagan trayektoriya arxivlarini talab qiladi.

Yangi baholashni tayyorlash

Yangi baholashlar tashqaridan o‘rnatilgan muhitlarni talab qiladi. Ushbu repozitoriy mustaqil simulyator distributivi emas.

1. Isaac Sim 5.1, mos RoboDojo manbasi va aktivlari hamda π₀.₅ OpenPI/JAX checkpointini o‘rnating va sozlang. RoboLab o‘z muhitiga va sozlash talablariga ega. Bularning barchasini tegishli shartlar asosida upstream loyihalardan oling.
2. Qayd etilgan upstream reviziyalari va checkpoint identifikatorini aniqlash uchun hybrid_rollout/robodojo/SOURCE.json faylini ko‘rib chiqing.
3. Alohida tools muhiti, simulyator muhiti, OpenPI/JAX muhiti, checkpoint va Codex CLI’ni tayyorlang. Simulyator va siyosat muhitlarini yengil repozitoriy vositalaridan alohida saqlang.
4. hybrid_rollout/robodojo/cluster.env.example faylidan nusxa oling yoki uni ko‘rib chiqing. Yo‘llaringizni, container image’ni, foydalanuvchi va guruh ID’larini, credential fayllari yo‘llarini hamda aniq holat identifikatorini belgilang. Ochiq eksportdagi yo‘llar umumiy misollar bo‘lib, ishga tayyor cluster credentiallari emas.
5. Izolyatsiyalangan rollout autentifikatsiyasini boshqarish uchun hybrid_rollout.robodojo.codex_backend.profiles dan foydalaning. Login yoki lease amallaridan oldin CLI’ni --help bilan tekshiring.
6. Siyosatlar bo‘yicha vazifa, sahna va seedni moslashtirish uchun public_results/evaluation_cases.json dan foydalaning. Har bir holatda bittadan gibrid natija va Direct natijasi mavjud.

Model gpt-6-astra ga, reasoning esa xhigh ga qat’iy belgilangan. Sizga o‘zingizning vakolatli hisobingiz yoki gateway kirish huquqingiz kerak bo‘ladi; siyosat yoki modelni ishga tushirish xarajat talab qilishi mumkin.

Baholash usulini tanlash

Siyosat rejimini tanlash uchun ROLLOUT_EVALUATION_METHOD ni belgilang:

ROLLOUT_EVALUATION_METHOD=pi05_plus_gpt

GPT’ga π₀.₅ harakatlarini ko‘rib chiqish va ixtiyoriy ravishda tuzatishga imkon beradigan gibrid siyosat uchun pi05_plus_gpt dan foydalaning. Direct siyosatini tanlash uchun quyidagidan foydalaning:

ROLLOUT_EVALUATION_METHOD=gpt_only

gpt_only GPT 6 Astra Direct uchun ichki CLI identifikatoridir. U π₀.₅ ni ishga tushirmaydi.

Konteynerning kirish nuqtasi hybrid_rollout/robodojo/cluster_entrypoint.sh faylidir. Har bir konteyner bitta aniq holatni ishga tushiradi, artefaktlarini saqlaydi va o‘z komponentlarini tozalaydi. Ixtiyoriy acp.py fayli SenseCore’ga xos topshirish adapteridir. Klasterga xos kampaniya migratsiyasi yordamchilari joylashtirishga bog‘liq rejalarni talab qiladi va bir buyruqli ommaviy ishga tushirish retsepti emas.

Qayta ishlab bo‘ladigan oflayn testlarni ishga tushirish

Oflayn testlar tools bog‘liqliklarini talab qiladi, simulator va OpenPI bog‘liqliklari esa alohida muhitlarda mustaqil o‘rnatilishi kerak. requirements-tools.txt faylini maxsus virtual muhitga o‘rnating, so‘ng hisobot va diagnostika testlarini ishga tushiring.

python3 -m unittest hybrid_rollout.report_site.test_i18n hybrid_rollout.report_site.test_editorial_revision -v
python3 -m pytest hybrid_rollout/robodojo/test_proposal_diagnostics.py hybrid_rollout/robodojo/test_prompt_context.py hybrid_rollout/robodojo/test_network_continue.py

Bu testlar simulyatsiya yoki model chaqiruvlarini bajarmaydi. Asl umumiy xotira, xususiy simulyator yoki tarixiy operatsiyalar fixture’lariga bog‘liq testlarni faqat ushbu ommaviy snapshot asosida qayta ishlab bo‘lmaydi. Ushbu reliz pullik model yoki GPU tajribalarini qayta ishga tushirmagan.

Xavfsizlik va joylashtirish bo‘yicha ko‘rsatmalar

codex_backend/profiles.py va codex_backend/config.toml fayllaridagi gateway URL’lari rezerv qilingan .invalid o‘rinbosarlaridan foydalanadi. Tanlangan profil va unga mos konfiguratsiyada o‘zingizning ruxsat berilgan endpoint’ingizni aniq sozlang. Tarmog‘ingiz talab qilsa, ROLLOUT_GATEWAY_NO_PROXY qiymatini o‘rnating.

API kalitlari yoki auth.json faylini hech qachon commit qilmang va interaktiv Codex home katalogingizni o‘zgartirmang. Hisob ma’lumotlarini cheklangan ruxsatlar bilan repozitoriydan tashqarida saqlang. Tarixiy profil identifikatorlari faqat moslik uchun mavjud; ushbu reliz kompaniya yoki relay xizmatini sozlamaydi.

Izohlash va ko‘rib chiqish vositalarini ishonchli mahalliy tarmoqda saqlang. Standart loopback bog‘lanishini saqlang yoki xizmatni LAN’da ochishdan oldin autentifikatsiyalangan reverse proxy’dan foydalaning. Codex vositalari bajarilishi va simulyator RPC’sini izolyatsiyalangan, ishonchli muhitda saqlang hamda ishonchsiz dasturlar, seriyalashtirilgan RPC ma’lumotlari yoki trayektoriya arxivlarini taqdim etmang.

Ilg‘or foydalanish va tadqiqot manbalari

Siyosatlarni taqqoslashda vazifa, sahna va seed mosligini saqlash uchun public_results/evaluation_cases.json faylidagi holat metama’lumotlaridan foydalaning. Galereya manifestida har bir videoning URL’i, hajmi va SHA-256 xeshi qayd etilgan bo‘lib, bu yuklab olingan mediani tekshirishda yordam beradi.

Hisobot, galereya va videolarning to‘liq to‘plami uchun hisobot va video galereyasiga tashrif buyuring. Ishlab chiqarish veb-sayti manba kodi veb-sayt repozitoriyasida mavjud. RoboLab galereyasi alohida RoboLab yozuvlarini taqdim etadi.

Loyihaga tegishli kod MIT litsenziyasi asosida tarqatiladi. Uchinchi tomon komponentlari, shriftlar, benchmark aktivlari va logotiplar o‘z shartlarini saqlab qoladi; THIRD_PARTY_NOTICES.md fayliga murojaat qiling. Model og‘irliklari va simulyator aktivlari qayta tarqatilmaydi.

Xulosa

Ushbu repozitoriydan baholash va hisobot manbasi sifatida foydalanish eng ma’qul: kiritilgan hisobotni oldindan ko‘ring, uning statik frontend’ini qayta yarating, mavjud oflayn testlarni ishga tushiring va yangi RoboDojo yoki RoboLab ishga tushirilishini tayyorlash uchun hujjatlashtirilgan muhit chegaralaridan foydalaning. Har qanday model yoki simulyator ish yukini ishga tushirishdan oldin zarur upstream bog‘liqliklarini oling, ruxsat berilgan xizmatlarni sozlang, holatlarni ommaviy metama’lumotlar bilan moslang hamda hisob ma’lumotlari va boshqaruv interfeyslarini himoyalang.