Endesha na Chunguza Tathmini za Sera za Roboti Wenye Mwili za GPT 6 Astra

Kile mradi huu unafanya

Hazina hii ina msimbo wa tathmini na ripoti ya kiufundi ya lugha mbili kuhusu matumizi ya GPT 6 Astra katika udhibiti wa roboti. Inalinganisha GPT 6 Astra Direct na sera mseto inayokagua na, inapohitajika, kurekebisha vitendo vya π₀.₅ katika kazi kumi za RoboDojo, zikiwa na visa vitano vilivyolinganishwa kwa kila kazi.

Sera mseto inaripoti Score ya wastani ya 62.60 na 48% ya mafanikio. Marekebisho ya GPT yalitumika katika 14.4% ya hatua za udhibiti zilizotekelezwa. GPT 6 Astra Direct ilifikisha mafanikio ya 26% na Score ya wastani ya 37.81 katika vipindi 48 vilivyokuwa na alama asilia zilizopatikana. Viwango vyote viwili vya mafanikio vinatumia visa vyote 50 vilivyochaguliwa. Ulinganisho wa miundo rasmi ni marejeleo ya umma yaliyopimwa upya, si marudio yenye mbegu zilezile.

Toleo hili ni picha ya msimbo isiyohifadhi historia. Halijumuishi vitambulisho vya kuingia, vidokezo vya faragha, vipindi ghafi vya miundo, kumbukumbu asilia za uendeshaji, mali za kiigaji, au checkpoint za miundo. Kiigaji na mazingira ya sera yanayohitajika lazima yapatikane kando kutoka kwenye miradi yao ya chanzo.

Fahamu mpangilio wa hazina

• hybrid_rollout/robodojo/ ina ujumuishaji wa kiigaji, seva ya sera, kidhibiti, ujuzi na kipangaji.
• hybrid_rollout/robolab/ ina ujumuishaji tofauti wa RoboLab.
• hybrid_rollout/report_site/ ina chanzo cha ripoti ya lugha mbili, ghala la midia na zana za kufungasha.
• report_web/ ina ripoti iliyojengwa awali na vipande vyake 21 vya makala.
• public_results/ ina metadata ya visa vilivyochaguliwa, alama, mbegu na chanzo cha data.
• licenses/ ina notisi za wahusika wengine.

Tovuti ya uzalishaji ina ghala kamili la video na inadumishwa katika hazina tofauti. Tovuti ya RoboDojo inatoa video 100 za tathmini na vipande 43 vya ghala. Ghala la RoboLab linatoa rekodi 150 zinazohusu mbinu tatu, kazi kumi na majaribio matano.

Hakiki ripoti ya lugha mbili

Njia ya haraka zaidi ya kuchunguza toleo hili ni kuanzisha hakiki ya ripoti ya ndani kutoka kwenye mzizi wa hazina. Seva ya hakiki inatumia masafa ya baiti za video, hivyo ripoti inaweza kucheza vipande vilivyojumuishwa kwa ufanisi.

python3 -m hybrid_rollout.report_site.preview --directory report_web --port 8768

Fungua http://127.0.0.1:8768/ katika kivinjari. Kiingereza huchaguliwa kwa chaguo-msingi. Tumia kitufe cha lugha au ongeza ?lang=zh ili kubadili kwenda Kichina.

Saraka tuli ya report_web/ pia inaweza kupangishwa kwa seva ya kawaida ya HTTP. GitHub Pages ya umma huhudumia ripoti tuli iliyokusanywa na midia iliyochaguliwa pekee; haifichui API ya maelezo wala huduma za uendeshaji.

Jenga upya sehemu ya mbele ya ripoti

Ili kujenga upya ripoti, tumia Node.js inayooana na toleo la Vite lililofungwa. Node 24 ilitumika kwa toleo hili. Nenda kwenye programu ya sehemu ya mbele, sakinisha vitegemezi vilivyofungwa, kisha endesha ujenzi wa uzalishaji.

cd hybrid_rollout/report_site/app
npm ci --ignore-scripts --no-audit --no-fund
npm run build

Ujenzi unathibitisha runtime ya pamoja iliyohifadhiwa na kuunda dist/index.html inayojitegemea. Nakili faili hiyo hadi report_web/index.html, huku ukihifadhi data.json, scores.csv, citation.bib, leseni na midia kando yake.

Picha ya umma ya uandishi imejumuishwa, kwa hiyo hifadhi binafsi ya majaribio haihitajiki kwa ujenzi huu wa sehemu ya mbele. Usikimbize build.py kwa ajili ya kujenga upya sehemu ya mbele pekee. Zana hiyo ya nje ya mtandao ya kutoa ushahidi inahitaji kumbukumbu asilia za njia ambazo si za umma.

Andaa tathmini mpya

Tathmini mpya zinahitaji mazingira yaliyosakinishwa nje. Hazina hii si usambazaji wa kiigaji unaojitegemea.

1. Sakinisha na usanidi Isaac Sim 5.1, chanzo na mali zinazolingana za RoboDojo, pamoja na checkpoint ya π₀.₅ ya OpenPI/JAX. RoboLab ina mazingira yake na mahitaji yake ya usanidi. Pata hivi vyote kutoka kwenye miradi yao ya chanzo kwa mujibu wa masharti yao.
2. Kagua hybrid_rollout/robodojo/SOURCE.json ili kubaini marekebisho ya chanzo cha upstream yaliyorekodiwa na utambulisho wa checkpoint.
3. Andaa mazingira tofauti ya zana, mazingira ya kiigaji, mazingira ya OpenPI/JAX, checkpoint na Codex CLI. Weka mazingira ya kiigaji na sera tofauti na zana nyepesi za hazina.
4. Nakili au kagua hybrid_rollout/robodojo/cluster.env.example. Weka njia zako, picha ya kontena, vitambulisho vya mtumiaji na kundi, njia za faili za vitambulisho na utambulisho dhahiri wa kisa. Njia katika uhamishaji wa umma ni mifano ya jumla, si vitambulisho vya klasta vinavyoweza kuendeshwa.
5. Tumia hybrid_rollout.robodojo.codex_backend.profiles kudhibiti uthibitishaji wa uendeshaji uliotengwa. Kagua CLI kwa --help kabla ya kuingia au kufanya shughuli za lease.
6. Tumia public_results/evaluation_cases.json kulandanisha kazi, tukio na mbegu katika sera. Kila kisa kina matokeo moja ya mseto na matokeo moja ya Direct.

Muundo umewekwa kuwa gpt-6-astra na ufikiri wa xhigh. Unahitaji akaunti yako iliyoidhinishwa au ufikiaji wa gateway, na utekelezaji wa sera au muundo unaweza kugharimu.

Chagua mbinu ya tathmini

Weka ROLLOUT_EVALUATION_METHOD ili kuchagua hali ya sera:

ROLLOUT_EVALUATION_METHOD=pi05_plus_gpt

Tumia pi05_plus_gpt kwa sera mseto, inayomruhusu GPT kukagua na, inapohitajika, kurekebisha vitendo vya π₀.₅. Ili kuchagua sera ya Direct, tumia:

ROLLOUT_EVALUATION_METHOD=gpt_only

gpt_only ni kitambulisho cha ndani cha CLI kwa GPT 6 Astra Direct. Haiwashi π₀.₅.

Sehemu ya kuanzia ya kontena ni hybrid_rollout/robodojo/cluster_entrypoint.sh. Kila kontena huendesha kesi moja iliyoainishwa wazi, huhifadhi mabaki yake, na husafisha vipengele vyake yenyewe. Faili ya hiari ya acp.py ni adapta ya uwasilishaji mahususi kwa SenseCore. Visaidizi vya uhamishaji wa kampeni mahususi kwa klasta vinahitaji mipango ya ndani ya uwekaji na si mwongozo wa uzinduzi wa umma wa amri moja.

Endesha majaribio ya nje ya mtandao yanayoweza kuzalishwa tena

Majaribio ya nje ya mtandao yanahitaji utegemezi wa zana, huku utegemezi wa kiigaji na OpenPI ukihitaji kusakinishwa kando katika mazingira yao wenyewe. Sakinisha requirements-tools.txt katika mazingira maalum ya mtandao pepe, kisha endesha majaribio ya ripoti na uchunguzi.

python3 -m unittest hybrid_rollout.report_site.test_i18n hybrid_rollout.report_site.test_editorial_revision -v
python3 -m pytest hybrid_rollout/robodojo/test_proposal_diagnostics.py hybrid_rollout/robodojo/test_prompt_context.py hybrid_rollout/robodojo/test_network_continue.py

Majaribio haya hayafanyi uigaji wala miito ya modeli. Majaribio yanayotegemea hifadhi asili ya pamoja, kiigaji cha umiliki, au vielelezo vya kihistoria vya uendeshaji hayawezi kuzalishwa tena kutoka kwenye nakala hii ya umma pekee. Toleo hili halijarudia majaribio ya modeli yanayolipiwa au ya GPU.

Usalama na mwongozo wa uwekaji

URL za lango katika codex_backend/profiles.py na codex_backend/config.toml hutumia vihisishi vilivyohifadhiwa vya .invalid. Sanidi mwisho wako ulioidhinishwa waziwazi katika profaili iliyochaguliwa na usanidi unaolingana. Weka ROLLOUT_GATEWAY_NO_PROXY wakati mtandao wako unapohitaji hivyo.

Usiwahi kuweka funguo za API au auth.json kwenye hifadhi ya msimbo, na usibadilishe saraka yako shirikishi ya Codex. Hifadhi vitambulisho nje ya hifadhi ya msimbo kwa ruhusa zilizowekewa vikwazo. Vitambulisho vya kihistoria vya profaili vipo kwa ajili ya uoanifu pekee; toleo hili halisanidi kampuni wala huduma ya relay.

Weka zana za uwekaji maelezo na ukaguzi kwenye mtandao wa ndani unaoaminika. Dumisha ufungaji chaguo-msingi wa loopback, au tumia proksi ya reverse yenye uthibitishaji kabla ya kufanya huduma ipatikane kwenye LAN. Weka utekelezaji wa zana za Codex na RPC ya kiigaji ndani ya mazingira yaliyotengwa na yanayoaminika, na usitoe programu zisizoaminika, data ya RPC iliyoserialishwa, au hifadhi za trajectory.

Matumizi ya hali ya juu na marejeo ya utafiti

Tumia metadata ya kesi katika public_results/evaluation_cases.json kuhifadhi ulinganifu wa kazi, mandhari, na seed unapolinganisha sera. Manifesti ya ghala huhifadhi URL, ukubwa, na SHA-256 ya kila video, jambo linaloweza kusaidia kuthibitisha midia iliyopakuliwa.

Kwa ripoti, ghala, na mkusanyiko kamili wa video, tembelea ripoti na ghala la video. Chanzo cha tovuti ya uzalishaji kinapatikana katika hifadhi ya tovuti. Ghala la RoboLab linatoa rekodi tofauti za RoboLab.

Msimbo unaomilikiwa na mradi umepewa leseni ya MIT. Vipengele vya wahusika wengine, fonti, mali za benchmark, na nembo huhifadhi masharti yao wenyewe; tazama THIRD_PARTY_NOTICES.md. Uzito wa modeli na mali za kiigaji hazisambazwi tena.

Hitimisho

Hifadhi hii inafaa zaidi kutumika kama toleo la chanzo la tathmini na utoaji wa ripoti: hakiki ripoti iliyojumuishwa, jenga upya sehemu yake tuli ya mbele, endesha majaribio ya nje ya mtandao yanayopatikana, na tumia mipaka ya mazingira iliyoandikwa kuandaa uendeshaji mpya wa RoboDojo au RoboLab. Kabla ya kuanzisha mzigo wowote wa modeli au kiigaji, pata utegemezi unaohitajika wa awali, sanidi huduma zilizoidhinishwa, linganisha kesi na metadata ya umma, na linda vitambulisho pamoja na miingiliano ya udhibiti.