Jenga Mabomba ya Maamuzi ya Haraka, Mahususi kwa Kazi ukitumia JevHarness

JevHarness Hufanya Nini

JevHarness humsaidia LLM ya uandishi kuunda harness ya maamuzi inayolenga kazi mahususi kwa ajili ya Jev. Harness hubadilisha uchunguzi unaoruhusiwa kuwa vipengele muhimu, huunda maswali na vigezo vilivyopangwa vya Jev, na kuchanganya majibu kuwa vitendo halali vya kazi.

Wazo kuu ni kutenganisha uundaji wa mkakati unaogharimu muda na utekelezaji wa kawaida:

Fikiri kwa kina wakati wa uundaji. Fanya mkakati kuwa thabiti. Mruhusu Jev kufanya maamuzi ya haraka yenye kubadilika.

Wakati wa uundaji, LLM inaweza kurekebisha msimbo wa harness, maswali, grafu, hali, vigezo na kumbukumbu. Baada ya kuchagua na kufanya harness kuwa thabiti, maamuzi ya wakati wa utekelezaji hutumia mantiki hiyo isiyobadilika pamoja na miito yake ya Jev. LLM ya uandishi haihitaji kufikiri upya kila hatua.

Hii hufanya JevHarness ifae kwa kazi ambazo msimbo unaweza kukokotoa ukweli unaotegemeka, lakini baadhi ya maamuzi hubaki kutegemea muktadha au kuwa na utata. Kwa mfano, msimbo unaweza kubainisha vitendo halali na kukokotoa vipengele vya nambari, huku Jev ikitathmini ni kitendo gani kinachopatikana kinatimiza vyema zaidi vigezo mahususi vya kazi.

Usanifu na Mipaka ya Majukumu

JevHarness hutenganisha adapta ya kazi inayoaminika na harness ya maamuzi. Mpaka huu huzuia harness kubadilisha zawadi yake yenyewe au kufikia hali fiche ya kazi.

• Adapta ya kazi: Inamiliki uchunguzi, vitendo halali, madhara ya vitendo na ukadiriaji.
• Harness: Inamiliki uundaji wa vipengele, tathmini za Jev na mantiki ya maamuzi.
• Mazingira: Hutekeleza vitendo na kurudisha matokeo au zawadi zinazoaminika.
• LLM ya uandishi: Huunda au kurekebisha harness wakati wa uundaji na tafakuri ya hiari.

PipelineSpec iliyothibitishwa hutekelezwa kupitia PipelineRuntime. Baada ya kuchaguliwa, pipeline inaweza kufanywa thabiti pamoja na vipimo vyake, runtime, evaluator na rasilimali za kazi zilizotangazwa.

Vipengele Muhimu

Tathmini zilizopangwa za Jev

Jev inasaidia aina za majibu za choice, score na noul. Ombi linaweza kuwa na maswali mengi yenye majina, na nodi huru za grafu zinaweza kutekelezwa kwa wakati mmoja.

Uwakilishi Wazi wa Mkakati

Mkakati huhifadhiwa katika msimbo, vipengele vilivyokokotolewa, hali, maelekezo, vigezo, kumbukumbu na mtiririko wa udhibiti. Hii hufanya mchakato wa maamuzi uweze kukaguliwa na kutumiwa tena, badala ya kubaki ndani ya mazungumzo ya uandishi.

Rekodi Kamili za Utekelezaji

Tafakuri inaweza kupokea rekodi kamili za vipindi vilivyochaguliwa, zikiwemo uchunguzi, maamuzi, miingizo na matokeo ya nodi, maswali na majibu ya Jev, kumbukumbu na hitilafu. Uondoaji wa nakala unaopoteza taarifa kidogo hupunguza marudio. Ikiwa ingizo la tafakuri linazidi kikomo cha baiti kilichosanidiwa, huwekwa kwenye kumbukumbu na kukataliwa badala ya kupunguzwa kimya kimya.

Uboreshaji wa Hiari Unaotegemea Zawadi

Muunganisho wa hiari wa GEPA huchagua wazazi kutoka kwenye frontier ya mfano, hulinganisha kila mzazi na pendekezo kwenye kundi lilelile la mafunzo, na kutathmini mapendekezo yaliyokubaliwa kwenye Eval. Huhifadhi asili halisi, ikiwemo mapendekezo yaliyokataliwa.

Vipengee Vilivyogandishwa Vinavyoweza Kukaguliwa

Kugandisha huhifadhi harness iliyochaguliwa na vitegemezi vyake vilivyotangazwa. Harness iliyogandishwa iliyo na nodi za Jev bado inahitaji Jev wakati wa utekelezaji. Pia kumbuka kuwa jina mbadala la modeli inayopangishwa halihakikishi tabia ya mtoa huduma ya baadaye kubaki bila mabadiliko, hivyo majibu yaliyohifadhiwa na miito mipya hutoa viwango tofauti vya kurudiwa kwa matokeo.

Mahitaji ya Awali

Chagua mahitaji yanayolingana na unachotaka kuendesha:

• Tovuti iliyohifadhiwa: Node.js na kivinjari cha kisasa. Haihitaji vitambulisho vya modeli, game engine au sandbox ya Python.
• Mradi wa Python: Python 3.11 au toleo la baadaye.
• Nodi za Python zinazofanya kazi: Sandbox asilia ya macOS inayotumika. Ikiwa utengaji haupatikani, utekelezaji hushindwa kwa usalama.
• Mtiririko wa usemi na Jev wa toleo la 2: Hizi hazianzishi workers wa Python wanaofanya kazi.
• Miito hai ya Jev: Akaunti ya mtoa huduma anayetumika na ufunguo wa API unaolingana.
• Uandishi na tafakuri ya hiari: Proposer iliyosanidiwa inayotumia Claude CLI ya ndani, OpenAI, Azure au endpoint ya Anthropic.

Sakinisha Skill katika Claude Code

Usanidi wa haraka zaidi wa Claude Code ni kuongeza hazina kama soko la plugin, kusakinisha plugin na kupakia upya plugins.

/plugin marketplace add https://github.com/TianyuCodings/JevHarness.git
/plugin install jev-harness@jevharness
/reload-plugins

Kusakinisha plugin hupakua skill na marejeo yake, lakini hakusakinishi vitegemezi vya Python wala kusanidi vitambulisho vya modeli. Ikiwa hazina ni ya faragha, uthibitishaji wa GitHub lazima uwe tayari unafanya kazi na akaunti yako lazima iwe na ruhusa ya kusoma.

Sakinisha Skill katika Codex

Katika host ya Codex inayotoa skill-installer iliyojengewa ndani, omba usakinishaji moja kwa moja kutoka kwenye hazina:

$skill-installer Install the jev-harness skill from https://github.com/TianyuCodings/JevHarness/tree/main/skills/jev-harness

Tumia skill katika zamu inayofuata. Ikiwa Codex haitambui mara moja, anzisha upya kipindi.

Usakinishaji wa Mwongozo

Unaweza kusakinisha skill wewe mwenyewe kwa Claude Code, Codex au zote mbili. Badilisha /path/to/your-project kwa saraka ya mradi iliyopo.

git clone https://github.com/TianyuCodings/JevHarness.git
cd JevHarness
python3 scripts/install-skill.py --target both --scope project --project /path/to/your-project

Hii huunda usakinishaji wa kiwango cha mradi katika .agents/skills/jev-harness/ kwa Codex na .claude/skills/jev-harness/ kwa Claude Code. Tumia --target codex au --target claude kusakinisha moja tu.

Kwa usakinishaji wa kiwango cha mtumiaji unaopatikana katika miradi yote, endesha:

python3 scripts/install-skill.py --target both --scope user

Maeneo ya usakinishaji binafsi ni ~/.agents/skills/jev-harness/ na ~/.claude/skills/jev-harness/. Kisakinishi kinakataa kubadilisha usakinishaji mwingine uliopo. Anzisha upya kikao cha wakala ikiwa ujuzi hautagunduliwa.

Chunguza Mfano wa Pokémon Uliowekwa Kumbukumbu

Mfano wa Pokémon uliojumuishwa unatoa uendeshaji uliowekwa kumbukumbu, harness iliyochaguliwa, mti wa mageuzi unaoweza kuvinjariwa, rekodi kamili za maamuzi, mapendekezo yaliyokataliwa, na vivutio vya marudio vilivyosawazishwa na majibu ya Jev. Kuvinjari kumbukumbu hii hakufanyi maombi kwa modeli wala kuanzisha michezo.

1. Clone hazina.
2. Jenga tovuti.
3. Anzisha seva ya hakikisho la ndani.
4. Fungua tovuti katika kivinjari cha kisasa.

git clone https://github.com/TianyuCodings/JevHarness.git
cd JevHarness
node website/build.mjs
node website/preview.mjs --port 8768

Fungua localhost:8768. Uhuishaji wa mapambano hupakua rasilimali kutoka kwa kionyeshi rasmi cha Pokémon Showdown. Rekodi ya pambano iliyowekwa kumbukumbu hubaki kwenye kivinjari na haipakuliwi kwenye seva ya marudio.

Matokeo yaliyoripotiwa ya Pokémon yaliboresha kiwango cha ushindi cha Eval kutoka asilimia 25, yaani michezo 3 kati ya 12, hadi asilimia 75, yaani michezo 9 kati ya 12, baada ya raundi tano za tafakuri. Utafutaji ulihifadhi mgombea wa raundi ya tatu kama harness yake bora. Hili lilipimwa kwenye seti ya Eval ya uteuzi na halipaswi kuchukuliwa kuwa makadirio huru ya utendaji kwenye michezo ambayo haikuonekana.

Elewa Uamuzi wa Msingi

Harness huandika ombi la Jev mahususi kwa kazi lenye state, questions zilizopewa majina, type ya jibu, pamoja na instructions na criteria zinazotumiwa kutathmini vitendo vinavyopatikana.

Katika mfano wa Pokémon uliorekodiwa, harness hukokotoa kuwa Slowbro huenda ikapoteza mashindano ya uharibifu dhidi ya Gastrodon. Inawasilisha chaguo nne halali, zikiwemo hatua tatu na kubadilisha kwenda Scizor. Swali la hatua hutumia aina ya choice na linamtaka Jev arudishe kitambulisho kimoja tu cha hatua kilichoorodheshwa.

{
  "questions": {
    "action": {
      "type": "choice",
      "instructions": "Chagua hatua moja yenye uwezekano mkubwa zaidi wa kushinda pambano lote, si zamu hii pekee.",
      "criteria": {
        "switch:2": "badilisha kwenda Scizor; kubadilisha kunatoa shambulio moja la bure",
        "move:2": "Psychic; takriban mapigo 3 kumtoa mlengwa",
        "move:3": "Ice Beam; takriban mapigo 4 kumtoa mlengwa",
        "move:4": "Slack Off; uharibifu unaotarajiwa wa kuingia unazidi HP ya sasa"
      }
    }
  }
}

Jev anachagua switch:2 kwa uwezekano wa kuchagua hatua wa 0.72, na harness inakubali chaguo hilo. Thamani hiyo inalinganisha vitendo vilivyoorodheshwa; si utabiri kwamba mchezaji ana uwezekano wa asilimia 72 wa kushinda pambano.

Ombi kamili lililorekodiwa, jibu, muda, na chanzo vinapatikana katika rekodi ya JSON ya zamu ya 12 ya Pokémon.

Jenga Harness Yako Mwenyewe

Huhitaji kuandika kwa mkono maagizo na vigezo vyote vya Jev. Tumia ujuzi uliosakinishwa na ueleze kazi, kisha umruhusu wakala wa msimbo akusanye maelezo muhimu ya mkataba.

Uanzishaji wa programu-jalizi ya Claude Code

/jev-harness:jev-harness Jenga harness inayopanga tiketi za usaidizi kwa timu inayofaa.
Kwanza fafanua data zangu za kuingiza, vitendo halali, mifano, vigezo vya mafanikio, na bajeti.
Ikiwa tuna zawadi zinazotegemeka, ongeza tathmini na uboreshaji wa tafakuri.

Uanzishaji wa Claude Code wa kujitegemea

/jev-harness Jenga harness inayopanga tiketi za usaidizi kwa timu inayofaa.
Kwanza fafanua data zangu za kuingiza, vitendo halali, mifano, vigezo vya mafanikio, na bajeti.
Ikiwa tuna zawadi zinazotegemeka, ongeza tathmini na uboreshaji wa tafakuri.

Uanzishaji wa Codex

$jev-harness Jenga harness inayopanga tiketi za usaidizi kwa timu inayofaa.
Kwanza fafanua data zangu za kuingiza, vitendo halali, mifano, vigezo vya mafanikio, na bajeti.
Ikiwa tuna zawadi zinazotegemeka, ongeza tathmini na uboreshaji wa tafakuri.

Ujuzi unapaswa kwanza kufafanua kazi badala ya kutengeneza mchakato mara moja. Tarajia ukusanye taarifa kuhusu:

• Uchunguzi wa kazi unaoruhusiwa na mipaka ya hali iliyofichika.
• Vitendo halali na jinsi vitendo vinavyothibitishwa.
• Mifano wakilishi na data inayopatikana.
• Vigezo vya mafanikio, zawadi, au taratibu za tathmini.
• Mahitaji ya wakati wa utekelezaji na utenganishaji.
• Vitambulisho na upatikanaji wa watoa huduma.
• Bajeti ya majaribio na rasilimali za uboreshaji.

Mkataba ukiwa wazi, wakala anaweza kujenga na kuthibitisha harness. Ikiwa kuna mrejesho unaotegemeka na ukaomba uboreshaji, anaweza kutumia trajectories na zawadi kwa tafakuri kabla ya kufungia matokeo yaliyochaguliwa.

Sanidi Vitambulisho vya Jev

JevHarness inasaidia usanidi wawili wa usafirishaji wa Jev uliorekodiwa:

• Vercel AI Gateway: Unda JevClient(transport="vercel") na uweke AI_GATEWAY_API_KEY.
• TypeSafe moja kwa moja: Unda JevClient(transport="typesafe") na uweke TYPESAFE_API_KEY.

Adapta za watoa huduma hazihakikishi kuwa kila modeli au endpoint inapatikana kwa akaunti yako. Hifadhi vitambulisho katika vigezo vya mazingira au faili ya karibu ya .env iliyopuuzwa. Usiweke kamwe vitambulisho katika uchunguzi wa kazi, traces, au vizalia vilivyogandishwa.

Tathmini na Boresha Harness

Tafakuri ni hiari. Itumie tu unapokuwa na zawadi au mbinu ya tathmini unayoiamini. Mchakato wa vitendo ni:

1. Fafanua mipaka ya jukumu. Weka hali iliyofichika, uwekaji wa alama, uthibitishaji wa hatua halali, na madhara katika adapta inayoaminika.
2. Unda mfumo wa msingi wa majaribio. Kokotoa vipengele vinavyoaminika kwenye msimbo na uhifadhi Jev kwa maamuzi yanayohitaji muktadha.
3. Thibitisha mchakato. Hakikisha kuwa PipelineSpec na runtime vinatimiza mkataba wa jukumu.
4. Usanye rekodi kamili. Hifadhi uchunguzi, ingizo za nodi, matokeo, maswali, majibu, kumbukumbu, hitilafu na zawadi.
5. Pendekeza marekebisho. Ruhusu LLM ya uandishi ichunguze ushahidi na iboreshe msimbo, vidokezo, muundo wa grafu au kumbukumbu.
6. Linganisha kwa haki. Linganisha mzazi na pendekezo kwenye kundi lilelile la mafunzo.
7. Tathmini mapendekezo yaliyokubaliwa. Endesha tathmini kamili ya Eval na uhifadhi ukoo halisi wa mgombea, ikijumuisha mapendekezo yaliyokataliwa.
8. Gandisha mfumo wa majaribio uliochaguliwa. Funga vipimo vilivyoshinda kwenye runtime, kitathmini na rasilimali za jukumu zilizotangazwa.

Weka ushahidi wa mafunzo na matokeo ya uteuzi wa Eval vimetenganishwa wazi. Ikiwa Eval inatumika kuchagua mgombea, ripoti kama utendaji wa uteuzi badala ya makadirio yasiyo na upendeleo ya utendaji kwenye jukumu lisiloonekana.

Muda wa Majibu na Utekelezaji Sambamba

Katika jaribio la Eval la Pokémon lililohifadhiwa, mfumo wa majaribio uliochaguliwa ulikamilisha uamuzi kamili kwa wastani wa kati wa milisekunde 568. Maombi binafsi ya Jev yalikuwa na muda wa kati wa milisekunde 269. Mfumo wa awali wa majaribio ulikuwa na muda wa kati wa uamuzi kamili wa milisekunde 678.

• Uamuzi kamili wa mfumo wa awali: ms 678 kwa wastani wa kati, ms 1,495 P95, maamuzi 238.
• Uamuzi kamili wa mfumo uliochaguliwa: ms 568 kwa wastani wa kati, ms 657 P95, maamuzi 113.
• Ombi binafsi la Jev la mfumo uliochaguliwa: ms 269 kwa wastani wa kati, ms 348 P95, maombi 226.

Muda wa uamuzi kamili unajumuisha ukokotoaji wa vipengele, maombi ya Jev yanayotekelezwa sambamba, na uteuzi wa mwisho wa hatua. Muda wa ombi binafsi unajumuisha gharama za mteja na mtandao. Muda wa maombi yanayotekelezwa sambamba huingiliana, kwa hiyo hupaswi kuujumlisha. Uigaji wa pambano na muda wa uandishi au tafakari viko nje ya vipimo hivi vya uamuzi.

Uchunguzi huu uliohifadhiwa haukujumuisha majibu yaliyopatikana kutoka akiba ya ndani, lakini haukuwa kipimo kilichodhibitiwa dhidi ya LLM inayofanya kila uamuzi wa runtime.

Vidokezo vya Kina

Kokotoa ukweli kabla ya kuomba uamuzi

Tumia msimbo au vielezi vya kiamuzi kwa ukweli kama vile hatua halali, makadirio ya namba, viwango vya kizingiti na hali iliyotokana. Mpe Jev hali iliyoelekezwa na vigezo dhahiri kwa chaguo lisilo hakika lililosalia.

Fanya vigezo vya hatua viwe dhahiri

Eleza kila hatua inayopatikana kwa kutumia ushahidi unaohusiana na jukumu. Katika mfumo wa Pokémon, vigezo vinajumuisha afya iliyosalia, makadirio ya uharibifu, kasi, zamu zinazohitajika kumshinda mpinzani, na gharama ya kumpa mpinzani shambulio la bure unapobadilisha.

Tumia nodi sambamba pale ambapo uhuru ni wa kweli

Nodi huru za grafu zinaweza kuendeshwa kwa wakati mmoja, na maswali mengi yanaweza kushiriki ombi moja. Panga grafu ili kutumia faida hii bila kuanzisha utegemezi ambao jukumu halihitaji.

Chunguza uwezekano kwa usahihi

Uwezekano wa chaguo hupanga chaguo ulizopewa kulingana na ombi. Usitafsiri upya kama uwezekano uliopimwa wa mafanikio ya jukumu zima isipokuwa kitathmini chako kithibitishe maana hiyo tofauti.

Hifadhi kushindwa kwa ukamilifu

Hitilafu zinaweza kufichua dhana batili, uchunguzi unaokosekana na vigezo visivyo imara. Zihifadhi kwenye rekodi pamoja na maamuzi yaliyofaulu ili tafakari ipokee ushahidi kamili.

Epuka ukataji wa kimya

Weka kikomo halisi cha baiti za tafakari. JevHarness huhifadhi na kukataa ingizo kubwa kupita kiasi la tafakari badala ya kulikata, jambo linalolinda uadilifu wa ushahidi lakini linakuhitaji upange ukubwa wa majaribio ipasavyo.

Tenganisha mantiki iliyogandishwa na tabia ya mtoa huduma iliyogandishwa

Kugandisha mfumo wa majaribio huweka sawa mchakato wako uliochaguliwa na rasilimali zilizotangazwa, lakini jina mbadala la modeli inayopangishwa linaweza kubadilika baada ya muda. Hifadhi majibu yaliyorekodiwa wakati ukaguzi kamili wa kihistoria ni muhimu, na chukulia maombi mapya kwa mtoa huduma kama hali tofauti ya reproducibility.

Tumia ramani ya hazina

• auto_jev/ ina uthibitishaji wa vipimo, runtime sambamba, usafirishaji wa Jev, tafakari, GEPA, uhifadhi na ugandishaji.
• examples/pokemon/ ina adapta ya pambano inayoaminika, daraja la injini ya ndani lenye mbegu, mifumo ya majaribio na msimbo wa uwasilishaji.
• examples/pokemon/sample/ ina mfumo wa majaribio uliochaguliwa na kumbukumbu iliyoratibiwa ya tovuti.
• docs/ ina nyenzo za uandishi wa majukumu, rekodi ya ombi la Jev, video na picha za skrini.
• skills/jev-harness/ ina maagizo kwa mawakala wa usimbaji wanaounda mifumo ya majaribio mahususi ya majukumu.
• website/ ina onyesho la kusoma tu na adapta ya usambazaji.

Hitimisho

JevHarness hubadilisha mkakati uliotengenezwa na LLM kuwa mantiki ya runtime iliyo wazi na inayoweza kukaguliwa. Anza kwa kufafanua mipaka madhubuti ya jukumu, acha ujuzi ujenge na uthibitishe mchakato, na utumie rekodi kamili pamoja na zawadi zinazoaminika ikiwa unataka uboreshaji unaotegemea tafakari. Baada ya mgombea kuchaguliwa, ugandishe ili maamuzi ya kawaida yaweze kutumia msimbo wake na maamuzi ya Jev yaliyolengwa bila kuihusisha LLM ya uandishi kwa kila hatua.