Jenga na Boresha Kazi za AI kwa jev-align

jev-align ni nini?

jev-align ni zana ya majaribio ya mstari wa amri kutoka Sutro ya kuunda AI Functions kwa kutumia Jev ya TypeSafe. Hutathmini mkusanyiko wa data, hutambua mifano isiyo na uhakika, hukuomba uiweke lebo, na hutumia GEPA kupendekeza ufafanuzi bora wa function.

Zana hii imeundwa kwa mtiririko wa kazi wa kurudia. Unaweza kuunda AI Function kutoka kwa data ya ndani, kukagua mabadiliko yaliyopendekezwa, kuhifadhi maendeleo yako, kutumia function hiyo katika programu, na baadaye kuiboresha kwa mifano iliyokusanywa katika mazingira ya uzalishaji.

Kila lebo inatoka kwako. Alama ya juu ya mafunzo haisababishi jev-align kukubali pendekezo kiotomatiki.

Vipengele muhimu

• Kuweka lebo kwa kuongozwa na kutokuwa na uhakika: CLI huweka kipaumbele kwa safu zenye utata huku ikijumuisha pia sampuli ya ukaguzi wa nasibu.
• Uboreshaji unaodhibitiwa na binadamu: Unaamua kukubali au kukataa kila ufafanuzi unaopendekezwa.
• Aina nyingi za kazi: Unda functions za binary, multiclass, multilabel, au za alama zilizopangwa.
• Ugunduzi wa data ya ndani: Usanidi wa kuongozwa hupata faili za CSV, Parquet, na JSONL.
• Watoa huduma wa modeli wanaobadilika: Endesha Jev kupitia TypeSafe AI, Vercel AI Gateway, au Cloudflare Workers AI.
• Modeli tofauti za tafakuri: Sanidi OpenAI, Anthropic, Gemini, au mtoa huduma mwingine anayooana na LiteLLM kwa ajili ya GEPA.
• Mizunguko endelevu: Endelea na vipindi vya awali vya uboreshaji na kagua AI Functions zilizohifadhiwa.
• Ukusanyaji wa data ya uzalishaji: Kusanya mifano muhimu ya programu na uiweke lebo wakati wa awamu ya baadaye ya uboreshaji.

Elewa aina za kazi zinazotumika

Kabla ya kuanza, chagua muundo wa matokeo unaolingana na tatizo lako:

• Binary: Hurejesha True au False.
• Multiclass: Hurejesha lebo moja kamili kutoka kwenye seti isiyobadilika.
• Multilabel: Hurejesha lebo sifuri au zaidi kutoka kwenye seti isiyobadilika.
• Score: Hurejesha kiwango kimoja kutoka kwenye rubriki iliyopangwa.

Sakinisha jev-align

Mahitaji ya awali

Unahitaji Python 3.11 au toleo jipya zaidi. Pia unahitaji vitambulisho vya ufikiaji vya mtoa huduma wa Jev na mtoa huduma wa modeli ya tafakuri anayetumika.

Sakinisha kwa kutumia uv

Usakinishaji unaopendekezwa wa kuanza haraka hutumia uv:

uv tool install jev-align

Sakinisha kwa kutumia pip

Usipotumia uv, sakinisha kifurushi kwa kutumia pip:

pip install jev-align

Sanidi vitambulisho vya ufikiaji

Kwa njia ya kawaida ya TypeSafe AI, hamisha ufunguo wa API wa TypeSafe. GEPA pia inahitaji mtoa huduma wa modeli ya tafakuri, kama vile OpenAI, Anthropic, au Gemini.

export TYPESAFE_API_KEY="...
export OPENAI_API_KEY="..."

Unaweza kutumia ANTHROPIC_API_KEY au GEMINI_API_KEY badala ya ufunguo wa OpenAI. Vercel AI Gateway na Cloudflare Workers AI zinaweza kuchukua nafasi ya TypeSafe AI kama mtoa huduma wa Jev; njia hizo hazihitaji TYPESAFE_API_KEY.

Anzisha usanidi wa kuongozwa

Anzisha CLI kwa amri yoyote kati ya hizi:

jeva

au:

jev-align

Usanidi wa kuongozwa hugundua mikusanyiko ya data ya ndani ya CSV, Parquet, na JSONL na hujumuisha mifano mitatu iliyo tayari kuendeshwa. Fuata maelekezo ili kuchagua mkusanyiko wa data, kufafanua kazi, kuchagua sehemu husika, na kusanidi watoa huduma.

Vidhibiti vya urambazaji vya CLI

• Tumia vitufe vya mishale na Enter kuvinjari menyu.
• Bonyeza b kurudi kwenye lebo iliyotangulia.
• Ingiza /back ili kuondoka kwenye kidokezo cha sababu.
• Bonyeza Space kubadilisha chaguo katika kazi ya multilabel.

Endesha kazi ya uboreshaji kwa kutumia chaguo

Unaweza kuruka sehemu za mtiririko wa kazi wa kuongozwa kwa kutoa chaguo za mstari wa amri. Mfano ufuatao huunda function ya binary inayobainisha ikiwa chapisho linahusu usafiri wa anga:

jeva optimize posts.csv \
  --question "Is the post related to aviation?" \
  --column title \
  --column text \
  --pool-size 1000

Chaguo zinazorudiwa za --column huiambia jev-align kutathmini sehemu za title na text. Chaguo la --pool-size 1000 huweka kikomo cha hifadhi ya kazi kuwa safu 1,000.

Kwa chaguo-msingi, jev-align hutumia safu 1,000 za kwanza, au mkusanyiko mzima wa data unapokuwa na safu chache kuliko hizo. Unaweza kuunganisha sehemu zote au kuchagua safu mahususi.

Sanidi madarasa na viwango vya alama

Kwa kazi za multiclass na multilabel, toa chaguo zinazorudiwa za --class "NAME=DESCRIPTION". Kwa kazi za alama, toa chaguo zinazorudiwa za --score-level. Kwa kuwa chaguo zinazopatikana zinaweza kubadilika, soma marejeo yaliyojengeka ndani:

jeva optimize --help

Jinsi kila awamu ya uboreshaji inavyofanya kazi

1. Tathmini mkusanyiko wa data: jev-align huendesha function ya sasa dhidi ya data iliyosanidiwa na hupima kutokuwa na uhakika.
2. Chagua mifano: Huchagua safu zenye utata na kuongeza sampuli ya ukaguzi wa nasibu.
3. Kusanya lebo: Unaweka lebo kwenye mifano iliyochaguliwa na unaweza kutoa sababu kwa hiari.
4. Endesha GEPA: GEPA hutumia mrejesho uliokusanywa kupendekeza ufafanuzi ulioboreshwa.
5. Kagua pendekezo: CLI huonyesha alama, mabadiliko ya uhakika, na tofauti ya ufafanuzi uliopendekezwa.
6. Chagua hatua inayofuata: Unaweza kukubali, kukataa, kurudisha nyuma, au kusitisha na kuendelea baadaye.

Hatua hii ya ukaguzi ni muhimu: maboresho ya alama hubaki kuwa mapendekezo hadi uyakubali waziwazi.

Rekebisha mipangilio ya hali ya juu ya uboreshaji

Menyu ya Advanced iliyoelekezwa inaonyesha vidhibiti kadhaa:

• Chagua vidokezo vya mafunzo 5, 10, 15, au 20 kwa kila mzunguko.
• Washa seti ya hiari ya tathmini ya 20% iliyotengwa.
• Weka bajeti ya miito ya vipimo ya GEPA, ambayo kwa chaguo-msingi ni 300.

Mizunguko midogo ya kuweka vidokezo inaweza kufanya kila mzunguko wa ukaguzi uwe wa haraka zaidi. Seti iliyotengwa inaweza kutoa ishara ya tathmini tofauti na mifano iliyotumika kwa uboreshaji. Bajeti ya miito ya vipimo hudhibiti kiasi cha kazi ambacho GEPA inaweza kufanya wakati wa uendeshaji.

Chagua mtoa huduma wa Jev

Mipangilio iliyoelekezwa hutambua watoa huduma waliowekwa na kukuruhusu kuchagua kati ya TypeSafe AI, Vercel AI Gateway, na Cloudflare Workers AI. Mtoa huduma aliyechaguliwa huhifadhiwa pamoja na AI Function, kwa hiyo miito ya baadaye wakati wa utekelezaji hutumia njia hiyo hiyo.

Tumia Vercel AI Gateway

export AI_GATEWAY_API_KEY="..."
jeva optimize data.csv --question "Is this relevant?" --column text \
  --backend vercel

Tumia Cloudflare Workers AI

export CLOUDFLARE_ACCOUNT_ID="..."
export CLOUDFLARE_API_TOKEN="..."
jeva optimize data.csv --question "Is this relevant?" --column text \
  --backend cloudflare

Hakuna mojawapo ya njia hizi inayohitaji TYPESAFE_API_KEY.

Weka modeli ya uakisi ya GEPA

Modeli ya uakisi ya GEPA ni tofauti na modeli ya Jev inayotathmini safu za seti ya data. Modeli za OpenAI, Anthropic, na Gemini hutambuliwa kiotomatiki. Unaweza pia kutumia mtoa huduma yeyote wa LiteLLM, akiwemo Fireworks, vLLM ya ndani, na vituo vingine vinavyooana na OpenAI.

Kwa mfano, weka kituo cha vLLM kinachopangishwa na uchague modeli yake waziwazi:

export HOSTED_VLLM_API_BASE="http://localhost:8000/v1"
jeva optimize data.csv --question "Is this relevant?" --column text \
  --reflection-model "hosted_vllm/Qwen/Qwen3-8B"

Utenganishaji huu hukuruhusu kuchagua mtoa huduma mmoja kwa tathmini ya seti ya data wakati wa utekelezaji na mwingine kwa kazi ya uboreshaji ya GEPA.

Dhibiti na uendelee na AI Functions zilizohifadhiwa

Orodhesha functions zako zilizohifadhiwa kwa:

jeva functions

Ili kuendelea moja kwa moja na uendeshaji maalum, toa saraka yake iliyohifadhiwa:

jeva optimize --resume .jev-align/runs/<run-id>

Kuendelea ni muhimu unapotaka kuendelea kuweka lebo, kupitia upya function iliyohifadhiwa, au kuchakata mifano iliyokusanywa baada ya kusambaza.

Tumia AI Function katika Python

Pakia function iliyohifadhiwa kwa AIFunction.load. Washa capture ili function ihifadhi mifano muhimu ya uzalishaji kwa ukaguzi wa baadaye:

from jev_align import AIFunction

is_aviation = AIFunction.load(
    ".jev-align/runs/<run-id>",
    capture=True,
)

prediction = is_aviation(
    title="Airport expansion",
    text="A new runway opens next year.",
)

Hoja zenye maneno muhimu zinapaswa kuendana na sehemu zinazotarajiwa na function iliyohifadhiwa. Katika mfano huu, function hutathmini kichwa na mwili wa maandishi.

Endelea kujifunza kutokana na data ya uzalishaji

Kwa capture=True, programu yako inaweza kuhifadhi mifano inayofaa kwa uboreshaji wa baadaye. Rudi kwenye CLI ukiwa tayari kuipitia:

jeva functions

Chagua au endelea na AI Function husika, weka lebo kwenye mifano iliyokusanywa, na uruhusu GEPA ipendekeze ufafanuzi unaofuata. Mchakato uleule wa ukaguzi wa kibinadamu unatumika: kagua vipimo na tofauti kabla ya kukubali mabadiliko.

Vidokezo vya mtiririko wa hali ya juu

• Chagua safu zinazolenga: Jumuisha tu sehemu zinazotoa ushahidi wa kazi hiyo badala ya kutumia kila sehemu kiotomatiki.
• Andika swali sahihi: Mstari wa uamuzi ulio wazi hurahisisha kuweka lebo kwa uthabiti katika uainishaji wa jozi.
• Eleza lebo zisizobadilika kwa uangalifu: Kwa kazi za uainishaji wa madarasa mengi na lebo nyingi, tumia maelezo ya madarasa kutofautisha lebo ambazo huenda zikaingiliana.
• Ongeza sababu inapofaa: Sababu za hiari zinaweza kuipa GEPA muktadha zaidi kuhusu kwa nini mfano unapaswa kupewa lebo fulani.
• Tumia sampuli ya ukaguzi: Mifano yenye utata ni muhimu, lakini mifano ya nasibu husaidia kukagua tabia nje ya sehemu inayolenga kutokuwa na uhakika.
• Kagua zaidi ya alama: Kagua mabadiliko ya uhakika na tofauti ya ufafanuzi uliopendekezwa kabla ya kukubali marudio.
• Endelea badala ya kuanza upya: Uendeshaji uliohifadhiwa huhifadhi lebo zilizokusanywa na kuwezesha uboreshaji unaoendelea.
• Separisha maamuzi ya watoa huduma: Chagua backend ya Jev kwa mahitaji ya tathmini na utekelezaji, kisha weka modeli ya uakisi kivyake kwa GEPA.

Hitimisho

jev-align hutoa mchakato wa kuunda na kuboresha Jev AI Functions unaohusisha binadamu. Anza na seti ya data ya ndani, weka lebo kwenye mifano isiyo na uhakika, kagua mabadiliko ya ufafanuzi yaliyopendekezwa na GEPA, kisha hifadhi matokeo. Kwa kuwezesha ukusanyaji wa data ya uzalishaji na kuendelea na uendeshaji huo huo baadaye, unaweza kuendelea kuboresha function kwa mifano halisi ya programu huku ukidumisha udhibiti wa kila toleo linalokubaliwa.