Jinsi ya Kuchunguza na Kutathmini Miradi Halisi ya Maamuzi Yenye Aina ya Jev

awesome-jev ni nini

awesome-jev ni saraka iliyoratibiwa ya miradi na mbinu za umma iliyojengwa kuzunguka mfumo wa Jev System One wa TypeSafe AI. Imeundwa kama mwongozo wa uwanjani unaoweza kuchanganuliwa haraka ili kugundua mahali Jev inapotumika kufanya maamuzi halisi na ni mifumo ipi ya utekelezaji inayoweza kuhamishwa kati ya sekta.

Jev si modeli ya kawaida ya mazungumzo. Inapokea hali isiyopangwa pamoja na swali lenye aina, kisha hurejesha uamuzi wenye aina, kama vile chaguo, alama, au thamani ya boolean, pamoja na kiwango cha kujiamini. Programu zinaweza kutumia matokeo hayo kama safu ya maamuzi yenye mipaka kwa uainishaji, uelekezaji, utoaji wa alama, uthibitishaji, na vizuizi vya mawakala.

Mradi unaoonekana katika awesome-jev umetimiza kanuni za saraka za kujumuishwa, lakini si lazima uwe umepitia ukaguzi wa msimbo, ukaguzi wa usalama, uthibitishaji wa uwezeshaji wa kurudia matokeo, au tathmini ya ukomavu.

Sifa Muhimu za Saraka

Makundi yanayolenga matumizi

Kila kipengee ni cha kundi moja pekee, lililochaguliwa kulingana na matumizi yake ya moja kwa moja zaidi ya Jev. Saraka ya sasa inajumuisha maeneo kama:

• Uainishaji na uelekezaji: uteuzi wa modeli, uelekezaji wa nia za barua pepe, uajiri, uchujaji wa kivinjari, na utatuzi wa hitilafu.
• Uthibitishaji na vizuizi: milango ya ukaguzi wa msimbo, usalama wa miito ya zana, ukaguzi wa sindano za vidokezo, na uthibitishaji wa ukamilishaji.
• Utoaji wa alama na upangaji: umuhimu wa utafutaji, usaidizi wa marejeo, ubora wa msimbo, SEO, na uchoraji wa kisemantiki.
• Maamuzi ya mawakala: vitendo vya kivinjari, hukumu za mawakala wa usimbaji, upunguzaji wa muktadha, na vitendo vya roboti vyenye mipaka.
• Kuweka lebo na kuratibu data: uchujaji wa seti za data na utatuzi wa masuala.
• Tathmini na ulinganishaji: majaribio ya kulinganisha, zana za urekebishaji, na mifumo ya tathmini inayoweza kurudiwa.
• Urekebishaji na utafiti: urudufishaji wa ndani, njia mbadala zilizo wazi, na modeli za maamuzi zenye muundo wa Jev.
• Miundombinu na miunganisho: SDK, lango, zana za mstari wa amri, na miunganisho ya mifumo.
• Makundi ya kisekta: michezo, uigaji, fedha, biashara, uzingatiaji, mtiririko wa kazi za kisheria, na udhibiti wa maudhui.
• Mbinu na mijadala inayohusiana: ripoti za umma zinazoaminika za matumizi halisi wakati ukurasa thabiti wa mradi unaojitegemea haupatikani.

Hifadhi hii pia hutambua makundi ambayo bado yanaongezewa vipengee. Kwa mfano, README kwa sasa inaorodhesha Scientific Pipelines bila vipengee.

Vipengee vifupi vinavyolenga ushahidi

Kila kipengee kilichokubaliwa kinaunganisha chanzo cha umma na kufupisha hali, mbinu, na thamani katika sentensi moja. Kipengee lazima kitambue Jev waziwazi, kirejelee mkabala wa System One wa TypeSafe AI, au kionyeshe mzunguko wenye aina ambapo swali huzalisha jibu lenye aina pamoja na kiwango cha kujiamini, na programu hukubali, kukataa, au kupeleka uamuzi huo kwa hatua ya juu.

Ukurasa wa mwanzo unaozalishwa

README kuu hukusanya faili za makundi. Huzalishwa na scripts/build-readme.py, hivyo wachangiaji wanapaswa kuhariri faili husika ya kundi badala ya kubadilisha maudhui ya kundi yaliyotengenezwa katika README pekee.

Usakinishaji na Usanidi

Kuvinjari bila usakinishaji

awesome-jev ni saraka, si SDK, mfumo, au programu inayoweza kutekelezwa. Unaweza kuitumia moja kwa moja kwenye GitHub kwa kufungua README, kuchagua kundi, na kufuata viungo vya miradi binafsi. Hakuna usakinishaji wa kifurushi au kitambulisho cha API kinachohitajika ili kuvinjari orodha.

Kufanya kazi na nakala ya ndani

Ikiwa ungependa kutafuta faili ndani ya kompyuta au kuandaa mchango, kloni hifadhi kwa kutumia URL yake ya GitHub:

git clone <repository-url>
cd awesome-jev

Faili chanzo za makundi zimehifadhiwa chini ya categories/. Mifano muhimu ni pamoja na:

categories/classification-routing.md
categories/verification-guardrails.md
categories/scoring-ranking.md
categories/evaluation-benchmarking.md

Baada ya kuhariri faili ya kundi, tengeneza upya README iliyojumlishwa kwa scripts/build-readme.py. Fuata maagizo ya mazingira na uchangiaji ya hifadhi kabla ya kuiendesha. Ikiwa hati imewekwa kwa utekelezaji wa moja kwa moja wa Python, amri kwa kawaida itakuwa:

python scripts/build-readme.py

Rejelea CONTRIBUTING.md kwa kanuni rasmi, hasa zinazohusu kazi inayosaidiwa na AI, kina cha mradi, na uwasilishaji wa wingi.

Matumizi ya Msingi: Kupata Muundo Unaofaa wa Jev

Hatua ya 1: Bainisha uamuzi, si sekta

Anza kwa kueleza uamuzi mwembamba ambao programu yako lazima ifanye. Jiulize ikiwa matokeo yanayohitajika ni chaguo, alama, au boolean, na nini kinapaswa kutokea wakati kiwango cha kujiamini hakitoshi.

Mkataba wa kimawazo wa uamuzi unaweza kuonekana hivi:

State: the relevant unstructured input
Question: one narrowly defined typed question
Decision: Choice | Score | Boolean
Confidence: model confidence in that decision
Action: accept | reject | escalate

Huu ni muundo wa kimawazo, si sintaksia ya API ya Jev. Tumia nyaraka za API na SDK zilizounganishwa na mradi mahususi unaouchagua.

Hatua ya 2: Chagua kundi la karibu zaidi moja kwa moja

Ikiwa mfumo wako lazima uchague modeli, uainishe barua pepe, au uelekeze ombi, anza na Uainishaji na Uelekezaji. Ikiwa lazima uidhinishe kitendo cha wakala au uthibitishe kazi iliyokamilika, anza na Uthibitishaji na Vizuizi. Tumia Utoaji wa Alama na Upangaji wakati matokeo kimsingi ni thamani iliyopimwa au mpangilio.

Usitafute kwa kuzingatia sekta pekee. Muundo wa uelekezaji unaotumiwa na wakala wa usimbaji bado unaweza kuhamishiwa kwenye usaidizi kwa wateja, uchakataji wa nyaraka, au kikoa kingine ikiwa uamuzi wenye aina una muundo huo huo.

Hatua ya 3: Linganisha mifano halisi

Tuseme unahitaji kuelekeza maombi kati ya modeli. Saraka ina mbinu kadhaa zinazohusiana:

• jev-router humwomba Jev achague miongoni mwa modeli zinazotarajiwa kulingana na kazi.
• pi-jev-router huongeza uelekezaji wa modeli kwa kila ombi kwenye wakala wa usimbaji wa Pi kupitia Vercel AI Gateway.
• jcm-router huchagua modeli ya Claude na kiwango cha hoja kwa kila ujumbe huku ikihifadhi mazungumzo ya msingi yaliyowekwa kwenye akiba.
• duet-agent hudumisha jedwali la uelekezaji linalotegemea Jev kwa ajili ya kuchagua modeli.

Maingizo haya yanashiriki muundo wa uelekezaji wenye aina zilizobainishwa, lakini yanatofautiana katika wakati wa utekelezaji, programu lengwa, na mpaka wa ujumuishaji. Fuata kila kiungo cha chanzo na kagua utekelezaji kabla ya kuchagua mojawapo.

Hatua ya 4: Fuatilia mzunguko kamili wa uamuzi

Utekelezaji wa kuaminika unapaswa kuonyesha zaidi ya dai linalohusiana na Jev kwenye README yake. Tafuta mchakato kamili:

1. Programu hukusanya hali inayohitajika kwa uamuzi.
2. Hutuma swali lenye aina zilizobainishwa kwa Jev.
3. Huchanganua matokeo yenye aina zilizobainishwa na kiwango cha ujasiri.
4. Msimbo wa programu hulinganisha matokeo na sera au kizingiti kilichobainishwa wazi.
5. Utaratibu hukubali matokeo, huyakataa, au hupeleka suala hilo kwenye ngazi ya juu.

Kwa mfano, ujumuishaji wa Notra ulioorodheshwa huelekeza waainishaji wa mwonekano wa chapa kwenye maamuzi ya boolean ya Jev chini ya bendera yake ya NOTRA_JEV_CLASSIFIERS na huandika kizingiti cha 0.5. Hili linaweza kutekelezwa zaidi kuliko mradi unaosema tu kwamba hutumia uainishaji wa AI.

Hatua ya 5: Endesha ushahidi wa mradi wenyewe

Baada ya kubaini mgombea, toka kwenye orodha ya awesome na ufuate maagizo ya usanidi wa mradi huo. Pendelea maingizo yenye majaribio, ingizo za mfano na matokeo yanayotarajiwa, au onyesho la umma. Hifadhi ya awesome-jev haithibitishi kwamba programu zilizoorodheshwa zinakusanyika au kwamba matokeo yao yaliyochapishwa yanaweza kurudiwa.

Mifano ya Uchunguzi wa Kivitendo

Kuunda ulinzi kwa vitendo vya wakala

Fungua kategoria ya Uthibitishaji na Ulinzi unapohitaji kukagua kitendo kabla ya kukitekeleza. Miundo husika iliyoorodheshwa inajumuisha kukagua miito hatari ya zana za Pi kwa kutumia pi-jev, kuzuia udungaji wa maelekezo au vitendo hatari kwa kutumia jev-guard, na kulinganisha kila mwito wa zana unaosababisha athari na ombi la mtumiaji kupitia pi-heed.

Unapotathmini miradi hii, bainisha mahali hasa lango linapoendesha. Lango la kabla ya utekelezaji linaweza kuzuia kitendo, huku mkaguzi wa baada ya uhariri akiweza tu kugundua au kuripoti tatizo baada ya mabadiliko kufanyika.

Kupanga alama na kupanga upya matokeo

Kategoria ya Uwekaji Alama na Upangaji inajumuisha kupanga upya matokeo ya utafutaji, kuthibitisha marejeo, kutathmini ubora wa msimbo, na kukadiria maudhui. Chunguza ikiwa Jev hutoa alama moja ya jumla au vipimo kadhaa ambavyo msimbo wa programu huviunganisha baadaye.

Pia kagua kategoria ya Tathmini na Ulinganishaji kabla ya kudhani kwamba upangaji upya utaboresha mfumo. Ripoti moja ya vipimo iliyoorodheshwa inasema kwamba upangaji upya kwa Jev pekee haukuzidi urejeshaji wa vekta kwenye katalogi na seti ya hoja iliyojaribiwa. Matokeo hasi yanaweza kuwa na thamani sawa na mifano iliyofanikiwa wakati wa kuchagua usanifu.

Kudhibiti maamuzi yenye ujasiri mdogo

Kiwango cha ujasiri kinapaswa kuongoza sera dhahiri ya programu badala ya kuonyeshwa na kupuuzwa. Usanifu wa kawaida ni kukubali maamuzi yenye aina zilizobainishwa na ujasiri wa juu huku kesi zisizo na uhakika zikitumwa kwa mtu au modeli ghali zaidi. Mradi wa jevcal ulioorodheshwa unahusiana hasa: hutosheleza vizio vya kila swali ili kufikia usahihi unaolengwa kwenye data iliyo na lebo, huvihakiki kwenye mgawanyo uliotengwa kwa majaribio, huripoti idadi ya kesi zinazopelekwa ngazi ya juu, na unaweza kushindwa kwenye CI wakati sasisho la modeli linapovunja vizio vilivyofungwa.

Jinsi ya Kutathmini Mradi Ulioorodheshwa

Kwa kuwa uteuzi si uthibitisho, tumia orodha thabiti ya ukaguzi kabla ya kuupitisha:

1. Thibitisha mwito halisi wa Jev. Tafuta ombi lenye maswali yenye aina zilizobainishwa na msimbo unaochanganua jibu.
2. Tafuta ukaguzi unaoweza kuendeshwa. Pendelea majaribio, mifano yenye matokeo yanayotarajiwa, vipimo, au maonyesho ya umma.
3. Fuatilia madai ya kiasi. Takwimu za usahihi, gharama, muda wa kusubiri, na ujazo zinapaswa kuunganisha ushahidi unaoweza kurudiwa au ulioandikwa wazi.
4. Pima kina cha utekelezaji. Bainisha ikiwa hifadhi ina msimbo unaofanya kazi, muundo mwembamba wa kuanzia, au hasa maelekezo na nyaraka.
5. Angalia leseni. Leseni iliyokosekana au isiyooana inaweza kuzuia utumiaji tena na usambazaji hata wakati msimbo uko hadharani.
6. Kagua historia na wasimamizi. Hifadhi zilizoundwa siku hiyo hiyo zenye miundo inayofanana na historia ndogo ya mabadiliko zinaweza kuwa halali, lakini bado hazijathibitishwa.

Chukulia maingizo ya saraka kama vidokezo vya utafiti. Tathmini kwa kujitegemea usalama, utegemezi, udumishwaji, na leseni kabla ya kuyatumia kwenye uzalishaji.

Vidokezo vya Juu

Tenganisha uamuzi wa modeli na sera ya programu

Weka uamuzi wenye aina zilizobainishwa na kiwango cha ujasiri tofauti na kitendo kinachochukuliwa na mfumo wako. Vizingiti, njia za kupeleka kwenye ngazi ya juu, mipaka ya matumizi, na sheria za usalama zinapaswa kubaki wazi kwenye msimbo wa kawaida wa programu. Hii hurahisisha kupima na kubadilisha tabia bila kuandika upya swali la uamuzi.

Pendelea maswali finyu

Mifano ya Jev kwenye saraka huwa bora zaidi inapouliza maswali yenye mipaka: ni mgombea gani wa kuchagua, ikiwa sheria imekiukwa, ushahidi unaunga mkono dai kwa kiwango gani, au ikiwa kazi imekamilika. Epuka kuuchukulia modeli ya maamuzi yenye aina zilizobainishwa kama mbadala wa uundaji wa maudhui ya wazi.

Sanifu njia ya kujizuia

Usilazimishe ulinganifu dhaifu uonekane kama hatua yenye uhakika. Kipanga ujuzi wa mawakala kilichoorodheshwa kinatumia wazi maamuzi yanayozingatia kiwango cha ujasiri, hivyo ulinganifu dhaifu unaweza kukataliwa. Tabia kama hiyo ya kutumia njia mbadala inaweza kutumika pia katika mtiririko wa kazi wa uainishaji, uthibitishaji na udhibiti.

Thibitisha viwango vya mipaka kwa data yako mwenyewe

Kiwango cha mpaka kilichoripotiwa na mradi mmoja si lazima kifae mradi mwingine. Kusanya visa vilivyo na lebo vinavyowakilisha hali halisi, chagua kiwango cha ubora unacholenga, pima ufikaji na kiwango cha uelekezaji kwa ukaguzi zaidi, kisha thibitisha matokeo kwa data iliyotengwa kwa ajili ya majaribio. Rudia tathmini baada ya kubadilisha swali, modeli, muundo wa ingizo au sera ya maamuzi.

Tumia faili za kategoria kwa ukaguzi unaolenga

README iliyozalishwa ni rahisi kwa ugunduzi mpana, lakini faili mahususi zilizo chini ya categories/ zinafaa zaidi kwa ukaguzi na michango inayolenga. Kwa kuwa kila ingizo linaonekana katika kategoria moja pekee, kagua pia kategoria zilizo karibu wakati mradi unahusu masuala kadhaa.

Chunguza kwa makini njia mbadala zilizo wazi

Kategoria ya Calibration and Research inajumuisha utekelezaji upya wa ndani, maonyesho huru ya awali na modeli zilizo wazi zenye umbo la Jev. Miradi hii inaweza kuiga kiolesura cha maamuzi yenye aina au kuchunguza mbinu zinazohusiana za usimbuaji, lakini haipaswi kudhaniwa moja kwa moja kuwa inalingana na tabia, urekebishaji au sifa za uendeshaji za Jev ya TypeSafe AI.

Kuchangia Ingizo

Ingizo linalopendekezwa linapaswa kuwa la umma, liweze kunukuliwa na lionyeshe wazi uhusiano na Jev au toleo linalotokana na Jev lililoandikwa. Linapaswa kueleza uamuzi mahususi wenye aina badala ya uainishaji, kipanga au hakimu wa jumla unaofanana tu na muundo huo.

1. Chagua kategoria iliyo karibu zaidi na matumizi ya moja kwa moja ya mradi.
2. Hariri faili chanzo la kategoria hiyo chini ya categories/.
3. Andika muhtasari wa sentensi moja unaojumuisha mazingira, mbinu na thamani.
4. Thibitisha kuwa chanzo kilichounganishwa kinaonyesha wazi Jev au mzunguko wa maamuzi yenye aina.
5. Jenga upya README iliyozalishwa kwa kutumia scripts/build-readme.py.
6. Fuata maagizo yote katika CONTRIBUTING.md kabla ya kufungua ombi la kuvuta.

Marekebisho na uondoaji ni michango halali. Ikiwa ingizo halipatikani, limewekwa katika kategoria isiyo sahihi, halieleweki vya kutosha au halitimizi tena masharti ya kujumuishwa, fungua suala au ombi la kuvuta ukiambatanisha ushahidi.

Hitimisho

awesome-jev hutoa njia iliyopangwa ya kugundua matumizi halisi ya maamuzi yenye aina katika uelekezaji, upangaji wa alama, uthibitishaji, mawakala, utafiti na miundombinu. Thamani yake kubwa si idadi ya viungo pekee, bali mifumo inayojirudia ambayo miradi hiyo hufichua. Tumia orodha hiyo kupata watahiniwa, fuatilia kila mzunguko wa maamuzi, jaribu mradi wa awali, rekebisha kwa data yako mwenyewe, na lichukulie kila tangazo kama kidokezo badala ya idhini.