Haqiqiy hayotdagi Jev tiplangan qaror loyihalarini qanday o‘rganish va baholash

awesome-jev nima

awesome-jev — TypeSafe AI'ning Jev System One modeli asosida yaratilgan ochiq loyihalar va amaliyotlarning saralangan katalogi. U Jev qayerlarda aniq qarorlar qabul qilayotganini va qaysi joriy etish usullari sohalar o‘rtasida ko‘chirilishi mumkinligini tez ko‘rib chiqish uchun mo‘ljallangan amaliy qo‘llanmadir.

Jev odatiy chat modeli emas. U tuzilmagan holatni tiplangan savol bilan birga qabul qiladi va ishonchlilik darajasi bilan birga tanlov, ball yoki mantiqiy qiymat kabi tiplangan qarorni qaytaradi. Ilovalar bu natijadan tasniflash, yo‘naltirish, baholash, tekshirish va agentlar uchun cheklovlar o‘rnatishda chegaralangan qaror qatlami sifatida foydalanishi mumkin.

awesome-jev katalogida joy olgan loyiha repozitoriyning kiritish qoidalariga javob beradi, biroq u albatta kod tekshiruvi, xavfsizlik auditi, qayta tiklanish tekshiruvi yoki yetuklik baholashidan o‘tgan degani emas.

Katalogning asosiy xususiyatlari

Ilovaga yo‘naltirilgan toifalar

Har bir yozuv Jev’dan foydalanishning eng bevosita yo‘nalishiga ko‘ra aynan bitta toifaga kiradi. Joriy katalog quyidagi yo‘nalishlarni qamrab oladi:

• Tasniflash va yo‘naltirish: model tanlash, elektron pochta maqsadini aniqlash va yo‘naltirish, xodimlarni tanlash, brauzer filtrlash hamda nosozliklarni saralash.
• Tekshirish va cheklovlar: kod tekshiruvi bosqichlari, vosita chaqiruvlari xavfsizligi, prompt-inyeksiya tekshiruvlari va bajarilgan ishni tekshirish.
• Baholash va reyting: qidiruvning dolzarbligi, iqtiboslarni qo‘llab-quvvatlash, kod sifati, SEO va semantik xaritalash.
• Agent qarorlari: brauzer harakatlari, kodlash agenti xulosalari, kontekstni qisqartirish va chegaralangan robot harakatlari.
• Ma’lumotlarni belgilash va saralash: ma’lumotlar to‘plamini filtrlash va muammolarni saralash.
• Baholash va mezonlar bo‘yicha sinov: qiyosiy testlar, kalibrlash vositalari va qayta tiklanadigan baholash harnesslari.
• Kalibrlash va tadqiqot: mahalliy qayta yaratishlar, ochiq muqobillar va Jev shaklidagi qaror modellari.
• Infratuzilma va integratsiyalar: SDKlar, shlyuzlar, buyruq satri vositalari va framework integratsiyalari.
• Soha toifalari: o‘yinlar, simulyatsiya, moliya, treyding, muvofiqlik, huquqiy jarayonlar va kontent moderatsiyasi.
• Tegishli amaliyotlar va muhokamalar: alohida kuchli loyiha sahifasi mavjud bo‘lmaganda, real foydalanish holatlariga oid ishonchli ochiq hisobotlar.

Repozitoriy hali to‘ldirilayotgan toifalarni ham ko‘rsatadi. Masalan, README hozirda Scientific Pipelines toifasini hech qanday yozuvsiz ko‘rsatadi.

Ixcham, dalillarga asoslangan yozuvlar

Har bir qabul qilingan element ochiq manbaga havola beradi va vaziyat, usul hamda qiymatni bitta jumlada umumlashtiradi. Yozuv Jev’ni aniq ko‘rsatishi, TypeSafe AI’ning System One yondashuviga havola berishi yoki savol ishonchlilik bilan tiplangan javobga olib keladigan hamda ilova uni qabul qiladigan, rad etadigan yoki yuqori bosqichga yuboradigan tiplangan siklni namoyish qilishi kerak.

Avtomatik yaratiladigan bosh sahifa

Asosiy README toifa fayllarini jamlaydi. U scripts/build-readme.py tomonidan yaratiladi, shuning uchun hissa qo‘shuvchilar README’da yaratilgan toifa mazmunini o‘zgartirish o‘rniga tegishli toifa faylini tahrirlashlari kerak.

O‘rnatish va sozlash

O‘rnatmasdan ko‘rish

awesome-jev SDK, framework yoki bajariladigan ilova emas, balki katalogdir. Uni to‘g‘ridan-to‘g‘ri GitHub’da README’ni ochish, toifani tanlash va alohida loyihalarga havolalarni kuzatish orqali ishlatishingiz mumkin. Ro‘yxatni ko‘rish uchun paket o‘rnatish yoki API ma’lumotlari talab qilinmaydi.

Mahalliy nusxa bilan ishlash

Fayllarni mahalliy ravishda qidirish yoki hissa tayyorlashni istasangiz, GitHub URL manzili orqali repozitoriyni klonlang:

git clone <repository-url>
cd awesome-jev

Toifa manba fayllari categories/ ichida saqlanadi. Foydali misollar:

categories/classification-routing.md
categories/verification-guardrails.md
categories/scoring-ranking.md
categories/evaluation-benchmarking.md

Toifa faylini tahrirlaganingizdan so‘ng scripts/build-readme.py yordamida umumiy README’ni qayta yarating. Uni ishga tushirishdan oldin repozitoriyning muhit va hissa qo‘shish bo‘yicha ko‘rsatmalariga amal qiling. Agar skript Python orqali bevosita bajarishga sozlangan bo‘lsa, buyruq odatda quyidagicha bo‘ladi:

python scripts/build-readme.py

Nufuzli qoidalar, ayniqsa AI yordamida ishlash, loyiha chuqurligi va ommaviy yuborishlarga oid talablar uchun CONTRIBUTING.md fayliga murojaat qiling.

Asosiy foydalanish: mos Jev namunasini topish

1-qadam: sohani emas, qarorni belgilang

Dasturingiz qabul qilishi kerak bo‘lgan tor doiradagi qarorni tavsiflashdan boshlang. Kerakli natija tanlov, ball yoki mantiqiy qiymat ekanini va ishonchlilik yetarli bo‘lmaganda nima yuz berishi kerakligini aniqlang.

Konseptual qaror shartnomasi quyidagicha ko‘rinishi mumkin:

State: tegishli tuzilmagan kiritma
Question: tor doirada belgilangan bitta tiplangan savol
Decision: Choice | Score | Boolean
Confidence: modelning ushbu qarorga bo‘lgan ishonchi
Action: accept | reject | escalate

Bu konseptual namuna bo‘lib, Jev API sintaksisi emas. Siz tanlagan muayyan loyiha havola qilgan API va SDK hujjatlaridan foydalaning.

2-qadam: eng yaqin bevosita toifani tanlang

Agar tizimingiz model tanlashi, elektron xatni tasniflashi yoki so‘rovni yo‘naltirishi kerak bo‘lsa, Tasniflash va yo‘naltirish toifasidan boshlang. Agar u agent harakatini ma’qullashi yoki bajarilgan ishni tekshirishi kerak bo‘lsa, Tekshirish va cheklovlar toifasini tanlang. Natija asosan baholangan qiymat yoki tartib bo‘lsa, Baholash va reyting toifasidan foydalaning.

Faqat soha bo‘yicha qidirmang. Kodlash agentida ishlatiladigan yo‘naltirish namunasi mijozlarni qo‘llab-quvvatlash, hujjatlarni qayta ishlash yoki boshqa sohaga ham ko‘chirilishi mumkin, agar tiplangan qaror bir xil shaklga ega bo‘lsa.

3-qadam: Aniq misollarni solishtiring

Faraz qilaylik, so‘rovlarni modellar o‘rtasida yo‘naltirishingiz kerak. Katalogda bir nechta tegishli yondashuv mavjud:

• jev-router vazifaga asoslanib, nomzod modellar orasidan tanlashni Jev’ga topshiradi.
• pi-jev-router Vercel AI Gateway orqali Pi kodlash agentiga har bir so‘rov uchun model yo‘naltirish imkonini qo‘shadi.
• jcm-router asosiy suhbat keshini saqlagan holda, har bir xabar uchun Claude modeli va fikrlash darajasini tanlaydi.
• duet-agent model tanlovi uchun Jev asosidagi yo‘naltirish jadvalini yuritadi.

Bu yozuvlar tiplashtirilgan yo‘naltirish andozasiga ega, ammo ish muhiti, maqsadli ilova va integratsiya chegarasi bilan farqlanadi. Birortasini tanlashdan oldin har bir manba havolasini ochib, amalga oshirilishini tekshiring.

4-qadam: Qaror qabul qilishning to‘liq siklini kuzating

Ishonchli amalga oshirish README faylida Jev bilan bog‘liq da’vodan ko‘proq narsani ko‘rsatishi kerak. Quyidagi to‘liq yo‘lni qidiring:

1. Ilova qaror qabul qilish uchun zarur holatni yig‘adi.
2. U Jev’ga tor doirada tiplashtirilgan savol yuboradi.
3. U tiplashtirilgan natija va ishonchlilik darajasini tahlil qiladi.
4. Ilova kodi natijani aniq siyosat yoki chegara bilan taqqoslaydi.
5. Tizim natijani qabul qiladi, rad etadi yoki holatni yuqori darajaga yo‘naltiradi.

Masalan, ro‘yxatdagi Notra integratsiyasi brend ko‘rinuvchanligi klassifikatorlarini NOTRA_JEV_CLASSIFIERS bayrog‘i ostida Jev’ning mantiqiy qarorlariga yo‘naltiradi va 0.5 chegarasini hujjatlashtiradi. Bu shunchaki sun’iy intellekt klassifikatsiyasidan foydalanishini aytadigan loyihaga qaraganda ancha amaliy.

5-qadam: Loyihaning o‘z dalillarini ishga tushiring

Nomzodni aniqlaganingizdan so‘ng awesome ro‘yxatidan chiqib, loyiha sozlash bo‘yicha ko‘rsatmalariga amal qiling. Testlari, namunaviy kiritish va kutilgan chiqishlari yoki ommaviy namoyishi mavjud yozuvlarga ustunlik bering. awesome-jev repozitoriysi ro‘yxatdagi dastur kompilyatsiya qilinishini yoki e’lon qilingan natijalar qayta olinishi mumkinligini tekshirmaydi.

Amaliy o‘rganish misollari

Agent amallari uchun himoya qoidasi yaratish

Bajarilishidan oldin amalni tekshirishingiz kerak bo‘lsa, Verification and Guardrails kategoriyasini oching. Ro‘yxatdagi tegishli andozalar qatoriga pi-jev yordamida xavfli Pi vosita chaqiruvlarini tekshirish, jev-guard bilan prompt inyeksiyasi yoki xavfli amallarni bloklash va pi-heed orqali yon ta’sirga ega har bir vosita chaqiruvini foydalanuvchi so‘rovi bilan solishtirish kiradi.

Bu loyihalarni baholayotganda to‘siq aynan qayerda ishlashini aniqlang. Bajarilishdan oldingi to‘siq amalning oldini olishi mumkin, tahrirdan keyingi tekshiruvchi esa muammoni faqat o‘zgarish sodir bo‘lgach aniqlashi yoki xabar qilishi mumkin.

Natijalarni ballash va qayta tartiblash

Scoring and Ranking kategoriyasi qidiruv natijalarini qayta tartiblash, iqtiboslarni tekshirish, kod sifatini baholash va kontentni baholashni o‘z ichiga oladi. Jev bitta umumiy ball ishlab chiqaradimi yoki ilova kodi keyinchalik birlashtiradigan bir nechta o‘lchovni beradimi, shuni tekshiring.

Qayta tartiblash tizimni yaxshilaydi deb taxmin qilishdan oldin Evaluation and Benchmarking kategoriyasini ham ko‘rib chiqing. Ro‘yxatdagi o‘lchangan hisobotlardan birida Jev yordamida qayta tartiblashning o‘zi sinovdan o‘tkazilgan katalog va so‘rovlar to‘plamida vektorli qidiruvdan ustun kelmagani aytiladi. Arxitektura tanlashda salbiy natijalar ham muvaffaqiyatli misollar kabi qimmatli bo‘lishi mumkin.

Ishonchliligi past qarorlarni boshqarish

Ishonchlilik darajasi ko‘rsatilishi va e’tiborsiz qoldirilishi emas, balki aniq ilova siyosatini belgilashi kerak. Keng tarqalgan arxitektura yuqori ishonchli tiplashtirilgan qarorlarni qabul qiladi, noaniq holatlarni esa insonga yoki qimmatroq modelga yuboradi. Ro‘yxatdagi jevcal loyihasi ayniqsa dolzarb: u belgilangan ma’lumotlarda maqsadli aniqlikka erishish uchun har bir savol bo‘yicha chegaralarni moslaydi, ularni ajratib qo‘yilgan to‘plamda tekshiradi, eskalatsiya trafigini hisobot qiladi va model yangilanishi belgilangan chegaralarni buzsa, CI jarayonini muvaffaqiyatsiz yakunlashi mumkin.

Ro‘yxatdagi loyihani qanday baholash kerak

Kuratorlik ma’qullash degani emas. Qabul qilishdan oldin izchil tekshiruv ro‘yxatidan foydalaning:

1. Haqiqiy Jev chaqiruvi mavjudligini tasdiqlang. Tiplashtirilgan savollarni o‘z ichiga olgan so‘rov va javobni tahlil qiladigan kodni toping.
2. Ishga tushiriladigan tekshiruvni qidiring. Testlar, kutilgan natijalarga ega misollar, benchmarklar yoki ommaviy namoyishlarga ustunlik bering.
3. Miqdoriy da’volarni kuzating. Aniqlik, narx, kechikish va hajm ko‘rsatkichlari qayta tiklanadigan yoki aniq hujjatlashtirilgan dalillarga havola qilishi kerak.
4. Amalga oshirish chuqurligini o‘lchang. Repozitoriyda ishlaydigan kod, yupqa skelet yoki asosan promptlar va hujjatlar mavjudligini aniqlang.
5. Litsenziyani tekshiring. Kod ommaviy bo‘lsa ham, litsenziyaning yo‘qligi yoki mos kelmasligi undan qayta foydalanish va uni tarqatishga to‘sqinlik qilishi mumkin.
6. Tarix va qo‘llab-quvvatlovchilarni ko‘rib chiqing. Bir kunda yaratilgan, o‘xshash skeletlarga va minimal commit tarixiga ega repozitoriylar qonuniy bo‘lishi mumkin, ammo ular hali isbotlanmagan.

Katalog yozuvlarini tadqiqot yo‘nalishi sifatida ko‘ring. Ishlab chiqarishda foydalanishdan oldin xavfsizlik, ishonchlilik, qo‘llab-quvvatlanish va litsenziyani mustaqil baholang.

Ilg‘or maslahatlar

Model xulosasini ilova siyosatidan ajrating

Tiplashtirilgan qaror va ishonchlilik darajasini tizimingiz bajaradigan amaldan alohida saqlang. Chegaralar, eskalatsiya yo‘llari, xarajat cheklovlari va xavfsizlik qoidalari oddiy ilova kodida ko‘rinib turishi kerak. Bu qaror savolini qayta yozmasdan xatti-harakatni sinash va o‘zgartirishni osonlashtiradi.

Tor doiradagi savollarga ustunlik bering

Katalogdagi Jev misollari chegaralangan savollar berilganda eng kuchli bo‘ladi: qaysi nomzodni tanlash, qoida buzilgan-buzilmaganligi, dalillar da’voni qanchalik kuchli qo‘llab-quvvatlashi yoki ish yakunlangan-yakunlanmaganligi. Tiplashtirilgan qaror modelini ochiq yakunli generatsiyaning o‘rnini bosuvchi vosita sifatida ko‘rishdan saqlaning.

Qarordan voz kechish yo‘lini loyihalang

Zaif moslikni ishonchli ko‘rinadigan harakatga majburlamang. Ko‘rsatilgan agent ko‘nikmalari routeri zaif mosliklarni rad etish mumkin bo‘lishi uchun ishonch darajasini hisobga oladigan qarorlardan aniq foydalanadi. Shunga o‘xshash zaxira xatti-harakatlarini tasniflash, tekshirish va moderatsiya jarayonlariga ham qo‘llash mumkin.

Chegaralarni o‘z ma’lumotlaringizda tekshiring

Bir loyiha xabar qilgan chegara boshqasi uchun avtomatik ravishda mos bo‘lmaydi. Vakillik qiladigan belgilangan holatlarni to‘plang, kerakli sifat darajasini tanlang, qamrov va eskalatsiya darajasini o‘lchang hamda natijani sinovdan ajratilgan ma’lumotlarda tekshiring. Savol, model, kiritish formati yoki qaror siyosatini o‘zgartirgandan so‘ng baholashni qayta o‘tkazing.

Maqsadli ko‘rib chiqish uchun kategoriya fayllaridan foydalaning

Yaratilgan README keng qamrovli izlash uchun qulay, ammo categories/ ichidagi alohida fayllar maqsadli ko‘rib chiqish va hissa qo‘shish uchun yaxshiroqdir. Har bir yozuv aynan bitta kategoriyada ko‘rsatilgani sababli, loyiha bir nechta yo‘nalishni qamrab olganda qo‘shni kategoriyalarni ham tekshiring.

Ochiq muqobillarni diqqat bilan o‘rganing

Calibration and Research kategoriyasi mahalliy qayta ishlanmalar, mustaqil ko‘rib chiqishlar va ochiq Jev-ga o‘xshash modellarni o‘z ichiga oladi. Bu loyihalar tiplashtirilgan qaror interfeysini qayta yaratishi yoki dekodlashning bog‘liq usullarini o‘rganishi mumkin, ammo ularni TypeSafe AI Jevining xatti-harakati, kalibrlanishi yoki ekspluatatsion xususiyatlariga mos deb avtomatik ravishda qabul qilmaslik kerak.

Yozuv qo‘shish

Taklif qilinayotgan yozuv ommaviy, iqtibos keltirish mumkin bo‘lgan va Jev yoki hujjatlashtirilgan Jev porti yoxud hosilasiga aniq bog‘langan bo‘lishi kerak. Unda shunchaki ushbu andozaga o‘xshaydigan umumiy klassifikator, router yoki hakam emas, balki aniq tiplashtirilgan qaror tasvirlanishi lozim.

1. Loyihaning bevosita qo‘llanilishiga eng yaqin kategoriyani tanlang.
2. categories/ ichidagi ushbu kategoriyaning manba faylini tahrirlang.
3. Vaziyat, usul va qiymatni qamrab oladigan bir jumlalik xulosa yozing.
4. Havola qilingan manba Jev yoki tiplashtirilgan qaror siklini aniq namoyish etishini tekshiring.
5. scripts/build-readme.py yordamida yaratilgan README faylini qayta tuzing.
6. Pull request ochishdan oldin CONTRIBUTING.md dagi barcha ko‘rsatmalarga amal qiling.

Tuzatishlar va olib tashlashlar ham asosli hissalar hisoblanadi. Agar yozuvga kirish imkoni bo‘lmasa, u noto‘g‘ri kategoriyalangan, juda noaniq yoki endi kiritish qoidalariga mos kelmasa, tasdiqlovchi dalillar bilan issue yoki pull request oching.

Xulosa

awesome-jev yo‘naltirish, baholash, tekshirish, agentlar, tadqiqot va infratuzilma sohalaridagi haqiqiy tiplashtirilgan qaror ilovalarini topishning tizimli usulini taqdim etadi. Uning eng katta qiymati shunchaki havolalar sonida emas, balki ushbu loyihalar ochib beradigan takrorlanuvchi andozalardadir. Nomzodlarni topish uchun ro‘yxatdan foydalaning, har bir qaror siklini kuzating, asl loyihani sinab ko‘ring, o‘z ma’lumotlaringizda kalibrlang va har bir yozuvni tavsiya emas, balki keyingi izlanish uchun yo‘nalish deb biling.