Kev Inafanya kazi

Kev ni familia ya miundo ya maamuzi iliyotolewa kwa chanzo huria na Jared Palmer, VP wa Uhandisi wa Cognition, inayotumia Qwen3.5/Qwen3.8 na kutoa miundo ya ukubwa mbalimbali kutoka 0.8B hadi 27B. Kev haitengenezi maandishi; inaingiza maandishi ya hali pamoja na maswali yaliyoundwa, kisha hutoa moja kwa moja uwezekano uliopimwa katika mchakato mmoja wa mbele. Inaauni aina tatu za maamuzi: ndiyo/hapana, uelekezaji wa chaguo na ukadiriaji wa viwango, huku ikiwa inaoana na TypeSafe System One API.

Maamuzi yaliyoundwa: Ingiza maandishi ya hali pamoja na maswali kadhaa yaliyoundwa; ombi moja hutoa moja kwa moja uwezekano uliopimwa wa kila chaguo, bila kamwe kutengeneza maandishi ya maelezo.
Vielelezo vitatu vya maamuzi: Inaauni noul, choice na score.
Utenganishaji wa maswali ya kundi: Maswali mengi hushiriki hali ileile ya ingizo, huku maski ya umakini ikiyatenganisha. Maswali yote hujibiwa kwa wakati mmoja katika upitishaji mmoja wa mbele bila kuathiriana.
Uendeshaji wa ndani: Amri ya mstari mmoja ya kev.serve huanzisha huduma, ikifichua mwisho wa POST /v1/systemone unaooana na CUDA, ROCm na Apple Silicon (MLX).
Urekebishaji wa gharama nafuu: Inaauni mafunzo zaidi kwa kutumia data yako yenye lebo kutoka kwenye checkpoint rasmi. Ujuzi wa kev-finetune humwezesha coding agent kukamilisha kiotomatiki mchakato mzima wa kupanga data, mafunzo, tathmini na uwekaji.
Mfumo wa tathmini uliojengewa ndani: Una seti ya tathmini iliyogandishwa na huripoti usahihi, alama ya Brier, hitilafu ya urekebishaji na uwiano wa maamuzi yanayoweza kujiendesha; namba za toleo hukaguliwa kiotomatiki na CI.

Fuata akaunti ya WeChat na ujibu “开源” ili kujiunga na kikundi cha majadiliano cha miradi ya AI ya chanzo huria
Kichwa cha pointer hubadilisha uzalishaji kuwa uainishaji: Kev hugandisha uzani wa msingi wa Qwen, kisha huongeza adapta ya LoRA ya rank-16 na kichwa cha pointer. Hali fiche ya kila chaguo hulinganishwa na hali fiche ya swali, kisha softmax hutumiwa kupata uwezekano. Kimsingi, hii hubadilisha “swali la uandishi” la modeli kubwa kuwa “swali la kuchagua”, na kuruka uzalishaji wa tokeni mmoja baada ya mwingine.
Umakini wa kisababishi wa vitalu hutenganisha maswali: Mfuatano wa ingizo hupangwa kama “hali + vitalu vingi vya maswali”. Maski ya umakini huruhusu kila tokeni kusoma hali na maudhui ya swali lake pekee, huku vitambulisho vya nafasi vikihesabiwa upya kwa kila swali. Kwa hivyo, upitishaji mmoja wa mbele unaweza kujibu kwa wakati mmoja maswali mengi yasiyohusiana, yakishiriki hesabu ya hali bila kuvuja taarifa kati yao. Kwa miundo kama Qwen3.5/3.8 yenye Gated DeltaNet mseto, kila swali hupangwa katika safu huru na akiba ya hali ya KV hushirikiwa; hivyo utenganishaji huwa mkali zaidi.
Mafunzo na urekebishaji: Adapta na kichwa cha pointer hufunzwa kwa cross-entropy kwenye lebo sahihi, huku msingi ukiwa umegandishwa muda wote. Kila checkpoint hupangiwa kigezo cha halijoto kwenye data iliyotengwa; wakati wa makisio, uwezekano uliorekebishwa hutolewa moja kwa moja. Halijoto haibadilishi mpangilio, bali hurekebisha thamani za ujasiri.

Maandalizi ya mazingira: Sakinisha Python 3.12/3.13 na uv, kisha kloni hazina na utekeleze uv sync --extra serve ili kusakinisha vitegemezi.
Kuanzisha huduma ya ndani: Tekeleza KEV_DTYPE=bf16 uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b --port 8009 ili kuanzisha modeli; uzani utapakuliwa kiotomatiki mara ya kwanza.
Kutuma ombi la uamuzi: Wasilisha maandishi ya state na questions kwa POST /v1/systemone; jibu litakuwa uwezekano uliopimwa wa kila chaguo.
Kutumia Python SDK: Tumia SDK rasmi ya TypeSafe kuelekeza base_url kwenye huduma ya ndani; programu zilizopo za Jev zinaweza kubadilishwa bila marekebisho mengine.
Kujaribu kwenye kivinjari: Tembelea Hugging Face Space au endesha playground ndani ya nchi; hakuna usakinishaji unaohitajika.
Kufanya fine-tuning kwa data yako: Panga data yenye lebo katika muundo wa JSONL, kisha tumia uv run python -m kev.train --init_from jaredpalmer/kev-4b ... kuendelea na mafunzo kutoka kwenye checkpoint rasmi.
Fine-tuning ya kiotomatiki kwa Agent: Tekeleza npx skills add jaredpalmer/kev@kev-finetune, kisha mwache coding agent akamilishe mchakato mzima wa kutafuta matatizo, kuunda data, kufundisha, kutathmini na kuweka huduma bila GPU ya ndani.
Uwekaji wa wingu: Tekeleza pip install modal && modal deploy kev_serve.py ili kuweka endpoint ya HTTPS kwa mbofyo mmoja; huduma hupunguzwa kiotomatiki hadi sifuri inapokuwa bila matumizi na hakuna malipo yanayotozwa.
Uthibitishaji wa tathmini: Tumia uv run python -m kev.benchmark --run <modeli> --suite evals/v4/transfer-v4 kuthibitisha utendaji kwenye seti ya tathmini iliyogandishwa; tathmini kwanza kabla ya kuweka huduma mtandaoni.

Gharama ndogo sana: Upitishaji mmoja wa mbele hutoa uwezekano moja kwa moja, hivyo kuondoa uzalishaji wa tokeni mmoja baada ya mwingine. H100 inaweza kujibu maswali 6 kwa 18ms pekee, na baada ya kujiendeshea hakuna ada ya kila ombi.
Mafunzo nafuu na yanayoweza kurudiwa: Mafunzo ya uhamishaji ya viwango vitatu rasmi yaligharimu takriban dola 95 pekee, huku fine-tuning ya mtu binafsi ikigharimu takriban dola 1 kwa kila mara; bili kamili imewekwa wazi.
Chanzo huria na udhibiti: Chini ya leseni ya Apache-2.0, uzani, msimbo wa mafunzo na seti ya tathmini iliyogandishwa vimewekwa wazi; unaweza kujifundishia, kukagua na kuepuka kufungiwa na mtoa huduma.
API ya kuunganisha moja kwa moja: Inaendana kikamilifu na TypeSafe System One; programu zilizopo za Jev zinaweza kubadilishwa bila marekebisho mengine kwa kubadilisha base_url pekee.
Maswali mengi kwa mara moja: Hali ya ingizo hushirikiwa na umakini wa kisababishi wa vitalu hutenganisha maswali, hivyo upitishaji mmoja wa mbele hujibu idadi yoyote ya maswali bila kuathiriana.

Hazina ya GitHub: https://github.com/jaredpalmer/kev

Uelekezaji wa tiketi za huduma kwa wateja: Katika upitishaji mmoja wa mbele, amua kwa wakati mmoja “ipelekwe idara gani, ihitaji kuhamishiwa kwa mhudumu wa kibinadamu, na kiwango cha hasira ya mteja”; elekeza kiotomatiki kwa vizingiti vya uwezekano, na peleka kwa mhudumu wa kibinadamu pale ujasiri unapokuwa mdogo.
Ukaguzi wa usalama wa maudhui: Kwa maandishi ya UGC, tekeleza kwa sambamba “noul ikiwa ni ukiukaji + choice ya aina ya ukiukaji + score ya ukali”; chukua hatua kiotomatiki kwa matokeo yenye ujasiri mkubwa.
Uchunguzi wa awali wa fedha/mikopo: Amua aina ya malalamiko, ikiwa uingiliaji wa kibinadamu unahitajika na kiwango cha hatari; usambazaji wa uwezekano husaidia kuweka kumbukumbu za uzingatiaji na kupanga kipaumbele cha ukaguzi wa kibinadamu.
Uainishaji wa bidhaa na nia katika biashara ya mtandaoni: Elekeza maswali ya watumiaji kwenye mifumo ya chini kama utafutaji, mapendekezo au huduma baada ya mauzo, na kushughulikia tatizo la usambazaji wa lebo nyingi ambapo “neno moja linaangukia katika kategoria nyingi”.