SemIf Inafanya kazi

SemIf (zamani OpenJev) ni modeli ya AI ya kufanya maamuzi iliyo wazi, inayotumia modeli zilizo wazi kuiga muundo wa kiolesura cha maamuzi ya kisemantiki wa Jev iliyofungwa ya TypeSafe. Katika upitishaji mmoja wa mbele, SemIf husoma moja kwa moja alama za logits zinazolingana na chaguo za watahiniwa, huku seva ikiunda matokeo yenye muundo; wakati maswali mengi yanashiriki hali, kiambishi awali kinaweza kutumiwa tena, na kuongeza kasi karibu mara kumi. SemIf inaweza kuendeshwa kwenye RTX 3090, inatoa onyesho la kivinjari, na inajumuisha vigezo vinavyoweza kuzalishwa tena mstari kwa mstari, urekebishaji wa halijoto na uunganishaji wa modeli ya 27B.

Fuata akaunti ya WeChat na ujibu “开源” ili ujiunge na kundi la miradi ya AI huria
Upimaji wa moja kwa moja wa logit: Upitishaji mmoja wa mbele husoma logits za chaguo za watahiniwa na kupata uwezekano, bila kuzalisha kwanza maandishi ya jibu na kuyachanganua; ni takriban mara 5 haraka kuliko uzalishaji wa kujirudia.
Utumiaji tena wa hali iliyoshirikiwa: Maamuzi mengi yanaposhiriki muktadha uleule, jaza kiambishi awali mara moja, kisha tathmini vigezo mbalimbali kwa mfululizo au kwa sambamba; upitishaji unaweza kuongezeka karibu mara kumi.
Maamuzi yanayofafanuliwa wakati wa utekelezaji: Maelezo ya vigezo na chaguo hutumwa pamoja na ombi, bila urekebishaji maalum au kazi zilizofafanuliwa awali; yanafaa kwa maamuzi madogo ya mawakala, kama vile uelekezaji na kuamua kujaribu tena.
Uwezo kamili wa ukaguzi: Prompt zisizobadilika, matoleo ya modeli, heshi za prompt, matokeo ya mstari kwa mstari na makosa yote yanayojulikana huwasilishwa kwenye hazina, hivyo kuwezesha kuzalisha matokeo kwa usahihi.
Urekebishaji wa halijoto: Ina kipimo cha kuongeza halijoto kinachotoshelezwa kulingana na mzigo wa kazi, na kuboresha uwiano kati ya uhakika wa uwezekano na usahihi halisi.
Usaidizi wa vihifadhi vingi: Inasaidia GPU za CUDA, Apple Silicon (MPS/MLX), CPU na onyesho la kivinjari la WebGPU.

Maandalizi ya mazingira: Sakinisha Python 3.10+, CUDA na kadi ya picha yenye uwezo wa kuendesha modeli ya 4B BF16.
Sakinisha mradi: Baada ya kuunda mazingira pepe, endesha pip install -e '.[test]'.
Andaa ingizo: Andika faili la maamuzi katika muundo wa JSONL; kila mstari uwe na id, state, question na orodha ya chaguo options.
Endesha upimaji: Tekeleza semif-score --mode direct --model Qwen/Qwen3.5-4B --revision <固定版本> --input examples/decisions.jsonl --output results.jsonl ili kupata uwezekano wa chaguo kwa kila mstari, muda wa utekelezaji na heshi ya prompt.
Hali ya kushiriki: Wakati state ya mistari yote inafanana kabisa, tumia --mode shared; kiambishi awali hujazwa mara moja, kisha vigezo vyote hutathminiwa kwa sambamba.
Tumia urekebishaji: Tumia hati iliyojumuishwa kwenye mradi kutosheleza kipimo cha kuongeza halijoto kwenye mzigo lengwa wa kazi, ili uhakika wa matokeo ulingane na usahihi halisi.

Kasi kubwa ya maamuzi: Kusoma logits za chaguo moja kwa moja huondoa mchakato wa kuzalisha na kuchanganua; maamuzi 21 ya jozi huchukua takriban sekunde 1, ikiwa ni mara 5.2 haraka kuliko kuzalisha JSON.
Utumiaji tena wa kiambishi awali kilichoshirikiwa: Jaza mara moja, tathmini matawi mara nyingi; katika hali ya kushiriki, upitishaji huongezeka kutoka maamuzi 2.33 hadi kiwango cha juu cha 20.03 kwa sekunde.
Tokeni sifuri za uzalishaji: Hakuna sampuli ya maandishi ya jibu, hivyo kuzuia makosa ya muundo wa JSON, mizunguko ya usimbuaji na kushindwa kuchanganua matokeo.
Mahitaji madogo ya maunzi: Modeli ya 4B iliyogandishwa inaweza kuendeshwa kwenye RTX 3090 moja, na pia inasaidia CPU, Apple Silicon na WebGPU ya kivinjari.
Chanzo wazi na uzalishaji unaoweza kuthibitishwa kikamilifu: Prompt zote, matoleo ya modeli, matokeo ya mstari kwa mstari na makosa yanayojulikana huwasilishwa kwenye hazina, hivyo kila kipengele kinaweza kukaguliwa na kuthibitishwa.
Uhakika unaoweza kurekebishwa: Kipimo cha kuongeza halijoto kulingana na mzigo wa kazi kimejumuishwa, kikilinganisha uhakika wa uwezekano na usahihi halisi; matokeo yanaweza kutumiwa moja kwa moja kwa maamuzi ya kiotomatiki.

Tovuti rasmi ya mradi: https://openjev.com/
Hazina ya GitHub: https://github.com/TheoLeeCJ/SemIf-OpenJev

Uelekezaji wa tiketi za huduma kwa wateja: Kulingana na maelezo ya tatizo la mteja na hali ya akaunti, pima moja kwa moja chaguo za foleni kama “usaidizi wa akaunti / usaidizi wa malipo” ili kufanikisha ugawaji wa kiotomatiki ndani ya milisekunde.
Ukuta wa ulinzi wa vitendo vya wakala: Kabla ya wakala kutekeleza operesheni yenye hatari kubwa, fanya uamuzi wa jozi kuhusu vitendo vinavyowezekana; usahihi wa mchanganyiko wa 0.700 unaweza kutumika kama safu ya kwanza ya ulinzi.
Utafutaji na upangaji wa ushahidi: Katika utafutaji wa hazina za msimbo na maswali ya hifadhidata ya maarifa ya biashara (0.929), badilisha reranker za jadi; upitishaji mmoja wa mbele hutoa alama za nyaraka zinazowezekana.
Uthibitishaji wa hitimisho la kimantiki: Kwa kazi za aina ya NLI, amua ikiwa “ushahidi unaunga mkono hitimisho”; baada ya urekebishaji, uhakika unaweza kuendesha otomatiki ya hatua zinazofuata moja kwa moja.