Startlux-Decision Inafanya kazi

StartLux-Decision ni familia ya miundo ya maamuzi iliyotengenezwa na StartLux Labs, ikiwa na miundo mitano minene ya 0.8B hadi 27B na modeli mseto ya wataalamu ya 35B-A3B. StartLux-Decision hupokea hali katika mfumo wa maandishi, JSON au picha, na kwa maswali ya uchaguzi, ndiyo/hapana au ukadiriaji, hurejesha uwezekano wa kila chaguo kwa uelekezaji mmoja wa mbele, ambao unaweza kutumika kama kiwango cha kujiamini. Modeli hii inasaidia kiasili muktadha mrefu wa token 256K, ina ucheleweshaji wa kiwango cha milisekunde, na inaoana na umbizo la mteja wa TypeSafe la Jev.

Maamuzi yaliyopangiliwa: Inasaidia maswali ya chaguo, ndiyo/hapana na ukadiriaji, huku kila swali likirejesha mgawanyo wa uwezekano wa chaguo zote.
Ingizo la aina nyingi: Hali inaweza kuwa maandishi, JSON au picha (imesasishwa 2026-10-03), na ushahidi pamoja na picha vinaweza kuwa sehemu ya ombi.
Muktadha mrefu sana: Miundo ya ukubwa wote inasaidia kiasili urefu wa ingizo wa token 262,144 (256K), na hali ndefu husomwa mara moja kwa mafungu.
Toleo la kujiamini: Uwezekano hutumika moja kwa moja kama kiwango cha kujiamini, hivyo unafaa kwa michakato otomatiki inayohitaji upimaji wa hatari.
Upitishaji wa juu na ucheleweshaji mdogo: Maswali mafupi huhitaji milisekunde chache tu kwa uelekezaji mmoja wa mbele, huku uelekezaji wa mafungu (batched path) na CUDA Graphs ukisaidia kuongeza kasi.
Usambazaji kwenye mifumo yote: Hutoa quantization ya GGUF (BF16/Q8_0/Q4_K_M) kwa llama.cpp, huku backend ya MLX ikipatikana kwenye Apple Silicon.
Programu za michezo na mawakala: Imethibitishwa katika matukio ya maamuzi ya wakati halisi kama ununuzi wa mtandaoni, chess, Super Mario, StarCraft II na Doom.
Uoani na mfumo wa Jev: Ombi na jibu hutumia umbizo la TypeSafe /v1/systemone, hivyo wateja walioandikwa kwa Jev wanaweza kuunganishwa bila usumbufu.

Fuata WeChat na ujibu “开源” ili kujiunga na kundi la mawasiliano la miradi huria ya AI
Kusoma jibu kwa uelekezaji mmoja wa mbele: Modeli hutoa chaguo kama alama za herufi, kisha husoma moja kwa moja uwezekano kutoka nafasi ya herufi ya chaguo baada ya forward pass. Maswali yote katika ombi hukamilishwa kwa usambamba katika uelekezaji mmoja wa mbele.
Usanifu wa umakini wa mstari: Hutumia kernels za kasi za flash-linear-attention na causal-conv1d. Maombi mafupi yana ucheleweshaji mdogo sana, na seva hukataa kuanza kwenye GPU zisizo na kernels hizi ili kuhakikisha utendaji.
Uzalishaji wa matrix uliopangwa wa MoE: Kila token katika modeli mseto ya wataalamu ya 35B-A3B huwezesha takriban vigezo 3B pekee. Wataalamu huendeshwa kwa grouped matmul na kufunikwa na CUDA Graphs, hivyo ucheleweshaji huwa karibu nusu ya modeli mnene ya 27B.
Kugawa na kuchanganua ingizo refu: Hali yenye urefu wa 256K husomwa mara moja kwa mafungu, na kila swali katika ombi huhesabiwa kutoka tawi la uwakilishi wake ili kuzuia usimbaji wa kurudia.
Quantization yenye uaminifu wa uwezekano: BF16 na Q8_0 za GGUF hutoa maamuzi yanayofanana kabisa na uzani asilia katika 99–100% ya miradi ya JevBench, jambo linaloonyesha kuwa uwezo wa kufanya maamuzi unastahimili quantization kwa kiwango cha juu.

Pakua uzani: Pakua kutoka Hugging Face kwa kutumia hf download startlux-models/StartLux-Decision-4B --local-dir StartLux-Decision-4B.
Sakinisha utegemezi: Ingia kwenye saraka ya modeli na utekeleze pip install -r requirements.txt.
Thibitisha kernels: Tekeleza python -m startlux_decision.check StartLux-Decision-4B; lazima itoe “fast kernels: active”.
Anzisha huduma: Tekeleza python -m startlux_decision.server --model StartLux-Decision-4B --port 8090 ili kuanzisha huduma ya ndani ya uelekezaji.
Tuma ombi: Tuma JSON yenye state na questions (ya aina ya choice / noul / score) kwa localhost:8090/v1/systemone.
Pata matokeo: Jibu hurejesha mgawanyo wa uwezekano wa chaguo za kila swali, ambao unaweza kutumika moja kwa moja kama kiwango cha kujiamini katika maamuzi.
Mbinu ya GGUF (si lazima): Baada ya kupakua hazina ya GGUF inayolingana, anzisha llama-server kwanza, kisha tekeleza python -m startlux_decision.gguf_server ili kutoa huduma ya maamuzi mbele ya llama.cpp.

Maamuzi yenye uwezekano: Kila swali hurudisha moja kwa moja uwezekano wa chaguo zote, hivyo kiwango cha kujiamini hupatikana bila calibration ya ziada.
Ucheleweshaji wa chini sana: Jibu hupatikana kwa uelekezaji mmoja wa mbele; modeli ya 4B huchukua 26ms pekee, na 35B-A3B huchukua 52.5ms.
Inaongoza kwa upana kwenye vipimo: Decision Index 0.2.1 imefikia 63.88, ikiwazidi wapinzani wote wa umma, wakiwemo Jev 1.13.
Muktadha mrefu sana: Familia yote inasaidia kiasili ingizo la token 256K, na nyaraka ndefu husomwa mara moja tu.
Ushahidi wa aina nyingi: Miundo yote inaweza kusoma picha kama msingi wa kufanya maamuzi.
Inashinda kikamilifu katika kila kiwango: Kuanzia 0.8B hadi 35B, kila ukubwa unaizidi miundo shindani yenye ukubwa unaokaribiana.
Uoani na mfumo wa Jev: Inatumia umbizo la TypeSafe /v1/systemone, hivyo wateja walioandikwa kwa Jev huunganishwa bila marekebisho.

Hazina ya GitHub：https://github.com/StartLuxLabs/Startlux-Decision
Hazina ya modeli ya Hugging Face：https://huggingface.co/collections/startlux-models/startlux-decision-6abba92b301b573fa154d493

Ugawaji wa tiketi kwa huduma kwa wateja: Ingiza maandishi au picha ya tiketi, kisha kwa ombi moja amua timu ya kushughulikia, ikiwa iharakishwe na kiwango cha ukali; uwezekano wa chaguo ndio kiwango cha kujiamini.
Uendeshaji otomatiki wa kompyuta: Dhibiti kivinjari halisi ili kuchagua vidhibiti hatua kwa hatua na kutathmini ikiwa kazi imekamilika; imeonyeshwa ikikamilisha ununuzi kwenye tovuti moja kwa moja.
Maamuzi ya AI ya michezo: Uelekezaji mmoja wa mbele hutoa uwezekano wa hatua kama kusogeza, kujenga na kupiga risasi; imethibitishwa katika michezo kama chess, StarCraft II na Doom.
Udhibiti wa hatari za kifedha na uzingatiaji: Inashughulikia ukaguzi wa vifungu vya mikataba, utambuzi wa taasisi za kifedha na utambuzi wa barua pepe za ulaghai; kiwango cha kujiamini kinaweza kutumika moja kwa moja katika michakato ya udhibiti wa hatari.
Utafutaji na uainishaji wa biashara: Hutambua nia, huainisha hoja na kukagua ukweli wa RAG kwa ucheleweshaji wa kiwango cha milisekunde, hivyo inafaa kwa mazingira ya biashara yenye maombi mengi kwa wakati mmoja.