Endesha Miundo ya AI ya Ndani kwa Kasi kwenye Apple Silicon ukitumia Splash

Splash Ni Nini?

Splash ni injini ya uendeshaji wa ndani iliyoundwa mahsusi kwa silikoni ya Apple. Hutoa miundo ya lugha iliyoboreshwa kwa mawakala wa uandishi wa msimbo na programu zinazotumia API za OpenAI au Anthropic. Seva huendesha ndani ya Mac moja na kufichua API yake kupitia 127.0.0.1:8000.

Tofauti na injini ya jumla ya uendeshaji, Splash huboresha kernels zake, modeli ya rasimu ya usimbaji wa kubahatisha, mpangilio wa uzani, na mpango wa kumbukumbu kwa kila modeli inayotumika. Vifurushi vya modeli huwasili vikiwa tayari kuendeshwa, kwa hivyo huhitaji Xcode, zana za mkusanyaji, au urekebishaji maalum wa modeli.

Vipengele Muhimu

• Uendeshaji wa ndani kwenye silikoni ya Apple: Splash huendesha modeli moja kwa moja kwenye Mac inayotumika.
• Uoanifu na OpenAI: Hutoa Chat Completions kwenye /v1/chat/completions na Responses kwenye /v1/responses.
• Uoanifu na Anthropic: Maombi ya Anthropic Messages yanapatikana kwenye /v1/messages.
• Usaidizi wa hali za juu wa maombi: API zinaunga mkono utiririshaji, miito ya zana, matokeo ya JSON Schema, picha, na PDF zilizowekwa ndani.
• Muunganisho wa mawakala wa uandishi wa msimbo: Splash inajumuisha amri za OpenCode, Claude, Codex, na Hermes.
• Uongezaji kasi maalum wa modeli: Kila kifurushi cha modeli kinajumuisha rasimu ya DFlash 2 kwa usimbaji wa kubahatisha na kernels za Metal zilizotayarishwa awali na kuboreshwa kulingana na vipimo halisi vya modeli.
• Upangaji wa kumbukumbu kiotomatiki: Splash hukokotoa muktadha, uwezo wa akiba ya KV, na mipaka ya kundi wakati wa kuanza, kulingana na kumbukumbu inayopatikana kwa Metal.
• Ukaguzi wa vidokezo: Vituo vya /tokenize na /apply-template hurejesha vitambulisho vya tokeni au vidokezo vilivyotolewa bila kuendesha uendeshaji.

Mahitaji ya Mfumo

Kabla ya kusakinisha Splash, thibitisha kuwa mfumo wako unatimiza mahitaji haya yote:

• Kichakataji cha Apple M3 au kipya zaidi
• macOS 26.4 au baadaye
• Homebrew
• Angalau GB 36 za kumbukumbu iliyounganishwa
• GB 48 au zaidi za kumbukumbu iliyounganishwa zinapendekezwa

Uwezo wa muktadha unaotumika hutegemea kumbukumbu inayopatikana. Ingawa modeli zinazotumika zina dirisha asilia la muktadha la hadi 256K, dirisha lote huenda lisitoshe kwenye kila Mac.

Sakinisha Splash

Sakinisha toleo lililofungashwa kupitia tap ya Inco ya Homebrew:

brew install incoai/tap/splash

Hakuna faili ya usanidi ya kuunda. Splash hutumia alama za mstari wa amri na vigeu vya mazingira kwa mipangilio ya hiari.

Anzisha Seva ya Modeli

Toa kifurushi kilichoboreshwa cha Qwen3.8-27B kwa amri hii:

splash serve --model incoai/Qwen3.8-27B-Splash

Wakati wa kuendesha mara ya kwanza, Splash hupakua na kuthibitisha kifurushi cha modeli, hukagua kumbukumbu inayopatikana, huunda mpango wa kumbukumbu, na kuanzisha seva kwenye 127.0.0.1:8000. Kifurushi cha Qwen3.8-27B ni upakuaji wa GB 17.4 na kinajumuisha modeli lengwa ya biti 4 pamoja na rasimu yake ya DFlash 2.

Subiri hadi terminal ichapishe Ready. Weka terminal hiyo ikiwa wazi unapotumia modeli. Kisha unaweza kufungua http://127.0.0.1:8000 kwenye kivinjari ili kufikia ukurasa wa mazungumzo.

Bonyeza Ctrl+C kwenye terminal ya seva unapotaka kusimamisha Splash.

Tumia Modeli Mbadala

Splash pia huchapisha kifurushi cha GB 20.9 kilicho na modeli ya Qwen3.6-35B-A3B ya biti 4 pamoja na rasimu yake ya DFlash 2:

splash serve --model incoai/Qwen3.6-35B-A3B-Splash

Chaguo la --model linaweza kuelekeza kwenye hazina nyingine ya owner/repo iliyo na kifurushi halali cha Splash. Checkpoint za MLX na Transformers zisizofungashwa haziendani. Kwa hazina ya kibinafsi ya Hugging Face, toa HF_TOKEN inayofaa.

Unganisha Wakala wa Uandishi wa Msimbo

Baada ya seva kuripoti kuwa iko tayari, fungua terminal nyingine na uanzishe mmoja wa mawakala wa uandishi wa msimbo uliosakinishwa na unaotumika:

splash opencode
splash claude
splash codex
splash hermes

Endesha amri ya wakala unayetaka kutumia pekee. Mchakato wa awali wa seva lazima ubaki ukiendelea wakati wakala anatuma maombi.

Itishe API ya OpenAI Chat Completions

Programu zinaweza kuita Splash kama seva ya ndani inayooana na OpenAI. Ombi lifuatalo huiomba modeli inayotolewa itoe maelezo ya sentensi moja:

curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "incoai/Qwen3.8-27B-Splash",
    "messages": [
      {
        "role": "user",
        "content": "Explain speculative decoding in one sentence."
      }
    ]
  }'

Sifa ya model ni ya hiari. Ukiijumuisha, thamani yake lazima ilingane na kifurushi kinachotolewa kwa sasa.

Chagua Kituo Kinachofaa cha API

• Tumia /v1/chat/completions kwa wateja wa OpenAI Chat Completions.
• Tumia /v1/responses kwa wateja wa OpenAI Responses.
• Tumia /v1/messages kwa wateja wa Anthropic Messages.
• Tumia /tokenize kupata vitambulisho vya tokeni bila kuendesha modeli.
• Tumia /apply-template kukagua kidokezo kilichotolewa bila kuendesha uendeshaji.

Dhibiti Usawazishaji

Usawazishaji umewezeshwa kwa chaguo-msingi. Ili kuuzima, ongeza "reasoning_effort": "none" kwenye mwili wa ombi. Qwen3.8-27B pia inakubali low, medium, na xhigh.

{
  "model": "incoai/Qwen3.8-27B-Splash",
  "reasoning_effort": "none",
  "messages": [
    {
      "role": "user",
      "content": "Summarize speculative decoding."
    }
  ]
}

Kuzima reasoning kunaweza kuwa na manufaa wakati kazi haihitaji mchakato mrefu wa reasoning. Kwa kazi za Qwen3.8-27B zinazonufaika na reasoning, chagua kiwango cha effort kinachotumika kulingana na mzigo wa kazi.

Sanidi Vikomo vya Kumbukumbu na Muktadha

Splash huamua kiotomatiki mipangilio chaguomsingi inayofaa, lakini splash serve hutoa chaguo za hiari za udhibiti wa kina zaidi:

• --max-memory 28G huweka kikomo cha juu cha mgao wa Metal.
• --max-context 100K huweka kikomo cha dirisha la muktadha, hadi kikomo asilia cha 256K cha modeli.
• --max-image-pixels hudhibiti idadi ya juu ya pikseli baada ya kubadilisha ukubwa kwa kila picha. Chaguo-msingi ni 4,194,304.
• --allowed-host huruhusu jina la ziada la HTTP Host, kama lile linalotumiwa na proksi. Chaguo hili linaweza kurudiwa.
• --no-webui huzima ukurasa wa mazungumzo wa kivinjari.

Kwa mfano, amri ifuatayo inaweka mgao wa Metal kwenye kikomo cha GB 28 na muktadha kwenye 100K:

splash serve \
  --model incoai/Qwen3.8-27B-Splash \
  --max-memory 28G \
  --max-context 100K

Kama modeli haiwezi kutoshea kwenye kumbukumbu inayopatikana, Splash huchapisha mgawanyo wa bajeti ya kumbukumbu na kusimama badala ya kuanzisha seva isiyoweza kutumika. Kupunguza muktadha au mahitaji ya kumbukumbu kunaweza kusaidia, lakini uzito wa modeli na hali ya lazima ya wakati wa utekelezaji bado lazima vitoshee.

Linda API ya Ndani

Uthibitishaji umezimwa kwa chaguo-msingi. Unaweza kuhitaji ufunguo kwa kuweka SPLASH_API_KEY kwenye shell inayoanzisha seva:

export SPLASH_API_KEY='replace-with-your-key'
splash serve --model incoai/Qwen3.8-27B-Splash

Weka kigezo hicho hicho cha mazingira kwenye shell inayotumika kuzindua wakala wa uandishi wa programu unaosimamiwa na Splash:

export SPLASH_API_KEY='replace-with-your-key'
splash opencode

Wateja wa API wanaweza kutuma ufunguo kama tokeni ya bearer au kupitia kichwa cha x-api-key. Unaweza pia kutoa ufunguo moja kwa moja kwa chaguo la seva la --api-key. Uchunguzi wa afya na utayari unabaki wazi kwa umma.

Vidokezo vya Kina

Panga Kuhusu Akiba ya Modeli

Vifurushi vilivyopakuliwa huhifadhiwa kwenye akiba ya Hugging Face. Kuendesha brew upgrade splash huhifadhi vifurushi hivi, viungo vya modeli, na vipindi vya mawakala, hivyo kusasisha injini hakuhitaji kuvifuta.

Tumia Orodha ya Host Zinazoruhusiwa Pamoja na Proksi

Seva hufungamana ndani kwenye 127.0.0.1:8000. Ikiwa proksi ya ndani itatuma thamani tofauti ya HTTP Host, ongeza jina hilo la hosti kwa --allowed-host. Rudia chaguo hilo wakati majina mengi ya hosti yanapaswa kukubaliwa.

Zima Kiolesura cha Wavuti kwa Matumizi ya API Pekee

Ikiwa Splash itahudumia programu au mawakala pekee, ianzishe kwa --no-webui. Hii huzima ukurasa wa mazungumzo huku ikiendelea kuweka ncha za API zinazotumika wazi.

Kagua Maagizo Kabla ya Utabiri

Tumia /tokenize unapohitaji vitambulisho vya tokeni, au /apply-template unapohitaji kukagua agizo lililowasilishwa mwishoni. Kwa kuwa ncha hizi haziendeshi modeli, zinafaa kwa kutatua hitilafu za ukubwa wa muktadha na uumbizaji wa maagizo.

Fanya Majaribio ya Kuhamisha Akiba kwenye SSD

Utekelezaji wa majaribio kwenye ombi la kuvuta 3 unaweza kuhamisha akiba ya KV na hali za GDN kwenye SSD. Tengeneza tawi hilo na uanzishe seva kwa --max-cache-disk 8G ili kuiwasha. Hii inaweza kuhifadhi viambishi awali vinavyoweza kutumika tena wakati RAM ni ndogo na kupunguza kazi ya kujaza awali inayojirudia.

Kipengele cha kuhamisha kwenye SSD ni cha majaribio na si sehemu ya mtiririko wa kawaida wa kifurushi ulioelezwa kwenye mwongozo wa kuanza haraka.

Kuelewa Utendaji wa Splash

Splash hupata kasi kwa kubobea kwenye sehemu kubwa ya mfumo wa inference kwa kila modeli. Usimbaji wa kubahatisha ndio njia ya kawaida ya decode badala ya kuwa modi ya hiari. Rasimu ya DFlash 2 mahususi kwa modeli hupendekeza vizuizi vya tokeni, ambavyo modeli lengwa huthibitisha kwa pamoja.

Kernel zake zilizounganishwa za Metal hukusanywa kwa maumbo halisi ya modeli na kusoma uzito uliopangwa kwa namna maalum, uliopangwa kutoka kwenye diski bila nakala ya ziada. Wakati wa kuanza, Splash pia hukokotoa vikomo vya muktadha, akiba, na kundi kwa mashine ya sasa.

Kulingana na vipimo vya mradi kwenye M5 Pro yenye GPU ya cores 16 na GB 48 za kumbukumbu, Qwen3.8-27B ilifikia tokeni 74 kwa sekunde kwa decoding ya maagizo mafupi na kurudisha tokeni yake ya kwanza ndani ya ms 282 wakati wa kucheza tena muktadha wa 32K uliowekwa kwenye akiba. Matokeo hutegemea modeli, agizo, samtidiga, maunzi, na hali ya kumbukumbu. Chapisho la uzinduzi la Splash linaeleza mbinu ya kipimo na ulinganisho.

Hitimisho

Splash hutoa njia iliyorahisishwa ya kuendesha modeli zilizochaguliwa na zilizoboreshwa sana kwenye Apple silicon za hivi karibuni. Isakinishe kwa Homebrew, anzisha kifurushi cha modeli kinachooana na Splash, kisha unganisha kupitia kivinjari, wakala wa uandishi wa programu unaotumika, au API inayooana na OpenAI au Anthropic. Mipangilio chaguomsingi ya kiotomatiki hurahisisha usanidi wa awali, huku chaguo za kumbukumbu, muktadha, usalama, hosti, na kiolesura zikiwezesha uwekaji unaodhibitiwa zaidi.