DeepInfer Inafanya kazi

DeepInfer ni mfumo wa uzalishaji wa uelekezaji uliotolewa na DeepSeek kama chanzo huria, uliotokana na vLLM, unaounga mkono V4.1 Flash na unaweza kuendeshwa kwenye NVIDIA SM100 na Huawei Ascend 950. DeepInfer hutumia uwekaji uliotenganishwa wa PD, ukiimarishwa na klasta ya akiba ya 3FS inayofikia 96% ya vibao vya ingizo, ikiongeza ufanisi wa Prefill mara 25, huku SWA Bounded Replay ikipunguza nusu ya mzigo wa mahesabu ya Prefill, na usimbaji wa kubashiri wa DSpark ukiongeza upitishaji kwa 6%. Klasta moja ya uzalishaji huchakata Token trilioni 155 kwa siku. deepseek-recipe, iliyotolewa pia kama chanzo huria, ni kipengele cha uzalishaji cha usimbaji na usimbuaji wa Token kinachounganisha miundo ya API ya Chat Completions, Responses na Messages, kushughulikia ulinzi dhidi ya sindano, ugawaji wa Token kwa sambamba na matokeo ya mtiririko, ili kufanya utendaji wa API wa miundo inayojitegemea uwe sawa kabisa na API rasmi.

Uelekezaji uliosambazwa: Unaunga mkono ugawaji wa data wa usikivu, ugawaji wa muktadha na ugawaji wa wataalamu wa MoE, ukiwezesha huduma kubwa za uzalishaji zinazochakata Token trilioni 155 kwa siku kwenye klasta moja.
Ulinganifu wa majukwaa ya maunzi: Unaunga mkono kwa pamoja GPU za NVIDIA SM100 na NPU za Huawei Ascend 950, ukifunika mifumo miwili mikuu ya kompyuta.
Uchakataji bora wa muktadha mrefu: SWA Bounded Replay hupunguza gharama ya kuhesabu upya wakati akiba haijapatikana hadi Token 128 zisizobadilika, bila kutegemea urefu wa muktadha au idadi ya tabaka.
Uharakishaji wa usimbaji wa kubashiri: Huunganisha DSpark iliyotengenezwa ndani na upangaji wa uthibitishaji wa kujiamini, hivyo modeli inaweza kusonga mbele kwa Token nyingi kwa mara moja na kuongeza kwa kiasi kikubwa upitishaji wa uzalishaji.
Upangaji wa kusawazisha mzigo: Husawazisha kwa nguvu usambazaji wa wataalamu na maombi; kadi yenye mzigo mkubwa zaidi mtandaoni iko juu kwa 9% tu ya mzigo wa wastani.
Utumiaji wa akiba tena: Kwa kutegemea klasta ya hifadhi ya 3FS, hufikia kiwango cha 96% cha vibao vya akiba ya ingizo, huku upitishaji wa Prefill ukiongezeka takriban mara 25.

Fuata akaunti ya WeChat na ujibu “开源” ili ujiunge na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Uwekaji uliotenganishwa wa PD: Uelekezaji umegawanywa katika hatua za Prefill na Decode: Prefill hushughulikia makumi ya maelfu ya Token za ingizo kwa mara moja na hutumia mahesabu mengi; Decode huzalisha Token moja baada ya nyingine na huzuiwa na usomaji wa kipimo data cha kumbukumbu ya video. DeepInfer huziweka kwenye maunzi tofauti: Prefill hutumia seva ya kawaida yenye kadi 8, huku Decode ikitumia nodi kuu yenye kadi 64–128. Idadi ya aina hizi mbili za mashine husanidiwa kwa uwiano wa takriban 1:1, ili kila moja itumie sifa bora za maunzi yake.
Mfumo wa akiba ya viambishi awali: Katika mazingira ya Agent, kila mwito wa zana hutuma tena historia nzima, ambayo sehemu kubwa tayari imehesabiwa. Mfumo huweka akiba tu ya kiambishi awali kinacholingana kikamilifu kuanzia Token ya kwanza; sehemu iliyopatikana hutumia tena KV Cache moja kwa moja na huhesabu sehemu mpya pekee. Akiba huhifadhiwa kwenye klasta huru ya hifadhi iliyosambazwa ya 3FS na huandikwa kwa vizuizi vya Token 128; trafiki ya Agent huhifadhiwa kwa siku 3 na trafiki ya gumzo kwa siku 7.
SWA Bounded Replay: Baadhi ya tabaka za V4.1 Flash hutumia usikivu wa dirisha linaloteleza, ambapo kila Token huzingatia Token 128 za hivi karibuni pekee. KV Cache hii haiandikwi kwenye diski kuu, bali hubaki kwenye kumbukumbu ya mashine ya mahesabu. Akiba isipopatikana, mbinu ya zamani ilihitaji kuhesabu upya kwa usahihi kulingana na “idadi ya tabaka × urefu wa dirisha”; V4.1 huhesabu upya Token 128 za mwisho pekee, na usikivu hufanyika ndani ya Token hizi 128 tu, hivyo kupata akiba ya dirisha inayokaribiana huku gharama ya kuhesabu upya ikiwa thabiti.
Usimbaji wa kubashiri wa DSpark na upangaji usiolandanishwa: Moduli nyepesi ya rasimu hukisia mfululizo Token 5, kisha modeli lengwa huzithibitisha kwa kundi. Zilizokisiwa kwa usahihi hutumiwa moja kwa moja, na sehemu ya kwanza yenye kosa husahihishwa na modeli kubwa, hivyo hatua moja ya mahesabu inaweza kusogeza mbele Token nyingi. Kichwa cha kujiamini hukadiria uwezekano wa kila kisio kukubaliwa; vile vyenye uwezekano mdogo havithibitishwi tena, na uwezo wa mahesabu hupewa maombi mengine. Ikilinganishwa na mpango wa kuthibitisha Token 5 kila mara, upitishaji wa mtandaoni huongezeka kwa 6%. Wakati huo huo, CPU hupanga hatua ya N+1 kwa wakati mmoja na GPU ikihesabu hatua ya N, na kuondoa muda wa GPU kusubiri wakati wa mapengo ya upangaji.

Thibitisha mahitaji ya awali ya mazingira: Mfumo wa Linux, GCC ≥ 13.0, Python 3.12; jukwaa la NVIDIA linahitaji CUDA 13 na jukwaa la Ascend linahitaji CANN 9.2.
Clone hazina: git clone https://github.com/deepseek-ai/DeepInfer kisha ingia kwenye saraka yake.
Unda mazingira safi: Unda na uwashe mazingira tupu ya Python 3.12 ili kuepuka migongano ya vitegemezi.
Chagua jukwaa la maunzi na uunde: Tekeleza export DEEPINFER_ACCELERATOR=nvidia (kwa Ascend tumia ascend), kisha endesha ./build.sh kujenga kutoka kwenye msimbo chanzi. Kumbuka kuwa kigezo hiki cha mazingira lazima kiendelee kuwepo katika mazingira ya baadaye ya uendeshaji.
Andaa uzani wa modeli: Kwa chaguo-msingi, uendeshaji wa kwanza utapakua deepseek-ai/DeepSeek-V4.1-Flash-1017 kutoka Hugging Face kiotomatiki, au tumia export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 kuelekeza kwenye nakala ya ndani.
Endesha mfano wa uelekezaji wa nje ya mtandao: Tekeleza python examples/offline_inference.py kuanzisha uelekezaji; rejelea saraka ya examples kwenye hazina kwa matumizi zaidi.

Utendaji wa juu sana uliothibitishwa katika uzalishaji: Tayari umeendesha huduma kubwa ya mtandaoni ya V4.1 Flash, ikichakata Token trilioni 155 kwa siku kwenye klasta moja, ikiwa na ucheleweshaji wa Token ya kwanza wa 400ms pekee na kasi ya uzalishaji ya tokens/s 230.
Ufanisi wa juu sana wa kutumia tena akiba: 96% ya maingizo hupata akiba ya viambishi awali; upitishaji wa Prefill kwa kila kadi huongezeka kutoka tokens/s 60,000 bila kuhesabu akiba hadi tokens/s 1,500,000, tofauti ya mara 25.
Gharama ya muktadha mrefu hupungua kwa kiasi kikubwa: SWA Bounded Replay huweka kiasi cha kuhesabu upya kwa maingizo yasiyopata akiba kuwa Token 128 za mwisho, hivyo kupunguza karibu nusu ya mahesabu yote ya Prefill, huku gharama ikiwa huru kutokana na urefu wa muktadha.
Ufanisi wa uzalishaji unaoongoza katika sekta: Usimbaji wa kubashiri wa DSpark pamoja na upangaji wa kujiamini na upangaji usiolandanishwa unaweza kusogeza mbele Token nyingi kwa hatua moja. Upitishaji wa mtandaoni huongezeka tena kwa 6% ikilinganishwa na mpango wa uthibitishaji usiobadilika, huku kila kadi ikizalisha Token 14K kwa sekunde.
Uwezo bora wa kusawazisha mzigo: Nakala za wataalamu wa MoE hupangwa upya kwa nguvu kila hatua 10000; kadi yenye shughuli nyingi zaidi mtandaoni iko juu kwa 9% tu ya mzigo wa wastani, na mfumo kwa ujumla hufikia 80% ya hali bora ya usawazishaji.
Ulinganifu wa majukwaa mawili ya maunzi: Unaunga mkono kwa pamoja GPU za NVIDIA SM100 na NPU za Huawei Ascend 950, ukiwa miongoni mwa mifumo michache ya uzalishaji ya uelekezaji inayofunika mifumo miwili mikuu ya kompyuta.

Hazina ya GitHub: https://github.com/deepseek-ai/DeepInfer
https://github.com/deepseek-ai/deepseek-recipe

Uwekaji wa kibinafsi wa biashara: Biashara huweka V4.1 Flash kwenye kituo chao cha data, na hutumia deepseek-recipe kuoanisha tabia ya API rasmi, hivyo kuwezesha uelekezaji unaozingatia utiifu bila data kutoka kwenye eneo lao.
Ulinganifu na kompyuta za ndani: Usaidizi asilia wa NPU ya Huawei Ascend 950 unakidhi mahitaji ya serikali, biashara na fedha ya kupunguza utegemezi wa NVIDIA.
Huduma kubwa za Agent: Kiwango cha 96% cha vibao vya akiba ya viambishi awali hupunguza kwa kiasi kikubwa mahesabu yanayorudiwa katika miito ya zana ya raundi nyingi, na kuifanya ifae uendeshaji wa majukwaa ya Agent yenye maombi mengi kwa gharama ndogo.
Uchakataji wa nyaraka zenye muktadha mrefu: SWA Bounded Replay hupunguza karibu nusu ya mahesabu ya Prefill ya maandishi marefu, na kuifanya ifae matukio ya ingizo refu kama uchanganuzi wa mikataba na uelewa wa hazina za msimbo.
Huduma ya uelekezaji ya kujenga yenye thamani bora: Upitishaji mkubwa kwa kila kadi pamoja na kasi ya uzalishaji ya tokens/s 230–300 huifanya ifae kampuni changa zinazotaka kuchukua nafasi ya API za malipo kwa matumizi na kuokoa gharama kupitia ujenzi wa kiwango kikubwa.