DeepInfer Faoliyat yuritmoqda

DeepInfer — DeepSeek tomonidan ochiq manba sifatida taqdim etilgan, vLLM asosidagi ishlab chiqarish darajasidagi inferensiya freymvorki. V4.1 Flash’ni qo‘llab-quvvatlaydi, NVIDIA SM100 va Huawei Ascend 950’da ishlaydi. DeepInfer PD ajratilgan joylashtirishdan foydalanadi: 3FS kesh klasteri orqali kirish ma’lumotlarining 96 foizi keshdan topiladi, Prefill samaradorligi 25 baravar oshadi, SWA Bounded Replay Prefill hisoblash hajmini ikki baravar kamaytiradi, DSpark spekulyativ dekodlashi esa o‘tkazuvchanlikni yana 6 foizga oshiradi. Ishlab chiqarishdagi bitta klaster kuniga 155 trillion Tokenni qayta ishlaydi. Shu bilan birga ochiq manba qilingan deepseek-recipe ishlab chiqarish darajasidagi Token kodlash va dekodlash komponenti bo‘lib, Chat Completions, Responses va Messages API formatlarini yagona ko‘rinishga keltiradi, inyeksiya hujumlaridan himoya, parallel tokenizatsiya va oqimli chiqarishni ta’minlaydi. Natijada o‘z serveringizda joylashtirilgan model interfeysi rasmiy API bilan to‘liq bir xil ishlaydi.

Taqsimlangan inferensiya: diqqat mexanizmi ma’lumotlar parallelligi, kontekst parallelligi va MoE ekspertlar parallelligini qo‘llab-quvvatlaydi; bitta klasterda kuniga 155 trillion Tokenni qayta ishlaydigan yirik ishlab chiqarish xizmatlarini ta’minlaydi.
Turli apparat platformalariga moslik: NVIDIA SM100 GPU va Huawei Ascend 950 NPU’ni bir vaqtda qo‘llab-quvvatlab, ikki yirik hisoblash ekotizimini qamrab oladi.
Uzun kontekstni samarali qayta ishlash: SWA Bounded Replay orqali keshda topilmagan ma’lumotni qayta hisoblash xarajati doimiy 128 Token bilan cheklanadi; bu kontekst uzunligi va qatlamlar soniga bog‘liq emas.
Spekulyativ dekodlash tezlashtirishi: o‘zining DSpark moduli va ishonchlilikni tekshiruvchi rejalashtirish mexanizmini birlashtirib, modelga bir martada bir nechta Tokenni generatsiya qilish imkonini beradi va chiqarish o‘tkazuvchanligini sezilarli oshiradi.
Yuklamani muvozanatli rejalashtirish: ekspertlar va so‘rovlar taqsimotini dinamik muvozanatlashtiradi; ishlab chiqarishdagi eng band karta o‘rtacha yuklamadan atigi 9 foiz yuqori.
Keshni qayta ishlatish: 3FS saqlash klasteri yordamida kirish keshining 96 foizli moslik darajasiga erishadi, Prefill o‘tkazuvchanligi taxminan 25 baravar oshadi.

WeChat’da kuzatib boring va “开源” deb javob yuborib, AI ochiq manba loyihalari guruhiga qo‘shiling.
PD ajratilgan joylashtirish: inferensiya Prefill va Decode bosqichlariga bo‘linadi. Prefill o‘n minglab Tokenlardan iborat kirishni bir martada qayta ishlaydi va hisoblashga talabchan; Decode esa har bir Tokenni ketma-ket generatsiya qiladi hamda videoxotira o‘tkazuvchanligi bilan cheklanadi. DeepInfer bu ikki bosqichni turli apparatlarda joylashtiradi: Prefill uchun odatiy 8 kartali serverlar, Decode uchun esa 64–128 kartali supertugunlar ishlatiladi. Ikki turdagi mashinalar taxminan 1:1 nisbatda sozlanib, har biri o‘z apparatining afzal xususiyatlari bo‘yicha ishlaydi.
Prefiks keshlash tizimi: Agent ssenariysida har bir vosita chaqiruvi to‘liq tarixni qayta yuboradi, holbuki uning katta qismi avval hisoblangan bo‘ladi. Tizim faqat birinchi Token’dan boshlab to‘liq mos keladigan prefiksni keshlaydi; mos kelgan qismdagi KV Cache bevosita qayta ishlatiladi, faqat yangi qism hisoblanadi. Kesh alohida 3FS taqsimlangan saqlash klasterida saqlanadi va 128 Tokenlik bloklar ko‘rinishida yoziladi. Agent trafigi 3 kun, chat trafigi esa 7 kun saqlanadi.
SWA Bounded Replay: V4.1 Flash’ning ayrim qatlamlarida sirg‘aluvchi oyna diqqat mexanizmi ishlatiladi; har bir Token faqat oxirgi 128 Token’ga e’tibor qaratadi. Bu qismning KV Cache’i diskka yozilmaydi, faqat hisoblash mashinasi xotirasida saqlanadi. Keshda moslik bo‘lmaganda eski usul “qatlamlar soni × oyna uzunligi” bo‘yicha aniq qayta hisoblashni talab qilardi. V4.1 esa faqat oxirgi 128 Token’ni qayta hisoblaydi va diqqatni ham shu 128 Token doirasida qo‘llaydi. Natijada oyna keshi taxminiy tarzda olinadi va qayta hisoblash xarajati doimiy bo‘ladi.
DSpark spekulyativ dekodlashi va asinxron rejalashtirish: yengil qoralama moduli avval ketma-ket 5 ta Tokenni taxmin qiladi, so‘ng maqsadli model ularni guruhlab tekshiradi. To‘g‘ri topilgan Tokenlar bevosita qabul qilinadi, birinchi xato taxmin qilingan joy esa katta model tomonidan tuzatiladi. Shu tariqa bir hisoblash bosqichida bir nechta Token oldinga siljiydi. Ishonchlilik boshi har bir taxminning qabul qilinish ehtimolini baholaydi; ehtimoli past bo‘lgan taxminlar tekshirilmaydi va hisoblash quvvati boshqa so‘rovlarga ajratiladi. Natijada qat’iy 5 ta Tokenni tekshiradigan usulga nisbatan ishlab chiqarishdagi o‘tkazuvchanlik 6 foizga oshadi. Shu bilan birga CPU N+1-bosqich rejalashtirishini GPU N-bosqich hisoblashiga parallel bajaradi va rejalashtirish oralig‘ida GPU’ning bekor turishini bartaraf etadi.

Muhitning dastlabki shartlarini tekshiring: Linux tizimi, GCC ≥ 13.0, Python 3.12; NVIDIA platformasi uchun CUDA 13, Ascend platformasi uchun CANN 9.2 talab qilinadi.
Repozitoriyni klonlang: git clone https://github.com/deepseek-ai/DeepInfer va katalogga kiring.
Toza muhit yarating: bog‘liqliklar to‘qnashuvining oldini olish uchun bo‘sh Python 3.12 virtual muhitini yarating va faollashtiring.
Apparat platformasini tanlang va kompilyatsiya qiling: export DEEPINFER_ACCELERATOR=nvidia buyrug‘ini bajaring, Ascend uchun esa ascend qiymatidan foydalaning; so‘ng manba kodidan qurish uchun ./build.sh buyrug‘ini ishga tushiring. Keyingi ishga tushirish muhitlarida ham ushbu muhit o‘zgaruvchisi saqlanishi kerak.
Model og‘irliklarini tayyorlang: odatiy holatda birinchi ishga tushirishda deepseek-ai/DeepSeek-V4.1-Flash-1017 modeli Hugging Face’dan avtomatik yuklanadi. Yoki export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 buyrug‘i orqali mahalliy nusxaga yo‘naltiring.
Oflayn inferensiya misolini ishga tushiring: inferensiyani boshlash uchun python examples/offline_inference.py buyrug‘ini bajaring. Qo‘shimcha foydalanish usullari uchun repozitoriyning examples katalogiga qarang.

Ishlab chiqarishda tasdiqlangan juda yuqori unumdorlik: V4.1 Flash asosidagi yirik onlayn xizmatlarda amalda ishlatilgan; bitta klaster kuniga 155 trillion Tokenni qayta ishlaydi, birinchi Token kechikishi atigi 400ms, generatsiya tezligi esa 230 tokens/s.
Keshni qayta ishlatish samaradorligi juda yuqori: kirish ma’lumotlarining 96 foizi prefiks keshidan topiladi. Prefill’da har bir karta o‘tkazuvchanligi kesh hisobga olinmagandagi 60 mingdan 1,5 million tokens/s gacha oshadi, ya’ni 25 baravar farq qiladi.
Uzun kontekst xarajatlari keskin kamayadi: SWA Bounded Replay keshda topilmagan ma’lumotni qayta hisoblashni oxirgi 128 Token bilan cheklaydi. Natijada Prefill umumiy hisoblash hajmi deyarli ikki baravar kamayadi va xarajat kontekst uzunligiga bog‘liq bo‘lmaydi.
Generatsiya samaradorligi sohada yetakchi: DSpark spekulyativ dekodlashi ishonchlilik asosidagi va asinxron rejalashtirish bilan birga bir bosqichda bir nechta Tokenni oldinga siljitadi. Ishlab chiqarishdagi o‘tkazuvchanlik qat’iy tekshiruv usuliga nisbatan yana 6 foizga oshadi, har bir karta sekundiga 14K Token generatsiya qiladi.
Yuklamani muvozanatlash qobiliyati yuqori: MoE ekspert nusxalari har 10000 qadamda dinamik ravishda qayta taqsimlanadi. Ishlab chiqarishdagi eng band karta o‘rtacha yuklamadan atigi 9 foiz yuqori, umumiy muvozanat darajasi esa ideal holatning 80 foiziga yetadi.
Ikki apparat platformasiga moslik: NVIDIA SM100 GPU va Huawei Ascend 950 NPU’ni bir vaqtda qo‘llab-quvvatlaydi. Hozircha ikki yirik hisoblash ekotizimini qamrab oladigan ishlab chiqarish darajasidagi juda kam sonli inferensiya freymvorklaridan biridir.

GitHub repozitoriysi: https://github.com/deepseek-ai/DeepInfer
https://github.com/deepseek-ai/deepseek-recipe

Korxonalarda xususiy joylashtirish: korxonalar V4.1 Flash’ni mahalliy ma’lumot markazida joylashtirib, deepseek-recipe yordamida rasmiy API xatti-harakatlariga moslashadi va ma’lumotlar domen tashqarisiga chiqmagan holda talabga muvofiq inferensiyani amalga oshiradi.
Mahalliy hisoblash quvvatiga moslashish: Huawei Ascend 950 NPU’ni tabiiy ravishda qo‘llab-quvvatlaydi va davlat korxonalari hamda moliya kabi axborot texnologiyalarini mustaqil rivojlantirish ssenariylarida NVIDIA’ga qaramlikni kamaytiradi.
Yirik Agent xizmatlari: 96 foizlik prefiks kesh mosligi ko‘p bosqichli vosita chaqiruvlaridagi takroriy hisoblashni sezilarli kamaytiradi va yuqori parallel Agent platformalarini kam xarajat bilan ishlatish imkonini beradi.
Uzun kontekstli hujjatlarni qayta ishlash: SWA Bounded Replay uzun matnlar uchun Prefill hisoblash hajmini deyarli ikki baravar kamaytiradi; shartnomalarni tahlil qilish, kod bazasini tushunish kabi juda uzun kirishli ssenariylar uchun mos keladi.
Tejamkor, o‘z infratuzilmasiga qurilgan inferensiya xizmati: har bir kartadagi yuqori o‘tkazuvchanlik va 230–300 tokens/s generatsiya tezligi startaplarga foydalanish hajmiga qarab to‘lanadigan API’larni almashtirish, xizmatni keng miqyosda o‘zlari qurib xarajatlarni kamaytirish imkonini beradi.