DeepInfer آپریشن میں

DeepInfer، DeepSeek کا اوپن سورس پروڈکشن گریڈ استدلالی فریم ورک ہے، جو vLLM سے ماخوذ ہے، V4.1 Flash کو سپورٹ کرتا ہے اور NVIDIA SM100 اور Huawei Ascend 950 پر چل سکتا ہے۔ DeepInfer، Prefill اور Decode کو الگ تعینات کرتا ہے اور 3FS کیش کلسٹر کے ذریعے 96% ان پٹ ہٹ، Prefill میں 25 گنا کارکردگی، SWA Bounded Replay کے ذریعے Prefill حساب میں نصف کمی، اور DSpark speculative decoding کے ذریعے تھروپٹ میں مزید 6% اضافہ حاصل کرتا ہے؛ آن لائن ایک کلسٹر روزانہ 155 ٹریلین Token پراسیس کرتا ہے۔ ساتھ ہی اوپن سورس کیا گیا deepseek-recipe پروڈکشن گریڈ Token انکوڈنگ و ڈیکوڈنگ جزو ہے، جو Chat Completions، Responses اور Messages تینوں API فارمیٹس کو یکساں بناتا ہے، انجیکشن سے تحفظ، متوازی ٹوکنائزیشن اور اسٹریمنگ آؤٹ پٹ سنبھالتا ہے، تاکہ خود تعینات ماڈل کا API رویہ سرکاری API سے مکمل طور پر یکساں رہے۔

تقسیمی استدلال: Attention Data Parallel، Context Parallel اور MoE Expert Parallel کو سپورٹ کرتا ہے، اور ایک کلسٹر میں روزانہ 155 ٹریلین Token کی بڑے پیمانے کی پروڈکشن سروس چلاتا ہے۔
مختلف ہارڈویئر پلیٹ فارمز سے مطابقت: NVIDIA SM100 GPU اور Huawei Ascend 950 NPU دونوں کو سپورٹ کرتا ہے، جس سے دو بڑے کمپیوٹنگ ماحولیاتی نظام محیط ہو جاتے ہیں۔
طویل سیاق و سباق کی مؤثر پراسیسنگ: SWA Bounded Replay کے ذریعے کیش میں نہ ملنے والی دوبارہ حساب کی لاگت کو مستقل 128 Token تک محدود کرتا ہے، اور اسے سیاق کی لمبائی اور تہوں کی تعداد سے آزاد رکھتا ہے۔
Speculative decoding کی تیزی: خود تیار کردہ DSpark اور اعتماد پر مبنی توثیقی شیڈولنگ کو مربوط کرتا ہے، جس سے ماڈل ایک بار میں متعدد Token آگے بڑھاتا ہے اور جنریشن تھروپٹ نمایاں طور پر بڑھتا ہے۔
لوڈ بیلنسنگ شیڈولنگ: ماہرین اور درخواستوں کی تقسیم کو متحرک طور پر متوازن کرتا ہے؛ آن لائن سب سے مصروف کارڈ کا بوجھ اوسط سے صرف 9% زیادہ ہے۔
کیش کا دوبارہ استعمال: 3FS اسٹوریج کلسٹر کے ذریعے 96% ان پٹ کیش ہٹ ریٹ حاصل کرتا ہے اور Prefill تھروپٹ تقریباً 25 گنا بڑھاتا ہے۔

WeChat پر فالو کر کے “开源” کا جواب دیں اور AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
PD علیحدہ تعیناتی: استدلال کو Prefill اور Decode دو مراحل میں تقسیم کیا جاتا ہے: Prefill ایک ہی بار میں دسیوں ہزار Token کے ان پٹ کو پراسیس کرتا ہے اور حساب پر منحصر ہوتا ہے؛ Decode ایک ایک Token پیدا کرتا ہے اور ویڈیو میموری بینڈوڈتھ سے محدود ہوتا ہے۔ DeepInfer دونوں کو مختلف ہارڈویئر پر تعینات کرتا ہے: Prefill کے لیے عام 8 کارڈ سرور اور Decode کے لیے 64–128 کارڈ سپر نوڈ استعمال کیے جاتے ہیں۔ دونوں اقسام کی مشینوں کی تعداد تقریباً 1:1 رکھی جاتی ہے، تاکہ ہر ایک اپنی ہارڈویئر خصوصیات کے مطابق بہترین طور پر کام کرے۔
Prefix cache نظام: Agent کے منظرنامے میں ہر ٹول کال کے ساتھ مکمل سابقہ تاریخ دوبارہ بھیجی جاتی ہے، جس کے بیشتر حصے کا حساب پہلے ہی ہو چکا ہوتا ہے۔ نظام صرف پہلے Token سے مکمل طور پر یکساں Prefix کو کیش کرتا ہے؛ ہٹ ہونے والے حصے میں KV Cache براہ راست دوبارہ استعمال ہوتا ہے اور صرف نیا حصہ پراسیس کیا جاتا ہے۔ کیش ایک علیحدہ 3FS تقسیم شدہ اسٹوریج کلسٹر میں رکھا جاتا ہے اور 128 Token کے بلاکس میں لکھا جاتا ہے؛ Agent ٹریفک 3 دن اور چیٹ ٹریفک 7 دن تک محفوظ رہتی ہے۔
SWA Bounded Replay: V4.1 Flash کی بعض تہیں Sliding Window Attention استعمال کرتی ہیں، جس میں ہر Token صرف حالیہ 128 Token پر توجہ دیتا ہے۔ اس حصے کا KV Cache ہارڈ ڈسک پر نہیں لکھا جاتا بلکہ صرف حسابی مشین کی میموری میں رہتا ہے۔ کیش نہ ملنے کی صورت میں پرانے طریقے کو ”تہوں کی تعداد × ونڈو کی لمبائی“ کے مطابق عین دوبارہ حساب کرنا پڑتا تھا، جبکہ V4.1 صرف آخری 128 Token دوبارہ حساب کرتا ہے اور Attention بھی انہی 128 کے اندر انجام دیتا ہے، جس سے تقریباً ونڈو کیش حاصل ہوتا ہے اور دوبارہ حساب کی لاگت مستقل رہتی ہے۔
DSpark speculative decoding اور غیر متزامن شیڈولنگ: ہلکا ڈرافٹ ماڈیول پہلے مسلسل 5 Token کا اندازہ لگاتا ہے، پھر ہدف ماڈل ان کی اجتماعی توثیق کرتا ہے۔ درست اندازوں کو براہ راست استعمال کیا جاتا ہے، جبکہ پہلے غلط اندازے کے مقام پر بڑا ماڈل تصحیح کرتا ہے، یوں ایک حساب میں متعدد Token آگے بڑھ جاتے ہیں۔ Confidence head ہر اندازے کے قبول ہونے کے امکان کا تخمینہ لگاتا ہے؛ کم امکان والے اندازوں کی مزید توثیق نہیں کی جاتی اور کمپیوٹنگ وسائل دوسری درخواستوں کو دے دیے جاتے ہیں۔ مستقل 5 Token کی توثیق والے طریقے کے مقابلے میں آن لائن تھروپٹ 6% بڑھتا ہے۔ اسی دوران CPU مرحلہ N+1 کی شیڈولنگ اور GPU مرحلہ N کی کمپیوٹنگ کو اوورلیپ کرتا ہے، جس سے شیڈولنگ کے وقفوں میں GPU کی غیر فعال گردش ختم ہو جاتی ہے۔

ماحولیاتی پیشگی شرائط کی تصدیق کریں: Linux نظام، GCC ≥ 13.0، Python 3.12؛ NVIDIA پلیٹ فارم کے لیے CUDA 13 اور Ascend پلیٹ فارم کے لیے CANN 9.2 درکار ہے۔
ریپوزٹری کلون کریں: git clone https://github.com/deepseek-ai/DeepInfer اور ڈائریکٹری میں داخل ہوں۔
صاف ماحول بنائیں: ایک خالی Python 3.12 ورچوئل ماحول بنائیں اور فعال کریں تاکہ انحصاری تنازعات سے بچا جا سکے۔
ہارڈویئر پلیٹ فارم منتخب کر کے کمپائل کریں: export DEEPINFER_ACCELERATOR=nvidia چلائیں، Ascend کے لیے ascend استعمال کریں، پھر سورس سے تعمیر کے لیے ./build.sh چلائیں۔ توجہ رہے کہ یہ ماحولیاتی متغیر بعد کے رن ٹائم ماحول میں بھی فعال رہنا چاہیے۔
ماڈل کے وزن تیار کریں: پہلے رن پر deepseek-ai/DeepSeek-V4.1-Flash-1017، Hugging Face سے خودکار طور پر ڈاؤن لوڈ ہو جاتا ہے، یا مقامی نقل کی طرف اشارہ کرنے کے لیے export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 استعمال کریں۔
آف لائن استدلال کی مثال چلائیں: استدلال شروع کرنے کے لیے python examples/offline_inference.py چلائیں؛ مزید طریقہ استعمال کے لیے ریپوزٹری کی examples ڈائریکٹری دیکھیں۔

پروڈکشن سے ثابت شدہ انتہائی اعلیٰ کارکردگی: V4.1 Flash کی بڑے پیمانے کی آن لائن سروس میں عملی طور پر چل چکا ہے؛ ایک کلسٹر روزانہ 155 ٹریلین Token پراسیس کرتا ہے، پہلے Token کا تاخیر وقت صرف 400ms اور جنریشن رفتار 230 tokens/s ہے۔
کیش کے دوبارہ استعمال کی انتہائی اعلیٰ کارکردگی: 96% ان پٹ Prefix cache میں ہٹ ہوتے ہیں؛ کیش کو شمار نہ کرنے پر Prefill کا فی کارڈ تھروپٹ 6 لاکھ سے بڑھ کر 15 لاکھ tokens/s ہو جاتا ہے، یعنی 25 گنا فرق۔
طویل سیاق و سباق کی لاگت میں نمایاں کمی: SWA Bounded Replay کیش میں نہ ملنے والے دوبارہ حساب کو آخری 128 Token تک محدود کرتا ہے، جس سے Prefill کا مجموعی حساب تقریباً نصف رہ جاتا ہے اور لاگت سیاق کی لمبائی سے غیر متعلق ہو جاتی ہے۔
جنریشن کی کارکردگی صنعت میں نمایاں: DSpark speculative decoding، confidence scheduling اور asynchronous scheduling کے ساتھ ایک مرحلے میں متعدد Token آگے بڑھاتا ہے؛ مستقل توثیقی طریقے کے مقابلے میں آن لائن تھروپٹ مزید 6% بڑھتا ہے اور فی کارڈ فی سیکنڈ 14K Token پیدا ہوتے ہیں۔
بہترین لوڈ بیلنسنگ: MoE ماہرین کے replicas ہر 10000 مراحل بعد متحرک طور پر دوبارہ ترتیب دیے جاتے ہیں؛ آن لائن سب سے مصروف کارڈ کا بوجھ اوسط سے صرف 9% زیادہ ہے اور مجموعی طور پر مثالی توازن کی 80% حالت حاصل ہوتی ہے۔
دو ہارڈویئر پلیٹ فارمز سے مطابقت: NVIDIA SM100 GPU اور Huawei Ascend 950 NPU دونوں کو سپورٹ کرتا ہے، اور فی الحال دو بڑے کمپیوٹنگ ماحولیاتی نظام محیط کرنے والے معدودے چند پروڈکشن گریڈ استدلالی فریم ورکس میں شامل ہے۔

GitHub ریپوزٹری: https://github.com/deepseek-ai/DeepInfer
https://github.com/deepseek-ai/deepseek-recipe

انٹرپرائز نجی تعیناتی: ادارے مقامی ڈیٹا سینٹر میں V4.1 Flash تعینات کرتے ہیں اور deepseek-recipe کے ذریعے سرکاری API کے رویے سے ہم آہنگی حاصل کرتے ہیں، جس سے ڈیٹا ڈومین سے باہر گئے بغیر مطابقت پذیر استدلال ممکن ہوتا ہے۔
مقامی کمپیوٹنگ طاقت سے مطابقت: Huawei Ascend 950 NPU کو مقامی طور پر سپورٹ کرتا ہے، جس سے سرکاری اداروں، کاروباری اداروں اور مالیاتی شعبے کے ان منظرناموں کی ضروریات پوری ہوتی ہیں جہاں NVIDIA پر انحصار کم کرنا مقصود ہے۔
بڑے پیمانے کی Agent سروس: 96% Prefix cache ہٹ ریٹ کثیر مرحلہ ٹول کالز کے بار بار ہونے والے حساب کو نمایاں طور پر کم کرتا ہے، اس لیے یہ زیادہ ہم وقت Agent پلیٹ فارمز کے کم لاگت آپریشن کے لیے موزوں ہے۔
طویل سیاق و سباق والی دستاویز پراسیسنگ: SWA Bounded Replay طویل متن کے Prefill حساب کو تقریباً نصف کر دیتا ہے، اس لیے یہ معاہدوں کے تجزیے، کوڈ بیس کی تفہیم اور دیگر انتہائی طویل ان پٹ والے منظرناموں کے لیے موزوں ہے۔
اعلیٰ لاگت کارکردگی والی خود ساختہ استدلالی سروس: فی کارڈ اعلیٰ تھروپٹ اور 230–300 tokens/s جنریشن رفتار، اسٹارٹ اپ کمپنیوں کے لیے استعمال کے حساب سے قیمت والے API کا متبادل اور بڑے پیمانے پر خود ساختہ سروس کے ذریعے لاگت کم کرنے کے لیے موزوں ہے۔