DeepInfer خدام

DeepInfer هو إطار استدلال مفتوح المصدر بمستوى الإنتاج من DeepSeek، وأصلو vLLM، وكيْدعم V4.1 Flash، وكيخدم على NVIDIA SM100 وHuawei Ascend 950. DeepInfer كيعتمد على النشر المفصول بين PD، وبفضل عنقود التخزين المؤقت 3FS كيحقق نسبة إصابة فالإدخال ديال 96%، وكيزيد فعالية Prefill بـ 25 مرة، بينما SWA Bounded Replay كينقص حسابات Prefill للنص، وDSpark ديال فك الترميز التخميني كيزيد الإنتاجية بـ 6% إضافية. فالإنتاج، عنقود واحد كيعالج 155 تريليون Token فالنهار. وdeepseek-recipe، اللي تفتح المصدر ديالو بالتزامن، هو مكوّن بمستوى الإنتاج لترميز وفك ترميز Token، كيتكلف بتوحيد صيغ APIs الثلاثة: Chat Completions وResponses وMessages، وكيتعامل مع الحماية من الحقن، وتقسيم الكلمات بشكل متوازي، والإخراج على شكل تدفق، باش تكون واجهة النموذج المنشور ذاتياً مطابقة تماماً للـ API الرسمي.

الاستدلال الموزّع: كيدعم التوازي فبيانات الانتباه، والتوازي فالسياق، وتوازي خبراء MoE، وكيعاون على تشغيل خدمات إنتاج واسعة النطاق كتتعامل مع 155 تريليون Token فالنهار داخل عنقود واحد.
التوافق مع منصات العتاد: كيدعم فآن واحد GPU ديال NVIDIA SM100 وNPU ديال Huawei Ascend 950، وكيغطي جوج منظومات ديال الحوسبة.
معالجة فعّالة للسياقات الطويلة: بفضل SWA Bounded Replay، كيتضغط ثمن إعادة الحساب ملي الكاش ما كيصيبش البيانات حتى لـ 128 Token ثابتة، بلا ارتباط بطول السياق وعدد الطبقات.
تسريع فكّ الترميز بالتخمين: مدموج فيه DSpark المطوّر داخلياً وجدولة التحقق من الثقة، باش يقدر الموديل يدفع عدة Tokenات فكل مرة، وكيزيد بشكل ملحوظ فإنتاجية التوليد.
جدولة متوازنة للحمولة: كتوازن ديناميكياً توزيع الخبراء والطلبات، وحتى الكارت الأكثر انشغالاً فالخدمة ما كتفوتش متوسط الحمولة غير بـ 9%.
إعادة استعمال الكاش: بالاعتماد على عنقود التخزين 3FS، كيوصل معدل إصابة كاش الإدخال لـ 96%، وكتزاد إنتاجية Prefill بحوالي 25 مرة.

تابع حسابنا فـ WeChat وردّ بـ «开源» باش تنضمّ لمجموعة التواصل ديال مشاريع الذكاء الاصطناعي مفتوحة المصدر
النشر المنفصل ديال PD: الاستدلال كيتقسم لجوج مراحل: Prefill وDecode. Prefill كيعالج مرة وحدة مدخلات فيها عشرات الآلاف ديال Tokens، وكيحتاج حسابات مكثفة؛ أما Decode فكيولّد Token بToken، وكيكون محدود بسرعة قراءة عرض النطاق ديال ذاكرة GPU. DeepInfer كينشر المرحلتين فوق عتاد مختلف: Prefill فوق سيرفرات عادية فيها 8 بطاقات، وDecode فوق عُقد فائقة فيها 64–128 بطاقة، مع تهيئة عدد النوعين ديال الآلات بنسبة تقريباً 1:1، باش كل مرحلة تخدم حسب الخصائص المثلى ديال العتاد ديالها.
منظومة التخزين المؤقت ديال البادئة: فسيناريوهات Agent، كل استدعاء لأداة كيعيد إرسال التاريخ كامل، مع أن الجزء الأكبر منو سبق تحسب. النظام كيخزّن غير البادئة المتطابقة كلياً ابتداءً من أول Token، والجزء اللي تصاب كيتعاود استعمال KV Cache ديالو مباشرة، وكيتم حساب غير الجزء الجديد. التخزين المؤقت كيتحط فكلستر مستقل للتخزين الموزّع 3FS، وكيكتب على شكل كتل ديال 128 Token؛ حركة Agent كتتحفظ 3 أيام، وحركة الدردشة 7 أيام.
SWA Bounded Replay: بعض الطبقات فـ V4.1 Flash كتستعمل الانتباه بنافذة منزلقة، بحيث كل Token كيركز غير على آخر 128 Token. هاد الجزء من KV Cache ما كيتكتبش فالقرص الصلب، وكيبقى غير فذاكرة آلات الحساب. ملي ما كتكونش إصابة، الحل القديم كان خاصو يعاود يحسب بدقة حسب ”عدد الطبقات × طول النافذة“؛ أما V4.1 فكيعاود يحسب غير آخر 128 Token، والانتباه كيتحسب غير داخل هاد الـ128، وكيحصل على تخزين مؤقت تقريبي للنافذة، بتكلفة إعادة حساب ثابتة.
DSpark للاستدلال التخميني والجدولة غير المتزامنة: وحدة خفيفة لإعداد المسودة كتخمّن بشكل متتابع 5 Token، ومن بعد النموذج الهدف كيتحقق منهم دفعة وحدة؛ التخمينات الصحيحة كيتعتمد عليها مباشرة، وأول موضع فيه تخمين خاطئ كيصححو النموذج الكبير، وبحساب واحد يمكن التقدم بعدة Token. رأس الثقة كيقدّر احتمال قبول كل تخمين؛ التخمينات ذات الاحتمال الضعيف ما كيتعاودش التحقق منها، وكتتوجّه القدرة الحسابية لطلبات أخرى. مقارنةً بحل التحقق الثابت من 5 تخمينات، كيزيد المردود فالإنتاج بـ 6%. وفنفس الوقت، جدولة CPU للخطوة N+1 كتتنفذ بالتوازي مع حساب GPU للخطوة N، وكيتم التخلص من وقت الخمول ديال GPU بين عمليات الجدولة.

تأكّد من الشروط القبلية ديال البيئة: نظام Linux، GCC ≥ 13.0 وPython 3.12؛ فالمنصّة ديال NVIDIA خاص CUDA 13، وفمنصّة昇腾 خاص CANN 9.2.
نسخ المستودع: git clone https://github.com/deepseek-ai/DeepInfer ومن بعد دخل للمجلّد.
وجد بيئة نقية: صايب وفعّل بيئة افتراضية خاوية ديال Python 3.12 باش تتفادى تعارضات التبعيات.
اختار منصّة العتاد وبني المشروع: نفّذ export DEEPINFER_ACCELERATOR=nvidia (استعمل ascend مع昇腾)، ومن بعد شغّل ./build.sh باش تبني من الشيفرة المصدرية. ردّ بالك خاص متغيّر البيئة هادا يبقى مفعّل فبيئة التشغيل من بعد.
وجّد أوزان النموذج: فالتشغيل الأول، كيتحمّل deepseek-ai/DeepSeek-V4.1-Flash-1017 أوتوماتيكياً من Hugging Face بشكل افتراضي، أو استعمل export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 باش تشير لنسخة محلية.
شغّل مثال الاستدلال بلا إنترنت: نفّذ python examples/offline_inference.py باش تبدا الاستدلال، ولمزيد من طرق الاستعمال راجع المجلّد examples فالمستودع.

أداء فائق بزاف ومجرّب فالإنتاج: خدام فعلياً فخدمات واسعة النطاق على الإنترنت باستعمال V4.1 Flash، وكيعالج الكلاستر الواحد 155 تريليون Token فالنهار، مع تأخير ديال 400ms حتى لأول Token، وسرعة توليد 230 tokens/s.
كفاءة عالية بزاف فإعادة استعمال الكاش: 96% من الإدخال كيلقى الكاش ديال البادئة، وإنتاجية Prefill لكل كارت كتطلع من 60 ألف، بلا احتساب الكاش، حتى لـ1.5 مليون tokens/s، يعني فرق بـ25 مرة.
تخفيض كبير فتكلفة السياق الطويل: SWA Bounded Replay كيخلي إعادة الحساب ملي الكاش ما كيتلقاش محدودة فآخر 128 Token، وهاد الشي كيقرّب ينصّف مجموع الحساب ديال Prefill، وزيد عليها أن التكلفة ما كتبدلش مع طول السياق.
كفاءة التوليد رائدة فالقطاع: DSpark ديال فك الترميز التخميني، مع جدولة الثقة والجدولة غير المتزامنة، كيقدر يدفع عدة Tokens فخطوة وحدة، وكيزيد الإنتاجية فالخدمة بـ6% مقارنة مع حل التحقق الثابت، مع توليد 14K Token فالثانية لكل كارت.
قدرة ممتازة على موازنة الحمل: كيتعاود الترتيب الديناميكي لنسخ خبراء MoE كل 10000 خطوة، وأعلى كارت حملاً فالخدمة ما كتفوتش متوسط الحمل غير بـ9%، وكيحقق النظام كامل 80% من حالة التوازن المثالية.
توافق مع منصتين للعتاد: كيدعم فآن واحد SM100 GPU ديال NVIDIA و950 NPU ديال Huawei Ascend، وهو من بين القليل جداً ديال أطر الاستدلال الموجهة للإنتاج اللي كيغطي جوج أكبر منظومات ديال الحوسبة.

مستودعات GitHub: https://github.com/deepseek-ai/DeepInfer
https://github.com/deepseek-ai/deepseek-recipe

النشر الخاص بالشركات: كتُنصّب الشركات V4.1 Flash فمراكز البيانات ديالها، وبالاستعانة بـ deepseek-recipe كتوافق سلوك الـ API الرسمي، باش تبقى البيانات داخل النطاق المسموح به وتتحقق الاستدلالات المطابقة للقوانين.
التأقلم مع قدرات الحوسبة المحلية: دعم أصلي لـ Huawei Ascend 950 NPU، باش يلبّي احتياجات القطاعات الحكومية والشركات والمالية فسيناريوهات الابتعاد على الاعتماد على NVIDIA.
خدمات Agent على نطاق واسع: نسبة إصابة فالكاش ديال البادئة كتبلغ 96%، وكتنقص بشكل كبير الحسابات المكررة ديال استدعاءات الأدوات المتعددة الجولات، وهاد الشي مناسب لتشغيل منصات Agent عالية التزامن بتكلفة منخفضة.
معالجة الوثائق ذات السياق الطويل: SWA Bounded Replay كتقرب تنقص حسابات Prefill ديال النصوص الطويلة للنصف، وكتناسب تحليل العقود وفهم مستودعات الكود وغيرها من السيناريوهات ذات المدخلات الطويلة بزاف.
خدمة استدلال ذاتية البناء وفعّالة من حيث التكلفة: إنتاجية عالية لكل بطاقة + سرعة توليد كتراوح بين 230–300 tokens/s، وهاد الشي مناسب للشركات الناشئة اللي باغية تعوّض واجهات API المؤدى عليها حسب الاستعمال، وتوفّر الفلوس عبر البناء الذاتي على نطاق واسع.