DeepInfer চালু আছে

DeepInfer হলো DeepSeek-এর ওপেন-সোর্স প্রোডাকশন-গ্রেড ইনফারেন্স ফ্রেমওয়ার্ক, যা vLLM থেকে উদ্ভূত। এটি V4.1 Flash সমর্থন করে এবং NVIDIA SM100 ও Huawei Ascend 950-এ চালানো যায়। DeepInfer PD বিচ্ছিন্ন স্থাপনা ব্যবহার করে। 3FS ক্যাশ ক্লাস্টারের মাধ্যমে এটি 96% ইনপুট হিট, Prefill-এর দক্ষতা 25 গুণ বৃদ্ধি এবং SWA Bounded Replay-এর মাধ্যমে Prefill গণনার পরিমাণ অর্ধেকে নামিয়ে আনে। DSpark speculative decoding থ্রুপুট আরও 6% বাড়ায়। অনলাইন একক ক্লাস্টারে দৈনিক 155 ট্রিলিয়ন Token প্রক্রিয়া করা হয়। একই সঙ্গে ওপেন-সোর্স করা deepseek-recipe হলো একটি প্রোডাকশন-গ্রেড Token এনকোডিং ও ডিকোডিং কম্পোনেন্ট, যা Chat Completions, Responses এবং Messages—এই তিন ধরনের API ফরম্যাট একীভূত করে, ইনজেকশন প্রতিরোধ, সমান্তরাল টোকেনাইজেশন ও স্ট্রিমিং আউটপুট পরিচালনা করে এবং স্ব-স্থাপিত মডেলের API আচরণকে অফিসিয়াল API-এর সঙ্গে সম্পূর্ণ সামঞ্জস্যপূর্ণ করে।

ডিস্ট্রিবিউটেড ইনফারেন্স: attention data parallelism, context parallelism এবং MoE expert parallelism সমর্থন করে; একক ক্লাস্টারে দৈনিক 155 ট্রিলিয়ন Token প্রক্রিয়াকরণ সক্ষম করে।
ক্রস-হার্ডওয়্যার প্ল্যাটফর্ম সামঞ্জস্য: একই সঙ্গে NVIDIA SM100 GPU ও Huawei Ascend 950 NPU সমর্থন করে, ফলে দুই প্রধান কম্পিউটিং ইকোসিস্টেম কভার হয়।
দীর্ঘ প্রসঙ্গ দক্ষতার সঙ্গে প্রক্রিয়াকরণ: SWA Bounded Replay-এর মাধ্যমে ক্যাশে না-মেলা পুনর্গণনার খরচ নির্দিষ্ট 128 Token-এ সীমিত করে, যা প্রসঙ্গের দৈর্ঘ্য ও স্তরের সংখ্যা থেকে স্বাধীন।
Speculative decoding ত্বরণ: নিজস্ব DSpark ও confidence verification scheduling সংযুক্ত করে, যাতে মডেল একবারে একাধিক Token এগিয়ে নিতে পারে এবং জেনারেশন থ্রুপুট উল্লেখযোগ্যভাবে বাড়ে।
লোড-ব্যালান্সিং শিডিউলিং: expert ও request-এর বণ্টন গতিশীলভাবে ভারসাম্যপূর্ণ করে; অনলাইনে সবচেয়ে ব্যস্ত কার্ডের লোড গড় লোডের চেয়ে মাত্র 9% বেশি।
ক্যাশ পুনর্ব্যবহার: 3FS স্টোরেজ ক্লাস্টারের সাহায্যে 96% ইনপুট ক্যাশ হিট রেট অর্জন করে এবং Prefill থ্রুপুট প্রায় 25 গুণ বাড়ায়।

পরিবেশের পূর্বশর্ত নিশ্চিত করুন: Linux সিস্টেম, GCC ≥ 13.0, Python 3.12; NVIDIA প্ল্যাটফর্মে CUDA 13 এবং Ascend প্ল্যাটফর্মে CANN 9.2 প্রয়োজন।
রিপোজিটরি ক্লোন করুন: git clone https://github.com/deepseek-ai/DeepInfer এবং ডিরেক্টরিতে প্রবেশ করুন।
পরিষ্কার পরিবেশ তৈরি করুন: একটি খালি Python 3.12 ভার্চুয়াল পরিবেশ তৈরি ও সক্রিয় করুন, যাতে নির্ভরতা সংঘাত এড়ানো যায়।
হার্ডওয়্যার প্ল্যাটফর্ম নির্বাচন করে কম্পাইল করুন: export DEEPINFER_ACCELERATOR=nvidia চালান (Ascend-এর জন্য ascend ব্যবহার করুন), এরপর সোর্স কোড থেকে বিল্ড করতে ./build.sh চালান। মনে রাখবেন, পরবর্তী রানটাইম পরিবেশেও এই এনভায়রনমেন্ট ভেরিয়েবল সক্রিয় রাখতে হবে।
মডেল ওজন প্রস্তুত করুন: ডিফল্টভাবে প্রথমবার চালানোর সময় Hugging Face থেকে deepseek-ai/DeepSeek-V4.1-Flash-1017 স্বয়ংক্রিয়ভাবে ডাউনলোড হবে, অথবা export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 ব্যবহার করে স্থানীয় কপির পথ নির্ধারণ করুন।
অফলাইন ইনফারেন্স উদাহরণ চালান: ইনফারেন্স শুরু করতে python examples/offline_inference.py চালান। আরও ব্যবহারের নির্দেশনার জন্য রিপোজিটরির examples ডিরেক্টরি দেখুন।

WeChat-এ অনুসরণ করে “ওপেন সোর্স” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
PD বিচ্ছিন্ন স্থাপনা: ইনফারেন্সকে Prefill ও Decode—এই দুই ধাপে ভাগ করা হয়। Prefill একবারে হাজার হাজার Token-এর ইনপুট প্রক্রিয়া করে এবং এটি গণনানির্ভর; Decode প্রতিটি Token ধরে ধরে তৈরি হয় এবং GPU মেমরি ব্যান্ডউইথ পড়ার সীমাবদ্ধতায় থাকে। DeepInfer দুটিকে ভিন্ন হার্ডওয়্যারে স্থাপন করে: Prefill-এর জন্য প্রচলিত 8-কার্ড সার্ভার এবং Decode-এর জন্য 64–128-কার্ডের সুপার নোড ব্যবহার করে। দুই ধরনের মেশিনের সংখ্যা প্রায় 1:1 অনুপাতে কনফিগার করা হয়, যাতে প্রতিটি ধাপ নিজ নিজ উপযোগী হার্ডওয়্যার বৈশিষ্ট্য অনুযায়ী চলে।
Prefix caching ব্যবস্থা: Agent পরিস্থিতিতে প্রতিটি টুল কলের সময় সম্পূর্ণ ইতিহাস পুনরায় পাঠানো হয়, যার বেশিরভাগই আগে গণনা করা হয়েছে। সিস্টেম কেবল প্রথম Token থেকে সম্পূর্ণ অভিন্ন prefix ক্যাশ করে; মিলে যাওয়া অংশ সরাসরি KV Cache পুনর্ব্যবহার করে এবং কেবল নতুন অংশ গণনা করে। ক্যাশ আলাদা 3FS ডিস্ট্রিবিউটেড স্টোরেজ ক্লাস্টারে রাখা হয় এবং 128 Token-এর ব্লক হিসেবে লেখা হয়। Agent ট্রাফিক 3 দিন এবং চ্যাট ট্রাফিক 7 দিন সংরক্ষিত থাকে।
SWA Bounded Replay: V4.1 Flash-এর কিছু স্তর sliding-window attention ব্যবহার করে, যেখানে প্রতিটি Token কেবল সাম্প্রতিক 128 Token-এর দিকে মনোযোগ দেয়। এই অংশের KV Cache হার্ডডিস্কে লেখা হয় না; শুধু গণনা মেশিনের মেমরিতে থাকে। ক্যাশে না মিললে পুরোনো পদ্ধতিতে “স্তরের সংখ্যা × উইন্ডোর দৈর্ঘ্য” অনুযায়ী নির্ভুলভাবে পুনর্গণনা করতে হতো। V4.1 কেবল শেষ 128 Token পুনর্গণনা করে এবং attention-ও শুধু এই 128টির মধ্যে সম্পন্ন হয়, ফলে আনুমানিক উইন্ডো ক্যাশ পাওয়া যায় এবং পুনর্গণনার খরচ নির্দিষ্ট থাকে।
DSpark speculative decoding ও asynchronous scheduling: একটি হালকা draft module প্রথমে ধারাবাহিকভাবে 5টি Token অনুমান করে, এরপর target model একসঙ্গে সেগুলো যাচাই করে। সঠিক অনুমান সরাসরি গ্রহণ করা হয়, আর প্রথম ভুল অনুমানের স্থানটি বড় মডেল সংশোধন করে; এক ধাপের গণনায় একাধিক Token এগিয়ে নেওয়া যায়। Confidence head প্রতিটি অনুমান গ্রহণের সম্ভাবনা পূর্বানুমান করে। কম সম্ভাবনার অনুমান আর যাচাই করা হয় না এবং সেই গণনাশক্তি অন্য request-এ দেওয়া হয়। স্থিরভাবে 5টি যাচাই করা পদ্ধতির তুলনায় অনলাইন থ্রুপুট 6% বাড়ে। একই সঙ্গে CPU ধাপ N+1-এর scheduling এবং GPU ধাপ N-এর গণনা ওভারল্যাপ করে চালায়, ফলে scheduling-এর বিরতিতে GPU নিষ্ক্রিয় থাকে না।

উৎপাদনে যাচাইকৃত অত্যন্ত উচ্চ কর্মক্ষমতা: V4.1 Flash-এর বৃহৎ পরিসরের অনলাইন পরিষেবায় বাস্তবে ব্যবহৃত হয়েছে; একক ক্লাস্টারে দৈনিক 155 ট্রিলিয়ন Token প্রক্রিয়া করে, প্রথম Token-এর latency মাত্র 400ms এবং জেনারেশন গতি 230 tokens/s।
অত্যন্ত উচ্চ ক্যাশ পুনর্ব্যবহার দক্ষতা: 96% ইনপুট prefix cache-এ হিট করে। ক্যাশ বিবেচনা না করলে Prefill-এর প্রতি-কার্ড থ্রুপুট 6万 থেকে বেড়ে 150万 tokens/s হয়, অর্থাৎ 25 গুণ পার্থক্য।
দীর্ঘ প্রসঙ্গের খরচ উল্লেখযোগ্যভাবে কম: SWA Bounded Replay ক্যাশে না-মেলা পুনর্গণনার পরিমাণ শেষ 128 Token-এ নির্দিষ্ট করে, ফলে Prefill-এর মোট গণনা প্রায় অর্ধেকে নেমে আসে এবং খরচ প্রসঙ্গের দৈর্ঘ্যের ওপর নির্ভর করে না।
জেনারেশন দক্ষতায় শিল্পসেরা: DSpark speculative decoding-এর সঙ্গে confidence scheduling ও asynchronous scheduling যুক্ত হয়ে এক ধাপে একাধিক Token এগিয়ে নেয়। স্থির যাচাই পদ্ধতির তুলনায় অনলাইন থ্রুপুট আরও 6% বাড়ে এবং প্রতি কার্ডে প্রতি সেকেন্ডে 14K Token তৈরি হয়।
চমৎকার লোড-ব্যালান্সিং ক্ষমতা: MoE expert replica প্রতি 10000 ধাপে গতিশীলভাবে পুনর্বিন্যস্ত হয়। অনলাইনে সবচেয়ে ব্যস্ত কার্ডের লোড গড় লোডের চেয়ে মাত্র 9% বেশি এবং সামগ্রিক ভারসাম্য আদর্শ অবস্থার 80%-এ পৌঁছে।
দুই হার্ডওয়্যার প্ল্যাটফর্মে সামঞ্জস্য: একই সঙ্গে NVIDIA SM100 GPU ও Huawei Ascend 950 NPU সমর্থন করে; বর্তমানে দুই প্রধান কম্পিউটিং ইকোসিস্টেম কভার করা অতি অল্পসংখ্যক প্রোডাকশন-গ্রেড ইনফারেন্স ফ্রেমওয়ার্কের একটি।

GitHub রিপোজিটরি: https://github.com/deepseek-ai/DeepInfer
https://github.com/deepseek-ai/deepseek-recipe

প্রতিষ্ঠানের নিজস্ব স্থাপনা: প্রতিষ্ঠানগুলো স্থানীয় ডেটা সেন্টারে V4.1 Flash স্থাপন করে এবং deepseek-recipe-এর মাধ্যমে অফিসিয়াল API আচরণের সঙ্গে সামঞ্জস্য রাখে, ফলে ডেটা নিজস্ব সীমানার বাইরে যায় না।
দেশীয় কম্পিউটিং শক্তির সামঞ্জস্য: স্থানীয়ভাবে Huawei Ascend 950 NPU সমর্থন করে, যা সরকারি প্রতিষ্ঠান ও আর্থিক খাতসহ বিভিন্ন ক্ষেত্রে NVIDIA-নির্ভরতা কমাতে সহায়তা করে।
বৃহৎ পরিসরের Agent পরিষেবা: 96% prefix cache hit rate বহু-ধাপের টুল কলের পুনরাবৃত্ত গণনা উল্লেখযোগ্যভাবে কমায়, ফলে উচ্চ-সমসাময়িক Agent প্ল্যাটফর্ম কম খরচে পরিচালনা করা যায়।
দীর্ঘ প্রসঙ্গের নথি প্রক্রিয়াকরণ: SWA Bounded Replay দীর্ঘ টেক্সটের Prefill গণনা প্রায় অর্ধেকে নামিয়ে আনে, তাই চুক্তি বিশ্লেষণ ও কোডবেস বোঝার মতো দীর্ঘ ইনপুটের ক্ষেত্রে উপযোগী।
সাশ্রয়ী নিজস্ব ইনফারেন্স পরিষেবা: প্রতি কার্ডে উচ্চ থ্রুপুট এবং 230–300 tokens/s জেনারেশন গতি; স্টার্টআপগুলো ব্যবহারের ভিত্তিতে মূল্য নির্ধারিত API-এর বিকল্প হিসেবে এটি ব্যবহার করতে পারে এবং বৃহৎ পরিসরে নিজস্ব পরিষেবা চালিয়ে খরচ কমাতে পারে।