Startlux-Decision চালু আছে

StartLux-Decision হলো StartLux Labs-এর তৈরি সিদ্ধান্ত মডেলের পরিবার। এতে 0.8B থেকে 27B পর্যন্ত পাঁচটি dense model এবং একটি 35B-A3B Mixture-of-Experts model রয়েছে। StartLux-Decision টেক্সট, JSON বা ছবির আকারে state গ্রহণ করে এবং পছন্দ, হ্যাঁ/না, স্কোরিং ইত্যাদি ধরনের প্রশ্নের ক্ষেত্রে একবারের forward inference-এ প্রতিটি বিকল্পের সম্ভাবনা ফিরিয়ে দেয়, যা confidence হিসেবে ব্যবহার করা যায়। মডেলটি স্বাভাবিকভাবেই 256K token-এর দীর্ঘ context সমর্থন করে, মিলিসেকেন্ড-স্তরের latency প্রদান করে এবং Jev-এর TypeSafe client format-এর সঙ্গে সামঞ্জস্যপূর্ণ।

টাইপযুক্ত সিদ্ধান্ত: choice, yes/no এবং scoring—এই তিন ধরনের প্রশ্ন সমর্থন করে; প্রতিটি প্রশ্নে সব বিকল্পের probability distribution ফেরত দেয়।
মাল্টিমোডাল ইনপুট: state টেক্সট, JSON বা ছবি হতে পারে (2026-10-03 আপডেট); evidence ও ছবি request-এর অংশ হিসেবে পাঠানো যায়।
অতি দীর্ঘ context: সব আকারের মডেল স্বাভাবিকভাবে 262,144 token (256K) prompt length সমর্থন করে এবং দীর্ঘ state একবারে chunk করে পড়ে।
Confidence output: probability সরাসরি confidence হিসেবে ব্যবহার করা যায়, তাই ঝুঁকি পরিমাপ প্রয়োজন এমন automated workflow-এর জন্য উপযুক্ত।
উচ্চ throughput ও কম latency: ছোট প্রশ্নে একবারের forward-এর জন্য মাত্র কয়েক মিলিসেকেন্ড লাগে; batched path এবং CUDA Graphs acceleration সমর্থন করে।
সব প্ল্যাটফর্মে deployment: llama.cpp-এর জন্য GGUF quantization (BF16/Q8_0/Q4_K_M) প্রদান করে এবং Apple Silicon-এ MLX backend ব্যবহার করা যায়।
গেম ও agent application: web shopping, chess, Super Mario, StarCraft II, Doom-সহ real-time decision scenario-তে যাচাই করা হয়েছে।
Jev ecosystem compatibility: request ও response-এ TypeSafe /v1/systemone format ব্যবহৃত হয়; Jev-এর জন্য লেখা client কোনো পরিবর্তন ছাড়াই সংযুক্ত হতে পারে।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন এবং AI open-source project discussion group-এ যোগ দিন
একবারের forward-এ উত্তর পড়া: মডেল বিকল্পগুলোকে অক্ষর-চিহ্ন হিসেবে render করে এবং forward pass-এর পর বিকল্পের অক্ষরের অবস্থান থেকে সরাসরি probability পড়ে। একটি request-এর সব প্রশ্ন একবারের forward-এ parallelভাবে সম্পন্ন হয়।
Linear attention architecture: flash-linear-attention ও causal-conv1d fast kernel ব্যবহার করা হয়, ফলে ছোট request-এর latency অত্যন্ত কম। Performance নিশ্চিত করতে এসব kernel ছাড়া GPU-তে server চালু হতে অস্বীকার করে।
MoE grouped matrix multiplication: 35B-A3B Mixture-of-Experts model প্রতি token-এ প্রায় 3B parameter সক্রিয় করে। Expert-গুলো grouped matmul দিয়ে চালানো হয় এবং CUDA Graphs দ্বারা আচ্ছাদিত থাকে; latency 27B dense model-এর প্রায় অর্ধেক।
দীর্ঘ input chunking ও branching: 256K দীর্ঘ state একবারে chunk করে পড়া হয় এবং request-এর প্রতিটি প্রশ্ন তার representation branch থেকে গণনা করা হয়, ফলে পুনরায় encoding এড়ানো যায়।
Probability-faithful quantization: GGUF-এর BF16 ও Q8_0, JevBench-এর 99–100% project-এ original weight-এর সঙ্গে সম্পূর্ণ অভিন্ন সিদ্ধান্ত দেয়। এতে বোঝা যায় quantization-এর প্রতি decision capability অত্যন্ত সহনশীল।

Weight download: Hugging Face থেকে hf download startlux-models/StartLux-Decision-4B --local-dir StartLux-Decision-4B চালিয়ে ডাউনলোড করুন।
Dependency install: model directory-তে গিয়ে pip install -r requirements.txt চালান।
Kernel যাচাই: python -m startlux_decision.check StartLux-Decision-4B চালান; অবশ্যই “fast kernels: active” আউটপুট আসতে হবে।
Service চালু: python -m startlux_decision.server --model StartLux-Decision-4B --port 8090 চালিয়ে local inference service চালু করুন।
Request পাঠানো: localhost:8090/v1/systemone-এ JSON পাঠান, যাতে state এবং questions (choice / noul / score type) থাকবে।
Result পাওয়া: response-এ প্রতিটি প্রশ্নের প্রতিটি বিকল্পের probability distribution ফেরত আসবে, যা সরাসরি decision confidence হিসেবে ব্যবহার করা যায়।
GGUF পদ্ধতি (ঐচ্ছিক): সংশ্লিষ্ট GGUF repository ডাউনলোড করে প্রথমে llama-server চালু করুন, তারপর llama.cpp-এর সামনে decision service চালাতে python -m startlux_decision.gguf_server চালান।

Probability-based decision: প্রতিটি প্রশ্নে সরাসরি সব বিকল্পের probability ফেরত দেয়; confidence স্বাভাবিকভাবেই ব্যবহারযোগ্য, অতিরিক্ত calibration প্রয়োজন নেই।
অত্যন্ত কম latency: একবারের forward-এই উত্তর পাওয়া যায়; 4B model-এর সময় মাত্র 26ms এবং 35B-A3B-এর 52.5ms।
Benchmark-এ সামগ্রিকভাবে এগিয়ে: Decision Index 0.2.1-এ 63.88 স্কোর করে, যা Jev 1.13-সহ সব প্রকাশ্য প্রতিদ্বন্দ্বীকে ছাড়িয়ে যায়।
অতি দীর্ঘ context: পুরো series স্বাভাবিকভাবে 256K token input সমর্থন করে; দীর্ঘ document একবারই পড়তে হয়।
মাল্টিমোডাল evidence: সব আকারের model সিদ্ধান্তের ভিত্তি হিসেবে ছবি পড়তে পারে।
একই স্তরে সামগ্রিক শ্রেষ্ঠত্ব: 0.8B থেকে 35B পর্যন্ত প্রতিটি স্তরে কাছাকাছি আকারের প্রতিদ্বন্দ্বী model-এর চেয়ে ভালো ফল দেয়।
Jev ecosystem compatibility: TypeSafe /v1/systemone format ব্যবহার করে; Jev-এর জন্য লেখা client-এ কোনো পরিবর্তন ছাড়াই সংযুক্ত করা যায়।

GitHub repository: https://github.com/StartLuxLabs/Startlux-Decision
HuggingFace model repository: https://huggingface.co/collections/startlux-models/startlux-decision-6abba92b301b573fa154d493

স্মার্ট customer service ticket routing: ticket-এর text বা ছবি input হিসেবে দিয়ে একবারের request-এ processing team, জরুরি কি না এবং severity নির্ধারণ করা যায়; বিকল্পের probability-ই confidence।
কম্পিউটার operation automation: বাস্তব browser চালিয়ে ধাপে ধাপে control নির্বাচন এবং task সম্পন্ন হয়েছে কি না তা নির্ধারণ করে; web order ও shopping স্বয়ংক্রিয়ভাবে সম্পন্ন করার demonstration রয়েছে।
Game AI decision: একবারের forward-এ move, building, shooting ইত্যাদি action-এর probability output করে; chess, StarCraft II, Doom-সহ বিভিন্ন game-এ যাচাই করা হয়েছে।
Financial risk control ও compliance: contract clause verification, financial entity recognition এবং phishing email identification সমর্থন করে; confidence সরাসরি risk-control workflow-তে ব্যবহার করা যায়।
Enterprise retrieval ও classification: মিলিসেকেন্ড-স্তরের latency-তে intent recognition, query classification এবং RAG fact-checking সম্পন্ন করে; high-concurrency business scenario-এর জন্য উপযুক্ত।