মূল কনটেন্টে যান
এআই টিউটোরিয়াল

অনুমোদিত নিরাপত্তা গবেষণার জন্য সেন্সরবিহীন LLM কীভাবে বেছে নিয়ে স্থাপন করবেন

এই টিউটোরিয়ালে কিউরেট করা Offensive Security-এর জন্য Uncensored LLM সংগ্রহটি কীভাবে ব্যবহার করতে হয়, বিশেষায়ন ও হার্ডওয়্যার প্রয়োজনীয়তা অনুযায়ী মডেল নির্বাচন করতে হয়, GGUF মডেল স্থানীয়ভাবে স্থাপন বা হোস্টেড ইনফারেন্স ব্যবহার করতে হয়, এবং অনুমোদিত পেনিট্রেশন টেস্টিং, প্রতিরক্ষামূলক বিশ্লেষণ, OSINT ও নিরাপত্তা প্রতিবেদন তৈরির জন্য কীভাবে নিরাপদ কর্মপ্রবাহ গড়ে তুলতে হয় তা ব্যাখ্যা করা হয়েছে।

পড়তে প্রায় 35 মিনিট লাগবে
অনুমোদিত নিরাপত্তা গবেষণার জন্য সেন্সরবিহীন LLM বাছাই ও স্থাপন

সংক্ষিপ্ত বিবরণ

আক্রমণাত্মক নিরাপত্তার জন্য সেন্সরবিহীন LLM হলো ওপেন-ওয়েট মডেলের একটি বাছাইকৃত ডিরেক্টরি, যা অনুমোদিত রেড-টিম কার্যক্রম, পেনিট্রেশন টেস্টিং, প্রতিরক্ষামূলক বিশ্লেষণ এবং নিরাপত্তা গবেষণার জন্য তৈরি। এতে নিরাপত্তা-ফাইন-টিউন করা মডেল, সাধারণ অ্যাবলিটারেটেড মডেল, পুরোনো মডেল, ক্লাউড প্রদানকারী এবং স্থানীয় ইনফারেন্স টুলের তুলনা করা হয়েছে।

রিপোজিটরিটি ইনস্টলযোগ্য সফটওয়্যার প্যাকেজ নয়, বরং একটি রেফারেন্স। এর প্রধান উদ্দেশ্য হলো উপযুক্ত মডেল শনাক্ত করতে, সেই মডেলের Hugging Face মডেল কার্ড অনুসরণ করতে এবং সামঞ্জস্যপূর্ণ ডিপ্লয়মেন্ট স্ট্যাক বেছে নিতে সহায়তা করা।

এই মডেলগুলো কেবল আপনার মালিকানাধীন বা পরীক্ষার জন্য স্পষ্ট অনুমতি পাওয়া সিস্টেম ও ডেটায় ব্যবহার করুন। একটি সেন্সরবিহীন মডেল ভুল, অনিরাপদ বা পরিধির বাইরে থাকা পরামর্শ দিতে পারে, তাই প্রতিটি আউটপুটের মানবীয় পর্যালোচনা প্রয়োজন।

তালিকাভুক্ত স্পেসিফিকেশনগুলো Hugging Face মডেল কার্ড এবং সরকারি প্রকাশনা থেকে নেওয়া হয়েছে; সংগ্রহটির তারিখ সেপ্টেম্বর ২০২৬। তাই হার্ডওয়্যার অনুমান ও বেঞ্চমার্কের দাবিগুলো স্বাধীনভাবে পুনরুৎপাদিত ফল নয়, বরং মডেল-কার্ডের তথ্য হিসেবে বিবেচনা করা উচিত।

সংগ্রহে যা রয়েছে

নিরাপত্তা-ফাইন-টিউন করা মডেল

এই মডেলগুলো সাইবার নিরাপত্তা-সংক্রান্ত উপকরণ ব্যবহার করে প্রশিক্ষিত বা অভিযোজিত হয়েছে। এগুলোর বিশেষায়নের মধ্যে রয়েছে পেনিট্রেশন-টেস্টিং পদ্ধতি, দুর্বলতা বিশ্লেষণ, ইনসিডেন্ট রেসপন্স, নিরাপত্তা কার্যক্রম, থ্রেট ইন্টেলিজেন্স, OSINT, রিপোর্টিং এবং টুল-ভিত্তিক ওয়ার্কফ্লো।

  • DeepHat V2: Qwen2.5-Coder-ভিত্তিক একটি পরিবার, যা ১.৭ মিলিয়ন আক্রমণাত্মক ও প্রতিরক্ষামূলক নিরাপত্তা নমুনায় প্রশিক্ষিত। এটি টুল কলিং সমর্থন করে এবং 131K কনটেক্সট দৈর্ঘ্য প্রদান করে।
  • BugTraceAI-CORE-Ultra: Nuclei টেমপ্লেট, প্রুফ-অফ-কনসেপ্ট উপকরণ এবং পেনটেস্ট স্ক্রিপ্ট তৈরির মতো কাজের জন্য 27B-এর একটি টুলিং-কেন্দ্রিক মডেল। এর সুপারিশকৃত কনটেক্সট 4K এবং এর Q6_K বিল্ডে প্রায় 22–24 GB VRAM প্রয়োজন।
  • CyberPal 2.0: CTI, দুর্বলতা বিশ্লেষণ, শনাক্তকরণ, প্রশমন, SOC ও ইনসিডেন্ট রেসপন্স, AppSec এবং কমপ্লায়েন্সে কেন্দ্রীভূত একটি প্রতিরক্ষামূলক 20B মডেল।
  • Cyber-Prime 1.1: সরাসরি শ্রেণিবিন্যাস এবং think মোডসহ একটি компакт 2.6B মডেল। এর তালিকাভুক্ত CyberBench গড় হলো 0.592 F1/accuracy।
  • Cyber-Ornith-1.5-9B: এজেন্টিক সাইবার নিরাপত্তা, ফাংশন কলিং, টুল ব্যবহার, রিজনিং এবং টার্মিনাল অটোমেশনে কেন্দ্রীভূত একটি GGUF মডেল।
  • Imperum-CybersecurityLLM: SOC কার্যক্রম, DFIR, ম্যালওয়্যার বিশ্লেষণ, ক্লাউড নিরাপত্তা, OT নিরাপত্তা, GRC এবং অনুমোদিত পেনটেস্টিংসহ দশটির বেশি নিরাপত্তা ডোমেইনে প্রশিক্ষিত একটি mixture-of-experts মডেল।
  • RavenX-CyberAgent: RATH রিপোর্টিং কাঠামো ব্যবহারকারী এবং CVSS স্কোর, CWE শনাক্তকারী ও MITRE ATT&CK ম্যাপিংয়ের মতো আর্টিফ্যাক্ট তৈরি করতে সক্ষম একটি টুল-সমর্থিত মডেল।
  • REDCELL-26B-A4B: থ্রেট-অভিনেতা শনাক্তকরণ, ইন্ডিকেটর পিভটিং, জিওলোকেশন বিশ্লেষণ, উৎসের বিশ্বাসযোগ্যতা এবং দুর্বলতার প্রাসঙ্গিকতা নির্ধারণের জন্য একটি OSINT-কেন্দ্রিক মডেল।

সাধারণ অ্যাবলিটারেটেড মডেল

সাধারণ অ্যাবলিটারেটেড মডেলগুলো প্রত্যাখ্যানের আচরণ কমানোর উদ্দেশ্যে ওজন-স্তরের পরিবর্তনের মধ্য দিয়ে গেছে। কিছু মডেলে ভিশন, ফাংশন কলিং বা দীর্ঘ-কনটেক্সট সমর্থনও রয়েছে। এগুলো সাইবার নিরাপত্তা ডেটায় গভীরভাবে প্রশিক্ষিত নাও হতে পারে, তাই কম প্রত্যাখ্যানকে ডোমেইন-দক্ষতার সঙ্গে গুলিয়ে ফেলা উচিত নয়।

উদাহরণের মধ্যে রয়েছে Qwen3.8-27B-Uncensored-OrcaRouter, GLM-5.3-Flash-Uncensored-FP8, huihui-ai/Qwen3.5-27B-abliterated, Qwen2.5-Coder-32B-Instruct-abliterated এবং HIDra-30B-A3B। DeepSeek-V4.1-Flash এন্ট্রিটি ব্যতিক্রমী, কারণ এটি একটি মডুলার ওভারলে; স্বতন্ত্র চেকপয়েন্ট হিসেবে ব্যবহারের বদলে বিদ্যমান সামঞ্জস্যপূর্ণ বেস প্যাকে এটি প্রয়োগ করতে হয়।

পুরোনো মডেল

Dolphin-Llama3-8B এবং Wizard-Vicuna-13B-Uncensored পুরোনো বা সীমিত ডিপ্লয়মেন্টে এখনও কার্যকর। তবে এগুলোর কনটেক্সট উইন্ডো ছোট এবং এগুলোতে নেটিভ ভিশন ও টুল কলিং নেই।

আক্রমণাত্মক নিরাপত্তা মডেলের বেঞ্চমার্ক তুলনা

নির্বাচনের প্রধান মানদণ্ড

১. কাজের সঙ্গে মডেল মিলিয়ে নিন

  • সাধারণ নিরাপত্তা সহায়তা: DeepHat V2 বিস্তৃত আক্রমণাত্মক ও প্রতিরক্ষামূলক করপাস কভার করে।
  • প্রতিরক্ষামূলক কার্যক্রম: CyberPal 2.0 SOC, ইনসিডেন্ট রেসপন্স, শনাক্তকরণ, প্রশমন এবং কমপ্লায়েন্সে কেন্দ্রীভূত।
  • এজেন্টিক ওয়ার্কফ্লো: Cyber-Ornith, Imperum, RavenX, DeepHat V2 এবং বেশ কয়েকটি Qwen-উদ্ভূত মডেল টুল কলিংয়ের কথা উল্লেখ করে।
  • OSINT: REDCELL-26B-A4B অ্যাট্রিবিউশন, উৎস মূল্যায়ন, ইন্ডিকেটর পিভটিং এবং জিওলোকেশন বিশ্লেষণে বিশেষায়িত।
  • কমপ্যাক্ট শ্রেণিবিন্যাস: Cyber-Prime 1.1 সরাসরি ও think মোড প্রদান করে, আর security-slm-unsloth-1.5b তালিকাভুক্ত নিরাপত্তা মডেলগুলোর মধ্যে সবচেয়ে ছোট।
  • দীর্ঘ নথি: Qwythos-9B-তে 1M কনটেক্সট উইন্ডো উল্লেখ করা হয়েছে, আর বেশ কয়েকটি Qwen-ভিত্তিক ও MoE মডেল 128K থেকে 262K কনটেক্সট প্রদান করে।
  • ভিশন ইনপুট: Qwythos-9B, Qwen3.8-27B-Uncensored-OrcaRouter, GLM-5.3-Flash-Uncensored, DeepSeek-V4.1-Flash এবং Qwen3.8-Cyber-agentic-এ ভিশন সমর্থন তালিকাভুক্ত রয়েছে।

২. মেমরির প্রয়োজনীয়তা যাচাই করুন

কোয়ান্টাইজেশন ডিপ্লয়মেন্ট ব্যয়ের ওপর বড় প্রভাব ফেলে। যেখানে পাওয়া গেছে, রিপোজিটরিতে আনুমানিক Q4_K_M প্রয়োজনীয়তা তালিকাভুক্ত করা হয়েছে:

  • প্রায় ২ GB: security-slm-unsloth-1.5b।
  • প্রায় ৬ GB: DeepHat V2, Dolphin3-Cyber-8B, Lily-Cybersecurity-7B, pentest-v2, VEXT Pentest-7B এবং Dolphin-Llama3-8B-এর মতো 7B–8B বিকল্প।
  • প্রায় ৭ GB: Cyber-Ornith-1.5-9B এবং Qwythos-9B।
  • প্রায় ১২–১৬ GB: REDCELL APEX-Mini প্রায় ১২ GB, আর BugTraceAI-CORE-Apex প্রায় ১৬ GB হিসেবে তালিকাভুক্ত।
  • প্রায় ১৮–২৪ GB: 27B–36B কোয়ান্টাইজড মডেলগুলো সাধারণত এই সীমার মধ্যে পড়ে, যার মধ্যে রয়েছে Qwen3.8-27B, Imperum, BugTraceAI-CORE-Ultra এবং RavenX।
  • ডেটাসেন্টার বা মাল্টি-GPU: CYBER-FROST, GLM-5.3-Flash এবং GLM-5.3-CYBERSECURITY-এর জন্য উল্লেখযোগ্যভাবে বড় কনফিগারেশন প্রয়োজন।

এই সংখ্যাগুলো উল্লিখিত কোয়ান্টাইজেশন বা টেনসর ধরনের জন্য আনুমানিক হিসাব। রানটাইম ওভারহেড, কনটেক্সট দৈর্ঘ্য, KV ক্যাশ, GPU আর্কিটেকচার এবং CPU-তে আংশিক অফলোডিং প্রকৃত প্রয়োজনীয়তা পরিবর্তন করতে পারে।

৩. কনটেক্সটের প্রয়োজনীয়তা যাচাই করুন

বিজ্ঞাপিত বড় কনটেক্সট উইন্ডো সবসময় সেরা অপারেটিং পয়েন্ট নয়। দীর্ঘতর কনটেক্সট মেমরি ব্যবহার বাড়ায় এবং থ্রুপুট কমাতে পারে। কিছু এন্ট্রিতে বেস ও ফাইন-টিউন করা সীমার মধ্যেও পার্থক্য রয়েছে। উদাহরণস্বরূপ, Dolphin3-Cyber-এ ফাইন-টিউন করা কনটেক্সট ২,০৪৮ টোকেন এবং বেস কনটেক্সট 131K টোকেন উল্লেখ করা হয়েছে, আর Imperum 16,384 টোকেনের কনটেক্সট তালিকাভুক্ত করলেও সীমিত রিসোর্সের সিস্টেমে ৮,১৯২ টোকেন ব্যবহারের পরামর্শ দেয়।

৪. টুল, ভিশন, ফরম্যাট ও লাইসেন্স নিশ্চিত করুন

কোনো মডেলকে কেন্দ্র করে এজেন্ট তৈরি করার আগে সেটি টুল কলিং সমর্থন করে কি না যাচাই করুন। আপনার নির্বাচিত আর্টিফ্যাক্টটি GGUF, BF16, FP8 নাকি কোনো ওভারলে, সেটিও নিশ্চিত করুন। সবশেষে লাইসেন্স পর্যালোচনা করুন: বেশিরভাগ এন্ট্রি Apache 2.0 ব্যবহার করে, তবে এই সংগ্রহে MIT, Llama community, LFM Open, Qwen Community এবং অন্যান্য লাইসেন্সও রয়েছে।

ইনস্টলেশন ও সেটআপ

বিকল্প A: স্থানীয়ভাবে একটি GGUF মডেল চালান

এই সংগ্রহে থাকা ফরম্যাটগুলোর মধ্যে GGUF সবচেয়ে সহজলভ্য। এটি Ollama, llama.cpp এবং LM Studio-এর মতো টুলে সমর্থিত।

  1. আপনার উপলভ্য RAM বা VRAM-এর সঙ্গে সামঞ্জস্যপূর্ণ কোয়ান্টাইজেশনযুক্ত একটি GGUF মডেল বেছে নিন।
  2. লিঙ্ক করা Hugging Face রিপোজিটরি খুলে তার মডেল কার্ড পড়ুন।
  3. উপযুক্ত একটি ফাইল ডাউনলোড করুন, যেমন কম মেমরি ব্যবহারের জন্য Q4_K_M বিল্ড, অথবা বেশি মেমরি উপলভ্য থাকলে উচ্চমানের কোয়ান্টাইজেশন।
  4. আপনার পছন্দের স্থানীয় রানটাইম ইনস্টল করুন।
  5. মডেলটি লোড করুন এবং তার মডেল কার্ডে উল্লেখিত প্রম্পট বা চ্যাট টেমপ্লেট প্রয়োগ করুন।
  6. বিজ্ঞাপিত সর্বোচ্চ সীমা সঙ্গে সঙ্গে বরাদ্দ না করে মাঝারি কনটেক্সট সেটিং দিয়ে শুরু করুন।

LM Studio-এর ক্ষেত্রে গ্রাফিক্যাল ইন্টারফেসের মাধ্যমে ডাউনলোড করা GGUF ফাইলটি ইমপোর্ট করুন বা খুঁজে নিন, সেটি নির্বাচন করুন, কনটেক্সট ও GPU অফলোড কনফিগার করুন এবং একটি স্থানীয় চ্যাট বা API সার্ভার চালু করুন।

Ollama-এর ক্ষেত্রে একটি ন্যূনতম মডেল সংজ্ঞায় স্থানীয় GGUF ফাইলের রেফারেন্স দেওয়া যায়। আপনার মডেলের উপযোগী মান দিয়ে পথ ও কনটেক্সটের আকার প্রতিস্থাপন করুন:

FROM /absolute/path/to/model.gguf
PARAMETER num_ctx 8192

এই বিষয়বস্তু Modelfile হিসেবে সংরক্ষণ করুন, তারপর স্থানীয় মডেলটি তৈরি ও চালান:

ollama create security-research-model -f Modelfile
ollama run security-research-model

এটি একটি সাধারণ ইমপোর্ট পদ্ধতি। Hugging Face মডেল কার্ডে প্রয়োজনীয় টেমপ্লেট, স্টপ সিকোয়েন্স, টোকেনাইজার সেটিং বা রানটাইম-নির্দিষ্ট নির্দেশনা থাকলে সেই নির্দেশনাই অনুসরণ করুন।

বিকল্প B: llama.cpp ব্যবহার করুন

CPU-শুধু ইনফারেন্স, CPU ও GPU-র মিশ্র অফলোডিং বা স্থানীয় এক্সিকিউশনের ওপর বিস্তারিত নিয়ন্ত্রণ প্রয়োজন হলে llama.cpp উপযুক্ত। অফিসিয়াল ডকুমেন্টেশন অনুযায়ী llama.cpp বিল্ড বা ইনস্টল করুন, একটি সামঞ্জস্যপূর্ণ GGUF ফাইল ডাউনলোড করুন এবং মডেল প্রকাশকের সুপারিশ করা প্যারামিটার ব্যবহার করে এটি চালু করুন।

একটি সাধারণ কমান্ড কাঠামো হলো:

llama-cli -m /path/to/model.gguf -c 8192 -p "Summarize the authorized security assessment findings."

রিলিজভেদে এক্সিকিউটেবল-এর নাম ও উপলভ্য ফ্ল্যাগ পরিবর্তিত হতে পারে, তাই ইনস্টল করা llama.cpp সংস্করণের সঙ্গে মিলিয়ে সেগুলো নিশ্চিত করুন।

বিকল্প C: উচ্চ-থ্রুপুট GPU ইনফারেন্স ব্যবহার করুন

vLLM PagedAttention ব্যবহার করে উচ্চ-থ্রুপুট ইনফারেন্স প্রদান করে, আর SGLang স্ট্রাকচার্ড আউটপুট, এজেন্টভিত্তিক ওয়ার্কফ্লো এবং দক্ষ মাল্টি-টার্ন প্রসেসিংকে গুরুত্ব দেয়। এই স্ট্যাকগুলো ডেটাসেন্টার GPU ও সমর্থিত মডেল আর্কিটেকচারের জন্য সবচেয়ে উপযোগী।

ডিপ্লয় করার আগে নিশ্চিত করুন যে ইঞ্জিনটি চেকপয়েন্ট আর্কিটেকচার ও প্রিসিশন সমর্থন করে। MoE, FP8, অত্যন্ত বড় কনটেক্সট এবং সাম্প্রতিক চালু হওয়া আর্কিটেকচারের ক্ষেত্রে এটি বিশেষভাবে গুরুত্বপূর্ণ।

বিকল্প D: একটি ম্যানেজড API ব্যবহার করুন

সংগ্রহটিতে OrcaRouter, Featherless AI এবং Together AI-কে OpenAI-সামঞ্জস্যপূর্ণ API-সহ ম্যানেজড ইনফারেন্স বিকল্প হিসেবে তালিকাভুক্ত করা হয়েছে। মডেলের উপলভ্যতা পরিবর্তিত হতে পারে, তাই আপনার প্রয়োজনীয় নির্দিষ্ট চেকপয়েন্টটি হোস্ট করা আছে কি না যাচাই করুন।

একটি সাধারণ OpenAI-সামঞ্জস্যপূর্ণ রিকোয়েস্টের কাঠামো হলো:

curl https://YOUR_PROVIDER_ENDPOINT/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR_MODEL_ID",
    "messages": [
      {"role": "system", "content": "Assist only with authorized security analysis."},
      {"role": "user", "content": "Review these sanitized findings and produce a remediation checklist."}
    ]
  }'

প্রোভাইডারের প্রকৃত এন্ডপয়েন্ট, মডেল শনাক্তকারী, প্রমাণীকরণ পদ্ধতি, মূল্য নির্ধারণের শর্ত এবং ডেটা সংরক্ষণ নিয়ন্ত্রণ ব্যবহার করুন।

বিকল্প E: GPU অবকাঠামো ভাড়া নিন

RunPod, Vast.ai এবং Lambda স্ব-হোস্টেড ক্লাউড স্থাপনার জন্য তালিকাভুক্ত। RunPod Docker-ভিত্তিক পড ও টেমপ্লেট দেয়, Vast.ai একটি GPU মার্কেটপ্লেস সরবরাহ করে, আর Lambda অন-ডিমান্ড প্রোডাকশন অবকাঠামোকে লক্ষ্য করে। মডেলের ওজন, KV-cache-এর প্রয়োজনীয়তা, precision এবং প্রত্যাশিত concurrency-এর ভিত্তিতে একটি GPU নির্বাচন করুন।

মৌলিক ব্যবহারের উদাহরণ

স্যানিটাইজ করা নিরাপত্তা-সংক্রান্ত অনুসন্ধান বিশ্লেষণ

একটি কাঠামোবদ্ধ prompt অস্পষ্টতা কমায় এবং ফলাফল যাচাই করা সহজ করে:

ভূমিকা: প্রতিরক্ষামূলক application-security reviewer।
অনুমোদন: এই অনুসন্ধানটি একটি অনুমোদিত test environment থেকে এসেছে।
ইনপুট: [স্যানিটাইজ করা finding, প্রভাবিত component এবং পর্যবেক্ষিত আচরণ বসান।]
কাজ:
1. সমস্যাটি সংক্ষেপে তুলে ধরুন।
2. প্রমাণ দ্বারা সমর্থিত হলে সম্ভাব্য CWE-এর সঙ্গে ম্যাপ করুন।
3. নিশ্চিততার মাত্রা অতিরঞ্জিত না করে প্রভাব ব্যাখ্যা করুন।
4. প্রতিকার ও verification-এর ধাপ সুপারিশ করুন।
5. অনুমান এবং অনুপস্থিত প্রমাণের তালিকা দিন।
স্ক্যানের ফলাফল, প্রভাবিত host বা সফল exploitation উদ্ভাবন করবেন না।

Incident-response-এর প্রমাণ পর্যালোচনা

আপনি একটি অনুমোদিত incident-response দলকে সহায়তা করছেন।
নিচের স্যানিটাইজ করা timeline ও indicator পর্যালোচনা করুন।
নিশ্চিত তথ্যকে hypothesis থেকে আলাদা করুন।
ফেরত দিন:
- Timeline-এর সারাংশ
- সম্ভাব্য ATT&CK technique
- প্রতিটি mapping-এর সমর্থনে প্রমাণ
- তাৎক্ষণিক containment-সংক্রান্ত প্রশ্ন
- দীর্ঘমেয়াদি detection-এর সুপারিশ
ডেটা: [স্যানিটাইজ করা প্রমাণ বসান]

একটি phishing fixture শ্রেণিবদ্ধ করুন

Cyber-Prime 1.1 জানায় যে phishing তার শক্তিশালী CyberBench ক্ষেত্রগুলোর একটি। প্রতিরক্ষামূলক classification prompt হতে পারে:

এই অনুমোদিত phishing-training fixture-কে benign, suspicious অথবা malicious হিসেবে শ্রেণিবদ্ধ করুন।
শ্রেণিবিন্যাসের সমর্থনে থাকা পর্যবেক্ষণযোগ্য সংকেতগুলো শনাক্ত করুন।
লিংক অনুসরণ করবেন না বা লেখায় উপস্থিত নয় এমন তথ্য ধরে নেবেন না।
Fixture: [প্রশিক্ষণ নমুনা বসান]

প্রতিকার-কেন্দ্রিক প্রতিবেদন তৈরি

RavenX-এর মতো মডেলকে কাঠামোবদ্ধ reporting field তৈরি করতে বলা যায়:

শুধু সরবরাহ করা assessment evidence ব্যবহার করে তৈরি করুন:
- Finding-এর শিরোনাম
- Technical summary
- Business impact
- CWE mapping
- যুক্তিসহ CVSS vector
- প্রযোজ্য হলে সংশ্লিষ্ট MITRE ATT&CK mapping
- প্রতিকার
- Retest procedure
প্রতিটি অনিশ্চিত field-কে unverified হিসেবে চিহ্নিত করুন।
প্রমাণ: [অনুমোদিত assessment notes বসান]

উন্নত টিপস

পুনরাবৃত্তিযোগ্য evaluation set ব্যবহার করুন

কোনো মডেল গ্রহণের আগে আপনার অনুমোদিত workflow থেকে নেওয়া একটি ছোট internal benchmark-এ সেটিকে পরীক্ষা করুন। এতে knowledge question, log interpretation, report generation, false-positive handling, evidence citation এবং অনুপস্থিত তথ্য উদ্ভাবন করতে অস্বীকৃতি অন্তর্ভুক্ত করুন। শুধু উত্তর দেওয়ার আগ্রহ মাপার বদলে factuality ও task completion তুলনা করুন।

Reasoning ও execution আলাদা রাখুন

Tool-calling সমর্থন থাকলেই unrestricted automation নিরাপদ হয় না। মডেলের পরামর্শ ও external action-এর মধ্যে একটি approval boundary রাখুন। Allowlist-এর সঙ্গে argument যাচাই করুন, credential সীমিত করুন, execution environment আলাদা রাখুন, প্রতিটি call log করুন এবং system পরিবর্তন বা সংবেদনশীল ডেটা অ্যাক্সেস করে এমন action-এর জন্য human approval আবশ্যক করুন।

Operating scope সীমিত করুন

System prompt-এ অনুমোদিত target, অনুমোদিত technique, time window, data-handling rule এবং প্রত্যাশিত output format দিন। কোনো target বা action স্পষ্টভাবে অন্তর্ভুক্ত না থাকলে, মডেলকে থেমে clarification চাইতে নির্দেশ দিন।

সাম্প্রতিক তথ্যের জন্য retrieval ব্যবহার করুন

নিরাপত্তা-সংক্রান্ত তথ্য দ্রুত পরিবর্তিত হয়। অনুমোদিত internal documentation, বর্তমান vendor advisory এবং authoritative vulnerability record দিয়ে মডেলকে grounded রাখুন। Retrieved evidence-কে pretrained knowledge থেকে আলাদা করতে এবং প্রতিটি গুরুত্বপূর্ণ দাবির জন্য সরবরাহ করা source উদ্ধৃত করতে বলুন।

Context ও quantization সচেতনভাবে সামঞ্জস্য করুন

  • কাজটি স্বচ্ছন্দে ধারণ করতে পারে এমন সর্বনিম্ন context দিয়ে শুরু করুন।
  • Memory প্রধান সীমাবদ্ধতা হলে Q4-class GGUF build ব্যবহার করুন।
  • সূক্ষ্ম code বা evidence analysis গুরুত্বপূর্ণ হলে উচ্চতর quantization পরীক্ষা করুন।
  • মনে রাখুন, MoE active-parameter count storage requirement-এর সমান নয়; সব model weight-এর জন্য এখনও উপযুক্ত storage ও memory handling দরকার।
  • Prompt-processing speed ও generation speed আলাদাভাবে মাপুন।

বিশেষ deployment requirement মেনে চলুন

প্রতিটি download standalone GGUF model নয়। DeepSeek-V4.1-Flash abliterated cybersecurity release সামঞ্জস্যপূর্ণ বিদ্যমান base pack-এর জন্য একটি overlay। বড় FP8 entry-এর জন্য নির্দিষ্ট multi-GPU configuration লাগতে পারে, আর CYBER-FROST চারটি NVIDIA B300 SXM6 GPU-তে পরীক্ষিত এবং GLM-5.3-CYBERSECURITY tensor parallelism সহ আটটি H200 GPU তালিকাভুক্ত করে।

Chain-of-thought সতর্কতার সঙ্গে পরিচালনা করুন

Qwythos-9B-তে সর্বদা সক্রিয় <think> block তালিকাভুক্ত রয়েছে। গোপন বা দৃশ্যমান reasoning text-কে সঠিকতার প্রমাণ হিসেবে বিবেচনা করবেন না। Source material-এর সঙ্গে final answer মিলিয়ে মূল্যায়ন করুন এবং সংবেদনশীল reasoning trace-এ গোপনীয় context থাকতে পারে বলে সেগুলো সংরক্ষণ এড়িয়ে চলুন।

শব্দকোষ

  • Abliteration: প্রচলিত retraining ছাড়াই residual stream থেকে refusal direction সরিয়ে দেয় এমন weight-level intervention।
  • Obliteration: Abliteration পদ্ধতির একটি সম্পর্কিত variant।
  • SFT: Labeled বা curated domain data-এর ওপর supervised fine-tuning।
  • QLoRA: Quantized Low-Rank Adaptation, memory-efficient fine-tuning পদ্ধতি।
  • DPO: Direct Preference Optimization।
  • MoE: Mixture of Experts, যেখানে প্রতিটি token-এর জন্য কেবল কিছু expert সক্রিয় থাকে, যদিও সম্পূর্ণ weight set মডেলের অংশ হিসেবে বজায় থাকে।

উপসংহার

সেরা মডেল নির্ধারিত হয় শুধু তার প্যারামিটারের সংখ্যা বা উত্তর দেওয়ার আগ্রহ দিয়ে নয়। প্রথমে আপনার অনুমোদিত ব্যবহারের ক্ষেত্র নির্ধারণ করুন, তারপর বিশেষায়ন, মেমরির প্রয়োজন, কনটেক্সটের দৈর্ঘ্য, টুল সমর্থন, ফরম্যাট এবং লাইসেন্স তুলনা করুন। একটি ছোট, নিরাপত্তা-টিউন করা GGUF মডেল অনেক বড় সাধারণ অ্যালবিটারেটেড চেকপয়েন্টের চেয়ে বেশি কার্যকর হতে পারে।

প্রাথমিক স্থানীয় পরীক্ষার জন্য 1.5B থেকে 9B GGUF বিকল্পগুলো হার্ডওয়্যারের বাধা সবচেয়ে কম রাখে। বড় এজেন্টিক, দীর্ঘ-কনটেক্সট, MoE এবং FP8 মডেল উচ্চ-মেমরির ওয়ার্কস্টেশন, পরিচালিত ইনফারেন্স বা একাধিক-GPU অবকাঠামো দিয়ে ব্যবহার করাই ভালো। প্রতিটি ডিপ্লয়মেন্টে মানব পর্যালোচনা, প্রমাণভিত্তিক যাচাই, কঠোর পরিসর নির্ধারণ এবং এক্সিকিউশন নিয়ন্ত্রণ বজায় রাখুন।