Jinsi ya Kuchagua na Kuweka LLM Isiyodhibitiwa kwa Utafiti wa Usalama Ulioidhinishwa

Muhtasari

LLM zisizodhibitiwa kwa Usalama wa Kukera ni saraka iliyoratibiwa ya miundo yenye uzani wazi inayolenga shughuli zilizoidhinishwa za red team, majaribio ya kupenya, uchanganuzi wa kujihami, na utafiti wa usalama. Inalinganisha miundo iliyoboreshwa kwa usalama, miundo ya jumla iliyofanyiwa ablation, miundo ya zamani, watoa huduma wa wingu, na zana za uendeshaji wa ndani.

Hifadhi hii ni rejeleo, si kifurushi cha programu kinachoweza kusakinishwa. Lengo lake kuu ni kukusaidia kutambua modeli inayofaa, kufuata kadi yake ya modeli ya Hugging Face, na kuchagua mkusanyiko wa uendeshaji unaoendana nayo.

Tumia miundo hii pekee kwenye mifumo na data unayomiliki au ambayo una ruhusa ya wazi kuijaribu. Modeli isiyodhibitiwa inaweza kutoa mapendekezo yasiyo sahihi, yasiyo salama, au yaliyo nje ya upeo, kwa hiyo kila matokeo yanahitaji ukaguzi wa binadamu.

Vipimo vilivyoorodheshwa vimetolewa kutoka kwenye kadi za miundo za Hugging Face na machapisho rasmi, huku mkusanyiko ukiwa na tarehe ya Septemba 2026. Kwa hiyo, makadirio ya vifaa na madai ya alama za majaribio yanapaswa kuchukuliwa kuwa data ya kadi ya modeli, wala si matokeo yaliyorudiwa kwa kujitegemea.

Mkusanyiko Unahusu Nini

Miundo iliyoboreshwa kwa usalama

Miundo hii ilifunzwa au kubadilishwa kwa kutumia nyenzo za usalama wa mtandao. Utaalamu wake unajumuisha mbinu za majaribio ya kupenya, uchanganuzi wa udhaifu, mwitikio wa matukio, shughuli za usalama, ujasusi wa vitisho, OSINT, uandishi wa ripoti, na mtiririko wa kazi unaolenga zana.

• DeepHat V2: Familia inayotegemea Qwen2.5-Coder, iliyofunzwa kwa sampuli milioni 1.7 za usalama wa kukera na kujihami. Inaauni kuita zana na inatoa urefu wa muktadha wa 131K.
• BugTraceAI-CORE-Ultra: Modeli ya 27B inayolenga zana kwa kazi kama vile kutengeneza violezo vya Nuclei, nyenzo za uthibitisho wa dhana, na hati za pentest. Muktadha wake unaopendekezwa ni 4K, na muundo wake wa Q6_K unahitaji takribani 22–24 GB ya VRAM.
• CyberPal 2.0: Modeli ya kujihami ya 20B inayolenga CTI, uchanganuzi wa udhaifu, ugunduzi, upunguzaji wa madhara, SOC na mwitikio wa matukio, AppSec, na uzingatiaji wa kanuni.
• Cyber-Prime 1.1: Modeli ndogo ya 2.6B yenye hali za uainishaji wa moja kwa moja na kufikiri. Wastani wake wa CyberBench ulioorodheshwa ni 0.592 F1/usahihi.
• Cyber-Ornith-1.5-9B: Modeli ya GGUF inayolenga usalama wa mtandao wa kiwakala, kuita vitendaji, matumizi ya zana, kufikiri, na uendeshaji wa terminal.
• Imperum-CybersecurityLLM: Modeli ya mchanganyiko wa wataalamu iliyofunzwa katika zaidi ya nyanja kumi za usalama, zikiwemo shughuli za SOC, DFIR, uchanganuzi wa programu hasidi, usalama wa wingu, usalama wa OT, GRC, na pentest iliyoidhinishwa.
• RavenX-CyberAgent: Modeli inayoweza kutumia zana, ikitumia muundo wa kuripoti wa RATH na kutoa vipengee kama alama za CVSS, vitambulisho vya CWE, na ramani za MITRE ATT&CK.
• REDCELL-26B-A4B: Modeli inayolenga OSINT kwa ajili ya kuhusisha wahusika wa vitisho, kufuatilia viashiria, uchanganuzi wa eneo, uaminifu wa vyanzo, na kuweka udhaifu katika muktadha.

Miundo ya jumla iliyofanyiwa ablation

Miundo ya jumla iliyofanyiwa ablation imepitia uingiliaji katika kiwango cha uzani unaolenga kupunguza tabia ya kukataa. Baadhi yake pia huhifadhi uwezo wa kuona, kuita vitendaji, au kuunga mkono muktadha mrefu. Si lazima iwe imefunzwa kwa kina kuhusu data ya usalama wa mtandao, kwa hiyo kupungua kwa ukataaji hakupaswi kuchanganywa na utaalamu wa kikoa.

Mifano inajumuisha Qwen3.8-27B-Uncensored-OrcaRouter, GLM-5.3-Flash-Uncensored-FP8, huihui-ai/Qwen3.5-27B-abliterated, Qwen2.5-Coder-32B-Instruct-abliterated, na HIDra-30B-A3B. Ingizo la DeepSeek-V4.1-Flash ni la kipekee kwa sababu ni safu ya moduli inayopaswa kutumiwa kwenye kifurushi msingi kinachoendana nacho, badala ya kutumiwa kama checkpoint inayojitegemea.

Miundo ya zamani

Dolphin-Llama3-8B na Wizard-Vicuna-13B-Uncensored bado ni muhimu kwa uendeshaji wa zamani au wenye vikwazo. Hata hivyo, madirisha yao ya muktadha ni mafupi na hazina uwezo wa asili wa kuona wala kuita zana.

Vigezo Muhimu vya Uchaguzi

1. Linganisha modeli na kazi

• Msaada wa jumla wa usalama: DeepHat V2 inashughulikia mkusanyiko mpana wa data ya kukera na kujihami.
• Shughuli za kujihami: CyberPal 2.0 inalenga SOC, mwitikio wa matukio, ugunduzi, upunguzaji wa madhara, na uzingatiaji wa kanuni.
• Mtiririko wa kazi wa kiwakala: Cyber-Ornith, Imperum, RavenX, DeepHat V2, na miundo kadhaa inayotokana na Qwen inatangaza uwezo wa kuita zana.
• OSINT: REDCELL-26B-A4B ina utaalamu wa kuhusisha wahusika, kutathmini vyanzo, kufuatilia viashiria, na kuchanganua eneo.
• Uainishaji wa kompakt: Cyber-Prime 1.1 hutoa hali za moja kwa moja na za kufikiri, huku security-slm-unsloth-1.5b ikiwa modeli ndogo zaidi ya usalama iliyoorodheshwa.
• Nyaraka ndefu: Qwythos-9B inaorodhesha dirisha la muktadha la 1M, huku miundo kadhaa inayotegemea Qwen na miundo ya MoE ikitoa miktadha ya 128K hadi 262K.
• Ingizo la kuona: Qwythos-9B, Qwen3.8-27B-Uncensored-OrcaRouter, GLM-5.3-Flash-Uncensored, DeepSeek-V4.1-Flash, na Qwen3.8-Cyber-agentic zimeorodheshwa kuwa na uwezo wa kuona.

2. Kagua mahitaji ya kumbukumbu

Uwekaji wa quantization una athari kubwa kwenye gharama ya uendeshaji. Hifadhi hii inaorodhesha mahitaji ya takribani ya Q4_K_M inapopatikana:

• Takriban GB 2: security-slm-unsloth-1.5b.
• Takriban GB 6: chaguo za 7B–8B kama vile DeepHat V2, Dolphin3-Cyber-8B, Lily-Cybersecurity-7B, pentest-v2, VEXT Pentest-7B, na Dolphin-Llama3-8B.
• Takriban GB 7: Cyber-Ornith-1.5-9B na Qwythos-9B.
• Takriban GB 12–16: REDCELL APEX-Mini imeorodheshwa karibu GB 12, huku BugTraceAI-CORE-Apex ikiwa imeorodheshwa karibu GB 16.
• Takriban GB 18–24: Miundo iliyopunguzwa ya 27B–36B kwa ujumla iko katika kiwango hiki, ikiwemo Qwen3.8-27B, Imperum, BugTraceAI-CORE-Ultra, na RavenX.
• Kituo cha data au GPU nyingi: CYBER-FROST, GLM-5.3-Flash, na GLM-5.3-CYBERSECURITY zinahitaji usanidi mkubwa zaidi kwa kiasi kikubwa.

Haya ni makadirio ya aina ya quantization au tensor iliyotajwa. Ziada ya wakati wa utekelezaji, urefu wa muktadha, akiba ya KV, usanifu wa GPU, na kuhamishia sehemu ya kazi kwenye CPU vinaweza kubadilisha mahitaji halisi.

3. Thibitisha mahitaji ya muktadha

Dirisha kubwa la muktadha lililotangazwa si lazima liwe kiwango bora zaidi cha uendeshaji. Muktadha mrefu huongeza matumizi ya kumbukumbu na unaweza kupunguza kasi ya uchakataji. Baadhi ya vipengee pia hutofautisha kati ya vikomo vya msingi na vilivyoboreshwa. Kwa mfano, Dolphin3-Cyber inaorodhesha muktadha ulioboreshwa wa tokeni 2,048 na muktadha wa msingi wa 131K, huku Imperum ikipendekeza tokeni 8,192 kwenye mifumo yenye rasilimali chache, licha ya kuorodhesha muktadha wa tokeni 16,384.

4. Thibitisha zana, kuona, umbizo, na leseni

Angalia ikiwa modeli inaunga mkono kuita zana kabla ya kuunda wakala unaotegemea modeli hiyo. Pia thibitisha ikiwa kifurushi ulichochagua ni GGUF, BF16, FP8, au overlay. Hatimaye, kagua leseni: vipengee vingi vinatumia Apache 2.0, lakini mkusanyo huu pia unajumuisha leseni za MIT, Llama community, LFM Open, Qwen Community, na nyinginezo.

Usakinishaji na Usanidi

Chaguo A: Endesha modeli ya GGUF ndani ya kompyuta yako

GGUF ndiyo umbizo linalopatikana kwa urahisi zaidi katika mkusanyo huu. Linaungwa mkono na zana kama vile Ollama, llama.cpp, na LM Studio.

1. Chagua modeli ya GGUF yenye quantization inayotoshea RAM au VRAM yako inayopatikana.
2. Fungua hazina ya Hugging Face iliyounganishwa na usome kadi yake ya modeli.
3. Pakua faili linalofaa, kama vile muundo wa Q4_K_M kwa matumizi madogo ya kumbukumbu au quantization yenye ubora wa juu zaidi ikiwa kumbukumbu zaidi inapatikana.
4. Sakinisha runtime yako ya ndani unayoipendelea.
5. Pakia modeli na utumie kiolezo cha prompt au mazungumzo kilichoainishwa kwenye kadi yake ya modeli.
6. Anza na mpangilio wa wastani wa muktadha badala ya kutenga mara moja kiwango cha juu kilichotangazwa.

Kwa LM Studio, ingiza au tafuta faili la GGUF lililopakuliwa kupitia kiolesura cha picha, lichague, sanidi muktadha na uhamishaji wa kazi kwenye GPU, kisha uanzishe mazungumzo ya ndani au seva ya API.

Kwa Ollama, ufafanuzi mdogo wa modeli unaweza kurejelea faili la ndani la GGUF. Badilisha njia na ukubwa wa muktadha kwa thamani zinazofaa modeli yako:

FROM /absolute/path/to/model.gguf
PARAMETER num_ctx 8192

Hifadhi maudhui hayo kama Modelfile, kisha unda na uendeshe modeli ya ndani:

ollama create security-research-model -f Modelfile
ollama run security-research-model

Huu ni muundo wa jumla wa kuingiza modeli. Ikiwa kadi ya modeli ya Hugging Face inatoa kiolezo kinachohitajika, mfuatano wa kusitisha, mpangilio wa tokenizer, au maelekezo mahususi ya runtime, tumia mwongozo huo badala yake.

Chaguo B: Tumia llama.cpp

llama.cpp inafaa unapohitaji inference inayotumia CPU pekee, uhamishaji mchanganyiko wa kazi kati ya CPU na GPU, au udhibiti wa kina wa utekelezaji wa ndani. Jenga au sakinisha llama.cpp kulingana na nyaraka zake rasmi, pakua faili la GGUF linalooana, na liendeshe kwa kutumia vigezo vinavyopendekezwa na mchapishaji wa modeli.

Muundo wa jumla wa amri ni:

llama-cli -m /path/to/model.gguf -c 8192 -p "Summarize the authorized security assessment findings."

Majina ya vitekelezi na bendera zinazopatikana zinaweza kutofautiana kati ya matoleo, kwa hiyo zithibitishe dhidi ya toleo la llama.cpp lililosakinishwa.

Chaguo C: Tumia inference ya GPU yenye upitishaji mkubwa

vLLM hutoa inference yenye upitishaji mkubwa kwa kutumia PagedAttention, huku SGLang ikisisitiza matokeo yenye muundo, mtiririko wa kazi wa mawakala, na uchakataji bora wa zamu nyingi. Majukwaa haya yanafaa zaidi kwa GPU za vituo vya data na usanifu wa modeli unaoungwa mkono.

Kabla ya kusambaza, thibitisha kwamba injini inaunga mkono usanifu wa checkpoint na usahihi wake. Hili ni muhimu hasa kwa MoE, FP8, muktadha mkubwa sana, na usanifu ulioanzishwa hivi karibuni.

Chaguo D: Tumia API inayosimamiwa

Mkusanyo huu unaorodhesha OrcaRouter, Featherless AI, na Together AI kama chaguo za inference zinazosimamiwa zenye API zinazoendana na OpenAI. Upatikanaji wa modeli hutofautiana, kwa hiyo thibitisha kwamba checkpoint kamili unayohitaji imepangishwa.

Ombi la jumla linaloendana na OpenAI lina muundo ufuatao:

curl https://YOUR_PROVIDER_ENDPOINT/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR_MODEL_ID",
    "messages": [
      {"role": "system", "content": "Assist only with authorized security analysis."},
      {"role": "user", "content": "Review these sanitized findings and produce a remediation checklist."}
    ]
  }'

Tumia endpoint halisi ya mtoa huduma, kitambulisho cha modeli, mbinu ya uthibitishaji, masharti ya bei, na vidhibiti vya kuhifadhi data.

Chaguo E: Kodisha miundombinu ya GPU

RunPod, Vast.ai, na Lambda zimeorodheshwa kwa ajili ya uwekaji wa wingu unaojisimamia. RunPod hutoa podi na violezo vinavyotegemea Docker, Vast.ai hutoa soko la GPU, na Lambda inalenga miundombinu ya uzalishaji inayohitajika inapohitajika. Chagua GPU kulingana na uzito wa modeli, mahitaji ya akiba ya KV, usahihi, na samtidigha inayotarajiwa.

Mifano ya Msingi ya Matumizi

Changanua matokeo ya usalama yaliyosafishwa

Kidokezo kilichopangwa hupunguza utata na kurahisisha uthibitishaji wa matokeo:

Jukumu: Mkaguzi wa usalama wa programu kwa madhumuni ya ulinzi.
Idhini: Tokeo hili limetoka kwenye mazingira ya majaribio yaliyoidhinishwa.
Ingizo: [Weka tokeo lililosafishwa, kipengele kilichoathiriwa, na tabia iliyoonekana.]
Kazi:
1. Fanya muhtasari wa suala hilo.
2. Liunganishe na CWE inayowezekana ikiwa ushahidi unaunga mkono.
3. Eleza athari bila kuzidisha kiwango cha uhakika.
4. Pendekeza hatua za kurekebisha na kuthibitisha.
5. Orodhesha dhana na ushahidi unaokosekana.
Usibuni matokeo ya uchanganuzi, seva zilizoathiriwa, au unyonyaji uliofanikiwa.

Kagua ushahidi wa mwitikio wa tukio

Unasaidia timu iliyoidhinishwa ya mwitikio wa tukio.
Kagua ratiba na viashiria vifuatavyo vilivyosafishwa.
Tenganisha ukweli uliothibitishwa na dhana.
Rudisha:
- Muhtasari wa ratiba
- Mbinu zinazowezekana za ATT&CK
- Ushahidi unaounga mkono kila ulinganisho
- Maswali ya haraka ya kuzuia kuenea
- Mapendekezo ya muda mrefu ya ugunduzi
Data: [Weka ushahidi uliosafishwa]

ainisha sampuli ya hadaa

Cyber-Prime 1.1 inaripoti kuwa hadaa ni mojawapo ya maeneo yake yenye nguvu zaidi katika CyberBench. Kidokezo cha uainishaji wa ulinzi kinaweza kuwa:

Ainisha sampuli hii iliyoidhinishwa ya mafunzo ya hadaa kuwa salama, ya kutia shaka, au hasidi.
Tambua viashiria vinavyoonekana vinavyounga mkono uainishaji huo.
Usifuate viungo au kudhani ukweli ambao haupo kwenye maandishi.
Sampuli: [Weka sampuli ya mafunzo]

Unda ripoti inayolenga urekebishaji

Modeli kama RavenX zinaweza kuombwa zitengeneze sehemu za ripoti zilizopangwa:

Kwa kutumia ushahidi wa tathmini uliotolewa pekee, toa:
- Kichwa cha tokeo
- Muhtasari wa kiufundi
- Athari kwa biashara
- Ulinganisho wa CWE
- Vekta ya CVSS pamoja na uhalalisho
- Ulinganisho unaofaa wa MITRE ATT&CK, inapohusika
- Urekebishaji
- Utaratibu wa kujaribu tena
Weka kila sehemu isiyo na uhakika kuwa haijathibitishwa.
Ushahidi: [Weka maelezo ya tathmini yaliyoidhinishwa]

Vidokezo vya Juu

Tumia seti ya tathmini inayorudiwa

Kabla ya kupitisha modeli, ijaribu kwenye kipimo kidogo cha ndani kilichoundwa kutokana na mtiririko wako wa kazi ulioidhinishwa. Jumuisha maswali ya maarifa, tafsiri ya kumbukumbu, utengenezaji wa ripoti, ushughulikiaji wa chanya za uongo, kutaja ushahidi, na kukataa kubuni ukweli unaokosekana. Linganisha usahihi wa ukweli na ukamilishaji wa kazi badala ya kupima tu utayari wa kujibu.

Tenganisha hoja na utekelezaji

Usaidizi wa kuita zana haufanyi otomatiki isiyozuiliwa kuwa salama. Weka mpaka wa idhini kati ya mapendekezo ya modeli na vitendo vya nje. Thibitisha hoja dhidi ya orodha iliyoruhusiwa, zuia vitambulisho vya ufikiaji, tenga mazingira ya utekelezaji, andika kila mwito kwenye kumbukumbu, na hitaji idhini ya binadamu kwa vitendo vinavyobadilisha mifumo au kufikia data nyeti.

Weka mipaka ya eneo la uendeshaji

Toa walengwa walioidhinishwa, mbinu zinazoruhusiwa, muda wa utekelezaji, kanuni za kushughulikia data, na muundo unaotarajiwa wa matokeo kwenye kidokezo cha mfumo. Ikiwa mlengwa au kitendo hakijaainishwa wazi, amuru modeli isimame na iombe ufafanuzi.

Tumia urejeshaji kwa ukweli wa sasa

Habari za usalama hubadilika haraka. Ijenge modeli kwa nyaraka za ndani zilizoidhinishwa, ushauri wa sasa wa wauzaji, na kumbukumbu zenye mamlaka za udhaifu. Iombe itofautishe ushahidi uliorejeshwa na maarifa ya awali ya mafunzo, na itaje chanzo kilichotolewa kwa kila dai muhimu.

Rekebisha muktadha na ukandamizaji kwa makusudi

• Anza na muktadha mdogo zaidi unaotoshea kazi kwa urahisi.
• Tumia miundo ya GGUF ya daraja la Q4 wakati kumbukumbu ndiyo kikwazo kikuu.
• Jaribu ukandamizaji wa juu zaidi wakati uchanganuzi wa msimbo au ushahidi wa kina ni muhimu.
• Kumbuka kuwa idadi ya vigezo vinavyotumika kwenye MoE si sawa na mahitaji ya uhifadhi; uzito wote wa modeli bado unahitaji uhifadhi unaofaa na ushughulikiaji wa kumbukumbu.
• Pima kasi ya kuchakata kidokezo tofauti na kasi ya kutengeneza matokeo.

Heshimu mahitaji maalumu ya uwekaji

Si kila upakuaji ni modeli ya GGUF inayojitegemea. Toleo la DeepSeek-V4.1-Flash abliterated la usalama wa mtandao ni safu ya ziada kwa vifurushi vya msingi vilivyopo na vinavyooana. Vifurushi vikubwa vya FP8 vinaweza kuhitaji usanidi maalumu wa GPU nyingi, huku CYBER-FROST ikijaribiwa kwenye GPU nne za NVIDIA B300 SXM6 na GLM-5.3-CYBERSECURITY ikiorodhesha GPU nane za H200 zenye ulinganifu wa tensor.

Shughulikia mnyororo wa mawazo kwa uangalifu

Qwythos-9B imeorodheshwa ikiwa na bloku ya <think> inayowashwa kila mara. Usichukulie maandishi ya hoja yaliyofichwa au yanayoonekana kuwa ushahidi wa usahihi. Tathmini jibu la mwisho dhidi ya nyenzo chanzo, na epuka kuhifadhi mfululizo nyeti wa hoja wakati unaweza kuwa na muktadha wa siri.

Kamusi

• Abliteration: Uingiliaji katika kiwango cha uzito unaoondoa mwelekeo wa kukataa kutoka kwenye mkondo wa mabaki bila mafunzo mapya ya kawaida.
• Obliteration: Toleo linalohusiana la mbinu ya abliteration.
• SFT: Urekebishaji bora unaosimamiwa kwa kutumia data ya kikoa iliyo na lebo au iliyoratibiwa.
• QLoRA: Quantized Low-Rank Adaptation, mbinu yenye ufanisi wa kumbukumbu ya kurekebisha modeli.
• DPO: Direct Preference Optimization.
• MoE: Mixture of Experts, ambapo ni sehemu ndogo tu ya wataalamu inayotumika kwa kila tokeni ingawa seti nzima ya uzito bado ni sehemu ya modeli.

Hitimisho

Muundo bora huamuliwa na zaidi ya idadi ya vigezo vyake au utayari wake wa kujibu. Anza na matumizi yako yaliyoidhinishwa, kisha linganisha utaalamu, mahitaji ya kumbukumbu, urefu wa muktadha, usaidizi wa zana, umbizo na leseni. Muundo mdogo wa GGUF ulioboreshwa kwa usalama unaweza kuwa wa vitendo zaidi kuliko checkpoint ya jumla iliyoboreshwa kuondoa vizuizi, ingawa ni kubwa zaidi.

Kwa majaribio ya awali ya ndani, chaguo za GGUF za 1.5B hadi 9B zina kizingiti cha chini zaidi cha mahitaji ya maunzi. Miundo mikubwa ya mawakala, yenye muktadha mrefu, MoE na FP8 inafaa kushughulikiwa kwa vituo vya kazi vyenye kumbukumbu nyingi, uendeshaji unaosimamiwa wa inference au miundombinu ya GPU nyingi. Katika kila uwekaji, dumisha ukaguzi wa binadamu, uthibitishaji unaotegemea ushahidi, uwekaji wa mipaka madhubuti na vidhibiti vya utekelezaji.