Cách chọn và triển khai LLM không kiểm duyệt cho nghiên cứu bảo mật được cấp phép

Tổng quan

LLM không kiểm duyệt cho an ninh tấn công là một thư mục tuyển chọn các mô hình có trọng số mở, dành cho hoạt động red team được cấp phép, kiểm thử xâm nhập, phân tích phòng thủ và nghiên cứu bảo mật. Thư mục này so sánh các mô hình được tinh chỉnh cho bảo mật, mô hình tổng quát đã loại bỏ cơ chế từ chối, mô hình cũ, nhà cung cấp đám mây và công cụ suy luận cục bộ.

Kho lưu trữ này là tài liệu tham khảo, không phải một gói phần mềm có thể cài đặt. Mục đích chính là giúp bạn xác định mô hình phù hợp, xem model card trên Hugging Face và chọn stack triển khai tương thích.

Chỉ sử dụng các mô hình này trên hệ thống và dữ liệu thuộc sở hữu của bạn hoặc khi bạn có quyền kiểm thử rõ ràng. Mô hình không kiểm duyệt có thể đưa ra đề xuất không chính xác, không an toàn hoặc nằm ngoài phạm vi, vì vậy mọi đầu ra đều cần được con người xem xét.

Thông số được liệt kê lấy từ model card trên Hugging Face và các ấn phẩm chính thức, với bộ sưu tập được cập nhật vào tháng 9 năm 2026. Do đó, các ước tính phần cứng và tuyên bố về điểm chuẩn nên được xem là dữ liệu từ model card, thay vì kết quả được tái lập độc lập.

Bộ sưu tập bao gồm gì

Mô hình được tinh chỉnh cho bảo mật

Các mô hình này được huấn luyện hoặc điều chỉnh bằng tài liệu an ninh mạng. Phạm vi chuyên môn bao gồm phương pháp kiểm thử xâm nhập, phân tích lỗ hổng, ứng phó sự cố, vận hành bảo mật, tình báo mối đe dọa, OSINT, lập báo cáo và quy trình hướng công cụ.

• DeepHat V2: Dòng mô hình dựa trên Qwen2.5-Coder, được huấn luyện với 1,7 triệu mẫu bảo mật tấn công và phòng thủ. Mô hình hỗ trợ gọi công cụ và có độ dài ngữ cảnh 131K.
• BugTraceAI-CORE-Ultra: Mô hình 27B hướng đến công cụ cho các tác vụ như tạo template Nuclei, tài liệu proof-of-concept và tập lệnh pentest. Ngữ cảnh khuyến nghị là 4K, còn bản dựng Q6_K cần khoảng 22–24 GB VRAM.
• CyberPal 2.0: Mô hình phòng thủ 20B, tập trung vào CTI, phân tích lỗ hổng, phát hiện, giảm thiểu, SOC và ứng phó sự cố, AppSec cùng tuân thủ.
• Cyber-Prime 1.1: Mô hình nhỏ gọn 2.6B với chế độ phân loại trực tiếp và chế độ suy nghĩ. Điểm trung bình CyberBench được liệt kê là 0.592 F1/độ chính xác.
• Cyber-Ornith-1.5-9B: Mô hình GGUF tập trung vào an ninh mạng tác tử, gọi hàm, sử dụng công cụ, suy luận và tự động hóa terminal.
• Imperum-CybersecurityLLM: Mô hình mixture-of-experts được huấn luyện trên hơn mười lĩnh vực bảo mật, bao gồm vận hành SOC, DFIR, phân tích mã độc, bảo mật đám mây, bảo mật OT, GRC và pentest được cấp phép.
• RavenX-CyberAgent: Mô hình hỗ trợ công cụ, sử dụng cấu trúc báo cáo RATH và tạo ra các hiện vật như điểm CVSS, mã định danh CWE và ánh xạ MITRE ATT&CK.
• REDCELL-26B-A4B: Mô hình hướng OSINT cho việc quy thuộc tác nhân đe dọa, truy tìm theo chỉ dấu, phân tích định vị địa lý, đánh giá độ tin cậy của nguồn và đặt lỗ hổng vào bối cảnh.

Mô hình tổng quát đã loại bỏ cơ chế từ chối

Các mô hình tổng quát đã loại bỏ cơ chế từ chối trải qua một can thiệp ở cấp trọng số nhằm giảm hành vi từ chối. Một số mô hình vẫn hỗ trợ hình ảnh, gọi hàm hoặc ngữ cảnh dài. Chúng không nhất thiết được huấn luyện chuyên sâu bằng dữ liệu an ninh mạng, vì vậy khả năng giảm từ chối không nên bị nhầm với chuyên môn lĩnh vực.

Ví dụ gồm Qwen3.8-27B-Uncensored-OrcaRouter, GLM-5.3-Flash-Uncensored-FP8, huihui-ai/Qwen3.5-27B-abliterated, Qwen2.5-Coder-32B-Instruct-abliterated và HIDra-30B-A3B. Mục DeepSeek-V4.1-Flash đặc biệt ở chỗ đây là một lớp phủ mô-đun, phải được áp dụng lên một gói nền tương thích hiện có thay vì sử dụng như một checkpoint độc lập.

Mô hình cũ

Dolphin-Llama3-8B và Wizard-Vicuna-13B-Uncensored vẫn hữu ích cho các môi trường triển khai cũ hoặc hạn chế tài nguyên. Tuy nhiên, chúng có cửa sổ ngữ cảnh ngắn hơn và không hỗ trợ hình ảnh hoặc gọi công cụ gốc.

Tiêu chí lựa chọn chính

1. Chọn mô hình phù hợp với tác vụ

• Hỗ trợ bảo mật tổng quát: DeepHat V2 bao quát kho dữ liệu rộng về tấn công và phòng thủ.
• Vận hành phòng thủ: CyberPal 2.0 tập trung vào SOC, ứng phó sự cố, phát hiện, giảm thiểu và tuân thủ.
• Quy trình tác tử: Cyber-Ornith, Imperum, RavenX, DeepHat V2 và một số mô hình bắt nguồn từ Qwen quảng bá khả năng gọi công cụ.
• OSINT: REDCELL-26B-A4B chuyên về quy thuộc, đánh giá nguồn, truy tìm theo chỉ dấu và phân tích định vị địa lý.
• Phân loại nhỏ gọn: Cyber-Prime 1.1 cung cấp chế độ trực tiếp và chế độ suy nghĩ, trong khi security-slm-unsloth-1.5b là mô hình bảo mật nhỏ nhất được liệt kê.
• Tài liệu dài: Qwythos-9B công bố cửa sổ ngữ cảnh 1M, trong khi một số mô hình dựa trên Qwen và mô hình MoE cung cấp ngữ cảnh từ 128K đến 262K.
• Đầu vào hình ảnh: Qwythos-9B, Qwen3.8-27B-Uncensored-OrcaRouter, GLM-5.3-Flash-Uncensored, DeepSeek-V4.1-Flash và Qwen3.8-Cyber-agentic được liệt kê là hỗ trợ hình ảnh.

2. Kiểm tra yêu cầu bộ nhớ

Lượng tử hóa ảnh hưởng lớn đến chi phí triển khai. Kho lưu trữ liệt kê các yêu cầu Q4_K_M xấp xỉ khi có dữ liệu:

• Khoảng 2 GB: security-slm-unsloth-1.5b.
• Khoảng 6 GB: các tùy chọn 7B–8B như DeepHat V2, Dolphin3-Cyber-8B, Lily-Cybersecurity-7B, pentest-v2, VEXT Pentest-7B và Dolphin-Llama3-8B.
• Khoảng 7 GB: Cyber-Ornith-1.5-9B và Qwythos-9B.
• Khoảng 12–16 GB: REDCELL APEX-Mini được liệt kê ở mức gần 12 GB, trong khi BugTraceAI-CORE-Apex ở mức gần 16 GB.
• Khoảng 18–24 GB: các mô hình được lượng tử hóa 27B–36B thường nằm trong khoảng này, bao gồm Qwen3.8-27B, Imperum, BugTraceAI-CORE-Ultra và RavenX.
• Trung tâm dữ liệu hoặc nhiều GPU: CYBER-FROST, GLM-5.3-Flash và GLM-5.3-CYBERSECURITY yêu cầu cấu hình lớn hơn đáng kể.

Các con số này là ước tính cho kiểu lượng tử hóa hoặc kiểu tensor đã nêu. Phần bộ nhớ bổ sung khi chạy, độ dài ngữ cảnh, bộ nhớ đệm KV, kiến trúc GPU và việc chuyển một phần tác vụ sang CPU có thể làm thay đổi yêu cầu thực tế.

3. Xác minh yêu cầu về ngữ cảnh

Cửa sổ ngữ cảnh được quảng cáo lớn không phải lúc nào cũng là điểm vận hành tốt nhất. Ngữ cảnh dài hơn làm tăng mức sử dụng bộ nhớ và có thể giảm thông lượng. Một số mục cũng phân biệt giới hạn của mô hình cơ sở và mô hình tinh chỉnh. Ví dụ, Dolphin3-Cyber liệt kê ngữ cảnh 2.048 token cho bản tinh chỉnh và 131K cho bản cơ sở, trong khi Imperum khuyến nghị 8.192 token trên các hệ thống hạn chế tài nguyên dù liệt kê ngữ cảnh 16.384 token.

4. Xác nhận công cụ, khả năng nhìn, định dạng và giấy phép

Hãy kiểm tra xem mô hình có hỗ trợ gọi công cụ hay không trước khi xây dựng tác tử dựa trên mô hình đó. Đồng thời xác minh hiện vật bạn chọn là GGUF, BF16, FP8 hay overlay. Cuối cùng, hãy xem xét giấy phép: hầu hết các mục sử dụng Apache 2.0, nhưng bộ sưu tập cũng bao gồm MIT, Llama community, LFM Open, Qwen Community và các giấy phép khác.

Cài đặt và thiết lập

Tùy chọn A: Chạy mô hình GGUF cục bộ

GGUF là định dạng dễ tiếp cận nhất trong bộ sưu tập. Định dạng này được hỗ trợ bởi các công cụ như Ollama, llama.cpp và LM Studio.

1. Chọn một mô hình GGUF có mức lượng tử hóa phù hợp với RAM hoặc VRAM hiện có.
2. Mở kho lưu trữ Hugging Face được liên kết và đọc model card.
3. Tải xuống tệp phù hợp, chẳng hạn bản dựng Q4_K_M để sử dụng ít bộ nhớ hơn hoặc mức lượng tử hóa chất lượng cao hơn khi có nhiều bộ nhớ hơn.
4. Cài đặt runtime cục bộ bạn предпоч thích.
5. Nạp mô hình và áp dụng prompt hoặc mẫu trò chuyện được chỉ định trong model card.
6. Bắt đầu với thiết lập ngữ cảnh vừa phải thay vì lập tức cấp phát mức tối đa được quảng cáo.

Đối với LM Studio, hãy nhập hoặc tìm tệp GGUF đã tải xuống thông qua giao diện đồ họa, chọn tệp, cấu hình ngữ cảnh và mức chuyển tải sang GPU, sau đó khởi động cuộc trò chuyện cục bộ hoặc máy chủ API.

Đối với Ollama, một định nghĩa mô hình tối thiểu có thể tham chiếu đến tệp GGUF cục bộ. Hãy thay thế đường dẫn và kích thước ngữ cảnh bằng các giá trị phù hợp với mô hình của bạn:

FROM /absolute/path/to/model.gguf
PARAMETER num_ctx 8192

Lưu nội dung đó dưới dạng Modelfile, sau đó tạo và chạy mô hình cục bộ:

ollama create security-research-model -f Modelfile
ollama run security-research-model

Đây là mẫu nhập tổng quát. Nếu model card trên Hugging Face cung cấp mẫu bắt buộc, chuỗi dừng, thiết lập tokenizer hoặc hướng dẫn dành riêng cho runtime, hãy làm theo hướng dẫn đó.

Tùy chọn B: Sử dụng llama.cpp

llama.cpp phù hợp khi bạn cần suy luận chỉ bằng CPU, chuyển tải kết hợp CPU và GPU hoặc kiểm soát chi tiết việc thực thi cục bộ. Hãy xây dựng hoặc cài đặt llama.cpp theo tài liệu chính thức, tải xuống tệp GGUF tương thích và khởi chạy bằng các tham số được nhà phát hành mô hình khuyến nghị.

Mẫu lệnh tổng quát:

llama-cli -m /path/to/model.gguf -c 8192 -p "Summarize the authorized security assessment findings."

Tên tệp thực thi và các cờ khả dụng có thể thay đổi giữa các bản phát hành, vì vậy hãy đối chiếu với phiên bản llama.cpp đã cài đặt.

Tùy chọn C: Sử dụng suy luận GPU thông lượng cao

vLLM cung cấp khả năng suy luận thông lượng cao với PagedAttention, trong khi SGLang tập trung vào đầu ra có cấu trúc, quy trình tác tử và xử lý nhiều lượt hiệu quả. Các ngăn xếp này phù hợp nhất với GPU trung tâm dữ liệu và các kiến trúc mô hình được hỗ trợ.

Trước khi triển khai, hãy xác nhận engine hỗ trợ kiến trúc checkpoint và độ chính xác đó. Điều này đặc biệt quan trọng đối với MoE, FP8, ngữ cảnh rất lớn và các kiến trúc mới được giới thiệu gần đây.

Tùy chọn D: Sử dụng API được quản lý

Bộ sưu tập liệt kê OrcaRouter, Featherless AI và Together AI là các tùy chọn suy luận được quản lý với API tương thích OpenAI. Tính khả dụng của mô hình có thể thay đổi, vì vậy hãy xác minh checkpoint chính xác bạn cần có được lưu trữ hay không.

Yêu cầu tương thích OpenAI tổng quát có cấu trúc sau:

curl https://YOUR_PROVIDER_ENDPOINT/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR_MODEL_ID",
    "messages": [
      {"role": "system", "content": "Assist only with authorized security analysis."},
      {"role": "user", "content": "Review these sanitized findings and produce a remediation checklist."}
    ]
  }'

Hãy sử dụng endpoint, mã định danh mô hình, phương thức xác thực, điều khoản giá và cơ chế kiểm soát lưu giữ dữ liệu thực tế của nhà cung cấp.

Tùy chọn E: Thuê hạ tầng GPU

RunPod, Vast.ai và Lambda được liệt kê cho việc triển khai đám mây tự lưu trữ. RunPod cung cấp các pod và mẫu dựa trên Docker, Vast.ai cung cấp thị trường GPU, còn Lambda hướng đến hạ tầng sản xuất theo nhu cầu. Hãy chọn GPU dựa trên trọng số mô hình, yêu cầu bộ nhớ đệm KV, độ chính xác và mức độ đồng thời dự kiến.

Ví dụ sử dụng cơ bản

Phân tích một phát hiện bảo mật đã được làm sạch

Một lời nhắc có cấu trúc giúp giảm sự mơ hồ và khiến kết quả dễ xác thực hơn:

Vai trò: Người đánh giá bảo mật ứng dụng theo hướng phòng thủ.
Ủy quyền: Phát hiện này đến từ một môi trường kiểm thử đã được phê duyệt.
Đầu vào: [Chèn phát hiện đã được làm sạch, thành phần bị ảnh hưởng và hành vi quan sát được.]
Nhiệm vụ:
1. Tóm tắt vấn đề.
2. Ánh xạ vấn đề tới CWE có khả năng phù hợp nếu bằng chứng hỗ trợ.
3. Giải thích tác động mà không khẳng định quá mức.
4. Đề xuất các bước khắc phục và xác minh.
5. Liệt kê các giả định và bằng chứng còn thiếu.
Không được bịa đặt kết quả quét, máy chủ bị ảnh hưởng hoặc việc khai thác thành công.

Đánh giá bằng chứng ứng phó sự cố

Bạn đang hỗ trợ một nhóm ứng phó sự cố được ủy quyền.
Hãy xem xét dòng thời gian và các chỉ dấu đã được làm sạch sau đây.
Phân biệt các sự kiện đã được xác nhận với các giả thuyết.
Trả về:
- Tóm tắt dòng thời gian
- Các kỹ thuật ATT&CK tiềm năng
- Bằng chứng hỗ trợ cho từng ánh xạ
- Các câu hỏi ngăn chặn tức thời
- Khuyến nghị phát hiện trong dài hạn
Dữ liệu: [Chèn bằng chứng đã được làm sạch]

Phân loại một mẫu phishing

Cyber-Prime 1.1 đạt kết quả tốt ở một trong các lĩnh vực CyberBench là phishing. Một lời nhắc phân loại theo hướng phòng thủ có thể là:

Phân loại mẫu huấn luyện phishing được ủy quyền này là lành tính, đáng ngờ hoặc độc hại.
Xác định các dấu hiệu có thể quan sát hỗ trợ cho việc phân loại.
Không truy cập liên kết và không giả định các sự kiện không có trong văn bản.
Mẫu: [Chèn mẫu huấn luyện]

Tạo báo cáo hướng đến khắc phục

Các mô hình như RavenX có thể được nhắc để tạo các trường báo cáo có cấu trúc:

Chỉ sử dụng bằng chứng đánh giá được cung cấp, hãy tạo:
- Tiêu đề phát hiện
- Tóm tắt kỹ thuật
- Tác động kinh doanh
- Ánh xạ CWE
- Vector CVSS kèm giải thích
- Ánh xạ MITRE ATT&CK liên quan, nếu áp dụng
- Khắc phục
- Quy trình kiểm thử lại
Đánh dấu mọi trường chưa chắc chắn là chưa được xác minh.
Bằng chứng: [Chèn ghi chú đánh giá được ủy quyền]

Mẹo nâng cao

Sử dụng bộ đánh giá có thể lặp lại

Trước khi áp dụng một mô hình, hãy kiểm thử mô hình trên một chuẩn đánh giá nội bộ nhỏ được xây dựng từ quy trình được ủy quyền của bạn. Bao gồm các câu hỏi kiến thức, diễn giải nhật ký, tạo báo cáo, xử lý dương tính giả, trích dẫn bằng chứng và từ chối bịa đặt các sự kiện còn thiếu. Hãy so sánh tính xác thực và mức độ hoàn thành nhiệm vụ thay vì chỉ đo lường mức độ sẵn sàng trả lời.

Tách biệt suy luận khỏi thực thi

Hỗ trợ gọi công cụ không khiến tự động hóa không hạn chế trở nên an toàn. Hãy đặt ranh giới phê duyệt giữa đề xuất của mô hình và các hành động bên ngoài. Xác thực đối số dựa trên danh sách cho phép, hạn chế thông tin xác thực, cô lập môi trường thực thi, ghi nhật ký mọi lần gọi và yêu cầu con người phê duyệt các hành động sửa đổi hệ thống hoặc truy cập dữ liệu nhạy cảm.

Giới hạn phạm vi vận hành

Cung cấp các mục tiêu được ủy quyền, kỹ thuật được phép, khoảng thời gian, quy tắc xử lý dữ liệu và định dạng đầu ra dự kiến trong lời nhắc hệ thống. Nếu một mục tiêu hoặc hành động không được nêu rõ, hãy hướng dẫn mô hình dừng lại và yêu cầu làm rõ.

Sử dụng truy xuất cho thông tin hiện tại

Thông tin bảo mật thay đổi nhanh chóng. Hãy cung cấp cho mô hình tài liệu nội bộ đã được phê duyệt, các thông báo hiện tại từ nhà cung cấp và hồ sơ lỗ hổng có thẩm quyền. Yêu cầu mô hình phân biệt bằng chứng được truy xuất với kiến thức đã tiền huấn luyện và trích dẫn nguồn được cung cấp cho từng nhận định quan trọng.

Điều chỉnh có chủ đích ngữ cảnh và lượng tử hóa

• Bắt đầu với ngữ cảnh nhỏ nhất nhưng vẫn đủ đáp ứng nhiệm vụ.
• Sử dụng các bản dựng GGUF cấp Q4 khi bộ nhớ là hạn chế chính.
• Kiểm thử các mức lượng tử hóa cao hơn khi việc phân tích mã hoặc bằng chứng tinh tế là quan trọng.
• Hãy nhớ rằng số lượng tham số đang hoạt động của MoE không bằng yêu cầu lưu trữ; toàn bộ trọng số mô hình vẫn cần dung lượng lưu trữ và cơ chế xử lý bộ nhớ phù hợp.
• Đo riêng tốc độ xử lý lời nhắc và tốc độ sinh văn bản.

Tôn trọng các yêu cầu triển khai đặc biệt

Không phải mọi bản tải xuống đều là mô hình GGUF độc lập. Bản phát hành an ninh mạng DeepSeek-V4.1-Flash abliterated là một lớp phủ dành cho các gói nền hiện có tương thích. Các mục FP8 lớn có thể yêu cầu cấu hình nhiều GPU cụ thể, trong khi CYBER-FROST đã được kiểm thử trên bốn GPU NVIDIA B300 SXM6 và GLM-5.3-CYBERSECURITY liệt kê tám GPU H200 với tính song song tensor.

Xử lý chuỗi suy nghĩ cẩn thận

Qwythos-9B được liệt kê với khối <think> luôn bật. Không xem văn bản suy luận ẩn hoặc hiển thị là bằng chứng về tính đúng đắn. Hãy đánh giá câu trả lời cuối cùng dựa trên tài liệu nguồn và tránh lưu trữ các dấu vết suy luận nhạy cảm khi chúng có thể chứa ngữ cảnh bí mật.

Thuật ngữ

• Abliteration: Một can thiệp ở cấp trọng số nhằm loại bỏ hướng từ chối khỏi luồng dư mà không cần huấn luyện lại theo phương pháp thông thường.
• Obliteration: Một biến thể liên quan của phương pháp abliteration.
• SFT: Tinh chỉnh có giám sát trên dữ liệu miền đã gắn nhãn hoặc được tuyển chọn.
• QLoRA: Quantized Low-Rank Adaptation, một phương pháp tinh chỉnh tiết kiệm bộ nhớ.
• DPO: Direct Preference Optimization.
• MoE: Mixture of Experts, trong đó chỉ một tập con chuyên gia hoạt động cho mỗi token dù toàn bộ tập trọng số vẫn là một phần của mô hình.

Kết luận

Mô hình tốt nhất được xác định bởi nhiều yếu tố hơn số lượng tham số hoặc mức độ sẵn sàng trả lời. Hãy bắt đầu với trường hợp sử dụng được cấp phép, sau đó so sánh mức độ chuyên biệt, nhu cầu bộ nhớ, độ dài ngữ cảnh, khả năng hỗ trợ công cụ, định dạng và giấy phép. Một mô hình GGUF nhỏ được tinh chỉnh cho bảo mật có thể thực tế hơn một checkpoint tổng quát đã loại bỏ các ràng buộc an toàn lớn hơn nhiều.

Để thử nghiệm cục bộ ban đầu, các tùy chọn GGUF từ 1.5B đến 9B có yêu cầu phần cứng thấp nhất. Các mô hình tác vụ tự động nâng cao, ngữ cảnh dài, MoE và FP8 phù hợp hơn với máy trạm có bộ nhớ lớn, dịch vụ suy luận được quản lý hoặc hạ tầng đa GPU. Trong mọi hoạt động triển khai, hãy duy trì việc con người xem xét, xác thực dựa trên bằng chứng, phạm vi giới hạn nghiêm ngặt và các cơ chế kiểm soát thực thi.