주요 콘텐츠로 건너뛰기
AI 튜토리얼

승인된 보안 연구를 위한 검열되지 않은 LLM 선택 및 배포 방법

이 튜토리얼에서는 엄선된 공격 보안용 검열되지 않은 LLM 컬렉션을 탐색하고, 전문 분야와 하드웨어 요구 사항에 따라 모델을 선택하며, GGUF 모델을 로컬에 배포하거나 호스팅된 추론을 사용하는 방법을 설명합니다. 또한 승인된 침투 테스트, 방어 분석, OSINT 및 보안 보고를 위한 안전한 워크플로를 구축하는 방법도 다룹니다.

약 19분 소요
승인된 보안 연구를 위한 검열되지 않은 LLM 선택 및 배포 방법

개요

검열되지 않은 공격적 보안용 LLM은 승인된 레드팀 운영, 침투 테스트, 방어 분석 및 보안 연구를 위해 설계된 오픈 웨이트 모델을 선별해 정리한 디렉터리입니다. 보안 특화 파인튜닝 모델, 일반 아블리터레이션 모델, 레거시 모델, 클라우드 제공업체 및 로컬 추론 도구를 비교합니다.

이 저장소는 설치 가능한 소프트웨어 패키지가 아니라 참고 자료입니다. 주요 목적은 적합한 모델을 식별하고, 해당 Hugging Face 모델 카드를 확인하며, 호환되는 배포 스택을 선택하도록 돕는 것입니다.

이러한 모델은 본인이 소유하거나 테스트에 대한 명시적 허가를 받은 시스템과 데이터에서만 사용하십시오. 검열되지 않은 모델은 부정확하거나 안전하지 않거나 범위를 벗어난 제안을 생성할 수 있으므로 모든 출력은 사람의 검토를 거쳐야 합니다.

수록된 사양은 Hugging Face 모델 카드와 공식 문서에서 가져왔으며, 컬렉션 기준일은 2026년 9월입니다. 따라서 하드웨어 추정치와 벤치마크 주장은 독립적으로 재현된 결과가 아니라 모델 카드에 기재된 데이터로 간주해야 합니다.

컬렉션의 범위

보안 특화 파인튜닝 모델

이 모델들은 사이버 보안 자료를 사용해 학습되거나 조정되었습니다. 전문 분야에는 침투 테스트 방법론, 취약점 분석, 사고 대응, 보안 운영, 위협 인텔리전스, OSINT, 보고서 작성 및 도구 중심 워크플로가 포함됩니다.

  • DeepHat V2: 170만 개의 공격 및 방어 보안 샘플로 학습된 Qwen2.5-Coder 기반 제품군입니다. 도구 호출을 지원하며 131K 컨텍스트 길이를 제공합니다.
  • BugTraceAI-CORE-Ultra: Nuclei 템플릿, 개념 증명 자료 및 침투 테스트 스크립트 생성과 같은 작업을 위한 27B 도구 중심 모델입니다. 권장 컨텍스트는 4K이며 Q6_K 빌드에는 약 22–24GB의 VRAM이 필요합니다.
  • CyberPal 2.0: CTI, 취약점 분석, 탐지, 완화, SOC 및 사고 대응, AppSec, 규정 준수에 중점을 둔 방어용 20B 모델입니다.
  • Cyber-Prime 1.1: 직접 모드와 사고 모드를 제공하는 소형 2.6B 모델입니다. 기재된 CyberBench 평균은 0.592 F1/정확도입니다.
  • Cyber-Ornith-1.5-9B: 에이전트형 사이버 보안, 함수 호출, 도구 사용, 추론 및 터미널 자동화에 중점을 둔 GGUF 모델입니다.
  • Imperum-CybersecurityLLM: SOC 운영, DFIR, 멀웨어 분석, 클라우드 보안, OT 보안, GRC 및 승인된 침투 테스트를 포함한 10개 이상의 보안 분야에 걸쳐 학습된 전문가 혼합 모델입니다.
  • RavenX-CyberAgent: RATH 보고 구조를 사용하며 CVSS 점수, CWE 식별자 및 MITRE ATT&CK 매핑과 같은 산출물을 생성하는 도구 지원 모델입니다.
  • REDCELL-26B-A4B: 위협 행위자 귀속, 지표 피벗, 지리적 위치 분석, 출처 신뢰도 및 취약점 맥락화에 특화된 OSINT 중심 모델입니다.

일반 아블리터레이션 모델

일반 아블리터레이션 모델은 거부 동작을 줄이기 위한 가중치 수준의 개입을 거쳤습니다. 일부 모델은 비전, 함수 호출 또는 긴 컨텍스트 지원도 유지합니다. 이러한 모델이 사이버 보안 데이터로 심층 학습된 것은 아니므로, 거부 감소를 도메인 전문성과 혼동해서는 안 됩니다.

예로는 Qwen3.8-27B-Uncensored-OrcaRouter, GLM-5.3-Flash-Uncensored-FP8, huihui-ai/Qwen3.5-27B-abliterated, Qwen2.5-Coder-32B-Instruct-abliterated 및 HIDra-30B-A3B가 있습니다. DeepSeek-V4.1-Flash 항목은 독립적인 체크포인트로 사용하는 것이 아니라 기존의 호환 가능한 베이스 팩에 적용해야 하는 모듈형 오버레이라는 점에서 특이합니다.

레거시 모델

Dolphin-Llama3-8B와 Wizard-Vicuna-13B-Uncensored는 오래된 배포 환경이나 제약이 있는 환경에서 여전히 유용합니다. 그러나 컨텍스트 창이 더 짧고 기본 비전 및 도구 호출 기능이 없습니다.

공격적 보안 모델 벤치마크 비교

주요 선택 기준

1. 작업에 맞는 모델 선택

  • 일반 보안 지원: DeepHat V2는 광범위한 공격 및 방어 자료를 다룹니다.
  • 방어 운영: CyberPal 2.0은 SOC, 사고 대응, 탐지, 완화 및 규정 준수에 중점을 둡니다.
  • 에이전트형 워크플로: Cyber-Ornith, Imperum, RavenX, DeepHat V2 및 여러 Qwen 파생 모델은 도구 호출을 지원한다고 명시합니다.
  • OSINT: REDCELL-26B-A4B는 귀속, 출처 평가, 지표 피벗 및 지리적 위치 분석에 특화되어 있습니다.
  • 소형 분류: Cyber-Prime 1.1은 직접 모드와 사고 모드를 제공하며, security-slm-unsloth-1.5b는 수록된 보안 모델 중 가장 작습니다.
  • 장문서: Qwythos-9B는 1M 컨텍스트 창을 제공하며, 여러 Qwen 기반 모델과 MoE 모델은 128K~262K 컨텍스트를 제공합니다.
  • 비전 입력: Qwythos-9B, Qwen3.8-27B-Uncensored-OrcaRouter, GLM-5.3-Flash-Uncensored, DeepSeek-V4.1-Flash 및 Qwen3.8-Cyber-agentic은 비전 지원 모델로 기재되어 있습니다.

2. 메모리 요구 사항 확인

양자화는 배포 비용에 큰 영향을 줍니다. 저장소에는 가능한 경우 대략적인 Q4_K_M 요구 사항이 기재되어 있습니다:

  • 약 2GB: security-slm-unsloth-1.5b.
  • 약 6GB: DeepHat V2, Dolphin3-Cyber-8B, Lily-Cybersecurity-7B, pentest-v2, VEXT Pentest-7B, Dolphin-Llama3-8B와 같은 7B~8B 옵션.
  • 약 7GB: Cyber-Ornith-1.5-9B 및 Qwythos-9B.
  • 약 12~16GB: REDCELL APEX-Mini는 약 12GB, BugTraceAI-CORE-Apex는 약 16GB로 표시되어 있습니다.
  • 약 18~24GB: 27B~36B 양자화 모델은 일반적으로 이 범위에 해당하며, Qwen3.8-27B, Imperum, BugTraceAI-CORE-Ultra, RavenX가 포함됩니다.
  • 데이터센터 또는 다중 GPU: CYBER-FROST, GLM-5.3-Flash, GLM-5.3-CYBERSECURITY는 상당히 더 큰 구성이 필요합니다.

이 수치는 명시된 양자화 또는 텐서 유형을 기준으로 한 추정치입니다. 런타임 오버헤드, 컨텍스트 길이, KV 캐시, GPU 아키텍처, CPU 부분 오프로딩에 따라 실제 요구 사항은 달라질 수 있습니다.

3. 컨텍스트 요구 사항 확인

광고된 컨텍스트 창이 크다고 해서 항상 최적의 운영 지점인 것은 아닙니다. 컨텍스트가 길어지면 메모리 사용량이 증가하고 처리량이 감소할 수 있습니다. 일부 항목은 기본 모델과 파인튜닝 모델의 한도를 구분하기도 합니다. 예를 들어 Dolphin3-Cyber는 파인튜닝 컨텍스트를 2,048토큰, 기본 컨텍스트를 131K로 표시하며, Imperum은 16,384토큰 컨텍스트를 제공하지만 리소스가 제한된 시스템에서는 8,192토큰을 권장합니다.

4. 도구, 비전, 형식 및 라이선스 확인

에이전트를 구축하기 전에 모델이 도구 호출을 지원하는지 확인하세요. 또한 선택한 아티팩트가 GGUF, BF16, FP8 또는 오버레이인지 확인하세요. 마지막으로 라이선스를 검토하세요. 대부분의 항목은 Apache 2.0을 사용하지만, 컬렉션에는 MIT, Llama community, LFM Open, Qwen Community 및 기타 라이선스도 포함되어 있습니다.

설치 및 설정

옵션 A: GGUF 모델을 로컬에서 실행

GGUF는 컬렉션에 포함된 형식 중 가장 쉽게 사용할 수 있는 형식입니다. Ollama, llama.cpp, LM Studio와 같은 도구에서 지원됩니다.

  1. 사용 가능한 RAM 또는 VRAM에 맞는 양자화 수준의 GGUF 모델을 선택합니다.
  2. 연결된 Hugging Face 저장소를 열고 모델 카드를 읽습니다.
  3. 메모리 사용량을 줄이려면 Q4_K_M 빌드와 같은 적절한 파일을 다운로드하고, 메모리가 더 충분하다면 더 높은 품질의 양자화를 선택합니다.
  4. 선호하는 로컬 런타임을 설치합니다.
  5. 모델을 로드하고 모델 카드에 지정된 프롬프트 또는 채팅 템플릿을 적용합니다.
  6. 광고된 최대값을 즉시 할당하지 말고 적절한 중간 수준의 컨텍스트 설정부터 시작합니다.

LM Studio에서는 그래픽 인터페이스를 통해 다운로드한 GGUF 파일을 가져오거나 찾은 다음, 파일을 선택하고 컨텍스트와 GPU 오프로딩을 구성하여 로컬 채팅 또는 API 서버를 시작합니다.

Ollama에서는 간단한 모델 정의를 통해 로컬 GGUF 파일을 참조할 수 있습니다. 경로와 컨텍스트 크기를 모델에 맞는 값으로 바꾸세요.

FROM /absolute/path/to/model.gguf
PARAMETER num_ctx 8192

해당 내용을 Modelfile로 저장한 다음 로컬 모델을 생성하고 실행합니다.

ollama create security-research-model -f Modelfile
ollama run security-research-model

이는 일반적인 가져오기 패턴입니다. Hugging Face 모델 카드에 필수 템플릿, 중지 시퀀스, 토크나이저 설정 또는 런타임별 지침이 제공되어 있다면 해당 지침을 대신 사용하세요.

옵션 B: llama.cpp 사용

llama.cpp는 CPU 전용 추론, CPU와 GPU를 혼합한 오프로딩 또는 로컬 실행을 세밀하게 제어해야 할 때 적합합니다. 공식 문서에 따라 llama.cpp를 빌드하거나 설치하고, 호환되는 GGUF 파일을 다운로드한 다음 모델 게시자가 권장하는 매개변수를 사용하여 실행합니다.

일반적인 실행 형식은 다음과 같습니다.

llama-cli -m /path/to/model.gguf -c 8192 -p "Summarize the authorized security assessment findings."

실행 파일 이름과 사용 가능한 플래그는 릴리스마다 다를 수 있으므로 설치된 llama.cpp 버전에서 확인하세요.

옵션 C: 고처리량 GPU 추론 사용

vLLM은 PagedAttention을 사용한 고처리량 추론을 제공하며, SGLang은 구조화된 출력, 에이전트 워크플로 및 효율적인 다중 턴 처리에 중점을 둡니다. 이러한 스택은 데이터센터 GPU와 지원되는 모델 아키텍처에 가장 적합합니다.

배포하기 전에 엔진이 체크포인트 아키텍처와 정밀도를 지원하는지 확인하세요. MoE, FP8, 매우 긴 컨텍스트 및 최근 도입된 아키텍처에서는 특히 중요합니다.

옵션 D: 관리형 API 사용

컬렉션에는 OrcaRouter, Featherless AI 및 Together AI가 OpenAI 호환 API를 제공하는 관리형 추론 옵션으로 나열되어 있습니다. 모델 제공 여부는 달라질 수 있으므로 필요한 정확한 체크포인트가 호스팅되는지 확인하세요.

일반적인 OpenAI 호환 요청 구조는 다음과 같습니다.

curl https://YOUR_PROVIDER_ENDPOINT/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR_MODEL_ID",
    "messages": [
      {"role": "system", "content": "Assist only with authorized security analysis."},
      {"role": "user", "content": "Review these sanitized findings and produce a remediation checklist."}
    ]
  }'

공급자의 실제 엔드포인트, 모델 식별자, 인증 방식, 가격 조건 및 데이터 보존 제어를 사용하세요.

옵션 E: GPU 인프라 임대

RunPod, Vast.ai, Lambda는 자체 호스팅 클라우드 배포용으로 소개됩니다. RunPod는 Docker 기반 Pod와 템플릿을 제공하고, Vast.ai는 GPU 마켓플레이스를 운영하며, Lambda는 온디맨드 프로덕션 인프라를 목표로 합니다. 모델 가중치, KV 캐시 요구 사항, 정밀도, 예상 동시 접속 수를 기준으로 GPU를 선택하세요.

기본 사용 예시

정제된 보안 발견 사항 분석

구조화된 프롬프트를 사용하면 모호성을 줄이고 결과를 더 쉽게 검증할 수 있습니다.

역할: 방어적 애플리케이션 보안 검토자입니다.
권한: 이 발견 사항은 승인된 테스트 환경에서 나온 것입니다.
입력: [정제된 발견 사항, 영향을 받는 구성 요소, 관찰된 동작을 입력합니다.]
작업:
1. 문제를 요약합니다.
2. 근거가 뒷받침하는 경우 관련성이 높은 CWE에 매핑합니다.
3. 확실성을 과장하지 않고 영향을 설명합니다.
4. 해결 및 검증 단계를 권장합니다.
5. 가정과 누락된 근거를 나열합니다.
스캔 결과, 영향을 받은 호스트 또는 성공적인 악용을 만들어 내지 마세요.

인시던트 대응 근거 검토

승인된 인시던트 대응 팀을 지원하고 있습니다.
다음의 정제된 타임라인과 지표를 검토하세요.
확인된 사실과 가설을 구분하세요.
다음 형식으로 반환하세요:
- 타임라인 요약
- 잠재적인 ATT&CK 기법
- 각 매핑을 뒷받침하는 근거
- 즉각적인 억제 조치 관련 질문
- 장기적인 탐지 권장 사항
데이터: [정제된 근거를 입력합니다]

피싱 테스트 자료 분류

Cyber-Prime 1.1은 CyberBench 영역 중 하나로 피싱에 강점을 보이는 것으로 보고되었습니다. 방어 목적의 분류 프롬프트는 다음과 같을 수 있습니다.

이 승인된 피싱 훈련 자료를 정상, 의심스러움 또는 악성으로 분류하세요.
분류를 뒷받침하는 관찰 가능한 단서를 식별하세요.
링크를 따라가지 말고 텍스트에 없는 사실을 가정하지 마세요.
자료: [훈련 샘플을 입력합니다]

해결 중심 보고서 작성

RavenX와 같은 모델은 구조화된 보고서 필드를 생성하도록 프롬프트할 수 있습니다.

제공된 평가 근거만 사용하여 다음을 작성하세요.
- 발견 사항 제목
- 기술 요약
- 비즈니스 영향
- CWE 매핑
- 근거가 포함된 CVSS 벡터
- 관련 MITRE ATT&CK 매핑(해당하는 경우)
- 해결 방법
- 재테스트 절차
확실하지 않은 모든 필드를 검증되지 않음으로 표시하세요.
근거: [승인된 평가 메모를 입력합니다]

고급 팁

반복 가능한 평가 세트 사용

모델을 도입하기 전에 승인된 워크플로에서 추출한 소규모 내부 벤치마크로 테스트하세요. 지식 질문, 로그 해석, 보고서 생성, 오탐 처리, 근거 인용, 누락된 사실을 만들어 내지 않는 거부 능력을 포함하세요. 답변하려는 의지만 측정하지 말고 사실성 및 작업 완료도를 비교하세요.

추론과 실행 분리

도구 호출을 지원한다고 해서 제한 없는 자동화가 안전해지는 것은 아닙니다. 모델의 제안과 외부 작업 사이에 승인 경계를 두세요. 허용 목록에 따라 인수를 검증하고, 자격 증명을 제한하며, 실행 환경을 격리하고, 모든 호출을 기록하고, 시스템을 수정하거나 민감한 데이터에 액세스하는 작업에는 사람의 승인을 요구하세요.

작동 범위 제한

승인된 대상, 허용된 기법, 시간 범위, 데이터 처리 규칙 및 예상 출력 형식을 시스템 프롬프트에 제공하세요. 대상이나 작업이 명시적으로 포함되지 않은 경우 모델이 중지하고 확인을 요청하도록 지시하세요.

최신 사실에는 검색 활용

보안 정보는 빠르게 변합니다. 승인된 내부 문서, 최신 공급업체 권고 사항 및 권위 있는 취약점 기록으로 모델의 근거를 마련하세요. 모델이 검색된 근거와 사전 학습 지식을 구분하고, 중요한 각 주장에 대해 제공된 출처를 인용하도록 요청하세요.

컨텍스트와 양자화를 신중하게 조정

  • 작업을 충분히 수용할 수 있는 가장 작은 컨텍스트부터 시작하세요.
  • 메모리가 주요 제약 조건일 때는 Q4급 GGUF 빌드를 사용하세요.
  • 세밀한 코드 또는 근거 분석이 중요할 때는 더 높은 양자화를 테스트하세요.
  • MoE 활성 파라미터 수가 저장 요구 사항과 같지 않다는 점을 기억하세요. 모든 모델 가중치에는 여전히 적절한 저장 공간과 메모리 처리가 필요합니다.
  • 프롬프트 처리 속도와 생성 속도를 별도로 측정하세요.

특수 배포 요구 사항 준수

모든 다운로드가 독립 실행형 GGUF 모델인 것은 아닙니다. DeepSeek-V4.1-Flash abliterated 사이버 보안 릴리스는 호환되는 기존 기본 팩을 위한 오버레이입니다. 대형 FP8 항목에는 특정 멀티 GPU 구성이 필요할 수 있으며, CYBER-FROST는 4개의 NVIDIA B300 SXM6 GPU에서 테스트되었고 GLM-5.3-CYBERSECURITY는 텐서 병렬 처리와 함께 8개의 H200 GPU를 나열합니다.

연쇄적 사고를 신중하게 처리

Qwythos-9B는 항상 활성화된 <think> 블록과 함께 소개됩니다. 숨겨져 있거나 표시되는 추론 텍스트를 정확성의 증거로 간주하지 마세요. 최종 답변을 원본 자료와 비교하여 평가하고, 기밀 컨텍스트가 포함될 수 있는 민감한 추론 기록은 저장하지 마세요.

용어집

  • Abliteration: 일반적인 재훈련 없이 잔차 스트림에서 거부 방향을 제거하는 가중치 수준의 개입입니다.
  • Obliteration: Abliteration 접근 방식의 관련 변형입니다.
  • SFT: 레이블이 지정되었거나 선별된 도메인 데이터에 대한 지도 미세 조정입니다.
  • QLoRA: 양자화된 저랭크 적응으로, 메모리 효율적인 미세 조정 방법입니다.
  • DPO: 직접 선호도 최적화입니다.
  • MoE: 전문가 혼합으로, 전체 가중치 집합이 여전히 모델의 일부이지만 각 토큰에 대해 전문가의 일부만 활성화됩니다.

결론

최적의 모델은 파라미터 수나 답변 의지만으로 결정되지 않습니다. 먼저 승인된 사용 사례를 정한 다음, 전문화 수준, 메모리 요구 사항, 컨텍스트 길이, 도구 지원, 형식, 라이선스를 비교하세요. 소형 보안 튜닝 GGUF 모델이 훨씬 큰 범용 무검열 체크포인트보다 실용적일 수 있습니다.

초기 로컬 테스트에는 하드웨어 요구 사항이 가장 낮은 1.5B~9B GGUF 옵션이 적합합니다. 더 큰 에이전트형 모델, 장문 컨텍스트 모델, MoE 모델, FP8 모델은 고메모리 워크스테이션, 관리형 추론 또는 다중 GPU 인프라를 활용하는 것이 좋습니다. 모든 배포에서 사람의 검토, 증거 기반 검증, 엄격한 범위 설정, 실행 제어를 유지하세요.