주요 콘텐츠로 건너뛰기
AI 튜토리얼

주문형 모델 정렬을 위해 FlashAlign을 설치하고 사용하는 방법

FlashAlign 설치 방법, 호환 가능한 모델과 추론 엔진 선택 방법, 인증된 연락처 또는 라우팅되는 모든 요청에 프로필을 활성화하는 방법, 승인 및 도구 상속 관리 방법, 모델 가중치를 영구적으로 변경하지 않고 배포를 검사하거나 사용자 지정하는 방법을 알아보세요.

약 13분 소요
주문형 모델 정렬을 위해 FlashAlign을 설치하고 사용하는 방법
FlashAlign 번개 및 워드마크 로고

FlashAlign이란?

FlashAlign은 지원되는 언어 모델에 정렬 프로필을 필요할 때 적용하기 위한 Aevonix Research의 오픈 소스 시스템입니다. 요청마다 프로필을 선택하거나 FlashAlign을 통해 라우팅되는 모든 요청에 프로필을 계속 활성화할 수 있습니다. 프로필은 지원되는 기본 가중치 및 양자화 가중치에 영구적인 변경을 가하지 않고 작동합니다.

포함된 V1 스타터 프로필은 거부 응답을 줄이는 데 중점을 둡니다. FlashAlign은 직접 실행하거나 Hermes 또는 OpenClaw과 통합하거나 사용자 지정 하니스에 연결할 수 있습니다. 관리형 추론에는 Linux와 NVIDIA GPU가 필요합니다.

FlashAlign은 구성된 경로 또는 게이트웨이 URL을 통해 전송되는 모델 호출만 변경합니다. 누가 메시지를 보낼 수 있고 어떤 도구를 실행할 수 있는지는 하니스가 계속 결정합니다.

주요 기능

  • 필요 시 프로필 적용: 추론 엔진에 이미 로드된 프로필 간에 요청마다 전환할 수 있습니다.
  • 되돌릴 수 있는 작동: 지원되는 모델 가중치를 영구적으로 변경하지 않고 프로필을 적용합니다.
  • 두 가지 활성화 모드: 인증된 연락처로 프로필을 제한하거나 Always On 모드에서 라우팅되는 모든 요청에 프로필을 적용합니다.
  • 도구 상속 제어: 인증된 연락처 모드에서 위임된 작업에 활성 프로필을 전달할 수 있는 도구를 선택합니다.
  • 하니스 통합: FlashAlign을 Hermes, OpenClaw, 직접 클라이언트 또는 사용자 지정 하니스와 함께 사용할 수 있습니다.
  • 메시징 어댑터: WhatsApp 및 RCS 다이렉트 메시지용 어댑터가 기본 제공되며 SMS와 Telegram은 선택적으로 지원합니다.
  • 설정 보호 기능: 설치 프로그램이 로컬 모델과 하니스를 감지하고, 일치하는 프로필을 선택하며, 활성화를 확인하고, 배포 서명 키를 생성하고, 변경된 구성을 백업합니다.
  • 프로필 검사: 설정 전에 프로필의 모델 고정 정보, 오퍼레이터, 사이트, 랭크 및 해시를 검토할 수 있습니다.

지원 모델 및 엔진

FlashAlign 1.1.1에는 다음 엔진을 지원하는 5개의 스타터 모델 프로필이 나열되어 있습니다.

  • DeepSeek V4.1 Flash 1017: vLLM 또는 TensorFold.
  • GLM 5.3 Full: TensorFold.
  • GLM 5.3 Flash: TensorFold 또는 SGLang.
  • Qwen3.8-27B: TensorFold, vLLM, SGLang 또는 llama.cpp.
  • Gemma 4 26B A4B: TensorFold, vLLM, SGLang 또는 llama.cpp.

저장소에는 4개의 소형 프로필이 포함되어 있습니다. DeepSeek 프로필은 설정 과정에서 공개 릴리스에서 다운로드하고 체크섬으로 검증하는 1.09 GB 네이티브 텐서 페이로드를 사용합니다. 비공개 저장소나 로그인이 필요하지 않습니다.

요구 사항

FlashAlign을 설치하기 전에 환경이 관련 요구 사항을 충족하는지 확인하세요.

  • NVIDIA GPU가 장착된 Linux 추론 호스트.
  • 설정 및 어댑터 실행을 위한 Python 3.10 이상.
  • TensorFold 번들을 사용할 때 일치하는 CPU 및 GPU 아키텍처.
  • 지원되는 모델 체크포인트 및 일치하는 프로필.
  • FlashAlign 엔진 계약을 구현하는 엔진.
  • OpenAI 호환 클라이언트의 경우 Chat Completions 지원.
  • OpenClaw의 경우 호환되는 네이티브 플러그인 API와 24.x 계열의 Node 24.22.1 이상 또는 26.x 계열의 26.12.1 이상.

하드웨어 요구 사항, 고정된 체크포인트, 엔진 제한, 채널 및 위임 지원에 대해서는 프로젝트의 호환성 가이드를 참조하세요.

FlashAlign 설치

1. 지원되는 모델 다운로드

자동 설정을 실행하기 전에 지원되는 체크포인트를 다운로드하세요. 저장소의 모델 다운로드 가이드에는 5개 스타터 프로필과 지원 형식에 대한 고정 명령이 제공됩니다.

2. 저장소 복제 및 마법사 실행

git clone https://github.com/Aevonix/FlashAlign.git
cd FlashAlign
bash ./install.sh --auto

마법사는 로컬 모델과 지원되는 하니스를 검색하고, 일치하는 프로필을 선택하며, 엔진을 준비하고, 배포 서명 키를 생성합니다. 설정 중 인증된 연락처 또는 Always On을 선택하세요. 인증된 연락처를 선택한 경우 도구가 프로필을 상속해야 하는지도 결정하세요.

채팅 통합은 구성 후 선택한 게이트웨이를 다시 시작합니다. 로컬 터미널 설정의 경우 실행에 필요한 명령이 대신 출력됩니다.

3. 활성화 확인

설정 과정에서 활성화 확인을 수행하고 변경한 구성 파일을 백업합니다. 엔진의 유효 프로필 응답을 통해 선택한 프로필이 활성 상태인지 확인할 수 있습니다.

특정 모델 및 엔진으로 설치

특정 로컬 체크포인트를 선택해야 할 때는 --model-path를 사용하세요. 예를 들어 다음 명령은 vLLM을 통해 로컬 Qwen 체크포인트용 독립형 엔진 배포를 생성합니다.

bash ./install.sh --engine-only --backend vllm --model-path /models/qwen38-27b --yes

모델 및 엔진 호환성 매트릭스에서 지원하는 조합만 사용하세요. 새 모델 또는 프로필을 로드하는 작업은 요청 시 전환 전에 이루어지며 엔진을 다시 시작해야 할 수 있습니다.

기존 엔진에 연결

호환되는 추론 엔진이 이미 실행 중인 경우 --auto 없이 대화형 설치 프로그램을 실행하세요.

bash ./install.sh

설정 가이드에서는 연결 및 활성화를 다루며, 엔진 선택 가이드에서는 지원되는 모델 및 백엔드 조합을 설명합니다.

활성화 모드 선택

인증된 연락처

확인된 연락처가 기본 모드입니다. 이 모드는 승인된 채널, 계정, 연락처와 연결된 메시지에만 선택한 프로필을 적용합니다. 새로운 각 대화는 확인된 채널을 통해 들어와야 합니다. 메시지 본문에 발신자 ID를 입력하는 것만으로는 액세스 권한이 부여되지 않습니다.

이 모드는 승인된 사용자와 채널로만 abliteration을 제한하여, 권한이 없는 사용자가 악의적인 프롬프트 인젝션을 통해 이를 활성화할 위험을 줄입니다. 도구 출력과 실행은 여전히 하네스에 구현된 보호 기능과 권한에 따라 결정됩니다.

항상 켜짐

항상 켜짐은 도구 및 하위 에이전트 요청을 포함하여 FlashAlign을 통해 라우팅되는 모든 요청에 구성된 프로필을 적용합니다. 선택한 모드는 재시작 후에도 유지되고, 도구별 정렬 설정을 재정의하며, 호출자를 확인된 사용자로 표시하지 않습니다. 구성된 프로필을 적용할 수 없으면 요청이 실패합니다.

항상 켜짐 모드로 직접 설치하려면 다음을 실행합니다:

bash ./install.sh --auto --mode always_on

사용자 지정 하네스와 OpenAI 호환 클라이언트는 프로젝트의 항상 켜짐 게이트웨이를 사용할 수 있습니다. FlashAlign의 경로 또는 게이트웨이를 우회하는 요청은 FlashAlign이 제어하지 않는다는 점에 유의하세요.

연락처 승인 및 취소

확인된 연락처 모드에서는 관리 스크립트를 사용하여 발신자를 승인합니다. 샘플 전화번호와 계정을 하네스에서 인식하는 식별자로 바꾸세요:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json approve whatsapp +15550000011 --account default

승인은 취소할 때까지 재시작 후에도 유지됩니다. 지원되는 메시징 전송 방식에서는 사진, 음성 메모, 첨부 파일, 전달되거나 인용된 콘텐츠, 대기 중인 메시지 그룹도 하네스를 통해 발신자 확인 상태를 유지합니다.

다음 명령으로 연락처를 취소합니다:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json revoke whatsapp +15550000011 --account default

취소는 위임된 작업을 포함한 이후의 모델 요청에 적용됩니다. 항상 켜짐 모드를 비활성화하지는 않습니다.

도구가 프로필을 상속할지 제어

확인된 연락처 모드에서는 설치 중 기본값을 설정하고 도구 이름별로 개별 도구를 재정의할 수 있습니다. 예를 들면 다음과 같습니다:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json tool delegate_task off
python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json tool sessions_spawn on

활성화된 도구는 활성 프로필을 확인된 하위 작업에 전달할 수 있습니다. 비활성화된 도구는 표준 모델을 사용하며 하위 작업에 프로필을 전달하지 않습니다. 도구의 실행 허용 여부는 여전히 하네스가 제어합니다.

항상 켜짐 모드는 이러한 도구별 플래그를 무시하고 라우팅되는 모든 도구 및 하위 에이전트 요청에 프로필을 적용합니다. FlashAlign은 나중에 확인된 연락처 모드로 돌아갈 경우 사용할 수 있도록 플래그를 유지합니다.

재시작 없이 모드 전환

기존 하네스 배포를 재시작 없이 항상 켜짐으로 변경할 수 있습니다:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json mode always_on

연락처 기반 액세스로 돌아가려면 다음을 실행합니다:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json mode verified

모드 선택은 재시작 후에도 유지되지만, 모드를 변경해도 이미 비활성화된 배포가 다시 활성화되지는 않습니다. 엔진 전용 설치의 경우 설정 마법사의 활성화 단계에서 모드를 변경하세요.

고급 설정 및 검사 팁

변경 전 환경 감지

먼저 사용 가능한 모델, 하네스, 설정 선택 사항을 확인하려면 감지 모드를 실행합니다:

bash ./install.sh --detect

다른 디렉터리에서 프로필 로드

다음과 같이 설치 프로그램에 사용자 지정 프로필 폴더를 지정합니다:

bash ./install.sh --profiles /path/to/profiles

프로필은 선택한 모델 및 엔진과 계속 일치해야 합니다. 프로필이 체크포인트 간에 서로 호환된다고 가정하지 말고 활성화 전에 프로필 메타데이터를 검토하세요.

프로필 내용 검사

저장소의 프로필 검사기 가이드를 사용하여 로컬 프로필의 모델 고정 정보, 연산자, 사이트, 랭크 및 해시를 확인하세요. 다운로드했거나 별도로 저장한 프로필을 배포하기 전에 특히 유용합니다.

로드 및 전환 계획

FlashAlign은 엔진에 이미 로드된 프로필 간에만 요청별 전환을 수행할 수 있습니다. 다른 모델이나 프로필을 로드하는 작업은 별도의 준비 단계이며 엔진이 재시작될 수 있습니다. 지연 시간이 짧은 라우팅을 위해 요청을 처리하기 전에 애플리케이션에 필요한 프로필을 로드하세요.

사용자 지정 클라이언트 또는 하네스 통합

프로그래밍 방식으로 직접 액세스하려면 직접 엔진 및 Python 클라이언트 가이드를 따르세요. 하네스 개발자는 사용자 지정 하네스 문서에 설명된 훅을 사용할 수 있습니다. 다른 메시지 전송 방식은 문서화된 어댑터 인터페이스를 구현할 수 있습니다.

보안 및 운영상 고려 사항

  • 프로필 사용을 알려진 채널, 계정 및 발신자로 제한해야 할 때는 Verified 연락처를 우선 사용하세요.
  • 구성된 경로를 통해 전송되는 모든 요청에 프로필을 적용해야 할 때만 Always On을 사용하세요.
  • 메시지 본문에 적힌 식별자를 발신자 신원의 증거로 간주하지 마세요.
  • 하네스 권한 부여 및 도구 실행 제어를 활성화된 상태로 유지하세요. FlashAlign은 이를 대체하지 않습니다.
  • 설정 또는 구성 변경 후 유효 프로필 응답을 확인하세요.
  • 프로덕션 배포 전에 프로젝트의 보안 모델, 호환성 제한 및 검증 결과를 검토하세요.

결론

FlashAlign은 모델 가중치를 영구적으로 수정하지 않고 지원되는 정렬 프로필을 적용할 수 있는 되돌릴 수 있는 방법을 제공합니다. 고정된 모델과 호환 가능한 엔진으로 시작하고, 설치 프로그램을 사용해 배포를 준비하고 확인한 다음, 액세스 요구 사항에 따라 Verified 연락처 또는 Always On을 선택하세요. 더 복잡한 배포에서는 프로필 검사, 도구별 상속, 엔진 직접 액세스 및 사용자 지정 하네스 훅을 통해 추가 제어 기능을 사용할 수 있습니다.

FlashAlign은 AGPL-3.0-only 라이선스로 제공되며, 폐쇄형 소스 제품 및 호스팅 서비스에는 상용 라이선스가 제공됩니다. 모델, 프로필 및 종속성에 대한 조건은 서로 별도로 적용됩니다.