Cách cài đặt và sử dụng FlashAlign để căn chỉnh mô hình theo yêu cầu

FlashAlign là gì?

FlashAlign là một hệ thống mã nguồn mở của Aevonix Research, cho phép áp dụng theo yêu cầu các cấu hình căn chỉnh cho những mô hình ngôn ngữ được hỗ trợ. Bạn có thể chọn cấu hình cho từng yêu cầu hoặc duy trì cấu hình đó cho mọi yêu cầu được định tuyến qua FlashAlign. Các cấu hình hoạt động với trọng số cơ sở và trọng số lượng tử hóa được hỗ trợ mà không sửa đổi vĩnh viễn các trọng số này.

Các cấu hình khởi đầu V1 đi kèm tập trung vào việc giảm từ chối. FlashAlign có thể chạy trực tiếp, tích hợp với Hermes hoặc OpenClaw, hoặc kết nối với một harness tùy chỉnh. Suy luận được quản lý yêu cầu Linux và GPU NVIDIA.

FlashAlign chỉ thay đổi các lệnh gọi mô hình được gửi qua những tuyến hoặc URL gateway đã cấu hình. Harness của bạn vẫn chịu trách nhiệm quyết định ai được gửi tin nhắn và công cụ nào có thể chạy.

Tính năng chính

• Cấu hình theo yêu cầu: Chuyển đổi giữa các cấu hình đã được công cụ suy luận tải sẵn cho từng yêu cầu.
• Hoạt động có thể hoàn tác: Áp dụng cấu hình mà không thay đổi vĩnh viễn trọng số mô hình được hỗ trợ.
• Hai chế độ kích hoạt: Giới hạn cấu hình cho các liên hệ đã xác minh hoặc áp dụng một cấu hình cho mọi yêu cầu được định tuyến bằng chế độ Always On.
• Kiểm soát kế thừa công cụ: Trong chế độ Verified contacts, chọn những công cụ có thể truyền cấu hình đang hoạt động cho tác vụ được ủy quyền.
• Tích hợp harness: Sử dụng FlashAlign với Hermes, OpenClaw, các ứng dụng khách trực tiếp hoặc harness tùy chỉnh.
• Bộ điều hợp nhắn tin: Bộ điều hợp tích hợp sẵn hỗ trợ tin nhắn trực tiếp WhatsApp và RCS, cùng hỗ trợ tùy chọn cho SMS và Telegram.
• Biện pháp bảo vệ khi thiết lập: Trình cài đặt phát hiện các mô hình và harness cục bộ, chọn cấu hình phù hợp, kiểm tra kích hoạt, tạo khóa ký triển khai và sao lưu cấu hình đã thay đổi.
• Kiểm tra cấu hình: Xem model pin, toán tử, site, hạng và mã băm của cấu hình trước khi thiết lập.

Mô hình và công cụ được hỗ trợ

FlashAlign 1.1.1 liệt kê năm cấu hình mô hình khởi đầu với hỗ trợ công cụ như sau:

• DeepSeek V4.1 Flash 1017: vLLM hoặc TensorFold.
• GLM 5.3 Full: TensorFold.
• GLM 5.3 Flash: TensorFold hoặc SGLang.
• Qwen3.8-27B: TensorFold, vLLM, SGLang hoặc llama.cpp.
• Gemma 4 26B A4B: TensorFold, vLLM, SGLang hoặc llama.cpp.

Bốn cấu hình nhỏ gọn được đưa vào repository. Cấu hình DeepSeek sử dụng payload tensor gốc 1.09 GB mà quá trình thiết lập tải xuống từ một bản phát hành công khai và xác minh bằng checksum. Không yêu cầu repository riêng tư hoặc đăng nhập.

Yêu cầu

Trước khi cài đặt FlashAlign, hãy kiểm tra môi trường của bạn đáp ứng các yêu cầu liên quan:

• Một máy chủ suy luận Linux có GPU NVIDIA.
• Python 3.10 trở lên cho quá trình thiết lập và các bộ điều hợp.
• Kiến trúc CPU và GPU tương thích khi sử dụng các gói TensorFold.
• Một checkpoint mô hình được hỗ trợ và cấu hình tương ứng.
• Một công cụ triển khai giao thức engine của FlashAlign.
• Đối với các ứng dụng khách tương thích OpenAI, hỗ trợ Chat Completions.
• Đối với OpenClaw, API plugin gốc tương thích và Node 24.22.1 trở lên trong dòng 24.x, hoặc 26.12.1 trở lên trong dòng 26.x.

Tham khảo hướng dẫn tương thích của dự án để biết yêu cầu phần cứng, checkpoint cố định, giới hạn công cụ, kênh và hỗ trợ ủy quyền.

Cài đặt FlashAlign

1. Tải xuống mô hình được hỗ trợ

Tải xuống một checkpoint được hỗ trợ trước khi chạy thiết lập tự động. Hướng dẫn tải mô hình của repository cung cấp các lệnh cố định cho năm cấu hình khởi đầu và các định dạng được hỗ trợ.

2. Sao chép repository và chạy trình hướng dẫn

git clone https://github.com/Aevonix/FlashAlign.git
cd FlashAlign
bash ./install.sh --auto

Trình hướng dẫn tìm kiếm các mô hình cục bộ và harness được hỗ trợ, chọn cấu hình phù hợp, chuẩn bị công cụ và tạo khóa ký triển khai. Trong quá trình thiết lập, chọn Verified contacts hoặc Always On. Nếu chọn Verified contacts, hãy quyết định thêm liệu các công cụ có nên kế thừa cấu hình hay không.

Các tích hợp trò chuyện sẽ khởi động lại gateway đã chọn sau khi cấu hình. Thiết lập từ terminal cục bộ sẽ in ra lệnh cần thiết để khởi chạy.

3. Xác nhận kích hoạt

Quá trình thiết lập thực hiện kiểm tra kích hoạt và sao lưu các tệp cấu hình đã thay đổi. Phản hồi effective-profile của công cụ cung cấp xác nhận rằng cấu hình đã chọn đang hoạt động.

Cài đặt với mô hình và công cụ cụ thể

Sử dụng --model-path khi cần chọn một checkpoint cục bộ cụ thể. Ví dụ, lệnh sau tạo một triển khai công cụ độc lập cho checkpoint Qwen cục bộ thông qua vLLM:

bash ./install.sh --engine-only --backend vllm --model-path /models/qwen38-27b --yes

Chỉ sử dụng các tổ hợp được ma trận tương thích của mô hình và công cụ hỗ trợ. Việc tải mô hình hoặc cấu hình mới diễn ra trước khi chuyển đổi theo từng yêu cầu và có thể yêu cầu khởi động lại công cụ.

Kết nối với công cụ hiện có

Nếu một công cụ suy luận tương thích đang chạy, hãy khởi chạy trình cài đặt tương tác mà không có --auto:

bash ./install.sh

Hướng dẫn thiết lập trình bày cách kết nối và kích hoạt, còn hướng dẫn chọn công cụ giải thích các tổ hợp mô hình và backend được hỗ trợ.

Chọn chế độ kích hoạt

Liên hệ đã xác minh

Liên hệ đã xác minh là chế độ mặc định. Chế độ này chỉ áp dụng hồ sơ đã chọn cho các tin nhắn liên kết với kênh, tài khoản và liên hệ đã được phê duyệt. Mỗi lượt mới phải đến qua kênh đã xác minh. Việc chỉ đặt ID người gửi trong nội dung tin nhắn không cấp quyền truy cập.

Chế độ này giới hạn abliteration ở những người dùng và kênh đã được phê duyệt, giảm nguy cơ người dùng trái phép kích hoạt tính năng này thông qua prompt injection độc hại. Kết quả công cụ và việc thực thi vẫn phụ thuộc vào các biện pháp bảo vệ và quyền hạn do harness triển khai.

Luôn bật

Luôn bật áp dụng hồ sơ đã cấu hình cho mọi yêu cầu được định tuyến qua FlashAlign, bao gồm yêu cầu công cụ và subagent. Chế độ đã chọn được duy trì qua các lần khởi động lại, ghi đè cài đặt căn chỉnh riêng cho từng công cụ và không đánh dấu người gọi là đã xác minh. Yêu cầu sẽ thất bại khi không thể áp dụng hồ sơ đã cấu hình.

Cài đặt trực tiếp ở chế độ Luôn bật bằng:

bash ./install.sh --auto --mode always_on

Harness tùy chỉnh và các client tương thích với OpenAI có thể sử dụng gateway Luôn bật của dự án. Lưu ý rằng các yêu cầu bỏ qua các route hoặc gateway của FlashAlign sẽ không được FlashAlign kiểm soát.

Phê duyệt và thu hồi liên hệ

Trong chế độ Liên hệ đã xác minh, hãy dùng script quản lý để phê duyệt người gửi. Thay số điện thoại và tài khoản mẫu bằng các mã định danh được harness của bạn nhận diện:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json approve whatsapp +15550000011 --account default

Phê duyệt được duy trì qua các lần khởi động lại cho đến khi bị thu hồi. Trên các phương thức truyền tin được hỗ trợ, ảnh, tin nhắn thoại, tệp đính kèm, nội dung được chuyển tiếp hoặc trích dẫn và các nhóm tin nhắn xếp hàng vẫn giữ trạng thái xác minh người gửi thông qua harness.

Thu hồi liên hệ bằng:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json revoke whatsapp +15550000011 --account default

Việc thu hồi ảnh hưởng đến các yêu cầu mô hình tiếp theo, bao gồm cả công việc được ủy quyền. Thao tác này không tắt chế độ Luôn bật.

Kiểm soát việc công cụ có kế thừa hồ sơ hay không

Chế độ Liên hệ đã xác minh cho phép bạn đặt mặc định trong quá trình cài đặt và ghi đè từng công cụ theo tên. Ví dụ:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json tool delegate_task off
python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json tool sessions_spawn on

Công cụ được bật có thể truyền hồ sơ đang hoạt động cho công việc con đã xác minh. Công cụ bị tắt sử dụng mô hình tiêu chuẩn và không truyền hồ sơ cho các công việc con. Harness của bạn vẫn kiểm soát việc công cụ có được phép thực thi hay không.

Chế độ Luôn bật bỏ qua các cờ riêng cho từng công cụ này và áp dụng hồ sơ cho mọi yêu cầu công cụ và subagent được định tuyến. FlashAlign vẫn giữ nguyên các cờ để bạn có thể sử dụng chúng nếu sau này quay lại chế độ Liên hệ đã xác minh.

Chuyển chế độ mà không cần khởi động lại

Có thể chuyển một triển khai harness hiện có sang chế độ Luôn bật mà không cần khởi động lại:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json mode always_on

Quay lại quyền truy cập dựa trên liên hệ bằng:

python3 hermes-owner-mode/manage.py --store ~/.config/owner-mode/approvals.json mode verified

Lựa chọn chế độ được duy trì qua các lần khởi động lại, nhưng việc chuyển chế độ không kích hoạt lại một triển khai đã bị vô hiệu hóa. Đối với các cài đặt chỉ dành cho engine, hãy thay đổi chế độ thông qua bước kích hoạt của trình hướng dẫn thiết lập.

Mẹo thiết lập và kiểm tra nâng cao

Phát hiện môi trường trước khi thay đổi

Chạy chế độ phát hiện để trước tiên kiểm tra các mô hình, harness và lựa chọn thiết lập hiện có:

bash ./install.sh --detect

Tải hồ sơ từ thư mục khác

Trỏ trình cài đặt đến thư mục hồ sơ tùy chỉnh bằng:

bash ./install.sh --profiles /path/to/profiles

Hồ sơ vẫn phải khớp với mô hình và engine đã chọn. Hãy xem lại siêu dữ liệu hồ sơ trước khi kích hoạt thay vì cho rằng một hồ sơ có thể dùng thay thế cho mọi checkpoint.

Kiểm tra nội dung hồ sơ

Sử dụng hướng dẫn kiểm tra hồ sơ của repository để xác minh model pin, operator, site, rank và hash của hồ sơ cục bộ. Điều này đặc biệt hữu ích trước khi triển khai một hồ sơ đã tải xuống hoặc được lưu riêng.

Lập kế hoạch tải và chuyển đổi

FlashAlign chỉ có thể chuyển đổi theo từng yêu cầu giữa các hồ sơ đã được engine tải sẵn. Việc tải một mô hình hoặc hồ sơ khác là bước chuẩn bị riêng và có thể khởi động lại engine. Để định tuyến có độ trễ thấp, hãy tải các hồ sơ mà ứng dụng cần trước khi phục vụ yêu cầu.

Tích hợp client hoặc harness tùy chỉnh

Để truy cập trực tiếp bằng chương trình, hãy làm theo hướng dẫn engine trực tiếp và client Python. Nhà phát triển harness có thể sử dụng các hook được mô tả trong tài liệu harness tùy chỉnh. Các phương thức truyền tin khác có thể triển khai giao diện adapter được tài liệu hóa.

Cân nhắc về bảo mật và vận hành

• Ưu tiên các liên hệ đã được xác minh khi việc sử dụng hồ sơ cần bị giới hạn ở các kênh, tài khoản và người gửi đã biết.
• Chỉ sử dụng Luôn bật khi mọi yêu cầu được gửi qua tuyến đã cấu hình đều phải nhận hồ sơ.
• Không coi mã định danh được viết trong nội dung tin nhắn là bằng chứng về danh tính người gửi.
• Luôn bật tính năng ủy quyền của bộ kiểm thử và các biện pháp kiểm soát thực thi công cụ; FlashAlign không thay thế chúng.
• Kiểm tra phản hồi hồ sơ hiệu lực sau khi thiết lập hoặc thay đổi cấu hình.
• Xem xét mô hình bảo mật, các giới hạn tương thích và kết quả xác thực của dự án trước khi triển khai vào môi trường production.

Kết luận

FlashAlign cung cấp một cách có thể đảo ngược để áp dụng các hồ sơ căn chỉnh được hỗ trợ mà không sửa đổi vĩnh viễn trọng số mô hình. Hãy bắt đầu với một mô hình được ghim phiên bản và công cụ tương thích, sử dụng trình cài đặt để chuẩn bị và xác minh quá trình triển khai, đồng thời chọn Liên hệ đã xác minh hoặc Luôn bật tùy theo yêu cầu truy cập của bạn. Đối với các hoạt động triển khai phức tạp hơn, việc kiểm tra hồ sơ, cơ chế kế thừa theo từng công cụ, quyền truy cập trực tiếp vào công cụ thực thi và các hook tùy chỉnh của bộ kiểm thử sẽ cung cấp thêm quyền kiểm soát.

FlashAlign được cung cấp theo giấy phép AGPL-3.0-only; giấy phép thương mại dành cho các sản phẩm mã nguồn đóng và dịch vụ lưu trữ cũng được cung cấp. Các điều khoản dành cho mô hình, hồ sơ và phần phụ thuộc vẫn được áp dụng riêng.