Tự huấn luyện mô hình AI với Brewery: Hướng dẫn tinh chỉnh từng bước

Brewery là gì?

Brewery là một tác nhân có hướng dẫn dùng để tinh chỉnh các mô hình ngôn ngữ và hình ảnh. Bạn mô tả điều muốn xây dựng trong cuộc trò chuyện với một hướng dẫn viên AI được chọn, gọi là brewmaster. Sau đó, Brewery giúp xác định mục tiêu, chọn mô hình nền, chuẩn bị dữ liệu, chọn siêu tham số an toàn, chạy huấn luyện, kiểm thử kết quả và phát hành mô hình hoàn chỉnh.

Brewmaster có thể là Claude, mô hình tương thích với OpenAI, OpenRouter hoặc mô hình cục bộ chạy qua Ollama hay LM Studio. Brewery điều chỉnh phần giải thích và công cụ theo mức kinh nghiệm của bạn: Người mới bắt đầu, Người dùng thử nghiệm, Người xây dựng hoặc Chuyên gia.

Quá trình huấn luyện có thể chạy trên GPU NVIDIA hoặc AMD của bạn, hoặc trên máy chủ thuê được truy cập qua SSH. Laptop chạy Brewery chỉ cần đóng vai trò là mặt phẳng điều khiển khi quá trình huấn luyện diễn ra ở nơi khác.

Tính năng chính

• Tinh chỉnh các mô hình văn bản được hỗ trợ bằng LoRA, QLoRA hoặc tinh chỉnh toàn phần.
• Huấn luyện mô hình văn bản với tiền huấn luyện tiếp tục, tinh chỉnh có giám sát và tinh chỉnh theo sở thích.
• Huấn luyện bộ điều hợp LoRA cho Qwen-Image 2.1 về phong cách, nhân vật và vật thể.
• Nhập dữ liệu từ Hugging Face, tệp cục bộ hoặc các ví dụ được tạo cùng brewmaster.
• Có thể tạo dữ liệu tổng hợp hoặc các cặp sở thích sau khi xem xét điều khoản của nhà cung cấp.
• Sử dụng Empero Trace Format, viết tắt là ETF, cho hội thoại, lệnh gọi công cụ, suy luận, tài liệu RAG, sở thích, văn bản thô, phần hoàn thành và hình ảnh.
• Ước tính bộ nhớ, thời gian và chi phí trước khi bắt đầu huấn luyện.
• Chạy huấn luyện cục bộ hoặc trên Runpod, Vast.ai hay một máy chủ SSH khác.
• Xuất bộ điều hợp hoặc mô hình đã hợp nhất cùng thẻ mô hình và các tệp giấy phép được tạo tự động.
• Tải kết quả lên Hugging Face, mặc định ở chế độ riêng tư.

Cài đặt Brewery

Brewery được cài đặt từ kho GitHub bằng pip:

pip install "brewery-ai @ git+https://github.com/empero-org/brewery-ai"

Khởi động ứng dụng bằng:

brewery

Trong lần chạy đầu tiên, Brewery hỏi AI nào sẽ hướng dẫn bạn và yêu cầu khóa API tương ứng. Thông tin xác thực được lưu cục bộ trong các tệp chỉ bạn có quyền đọc. Quy trình thiết lập cũng hỏi mức kinh nghiệm và tên dự án trước khi tạo thư mục dự án.

Cài đặt hỗ trợ huấn luyện cho GPU cục bộ

Nếu dự định huấn luyện trên GPU NVIDIA, hãy cài đặt các phần bổ sung huấn luyện. Lệnh này cũng cài đặt bản PyTorch tương thích với CUDA:

pip install "brewery-ai[train] @ git+https://github.com/empero-org/brewery-ai"

Đối với GPU AMD, trước tiên hãy cài đặt bản PyTorch ROCm phù hợp, sau đó cài đặt Brewery cùng các phần bổ sung huấn luyện. Trên Windows, hãy giữ PIP_CONSTRAINT=constraints-windows-rocm.txt để pip giữ nguyên bản cài đặt PyTorch cho AMD.

Apple Silicon và các hệ thống chỉ dùng CPU phù hợp với những lần chạy thử nhỏ, trong khi brewmaster có thể hướng dẫn bạn thuê GPU cho các mô hình lớn hơn.

Bắt đầu lần huấn luyện có hướng dẫn đầu tiên

Sau khi khởi chạy brewery, hãy mô tả bằng ngôn ngữ tự nhiên mô hình bạn muốn xây dựng. Ví dụ:

a chatbot that explains chemistry like a friendly pirate

Brewmaster biến ý tưởng này thành một kế hoạch huấn luyện cụ thể. Nó có thể xem xét hành vi mong muốn, phần cứng hiện có, kích thước mô hình, phương pháp huấn luyện, yêu cầu dữ liệu, chi phí ước tính và các hạn chế về giấy phép. Nếu máy tính hiện tại không có GPU phù hợp, công cụ có thể đề xuất thuê GPU 24 GB và ước tính chi phí chạy gần đúng.

Mọi hành động làm phát sinh chi phí, cài đặt phần mềm, gửi dữ liệu đi nơi khác hoặc phát hành mô hình đều yêu cầu xác nhận trong Brewery. Hướng dẫn viên AI không thể bỏ qua các lời nhắc này, đồng thời mật khẩu, khóa API và token không được truyền qua cuộc trò chuyện.

Thực hiện quy trình Brewery

1. Xác định mục tiêu

Giải thích mô hình cần làm gì, nên sử dụng phong cách nào, cần biết những chủ đề nào hoặc cần hỗ trợ các công cụ và định dạng nào. Tiếp tục trả lời câu hỏi của brewmaster cho đến khi mục tiêu đủ cụ thể để huấn luyện và đánh giá.

2. Chọn tài nguyên tính toán

Sử dụng brewery hardware để kiểm tra hệ thống hiện tại:

brewery hardware

Trước khi huấn luyện cục bộ, Brewery thực hiện một thao tác GPU thực tế để các vấn đề về trình điều khiển hoặc PyTorch xuất hiện trước khi bắt đầu một tác vụ dài. Với huấn luyện từ xa, Brewery giúp chuẩn bị máy chủ SSH, tải dữ liệu cần thiết lên và chạy tác vụ ở chế độ tách rời để tác vụ vẫn tiếp tục nếu bạn đóng terminal.

3. Chọn mô hình nền

Brewery hỗ trợ các dòng mô hình văn bản gồm Qwen3, Qwen3.5, các kiến trúc Qwen liên quan, Qwen3.5 MoE, Llama 3.1 đến 3.3, Gemma 3 và Gemma 4. Đối với huấn luyện hình ảnh, công cụ hỗ trợ các bộ điều hợp LoRA cho Qwen-Image 2.1.

Sử dụng trình duyệt mô hình để xem các mô hình nền hiện có:

brewery models --modality text
brewery models --modality image
brewery models --all

Brewmaster xem xét mục tiêu, phần cứng và yêu cầu giấy phép. Công cụ cũng kiểm tra quyền truy cập vào các mô hình bị giới hạn nếu cần.

4. Chuẩn bị dữ liệu huấn luyện

Bạn có thể tìm kiếm và xem trước các bộ dữ liệu Hugging Face mà không cần tải xuống, nhập tệp cục bộ, viết ví dụ cùng brewmaster hoặc sử dụng một bộ dữ liệu hình ảnh hiện có. Dữ liệu tổng hợp là tùy chọn và được định hình theo yêu cầu của bạn. Brewery hiển thị điều khoản của nhà cung cấp trước khi tạo dữ liệu.

Ví dụ, bạn có thể yêu cầu brewmaster viết lại một bộ dữ liệu hiện có theo một giọng văn cụ thể, tạo hội thoại từ bản mô tả hoặc tạo các cặp sở thích cho DPO. Làm sạch dữ liệu đã nhập bằng:

brewery etf validate path/to/data.jsonl

Trong một dự án, các bộ dữ liệu huấn luyện được lưu trong data/_sets/. Brewery có thể xóa các bản ghi trống, trùng lặp hoặc bị hỏng trong khi vẫn giữ một bản sao lưu.

5. Chọn chế độ huấn luyện

Mỗi tác vụ có một mục tiêu và có thể bắt đầu từ một giai đoạn trước đó:

• SFT: dạy cho mô hình hướng dẫn một hành vi, phong cách, định dạng hoặc mẫu sử dụng công cụ.
• CPT rồi SFT: dạy mô hình nền tảng từ văn bản thô của miền dữ liệu, sau đó huấn luyện mô hình tương tác theo dạng hội thoại.
• SFT rồi DPO: trước tiên dạy hành vi mong muốn, sau đó tinh chỉnh các ưu tiên bằng những cặp phản hồi được chọn.

Các giai đoạn LoRA được hợp nhất vào trọng số khởi đầu trước giai đoạn tiếp theo, cho phép các chế độ nối tiếp xếp chồng gọn gàng. Công cụ propose_training_config của Brewery điền siêu tham số dựa trên hướng dẫn dành cho các mô hình được hỗ trợ và điều chỉnh công thức theo GPU hiện có.

6. Chạy huấn luyện

Xác nhận công thức được đề xuất sau khi xem xét bộ nhớ, thời gian và chi phí ước tính. Quá trình huấn luyện chạy tách khỏi phiên trên máy đã chọn, trong khi Brewery báo cáo tiến độ, mức mất mát và thời gian hoàn tất ước tính. Nếu một tác vụ thất bại, brewmaster sẽ đưa ra giải thích bằng ngôn ngữ dễ hiểu và đề xuất cách khắc phục.

Bạn có thể kiểm tra các tác vụ bằng:

brewery status
brewery status JOB

Việc đóng terminal không dừng tác vụ huấn luyện đang chạy tách khỏi phiên. Quay lại thư mục dự án và chạy brewery để tiếp tục phiên.

7. Kiểm tra kết quả

Sau khi huấn luyện, hãy thử các prompt trên mô hình mới và so sánh câu trả lời với mô hình nền tảng. Với tinh chỉnh theo ưu tiên, Brewery có thể tạo hai ứng viên cho mỗi prompt. Bạn có thể chọn câu trả lời tốt hơn trong terminal hoặc yêu cầu AI hướng dẫn đánh giá theo một bộ tiêu chí, rồi kiểm tra ngẫu nhiên các quyết định của AI.

Các lệnh phiên hữu ích gồm:

• /status hiển thị trạng thái dự án và tác vụ hiện tại.
• /jobs liệt kê các tác vụ huấn luyện.
• /watch theo dõi công việc đang hoạt động.
• /level thay đổi mức độ giải thích.
• /usage hiển thị thông tin sử dụng.
• /help liệt kê các lệnh khả dụng.

8. Xuất và phát hành

Khi kết quả đã sẵn sàng, Brewery có thể xuất adapter hoặc mô hình đã hợp nhất, tạo thẻ mô hình, thêm các tệp giấy phép liên quan và tải mô hình lên Hugging Face. Thẻ mô hình có thể chứa chế độ huấn luyện, nguồn dữ liệu, giấy phép, thông tin ghi công và các mẫu trước và sau.

Tệp tải lên mặc định ở chế độ riêng tư. Hãy xem xét thẻ mô hình và các yêu cầu về giấy phép trước khi công khai kho lưu trữ. Khi sử dụng hạ tầng thuê, hãy nhớ dừng hoặc hủy máy chủ: các pod và instance đã dừng vẫn có thể phát sinh phí lưu trữ.

Huấn luyện LoRA hình ảnh với các checkpoint xem trước

Đối với các tác vụ LoRA Qwen-Image 2.1, Brewery kết xuất ảnh xem trước trong quá trình huấn luyện. Công cụ tạo một bộ cơ sở ở bước 0 và các bộ bổ sung tại những checkpoint bằng cách sử dụng các seed nhất quán, giúp so sánh hình ảnh dễ dàng hơn.

Các tệp xem trước được tải xuống những đường dẫn như runs/<job>/samples/step_NNNNNN/. Mỗi bộ xem trước đều có một checkpoint tương ứng. Nếu một checkpoint trước đó trông đẹp hơn kết quả cuối cùng, hãy yêu cầu brewmaster đóng gói checkpoint đó.

Sử dụng /gallery trong phiên để khởi động thư viện cục bộ hiển thị song song. Thư viện được phục vụ trên máy tính của bạn tại một địa chỉ cục bộ như http://127.0.0.1:8765/<random-token>/ và không thể truy cập từ bên ngoài. Thư viện cập nhật khi có bản xem trước mới, cho phép phóng to ảnh và hỗ trợ so sánh với mô hình nền tảng.

Mẹo nâng cao

Lựa chọn AI hướng dẫn cẩn thận

Claude là lựa chọn được khuyến nghị để có hướng dẫn mạnh nhất, trong khi các nhà cung cấp tương thích với OpenAI và OpenRouter cung cấp nhiều lựa chọn mô hình hơn. Ollama và LM Studio hỗ trợ vận hành cục bộ; Brewery khuyến nghị sử dụng mô hình cục bộ từ 14B trở lên có khả năng gọi công cụ để đạt kết quả tốt. Các mô hình không hỗ trợ gọi công cụ nguyên bản vẫn có thể được điều khiển thông qua một giao thức văn bản tự động.

Bạn có thể thay đổi mô hình hướng dẫn bất cứ lúc nào bằng:

brewery setup

Sử dụng ETF cho pipeline dữ liệu nhất quán

ETF cung cấp một định dạng JSONL cho nhiều loại tài liệu huấn luyện, bao gồm hội thoại, prompt hệ thống, lược đồ và lệnh gọi công cụ, suy luận, tài liệu RAG, cặp ưu tiên, văn bản thô, phần hoàn tất và hình ảnh. Điều này giúp việc xác thực và di chuyển dữ liệu giữa các giai đoạn của dự án dễ dàng hơn. Xem tài liệu ETF để biết chi tiết về định dạng.

Điều chỉnh hành vi của terminal

Đối với các terminal hạn chế, hãy sử dụng biến môi trường để đơn giản hóa giao diện hoặc kiểm soát việc tạo dữ liệu tổng hợp:

BREWERY_AI_PLAIN_INPUT=1
BREWERY_AI_SIMPLE_PROMPTS=1
BREWERY_AI_THINKING=off
BREWERY_AI_SYNTH_WORKERS=4

BREWERY_AI_SYNTH_WORKERS chấp nhận các giá trị từ 1 đến 16. Hiển thị suy nghĩ có thể được đặt thành on, full hoặc off.

Tìm hiểu bố cục dự án

Một dự án Brewery lưu trữ các quyết định, tập dữ liệu, tác vụ, kết quả và lịch sử hội thoại cùng nhau:

my-project/
  brewery.yaml
  data/
  data/_sets/<name>/
  runs/<job_id>/
  .brewery/

Các đường dẫn được lưu tương đối với dự án bằng dấu gạch chéo xuôi, nhờ đó có thể di chuyển dự án giữa các máy tính và hệ điều hành. Cài đặt người dùng được lưu tại ~/.config/brewery-ai/ hoặc trên Windows là %APPDATA%\brewery-ai\.

Kết luận

Brewery biến việc tinh chỉnh mô hình thành một quy trình có hướng dẫn và có thể kiểm tra. Hãy cài đặt ứng dụng mặt phẳng điều khiển, chọn một brewmaster đủ năng lực, mô tả mục tiêu, chuẩn bị và xác thực dữ liệu, phê duyệt công thức có tính đến phần cứng, rồi để Brewery quản lý việc huấn luyện, kiểm thử, xuất và phát hành. Hãy bắt đầu với một dự án SFT nhỏ, sau đó khám phá các chế độ CPT, SFT và DPO nối tiếp hoặc LoRA hình ảnh khi nhu cầu tăng lên.