QwenGyre Đang hoạt động

QwenGyre là framework học tăng cường trực tuyến cho tác tử hoạt động trên quy mô cực dài do Qwen của Alibaba phát triển, hướng đến các tác vụ kéo dài hàng giờ với khoảng 700.000 token mỗi lần. QwenGyre sử dụng cơ chế điều phối linh hoạt để chuyển GPU nhàn rỗi giữa việc lấy mẫu và huấn luyện mà không làm gián đoạn tác vụ, dùng xử lý quỹ đạo để giữ lại ngữ cảnh thực, đánh giá một phần kết quả và loại bỏ tiền tố dùng chung nhằm kiểm soát chi phí. Trên Qwen3.8-2.4T, sau 48 bước, tỷ lệ vượt qua NL2RepoBench tăng từ 52.48% lên 58.54%, nhanh hơn 1.78× so với Async đầu-cuối.

Học tăng cường trực tuyến cho tác tử hoạt động trên quy mô cực dài: trực tiếp huấn luyện RL trên các tác vụ có một lần thực thi kéo dài hàng giờ và tổng cộng khoảng một triệu token.
Điều phối GPU linh hoạt: động chuyển GPU nhàn rỗi giữa việc lấy mẫu và huấn luyện mà không làm gián đoạn tác vụ.
Định tuyến lại yêu cầu và di chuyển bộ nhớ đệm KV: khi chuyển đổi vai trò GPU, tác tử tiếp tục hoạt động, không gian làm việc và trạng thái công cụ được giữ nguyên; bộ nhớ đệm KV được di chuyển qua RDMA để giảm tính toán lặp lại.
Huấn luyện trực tuyến và tham gia nút mới giữa chừng: cell lõi lưu các tham số chính thức; cell vệ tinh có thể tải snapshot bất cứ lúc nào để tham gia batch đang chạy và nhận các micro-batch theo tiến độ.
Cây quỹ đạo và duy trì ngữ cảnh thực: sử dụng Token-in Token-out để ghi lại chính xác đầu vào và đầu ra của mỗi lần gọi, tổ chức thành cây quỹ đạo theo các tiền tố dùng chung, bảo đảm đầu ra luôn tương ứng với ngữ cảnh tại thời điểm được tạo.
Chấm điểm một phần (Partial Scoring): nếu tác vụ chưa hoàn tất do hết thời gian nhưng tạo ra kết quả có thể kiểm chứng, kết quả vẫn được chấm theo quy tắc của tác vụ và dùng cho huấn luyện.
Ngân sách quỹ đạo và cân bằng tổn thất: mỗi lần thực thi giữ lại tối đa Jmax quỹ đạo; tiền tố dùng chung chỉ tính tổn thất một lần, tránh để các tác vụ có nhiều nhánh chiếm trọng số quá lớn.

Điều phối linh hoạt (Elastic Scheduler): GPU được chia thành nhiều đơn vị tính toán đồng nhất; mỗi cell có thể sử dụng SGLang để cung cấp dịch vụ lấy mẫu hoặc sử dụng Megatron để lưu một bản sao huấn luyện hoàn chỉnh. Bộ điều phối theo dõi “mực nước”, tức số lượng tác vụ chưa hoàn tất. Khi dung lượng lấy mẫu còn lại đủ để hỗ trợ các tác vụ đang chạy và nguồn dữ liệu huấn luyện đầy đủ, bộ điều phối lần lượt chuyển từng cell sang huấn luyện. Khi chuyển đổi, proxy chuyển hướng yêu cầu mô hình đến engine suy luận mới và thử lại các yêu cầu chưa hoàn tất; không cần xây dựng lại tiến trình backend hay nhóm giao tiếp. Cell lõi giữ các trọng số chính thức và trạng thái bộ tối ưu; cell vệ tinh tải snapshot tham số qua RDMA, sau đó tham gia tích lũy gradient của batch hiện tại. Cuối cùng, cell lõi tổng hợp và cập nhật thống nhất, giúp huấn luyện mở rộng dần theo mức độ sẵn sàng của dữ liệu, đồng thời tạo mức độ chồng lấp cao giữa lấy mẫu và huấn luyện.
Xử lý quỹ đạo (Trajectory Processor): QwenGyre dùng proxy để ghi lại chính xác ID token đầu vào/đầu ra và log xác suất của chính sách hành vi trong mỗi lần gọi mô hình, tái sử dụng các tiền tố dùng chung và tạo nhánh tại các điểm phân kỳ để tổ chức thành cây quỹ đạo, bảo đảm mỗi đầu ra luôn tương ứng với ngữ cảnh gốc tại thời điểm được tạo. Ở giai đoạn xét duyệt huấn luyện, hệ thống chọn tối đa Jmax quỹ đạo cho mỗi lần thực thi theo mức độ ưu tiên của vai trò; chỉ các token do mô hình chính sách tạo ra mới tham gia tính tổn thất, còn mục tiêu dùng chung chỉ được tính một lần. Tổn thất trước tiên được lấy trung bình trên các token được chọn trong từng lần thực thi, sau đó lấy trung bình trên các lần thực thi, giúp tách trọng số của lần thực thi khỏi số lượng nhánh. Kết hợp với Partial Scoring để đánh giá và chấm điểm phần đã hoàn thành của các tác vụ hết thời gian, cơ chế này tối đa hóa việc tận dụng các tín hiệu hữu ích thưa thớt nhưng có chi phí cao trong quá trình thực thi kéo dài.

Hiện QwenGyre được phát hành dưới dạng bài báo; Alibaba chưa công khai mã nguồn và gói cài đặt.

Lần đầu triển khai RL trực tuyến trên quy mô cực dài cho mô hình hàng đầu: hoàn thành học tăng cường trực tuyến trên Qwen3.8-2.4T với các tác vụ khoảng 700.000 token mỗi lần, nâng tỷ lệ vượt qua NL2RepoBench từ 52.48% lên 58.54% sau 48 bước.
Hiệu quả huấn luyện tăng mạnh: với cùng ngân sách GPU, tốc độ đầu-cuối cao hơn tối đa 1.78× (so với Async) và 1.85× (so với Colocate); thời gian huấn luyện 48 bước giảm từ 134.55 giờ xuống 75.42 giờ.
Điều phối linh hoạt không làm gián đoạn tác vụ: khi GPU chuyển đổi động giữa lấy mẫu và huấn luyện, quá trình thực thi của tác tử, không gian làm việc và trạng thái công cụ được giữ nguyên; thời gian chuyển đổi chỉ vài giây và không đáng kể so với quá trình thực thi kéo dài hàng giờ.
Tối đa hóa mức sử dụng GPU: phân bổ tài nguyên ở cấp cell với độ chi tiết cao loại bỏ tình trạng chờ đuôi dài và nhàn rỗi trong chế độ Colocate cũng như sự cứng nhắc của phân vùng cố định trong chế độ Async; quá trình huấn luyện có thể được ẩn hoàn toàn phía sau việc lấy mẫu.
Huấn luyện trung thành với ngữ cảnh thực: cơ chế TITO bảo đảm mọi đầu ra đều tương ứng với ngữ cảnh gốc tại thời điểm được tạo, tránh tín hiệu huấn luyện “ngữ cảnh giả” do nén lịch sử hoặc ghép ngữ cảnh của các tác tử con.

Bài báo kỹ thuật trên arXiv: https://arxiv.org/pdf/2609.33848

Tạo kho mã hoàn chỉnh từ ngôn ngữ tự nhiên: xây dựng từ đầu kho phần mềm đa gói dựa trên đặc tả ngôn ngữ tự nhiên, với mỗi lần thực thi khoảng 700.000 token và kéo dài hàng giờ.
Kỹ thuật phần mềm kéo dài trên kho mã hiện có: thực hiện các tác vụ phức tạp như phát triển tính năng, sửa lỗi và tái cấu trúc trên nhiều tệp trong kho mã hiện có.
Tự động hóa thao tác terminal nhiều vòng: tác tử liên tục thực hiện hàng trăm lượt gọi công cụ trong môi trường dòng lệnh để hoàn thành các tác vụ cấu hình và vận hành hệ thống.
Tái cấu trúc và di chuyển kho mã quy mô lớn: nâng cấp ngăn xếp công nghệ xuyên kho, tái cấu trúc tổng thể và các tác vụ kỹ thuật cần lập kế hoạch và thực thi liên tục trong nhiều giờ.
Tác vụ phối hợp đa tác tử: các kịch bản thực thi phân cấp trong đó tác tử chính ủy quyền cho tác tử con; xử lý quỹ đạo có thể tận dụng cấu trúc phân nhánh để kiểm soát chi phí huấn luyện tác vụ con.