Beam Đang hoạt động

Beam là mô hình ngôn ngữ lớn mã nguồn mở đầu tiên do Reflection AI phát triển, sử dụng kiến trúc MoE thưa với 501B tham số, chỉ kích hoạt 23B cho mỗi token, hỗ trợ ngữ cảnh 1 triệu token và được tiền huấn luyện trên 23.8T token. Quá trình huấn luyện Beam có thể xem là màn trình diễn năng lực tính toán ở quy mô công nghiệp nặng: giai đoạn tiền huấn luyện hoàn tất trong chưa đầy bốn tuần với 6,144 GPU GB300, sau đó sử dụng 10,500 GPU GB300 để thực hiện học tăng cường quy mô lớn trong bốn tuần, với hơn 100 triệu lượt rollout.

Phát triển phần mềm: đạt trình độ tương đương GLM-5.2 trong các tác vụ kỹ thuật phần mềm, là mô hình chủ lực cho khối lượng công việc lập trình doanh nghiệp.
Thực thi Agent: có khả năng gọi công cụ, thao tác terminal và tìm kiếm web, có thể tự hoàn thành các tác vụ nhiều bước, thậm chí học cách gọi các mô hình ngôn ngữ lớn khác và API OCR.
Xử lý văn bản dài: hỗ trợ ngữ cảnh 1 triệu token, có thể xác định và liên kết thông tin quan trọng trong các kho mã nguồn và tài liệu rất dài.
Điều chỉnh cường độ suy luận: người dùng có thể sử dụng tham số reasoning effort để linh hoạt chuyển đổi giữa phản hồi ngắn và suy luận dài, phù hợp với từng tác vụ và ngân sách tính toán.

Theo dõi WeChat và trả lời “Mã nguồn mở” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc MoE thưa: mô hình có tổng cộng 501B tham số nhưng mỗi lần chỉ kích hoạt 23B. Cơ chế định tuyến chuyên gia ở cấp độ chi tiết kết hợp với cân bằng tải không phụ thuộc vào auxiliary loss giúp mức độ sử dụng các chuyên gia gần như đồng đều; tải của chuyên gia bận nhất chỉ ở mức 1.04×, tạo nền tảng phần cứng cho hiệu quả suy luận của Beam.
Huấn luyện quy mô lớn hai giai đoạn: giai đoạn tiền huấn luyện xử lý 23.8T token trong chưa đầy bốn tuần trên 6,144 GPU GB300, kết hợp bộ lập lịch nhận biết topology và cơ chế phát hiện hỏng dữ liệu im lặng, đạt goodput 92.3%; sau đó sử dụng 10.5K GPU GB300 để học tăng cường trong bốn tuần, tạo ra hơn 100 triệu lượt rollout, với trung bình 110 nghìn rollout đồng thời và 170 nghìn sandbox đồng thời trong suốt quá trình.
Hệ thống RL hoàn toàn bất đồng bộ: sử dụng asynchronous policy gradients, cho phép rollout và huấn luyện diễn ra song song. Mỗi token được gắn với phiên bản mô hình tạo ra token đó để xử lý vấn đề lỗi thời của chính sách; ngay cả khi mẫu chậm hơn chính sách hiện tại một ngày (107 phiên bản), các giá trị số vẫn ổn định. Trọng số mới được phân phối theo tầng qua RoCE đến cụm suy luận chỉ trong thời gian trung vị 12 giây.
Học suy luận với độ dài có thể kiểm soát: bổ sung hạng mục phạt độ dài trong RL, giúp mô hình trước tiên học cách giải quyết vấn đề bằng ít token hơn, sau đó tự nhiên mở rộng độ dài suy luận khi năng lực agentic được nâng cao, từ đó hình thành sự cân bằng tối ưu giữa năng lực và mức tiêu thụ token, cho phép người dùng điều chỉnh theo nhu cầu.

Hiện tại, trọng số chưa được phát hành và chỉ cung cấp bản xem trước cho một số người dùng. Truy cập https://platform.reflection.ai/ để đăng ký trải nghiệm sớm.

Hiệu quả suy luận cực cao: đạt trình độ suy luận tương đương GLM-5.2 với lượng tính toán suy luận thấp hơn 3–4 lần, tiết kiệm hơn so với các mô hình 2T+ như Qwen 3.8-Max, nổi bật về mật độ thông minh.
Số tham số kích hoạt cực nhỏ: trong tổng số 501B tham số, mỗi token chỉ kích hoạt 23B; thiết kế MoE thưa giúp giảm đáng kể chi phí triển khai và suy luận.
Quy mô RL hiếm thấy trong ngành: 10.5K GPU GB300 hoạt động liên tục trong bốn tuần, thực hiện hơn 100 triệu lượt rollout, là một trong những đợt huấn luyện RL quy mô lớn nhất từ trước đến nay tại các phòng thí nghiệm mở.
Độ ổn định huấn luyện cao: toàn bộ quá trình tiền huấn luyện chỉ cần 9 lần rollback bán tự động, đạt goodput 92.3%, không xuất hiện mất ổn định trên đường cong huấn luyện, cho thấy mức độ trưởng thành kỹ thuật rất cao.
Độ dài suy luận có thể kiểm soát: người dùng có thể tự do điều chỉnh độ sâu suy luận thông qua tham số reasoning effort, cân bằng hiệu năng và chi phí theo nhu cầu.

Trang web dự án: https://reflection.ai/blog/introducing-beam

Trợ lý lập trình riêng cho doanh nghiệp: doanh nghiệp có thể hoàn toàn tự lưu trữ để xây dựng trợ lý lập trình AI chi phí thấp, không đưa dữ liệu ra khỏi mạng nội bộ.
Tái cấu trúc và kiểm toán ở cấp độ kho mã nguồn: nhờ cửa sổ ngữ cảnh 1 triệu token, Beam có thể tải toàn bộ một kho mã nguồn quy mô trung bình trong một lần, hiểu quan hệ phụ thuộc giữa các tệp để thực hiện tái cấu trúc quy mô lớn hoặc kiểm toán bảo mật.
Quy trình Agent tự động: Beam đã được huấn luyện RL qua hơn 100 triệu lượt rollout để phát triển khả năng gọi công cụ, thao tác terminal và tìm kiếm web, có thể hỗ trợ các tác vụ nhiều bước, chuỗi dài như phân tích dữ liệu và kiểm tra vận hành, bảo trì.
Triển khai AI chủ quyền cho chính phủ và doanh nghiệp: là mô hình trọng số mở do một đội ngũ nội địa Hoa Kỳ phát triển, Beam có thể được kiểm toán và triển khai cách ly, phù hợp với nhu cầu mua sắm tuân thủ của chính phủ, ngành năng lượng và công nghiệp quốc phòng đối với các mô hình không thuộc chuỗi cung ứng Trung Quốc.