Huawei hôm nay chính thức thông báo rằng mô hình openPangu-2.0-Pro 505 tỷ tham số của Pangu (trọng số mô hình và mã suy luận cơ bản) cùng báo cáo kỹ thuật đã được mã nguồn mở.
openPangu là thương hiệu mô hình AI mã nguồn mở của Huawei, hướng tới việc cung cấp các tài liệu tham khảo thực tiễn tốt nhất để ngành có thể tận dụng hiệu quả Ascend thông qua công nghệ huấn luyện và suy luận nguyên bản trên Ascend.
openPangu-2.0-Pro là mô hình ngôn ngữ Mixture of Experts (MoE) quy mô lớn được huấn luyện trên NPU Ascend, có khoảng 505B tham số, trong đó quy mô tham số được kích hoạt trên mỗi token là khoảng 18B. Mô hình hỗ trợ độ dài ngữ cảnh 512k, với tổng lượng dữ liệu huấn luyện khoảng 34T token. Ở giai đoạn hậu huấn luyện, mô hình đã hoàn tất tinh chỉnh hợp nhất nhanh và chậm (SFT), học tăng cường theo nhiều chuyên môn (RL), đồng thời hoàn tất hợp nhất năng lực thông qua chưng cất trực tuyến (OPD).
openPangu-2.0-Pro đã được nâng cấp toàn diện về kiến trúc mô hình:
Kiến trúc Attention: tiếp tục sử dụng MLA hiệu quả, đồng thời áp dụng kiến trúc hỗn hợp phân tầng độc lập DSA+SWA với tỷ lệ các tầng là 1:2. Tầng SWA phụ trách mô hình hóa cửa sổ cục bộ, còn tầng DSA phụ trách tổng hợp toàn cục thưa, giúp giảm đáng kể chi phí tính toán, bộ nhớ và truy cập bộ nhớ khi suy luận chuỗi dài mà vẫn duy trì độ chính xác.
Kiến trúc topology: nâng cấp kết nối residual truyền thống thành kiến trúc mHC 4 luồng, tăng tính đa dạng của biểu diễn và năng lực khái quát hóa.
Mô-đun tự suy đoán: sử dụng kiến trúc MTP 3 đầu, dự đoán thêm 3 token trong một lần, qua đó tăng đáng kể tốc độ suy luận của mô hình.
Bộ tối ưu Muon: sử dụng bộ tối ưu Muon trong quá trình huấn luyện để đạt tốc độ hội tụ nhanh hơn.
Trong bài phát biểu chủ đề tại Hội nghị Nhà phát triển Huawei HDC 2026 vào tháng 6 năm nay, Nhậm Chính Phi, Giám đốc điều hành Huawei, Chủ nhiệm Ủy ban Đánh giá Đầu tư Sản phẩm kiêm Chủ tịch Terminal BG, tuyên bố openPangu 2.0 sẽ lần lượt mã nguồn mở 7 thành phần từ ngày 30 tháng 6, bao gồm mã tiền huấn luyện, mã hậu huấn luyện và các toán tử huấn luyện được mở mới.
Ngày 30 tháng 6, mô hình openPangu-2.0-Flash với 92B tham số đã chính thức được mã nguồn mở.
Về tổng số tham số chỉ 505B của openPangu-2.0-Pro, Nhậm Chính Phi từng giải thích rằng phần lớn năng lực tính toán đã được dùng để hỗ trợ nhu cầu của các doanh nghiệp khác trong nước, nên số lượng dành cho Huawei vẫn rất hạn chế. Ngoài ra, chi phí năng lực tính toán AI rất cao, vì vậy Huawei tập trung hơn vào việc cải thiện độ trễ và thông lượng.
Các thành phần liên quan đến mô hình openPangu-2.0 đã lần lượt được đưa lên các nền tảng mã nguồn mở. Địa chỉ mã nguồn:
https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro