Hôm qua, Ant Ling chính thức mã nguồn mở mô hình suy luận lai nguyên bản thế hệ mới Ling-3.0-flash, hướng đến mật độ thông minh tối ưu, vòng khép kín Agent trên toàn bộ chuỗi và triển khai quy mô lớn với chi phí thấp.
Hôm nay, Huawei công bố Ascend đã đồng thời hoàn tất việc thích ứng 0 Day cho mô hình Ling-3.0-flash của Ling. Trong quá trình thích ứng, CANN PyPTO, khung lập trình toán tử, cũng được giới thiệu lần đầu, giúp rút ngắn chu kỳ bàn giao các toán tử hợp nhất phức tạp, hoàn tất hiệu quả việc tích hợp toán tử và tối ưu hiệu năng của khung suy luận, đồng thời mở toàn bộ dự án triển khai.
Lần thích ứng này tương thích toàn diện với các sản phẩm Ascend dòng A2 và A3, đi kèm phương án triển khai tiêu chuẩn chính thức. Nhà phát triển có thể nhanh chóng khởi chạy dịch vụ suy luận thông qua image chính thức (yêu cầu phần cứng: sản phẩm Ascend dòng A2: 8 card; sản phẩm Ascend dòng A3: 4 card).
Khung lập trình CANN PyPTO được xây dựng trên PTO ISA (tập lệnh ảo), sử dụng mô hình lập trình Tile. Nhà phát triển định nghĩa chính xác logic tính toán thông qua API cấp Tensor, còn khung tự động hoàn tất toàn bộ quy trình điều phối phân mảnh, truyền dữ liệu và sinh mã.
Ngoài ra, CANNBot PyPTO Agent đã xây dựng một khung đa tác tử, tự động thúc đẩy toàn bộ quá trình phát triển toán tử qua 7 giai đoạn (Stage), trong đó mỗi giai đoạn được các tác tử con phân công rõ ràng phối hợp thực hiện. Mọi hoạt động điều phối do bộ điều phối thống nhất pypto-op-orchestrator đảm nhiệm. Các tác tử con trao đổi thông tin thông qua cơ chế ghi nhớ và trạng thái máy có thể đọc, bảo đảm ngữ cảnh được truyền tải liền mạch.
Quy trình bắt đầu từ việc tiếp nhận yêu cầu toán tử bằng ngôn ngữ tự nhiên, trải qua các bước sinh, xác minh và tối ưu hóa tự động, cho đến khi tạo ra toán tử có thể chạy trên chip, đạt độ chính xác yêu cầu và hoàn tất tối ưu hiệu năng. Toàn bộ quá trình không cần con người can thiệp vào việc bàn giao giữa các giai đoạn. Quy trình này không chỉ nâng cấp toàn diện trải nghiệm lập trình toán tử mà còn rút ngắn đáng kể chu kỳ bàn giao toán tử. Logic của từng giai đoạn như sau:
