Đội ngũ Tencent WeChat công bố trên nền tảng X mô hình ngôn ngữ lớn WeLM do đội ngũ WeChat phát triển, tập trung vào hiệu quả sử dụng tài nguyên.
Theo poster chính thức, dòng mô hình ngôn ngữ lớn WeLM hiện đã xác định rõ hai thông số:
WeLM-80B: Tổng cộng 80 tỷ tham số, 3 tỷ tham số kích hoạt
WeLM-617B: Tổng cộng 617 tỷ tham số, 23 tỷ tham số kích hoạt
Trong đó, mô hình WeLM-80B đã được triển khai trên trợ lý AI gốc của WeChat là “Xiaowei”, hỗ trợ các tính năng sau:
Trò chuyện và tìm kiếm
Sử dụng các tính năng gốc của WeChat
Gọi dịch vụ mini program
IT之家 được biết, mô hình WeLM-671B đang được phát triển, sử dụng kiến trúc hỗn hợp chuyên gia (MoE); trong khi duy trì lượng tham số kích hoạt ở mức vừa phải, mô hình sẽ nâng cao đáng kể năng lực hiểu tổng quát và suy luận logic, hướng đến các tác vụ phức tạp trong hệ sinh thái WeChat:
Phát triển mini program thông minh
Tạo công cụ Xiaowei
