Huawei bugun parametrlari 505 milliardta bo‘lgan openPangu-2.0-Pro modeli (model og‘irliklari va asosiy inferens kodi) hamda texnik hisobot rasman ochiq kodda taqdim etilganini e’lon qildi.
Ochiq kodli Pangu openPangu Huawei’ning ochiq kodli AI modellari brendi bo‘lib, Ascend’ga xos o‘qitish va inferens texnologiyalari orqali sanoatga Ascend’dan samarali foydalanish bo‘yicha eng yaxshi amaliyotlarni taqdim etishga intiladi.
openPangu-2.0-Pro — Ascend NPU’da o‘qitilgan yirik aralash ekspertlar (MoE) til modeli. Uning parametrlar soni taxminan 505B, har bir token uchun faollashtiriladigan parametrlar soni taxminan 18B. Model 512k kontekst uzunligini qo‘llab-quvvatlaydi, o‘qitish ma’lumotlarining umumiy hajmi esa taxminan 34T tokenni tashkil etadi. O‘qitishdan keyingi bosqichda tez va sekin rejimlarni birlashtiruvchi nozik sozlash (SFT), bir nechta maxsus yo‘nalishlar bo‘yicha mustahkamlab o‘qitish (RL) amalga oshirildi hamda onlayn distillatsiya (OPD) orqali imkoniyatlar birlashtirildi.
openPangu-2.0-Pro model arxitekturasi bo‘yicha keng qamrovli yangilanishlarni amalga oshirdi:
Attention arxitekturasi: samarali MLA saqlab qolindi va DSA+SWA mustaqil qatlamli gibrid arxitekturasi joriy etildi, qatlamlar nisbati 1:2. SWA qatlami mahalliy oyna asosida modellashtirishga, DSA qatlami esa siyrak global agregatsiyaga mas’ul bo‘lib, aniqlikni saqlagan holda uzun ketma-ketliklar inferensidagi hisoblash, videoxotira va xotiraga murojaat qilish xarajatlarini sezilarli darajada kamaytiradi.
Topologik arxitektura: an’anaviy rezidual ulanishlar 4 oqimli mHC arxitekturasiga yangilandi, bu ifodalash xilma-xilligi va umumlashtirish qobiliyatini oshiradi.
O‘z-o‘zidan spekulyativ modul: 3 boshli MTP arxitekturasi qo‘llanilib, bir martada qo‘shimcha 3 ta token bashorat qilinadi va model inferensi tezligi sezilarli darajada oshiriladi.
Muon optimizatori: o‘qitish jarayonida Muon optimizatori qo‘llanilib, tezroq konvergentsiya tezligiga erishildi.
Joriy yil iyun oyida bo‘lib o‘tgan Huawei Developer Conference HDC 2026 bosh mavzusidagi nutqda Huawei doimiy kengashi a’zosi, Mahsulot investitsiyalarini ko‘rib chiqish qo‘mitasi raisi va Terminal BG raisi Yu Chengdong openPangu 2.0 30 iyundan boshlab 7 ta asosiy komponentni navbatma-navbat ochiq kodda taqdim etish rejalashtirilganini e’lon qildi. Ular orasida yangi ochiq kodga chiqariladigan dastlabki o‘qitish kodi, o‘qitishdan keyingi kod va o‘qitish operatorlari ham bor.
30 iyun kuni 92B parametrli openPangu-2.0-Flash modeli rasman ochiq kodda taqdim etildi.
Parametrlari atigi 505B bo‘lgan openPangu-2.0-Pro haqida Yu Chengdong avval hisoblash quvvatining katta qismi mamlakat ichidagi boshqa korxonalar ehtiyojlarini qo‘llab-quvvatlashga yo‘naltirilganini, Huawei uchun ajratilgan miqdor esa juda cheklanganini tushuntirgan. Bundan tashqari, AI hisoblash quvvati narxi juda yuqori bo‘lgani sababli Huawei kechikish va o‘tkazuvchanlikni oshirishga ko‘proq e’tibor qaratmoqda.
openPangu-2.0 modeliga tegishli komponentlar ochiq kod platformasiga navbatma-navbat joylashtirilmoqda. Ochiq kod manzili:
https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro