হুয়াওয়ে আজ ঘোষণা করেছে যে, ৫০৫০ কোটি প্যারামিটারের openPangu-2.0-Pro মডেল (মডেলের ওজন ও মৌলিক ইনফারেন্স কোড) এবং প্রযুক্তিগত প্রতিবেদন আনুষ্ঠানিকভাবে উন্মুক্ত করা হয়েছে।
উন্মুক্ত পাঙ্গু openPangu হলো হুয়াওয়ের উন্মুক্ত AI মডেল ব্র্যান্ড, যা Ascend-নেটিভ প্রশিক্ষণ ও ইনফারেন্স প্রযুক্তির মাধ্যমে শিল্পখাতকে Ascend ব্যবহারে সহায়তার জন্য সর্বোত্তম অনুশীলনের রেফারেন্স দিতে প্রতিশ্রুতিবদ্ধ।
openPangu-2.0-Pro হলো Ascend NPU-তে প্রশিক্ষিত একটি বৃহৎ মিশ্র বিশেষজ্ঞ (MoE) ভাষা মডেল। এর প্যারামিটার সংখ্যা প্রায় 505B, প্রতি token-এ সক্রিয় প্যারামিটারের সংখ্যা প্রায় 18B। মডেলটি 512k কনটেক্সট দৈর্ঘ্য সমর্থন করে এবং মোট প্রশিক্ষণ ডেটার পরিমাণ প্রায় 34T tokens। প্রশিক্ষণ-পরবর্তী পর্যায়ে দ্রুত ও ধীর প্রক্রিয়ার সমন্বিত ফাইন-টিউনিং (SFT), একাধিক বিশেষায়িত রিইনফোর্সমেন্ট লার্নিং (RL) সম্পন্ন করা হয়েছে এবং অনলাইন ডিস্টিলেশন (OPD)-এর মাধ্যমে সক্ষমতাগুলোর সমন্বয় করা হয়েছে।
openPangu-2.0-Pro মডেল আর্কিটেকচারে ব্যাপক আপগ্রেড বাস্তবায়ন করেছে:
Attention আর্কিটেকচার: দক্ষ MLA বজায় রেখে DSA+SWA স্বতন্ত্র স্তরভিত্তিক হাইব্রিড আর্কিটেকচার ব্যবহার করা হয়েছে, যেখানে স্তর অনুপাত 1:2। SWA স্তর স্থানীয় উইন্ডো মডেলিংয়ের দায়িত্বে এবং DSA স্তর স্পার্স বৈশ্বিক সমন্বয়ের দায়িত্বে থাকে। নির্ভুলতা বজায় রেখেই দীর্ঘ সিকোয়েন্স ইনফারেন্সের গণনা, গ্রাফিক্স মেমরি ও মেমরি অ্যাক্সেসের ব্যয় উল্লেখযোগ্যভাবে কমানো হয়েছে।
টপোলজি আর্কিটেকচার: প্রচলিত রেসিডুয়াল সংযোগকে 4-ধারার mHC আর্কিটেকচারে উন্নীত করা হয়েছে, যা উপস্থাপনার বৈচিত্র্য ও সাধারণীকরণ ক্ষমতা বাড়ায়।
স্ব-স্পেকুলেটিভ মডিউল: 3-হেড MTP আর্কিটেকচার ব্যবহার করে একবারে অতিরিক্ত 3টি token পূর্বানুমান করা হয়, ফলে মডেলের ইনফারেন্স গতি উল্লেখযোগ্যভাবে বাড়ে।
Muon অপ্টিমাইজার: প্রশিক্ষণে Muon অপ্টিমাইজার ব্যবহার করে আরও দ্রুত কনভার্জেন্স গতি অর্জন করা হয়েছে।
এ বছরের জুনে অনুষ্ঠিত হুয়াওয়ে ডেভেলপার কনফারেন্স HDC 2026-এর মূল বক্তব্যে হুয়াওয়ের নির্বাহী পরিচালক, পণ্য বিনিয়োগ পর্যালোচনা কমিটির চেয়ারম্যান এবং টার্মিনাল BG-এর চেয়ারম্যান 余承东 ঘোষণা করেন যে, ৩০ জুন থেকে openPangu 2.0-এর ৭টি প্রধান কম্পোনেন্ট পর্যায়ক্রমে উন্মুক্ত করা হবে। এর মধ্যে নতুনভাবে উন্মুক্ত করা প্রি-ট্রেনিং কোড, পোস্ট-ট্রেনিং কোড ও প্রশিক্ষণ অপারেটরও রয়েছে।
৩০ জুন, 92B প্যারামিটারের openPangu-2.0-Flash মডেল আনুষ্ঠানিকভাবে উন্মুক্ত করা হয়েছে।
openPangu-2.0-Pro-এর মোট প্যারামিটার মাত্র 505B হওয়ার বিষয়ে 余承东 আগে ব্যাখ্যা করেছিলেন যে, বিপুল পরিমাণ কম্পিউটিং শক্তি দেশের অন্যান্য প্রতিষ্ঠানের চাহিদা পূরণে সহায়তা করছে, তাই নিজেদের জন্য রাখা পরিমাণ অত্যন্ত সীমিত। এছাড়া AI কম্পিউটিং শক্তির ব্যয় অনেক বেশি হওয়ায় হুয়াওয়ে লেটেন্সি ও থ্রুপুট বাড়ানোর দিকে বেশি গুরুত্ব দিচ্ছে।
openPangu-2.0 মডেলের সংশ্লিষ্ট কম্পোনেন্টগুলো পর্যায়ক্রমে উন্মুক্ত প্ল্যাটফর্মে প্রকাশ করা হয়েছে। উন্মুক্ত ঠিকানা:
https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro