文心5.5 Flash Base চালু আছে

文心5.5 Flash Base হলো Baidu-এর ওপেন-সোর্স করা সর্বশেষ বেস মডেল। এটি Sparse MoE আর্কিটেকচার ব্যবহার করে, যার মোট প্যারামিটার ২৮০ বিলিয়ন এবং প্রতি টোকেনে সক্রিয় হয় ১৪ বিলিয়ন প্যারামিটার। ৩৩.৫ ট্রিলিয়ন টোকেন দিয়ে প্রি-ট্রেনিং করা এই মডেল ১০ লক্ষ টোকেনের কনটেক্সট সমর্থন করে। 文心5.5 Flash Base দক্ষতা-কেন্দ্রিক উদ্ভাবনের ওপর জোর দেয়। Sparse Attention দীর্ঘ টেক্সট প্রক্রিয়াকরণের ব্যয় কমায়, Multi-Router MoE রাউটিংকে উন্নত করে এবং ECHO মূল নেটওয়ার্কের শেষ স্তর পুনর্ব্যবহার করে পরবর্তী টোকেনের পূর্বাভাস দেয়। অফিসিয়াল তথ্য অনুযায়ী, একক আকারের একাধিক বেঞ্চমার্কে এটি SOTA ফল অর্জন করেছে এবং HuggingFace-এ প্রকাশিত হয়েছে।

উচ্চ-ক্ষমতাসম্পন্ন টেক্সট বেস: ২৮০ বিলিয়ন মোট প্যারামিটারের Sparse MoE, যেখানে প্রতি টোকেনে মাত্র ১৪ বিলিয়ন সক্রিয় হয় এবং একই আকারের মডেলগুলোর মধ্যে SOTA সাধারণ টেক্সট সক্ষমতা প্রদান করে।
অতি-দীর্ঘ কনটেক্সট: প্রি-ট্রেনিং কনটেক্সট 128K, আর ফাইন-টিউনিং ও ইনফারেন্সে সর্বোচ্চ ১০ লক্ষ টোকেন সমর্থিত।
বিস্তৃত সক্ষমতা: জ্ঞান, যুক্তি, গণিত, কোড, বহুভাষা ও দীর্ঘ কনটেক্সটসহ বিভিন্ন বেঞ্চমার্কে একই আকারের মডেলগুলোর মধ্যে সেরা ফল অর্জন করে।
ওপেন-সোর্স ও কাস্টমাইজযোগ্য: FP8 এবং BF16 উভয় সংস্করণের ওজন HuggingFace-এ প্রকাশিত, যা ডেভেলপার ও প্রতিষ্ঠানকে ফাইন-টিউনিং করে বিশেষায়িত মডেল তৈরির সুযোগ দেয়।
সম্পূর্ণ ইনফারেন্স ইকোসিস্টেম: অফিসিয়াল vLLM প্লাগইন, SGLang Cookbook এবং Megatron-Bridge ফাইন-টিউনিং উদাহরণ সরবরাহ করা হয়েছে।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন এবং AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
Latent-Gated Sparse Attention: Heavy Compression Attention (HCA) এবং Multi-Head Latent Attention (MLA) মিলিয়ে একটি বিভাজিত আর্কিটেকচার তৈরি করা হয়েছে। ৩৭টি স্তর ১২৮ গুণ সংকুচিত সিকোয়েন্সে ইতিহাসের তথ্য প্রক্রিয়া করে, আর মাত্র ৬টি স্তর সূক্ষ্ম পুনরুদ্ধারের জন্য দায়ী থাকে। এতে দীর্ঘ কনটেক্সটের KV Cache ব্যয় উল্লেখযোগ্যভাবে কমে। Low-Rank Gated Attention নিজস্ব Attention স্তর তৈরি করা Low-Rank Query Latent পুনর্ব্যবহার করে আউটপুট গেট গণনা করে; গেটিং প্রজেকশনের প্যারামিটার ৭৫% কমলেও কার্যকারিতা বাড়ে। Virtual Head Attention (VHA) প্রশিক্ষণের সময় প্রকাশক্ষমতা বাড়ায় এবং ইনফারেন্সের সময় Attention অপারেটরে একীভূত হয়, ফলে অতিরিক্ত ব্যয় অত্যন্ত কম।
Multi-Router Latent MoE: একাধিক স্বাধীন রাউটার সম্মিলিতভাবে বিশেষজ্ঞ নির্বাচন করে। এতে রাউটিং স্কোর ও বিশেষজ্ঞের প্রকৃত কার্যকারিতার সম্পর্ক উন্নত হয় এবং একক স্কোরের পক্ষপাতের প্রভাব কমে, একই সঙ্গে সক্রিয় বিশেষজ্ঞের সংখ্যা, বিশেষজ্ঞ গণনার পরিমাণ ও যোগাযোগের পরিমাণ অপরিবর্তিত থাকে।
ECHO প্রশিক্ষণ লক্ষ্য: অতিরিক্ত MTP মডিউল যোগ না করে মূল নেটওয়ার্কের শেষ স্তর পুনর্ব্যবহার করা হয়, যাতে মডেল নিজেই পরবর্তী টোকেনের পূর্বাভাস শেখে। এতে সিকোয়েন্সের গতিপথ আগেভাগে পরিকল্পনা করা যায় এবং ইনফারেন্স ও কোডিং সক্ষমতা বাড়ে। পুনর্ব্যবহৃত স্তরটি সরাসরি Speculative Decoding-এর Draft Model হিসেবে কাজ করতে পারে। এক ধাপের প্রশিক্ষণেই বহু ধাপের এক্সট্রাপোলেশন সক্ষমতা দেখা যায় এবং এর খসড়ার মান সহায়ক MTP মডিউলের তুলনায় অনেক ভালো।
প্রশিক্ষণ সিস্টেমের উন্নতি: Distributed Muon Optimizer Dense ও MoE প্যারামিটারের আন্তঃমেশিন যোগাযোগকে একবারের Collective Communication-এ একীভূত করে। FP8 মিশ্র নির্ভুলতার সঙ্গে এটি বৃহৎ-পরিসরের প্রশিক্ষণ দক্ষতা বাড়ায়। নিজস্ব FlashMask-4 Attention অপারেটর CuTe-DSL-এর ওপর ভিত্তি করে তৈরি, SM90/SM100 আর্কিটেকচার এবং সর্বোচ্চ 576 মাত্রার Head Dim সমর্থন করে, ফলে HCA স্তরের প্রশস্ত-হেড গণনার সঙ্গে সরাসরি মানিয়ে যায়।

হার্ডওয়্যার প্রস্তুত করুন: মডেলটির মোট প্যারামিটার ২৮০ বিলিয়ন। এমনকি FP8 কোয়ান্টাইজড ওজনের আকারও প্রায় 280GB, তাই একাধিক উচ্চক্ষমতার GPU-সহ সার্ভার প্রস্তুত করতে হবে, যেমন H সিরিজের SM90/SM100 আর্কিটেকচার। একটি GPU-তে এটি চালানো সম্ভব নয়।
মডেলের ওজন ডাউনলোড করুন: HuggingFace থেকে অফিসিয়াল রিপোজিটরি ডাউনলোড করুন। প্রয়োজন অনুযায়ী FP8 সংস্করণ (baidu/ERNIE-5.5-Flash-Base) অথবা BF16 সংস্করণ বেছে নিন। কমান্ডের উদাহরণ: huggingface-cli download baidu/ERNIE-5.5-Flash-Base --local-dir ./ernie-base।
ইনফারেন্স ফ্রেমওয়ার্ক ইনস্টল করুন: Sparse Attention আর্কিটেকচারের সঙ্গে সামঞ্জস্যের জন্য Baidu-এর অফিসিয়াল vLLM প্লাগইন (baidu/vLLM-ERNIE) স্থাপন করুন, অথবা অফিসিয়াল SGLang Cookbook ব্যবহার করুন।
ইনফারেন্স সার্ভিস চালু করুন: স্থানীয় ওজনের পাথ নির্দেশ করে vllm serve চালান, GPU-এর সংখ্যা অনুযায়ী --tensor-parallel-size সেট করুন এবং --enable-expert-parallel সক্রিয় করুন। সার্ভিস চালু হলে OpenAI-সামঞ্জস্যপূর্ণ ইন্টারফেস উন্মুক্ত হবে।
অনুরোধ পাঠান: স্ট্যান্ডার্ড OpenAI API ফরম্যাটে স্থানীয় পোর্টে অনুরোধ পাঠান। সর্বোচ্চ ১০ লক্ষ টোকেনের কনটেক্সট কনফিগার করা যায়, তবে --max-model-len মানটি GPU মেমরি অনুযায়ী সামঞ্জস্য করতে হবে।
ফাইন-টিউনিং ও কাস্টমাইজেশন: অফিসিয়াল Megatron-Bridge উদাহরণের ভিত্তিতে ডোমেইন-নির্দিষ্ট ধারাবাহিক প্রি-ট্রেনিং বা SFT করুন।

চূড়ান্ত ইনফারেন্স দক্ষতা: ২৮০ বিলিয়ন মোট প্যারামিটারের Sparse MoE আর্কিটেকচারে প্রতি টোকেনে মাত্র ১৪ বিলিয়ন প্যারামিটার সক্রিয় হয়, ফলে অত্যন্ত কম গণনামূলক ব্যয়ে বিশাল মডেল সক্ষমতা পাওয়া যায়।
অতি-দীর্ঘ কনটেক্সট সক্ষমতা: প্রি-ট্রেনিং কনটেক্সট 128K এবং ফাইন-টিউনিং ও ইনফারেন্সে সর্বোচ্চ ১০ লক্ষ টোকেন সমর্থিত, ফলে দীর্ঘ টেক্সট প্রক্রিয়াকরণের রিসোর্স ব্যয় উল্লেখযোগ্যভাবে কমে।
একই আকারের মডেলগুলোর মধ্যে শক্তিশালী পারফরম্যান্স: অফিসিয়াল মূল্যায়নে জ্ঞান, যুক্তি, গণিত, কোড, বহুভাষা ও দীর্ঘ কনটেক্সটসহ ৩০টি বেঞ্চমার্কে একই আকারের মডেলগুলোর মধ্যে SOTA ফল অর্জিত হয়েছে।
পদ্ধতিগত দক্ষতা উদ্ভাবন: Latent-Gated Sparse Attention, Multi-Router MoE এবং ECHO প্রশিক্ষণ লক্ষ্য Attention, রাউটিং ও প্রশিক্ষণ লক্ষ্যের তিনটি স্তরে সমন্বিতভাবে অপ্টিমাইজ করে।
সম্পূর্ণ ইঞ্জিনিয়ারিং অবকাঠামো: Distributed Muon Optimizer, FP8 মিশ্র নির্ভুলতা এবং নিজস্ব FlashMask-4 অপারেটর বৃহৎ-পরিসরের প্রশিক্ষণ ও ইনফারেন্সের দক্ষতা নিশ্চিত করে।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

দীর্ঘ নথির গভীর প্রক্রিয়াকরণ: সর্বোচ্চ ১০ লক্ষ টোকেনের কনটেক্সট ব্যবহার করে একবারে সম্পূর্ণ আইনি চুক্তি, আর্থিক প্রতিবেদন, গবেষণাপত্রের সংকলন বা কোড রিপোজিটরি প্রক্রিয়া করা যায়। এতে পূর্ণ নথির সারাংশ, অধ্যায়-জুড়ে প্রশ্নোত্তর ও তথ্য আহরণ করা সম্ভব।
কোড উন্নয়নে সহায়তা: শক্তিশালী কোডিং সক্ষমতা ও অতি-দীর্ঘ কনটেক্সটের মাধ্যমে সম্পূর্ণ রিপোজিটরির কাঠামো বোঝা, কোড তৈরি, রিফ্যাক্টরিংয়ের পরামর্শ এবং একাধিক ফাইলজুড়ে ত্রুটি বিশ্লেষণ করা যায়।
ডোমেইন মডেল কাস্টমাইজেশন: পোস্ট-ট্রেনিং না-করা ওপেন-সোর্স বেস মডেল হিসেবে প্রতিষ্ঠানগুলো নিজেদের শিল্পক্ষেত্রের করপাস দিয়ে ফাইন-টিউনিং করে আইন, অর্থনীতি, চিকিৎসাসহ বিভিন্ন বিশেষায়িত ক্ষেত্রের মডেল তৈরি করতে পারে।
বহুভাষিক কনটেন্ট প্রক্রিয়াকরণ: বহুভাষিক সক্ষমতা একই আকারের মডেলগুলোর মধ্যে SOTA পর্যায়ে থাকায় আন্তঃভাষিক নথি অনুবাদ, আন্তর্জাতিক কনটেন্ট পর্যালোচনা এবং বৈশ্বিক জ্ঞানভান্ডারে প্রশ্নোত্তরের জন্য উপযোগী।