Naive-N0.5-Flash চালু আছে

Naive-N0.5-Flash হলো NaiveAI-এর প্রকাশিত প্রথম MoE বৃহৎ মডেল, যা প্রোগ্রামিং ও AI গবেষণা-উন্নয়ন পরিস্থিতির জন্য তৈরি। Naive-N0.5-Flash শাওমির MiMo-V2.5 বেস মডেলের ওপর ভিত্তি করে পরিবর্তিত, 309B MoE আর্কিটেকচার ব্যবহার করে। এতে SWA+DSA মিশ্র স্পার্স অ্যাটেনশন রয়েছে, স্থানীয়ভাবে 1M কনটেক্সট সমর্থন করে এবং কোনো ফুল-অ্যাটেনশন স্তর নেই। মডেলটির গবেষণা ও উন্নয়নে AI গভীরভাবে অংশ নিয়েছে। এর সহায়ক ইনফারেন্স সিস্টেম NaiveRT-এর একক-স্ট্রিম ডিকোডিংয়ের সর্বোচ্চ গতি 2122 tokens/s।

দীর্ঘ কনটেক্সট প্রোগ্রামিং: স্থানীয়ভাবে 1M token কনটেক্সট সমর্থন করে এবং অতিদীর্ঘ কোড রিপোজিটরি ও দীর্ঘমেয়াদি সফটওয়্যার ইঞ্জিনিয়ারিং কাজ পরিচালনা করতে পারে।
AI গবেষণা-উন্নয়ন সহায়তা: গবেষণাপত্র পড়তে, পদ্ধতি পুনরুৎপাদন করতে, পরীক্ষা চালাতে ও ফলাফল বিশ্লেষণ করতে পারে এবং মডেল গবেষণা-উন্নয়নের সম্পূর্ণ প্রক্রিয়ায় সরাসরি অংশ নিতে পারে।
ইনফারেন্স ত্বরান্বিতকরণ: সহায়ক NaiveRT ইনফারেন্স সিস্টেমে সাধারণ মোডে 50 tokens/s এবং দ্রুততম মোডে একক-স্ট্রিম ডিকোডিংয়ের সর্বোচ্চ গতি 2,122 tokens/s।
স্বয়ংসম্পূর্ণ গবেষণা: নির্ধারিত লক্ষ্য, কম্পিউটিং বাজেট ও মূল্যায়ন প্রোটোকল পাওয়ার পর প্রান্ত থেকে প্রান্তে স্বয়ংক্রিয়ভাবে গবেষণা এগিয়ে নিতে পারে।

WeChat-এ অনুসরণ করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
SWA–DSA মিশ্র স্পার্স অ্যাটেনশন: MiMo-V2.5 বেস মডেলের ওপর ভিত্তি করে মডেলটি ব্যয়বহুল গ্লোবাল অ্যাটেনশন স্তরগুলোকে DeepSeek স্পার্স অ্যাটেনশন দিয়ে প্রতিস্থাপন করে এবং স্লাইডিং-উইন্ডো অ্যাটেনশনের সঙ্গে 5:1 অনুপাতে পালাক্রমে স্তর সাজায়। পুরো নেটওয়ার্কে কোনো ফুল-অ্যাটেনশন স্তর নেই। SWA 128 token-এর স্থানীয় উইন্ডো পরিচালনা করে, আর DSA-এর হালকা ইনডেক্সার পুরো ইতিহাসের ওপর স্কোর করে প্রধান নেটওয়ার্কের গণনার জন্য top-2048 token নির্বাচন করে।
হালকা ইনডেক্সার নকশা: DSA-এর মূল MLA-কে GQA-তে পরিবর্তন করা হয়েছে। ইনডেক্সারের query head 64 থেকে কমিয়ে 16 করা হয়েছে, ফলে ইনডেক্স নির্বাচনের পথের সময় 44% কমেছে এবং 1M কনটেক্সটের Agent কাজে কর্মক্ষমতা হ্রাস পায়নি।
তিন-পর্যায়ের প্রশিক্ষণ প্রক্রিয়া: প্রথমে 50B token-এ মূল নেটওয়ার্ক স্থির রেখে KL divergence loss ব্যবহার করে ইনডেক্সার ও ফুল-অ্যাটেনশন বিতরণ সামঞ্জস্য করা হয়; এরপর স্পার্স অ্যাটেনশনে পরিবর্তন করে 3T token অব্যাহত প্রি-ট্রেনিং করা হয়, যাতে নতুন তথ্য-নির্বাচন পদ্ধতির সঙ্গে খাপ খাওয়ানো এবং প্রোগ্রামিং ও গবেষণা-উন্নয়ন সক্ষমতা জোরদার হয়; সবশেষে 200B token supervised fine-tuning করা হয় এবং learning rate কমানো হয়। পুরো প্রক্রিয়ায় 1M কনটেক্সট বজায় থাকে, আর AI স্বয়ংক্রিয়ভাবে top-k retrieval বিশ্লেষণ ও সংখ্যাগত স্থিতিশীলতা সংশোধন সম্পন্ন করে।
মিশ্র sequence parallelism ও GPU মেমরি অপ্টিমাইজেশন: SWA-এর জন্য শুধু স্থানীয় উইন্ডো এবং DSA-এর জন্য পুরো ইতিহাস প্রয়োজন হওয়ায় দুটির জন্য পৃথক Halo sequence parallelism ব্যবহার করা হয়। GPU মেমরির ক্ষেত্রে activation offload-এর দানাগুলো operator স্তরে সূক্ষ্ম করা হয়েছে এবং পুনরায় গণনার ফলে নির্বাচন বদলে যাওয়া এড়াতে top-k index স্পষ্টভাবে সংরক্ষণ করা হয়। 512 GPU-তে প্রায় 4 দিনে 1T token প্রশিক্ষণ করা যায়।
NaiveRT ইনফারেন্স অপ্টিমাইজেশন: বিশাল operator fusion, PDL-এর মাধ্যমে upstream ও downstream kernel-এর ওভারল্যাপড execution এবং GPU-তে সম্পূর্ণ speculative decoding loop চালানোর মাধ্যমে এক রাউন্ডের decoding latency 12.3ms থেকে কমিয়ে 3.4ms করা হয়েছে। এটি random seed অনুযায়ী bit-by-bit deterministic sampling সমর্থন করে, ফলে RL প্রশিক্ষণে sampling ও training logprob সামঞ্জস্যপূর্ণ থাকে। সব অপ্টিমাইজেশনের গ্রহণযোগ্যতার মানদণ্ড হলো end-to-end প্রকৃত মডেল পথ।

হার্ডওয়্যার নিশ্চিত করুন: FP8 সমর্থনকারী NVIDIA GPU প্রয়োজন। মডেলের ওজন প্রায় 315GB, তাই অতিরিক্ত GPU মেমরি সংরক্ষণ করতে হবে।
ওজন সংগ্রহ করুন: Hugging Face থেকে NaiveAI/Naive-N0.5-Flash-FP8 রিপোজিটরি ডাউনলোড করুন।
নির্ভরতা ইনস্টল করুন: pip install "transformers[torch,kernels]>=5.17.0" চালান।
মডেল লোড করুন: AutoTokenizer ও AutoModelForCausalLM ব্যবহার করে trust_remote_code=True এবং device_map="auto" পদ্ধতিতে লোড করুন।
ইনপুট তৈরি করুন: apply_chat_template-এর মাধ্যমে কথোপকথনের বার্তা পাঠিয়ে ইনপুট tensor তৈরি করুন।
ফলাফল তৈরি করুন: উত্তর তৈরি করতে model.generate() কল করুন, এরপর tokenizer.decode() দিয়ে আউটপুট ডিকোড করুন।
প্যারামিটার সেট করুন: সাধারণ পরিস্থিতিতে temperature=1.0 এবং top_p=0.95 সুপারিশ করা হয়।
উচ্চ-গতির ইনফারেন্স পুনরুৎপাদন করুন: 2,122 tokens/s গতি প্রয়োজন হলে NaiveRT-এর ওপেন-সোর্স কোড, Docker Compose পরিবেশ ও সংশ্লিষ্ট benchmark script সংগ্রহ করে নিজে ডিপ্লয় করুন।

অতিদীর্ঘ কনটেক্সট: স্থানীয়ভাবে 1M token কনটেক্সট সমর্থন করে এবং পুরো নেটওয়ার্কে কোনো ফুল-অ্যাটেনশন স্তর নেই, ফলে দীর্ঘ sequence decoding-এর ব্যয় প্রচলিত আর্কিটেকচারের তুলনায় অনেক কম।
শীর্ষস্থানীয় ইনফারেন্স গতি: সহায়ক NaiveRT সিস্টেমে একক-স্ট্রিম ডিকোডিংয়ের সর্বোচ্চ গতি 2,122 tokens/s এবং SGLang-এর তুলনায় speculative decoding latency 72.4% কম।
উল্লেখযোগ্য গবেষণা-উন্নয়ন সক্ষমতা: PaperBench 63.2, MLE-bench-30 73.7%, NanoGPT SpeedRun 73.8s; একাধিক AI গবেষণা-উন্নয়ন মূল্যায়নে সমমানের মডেলকে ছাড়িয়ে যায়।
AI-নেটিভ গবেষণা-উন্নয়ন: আর্কিটেকচার নকশা ও সিস্টেম অপ্টিমাইজেশনে AI অংশ নিয়েছে। এটি মানুষের লক্ষ্য নির্ধারণ এবং AI-এর পুনরাবৃত্তিমূলক বাস্তবায়নের “AI গবেষণা করে AI” পদ্ধতির বাস্তব প্রয়োগ।
স্বয়ংসম্পূর্ণ গবেষণার সম্ভাবনা: লক্ষ্য ও বাজেট নির্ধারণ করে দিলে প্রান্ত থেকে প্রান্তে স্বয়ংক্রিয়ভাবে গবেষণা সম্পন্ন করতে পারে। 400 ঘণ্টা প্রশিক্ষণে AutoWM বিশ্ব মডেল তৈরি করে WorldArena-তে শীর্ষস্থান অর্জন করেছে।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://naive.ai/en/research/
GitHub রিপোজিটরি: https://github.com/NaiveAI-Labs/Naive-N0.5-Flash
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/NaiveAI/Naive-N0.5-Flash

AI গবেষণা-উন্নয়ন সহকারী: গবেষকদের গবেষণাপত্র পড়া, পদ্ধতি পুনরুৎপাদন, পরীক্ষা চালানো ও ফলাফল বিশ্লেষণে সহায়তা করে, যেমন PaperBench ও MLE-bench ধরনের গবেষণা-উন্নয়ন কাজ।
দীর্ঘমেয়াদি সফটওয়্যার ইঞ্জিনিয়ারিং: স্থানীয়ভাবে 1M কনটেক্সটের সাহায্যে বড় কোড রিপোজিটরি পরিচালনা করে, আন্তঃফাইল বোঝাপড়া, বাগ সংশোধন ও রিপোজিটরি-স্তরের কোড তৈরি সম্পন্ন করে।
দীর্ঘ কনটেক্সট Agent কাজ: টার্মিনাল অপারেশন ও বহু-ধাপের tool call-এর মতো দীর্ঘ ইন্টারঅ্যাকশন পরিস্থিতিতে সম্পূর্ণ কাজের ইতিহাস বজায় রাখে।
RL প্রশিক্ষণ অবকাঠামো: NaiveRT-এর উচ্চ একক-স্ট্রিম ডিকোডিং গতি ও bit-by-bit deterministic sampling-এর সাহায্যে দীর্ঘমেয়াদি reinforcement learning rollout ত্বরান্বিত করে এবং পিছিয়ে পড়া sample কমায়।