মূল কনটেন্টে যান
এআই টিউটোরিয়াল

Transformers ব্যবহার করে স্থানীয়ভাবে Naive-N0.5-Flash চালান

Naive-N0.5-Flash কেন কোডিং ও AI গবেষণার জন্য উপযোগী, এর হাইব্রিড SWA–DSA আর্কিটেকচার কীভাবে কাজ করে, প্রয়োজনীয় Transformers নির্ভরতা কীভাবে ইনস্টল করবেন এবং প্রকাশিত FP8 ওজন দিয়ে কীভাবে টেক্সট তৈরি করবেন তা শিখুন।

পড়তে প্রায় 16 মিনিট লাগবে
Transformers ব্যবহার করে স্থানীয়ভাবে Naive-N0.5-Flash চালান

Naive-N0.5-Flash কী?

Naive-N0.5-Flash হলো কোডিং এবং AI গবেষণা ও উন্নয়নের জন্য তৈরি একটি open-weight Mixture-of-Experts মডেল। এতে মোট 309 বিলিয়ন প্যারামিটার রয়েছে, যার মধ্যে 15.5 বিলিয়ন সক্রিয় প্যারামিটার, এবং এটি সর্বাধিক 1 মিলিয়ন টোকেনের নেটিভ কনটেক্সট উইন্ডার সমর্থন করে।

মডেলের ওজন এবং inference কোড MIT License-এর অধীনে প্রকাশ করা হয়েছে। মডেলটি Hugging Face-এ এবং সোর্স প্রজেক্টটি GitHub-এ পাওয়া যাবে।

প্রধান বৈশিষ্ট্য

  • নেটিভ 1M-টোকেন কনটেক্সট: মডেলটি পূর্ণ-attention layer ছাড়াই Sliding-Window Attention (SWA) এবং DeepSeek Sparse Attention (DSA)-এর সমন্বয় ব্যবহার করে।
  • MoE দক্ষতা: মডেলটিতে মোট 309B প্যারামিটার থাকলেও প্রতিটি টোকেনের জন্য মাত্র 15.5B সক্রিয় থাকে।
  • কোডিং এবং AI R&D-কেন্দ্রিক: সফটওয়্যার ইঞ্জিনিয়ারিং, গবেষণা এবং সিস্টেম অপ্টিমাইজেশনের সক্ষমতা উন্নত করার জন্য মডেলটি প্রশিক্ষিত হয়েছে।
  • FP8 inference: প্রকাশিত checkpoint FP8-সমর্থিত NVIDIA GPU-তে mixed-precision inference সমর্থন করে।
  • উচ্চ-থ্রুপুট inference: NaiveRT inference system mega-kernel fusion, Programmatic Dependent Launch এবং speculative decoding একত্র করে। README অনুযায়ী, Standard mode-এ প্রতি ব্যবহারকারীর জন্য প্রতি সেকেন্ডে সর্বাধিক 50 টোকেন এবং Ultrafast mode-এ প্রতি সেকেন্ডে সর্বাধিক 2,000 টোকেন পাওয়া যায়।

Hybrid Attention Design বুঝুন

Naive-N0.5-Flash-এ 48টি transformer layer রয়েছে: 39টি SWA layer এবং 9টি DSA layer। SWA স্থানীয় attention-কে 128-টোকেন উইন্ডারে সীমাবদ্ধ রাখে, অন্যদিকে DSA একটি indexer ব্যবহার করে সম্পূর্ণ ইতিহাসের স্কোর নির্ধারণ করে এবং backbone attention-এর জন্য শীর্ষ 2,048টি টোকেন নির্বাচন করে।

মডেলটি ছয়টি করে layer-সমৃদ্ধ আটটি module-এ সংগঠিত। সাধারণত একটি module-এ পাঁচটি SWA layer-এর পরে একটি DSA layer থাকে, আর প্রথম module-এর প্রথম layer-টিও DSA দিয়ে প্রতিস্থাপিত। DSA চারটি key-value group-সহ grouped-query attention ব্যবহার করে, যা GQA4 নামে পরিচিত; এর indexer-এ 16টি query head রয়েছে।

এই নকশা অধিকাংশ attention computation স্থানীয় রাখে, একই সঙ্গে দীর্ঘ কনটেক্সটের নির্বাচিত তথ্যকে generation-এ প্রভাব বিস্তার করতে দেয়। সম্পূর্ণ key-value cache সংরক্ষিত থাকে, তবে backbone কেবল নির্বাচিত DSA টোকেনগুলোর ওপর attention প্রয়োগ করে।

হার্ডওয়্যার ও ইনস্টলেশন প্রয়োজনীয়তা

Naive-N0.5-Flash-এর জন্য FP8-সমর্থিত NVIDIA GPU প্রয়োজন। মডেলের ওজন প্রায় 315 GB জায়গা নেয়, এবং inference-এর জন্য অতিরিক্ত GPU মেমরি রাখতে হবে।

README-তে Transformers-ভিত্তিক quick start দেওয়া আছে। PyTorch এবং প্রয়োজনীয় kernel-সহ Transformers-এর সাম্প্রতিক সংস্করণ ইনস্টল করুন:

pip install "transformers[torch,kernels]>=5.17.0"

Transformers দিয়ে মডেল চালান

Dependency ইনস্টল করার এবং প্রয়োজনীয় GPU resource উপলভ্য নিশ্চিত করার পর Hugging Face থেকে FP8 checkpoint লোড করুন। নিচের উদাহরণটি একটি tokenizer তৈরি করে, মডেল লোড করে, ব্যবহারকারীর বার্তা format করে এবং একটি response তৈরি করে:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "NaiveAI/Naive-N0.5-Flash-FP8"
tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True,
)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype="auto",
    device_map="auto",
)

inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": "Hello!"}],
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(
    **inputs,
    max_new_tokens=2048,
)
response = tokenizer.decode(
    output[0, inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)
print(response)

উদাহরণটি কীভাবে কাজ করে

  1. Checkpoint নির্বাচন: NaiveAI/Naive-N0.5-Flash-FP8 Hugging Face-এ থাকা FP8 মডেলটি শনাক্ত করে।
  2. Tokenizer লোড: trust_remote_code=True মডেল repository-এর custom Transformers code সক্রিয় করে।
  3. মডেল লোড: dtype="auto" Transformers-কে checkpoint-এর উপযুক্ত data type ব্যবহার করতে দেয়, আর device_map="auto" উপলভ্য device-গুলোর মধ্যে মডেলের component বসায়।
  4. কথোপকথন format: apply_chat_template ব্যবহারকারীর বার্তাকে মডেলের প্রত্যাশিত format-এ রূপান্তর করে এবং একটি generation prompt যোগ করে।
  5. টেক্সট তৈরি: max_new_tokens=2048 নতুন তৈরি হতে পারে এমন টোকেনের সংখ্যা সীমিত করে।
  6. শুধু response decode: input length-এর পর থেকে শুরু হওয়া slice মূল prompt বাদ দেয়, তাই শুধু তৈরি করা টেক্সট print হয়।

প্রস্তাবিত Generation Settings

সাধারণ ব্যবহারের জন্য প্রজেক্টটি temperature=1.0 এবং top_p=0.95 সেট করার পরামর্শ দেয়। ন্যূনতম README উদাহরণে এই মানগুলো অন্তর্ভুক্ত নেই, তবে sampling behavior স্পষ্টভাবে নির্ধারণ করতে চাইলে generate-এ এগুলো পাঠাতে পারেন:

output = model.generate(
    **inputs,
    max_new_tokens=2048,
    temperature=1.0,
    top_p=0.95,
)

আপনার কাজের উপযোগী max_new_tokens মান ব্যবহার করুন। বড় limit দীর্ঘ উত্তর তৈরি করতে পারে এবং বেশি generation time ও memory প্রয়োজন করতে পারে।

উন্নত ব্যবহার সংক্রান্ত বিবেচনা

দীর্ঘ কনটেক্সট সচেতনভাবে ব্যবহার করুন

Hybrid SWA–DSA architecture-এর মাধ্যমে 1M-টোকেন কনটেক্সট উইন্ডার নেটিভ সমর্থন রয়েছে। দীর্ঘ codebase, গবেষণাসামগ্রী বা একাধিক ফাইলের কাজের ক্ষেত্রে প্রাসঙ্গিক কনটেক্সট কাঠামোবদ্ধভাবে দিন এবং নির্দেশনা স্পষ্ট রাখুন। SWA-এর মাধ্যমে স্থানীয় বিবরণ সংরক্ষণ এবং DSA-এর মাধ্যমে গুরুত্বপূর্ণ ইতিহাস নির্বাচন করার জন্য architecture-টি নকশা করা হয়েছে।

লোড করার আগে GPU Capacity পরিকল্পনা করুন

অতিরিক্ত ইনফারেন্স মেমরি হিসাব করার আগে চেকপয়েন্টটি প্রায় 315 GB জায়গা দখল করে। মডেল চালু করার আগে আপনার FP8-সমর্থিত NVIDIA GPU সেটআপে পর্যাপ্ত সক্ষমতা আছে কি না যাচাই করুন। device_map="auto"-এর মাধ্যমে স্বয়ংক্রিয় ডিভাইস প্লেসমেন্ট মডেলটিকে উপলভ্য ডিভাইসগুলোর মধ্যে বিতরণ করতে পারে, তবে এটি চেকপয়েন্ট ও রানটাইমের জন্য প্রয়োজনীয় মোট মেমরি কমায় না।

অপ্টিমাইজড ইনফারেন্স বিবেচনা করুন

README-তে NaiveRT-কে প্রকল্পটির অপ্টিমাইজড ইনফারেন্স সিস্টেম হিসেবে বর্ণনা করা হয়েছে। এর কৌশলগুলোর মধ্যে রয়েছে মেগা-কার্নেল ফিউশন, প্রোগ্রাম্যাটিক ডিপেন্ডেন্ট লঞ্চ এবং স্পেকুলেটিভ ডিকোডিং। সাধারণ Transformers ডিপ্লয়মেন্টের বাইরে উচ্চ থ্রুপুট প্রয়োজন হলে, NaiveRT-এর কেস স্টাডি ও বাস্তবায়নের বিবরণের জন্য প্রকল্পটির প্রযুক্তিগত ব্লগ দেখুন।

বেঞ্চমার্কের প্রেক্ষাপট পর্যালোচনা করুন

প্রকাশিত মূল্যায়নগুলো কোডিং, সফটওয়্যার ইঞ্জিনিয়ারিং, এজেন্টিক কাজ, AI গবেষণা এবং সিস্টেম অপ্টিমাইজেশন অন্তর্ভুক্ত করে। অন্যথায় উল্লেখ না থাকলে, ফলাফলগুলো সাধারণত Claude Code 2.1.207, 1M-টোকেনের কনটেক্সট উইন্ডো, temperature 1.0, top-p 0.95 এবং মৌলিক ফাইল I/O ও Bash টুল ব্যবহার করে মূল্যায়ন করা হয়েছে। বেঞ্চমার্কের তুলনাগুলো তাদের উল্লেখিত হারনেস ও মূল্যায়ন প্রোটোকলের ওপর নির্ভরশীল হিসেবে বিবেচনা করুন।

লাইসেন্স ও অতিরিক্ত রিসোর্স

Naive-N0.5-Flash MIT লাইসেন্সের অধীনে প্রকাশিত। মডেল রিলিজ ও সংশ্লিষ্ট প্রকল্পের জন্য NaiveAI GitHub সংস্থা অথবা NaiveAI Hugging Face প্রোফাইল দেখুন। আর্কিটেকচার, প্রশিক্ষণ প্রক্রিয়া এবং ইনফারেন্স অপ্টিমাইজেশন সম্পর্কে প্রযুক্তিগত পটভূমি প্রকল্পটির প্রযুক্তিগত ব্লগে পাওয়া যায়।

উপসংহার

Naive-N0.5-Flash 309B-প্যারামিটারের MoE ডিজাইনের সঙ্গে 15.5B সক্রিয় প্যারামিটার, হাইব্রিড SWA–DSA অ্যাটেনশন এবং 1M-টোকেনের নেটিভ কনটেক্সট উইন্ডো একত্র করে। এটি স্থানীয়ভাবে ব্যবহার করতে প্রয়োজনীয় কার্নেলসহ Transformers ইনস্টল করুন, প্রায় 315 GB ওজনের জন্য FP8-সমর্থিত NVIDIA হার্ডওয়্যার ব্যবহার করুন, Hugging Face চেকপয়েন্ট লোড করুন এবং সুপারিশকৃত স্যাম্পলিং সেটিংস দিয়ে প্রতিক্রিয়া তৈরি করুন।