Transformers کے ساتھ Naive-N0.5-Flash مقامی طور پر چلائیں

Naive-N0.5-Flash کیا ہے؟

Naive-N0.5-Flash ایک اوپن ویٹ Mixture-of-Experts ماڈل ہے، جو کوڈنگ اور مصنوعی ذہانت کی تحقیق و ترقی کے لیے ڈیزائن کیا گیا ہے۔ اس میں کل 309 ارب پیرامیٹرز ہیں، جن میں سے 15.5 ارب فعال پیرامیٹرز ہیں، اور یہ زیادہ سے زیادہ 1 ملین ٹوکنز کی مقامی کانٹیکسٹ ونڈو کو سپورٹ کرتا ہے۔

ماڈل کے ویٹس اور انفیرنس کوڈ MIT License کے تحت جاری کیے گئے ہیں۔ ماڈل Hugging Face پر اور سورس پروجیکٹ GitHub پر دستیاب ہے۔

اہم خصوصیات

• مقامی 1 ملین ٹوکن کانٹیکسٹ: ماڈل Sliding-Window Attention (SWA) اور DeepSeek Sparse Attention (DSA) کے امتزاج کا استعمال کرتا ہے، جبکہ full-attention layers شامل نہیں ہیں۔
• MoE کی کارکردگی: اگرچہ ماڈل میں کل 309 ارب پیرامیٹرز ہیں، لیکن ہر ٹوکن کے لیے صرف 15.5 ارب فعال ہوتے ہیں۔
• کوڈنگ اور AI R&D پر توجہ: ماڈل کو سافٹ ویئر انجینئرنگ، تحقیق اور سسٹمز کی اصلاح کی صلاحیتیں بہتر بنانے کے لیے تربیت دی گئی ہے۔
• FP8 انفیرنس: جاری کردہ چیک پوائنٹ FP8 کی صلاحیت رکھنے والے NVIDIA GPUs پر mixed-precision انفیرنس کو سپورٹ کرتا ہے۔
• اعلیٰ تھروپٹ انفیرنس: NaiveRT انفیرنس سسٹم mega-kernel fusion، Programmatic Dependent Launch اور speculative decoding کو یکجا کرتا ہے۔ README کے مطابق Standard موڈ میں فی صارف فی سیکنڈ 50 ٹوکنز تک، اور Ultrafast موڈ میں فی سیکنڈ 2,000 ٹوکنز تک حاصل کیے جا سکتے ہیں۔

Hybrid Attention ڈیزائن کو سمجھیں

Naive-N0.5-Flash میں 48 transformer layers ہیں: 39 SWA layers اور 9 DSA layers۔ SWA مقامی توجہ کو 128 ٹوکنز کی ونڈو تک محدود رکھتا ہے، جبکہ DSA پوری ہسٹری کو اسکور کرنے کے لیے ایک indexer استعمال کرتا ہے اور backbone attention کے لیے بہترین 2,048 ٹوکنز منتخب کرتا ہے۔

ماڈل کو چھ چھ layers پر مشتمل آٹھ modules میں منظم کیا گیا ہے۔ ایک عام module میں پانچ SWA layers کے بعد ایک DSA layer ہوتی ہے، جبکہ پہلے module کی پہلی layer کو بھی DSA سے تبدیل کیا گیا ہے۔ DSA چار key-value groups کے ساتھ grouped-query attention استعمال کرتا ہے، جسے GQA4 کہا جاتا ہے، اور اس کے indexer میں 16 query heads ہیں۔

یہ ڈیزائن زیادہ تر attention computation کو مقامی رکھتا ہے، جبکہ طویل کانٹیکسٹ سے منتخب معلومات کو generation پر اثر انداز ہونے دیتا ہے۔ مکمل key-value cache برقرار رہتا ہے، لیکن backbone صرف منتخب DSA ٹوکنز پر attention دیتا ہے۔

ہارڈ ویئر اور انسٹالیشن کے تقاضے

Naive-N0.5-Flash کے لیے FP8 کی صلاحیت رکھنے والے NVIDIA GPUs درکار ہیں۔ ماڈل کے ویٹس تقریباً 315 GB جگہ لیتے ہیں، اور انفیرنس کے لیے اضافی GPU میموری بھی مختص کریں۔

README میں Transformers پر مبنی فوری آغاز کا طریقہ فراہم کیا گیا ہے۔ PyTorch اور مطلوبہ kernels کے ساتھ Transformers کا حالیہ ورژن انسٹال کریں:

pip install "transformers[torch,kernels]>=5.17.0"

Transformers کے ساتھ ماڈل چلائیں

Dependencies انسٹال کرنے اور مطلوبہ GPU وسائل کی دستیابی یقینی بنانے کے بعد، Hugging Face سے FP8 checkpoint لوڈ کریں۔ درج ذیل مثال tokenizer بناتی ہے، ماڈل لوڈ کرتی ہے، صارف کے پیغام کو فارمیٹ کرتی ہے اور جواب تیار کرتی ہے:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "NaiveAI/Naive-N0.5-Flash-FP8"
tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True,
)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype="auto",
    device_map="auto",
)

inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": "Hello!"}],
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(
    **inputs,
    max_new_tokens=2048,
)
response = tokenizer.decode(
    output[0, inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)
print(response)

مثال کیسے کام کرتا ہے

1. چیک پوائنٹ منتخب کریں: NaiveAI/Naive-N0.5-Flash-FP8، Hugging Face پر موجود FP8 ماڈل کی شناخت کرتا ہے۔
2. Tokenizer لوڈ کریں: trust_remote_code=True ماڈل repository کے custom Transformers code کو فعال کرتا ہے۔
3. ماڈل لوڈ کریں: dtype="auto" Transformers کو checkpoint کے لیے مناسب data type استعمال کرنے دیتا ہے، جبکہ device_map="auto" ماڈل کے اجزا کو دستیاب devices پر تقسیم کرتا ہے۔
4. گفتگو فارمیٹ کریں: apply_chat_template صارف کے پیغام کو ماڈل کے متوقع فارمیٹ میں تبدیل کرتا ہے اور generation prompt شامل کرتا ہے۔
5. متن تیار کریں: max_new_tokens=2048 نئے تیار کیے جانے والے ٹوکنز کی تعداد محدود کرتا ہے۔
6. صرف جواب decode کریں: input length کے بعد شروع ہونے والا slice اصل prompt کو ہٹا دیتا ہے، اس کے بعد تیار کردہ متن پرنٹ ہوتا ہے۔

تجویز کردہ Generation Settings

عام استعمال کے لیے پروجیکٹ temperature=1.0 اور top_p=0.95 مقرر کرنے کی تجویز دیتا ہے۔ یہ values کم سے کم README مثال میں شامل نہیں ہیں، لیکن sampling behavior کو واضح طور پر متعین کرنے کے لیے انہیں generate میں پاس کیا جا سکتا ہے:

output = model.generate(
    **inputs,
    max_new_tokens=2048,
    temperature=1.0,
    top_p=0.95,
)

اپنے task کے لیے موزوں max_new_tokens value استعمال کریں۔ زیادہ limits طویل جوابات تیار کر سکتی ہیں اور زیادہ generation time اور memory درکار ہو سکتی ہے۔

اعلیٰ درجے کے استعمال کے نکات

طویل کانٹیکسٹ کا سوچ سمجھ کر استعمال کریں

1 ملین ٹوکنز کی کانٹیکسٹ ونڈو hybrid SWA–DSA architecture کے ذریعے مقامی طور پر سپورٹ کی جاتی ہے۔ طویل codebases، تحقیقی مواد یا متعدد فائلوں والے tasks کے لیے متعلقہ کانٹیکسٹ کو منظم انداز میں فراہم کریں اور ہدایات واضح رکھیں۔ یہ architecture SWA کے ذریعے مقامی تفصیل محفوظ رکھنے اور DSA کے ذریعے اہم ہسٹری منتخب کرنے کے لیے ڈیزائن کیا گیا ہے۔

ماڈل لوڈ کرنے سے پہلے GPU Capacity کا منصوبہ بنائیں

اضافی inference میموری کو شامل کیے بغیر checkpoint تقریباً 315 GB جگہ لیتا ہے۔ ماڈل شروع کرنے سے پہلے تصدیق کریں کہ آپ کے FP8-قابل NVIDIA GPU سیٹ اپ میں کافی گنجائش موجود ہے۔ device_map="auto" کے ذریعے خودکار device placement ماڈل کو دستیاب devices میں تقسیم کر سکتی ہے، لیکن یہ checkpoint اور runtime کے لیے درکار مجموعی میموری کم نہیں کرتی۔

آپٹمائزڈ Inference پر غور کریں

README میں NaiveRT کو اس منصوبے کے آپٹمائزڈ inference سسٹم کے طور پر بیان کیا گیا ہے۔ اس کی تکنیکوں میں mega-kernel fusion، Programmatic Dependent Launch، اور speculative decoding شامل ہیں۔ اگر آپ کو بنیادی Transformers deployment سے زیادہ throughput درکار ہو تو NaiveRT کے case study اور implementation details کے لیے منصوبے کا technical blog دیکھیں۔

Benchmark کے سیاق و سباق کا جائزہ لیں

شائع شدہ evaluations میں coding، software engineering، agentic tasks، AI research، اور systems optimization شامل ہیں۔ نتائج کا عمومی طور پر Claude Code 2.1.207، 1M-token context window، temperature 1.0، top-p 0.95، اور بنیادی file I/O اور Bash tools کے ساتھ جائزہ لیا گیا، جب تک کہ بصورت دیگر وضاحت نہ کی گئی ہو۔ Benchmark کے موازنے کو ان کے بیان کردہ harnesses اور evaluation protocols پر منحصر سمجھیں۔

لائسنس اور مزید وسائل

Naive-N0.5-Flash، MIT License کے تحت جاری کیا گیا ہے۔ ماڈل releases اور متعلقہ منصوبوں کے لیے NaiveAI GitHub organization یا NaiveAI Hugging Face profile دیکھیں۔ architecture، training process، اور inference optimizations کے بارے میں تکنیکی پس منظر منصوبے کے technical blog پر دستیاب ہے۔

نتیجہ

Naive-N0.5-Flash، 15.5B active parameters، hybrid SWA–DSA attention، اور native 1M-token context window کے ساتھ 309B-parameter MoE design کو یکجا کرتا ہے۔ اسے مقامی طور پر آزمانے کے لیے required kernels کے ساتھ Transformers انسٹال کریں، تقریباً 315 GB weights کے لیے FP8-قابل NVIDIA hardware استعمال کریں، Hugging Face checkpoint لوڈ کریں، اور تجویز کردہ sampling settings کے ساتھ responses generate کریں۔