Naive-N0.5-Flash’ni Transformers bilan mahalliy ishga tushirish

Naive-N0.5-Flash nima?

Naive-N0.5-Flash kodlash hamda sun’iy intellekt bo‘yicha tadqiqot va ishlab chiqish uchun yaratilgan, ochiq og‘irliklarga ega Mixture-of-Experts modelidir. U jami 309 milliard parametrni, shundan 15,5 milliard faol parametrni o‘z ichiga oladi va 1 million token hajmigacha bo‘lgan mahalliy kontekst oynasini qo‘llab-quvvatlaydi.

Model og‘irliklari va inferens kodi MIT litsenziyasi ostida chiqarilgan. Modelni Hugging Face platformasida, manba loyihasini esa GitHubda topishingiz mumkin.

Asosiy xususiyatlar

• Mahalliy 1 million tokenlik kontekst: Model to‘liq attention qatlamlarisiz Sliding-Window Attention (SWA) va DeepSeek Sparse Attention (DSA) usullarining gibrididan foydalanadi.
• MoE samaradorligi: Model jami 309 milliard parametrga ega bo‘lsa-da, har bir token uchun faqat 15,5 milliard parametr faol bo‘ladi.
• Kodlash va AI tadqiqot-ishlab chiqishiga yo‘naltirilgan: Model dasturiy ta’minot muhandisligi, tadqiqotlar va tizimlarni optimallashtirish imkoniyatlarini yaxshilash uchun o‘qitilgan.
• FP8 inferensi: Chiqarilgan checkpoint FP8 formatini qo‘llab-quvvatlaydigan NVIDIA GPU’larida aralash aniqlikdagi inferensni qo‘llab-quvvatlaydi.
• Yuqori o‘tkazuvchanlikdagi inferens: NaiveRT inferens tizimi mega-kernel fusion, Programmatic Dependent Launch va spekulyativ dekodlashni birlashtiradi. README ma’lumotlariga ko‘ra, Standard rejimida har bir foydalanuvchi uchun soniyasiga 50 tagacha token, Ultrafast rejimida esa soniyasiga 2 000 tagacha token tezlikka erishiladi.

Gibrid attention dizaynini tushunish

Naive-N0.5-Flash 48 ta transformer qatlamidan foydalanadi: 39 ta SWA qatlami va 9 ta DSA qatlami. SWA mahalliy attentionni 128 tokenlik oyna bilan cheklaydi, DSA esa to‘liq tarixni baholash uchun indeksatordan foydalanib, backbone attention uchun eng yuqori ball olgan 2 048 ta tokenni tanlaydi.

Model sakkizta, har biri olti qatlamdan iborat modulga tashkil etilgan. Odatdagi modul beshta SWA qatlamidan keyin bitta DSA qatlamini o‘z ichiga oladi, birinchi modulning birinchi qatlami esa DSA bilan almashtirilgan. DSA to‘rtta key-value guruhiga ega grouped-query attention’dan foydalanadi; bu GQA4 deb ataladi. Uning indeksatorida 16 ta query head mavjud.

Bu dizayn attention hisob-kitoblarining katta qismini mahalliy darajada saqlab qoladi, shu bilan birga uzun kontekstdan tanlangan ma’lumotlarning generatsiyaga ta’sir qilishiga imkon beradi. To‘liq key-value keshi saqlanadi, biroq backbone faqat tanlangan DSA tokenlariga attention qo‘llaydi.

Uskuna va o‘rnatish talablari

Naive-N0.5-Flash uchun FP8 formatini qo‘llab-quvvatlaydigan NVIDIA GPU’lar talab qilinadi. Model og‘irliklari taxminan 315 GB joy egallaydi, inferens uchun esa qo‘shimcha GPU xotirasi ajratish kerak.

README Transformers asosidagi tezkor ishga tushirish usulini taqdim etadi. Transformers’ning PyTorch va kerakli kernel’lar bilan so‘nggi versiyasini o‘rnating:

pip install "transformers[torch,kernels]>=5.17.0"

Modelni Transformers bilan ishga tushirish

Qaramliklarni o‘rnatib, kerakli GPU resurslari mavjudligini ta’minlaganingizdan so‘ng, Hugging Face’dan FP8 checkpoint’ini yuklang. Quyidagi misol tokenizer yaratadi, modelni yuklaydi, foydalanuvchi xabarini formatlaydi va javob generatsiya qiladi:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "NaiveAI/Naive-N0.5-Flash-FP8"
tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True,
)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype="auto",
    device_map="auto",
)

inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": "Hello!"}],
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(
    **inputs,
    max_new_tokens=2048,
)
response = tokenizer.decode(
    output[0, inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)
print(response)

Misol qanday ishlaydi

1. Checkpoint’ni tanlash: NaiveAI/Naive-N0.5-Flash-FP8 Hugging Face’dagi FP8 modelini aniqlaydi.
2. Tokenizer’ni yuklash: trust_remote_code=True model repozitoriysidagi maxsus Transformers kodidan foydalanishni yoqadi.
3. Modelni yuklash: dtype="auto" Transformers’ga checkpoint uchun mos ma’lumot turidan foydalanish imkonini beradi, device_map="auto" esa model komponentlarini mavjud qurilmalar bo‘ylab joylashtiradi.
4. Suhbatni formatlash: apply_chat_template foydalanuvchi xabarini model kutadigan formatga o‘tkazadi va generatsiya promptini qo‘shadi.
5. Matn generatsiyasi: max_new_tokens=2048 yangi generatsiya qilinadigan tokenlar sonini cheklaydi.
6. Faqat javobni dekodlash: Kirish uzunligidan keyin boshlanadigan slice chop etishdan oldin dastlabki promptni olib tashlaydi.

Tavsiya etilgan generatsiya sozlamalari

Umumiy foydalanish uchun loyiha temperature=1.0 va top_p=0.95 qiymatlarini o‘rnatishni tavsiya qiladi. Bu qiymatlar minimal README misoliga kiritilmagan, biroq sampling xatti-harakatini aniq belgilamoqchi bo‘lganingizda ularni generate funksiyasiga uzatishingiz mumkin:

output = model.generate(
    **inputs,
    max_new_tokens=2048,
    temperature=1.0,
    top_p=0.95,
)

Vazifangizga mos max_new_tokens qiymatidan foydalaning. Kattaroq limitlar uzunroq javoblar hosil qilishi va ko‘proq generatsiya vaqti hamda xotira talab qilishi mumkin.

Ilg‘or foydalanish bo‘yicha mulohazalar

Uzun kontekstdan maqsadli foydalaning

1 million tokenlik kontekst oynasi gibrid SWA–DSA arxitekturasi orqali mahalliy tarzda qo‘llab-quvvatlanadi. Katta kod bazalari, tadqiqot materiallari yoki bir nechta faylga oid vazifalar uchun tegishli kontekstni tartibli ko‘rinishda taqdim eting va ko‘rsatmalarni aniq saqlang. Arxitektura SWA orqali mahalliy tafsilotlarni saqlash, DSA orqali esa muhim tarixni tanlash uchun ishlab chiqilgan.

Yuklashdan oldin GPU sig‘imini rejalashtiring

Tekshiruv nuqtasi qo‘shimcha inferensiya xotirasi hisobga olinmagan holda taxminan 315 GB joy egallaydi. Modelni ishga tushirishdan oldin FP8-ni qo‘llab-quvvatlaydigan NVIDIA GPU sozlamangiz yetarli sig‘imga ega ekanini tekshiring. device_map="auto" orqali avtomatik qurilma joylashtiruvi modelni mavjud qurilmalar o‘rtasida taqsimlashi mumkin, ammo u tekshiruv nuqtasi va ish vaqti uchun zarur bo‘lgan umumiy xotira hajmini kamaytirmaydi.

Optimallashtirilgan inferensiyani ko‘rib chiqing

README faylida NaiveRT loyiha uchun optimallashtirilgan inferensiya tizimi sifatida ta’riflangan. Uning usullari qatoriga mega-yadroli birlashtirish, Programmatic Dependent Launch va spekulyativ dekodlash kiradi. Agar oddiy Transformers joylashtiruvidan yuqori o‘tkazuvchanlik kerak bo‘lsa, NaiveRT misoli va joriy etish tafsilotlari uchun loyihaning texnik blogiga murojaat qiling.

Benchmark kontekstini ko‘rib chiqing

E’lon qilingan baholashlar kod yozish, dasturiy ta’minot muhandisligi, agentik vazifalar, AI tadqiqotlari va tizimlarni optimallashtirishni qamrab oladi. Natijalar, odatda, boshqacha ko‘rsatilmagan bo‘lsa, Claude Code 2.1.207, 1M tokenli kontekst oynasi, 1.0 harorat, 0.95 top-p hamda asosiy fayl kiritish-chiqarish va Bash vositalari yordamida baholangan. Benchmark taqqoslashlari ko‘rsatilgan ishga tushirish muhitlari va baholash protokollariga bog‘liqligini hisobga oling.

Litsenziya va qo‘shimcha resurslar

Naive-N0.5-Flash MIT litsenziyasi ostida chiqarilgan. Model relizlari va tegishli loyihalar uchun NaiveAI GitHub tashkiloti yoki NaiveAI Hugging Face profiliga tashrif buyuring. Arxitektura, o‘qitish jarayoni va inferensiya optimallashtirishlari haqidagi texnik ma’lumotlar loyihaning texnik blogida mavjud.

Xulosa

Naive-N0.5-Flash 309B parametrli MoE dizaynini 15.5B faol parametr, gibrid SWA–DSA diqqati va tabiiy 1M tokenli kontekst oynasi bilan birlashtiradi. Uni mahalliy tarzda sinab ko‘rish uchun Transformers’ni talab qilinadigan yadrolar bilan o‘rnating, taxminan 315 GB og‘irliklar uchun FP8-ni qo‘llab-quvvatlaydigan NVIDIA uskunasidan foydalaning, Hugging Face tekshiruv nuqtasini yuklang va tavsiya etilgan tanlash sozlamalari yordamida javoblar yarating.