SenseNova Loop-9B-Preview Faoliyat yuritmoqda

SenseNova Loop-9B-Preview — Shang­hai­da joylashgan SenseTime kompaniyasi tomonidan ochiq manbada taqdim etilgan, 9 milliard parametrli multimodal preview modeli. SenseNova Loop-9B-Preview original dekoderning boshidagi va oxiridagi 4 tadan qatlamni saqlab qoladi, o‘rta qatlamlarni esa parametrlari umumiy bo‘lgan siklik hisoblash moduliga almashtiradi. Bu ko‘p bosqichli iteratsiyalar orqali samarali hisoblash chuqurligini oshiradi va xususiyatlar o‘zaro ta’siri barqarorligini kuchaytirish uchun mHC mexanizmini joriy etadi. Rasmiy baholashlarga ko‘ra, model ofis va agent vazifalarida Qwen3.5-27B’dan yuqori natija ko‘rsatgan. U kichik parametrlar soni bilan katta til modellari darajasidagi murakkab vazifalarni bajarish qobiliyatini ta’minlaydi. Model og‘irliklari GitHub va Hugging Face’da ochiq e’lon qilingan.

Kod generatsiyasi: kod yozish bilan bog‘liq vazifalarda o‘z darajasida yetakchi natijalarga erishib, dasturiy ta’minot ishlab chiqish jarayonlarini qo‘llab-quvvatlaydi.
Ofis kontentini generatsiya qilish: Xiaohuanxiong mijoz dasturiga integratsiya qilingan bo‘lib, PPT dizayni, uzun hujjatlar va boshqa ofis materiallarini yaratishi mumkin.
Intellektual agent vazifalari: AutomationBench kabi ko‘p bosqichli Agent baholashlarida yuqori natija ko‘rsatib, hikoya va interaktivlikni o‘z ichiga olgan murakkab, uzoq zanjirli vazifalarni bajara oladi.
Uzun kontekstni qayta ishlash: rasmiy ta’rifga ko‘ra, uzun kontekst va intellektual agent ish jarayonlari uchun mo‘ljallangan siklik multimodal model.
Ochiq kod va tijoriy foydalanishni o‘rganish: og‘irliklar hamda inference kodi GitHub va Hugging Face platformalarida ochiq e’lon qilingan bo‘lib, hamjamiyat tadqiqotlari va kundalik foydalanish uchun taqdim etilgan.

WeChat’da kuzatib boring va “开源” deb javob yuborib, AI ochiq manbali loyihalar muhokama guruhiga qo‘shiling
Looped Transformer siklik arxitekturasi: model 9B ko‘lamini asos qilib oladi, dekoderning dastlabki va oxirgi 4 ta original modulini saqlab qoladi, o‘rta qatlamlarni esa parametrlari ulashilgan siklik hisoblash modullari bilan almashtiradi. Bir xil og‘irliklar bir necha iteratsiyada qayta ishlatiladi. Shu tariqa parametrlar ko‘lami o‘zgarmagan holda samarali hisoblash chuqurligi kengaytiriladi va kichik model yanada chuqur tarmoqnikiga yaqin xulosa chiqarish qobiliyatiga ega bo‘ladi.
mHC xususiyatlararo o‘zaro ta’sir mexanizmi: ko‘p bosqichli sikllardagi axborot uzatilishini yaxshilash uchun model Manifold-Constrained Hyper-Connections (mHC) mexanizmini joriy etadi. U ko‘p yo‘lli rezidual ikki oqim va “ikki karra stoxastik” cheklovga ega aralashtirish matritsasi orqali xususiyatlarni aralashtiradi. Bu qatlamlararo xususiyatlar o‘zaro ta’sirini kuchaytirish bilan birga, axborot manifoldini cheklab, signal uzatish barqarorligini saqlaydi; ablyatsiya tajribalari ushbu mexanizm GPQA Diamond natijasini 4,42 ballga, TeamBench natijasini esa 13,34 ballga oshirishini ko‘rsatdi.
Parametrlarni ulashish va samaradorlik dizayni: o‘rta siklik qatlamlar og‘irliklarining ulashilishi modelga taxminan 9B parametr yordamida 9B zich modelnikidan ancha yuqori hisoblash chuqurligini ta’minlaydi. TBK kabi texnologiyalar bilan birgalikda bir iteratsiyadagi hisoblash xarajati nazorat qilinadi. Maqsad — xulosa chiqarish xarajatlarini boshqarish mumkin bo‘lgan sharoitda murakkab vazifalarda 27B darajadagi model natijalariga yaqinlashish.

Muhitni tayyorlash: CUDA bilan mos PyTorch’ni o‘rnating, so‘ng pip install "transformers==5.18.0" accelerate safetensors buyrug‘ini bajaring.
Modelni olish: Hugging Face’dan sensenova/SenseNova-Loop-9B-Preview og‘irliklarini mahalliy kompyuterga yuklab oling. Katalogda konfiguratsiya, tokenizer, chat shabloni va maxsus model kodi mavjudligiga ishonch hosil qiling.
Modelni yuklash: kodda trust_remote_code=True, dtype=torch.bfloat16 parametrlari bilan AutoModelForCausalLM.from_pretrained orqali modelni yuklang va .eval() ni chaqiring.
Kirish ma’lumotlarini tuzish: suhbat promptini tokenizer.apply_chat_template yordamida tuzing. Chuqur mulohaza yuritish kerak bo‘lganda enable_thinking=True ni belgilang.
Inferensiya va generatsiya: matn yaratish uchun model.generate ni chaqiring. Tezlashtirish uchun use_cache qo‘llab-quvvatlanadi, MTP tezlashtirishdan foydalanish mumkin.
Servis sifatida joylashtirish: ishlab chiqarish muhitida API taqdim etish uchun LightLLM yoki SGLang’dan foydalanish mumkin.

Parametrlar samaradorligi yuqori: taxminan 9B parametr orqali umumiy og‘irliklardan foydalanadigan siklli hisoblash yordamida 56 qatlamli ijro chuqurligini taqlid qiladi va kam xarajat bilan 27B darajasidagi modellar natijasiga yaqinlashadi.
Arxitekturadagi innovatsiya: Looped Transformer + ikki oqimli mHC qo‘llanadi. Cheklangan ko‘p yo‘lli rezidual aralashtirish orqali axborot almashinuvi kuchaytiriladi va signal uzatilishi barqarorlashtiriladi; bu mamlakatdagi 9B darajasida foydalanish mumkin bo‘lgan dastlabki ochiq manbali amaliyotlardan biridir.
Uzoq kontekst qobiliyati: o‘qitish jarayonida maksimal 262,144token kontekst qo‘llab-quvvatlanadi, bu hujjatlarni tushunish va uzoq zanjirli vazifalarga moslashish imkonini beradi.
Multimodal kirish: matn va tasvirli kirishni qo‘llab-quvvatlaydi; rasmiy ta’rifga ko‘ra, uzoq kontekst va agent ish jarayonlari uchun mo‘ljallangan multimodal modeldir.
Inferensiyani tezlashtirishga mos: MTP tezlashtirish mexanizmi ichki o‘rnatilgan va allaqachon foydalanish mumkin; Dspark, Dflash2 va boshqa spekulyativ dekodlash yechimlari ishlab chiqilmoqda.

GitHub repozitoriyasi：https://github.com/OpenSenseNova/SenseNova-Loop
HuggingFace model repozitoriyasi：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

Uzun hujjatlarni tushunish va tahlil qilish: 256K hajmdagi o‘ta uzun kontekstga tayanib, butun shartnoma, moliyaviy hisobot yoki maqolalar to‘plami kabi katta hajmli hujjatlarni bir martada qayta ishlash hamda tuzilgan xulosa va savol-javoblar yaratish mumkin.
Intellektual agent (Agent) ish jarayonlari: ko‘p bosqichli vosita chaqiruvlari, veb-sahifalar bilan ishlash va vazifalarni rejalashtirish ssenariylarida yuqori natija ko‘rsatadi; ofis ishlarini avtomatlashtirish va jarayonlarni bajarishga mo‘ljallangan Agentlar yaratish uchun mos.
Ofis kontentini yaratish: Xiaohuanxiong mijoz dasturiga ulanish orqali PPT dizayni, ma’lumotlar tahlili hisobotlari va animatsiyali taqdimot sahifalarini bevosita yaratadi, kundalik ofis topshiriqlarini tayyorlashni qamrab oladi.
Kod ishlab chiqishda yordam: kod yaratish qobiliyati shu darajadagi modellar orasida yetakchi bo‘lib, kodni to‘ldirish, skriptlar yozish va kichik loyihalarni boshidan oxirigacha ishlab chiqish vazifalarini bajara oladi.
Multimodal kontent yaratish: matn va tasvir kiritilishini qo‘llab-quvvatlaydi, matn va tasvir uyg‘unlashgan sayohat mavzusidagi maxsus sahifalar, marketing sahifalari, hikoyaviy veb-saytlar kabi boy media kontentini yaratish uchun mos.