APUS-OpenJev-v1 Faoliyat yuritmoqda

APUS-OpenJev-v1 — APUS AI Lab tomonidan ochiq kodda taqdim etilgan qurilmada ishlovchi System 1 qaror qabul qilishga mo‘ljallangan katta model seriyasi bo‘lib, TypeSafe AI’ning yopiq kodli Jev modeliga o‘xshaydi. 4B, 9B va 35B-A3B og‘irliklarini taqdim etadi hamda brauzerni avtomatlashtirish, shakllarni to‘ldirish va jarayonlarni yo‘naltirish kabi vazifalarda keyingi amalni tez tanlay oladi. Model effort="low/high" dinamik hisoblash chuqurligini birinchi bo‘lib joriy etadi: low rejimida atigi 16 qatlam ishlaydi va nomzodlarga yo‘naltirilgan proyeksiya qo‘llanadi, bu tezlikni oshirib, xarajatni kamaytiradi; high rejimida esa to‘liq chuqurlik ishlatilib, aniqlik oshadi.

Nomzod amallarni tanlash: vazifa, sahifa konteksti va nomzod amallar tavsifiga ko‘ra keyingi biznes amalini chiqaradi.
Brauzerni avtomatlashtirish: tugmalar, kiritish maydonlari va navigatsiya elementlari kabi DOM ma’lumotlarini aniqlab, Agent’ga veb-sahifada amallar bajarishda yordam beradi.
Biznes qoidalari bo‘yicha yo‘naltirish: mijozlarga xizmat ko‘rsatish murojaatlarini taqsimlash, jarayonlarni tasdiqlash va shakllarni yuborish kabi biznes qarorlari uchun mos.
Dinamik hisoblashni boshqarish: effort="low/high" orqali yuqori o‘tkazuvchanlik va yuqori sifat o‘rtasida almashadi.
Shakl matnlarini yaratish: test uslubidagi qarorlarni tanlashdan tashqari, qidiruv kalit so‘zlari va kiritiladigan matn kabi ochiq mazmundagi kontentni ham yaratadi.
Mahalliy millisekund darajasidagi joylashtirish: bitta GPU va vLLM orqali xizmat sifatida joylashtirishni qo‘llab-quvvatlab, bulut API kechikishi va chaqiruv xarajatlarini kamaytiradi.
Turli model o‘lchamlarini tanlash: mos ravishda yengil qurilma, ishlab chiqarishdagi umumiy foydalanish va yuqori unumdorlik ehtiyojlariga mo‘ljallangan 4B, 9B va 35B-A3B versiyalarini taqdim etadi.

WeChat’da kuzatish va “开源” so‘ziga javob yuborish orqali AI ochiq kodli loyihalar guruhiga qo‘shiling
Tilga xos qaror interfeysi: model vazifa maqsadi, kontekst va nomzod amal tavsiflarini tabiiy til orqali qabul qiladi hamda nomzod amallarga A, B, C kabi ixcham Token’larni biriktiradi. Inferens vaqtida model faqat qonuniy nomzod Token’larining ehtimolini hisoblaydi, mezbon dastur esa ularni aniq biznes amallariga moslashtiradi.
effort="low/high" dinamik hisoblash chuqurligi: bir xil model og‘irliklari ichida ikkita qaror chiqish yo‘li mavjud: effort="low" faqat Transformer’ning dastlabki 16 qatlamini ishga tushiradi va nomzodlarni hisobga oluvchi chiqish proyeksiyasidan foydalanib, kamroq hisoblash quvvati bilan tez-tez bajariladigan oddiy amallarni amalga oshiradi; effort="high" esa to‘liq 32 qatlamli inferensni bajarib, to‘lov va ruxsatni tasdiqlash kabi yuqori xavfli amallar uchun mos keladi. Shu tariqa Agent tizimi amal muhimligi va ishonchlilik darajasiga ko‘ra hisoblash resurslarini dinamik taqsimlaydi.
Chuqurliklararo birgalikdagi keyingi o‘qitish va o‘z-o‘zini distillatsiya qilish: sayoz chiqish yo‘li hisoblash hajmi yarmiga qisqarganidan keyin ham ishonchli qaror qabul qila olishi uchun model sayoz va chuqur yo‘llarni bir vaqtning o‘zida haqiqiy yorliqlar bilan nazorat qiladi, shuningdek chuqur yo‘l chiqishining ehtimollik taqsimotidan “yumshoq yorliq” sifatida foydalanib, KL divergentsiyasi orqali uni sayoz yo‘lga distillatsiya qiladi. Sayoz yo‘l sig‘imi yetarli emasligi chuqur modelga salbiy ta’sir ko‘rsatmasligi uchun o‘qitishda chuqur chiqishga gradientni to‘sish qo‘llanadi. Natijada u o‘zini optimallashtirish bilan birga sayoz yo‘l uchun o‘qituvchi vazifasini ham bajaradi.
Nomzodlarni hisobga oluvchi chiqish proyeksiyasi: an’anaviy katta model har bir Token yaratishda taxminan 24.8 万 ta Token lug‘atini ko‘rib chiqadi, holbuki tuzilmaviy qarorlarda odatda atigi bir nechta nomzod amal bo‘ladi. Nomzod Token’larga mos chiqish og‘irliklari qatorlarini bevosita ajratib olish orqali matritsa hisoblash to‘liq lug‘atdan K ta nomzodgacha qisqartiriladi. Nomzodlar ehtimoli mantig‘ining ekvivalentligini saqlagan holda, chiqish boshining hisoblash hajmi va video xotiraga murojaat xarajatlari sezilarli kamayadi.

Muhitni tayyorlash: CUDA’ni qo‘llab-quvvatlaydigan PyTorch, Transformers va huggingface_hub dasturlarini o‘rnating hamda mahalliy kompyuter yoki serverda yetarli GPU video xotirasi mavjudligini ta’minlang.
Modelni yuklab olish: kerakli model katalogini yuklab olish uchun hf download apus-ailab/APUS-OpenJev-v1 --include "9B-3000/*" --local-dir ./APUS-OpenJev-v1 buyrug‘ini bajaring.
Model katalogiga kirish: yuklab olingan modelning ichki katalogiga o‘ting va undagi o‘rnatilgan openjet_runtime inferens komponentidan bevosita foydalaning.
Modelni yuklash: modelni belgilangan grafik kartaga yuklash uchun OpenJet.from_pretrained(".", device="cuda:0") dan foydalaning.
Qaror so‘rovini tuzish: vazifa maqsadi, joriy kontekst va nomzod amallarni instructions, state va candidates uchta maydon orqali kiriting.
Tezkor qarorni bajarish: tez-tez bajariladigan oddiy amallarni kamroq hisoblash xarajati bilan olish uchun model.decide(request_data, effort="low") ni chaqiring.
Chuqur qarorni bajarish: to‘lov va yuborish kabi muhim amallar uchun to‘liq inferens natijasini olish maqsadida model.decide(request_data, effort="high") ni chaqiring.
Ish jarayoni matnini yaratish: qidiruv so‘zi yoki shakl mazmunini kiritish kerak bo‘lgan holatlarda aniq matn yaratish uchun model.generate_text() ni chaqiring.
Ishlab chiqarish xizmatini joylashtirish: vLLM orqali OpenAI’ga mos interfeysni ishga tushirish uchun python deployment/serve_vllm.py --port 8000 buyrug‘ini bajaring.

Qaror aniqligi yuqori: rasmiy 80 ta savoldan iborat o‘zgarmas mezonda 9B versiyasi 85% natijaga erishib, Jev tijoriy API’sining 82.5% natijasidan yuqori ko‘rsatkich qayd etdi.
Javob berish tezligi juda yuqori: belgilangan mahalliy vLLM joylashtirish yo‘lida 9B modelining P50 kechikishi atigi 25.58ms, 4B modeliniki esa 18ms gacha kamayadi.
Hisoblash resurslarini dinamik sozlash mumkin: effort="low/high" rejimi birinchi bo‘lib joriy etilgan bo‘lib, amal xavfiga qarab tezlik va aniqlik o‘rtasida erkin almashish imkonini beradi.
Tez-tez bajariladigan amallar xarajati pastroq: effort="low" faqat 16 qatlamni ishga tushiradi va nomzodlarni hisobga oluvchi chiqish proyeksiyasidan foydalanadi; bu aylantirish va keyingisini bosish kabi tez-tez bajariladigan qarorlar uchun mos.
Muhim amallar ishonchliroq: effort="high" tarmoqning to‘liq chuqurligini ishga tushiradi va to‘lovni tasdiqlash hamda ruxsatlarni ma’qullash kabi yuqori xavfli holatlarga mos keladi.
Chiqish formatidagi xatolarning oldi olinadi: tilga xos qaror interfeysi yordamida chiqish oldindan belgilangan nomzodlar to‘plami bilan cheklanadi va JSON formatidagi gallyutsinatsiyalar bartaraf etiladi.
Biznesga moslashtirish qobiliyati kuchli: bitta model tabiiy til tavsiflari orqali brauzer amallari, mijozlarga xizmat ko‘rsatish murojaatlarini taqsimlash va qoidalarni tekshirish kabi turli vazifalarga moslashtirilishi mumkin.

HuggingFace model kutubxonasi: https://huggingface.co/apus-ailab/APUS-OpenJev-v1

Brauzerni avtomatlashtirish: veb-sahifa DOM’i, tugmalar va kiritish maydonlari ma’lumotlariga asoslanib, bosish, aylantirish yoki o‘tish kabi keyingi amalni tez belgilaydi.
Korporativ jarayonlarni yo‘naltirish: tasdiqlash, murojaatlarni qayta ishlash yoki shakllarni aylantirish jarayonlarida biznes qoidalariga ko‘ra yuborish, qaytarish yoki boshqa xodimga topshirish kabi yo‘llarni avtomatik tanlaydi.
Mijozlarga xizmat ko‘rsatish murojaatlarini taqsimlash: foydalanuvchi savoli, tarixiy ma’lumotlar va nomzod bo‘limlar asosida eng mos xizmat ko‘rsatish jamoasi yoki amalini real vaqtda aniqlaydi.
Moliya va muvofiqlik tekshiruvi: yuqori xavfli amallar uchun effort="high" rejimida chuqur tahlil o‘tkazib, shubhali tranzaksiyalar, ruxsat xavflari yoki qoidalarga zid ma’lumotlar oqimini aniqlaydi.
Qurilmada ishlovchi aqlli yordamchi: yengil modelni mahalliy qurilma yoki xususiy serverga joylashtirib, tez-tez bajariladigan Agent vazifalari uchun past kechikishli va maxfiylikni himoya qiluvchi qaror qabul qilish imkonini beradi.