Jev GUI Delegate qo‘llanmasi: Codex’ga Windows va Chrome GUI amallarini topshirish

Loyiha haqida umumiy ma’lumot

Jev GUI Delegate — Codex uchun Windows va Chrome GUI delegatsiyasi prototipi. Asosiy model vazifa maqsadi va qabul qilish shartlarini belgilaydi, mahalliy boshqaruvchi esa interfeysni kuzatadi, boshqaruv elementlarini moslashtiradi, amallarni bajaradi va har bir qadamda haqiqiy natijani tekshiradi. Faqat deterministik qoidalar orqali hal qilib bo‘lmaydigan semantik tanlovlarga duch kelgandagina boshqaruvchi TypeSafe Jev’ni chaqiradi.

U hal qilmoqchi bo‘lgan asosiy muammo shuki: agar asosiy model veb-sahifa yoki ish stoli ilovasini bosqichma-bosqich boshqarsa, interfeysni qayta-qayta o‘qishi, boshqaruv elementlarini tanlashi va vosita javoblarini qayta ishlashi kerak bo‘ladi. Bu esa qimmatga tushadigan amallar siklini hosil qiladi. Jev GUI Delegate aniq qabul qilish shartlariga ega bo‘lgan amallar ketma-ketligini mahalliy boshqaruvchiga uzluksiz bajarishga topshiradi, shu bilan birga holatni tekshirish, xatolardan tiklanish va foydalanuvchi boshqaruvni o‘z zimmasiga olishi imkoniyatlarini saqlab qoladi.

Ushbu loyiha shaxsiy ravishda ishlab chiqilgan, AI yordamida amalga oshirilgan va muntazam qabul sinovlaridan o‘tkazilayotgan prototipdir. Vazifa shartnomasi, vositalarni muvofiqlashtirish, tiklanish mexanizmi, ruxsatlarni tekshirish, testlar va fikr-mulohazalar asosidagi takomillashtirish loyiha hissasiga kiradi; Jev modeli, TypeSafe SDK, Codex va brauzer plagini esa yuqori darajadagi mahsulotlardir.

Ishlash jarayoni

1. Codex asosiy modeli maqsad va qabul qilish shartlarini yuboradi.

2. Vazifa tekshiriladigan mahalliy vazifa shartnomasiga keltiriladi.

3. Boshqaruvchi joriy interfeysni kuzatadi va deterministik boshqaruv elementi mosligini aniqlashga urinadi.

4. To‘g‘ridan-to‘g‘ri aniqlash imkoni bo‘lmaganda, boshqaruvchi semantik tanlov uchun Jev’ni chaqiradi.

5. Chrome amallari xost taqdim etgan rasmiy brauzer sessiyasi orqali, Windows amallari esa UI Automation orqali bajariladi.

6. Boshqaruvchi haqiqiy natijani tekshiradi, jarayonni saqlaydi va davom etish, tiklanish, to‘xtatib turish yoki asosiy modeldan qo‘shimcha ma’lumot so‘rash kerakligini belgilaydi.

Bu jarayon shaxsiy brauzer sozlamalarini nusxalamaydi va Cookie fayllarini ajratib olmaydi. Chrome yo‘li Codex xosti taqdim etadigan mos rasmiy brauzer sessiyasi API’siga tayanadi; repozitoriy o‘zi bunday sessiyani yarata olmaydi yoki almashtira olmaydi.

Asosiy funksiyalar

GUI bajarishning ikki yo‘li

• Chrome: xost taqdim etgan rasmiy brauzer sessiyasidan qayta foydalanadi.

• Windows: Windows UI Automation yordamida foydalanish mumkin bo‘lgan ish stoli boshqaruv elementlarini boshqaradi.

Oshkora vazifa shartnomasi

Vazifa shartnomasi maqsad, ruxsat etilgan amallar, amal doirasi, zarur kiritmalar, bajarish bosqichlari va muvaffaqiyat shartlarini aniq bayon qiladi. Shu sababli boshqaruvchi bajarishdan oldin ruxsatlar va doirani tekshirishi, bajarishdan keyin esa muvaffaqiyat shartlari asosida vazifa haqiqatan yakunlanganini aniqlashi mumkin.

Jev’ni zaruratga ko‘ra chaqirish

Mahalliy qoidalar orqali aniqlanishi mumkin bo‘lgan boshqaruv elementlari bevosita kod yordamida moslashtiriladi; Jev faqat matn ma’nosi yoki nomzod variantlar semantikasini tushunish zarur bo‘lganda chaqiriladi. Loyiha amaldagi holatga ko‘ra model chaqiruvlari nol bo‘lgan holatlarni qayd etadi va ularni xato tarzda muvaffaqiyatli Jev xulosasi sifatida hisoblamaydi.

Uzluksiz bajarish va tiklanish

Boshqaruvchi bajarilish jarayonini saqlashi hamda kiritma yetishmasligi, qisman noto‘g‘ri tanlov, to‘xtatib turish, bekor qilish va foydalanuvchining boshqaruvni o‘z zimmasiga olishi kabi holatlarni qayta ishlashi mumkin. Yuborish amali muvaffaqiyatli bo‘lgan-bo‘lmagani noma’lum bo‘lsa, takroriy yuborish xavfini kamaytirish uchun u avtomatik ravishda yuborishni takrorlamaydi.

Natija va xavfsizlik tekshiruvlari

Tizim amal bajarilishidan oldin shaxs, ruxsat va doirani tekshiradi, amal bajarilgandan keyin esa haqiqiy qiymat yoki sahifa holatini nazorat qiladi. Modeldan foydalanish hajmi va xatolik sabablari alohida qayd etiladi, bu xarajat muammolari bilan bajarish muammolarini farqlash imkonini beradi.

Ishlash muhiti va dastlabki shartlar

Loyiha quyidagi muhitlarga mo‘ljallangan:

• Windows x64

• Python 3.12

• Node.js

• Mahalliy GUI amallari uchun interaktiv ish stoli

• Chrome yo‘lidan foydalanish uchun Codex xosti taqdim etadigan mos rasmiy brauzer sessiyasi API’si

Loyihani C:\jev\jev-bridge manziliga o‘rnatish tavsiya etiladi. Ayrim tarixiy buyruqlar va Codex skill misollari sukut bo‘yicha shu manzildan foydalanadi. Boshqa katalog tanlansa, tegishli misollar va konfiguratsiyalar ham mos ravishda o‘zgartirilishi kerak.

Loyihani o‘rnatish

Birinchi qadam: repozitoriy klonlash va virtual muhit yaratish

git clone https://github.com/YUTA-fywoo/jev-gui-delegate.git C:\jev\jev-bridge
cd C:\jev\jev-bridge
py -3.12 -m venv .venv

Ikkinchi qadam: qulflangan bog‘liqliklarni o‘rnatish

.\.venv\Scripts\python.exe -m pip install --require-hashes -r requirements.lock

--require-hashes bog‘liqliklarni qulflangan fayldagi xeshlar asosida o‘rnatadi va o‘rnatilgan tarkib loyiha qaydlari bilan bir xil bo‘lishini ta’minlashga yordam beradi. Uchinchi tomon bog‘liqliklari katalogi repozitoriy bilan birga ochiq e’lon qilinmaydi; ularni asl tarqatish kanallaridan o‘rnatish kerak.

Uchinchi qadam: bajarish muhitini tayyorlash

.\.venv\Scripts\python.exe scripts/setup-runtime.py

To‘rtinchi qadam: oflayn testlarni ishga tushirish

.\.venv\Scripts\python.exe -m unittest discover -s gui_delegate/tests -p "test_*.py"

Bu testlar boshqaruvchi, tiklanish jarayoni va chegaraviy holatlarni qamrab oladi. Oflayn regressiya sintetik ma’lumotlar va nazorat qilinadigan o‘rinbosarlardan foydalanadi; u real GUI amallariga teng emas va real vaqtdagi Jev so‘rovlarini taqlid qilmaydi. To‘liqroq natijalar uchun repozitoriydagi relizni tekshirish hujjatiga qarang.

Jev kalitini sozlash

Kalit mahalliy muhitning TYPESAFE_API_KEY o‘zgaruvchisi yoki Windows Credential Manager orqali taqdim etilishi mumkin. Loyiha uni set-key.cmd ochadigan mahalliy kiritish oynasi orqali sozlashni tavsiya qiladi.

set-key.cmd

Kalitni Git repozitoriyiga, vazifa shartnomasiga yoki chat mazmuniga yozmang. O‘rnatuvchi kompyuterida yaratiladigan chrome-runtime.json e’tiborsiz qoldiriladi; repozitoriy asl muallif kompyuteridagi muhit yo‘llarini o‘z ichiga olmaydi.

Codex’ga ro‘yxatdan o‘tkazish

Loyihani Codex’ga ulash uchun loyiha katalogida quyidagi o‘rnatish skriptlarini ishga tushiring:

install.cmd
gui-install.cmd

O‘rnatuvchi foydalanuvchi darajasidagi MCP, skill va yo‘naltirish konfiguratsiyalarini o‘zgartiradi, shu bilan birga zaxira nusxalarini saqlaydi va ziddiyatlarni tekshiradi. Agar kompyuterda ayni nomdagi katalog allaqachon mavjud bo‘lsa, avval uning nima maqsadda ishlatilishini tekshiring; o‘rnatuvchi kompyuterda foydalanilayotgan loyihani bevosita ustiga yozmaydi.

O‘rnatish mumkin bo‘lgan shaxsiy Codex skill’i gui_delegate/skill/SKILL.md manzilida joylashgan. Loyiha standart katalogga o‘rnatilmagan bo‘lsa, undagi yo‘llarga oid misollarni ham tekshirish kerak.

Asosiy foydalanish va tekshirish

Mahalliy tayyorlik holatini tekshirish

O‘rnatishdan keyin quyidagini ishga tushirish mumkin:

health.cmd

health.cmd faqat komponentlar tayyorligini tekshiradi; bu real vaqtdagi Jev tekshiruvi bajarilganini yoki joriy kompyuter haqiqiy GUI ssenariysi bo‘yicha qabul sinovidan o‘tganini anglatmaydi.

Real vaqtdagi tekshiruvni bajarish

Loyiha taqdim etadigan verify.cmd kabi real vaqtdagi tekshiruv jarayonlari Jev xizmatini chaqiradi:

verify.cmd

Ishga tushirishdan oldin kalit to‘g‘ri sozlanganini tasdiqlang hamda oflayn regressiya natijalarini real vaqtdagi xizmat natijalaridan farqlang. README tarixiy ishlab chiqish muhitidagi “mahalliy kompyuterda tekshirilgan” xulosasini barcha o‘rnatuvchilar bevosita meros qilib olishi mumkin bo‘lgan natija sifatida ko‘rsatmaydi.

Delegatsiya uchun mos vazifa loyihalash

Ushbu prototip chegaralari aniq, bosqichlari cheklangan va natijasi tekshiriladigan GUI amallari uchun mos keladi. Boshqaruvchiga vazifa topshirishda kamida quyidagilarni aniq belgilang:

• Maqsad: yakunda qanday holatga erishish kerak.

• Doira: qaysi sahifalar, oynalar yoki obyektlar ichida amal bajarishga ruxsat beriladi.

• Ruxsat etilgan amallar: boshqaruvchi qanday turdagi o‘zaro ta’sirlarni bajarishi mumkin.

• Kiritmalar: vazifani bajarish uchun zarur va foydalanishga ruxsat etilgan ma’lumotlar.

• Bosqichlar: ketma-ket bajarilishi mumkin bo‘lgan amallar bosqichlari.

• Muvaffaqiyat shartlari: yakunlangandan keyin kuzatilishi kerak bo‘lgan haqiqiy qiymat yoki sahifa holati.

Masalan, vazifa boshqaruvchidan belgilangan sahifa doirasida maqsadli boshqaruv elementini topish, ruxsat berilgan kiritmani kiritish va natijani sahifa holati orqali tasdiqlashni talab qilishi mumkin. Aniq shartnoma maydonlari va natija modeli gui_delegate/schema.py dagi amalga oshirishga asoslanishi kerak; README’da belgilanmagan formatni o‘zboshimchalik bilan taxmin qilmang.

Manba kodini o‘qish tartibi

Bajarish mexanizmini tushunish yoki qo‘shimcha ishlab chiqish zarur bo‘lsa, quyidagi tartibda o‘qing:

1. gui_delegate/schema.py: vazifa shartnomasi, holat va natija modelini tushunish.

2. gui_delegate/controller.py: boshqaruvchi bajarish siklini qanday tashkil qilishini ko‘rish.

3. gui_delegate/drivers.py: drayverlar va tuzilmaviy interfeys kuzatuvini tushunish.

4. gui_delegate/security.py: doira, ruxsat va kiritmalar tekshiruvini ko‘rish.

5. gui_delegate/chrome_gateway.mjs: rasmiy brauzer sessiyasi kirish nuqtasini tushunish.

6. jev_client.py: Jev SDK o‘rami, versiya tekshiruvi va foydalanish hajmi qaydlarini ko‘rish.

7. gui_delegate/tests: testlar orqali tiklanish mantig‘i va chegaraviy xatti-harakatlarni tushunish.

Ilg‘or foydalanish bo‘yicha tavsiyalar

Avval deterministik moslashtirishdan foydalaning

Agar boshqaruv elementini barqaror atributlar yoki tuzilmaviy ma’lumotlar orqali aniqlash mumkin bo‘lsa, uni avvalo mahalliy kod yordamida moslashtirish kerak. Jev faqat semantik baholash zarur bo‘lganda chaqirilishi lozim. Bu loyiha dizayniga mos keladi va modeldan foydalanish hajmini aniq qayd etishni osonlashtiradi.

Har bir qadam uchun kuzatiladigan natija belgilang

Faqat “tugmani bosing” kabi amalni belgilash bilan cheklanmay, bosilgandan keyin kutiladigan qiymat, boshqaruv elementi holati yoki sahifa o‘zgarishini ham aniqlang. Loyiha vosita chaqiruvi muvaffaqiyatli bo‘lganini vazifa muvaffaqiyati deb qabul qilish o‘rniga haqiqiy natijani tekshirishga urg‘u beradi.

Yuborish amallarini ehtiyotkorlik bilan qayta ishlang

Agar yuborishdan keyingi natija noaniq bo‘lsa, muvaffaqiyatsiz deb taxmin qilib amalni avtomatik takrorlamang. Ushbu loyiha natija noma’lum bo‘lganda yuborishni avtomatik takrorlashdan aniq voz kechadi. Bunday holatda to‘xtatib turish, jarayonni saqlash va foydalanuvchi yoki asosiy modeldan tasdiq olish ma’qulroq.

Kiritma yetishmasligi va tanlov xatosini alohida qayta ishlang

Zarur kiritma yetishmasa, uni to‘ldirib davom etish kerak; faqat qisman semantik tanlov xatosi yuz berganda shu tanlovni tuzatish lozim. Bu vazifani boshidan qayta ishga tushirishdan saqlaydi va allaqachon tekshirilgan jarayonni saqlab qoladi.

Jev versiyasi yangilangandan keyin qayta tekshiring

Joriy settings.json faylida tarixiy testlarda foydalanilgan jev-1.13.0 versiyasi belgilangan. Server versiyasi o‘zgargandan keyin qayta tekshiruv o‘tkazib, konfiguratsiyani yangilash kerak; eski versiya testlari natijalarini yangi versiya uchun sifat kafolati deb qabul qilib bo‘lmaydi. Misol strategiyasi ham joriy kompyuter kalibrlashdan o‘tganini anglatmaydi.

Benchmark testlarini to‘g‘ri talqin qiling

README’da 2026 yil 9 oyining 23 kunidagi sintetik vazifalar testining ikki bosqichi qayd etilgan. Har bir bosqich bir xil 4 ta vazifa va 24 ta amalni o‘z ichiga olgan, ikkala vazifalar guruhi ham 4/4 natija bilan yakunlangan.

• Birinchi bosqichda Astra tokenlari 2,266,693 dan 236,295 gacha kamayib, 89.6% ga qisqardi; uchdan-uchigacha vazifa tezligi bazaviy ko‘rsatkichning 3.05 baravarini tashkil etdi.

• Ikkinchi bosqichda Astra tokenlari 2,256,091 dan 192,752 gacha kamayib, 91.5% ga qisqardi; uchdan-uchigacha vazifa tezligi bazaviy ko‘rsatkichning 3.53 baravarini tashkil etdi.

Bu yerda Astra tokenlari keshdagi kiritmalarni ham o‘z ichiga oladi, Jev’ning qo‘shimcha foydalanish hajmi esa alohida hisoblanadi. Ikki bosqichda bir xil to‘rtta vazifa takrorlangan, bu sakkizta mustaqil ssenariy mavjudligini anglatmaydi. Bu raqamlar hisob-kitob tejalish foizi ham emas va barcha ilovalar, istalgan vazifalar yoki joylashtirish muhitlarida bir xil natija olinishi mumkinligini isbotlamaydi. Avvalgi uch vazifali versiyada keshsiz tokenlar natijasi yaxshilanmagan; batafsil doira uchun test tavsifiga qarang.

Ma’lum cheklovlar

• Prototip o‘qish mumkin bo‘lgan DOM yoki yordamchi funksiyalar ma’lumotlariga tayanadi.

• Canvas, tasvirni tushunish, xavfsiz ish stoli va ayrim freymvorklararo boshqaruv elementlarini bevosita qayta ishlash imkoni bo‘lmasligi mumkin.

• Xost ochmagan funksiyalar asosiy modeldan qo‘shimcha ishlov berishni talab qilishi mumkin.

• Chrome yo‘li mos xostning rasmiy sessiyasisiz mustaqil ishlay olmaydi.

• Tarixiy kompyuter tekshiruvi qaydlari yangi o‘rnatish muhiti qabul sinovidan o‘tganini anglatmaydi.

• Bajarish jurnallari, brauzer konfiguratsiyasi, kalitlar, shaxsiy vazifa materiallari, kompyuter o‘rnatish holati va qaytarish paketlari ochiq e’lon qilinmagan.

Xulosa

Jev GUI Delegate qabul qilinadigan GUI amallarini asosiy modelning bosqichma-bosqich siklidan ajratib, deterministik moslashtirish, zaruratga ko‘ra semantik tanlash, holatni tekshirish va xatolardan tiklanishni mahalliy boshqaruvchiga topshiradi. O‘rnatishda avval qulflangan bog‘liqliklar, bajarish muhiti sozlamalari va oflayn testlarni yakunlang, keyin kalitni sozlab, Codex’ga ulang. Amaliy foydalanishda vazifa doirasining aniqligi, kuzatiladigan muvaffaqiyat shartlari, yuborishni tiklashga ehtiyotkorlik bilan yondashish va versiya o‘zgargandan keyin qayta tekshirish ishonchli natijaga erishishning asosiy omillaridir.

Yuqoridagi komponentlar haqida batafsil ma’lumot olish uchun TypeSafe hujjatlari, MCP Python SDK va pywinauto sahifalariga tashrif buyuring.