GEOInflow’ni joriy qiling va AI krawlerlari, yo‘naltiruvlar hamda kontent qamrovini tahlil qiling

GEOInflow nima qiladi

GEOInflow Generative Engine Optimization yoki GEO uchun o‘z serveringizda joylashtiriladigan tahlil platformasidir. U brauzer faolligi, AI qidiruv yo‘naltirishlari, server yoki CDN crawl jurnallari va kontent inventarlarini umumiy veb-sayt kontekstida birlashtiradi.

Platforma amaliy savollarga javob berishga yordam beradi: Saytingizga qaysi AI crawlerlar tashrif buyuradi? Ular qaysi yo‘llarga so‘rov yuboradi? So‘rovlar muvaffaqiyatlimi? Qaysi muhim sahifalarda kuzatilgan crawl faolligi yo‘q? Qo‘llab-quvvatlanadigan AI qidiruv yo‘naltirishlari orqali qancha tashrif buyuruvchi va nechta konversiya keladi?

GEOInflow kompaniya veb-saytlari, media nashriyotlari, kontent saytlari, dasturchilar hujjatlari va bir nechta veb-saytlarni boshqaradigan jamoalar uchun mos. Ilovaning manba kodi MIT litsenziyasi ostida chiqarilgan. README hujjatida mahsulot versiyasi v1.2 va build versiyasi 1.2.0 deb ko‘rsatilgan.

Crawl jurnallari kuzatilgan kirishni ko‘rsatadi. Ularning o‘zi indekslash, modelni o‘qitish, javoblardagi iqtiboslar, tavsiya reytinglari yoki mijoz jalb qilinganini isbotlamaydi.

Asosiy imkoniyatlar

AI crawler identifikatsiyasi va maqsadi

Ichki katalog OpenAI, Anthropic, Perplexity, Google, Microsoft, ByteDance, Baidu, Kimi va Tencent Hunyuan kabi provayderlarni qamrab oladi. Unda an’anaviy qidiruv crawlerlari va boshqa botlar haqidagi kuzatuvlar ham saqlanadi.

Platformalar, mahsulotlar, so‘rov identifikatorlari, maqsadlar va mahsulot turlari alohida ifodalanadi. Bu tizimga o‘qitish, AI qidiruvi, foydalanuvchi tomonidan ishga tushirilgan kirish, AI ish stollari va shaxsiy agentlar kabi tushunchalarni ularni o‘zaro istisno qiluvchi deb hisoblamasdan farqlash imkonini beradi.

Identifikatsiya dalillari ham alohida saqlanadi. E’lon qilingan User-Agent rasmiy IP diapazonlari hamda mavjud DNS yoki ishonchli edge dalillari bilan taqqoslanishi mumkin. Faqat User-Agent bayonoti tasdiq deb hisoblanmaydi, yetarli dalil bo‘lmagan tarixiy yozuvlar esa noma’lum sifatida belgilanadi.

Crawl faolligi va kontent qamrovi

Siz so‘ralgan sahifalar reytingi, takroriy so‘rovlar, kuzatilgan sahifalar, kataloglar taqsimoti, yetakchi crawlerlar, so‘nggi faollik va kontent yangiligini ko‘rib chiqishingiz mumkin. Sitemap, CSV yoki JSON inventarini import qilish kuzatilgan crawl jurnallari bilan taqqoslanadigan ma’lum sahifalar to‘plamini taqdim etadi.

Bu taqqoslash kuzatilgan kirishga ega sahifalar bilan birga ehtimoliy AI ko‘r nuqtalarini ham aniqlaydi. Identifikator, maqsad va mahsulot turi filtrlari jamlash va sahifalashdan oldin qo‘llanadi, shuning uchun kartalar, jadvallar, taqqoslashlar va eksportlar bir xil shartlardan foydalanadi.

So‘rov diagnostikasi va kirish siyosatlari

GEOInflow HTTP javoblari, GET va HEAD kabi metodlar, kesh xatti-harakati, kechikish, javob hajmi, yig‘ish uzluksizligi va xavf topilmalarini alohida dalil sifatida taqdim etadi. Jamoalar qayta ishlash holatlari va izohlar qo‘shishi, tekshiruvlarni keyinga qoldirishi va ularni keyinroq davom ettirishi mumkin.

Platforma robots va Nginx kirish konfiguratsiyalarini eksport qila oladi. Qo‘llab-quvvatlanadigan Cloudflare boshqaruvlari alohida Zone hisob ma’lumotlari, oldindan ko‘rish, aniq tasdiq, fon rejimida bajarish va natijadagi masofaviy holatni tekshirishni talab qiladi. Mavjud boshqaruvlar joylashtirilgan muhit, provayder rejasi va berilgan ruxsatlarga bog‘liq.

Veb-sayt va konversiya tahlili

• Sahifa ko‘rishlari, tashrif buyuruvchilar, tashriflar, yo‘naltirishlar, geografiya, qurilmalar, brauzerlar va kontent samaradorligi
• Maxsus hodisalar, maqsadlar, voronkalar, tashrif buyuruvchi yo‘llari, atributsiya va daromad tahlili
• Qidiruv tizimlari, yo‘naltiruvchi kalit so‘zlar, UTM tahlili, samaradorlik, heatmaplar, ushlab qolish va auditoriyalar
• Veb-sayt, jamoa, ish maydoni, dashboard, ruxsatlar va ommaviy ulashish vositalari
• Tanlangan qamrov uchun CSV, JSON va ZIP eksportlari
• Standart bo‘yicha o‘chirilgan, veb-sayt faktlariga asoslangan ixtiyoriy AI yordami

Brauzer trekingi qo‘llab-quvvatlanadigan AI qidiruv yo‘naltirishlarini taniydi va ularni kirish sahifalari, hodisalar, maqsadlar va konversiyalar bilan bog‘laydi. Crawler so‘rovlari, yo‘naltiruvchi sessiyalar va konversiyalar alohida o‘lchovlar bo‘lib qoladi, manbalararo taqqoslashlar esa o‘z cheklovlarini saqlab qoladi.

Ma’lumotlar oqimini tushuning

GEOInflow uchta asosiy turdagi kiritmani qabul qiladi:

1. Brauzer trekingi: Sahifa ko‘rishlari, hodisalar va yoqilgan kengaytirilgan brauzer ma’lumotlarini yig‘adi.
2. Server yoki CDN jurnallari: Brauzer skriptlarini bajarmaydigan crawler so‘rovlarini qayd etadi.
3. Kontent inventarlari: Qamrov bo‘yicha baholanishi kerak bo‘lgan sahifalarni belgilash uchun sitemap, CSV yoki JSON yozuvlarini import qiladi.

Ilova va qabul qilish API’lari ma’lumotlarni PostgreSQL’ga yozadi. Jurnal va tahlil workerlari yozuvlarni qayta ishlaydi, Redis esa keshlangan hisobotlarni qo‘llab-quvvatlaydi. Hisobotlar va e’lon qilingan natijalar GEO, tashrif buyuruvchi va kontent tahlilini, shuningdek ruxsat bilan boshqariladigan ulashish va eksportlarni ta’minlaydi.

Har bir manbani mustaqil ulash mumkin. Agar manba mavjud bo‘lmasa, tegishli tahlil yetishmayotgan kiritmani salbiy natija sifatida jimgina qabul qilish o‘rniga, bu cheklovni ko‘rsatishi kerak.

Tezkor joylashtirish uchun zarur shartlar

Boshlashdan oldin Docker Engine yoki Docker Desktop dasturini Docker Compose V2 bilan o‘rnating va ishga tushiring. Qurilish vaqtida zarur bo‘ladigan image va bog‘liqliklarni yuklab olish manbalariga mashina kira olishini tasdiqlang.

GEOInflow manba kodini oling, terminalni oching va repository ildiziga o‘ting. Ishlab chiqarish o‘rnatmalari qo‘shimcha ravishda domen, HTTPS va ishonchli reverse proxy’ni talab qiladi.

GEOInflow’ni Docker bilan joylashtirish

Joylashtirish skriptini ishga tushiring

Loyiha ildizidan quyidagini bajaring:

sh scripts/liekan-deploy.sh

Skript maxfiy .env fayli va tasodifiy sirlarni yaratadi, ilova image’ini quradi, migratsiyalarni qo‘llaydi va quyidagi komponentlarni ishga tushiradi:

• GEOInflow ilovasi
• Jurnal worker’i
• Tahlil worker’i
• PostgreSQL
• Redis

Ilovani oching

Standart mahalliy manzil:

http://127.0.0.1:3002

Yangi o‘rnatishda dastlabki hisob ma’lumotlari bilan kiring:

• Foydalanuvchi nomi: admin
• Parol: liekan

Tizimga kirganingizdan so‘ng dastlabki parolni darhol o‘zgartiring. Kelajakdagi yangilanishlar moslashtirilgan hisoblar va parollarni saqlab qoladi.

Biriktirilgan namunani yuklash

Jonli veb-saytni ulashdan oldin interfeysni o‘rganish uchun kiritilgan qayta ishlangan ma’lumotlar to‘plamini yuklang:

docker compose -f docker-compose.liekan.yml exec app node scripts/liekan-seed-demo.mjs

Namuna veb-sayti 猎看官网（示例数据） deb nomlangan. Birinchi import paytida ma’lumotlar to‘plamini tekshirish qulay bo‘lishi uchun vaqt belgilari o‘zgartiriladi. Takroriy ishga tushirishlar mavjud ma’lumotlar va o‘chirish holatini saqlab qoladi.

Birinchi veb-saytingizni ulang

Administrator hisobini himoyalaganingizdan so‘ng, GEOInflow’da veb-sayt yarating va joylashtirishingizga mos ma’lumot manbalarini ulang. Ma’lumotlarni qabul qilishning aniq jarayoni uchun loyihaning tezkor boshlash qo‘llanmasiga murojaat qiling.

1-qadam: Brauzer kuzatuvini qo‘shish

Sahifa ko‘rishlari, hodisalar va yoqilgan kengaytirilgan o‘lchovlarni yig‘ish uchun brauzer kuzatuv skriptini o‘rnating. Kuzatuv sukut bo‘yicha cookiesiz ishlaydi. Yozib olish, hodisa xususiyatlari va biznes integratsiyalari operator sozlagan ma’lumotlar doirasiga bog‘liq.

Brauzer orqali sahifa ko‘rishlarini yig‘ish ishonchli IP-kirishsiz ham davom etishi mumkin. Biroq noyob tashrif buyuruvchilar kabi identifikatsiyaga bog‘liq ko‘rsatkichlar ishonchli kirish dalillarini talab qiladi, shuning uchun ishlab chiqarish muhitida reverse proxy’ni ehtiyotkorlik bilan sozlang.

2-qadam: Server yoki CDN jurnallarini ulash

Brauzer skriptlari faqat serverdan hujjat so‘raydigan botlarni kuzata olmaydi. Crawlerlar kirishi, so‘rov yo‘llari, javob kodlari, usullar, kechikish, keshlash va xatolarni o‘lchash uchun server yoki CDN jurnallarini qo‘shing.

Serverdan avtomatik ma’lumot yig‘ish uchun umumiy HTTPS, qabul qilish siri va imzolangan o‘rnatish resurslari talab qilinadi. Cloudflare integratsiyasidan foydalansangiz, OAuth, tegishli ruxsatlar va provayderning so‘ralgan imkoniyatlarni qo‘llab-quvvatlashi ham kerak.

3-qadam: Kontent inventarini import qilish

Crawlerlar topishi kutilayotgan sahifalarni o‘z ichiga olgan sitemap, CSV fayli yoki JSON inventarini import qiling. GEOInflow crawl qamrovini hisoblash va kuzatilgan faolliksiz sahifalarni aniqlash uchun ushbu ma’lum inventarni kuzatilgan jurnal yozuvlari bilan taqqoslashi mumkin.

Qamrab olinmagan sahifani chiqarib tashlanganining isboti emas, balki tekshiruv uchun boshlang‘ich nuqta deb qarang. Kirish nuqtalarini, ichki havolalarni, robots direktivalarini, HTTP javoblarini va jurnal yig‘imi tegishli davrni qamrab olgan-olmaganini tekshiring.

Asosiy tahlil jarayoni

Saytga qaysi AI platformalari tashrif buyurishini aniqlash

1. Veb-sayt va sana oralig‘ini tanlang.
2. Crawler tahlili bo‘limini oching.
3. Crawler identifikatori, provayderi, maqsadi, so‘rovlar hajmi, tasdiqlash holati va tendensiyalarni ko‘rib chiqing.
4. Ma’lumotlar to‘plamini toraytirish uchun identifikator, maqsad va mahsulot turi filtrlaridan foydalaning.
5. Faqat User-Agent’ga tayanmasdan, har bir identifikatorni qo‘llab-quvvatlovchi dalillarni tekshiring.

Ushbu jarayon mavjud katalog va dalillar tasniflashni qo‘llab-quvvatlagan hollarda o‘quv crawlerlari, AI qidiruv so‘rovlari va foydalanuvchi boshlab bergan kirishlarni farqlashga yordam beradi.

Ko‘p crawl qilingan va ehtimol yaroqsiz yo‘llarni aniqlash

1. So‘ralgan sahifalar reytingi va takroriy so‘rovlarni ko‘rib chiqing.
2. Faollikni katalog va crawler bo‘yicha taqqoslang.
3. So‘nggi faollik va kontent yangiligini tekshiring.
4. Noto‘g‘ri tuzilgan, eskirgan yoki kutilmaganda tez-tez so‘raladigan URL’larni izlang.
5. Ularning HTTP holati, kesh xatti-harakati, kechikishi va javob hajmini tekshiring.

Takroriy so‘rovlar muhim kontent, crawlerning samarasiz xatti-harakati, yo‘naltirishlar, yetishmayotgan sahifalar yoki tuzilmaviy muammolarni ko‘rsatishi mumkin. Har bir namunani javob dalillari bilan birgalikda talqin qiling.

Kontent qamrovini o‘lchash

1. Joriy kontent inventarini import qiling.
2. Bir xil veb-sayt, sana oralig‘i va crawler filtrini tanlang.
3. Inventar sahifalarini jurnallarda kuzatilgan yo‘llar bilan taqqoslang.
4. Kuzatilgan kirishlar mavjud bo‘lmagan sahifalarni ko‘rib chiqing.
5. Topiluvchanlik, siyosatlar, javoblar va manba uzluksizligini tekshiring.

Kartalar, jadvallar, taqqoslashlar va eksportlar tanlangan filtr shartlarini ulashadi. Taxmin qilingan yo‘l kuzatuvlari va hisoblangan natijalar o‘z yorliqlarini saqlab qoladi, bu foydalanuvchilarga hisoblangan xulosalarni bevosita dalillardan ajratishga yordam beradi.

AI yo‘naltirish natijalarini tahlil qilish

1. Veb-sayt uchun brauzer kuzatuvini yoqing.
2. Tanilgan AI yo‘naltirish seanslari va kirish sahifalarini ko‘rib chiqing.
3. Tegishli hodisalar, maqsadlar yoki konversiyalarni belgilang.
4. Yo‘naltirish trafigini keyingi natijalar bilan taqqoslang.
5. Natijalar haqida hisobot berishda crawler so‘rovlari va yo‘naltirish seanslarini alohida saqlang.

Crawler so‘rovi sahifa AI javobida paydo bo‘lganini tasdiqlamaydi. Xuddi shuningdek, AI yo‘naltirish seansi model sahifani qanday tanlagani yoki keltirganini tasdiqlamaydi. Boshqaruv panellari va eksport qilingan hisobotlarda ushbu farqlarni saqlang.

Sana oralig‘i, vaqt mintaqalari va yangilanish xatti-harakati

Asosiy sana oraliqlari: Bugun, 7 kun va 30 kun. Standart tahlil vaqt mintaqasi Asia/Shanghai. Birinchi to‘liq tizimga kirish vaqtida ilova mamlakat va shahar vaqt mintaqasini tasdiqlaydi. Keyingi so‘rovlar bugungi kunni belgilash uchun hisobning saqlangan vaqt mintaqasidan foydalanadi.

Real vaqt tashrif buyuruvchilari eng so‘nggi 30 daqiqani qamrab oladi. Saqlanish tahlili kalendar oylaridan foydalanadi. Bugungi asosiy boshqaruv panellari har 30 soniyada e’lon qilingan natijalarni o‘qiydi va ma’lumotlarning haqiqiy chegara vaqtini ko‘rsatadi. Sahifa yashirilganda yoki oflayn bo‘lganda yangilanish to‘xtaydi, real vaqt va katta hajmli tahlillar esa o‘z yangilanish jadvallaridan foydalanadi.

Kengaytirilgan foydalanish bo‘yicha maslahatlar

Tahlilni tezlashtirishni tekshirish

GEOInflow takroriy hisob-kitoblarni kamaytirish uchun oldindan agregatsiya, aniq tashrif faktlari, doimiy natijalar va bir nechta saqlash qatlamlaridan foydalanadi. Umumiy oraliqlarni oldindan isitish mumkin, e’lon qilingan natijalar esa fon yangilanishlari davomida mavjud bo‘lib qoladi.

Joylashtirgandan so‘ng, vazifalar va qamrovni tekshirish uchun Analytics Acceleration sahifasidan foydalaning. Dastlabki hisob-kitoblar, keshdan foydalanish va fon yangilanishlari turlicha xarajatlarga ega. Haqiqiy unumdorlik ma’lumotlar hajmi, inventarni shakllantirish, PostgreSQL unumdorligi va kesh holatiga bog‘liq.

Ishchilarni barqaror holatda saqlang

Log va analytics ishchilari ma’lumotlarni qabul qilish hamda natijalarni e’lon qilish uchun muhim. Agar hisobotlar yangilanmay qolsa, bo‘sh dashboardni faoliyat yo‘qligi deb talqin qilishdan oldin ishchilar holati, navbatlar, manba uzluksizligi, ma’lumotlar bazasi holati va Redis’ni tekshiring.

Sig‘imni himoyalash mexanizmlari eski oynalarni chiqarib yuborishi, faol bo‘lmagan muvaffaqiyatsiz vazifalar esa avtomatik qayta urinishlarni to‘xtatib qo‘yishi mumkin. Doimiy fon vazifalari dastlabki hisob-kitoblarni brauzer sessiyasini ochiq qoldirishni talab qilmasdan yakunlash imkonini beradi.

Manba va dalil chegaralarini saqlang

• User-Agent bayonotini tasdiqlangan crawler identifikatori deb qabul qilmang.
• Yig‘ish qamrovi to‘liq bo‘lmasa, logdagi faollik yo‘qligini crawler sahifaga hech qachon kirmaganining isboti deb qabul qilmang.
• Crawler kirishini indekslash, o‘qitish, iqtibos keltirish, reyting yoki jalb qilish bilan tenglashtirmang.
• Yo‘q integratsiyalar, bo‘sh ma’lumotlar to‘plamlari, noma’lum qiymatlar, taxminlar va qo‘llab-quvvatlanmaydigan imkoniyatlarni alohida holatlar sifatida saqlang.
• Natijalarni faqat ularning sana oralig‘i, manba qamrovi, filtrlari va qoida versiyalari mos bo‘lganda taqqoslang.

Kirish boshqaruvlaridan ehtiyotkorlik bilan foydalaning

Yaratilgan robots, Nginx yoki qo‘llab-quvvatlanadigan Cloudflare o‘zgarishlarini qo‘llashdan oldin ko‘rib chiqing. Cloudflare amallari aniq tasdiqlashni talab qiladi va undan keyin masofaviy holatni qayta o‘qish kerak. Haqiqiy joylashtirilgan muhitda provayder rejasi va ruxsatlarini tekshiring.

Ishlab chiqarish infratuzilmasini rejalashtiring

Ishlab chiqarish muhitiga kirish uchun domen, HTTPS va ishonchli reverse proxy’dan foydalaning. PostgreSQL’ning zaxira nusxasini yarating va maxfiy .env faylini, ma’lumotlarni qabul qilish sirlarini, hisob ma’lumotlarini, maxfiy kalitlarni hamda shaxsiy ravishda taqdim etilgan geografik ma’lumotlar bazasini himoyalang. Proxy, zaxiralash, xizmat, konfiguratsiya va yangilash tafsilotlari uchun joylashtirish qo‘llanmasini ko‘rib chiqing.

AI imkoniyatlarini faqat kerak bo‘lganda yoqing

Asosiy veb-sayt analytics’i va crawler identifikatsiyasi model API kalitini talab qilmaydi. AI tahlili sukut bo‘yicha o‘chirilgan. Uni yoqqaningizda, foydalanuvchilar model ulanishlari va veb-sayt materiallarini tanlaydi, shuning uchun tanlangan model provayderiga qaysi ma’lumotlar yuborilishini ko‘rib chiqing.

GEO Weight ko‘rsatkichini ehtiyotkorlik bilan talqin qiling

GEO Weight eng so‘nggi 30 ta to‘liq kalendar kunidagi malakali AI kontentiga kirish ma’lumotlariga asoslangan Beta imkoniyatidir. Uni universal reyting balli deb qabul qilish o‘rniga, hujjatlashtirilgan formulasi, dalillari, qo‘llaniladigan doirasi va cheklovlaridan foydalaning.

Ishlab chiqish muhiti

Hissa qo‘shuvchilarga Node.js 22.23.4, pnpm 12.3.4, PostgreSQL, alohida ishlab chiqish ma’lumotlar bazasi va maxfiy muhit konfiguratsiyasi kerak. Quyidagi ketma-ketlik veb-ilovani 3302-portda tayyorlaydi va ishga tushiradi:

pnpm install --frozen-lockfile
pnpm build:db
pnpm db:migrate
pnpm liekan:migrate
pnpm liekan:queue-bootstrap
pnpm build:openapi
pnpm build:packages
pnpm build:tracker
pnpm build:recorder
pnpm liekan:build-worker
pnpm dev --port 3302

Log va analytics ishchilarini CONTRIBUTING.mdda ta’riflanganidek alohida terminallarda ishga tushiring. Ishlab chiqish ishchilari va veb-ilova bir xil maxfiy muhit konfiguratsiyasidan foydalanishi kerak.

Mahsulot sahifalari src/components/liekanda, ma’lumotlar shartnomalari src/lib/liekan/contractsda, yuqori darajadagi so‘rov va ruxsat adapterlari esa src/lib/liekan/upstreamda joylashgan. Sxema o‘zgarishlarini loyiha migratsiyalari orqali bosqichma-bosqich qo‘shing va allaqachon qo‘llangan migratsiyalarni o‘zgartirmang.

Xulosa

GEOInflow crawler dalillari, kontent inventarlari, tashrif buyuruvchilar analytics’i, AI yo‘naltiruvlari va konversiyalarni birlashtirish uchun o‘z serveringizda joylashtiriladigan usulni taqdim etadi. Docker orqali joylashtirishdan boshlang, administrator hisobini himoyalang, brauzer va log manbalarini ulang hamda ishonchli inventarni import qiling. Eng foydali xulosalar izchil filtrlar, barqaror ishlayotgan ishchilar, to‘liq manba qamrovi va kuzatilgan kirish bilan qo‘shimcha dalil talab qiladigan da’volar o‘rtasidagi aniq farqlashdan kelib chiqadi.