Weka GEOInflow na Uchanganue Watambazaji wa AI, Marejeleo na Ufunikaji wa Maudhui

GEOInflow hufanya nini

GEOInflow ni jukwaa la uchanganuzi linalopangishwa na wewe mwenyewe kwa ajili ya Uboreshaji wa Injini za Kuzalisha, au GEO. Linaunganisha shughuli za kivinjari, marejeo kutoka utafutaji wa AI, kumbukumbu za utambazaji za seva au CDN, na orodha za maudhui ndani ya muktadha wa pamoja wa tovuti.

Jukwaa hili husaidia kujibu maswali ya kiutendaji: Ni vitambazaji vipi vya AI vinavyotembelea tovuti yako? Ni njia zipi vinazoomba? Maombi yanafanikiwa? Ni kurasa zipi muhimu ambazo hazina shughuli ya utambazaji iliyozingatiwa? Ni kiasi gani cha trafiki ya wageni na ubadilishaji mingapi hufika kupitia marejeo yanayoungwa mkono ya utafutaji wa AI?

GEOInflow inafaa kwa tovuti za kampuni, wachapishaji wa vyombo vya habari, tovuti za maudhui, nyaraka za wasanidi programu, na timu zinazosimamia tovuti nyingi. Msimbo wa chanzo wa programu umetolewa chini ya leseni ya MIT. README inaeleza toleo la bidhaa v1.2 na toleo la ujenzi 1.2.0.

Kumbukumbu za utambazaji zinaonyesha ufikiaji uliozingatiwa. Zenyewe hazithibitishi kuorodheshwa, mafunzo ya modeli, kutajwa katika majibu, viwango vya mapendekezo, au upatikanaji wa wateja.

Uwezo muhimu

Katalogi iliyojengewa ndani inajumuisha watoa huduma kama OpenAI, Anthropic, Perplexity, Google, Microsoft, ByteDance, Baidu, Kimi, na Tencent Hunyuan. Pia huhifadhi uchunguzi wa vitambazaji vya utafutaji wa jadi na roboti nyingine.

Majukwaa, bidhaa, utambulisho wa maombi, madhumuni, na aina za bidhaa huwakilishwa kando. Hii huwezesha mfumo kutofautisha dhana kama mafunzo, utafutaji wa AI, ufikiaji ulioanzishwa na mtumiaji, majukwaa ya kazi ya AI, na mawakala binafsi bila kuzichukulia kuwa zinatengana.

Ushahidi wa utambulisho pia huhifadhiwa kando. User-Agent iliyotangazwa inaweza kulinganishwa na safu rasmi za IP pamoja na ushahidi unaopatikana wa DNS au wa kingo zinazoaminika. Dai la User-Agent pekee halizingatiwi kuwa uthibitisho, na rekodi za kihistoria zisizo na ushahidi wa kutosha hubaki zikiwa zimetambuliwa kama zisizojulikana.

Unaweza kukagua viwango vya kurasa zilizoombwa, maombi yanayorudiwa, kurasa zilizozingatiwa, usambazaji wa saraka, vitambazaji vinavyoongoza, shughuli za hivi karibuni, na uchangamfu wa maudhui. Kuingiza sitemapu, faili ya CSV, au orodha ya JSON hutoa seti inayojulikana ya kurasa inayoweza kulinganishwa na kumbukumbu za utambazaji zilizozingatiwa.

Ulinganisho huu hufichua kurasa zilizo na ufikiaji uliozingatiwa pamoja na mapengo yanayoweza kuwepo ya AI. Vichujio vya utambulisho, madhumuni, na aina ya bidhaa hutumika kabla ya ujumlishaji na upangaji wa kurasa, hivyo kadi, majedwali, ulinganisho, na mauzo ya nje hutumia masharti thabiti.

GEOInflow huwasilisha majibu ya HTTP, mbinu kama GET na HEAD, tabia ya akiba, muda wa kusubiri, ukubwa wa jibu, mwendelezo wa ukusanyaji, na matokeo ya hatari kama ushahidi tofauti. Timu zinaweza kuongeza hali za kushughulikia na maelezo, kuahirisha uchunguzi, na kuendelea nao baadaye.

Jukwaa linaweza kuuza nje usanidi wa robots na ufikiaji wa Nginx. Vidhibiti vya Cloudflare vinavyoungwa mkono vinahitaji vitambulisho tofauti vya Zone, hakiki, uthibitisho wa wazi, utekelezaji wa chinichini, na uthibitishaji wa hali ya mbali inayotokana. Vidhibiti vinavyopatikana hutegemea mazingira yaliyowekwa, mpango wa mtoa huduma, na ruhusa zilizotolewa.

• Maonyesho ya kurasa, wageni, ziara, marejeo, jiografia, vifaa, vivinjari, na utendaji wa maudhui
• Matukio maalum, malengo, mikondo, njia za wageni, uhusishaji, na uchanganuzi wa mapato
• Injini za utafutaji, maneno muhimu ya marejeo, uchanganuzi wa UTM, utendaji, ramani za joto, uhifadhi, na hadhira
• Zana za tovuti, timu, nafasi ya kazi, dashibodi, ruhusa, na kushiriki hadharani
• Mauzo ya nje ya CSV, JSON, na ZIP kwa eneo lililochaguliwa
• Msaada wa hiari wa AI unaotegemea taarifa za tovuti, umezimwa kwa chaguomsingi

Ufuatiliaji wa kivinjari hutambua marejeo yanayoungwa mkono ya utafutaji wa AI na kuyaunganisha na kurasa za kutua, matukio, malengo, na ubadilishaji. Maombi ya vitambazaji, vipindi vya marejeo, na ubadilishaji hubaki vipimo tofauti, na ulinganisho wa vyanzo tofauti huhifadhi vikwazo vyake.

Elewa mtiririko wa data

GEOInflow inakubali aina tatu kuu za pembejeo:

1. Ufuatiliaji wa kivinjari: Hukusanya maonyesho ya kurasa, matukio, na data yoyote ya ziada ya kivinjari iliyowezeshwa.
2. Kumbukumbu za seva au CDN: Hunasa maombi ya vitambazaji ambavyo havitekelezi hati za kivinjari.
3. Orodha za maudhui: Huleta rekodi za sitemapu, CSV, au JSON ili kubainisha kurasa zinazopaswa kutathminiwa kwa ajili ya ufunikaji.

API za programu na uingizaji huandika data kwenye PostgreSQL. Wafanyakazi wa kumbukumbu na uchanganuzi huchakata rekodi, huku Redis ikiunga mkono ripoti zilizowekwa kwenye akiba. Ripoti na matokeo yaliyochapishwa huwezesha uchanganuzi wa GEO, wageni, na maudhui, pamoja na kushiriki na mauzo ya nje yanayodhibitiwa kwa ruhusa.

Kila chanzo kinaweza kuunganishwa kwa kujitegemea. Chanzo hakipopatikana, uchanganuzi unaolingana unapaswa kuonyesha kizuizi hicho badala ya kuchukulia kimya kimya pembejeo iliyokosekana kama matokeo hasi.

Mahitaji ya awali ya uwekaji wa haraka

Kabla ya kuanza, sakinisha na uendeshe Docker Engine au Docker Desktop yenye Docker Compose V2. Thibitisha kuwa mashine inaweza kufikia vyanzo vya upakuaji wa picha na vitegemezi vinavyohitajika wakati wa ujenzi.

Pata msimbo wa chanzo wa GEOInflow, fungua terminali, na uhamie kwenye mzizi wa hazina. Usakinishaji wa uzalishaji pia unahitaji kikoa, HTTPS, na proksi ya nyuma inayoaminika.

Weka GEOInflow kwa Docker

Endesha hati ya uwekaji

Kutoka kwenye mzizi wa mradi, tekeleza:

sh scripts/liekan-deploy.sh

Hati hii huunda faili ya faragha ya .env na siri za nasibu, hujenga picha ya programu, hutumia uhamishaji wa hifadhidata, na kuanzisha vipengele vifuatavyo:

• Programu ya GEOInflow
• Mfanyakazi wa kumbukumbu
• Mfanyakazi wa uchanganuzi
• PostgreSQL
• Redis

Anwani chaguomsingi ya ndani ni:

http://127.0.0.1:3002

Kwa usakinishaji mpya, ingia kwa kutumia vitambulisho vya awali:

• Jina la mtumiaji: admin
• Nenosiri: liekan

Badilisha nenosiri la awali mara moja baada ya kuingia. Maboresho ya baadaye yatahifadhi akaunti na manenosiri yaliyobinafsishwa.

Pakia mfano uliounganishwa

Ili kuchunguza kiolesura kabla ya kuunganisha tovuti halisi, anzisha seti ya data iliyochakatwa iliyojumuishwa:

docker compose -f docker-compose.liekan.yml exec app node scripts/liekan-seed-demo.mjs

Tovuti ya mfano inaitwa 猎看官网（示例数据）. Kwenye uingizaji wake wa kwanza, mihuri ya muda hubadilishwa ili kufanya seti ya data iwe rahisi kukagua. Uendeshaji unaorudiwa huhifadhi data iliyopo na hali ya ufutaji.

Unganisha tovuti yako ya kwanza

Baada ya kulinda akaunti ya msimamizi, unda tovuti katika GEOInflow na uunganishe vyanzo vya data vinavyofaa kwa uwekaji wako. Angalia mwongozo wa kuanza haraka wa mradi kwa mtiririko kamili wa uingizaji.

Hatua ya 1: Ongeza ufuatiliaji wa kivinjari

Sakinisha hati ya ufuatiliaji wa kivinjari ili kukusanya mionekano ya kurasa, matukio na vipimo vya ziada vilivyowezeshwa. Ufuatiliaji hauhitaji vidakuzi kwa chaguo-msingi. Kurekodi, sifa za matukio na miunganisho ya kibiashara hutegemea wigo wa data uliosanidiwa na mwendeshaji.

Ukusanyaji wa mionekano ya kurasa kwenye kivinjari unaweza kuendelea bila uingizaji wa IP unaoaminika. Hata hivyo, vipimo vinavyohusiana na utambulisho, kama vile wageni wa kipekee, vinahitaji ushahidi wa kuaminika wa uingizaji, kwa hiyo sanidi kwa makini proksi ya nyuma katika mazingira ya uzalishaji.

Hatua ya 2: Unganisha kumbukumbu za seva au CDN

Hati za kivinjari haziwezi kuona roboti zinazoomba hati kutoka kwenye seva pekee. Ongeza kumbukumbu za seva au CDN ili kupima ufikiaji wa watambazaji, njia za maombi, misimbo ya majibu, mbinu, muda wa kusubiri, uhifadhi wa akiba na hitilafu.

Ukusanyaji wa seva kiotomatiki unahitaji HTTPS ya umma, siri ya uingizaji na rasilimali za usakinishaji zilizotiwa saini. Ukitumia muunganisho wa Cloudflare, utahitaji pia OAuth, ruhusa zinazofaa na usaidizi wa mtoa huduma kwa uwezo unaoombwa.

Hatua ya 3: Ingiza orodha ya maudhui

Ingiza ramani ya tovuti, faili ya CSV au orodha ya JSON iliyo na kurasa unazotarajia watambazaji kugundua. GEOInflow inaweza kulinganisha orodha hii inayojulikana na rekodi za kumbukumbu zilizozingatiwa ili kukokotoa ufunikaji wa utambazaji na kutambua kurasa ambazo hazina shughuli iliyozingatiwa.

Chukulia ukurasa ambao haujafunikwa kama mwanzo wa uchunguzi, wala si uthibitisho wa kutengwa. Kagua sehemu za kuingilia, viungo vya ndani, maagizo ya robots, majibu ya HTTP na ikiwa ukusanyaji wa kumbukumbu ulihusisha kipindi husika.

Mtiririko wa msingi wa uchanganuzi

Tafuta majukwaa ya AI yanayotembelea tovuti

1. Chagua tovuti na kipindi cha tarehe.
2. Fungua eneo la uchanganuzi wa watambazaji.
3. Kagua utambulisho wa mtambazaji, mtoa huduma, madhumuni, kiasi cha maombi, hali ya uthibitishaji na mienendo.
4. Tumia vichujio vya utambulisho, madhumuni na aina ya bidhaa ili kupunguza seti ya data.
5. Kagua ushahidi unaounga mkono kila utambulisho badala ya kutegemea User-Agent pekee.

Mtiririko huu husaidia kutofautisha watambazaji wa mafunzo, maombi ya utafutaji wa AI na ufikiaji ulioanzishwa na mtumiaji pale katalogi na ushahidi unaopatikana vinapounga mkono uainishaji huo.

Tambua njia zinazotambazwa sana na zinazoweza kuwa batili

1. Kagua viwango vya kurasa zilizoombwa na maombi yanayorudiwa.
2. Linganisha shughuli kwa saraka na mtambazaji.
3. Kagua shughuli za hivi karibuni na uchangamfu wa maudhui.
4. Tafuta URL zilizoundwa vibaya, zilizopitwa na wakati au zinazotokea mara nyingi bila kutarajiwa.
5. Kagua hali yao ya HTTP, tabia ya akiba, muda wa kusubiri na ukubwa wa jibu.

Maombi yanayorudiwa yanaweza kufichua maudhui muhimu, tabia isiyofaa ya mtambazaji, uelekezaji upya, kurasa zinazokosekana au masuala ya muundo. Tafsiri kila muundo pamoja na ushahidi wa jibu.

Pima ufunikaji wa maudhui

1. Ingiza orodha ya sasa ya maudhui.
2. Chagua tovuti, kipindi cha tarehe na kichujio cha mtambazaji vinavyolingana.
3. Linganisha kurasa za orodha na njia zilizozingatiwa kwenye kumbukumbu.
4. Kagua kurasa ambazo hazina ufikiaji uliozingatiwa.
5. Chunguza ugundulika, sera, majibu na mwendelezo wa chanzo.

Kadi, majedwali, ulinganisho na uhamishaji hushiriki masharti ya vichujio vilivyochaguliwa. Uchunguzi wa njia uliokisiwa na matokeo yaliyokadiriwa huhifadhi lebo zake, hivyo kuwasaidia watumiaji kutofautisha hitimisho lililokokotolewa na ushahidi wa moja kwa moja.

Changanua matokeo ya marejeo ya AI

1. Washa ufuatiliaji wa kivinjari kwa tovuti.
2. Kagua vipindi vya marejeo vya AI vilivyotambuliwa na kurasa za kutua.
3. Fafanua matukio, malengo au mabadiliko yanayohusika.
4. Linganisha trafiki ya marejeo na matokeo ya baadaye.
5. Tenganisha maombi ya watambazaji na vipindi vya marejeo unaporipoti matokeo.

Ombi la mtambazaji halithibitishi kwamba ukurasa ulionekana katika jibu la AI. Vivyo hivyo, kipindi cha marejeo ya AI hakithibitishi jinsi modeli ilivyochagua au kunukuu ukurasa. Hifadhi tofauti hizi katika dashibodi na ripoti zilizohamishwa.

Vipindi vya tarehe, maeneo ya saa na tabia ya kusasisha

Vipindi vikuu vya tarehe ni Leo, siku 7 na siku 30. Eneo-msingi la saa la uchanganuzi ni Asia/Shanghai. Wakati wa kuingia kamili kwa mara ya kwanza, programu huthibitisha eneo la saa la nchi na jiji. Maombi ya baadaye hutumia eneo la saa lililohifadhiwa la akaunti kufafanua siku ya leo.

Wageni wa wakati halisi hujumuisha dakika 30 za hivi karibuni. Uchanganuzi wa uhifadhi hutumia miezi ya kalenda. Dashibodi kuu za Leo husoma matokeo yaliyochapishwa kila sekunde 30 na kuonyesha kikomo halisi cha data. Usasishaji husimama ukurasa unapofichwa au kifaa kikiwa nje ya mtandao, huku wakati halisi na uchanganuzi mzito ukitumia ratiba zao za kusasisha.

Vidokezo vya uendeshaji wa hali ya juu

Kagua uharakishaji wa uchanganuzi

GEOInflow hutumia ujumuishaji wa awali, ukweli kamili wa matembezi, matokeo yanayodumu na tabaka nyingi za uhifadhi ili kupunguza ukokotoaji unaorudiwa. Vipindi vya kawaida vinaweza kuwashwa mapema, na matokeo yaliyochapishwa hubaki kupatikana wakati masasisho ya chinichini yanaendeshwa.

Baada ya kupeleka mfumo, tumia ukurasa wa Analytics Acceleration kukagua kazi na ufunikaji. Hesabu za awali, mafanikio ya akiba, na masasisho ya chinichini zina gharama tofauti. Utendaji halisi hutegemea kiasi cha data, uundaji wa orodha ya bidhaa, utendaji wa PostgreSQL, na hali ya akiba.

Dumisha afya ya wafanyakazi

Wafanyakazi wa kumbukumbu na uchanganuzi ni muhimu kwa kuchakata uingizaji na kuchapisha matokeo. Ripoti zikikoma kusasishwa, kagua hali ya wafanyakazi, foleni, mwendelezo wa chanzo, afya ya hifadhidata, na Redis kabla ya kutafsiri dashibodi tupu kama ukosefu wa shughuli.

Ulinzi wa uwezo unaweza kuondoa madirisha ya zamani, na kazi zilizoshindwa zisizo na shughuli zinaweza kusitisha majaribio ya kiotomatiki. Kazi za kudumu za chinichini huruhusu hesabu za awali kukamilika bila kuhitaji kipindi cha kivinjari kubaki wazi.

Hifadhi mipaka ya chanzo na ushahidi

• Usichukulie dai la User-Agent kuwa utambulisho uliothibitishwa wa kitambazaji.
• Usichukulie kukosekana kwa shughuli kwenye kumbukumbu kuwa uthibitisho kwamba kitambazaji hakikufikia ukurasa, isipokuwa ufunikaji wa ukusanyaji umekamilika.
• Usilinganishe ufikiaji wa kitambazaji na uorodheshaji, mafunzo, unukuu, upangaji wa nafasi, au upatikanaji.
• Weka miunganisho iliyokosekana, seti za data tupu, thamani zisizojulikana, makadirio, na uwezo usio na usaidizi kama hali tofauti.
• Linganisha matokeo tu wakati vipindi vya tarehe, ufunikaji wa vyanzo, vichujio, na matoleo ya kanuni vinaoana.

Tumia vidhibiti vya ufikiaji kwa uangalifu

Hakiki robots, Nginx, au mabadiliko yanayotumika ya Cloudflare yaliyotengenezwa kabla ya kuyatumia. Shughuli za Cloudflare zinahitaji uthibitisho wa wazi na zinapaswa kufuatiwa na kusoma tena hali ya mbali. Thibitisha mpango na ruhusa za mtoa huduma katika mazingira halisi yaliyowekwa.

Panga miundombinu ya uzalishaji

Tumia kikoa, HTTPS, na proksi ya nyuma inayoaminika kwa ufikiaji wa uzalishaji. Fanya nakala rudufu ya PostgreSQL na ulinde .env ya faragha, siri za uingizaji, vitambulisho vya akaunti, funguo za faragha, na hifadhidata yoyote ya kijiografia iliyotolewa kwa faragha. Kagua mwongozo wa uwekaji kwa maelezo ya proksi, nakala rudufu, huduma, usanidi, na uboreshaji.

Washa vipengele vya AI pale tu vinapohitajika

Uchanganuzi wa msingi wa tovuti na utambuzi wa vitambazaji hauhitaji ufunguo wa API ya modeli. Uchanganuzi wa AI umezimwa kwa chaguo-msingi. Unapowasha kipengele hiki, watumiaji huchagua miunganisho ya modeli na nyenzo za tovuti, kwa hiyo kagua data inayotumwa kwa mtoa modeli aliyechaguliwa.

Tafsiri GEO Weight kwa tahadhari

GEO Weight ni uwezo wa Beta unaotegemea ufikiaji uliohitimu wa maudhui ya AI kutoka siku 30 kamili za hivi karibuni za kalenda. Tumia fomula yake iliyoandikwa, ushahidi, wigo unaotumika, na vikwazo badala ya kuichukulia kama alama ya jumla ya upangaji wa nafasi.

Usanidi wa maendeleo

Wachangiaji wanahitaji Node.js 22.23.4, pnpm 12.3.4, PostgreSQL, hifadhidata huru ya maendeleo, na usanidi wa faragha wa mazingira. Mfuatano ufuatao huandaa na kuanzisha programu ya wavuti kwenye porti 3302:

pnpm install --frozen-lockfile
pnpm build:db
pnpm db:migrate
pnpm liekan:migrate
pnpm liekan:queue-bootstrap
pnpm build:openapi
pnpm build:packages
pnpm build:tracker
pnpm build:recorder
pnpm liekan:build-worker
pnpm dev --port 3302

Anzisha wafanyakazi wa kumbukumbu na uchanganuzi katika vituo tofauti kama ilivyoelezwa kwenye CONTRIBUTING.md. Wafanyakazi wa maendeleo na programu ya wavuti lazima watumie usanidi uleule wa faragha wa mazingira.

Kurasa za bidhaa ziko katika src/components/liekan, mikataba ya data iko katika src/lib/liekan/contracts, na adapta za hoja na ruhusa za juu ziko katika src/lib/liekan/upstream. Ongeza mabadiliko ya schema kupitia uhamishaji wa mradi wa hatua kwa hatua, na usibadilishe uhamishaji ambao tayari umetumika.

Hitimisho

GEOInflow hutoa njia ya kujihudumia ya kuchanganya ushahidi wa vitambazaji, orodha za maudhui, uchanganuzi wa wageni, marejeo ya AI, na ubadilishaji. Anza kwa uwekaji wa Docker, linda akaunti ya msimamizi, unganisha vyanzo vya kivinjari na kumbukumbu, na uagize orodha ya kuaminika. Hitimisho muhimu zaidi hutokana na vichujio thabiti, wafanyakazi wenye afya, ufunikaji kamili wa vyanzo, na utenganisho wazi kati ya ufikiaji uliotazamwa na madai yanayohitaji ushahidi zaidi.