Playwright yordamida shaxsiy, API-siz X skreperini yarating

x-scraper-no-api nima qiladi

x-scraper-no-api mahalliy tizimda autentifikatsiyadan o‘tgan Chromium brauzerini ochiq X kontenti uchun ma’lumotlar pipeline’iga aylantiradi. Bir marta qo‘lda tizimga kirganingizdan so‘ng, buyruqlar qatori vositasi qidiruv natijalarini, ochiq timeline’larni va ochiq javoblari bilan birga postni to‘plashi mumkin.

Natijalar to‘g‘ridan-to‘g‘ri kompyuteringizga json, jsonl, csv yoki md formatlarida yoziladi. Loyiha X API kaliti, joylashtirilgan scraper xizmati, proksi yoki uchinchi tomon relay xizmatidan foydalanmaydi.

Asosiy xususiyatlar

• API kalitlari yoki dasturchi akkaunti kerak emas: rasmiy API rejasining o‘rniga o‘z brauzer seansingizdan foydalaning.
• Qo‘lda autentifikatsiya: tizimga o‘zingiz kirasiz, vosita parolingiz yoki ikki bosqichli autentifikatsiya kodlaringizni qayta ishlamaydi.
• Doimiy seans: brauzer profili ~/.xscraper/ ichida saqlanadi, shuning uchun keyingi ishga tushirishlar brauzer oynasisiz bajarilishi mumkin.
• Kengaytirilgan X qidiruvi: from:, since:, until:, min_faves:, filter:media va lang: kabi operatorlardan foydalaning.
• LLM uchun tayyor chiqish: Markdown tokenlarga qulay AI-agent konteksti uchun mo‘ljallangan, JSON, JSONL va CSV esa dasturiy ish jarayonlarini qo‘llab-quvvatlaydi.
• Barqaror parsing: scraper nozik HTML klass nomlariga bog‘lanish o‘rniga X’ning o‘z frontend’iga yuboriladigan tuzilgan GraphQL ma’lumotlarini oladi.
• Ehtiyotkor cheklovlar: ishga tushirishlar insonnikiga o‘xshash tezlikdan, elementlar sonining qat’iy chegaralaridan va X yuklama oshganini bildirganda avtomatik kutishdan foydalanadi.
• Agentlarni qo‘llab-quvvatlash: repozitoriy OpenClaw, Hermes va CLI’dan foydalana oladigan boshqa agentlar uchun Skill’ni o‘z ichiga oladi.

O‘rnatish va ilk sozlash

1. macOS build vositalarini o‘rnating

macOS’da Xcode Command Line Tools’ni o‘rnating, chunki native bog‘liqliklar ularga muhtoj bo‘lishi mumkin.

xcode-select --install

2. Node.js’ni o‘rnating

Rasmiy installer yoki versiya menejeri yordamida Node.js 18 yoki undan yangirog‘ini o‘rnating. Loyiha Node.js 18 yoki undan keyingi versiyasini talab qiladi. Boshlash uchun Node.js yuklab olish sahifasiga tashrif buyuring.

3. Scraper’ni GitHub’dan o‘rnating

Ishchi katalog yarating, unga o‘ting va paketni to‘g‘ridan-to‘g‘ri repozitoriydan o‘rnating:

mkdir -p 'xscraper' && cd 'xscraper' && npm install github:JoinArtisanVent/x-scraper-no-api

4. Playwright uchun Chromium’ni o‘rnating

Playwright foydalanadigan Chromium brauzerini yuklab oling:

npx playwright install chromium

5. Qo‘lda tizimga kiring

Bir martalik kirish jarayonini boshlang:

npx xscraper login

Haqiqiy brauzer oynasi ochiladi. X’ga o‘zingiz kiring, jumladan talab qilinadigan ikki bosqichli autentifikatsiyani ham bajaring. Vosita natijada hosil bo‘lgan brauzer seansini mahalliy ravishda ~/.xscraper/ ichida saqlaydi. U sizning hisob ma’lumotlaringizni qabul qilmaydi yoki qayta ishlamaydi.

Brauzerda foydalanish uchun o‘zingizga qulay bo‘lgan X akkauntidan foydalaning. Vosita faqat ochiq postlarni qo‘llab-quvvatlaydi; himoyalangan akkauntlar, shaxsiy xabarlar yoki cheklangan kontent qo‘llab-quvvatlanmaydi.

Asosiy foydalanish

X’ni kengaytirilgan operatorlar bilan qidiring

search buyrug‘iga to‘liq X qidiruv ifodasini bering. Ushbu misol sanadan keyin OpenAI joylagan, kamida 500 ta layk olgan postlarni topadi va Markdown qaytaradi:

xscraper search "from:openai since:2026-01-01 min_faves:500" --limit 50 --format md

Vosita X’ning kengaytirilgan qidiruv sintaksisini, jumladan akkaunt filtrlari, sana oralig‘i, til filtrlari, media filtrlari va faollik chegaralarini qo‘llab-quvvatlaydi.

Latest yorlig‘ini so‘rang

Qidiruv natijalari odatda standart qidiruv xatti-harakatidan foydalanadi. Latest yorlig‘i kerak bo‘lganda --latest qo‘shing:

xscraper search "ai agents" --latest --limit 25

Ochiq timeline’ni eksport qiling

Ochiq username bilan timeline buyrug‘idan foydalaning. Ushbu misol CSV chiqishini faylga yozadi:

xscraper timeline @nasa --limit 100 --format csv -o nasa.csv

Post va uning ochiq javoblarini to‘plang

X posti URL manzili bilan tweet buyrug‘idan foydalaning:

xscraper tweet https://x.com/nasa/status/1846987139428634858 --format json

Chiqish formatlari va buyruq parametrlari

• --limit <n> elementlarning maksimal sonini belgilaydi. Standart qiymat 50, qat’iy chegara esa 200.
• --format json, jsonl, csv yoki md formatini tanlaydi. Markdown LLM ish jarayonlari uchun amaliy tanlovdir.
• -o <file> chiqishni standart chiqish o‘rniga faylga yozadi.
• --headed brauzerni ko‘rinadigan holda qoldiradi, shunda jarayonni kuzatishingiz va muammolarni aniqlashingiz mumkin.

JSON yozuvi post ID’si, URL manzili, yaratilgan vaqt, matn, til, muallif tafsilotlari, faollik ko‘rsatkichlari, hashtag’lar, media va scraping vaqt tamg‘asini o‘z ichiga olishi mumkin:

{
  "id": "1846987139428634858",
  "url": "https://x.com/nasa/status/1846987139428634858",
  "created_at": "Wed Oct 16 12:34:56 +0000 2026",
  "text": "Liftoff! …",
  "lang": "en",
  "author": { "username": "nasa", "name": "NASA", "verified": true },
  "metrics": { "replies": 1200, "reposts": 4800, "likes": 32000, "views": 1500000 },
  "hashtags": ["EuropaClipper"],
  "scraped_at": "2026-09-26T10:00:00.000Z"
}

Scraper’dan AI agentlar bilan foydalanish

Repozitoriy skills/x-scraper-no-api/SKILL.md manzilida agent Skill’ni o‘z ichiga oladi. OpenClaw yoki Hermes’ni skills/ katalogiga yo‘naltirishingiz yoki Skill manifestini agentingiz uchun mos skills katalogiga nusxalashingiz mumkin.

Maxsus LLM skripti uchun CLI’ni subprocess sifatida ishga tushiring va Markdown chiqishini oling:

import subprocess

ctx = subprocess.run(
    ["xscraper", "search", "local-first software", "--limit", "50", "--format", "md"],
    capture_output=True,
    text=True,
    timeout=600,
).stdout

Ilova qilingan Skill xavfsizlik shartlarini belgilaydi: faqat ochiq maʼlumotlardan foydalaning, cheklovlarni kichik saqlang, hisob maʼlumotlarini hech qachon qayta ishlamang va qirib olingan kontentni ishonchsiz kiritma deb hisoblang.

Ishonchli ishga tushirishlar uchun ilgʻor maslahatlar

Cheklovlarni aniq belgilang

Har bir ishga tushirish dizayn boʻyicha 200 ta element bilan cheklangan. Tadqiqot va agent konteksti uchun bitta katta yigʻish vazifasidan koʻra, moʻʼtadil cheklovlarga ega bir nechta aniq qidiruvni tanlagan maʼqul.

Promptlar uchun Markdowndan foydalaning

Maqsad LLM prompti boʻlsa, --format md ni tanlang. Bu format tokenlar uchun qulay qilib ishlab chiqilgan va uni toʻgʻridan-toʻgʻri standart chiqishdan olish yoki -o yordamida saqlash mumkin.

Muammolarni bartaraf etishda ko‘rsatiladigan rejimdan foydalaning

Brauzer ishini kuzatish kerak boʻlsa, --headed ni qoʻshing. Soʻrovingiz kutilganidek ishlashiga ishonch hosil qilganingizdan soʻng, odatiy ishga tushirishlar boshqarilmaydigan rejimda ishlashi uchun bu bayroqni olib tashlang.

Baʼzan natijalar kamroq chiqishini kuting

Agar buyruq soʻralganidan kamroq element qaytarsa, mavjud vaqt jadvali yoki qidiruv natijalari shunchaki tugagan boʻlishi mumkin. Bu odatiy holat va albatta xatolikni anglatmaydi.

Masʼuliyatli foydalanish cheklovlariga rioya qiling

Loyiha CAPTCHA yechish, proksi rotatsiyasi, hisoblarni birlashtirish, hisob maʼlumotlarini qayta ishlash va tezlik cheklovlarini chetlab oʻtishdan ataylab voz kechadi. Ishga tushirishlarni moʻʼtadil saqlang, avtomatik tezlikni boshqarish va tanaffuslar ishlashiga imkon bering hamda X foydalanish shartlari va amaldagi qonunlarga rioya qiling.

Loyiha qanday ishlaydi

Haqiqiy Chromium nusxasi Xʼni inson foydalanuvchisi kabi yuklaydi. Qiruvchi X oʻz frontendiga yuboradigan GraphQL JSON maʼlumotlarini passiv tarzda ushlaydi, soʻng ularni barqaror chiqish sxemasiga normallashtiradi. U Xʼning ichki endpointlariga bevosita murojaat qilmaydi va oʻzgarib turadigan HTML klass nomlariga tayanmaydi.

Asosiy manba fayllari beshta yoʻnalishga ajratilgan:

• src/cli.js Commander asosidagi CLIʼni belgilaydi.
• src/session.js doimiy Playwright profilini va qoʻlda kirishni boshqaradi.
• src/scraper.js GraphQL javoblarini ushlaydi va yozuvlarni normallashtiradi.
• src/ratelimit.js tezlikni boshqarish, cheklovlar va kechiktirib qayta urinishni bajaradi.
• src/output.js JSON, JSONL, CSV va Markdown fayllarini yozadi.

Xulosa

x-scraper-no-api API kalitlari, har bir tvit uchun toʻlov yoki joylashtirilgan vositachisiz ochiq X maʼlumotlarini mahalliy tarzda yigʻish imkonini beradi. Node.jsʼni oʻrnating, bir marta qoʻlda autentifikatsiyadan oʻting va CLIʼdan foydalanib, fayllar, skriptlar yoki AI-agent ish jarayonlariga mos formatlarda aniq qidiruvlar, vaqt jadvallari va ochiq javoblarni eksport qiling. Foydalanishni ehtiyotkorona olib boring va yigʻilgan maʼlumotlarga masʼuliyat bilan munosabatda boʻling.