PixelRAG Faoliyat yuritmoqda

PixelRAG — Berkeley SkyLab/BAIR tomonidan ochiq manba sifatida taqdim etilgan, vizualga asoslangan RAG freymvorki. U veb-sahifalarni avval toza matnga aylantirib, keyin qidirish an’anaviy yondashuvidan voz kechadi: brauzer yordamida veb-sahifalar va PDF fayllarni skrinshot plitkalariga render qiladi. LoRA orqali nozik sozlangan Qwen3-VL vizual vektor qidiruvi yordamida model rasmlardagi jadvallar, diagrammalar va maketlarni bevosita o‘qiydi hamda an’anaviy RAGdagi jadval va maketlarning yo‘qolishi muammosini hal qiladi.

Sahifalarni render qilish (pixelshot): headless Chromium yordamida veb-sahifalar va PDF fayllarni skrinshot plitkalariga render qilib, jadvallar, diagrammalar va maketlarni to‘liq saqlaydi; Windows/macOS tizimlarida tizim Chrome brauzerini avtomatik ishga tushiradi, URL va mahalliy fayllarni birgalikda qo‘llab-quvvatlaydi.
Vizual semantik qidiruv: skrinshotlarni vektorlarga kodlaydi, matn bo‘yicha rasm va rasm bo‘yicha rasm qidiruvini qo‘llab-quvvatlaydi; mahalliy rejimda sukut bo‘yicha FAISS ishlatiladi, katta miqyosda esa Qdrantga o‘tish mumkin (kvantlash orqali siqish, diskda saqlash va bir nechta xizmatlar bilan ulashishni qo‘llab-quvvatlaydi).
Piksellarni bevosita o‘qish: qidiruvda topilgan skrinshotlar savollarga javob berish uchun to‘g‘ridan-to‘g‘ri VLMga tasvir sifatida uzatiladi; butun jarayonda matnga aylantirish amalga oshirilmaydi.
Boshqariladigan qidiruv xizmati: kalitsiz API va veb-demo, oldindan indekslangan 8,28 millionta Wikipedia sahifasi bilan darhol qidirishni taklif qiladi.
Mustaqil indeks yaratish pipeline’i: pixelrag index / embed / build-index / serve buyruqlarining to‘liq to‘plami mavjud; o‘z PDF fayllaringiz va saytingiz uchun baza yaratish mumkin, kichik miqyosda Mac (Apple Silicon)da ishlaydi.
Agent integratsiyasi: MCPga bog‘liq bo‘lmagan Claude Code uchun pixelbrowse plagini Claude’ga yetishmaydigan HTMLni yutish o‘rniga veb-sahifalarni skrinshot orqali “ko‘rish” imkonini beradi.

WeChat’da kuzatib boring va “开源” deb javob yuboring, AI ochiq manba loyihalari guruhiga qo‘shiling
Taqdimot qatlami — hujjat tasvir sifatida: headless Chromium yordamida veb-sahifalarni skrinshot qiladi, PDF fayllarni sahifalar bo‘yicha tasvirga aylantiradi va plitkalarga bo‘ladi. Shu tariqa jadvallardagi satr va ustunlar, diagrammalar, infografikalar kabi vizual tuzilmalar asl holicha saqlanadi.
Qidiruv qatlami — vizual vektor embeddingi: Qwen3-VL-Embedding-2B asosida kontrastiv o‘qitish ma’lumotlari bilan LoRA nozik sozlanadi. Bu skrinshotlarni semantik qidirish imkonini beradi; so‘rov “o‘sha matn qismi”ni emas, “o‘sha tasvir bo‘lagini” topadi. Vektorlar mahalliy qurilmada FAISSda saqlanadi, katta miqyosda Qdrantdan foydalanish mumkin.
Generatsiya qatlami — VLM tasvirni o‘qib javob beradi: qidiruvda topilgan skrinshot plitkalari to‘g‘ridan-to‘g‘ri piksel kiritmasi sifatida vizual til modeliga beriladi. Model raqamlar va maketlarni tasvirdan bevosita o‘qiydi, oraliq matnga aylantirish amalga oshirilmaydi.
Miqyos va samaradorlik: Wikipedia’ning barcha sahifalarini skrinshot shaklida qamrab olgan birinchi RAG pipeline’i. Piksel ko‘rinishi yangi samaradorlik imkonini ham beradi: skrinshot aniqligini pasaytirish token xarajatini ko‘pi bilan 3 baravar kamaytiradi, aniqlik esa pasaymaydi. Tajribalarda u matnli RAG bazaviy ko‘rsatkichidan to‘liq ustun kelib, eng yuqori natijada 18.1% o‘sish ko‘rsatgan.

O‘rnatish: pip install pixelrag buyrug‘ini bajaring va asosiy vositalarni oling (Python 3.10+ talab qilinadi).
Sahifani render qilish: pixelshot https://example.com -o ./tiles buyrug‘i veb-sahifa yoki PDFni skrinshot plitkalariga aylantiradi.
Boshqariladigan qidiruvni sinash: hech qanday sozlama talab qilinmaydi. 8,28 millionta Wikipedia sahifasi indeksida qidirish uchun https://api.pixelrag.ai/search manziliga bevosita POST so‘rovini yuboring yoki pixelrag.ai saytini brauzerda ochib, onlayn sinab ko‘ring.
Mustaqil indeks yaratish: pixelrag.yaml konfiguratsiya faylini yarating (hujjat yo‘li, embedding modeli va chiqish katalogini ko‘rsating), pixelrag index build buyrug‘i bilan indeksni yarating, so‘ng pixelrag serve --index-dir ./my_index --port 30001 buyrug‘i orqali qidiruv xizmatini ishga tushiring (kichik miqyosda Mac Apple Silicon yetarli, barcha Wikipedia indeksi uchun taxminan 217GB va GPU hisoblash quvvati kerak).
Claude Code bilan ulash: avval uv tool install pixelrag buyrug‘ini bajaring, so‘ng pixelbrowse plaginini o‘rnating (claude plugin marketplace add StarTrail-org/PixelRAG va claude plugin install pixelbrowse@pixelrag-plugins). Shundan keyin Claude MCPsiz veb-sahifalarni skrinshot orqali “ko‘ra” oladi.
Ilg‘or o‘qitish: o‘z embedding modelingizni ishlab chiqmoqchi bo‘lsangiz, train/ katalogiga kiring (mustaqil uv loyihasi) va README ko‘rsatmalariga muvofiq nozik sozlang yoki rasmiy ochiq manbadagi LoRA og‘irliklari va o‘qitish ma’lumotlaridan bevosita foydalaning.

Axborot yo‘qolmaydi: matn ajratib olish o‘rniga skrinshotlardan foydalanadi, jadval satr va ustunlari, diagrammalar hamda maketlarni to‘liq saqlaydi. Shu bilan an’anaviy RAGda javob bordek ko‘rinib, matn ajratilgach ma’lumotning yo‘qolib qolishi muammosi butunlay bartaraf etiladi.
Yuqori unumdorlik: maqolaga ko‘ra, u matnli RAG bazaviy ko‘rsatkichidan to‘liq ustun. NQ va SimpleQA kabi sof matnli vazifalarda ham yaxshiroq natija beradi, multimodal va agentic mezonlarida eng yuqori o‘sish 18.1%ni tashkil etadi.
Arzonroq: piksel ko‘rinishi o‘ziga xos samaradorlik imkonini beradi; skrinshot aniqligini pasaytirish token xarajatini ko‘pi bilan 3 baravar kamaytiradi, aniqlik esa pasaymaydi.
Pipeline soddaroq: murakkab HTML tahlili, tozalash va bo‘lish jarayonlari talab qilinmaydi. Skrinshotlarni render qilib, darhol bazaga kiritish mumkin, muhandislik ishlari sezilarli qisqaradi.
Miqyos sinovdan o‘tgan: Wikipedia’ning barcha sahifalarini skrinshot shaklida qamrab olgan birinchi RAG pipeline’i bo‘lib, 8,28 million sahifadan iborat kalitsiz boshqariladigan indeksni darhol sinab ko‘rish imkonini beradi.

Loyihaning rasmiy sayti: https://pixelrag.ai/
GitHub repozitoriysi: https://github.com/StarTrail-org/PixelRAG
arXiv texnik maqolasi: https://arxiv.org/pdf/2606.28344

Moliyaviy hisobotlar va ma’lumotlar jadvallari bo‘yicha savol-javob: moliyaviy hisobot sahifalari va statistik jadvallardagi raqamlarni bevosita o‘qiydi, matn tahlili sababli satr va ustunlarning siljib ketishining oldini oladi.
Dashboard va diagrammalarni qidirish: diagrammalar va KPI panellarini o‘z ichiga olgan skrinshot qismlarini topadi, model esa tasvirni o‘qib javob beradi.
Infografikalar va tasvirli hujjatlar: infografikalar, blok-sxemalar kabi an’anaviy matn indekslari qamrab ololmaydigan kontentni ham qidirish mumkin.
Ko‘p ustunli maketli mahsulot sahifalari: murakkab maketdagi mahsulot taqqoslash sahifalari va yangiliklar sahifalari asl joylashuvini saqlagan holda qidiruvda ishtirok etadi.
Agentning veb-sahifalarni o‘qishi: Claude Code’dagi pixelbrowse plagini orqali Agent yetishmaydigan HTMLni yutish o‘rniga veb-sahifalarni skrinshot orqali “ko‘radi”.