PixelRAG Inafanya kazi

PixelRAG ni mfumo wa RAG unaozingatia maono, uliotolewa kama chanzo huria na SkyLab/BAIR ya Berkeley. Badala ya njia ya kawaida ya kubadilisha kurasa za wavuti kuwa maandishi tupu kisha kuzitafuta, mfumo hutumia kivinjari kutoa kurasa za wavuti na PDF kuwa vigae vya picha za skrini, na kutumia utafutaji wa vekta za kuona kupitia Qwen3-VL iliyorekebishwa kwa LoRA, ili modeli iweze kusoma moja kwa moja majedwali, chati na mpangilio wa ukurasa kwenye picha, na kutatua tatizo la RAG za kawaida kupoteza majedwali na mpangilio.

Utoaji wa kurasa (pixelshot): Hutumia Chromium isiyo na kiolesura kutoa kurasa za wavuti na PDF kuwa vigae vya picha za skrini, huku ikihifadhi kikamilifu majedwali, chati na mpangilio; kwenye Windows/macOS huitumia Chrome ya mfumo kiotomatiki na inasaidia kuchanganya URL na faili za ndani.
Utafutaji wa kisemantiki wa kuona: Husimba picha za skrini kuwa vekta, na kusaidia kutafuta picha kwa maandishi au picha; kwa chaguo-msingi hutumia FAISS ya ndani, na kwa kiwango kikubwa inaweza kubadilishwa kuwa Qdrant (inayosaidia ukandamizaji wa quantization, uhifadhi kwenye diski na kushirikisha huduma nyingi).
Kusoma pikseli moja kwa moja: Picha za skrini zilizopatikana hutumwa moja kwa moja kama ingizo la picha kwa VLM ili kujibu maswali, bila ubadilishaji wa maandishi katika mchakato mzima.
Huduma ya utafutaji inayosimamiwa: API isiyohitaji ufunguo pamoja na Demo ya wavuti, ikiwa na faharasa iliyojengwa awali ya kurasa milioni 8.28 za Wikipedia, tayari kutumika bila usanidi.
Mlango wa kujenga faharasa binafsi: Seti kamili ya amri za pixelrag index / embed / build-index / serve, zinazowezesha kujenga hifadhidata kutoka kwa PDF na tovuti zako; inaweza kuendesha miradi midogo kwenye Mac (Apple Silicon).
Uunganishaji na Agent: Programu-jalizi ya Claude Code ya pixelbrowse, bila utegemezi wa MCP, humwezesha Claude “kuona” kurasa za wavuti kupitia picha za skrini badala ya kumeza HTML isiyokamilika.

Fuata akaunti ya WeChat na ujibu “chanzo huria” ili ujiunge na kikundi cha kubadilishana miradi ya AI ya chanzo huria
Safu ya uwasilishaji—hati ni picha: Hutumia Chromium isiyo na kiolesura kupiga picha za skrini za kurasa za wavuti, kubadilisha PDF kuwa picha kwa kila ukurasa na kuzigawanya kuwa vigae, hivyo kuhifadhi jinsi majedwali yalivyopangwa, chati na infografiki kama zilivyo.
Safu ya utafutaji—upachikaji wa vekta za kuona: Kwa kutegemea Qwen3-VL-Embedding-2B, hutumia data ya ujifunzaji linganishi kufanya urekebishaji wa LoRA, ili picha za skrini ziweze kutafutwa kisemantiki; kinachopatikana ni “sehemu hiyo ya picha” badala ya “kipande hicho cha maandishi”; vekta huhifadhiwa katika FAISS ya ndani, na kwa kiwango kikubwa inaweza kubadilishwa kuwa Qdrant.
Safu ya uzalishaji—VLM husoma picha na kujibu: Vigae vya picha za skrini vilivyopatikana hutumwa moja kwa moja kama ingizo la pikseli kwa modeli ya lugha na maono, ambayo husoma nambari na mpangilio moja kwa moja kutoka kwenye picha, bila ubadilishaji wa maandishi wa kati.
Ukubwa na ufanisi: Ni mfumo wa kwanza wa RAG unaofunika Wikipedia yote kwa kutumia muundo wa picha za skrini; uwakilishi wa pikseli pia huleta njia mpya ya kuongeza ufanisi—kupunguza mwonekano wa picha za skrini kunaweza kupunguza gharama ya tokeni hadi mara 3 bila kupunguza usahihi, na katika majaribio uliizidi kwa ujumla misingi ya RAG ya maandishi, kwa ongezeko la juu la 18.1%.

Usakinishaji: Tekeleza pip install pixelrag ili kupata zana kuu (inahitajika Python 3.10+).
Kutoa ukurasa: Tekeleza pixelshot https://example.com -o ./tiles ili kubadilisha ukurasa wa wavuti au PDF kuwa vigae vya picha za skrini.
Kujaribu utafutaji unaosimamiwa: Bila usanidi wowote, tuma ombi la POST kwa https://api.pixelrag.ai/search ili kutafuta katika faharasa ya kurasa milioni 8.28 za Wikipedia, au fungua pixelrag.ai kwenye kivinjari kwa matumizi ya mtandaoni.
Kujenga faharasa binafsi: Andika usanidi wa pixelrag.yaml (ukibainisha njia ya hati, modeli ya upachikaji na saraka ya matokeo), kisha tekekeleza pixelrag index build kujenga faharasa. Baadaye, tumia pixelrag serve --index-dir ./my_index --port 30001 kuanzisha huduma ya utafutaji (Mac Apple Silicon inaweza kuendesha miradi midogo; faharasa kamili ya Wikipedia ni takribani 217GB na inahitaji nguvu ya GPU).
Kuunganisha na Claude Code: Baada ya kutekeleza uv tool install pixelrag, sakinisha programu-jalizi ya pixelbrowse (claude plugin marketplace add StarTrail-org/PixelRAG na claude plugin install pixelbrowse@pixelrag-plugins), ili Claude aweze “kuona” kurasa za wavuti kupitia picha za skrini bila MCP.
Mafunzo ya hali ya juu: Ikiwa unahitaji kuunda modeli yako ya upachikaji, nenda kwenye saraka ya train/ (mradi huru wa uv) na ufuate README kufanya urekebishaji, au tumia moja kwa moja uzani wa LoRA na data ya mafunzo iliyotolewa kama chanzo huria rasmi.

Hakuna upotevu wa taarifa: Kwa kutumia picha za skrini badala ya kutoa maandishi, safu na nguzo za majedwali, chati na mpangilio huhifadhiwa kikamilifu, na kutatua kabisa tatizo la RAG za kawaida zinazoonekana kuwa na jibu lakini hupoteza taarifa baada ya kutoa maandishi.
Utendaji bora: Karatasi ya utafiti inaonyesha kuwa inazidi kwa ujumla misingi ya RAG ya maandishi; pia ni bora katika kazi za maandishi tupu kama NQ na SimpleQA, huku ikiimarika hadi 18.1% katika vipimo vya multimodali na Agentic.
Gharama ndogo: Uwakilishi wa pikseli huleta njia ya kipekee ya kuongeza ufanisi; kupunguza mwonekano wa picha za skrini kunaweza kupunguza gharama ya tokeni hadi mara 3 bila kupunguza usahihi.
Mlango rahisi zaidi: Huondoa michakato changamano ya kuchanganua, kusafisha na kugawanya HTML; picha za skrini zinaweza kuhifadhiwa moja kwa moja kwenye faharasa, hivyo kupunguza sana kazi ya uhandisi.
Uwezo umethibitishwa: Ni mfumo wa kwanza wa RAG unaofunika Wikipedia yote kwa kutumia picha za skrini, ukiambatana na faharasa inayosimamiwa na isiyohitaji ufunguo ya kurasa milioni 8.28, tayari kujaribiwa.

Tovuti rasmi ya mradi: https://pixelrag.ai/
Hifadhi ya GitHub: https://github.com/StarTrail-org/PixelRAG
Karatasi ya kiufundi ya arXiv: https://arxiv.org/pdf/2606.28344

Maswali na majibu kuhusu ripoti za fedha na majedwali ya data: Husoma moja kwa moja nambari kwenye kurasa za ripoti za fedha na majedwali ya takwimu, na kuepuka kupishana kwa safu na nguzo kunakosababishwa na uchanganuzi wa maandishi.
Utafutaji wa dashibodi na chati: Hupata maeneo ya picha za skrini yenye chati na paneli za KPI, na kuwezesha modeli kusoma picha na kujibu.
Infografiki na hati zenye vielelezo: Infografiki, michoro ya mchakato na maudhui mengine ambayo faharasa za maandishi za kawaida haziwezi kufunika yanaweza kutafutwa.
Kurasa za bidhaa zenye safu nyingi: Kurasa za ulinganishaji wa bidhaa na kurasa za habari zenye mpangilio changamano huhifadhi mpangilio wake wa asili na kushiriki katika utafutaji.
Usomaji wa kurasa za wavuti na Agent: Kupitia programu-jalizi ya pixelbrowse ya Claude Code, Agent anaweza “kuona” kurasa za wavuti kwa picha za skrini badala ya kumeza HTML isiyokamilika.