PixelRAG خدام

PixelRAG هو إطار RAG أصلي بصرياً ومفتوح المصدر من SkyLab/BAIR ديال بيركلي. كيخرج على الطريقة التقليدية ديال تحويل صفحات الويب لنصوص صافية ومن بعد البحث فيها، وكيستعمل المتصفح باش يرندر صفحات الويب وملفات PDF على شكل بلاطات ديال لقطات الشاشة، مع استرجاع المتجهات البصرية باستعمال Qwen3-VL مضبوط بـ LoRA، وكيخلي النموذج يقرا الجداول والرسوم البيانية والتنسيق مباشرة من الصورة، وكيحل مشكل ضياع الجداول والتنسيق فـ RAG التقليدي.

رندر الصفحات (pixelshot): كيستعمل Chromium بلا واجهة باش يرندر صفحات الويب وملفات PDF على شكل بلاطات ديال لقطات الشاشة، مع الحفاظ الكامل على الجداول والرسوم البيانية والتنسيق؛ فـ Windows/macOS كينادي أوتوماتيكياً على Chrome ديال النظام، وكيخدم مع الروابط والملفات المحلية بجوج.
البحث الدلالي البصري: كيحوّل لقطات الشاشة لمتجهات، وكيعطي البحث بالنص على الصور والبحث بالصورة على الصور؛ محلياً كيعتمد FAISS بشكل افتراضي، وفـ الأحجام الكبيرة يمكن التحويل لـ Qdrant (كيدعم الضغط بالكمّية، والتخزين على القرص، والمشاركة بين خدمات متعددة).
القراية المباشرة من البيكسلات: لقطات الشاشة اللي لقاها البحث كتدخل مباشرة للنموذج كصور باش يجاوب على الأسئلة، بلا أي تحويل للنص فـ أي مرحلة.
خدمة بحث مستضافة: API بلا مفتاح وDemo فالويب، وفيها فهرس مبني مسبقاً لـ 828 万 صفحة من ويكيبيديا، وتقدر تبدا البحث مباشرة.
مسار بناء الفهرس ذاتياً: مجموعة كاملة ديال الأوامر pixelrag index / embed / build-index / serve، باش تبني قاعدة بيانات ديال ملفات PDF والمواقع ديالك، ويمكن تشغيل الأحجام الصغيرة على Mac (Apple Silicon).
الدمج مع Agent: إضافة pixelbrowse لـ Claude Code، بلا اعتماد على MCP، وكتخلي Claude "يشوف" الويب بلقطات الشاشة عوض ما يبلع HTML ناقص.

تابعونا على WeChat وردّو بـ "开源" باش تنضمو لمجموعة مشاريع الذكاء الاصطناعي مفتوحة المصدر
طبقة التمثيل — الوثيقة هي الصورة: كيستعمل Chromium بلا واجهة باش ياخذ لقطات من صفحات الويب، وكيحوّل ملفات PDF لصور صفحة بصفحة وكيقسمها لبلاطات، وبهاد الطريقة كيبقى اصطفاف صفوف وأعمدة الجداول والرسوم البيانية والإنفوغرافيك والبنيات البصرية الأخرى كيف ما هو.
طبقة البحث — تضمين المتجهات البصرية: مبنية على Qwen3-VL-Embedding-2B، ومضبوطة بـ LoRA باستعمال بيانات التعلم بالتباين، باش تولي لقطات الشاشة قابلة للبحث الدلالي؛ نتيجة البحث هي "داك الجزء من الصورة" ماشي "داك المقطع من النص"؛ المتجهات كتتخزن محلياً فـ FAISS، وفـ الأحجام الكبيرة يمكن استعمال Qdrant.
طبقة التوليد — النموذج البصري اللغوي كيقرا الصورة وكيجاوب: بلاطات لقطات الشاشة اللي لقاها البحث كتدخل مباشرة كمدخلات بكسلية للنموذج البصري اللغوي، وهو كيقرا الأرقام والتنسيق مباشرة من الصورة، بلا تحويل وسيط للنص.
الحجم والفعالية: أول مسار RAG كيغطّي ويكيبيديا كاملة بصيغة لقطات الشاشة؛ والتمثيل بالبيكسلات كيجيب حتى وسائل جديدة للرفع من الفعالية — تخفيض دقة لقطات الشاشة يقدر ينقص تكلفة الـ token حتى لـ 3 مرات بلا ما تنقص الدقة، وفـ التجارب تفوق بشكل شامل على خط أساس RAG النصي، بأقصى تحسن وصل لـ 18.1%.

التثبيت: نفّذ pip install pixelrag باش تحصل على الأدوات الأساسية (خاص Python 3.10+).
رندر الصفحة: شغّل pixelshot https://example.com -o ./tiles باش تحوّل صفحة الويب أو ملف PDF لبلاطات ديال لقطات الشاشة.
جرّب البحث المستضاف: بلا حتى إعداد، صيفط طلب POST مباشرة لـ https://api.pixelrag.ai/search باش تقلب فـ فهرس 828 万 صفحة ديال ويكيبيديا، أو حلّ pixelrag.ai فـ المتصفح وجربو أونلاين.
بناء الفهرس ذاتياً: كتب إعداد pixelrag.yaml (حدد مسار الوثائق، نموذج التضمين، ومجلد الإخراج)، ونفّذ pixelrag index build باش تبني الفهرس، ومن بعد شغّل pixelrag serve --index-dir ./my_index --port 30001 باش تطلق خدمة البحث (Mac Apple Silicon كافي للأحجام الصغيرة، أما فهرس ويكيبيديا كامل فكيحتاج تقريباً 217GB وقدرة GPU).
الربط مع Claude Code: من بعد ما تنفّذ uv tool install pixelrag، ثبّت إضافة pixelbrowse (claude plugin marketplace add StarTrail-org/PixelRAG ومن بعد claude plugin install pixelbrowse@pixelrag-plugins)، وغادي يقدر Claude "يشوف" الويب بلقطات الشاشة بلا حاجة لـ MCP.
التدريب المتقدم: إلا بغيتي تطوّر نموذج تضمين ديالك، دخل لمجلد train/ (مشروع uv مستقل) وتبع README باش تدير الضبط الدقيق، أو عاود استعمل أوزان LoRA وبيانات التدريب الرسمية المفتوحة المصدر.

بلا ضياع للمعلومات: كيستعمل لقطات الشاشة عوض استخراج النص، وكيحافظ بشكل كامل على صفوف وأعمدة الجداول والرسوم البيانية والتنسيق، وكيحل نهائياً مشكل RAG التقليدي اللي كيبان فيه الجواب موجود، ولكن من بعد استخراج النص كيضيع.
أداء أقوى: الورقة العلمية كتبيّن أنه تفوق بشكل شامل على خط أساس RAG النصي، وحتى فـ المهام النصية الصرفة بحال NQ وSimpleQA كيكون أحسن، وبأقصى تحسن وصل لـ 18.1% فـ معايير التقييم متعددة الوسائط وAgentic.
تكلفة أقل: التمثيل بالبيكسلات كيوفر وسيلة خاصة لرفع الفعالية؛ تخفيض دقة لقطات الشاشة يقدر ينقص تكلفة الـ token حتى لـ 3 مرات بلا ما تنقص الدقة.
مسار أبسط: كيحيد الحاجة لتحليل HTML وتنقيتو وتقسيمو بشكل معقد؛ غير رندر لقطات الشاشة وإدخالها للفهرس، وكيهبط حجم العمل الهندسي بزاف.
الحجم مجرّب: هو أول مسار RAG كيغطّي ويكيبيديا كاملة بصيغة لقطات الشاشة، ومعاه فهرس مستضاف بلا مفتاح لـ 828 万 صفحة تقدر تجربو فوراً.

الموقع الرسمي للمشروع: https://pixelrag.ai/
مستودع GitHub: https://github.com/StarTrail-org/PixelRAG
الورقة التقنية على arXiv: https://arxiv.org/pdf/2606.28344

الأسئلة والأجوبة حول التقارير المالية وجداول البيانات: كيقرا الأرقام مباشرة من صفحات التقارير المالية والجداول الإحصائية، وكيجنب أخطاء انزياح الصفوف والأعمدة الناتجة عن تحليل النص.
البحث فـ لوحات القيادة والرسوم البيانية: نتيجة البحث كتقدر تشمل مناطق من لقطات الشاشة فيها رسوم بيانية ولوحات KPI، باش النموذج يقرا الصورة ويجاوب.
الإنفوغرافيك والوثائق المشروحة بالصور: المحتوى بحال الإنفوغرافيك والمخططات الانسيابية، اللي ما كيقدرش الفهرس النصي التقليدي يغطيه، يولي قابل للبحث.
صفحات المنتجات ذات التخطيط متعدد الأعمدة: صفحات مقارنة المنتجات والصفحات الإخبارية ذات التنسيق المعقد كتحافظ على التخطيط الأصلي ديالها وكتشارك فـ البحث.
قراية الويب من طرف Agent: باستعمال إضافة pixelbrowse ديال Claude Code، كيخلي الـ Agent "يشوف" الويب بلقطات الشاشة عوض ما يبلع HTML ناقص.