PixelRAG آپریشن میں

PixelRAG برکلے SkyLab/BAIR کا اوپن سورس بصری مقامی RAG فریم ورک ہے۔ یہ ویب صفحات کو سادہ متن میں تبدیل کرکے تلاش کرنے کے روایتی طریقے سے ہٹ کر براؤزر کے ذریعے ویب صفحات اور PDF کو اسکرین شاٹ ٹائلز میں رینڈر کرتا ہے، اور LoRA سے فائن ٹیون کیے گئے Qwen3-VL بصری ویکٹر سرچ کے ذریعے ماڈل کو تصاویر میں موجود جدولیں، چارٹس اور لے آؤٹ براہِ راست پڑھنے دیتا ہے، یوں روایتی RAG میں جدولوں اور لے آؤٹ کے ضائع ہونے کا مسئلہ حل ہوتا ہے۔

صفحہ رینڈرنگ (pixelshot): ہیڈلیس Chromium کے ذریعے ویب صفحات اور PDF کو اسکرین شاٹ ٹائلز میں رینڈر کرتا ہے، جبکہ جدولیں، چارٹس اور لے آؤٹ مکمل طور پر محفوظ رہتے ہیں؛ Windows/macOS خودکار طور پر سسٹم Chrome استعمال کرتے ہیں، اور URL و مقامی فائلوں کے امتزاج کی سہولت موجود ہے۔
بصری معنوی تلاش: اسکرین شاٹس کو ویکٹرز میں انکوڈ کرتا ہے، متن سے تصویر اور تصویر سے تصویر تلاش کی سہولت دیتا ہے؛ مقامی طور پر بطور ڈیفالٹ FAISS استعمال ہوتا ہے، جبکہ بڑے پیمانے پر Qdrant پر منتقل کیا جا سکتا ہے (کوانٹائزیشن کمپریشن، ڈسک اسٹوریج اور متعدد سروسز میں اشتراک کی حمایت کے ساتھ)۔
پکسل کی براہِ راست قرأت: تلاش میں ملنے والے اسکرین شاٹس کو براہِ راست تصویری ان پٹ کے طور پر VLM کو دے کر سوالات کے جوابات حاصل کرتا ہے، پورے عمل میں متن میں کوئی تبدیلی نہیں ہوتی۔
میزبان تلاش سروس: کلید کے بغیر API اور ویب Demo، جس میں 828 万 ویکیپیڈیا صفحات کا پہلے سے تیار کردہ اشاریہ شامل ہے، اس لیے فوراً تلاش شروع کی جا سکتی ہے۔
اپنا اشاریہ بنانے کی پائپ لائن: pixelrag index / embed / build-index / serve کے مکمل کمانڈز دستیاب ہیں، جن سے اپنی PDF اور ویب سائٹس کے لیے ڈیٹا بیس بنایا جا سکتا ہے؛ Mac (Apple Silicon) پر بھی چھوٹے پیمانے پر چلتا ہے۔
Agent انضمام: Claude Code پلگ اِن pixelbrowse، جس کے لیے MCP کی ضرورت نہیں، Claude کو نامکمل HTML نگلنے کے بجائے ویب صفحات کے اسکرین شاٹس ”دیکھنے“ دیتا ہے۔

WeChat پر فالو کرکے “开源” کا جواب دیں اور AI اوپن سورس پروجیکٹس کے گروپ میں شامل ہوں
اظہاری تہہ——دستاویز بطور تصویر: ہیڈلیس Chromium کے ذریعے ویب صفحات کے اسکرین شاٹس لیتا ہے، PDF کو صفحہ بہ صفحہ تصاویر میں تبدیل کرتا ہے، اور انہیں ٹائلز میں تقسیم کرتا ہے، تاکہ جدولوں کی قطاریں اور کالم، چارٹس اور معلوماتی گرافکس جیسے بصری ڈھانچے اصل حالت میں محفوظ رہیں۔
تلاش کی تہہ——بصری ویکٹر ایمبیڈنگ: Qwen3-VL-Embedding-2B کی بنیاد پر تقابلی سیکھنے کے ڈیٹا سے LoRA فائن ٹیوننگ کرتا ہے، تاکہ اسکرین شاٹس کو معنوی طور پر تلاش کیا جا سکے۔ تلاش میں ”وہ تصویری حصہ“ ملتا ہے، ”وہ متن کا پیراگراف“ نہیں؛ ویکٹر مقامی طور پر FAISS میں محفوظ ہوتے ہیں، جبکہ بڑے پیمانے پر Qdrant استعمال کیا جا سکتا ہے۔
تولیدی تہہ——VLM کے ذریعے تصویر پڑھ کر جواب: تلاش میں ملنے والی اسکرین شاٹ ٹائلز کو براہِ راست پکسل ان پٹ کے طور پر بصری لسانی ماڈل کو دیا جاتا ہے، جو تصویر سے اعداد اور لے آؤٹ براہِ راست پڑھتا ہے؛ پورے عمل میں درمیانی متن میں کوئی تبدیلی نہیں ہوتی۔
پیمانہ اور کارکردگی: یہ پہلا RAG پائپ لائن ہے جو اسکرین شاٹ فارمیٹ میں مکمل ویکیپیڈیا کا احاطہ کرتا ہے؛ پکسل پر مبنی اظہار کارکردگی کا ایک نیا ذریعہ بھی فراہم کرتا ہے——اسکرین شاٹ کی ریزولوشن کم کرنے سے درستگی متاثر کیے بغیر ٹوکن لاگت زیادہ سے زیادہ 3 گنا کم ہو سکتی ہے۔ تجربات میں یہ متنی RAG کی بنیادی کارکردگی کو مجموعی طور پر پیچھے چھوڑتا ہے، جس میں زیادہ سے زیادہ بہتری 18.1% ہے۔

تنصیب: pip install pixelrag چلانے سے بنیادی ٹولز حاصل ہو جاتے ہیں (Python 3.10+ درکار ہے)۔
صفحہ رینڈر کریں: pixelshot https://example.com -o ./tiles چلائیں تاکہ ویب صفحہ یا PDF کو اسکرین شاٹ ٹائلز میں رینڈر کیا جا سکے۔
میزبان تلاش آزمائیں: کسی ترتیب کی ضرورت نہیں، صرف POST درخواست https://api.pixelrag.ai/search پر بھیج کر 828 万 ویکیپیڈیا صفحات کے اشاریے میں تلاش کریں، یا براؤزر میں pixelrag.ai کھول کر آن لائن آزمائیں۔
اپنا اشاریہ بنائیں: pixelrag.yaml ترتیب لکھیں (دستاویز کا راستہ، ایمبیڈنگ ماڈل اور آؤٹ پٹ ڈائریکٹری متعین کریں)، پھر pixelrag index build چلا کر تعمیر کریں۔ اس کے بعد pixelrag serve --index-dir ./my_index --port 30001 کے ذریعے تلاش سروس شروع کریں (Mac Apple Silicon پر چھوٹے پیمانے پر چلتا ہے، جبکہ مکمل ویکیپیڈیا اشاریے کے لیے تقریباً 217GB GPU کمپیوٹنگ درکار ہے)۔
Claude Code سے مربوط کریں: uv tool install pixelrag چلانے کے بعد pixelbrowse پلگ اِن انسٹال کریں (claude plugin marketplace add StarTrail-org/PixelRAG اور claude plugin install pixelbrowse@pixelrag-plugins)، پھر Claude کو MCP کے بغیر اسکرین شاٹس کے ذریعے ویب صفحات ”دیکھنے“ دیں۔
اعلیٰ درجے کی تربیت: اگر اپنا ایمبیڈنگ ماڈل تیار کرنا ہو تو train/ ڈائریکٹری میں جائیں (یہ ایک الگ uv پروجیکٹ ہے) اور README کے مطابق فائن ٹیون کریں، یا باضابطہ اوپن سورس LoRA وزن اور تربیتی ڈیٹا براہِ راست استعمال کریں۔

معلومات کا نقصان نہیں: متن کے اخراج کے بجائے اسکرین شاٹس استعمال کرتا ہے، اس لیے جدولوں کی قطاریں اور کالم، چارٹس اور لے آؤٹ مکمل طور پر محفوظ رہتے ہیں، اور روایتی RAG کا یہ مسئلہ مکمل طور پر حل ہوتا ہے کہ جواب بظاہر موجود ہو مگر متن نکالنے کے بعد اصل معلومات غائب ہو جائے۔
زیادہ بہتر کارکردگی: مقالے کے مطابق یہ متنی RAG کی بنیادی کارکردگی کو مجموعی طور پر پیچھے چھوڑتا ہے؛ NQ اور SimpleQA جیسے خالص متنی کاموں میں بھی بہتر ہے، جبکہ ملٹی موڈل اور Agentic بینچ مارکس میں زیادہ سے زیادہ بہتری 18.1% ہے۔
کم لاگت: پکسل پر مبنی اظہار کارکردگی کا منفرد ذریعہ فراہم کرتا ہے؛ اسکرین شاٹ کی ریزولوشن کم کرنے سے درستگی متاثر کیے بغیر ٹوکن لاگت زیادہ سے زیادہ 3 گنا کم ہو سکتی ہے۔
سادہ پائپ لائن: پیچیدہ HTML پارسنگ، صفائی اور تقسیم کے مراحل ختم ہو جاتے ہیں؛ صرف اسکرین شاٹس رینڈر کرکے ڈیٹا بیس میں شامل کیے جا سکتے ہیں، جس سے انجینیئرنگ کا کام نمایاں طور پر کم ہو جاتا ہے۔
پیمانے کی تصدیق شدہ صلاحیت: یہ پہلا RAG پائپ لائن ہے جو اسکرین شاٹ فارمیٹ میں مکمل ویکیپیڈیا کا احاطہ کرتا ہے، اور 828 万 صفحات کا کلید کے بغیر میزبان اشاریہ بھی فراہم کرتا ہے جسے فوراً آزمایا جا سکتا ہے۔

پروجیکٹ کی سرکاری ویب سائٹ：https://pixelrag.ai/
GitHub ریپوزٹری：https://github.com/StarTrail-org/PixelRAG
arXiv تکنیکی مقالہ：https://arxiv.org/pdf/2606.28344

مالی رپورٹس اور ڈیٹا ٹیبلز کے سوالات و جوابات: مالی رپورٹ کے صفحات اور شماریاتی جدولوں میں موجود اعداد براہِ راست پڑھتا ہے، یوں متن کی پارسنگ سے قطاروں اور کالموں کے غلط ملنے سے بچا جا سکتا ہے۔
ڈیش بورڈ اور چارٹ تلاش: تلاش میں چارٹس اور KPI پینلز والے اسکرین شاٹ حصے ملتے ہیں، جنہیں ماڈل تصویر دیکھ کر پڑھتا اور جواب دیتا ہے۔
معلوماتی گرافکس اور تصویری وضاحت والی دستاویزات: معلوماتی گرافکس اور فلوچارٹس جیسے مواد کو بھی تلاش کیا جا سکتا ہے، جسے روایتی متنی اشاریہ شامل نہیں کر سکتا۔
کثیر کالم لے آؤٹ والے پروڈکٹ صفحات: پیچیدہ لے آؤٹ والے مصنوعات کے تقابلی صفحات اور خبری صفحات اصل ترتیب برقرار رکھتے ہوئے تلاش میں شامل رہتے ہیں۔
Agent کے ذریعے ویب مطالعہ: Claude Code کے pixelbrowse پلگ اِن کے ذریعے Agent نامکمل HTML نگلنے کے بجائے ویب صفحات کے اسکرین شاٹس ”دیکھ“ سکتا ہے۔