PixelRAG চালু আছে

PixelRAG হলো বার্কলের SkyLab/BAIR-এর ওপেন-সোর্স ভিজ্যুয়াল-নেটিভ RAG ফ্রেমওয়ার্ক। এটি ওয়েবপেজকে টেক্সটে রূপান্তর করে পুনরুদ্ধারের প্রচলিত পদ্ধতি এড়িয়ে ব্রাউজার ব্যবহার করে ওয়েবপেজ ও PDF-কে স্ক্রিনশট টাইল হিসেবে রেন্ডার করে। LoRA ফাইন-টিউন করা Qwen3-VL ভিজ্যুয়াল ভেক্টর সার্চের মাধ্যমে মডেল ছবির টেবিল, চার্ট ও লেআউট সরাসরি পড়তে পারে, ফলে প্রচলিত RAG-এ টেবিল ও লেআউট হারিয়ে যাওয়ার সমস্যা সমাধান হয়।

পেজ রেন্ডারিং (pixelshot): হেডলেস Chromium ব্যবহার করে ওয়েবপেজ ও PDF-কে স্ক্রিনশট টাইলে রেন্ডার করে; টেবিল, চার্ট ও লেআউট সম্পূর্ণ অক্ষুণ্ণ থাকে। Windows/macOS-এ স্বয়ংক্রিয়ভাবে সিস্টেম Chrome ব্যবহার করে এবং URL ও স্থানীয় ফাইল একসঙ্গে সমর্থন করে।
ভিজ্যুয়াল সেমান্টিক সার্চ: স্ক্রিনশটকে ভেক্টরে এনকোড করে; টেক্সট দিয়ে ছবি এবং ছবি দিয়ে ছবি খোঁজা যায়। স্থানীয়ভাবে ডিফল্ট FAISS ব্যবহার করে, বড় পরিসরে Qdrant-এ পরিবর্তন করা যায় (কোয়ান্টাইজড কমপ্রেশন, ডিস্ক স্টোরেজ ও একাধিক সার্ভারের শেয়ারিং সমর্থিত)।
পিক্সেল সরাসরি পড়া: সার্চে পাওয়া স্ক্রিনশট সরাসরি ছবি হিসেবে VLM-এ পাঠিয়ে প্রশ্নের উত্তর দেওয়া হয়, পুরো প্রক্রিয়ায় কোনো টেক্সট রূপান্তর নেই।
হোস্টেড সার্চ সার্ভিস: API কী ছাড়াই API ও ওয়েব Demo; ৮২৮万 উইকিপিডিয়া পেজের প্রি-বিল্ট ইনডেক্স রয়েছে, ইনস্টল করেই সার্চ করা যায়।
নিজস্ব ইনডেক্স পাইপলাইন: pixelrag index / embed / build-index / serve সম্পূর্ণ কমান্ড সেট রয়েছে। নিজের PDF ও সাইটের জন্য ইনডেক্স তৈরি করা যায়; Mac (Apple Silicon)-এ ছোট আকারের কাজ চালানো সম্ভব।
Agent ইন্টিগ্রেশন: Claude Code-এর জন্য pixelbrowse প্লাগইন, MCP নির্ভরতা ছাড়াই Claude-কে ওয়েবপেজের স্ক্রিনশট “দেখতে” দেয়, অসম্পূর্ণ HTML গিলতে হয় না।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রজেক্ট কমিউনিটিতে যোগ দিন
প্রেজেন্টেশন স্তর—ডকুমেন্টই ছবি: হেডলেস Chromium দিয়ে ওয়েবপেজের স্ক্রিনশট নেওয়া হয়, PDF-কে পৃষ্ঠা অনুযায়ী ছবিতে রূপান্তর করে টাইলে ভাগ করা হয়। এতে টেবিলের সারি-কলামের বিন্যাস, চার্ট ও ইনফোগ্রাফিকসহ সব ভিজ্যুয়াল কাঠামো মূল রূপে থাকে।
পুনরুদ্ধার স্তর—ভিজ্যুয়াল ভেক্টর এমবেডিং: Qwen3-VL-Embedding-2B-এর ভিত্তিতে কনট্রাস্টিভ লার্নিং ডেটা দিয়ে LoRA ফাইন-টিউন করা হয়েছে। ফলে স্ক্রিনশট সেমান্টিক সার্চে ব্যবহার করা যায়; কুয়েরি “ওই ছবির অংশটি” খুঁজে পায়, “ওই লেখার অংশটি” নয়। ভেক্টর স্থানীয়ভাবে FAISS-এ রাখা হয়, বড় পরিসরে Qdrant ব্যবহার করা যায়।
জেনারেশন স্তর—VLM ছবি পড়ে উত্তর দেয়: সার্চে পাওয়া স্ক্রিনশট টাইল সরাসরি পিক্সেল ইনপুট হিসেবে ভিশন-ল্যাঙ্গুয়েজ মডেলে পাঠানো হয়। মডেল ছবি থেকেই সংখ্যা ও লেআউট পড়ে; মাঝখানে কোনো টেক্সট রূপান্তর নেই।
পরিসর ও দক্ষতা: স্ক্রিনশট ফরম্যাটে সম্পূর্ণ উইকিপিডিয়া কভার করা প্রথম RAG পাইপলাইন। পিক্সেল-ভিত্তিক উপস্থাপনা নতুন দক্ষতার সুবিধাও দেয়—স্ক্রিনশটের রেজোলিউশন কমালে নির্ভুলতা না কমিয়েই token খরচ সর্বোচ্চ ৩ গুণ কমানো যায়। পরীক্ষায় এটি টেক্সট RAG বেসলাইনকে সর্বত্র ছাড়িয়ে গেছে, সর্বোচ্চ উন্নতি ১৮.১%।

ইনস্টলেশন: pip install pixelrag চালালেই মূল টুল পাওয়া যাবে (Python 3.10+ প্রয়োজন)।
পেজ রেন্ডার: pixelshot https://example.com -o ./tiles চালিয়ে ওয়েবপেজ বা PDF-কে স্ক্রিনশট টাইলে রেন্ডার করুন।
হোস্টেড সার্চ ব্যবহার: কোনো কনফিগারেশন ছাড়াই POST অনুরোধের মাধ্যমে https://api.pixelrag.ai/search-এ ৮২৮万 উইকিপিডিয়া পেজের ইনডেক্স সার্চ করা যায়, অথবা ব্রাউজারে pixelrag.ai খুলে অনলাইনে ব্যবহার করা যায়।
নিজস্ব ইনডেক্স: pixelrag.yaml কনফিগারেশন লিখুন (ডকুমেন্টের পথ, এমবেডিং মডেল ও আউটপুট ডিরেক্টরি নির্ধারণ করে), তারপর pixelrag index build চালিয়ে ইনডেক্স তৈরি করুন। এরপর pixelrag serve --index-dir ./my_index --port 30001 চালিয়ে সার্চ সার্ভিস শুরু করুন (Mac Apple Silicon-এ ছোট আকারের কাজ চলবে; সম্পূর্ণ উইকিপিডিয়া ইনডেক্সের জন্য প্রায় 217GB এবং GPU গণনাশক্তি প্রয়োজন)।
Claude Code সংযোগ: uv tool install pixelrag চালানোর পর pixelbrowse প্লাগইন ইনস্টল করুন (claude plugin marketplace add StarTrail-org/PixelRAG এবং claude plugin install pixelbrowse@pixelrag-plugins)। এতে Claude MCP ছাড়াই ওয়েবপেজের স্ক্রিনশট “দেখতে” পারবে।
উন্নত প্রশিক্ষণ: নিজস্ব এমবেডিং মডেল তৈরি করতে train/ ডিরেক্টরিতে প্রবেশ করুন (এটি একটি স্বতন্ত্র uv প্রজেক্ট) এবং README অনুযায়ী ফাইন-টিউন করুন, অথবা অফিসিয়ালি ওপেন-সোর্স করা LoRA ওজন ও প্রশিক্ষণ ডেটা সরাসরি ব্যবহার করুন।

তথ্য অক্ষুণ্ণ থাকে: টেক্সট এক্সট্রাকশনের বদলে স্ক্রিনশট ব্যবহার করায় টেবিলের সারি-কলাম, চার্ট ও লেআউট সম্পূর্ণ সংরক্ষিত থাকে। প্রচলিত RAG-এ উত্তর দেখা গেলেও টেক্সট এক্সট্রাকশনের পর তা হারিয়ে যাওয়ার সমস্যা পুরোপুরি সমাধান হয়।
আরও ভালো কর্মক্ষমতা: গবেষণাপত্রে দেখা গেছে, এটি টেক্সট RAG বেসলাইনকে সর্বত্র ছাড়িয়ে যায়। NQ, SimpleQA-এর মতো সম্পূর্ণ টেক্সটভিত্তিক কাজেও এটি ভালো ফল দেয়; মাল্টিমোডাল ও Agentic বেন্চমার্কে সর্বোচ্চ উন্নতি ১৮.১%।
কম খরচ: পিক্সেল-ভিত্তিক উপস্থাপনা স্বতন্ত্র দক্ষতা সুবিধা দেয়; স্ক্রিনশটের রেজোলিউশন কমালে নির্ভুলতা না কমিয়েই token খরচ সর্বোচ্চ ৩ গুণ কমানো যায়।
সহজ পাইপলাইন: জটিল HTML পার্সিং, ক্লিনিং ও বিভাজনের ধাপ বাদ দিয়ে স্ক্রিনশট রেন্ডার করেই ইনডেক্সে রাখা যায়, ফলে প্রকৌশল কাজ অনেক কমে।
পরিসরে যাচাই করা: স্ক্রিনশট ফরম্যাটে সম্পূর্ণ উইকিপিডিয়া কভার করা প্রথম RAG পাইপলাইন। ৮২৮万 পেজের API-কী-বিহীন হোস্টেড ইনডেক্সও সঙ্গে রয়েছে, যা তাৎক্ষণিকভাবে ব্যবহার করা যায়।

প্রজেক্টের অফিসিয়াল সাইট：https://pixelrag.ai/
GitHub রিপোজিটরি：https://github.com/StarTrail-org/PixelRAG
arXiv প্রযুক্তিগত গবেষণাপত্র：https://arxiv.org/pdf/2606.28344

আর্থিক প্রতিবেদন ও ডেটা টেবিলভিত্তিক প্রশ্নোত্তর: আর্থিক প্রতিবেদন ও পরিসংখ্যান টেবিলের পৃষ্ঠা থেকে সংখ্যা সরাসরি পড়ে, ফলে টেক্সট পার্সিংয়ের কারণে সারি-কলামের বিন্যাস ভুল হয় না।
ড্যাশবোর্ড ও চার্ট সার্চ: চার্ট ও KPI প্যানেলযুক্ত স্ক্রিনশটের অংশ খুঁজে বের করে, যাতে মডেল ছবি পড়ে উত্তর দিতে পারে।
ইনফোগ্রাফিক ও চিত্রসহ ডকুমেন্ট: ইনফোগ্রাফিক, ফ্লোচার্টসহ প্রচলিত টেক্সট ইনডেক্সে ধরা না-পড়া বিষয়বস্তুও সার্চ করা যায়।
মাল্টি-কলাম লেআউটের প্রোডাক্ট পেজ: জটিল লেআউটের পণ্য তুলনা পৃষ্ঠা ও সংবাদ পৃষ্ঠা মূল বিন্যাস বজায় রেখে সার্চে অংশ নেয়।
Agent-এর ওয়েবপেজ পড়া: Claude Code-এর pixelbrowse প্লাগইনের মাধ্যমে Agent অসম্পূর্ণ HTML গেলার বদলে ওয়েবপেজের স্ক্রিনশট “দেখতে” পারে।