PixelRAG Đang hoạt động

PixelRAG là framework RAG gốc thị giác mã nguồn mở do SkyLab/BAIR của Berkeley phát triển. Framework vượt qua cách tiếp cận truyền thống là trích xuất trang web thành văn bản thuần túy rồi mới truy xuất, thay vào đó sử dụng trình duyệt để kết xuất trang web và PDF thành các ô ảnh chụp màn hình. Thông qua truy xuất vector thị giác Qwen3-VL được tinh chỉnh bằng LoRA, mô hình có thể trực tiếp đọc bảng biểu, biểu đồ và bố cục trên hình ảnh, giải quyết vấn đề mất bảng và mất bố cục của RAG truyền thống.

Kết xuất trang (pixelshot): Sử dụng Chromium không đầu để kết xuất trang web và PDF thành các ô ảnh chụp màn hình, giữ nguyên bảng biểu, biểu đồ và bố cục; trên Windows/macOS, hệ thống tự động gọi Chrome, hỗ trợ kết hợp URL và tệp cục bộ.
Truy xuất ngữ nghĩa thị giác: Mã hóa ảnh chụp màn hình thành vector, hỗ trợ tìm ảnh bằng văn bản và tìm ảnh tương tự bằng hình ảnh; mặc định sử dụng FAISS cục bộ, quy mô lớn có thể chuyển sang Qdrant (hỗ trợ nén lượng tử hóa, lưu trữ trên ổ đĩa và chia sẻ giữa nhiều dịch vụ).
Đọc trực tiếp từng pixel: Ảnh chụp màn hình được truy xuất sẽ được đưa trực tiếp vào VLM dưới dạng đầu vào hình ảnh để trả lời câu hỏi, không chuyển đổi sang văn bản trong suốt quá trình.
Dịch vụ tìm kiếm được lưu trữ: API không cần khóa + Demo web, tích hợp sẵn chỉ mục 8,28 triệu trang Wikipedia đã được xây dựng trước, có thể tìm kiếm ngay sau khi cài đặt.
Đường ống tự xây dựng chỉ mục: Cung cấp đầy đủ các lệnh pixelrag index / embed / build-index / serve, cho phép xây dựng cơ sở dữ liệu từ PDF và website của riêng bạn; có thể chạy quy mô nhỏ trên Mac (Apple Silicon).
Tích hợp Agent: Plugin pixelbrowse cho Claude Code, không phụ thuộc MCP, cho phép Claude chụp màn hình để “xem” trang web thay vì nạp HTML thiếu sót.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Lớp biểu diễn — tài liệu là hình ảnh: Sử dụng Chromium không đầu để chụp màn hình trang web, chuyển PDF thành hình ảnh theo từng trang rồi chia thành các ô, nhờ đó giữ nguyên cấu trúc thị giác như căn chỉnh hàng cột của bảng, biểu đồ và infographic.
Lớp truy xuất — nhúng vector thị giác: Dựa trên Qwen3-VL-Embedding-2B, sử dụng dữ liệu học tương phản để tinh chỉnh LoRA, giúp truy xuất ảnh chụp màn hình theo ngữ nghĩa. Kết quả truy vấn là “khối hình ảnh đó” thay vì “đoạn chữ đó”; vector được lưu cục bộ trong FAISS, quy mô lớn có thể chuyển sang Qdrant.
Lớp sinh — VLM đọc ảnh và trả lời: Các ô ảnh chụp màn hình được truy xuất sẽ được đưa trực tiếp vào mô hình ngôn ngữ thị giác dưới dạng đầu vào pixel. Mô hình đọc trực tiếp số liệu và bố cục từ hình ảnh, không chuyển đổi qua văn bản trung gian.
Quy mô và hiệu suất: Đây là đường ống RAG đầu tiên sử dụng ảnh chụp màn hình để bao phủ toàn bộ Wikipedia; biểu diễn bằng pixel còn mang lại đòn bẩy hiệu suất mới — giảm độ phân giải ảnh chụp màn hình có thể giúp giảm tối đa 3 lần chi phí token mà không làm giảm độ chính xác. Trong thử nghiệm, hệ thống vượt trội toàn diện so với đường cơ sở RAG văn bản, mức cải thiện cao nhất đạt 18.1%.

Cài đặt: Chạy pip install pixelrag để cài đặt các công cụ cốt lõi (yêu cầu Python 3.10+).
Kết xuất trang: Chạy pixelshot https://example.com -o ./tiles để kết xuất trang web hoặc PDF thành các ô ảnh chụp màn hình.
Trải nghiệm tìm kiếm được lưu trữ: Không cần cấu hình, chỉ cần gửi yêu cầu POST đến https://api.pixelrag.ai/search để tìm kiếm trong chỉ mục 8,28 triệu trang Wikipedia, hoặc mở pixelrag.ai trên trình duyệt để dùng thử trực tuyến.
Tự xây dựng chỉ mục: Tạo cấu hình pixelrag.yaml (chỉ định đường dẫn tài liệu, mô hình nhúng và thư mục đầu ra), chạy pixelrag index build để xây dựng, sau đó chạy pixelrag serve --index-dir ./my_index --port 30001 để khởi động dịch vụ tìm kiếm (Mac Apple Silicon có thể chạy quy mô nhỏ; chỉ mục Wikipedia đầy đủ khoảng 217GB và cần năng lực tính toán GPU).
Kết nối Claude Code: Sau khi chạy uv tool install pixelrag, cài đặt plugin pixelbrowse (claude plugin marketplace add StarTrail-org/PixelRAG và claude plugin install pixelbrowse@pixelrag-plugins), Claude có thể chụp màn hình để “xem” trang web mà không cần MCP.
Huấn luyện nâng cao: Nếu cần tự phát triển mô hình nhúng, vào thư mục train/ (dự án uv độc lập) và tinh chỉnh theo README, hoặc sử dụng lại trực tiếp trọng số LoRA và dữ liệu huấn luyện mã nguồn mở chính thức.

Bảo toàn thông tin: Dùng ảnh chụp màn hình thay cho trích xuất văn bản, giữ nguyên hàng cột của bảng, biểu đồ và bố cục, giải quyết triệt để vấn đề RAG truyền thống có vẻ tìm được câu trả lời nhưng thông tin biến mất sau khi trích xuất chữ.
Hiệu suất cao hơn: Bài báo cho thấy hệ thống vượt trội toàn diện so với đường cơ sở RAG văn bản, đồng thời tốt hơn trong các tác vụ thuần văn bản như NQ và SimpleQA; mức cải thiện cao nhất trên các benchmark đa phương thức và Agentic đạt 18.1%.
Chi phí thấp hơn: Biểu diễn bằng pixel mang lại đòn bẩy hiệu suất riêng, giảm độ phân giải ảnh chụp màn hình có thể giúp giảm tối đa 3 lần chi phí token mà không làm giảm độ chính xác.
Đường ống đơn giản hơn: Loại bỏ quy trình phân tích, làm sạch và chia nhỏ HTML phức tạp; chỉ cần kết xuất ảnh chụp màn hình là có thể đưa vào cơ sở dữ liệu, giảm đáng kể khối lượng kỹ thuật.
Đã được kiểm chứng ở quy mô lớn: Đây là đường ống RAG đầu tiên sử dụng ảnh chụp màn hình để bao phủ toàn bộ Wikipedia, đi kèm chỉ mục lưu trữ không cần khóa gồm 8,28 triệu trang để trải nghiệm ngay.

Trang chủ dự án: https://pixelrag.ai/
Kho GitHub: https://github.com/StarTrail-org/PixelRAG
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2606.28344

Hỏi đáp báo cáo tài chính và bảng dữ liệu: Đọc trực tiếp số liệu trong các trang báo cáo tài chính và bảng thống kê, tránh sai lệch hàng cột do phân tích văn bản.
Truy xuất dashboard và biểu đồ: Kết quả truy xuất bao gồm khu vực ảnh chụp màn hình chứa biểu đồ và bảng KPI, giúp mô hình đọc hình ảnh để trả lời.
Infographic và tài liệu có hình minh họa: Có thể tìm kiếm những nội dung như infographic và lưu đồ mà chỉ mục văn bản truyền thống không thể bao phủ.
Trang sản phẩm bố cục nhiều cột: Các trang so sánh sản phẩm và trang tin tức có bố cục phức tạp vẫn giữ nguyên cách sắp xếp ban đầu khi tham gia truy xuất.
Đọc web bằng Agent: Thông qua plugin pixelbrowse của Claude Code, Agent có thể chụp màn hình để “xem” trang web thay vì nạp HTML thiếu sót.