PixelRAG 운영 중

PixelRAG는 버클리 SkyLab/BAIR에서 오픈 소스로 공개한 비전 네이티브 RAG 프레임워크입니다. 웹페이지를 순수 텍스트로 추출한 뒤 검색하는 기존 방식에서 벗어나, 브라우저로 웹페이지와 PDF를 스크린샷 타일로 렌더링하고 LoRA로 미세 조정한 Qwen3-VL 비전 임베딩 검색을 사용합니다. 이를 통해 모델이 이미지 속 표, 차트, 레이아웃을 직접 읽을 수 있어 기존 RAG에서 표와 레이아웃이 손실되는 문제를 해결합니다.

페이지 렌더링(pixelshot): 헤드리스 Chromium으로 웹페이지와 PDF를 스크린샷 타일로 렌더링하여 표, 차트, 레이아웃을 그대로 보존합니다. Windows/macOS에서는 시스템 Chrome을 자동으로 호출하며 URL과 로컬 파일을 함께 지원합니다.
비전 의미 검색: 스크린샷을 벡터로 인코딩하여 텍스트로 이미지 검색, 이미지로 이미지 검색을 지원합니다. 로컬에서는 기본적으로 FAISS를 사용하며, 대규모 환경에서는 Qdrant로 전환할 수 있습니다(양자화 압축, 디스크 저장, 여러 서비스 간 공유 지원).
픽셀 직접 읽기: 검색된 스크린샷을 이미지 입력으로 VLM에 직접 전달하여 질문에 답합니다. 전체 과정에서 텍스트 변환이 없습니다.
호스팅 검색 서비스: 키 없이 사용할 수 있는 API와 웹 Demo를 제공하며, 828만 개의 위키백과 페이지 사전 구축 인덱스를 내장해 바로 검색할 수 있습니다.
자체 인덱스 파이프라인: pixelrag index / embed / build-index / serve 전체 명령을 제공하여 자체 PDF와 사이트를 인덱싱할 수 있습니다. Mac(Apple Silicon)에서 소규모로 실행할 수 있습니다.
Agent 통합: MCP 의존성이 없는 Claude Code 플러그인 pixelbrowse를 통해 Claude가 불완전한 HTML을 삼키는 대신 웹페이지를 스크린샷으로 ‘볼’ 수 있습니다.

微信에서 팔로우한 뒤 “开源”라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
표현 계층—문서 즉 이미지: 헤드리스 Chromium으로 웹페이지를 스크린샷으로 캡처하고 PDF를 페이지별 이미지로 변환한 뒤 타일로 분할하여, 표의 행과 열 정렬, 차트, 인포그래픽 등 시각적 구조를 원형 그대로 보존합니다.
검색 계층—비전 벡터 임베딩: Qwen3-VL-Embedding-2B를 기반으로 대조 학습 데이터로 LoRA 미세 조정을 수행하여 스크린샷을 의미적으로 검색할 수 있게 합니다. 검색 결과는 ‘그 문장’이 아니라 ‘그 이미지 영역’이며, 벡터는 로컬에서 FAISS에 저장하고 대규모 환경에서는 Qdrant로 전환할 수 있습니다.
생성 계층—VLM의 이미지 읽기 및 답변: 검색된 스크린샷 타일을 픽셀 입력으로 비전 언어 모델에 직접 전달합니다. 모델은 이미지에서 숫자와 레이아웃을 직접 읽으며, 중간 텍스트 변환이 전혀 없습니다.
규모와 효율성: 전체 위키백과를 스크린샷 형태로 다룬 최초의 RAG 파이프라인입니다. 픽셀 표현은 새로운 효율성 수단도 제공합니다. 스크린샷 해상도를 낮추면 정확도 저하 없이 token 비용을 최대 3배 줄일 수 있으며, 실험에서 텍스트 RAG 기준선을 전반적으로 뛰어넘어 최대 18.1% 향상되었습니다.

설치: pip install pixelrag를 실행하면 핵심 도구를 설치할 수 있습니다(Python 3.10+ 필요).
페이지 렌더링: pixelshot https://example.com -o ./tiles를 실행하면 웹페이지 또는 PDF를 스크린샷 타일로 렌더링합니다.
호스팅 검색 체험: 별도 설정 없이 https://api.pixelrag.ai/search에 POST 요청을 보내 828만 개 위키백과 페이지 인덱스를 검색하거나, 브라우저에서 pixelrag.ai를 열어 온라인으로 사용할 수 있습니다.
자체 인덱스 구축: pixelrag.yaml 설정 파일을 작성하고(문서 경로, 임베딩 모델, 출력 디렉터리 지정), pixelrag index build를 실행해 구축합니다. 이후 pixelrag serve --index-dir ./my_index --port 30001을 실행하여 검색 서비스를 시작할 수 있습니다(Mac Apple Silicon에서 소규모 실행 가능, 전체 위키백과 인덱스에는 약 217GB와 GPU 연산 능력이 필요).
Claude Code 연동: uv tool install pixelrag를 실행한 뒤 pixelbrowse 플러그인을 설치합니다(claude plugin marketplace add StarTrail-org/PixelRAG 및 claude plugin install pixelbrowse@pixelrag-plugins). 그러면 Claude가 MCP 없이 웹페이지를 스크린샷으로 ‘볼’ 수 있습니다.
고급 학습: 자체 임베딩 모델을 개발하려면 train/ 디렉터리(독립 uv 프로젝트)로 이동해 README에 따라 미세 조정하거나, 공식 오픈 소스 LoRA 가중치와 학습 데이터를 바로 재사용할 수 있습니다.

정보 손실 없음: 텍스트 추출 대신 스크린샷을 사용하여 표의 행과 열, 차트, 레이아웃을 온전히 보존합니다. 기존 RAG에서 답은 있는 것처럼 보이지만 텍스트를 추출하면 정보가 사라지는 문제를 근본적으로 해결합니다.
더 높은 성능: 논문에 따르면 텍스트 RAG 기준선을 전반적으로 뛰어넘으며, NQ와 SimpleQA 같은 순수 텍스트 작업에서도 더 우수합니다. 멀티모달 및 Agentic 벤치마크에서 최대 18.1% 향상되었습니다.
더 낮은 비용: 픽셀 표현만의 효율성 수단을 활용하여 스크린샷 해상도를 낮추면 정확도 저하 없이 token 비용을 최대 3배 줄일 수 있습니다.
더 간단한 파이프라인: 복잡한 HTML 파싱, 정제, 분할 과정을 생략하고 스크린샷을 렌더링해 바로 저장할 수 있어 개발 작업량을 크게 줄입니다.
검증된 규모: 전체 위키백과를 스크린샷 형태로 다룬 최초의 RAG 파이프라인이며, 828만 페이지의 키 없는 호스팅 인덱스를 제공해 즉시 체험할 수 있습니다.

프로젝트 공식 웹사이트: https://pixelrag.ai/
GitHub 저장소: https://github.com/StarTrail-org/PixelRAG
arXiv 기술 논문: https://arxiv.org/pdf/2606.28344

재무 보고서 및 데이터 표 질의응답: 재무 보고서 페이지와 통계표의 숫자를 직접 읽어 텍스트 파싱으로 인한 행과 열의 어긋남을 방지합니다.
대시보드 및 차트 검색: 차트와 KPI 패널이 포함된 스크린샷 영역을 검색하여 모델이 이미지를 읽고 답변하게 합니다.
인포그래픽 및 이미지가 포함된 문서: 기존 텍스트 인덱스로는 다루기 어려운 인포그래픽과 순서도 등의 콘텐츠도 검색할 수 있습니다.
다단 레이아웃 제품 페이지: 복잡한 레이아웃의 상품 비교 페이지와 뉴스 페이지를 원래 배치 그대로 검색에 활용할 수 있습니다.
Agent의 웹페이지 읽기: Claude Code의 pixelbrowse 플러그인을 통해 Agent가 불완전한 HTML을 삼키는 대신 웹페이지를 스크린샷으로 ‘볼’ 수 있습니다.