PixRestore 운영 중

PixRestore는 홍콩 폴리테크닉대학교와 OPPO 연구원이 공동 출시한 통합 이미지 복원 모델입니다. 이 모델은 픽셀 공간 Diffusion Transformer를 사용해 픽셀 수준에서 직접 flow matching을 수행하여 세부 정보 손실을 방지합니다. PixRestore는 DINO 기반 적응형 레이어 특징 라우팅을 통해 단 53.7M개의 매개변수로 구성된 경량 모델만으로도 초해상도, 노이즈 제거, 블러 제거, 빗줄기 제거, 안개 제거 등 8가지 열화 작업을 효율적으로 처리합니다. 단일 단계 추론에는 44밀리초만 소요되며, 충실도와 효율성 모두에서 선도적인 수준에 도달했습니다.

초해상도: 저해상도 이미지를 세부 정보가 풍부한 고화질 이미지로 복원합니다.
이미지 노이즈 제거: 화면의 무작위 노이즈 입자를 제거하고 깨끗한 질감을 복원합니다.
모션 블러 제거: 움직임이나 초점 이탈로 발생한 흐림을 제거하고 선명한 가장자리를 복원합니다.
빗줄기 제거: 촘촘한 빗줄기로 인한 화면 간섭을 제거하고 배경 내용을 복원합니다.
빗방울 제거: 유리나 렌즈 표면의 빗방울 가림을 제거하고 선명한 시야를 복원합니다.
이미지 안개 제거: 대기 중 안개와 미세먼지로 인한 흐릿함을 없애고 화면의 투명도와 색감을 향상합니다.
눈 제거: 이미지의 눈송이 노이즈를 제거하고 장면의 원래 모습을 복원합니다.
저조도 향상: 어두운 환경에서 밝기와 세부 정보를 높여 화면 가시성을 개선합니다.

WeChat에서 팔로우한 후 “开源”라고 답장하여 AI 오픈소스 프로젝트交流群에 참여하세요.
픽셀 공간 확산 Transformer: PixRestore는 픽셀 수준에서 직접 flow matching을 수행하며 VAE 인코더를 완전히 배제합니다. 이를 통해 잠재 공간 압축으로 인한 고주파 세부 정보 손실을 방지하고 T2I 사전 학습 모델에 대한 의존성도 없애 복원 결과가 원본 콘텐츠와 높은 일관성을 유지하도록 합니다.
적응형 레이어 특징 라우팅: 모델은 LQ–HQ 이미지의 DINO 특징 유사도를 활용해 시각 인코더 각 레이어 특징의 신뢰도를 동적으로 평가합니다. 신뢰할 수 있는 레이어는 밀집 조건으로 융합하여 DiT에 주입하고, 신뢰할 수 없는 레이어에는 더 강한 고품질 특징 감독을 적용함으로써 다양한 열화를 적응적으로 제거합니다.
단일 단계 고효율 추론: 전체 학습이 완료된 후 PixRestore는 DINO 기반 적대적 목표를 통해 단일 단계 생성기로 추가 미세 조정됩니다. 단 53.7M개의 매개변수로 44ms 이내에 추론을 완료하여 충실도, 지각 품질, 계산 효율성 사이에서 최적의 균형을 구현합니다.

환경 설정: GitHub에서 PixRestore 코드 저장소를 복제하고 필요한 종속 항목을 설치합니다.
모델 다운로드: Hugging Face에서 사전 학습된 모델 가중치 파일을 다운로드합니다.
이미지 준비: 복원할 저품질 이미지를 준비합니다. 초해상도, 노이즈 제거, 블러 제거 등 8가지 열화 유형을 지원합니다.
추론 실행: 추론 스크립트를 실행합니다. 모델은 기본적으로 단일 단계 추론을 수행하며 약 44ms 만에 복원 결과를 출력합니다.
결과 저장: 고품질 복원 이미지를 가져와 저장한 후 후속 애플리케이션에 바로 사용할 수 있습니다.

픽셀 수준의 충실도: 픽셀 공간에서 직접 확산 모델링을 수행하여 VAE 인코딩으로 인한 고주파 세부 정보 손실과 콘텐츠 아티팩트를 완전히 방지합니다.
극도로 가볍고 효율적: 매개변수는 53.7M에 불과하고 단일 단계 추론에 44밀리초만 소요되어 주요 잠재 확산 복원 방식보다 계산 비용이 훨씬 낮습니다.
통합 멀티태스크 지원: 하나의 모델로 초해상도, 노이즈 제거, 블러 제거, 빗줄기 제거, 안개 제거, 눈 제거, 저조도 향상 등 8가지 열화를 처리할 수 있습니다.
적응형 열화 인식: DINO 특징 유사도를 통해 각 레이어의 신뢰도를 동적으로 평가하여 열화 제거와 세부 정보 보존 사이의 지능적인 균형을 실현합니다.
독립적인 학습 방식: 텍스트-이미지 사전 학습 모델에 의존하지 않고 처음부터 완전히 학습하여 생성 사전 지식으로 인한 콘텐츠 편향을 방지합니다.
전반적으로 뛰어난 성능: 공개 벤치마크와 실제 테스트 세트에서 충실도, 지각 품질, 열화 제거 능력 모두 기존 통합 복원 모델보다 우수합니다.

프로젝트 공식 웹사이트：https://csslc.github.io/pixrestore-page
GitHub 저장소：https://github.com/csslc/PixRestore
Hugging Face 모델 저장소：https://huggingface.co/VCLab-PolyU/PixRestore
arXiv 기술 논문：https://arxiv.org/pdf/2608.16793

모바일 실시간 촬영 향상: 44ms의 초저지연으로 OPPO 등 모바일 기기에서 야간 장면의 노이즈, 모션 블러, 빗방울 가림을 실시간으로 복원하여 사진 품질을 높입니다.
자율주행 및 드론 비전: 비, 안개, 눈 등 악천후에서 이미지 열화를 통합적으로 제거하고 도로 표지판과 장애물의 세부 정보를 복원하여 인식 시스템의 신뢰성을 향상합니다.
감시 영상 화질 복원: 오래되었거나 낮은 비트레이트로 촬영된 감시 영상을 초해상도 및 노이즈 제거 방식으로 처리하여 얼굴과 차량 번호판 등 핵심 정보를 복원하고 보안 증거 수집을 지원합니다.
오래된 사진 및 역사 기록 디지털화: 바램, 긁힘, 곰팡이 얼룩, 저조도 문제를 통합적으로 복원하여 귀중한 역사 영상을 고충실도 디지털 기록으로 효율적으로 변환합니다.
의료 영상 향상: 내시경, 현미경 등의 저조도 촬영 품질을 높이고 노이즈와 흐림을 제거하여 의사가 병변 세부 정보를 더욱 선명하게 관찰하도록 지원합니다.