PixRestore Đang hoạt động

PixRestore là mô hình khôi phục hình ảnh thống nhất do Đại học Bách khoa Hồng Kông và Viện Nghiên cứu OPPO cùng phát triển. Mô hình sử dụng Diffusion Transformer trong không gian pixel để thực hiện flow matching trực tiếp ở cấp độ pixel, tránh mất chi tiết. Với cơ chế định tuyến đặc trưng thích ứng do DINO điều khiển, mô hình nhẹ chỉ có 53.7M tham số có thể xử lý hiệu quả 8 loại suy giảm, gồm siêu phân giải, khử nhiễu, khử mờ, khử mưa và khử sương mù. Suy luận một bước chỉ mất 44 mili giây, đạt hiệu năng hàng đầu cả về độ trung thực và hiệu quả.

Siêu phân giải: Khôi phục hình ảnh độ phân giải thấp thành hình ảnh độ nét cao giàu chi tiết.
Khử nhiễu hình ảnh: Loại bỏ các hạt nhiễu ngẫu nhiên trong ảnh, khôi phục kết cấu sạch.
Khử mờ chuyển động: Loại bỏ hiện tượng mờ do chuyển động hoặc mất nét, khôi phục các cạnh sắc nét.
Khử vệt mưa: Loại bỏ nhiễu do các vệt mưa dày đặc, khôi phục nội dung nền.
Khử giọt mưa: Loại bỏ các giọt mưa che khuất trên kính hoặc ống kính, khôi phục tầm nhìn rõ nét.
Khử sương mù: Xua tan vẻ mờ đục do sương mù và khói bụi trong không khí, cải thiện độ trong và màu sắc của hình ảnh.
Khử tuyết: Loại bỏ các điểm nhiễu do tuyết trong ảnh, khôi phục diện mạo ban đầu của cảnh vật.
Tăng cường ánh sáng yếu: Cải thiện độ sáng và chi tiết trong môi trường thiếu sáng, nâng cao khả năng quan sát hình ảnh.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án mã nguồn mở AI
Diffusion Transformer trong không gian pixel: PixRestore thực hiện flow matching trực tiếp ở cấp độ pixel, loại bỏ hoàn toàn bộ mã hóa VAE để tránh mất chi tiết tần số cao do nén trong không gian tiềm ẩn, đồng thời không phụ thuộc vào mô hình tiền huấn luyện T2I, đảm bảo kết quả khôi phục nhất quán cao với nội dung gốc.
Định tuyến đặc trưng theo lớp thích ứng: Mô hình sử dụng độ tương đồng đặc trưng DINO của hình ảnh LQ–HQ để đánh giá động độ tin cậy của đặc trưng ở từng lớp của bộ mã hóa thị giác; các lớp đáng tin cậy được hợp nhất thành điều kiện dày đặc để đưa vào DiT, trong khi các lớp không đáng tin cậy chịu sự giám sát đặc trưng chất lượng cao mạnh hơn, từ đó thích ứng loại bỏ các dạng suy giảm khác nhau.
Suy luận một bước hiệu quả: Sau khi huấn luyện đầy đủ, PixRestore được tinh chỉnh thêm thành bộ tạo một bước thông qua mục tiêu đối kháng dựa trên DINO. Với chỉ 53.7M tham số, mô hình hoàn tất suy luận trong 44ms, đạt sự cân bằng tối ưu giữa độ trung thực, chất lượng cảm nhận và hiệu quả tính toán.

Thiết lập môi trường: Sao chép kho mã PixRestore từ GitHub và cài đặt các thư viện phụ thuộc cần thiết.
Tải mô hình: Tải các tệp trọng số mô hình tiền huấn luyện từ Hugging Face.
Chuẩn bị hình ảnh: Chuẩn bị hình ảnh chất lượng thấp cần khôi phục; hỗ trợ 8 loại suy giảm, gồm siêu phân giải, khử nhiễu và khử mờ.
Thực hiện suy luận: Chạy tập lệnh suy luận. Theo mặc định, mô hình suy luận một bước và tạo kết quả khôi phục trong khoảng 44ms.
Lưu kết quả: Nhận và lưu hình ảnh chất lượng cao đã khôi phục để sử dụng trực tiếp cho các ứng dụng tiếp theo.

Độ trung thực cấp pixel: Thực hiện mô hình hóa khuếch tán trực tiếp trong không gian pixel, hoàn toàn tránh mất chi tiết tần số cao và tạo ảnh giả do mã hóa VAE.
Nhẹ và hiệu quả vượt trội: Chỉ 53.7M tham số, suy luận một bước chỉ mất 44 mili giây, chi phí tính toán thấp hơn nhiều so với các giải pháp khôi phục khuếch tán tiềm ẩn phổ biến.
Hỗ trợ thống nhất nhiều tác vụ: Một mô hình duy nhất có thể xử lý 8 loại suy giảm, gồm siêu phân giải, khử nhiễu, khử mờ, khử mưa, khử sương mù, khử tuyết và tăng cường ánh sáng yếu.
Nhận biết suy giảm thích ứng: Đánh giá động độ tin cậy của từng lớp thông qua độ tương đồng đặc trưng DINO, thực hiện cân bằng thông minh giữa loại bỏ suy giảm và bảo toàn chi tiết.
Phương thức huấn luyện độc lập: Không phụ thuộc vào bất kỳ mô hình tiền huấn luyện chuyển văn bản thành hình ảnh nào, được huấn luyện hoàn toàn từ đầu để tránh sai lệch nội dung do prior sinh tạo gây ra.
Hiệu năng toàn diện hàng đầu: Trên các bộ chuẩn công khai và bộ kiểm thử thực tế, PixRestore vượt trội các mô hình khôi phục thống nhất hiện có về độ trung thực, chất lượng cảm nhận và khả năng loại bỏ suy giảm.

Trang web dự án: https://csslc.github.io/pixrestore-page
Kho GitHub: https://github.com/csslc/PixRestore
Kho mô hình HuggingFace: https://huggingface.co/VCLab-PolyU/PixRestore
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2608.16793

Tăng cường ảnh theo thời gian thực trên điện thoại: Với độ trễ cực thấp 44ms, khôi phục theo thời gian thực nhiễu trong cảnh đêm, hiện tượng mờ chuyển động và giọt mưa che khuất trên các thiết bị di động như OPPO, nâng cao chất lượng ảnh chụp.
Thị giác cho xe tự hành và máy bay không người lái: Trong điều kiện thời tiết khắc nghiệt như mưa, sương mù và tuyết, thống nhất loại bỏ suy giảm hình ảnh, khôi phục chi tiết biển báo đường bộ và chướng ngại vật, nâng cao độ tin cậy của hệ thống cảm nhận.
Khôi phục chất lượng video giám sát: Xử lý siêu phân giải và khử nhiễu cho video giám sát cũ hoặc có tốc độ bit thấp, khôi phục thông tin quan trọng như khuôn mặt và biển số xe, hỗ trợ điều tra an ninh.
Số hóa ảnh cũ và tài liệu lịch sử: Thống nhất khắc phục các vấn đề phai màu, trầy xước, mốc và ánh sáng yếu, nhanh chóng chuyển đổi hình ảnh lịch sử quý giá thành kho lưu trữ số có độ trung thực cao.
Tăng cường hình ảnh y tế: Cải thiện chất lượng hình ảnh của nội soi, kính hiển vi và các thiết bị khác trong điều kiện thiếu sáng, loại bỏ nhiễu và mờ, hỗ trợ bác sĩ quan sát rõ hơn các chi tiết tổn thương.