PixRestore Faoliyat yuritmoqda

PixRestore — Gonkong politexnika universiteti va OPPO tadqiqot instituti hamkorligida ishlab chiqilgan yagona tasvirni tiklash modeli. Model piksel fazosidagi Diffusion Transformer yordamida flow matching jarayonini bevosita piksellar darajasida amalga oshiradi va tafsilotlar yo‘qolishining oldini oladi. PixRestore DINO tomonidan boshqariladigan adaptiv qatlam xususiyatlarini yo‘naltirish orqali atigi 53.7M parametrli yengil model yordamida superrezolyutsiya, shovqinni yo‘qotish, xiralikni bartaraf etish, yomg‘irni olib tashlash va tumanni yo‘qotish kabi 8 turdagi degradatsiya vazifasini samarali bajaradi. Bir bosqichli inferensiya atigi 44 millisekund davom etadi, aniqlik va samaradorlik bo‘yicha yetakchi natijalarni ta’minlaydi.

Superrezolyutsiya: past aniqlikdagi tasvirlarni tafsilotlarga boy yuqori aniqlikdagi tasvirlarga tiklaydi.
Tasvirdagi shovqinni yo‘qotish: tasvirdagi tasodifiy shovqin donachalarini olib tashlab, toza teksturani tiklaydi.
Harakat xiraligini bartaraf etish: harakat yoki fokus yo‘qolishi sababli yuzaga kelgan xiralikni yo‘qotib, aniq qirralarni tiklaydi.
Yomg‘ir chiziqlarini olib tashlash: zich yomg‘ir chiziqlarining tasvirga xalaqitini yo‘qotib, fon mazmunini tiklaydi.
Yomg‘ir tomchilarini olib tashlash: shisha yoki obyektiv yuzasidagi yomg‘ir tomchilari to‘sqinligini bartaraf etib, aniq ko‘rish maydonini tiklaydi.
Tasvirdagi tumanni yo‘qotish: atmosfera tumani va changi keltirib chiqargan xiralikni kamaytirib, tasvirning tiniqligi va ranglarini yaxshilaydi.
Qorni olib tashlash: tasvirdagi qor parchalaridan kelib chiqadigan shovqinni yo‘qotib, sahnaning asl ko‘rinishini tiklaydi.
Kam yorug‘likni yaxshilash: qorong‘i muhitdagi yorqinlik va tafsilotlarni oshirib, tasvir ko‘rinishini yaxshilaydi.

WeChat’da kuzatib, “开源” deb javob yuboring va AI ochiq kodli loyihalar guruhiga qo‘shiling.
Piksel fazosidagi Diffusion Transformer: PixRestore flow matching jarayonini bevosita piksellar darajasida bajaradi, VAE enkoderidan to‘liq voz kechadi va yashirin fazadagi siqilish natijasida yuqori chastotali tafsilotlar yo‘qolishining oldini oladi. Shuningdek, T2I oldindan o‘qitilgan modellariga bo‘lgan ehtiyojni bartaraf etib, tiklangan natijaning asl mazmunga yuqori darajada mos kelishini ta’minlaydi.
Adaptiv qatlam xususiyatlarini yo‘naltirish: model LQ–HQ tasvirlarining DINO xususiyatlari o‘xshashligidan foydalanib, vizual enkoderning har bir qatlamidagi xususiyatlar ishonchliligini dinamik baholaydi; ishonchli qatlamlarni birlashtirib, DiT’ga zich shartli ma’lumot sifatida kiritadi, ishonchsiz qatlamlarga esa yuqori sifatli xususiyatlar orqali kuchliroq nazorat qo‘llaydi. Shu tariqa turli degradatsiyalarni adaptiv ravishda yo‘qotadi.
Bir bosqichli samarali inferensiya: to‘liq o‘qitishdan so‘ng PixRestore DINO asosidagi adversarial maqsad orqali bir bosqichli generator sifatida qo‘shimcha sozlanadi. Atigi 53.7M parametr bilan inferensiyani 44ms ichida yakunlab, aniqlik, perceptual sifat va hisoblash samaradorligi o‘rtasida optimal muvozanatni ta’minlaydi.

Muhitni sozlash: GitHub’dan PixRestore kod repozitoriyasini klonlang va kerakli bog‘liqliklarni o‘rnating.
Modelni olish: Hugging Face’dan oldindan o‘qitilgan model vaznlari fayllarini yuklab oling.
Tasvirni tayyorlash: tiklanishi kerak bo‘lgan past sifatli tasvirlarni tayyorlang; superrezolyutsiya, shovqinni yo‘qotish va xiralikni bartaraf etish kabi 8 turdagi degradatsiya qo‘llab-quvvatlanadi.
Inferensiyani ishga tushirish: inferensiya skriptini ishga tushiring. Model sukut bo‘yicha bir bosqichli inferensiyadan foydalanadi va tiklangan natijani taxminan 44ms ichida chiqaradi.
Natijani saqlash: yuqori sifatli tiklangan tasvirni oling va saqlang; undan keyingi ilovalarda bevosita foydalanish mumkin.

Piksel darajasidagi aniqlik: diffuziya modellashtirishini bevosita piksel fazosida amalga oshirib, VAE enkoderi sababli yuzaga keladigan yuqori chastotali tafsilotlar yo‘qolishi va mazmuniy artefaktlarni to‘liq bartaraf etadi.
Juda yengil va samarali: atigi 53.7M parametr, bir bosqichli inferensiya atigi 44 millisekund davom etadi; hisoblash xarajati asosiy yashirin diffuziyaga asoslangan tiklash yechimlaridan ancha past.
Ko‘p vazifalarni yagona modelda qamrab olish: bitta model superrezolyutsiya, shovqinni yo‘qotish, xiralikni bartaraf etish, yomg‘ir, tuman va qorni olib tashlash, kam yorug‘likni yaxshilash kabi 8 turdagi degradatsiyani qayta ishlay oladi.
Adaptiv degradatsiyani anglash: DINO xususiyatlari o‘xshashligini dinamik baholash orqali har bir qatlamning ishonchliligini aniqlaydi va degradatsiyani yo‘qotish bilan tafsilotlarni saqlash o‘rtasida aqlli muvozanatni ta’minlaydi.
Mustaqil o‘qitish paradigmasi: hech qanday matndan tasvirga oldindan o‘qitilgan modelga tayanmaydi, to‘liq noldan o‘qitiladi va generativ prior sababli yuzaga keladigan mazmuniy og‘ishlarning oldini oladi.
Har tomonlama yetakchi samaradorlik: ochiq benchmarklar va real dunyo test to‘plamlarida aniqlik, perceptual sifat va degradatsiyani yo‘qotish qobiliyati bo‘yicha mavjud yagona tiklash modellaridan ustun.

Loyiha rasmiy sayti: https://csslc.github.io/pixrestore-page
GitHub repozitoriyasi: https://github.com/csslc/PixRestore
Hugging Face model kutubxonasi: https://huggingface.co/VCLab-PolyU/PixRestore
arXiv texnik maqolasi: https://arxiv.org/pdf/2608.16793

Smartfonda real vaqt rejimida suratlarni yaxshilash: 44ms ultra past kechikish yordamida OPPO kabi mobil qurilmalarda tungi sahna shovqini, harakat xiraligi va yomg‘ir tomchilari to‘sqinligini real vaqt rejimida tiklab, surat sifatini oshiradi.
Avtonom transport va dron ko‘rish tizimlari: yomg‘ir, tuman va qor kabi noqulay ob-havo sharoitlarida tasvir degradatsiyasini yagona tizimda yo‘qotib, yo‘l belgilarining va to‘siqlarning tafsilotlarini tiklaydi hamda idrok etish tizimining ishonchliligini oshiradi.
Kuzatuv videolari sifatini tiklash: eski yoki past bitreytli kuzatuv yozuvlariga superrezolyutsiya va shovqinni yo‘qotish ishlovini berib, yuzlar va avtomobil raqamlari kabi muhim ma’lumotlarni tiklaydi hamda xavfsizlik bo‘yicha dalillarni yig‘ishga yordam beradi.
Eski fotosuratlar va tarixiy arxivlarni raqamlashtirish: ranglarning xiralashishi, tirnalishlar, mog‘or dog‘lari va kam yorug‘lik muammolarini yagona tizimda tiklab, qimmatli tarixiy tasvirlarni yuqori aniqlikdagi raqamli arxivlarga samarali aylantiradi.
Tibbiy tasvirlarni yaxshilash: endoskop va mikroskop kabi qurilmalarning kam yorug‘likdagi tasvir sifatini oshiradi, shovqin va xiralikni yo‘qotadi hamda shifokorlarga shikastlangan to‘qima tafsilotlarini aniqroq kuzatishda yordam beradi.