PixRestore Inafanya kazi

PixRestore ni modeli ya pamoja ya kurekebisha picha iliyotengenezwa kwa ushirikiano kati ya Chuo Kikuu cha Hong Kong Polytechnic na Taasisi ya Utafiti ya OPPO. Modeli hutumia Diffusion Transformer katika nafasi ya pikseli kufanya ulinganifu wa mtiririko moja kwa moja kwenye kiwango cha pikseli, hivyo kuepuka upotevu wa maelezo. Kupitia uelekezaji wa vipengele vya tabaka unaobadilika unaoendeshwa na DINO, modeli nyepesi yenye vigezo milioni 53.7 pekee inaweza kushughulikia kwa ufanisi aina 8 za uharibifu, zikiwemo kuongeza azimio, kuondoa kelele, kuondoa ukungu, kuondoa mvua na kuondoa ukungu wa anga. Utabiri wa hatua moja huchukua milisekunde 44 pekee, na kufikia kiwango cha juu katika uaminifu na ufanisi.

Kuongeza azimio: Hurejesha picha yenye azimio la chini kuwa picha ya HD yenye maelezo mengi.
Kuondoa kelele za picha: Huondoa chembe za kelele nasibu kwenye picha na kurejesha maumbo safi.
Kuondoa ukungu wa mwendo: Huondoa ukungu unaosababishwa na mwendo au kutolenga, na kurejesha kingo kali.
Kuondoa mistari ya mvua: Huondoa usumbufu wa mistari mingi ya mvua na kurejesha maudhui ya nyuma.
Kuondoa matone ya mvua: Huondoa vizuizi vya matone ya mvua kwenye kioo au lenzi na kurejesha mwonekano wazi.
Kuondoa ukungu wa anga: Huondoa ukungu unaosababishwa na haze ya anga na kuboresha uwazi na rangi za picha.
Kuondoa theluji: Huondoa chembe za theluji kwenye picha na kurejesha mwonekano wa awali wa tukio.
Kuimarisha mwanga hafifu: Huongeza mwangaza na maelezo katika mazingira yenye mwanga mdogo na kuboresha mwonekano wa picha.

Fuata akaunti ya WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi huria ya AI
Diffusion Transformer katika nafasi ya pikseli: PixRestore hufanya ulinganifu wa mtiririko moja kwa moja kwenye kiwango cha pikseli, na kuondoa kabisa kisimbaji cha VAE. Hivyo huepuka upotevu wa maelezo ya masafa ya juu unaosababishwa na mgandamizo wa nafasi fiche, huku ikiondoa utegemezi wa modeli za awali za T2I, na kuhakikisha matokeo ya urekebishaji yanaendana kwa kiwango cha juu na maudhui ya awali.
Uelekezaji wa vipengele vya tabaka unaobadilika: Modeli hutumia ufanano wa vipengele vya DINO vya picha za LQ–HQ kutathmini kwa nguvu uaminifu wa vipengele katika kila tabaka la kisimbaji cha kuona; tabaka zinazoaminika huunganishwa kuwa hali mnene inayodungwa kwenye DiT, huku tabaka zisizoaminika zikiwekewa usimamizi wenye nguvu zaidi wa vipengele vya ubora wa juu. Hivyo aina tofauti za uharibifu huondolewa kwa njia inayobadilika.
Utabiri bora wa hatua moja: Baada ya mafunzo kamili, PixRestore hurekebishwa zaidi kuwa jenereta ya hatua moja kupitia lengo la ushindani linalotegemea DINO. Ikiwa na vigezo milioni 53.7 pekee, hukamilisha utabiri ndani ya milisekunde 44, na kufikia uwiano bora kati ya uaminifu, ubora wa kimtazamo na ufanisi wa kimahesabu.

Usanidi wa mazingira: Kloni hazina ya msimbo ya PixRestore kutoka GitHub na usakinishe vitegemezi vinavyohitajika.
Upatikanaji wa modeli: Pakua faili za uzani wa modeli iliyofunzwa awali kutoka Hugging Face.
Maandalizi ya picha: Andaa picha zenye ubora wa chini zinazohitaji kurekebishwa. Aina 8 za uharibifu, zikiwemo kuongeza azimio, kuondoa kelele na kuondoa ukungu, zinaungwa mkono.
Utekelezaji wa utabiri: Endesha hati ya utabiri. Kwa chaguo-msingi, modeli hutumia utabiri wa hatua moja na hutoa matokeo ya urekebishaji ndani ya takriban milisekunde 44.
Kuhifadhi matokeo: Pata na uhifadhi picha za ubora wa juu zilizorekebishwa kwa matumizi ya moja kwa moja katika programu zinazofuata.

Uaminifu wa kiwango cha pikseli: Uundaji wa diffusion hufanyika moja kwa moja katika nafasi ya pikseli, hivyo kuepuka kabisa upotevu wa maelezo ya masafa ya juu na vizalia vya maudhui vinavyosababishwa na usimbaji wa VAE.
Ufanisi wa hali ya juu kwa uzito mdogo: Ikiwa na vigezo milioni 53.7 pekee, utabiri wa hatua moja huchukua milisekunde 44 tu, na gharama ya kimahesabu ni ndogo sana kuliko suluhisho kuu za urekebishaji zinazotegemea diffusion fiche.
Ushughulikiaji wa kazi nyingi kwa modeli moja: Modeli moja inaweza kushughulikia aina 8 za uharibifu, zikiwemo kuongeza azimio, kuondoa kelele, kuondoa ukungu, kuondoa mvua, kuondoa ukungu wa anga, kuondoa theluji na kuimarisha mwanga hafifu.
Utambuzi unaobadilika wa uharibifu: Ufanano wa vipengele vya DINO hutumika kutathmini kwa nguvu uaminifu wa kila tabaka, na kuwezesha uwiano bora kati ya kuondoa uharibifu na kuhifadhi maelezo.
Mbinu huru ya mafunzo: Haihitaji modeli yoyote ya awali ya kubadilisha maandishi kuwa picha, na hufunzwa kabisa kuanzia mwanzo ili kuepuka upendeleo wa maudhui unaoletwa na maarifa ya awali ya uzalishaji.
Utendaji bora kwa ujumla: Katika viwango vya umma na seti za majaribio za ulimwengu halisi, uaminifu, ubora wa kimtazamo na uwezo wa kuondoa uharibifu vyote ni bora kuliko modeli zilizopo za pamoja za kurekebisha picha.

Tovuti rasmi ya mradi: https://csslc.github.io/pixrestore-page
Hazina ya GitHub: https://github.com/csslc/PixRestore
Hazina ya modeli ya HuggingFace: https://huggingface.co/VCLab-PolyU/PixRestore
Karatasi ya kiufundi ya arXiv: https://arxiv.org/pdf/2608.16793

Uboreshaji wa wakati halisi wa picha za simu: Kwa ucheleweshaji wa chini sana wa milisekunde 44, hurekebisha kwa wakati halisi kelele za picha za usiku, ukungu wa mwendo na vizuizi vya matone ya mvua kwenye vifaa vya mkononi kama OPPO, na kuboresha ubora wa picha zilizopigwa.
Maono ya magari yanayojiendesha na ndege zisizo na rubani: Katika hali mbaya za hewa kama mvua, ukungu na theluji, huondoa kwa pamoja uharibifu wa picha, kurejesha maelezo ya alama za barabarani na vizuizi, na kuimarisha uaminifu wa mifumo ya utambuzi.
Urekebishaji wa ubora wa video za ufuatiliaji: Hufanya kuongeza azimio na kuondoa kelele kwenye rekodi za zamani au zenye kasi ndogo ya biti, kurejesha taarifa muhimu kama nyuso na namba za magari, na kusaidia uchunguzi wa usalama.
Uwekaji wa kidijitali wa picha za zamani na kumbukumbu za kihistoria: Hurekebisha kwa pamoja kufifia, mikwaruzo, madoa ya ukungu na matatizo ya mwanga hafifu, na kubadilisha kwa ufanisi picha muhimu za kihistoria kuwa kumbukumbu za kidijitali zenye uaminifu wa juu.
Uboreshaji wa picha za kimatibabu: Huboresha ubora wa picha za endoskopu, hadubini na vifaa vingine katika mwanga hafifu, huondoa kelele na ukungu, na kuwasaidia madaktari kuchunguza kwa uwazi zaidi maelezo ya maeneo yaliyoathirika.