PixRestore آپریشن میں

PixRestore ہانگ کانگ پولی ٹیکنک یونیورسٹی اور OPPO ریسرچ انسٹی ٹیوٹ کے اشتراک سے تیار کیا گیا ایک متحدہ امیج ریسٹوریشن ماڈل ہے۔ یہ ماڈل پکسل اسپیس Diffusion Transformer استعمال کرتے ہوئے براہِ راست پکسل سطح پر flow matching انجام دیتا ہے، جس سے تفصیلات کے ضائع ہونے سے بچا جا سکتا ہے۔ PixRestore، DINO سے چلنے والی موافق لئیر فیچر روٹنگ کے ذریعے، صرف 53.7M پیرامیٹرز پر مشتمل ہلکا پھلکا ماڈل ہونے کے باوجود سپر ریزولوشن، شور میں کمی، دھندلاپن دور کرنے، بارش دور کرنے اور دھند دور کرنے سمیت 8 اقسام کی تنزلی کے کام مؤثر انداز میں انجام دیتا ہے۔ ایک مرحلے کی inference میں صرف 44 ملی سیکنڈ درکار ہوتے ہیں، اور fidelity و کارکردگی دونوں میں نمایاں نتائج حاصل ہوتے ہیں۔

سپر ریزولوشن: کم ریزولوشن والی تصاویر کو بھرپور تفصیلات والی ہائی ڈیفینیشن تصاویر میں بحال کرنا۔
امیج ڈینوائزنگ: تصویر میں موجود بے ترتیب شور کے ذرات کو ہٹا کر صاف ساخت بحال کرنا۔
حرکتی دھندلاپن دور کرنا: حرکت یا فوکس کی خرابی سے پیدا ہونے والے دھندلاپن کو ختم کر کے واضح کنارے بحال کرنا۔
بارش کی لکیریں ہٹانا: گھنی بارش کی لکیروں سے پیدا ہونے والی مداخلت صاف کر کے پس منظر کا مواد بحال کرنا۔
بارش کے قطرے ہٹانا: شیشے یا لینز کی سطح پر موجود بارش کے قطروں کی رکاوٹ ختم کر کے واضح منظر بحال کرنا۔
امیج ڈی ہیزنگ: فضائی دھند اور اسموگ سے پیدا ہونے والی دھندلاہٹ دور کر کے تصویر کی شفافیت اور رنگ بہتر بنانا۔
برف ہٹانا: تصویر میں موجود برف کے شور کو ختم کر کے منظر کی اصل شکل بحال کرنا۔
کم روشنی میں بہتری: کم روشنی والے ماحول میں چمک اور تفصیلات بڑھا کر تصویر کی مرئیت بہتر بنانا۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
پکسل اسپیس ڈفیوژن Transformer: PixRestore براہِ راست پکسل سطح پر flow matching انجام دیتا ہے اور VAE encoder کو مکمل طور پر ترک کرتا ہے، جس سے latent space compression کے باعث ہائی فریکوئنسی تفصیلات کے ضائع ہونے سے بچا جا سکتا ہے۔ اس کے علاوہ T2I پری ٹرینڈ ماڈلز پر انحصار بھی ختم ہو جاتا ہے، جس سے بحالی کے نتائج اور اصل مواد کے درمیان اعلیٰ مطابقت یقینی بنتی ہے۔
موافق لئیر فیچر روٹنگ: ماڈل LQ–HQ تصاویر کے DINO فیچر کی مماثلت استعمال کرتے ہوئے بصری encoder کی ہر لئیر کے فیچرز کی قابلِ اعتمادیت کا متحرک جائزہ لیتا ہے؛ قابلِ اعتماد لئیرز کو ملا کر DiT میں کثیف شرائط داخل کی جاتی ہیں، جبکہ ناقابلِ اعتماد لئیرز پر اعلیٰ معیار کے فیچرز کی زیادہ مضبوط نگرانی عائد کی جاتی ہے، یوں مختلف تنزلیوں کو موافق انداز میں دور کیا جاتا ہے۔
ایک مرحلے کی مؤثر inference: مکمل training کے بعد PixRestore کو DINO پر مبنی adversarial objective کے ذریعے مزید fine-tune کر کے one-step generator بنایا جاتا ہے۔ صرف 53.7M پیرامیٹرز کے ساتھ یہ 44ms میں inference مکمل کر لیتا ہے اور fidelity، ادراکی معیار اور حسابی کارکردگی کے درمیان بہترین توازن قائم کرتا ہے۔

ماحولیاتی ترتیب: GitHub سے PixRestore کا code repository کلون کریں اور مطلوبہ dependencies انسٹال کریں۔
ماڈل حاصل کرنا: Hugging Face سے پری ٹرینڈ ماڈل کے weight files ڈاؤن لوڈ کریں۔
تصویر کی تیاری: بحالی کے لیے کم معیار کی تصاویر تیار کریں؛ سپر ریزولوشن، شور میں کمی، دھندلاپن دور کرنے سمیت 8 اقسام کی تنزلی معاونت یافتہ ہیں۔
Inference چلانا: inference script چلائیں۔ ماڈل بطورِ طے شدہ one-step inference استعمال کرتا ہے اور تقریباً 44ms میں بحالی کا نتیجہ پیش کرتا ہے۔
نتیجہ محفوظ کرنا: اعلیٰ معیار کی بحال شدہ تصویر حاصل کر کے محفوظ کریں تاکہ اسے براہِ راست بعد کی ایپلی کیشنز میں استعمال کیا جا سکے۔

پکسل سطح کی fidelity: براہِ راست پکسل اسپیس میں diffusion modeling کے ذریعے VAE encoding سے ہونے والے ہائی فریکوئنسی تفصیلات کے ضائع ہونے اور مواد کے مصنوعی نقوش سے مکمل طور پر بچاؤ۔
انتہائی ہلکا اور مؤثر: صرف 53.7M پیرامیٹرز اور one-step inference میں صرف 44 ملی سیکنڈ درکار ہوتے ہیں، جبکہ حسابی لاگت معروف latent diffusion ریسٹوریشن حلوں سے کہیں کم ہے۔
متحدہ کثیر کام معاونت: ایک ہی ماڈل سپر ریزولوشن، شور میں کمی، دھندلاپن دور کرنے، بارش دور کرنے، دھند دور کرنے، برف ہٹانے اور کم روشنی میں بہتری سمیت 8 اقسام کی تنزلی سنبھال سکتا ہے۔
موافق تنزلی ادراک: DINO فیچر مماثلت کے ذریعے ہر لئیر کی قابلِ اعتمادیت کا متحرک جائزہ لیا جاتا ہے، جس سے تنزلی دور کرنے اور تفصیلات برقرار رکھنے کے درمیان ذہین توازن حاصل ہوتا ہے۔
آزاد training paradigm: کسی بھی text-to-image پری ٹرینڈ ماڈل پر انحصار نہیں؛ مکمل training ابتدا سے کی جاتی ہے، جس سے generative prior کے باعث پیدا ہونے والے مواد کے تعصب سے بچا جا سکتا ہے۔
جامع طور پر نمایاں کارکردگی: عوامی benchmarks اور حقیقی دنیا کے test sets پر fidelity، ادراکی معیار اور تنزلی دور کرنے کی صلاحیت میں موجودہ متحدہ ریسٹوریشن ماڈلز سے بہتر نتائج حاصل کرتا ہے۔

پروجیکٹ کی سرکاری ویب سائٹ: https://csslc.github.io/pixrestore-page
GitHub repository: https://github.com/csslc/PixRestore
HuggingFace ماڈل repository: https://huggingface.co/VCLab-PolyU/PixRestore
arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2608.16793

موبائل پر حقیقی وقت میں فوٹو enhancement: 44ms کی انتہائی کم تاخیر کے ساتھ OPPO جیسے موبائل آلات پر رات کے مناظر کا شور، حرکتی دھندلاپن اور بارش کے قطروں کی رکاوٹ حقیقی وقت میں دور کر کے تصاویر کا معیار بہتر بنانا۔
خودکار ڈرائیونگ اور ڈرون ویژن: بارش، دھند اور برف جیسے خراب موسمی حالات میں تصویر کی مختلف تنزلیاں متحدہ طور پر دور کر کے سڑک کے اشاروں اور رکاوٹوں کی تفصیلات بحال کرنا، اور perception system کی قابلِ اعتمادیت بڑھانا۔
نگرانی کی ویڈیو کے معیار کی بحالی: پرانی یا کم bitrate والی نگرانی کی ویڈیوز پر سپر ریزولوشن اور denoising انجام دے کر چہروں اور گاڑیوں کی نمبر پلیٹس جیسی اہم معلومات بحال کرنا، تاکہ سیکیورٹی کی تفتیش میں مدد ملے۔
پرانی تصاویر اور تاریخی دستاویزات کی digitization: رنگ پھیکا پڑنے، خراشوں، پھپھوندی کے دھبوں اور کم روشنی کے مسائل کو متحدہ انداز میں دور کر کے قیمتی تاریخی تصاویر کو مؤثر طریقے سے اعلیٰ fidelity والے ڈیجیٹل ریکارڈ میں تبدیل کرنا۔
طبی تصاویر میں بہتری: endoscope اور microscope جیسے آلات کی کم روشنی میں حاصل شدہ تصاویر کا معیار بہتر بنانا، شور اور دھندلاپن دور کرنا، اور ڈاکٹروں کو بیماری کے متاثرہ حصوں کی تفصیلات زیادہ واضح طور پر دیکھنے میں مدد دینا۔