PixRestore চালু আছে

PixRestore হলো হংকং পলিটেকনিক ইউনিভার্সিটি ও OPPO রিসার্চ ইনস্টিটিউটের যৌথভাবে প্রকাশিত একটি সমন্বিত চিত্র পুনরুদ্ধার মডেল। মডেলটি পিক্সেল-স্পেস Diffusion Transformer ব্যবহার করে সরাসরি পিক্সেল স্তরে flow matching সম্পন্ন করে, ফলে সূক্ষ্ম বিবরণের ক্ষতি এড়ানো যায়। DINO-চালিত অভিযোজিত স্তর বৈশিষ্ট্য রাউটিংয়ের মাধ্যমে, মাত্র 53.7M প্যারামিটারের এই হালকা মডেলটি সুপার-রেজোলিউশন, ডিনয়েজিং, ডিব্লারিং, ডিরেইন, ডিহেইজিংসহ 8 ধরনের অবক্ষয়জনিত কাজ দক্ষতার সঙ্গে সম্পন্ন করতে পারে। এক ধাপের ইনফারেন্সে মাত্র 44 মিলিসেকেন্ড সময় লাগে এবং বিশ্বস্ততা ও দক্ষতা উভয় ক্ষেত্রেই এটি শীর্ষস্থানীয়।

সুপার-রেজোলিউশন: কম-রেজোলিউশনের ছবিকে সমৃদ্ধ বিবরণযুক্ত উচ্চ-রেজোলিউশনের ছবিতে পুনরুদ্ধার করে।
চিত্র ডিনয়েজিং: ছবির এলোমেলো শব্দদানা দূর করে পরিষ্কার টেক্সচার ফিরিয়ে আনে।
মোশন ডিব্লারিং: নড়াচড়া বা ফোকাসের ত্রুটিজনিত ঝাপসা দূর করে তীক্ষ্ণ প্রান্ত পুনরুদ্ধার করে।
বৃষ্টির রেখা অপসারণ: ঘন বৃষ্টির রেখার হস্তক্ষেপ দূর করে পটভূমির বিষয়বস্তু ফিরিয়ে আনে।
বৃষ্টির ফোঁটা অপসারণ: কাচ বা লেন্সের পৃষ্ঠে থাকা বৃষ্টির ফোঁটার আড়াল দূর করে পরিষ্কার দৃশ্য ফিরিয়ে আনে।
চিত্র ডিহেইজিং: বায়ুমণ্ডলীয় কুয়াশা ও ধোঁয়াশাজনিত অস্পষ্টতা দূর করে ছবির স্বচ্ছতা ও রঙ উন্নত করে।
তুষার অপসারণ: ছবির তুষারকণা-জনিত শব্দ দূর করে দৃশ্যের আসল রূপ ফিরিয়ে আনে।
স্বল্প-আলো উন্নয়ন: অন্ধকার পরিবেশে উজ্জ্বলতা ও বিবরণ বাড়িয়ে ছবির দৃশ্যমানতা উন্নত করে।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
পিক্সেল-স্পেস ডিফিউশন Transformer: PixRestore সরাসরি পিক্সেল স্তরে flow matching সম্পন্ন করে এবং VAE এনকোডার সম্পূর্ণভাবে বাদ দেয়। এতে ল্যাটেন্ট স্পেস কম্প্রেশনের কারণে উচ্চ-ফ্রিকোয়েন্সির সূক্ষ্ম বিবরণ হারানো এড়ানো যায়। একই সঙ্গে T2I প্রি-ট্রেইনড মডেলের ওপর নির্ভরতা দূর হয়, ফলে পুনরুদ্ধার করা ফলাফল মূল বিষয়বস্তুর সঙ্গে অত্যন্ত সামঞ্জস্যপূর্ণ থাকে।
অভিযোজিত স্তর বৈশিষ্ট্য রাউটিং: মডেলটি LQ–HQ ছবির DINO বৈশিষ্ট্যের সাদৃশ্য ব্যবহার করে ভিশন এনকোডারের প্রতিটি স্তরের বৈশিষ্ট্যের নির্ভরযোগ্যতা গতিশীলভাবে মূল্যায়ন করে। নির্ভরযোগ্য স্তরগুলোকে একত্র করে DiT-এ ঘন কন্ডিশন হিসেবে ইনজেক্ট করা হয়, আর অনির্ভরযোগ্য স্তরগুলোতে উচ্চমানের বৈশিষ্ট্যের আরও শক্তিশালী তত্ত্বাবধান প্রয়োগ করা হয়। এর ফলে বিভিন্ন ধরনের অবক্ষয় অভিযোজিতভাবে দূর করা যায়।
এক ধাপে দক্ষ ইনফারেন্স: সম্পূর্ণ প্রশিক্ষণের পর PixRestore-কে DINO-ভিত্তিক প্রতিপক্ষীয় লক্ষ্যের মাধ্যমে আরও সূক্ষ্মভাবে সমন্বয় করে এক ধাপের জেনারেটরে রূপান্তর করা হয়। মাত্র 53.7M প্যারামিটারে এটি 44ms-এর মধ্যে ইনফারেন্স সম্পন্ন করে এবং বিশ্বস্ততা, উপলব্ধিগত গুণমান ও গণনাগত দক্ষতার মধ্যে সর্বোত্তম ভারসাম্য অর্জন করে।

পরিবেশ সেটআপ: GitHub থেকে PixRestore কোড রিপোজিটরি ক্লোন করে প্রয়োজনীয় নির্ভরতা ইনস্টল করুন।
মডেল সংগ্রহ: Hugging Face থেকে প্রি-ট্রেইনড মডেল ওজনের ফাইল ডাউনলোড করুন।
ছবি প্রস্তুত: পুনরুদ্ধারের জন্য কম-মানের ছবি প্রস্তুত করুন; সুপার-রেজোলিউশন, ডিনয়েজিং, ডিব্লারিংসহ 8 ধরনের অবক্ষয় সমর্থিত।
ইনফারেন্স চালানো: ইনফারেন্স স্ক্রিপ্ট চালান। মডেলটি ডিফল্টভাবে এক ধাপের ইনফারেন্স ব্যবহার করে এবং প্রায় 44ms-এ পুনরুদ্ধার করা ফলাফল দিতে পারে।
ফলাফল সংরক্ষণ: উচ্চমানের পুনরুদ্ধার করা ছবি সংগ্রহ ও সংরক্ষণ করুন, যা পরবর্তী কাজে সরাসরি ব্যবহার করা যাবে।

পিক্সেল-স্তরের বিশ্বস্ততা: সরাসরি পিক্সেল স্পেসে ডিফিউশন মডেলিং করে VAE এনকোডিংয়ের কারণে উচ্চ-ফ্রিকোয়েন্সির সূক্ষ্ম বিবরণ হারানো ও বিষয়বস্তুর আর্টিফ্যাক্ট সম্পূর্ণভাবে এড়ায়।
অত্যন্ত হালকা ও দক্ষ: মাত্র 53.7M প্যারামিটার এবং এক ধাপের ইনফারেন্সে মাত্র 44 মিলিসেকেন্ড সময় লাগে; গণনাগত ব্যয় প্রচলিত ল্যাটেন্ট ডিফিউশন পুনরুদ্ধার পদ্ধতির তুলনায় অনেক কম।
এক মডেলে একাধিক কাজ: একটি মডেলই সুপার-রেজোলিউশন, ডিনয়েজিং, ডিব্লারিং, ডিরেইন, ডিহেইজিং, ডিস্নোয়িং, স্বল্প-আলো উন্নয়নসহ 8 ধরনের অবক্ষয় সামলাতে পারে।
অভিযোজিত অবক্ষয় অনুধাবন: DINO বৈশিষ্ট্যের সাদৃশ্যের মাধ্যমে প্রতিটি স্তরের নির্ভরযোগ্যতা গতিশীলভাবে মূল্যায়ন করে, ফলে অবক্ষয় অপসারণ ও বিবরণ সংরক্ষণের মধ্যে বুদ্ধিমান ভারসাম্য তৈরি হয়।
স্বতন্ত্র প্রশিক্ষণ পদ্ধতি: কোনো text-to-image প্রি-ট্রেইনড মডেলের ওপর নির্ভর না করে সম্পূর্ণ শুরু থেকে প্রশিক্ষিত, ফলে জেনারেটিভ prior-এর কারণে বিষয়বস্তুর পক্ষপাত এড়ানো যায়।
সামগ্রিকভাবে শীর্ষস্থানীয় কর্মক্ষমতা: উন্মুক্ত বেঞ্চমার্ক ও বাস্তব বিশ্বের পরীক্ষাসেটে বিশ্বস্ততা, উপলব্ধিগত গুণমান এবং অবক্ষয় অপসারণের সক্ষমতায় বিদ্যমান সমন্বিত পুনরুদ্ধার মডেলগুলোর চেয়ে এগিয়ে।

প্রকল্পের ওয়েবসাইট: https://csslc.github.io/pixrestore-page
GitHub রিপোজিটরি: https://github.com/csslc/PixRestore
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/VCLab-PolyU/PixRestore
arXiv প্রযুক্তিগত পেপার: https://arxiv.org/pdf/2608.16793

মোবাইলে রিয়েল-টাইম ছবি উন্নয়ন: 44ms অতি-স্বল্প বিলম্বে OPPO-সহ মোবাইল ডিভাইসে রাতের দৃশ্যের শব্দ, মোশন ব্লার ও বৃষ্টির ফোঁটার আড়াল রিয়েল-টাইমে পুনরুদ্ধার করে ছবির গুণমান বাড়ায়।
স্বয়ংচালিত যান ও ড্রোন ভিশন: বৃষ্টি, কুয়াশা ও তুষারের মতো প্রতিকূল আবহাওয়ায় ছবির বিভিন্ন অবক্ষয় একসঙ্গে দূর করে রাস্তার চিহ্ন ও প্রতিবন্ধকের বিবরণ ফিরিয়ে আনে, ফলে পারসেপশন সিস্টেমের নির্ভরযোগ্যতা বাড়ে।
নজরদারি ভিডিওর গুণমান পুনরুদ্ধার: পুরোনো বা কম-বিটরেটের নজরদারি ভিডিওতে সুপার-রেজোলিউশন ও ডিনয়েজিং প্রয়োগ করে মুখ ও গাড়ির নম্বরপ্লেটের মতো গুরুত্বপূর্ণ তথ্য ফিরিয়ে আনে এবং নিরাপত্তা-সংক্রান্ত প্রমাণ সংগ্রহে সহায়তা করে।
পুরোনো ছবি ও ঐতিহাসিক নথির ডিজিটাইজেশন: বিবর্ণতা, আঁচড়, ছত্রাকের দাগ ও স্বল্প-আলোর সমস্যা একসঙ্গে পুনরুদ্ধার করে মূল্যবান ঐতিহাসিক ছবিকে দক্ষতার সঙ্গে উচ্চ-ফিডেলিটি ডিজিটাল আর্কাইভে রূপান্তর করে।
মেডিকেল ইমেজিং উন্নয়ন: এন্ডোস্কোপ ও মাইক্রোস্কোপের মতো যন্ত্রে স্বল্প আলোয় ধারণ করা ছবির গুণমান বাড়ায়, শব্দ ও ঝাপসা দূর করে এবং চিকিৎসকদের ক্ষতস্থান আরও পরিষ্কারভাবে পর্যবেক্ষণে সহায়তা করে।