PixRestore 運営中

PixRestoreは香港理工大学とOPPO研究院が共同開発した統合画像復元モデルです。画素空間Diffusion Transformerを用いて画素レベルで直接フローマッチングを行い、細部の損失を回避します。PixRestoreはDINO駆動の適応型層特徴ルーティングにより、わずか53.7Mパラメータの軽量モデルで超解像、ノイズ除去、ぼけ除去、雨除去、霧除去など8種類の劣化タスクを効率的に処理できます。1ステップ推論はわずか44ミリ秒で、忠実度と効率の両面で優れた性能を実現します。

超解像：低解像度画像を、ディテール豊かな高解像度画像に復元します。
画像ノイズ除去：画面上のランダムなノイズ粒子を除去し、きれいなテクスチャを再現します。
モーションブラー除去：動きやピンぼけによるぼけを取り除き、シャープなエッジを復元します。
雨線除去：密集した雨線による画面への干渉を取り除き、背景の内容を復元します。
雨滴除去：ガラスやレンズ表面の雨滴による遮りを除去し、鮮明な視界を復元します。
画像デヘイズ：大気中の霧やもやによるかすみを取り除き、画面の透明感と色彩を高めます。
雪除去：画像内の雪片ノイズを除去し、元のシーンを復元します。
低照度補正：暗い環境での明るさとディテールを高め、画面の視認性を改善します。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
画素空間拡散Transformer：PixRestoreは画素レベルで直接フローマッチングを実行し、VAEエンコーダーを完全に排除します。潜在空間への圧縮による高周波ディテールの損失を防ぐと同時に、T2I事前学習モデルへの依存からも脱却し、復元結果と元の内容との高い一致性を確保します。
適応型層特徴ルーティング：LQ–HQ画像のDINO特徴の類似度を利用して、視覚エンコーダーの各層の特徴の信頼性を動的に評価します。信頼できる層を統合して密な条件としてDiTに注入し、信頼性の低い層にはより強い高品質特徴の監督を適用することで、さまざまな劣化を適応的に除去します。
1ステップ高効率推論：完全な学習後、PixRestoreはDINOベースの敵対的目的関数によってさらに微調整され、1ステップ生成器になります。わずか53.7Mパラメータで44ms以内に推論を完了し、忠実度、知覚品質、計算効率の間で最適なバランスを実現します。

環境構築：GitHubからPixRestoreのコードリポジトリをクローンし、必要な依存関係をインストールします。
モデルの取得：Hugging Faceから事前学習済みモデルの重みファイルをダウンロードします。
画像の準備：復元対象の低品質画像を用意します。超解像、ノイズ除去、ぼけ除去など8種類の劣化タイプに対応しています。
推論の実行：推論スクリプトを実行します。モデルはデフォルトで1ステップ推論を行い、約44msで復元結果を出力します。
結果の保存：高品質な復元画像を取得・保存し、そのまま後続のアプリケーションで利用できます。

画素レベルの忠実度：画素空間で直接拡散モデリングを行い、VAEエンコードによる高周波ディテールの損失やコンテンツのアーティファクトを徹底的に回避します。
極めて軽量で高効率：わずか53.7Mパラメータ、1ステップ推論は44ミリ秒で完了し、主要な潜在拡散型画像復元手法より計算コストを大幅に抑えられます。
複数タスクを統合的にカバー：単一モデルで超解像、ノイズ除去、ぼけ除去、雨除去、霧除去、雪除去、低照度補正など8種類の劣化を処理できます。
適応型劣化認識：DINO特徴の類似度によって各層の信頼性を動的に評価し、劣化除去とディテール保持のバランスをインテリジェントに調整します。
独立した学習方式：テキストから画像を生成する事前学習モデルに依存せず、完全にゼロから学習するため、生成事前知識によるコンテンツの偏りを回避します。
総合的に優れた性能：公開ベンチマークと実世界テストセットにおいて、忠実度、知覚品質、劣化除去能力のすべてで既存の統合画像復元モデルを上回ります。

プロジェクト公式サイト：https://csslc.github.io/pixrestore-page
GitHubリポジトリ：https://github.com/csslc/PixRestore
Hugging Faceモデル：https://huggingface.co/VCLab-PolyU/PixRestore
arXiv技術論文：https://arxiv.org/pdf/2608.16793

スマートフォンでのリアルタイム撮影補正：44msという超低遅延で、OPPOなどのモバイル端末上で夜景のノイズ、モーションブラー、雨滴による遮りをリアルタイムに復元し、撮影画像の品質を高めます。
自動運転・ドローンビジョン：雨、霧、雪などの悪天候下で画像の劣化を統合的に除去し、道路標識や障害物のディテールを復元して、知覚システムの信頼性を高めます。
監視映像の画質復元：古い、または低ビットレートの監視映像に超解像とノイズ除去を施し、顔やナンバープレートなどの重要情報を復元して、セキュリティ調査や証拠収集を支援します。
古写真・歴史資料のデジタル化：退色、傷、カビ、低照度などの問題を統合的に復元し、貴重な歴史映像を高忠実度のデジタルアーカイブへ効率的に変換します。
医用画像の強調：内視鏡や顕微鏡などの低照度環境での画像品質を高め、ノイズやぼけを除去して、医師が病変のディテールをより明瞭に観察できるよう支援します。