MOSS-Image 運営中

MOSS-Imageは、模思智能と OpenMOSS が共同でオープンソース化したテキスト画像生成モデルです。中核に5BパラメータのDiTバックボーンを採用し、凍結されたQwen3.5-9BテキストエンコーダーとFLUX.2 VAEを組み合わせています。重みはApache-2.0ライセンスで提供されています。MOSS-Imageは、学習データからAI生成画像を除外してAI特有の不自然さを抑え、中英語の長文テキスト描画、JSON Layout/Bounding Boxによるレイアウト制御、最大4096 tokensのプロンプトに対応しています。8ステップ/4ステップ高速化、INT8/GGUF量子化、多様なスタイルのLoRAなど、コミュニティエコシステムも広がっています。

自然言語による画像生成：説明文を入力すると、写真のようなリアル調、アニメ、イラストなどの画像を生成できます。
中英語テキストの描画：密度の高いテキストや長文の生成を最適化し、改行などのレイアウト構造を可能な限り保持します。
ネイティブなLayout制御：JSONでsummary、items、text、bboxを指定し、タイトル、物体、テキストの位置を制御します。
長いPromptへの対応：最大4096 tokensに対応し、複数の主体、空間関係、カメラワーク、スタイルを含む複雑な要件に適しています。
エコシステムとデプロイ：Diffusers、Gradio、ComfyUI、SGLang、vLLM-Omniなどの利用方法を提供し、高速化、量子化、LoRAなどの派生実装も展開されています。

WeChatでフォロー後、「開源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます
モデルアーキテクチャ：ゼロから事前学習した単一ストリーム拡散Transformerを採用し、中核となるDiTバックボーンは5Bです。テキスト条件は凍結されたQwen3.5-9Bから抽出し、画像の潜在変数はFLUX.2 VAEでエンコード・デコードします。テキストと画像の潜在変数を統一された拡散フレームワーク内で共同モデリングします。
レイアウト制御：summary、caption、items、label、bboxを構造化プロンプトにコンパイルします。座標には abs_centralized ピクセル方式と yxyx 形式を採用し、物体、テキスト、空間位置を自然言語による暗示だけに頼らず、明示的な条件として扱います。
データ戦略：学習前に重複除去と品質選別を行い、AI生成画像を除外して実画像の多様性を維持します。また、透かしやぼかしなどの属性を付与し、「AIらしさ」を抑えて画像の自然さを高めます。
テキストと長文プロンプトの最適化：ポスターやECなどのデザインタスクに向けて、密集テキスト・長文の描画と4096 tokensの条件入力を強化し、複雑な指示、文字内容、空間関係を同時に生成プロセスへ組み込めるようにしています。

環境の準備：Python 3.10+ と NVIDIA GPUを使用し、CUDAに対応するPyTorchをインストールします。
コードの取得：git clone https://github.com/OpenMOSS/MOSS-Image.git を実行し、ディレクトリに移動して仮想環境を作成します。
依存関係のインストール：環境を有効化した後、pip install -r requirements.txt を実行します。
モデルの読み込み：Diffusersで custom_pipeline="pipeline_moss_image" と trust_remote_code=True を指定し、Base/SFT重みを読み込みます。
精度の設定：DiTには bfloat16、VAEには float32 を推奨し、その後 pipe.to("cuda") を実行します。
通常の画像生成：自然言語のpromptを渡し、幅、高さ、num_inference_steps=50、guidance_scale=3.0などのパラメータを設定して生成します。
レイアウト画像生成：summary/items/bboxをJSONとして記述し、promptに入力してテキストと物体の位置を制御します。
複雑なプロンプト：要件が細かい場合は、Prompt Enhancerでアイデアを詳細なcaptionまたは構造化されたLayoutに展開します。
ComfyUIでの利用：ComfyUI ManagerでMOSS-Imageプラグインを検索・インストールし、サンプルワークフローを読み込んで実行します。
低VRAM向け最適化：VRAMが不足する場合はINT8/GGUF/MLXや8ステップ/4ステップ高速化を選択するか、分割処理・オフロード戦略を有効にします。

テキスト描画 LLTB：Mean-6テキストカバレッジは96.3%で、評価対象となったオープンウェイトモデル中1位です。
レイアウト制御 7Bench：ターゲット位置のmIoUは0.88、レイアウトAUCは0.70です。
実デザインのブラインド評価 RLA：短いプロンプト条件でのElo推定値は1698.70で、GPT Image 2に次ぐ2位です。統一された拡張プロンプト条件ではElo 1807.34となり、ERNIE Image、SenseNova U1を上回りました。

より自然な画像：学習データからAI生成画像を除外し、「AIらしさ」や過度に洗練された印象を抑えています。
強力なテキスト描画：中英語の密集・長文テキスト向けに最適化され、LLTB Mean-6のカバレッジは96.3%に達します。
柔軟なレイアウト制御：JSON LayoutとBounding Boxに対応し、テキスト、物体、空間位置を明確に指定できます。
長いPromptに対応：最大4096 tokensで、複雑な主体、関係、カメラワーク、スタイルの記述に適しています。
軽量で改変しやすい：5Bバックボーンはファインチューニングに適しており、Apache-2.0の重みにより、コミュニティでのLoRAや派生モデルの開発を促進します。
多様な利用方法：Diffusers、Gradio、ComfyUI、SGLang、vLLM-Omni、APIに対応しています。
デザイン用途に実用的：ポスター、EC画像、レイアウト関連のタスクを想定し、ブラインド評価で一部の商用モデルに匹敵、または上回る結果を示しています。

プロジェクト公式サイト：https://openmoss.ai/MOSS-Image/
GitHubリポジトリ：https://github.com/OpenMOSS/MOSS-Image
HuggingFaceモデルリポジトリ： https://huggingface.co/OpenMOSS-Team/MOSS-Image-SFT
https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base
技術論文：https://github.com/OpenMOSS/MOSS-Image/blob/main/paper/MOSS_Image_Technical_Report.pdf

ポスターデザイン：JSON Layoutでタイトル、メインビジュアル、補助要素の位置を固定し、レイアウトを制御した販促ポスターを迅速に生成します。
EC画像の制作：商品、コピー、価格ラベル、背景領域を制約し、商品詳細ページやメイン画像に適したマーケティングビジュアルを生成します。
SNSコンテンツ用画像：長いPromptをブランドのトーンに合ったリアル調またはイラスト調のコンテンツに変換し、公式アカウント、小紅書、広告素材に活用します。
アニメ・イラスト制作：多様なスタイルのLoRAと組み合わせて人物、シーン、コンセプトスケッチを生成し、二次元コンテンツ、絵本、ビジュアル開発に活用します。
中英語のレイアウト素材：メニュー、イベントページ、ステッカー、パッケージ説明など、密集したテキストを含むローカライズデザインに対応します。