MOSS-Image 运营中

MOSS-Image是模思智能与 OpenMOSS 联合开源的文生图模型，核心是5B参数DiT主干，结合冻结的Qwen3.5-9B文本编码器和FLUX.2 VAE，权重采用Apache-2.0。MOSS-Image强调训练数据剔除AI生成图以减弱AI味，支持中英文长文本渲染、JSON Layout/Bounding Box布局控制和最长4096 tokens提示词。MOSS-Image带动8步/4步加速、INT8/GGUF量化与多风格LoRA等社区生态。

自然语言文生图：输入描述可生成照片级写实、动漫、插画等风格图像。
中英文文字渲染：优化密集文本与长文本生成，尽量保留换行等排版结构。
原生 Layout 控制：用 JSON 指定 summary、items、text 与 bbox，约束标题、物体和文字位置。
长 Prompt 支持：最长支持 4096 tokens，适合多主体、空间关系、镜头与风格并存的复杂需求。
生态与部署：提供 Diffusers、Gradio、ComfyUI、SGLang、vLLM-Omni 等路径，并衍生加速、量化与 LoRA。

微信关注回复“开源”，加入AI开源项目交流群
模型架构：采用从零预训练的单流扩散 Transformer，核心 DiT 主干为 5B；文本条件由冻结的 Qwen3.5-9B 提取，图像潜变量经 FLUX.2 VAE 编解码，文本与图像潜变量在统一扩散框架中联合建模。
布局控制：将 summary、caption、items、label 与 bbox 编译为结构化提示，坐标采用 abs_centralized 像素制、yxyx 格式，让对象、文字与空间位置成为显式条件非仅靠自然语言暗示。
数据策略：训练前做去重与质量筛选，剔除 AI 生成图像，保留真实图像多样性，并标注水印、模糊等属性，降低“AI 味”并提升画面自然度。
文字与长提示优化：面向海报、电商等设计任务强化密集/长文本渲染与 4096 tokens 条件输入，使复杂指令、文字内容和空间关系能同时进入生成过程。

准备环境：使用 Python 3.10+ 与 NVIDIA GPU，安装匹配 CUDA 的 PyTorch。
拉取代码：git clone https://github.com/OpenMOSS/MOSS-Image.git 并进入目录创建虚拟环境。
安装依赖：激活环境后执行 pip install -r requirements.txt。
加载模型：用 Diffusers 以 custom_pipeline="pipeline_moss_image" 和 trust_remote_code=True 加载 Base/SFT 权重。
配置精度：建议 DiT 用 bfloat16、VAE 用 float32，再 pipe.to("cuda")。
普通生图：传入自然语言 prompt，设置宽高、num_inference_steps=50、guidance_scale=3.0 等参数生成。
布局生图：把 summary/items/bbox 写成 JSON，作为 prompt 输入以控制文字和物体位置。
复杂提示词：需求较细时用 Prompt Enhancer 把创意扩成详细 caption 或结构化 Layout。
ComfyUI 使用：在 ComfyUI Manager 搜索并安装 MOSS-Image 插件，再加载示例工作流运行。
低显存优化：显存紧张时选 INT8/GGUF/MLX、8步/4步加速，或开启分块/卸载策略。

文字渲染 LLTB：Mean-6 文本覆盖率 96.3%，为参评开放权重模型第一。
布局控制 7Bench：目标定位 mIoU 0.88，布局 AUC 0.70。
真实设计盲评 RLA：短提示条件下 Elo 点估计 1698.70，列第二，仅次 GPT Image 2；统一增强提示词组 Elo 1807.34，领先 ERNIE Image、SenseNova U1。

画面更自然：训练数据剔除 AI 生成图，减弱“AI 味”和过度精致感。
文字渲染强：针对中英文密集/长文本优化，LLTB Mean-6 覆盖率达 96.3%。
布局可控：支持 JSON Layout 与 Bounding Box，明确指定文字、物体及空间位置。
长 Prompt 友好：最长 4096 tokens，适合复杂主体、关系、镜头与风格描述。
轻量易改：5B 主干便于微调，Apache-2.0 权重加速社区 LoRA 与衍生模型。
上手路径多：支持 Diffusers、Gradio、ComfyUI、SGLang、vLLM-Omni 及 API。
设计场景实用：面向海报、电商图、排版类任务，盲评成绩接近或领先部分商用模型。

项目官网：https://openmoss.ai/MOSS-Image/
GitHub仓库：https://github.com/OpenMOSS/MOSS-Image
HuggingFace模型库： https://huggingface.co/OpenMOSS-Team/MOSS-Image-SFT
https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base
技术论文：https://github.com/OpenMOSS/MOSS-Image/blob/main/paper/MOSS_Image_Technical_Report.pdf

海报设计：用 JSON Layout 固定标题、主视觉和辅助元素位置，快速生成排版可控的宣传海报。
电商图制作：约束商品、文案、价格标签与背景区域，生成适合详情页和主图的营销视觉。
社媒内容配图：把长 Prompt 转成符合品牌调性的写实或插画内容，用于公众号、小红书与广告物料。
动漫插画创作：结合多风格 LoRA 生成人物、场景与概念草图，服务二次元、绘本与视觉开发。
中英文排版物料：处理菜单、活动页、贴纸与包装说明等含密集文字的本地化设计任务。