MOSS-Image 운영 중

MOSS-Image는 모스 인텔리전스와 OpenMOSS가 공동으로 오픈 소스화한 텍스트-이미지 생성 모델로, 5B 파라미터 DiT 백본을 기반으로 동결된 Qwen3.5-9B 텍스트 인코더와 FLUX.2 VAE를 결합하며, 가중치는 Apache-2.0 라이선스를 따릅니다. MOSS-Image는 학습 데이터에서 AI 생성 이미지를 제외해 AI 특유의 느낌을 줄이고, 중국어와 영어 장문 텍스트 렌더링, JSON Layout/Bounding Box 레이아웃 제어, 최대 4096 tokens 프롬프트를 지원합니다. 또한 8단계/4단계 가속, INT8/GGUF 양자화, 다양한 스타일의 LoRA 등 커뮤니티 생태계를 확장하고 있습니다.

자연어 텍스트-이미지 생성: 설명을 입력하면 사진처럼 사실적인 이미지, 애니메이션, 일러스트 등 다양한 스타일의 이미지를 생성할 수 있습니다.
중국어 및 영어 텍스트 렌더링: 조밀한 텍스트와 장문 생성을 최적화하고 줄 바꿈 등 레이아웃 구조를 최대한 유지합니다.
네이티브 Layout 제어: JSON으로 summary, items, text 및 bbox를 지정해 제목, 객체와 텍스트의 위치를 제어합니다.
긴 Prompt 지원: 최대 4096 tokens를 지원해 여러 주체, 공간 관계, 카메라와 스타일이 함께 필요한 복잡한 요구에 적합합니다.
생태계 및 배포: Diffusers, Gradio, ComfyUI, SGLang, vLLM-Omni 등의 경로를 제공하며, 가속, 양자화 및 LoRA 파생 구현을 지원합니다.

WeChat에서 팔로우 후 “开源”에 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
모델 아키텍처: 처음부터 사전 학습한 단일 스트림 확산 Transformer를 사용하며, 핵심 DiT 백본은 5B입니다. 텍스트 조건은 동결된 Qwen3.5-9B에서 추출하고, 이미지 잠재 변수는 FLUX.2 VAE로 인코딩 및 디코딩합니다. 텍스트와 이미지 잠재 변수는 통합 확산 프레임워크에서 공동 모델링됩니다.
레이아웃 제어: summary, caption, items, label 및 bbox를 구조화된 프롬프트로 컴파일하고, 좌표는 abs_centralized 픽셀 좌표계의 yxyx 형식을 사용합니다. 이를 통해 객체, 텍스트 및 공간 위치를 자연어 암시에만 의존하지 않고 명시적인 조건으로 지정합니다.
데이터 전략: 학습 전에 중복 제거와 품질 필터링을 수행하고 AI 생성 이미지를 제외하며, 실제 이미지의 다양성을 유지합니다. 또한 워터마크, 흐림 등의 속성을 표시해 “AI 특유의 느낌”을 줄이고 이미지의 자연스러움을 높입니다.
텍스트 및 장문 프롬프트 최적화: 포스터와 전자상거래 등 디자인 작업을 위해 조밀한 텍스트 및 장문 렌더링과 4096 tokens 조건 입력을 강화하여 복잡한 지시, 텍스트 내용 및 공간 관계를 생성 과정에 동시에 반영합니다.

환경 준비: Python 3.10+ 및 NVIDIA GPU를 사용하고, CUDA에 맞는 PyTorch를 설치합니다.
코드 가져오기: git clone https://github.com/OpenMOSS/MOSS-Image.git을 실행한 뒤 디렉터리로 이동해 가상 환경을 생성합니다.
의존성 설치: 환경을 활성화한 후 pip install -r requirements.txt를 실행합니다.
모델 로드: Diffusers에서 custom_pipeline="pipeline_moss_image" 및 trust_remote_code=True를 사용해 Base/SFT 가중치를 로드합니다.
정밀도 설정: DiT에는 bfloat16, VAE에는 float32를 사용한 뒤 pipe.to("cuda")를 실행하는 것을 권장합니다.
일반 이미지 생성: 자연어 prompt를 입력하고 너비와 높이, num_inference_steps=50, guidance_scale=3.0 등의 매개변수를 설정해 생성합니다.
레이아웃 이미지 생성: summary/items/bbox를 JSON으로 작성해 prompt로 입력하고 텍스트와 객체 위치를 제어합니다.
복잡한 프롬프트: 요구 사항이 세밀할 때 Prompt Enhancer를 사용해 아이디어를 상세한 caption 또는 구조화된 Layout으로 확장합니다.
ComfyUI 사용: ComfyUI Manager에서 MOSS-Image 플러그인을 검색해 설치한 뒤 예제 워크플로를 로드해 실행합니다.
낮은 VRAM 최적화: VRAM이 부족할 때 INT8/GGUF/MLX, 8단계/4단계 가속을 선택하거나 청크 처리/오프로딩 전략을 활성화합니다.

텍스트 렌더링 LLTB: Mean-6 텍스트 커버리지가 96.3%로, 평가에 참여한 오픈 웨이트 모델 중 1위입니다.
레이아웃 제어 7Bench: 객체 위치 지정 mIoU 0.88, 레이아웃 AUC 0.70입니다.
실제 디자인 블라인드 평가 RLA: 짧은 프롬프트 조건에서 Elo 추정값 1698.70으로 GPT Image 2에 이어 2위이며, 통일된 강화 프롬프트 그룹에서는 Elo 1807.34로 ERNIE Image와 SenseNova U1을 앞섰습니다.

더 자연스러운 이미지: 학습 데이터에서 AI 생성 이미지를 제외해 “AI 특유의 느낌”과 과도하게 정제된 인상을 줄입니다.
강력한 텍스트 렌더링: 중국어와 영어의 조밀한 텍스트 및 장문 텍스트에 최적화되어 LLTB Mean-6 커버리지 96.3%를 달성했습니다.
제어 가능한 레이아웃: JSON Layout과 Bounding Box를 지원해 텍스트, 객체 및 공간 위치를 명확하게 지정합니다.
긴 Prompt에 적합: 최대 4096 tokens를 지원해 복잡한 주체, 관계, 카메라와 스타일 설명에 적합합니다.
가볍고 수정 용이: 5B 백본으로 미세 조정이 쉽고, Apache-2.0 가중치로 커뮤니티 LoRA 및 파생 모델 개발을 촉진합니다.
다양한 시작 경로: Diffusers, Gradio, ComfyUI, SGLang, vLLM-Omni 및 API를 지원합니다.
실용적인 디자인 활용: 포스터, 전자상거래 이미지, 편집 작업을 대상으로 하며 블라인드 평가에서 일부 상용 모델에 근접하거나 앞서는 성능을 보입니다.

프로젝트 공식 웹사이트：https://openmoss.ai/MOSS-Image/
GitHub 저장소：https://github.com/OpenMOSS/MOSS-Image
HuggingFace 모델 저장소： https://huggingface.co/OpenMOSS-Team/MOSS-Image-SFT
https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base
기술 보고서：https://github.com/OpenMOSS/MOSS-Image/blob/main/paper/MOSS_Image_Technical_Report.pdf

포스터 디자인: JSON Layout으로 제목, 메인 비주얼 및 보조 요소의 위치를 고정해 레이아웃을 제어할 수 있는 홍보 포스터를 빠르게 생성합니다.
전자상거래 이미지 제작: 상품, 문구, 가격 라벨과 배경 영역을 지정해 상세 페이지와 대표 이미지에 적합한 마케팅 비주얼을 생성합니다.
소셜 미디어 콘텐츠 이미지: 긴 Prompt를 브랜드 스타일에 맞는 사실적 이미지 또는 일러스트 콘텐츠로 변환해 공식 계정, 샤오홍슈 및 광고 소재에 활용합니다.
애니메이션 일러스트 창작: 다양한 스타일의 LoRA와 결합해 인물, 장면 및 콘셉트 스케치를 생성하고 서브컬처, 그림책 및 비주얼 개발에 활용합니다.
중국어 및 영어 편집 자료: 메뉴, 이벤트 페이지, 스티커 및 포장 설명 등 조밀한 텍스트가 포함된 현지화 디자인 작업을 처리합니다.