LLaDA-Image 운영 중

LLaDA-Image는 Ant Group의 inclusionAI가 오픈 소스로 공개한 6B 파라미터 통합 이미지 생성 및 편집 모델입니다. 이 모델은 먼저 순수 이미지 사전 학습을 진행한 후 언어 정렬을 수행하는 혁신적인 경로를 채택했으며, 전체 확산 아키텍처(LLaDA2.0-mini 이해 + 6B DiT 생성)를 통해 텍스트-이미지 생성, 지시 기반 편집, 중국어·영어 텍스트 렌더링을 구현합니다. Turbo 버전은 2–4 단계만으로 이미지를 생성할 수 있으며, Qwen-Image-Bench의 중국어·영어 두 트랙에서 모두 오픈 소스 모델 중 1위를 차지했습니다.

텍스트-이미지 생성: 자연어 설명을 바탕으로 고화질의 디테일한 사진 같은 이미지를 생성합니다.
명령 기반 이미지 편집: 참고 이미지를 업로드하고 자연어 명령을 입력하여 지정된 영역을 정확하게 수정하면서 나머지 부분은 그대로 유지합니다.
중국어·영어 이중 언어 텍스트 렌더링: 생성된 이미지에 중국어와 영어 텍스트를 정확하게 표시하며, 포스터, 레이아웃 및 아트 레터링 디자인을 지원합니다.
VQ 조건부 생성: 시각적 양자화(VQ) 토큰을 조건 입력으로 사용하여 제어 가능한 이미지 생성을 구현합니다.
참고 이미지 편집: 업로드한 이미지를 참고하여 스타일 변환, 콘텐츠 수정 등의 편집 작업을 수행합니다.
Turbo 고속 추론: 증류 모델은 2~4단계 샘플링만으로 1024×1024 고품질 이미지를 생성할 수 있습니다.

WeChat 공식 계정을 팔로우한 후 “开源”라고 답장하여 AI 오픈소스 프로젝트 교류 그룹에 참여하세요.
완전 확산 통합 아키텍처: 모델은 이해 모듈 LLaDA2.0-mini(MoE 기반 확산 언어 모델)와 생성 모듈 6B DiT로 구성됩니다. 두 모듈의 백엔드는 모두 확산 모델이며, Connector로 연결해 의미 이해와 픽셀 생성을 분리합니다.
단계별 학습 전략: ‘먼저 그림을 그릴 수 있게 한 다음, 지시를 따를 수 있게 한다’는 방식으로 진행합니다. 먼저 순수 이미지 사전 학습과 중간 학습을 통해 강력한 시각 생성 사전 지식을 구축한 뒤, 쌍을 이룬 언어 감독을 도입해 텍스트와 시각 정보의 정렬을 완성합니다.
고품질 데이터 구축: 생성 학습에는 누적 약 2.2억 개의 샘플이 사용되었으며, 그중 98%가 실제 이미지입니다. 언어 정렬 단계의 이미지-텍스트 설명은 Qwen 계열 대규모 모델이 생성하고 검증하여 지시 따르기의 정확성을 보장합니다.
효율적인 학습 최적화: 전체 과정에서 매개변수 독립적인 RMSNorm으로 LayerNorm을 대체하고 Muon 옵티마이저를 사용해 대규모 학습의 안정성과 효율성을 높였습니다.
Twin-DMD 고속 증류: Turbo 버전은 Twin-DMD 증류 기술로 Base 모델을 압축합니다. 2–4단계 샘플링으로 1024×1024 고품질 이미지를 생성하여 속도와 품질의 균형을 구현합니다.

환경 설정: Python 3.11, PyTorch 2.8, Diffusers 0.39.0 및 FlashAttention 2.8.3 등의 종속성을 설치하여 로컬 추론 환경을 구축합니다.
가중치 받기: Hugging Face 또는 ModelScope에서 LLaDA-Image(고품질 버전)나 LLaDA-Image-Turbo(고속 버전)의 모델 파일을 다운로드합니다.
텍스트로 이미지 생성: 모델을 로드한 후 설명 텍스트를 입력합니다. Base 버전은 50단계와 guidance scale 5.0, Turbo 버전은 2–4단계와 guidance scale 1.0으로 설정하여 1024×1024 이미지를 생성합니다.
명령으로 이미지 편집: 참고 이미지를 업로드하고 자연어 편집 명령(예: ”배경을 바닷가로 바꿔 줘”)을 입력하면 모델이 편집하지 않은 영역을 자동으로 유지합니다.
크기 규격에 유의: 텍스트-이미지 생성 및 VQ 조건부 생성의 입력 크기는 16의 배수여야 하며, 편집 작업은 32의 배수여야 합니다.

오픈소스 성능 선도: Qwen-Image-Bench의 중국어 및 영어 부문에서 모두 오픈소스 모델 1위를 차지했으며, 종합 점수에서 FLUX.2 Max 등 주요 오픈소스 모델을 넘어섰습니다.
통합 생성 및 편집: 하나의 모델로 고품질 텍스트-이미지 생성과 정밀한 지시 기반 이미지 편집을 동시에 지원하므로 여러 모델을 전환할 필요가 없습니다.
초고속 추론: Turbo 증류 버전은 2–4회의 샘플링만으로 1024×1024 고화질 이미지를 생성해 대기 시간을 크게 줄입니다.
중국어 및 영어 텍스트 렌더링: 중국어와 영어 텍스트 생성 능력이 뛰어나 포스터, 레이아웃, 아트 타이포그래피 등 디자인 작업에 적합합니다.
사진 수준의 사실감: 실제 이미지 98%를 기반으로 한 사전 학습 데이터로 학습되어 자연스러운 조명, 풍부한 디테일과 높은 사실감을 갖춘 결과를 생성합니다.

GitHub 저장소: https://github.com/inclusionAI/LLaDA-Image
HuggingFace 모델 컬렉션: https://huggingface.co/collections/inclusionAI/llada-image
arXiv 기술 논문: https://arxiv.org/pdf/2609.03796

이커머스 비주얼 디자인: 상품 설명을 바탕으로 제품 메인 이미지를 한 번에 생성하거나, 명령어로 배경을 빠르게 교체하고 조명과 그림자를 조정하여 촬영 및 후반 작업 비용을 절감합니다.
마케팅 포스터 제작: 뛰어난 중·영문 텍스트 렌더링 기능으로 브랜드 슬로건과 이벤트 정보가 포함된 상업용 포스터 및 소셜 미디어 이미지를 바로 생성합니다.
소셜 미디어 콘텐츠 제작: 블로거와 크리에이터에게 사진처럼 사실적인 인물, 풍경 및 라이프스타일 이미지 생성을 제공하며, 스타일 편집과 빠른 이미지 제작을 지원합니다.
게임 및 영상 콘셉트 디자인: 텍스트를 기반으로 캐릭터와 장면 콘셉트 이미지를 빠르게 제작하고, 명령어로 세부 사항을 반복 수정하여 초기 창작 작업을 가속합니다.
개인 사진 보정: 사진을 업로드한 후 자연어 명령으로 불필요한 요소 제거, 하늘 교체, 색감 조정 등을 수행하며 수정하지 않은 영역은 그대로 유지하여 복잡한 사진 편집 소프트웨어를 대체합니다.