MOSS-Image Đang hoạt động

MOSS-Image là mô hình chuyển văn bản thành hình ảnh do Mosi Intelligent và OpenMOSS cùng phát hành mã nguồn mở, sử dụng backbone DiT 5B tham số, kết hợp bộ mã hóa văn bản Qwen3.5-9B và FLUX.2 VAE được đóng băng, với trọng số theo giấy phép Apache-2.0. MOSS-Image nhấn mạnh việc loại bỏ hình ảnh do AI tạo ra khỏi dữ liệu huấn luyện để giảm cảm giác “hình ảnh AI”, hỗ trợ kết xuất văn bản dài bằng tiếng Trung và tiếng Anh, điều khiển bố cục bằng JSON Layout/Bounding Box và prompt dài tối đa 4096 tokens. MOSS-Image thúc đẩy hệ sinh thái cộng đồng với khả năng tăng tốc 8 bước/4 bước, lượng tử hóa INT8/GGUF và LoRA đa phong cách.

Tạo ảnh từ ngôn ngữ tự nhiên: nhập mô tả để tạo hình ảnh theo nhiều phong cách như chân thực cấp độ ảnh, anime và minh họa.
Kết xuất văn bản tiếng Trung và tiếng Anh: tối ưu hóa việc tạo văn bản dày đặc và văn bản dài, cố gắng giữ nguyên cấu trúc bố cục như xuống dòng.
Điều khiển Layout gốc: sử dụng JSON để chỉ định summary, items, text và bbox, ràng buộc vị trí của tiêu đề, vật thể và văn bản.
Hỗ trợ Prompt dài: hỗ trợ tối đa 4096 tokens, phù hợp với các yêu cầu phức tạp có nhiều chủ thể, quan hệ không gian, góc máy và phong cách cùng tồn tại.
Hệ sinh thái và triển khai: cung cấp các phương thức triển khai qua Diffusers, Gradio, ComfyUI, SGLang, vLLM-Omni và các biến thể tăng tốc, lượng tử hóa cùng LoRA.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc mô hình: sử dụng Transformer khuếch tán một luồng được tiền huấn luyện từ đầu, với backbone DiT 5B làm lõi; điều kiện văn bản được trích xuất bởi Qwen3.5-9B được đóng băng, latent hình ảnh được mã hóa và giải mã qua FLUX.2 VAE, còn latent văn bản và hình ảnh được mô hình hóa kết hợp trong một khung khuếch tán thống nhất.
Điều khiển bố cục: biên dịch summary, caption, items, label và bbox thành prompt có cấu trúc; tọa độ sử dụng hệ pixel abs_centralized, định dạng yxyx, để biến vật thể, văn bản và vị trí không gian thành các điều kiện rõ ràng thay vì chỉ dựa vào mô tả bằng ngôn ngữ tự nhiên.
Chiến lược dữ liệu: thực hiện loại bỏ trùng lặp và sàng lọc chất lượng trước khi huấn luyện, loại bỏ hình ảnh do AI tạo ra, giữ lại tính đa dạng của hình ảnh thực, đồng thời gắn nhãn các thuộc tính như hình mờ và độ mờ để giảm “chất AI” và nâng cao độ tự nhiên của hình ảnh.
Tối ưu hóa văn bản và prompt dài: tăng cường khả năng kết xuất văn bản dày đặc/dài và đầu vào điều kiện 4096 tokens cho các tác vụ thiết kế như poster và thương mại điện tử, giúp chỉ dẫn phức tạp, nội dung văn bản và quan hệ không gian cùng tham gia vào quá trình tạo ảnh.

Chuẩn bị môi trường: sử dụng Python 3.10+ và GPU NVIDIA, cài đặt PyTorch tương thích với CUDA.
Tải mã nguồn: git clone https://github.com/OpenMOSS/MOSS-Image.git và chuyển vào thư mục để tạo môi trường ảo.
Cài đặt dependency: sau khi kích hoạt môi trường, thực thi pip install -r requirements.txt.
Nạp mô hình: sử dụng Diffusers với custom_pipeline="pipeline_moss_image" và trust_remote_code=True để nạp trọng số Base/SFT.
Cấu hình độ chính xác: khuyến nghị dùng bfloat16 cho DiT và float32 cho VAE, sau đó pipe.to("cuda").
Tạo ảnh thông thường: truyền prompt bằng ngôn ngữ tự nhiên, thiết lập chiều rộng, chiều cao, num_inference_steps=50, guidance_scale=3.0 và các tham số khác để tạo ảnh.
Tạo ảnh theo bố cục: viết summary/items/bbox dưới dạng JSON và dùng làm prompt đầu vào để điều khiển vị trí văn bản và vật thể.
Prompt phức tạp: khi yêu cầu chi tiết, sử dụng Prompt Enhancer để mở rộng ý tưởng thành caption chi tiết hoặc Layout có cấu trúc.
Sử dụng ComfyUI: tìm và cài đặt plugin MOSS-Image trong ComfyUI Manager, sau đó nạp workflow mẫu để chạy.
Tối ưu VRAM thấp: khi bộ nhớ hạn chế, chọn INT8/GGUF/MLX, tăng tốc 8 bước/4 bước hoặc bật chiến lược chia khối/gỡ tải.

Kết xuất văn bản LLTB: độ phủ văn bản Mean-6 đạt 96.3%, đứng đầu trong số các mô hình có trọng số mở tham gia đánh giá.
Điều khiển bố cục 7Bench: mIoU định vị mục tiêu đạt 0.88, AUC bố cục đạt 0.70.
Đánh giá mù thiết kế thực tế RLA: trong điều kiện prompt ngắn, ước tính điểm Elo đạt 1698.70, đứng thứ hai, chỉ sau GPT Image 2; nhóm prompt được tăng cường thống nhất đạt Elo 1807.34, vượt ERNIE Image và SenseNova U1.

Hình ảnh tự nhiên hơn: loại bỏ hình ảnh do AI tạo ra khỏi dữ liệu huấn luyện, giảm “chất AI” và cảm giác quá trau chuốt.
Kết xuất văn bản mạnh: tối ưu hóa văn bản dày đặc/dài bằng tiếng Trung và tiếng Anh, độ phủ Mean-6 của LLTB đạt 96.3%.
Bố cục có thể điều khiển: hỗ trợ JSON Layout và Bounding Box, chỉ định rõ văn bản, vật thể cũng như vị trí không gian.
Thân thiện với Prompt dài: hỗ trợ tối đa 4096 tokens, phù hợp với mô tả phức tạp về chủ thể, quan hệ, góc máy và phong cách.
Nhẹ và dễ chỉnh sửa: backbone 5B thuận tiện cho tinh chỉnh, trọng số Apache-2.0 thúc đẩy LoRA và các mô hình phái sinh trong cộng đồng.
Nhiều phương thức sử dụng: hỗ trợ Diffusers, Gradio, ComfyUI, SGLang, vLLM-Omni và API.
Thiết thực cho thiết kế: hướng đến poster, hình ảnh thương mại điện tử và các tác vụ bố cục, với kết quả đánh giá mù tiệm cận hoặc vượt một số mô hình thương mại.

Trang web dự án：https://openmoss.ai/MOSS-Image/
Kho GitHub：https://github.com/OpenMOSS/MOSS-Image
Kho mô hình HuggingFace： https://huggingface.co/OpenMOSS-Team/MOSS-Image-SFT
https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base
Báo cáo kỹ thuật：https://github.com/OpenMOSS/MOSS-Image/blob/main/paper/MOSS_Image_Technical_Report.pdf

Thiết kế poster: sử dụng JSON Layout để cố định vị trí tiêu đề, hình ảnh chính và các thành phần phụ, nhanh chóng tạo poster quảng bá có bố cục dễ kiểm soát.
Sản xuất hình ảnh thương mại điện tử: ràng buộc khu vực sản phẩm, nội dung, nhãn giá và nền để tạo hình ảnh tiếp thị phù hợp cho trang chi tiết và ảnh chính.
Hình ảnh cho nội dung mạng xã hội: chuyển Prompt dài thành nội dung chân thực hoặc minh họa phù hợp với phong cách thương hiệu, dùng cho tài khoản chính thức, Xiaohongshu và tài liệu quảng cáo.
Sáng tác minh họa anime: kết hợp LoRA đa phong cách để tạo nhân vật, bối cảnh và bản phác thảo ý tưởng, phục vụ nội dung hai chiều, sách tranh và phát triển hình ảnh.
Tài liệu bố cục tiếng Trung và tiếng Anh: xử lý các tác vụ thiết kế bản địa hóa có nhiều văn bản như thực đơn, trang sự kiện, nhãn dán và hướng dẫn trên bao bì.