MOSS-Image Inafanya kazi

MOSS-Image ni modeli ya kutengeneza picha kutoka maandishi iliyotolewa kwa pamoja kama chanzo huria na Mosi Intelligence pamoja na OpenMOSS. Inategemea uti wa mgongo wa DiT wenye vigezo 5B, ikiunganishwa na kisimbaji maandishi cha Qwen3.5-9B kilichogandishwa na FLUX.2 VAE. Uzani wake umetolewa chini ya Apache-2.0. MOSS-Image inalenga kupunguza mwonekano wa picha za AI kwa kuondoa picha zinazozalishwa na AI kwenye data ya mafunzo. Inaunga mkono uonyeshaji wa maandishi marefu kwa Kichina na Kiingereza, udhibiti wa mpangilio kupitia JSON Layout/Bounding Box, na vidokezo vya hadi tokeni 4096. MOSS-Image imewezesha mfumo wa jamii unaojumuisha kuongeza kasi kwa hatua 8/4, quantization ya INT8/GGUF na LoRA za mitindo mbalimbali.

Utengenezaji wa picha kwa lugha asilia: Ingiza maelezo ili kuzalisha picha za mitindo kama uhalisia wa kiwango cha picha, anime na vielelezo.
Uonyeshaji wa maandishi ya Kichina na Kiingereza: Uboreshaji wa uzalishaji wa maandishi mazito na marefu, huku ukihifadhi kwa kadiri iwezekanavyo muundo wa mpangilio kama mistari mipya.
Udhibiti asilia wa Layout: Tumia JSON kubainisha summary, items, text na bbox, ili kudhibiti nafasi za vichwa, vitu na maandishi.
Usaidizi wa Prompt ndefu: Hadi tokeni 4096, unaofaa kwa mahitaji changamano yenye wahusika wengi, uhusiano wa nafasi, kamera na mitindo kwa pamoja.
Ekolojia na uwekaji: Inatoa njia za Diffusers, Gradio, ComfyUI, SGLang na vLLM-Omni, pamoja na matoleo ya kuongeza kasi, quantization na LoRA.

Fuata WeChat na ujibu “开源” ili kujiunga na kundi la miradi huria ya AI
Muundo wa modeli: Inatumia Transformer ya diffusion ya mkondo mmoja iliyofunzwa kutoka mwanzo, ikiwa na uti wa mgongo wa DiT wa vigezo 5B; hali ya maandishi hutolewa na Qwen3.5-9B iliyogandishwa, huku latent za picha zikisimbwa na kusimbuliwa kupitia FLUX.2 VAE. Latent za maandishi na picha huigwa kwa pamoja katika mfumo mmoja wa diffusion.
Udhibiti wa mpangilio: summary, caption, items, label na bbox hukusanywa kuwa prompt iliyoundwa. Viwianishi hutumia mfumo wa pikseli wa abs_centralized na muundo wa yxyx, hivyo kufanya vitu, maandishi na nafasi za anga kuwa masharti ya wazi badala ya kutegemea dokezo la lugha asilia pekee.
Mbinu ya data: Kabla ya mafunzo, data huondolewa nakala na kuchujwa kwa ubora; picha zinazozalishwa na AI huondolewa, huku utofauti wa picha halisi ukihifadhiwa. Sifa kama alama za maji na ukungu huwekewa lebo, hivyo kupunguza “mwonekano wa AI” na kuongeza uhalisia wa picha.
Uboreshaji wa maandishi na vidokezo virefu: Kwa kazi za usanifu kama mabango na picha za biashara ya mtandaoni, modeli imeimarishwa kwa uonyeshaji wa maandishi mazito/marefu na ingizo la masharti la tokeni 4096, ili maagizo changamano, maudhui ya maandishi na uhusiano wa nafasi viweze kuingia katika mchakato wa uzalishaji kwa wakati mmoja.

Andaa mazingira: Tumia Python 3.10+ na GPU ya NVIDIA, kisha sakinisha PyTorch inayolingana na CUDA.
Pata msimbo: Tekeleza git clone https://github.com/OpenMOSS/MOSS-Image.git, ingia kwenye saraka na uunde mazingira pepe.
Sakinisha vitegemezi: Baada ya kuwezesha mazingira, tekeleza pip install -r requirements.txt.
Pakia modeli: Tumia Diffusers kupakia uzani wa Base/SFT kwa custom_pipeline="pipeline_moss_image" na trust_remote_code=True.
Sanidi usahihi: Inapendekezwa kutumia bfloat16 kwa DiT na float32 kwa VAE, kisha pipe.to("cuda").
Utengenezaji wa kawaida wa picha: Pitisha prompt ya lugha asilia, weka upana, urefu, num_inference_steps=50, guidance_scale=3.0 na vigezo vingine ili kuzalisha picha.
Utengenezaji wa picha kwa mpangilio: Andika summary/items/bbox katika JSON na uitumie kama prompt ili kudhibiti nafasi za maandishi na vitu.
Vidokezo changamano: Mahitaji yanapokuwa na maelezo mengi, tumia Prompt Enhancer kupanua wazo kuwa caption yenye maelezo au Layout iliyoundwa.
Matumizi ya ComfyUI: Tafuta na sakinisha programu-jalizi ya MOSS-Image katika ComfyUI Manager, kisha pakia workflow ya mfano na uiendeshe.
Uboreshaji wa kumbukumbu ya video: Kumbukumbu inapokuwa finyu, chagua INT8/GGUF/MLX, kuongeza kasi kwa hatua 8/4, au washa mikakati ya kugawa vipande/kupakua.

Uonyeshaji wa maandishi LLTB: Kiwango cha ufunikaji wa maandishi Mean-6 ni 96.3%, cha kwanza kati ya modeli huria zilizoshiriki.
Udhibiti wa mpangilio 7Bench: mIoU ya upangaji wa malengo ni 0.88, na AUC ya mpangilio ni 0.70.
Tathmini fiche ya usanifu halisi RLA: Chini ya masharti ya prompt fupi, makadirio ya pointi za Elo ni 1698.70, nafasi ya pili baada ya GPT Image 2; kwa kundi la vidokezo vilivyoboreshwa kwa pamoja, Elo ni 1807.34, mbele ya ERNIE Image na SenseNova U1.

Picha za asili zaidi: Data ya mafunzo huondoa picha zinazozalishwa na AI, hivyo kupunguza “mwonekano wa AI” na hisia ya ukamilifu kupita kiasi.
Uonyeshaji thabiti wa maandishi: Imeboreshwa kwa maandishi mazito/marefu ya Kichina na Kiingereza, huku ufunikaji wa LLTB Mean-6 ukifikia 96.3%.
Mpangilio unaoweza kudhibitiwa: Inaunga mkono JSON Layout na Bounding Box, ikiruhusu kubainisha wazi maandishi, vitu na nafasi za anga.
Inafaa kwa Prompt ndefu: Hadi tokeni 4096, inafaa kwa maelezo changamano ya wahusika, mahusiano, kamera na mitindo.
Nyepesi na rahisi kurekebisha: Uti wa mgongo wa vigezo 5B hurahisisha fine-tuning, huku uzani wa Apache-2.0 ukiharakisha LoRA na modeli zinazotokana na jamii.
Njia nyingi za kuanza: Inaunga mkono Diffusers, Gradio, ComfyUI, SGLang, vLLM-Omni na API.
Inafaa kwa usanifu: Inalenga mabango, picha za biashara ya mtandaoni na kazi za mpangilio; matokeo ya tathmini fiche yako karibu na au mbele ya baadhi ya modeli za kibiashara.

Tovuti rasmi ya mradi: https://openmoss.ai/MOSS-Image/
Hazina ya GitHub: https://github.com/OpenMOSS/MOSS-Image
Hazina ya modeli ya HuggingFace: https://huggingface.co/OpenMOSS-Team/MOSS-Image-SFT
https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base
Ripoti ya kiufundi: https://github.com/OpenMOSS/MOSS-Image/blob/main/paper/MOSS_Image_Technical_Report.pdf

Usanifu wa mabango: Tumia JSON Layout kuweka nafasi za kichwa, taswira kuu na vipengele saidizi, kisha zalisha haraka mabango ya matangazo yenye mpangilio unaodhibitika.
Utengenezaji wa picha za biashara ya mtandaoni: Dhibiti maeneo ya bidhaa, maandishi ya matangazo, lebo za bei na mandharinyuma ili kuzalisha taswira za uuzaji zinazofaa kwa kurasa za maelezo na picha kuu.
Picha za maudhui ya mitandao ya kijamii: Badilisha Prompt ndefu kuwa maudhui ya uhalisia au vielelezo yanayoendana na mtindo wa chapa, kwa matumizi katika akaunti rasmi, Xiaohongshu na nyenzo za matangazo.
Uundaji wa anime na vielelezo: Unganisha LoRA za mitindo mbalimbali ili kuzalisha wahusika, mandhari na michoro ya dhana kwa matumizi ya anime, vitabu vya picha na uendelezaji wa taswira.
Nyenzo za mpangilio wa Kichina na Kiingereza: Shughulikia kazi za usanifu wa ndani zenye maandishi mazito, kama menyu, kurasa za matukio, vibandiko na maelekezo ya vifungashio.