Seedream 5.5 Inafanya kazi

Seedream 5.5 ni kizazi kipya cha modeli ya ubunifu wa picha iliyoundwa na timu ya Seed ya ByteDance. Kwa sasa inazinduliwa hatua kwa hatua kwenye majukwaa kama Jimeng, Doubao, Doubao Work na Volcano Ark. Seedream 5.5 inalenga uhariri thabiti zaidi wa mizunguko mingi, ikidumisha maeneo ambayo hayajahaririwa kwa kiwango cha pikseli na kusaidia hadi mizunguko 100 ya marekebisho endelevu kwenye kazi moja; imeongeza uundaji asilia wa nyenzo zenye uwazi za RGBA, ikitoa moja kwa moja picha zenye chaneli ya Alpha bila hitaji la kuondoa mandharinyuma baadaye; pia ubora wa picha unakaribia zaidi upigaji picha halisi, huku uonyeshaji wa maandishi madogo yenye msongamano ukiwa sahihi zaidi. Kiwango cha kuharibika sana kwa maandishi kimeshuka hadi 0.4%, na modeli hii inaongoza modeli kuu katika uhalisia wa maandishi-kwa-picha na muundo wa maandishi.

Uhariri thabiti wa mizunguko mingi: Maeneo ambayo hayajahaririwa hudumishwa kwa kiwango cha pikseli, na kazi moja inaweza kurekebishwa mfululizo hadi mara 100 bila kupoteza maelezo au kushuka kwa ubora kwa kiasi kinachoonekana.
Uundaji asilia wa nyenzo zenye uwazi za RGBA: Hutoa moja kwa moja picha zenye uwazi au nusu-uwazi zilizo na chaneli ya Alpha, huku ikishughulikia kwa usahihi kingo za maumbo na kuondoa hitaji la kusafisha mandharinyuma baadaye.
Uundaji wa maandishi ya kisanaa yenye uwazi: Huunganisha mipigo ya brashi, rangi na nyenzo za picha ya marejeo kwenye maumbo maalum ya herufi, na kutoa moja kwa moja nyenzo za maandishi ya kisanaa zenye mandharinyuma ya uwazi.
Utumiaji wa nyenzo za wahusika katika mandhari mbalimbali: Kwa kutumia seti ileile ya nyenzo za wahusika zenye uwazi kama marejeo, hudumisha sifa na mwonekano wa wahusika na kuunda kwa haraka mfululizo wa picha zenye mandhari, vitendo na miundo tofauti.
Uundaji wa picha zenye uhalisia: Huboresha mwonekano wa mwanga, nyenzo na maumbo ya ngozi, hupunguza mng'ao wa mafuta, mwangaza uliopitiliza na madoadoa, na kukaribia zaidi ubora wa upigaji picha wa asili.
Uonyeshaji wa maandishi yenye msongamano mkubwa: Maandishi madogo yenye msongamano na maumbo changamano ya herufi huonyeshwa kwa usahihi zaidi; kiwango cha kuharibika sana kwa maandishi kimeshuka hadi 0.4%, na cha uharibifu mdogo hadi 1.7%.

Udumishaji wa pikseli katika uhariri wa mizunguko mingi: Modeli huchukulia picha ya ingizo kwa wakati mmoja kama chombo cha maudhui na muktadha wa maagizo ya uhariri, na hutumia udhibiti wa masharti, kama barakoa za maeneo na ulinganifu wa maagizo, kutofautisha wazi maeneo ya kubadilisha na ya kuhifadhi; wakati wa mafunzo, huunda kwa wingi sampuli za mnyororo ambapo “matokeo ya mzunguko uliopita huwa ingizo la mzunguko unaofuata”, kisha huongeza masharti ya ulinganifu wa kiwango cha pikseli. Hivyo, modeli hujifunza kutobadilisha usambazaji wa pikseli wa maeneo ambayo hayajahaririwa inapozalisha maudhui mapya, na kuzuia kushuka kwa ubora kunakosababishwa na mkusanyiko wa makosa katika mizunguko mingi.
Uundaji asilia wa nyenzo zenye uwazi za RGBA: Seedream 5.5 huweka chaneli ya Alpha kama lengo la utabiri linalolingana na RGB. Katika data ya mafunzo, hujumuisha data ya kutenganisha mandharinyuma yenye alama za uwazi, kama utenganishaji wa mandharinyuma na data ya alama za kiwango cha nywele, ili kuifundisha modeli kujifunza uwazi kama kipimo huru. Pia huboresha mahsusi maelezo ya kingo yenye masafa ya juu, kama manyoya na lazi, hivyo modeli inaweza kutoa picha za chaneli nne zenye mipito laini ya kingo bila kingo nyeupe au mabaki yasiyotakikana. Kimsingi, hatua ya kuondoa mandharinyuma imejengwa ndani ya mchakato wa uundaji.
Uboreshaji wa uhalisia na uonyeshaji wa maandishi: Modeli hupunguza mwonekano wa plastiki, mwangaza uliopitiliza na mng'ao wa mafuta unaotokana na tofauti za usambazaji wa data kwa kutumia mchakato ulioboreshwa wa mafunzo ya uenezaji/uundaji na uwiano wa data iliyo bora zaidi na inayokaribia usambazaji wa picha za upigaji picha. Katika muundo wa hasara, husisitiza zaidi maelezo ya masafa ya juu kama maumbo ya ngozi na tabaka za mwanga na kivuli. Kwa uonyeshaji wa maandishi, usimamizi wa muundo wa herufi huimarishwa wakati wa mafunzo, huku uongezaji wa data ukilenga maumbo changamano ya herufi za Kichina na maandishi madogo yenye msongamano. Hii huwezesha modeli kujifunza mipigo ya herufi na mpangilio wa nafasi kati ya herufi kwa usahihi zaidi, na kupunguza kwa kiasi kikubwa herufi zisizo sahihi, zinazokosekana na miundo iliyochanganyika.

Toleo la wavuti la Jimeng: Katika “Ubunifu - Uundaji/Canvas”, chagua Seedream 5.5 ili kuunda na kuhariri picha.
Doubao: Katika kipengele cha “Uundaji wa picha”, badilisha hadi modeli ya Seedream 5.5 na ueleze kwa maandishi ili kuunda picha.
Doubao Work: Jukwaa la msaidizi mahiri kwa matumizi ya ofisini. Washa Seedream 5.5 kupitia sehemu ya “Ujuzi” ili kutumia moja kwa moja uwezo wake wa kuunda picha katika mtiririko wa kazi.
Volcano Ark: Tembelea kituo cha matumizi cha Volcano Ark https://exp.volcengine.com/, kisha nenda kwenye Miundo ya kuona → Uundaji wa picha na utafute Doubao-Seedream-5.5 ili kuijaribu.

Uthabiti wa uhariri wa mizunguko mingi hadi 100: Maeneo ambayo hayajahaririwa hudumishwa kwa kiwango cha pikseli; hata baada ya marekebisho 100 mfululizo, maelezo hayapotei na ubora haushuki, hivyo mawazo changamano yanaweza kuboreshwa kwa kuendelea.
Utoaji asilia wa nyenzo zenye uwazi za RGBA: Hutoa moja kwa moja picha zenye uwazi na chaneli ya Alpha, zikiwa na kingo zilizoshughulikiwa kwa usahihi, bila hitaji la kuondoa au kusafisha mandharinyuma baadaye; nyenzo zinaweza kuingia moja kwa moja katika mchakato wa usanifu.
Ubora wa picha wenye uhalisia: Mwanga, nyenzo na maumbo ya ngozi huonekana kwa asili zaidi, huku mng'ao wa mafuta na mwangaza uliopitiliza ukipunguzwa; matokeo hukaribia zaidi upigaji picha halisi.
Uonyeshaji wa maandishi kwa usahihi wa juu: Uwezo wa kuonyesha maandishi madogo yenye msongamano na maumbo changamano ya herufi ni mkubwa; kiwango cha kuharibika sana kwa maandishi ni 0.4% tu, kiwango kinachoongoza kati ya modeli kuu.
Uwezo wa matumizi ya uzalishaji umeongezeka maradufu: Katika nyanja sita za biashara ya mtandaoni, uuzaji, filamu na televisheni, michezo, ofisi na usanifu wa mavazi, kiwango cha matumizi katika filamu na televisheni na katika ofisi kimefikia zaidi ya mara mbili ya toleo lililotangulia.

Tovuti rasmi ya mradi: https://seed.bytedance.com/zh/seedream5_5
Karatasi ya kiufundi: https://seed.bytedance.com/zh/blog/more-realistic-images-more-stable-editing-across-100-rounds-introducing-seedream-5-5

Picha za bidhaa za biashara ya mtandaoni: Huunda picha za bidhaa na picha za modeli akiwa amevaa bidhaa zenye uhalisia mkubwa, huku nyenzo na mwanga zikiwa na maelezo mazuri. Maandishi madogo yenye msongamano yanaonekana wazi, yakikidhi mahitaji ya kutengeneza kurasa za maelezo ya bidhaa.
Uuzaji na usanifu wa mabango: Hutoa moja kwa moja nyenzo za uwazi za RGBA na maandishi ya kisanaa; bila kuondoa mandharinyuma, vinaweza kupangwa na kuunganishwa ili kuzalisha haraka nyenzo bora za uuzaji.
Filamu, televisheni na usanifu wa dhana: Husaidia uhariri mfululizo hadi mizunguko 100 kwenye kazi moja na hudumisha kwa uthabiti maelezo ya picha, hivyo inafaa kwa kuboresha mara kwa mara picha za dhana, ubao wa matukio na mipango ya mandhari.
Michezo na usanifu wa wahusika: Nyenzo za wahusika zinaweza kutumiwa katika mandhari mbalimbali, huku sifa za wahusika zikidumishwa na vitendo na miundo kurekebishwa kwa urahisi, na kuwezesha uundaji bora wa mfululizo wa picha za wahusika.
Ofisi na usanifu wa mavazi: Uonyeshaji wa maumbo changamano ya herufi na maandishi madogo ni sahihi, huku uhariri ukiwa thabiti. Inafaa kwa vielelezo vya nyaraka, picha za mawasilisho na marekebisho ya mizunguko mingi ya maelezo ya mavazi na vifaa.