Leo, MiniMax imetoa rasmi kama chanzo huria modeli ya kizazi kipya ya jumla ya video, MiniMax H3.
Kulingana na maelezo, MiniMax H3 ni mfumo wa jumla wa uzalishaji wa aina zote za maudhui. Unaweza kuelewa kwa pamoja muktadha wa aina nyingi unaoundwa na maandishi, picha, video na sauti, na unaweza kuzalisha video zenye mwonekano wa hadi 2K, urefu wa hadi sekunde 15 na sauti asilia ya stereo. Shukrani kwa muundo wa mfumo unaolenga ujanibishaji wa kazi, H3 tayari ina uwezo mpana wa kuelewa na kuzalisha muktadha wa aina nyingi katika hatua ya mafunzo ya awali, hivyo inaweza kufuata kwa ufanisi maagizo changamano ya aina nyingi.
H3 inaunga mkono vipimo vifuatavyo vya ingizo na towe:
Muda wa towe: sekunde 4–15
Uwiano wa towe: inaunga mkono uwiano mbalimbali, ukiwemo 21:9, 16:9, 4:3, 1:1, 3:4 na 9:16
Mwonekano wa towe: inaunga mkono ukubwa mbalimbali wa mwonekano; kwa chaguo-msingi, upande mfupi huwekwa kuwa pikseli 768. Kutumia H3-Regenerate-2K kunawezesha uzalishaji wa mwonekano wa 2K
Marudio ya fremu ya towe: 24 FPS
Sauti ya towe: stereo ya 32 kHz
Lugha za mazungumzo zinazoungwa mkono: inaunga mkono kwa uthabiti lugha 11: Kiarabu, Kichina, Kiingereza, Kifaransa, Kijerumani, Kiitalia, Kijapani, Kikorea, Kireno, Kirusi na Kihispania. Kwa lugha nyingine, pia kuna viwango tofauti vya usaidizi.
Matoleo ya modeli na vipimo vya ingizo:
① H3-Base-FL2VA
Hali ya fremu za mwanzo na mwisho: inaunga mkono kuingiza picha 0, 1 au 2:
Bila kuingiza picha, ni hali ya kubadilisha maandishi kuwa video;
Kwa kuingiza picha ya fremu ya mwanzo, ni hali ya kuzalisha video kutoka fremu ya mwanzo;
Kwa kuingiza picha ya fremu ya mwisho, ni hali ya kuzalisha video kutoka fremu ya mwisho;
Kwa kuingiza picha za fremu ya mwanzo na ya mwisho kwa pamoja, ni hali ya kuzalisha video kutoka fremu zote mbili
② H3-Base-Ref2VA
Hali ya marejeo ya aina zote za maudhui:
Picha: hadi 9;
Video: hadi vipande 3; kila kipande lazima kiwe na urefu wa sekunde 2–15, na jumla isizidi sekunde 15;
Sauti: hadi vipande 3. Sauti lazima iingizwe pamoja na picha au video, na haiwezi kuwa ingizo pekee; kila kipande lazima kiwe na urefu wa sekunde 2–15, na jumla isizidi sekunde 15;
Ingizo mseto: jumla ya faili za ingizo za aina zote isizidi 12
Mfumo kamili wa H3 unaundwa na moduli tatu zifuatazo:
H3-Contex t-IR: Kadiri ingizo linavyozidi kuwa changamano, tumeunda mfumo maalumu wa kuelewa na kuchambua kwa kina maagizo ya aina nyingi katika ingizo, na kuyabadilisha kuwa muundo ambao H3 inaweza kuuelewa kwa urahisi na kutumia moja kwa moja katika uzalishaji, yaani Context Intermediate Representation (uwakilishi wa kati wa muktadha). H3-Context-IR ni muhimu sana kwa ubora wa towe la mwisho. Kwa hiyo, tunapendekeza kwa dhati kuunganisha API ya H3-Context-IR katika mchakato wa uzalishaji. Vinginevyo, unaweza kurejelea mwongozo wa vidokezo ili kujenga mfumo wako wa kushughulikia muktadha.
H3-Base: Huzalisha sauti na video kulingana na towe la H3-Context-IR, na kutoa matokeo yenye mwonekano wa 768p.
H3-Regenerate-2K: Hurudisha matokeo ya uzalishaji ya 768p pamoja na muktadha wa awali kwenye H3, na kuzalisha upya towe lenye mwonekano wa 2K. Hii hutumia uwezo mkubwa wa H3 wa kuzalisha maudhui, huku ikitumia kikamilifu taarifa nyingi zilizomo katika muktadha wa awali, na hivyo kutoa matokeo yenye mwonekano wa juu, maelezo sahihi zaidi na uaminifu mkubwa wa kuona.
MiniMax H3 imetolewa chini ya MiniMax H3 Community License.
Anwani ya chanzo huria: huggingface.co/MiniMaxAI/MiniMax-H3