MiniCPM-V 4.7 Inafanya kazi

MiniCPM-V 4.7 ni modeli kubwa ya wazi ya multimodali ya upande wa kifaa, iliyotolewa kwa pamoja na Mianbi Intelligent na OpenBMB, ikiwa na matoleo mawili: 35B-A3B (MoE) na 1B. Toleo la juu ni modeli ya kwanza duniani ya wazi ya multimodali ya MoE inayoweza kufanya kazi kwa ulaini bila kupoteza ubora kwenye simu. Kwa kutumia teknolojia ya upangaji wa wataalamu wa kutazama mbele, inahitaji takribani 3GB ya kumbukumbu na inaweza kufikia zaidi ya 13 tokens/s kwenye iPhone; inaongoza modeli za kiwango sawa katika vigezo 34 vya tathmini. Toleo la 1B linalenga vifaa vya kiwango cha kuanzia.

Uelewa wa jumla wa kuona: kutambua vitu kwenye picha, kulinganisha picha nyingi na kujibu maswali ya kuona; alama 91.72 kwenye MMBench, ikiongoza modeli za kiwango sawa.
Uchanganuzi wa hati na OCR: kutambua maandishi, majedwali na chati kwenye picha/PDF; alama 91.2 kwenye OCRBench.
Uamuzi wa hisabati na STEM: kujibu maswali ya hisabati na sayansi; MMMU 80.22 na MathVista 88.
Uelewa wa video ndefu: kuelewa maudhui ya video za muda mrefu na kujibu maswali yanayohusiana; alama 68.9 kwenye LongVideoBench.
Uendeshaji laini kwenye kifaa: modeli ya 35B hutumia takribani 3GB tu ya kumbukumbu kwenye iPhone na huzalisha kwa wakati halisi kwa zaidi ya 13 tokens/s.
Urekebishaji maalum wa gharama nafuu: urekebishaji wa kujifunza tena ulio wazi, unaowezesha kujifunza kazi mpya bila kusahau uwezo wa zamani.

Fuata WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi ya AI ya wazi
Upangaji wa wataalamu wa kutazama mbele (LES): Uzito wa 65.6 GiB wa modeli ya MoE hauwezi kuwekwa wote kwenye kumbukumbu; wataalamu wengi huhifadhiwa kwenye SSD na kusomwa wanapohitajika. Hata hivyo, uelekezaji wa kila tabaka hutegemea matokeo ya tabaka lililotangulia, hivyo kila tabaka hulazimika kusubiri usomaji wa diski. LES hutumia ufanano mkubwa wa ingizo kati ya tabaka zilizo karibu kutabiri mapema wataalamu wanaohitajika na tabaka linalofuata, kisha huwabadilisha mapema nyuma ya pazia. Wakati huo huo, wataalamu waliopakiwa na kuchaguliwa na uelekezaji halisi hupewa kipaumbele katika ukokotoaji, hivyo usomaji na ukokotoaji hufanyika kwa wakati mmoja. Majaribio yanaonyesha kasi kuongezeka mara 5 bila kupoteza ubora wa matokeo.
Uboreshaji wa uhifadhi na usomaji wa uzito: Uwekaji wa viwango mchanganyiko kwa kila tabaka hupunguza ukubwa wa uhifadhi na kiasi cha uhamishaji wa uzito. Pia, mpangilio wa uzito wa wataalamu kwenye faili umeundwa upya: vigezo vilivyotawanyika katika sehemu tatu sasa huhifadhiwa mfululizo kulingana na nambari, hivyo usomaji mmoja wa mfululizo kutoka SSD unaweza kupata mtaalamu kamili na kupunguza kwa kiasi kikubwa gharama ya upakiaji.
Ukandamizaji wa tokeni za kuona: Kwa msingi wa LLaVA-UHD v4, tokeni hubanwa mapema ndani ya kisimbaji cha kuona, hivyo kupunguza ukokotoaji unaofuata kutoka chanzo. Inasaidia viwango viwili vya ukandamizaji, mara 4 na mara 16; katika hali ya mara 16, viashiria muhimu karibu havipotezi ubora, na hivyo kusawazisha maelezo ya picha na mwingiliano wa wakati halisi.
Usimbaji wa kubahatisha wa DSpark: Moduli nyepesi ya rasimu huzalisha tokeni kadhaa zinazowezekana kwa wakati mmoja; modeli kuu huzihakiki kwa sambamba na kuzalisha kundi la matokeo. Tokeni nyingi hugawana gharama za kudumu za kusoma na kupanga wataalamu wa MoE. Majaribio yanaonyesha wastani wa ongezeko la kasi ya uzalishaji la mara 1.17 bila kuathiri ubora.

Pata modeli: Pakua uzito wa modeli na msimbo kutoka GitHub na Hugging Face.
Jaribio la haraka la ndani: Tembelea Web Demo rasmi (MiniCPM-V-4.7-Demo) kwenye Hugging Face Spaces ili kuijaribu mtandaoni bila usakinishaji.
Sakinisha programu: Nenda kwenye hazina ya MiniCPM-V-Apps kwenye GitHub na pakua mteja wa iOS/Android, kisha usakinishe moja kwa moja kwenye simu au kompyuta kibao.
Chagua mfumo wa uelekezaji wa kupeleka: Kulingana na jukwaa la maunzi, chagua mojawapo ya llama.cpp, Ollama, MLX au vLLM/SGLang kupakia modeli na kukamilisha uanzishaji wa huduma ya uelekezaji wa ndani.
Washa uharakishaji wa LES (hiari): Unapoendesha 35B-A3B upande wa kifaa, fuata nyaraka za mradi wa wazi kuwasha upangaji wa wataalamu wa kutazama mbele ili kufanikisha uendeshaji laini kwa kumbukumbu ya 3GB.
Chagua hali ya ukandamizaji wa kuona: Kulingana na mahitaji, badilisha kati ya ukandamizaji wa mara 4 na mara 16.

Hazina ya GitHub: https://github.com/OpenBMB/MiniCPM-V
Maktaba ya modeli ya HuggingFace: https://huggingface.co/collections/openbmb/minicpm-v-47

Ubunifu wa kwanza duniani wa MoE upande wa kifaa: modeli kubwa ya kwanza duniani ya wazi ya multimodali ya MoE inayoweza kuendeshwa kwa ulaini upande wa kifaa bila kupoteza ubora.
Ufanisi wa juu wa kumbukumbu: modeli ya 35B yenye uzito wa 65.6 GiB huhitaji takribani 3GB tu ya kumbukumbu, sawa na 1/4 ya kumbukumbu ya kifaa cha 16GB.
Kasi bora ya uelekezaji: iPhone 17 Pro Max imepimwa kufikia zaidi ya 13 tokens/s, huku iPad Pro M4 ikifikia zaidi ya 17 tokens/s; teknolojia ya LES huongeza kasi mara 5.
Utendaji unaoongoza kikamilifu katika kiwango sawa: inaongoza Qwen3.6-35B-A3B katika vigezo 34 vya mamlaka, na hata kuzidi Qwen 27B na Gemma-4 31B zenye ukubwa mkubwa zaidi.
Usawaziko bora wa utendaji na ufanisi: hupata alama ya juu zaidi kwa muda mfupi wa uelekezaji, na kusogeza mbele kiwango cha utendaji na ufanisi cha multimodali upande wa kifaa.
Matoleo mawili kwa matumizi mapana: 35B ya kiwango cha juu huweka kikomo cha uwezo juu, huku 1B yenye nguvu ikiwezesha vifaa vya kiwango cha kuanzia pia kuendesha multimodali ya ubora wa juu.

Ofisi ya simu na uchakataji wa hati: Piga picha moja kwa moja au leta PDF kwenye simu/kompyuta kibao ili kukamilisha kwa wakati halisi utambuzi wa maandishi, uchimbaji wa majedwali, uelewa wa chati na maswali ya hati. Hakuna haja ya kupakia kwenye wingu, hivyo faragha inalindwa huku ufanisi wa kazi za simu ukiboreshwa.
Msaada wa elimu bila mtandao: Wanafunzi wanaweza kutumia vifaa visivyo na mtandao kupiga picha za maswali, kufanya uamuzi wa hisabati na kuuliza maswali ya sayansi. Uendeshaji wa modeli ya 35B upande wa kifaa huwezesha mwalimu wa AI wa ubora wa juu kuwafikia pia watu katika maeneo yenye mtandao hafifu.
Maono ya magari na roboti: Kwa kutumia ulinganifu wa chip wa Day-0, modeli inaweza kupelekwa kwenye mifumo ya magari na vituo vya roboti ili kutambua mazingira, kuelewa vizuizi na kuwezesha mwingiliano wa kuona kati ya binadamu na mashine kwa wakati halisi.
Uelewa na ukaguzi wa maudhui ya video: Uwezo wa kuelewa video ndefu unaauni muhtasari wa maudhui, maswali kuhusu fremu muhimu na ukaguzi wa uzingatiaji kwa video ndefu zilizorekodiwa upande wa kifaa. Unafaa kwa ukaguzi wa usalama, uundaji wa maudhui na matukio mengine.