MiniCPM5-2B Inafanya kazi

MiniCPM5-2B ni modeli ya msingi ya lugha kwa vifaa vya pembeni, iliyotolewa kwa pamoja kama chanzo huria na Mianbi Intelligent, jumuiya ya OpenBMB na Chuo Kikuu cha Tsinghua. Ikiwa na takriban vigezo bilioni 2.5, modeli hii inasaidia muktadha wa 128K na inapata wastani wa 53.9 katika vigezo 34, ikizidi modeli nyingi za kiwango cha 4B na kufikia kiwango bora zaidi cha SOTA kwa modeli huria za 2B. Inaweka uwezo wa Agent kama vile kutumia zana, utafutaji wa kina na utengenezaji wa msimbo kwenye vifaa vya pembeni, na inaweza kuendeshwa kwenye vifaa vyenye kumbukumbu ya 6GB; pia hutoa kwa chanzo huria data ya mafunzo, mfumo wa RL wa Meshy na algoriti ya JustRL II, hivyo ni “nguvu ndogo lakini kubwa” kwa vifaa vya pembeni.

Majadiliano na majibu kwenye kifaa: Endesha modeli ya lugha moja kwa moja kwenye kifaa cha ndani ili kutekeleza kazi kama maswali ya kila siku, uandishi na muhtasari, bila kuhitaji kupakia data kwenye wingu.
Uelewaji wa maandishi marefu: Inasaidia muktadha wa 128K, na inaweza kuchakata kumbukumbu za mikutano, mikataba na nyaraka ndefu ndani ya kifaa huku ikitoa taarifa muhimu kwa usahihi.
Utengenezaji na urekebishaji wa msimbo: Kuanzia ukamilishaji wa msimbo hadi urekebishaji wa kiwango cha hifadhi halisi (SWE-bench Verified 46.4), inaweza kutumika kama msaidizi wa ndani wa uandishi wa msimbo.
Matumizi ya zana: Inasaidia kuita funkcioni kwa asili, na inaweza kuita zana za nje inapohitajika kwa ajili ya utafutaji, hesabu, mwingiliano na hifadhidata na shughuli nyingine.
Utafutaji wa kina: Ina uwezo wa Agent wa utafutaji, na inaweza kupanga kwa kujitegemea hatua nyingi za utafutaji na kuunganisha majibu.
Ufikiri mseto: Kwa kutumia swichi ya enable_thinking, hubadilisha kati ya hali ya majibu ya haraka na fikra za kina, ikizingatia ufanisi na utatuzi wa changamoto.
Kazi za kundi za ndani: Kazi nyeti za faragha kama uchujaji wa wasifu, usahihishaji wa mitihani na uchanganuzi wa mikataba zinaweza kuchakatwa kwa sambamba na gharama ndogo kwenye kifaa.

Fuata WeChat na ujibu “开源” ili kujiunga na kundi la mawasiliano la miradi huria ya AI
Usanifu wa kawaida wa Dense Transformer: Modeli hii hutumia muundo wa kawaida wa LlamaForCausalLM wenye tabaka 42, na hutumia GQA kupunguza gharama ya KV Cache. Inasaidia kwa asili muktadha wa tokeni 131,072. Kwa kuwa usanifu wake ni wa kawaida kabisa, mifumo maarufu kama vLLM, llama.cpp na Ollama inaweza kuipakia moja kwa moja bila kernel maalum.
Uendelezaji wa uwezo wa Agent katika mlolongo mzima: Uwezo wa Agent huandaliwa tangu hatua ya mafunzo ya awali. Kwanza, Agent Midtraining ya ukubwa wa 200B huingiza maarifa ya awali ya kugawa kazi na kutumia zana; kisha vielelezo 500,000 vya SFT vinavyofunika matumizi ya zana, utafutaji wa wavuti na Agent wa msimbo hufundisha modeli kutekeleza kazi kwa kufuata taratibu; hatimaye, Agent RL huhakikisha uthabiti wa mkakati katika mwingiliano wa zamu nyingi, na kuunda mnyororo kamili wa uwezo “unaoweza kuendeshwa na unaofaa kutumia”.
Mfumo wa kujifunza kwa kuimarisha wa Meshy: Meshy huondoa kidhibiti cha kati na utegemezi wa Ray katika mafunzo ya jadi ya RL, na kuiga mafunzo, uelekezaji na ukokotoaji wa zawadi kama huduma za nodi zilizo sawa. Hutumia hali ya utayari wa data katika TransferQueue kuendesha mtiririko halisi wa udhibiti, na inaweza kubadilika kwa urahisi kati ya hali ya kusawazisha, isiyosawazishwa na isiyosawazishwa kabisa, hivyo kufanya mafunzo makubwa ya RL yawe rahisi kupanua na mepesi zaidi kusambaza.
Algoriti ya kujifunza kwa zawadi ya JustRL II: Ikilenga matatizo mawili makuu ya RL ya mnyororo mrefu wa fikra kwenye modeli za vifaa vya pembeni, ambayo ni “ishara ya zawadi kuipotosha modeli” na “mgawanyo mbaya wa sifa katika GRPO”, JustRL II hutumia mkondo wa hatua tatu kusawazisha sampuli za mafunzo upande wa data, na huingiza Critic kwenye GRPO upande wa algoriti ili kuwezesha ugawaji wa sifa kwa kiwango cha tokeni na kutofautisha kwa usahihi mchango wa kila hatua katika mnyororo mrefu wa hoja.
Usafishaji wa data kwa kuita funkcioni wa UltraX: UltraX huacha mbinu ya kawaida ya modeli kubwa kuandika upya maandishi ya wavuti kutoka mwanzo hadi mwisho, na badala yake hufundisha modeli nyepesi ya 0.6B kutabiri shughuli za uhariri zilizopangwa, ambazo kisha hutekelezwa mstari kwa mstari na kitekelezaji chenye uamuzi maalum. Hii huepuka mabadiliko ya maana na uharibifu wa muundo unaoweza kusababishwa na uandishi upya, huku shughuli za uhariri zikiweza kuhifadhiwa na kukaguliwa kwa ufuatiliaji kamili. Kwa majaribio, utendaji wa mafunzo ya korpasi iliyosafishwa ya tokeni 16B ulizidi utendaji wa mafunzo kamili wa korpasi asilia ya tokeni 20B.
Mfumo wa utawala wa data wa viwango vya UltraData: Data ya msimbo inasimamiwa kwa viwango vinavyoendelea vya L0–L3. Data ya RL hupitia mkondo wa hatua tatu wa kuondoa sampuli zisizoweza kuthibitishwa, zenye zawadi zisizoaminika au zisizolingana na kiwango cha ugumu. Hii hulipiza upungufu wa uwezo wa modeli ndogo kwa ishara za data zenye ubora wa juu, na ndiyo msingi muhimu wa kihandisi unaowezesha modeli hii kuzidi modeli za 4B ikiwa na vigezo vichache.

Thibitisha mahitaji ya maunzi: Uzito wa asili wa BF16 una takriban 4.7GiB, au unaweza kutumia toleo la GGUF lililopunguzwa lenye takriban 1.2GB kwenye simu au kompyuta ya kawaida yenye kumbukumbu ya 6GB.
Pata uzito wa modeli: Pakua toleo linalohitajika kutoka HuggingFace au jumuiya ya ModelScope, na uchague muundo wa BF16 / GGUF / MLX / GPTQ / SFT kulingana na mahitaji.
Sakinisha mfumo wa uelekezaji: Kwa wingu au matukio yenye maombi mengi tumia vLLM (≥0.21.0 inasaidia kwa asili, na TP=1 kwenye GPU moja inatosha); kwa usambazaji mwepesi wa ndani tumia llama.cpp, Ollama au SGLang; katika mazingira ya CPU unaweza kutumia mfumo wa Arclight uliotengenezwa na Mianbi.
Pakia na endesha modeli: Ipakie moja kwa moja kwa usanifu wa kawaida wa Llama bila kernel yoyote maalum.
Badilisha hali ya fikra: Tumia swichi ya enable_thinking katika kiolezo cha mazungumzo kudhibiti majibu ya haraka au hoja za kina, na uchague hali kulingana na ugumu wa kazi.
Unganisha matumizi ya zana/Agent: Tumia uwezo wa asili wa modeli wa kuita funkcioni na utafutaji wa kina, pamoja na Cookbook ya usambazaji na Agent Skills husika, ili kuunda mtiririko wa kazi wa Agent wa ndani.

SOTA huria ya kiwango cha 2B: Wastani wa 53.9 katika vigezo 34, ikizidi modeli zote za kiwango cha 4B zilizojaribiwa, na kufanikisha mengi kwa vichache.
Mfano wa awali wa Agent wa jumla wa vifaa vya pembeni: Inaunganisha kwa asili uwezo muhimu wa Agent kama matumizi ya zana, utafutaji wa kina na utengenezaji wa msimbo. Inashika nafasi ya kwanza kwenye orodha ya Agent kwa pointi 20, ikizidi modeli kubwa kama Granite 4.2 8B na Qwen3.5 9B.
Urahisi wa hali ya juu wa usambazaji: Usanifu wa kawaida wa Llama pamoja na kutolewa kwa miundo yote huruhusu vLLM, Ollama na llama.cpp kuipakia moja kwa moja bila marekebisho. Toleo la INT4 lina 1.2GB pekee na linaweza kuendeshwa kwenye kifaa chenye kumbukumbu ya 6GB.
Muktadha mrefu wa asili wa 128K: Muktadha wa tokeni 130,000 hutoa msingi wa kuchakata ndani ya kifaa nyaraka ndefu kama kumbukumbu za mikutano na mikataba.
Chanzo huria katika mlolongo mzima: Mbali na uzito wa modeli, data ya mafunzo (mfululizo wa UltraData), mfumo wa RL (Meshy), algoriti ya RL (JustRL II) na Recipe ya mafunzo pia vimefunguliwa, hivyo uundaji upya kamili na ubunifu wa pili unawezekana.
Uelekezaji wenye ufanisi: Kazi moja hutumia wastani wa takriban tokeni 21K za output, chini ya modeli za kiwango sawa, hivyo huendeshwa kwa kasi zaidi na kutumia nishati kidogo kwenye vifaa vya pembeni.
Ikolojia pana ya chipsi: Inatumika tangu Day0 kwenye chipsi 9 za AMD, Intel, MediaTek, Qualcomm, Ascend, Hygon, Kunlunxin na Moore Threads.

Hifadhi ya GitHub：https://github.com/OpenBMB/MiniCPM
Hifadhi ya modeli ya HuggingFace：https://huggingface.co/collections/openbmb/minicpm5

Uchakataji wa nyaraka nyeti za faragha: Maswali na muhtasari wa kumbukumbu za mikutano, mikataba na barua pepe za ndani hukamilishwa ndani ya kifaa, bila data kuondoka kwenye kifaa wakati wote.
Uajiri na rasilimali watu: Chuja kwa kundi wasifu ndani ya kifaa, toa taarifa za wagombea na uzilinganishe kwa muundo, bila kupakia wasifu kwenye wingu.
Msaidizi wa uandishi wa msimbo kwenye kifaa: Kamilisha msimbo, toa mapendekezo ya utatuzi na hata rekebisha kasoro za kiwango cha hifadhi ukiwa nje ya mtandao, huku ukilinda usalama wa mali za msimbo.
Utafutaji wa kina wa ndani: Panga kiotomatiki hatua nyingi za utafutaji wa wavuti na kuunganisha majibu, unaofaa kwa utafiti, kulinganisha bei na ukusanyaji wa taarifa.
Elimu na usahihishaji: Usahihishaji wa mitihani, maoni kuhusu kazi za nyumbani na uchanganuzi wa makosa hufanywa kwa makundi na kwa sambamba ndani ya kifaa, na kupunguza gharama za shule na taasisi za mafunzo.