APUS-OpenJev-v1 Inafanya kazi

APUS-OpenJev-v1 ni mfululizo wa miundo mikubwa ya kufanya maamuzi ya System 1 kwenye vifaa, iliyotolewa kwa uwazi na APUS AI Lab. Inafanana na Jev ya TypeSafe AI isiyokuwa ya wazi, na inapatikana kwa uzani wa 4B, 9B na 35B-A3B. Inaweza kuchagua kwa haraka hatua inayofuata katika kazi kama uendeshaji wa kivinjari, ujazaji wa fomu na uelekezaji wa michakato. Muundo huu ulianzisha kwa mara ya kwanza kina cha ukokotoaji kinachobadilika cha effort="low/high": low huendesha tabaka 16 pekee na kuunganisha makadirio yanayotambua wagombea, hivyo ni wa kasi na gharama nafuu; high hutumia kina kamili kwa usahihi wa juu zaidi.

Uamuzi wa hatua za wagombea: Hutoa hatua inayofuata ya kibiashara kulingana na kazi, muktadha wa ukurasa na maelezo ya shughuli zinazowezekana.
Uendeshaji wa kivinjari: Hutambua maelezo ya DOM kama vitufe, sehemu za kuingiza na vipengele vya uelekezaji, na kusaidia Agent kukamilisha shughuli za wavuti.
Uelekezaji wa kanuni za biashara: Unafaa kwa hali za maamuzi ya kibiashara kama ugawaji wa tiketi za huduma kwa wateja, idhini za michakato na uwasilishaji wa fomu.
Udhibiti wa ukokotoaji unaobadilika: Hutumia effort="low/high" kubadilisha kati ya upitishaji wa juu na ubora wa juu.
Uzalishaji wa maandishi ya fomu: Mbali na maamuzi ya aina ya kuchagua, unaweza pia kuzalisha maudhui ya wazi kama maneno ya utafutaji na maandishi ya kuingiza.
Usambazaji wa ndani wa kiwango cha milisekunde: Unaunga mkono GPU ya kadi moja na usambazaji wa huduma kupitia vLLM, hivyo kupunguza ucheleweshaji na gharama za matumizi ya API za wingu.
Chaguo la ukubwa wa miundo mingi: Unatoa matoleo ya 4B, 9B na 35B-A3B, yanayolenga vifaa vyepesi, matumizi ya jumla ya uzalishaji na mahitaji ya utendaji wa juu mtawalia.

Fuata akaunti ya WeChat na ujibu “开源” ili ujiunge na kikundi cha majadiliano cha miradi huria ya AI
Kiolesura cha maamuzi cha asili ya lugha: Muundo hupokea lengo la kazi, muktadha na maelezo ya shughuli zinazowezekana kama ingizo la lugha asilia, na kuhusisha Token fupi kama A, B na C na hatua za wagombea. Wakati wa uelekezaji, muundo huhitaji tu kukokotoa uwezekano wa Token hizi halali za wagombea, kisha programu mwenyeji huzibadilisha kuwa hatua mahususi za kibiashara.
Kina cha ukokotoaji kinachobadilika cha effort="low/high": Seti hiyo hiyo ya uzani wa muundo ina njia mbili za maamuzi: effort="low" huendesha tabaka 16 za kwanza za Transformer pekee, pamoja na makadirio ya matokeo yanayotambua wagombea, ili kukamilisha kwa nguvu ndogo za ukokotoaji vitendo vya kawaida vya mara kwa mara; effort="high" huendesha uelekezaji kamili wa tabaka 32, unaofaa kwa shughuli hatarishi kama malipo na uthibitishaji wa ruhusa. Hii huwezesha mfumo wa Agent kugawa rasilimali za ukokotoaji kwa kubadilika kulingana na umuhimu na kiwango cha uhakika wa hatua.
Ufunzaji wa baada ya mafunzo katika kina tofauti na kujifunza kutoka kwa matokeo yake: Ili njia ya tabaka chache ibaki na uwezo wa kuaminika wa kufanya maamuzi baada ya kupunguza nusu ya ukokotoaji, muundo hufundishwa kwa lebo halisi kwa wakati mmoja kwenye njia za tabaka chache na tabaka nyingi, huku usambazaji wa uwezekano wa matokeo ya njia ya tabaka nyingi ukitumika kama “lebo laini” na kufundishwa kwa njia ya tabaka chache kwa kutumia upotoshaji wa KL. Ili kuzuia uwezo mdogo wa njia ya tabaka chache kuathiri muundo wa tabaka nyingi, mafunzo pia huzuia gradient kwenye matokeo ya njia ya tabaka nyingi, ikiwezesha kujiboresha huku ikitumika kama mwalimu wa njia ya tabaka chache.
Makadirio ya matokeo yanayotambua wagombea: Kila mara muundo mkubwa wa kawaida unapozalisha Token moja, lazima upitie msamiati wa takriban 248,000; ilhali maamuzi yaliyopangwa huwa na hatua chache tu za wagombea. Kwa kuchukua moja kwa moja safu za uzani wa matokeo zinazolingana na Token za wagombea, ukokotoaji wa matriksi hupunguzwa kutoka msamiati mzima hadi wagombea K. Huku mantiki ya uwezekano wa wagombea ikiwa sawa, mzigo wa ukokotoaji wa kichwa cha matokeo na gharama ya ufikiaji wa kumbukumbu ya video hupunguzwa kwa kiasi kikubwa.

Andaa mazingira: Sakinisha PyTorch yenye usaidizi wa CUDA, Transformers na huggingface_hub, na uhakikishe kuwa kompyuta au seva ya ndani ina kumbukumbu ya kutosha ya GPU.
Pakua muundo: Tekeleza hf download apus-ailab/APUS-OpenJev-v1 --include "9B-3000/*" --local-dir ./APUS-OpenJev-v1 ili kupakua saraka ya muundo inayohitajika.
Ingia kwenye saraka ya muundo: Nenda kwenye saraka ndogo ya muundo uliopakuliwa ili kutumia moja kwa moja kipengele cha uelekezaji cha openjet_runtime kilichojumuishwa.
Pakia muundo: Tumia OpenJet.from_pretrained(".", device="cuda:0") kupakia muundo kwenye GPU iliyobainishwa.
Unda ombi la uamuzi: Tumia sehemu tatu za instructions, state na candidates kuingiza lengo la kazi, muktadha wa sasa na shughuli zinazowezekana.
Tekeleza uamuzi wa haraka: Ita model.decide(request_data, effort="low") ili kupata hatua za kawaida za mara kwa mara kwa gharama ndogo ya ukokotoaji.
Tekeleza uamuzi wa kina: Ita model.decide(request_data, effort="high") ili kupata matokeo kamili ya uelekezaji yanayofaa kwa hatua muhimu kama malipo na uwasilishaji.
Zalisha maandishi ya mtiririko wa kazi: Katika hali zinazohitaji kujaza maneno ya utafutaji au maudhui ya fomu, ita model.generate_text() ili kuzalisha maandishi mahususi.
Usambaze huduma ya uzalishaji: Tekeleza python deployment/serve_vllm.py --port 8000 ili kuanzisha kiolesura kinachooana na OpenAI kupitia vLLM.

Usahihi wa juu wa maamuzi: Katika kipimo rasmi kilichogandishwa cha maswali 80, toleo la 9B lilifikia 85%, juu ya 82.5% ya API ya kibiashara ya Jev.
Kasi ya majibu ni ya juu sana: Katika njia maalum ya usambazaji wa ndani kupitia vLLM, ucheleweshaji wa P50 wa 9B ni mdogo hadi 25.58ms, huku 4B ikiwa 18ms pekee.
Rasilimali za ukokotoaji zinaweza kurekebishwa: Iliibua kwa mara ya kwanza hali ya effort="low/high", inayowezesha kubadilisha kwa uhuru kati ya kasi na usahihi kulingana na hatari ya hatua.
Gharama ndogo kwa shughuli za mara kwa mara: effort="low" huendesha tabaka 16 pekee na hutumia makadirio ya matokeo yanayotambua wagombea, hivyo inafaa kwa maamuzi ya mara kwa mara kama kusogeza na kubofya inayofuata.
Hatua muhimu zinaaminika zaidi: effort="high" huendesha kina kamili cha mtandao, na inafaa kwa hali hatarishi kama uthibitishaji wa malipo na idhini za ruhusa.
Huzuia makosa ya muundo wa matokeo: Hutumia kiolesura cha maamuzi cha asili ya lugha na kuzuia matokeo kwenye seti iliyobainishwa awali ya wagombea, hivyo kuondoa mawazo ya kubuni ya muundo wa JSON.
Uwezo mkubwa wa kuhamisha biashara: Muundo huo huo unaweza kubadilishwa kwa kazi tofauti kama shughuli za kivinjari, ugawaji wa huduma kwa wateja na ukaguzi wa kanuni kwa kutumia maelezo ya lugha asilia.

Hifadhidata ya modeli ya HuggingFace: https://huggingface.co/apus-ailab/APUS-OpenJev-v1

Uendeshaji wa kivinjari: Kulingana na maelezo ya DOM ya ukurasa wa wavuti, vitufe na sehemu za kuingiza, huamua kwa haraka hatua inayofuata kama kubofya, kusogeza au kuelekeza.
Uelekezaji wa michakato ya biashara: Katika idhini, uchakataji wa tiketi au mtiririko wa fomu, huchagua kiotomatiki njia ya kushughulikia kama kuwasilisha, kurudisha au kuhamisha kulingana na kanuni za biashara.
Ugawaji wa tiketi za huduma kwa wateja: Kwa kuunganisha swali la mtumiaji, maelezo ya historia na idara zinazowezekana za kushughulikia, huamua kwa wakati halisi timu au hatua inayofaa zaidi ya huduma kwa wateja.
Ukaguzi wa fedha na uzingatiaji: Hutumia uamuzi wa kina wa effort="high" kwa shughuli hatarishi ili kutambua miamala isiyo ya kawaida, hatari za ruhusa au mtiririko wa data unaokiuka kanuni.
Msaidizi mahiri wa kwenye kifaa: Husambaza muundo mwepesi kwenye kifaa cha ndani au seva binafsi, na kutoa uwezo wa kufanya maamuzi wenye ucheleweshaji mdogo na unaolinda faragha kwa kazi za Agent za mara kwa mara.