GLM-5.3-FlashX Inafanya kazi

GLM-5.3-FlashX ni modeli ya utafutaji wa kasi iliyotengenezwa na Zhipu, yenye kasi ya kutoa hadi tokens 200/s, ikiwa na kasi mara 5 zaidi na bei mara 2.5 zaidi ikilinganishwa na GLM-5.3-Flash. API sasa imefunguliwa. Modeli hii inategemea uwezo wa kompyuta wa chipsi 100,000 za ndani. Miundombinu ya utafutaji ilijengwa kiotomatiki ndani ya wiki mbili na Agent inayoendeshwa na GLM-5.3, huku throughput ya mwisho hadi mwisho ikifikia mara 3 ya msingi wa awali. Modeli inalenga akili bora zaidi katika ukubwa wake, thamani ya juu sana kwa gharama, na ushindani kamili katika akili, bei na kasi. Inafaa kwa mwingiliano wa wakati halisi unaohitaji muda mfupi wa kusubiri na matukio ya matumizi ya mara kwa mara ya Agent.

Uzalishaji wa maandishi wa kasi: Kasi ya kutoa hufikia tokens 200/s, mara 5 zaidi ya GLM-5.3-Flash.
API ya kukamilisha mazungumzo: API ya kawaida inapatikana kupitia bigmodel.cn, na Model Key ni GLM-5.3-FlashX.
Uzoefu wa mtandaoni: Kituo cha uzoefu kwenye tovuti rasmi kinatoa njia ya kujaribu kwa kuona bila kuhitaji usakinishaji.
Mwingiliano wa Agent wa wakati halisi: Sifa ya muda mfupi wa kusubiri inafaa kwa programu za mawakala zenye matumizi ya mara kwa mara na utoaji wa mtiririko.
Utafutaji wenye thamani ya juu: Inadumisha akili bora zaidi katika ukubwa wake huku ikitoa kasi mara 5 kwa bei mara 2.5.

Msingi wa uwezo wa utafutaji wa chipsi za ndani: Modeli inaendeshwa kwenye kundi la utafutaji lenye chipsi 100,000 za ndani. Uwekezaji endelevu na uboreshaji wa utafutaji katika upande wa Infra huhakikisha utoaji wa kasi na thabiti chini ya matumizi makubwa ya wakati mmoja.
Ujenzi wa Infra unaoendeshwa na Agent: Mfumo mzima wa utafutaji ulijengwa kiotomatiki na Agent inayoendeshwa na GLM-5.3. Binadamu huweka malengo, mipaka na hukagua marekebisho muhimu, huku Agent ikikamilisha kwa uhuru majaribio, uchanganuzi wa kumbukumbu, uchunguzi wa Trace na uboreshaji wa msimbo. Hii huunda mzunguko wa “maoni mazito” na kufanikisha ongezeko la mara 3 la throughput ya mwisho hadi mwisho ndani ya chini ya wiki mbili.
Urekebishaji wa usahihi kwa uthabiti wa muktadha mrefu: Kwa njia ya CP ya KDA, tatizo la mkusanyiko wa hitilafu lililosababishwa na ingizo la FP32 kutumia TF32 kwa chaguo-msingi lilirekebishwa. Kuweka wazi input_precision="tf32x3" huboresha usahihi wa muktadha mrefu, na marekebisho hayo yamerudishwa kwenye chanzo cha Flash Linear Attention.
Uboreshaji wa matumizi ya wakati mmoja wa KV Transfer: Ilibainika kuwa mwito wa C++ wa DeepEP v1.2.1 haukuachilia GIL, na hivyo kuzuia uzi wa Mooncake Transfer upande wa Python. Baada ya kurekebisha, tofauti ya utendaji kati ya Prefill pamoja na uhamishaji na Prefill pekee ilipungua kutoka zaidi ya 20% hadi chini ya 1%.
Kuondoa marudio katika opereta ya KDA Decode: Urekebishaji wa FP32 na ukokotoaji wa udhibiti uliorudiwa mara nne uliosababishwa na kugawa kwenye vipande kando ya mwelekeo wa V uliunganishwa katika block moja ya nyuzi. Matokeo ya kati hukokotolewa mapema kwa makundi na kushirikiwa, na utendaji wa opereta ukafikia mara 1.71 ya ule wa kabla ya uboreshaji.

Sajili akaunti: Tembelea https://docs.bigmodel.cn/api-reference/ kwa mwito wa API, kisha sajili na uingie kwenye akaunti.
Pata API Key: Unda na unakili ufunguo wako wa API kwenye dashibodi.
Thibitisha jina la modeli: Tumia Model Key GLM-5.3-FlashX wakati wa mwito.
Mwito wa API: Rejelea nyaraka rasmi (kiolesura cha kukamilisha mazungumzo), weka sehemu ya model ya ombi kuwa GLM-5.3-FlashX na utume ombi.
Uzoefu wa mtandaoni (si lazima): Tembelea kituo cha uzoefu https://www.bigmodel.cn/trialcenter/modeltrial/visual?modelCode=glm-5.3-flashx na ujaribu moja kwa moja bila usakinishaji.
Unganisha kwenye programu: Unganisha API kwenye programu au mtiririko wa Agent wako, na utumie kasi yake ya kutoa tokens 200/s kwa kushughulikia mwingiliano wa wakati halisi.

Kasi ya juu kabisa: Kasi ya kutoa hufikia tokens 200/s, mara 5 zaidi ya GLM-5.3-Flash.
Akili bila maafikiano: Inadumisha kwa muda mrefu kiwango bora zaidi cha akili katika ukubwa wake, bila kutoa kafara uwezo wa modeli kwa ajili ya kasi.
Thamani ya juu kwa gharama: Kwa bei mara 2.5, hupata kasi mara 5, huku gharama ya kila kitengo cha akili ikiwa chini zaidi.
Msingi wa uwezo wa kompyuta wa ndani: Inategemea kundi la utafutaji lenye chipsi 100,000 za ndani, huku mnyororo wa usambazaji ukidhibitiwa kwa kujitegemea.
Infra iliyojengwa na Agent: Mfumo wa utafutaji ulijengwa kiotomatiki ndani ya chini ya wiki mbili na Agent inayoendeshwa na GLM-5.3. Throughput ya mwisho hadi mwisho ilifikia mara 3 ya msingi, na ufanisi wa marudio ukazidi kwa mbali uboreshaji wa kawaida wa kibinadamu.
Uboreshaji wa kina wa kihandisi: Kwa kurekebisha hitilafu za usahihi wa TF32, kuzuiwa kwa GIL na ukokotoaji unaorudiwa, utendaji wa kiwango cha opereta uliimarishwa kwa kiasi kikubwa. Opereta ya KDA Decode iliboreshwa mara 1.71.

Matumizi ya mara kwa mara katika AI Agent: Katika mtiririko wa Agent, modeli huitwa tena na tena kwa ajili ya kupanga, kuchagua zana na kuunganisha matokeo. Muda mfupi wa kusubiri hupunguza moja kwa moja muda wa jumla wa kazi.
Msaidizi wa msimbo na ukamilishaji wa IDE: Matukio ya programu yanahitaji utoaji wa mtiririko uonekane papo hapo, na uzalishaji wa kasi huboresha kwa kiasi kikubwa uzoefu wa msanidi programu.
Uzalishaji wa maudhui ya wakati halisi kwa matangazo ya moja kwa moja na masoko: Maandishi ya matangazo ya biashara ya mtandaoni, mwingiliano wa maoni ya moja kwa moja na ufuatiliaji wa habari zinazovuma huhitaji maudhui yatoke huku mazungumzo yakiendelea.
Mwingiliano wa sauti na uandamani wa AI: Programu za wasaidizi wa sauti na uandamani wa kihisia ni nyeti sana kwa muda wa kusubiri kabla ya herufi ya kwanza na kasi ya mtiririko, hivyo kuwa matukio ambayo faida ya kasi inaweza kubadilishwa kuwa thamani kwa urahisi zaidi.