Composio ilichapisha jana (6 Agosti) ujumbe kwenye jukwaa la X, ikitumia kazi 30 kujaribu mifumo 4 ya mawakala wa programu wa AI ili kuchunguza ni mfumo upi unaoweza kutumia vyema zaidi utendaji wa toleo rasmi la DeepSeek V4 Flash.
IT之家 ilichunguza taarifa za umma na kubaini kuwa Composio ilianzishwa mwaka 2023, ikiwa na makao makuu San Francisco. Ni jukwaa huria la ujumuishaji wa zana za mawakala wa AI, linalolenga kuunganisha miundo mikubwa ya lugha na programu mbalimbali za nje ili kuwasaidia wasanidi kuunda haraka mawakala wa AI wa kiwango cha uzalishaji na matumizi halisi.
Composio ilitumia zana halisi kama Gmail, GitHub, Slack na Notion kujaribu kazi 30 za mawakala wa AI, huku ikitumia kwa pamoja toleo rasmi la modeli ya DeepSeek V4 Flash. Matokeo ya kazi yalikuwa kama ifuatavyo:
Oh My Pi: 17/30
Claude Code: 16/30
Codex: 16/30
OpenCode: 14/30
Matokeo ya jaribio yanaonyesha kuwa Oh My Pi ilikuwa na kiwango cha juu zaidi cha mafanikio (17/30), lakini ilikuwa ya polepole zaidi, huku kila kazi ikichukua sekunde 272. OpenCode ilikuwa na gharama ya chini zaidi, ikihitaji dola 0.073 pekee kwa kila kazi iliyofanikiwa; Claude Code ilikuwa ya haraka zaidi, ikihitaji sekunde 122 pekee, lakini ilikuwa na gharama kubwa zaidi, ikiwa na dola 0.195 kwa kila kazi. Hii ni licha ya kutumia idadi ndogo zaidi ya miito ya zana na kutoa tokeni chache zaidi.
