Composio kecha (6 avgust) X platformasida DeepSeek V4 Flash rasmiy versiyasi unumdorligini qaysi freymvork yaxshiroq namoyon etishini aniqlash uchun 30 ta topshiriq yordamida 4 ta AI dasturlash agenti freymvorkini sinovdan o‘tkazgani haqida post e’lon qildi.
IT之家 ochiq manbalarni o‘rganib, Composio 2023-yilda tashkil etilgani va bosh qarorgohi San-Fransiskoda joylashganini aniqladi. Kompaniya ochiq kodli AI agentlari uchun vositalarni integratsiyalash platformasi bo‘lib, uning asosiy vazifasi katta til modellari va turli tashqi ilovalar o‘rtasidagi aloqani yo‘lga qo‘yish hamda dasturchilarga ishlab chiqarish darajasidagi amaliy AI agentlarini tez yaratishda yordam berishdan iborat.
Composio Gmail, GitHub, Slack va Notion kabi haqiqiy vositalardan foydalanib, 30 ta AI agenti topshirig‘ini sinovdan o‘tkazdi. Barcha sinovlarda DeepSeek V4 Flash rasmiy versiyasi modeli ishlatildi. Natijalar quyidagicha:
Oh My Pi: 17/30
Claude Code: 16/30
Codex: 16/30
OpenCode: 14/30
Sinov natijalariga ko‘ra, Oh My Pi eng yuqori muvaffaqiyat darajasini (17/30) ko‘rsatdi, biroq u eng sekin ishladi: har bir topshiriq 272 soniya davom etdi. OpenCode eng tejamkor bo‘lib, har bir muvaffaqiyatli topshiriq uchun atigi 0,073 dollar sarfladi. Claude Code esa eng tezkor bo‘ldi: unga atigi 122 soniya kerak bo‘ldi, ammo u eng qimmat variant bo‘lib, har bir topshiriq 0,195 dollarga tushdi. Bunda u vositalarga eng kam murojaat qilgan va eng kam chiqish tokenlarini yaratgan.
