Composioは昨日（8月6日）、Xに投稿し、30件のタスクを使って4つのAIコーディングエージェントフレームワークをテストし、どのフレームワークがDeepSeek V4 Flash正式版の性能をより引き出せるかを検証した。
IT之家が公開情報を調べたところ、Composioは2023年に設立され、サンフランシスコに本社を置く。オープンソースのAIエージェント向けツール統合プラットフォームとして、大規模言語モデルとさまざまな外部アプリの接続を実現し、開発者が実用的な本番環境向けAIエージェントを迅速に構築できるよう支援している。
ComposioはGmail、GitHub、Slack、Notionなどの実際のツールを使い、30件のAIエージェントタスクをテストした。すべてのテストでDeepSeek V4 Flash正式版モデルを呼び出しており、結果は以下の通り。
Oh My Pi: 17/30
Claude Code: 16/30
Codex: 16/30
OpenCode: 14/30
テスト結果によると、Oh My Piは成功率が最も高かった（17/30）が、速度は最も遅く、1タスク当たり272秒かかった。OpenCodeはコストが最も低く、成功したタスク1件当たりわずか0.073ドルだった。一方、Claude Codeはわずか122秒で最速だったが、コストは最も高く、1タスク当たり0.195ドルかかった。Claude Codeはツール呼び出し回数が最も少なく、生成した出力トークンも最少だったにもかかわらず、この結果となった。
