Composio는 어제(8월 6일) X 플랫폼에 게시물을 올려 30개 작업으로 4개의 AI 프로그래밍 에이전트 프레임워크를 테스트하고, 어떤 프레임워크가 DeepSeek V4 Flash 정식 버전의 성능을 더 잘 발휘하는지 확인했다.
IT之家가 공개 자료를 확인한 결과, Composio는 2023년에 설립됐으며 본사는 샌프란시스코에 있다. 오픈소스 AI 에이전트 도구 통합 플랫폼을 표방하며, 대규모 언어 모델과 다양한 외부 애플리케이션을 연결해 개발자가 실제 운영 환경에 적용할 수 있는 AI 에이전트를 빠르게 구축하도록 지원하는 것이 핵심이다.
Composio는 Gmail, GitHub, Slack, Notion 등 실제 도구를 사용해 AI 에이전트 작업 30개를 테스트했으며, 모든 테스트에서 DeepSeek V4 Flash 정식 버전 모델을 호출했다. 작업 결과는 다음과 같다.
Oh My Pi: 17/30
Claude Code: 16/30
Codex: 16/30
OpenCode: 14/30
테스트 결과 Oh My Pi의 성공률이 가장 높았지만(17/30), 속도는 가장 느려 작업당 272초가 걸렸다. OpenCode는 비용이 가장 낮아 성공한 작업 1건당 0.073달러만 필요했다. Claude Code는 122초로 가장 빨랐지만 비용은 가장 높아 작업당 0.195달러가 들었다. Claude Code는 도구 호출 횟수와 생성된 출력 토큰 수가 가장 적었음에도 이 같은 결과를 보였다.
