Hôm qua (ngày 6 tháng 8), Composio đã đăng bài trên nền tảng X, dùng 30 nhiệm vụ để thử nghiệm 4 khung tác nhân lập trình AI, nhằm xem khung nào phát huy tốt hơn hiệu năng của DeepSeek V4 Flash phiên bản chính thức.
IT之家 tra cứu thông tin công khai, Composio được thành lập năm 2023, trụ sở tại San Francisco, định vị là nền tảng tích hợp công cụ tác nhân AI mã nguồn mở, cốt lõi là kết nối mô hình ngôn ngữ lớn với các ứng dụng bên ngoài, giúp nhà phát triển nhanh chóng xây dựng tác nhân AI cấp sản xuất có thể triển khai thực tế.
Composio dùng các công cụ thực tế như Gmail, GitHub, Slack và Notion để thử nghiệm 30 nhiệm vụ tác nhân AI, thống nhất gọi mô hình DeepSeek V4 Flash phiên bản chính thức, kết quả nhiệm vụ như sau:
Oh My Pi: 17/30
Claude Code: 16/30
Codex: 16/30
OpenCode: 14/30
Kết quả thử nghiệm cho thấy Oh My Pi có tỷ lệ thành công cao nhất (17/30), nhưng chậm nhất, mỗi nhiệm vụ mất 272 giây. OpenCode có chi phí thấp nhất, mỗi nhiệm vụ thành công chỉ tốn 0.073 USD; còn Claude Code nhanh nhất, chỉ mất 122 giây, nhưng chi phí cao nhất, mỗi nhiệm vụ tốn 0.195 USD, dù số lần gọi công cụ ít nhất và số token đầu ra tạo ra cũng ít nhất.
