Composio نے گزشتہ روز (6 اگست) X پلیٹ فارم پر ایک پوسٹ شائع کی، جس میں 30 کاموں کے ذریعے 4 AI پروگرامنگ ایجنٹ فریم ورک کا تجربہ کیا گیا تاکہ دیکھا جا سکے کہ کون سا فریم ورک DeepSeek V4 Flash کے حتمی ورژن کی کارکردگی کو بہتر طور پر بروئے کار لا سکتا ہے۔
IT之家 نے عوامی معلومات کا جائزہ لیا۔ Composio 2023 میں قائم ہوا، اس کا صدر دفتر سان فرانسسکو میں ہے، اور یہ اوپن سورس AI ایجنٹ ٹول انٹیگریشن پلیٹ فارم کے طور پر کام کرتا ہے۔ اس کا بنیادی مقصد بڑے زبان ماڈلز اور مختلف بیرونی ایپلی کیشنز کے درمیان رابطہ قائم کرنا ہے، تاکہ ڈویلپرز تیزی سے قابلِ استعمال، پروڈکشن گریڈ AI ایجنٹ تیار کر سکیں۔
Composio نے Gmail، GitHub، Slack اور Notion جیسے حقیقی ٹولز استعمال کرتے ہوئے 30 AI ایجنٹ کاموں کا تجربہ کیا، اور تمام تجربات میں DeepSeek V4 Flash کے حتمی ورژن کا ماڈل استعمال کیا۔ نتائج درج ذیل ہیں:
Oh My Pi: 17/30
Claude Code: 16/30
Codex: 16/30
OpenCode: 14/30
تجربے کے نتائج سے ظاہر ہوا کہ Oh My Pi کی کامیابی کی شرح سب سے زیادہ (17/30) رہی، لیکن یہ سب سے سست تھا اور ہر کام مکمل کرنے میں 272 سیکنڈ لگے۔ OpenCode کی لاگت سب سے کم رہی، ہر کامیاب کام کے لیے صرف 0.073 ڈالر درکار تھے۔ دوسری جانب Claude Code سب سے تیز تھا اور اسے صرف 122 سیکنڈ لگے، لیکن اس کی لاگت سب سے زیادہ رہی، ہر کام کے لیے 0.195 ڈالر۔ اس کے باوجود اس نے ٹول کالز کی سب سے کم تعداد استعمال کی اور اس کا تیار کردہ آؤٹ پٹ ٹوکن بھی سب سے کم تھا۔
