AI Arena 运营中

AI Arena定位为AI编程助手和编码代理的开放式基准测试平台，重点衡量工具在软件工程任务中的实际表现，而不只关注代码片段生成。

平台由JetBrains发起，并计划贡献给Linux基金会管理，面向工具提供商、企业用户、技术供应商和开发者社区提供评估依据。

平台支持补丁修复、错误修正、代码审查、测试生成等开发工作流的基准评估，并提供开放、可复现的评估流水线、评分规则和基础架构。

社区或厂商可以贡献数据集、测试赛道和评估规则。用户也可以使用自己的数据集，在本地设施中运行评估。

AI工具提供商可用它测试和改进编码代理在标准化开发任务中的表现；企业用户可在引入相关工具前，比较不同方案在目标工作流中的评测结果。

技术供应商和开发者社区则可贡献特定领域的测试内容，或参考公开结果了解AI工具对软件开发流程的影响。

评测结果依赖所选数据集、测试赛道、任务配置和评分规则。平台结果适合用于形成可复现的比较依据，但不一定代表所有团队、代码库或开发环境中的实际体验。

在做采购或上线决策时，还应结合自身项目数据和工作流程进行验证，并关注本地运行所需的评估设施与数据准备。