分享到：
- 微信
- 微博
分享到微信打开微信，点击底部的“发现”， |
OpenAI推出代码生成评估基准
第一财经 2024-08-14 09:34:24
作者：一财科技 责编：刘佳
用于评估AI模型解决现实世界软件问题的能力。
OpenAI推出代码生成评估基准SWE-bench Verified。该公司在官网博客中提到："随着我们的系统越来越接近 AGI，我们需要在越来越具有挑战性的任务中对它们进行评估"。这一基准是对现有SWE-bench的改进版本（子集），旨在更可靠地评估AI模型解决现实世界软件问题的能力。SWE-bench是一个软件工程评估套件，用于评估大型语言模型 (LLM) 解决从GitHub提取的真实软件问题的能力。
举报
第一财经广告合作，请点击这里
此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com
文章作者
相关阅读
科技周报|雷军回应小米汽车事故；OpenAI融资400亿美元
理想汽车CEO李想：自研的汽车操作系统将于4月底完成开源
李想表示，愿意推动汽车操作系统开源，成为全球第一家将汽车操作系统开源的车企，帮助汽车厂商和供应商，任何一个品牌每年能够节省千万甚至上亿的操作系统授权费用。
DeepSeek冲击后AI六小龙分化：收缩、赚钱、产品端“巷战”
DeepSeek出现后，AI六小龙最后还能剩下几家？
OpenAl发布全新Agent工具，AI从业者怎么看？
中国AI的创新正在让全世界更加关注中国的科技和市场。
AI进化速递丨中国团队发布通用型AI Agent产品Manus
OpenAI宣布GPT-4.5正式面向所有ChatGPT Plus用户开放；并拟推月费14.5万元的AI Agent。
一财最热