OpenAI宣布推出AI Agent评测基准PaperBench

当地时间4月2日,美国开放人工智能研究中心(OpenAI)宣布推出PaperBench——一个评估AI智能体复现前沿AI研究能力的基准。智能体需从零开始复现20篇ICML 2024 Spotlight和Oral论文,包括理解论文贡献、开发代码库并成功执行实验。据介绍,在PaperBench上测试多个前沿模型后发现,表现最佳的智能体Claude 3.5 Sonnet(新版)结合开源框架,平均复现得分为21.0%。最终其招募顶尖机器学习博士尝试部分测试集,发现上述模型表现尚未超越人类基线。(界面)

原创文章,作者:狐呼网,如若转载,请注明出处:https://www.ihuho.com/6704.html

(0)
上一篇 19小时前
下一篇 14小时前

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

公众号
公众号
新媒体群
新媒体群
联系邮箱

1284674160@qq.com

分享本页
返回顶部
新媒体之家(狐呼网)免费入驻互联网领域个人自媒体,企业自媒体,媒体网站等。入驻合作可以联系:m1284674160