📖标题：PaperBench: Evaluating AI’s Ability to Replicate AI Research
🌐来源：arXiv, 2504.01848

🌟摘要

🔸我们介绍了 PaperBench，这是一个基准，用于评估 AI 代理复制最先进的 AI 研究的能力。代理必须从头开始复制 20 个 ICML 2024 个 Spotlight 和口头论文，包括理解论文贡献、开发代码库并成功执行实验。
🔸为了客观评估，我们开发了评分标准，将每个复制任务分层分解为具有明确评分标准的较小子任务。总的来说，PaperBench 包含 8,316 个单独的可分级任务。Rubrics 与每个 ICML 论文的作者共同开发，以实现准确性和真实性。为了实现可扩展的评估，我们还开发了一个基于 LLM 的法官来自动对量规进行复制尝试，并通过为法官创建单独的基准来评估我们的法官的表现。
🔸我们在 PaperBench 上评估了几个前沿模型，发现性能最佳的测试代理 Claude 3.5 Sonnet (New) 与开源脚手架，平均复制得分为 21.0%。最后，我们招募了顶级 ML 博士来尝试 PaperBench 的一个子集，发现模型尚未优于人类基线。我们开源我们的代码，以促进未来研究了解 AI 代理的 AI 工程能力。

🛎️文章简介

🔸研究问题：如何评估人工智能在从头复制机器学习研究论文结果方面的能力？
🔸主要贡献：论文提出了一个名为PaperBench的基准，旨在评估AI代理的复制能力，并提供了一套详尽的评估标准和自动化评分流程。

📝重点思路

🔸构建了一个包含20篇机器学习研究论文的基准，每篇论文都配有详细的评分标准，以定义成功复制所需的具体结果。
🔸AI代理被要求从零开始创建代码库来实现论文中的所有实验，并通过执行和监控实验来验证结果的重现。
🔸引入了一个基于大型语言模型（LLM）的评审机制，以自动化评分和评估AI代理的表现。
🔸论文还提出了一个简化的评估版本——PaperBench Code-Dev，旨在降低使用门槛，使更广泛的社区能够参与。

🔎分析总结

🔸经过实验，发现当前的AI系统在复制机器学习论文的能力上仍然存在显著限制，最强的代理在PaperBench上的平均复制分数仅为21.0%。
🔸对比人类专家的表现，AI代理在相同任务上的分数普遍低于经过培训的人类研究人员。
🔸尽管当前结果不理想，但AI代理在某些特定任务上显示出潜力，为未来改进奠定基础。
🔸PaperBench展现了AI在机器学习研究中的应用潜力，强调了对AI能力的安全和有效评估的重要性。

💡个人观点

论文的的核心是构建了一个论文复现基准，检验AI代理在复杂机器学习任务中的能力，需要Deep Research结合代码的能力。

🧩附录