FrontierPhysics：评估智能体在端到端物理学研究中的能力

FrontierPhysics 是一个由专家构建、包含 56 个任务的端到端物理研究基准，按确定性产物和论文手稿评分；研究发现前沿智能体很少超过 27.4% 的通过率，主要失败原因是严谨性不足和专家直觉有限。

现有物理基准评估固定问题、孤立子任务或给定解决方案的论文复现，很少在检查正确性的同时检查研究质量。许多封闭式基准已饱和，而整篇论文复现会预先指定研究问题和解决结构。论文认为，现有基准均未同时做到完全智能体化、由物理学家基于自身研究构建、同时按论文质量和结果正确性评分，并辅以人工任务审查和失败模式分析。

FrontierPhysics 包含 56 个任务，由 42 位物理学家基于自身研究构建，覆盖理论物理、计算物理和实验物理的九个领域。每个任务给出高层、类似 PI 的提示，并可能提供输入数据或支持文件，但不提供明确的方法论或解决路径。智能体必须回顾文献、制定研究计划、开展研究与实验，并产出确定性产物以及 paper.pdf 手稿。评估将用于结构化输出的确定性验证器与使用全局和任务特定评分细则的 Agent-as-judge 评审器相结合。评分细则标准分为二元 blockers（必须全部通过）和加权 non-blockers（评分为 0、1 或 2），最终分数由验证器和 blockers 按 Eq. 1 门控。

• 所有被测智能体的总体通过率均低于 30%，Claude Opus 5.5 的通过率最高，为 27.4%。 §3.2
• 没有任何配置在其 168 次运行中通过超过 46 次。 §Abstract
• 修正八个 FALSE 和一个 RRMIS 结果后，GPT-6 Astra xhigh 的通过率从 14.9%（25/168）变为 20.2%（34/168）。 §3.4
• 智能体主要因推理不够严谨（48%）、物理直觉有限（34%）、文献综合（27%）和指令遵循（26%）而失败，而不是主要犯物理错误。 §3.4
• 在针对 33 个任务、使用作者提供的参考材料进行的评分细则合理性检查中，作者自己的材料在相应评分细则下平均得分为 96.2%。 §3.3
• 通过率总体上随成本上升而提高，但对某些 Claude 模型，按 Opus 5.5、Fable 5.1、Opus 5 的顺序，通过率随成本增加而下降；GPT 模型通常更具成本效率。 §3.2

• 失败模式分析仅聚焦 GPT-6 Astra，因为借助子智能体人工阅读轨迹具有挑战性；其他模型或模型-框架组合可能以不同方式失败，且仅对 GPT-6 Astra 的假阴性进行了准确标记和修正。
• 验证器和评分细则可能仍存在缺陷；168 次运行中有九次被错误判为失败，而发现假阴性既需要领域专业知识又需要时间。
• 每个领域的任务很少，因此物理领域之间的差异不确定。
• 以 Claude Opus 5.5 作为评审器重新评分时，对几乎所有 GPT-6 Astra 运行给出相同的通过/失败判定，但 Opus 5.5 评审器对其自身模型家族的运行更宽松。

• FrontierPhysics 包含 56 个任务，由 42 位物理学家基于自身研究构建，覆盖九个物理领域；每位任务作者平均有 420 次引用。 §1
• 每个任务要求确定性产物和 paper.pdf 手稿，部分任务提供输入数据或支持文件，但不指定明确的方法论或解决路径。 §2.1
• 评估将确定性验证器与 Agent-as-judge 评审器相结合，因为许多评分细则标准必须对照轨迹、代码和输出文件检查，而不能仅依据 paper.pdf。 §2.3
• Blockers 是对科学有效性至关重要的二元门控，non-blockers 按 0 到 2 评分、权重为 1 到 10；non-blocker 高分不能补偿验证器或 blocker 失败。 §2.3
• 实验评估四种智能体框架中的 22 个前沿模型；每个模型以其可用的最高推理强度对所有 56 个任务尝试三次，四个 GPT 模型还在 xhigh 下运行。 §3
• 所有运行都有统一的 10 小时超时上限；模型导致的中止保留在分母中，而基础设施导致的中止会重新运行。 §3.1
• 人工审查发现，前沿智能体的主要弱点是推理不够严谨和专家直觉有限，而不是物理知识缺口或执行错误。 §Abstract
• 结论认为，有能力的物理研究智能体应超越指定任务，在仅有高层指导的情况下，从问题定义走向新发现进行独立探索，这需要更开放的任务和更灵活的评估。 §4