Your Benchmark Is an Empirical Measure Over Difficulty

本文将基准测试重新表述为题目难度上的经验测度，把测度不匹配和覆盖缺口形式化为两种失效模式，并给出诊断指标与理论，诊断了 25 个基准，并提出 BenchFill 来填补大的难度缺口。

基准测试评估会对一组问题上的模型结果取平均，但结论不仅取决于模型性能，还取决于问题在难度上的分布。如果基准测试对简单问题赋予过高权重，而感兴趣的难度分布对更难问题赋予更高权重，那么同一模型对的排行榜结论可能分歧；如果模型在只有很少或没有基准题目的难度区域取得改进，即使真实进展已经发生，基准分数也可能几乎不变。本文认为这是两种结构性失效模式，应作为基准所诱导的难度分布的性质来研究。

基准沿难度轴组织，并被视为难度上的经验测度，每个题目在其难度水平上贡献相同的评估质量。这将两种失效模式转化为：测度不匹配问题，即比较基准测度与目标难度分布；以及覆盖缺口问题，即基准的有限支撑集留下质量很少或没有质量的区间。提出两个诊断指标：基准测度与目标难度分布之间的 Wasserstein 距离，以及排序后相邻基准难度点之间的最大间隔。理论结果将 Wasserstein 距离与 Lipschitz 性能差函数下有界分数失真和排名稳定性联系起来，并表明最大间隔是区间局部化改进的精确渐近极小极大检测边界。在经验上，对响应矩阵和后验采样进行诊断检查后，使用拟合多 LLM 成功率的 1PL Item Response Theory 模型估计 7 个领域中 25 个基准的题目难度。最后，BenchFill 迭代地将父题目改写为面向缺口中点的子题目，通过使用预估计模型能力的在线校准来标注子题目难度，并在附近题目-难度对记忆的引导下保留最接近目标的有效子题目。

• 每个基准仅插入三个题目，BenchFill 就降低了前三大难度缺口之和。 §1
• 经验诊断覆盖多个领域的热门基准，均在计算两个指标前完成难度估计拟合。 §3
• 经过整理的填补缺口变体将四个数学基准扩展到显著更多题目，所有生成题目均经人工审核。 §4.3
• 在八个数学基准上进行分位数匹配的基准校准，提高了与留一参考排名的平均一致性。 §D.2
• 校准平均降低到均匀目标的 Wasserstein 距离，而随机剪枝不会。 §D.2
• BIC 在大多数基准上选择 1PL 模型而非 2PL 模型，其余 2PL 拟合的采样诊断较差；在 Gaokao2023en 上，2PL 拟合的收敛性远差于 1PL。 §C.5

• 论文指出其框架主要是事后性的：只有在基准已经存在后才估计难度并缩小缺口，将这一视角移入基准构建被留作未来工作（§A.2）。
• 作者指出，其目标不是穷尽基于测度的视角的所有推论，而是表明基准评估可以通过所诱导难度测度的几何来研究（§A.2）。
• 经验分析依赖于标量 1PL IRT 难度估计；多维 IRT 拟合混合较差，并且在较大基准上无法可靠完成，因此更丰富的难度结构仍待探索（§C.5）。
• 在没有应用特定目标的情况下，校准实验将目标分布实例化为均匀分布；论文明确表示，这一选择不应被解读为假设参考分布恰好是均匀的（§D.1）。

• 基准被视为难度上的经验测度，而不仅是测试题目的集合，每个题目在其难度水平上贡献相同的评估质量。 §1
• 测度不匹配意味着基准难度分布不同于预期目标分布，因此基准结论可能偏离该目标下的结论。 §1
• 覆盖缺口产生的原因是经验测度支撑在有限多个难度点上，因此集中在空区间内的改进只带来很小或没有分数变化。 §1
• 如果性能差函数是 L-Lipschitz 的，则基准与目标分数差之间的差异由 L 乘以 1-Wasserstein 距离界定；当目标差超过该界时不会发生排名翻转。 §B.1
• 最大相邻间隔是精确的渐近极小极大检测边界：宽度至多为该间隔的区间不可检测，而宽度大于该间隔的区间在试验次数增长时以趋于 1 的检验功效被检测到。 §B.2
• 难度估计从多个 LLM 收集经验成功率，诊断响应矩阵，拟合 1PL IRT 模型，执行拟合后诊断，然后在归一化难度分布上计算两个指标。 §3
• DDM 指标计算为基准经验测度与同规模经验均匀参考之间的一维 1-Wasserstein 距离，该参考的点是等宽箱的中点。 §C.4
• 在 Minerva-Math 上，校准显著提高了与参考排名的 Spearman 相关性，也提高了 Kendall 相关性，而起始一致性远弱于其他基准。 §D.2