评测与数据集

ReTrace 是一个可扩展的评估框架，它将转移一致性恢复形式化，并在受控错误注入后使用目标导向的动作重放，以系统研究计算机使用智能体中基于模型的恢复。

IdeaTaste 通过将基于2025年文献快照撰写的提案与人类社区在2026年发表的论文进行比较，来评测LLM的研究品味；发现LLM智能体在引用和想法匹配上远低于人类水平，主要失败在于无法将方向转化为具体方法。

CrossSWE 是一个包含 171 个实例的跨仓库联合开发基准，任务要求在相互依赖的仓库间进行协调修改，并通过联合必要性测试验证。

论文发现，冻结的视频世界模型表示会暴露出有限的物理标签信息和动作敏感性，但原生预测误差受外观和静态内容强烈影响，并可能将不可能事件排在可能事件之前。

论文提出 ReGap-Bench，这是一个配对基准：固定场景、问题和答案，仅改变视觉参考；发现任务匹配的参考可将多模态推理提升至多 25%，而不匹配的参考收益很小甚至有害。

论文提出 Avatar Intelligence：持久化的个人智能体，用于表征用户的目标、价值观与约束，并配以以用户为中心的架构、L0-L3 委托路线图，以及用于评估交付价值与人类监督负担的 Agentic Oversight Index。

论文对十个冻结视觉基础模型在四类空间能力上进行功能探测，发现空间读出、历史与运动利用、预测迁移以及目标条件动作效用在不同任务、层和前缀长度上发生分离。

本文将基准测试重新表述为题目难度上的经验测度，把测度不匹配和覆盖缺口形式化为两种失效模式，并给出诊断指标与理论，诊断了 25 个基准，并提出 BenchFill 来填补大的难度缺口。

Co-Design Bench 在 273 个带有隐藏验收标准的真实用户应用修订上评估编码智能体，发现强模型在每个任务上能满足许多标准，但仅完全完成少数任务。

IntReal 引入了一个真实世界交错数据集，以及一个由粗到细的专家模型评估套件，用于多模态交错生成。

WebAnything 使用 Explorer–Builder 和独立验证器从真实 URL 自动重建基于来源的可执行 Web 环境，产出 244 个工件和 12,984 个已接受任务，并在 SFT 后提升智能体基准表现。

AskStream 引入了 ASK 动作以及一个多轮基准，包含 Ask-F1 和 StreamHarness，用于评估流式视频模型在视频不确定性和用户不确定性下应在何时提问以及提问什么。

S2 是一种无需训练的离线指标，用于衡量感知特征与末端执行器轨迹之间的最近邻重叠，并与跨模型系列的机器人任务成功率相关。

RealCLI 是一个配对式 CLI 基准，用于在匹配任务上评估自主执行与脚本化人机协作，揭示前沿智能体在联合任务协作方面的低表现。

PersonaCUABench 固定 74 个任务，仅在 44 个用户角色间改变请求用户；在九个 backbone 上，角色请求将平均任务完成率从 0.689 降至 0.441，且用户满意度与完成率出现分化。

TauIndianBankBench 是一个包含 1,000 个任务的印度零售银行基准，用于评估使用工具的对话智能体是否完成规定流程步骤和最终记录。

V4.1 Flash-1017 在评估完整性、失控和有害操纵方面相较 DeepSeek V4 模型表现出显著安全提升，但在持续压力、部分监督和指定欺骗性目标下仍保留弱点。

论文使用原子单 token 词替换规则和分箱 logit 模型来测量指令容量与退化规律，报告一个 GPT-4o mini 护照，包含以规则数表示的容量及不确定度。

注入元订单在五只股票上的五个神经 LOB 生成器中触发出可识别但过陡的冲击规律，且没有可信的执行后松弛；而回放与核基线则按设计表现。