Rust in Everything
← 论文速递

ToolSpace:为长时程智能体规模化合成以工具为中心的环境

ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents

Guanting Dong, Zhichao Sun, Xinyu Yang, Rui Wang, Xin Deng, Jiajie Jin et al.

2026-11-04▲ 34arXiv 2611.05036v1Hugging Face代码

本页由 AI 根据论文全文生成(deepseek-flash),可能有误,请以原文为准。

一句话

ToolSpace 逆转了以数据为中心的环境合成:它从真实执行轨迹中挖掘工具组合图,合成经回放验证的跨环境任务,从而提升长程工具使用分数,并生成更难的 Pro 基准划分。

要解决的问题

现有 MCP 环境扩展方法以数据为中心:它们先合成数据库和场景,再从中派生工具和任务。这导致工具接口偏离真实接口、工具组合缺乏执行依据,且任务很少跨越一个以上环境。论文认为根因在于合成颠倒了支配真实智能体执行的依赖关系:在真实执行中,工具是原子单元,工具间关系定义跨环境的可达性。

方法

ToolSpace 从真实 MCP 服务和开放智能体语料中收集轨迹语料,按高/中/低执行真实性层级分组,并逐级采用更严格的过滤。它从相邻调用构建带类型的工具组合图,节点为工具加规范化参数配置,边为通过确定性规则提取的 data、state 和 retry 依赖,按观测到的迁移频率加权,并在低频或不可追踪时剪枝。加权图按连接密度聚类为 804 个环境;仅对操作型环境合成数据库,状态查询型环境以工具输出作为初始快照进行初始化,无状态工具回放缓存返回。状态感知随机游走按边权重比例采样可行邻居,在失败或状态不一致时回滚,并保留达到目标长度和环境数量的链。每条保留的链被反编译为不含工具名或调用顺序的自然语言任务,并配以状态、轨迹和输出断言,仅当从初始状态回放通过所有检查时保留。

实验结果

  • ToolSpace 提升了 35B 主干在七个长程工具使用基准上的平均分,并因智能体 RL 获得进一步提升。 §6.2
  • 在 744B 规模上,ToolSpace-744B-A40B 的平均分超过 GPT 5.6 Sol,并与 Claude Opus 5 持平。 §6.2
  • 在将流水线锚定到两个基准而构建的 Pro 划分上,全部七个前沿模型均下降,其中 AutomationBench 最大降幅达到 38.2 分。 §6.3
  • 重建的工具图和合成数据规模很大:来自 2,042 个规范工具的 77,760 个工具调用模式节点,data/state/retry 边分别占 69%/25%/6%,以及 34,376 条轨迹,其中 21,385 条至少有五次工具调用。 §4.3
  • 消融实验表明,移除结构化边类型、回滚、加权采样,或用 LLM 判定边替换观测边,都会使全部五个基准下降。 §6.4
  • 环境合成成本(以 500 个采样环境上的合成文件数作为代理指标)下降,因为仅对含操作的环境物化数据库。 §6.4

局限

  • 环境合成成本节省仅通过 500 个采样环境上的文件数代理指标衡量;论文指出这并未直接测量 token、挂钟时间、API 或计算成本,因此未测得精确节省(§6.4)。
  • 在最小数据比例(1/16)下,SFT 混合会造成干扰:BFCL V4 和 OfficeQA Pro 低于未调优主干,表明该趋势只有在数据比例提高后才稳定(§6.4)。
  • ToolSpace-8B 在 Harvey LAB 上仍得 0.0 分,因此小规模设置未解决专业法律工作流(Table 1,§6.2)。
  • 对比覆盖不均衡:若干单元格标为“–”表示未官方报告(例如 WorkRover-35B-A3B、Claude Opus 5 和 GPT 5.6 Sol 在 AutomationBench 上),外部分数按已发表值使用,而非本地复现(§6.1,§6.2)。

要点

  • 论文认为以数据为中心的合成会导致工具功能不匹配、工具编排不真实,且无法合成跨环境任务。 §1
  • 边由确定性规则从相邻真实调用中挖掘,类型为 data、state 或 retry,并以观测到的迁移频率 w = N_ij / N_i 加权。 §4.1.2
  • 环境由加权无向图投影聚类得到,得到 K = 804 个簇,仅对操作型环境按需合成数据库。 §4.1.3
  • 仅当输入可由先前返回或当前快照填充时才保留游走邻居,并在可行邻居中按边权重比例采样。 §4.2.1
  • 回滚采样丢弃失败步骤、恢复先前快照并重新采样;保留的链在验收前从 s0 回放。 §4.2.1
  • 任务编写时不包含工具名或调用顺序,并通过状态、轨迹和输出断言而非参考答案进行验证。 §4.2.2
  • Pro 基准任务由三名博士级专家评审,Fleiss' kappa = 0.82,观察一致率为 93.1%。 §5
  • 环境规模驱动性能:在 1/16 与 1/8 环境比例之间,AutomationBench 从 9.2 升至 33.8;任务嵌入形成 42 个簇,而先前语料为 25、31 和 34 个。 §6.4

思维导图

ToolSpace
动机
数据为中心的顺序被逆转
工具功能不匹配
编排不真实
单环境任务
工具空间探索
轨迹语料分层
带类型图 data/state/retry
频率边权重
804 个环境簇
按需数据库
任务合成
状态感知随机游走
回滚采样
反编译为任务
状态轨迹输出断言
回放验收
基准 Pro 版本
AutomationBench Pro
tau3-Bench Banking Pro
更多工具调用
专家评审 kappa 0.82
结果
35B 平均 23.0 到 41.0
744B 平均 56.6
前沿模型最大降 38.2
分析
数据扩展
环境扩展
相关性 Top vs Random
成本代理:文件少 55.3%
组件消融