导航菜单
ToolSpace:为长时程智能体规模化合成以工具为中心的环境
ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents
Guanting Dong, Zhichao Sun, Xinyu Yang, Rui Wang, Xin Deng, Jiajie Jin et al.
2026-11-04▲ 34arXiv 2611.05036v1Hugging Face代码
本页由 AI 根据论文全文生成(deepseek-flash),可能有误,请以原文为准。
一句话
ToolSpace 逆转了以数据为中心的环境合成:它从真实执行轨迹中挖掘工具组合图,合成经回放验证的跨环境任务,从而提升长程工具使用分数,并生成更难的 Pro 基准划分。
要解决的问题
现有 MCP 环境扩展方法以数据为中心:它们先合成数据库和场景,再从中派生工具和任务。这导致工具接口偏离真实接口、工具组合缺乏执行依据,且任务很少跨越一个以上环境。论文认为根因在于合成颠倒了支配真实智能体执行的依赖关系:在真实执行中,工具是原子单元,工具间关系定义跨环境的可达性。
方法
ToolSpace 从真实 MCP 服务和开放智能体语料中收集轨迹语料,按高/中/低执行真实性层级分组,并逐级采用更严格的过滤。它从相邻调用构建带类型的工具组合图,节点为工具加规范化参数配置,边为通过确定性规则提取的 data、state 和 retry 依赖,按观测到的迁移频率加权,并在低频或不可追踪时剪枝。加权图按连接密度聚类为 804 个环境;仅对操作型环境合成数据库,状态查询型环境以工具输出作为初始快照进行初始化,无状态工具回放缓存返回。状态感知随机游走按边权重比例采样可行邻居,在失败或状态不一致时回滚,并保留达到目标长度和环境数量的链。每条保留的链被反编译为不含工具名或调用顺序的自然语言任务,并配以状态、轨迹和输出断言,仅当从初始状态回放通过所有检查时保留。
实验结果
- ToolSpace 提升了 35B 主干在七个长程工具使用基准上的平均分,并因智能体 RL 获得进一步提升。 §6.2
- 在 744B 规模上,ToolSpace-744B-A40B 的平均分超过 GPT 5.6 Sol,并与 Claude Opus 5 持平。 §6.2
- 在将流水线锚定到两个基准而构建的 Pro 划分上,全部七个前沿模型均下降,其中 AutomationBench 最大降幅达到 38.2 分。 §6.3
- 重建的工具图和合成数据规模很大:来自 2,042 个规范工具的 77,760 个工具调用模式节点,data/state/retry 边分别占 69%/25%/6%,以及 34,376 条轨迹,其中 21,385 条至少有五次工具调用。 §4.3
- 消融实验表明,移除结构化边类型、回滚、加权采样,或用 LLM 判定边替换观测边,都会使全部五个基准下降。 §6.4
- 环境合成成本(以 500 个采样环境上的合成文件数作为代理指标)下降,因为仅对含操作的环境物化数据库。 §6.4
局限
- 环境合成成本节省仅通过 500 个采样环境上的文件数代理指标衡量;论文指出这并未直接测量 token、挂钟时间、API 或计算成本,因此未测得精确节省(§6.4)。
- 在最小数据比例(1/16)下,SFT 混合会造成干扰:BFCL V4 和 OfficeQA Pro 低于未调优主干,表明该趋势只有在数据比例提高后才稳定(§6.4)。
- ToolSpace-8B 在 Harvey LAB 上仍得 0.0 分,因此小规模设置未解决专业法律工作流(Table 1,§6.2)。
- 对比覆盖不均衡:若干单元格标为“–”表示未官方报告(例如 WorkRover-35B-A3B、Claude Opus 5 和 GPT 5.6 Sol 在 AutomationBench 上),外部分数按已发表值使用,而非本地复现(§6.1,§6.2)。
要点
- 论文认为以数据为中心的合成会导致工具功能不匹配、工具编排不真实,且无法合成跨环境任务。 §1
- 边由确定性规则从相邻真实调用中挖掘,类型为 data、state 或 retry,并以观测到的迁移频率 w = N_ij / N_i 加权。 §4.1.2
- 环境由加权无向图投影聚类得到,得到 K = 804 个簇,仅对操作型环境按需合成数据库。 §4.1.3
- 仅当输入可由先前返回或当前快照填充时才保留游走邻居,并在可行邻居中按边权重比例采样。 §4.2.1
- 回滚采样丢弃失败步骤、恢复先前快照并重新采样;保留的链在验收前从 s0 回放。 §4.2.1
- 任务编写时不包含工具名或调用顺序,并通过状态、轨迹和输出断言而非参考答案进行验证。 §4.2.2
- Pro 基准任务由三名博士级专家评审,Fleiss' kappa = 0.82,观察一致率为 93.1%。 §5
- 环境规模驱动性能:在 1/16 与 1/8 环境比例之间,AutomationBench 从 9.2 升至 33.8;任务嵌入形成 42 个簇,而先前语料为 25、31 和 34 个。 §6.4
思维导图
登录
选择一种方式继续
登录即表示你同意我们的服务条款和隐私政策