Rust in Everything
← 论文速递

WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training

Ziyang Zeng, Tingyang Chen, Jia Deng, Qiyao Wang, Shuo Tang, Yike Yang et al.

2026-10-30▲ 30arXiv 2610.37161v1Hugging Face代码

本页由 AI 根据论文全文生成(deepseek-flash),可能有误,请以原文为准。

一句话

WorkFactory 通过规划信息支持并借助探针执行修复环境来构建可执行的专业任务,然后使用教师轨迹训练 WorkPilot 模型。

要解决的问题

扩展面向工作智能体的监督训练需要多样化的专业任务,以产生可靠的专家示范;但任务信息缺失或不一致会阻碍教师执行并削弱监督。预期输出所需的信息可能分布在多个工件中,并通过中间计算与判断相互连接,这使得既要确保所有前提可用、又要把中间结果和最终结果留给求解器变得困难。若未保持这一边界,教师可能引入无依据的假设,或使关键工作未完成。

方法

WorkFactory 首先从职业层级、已记录技能和真实交付物中合成专业意图,并进行基于 LLM 的审核。对于每个意图,它使用信息支持图进行反向规划,该图表示信息单元、载体、支持关系和位置绑定,同时将派生结果保留给求解器。工件在构建计划下物化,并经过程序化检查和基于 LLM 的检查,以及最多三次自动构建重试。探针求解器从求解器可见输入尝试已实现的任务;阻塞项发现驱动修复,修复必须保留预期工作,随后进行重新验证,最多三轮修复。通过的任务分配给独立教师,其轨迹用于监督微调。

实验结果

  • 在 WorkFactory 语料上微调使全部三个基座模型在四个专业工作基准上均有提升;WorkPilot-35B-A3B 在 GDPval-AA、JobBench、Workspace-Bench 和 OmegaUse-OfficeVal 上取得增益。 §4.2
  • WorkPilot-27B 在 GDPval-AA v2.1 上达到本地估计的 1612 Elo,比 DeepSeek-V4.1-Flash 高 12 Elo,比 GLM-5.3 低 34 分。 §4.2
  • 在 5K 任务的组件分析中,先进行信息级规划、再进行基于执行的修复,将跨文件不一致发生率从 32.82% 降至 25.74% 再降至 4.84%,并将 GDPval-AA Elo 从 1245 提升到 1293 再提升到 1326。 §4.4
  • 在匹配的 30K 任务子集上,使用 GLM-5.3 轨迹训练的学生模型达到 1483 Elo,使用 DeepSeek-V4-Flash-0731 轨迹训练的学生模型达到 1248 Elo,二者均高于 879 Elo 的基座。 §4.5
  • 在 5K 分析集上执行基于执行的修复后,69.58% 的任务为零轮修复,20.24% 为一轮,7.70% 为两轮,2.48% 达到三轮上限;24 个任务仍处于阻塞状态并被排除。 §C.3
  • 全部三个 WorkPilot 模型均位于非支配的成本-性能前沿,每个 GDPval-AA 任务的估计成本分别约为 $0.012、$0.031 和 $0.396。 §4.6

局限

  • 教师模型 GLM-5.3 仅接受文本输入,因此模型仅通过纯文本任务求解接口进行训练和评估;本工作不直接考察从视觉证据中学习。
  • 训练研究聚焦于基于教师轨迹的监督微调,而非强化学习。
  • 保留的任务中可能仍存在非阻塞错误;效率类发现和开放类发现仅供参考,未分类发现不进入八类别表。
  • 成本估算为标准化估算,而非供应商账单,且不包含裁判、验证器、工具与网络搜索费用、沙箱计算、存储和编排开销。

要点

  • 意图合成通过指令反向翻译利用职业层级、已记录技能和真实专业交付物,随后进行基于 LLM 的审核,以评估连贯性、可行性、专业适当性和合理性。 §3.2
  • 信息支持图包含信息单元、载体、支持关系和位置绑定,并在物化之前规划,以明确前提与工作之间的边界。 §3.3
  • 探针求解器被告知任务是合成的,其诊断基于来源和工具观察,并区分环境缺陷、求解器错误与合法的开放选择;只有阻塞项发现会触发修复。 §C.1
  • 修复通过编辑请求和现有参考文件来保留预期工作,而不更新信息支持图;参考文件的数量、依赖关系和类型必须保持不变。 §C.2
  • 该语料包含 112,686 个任务,覆盖 612 个职业,平均每个任务提供 4.15 个参考文件、317 种参考文件扩展名和 53 种交付文件扩展名。 §D.1
  • 构建平均每个尝试任务使用 11.656M 模型 token,其中信息级规划是最大阶段,为 4.737M token,其次是执行与修复的 3.644M 和材料合成的 3.275M。 §D.2
  • 主要扩展扫描在 2K–110K 任务的嵌套子集上训练 Qwen3.6-35B-A3B,并额外在 30K 和 110K 上评估 Qwen3.6-27B 和 Qwen3.5-4B。 §4.3

思维导图

mindmap
  root["WorkFactory"]
    ["意图合成"]
      ["职业层级"]
      ["已记录技能"]
      ["交付物反向翻译"]
      ["LLM 审核"]
    ["环境构建"]
      ["信息支持图"]
      ["载体与位置"]
      ["工件计划与检查"]
      ["派生结果留给求解器"]
    ["基于执行的修复"]
      ["探针诊断"]
      ["修订"]
      ["重新验证"]
      ["工作保留"]
      ["最多三轮"]
    ["语料与训练"]
      ["112,686 个任务"]
      ["612 个职业"]
      ["教师轨迹"]
      ["WorkPilot 4B 27B 35B-A3B"]
    ["实验"]
      ["四个基准"]
      ["扩展扫描 2K 到 110K"]
      ["组件分析"]
      ["教师选择"]
      ["成本性能"]
    ["局限性"]
      ["纯文本教师"]
      ["无多模态学习"]
      ["仅 SFT"]
      ["可能仍有非阻塞问题"]