Mage-VL-Cowork：从进化式执行框架学习混合计算机使用的完整训练配方

Mage-VL-Cowork 是一个 4B 混合计算机使用智能体，通过五阶段课程在 318,837 条轨迹上训练；这些轨迹由演化后的 GUI 与终端 harness 以及可复用工作流生成，在 50 步预算下于 OSWorld-Verified 达到 66.0%。

仅限像素访问的计算机使用智能体必须通过 GUI 重新推导命令本可完成的操作，并失去用于核验工作的可靠通道。仅具备混合访问并不能产生混合能力，因为即使前沿教师模型也表现出次优的通道路由，而蒸馏其默认 rollout 会将这些限制传递给学生。先前流水线对已专门用于 GUI grounding 或编码的检查点进行后训练，而维持多阶段课程需要大规模、多样的环境和轨迹。

Mage-CUA-Forge 构建包含 6,915 个原子技能的技能分类法、可复用且以技能为条件的生成工作流，以及面向特定应用的准备器，以合成包含指令、环境设置脚本和评分量规的任务包，并用门控检查一致性。在大规模 rollout 之前，一个编写智能体利用任务成功率、token 成本、执行反馈和通道统计来演化教师 harness 的脚手架、工具接口、提示词和终端环境，包括剪除冗余工具。训练流水线为五阶段课程：面向 GUI 的中间训练、GUI 智能体 SFT、编码与终端 SFT、基于 318,837 条轨迹的混合 CUA SFT，以及在 1,988 个 ScaleCUA 任务上的在线混合 RL，采用 GRPO、前沿采样、异步 rollout 和上限为 2.0 的截断重要性采样。第 5 阶段使用 96 个任务组，每组八个 episode 槽位，四批次准入窗口，策略滞后限制在三次更新以内。学生模型评估反馈指导技能分类法在三个生成轮次中自适应扩展与细化。训练样本使用非对称上下文窗口，保留最近三个视觉轮次，并将更早步骤折叠为 Action 摘要，同时进行步骤级推理合成，用于 think 理由、Action 摘要和工具调用。

• Mage-VL-Cowork-4B 在 50 步预算下于 OSWorld-Verified 上达到 66.0%，并优于更大的开源智能体，包括 Muse Glimmer-30B、Qwen3.6-27B、EvoCUA-32B 和 OpenCUA-72B。 §Main Results on OSWorld-Verified
• OSWorld-Verified 性能从 GUI SFT 后的 45.56% 提升至 Hybrid SFT 后的 55.84%，再到在线 RL 后的 66.0%，在下游各阶段共获得 20.44 个百分点的增益。 §Training Progression
• 工作流优先的生成方式将每任务经常性支出降低 82.6%，从 $0.906 降至 $0.158；并将 token 消耗降低 93.3%，从 1,276K 降至 85K token。 §Task-Generation Expenditure
• 在 GUI SFT、Hybrid SFT 和 RL 各阶段，平均模型调用次数从 25.36 降至 21.57 和 18.77；RL 将模型调用次数降低 13.0%，并将输出 token 和 think token 降低约 25.4%，使每任务平均输出 token 达到 5,499。 §Execution Efficiency and Token Usage
• 在教师模型固定不变的情况下，beta1 harness 在教师成功率和步数上优于经 AX 增强的 beta2 harness；beta1 学生模型达到 37.6%，而 beta2 为 25.1%，同时少用 21.5% 的步数。 §Effect of the Evolved Harness on Student Performance
• 在 WebVoyager-Static 上，Mage-VL-Cowork-SFT 取得 58.6% 的成功率，排名第二，仅次于 Fara1.5-4B，并优于 Qwen3-VL-8B-Thinking、Qwen3.5-9B 和 OpenWebRL-4B。 §Browser Task Performance

• 论文指出，实际部署需要明确授权，并需为终端执行提供沙箱隔离。
• 所报告的计算核算覆盖语言模型训练阶段，并指出基础预训练、视觉编码器计算以及单独的注意力/重计算开销项不在其范围内。
• OSWorld-Verified 评估基于 361 个留出任务，采用 50 步预算，排除 Google Drive，所报告结果取两次评估运行的平均值。
• 论文指出，实时网站会引入反机器人拦截、内容漂移和不可重置的后端状态，因此将桌面准备器与自托管确定性 Web 环境配合使用。

• 混合 CUA 通过一个具备视觉观察和坐标控制的 GUI 通道行动，并通过一个具备持久 shell 的终端通道处理代码、命令行工具和应用库。 §Introduction
• Harness 演化移除 xdotool，改用基于截图的原生 GUI 操作，并在终端环境中加入诸如 python-pptx 的领域库，同时保持教师模型权重固定。 §Evolution of the Hybrid Computer-Use Harness
• Mage-CUA-Forge 通过构建可复用生成工作流，将编写投入按技能一次性摊销；这些工作流组合 LLM 节点、文件准备器和设置操作，并配有文件级与包级门控。 §Workflow-First Task and Environment Generation
• 合成清单包含 293,806 个任务，覆盖 6,915 个原子技能，其中 61.76% 为单应用任务、38.24% 为多应用任务，最终保留 318,837 条轨迹；在教师工具调用中，GUI 动作和终端动作分别占 68.19% 和 31.81%。 §Dataset Statistics
• 在第 1 阶段面向 GUI 的中间训练中，OSWorld-G 上的屏幕 grounding 从 30.6% 提升至 56.9%，ScreenSpot-v2 上从 78.8% 提升至 87.2%。 §Training Progression
• 第 4 阶段在 318,837 条保留的混合轨迹上训练，最终混合数据集包含 1,377,805 个 packed bin。 §Stage 4: Hybrid CUA SFT
• 参考 RL 部署在 70 台 CPU 主机和 32 块 B200 GPU 上配置 1,120 个 GUI 槽位，其中 24 块 GPU 用于训练，8 块用于推理。 §System Architecture and Asynchronous Execution
• 每个轮次保留最近三个带截图和完整响应的视觉轮次，而更早步骤被折叠为命令式 Action 摘要；一次合成过程生成 think 理由、Action 摘要和已核验的工具调用。 §Context Window Design and Step-Level Reasoning Synthesis