PreView: Enhancing GUI Grounding with Preprocessed Views and Cues

PreView 是一种经过训练的辅助预处理器，为冻结的 GUI grounding 模型提供以中心为导向的裁剪放大视图以及候选特定的视觉和文本线索，从而在不重新训练该模型的情况下提高准确率。

GUI grounding 必须在密集截图中定位小控件，并判断自然语言指令指的是哪个控件。裁剪和放大可以暴露局部细节，但得到的图像仍可能使目标意图不明确。现有方法使用 GUI 专用训练、放大推理或语义增强，但每种方法都可能消耗推理资源、丢弃上下文或提供误导性语义。PreView 研究的是：一个学习到的辅助模型能否为现有 grounder 同时准备任务相关视图和信息性线索，同时限制这些错误。

给定截图和指令，PreView 使用经过训练的辅助模型为冻结的 grounding 模型准备输入。它预测并细化一个中心，围绕该中心裁剪截图形成局部视图，并放大该视图以进行放大 grounding。它还准备视觉线索：一个带位置提示的红圈标记；并且当辅助模型接受候选时，准备描述候选身份、功能或局部关系的文本线索。冻结的 grounding 模型在单次调用中接收准备好的视图、原始指令和可用线索，其预测点击会映射回原始截图。辅助模型联合训练中心预测、候选验证与描述生成。

• Qwen3-VL-2B、OS-Atlas-4B 和 Qwen3-VL-4B 的平均增益分别为 7.4、13.9 和 1.5 个百分点。 §5.1
• 使用 PreView 的 Qwen3-VL-2B 在 SSPro 上得分为 59.3%，在 UI-V 上为 33.7%，超过 Qwen3-VL-4B Full 在 UI-V 上的 25.3%。 §5.1
• Qwen3-VL-4B 在 UI-V 上提升 15.3 点，但在 MMB-GUI 上下降 5.0 点；在 SSPro 上，其图标准确率从 32.5% 升至 42.5%，而文本准确率从 75.8% 升至 76.8%。 §5.1
• 在 SSPro 上，Refine 1 在 80.14% 的视图中保留目标中心，但在 53.83% 的情况下直接命中目标；一次细化将平均直接命中率从 60.83% 提升至 64.02%，而 c3 得到 63.93%。 §5.2
• 在相同 25% 像素预算下，将占面积 12.5% 的裁剪区域放大，在三个基准上均优于原生的 25% 面积裁剪，且处理后的视觉 token 数相同；将两个维度都加倍可增加 6.5–10.8 点。 §5.4
• 在 8,288 个包含目标的 2B 示例上，位于标注目标内部的线索纠正了 71.0% 的 View 错误，并干扰了 1.9% 的正确预测；在目标外部，这些比率变为 3.2% 和 57.8%。 §5.5

• 裁剪可能丢弃目标或必要上下文。
• 错误线索可能误导 grounding 模型。
• 在桌面应用上训练限制了对移动界面的泛化能力，且离线评估无法证明在多步交互中的可靠性。
• 辅助推理会增加计算成本和延迟；论文每种配置仅报告一次运行，因此结果可能受初始化噪声影响。

• PreView 改进现有 grounding 模型的输入，而无需进一步训练该模型。 §Abstract
• 它为定位准备任务相关视图，并为目标理解准备候选特定线索。 §Abstract
• grounding 模型在不更新参数的情况下预测最终点击。 §3
• 在 c2 处，一次中心细化将平均直接命中率从 60.83% 提升至 64.02%；c3 得到 63.93%，因此流程在 c2 停止。 §5.2
• 在相同 50% 视觉预算下，较小裁剪在 SSPro 和 UI-V 上表现更好，而较宽裁剪使 OSW-G R 提升 0.71 点。 §5.4
• 预处理后，空间准确率仍然最低：2B 为 17.0%，4B 为 26.0%。 §5.1
• 尽管与 GroundCUA 训练数据重叠，使用 View 后 GroundNext 在 SSPro 上从 52.9% 提升至 59.0%，在 OSW-G R 上从 67.7% 提升至 68.3%。 §5.6
• PreView 仅需对冻结的 grounding 模型进行一次调用，并报告 1.5–13.9 点的平均增益。 §6