从像素到动作：迈向原生视觉-语言-动作策略

NEO-VLA 是一种无编码器的视觉-语言-动作策略，让流匹配动作专家读取来自多个骨干深度的缓存键和值，并表明早期视觉表征对控制有价值。

大多数 VLA 模型在动作推理前通过预训练视觉编码器压缩图像，只暴露一个固定的视觉端点。论文认为操作依赖局部几何、边界、深度和细微状态变化，而这些可能容易受到这种抽象的影响。它追问动作策略应继承固定的视觉表征，还是直接访问不断演化的视觉计算。

NEO-VLA 使用轻量级两阶段卷积 patch embedder 将原始像素映射为骨干 token，并在 40 层 2B 骨干中联合处理视觉和语言 token。它在时间、高度和宽度上使用原生旋转位置嵌入，对文本采用因果注意力，对视觉块内采用双向注意力。一个独立的流匹配动作专家关注来自可配置骨干层子集的缓存前缀键和值，以及自身的动作 token。层映射可以选择早期层、后期层、采样层或所有层；论文比较 first-28、skip-28、end-28 和 full-40 设置。动作是连续的手臂和身体动作块，用流匹配训练；推理使用 10 个 Euler 步，并带固定前缀 KV cache。

• 仅训练动作专家时，原生骨干在 LIBERO 上的平均成功率高于基于编码器的 Qwen3-VL 和 Gemma-3，完整微调进一步提升。 §5.1
• 在冻结骨干下，将专家层直接路由到 Qwen3-VL 视觉塔的中间特征并不能复现原生优势，而完整微调使两种接口表现相近。 §5.1
• 在层映射消融中，无论冻结骨干还是完整微调后，skip-28 都优于 end-28，说明访问早期骨干层更有优势。 §5.2
• 在 LIBERO-plus 上，在代码和权重均公开的所列模型中，NEO-VLA 的总分最高，对相机和语言变化具有较强鲁棒性，但在机器人本体和布局变化下增益不那么明显。 §5.4
• 使用理解数据联合训练可使理解分数接近基线，并且相比仅动作微调，在 RoboTwin 2.0 从干净到随机化设置下取得高得多的成功率。 §5.3
• 在真实世界基准中，每个任务用 50 个演示回合微调后，NEO-VLA 在三个任务上的成功率分别为 12/20、17/20 和 13/20。 §5.5.2

• 论文指出，预训练和模型容量差异使得无法将骨干比较的增益单独归因于移除编码器。
• 论文表示，LIBERO 的跨论文结果在模拟器版本、相机设置、训练数据和评估协议上存在差异，因此这些结果只是基准背景，而非受控比较。
• 论文报告称，NEO-VLA 对场景感知方式的变化尤其鲁棒，但在机器人本体和布局变化下增益不那么明显，并且在空间配置或任务目标变化时仍面临挑战。
• 真实世界评估使用三个任务、每个任务 50 个演示回合、每个任务 20 次试验，更广泛的真实世界泛化仍未验证。

• 原生骨干向动作专家暴露跨深度的演化视觉计算，而不是固定的编码器输出。 §1
• 像素通过 stride 32 的两阶段卷积 embedder 进入，每个 32x32 图像区域产生一个视觉 token。 §3.1
• 文本 token 使用因果注意力，而视觉 token 在每个视觉块内双向交互，因此视觉和语言表征跨层共同演化。 §3.1
• 多模态前缀包括先前和当前多视角图像、相机几何、机器人状态以及固定视觉 token 预算下的结构化提示。 §3.2
• 动作专家从可配置层映射读取缓存的键和值，使视觉读出深度成为显式架构选择。 §3.3
• 训练分三阶段：冻结骨干的动作训练、带理解联合训练的完整模型机器人语料训练，然后是全参数内部动作微调。 §4.3
• 在不同观测间交换早期层激活比扰动后期层造成更大的平移误差，而匹配的残差噪声影响很小。 §5.2
• 在后训练中保留多模态理解与场景随机化下更强的策略泛化相关。 §5.3