ReLift: Dense 3D Tracking as Lifted Trajectory Repair

Assaf Singer, Maroun Khriesh, Noam Rotstein, Yoni Kasten, Or Litany

2026-11-02▲ 22arXiv 2610.42136v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

ReLift 将冻结的 2D 轨迹与预训练几何结合为提升后的 3D 轨迹，然后使用在模拟提升上训练的前馈轨迹校正器来修复错误并补全遮挡运动。

要解决的问题

从单目视频进行密集 3D 跟踪需要对应关系、深度和遮挡推断，而现有方法通常在稀缺的 4D 监督下联合学习这些内容。预训练的 2D 跟踪器和几何模型已经提供了强对应关系以及深度和相机。将带有遮挡片段的提升轨迹简单插值后，已经可以媲美使用相同几何的专用 3D 跟踪器。然而，提升会继承对应关系和深度误差，并且在遮挡下其深度来自遮挡物而不是被跟踪点。

方法

给定单目视频，冻结的预训练模型提供 2D 轨迹、可见性、深度和相机；将视线与距离结合到参考相机坐标中的提升后 3D 轨迹。仅当距离为正且跟踪器可见性超过跟踪器特定阈值时保留提升后的位置；否则将其掩码，并通过插值初始化间隙。校正器处理所有 T 帧中 P 条轨迹的组，将沿每条轨迹的时间注意力与时间块内的跨轨迹注意力交替进行，并预测添加到初始化轨迹上的无限制 3D 残差。共享尺度恢复原始尺度，跟踪器可见性分数原样返回。校正器在模拟提升上训练，这些模拟提升通过对干净的 PointOdyssey 轨迹进行随机几何破坏生成，不运行跟踪器、深度模型或渲染器。推理使用 C=4 帧块和每组 P=1024 条轨迹。

实验结果

在 WorldTrack 上，ReLift 取得最先进的平均准确率，在所有点上比最强基线提高 2.1 APD，在动态点上提高 3.0。 §Abstract
使用与 4RC 相同的深度和相机估计，CoWTracker + 4RC 在所有点上取得平均 89.01，在动态点上取得 86.95，而 4RC 为 86.94 和 81.60。 §4.2
在全局尺度对齐下，校正使全部六个提升在所有点上提高 1.4 到 2.6 个点，在动态点上提高 2.6 到 3.8 个点。 §C.3
射线掩码使 ADT APD3D 总体提高约 2.8 个点，在遮挡点上提高 8.1 个点。 §D.2
在 RANSAC Sim(3) 下的 Kubric 上，CoWTracker + 4RC 在所有点上达到 84.88，在动态点上达到 80.66，EPE 为 0.324，而 4RC 达到 85.33、78.81 和 0.299。 §C.1
在 512 平方分辨率下，AllTracker + VGGT-Omega 流水线耗时 7.3 s，AllTracker + DA3 耗时 11.4 s，而 4RC 为 31.8 s。 §D.4

局限

性能仍对输入几何敏感，论文将未来工作引向对几何误差和持续对应误差的鲁棒性。
在 RANSAC Sim(3) 下的 Kubric 上，DA3 和 VGGT-Omega 配置落后于 4RC，尽管它们优于使用相同几何的方法。
可见性准确率来自 2D 跟踪器，因为校正器原样返回可见性分数。
实验仅在 WorldTrack 和 Kubric 上报告，因此论文未确立对其他数据集或领域的泛化性。

要点

使用估计几何和简单间隙初始化提升的预训练 2D 轨迹，可以匹配或超过使用相同几何的专用 3D 跟踪器。 §1
提升有四类失败模式：对应误差扰动射线，深度抖动和漂移沿射线位移，错误表面深度，以及缺失观测。 §3.1
仅当距离为正且可见性超过跟踪器特定 gamma 时保留观测；AllTracker 的 gamma 为 0.85，CoWTracker 的 gamma 为 0.65。 §A.1
交替时间注意力和跨轨迹注意力的每个块成本为 O(PN^2+NP^2)，而所有 token 上联合注意力为 O(P^2N^2)。 §3.3
训练使用 PointOdyssey 干净 3D 轨迹及模拟提升破坏，无需图像或 provider 推理。 §3.4
一个训练好的校正器无需重新训练即可改善全部六个评估的跟踪器-几何提升。 §1
校正器原样返回跟踪器可见性分数，并细化 AJ 和 EPE 使用的位置。 §C.2
性能仍对输入几何敏感，这推动了对几何误差和持续对应误差的鲁棒性研究。 §5

思维导图

mindmap
  root["ReLift"]
    ["问题"]
      ["联合3D跟踪需要稀缺4D监督"]
      ["提升继承对应与深度误差"]
      ["遮挡深度来自遮挡物"]
    ["提升基线"]
      ["2D跟踪器射线加深度距离"]
      ["掩码低可见性观测"]
      ["插值间隙"]
      ["以相同几何媲美3D跟踪器"]
    ["校正器"]
      ["T帧上的P轨迹组"]
      ["每条轨迹内的时间注意力"]
      ["块内的跨轨迹注意力"]
      ["预测无限制3D残差"]
      ["可见性分数不变"]
    ["训练"]
      ["PointOdyssey干净轨迹"]
      ["随机几何破坏"]
      ["无跟踪器深度模型或渲染器"]
      ["与 provider 无关的迁移"]
    ["结果"]
      ["WorldTrack平均APD3D增益"]
      ["改善全部六个提升"]
      ["Kubric使用4RC几何"]
      ["相对4RC的运行时间"]
    ["局限"]
      ["对输入几何敏感"]
      ["Sim3下Kubric落后4RC"]
      ["可见性来自2D跟踪器"]