导航菜单
AnchorComplete:从部分点云恢复完整场景网格
AnchorComplete: Recovering Complete Scene Meshes from Partial Point Clouds
Weirong Chen, Ismail El-Yamany, Ganlin Zhang, Chuanxia Zheng, Andrea Vedaldi, Daniel Cremers
2026-11-05▲ 9arXiv 2611.03228v1Hugging Face
本页由 AI 根据论文全文生成(deepseek-flash),可能有误,请以原文为准。
一句话
AnchorComplete 通过将基于 TRELLIS.2 的生成器锚定到观测点,并生成度量尺度的由粗到细窗口,从部分点云重建完整场景网格。
要解决的问题
基于图像的三维重建器主要恢复可见表面,因此部分点云包含大孔洞,未观测区域仍未解决。早期的补全方法针对归一化坐标中的单个物体,而近期的场景补全模型通常在给定视场内补全,并输出点云或体素网格,而不是完整网格。本文旨在从部分点云恢复完整场景网格,同时保留观测几何,并扩展到不同物理尺寸的场景。
方法
AnchorComplete 构建于 TRELLIS.2,并以部分彩色点云作为输入。对于部分点条件,采用冻结 Utonia 骨干的点编码器和训练好的四层 Q-Former 生成 768 个锚 token,通过交叉注意力为两个 flow 阶段提供条件,替代图像或文本 token。局部路径将可见点体素化,用结构编码器编码,并用该证据初始化可见 latent 单元,同时在每个去噪步骤拼接可见性掩码;Stage 2 还接收带逐体素可见性标志的可见 latents。度量尺度的由粗到细生成使用 level 0 作为单个全场景立方体,level 1 和 level 2 作为固定物理尺寸窗口,其中 level-2 窗口宽度为 level-1 窗口的一半,并使用固定单元大小的 512^3 网格。每个更细窗口从未观测区域中 alpha=0.8 的父占用开始,窗口重叠其宽度的四分之一并仅保留中心,最细层将解码窗口合并到公共网格以生成单个网格。两个 flow 模型从 TRELLIS.2 图像到三维检查点微调,使用 rectified-flow 速度损失,在窗口裁剪和父预测或受损真值父级上训练。
实验结果
- 在四视图完整场景重建上,AnchorComplete 在 Replica 和 SCRREAM 上领先完整区域指标,CD_all 为 0.067 和 0.076,F0.1 为 0.819 和 0.786。 §4.2
- 在稀疏视图下,AnchorComplete 在每个测试视图数上均以 CD_all 和 F-score 领先 DA3、NKSR 和 Surflo;在 10 视图时,其在 Replica 上的 F0.05 为 0.829,对比 NKSR 的 0.754;在 SCRREAM 上为 0.697,对比 0.674。 §4.3
- 对部分点条件进行消融显示,完整条件给出 CD_all 0.067,而无局部注入为 0.105,无全局 token 为 0.086;移除局部注入造成最大下降。 §4.4
- 由粗到细层级将高曲率 Fdet0.02 从 level 0 的 0.429 提升到 level 2 的 0.673,并将 F0.02 从 0.485 提升到 0.801。 §4.4
- 无需重新训练,AnchorComplete 在不同输入点云来源上仍然有效,F0.05 从 VGGT-Omega 的 0.547 到 LiDAR 的 0.761。 §A.4
局限
- 论文指出当前模型仅预测几何,不建模外观;使用 RGB 监督和外观感知解码器进行扩展仍待研究。
- 论文指出性能依赖上游几何质量,因此漂移、尺度误差或系统性深度偏差可能传播到生成网格。
- 论文指出训练和评估聚焦室内场景,对室外、无界或显著不同场景分布的泛化仍待研究。
- 论文在失败案例附录中指出,模型仅在干净几何上训练并将输入视为可靠锚点,因此严重上游失败会被继承而非纠正。
要点
- 问题设定:输入来自重建、SLAM 或扫描的部分点云;输出是完整场景网格,不需要密集采样的带位姿图像、定向法线或逐场景优化。 §1
- 全局锚 token 从点观测编码,并通过交叉注意力代替图像或文本条件 token 输入到两个 TRELLIS.2 flow 阶段。 §3.2
- 局部空间注入将可见点体素化,用编码后的可见几何初始化可见 latent 单元,并在每个去噪步骤提供可见性掩码;Stage 2 还接收可见 latents 和逐体素可见性标志。 §3.2
- 度量尺度的由粗到细生成将网格单元大小与场景范围解耦:level 0 看到整个场景,level 1 和 level 2 使用固定物理尺寸窗口,进一步层级会再次将窗口减半。 §3.3
- 父级热启动在未观测区域使用 alpha=0.8,在观测区域遵循输入几何,窗口重叠其宽度的四分之一,仅保留中心,并在最细层将解码窗口合并为一个网格。 §3.3
- 训练使用 rectified-flow 速度损失从 TRELLIS.2 image-to-3D 检查点微调两个 flow 模型;用于热启动的父级通常是预测,否则为受损的真值父级。 §3.4
- 评估报告 CD_vis、CD_all 和 F-score,其中准确率仅在输入视图视锥内计算,因为观测区域外的补全是多模态的。 §4.1
- 在定性展示的两个真实世界房间(八视图)上,NKSR、SG-NN 和 Seen2Scene 恢复布局,但在覆盖变薄处表面参差且有孔洞,而 AnchorComplete 将其闭合。 §4.2
思维导图
登录
选择一种方式继续
登录即表示你同意我们的服务条款和隐私政策