OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images

Junyeong Ahn, Geonwoo Kim, Kinam Kim, Gihwi Kim, Hoonjin Jung, Hyojin Jang et al.

2026-10-29▲ 47arXiv 2610.35684v1 Hugging Face 代码

本页由 AI 根据论文全文生成（deepseek-flash），可能有误，请以原文为准。

一句话

OmniShowcase 通过将基于 3D 资产的数据合成管线与从参考图像重建的表面法线转台条件相结合，从多视角参考图像生成全景式主体一致的视频。

要解决的问题

从单张参考图像生成主体到视频必须推断输入中不可见的表面和几何结构，因此随着相机移动，生成视频可能丢失外观和 3D 一致性。近期多视角扩展提供了更多参考信息，但没有显式指定连接这些视角的 3D 结构。现有训练数据也无法保证视角变化能保持同一底层 3D 主体。

方法

OmniShowcase 从少量参考视角重建主体的 3D 表示，并将该重建渲染为表面法线图的转台。它以参考图像和该法线序列为条件来驱动预训练视频扩散模型，而不要求法线与目标序列之间具有时间对齐。训练数据管线使用 Blender 从精选 3D 资产渲染目标轨道和四个参考视角，通过视频修复将目标合成到提示驱动的场景中，并重建四个视角以渲染表面法线转台。模型将参考图像和法线条件注入到经 LoRA 调优的图像到视频扩散 transformer 的参考通路中。训练使用 Wan2.1 I2V-14B-480P，LoRA 秩为 128，25 帧法线条件帧和 80 帧目标帧，分辨率为 480×832。

实验结果

在 ShowcaseBench 上，OmniShowcase 报告 DINO 0.799、CLIP 0.925、MEt3R 0.190 和 GT-CD 0.0824，相比之下 3DreamBooth 为 DINO 0.707、GT-CD 0.1717，MV-S2V 为 DINO 0.688。 §4.2
在 NAVI 上，OmniShowcase 报告 DINO 0.828、CLIP 0.918、MEt3R 0.249 和 GT-CD 0.0975，相比之下 MV-S2V 为 DINO 0.770、GT-CD 0.1816。 §4.2
移除几何条件后，在 ShowcaseBench 上 DINO 从 0.799 变为 0.752，GT-CD 从 0.0824 变为 0.2092。 §4.3
在包含 44 名参与者和 24 个视频的用户研究中，OmniShowcase 在每个评价标准上都更受偏好，获得 70.9% 到 79.4% 的投票，而没有基线超过 12.7%。 §B
当训练片段作为生成结果与配对的 Uni3C 片段进行评分时，3D 资产渲染报告 DINO 0.8030、MEt3R 0.1871 和 GT-CD 0.1323，而 Uni3C 为 DINO 0.7167、MEt3R 0.3052 和 GT-CD 0.1409。 §E
Showcase-4K 包含 4,000 个视频，覆盖 620 个类别中的 2,593 个资产。 §G.1

局限

结论指出背景有时看起来像合成的。
结论指出无法处理在四个参考视角之间非刚性的主体。
附录 D 表明模型假设有四个参考视角；测试了更少视角，完整的四视角设置表现最佳。

要点

单视角主体到视频生成会让输入中不可见的表面不受约束，这促使采用多参考视角和显式几何。 §1
数据合成管线从 3D 资产渲染目标轨道和四个参考视角，然后通过视频修复将目标合成到提示驱动的场景中。 §3.2
Showcase-4K 覆盖十二种相机运动和 88 种轨迹配置。 §Abstract
条件使用从参考视角重建的表面法线图转台，而不与生成帧进行时间对齐。 §3.3
参考图像和法线条件被注入到经 LoRA 调优的图像到视频扩散 transformer 的参考通路中。 §3.3
每个训练样本包含一个 25 帧法线条件片段和一个 80 帧目标片段，分辨率为 480×832，训练 33,000 步。 §C
几何条件消融将完整表面法线与无几何、纹理渲染以及从 25 到 9 个视角的稀疏转台进行比较。 §4.3
一项包含 44 名参与者、24 个未见视频的偏好研究报告，OmniShowcase 在全部四项标准上被选择最多。 §B

思维导图

mindmap
  root["OmniShowcase"]
    ["问题"]
      ["单视角 S2V 的不可见表面"]
      ["多视角缺少显式 3D 结构"]
      ["训练数据可能不保持 3D 主体"]
    ["数据合成"]
      ["3D 资产渲染"]
      ["场景合成"]
      ["表面法线转台"]
      ["Showcase-4K"]
      ["ShowcaseBench"]
      ["88 种相机轨迹"]
    ["几何条件"]
      ["四个参考视角"]
      ["重建 3D"]
      ["表面法线图"]
      ["无时间对齐"]
      ["上下文参考通路"]
    ["模型与训练"]
      ["Wan2.1 I2V-14B-480P"]
      ["LoRA 秩 128"]
      ["25 帧法线加 80 帧目标"]
      ["33,000 步"]
      ["四块 B200 GPU"]
    ["评估"]
      ["身份指标"]
      ["3D 一致性指标"]
      ["文本与视频质量"]
      ["用户研究"]
      ["消融"]
    ["局限"]
      ["背景看似合成"]
      ["未处理非刚性主体"]
      ["假设四个参考视角"]