Wizard: Manipulate Any World in Real Time via Agentic Control

Wizard 是一个智能体式游戏世界模型，它将显式游戏状态控制与视频生成解耦，从而实现对场景、角色和动作的实时、零样本控制。

现有游戏世界模型限制了控制灵活性，对未见环境和角色的泛化能力较差，并且实时交互性有限。以动作为条件的模型将玩家限制在预定义动作集内，而以提示词为条件的模型依赖训练中见过的动作和技能模式。使用结构化代理的智能体框架主要展示车辆驾驶和角色移动等基础运动，对关节化角色动作的支持有限。

Wizard 使用编码深度和高度的几何代理表示场景，并使用关节化骨架表示角色，形成统一的视觉代理。智能体框架更新场景几何、驱动骨架动画、从动作库检索并重定向动作，并维护战斗状态。视频生成器基于 Wan2.2-TI2V-5B 构建，并以代理序列、初始场景图像和角色参考图像为条件。它使用通道拼接、零初始化条件嵌入和角色感知自适应注意力掩码，将参考绑定到角色区域。因果适配和少步蒸馏实现实时自回归推理。

• 构建的数据集包含 50.3 小时对齐的代理-视频对，覆盖 750 个场景和 178 个角色。 §3
• Wizard 使用基于几何场景代理和关节化角色骨架的智能体控制，支持以 24 FPS 进行实时交互。 §1
• Wizard 在定性战斗推演中展示了无需额外训练即可对新颖场景、角色和动作进行零样本泛化。 §5.2
• 智能体框架执行一条战斗规则：当任一角色的生命值降至零时，控制器判定死亡、结束战斗并显示结果。 §5.2
• 玩家可以在游戏过程中使用参考图像变换角色，并通过智能体控制的视觉代理反转环境或引入新场景元素来操纵场景。 §5.3

• 依赖动作库使得难以为具有不常见身体结构的角色找到兼容动作。
• 场景代理与生成视频之间的一致性在较长推演中可能下降。
• 实验在第 5.2 节和第 5.3 节报告定性可视化，未提供定量指标或基线，因此定量评估仍待开展。

• Wizard 通过结构化空间条件将场景构建、角色动画和游戏玩法逻辑与视觉生成解耦。 §1
• 数据集包含来自真实游戏、合成数据、Unreal Engine 仿真和公开数据集的 50.3 小时对齐代理-视频对、750 个场景和 178 个角色。 §3
• 场景代理编码深度和高度，而角色骨架和几何形成统一视觉代理；通道编码区分角色实例和相机相对朝向。 §1
• 视觉语言模型根据角色形态和预期动作风格，从动作库中检索兼容骨架和动画，然后重定向它们。 §1
• 自适应掩码将参考图像注意力限制到对应角色区域，以增强外观对齐并保持身份。 §4.2
• 智能体维护包括生命值、相对距离和朝向在内的显式战斗状态，以执行游戏规则并调整 Boss 行为。 §1
• 应用因果适配和少步蒸馏以实现实时自回归视频生成。 §4.2