HairDeck: Animation-Ready Stylized Hair Cards from a Single Image

HairDeck 通过将每张发片编码为一个 token，并使用集合扩散Transformer对所有 token 一起去噪，从单张图像或点云生成风格化发片和弹簧骨骼链。

风格化游戏和虚拟形象头发由美术放置的发片构成，并用弹簧骨骼动画，但美术必须手动放置每张发片并为每条链绑定。现有头发生成器输出真实发丝，发片提取面向真实 alpha 纹理发片，图像到3D生成器输出单个融合网格，没有可动画的发片。CHARM 是唯一生成风格化发片的生成器，它以长序列控制点自回归解码发型。

HairDeck 用位置、宽度和厚度的控制点，以及截面类型和根法线来描述每张发片；发片 VAE 将变长控制点编码为 latent，一个 token 保存该 latent 以及发片的根位置、根法线、截面类型和存在标志。一个无位置嵌入的集合扩散Transformer 使用流匹配对所有发片 token 一起去噪，以点云或图像为条件，空槽上的存在标志决定出现多少张发片。对于单张图像，HairDeck 在面部锚定的头部坐标系中预测发片，并通过合成风格增广和由图像编辑模型重新风格化的渲染来扩展训练渲染。第二个集合扩散Transformer，即 chain DiT，从发片 token 一起生成发型的所有弹簧骨骼链，每个链 token 保存其路径、关节数和刚度。固定几何蒙皮将发片附着到链上，生成可动画资产并导出到下游格式。

• 在 CHARM 的 100 个点云测试发型上，HairDeck 降低 Chamfer distance 和 orientation error，同时运行速度远快于 CHARM。 §4.2
• 使用相同 token 的发片级自回归模型比集合公式精度更低、速度更慢，并且平均生成更少发片。 §4.2
• 在单张图像上，HairDeck 的对齐 CD 和失败率更低，且耗时少于 CHARM、图像到3D生成器和转换后的 DiffLocks 发丝。 §4.3
• 在点云消融中，从发片 token 移除根法线会提高 orientation error。 §4.4
• 在美术发片上，chain DiT 在 recall、precision 和 motion correlation 上比检索和程序化绑定更好地恢复美术弹簧骨骼链；从生成发片和单张图像得到的分数更低。 §4.5

• 附录 F 说明了野外插画上的失败案例，其中 matte 内的物体会变成发片。
• 实验未解决单张图像得到的弹簧骨骼链质量较低的问题：chain CD 为 0.407，recall 为 0.390，而在美术发片上分别为 0.279 和 0.625。
• 实验未解决非零图像失败率：测试角色上为 3.5%，野外图像上为 10%。
• 链评估仅覆盖 58 个带链的测试发型。

• 风格化发片是截面为菱形或三角形、宽度和厚度沿发片变化的带状物，由弹簧骨骼链驱动动画。 §1
• 每张发片变成一个连续 token，保存发片 VAE latent、根位置、根法线、截面类型和存在标志。 §1
• 无位置嵌入的 set DiT 使用流匹配对所有发片 token 一起去噪，以点云或图像为条件。 §3
• 空槽和存在标志让模型决定生成多少张发片。 §3
• 单图像生成使用面部锚定的头部坐标系、合成风格增广，以及由图像编辑模型重新风格化的渲染。 §1
• chain DiT 以发片 token 为条件，将弹簧骨骼链作为第二个集合生成，固定几何蒙皮将发片附着到链上。 §3.4
• set DiT 有 12 层、宽度 768、181.3M 参数；chain DiT 有 8 层、宽度 384、30.5M 参数。 §3.5