PhotoGuider: Composition-Aware Cropping and 360^{circ} View Framing with Explainable Photographic Assessments

PhotoGuider 使用紧凑的学习型评分器度量四个摄影 token，以选择 360° 视角方向、对裁剪进行排序与细化、输出相机参数，并生成以测量为条件的解释。

传统图像裁剪假设照片已经包含值得保留的构图，只询问在哪里裁剪。完整的 360° 场景不提供这种保证，因为必须先发现观看方向，之后才能取景。现有 2D 裁剪方法假设已有拍摄好的照片，而全景取景引入了更早的方向决策。

PhotoGuider 使用基础视觉模型和任务专用视觉模型提取 60 个构图感知特征，并将其划分为 Subject、Composition、Aesthetics、Integrity token。候选取景由 DINOv3 注意力、InSPyReNet 掩码和框几何生成；DPP 初筛十个，LightGBM 排序器使用 17D 核心特征层级和 60D 完整特征层级为前三名评分。当 LightGBM 回归器预测到足够 IoU 增益时，门控细化会对所选画面进行重新居中、扩展或收缩。对于 360° 场景，透视视图由按 token 分组的加性视图评分器评分，最佳方向被重投影，裁剪被转换为 pan、tilt、视场角和宽高比以重新渲染。解释来自 TreeSHAP 归因和经 QLoRA 调优的 MLLM，其以测得的 token 和几何为条件。

• PhotoGuider 完整版在 FCDB 和 FLMS 上平均取得最高平均 mIoU 和最低平均 BDE；快速模式报告平均 BDE 0.050 和 IoU 0.797。 §4.2
• 在盲测 360° 排序研究中，PhotoGuider 获得 53.2% 的第一名排名，而 Venus 为 27.3%，CACNet 为 19.5%，并在 100 个场景中赢得 59 个。 §4.3
• 在双盲解释研究中，PhotoGuider 的解释获得 250 票中的 40.0%，领先于 Venus 的 32.8% 和 ArtiMuse 的 27.2%。 §4.2
• 微调解释器将检测器测得的矛盾率从 6.31% 降至 1.55%。 §4.2
• 完整细化将 FCDB 上的 mIoU 从 0.754 提升到 0.759，将 FLMS 上的从 0.820 提升到 0.835，同时降低 BDE。 §A.6
• Token 消融显示 Subject 和 Composition 是最强的单个特征组，四个 token 组合总体最佳。 §4.2

• 取景调整依赖离散步长比例，因此落在采样区间之间的目标会被近似。
• 视图选择使用单一 argmax，即使场景中存在多个强区域也只返回一个画面，而不考虑用户偏好。
• 解释偏好研究使用五张图像，因此解释器偏好的更广泛泛化性仍未确定。

• PhotoGuider 是一种先度量后取景的方法，通过对共享的构图感知特征使用紧凑的学习型评分器，回答 360° 方向选择和取景问题。 §Abstract
• PhotoGuider 在每个透视帧上度量 60 个特征，并将它们分组为 Subject、Composition、Aesthetics、Integrity token。 §A.1
• 候选生成从八个来源创建约 300 个框；DPP 选择十个取景，前三名进入主排序器。 §3.2
• 决策层只有 63k 参数，将 MLLM 限制为有界顾问角色，既不评分也不做决策。 §1
• 排序器在 17 维核心集和 60 维完整集上使用两对回归与排序模型，生成三个质量分数。 §3.3
• Recenter 使用竞争三分法和 CLIP 注意力目标；当预测 IoU 增益超过阈值时，四个扩展门和收缩回退会调整所选裁剪。 §3.4
• 对于 360° 场景，按 token 分组的加性视图评分器选择方向；工作视图被裁剪并转换为 pan、tilt、视场角和宽高比。 §3.7
• 解释使用 TreeSHAP 归因和带有四个蒸馏过滤器的 Qwen2.5-VL-7B 教师；学生模型通过 QLoRA 训练。 §3.6