Advances in Agentic Computer Graphics

本报告提出一个用于执行计算机图形任务的 LLM-agent 系统的四维分类法，并构建一个 agentic 文献调研系统，将该分类法大规模应用于 350 篇论文，揭示设计趋势与开放挑战。

Agentic 图形研究快速增长，并且在 CAD、动画、仿真和 2D 设计中使用不一致的术语描述，因此共同的设计选择被掩盖，跨工作比较困难。作者指出文献规模庞大且似乎以指数速度增长，截至 2026 年 9 月发表的语料超过 300 篇，使人工综述难以跟上。报告通过统一分类法以及基于该分类法构建的自动化文献调研系统，同时应对规模与术语问题。

作者首先用三条标准定义 agentic 图形系统：LLM 至少做出部分动作决策；操作在图形环境中执行以创建或修改内容；对结果或执行的反馈被用于选择或修正后续动作。随后提出一个四维分类法：规格（任务、输入形式、输出）、基础模型（模型类型与训练）、执行框架（规划与行动、反馈机制、记忆）以及图形接口与工具（动作类型、图形软件、工具、资源、表示）。第二项贡献是一个 agentic 文献调研系统，依次进行论文发现、基于证据的标注和知识整理，使用遵循 SWE-agent 的专用研究工具，并记录分类标签、设计洞见、局限和来源证据。每次运行以分类法、候选论文、先前记录、日期截止和阅读预算作为实例化输入。作者使用 GPT-6 Astra 在中等推理强度下运行该系统，汇编了 2024 年至 2026 年 9 月发表的 350 篇论文语料，随后人工核验相关性。该分类法随后用于组织 2D 图形、静态 3D 资产和动态 3D 资产中的应用，并分析趋势与开放问题。

• 该调研系统汇编并人工核验了 2024 年至 2026 年 9 月发表的 350 篇论文语料，逐篇记录分类标签、设计洞见、局限和来源位置。 §4.2.1
• 视觉反馈是使用最广泛的观察类型，在将观察作为反馈的工作中占 77.0%，且有 58.2% 结合多种观察类别。 §4.2.2
• 作为更新策略，局部修补在所分析时期内越来越常见，从 50.0% 上升到 83.0%。 §4.2.2
• 文档和规则作为支撑资源变得更加普遍，在最新时期达到记录的 85.3%。 §4.2.2
• 任务类型与更新策略相关：CAD 生成更常依赖完全重新生成，而场景生成更常使用局部修补更新；场景生成在视觉和结构观察分配中占比最大，而 CAD 在运行时观察中占比最大。 §4.2.2
• 跨任务来看，多数现有系统依赖现成基础模型，针对图形任务的监督或强化后训练探索相对有限，而执行框架设计表现出更大的多样性；代码和结构化规格仍是主要交互形式。 §10

• 语料受日期截止和阅读预算限制：所报告的运行覆盖 2024 年至 2026 年 9 月发表的论文，并且之后需要人工核验相关性（见 §4.2.1）。
• 趋势分析报告为作者称分析揭示的若干显著模式中的四个选定模式，且部分解释以“可能”或“也许反映”等措辞保留（见 §4.2.2）。
• 摘要列出了报告未解决的开放挑战——跨图形任务协调智能体与工具、为人–智能体协作设计接口与表示、维持长时程规划与改进，以及可靠评估交互式图形系统（见 §Abstract）。
• 所调研系统的证据在若干处仍未闭合：论文指出 CoDimRecon 的材质设置未根据真实世界测量校准，而且即使轨迹匹配接近，底层机制仍受约束不足（见 §8）。

• 只有当 LLM 至少做出部分动作决策、操作在图形环境中执行以创建或修改内容、且对结果或执行的反馈会修正后续动作时，系统才算作 agentic 图形；单次 LLM 生成以及仅用于训练或最终评估的反馈被排除。 §2
• 该分类法有四个维度：规格、基础模型、执行框架、图形接口与工具，并以图标表示的可选项在应用表中复用，以便跨任务比较。 §3
• 执行框架协调规划与行动、反馈机制（验证器加反馈信号）以及记忆（保留时间和访问范围）。 §3.3
• 动作类型包括代码/脚本、结构化规格、工具/函数调用和 GUI 动作，按图形指令而非提交机制分类。 §3.4.1
• 图形环境分为 agent 原生、agent 适配和通用型，源码可用性、API 覆盖和文档访问作为单独属性处理。 §3.4.2
• 区分六种重叠表示：代码、几何、动态状态、场景结构与布局、像素以及学习状态；一个工作流可能同时保留多种表示，因此用于编辑的表示和通过反馈暴露的表示应分别识别。 §3.4.5
• 该调研系统依次进行论文发现、基于证据的标注和知识整理，提供遵循 SWE-agent 的专用研究工具，并且记录跨运行保留，以便加入新论文并重新审视标注。 §4
• 讨论的开放问题与机会包括跨图形任务协调智能体与工具、人–智能体协作的接口与表示、长时程规划与改进，以及交互式图形系统的可靠评估。 §Abstract