IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?

IdeaTaste 通过将基于2025年文献快照撰写的提案与人类社区在2026年发表的论文进行比较，来评测LLM的研究品味；发现LLM智能体在引用和想法匹配上远低于人类水平，主要失败在于无法将方向转化为具体方法。

AI科学家现在可以承担研究流程中的许多工作，但他们的研究品味——即判断读什么、追求哪些问题和方法——远不如其执行研究的能力那样被理解。现有评测大多一次判断一个想法，或衡量生成群体内部的重复性，而不是AI选择是否类似人类社区的选择。IdeaTaste 使用社区后续发表的成果作为已实现研究选择的参考。

IdeaTaste 将截至2025年的文献冻结为语料 U，并使用2026年论文作为人类参考 H，覆盖四个领域：机器学习系统、代码生成、世界模型和自动化研究。LLM 智能体仅基于 U 撰写提案，并将提案与 H 在引用层面和想法层面进行比较；想法使用五个槽位：贡献类型、问题、动机、提出方法、研究计划。匹配度量与人类论文的一致性，多样性度量提案之间的差异；人类水平将相同指标应用于 H 与自身比较。四种方法改变智能体所知：free、topic、landscape 和 frontier。评测六种近期语言模型，覆盖超过90,000个提案。

• 在超过90,000个提案中，LLM智能体在引用匹配上达到人类水平的约26%，在想法匹配上仅18%。 §Abstract
• 在盲审专家评审中，AI提案在展示方面与2026年论文差距最小，在预期成功率方面差距最大；且想法未被任何人类论文共享的提案表现最差。 §Abstract
• 在每设置300个提案的第二次运行中，匹配指标的绝对变化至多0.44个百分点，多样性指标至多2.20个点。 §E.2
• 群体规模扩展将群体扩大至3.8到17倍，匹配缓慢上升后几乎趋于平缓。 §E.3
• 泄漏分析使用 Gemini 3.5 Flash-Lite 的2026年3月数据截止时间划分参考；数据暴露并无帮助。 §E.5
• 在自动化研究中，人类2026年论文与2025年语料的重叠为10.26，free群体为6.34。 §E.7

• A.4 指出：人类参考包含模型辅助和未经评审的预印本，因此并非纯同行评审的人类工作。
• A.7 指出：收集缺口仍然存在，包括缺少摘要的语料记录、近期预印本的索引滞后，以及可能落在两条收集路径之外的未被引用预印本。
• 实验未解决：该基准覆盖四个研究领域，因此未测试对其他领域的泛化。
• E.3 指出且实验未解决：群体固定为每设置300个提案，仅在部分设置中测试了扩展。

• 研究品味被定义为判断读什么、追求哪些问题以及尝试哪些方法。 §1
• IdeaTaste 将截至2025年的文献冻结为语料，并使用2026年论文作为四个领域的人类参考。 §3.1
• 提案与论文在引用层面和想法层面进行比较，使用五个想法槽位以及匹配和多样性指标。 §3.2
• 四种方法改变LLM智能体所知：free、topic、landscape 和 frontier。 §3.3
• LLM群体主要在具体方法和研究计划上不足，而非问题和动机。 §1
• 盲审专家评审将不匹配的AI提案解释为较弱方向，而非被忽视的机会。 §A.5
• 论文得出结论：主要瓶颈与其说是寻找方向，不如说是将方向转化为具体方法。 §6
• 调查参考覆盖审计报告称，引用扩展的总体覆盖率为89.1%。 §A.3