TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents

TauIndianBankBench 是一个包含 1,000 个任务的印度零售银行基准，用于评估使用工具的对话智能体是否完成规定流程步骤和最终记录。

印度银行需要既能提供正确信息又能遵循书面服务规则的助手，这些规则规定了必要步骤，例如在关闭存款前获取结清报价。现有的工具使用基准通常只评判最终记录，但许多必要步骤不会改变记录，因此跳过这些步骤的助手仍可能被判定成功。论文提出了一个评估印度零售银行流程和结果的基准。

TauIndianBankBench 是一个合成印度零售银行环境，包含工具目录、书面政策、监管知识库和 1,000 个任务，在 tau2-bench 测试框架中运行，并使用模拟客户和共享数据库。任务分为顺序、边缘情况、稀有工具和对照类别，训练和测试划分均从基础集中抽取。每个会话获得两个通过/失败判定：最终状态检查将记录与金标准链的 oracle 重放进行比较；动作检查要求每次金标准链调用（包括读取）以及写入纯净性。仅当两项检查均通过时，会话才通过。论文在确定性采样和相同模拟客户下，对五个 Gemma 4 模型和 Qwen3.8-27B 进行评估，每个任务仅尝试一次。

• 在 1,000 个任务的 base 划分上，总体通过率从 Qwen3.8-27B 的 0.849 到 Gemma 4 E2B 的 0.479 不等。 §5.1
• 仅对最终记录评分会使每个模型的通过率提高 6.5–12.0 个百分点，即其会话中流程违规所占比例。 §5.2
• 对于三个最强模型，仅通过最终状态检查的会话多于仅通过动作检查的会话（p<10^{-8}）；对于 E2B 则相反（p<10^{-3}）。 §5.3
• 对照类别有 112 个任务，平均 1.38 次调用，其中 93 个没有写入；在四个 dense Gemma 模型中，通过率保持在 0.804 到 0.929 之间，且没有规模趋势。 §5.6
• 脚本化智能体未通过任何任务：第一个仅回复，第二个在没有必要调用的情况下查询记录，第三个声称完成，第四个进行所有可用更改并违反写入纯净性。 §5.7
• 最强与最弱模型之间的差距在五次调用任务上最大（0.614，相比一次调用任务的 0.024）。 §5.5

• 论文指出，分数同时取决于助手和模拟客户，且未测量模拟器自身的错误率。
• 所有客户数据均为合成数据，因此每种边缘情况类型的频率反映的是生成记录，而非实际银行流量。
• 版本 1.0.0 仅覆盖英语的印度零售银行业务。
• 评估计算成本高昂：一次 base 划分运行需要 1,000 个对话，每个最多 200 步，而估计 pass^k 会将此成本乘以 k。

• 该基准包含 1,000 个印度零售银行任务，由助手帮助模拟客户。 §Abstract
• 在语料库中，1,000 个已发布任务里有 962 个至少需要一次只读调用，114 个不需要写入调用。 §1
• 任务数量为：顺序类 470、边缘情况 266、稀有工具 152、对照 112。 §D
• 工具目录包含 33 个服务工具和 13 个写入；第 34 个工具将客户转接给人工客服。 §B
• 动作检查检查轨迹，最终状态检查检查最终数据库，写入纯净性要求每次写入都与金标准链中的写入匹配。 §3.2
• 提前停止占失败会话的 49.6–64.0%。 §G.3
• 五个 Gemma 模型的第二次运行使每个通过率变化至多 2.7 个百分点，尽管 14–26% 的任务结果发生变化。 §5.8
• 200 个任务的 lite 划分用于开发和消融，base 划分用于未调优模型的最终报告。 §Limitations