TAC-CoT：通过交错显式 Token 实现的工具赋能隐式思维链

TAC-CoT 将紧凑的连续推理片段与显式工具调用、观察和答案交错排列，在减少前向传播的同时提升智能体数学与 QA 准确率。

显式 CoT 将所有中间推理显式化，这会增加推理成本，并使模型更容易受到错误累积的影响。隐式 CoT 用紧凑的连续 token 替代文本理由，但先前方法在单个不间断块中消耗固定的隐式 token 预算。这使得工具使用在结构上不可行，因为没有中间点可用于发出工具调用或接收观察，并且它为更困难的查询分配的推理能力不足。

TAC-CoT 将每个显式推理片段替换为由 b 个连续思维 token 组成的隐式片段，同时将工具调用、观察和最终答案保持为显式文本形式。每个连续思维 token 通过投影最后一层隐藏状态获得，并经输入嵌入反馈回去，从而绕过词表投影。训练数据的构建方式为：当来源包含工具交互时，转换可执行标注；当来源不包含工具交互时，使用 DeepSeek-V3 作为工具增强求解器，仅保留预测答案与金标准答案匹配的轨迹。模型通过自蒸馏训练，学生和教师使用相同骨干，并以显式轨迹作为教师信号。在推理时，模型生成一个隐式片段，比较动作与答案路由 logits，然后要么解码并执行工具调用，要么生成最终答案。每次工具观察后，模型继续生成另一个隐式片段，因此片段数量在运行时动态确定。

• TAC-CoT 将准确率最高提升 8.8 点，同时将模型前向传播最多减少 6.8 倍。 §Abstract
• 在 QA 基准上，TAC-CoT 在检索步骤的答案覆盖率优于 Explicit-CoT。 §3.3
• 使用连续思维 token 相比 0 CT 设置提升了平均数学准确率。 §C.1
• 在 Llama-3.2-1B-Instruct 全量微调下，TAC-CoT 在 GSM8K、GSM-Hard、SVAMP 和平均值上相较 Explicit-CoT 智能体提升了数学准确率。 §C.3
• 在 GPT-2 骨干并采用全量微调下，TAC-CoT 在 GSM8K、GSM-Hard、SVAMP 和平均值上相较 Explicit-CoT 智能体提升了数学准确率。 §C.3
• TAC-CoT 减少了前向传播和实际耗时，并在数学与 QA 基准上报告了平均前向传播减少量和实际加速比。 §C.6

• 自适应路由机制在片段级别而非 token 级别运行。
• 更长交互范围仍是评估 TAC-CoT 实际部署的重要方向。
• 实际耗时加速比小于前向传播减少量，因为总延迟包括未优化的执行路径、并行化开销和 API 调用延迟。

• TAC-CoT 将隐式推理片段与用于工具调用、观察和最终答案的显式 token 交错排列，为智能体工具使用保留可执行接口。 §2.1
• 每个由 n 个离散 token 组成的显式推理片段被替换为由 b 个连续思维 token 组成的隐式片段，其中 b 小于 n。 §2.1
• 连续思维 token 通过投影最后一层隐藏状态产生，并作为输入嵌入反馈回去，遵循 CODI 绕过词表投影。 §2.1
• 训练轨迹的构建方式为：对包含工具交互的来源通过转换得到，对不包含工具交互的来源通过更强的 LLM 求解器并配合金标准答案过滤得到。 §2.2
• 训练采用自蒸馏，其中同一骨干同时作为学生和教师，显式轨迹提供教师信号。 §2.3
• 在每个片段边界，路由 logits 决定解码工具调用还是答案；工具观察会在恢复隐式推理之前被追加。 §2.1
• 随着允许的计算器调用次数从 0 增加到 4 再增加到无限制，GSM8K 准确率单调提升。 §C.4
• 在 oracle 推理下，显式自然语言推理可能有帮助，但由于错误累积，其优势会随着生成推理步骤数量增加而减弱。 §C.5