ALTK-Evolve 如何在无需前沿模型的情况下凭借学习记忆登上 τ²-bench 客服任务排行榜

ALTK-Evolve 使用 GPT-4.1 学习并应用一套操作手册，在 τ²-bench（一个客户服务代理基准）上击败了零售领域的参赛方案——且无需更新模型权重。

学习到的记忆让使用 GPT-4.1 的基础 ReAct 代理跻身顶尖

使用 GPT-4.1 这一较旧的非推理模型，一个基础客户服务代理在 τ²-bench 零售领域上达到 67.5% 的 Pass^4——这意味着对于 67.5% 的任务，它在全部四次独立尝试中都能解决任务。在我们 2026 年 10 月 12 日的排行榜快照中，它的得分高于所有零售领域参赛方案。它运行在基准测试自带的 ReAct 框架上，并将学习到的指导原则附加到系统提示词中。

ALTK-Evolve 使用 GPT-4.1 构建这套操作手册。 它分析代理在训练任务中的尝试，并利用模型将成功与失败提炼为简短的行为规则：如何验证客户身份、确认交易或处理退货。随后，这些指导原则会被添加到代理的提示词中，用于后续对话。同一个模型同时负责提取指导原则和驱动代理；无需更新权重，也无需人工标注。

我们的先前工作在编码代理上展示了这种方法。在这里，我们将其应用于客户服务领域进行测试；在该领域，成功需要遵循领域政策、理解客户请求，并执行正确的工具操作。

τ²-bench 测试受政策约束的客户服务

τ²-bench（来自 Sierra）衡量代理在真实约束下处理客户服务对话的能力。每项任务都会将代理与一个由 LLM 模拟的客户配对；该客户有自己的目标，代理则可以使用一组领域工具（查询订单、发放退款、重新预订航班），并且必须遵循一份书面的政策文档。代理必须询问并获取正确的详细信息、遵守政策，并采取正确的——通常不可逆的——操作；只有当最终数据库状态与预期结果一致时，任务才算解决，这是一种严格的二元奖励。我们使用其中的两个客户服务领域：零售和航空。

我们运行 τ²-bench 自带的基础 ReAct 代理实现，该代理采用两阶段的 THINK → ACT 循环，使用 gpt-4.1 作为代理模型，使用 gpt-5.5 作为客户模拟器模型；每项任务进行 4 次试验。我们唯一做出的改动是将一组学习到的指导原则附加到系统提示词中——其他所有内容（政策、工具、框架）均采用 τ²-bench 的原始设置。具体而言，学习到的指导原则会在领域政策之后以普通 Markdown 列表的形式附加：

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

我们使用gpt-4.1（即驱动代理的同一模型）从代理在 τ²-bench 训练任务中的轨迹中提取指导原则，然后在留出的测试集上原样应用这些原则。

指导原则提升能力与可靠性

在上一篇文章中，我们讨论了不同模型／任务需要不同程度的指导。与这一理念一致，我们还评估了向模型提供不同数量指导原则的效果。

每条指南都有一个支持度计数——即提取它所依据的不同训练任务数量，因此支持度越高，意味着该规则在更多任务中实现了泛化，而不是只适用于单个任务。我们比较三种配置：baseline（无指南）、sup3（仅保留支持度 ≥ 3 的指南——一个小型、高置信度核心集）以及lossless（保留整合后留存的所有指南，即支持度 ≥ 1）。

表 1。按领域划分的指南配置与留存指南数量。

我们跟踪的指标。每个任务尝试4 次，并从两个角度解读这些试验：

• 平均准确率——4 次试验的平均成功率。这是能力维度：智能体有多大概率能正确完成任务？
• Pass^4——4 次试验全部通过的任务百分比。这衡量的是可靠性维度，也是 τ²-bench 排行榜报告的指标。在这里它很重要，因为一个支持智能体即使 4 次中有 3 次成功解决退款问题，仍会让四分之一的真实客户遭遇失败——Pass^4 关注的是智能体是否能在每一次都值得信赖，而不只是平均表现如何。

图 1。使用 gpt-4.1 的智能体在每个任务进行四次试验时，在留出的零售和航空任务上的平均准确率与 Pass^4。

智能体模型：gpt-4.1（用户模拟器：gpt-5.5）。

表 2。使用 gpt-4.1 的智能体在每个任务进行四次试验时的留出任务表现。括号内显示相对于基线的百分点变化。

两个领域的平均准确率均有所提升——零售提升+4.4 个百分点（78.1 → 82.5），航空提升+7.5 个百分点（57.5 → 65.0）。可靠性提升得更多：严格的Pass^4在零售领域上升+10 个百分点（57.5 → 67.5），在航空领域也上升+10 个百分点（35.0 → 45.0）。而且，这些提升来自信息更充分的决策，而不是更长的对话——我们将在下文的更好的表现消耗更多 token，而不是更多轮次中直接考察对话长度。

最佳指南数量取决于领域

两个领域对于多少指南能够带来收益存在分歧。在零售领域，各项指标都是指南越多越好——小型的 sup3 核心集在准确率上仅略胜基线，而真正显著的提升需要完整的 lossless 集合。在航空领域，可靠性方面的情况则相反：lossless 在准确率上领先（65% 对 60%），但紧凑的sup3 核心集（14 条指南）更加可靠，将 Pass^4 提升至45%，而 lossless 只有 40%。这呼应了此前关于交付是一个可调节的旋钮，而非常量的发现：支持度计数值得按领域进行调节，不应硬编码为固定值。

更好的表现消耗更多 token，而不是更多轮次

指南并非没有成本，但成本落在预期的位置——即提示词输入 token，而不是更长、更啰嗦的对话：

图 2。完整基础划分中，按领域和指南配置统计的每次对话 LLM 总成本。

表 3。完整基础划分中，四次试验的每次对话 LLM 总成本（智能体和用户模拟器）。越低越好。

智能体是通过聊得更久才完成任务的吗？为了清楚地回答这一问题，我们进行了同类比较：比较基线和指南变体都成功完成的任务运行——场景和随机种子完全相同，是真正的“同一任务，正确完成”集合——并统计两边的助手轮次。

表 4。在测试划分中，两种设置均成功完成的匹配运行的每次对话助手轮次，汇总四次试验。

智能体并没有聊得更久——在共享集合中，指南反而让对话略短：lossless 在两个领域都减少了约 0.3–0.4 个轮次（零售 10.59 → 10.16，航空 9.15 → 8.82），且没有任何变体使对话变长。这一点的意义超越了成本：每个轮次都是一次串行的 LLM 往返，因此更少的轮次意味着更低的端到端延迟——客户能够更快完成任务，而不仅仅是成本更低。唯一真正的代价在输入端——每次 LLM 调用都要携带更大的系统提示词：零售领域包含 292 条指南的提示词将每次对话成本从约 $0.084 推高到约 $0.139，而航空领域较小的操作手册成本更低。而在生产环境中，即便这部分成本也基本可以通过提示词缓存收回，因为指南区块在每次调用中都完全相同。

因此，这是一笔有利的交易：只需付出略高的输入成本（其中很大一部分在实际使用中会被缓存掉），智能体便能同时获得更高的准确率、更高的可靠性，以及更短的完成时间——这不是通常的质量与延迟二选一，而是三者同时朝着正确方向发展。

学习得到的指南也能改进使用前沿模型的智能体

到目前为止，我们使用的是较旧的非推理模型——gpt-4.1。一个合理的质疑是，对于使用前沿模型的智能体，学习得到的指南可能没有那么多可发挥的作用：也许它们只能弥补较弱模型的不足。因此，我们直接进行了测试——在相同的 τ²-bench ReAct 框架上，使用gpt-5.5 同时作为智能体模型和指南提取模型，重新运行了航空任务，并从智能体自身的运行结果中重新挖掘指南。模型不同会带来一个细节变化：在这一设置下提取出的指南没有任何一条达到支持度 ≥ 3（最高为支持度 2），因此这里的高支持度核心是sup2，而不是 sup3。

表 5。gpt-5.5 智能体在航空领域的留出集表现；每个任务进行四次试验。

学习得到的指导原则也能改善这一配置。在相同的留出测试任务上，将它们附加到提示中可使准确率提高 10 个百分点（72.5 → 82.5），严格指标 Pass^4 提高 15 个百分点（55.0 → 70.0）——在这些相同任务上，这一可靠性提升幅度比我们使用 gpt-4.1 时观察到的还要大（+10 个百分点），而且起点高得多。即使模型本身更强，学习模型周边的指导原则也能提升智能体。基线的可靠性在重复运行之间波动，而无损配置每次都能精确复现——它带来的提升可靠可信，而非碰巧得来。

ALTK-Evolve 在排行榜对比中名列前茅

τ²-bench 要求在完整基础划分（train ∪ test）上对提交进行评分，并以 Pass^4 报告。由于这涵盖的是完整任务集，而非留出的测试划分，因此这些数据与上文报告的测试任务数据不同。实际效果由此显现——提示级记忆让使用各类基础模型的智能体跻身当前前沿模型行列，甚至超越它们：

• 零售：第 1 名。在基础划分上，使用学习得到的指导原则的智能体达到 Pass^4 = 67.5%，领先于所有前沿模型，也领先于 RAFT-30B-A3B（61.4%）；后者是一个在合成 τ²-bench 零售数据上微调的模型。使用原版 gpt-4.1 和附加到提示中的操作手册，它比该微调系统高出 6.1 个百分点。
• 航空：使用 gpt-5.5 排名第 1，使用 gpt-4.1 排名第 8。对照已发布的排行榜，紧凑型 sup3 core 使使用 gpt-4.1 的智能体达到 Pass^4 = 44%，排名第 8，击败 GPT-5.2（无推理），并几乎追平 Claude Sonnet 4.5。换用更强的基础模型后，同样的方法直接登顶：使用 gpt-5.5 的智能体达到 82.0%，超过所有前沿模型（66–72%）。

图 3. ALTK-Evolve 运行结果与 τ²-bench 截至 2026 年 10 月 12 日的排行榜快照的 Pass^4 对比。

这两个领域传达了同一个信息：围绕模型学习指导原则确实有效，而且适用于不同的基础模型——让使用较旧、非推理模型的智能体在零售领域跻身前沿行列，也让使用前沿模型的智能体在航空领域登顶。

无需更新权重也能提升智能体

在基准测试上微调模型成本高、易出问题，而且无法迁移到下一个领域。在这里，ALTK-Evolve 在两个领域都能提升使用原版模型的原版智能体，并且在零售领域匹配或超越微调系统——整个过程仅使用从智能体自身运行中提取的提示级指导原则，自动完成，无需人工标注，也不会发生任何测试集泄漏。

链接：

• Prior posts
  1. 在考虑 ACE 吗？我们可以用更少的 token 做到
  2. 你的智能体究竟需要多少记忆？
• ALTK-Evolve 库 — https://github.com/AgentToolkit/altk-evolve
• τ²-bench — https://github.com/sierra-research/tau2-bench
• 零售排行榜提交 — τ²-bench PR #542
• 航空排行榜提交 - τ²-bench PR #551