Taste-Bench 基准测试显示 AI 智能体难以做好长期决策

论文作者将智能体做好这些选择的能力称为“品味”。现有基准只衡量智能体是否完成任务，而不衡量它在过程中每一步的质量。Taste-Bench 旨在填补这一空白。

长期决策无法当下评判

长期选择无法立刻评判。简洁的实现和草率的实现，起初可能产生相同的输出，也可能通过相同的测试。只有在后续修改变得更容易时，简洁的方法才会显现出优势。人工评分成本高昂，需要深厚的领域知识，也难以规模化。

因此，研究人员依靠事后观察。轨迹的后续进展——即记录智能体运行及其所有步骤和观察结果的轨迹——可以表明早先的选择是否奏效。实际上，智能体系统会多次尝试同一任务。这些尝试最终会朝不同方向分岔。

由于每次尝试的最终结果会揭示哪条路径更好，这些运行本身就构成了带标签的比较。作者将这个分岔点称为“决策分叉点”。为了衡量品味，他们会在分叉点冻结运行，隐藏之后的所有工作，并让一个模型在两条路径中作出选择。

Diagram of a decision fork during masked language model training. Option A, "reduce model size, train more steps," ends at a loss of 6.56. Option B, "keep model size, train fewer steps," ends at a loss of 7.66. — 在决策分叉点，模型必须在后续轨迹揭示哪条路径更好之前，先在两个方向之间作出选择。 | 图片：Pan 等人

过往的错误揭示智能体的失误之处

Taste-Bench 包含 502 道题，每道题都包括原始任务、截至分叉点的轨迹，以及两个可能的方向。第一类题目来自同一任务的两次独立尝试：两次尝试出现分歧，而智能体从未接触过错误路径。

第二类题目来自智能体在单次运行中自我纠正并绕道而行的情况。在这种情况下，最初被放弃的方向与之后成功的方向构成两个候选项。这种变体用于测试模型能否比实际执行任务的智能体更早发现错误。

原始数据来自数千次经过评分的智能体运行，涵盖编码和 AI 研究任务，包括 SWE-bench Pro 和 METR 发布的公开转录数据集 MALT。研究人员使用一个生成模型筛选合适的分叉点，剔除答案显而易见的简单问题，并移除无法判定的情况。人工审查确认了几乎所有自动生成的标签。

即使是顶尖模型，也仅略胜抛硬币

研究团队测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列的 14 款当前模型。每道题都提问两次：一次采用正常选项顺序，另一次颠倒选项顺序。只有模型两次都答对，题目才算答对。在这里，纯靠猜测的正确率为 25%。

测试中表现最好的模型 GPT-5.6 Sol 平均得分为 59.7%，紧随其后的是 GPT-5.5，得分为 59.5%。其他所有模型的得分都远低于这一水平。尽管每道题都只是二选一，没有任何模型接近解决这项基准测试。绕道分叉题的难度始终高于并行分叉题。

Three bar charts show the accuracy of 14 models on Taste-Bench across average, research, and engineering splits. GPT-5.6 Sol leads overall with 59.7 percent, followed by GPT-5.5 and Claude Opus 5. — 即使是最好的模型，在这些二元决策题中也只有约 60% 的概率选择更好的方向。 | 图片：Pan 等人

证据只有在之后才出现时，模型表现会大幅下滑

针对每个分叉点，研究团队都检查了观察者需要向后看多远，才能看清哪条路径更好。当关键线索已出现在此前的步骤中时，所有模型的平均准确率达到 62.3%。当线索要经过大量后续工作才会出现时，准确率则降至 21%，接近随机猜测。回答这类问题意味着要预测后续工作。

多想一会儿也无济于事。研究人员对两个模型的三种推理设置重复了测试。从最低设置切换到最高设置，准确率几乎没有变化。模型在最难的级别上花费的推理 token 最多，对它们最常答错的问题思考的时间也最长。研究团队认为，这表明在这些分岔点上，模型还没有获得所需的线索。

决策证据在轨迹中出现得越晚，模型的表现就越差；增加推理预算也改变不了这一点。| 图片：Pan 等人。作者表示，这项基准测试衡量的是一种不同于 SWE-bench Verified 等经典端到端测试的能力。在这些经典测试中得分相近的模型，在 Taste-Bench 上却表现出明显差距。

品味终究可以训练

研究人员还证明，品味是可以传授的。他们将一个知道正确路径的教师模型所做的判断提炼出来，教给一个只能看到问题的学生模型。他们使用 Qwen3.6-27B 作为基础模型。在未见过的任务上，学生模型的准确率从 30% 跃升至 47.9%。

这种提升在实际应用中也发挥了作用。研究团队在每个分岔点将学生模型的判断作为建议加入任务上下文，再让另一个智能体解决问题。在 41 个留出的 SWE-bench Pro 任务上，成功率从 14.6% 升至 33.7%。如果建议完全正确，成功率本可达到 39%，因此学生模型实现了大部分潜在收益。

Two bar charts show judgment accuracy rising from 30.0 to 47.9 percent and SWE-bench Pro success rate climbing from 14.6 percent without advice to 33.7 percent with student advice, compared to a ceiling of 39.0 percent with correct advice. — 在经过训练的 Qwen3.6-27B 学生模型的指导下，智能体解决的 SWE-bench-Pro 任务数量增加了一倍以上。| 图片：Pan 等人。

研究团队总结称，长期规划智能体的判断能力既可以测量，也可以提升。基准测试和代码均已公开。

如今，AI 智能体可以长时间独立工作。在 MirrorCode 基准测试中，一个模型在没有人工帮助的情况下，连续 19 天处理单项任务。标准基准测试通常只检查最后是否通过测试。METR 已经证明，SWE-bench Verified 显著高估了编码智能体的表现。即使自动化测试通过，专业人士仍会因基本功能错误而拒绝许多解决方案。在 METR 的评测中，Taste-Bench 排名最高的模型 GPT-5.6 Sol 也创下了有记录以来软件测试作弊率最高的纪录。