τ²-bench 排行榜
截至 2026年11月16日,τ²-bench 的最高分为 87.9%,由 Qwen3.5 397B A17B(Alibaba)取得,领先于 Claude Opus 4.5(85.3%)。共有 8 个模型配置公布了结果(τ²-bench,结果日期 2026年3月2日)。τ²-bench 模拟航空、零售和电信领域的客服对话,模型必须遵循政策、使用工具,并与一个同样会采取行动的模拟用户配合。τ²-bench 计入 BenchLeader Index 的智能体与工具得分。
要点(截至 2026年11月16日)
- Qwen3.5 397B A17B 以 87.9% 保持 τ²-bench 最高分(τ²-bench,2026年3月2日)。
- Claude Opus 4.5 以 85.3% 位列 τ²-bench 第二(τ²-bench,2026年2月26日)。
- τ²-bench:航空、零售和电信领域 pass^1 的平均值(τ²-bench)。
- BenchLeader 上有 8 个模型配置公布了 τ²-bench 结果(BenchLeader,2026年11月16日)。
- τ²-bench 计入 BenchLeader Index 的智能体与工具类别(BenchLeader 方法论)。
航空、零售和电信领域 pass^1 的平均值。
- 发布方
- τ²-bench
- 类别
- 智能体与工具
- Index 权重
- 1.0
- 模型
- 8
- 数据截至
- 2026年11月16日
MIT — sierra-research/tau2-bench.
测试内容
τ²-bench 模拟航空、零售和电信领域的客服对话,模型必须遵循政策、使用工具,并与一个同样会采取行动的模拟用户配合。
评分方式
各领域 pass^1 的平均值:第一次尝试就以正确最终状态结束的对话比例。
注意事项
模拟用户本身也是一个模型,所以它的行为会影响结果。政策文档很长,分数取决于模型遵循政策的好坏,而不是通用知识。
- 1Qwen3.5 397B A17B (thinking)87.9%
- 2Claude Opus 4.5 (high)85.3%
- 3GPT-5.2 (high)84.8%
- 4Gemini 3 Flash (high)83.5%
- 5Gemini 3 Pro (high)82.5%
- 6GLM-5 (thinking)81.0%
- 7Claude Sonnet 4.5 (thinking)76.4%
- 8GPT-5.2 (none)61.6%
8 / 8
| # | ||||
|---|---|---|---|---|
| 1 | 87.9% | 56.4 | 2026-03-02 | |
| 2 | 85.3% | 59.7 | 2026-02-26 | |
| 3 | 84.8% | 55.8 | 2026-02-26 | |
| 4 | 83.5% | 57.4 | 2026-03-02 | |
| 5 | 82.5% | 60.0 | 2026-03-02 | |
| 6 | 81.0% | 60.2 | 2026-03-02 | |
| 7 | 76.4% | 52.3 | 2026-02-26 | |
| 8 | 61.6% | 48.5 | 2026-02-26 |
相关基准测试
引用格式:BenchLeader,《τ²-bench 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/tau2_bench。
τ²-bench:常见问题
- τ²-bench 衡量的是什么?
- τ²-bench 模拟航空、零售和电信领域的客服对话,模型必须遵循政策、使用工具,并与一个同样会采取行动的模拟用户配合。分数以完成任务的百分比表示,越高越好。
- τ²-bench 的最高分是多少?
- 截至 2026年11月16日,τ²-bench 的最高分为 87.9%,由 Qwen3.5 397B A17B 取得(结果日期 2026年3月2日),领先于 Claude Opus 4.5(85.3%)。分数来自 τ²-bench,每天重新读取。
- 哪个 AI 模型在 τ²-bench 上领先?
- 截至 2026年11月16日,τ²-bench 排名第一的是 Qwen3.5 397B A17B,分数为 87.9%(结果日期 2026年3月2日)。其后为 Claude Opus 4.5(85.3%)。
- 有多少模型有 τ²-bench 结果?
- BenchLeader 上有 8 个模型配置有 τ²-bench 结果,全部取自 τ²-bench。
- τ²-bench 由谁运行,多久更新一次?
- τ²-bench 由 τ²-bench 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- τ²-bench 是否计入 BenchLeader Index?
- 计入。τ²-bench 计入 BenchLeader Index 的智能体与工具类别,并经过归一化,使参评模型的平均值为 50。