τ²-benchのリーダーボード
2026年11月16日時点で、τ²-benchの最高スコアは87.9%で、Qwen3.5 397B A17B(Alibaba)が記録しています。次点はClaude Opus 4.5の85.3%です。公表された結果があるのは8のモデル構成です(τ²-bench、結果の日付は2026年3月2日)。τ²-benchは、航空会社、小売、通信の各ドメインでのカスタマーサービスの会話をシミュレーションします。モデルは規定に従い、ツールを使い、自らも操作を行うシミュレーション上のユーザーと連携しなければなりません。τ²-benchはBenchLeader Indexのエージェント・ツールスコアに反映されます。
要点(2026年11月16日時点)
- Qwen3.5 397B A17Bがτ²-benchの最高スコア87.9%を記録しています(τ²-bench、2026年3月2日)。
- τ²-benchの2位はClaude Opus 4.5で、85.3%です(τ²-bench、2026年2月26日)。
- τ²-bench:航空、小売、通信の各分野でのpass^1の平均(τ²-bench)。
- BenchLeaderでは8のモデル構成にτ²-benchの公表結果があります(BenchLeader、2026年11月16日)。
- τ²-benchはBenchLeader Indexのエージェント・ツールカテゴリに反映されます(BenchLeaderの評価方法)。
航空、小売、通信の各分野でのpass^1の平均。
- 公開元
- τ²-bench
- カテゴリ
- エージェント・ツール
- Indexでの重み
- 1.0
- モデル
- 8
- データ基準日
- 2026年11月16日
MIT — sierra-research/tau2-bench.
どんなテストか
τ²-benchは、航空会社、小売、通信の各ドメインでのカスタマーサービスの会話をシミュレーションします。モデルは規定に従い、ツールを使い、自らも操作を行うシミュレーション上のユーザーと連携しなければなりません。
採点方法
ドメイン全体でのpass^1の平均、つまり最初の試行で正しい最終状態に至った会話の割合です。
注意点
シミュレーション上のユーザー自体がモデルなので、その振る舞いが結果に影響します。規定の文書は長く、スコアは一般的な知識ではなく、モデルがその規定にどれだけ従えるかで決まります。
- 1Qwen3.5 397B A17B (thinking)87.9%
- 2Claude Opus 4.5 (high)85.3%
- 3GPT-5.2 (high)84.8%
- 4Gemini 3 Flash (high)83.5%
- 5Gemini 3 Pro (high)82.5%
- 6GLM-5 (thinking)81.0%
- 7Claude Sonnet 4.5 (thinking)76.4%
- 8GPT-5.2 (none)61.6%
8件中8件
| # | ||||
|---|---|---|---|---|
| 1 | 87.9% | 56.4 | 2026-03-02 | |
| 2 | 85.3% | 59.7 | 2026-02-26 | |
| 3 | 84.8% | 55.8 | 2026-02-26 | |
| 4 | 83.5% | 57.4 | 2026-03-02 | |
| 5 | 82.5% | 60.0 | 2026-03-02 | |
| 6 | 81.0% | 60.2 | 2026-03-02 | |
| 7 | 76.4% | 52.3 | 2026-02-26 | |
| 8 | 61.6% | 48.5 | 2026-02-26 |
エージェント・ツールのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
引用表記:BenchLeader「τ²-benchのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/tau2_bench
τ²-bench:よくある質問
- τ²-benchは何を測るベンチマークですか?
- τ²-benchは、航空会社、小売、通信の各ドメインでのカスタマーサービスの会話をシミュレーションします。モデルは規定に従い、ツールを使い、自らも操作を行うシミュレーション上のユーザーと連携しなければなりません。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- τ²-benchの最高スコアは?
- 2026年11月16日時点で、τ²-benchの最高スコアは87.9%で、Qwen3.5 397B A17Bが記録しています(結果の日付は2026年3月2日)。次点はClaude Opus 4.5の85.3%です。スコアはτ²-benchの公表値で、毎日読み直しています。
- τ²-benchでトップのAIモデルは?
- 2026年11月16日時点で、τ²-benchの首位はQwen3.5 397B A17Bで、スコアは87.9%です(結果の日付は2026年3月2日)。続いてClaude Opus 4.5(85.3%)です。
- τ²-benchの結果があるモデルはいくつですか?
- BenchLeaderでは8のモデル構成にτ²-benchの結果があり、すべてτ²-benchから取得しています。
- τ²-benchを運営しているのは誰で、どのくらいの頻度で更新されますか?
- τ²-benchはτ²-benchが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- τ²-benchはBenchLeader Indexに含まれますか?
- はい。τ²-benchはBenchLeader Indexのエージェント・ツールカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。