BenchLeader

τ²-benchのリーダーボード

2026年11月16日時点で、τ²-benchの最高スコアは87.9%で、Qwen3.5 397B A17B(Alibaba)が記録しています。次点はClaude Opus 4.5の85.3%です。公表された結果があるのは8のモデル構成です(τ²-bench、結果の日付は2026年3月2日)。τ²-benchは、航空会社、小売、通信の各ドメインでのカスタマーサービスの会話をシミュレーションします。モデルは規定に従い、ツールを使い、自らも操作を行うシミュレーション上のユーザーと連携しなければなりません。τ²-benchはBenchLeader Indexのエージェント・ツールスコアに反映されます。

要点(2026年11月16日時点)

  • Qwen3.5 397B A17Bがτ²-benchの最高スコア87.9%を記録しています(τ²-bench、2026年3月2日)。
  • τ²-benchの2位はClaude Opus 4.5で、85.3%です(τ²-bench、2026年2月26日)。
  • τ²-bench:航空、小売、通信の各分野でのpass^1の平均(τ²-bench)。
  • BenchLeaderでは8のモデル構成にτ²-benchの公表結果があります(BenchLeader、2026年11月16日)。
  • τ²-benchはBenchLeader Indexのエージェント・ツールカテゴリに反映されます(BenchLeaderの評価方法)。

航空、小売、通信の各分野でのpass^1の平均。

公開元
τ²-bench
カテゴリ
エージェント・ツール
Indexでの重み
1.0
モデル
8
データ基準日
2026年11月16日

MIT — sierra-research/tau2-bench.

どんなテストか

τ²-benchは、航空会社、小売、通信の各ドメインでのカスタマーサービスの会話をシミュレーションします。モデルは規定に従い、ツールを使い、自らも操作を行うシミュレーション上のユーザーと連携しなければなりません。

採点方法

ドメイン全体でのpass^1の平均、つまり最初の試行で正しい最終状態に至った会話の割合です。

注意点

シミュレーション上のユーザー自体がモデルなので、その振る舞いが結果に影響します。規定の文書は長く、スコアは一般的な知識ではなく、モデルがその規定にどれだけ従えるかで決まります。

8件中8件
#
1Qwen3.5 397B A17Bthinking87.9%56.42026-03-02
2Claude Opus 4.5high85.3%59.72026-02-26
3GPT-5.2high84.8%55.82026-02-26
4Gemini 3 Flashhigh83.5%57.42026-03-02
5Gemini 3 Prohigh82.5%60.02026-03-02
6GLM-5thinking81.0%60.22026-03-02
7Claude Sonnet 4.5thinking76.4%52.32026-02-26
8GPT-5.2推論なし61.6%48.52026-02-26

エージェント・ツールのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「τ²-benchのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/tau2_bench

τ²-bench:よくある質問

τ²-benchは何を測るベンチマークですか?
τ²-benchは、航空会社、小売、通信の各ドメインでのカスタマーサービスの会話をシミュレーションします。モデルは規定に従い、ツールを使い、自らも操作を行うシミュレーション上のユーザーと連携しなければなりません。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
τ²-benchの最高スコアは?
2026年11月16日時点で、τ²-benchの最高スコアは87.9%で、Qwen3.5 397B A17Bが記録しています(結果の日付は2026年3月2日)。次点はClaude Opus 4.5の85.3%です。スコアはτ²-benchの公表値で、毎日読み直しています。
τ²-benchでトップのAIモデルは?
2026年11月16日時点で、τ²-benchの首位はQwen3.5 397B A17Bで、スコアは87.9%です(結果の日付は2026年3月2日)。続いてClaude Opus 4.5(85.3%)です。
τ²-benchの結果があるモデルはいくつですか?
BenchLeaderでは8のモデル構成にτ²-benchの結果があり、すべてτ²-benchから取得しています。
τ²-benchを運営しているのは誰で、どのくらいの頻度で更新されますか?
τ²-benchはτ²-benchが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
τ²-benchはBenchLeader Indexに含まれますか?
はい。τ²-benchはBenchLeader Indexのエージェント・ツールカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。