SREBenchのリーダーボード
2026年11月16日時点で、SREBenchの最高スコアは56.9%で、GPT-6 Astra(OpenAI)が記録しています。次点はGPT-6.1 Solの50.8%です。公表された結果があるのは36のモデル構成です(Vals AI、結果の日付は2026年11月5日)。オンコール対応のエンジニアのように、故障したシステムを渡されたエージェントが原因を見つけて修正します。SREBenchは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- GPT-6 AstraがSREBenchの最高スコア56.9%を記録しています(Vals AI、2026年11月5日)。
- SREBenchの2位はGPT-6.1 Solで、50.8%です(Vals AI、2026年11月5日)。
- SREBench:サイト信頼性(SRE)のインシデントを診断して直すタスク。Vals AIが実施(Vals AI)。
- BenchLeaderでは36のモデル構成にSREBenchの公表結果があります(BenchLeader、2026年11月16日)。
- SREBenchはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
サイト信頼性(SRE)のインシデントを診断して直すタスク。Vals AIが実施。
- 公開元
- Vals AI
- カテゴリ
- エージェント・ツール
- Indexでの重み
- 参考のみ
- モデル
- 36
- データ基準日
- 2026年11月16日
Vals AI (vals.ai).
どんなテストか
オンコール対応のエンジニアのように、故障したシステムを渡されたエージェントが原因を見つけて修正します。
採点方法
解決できたインシデントの割合で、Vals AIが実行しています。
注意点
測定されたモデルは少なく、タスクが長いため、スコアは変動しやすくなります。
- 1GPT-6 Astra (max)56.9%
- 2GPT-6.1 Sol (max)50.8%
- 3Gemini 4 Argon (high)44.3%
- 4Claude Opus 5.5 (max)33.6%
- 5Daybreak Blue (max)31.7%
- 6GPT-5.6 Sol (max)30.5%
- 7GPT-6 Sol (max)30.5%
- 8Claude Sonnet 5.5 (max)30.1%
- 9Kimi K3.1 Pro (max)27.1%
- 10Claude Fable 5.1 (max)22.9%
- 11Claude Opus 5 (max)12.2%
- 12Muse Wonder Full (max)11.8%
- 13Gemini 3.8 Flash (high)11.1%
- 14GPT-5.6 Terra (max)9.5%
- 15GLM 5.3 (max)9.2%
36件中36件
| # | |||||
|---|---|---|---|---|---|
| 1 | 56.9% | 67.3 | $10.24 | 2026-11-05 | |
| 2 | 50.8% | 66.6 | $2.69 | 2026-11-05 | |
| 3 | 44.3% | 65.3 | $30.45 | 2026-11-05 | |
| 4 | 33.6% | 68.4 | $26.48 | 2026-11-05 | |
| 5 | 31.7% | – | $54.34 | 2026-11-05 | |
| 6 | 30.5% | 65.3 | $42.52 | 2026-11-05 | |
| 7 | 30.5% | 62.6 | $20.65 | 2026-11-05 | |
| 8 | 30.1% | 64.2 | $17.27 | 2026-11-05 | |
| 9 | 27.1% | 59.9 | $27.39 | 2026-11-05 | |
| 10 | 22.9% | 66.7 | $32.23 | 2026-11-05 | |
| 11 | 12.2% | 65.0 | $23.63 | 2026-11-05 | |
| 12 | 11.8% | 61.7 | $33.81 | 2026-11-05 | |
| 13 | 11.1% | 59.4 | $27.46 | 2026-11-05 | |
| 14 | 9.5% | 59.5 | $30.86 | 2026-11-05 | |
| 15 | 9.2% | 58.8 | $27.47 | 2026-11-05 | |
| 16 | 5.7% | 55.3 | $3.14 | 2026-11-05 | |
| 17 | 4.6% | 62.1 | $21.47 | 2026-11-05 | |
| 18 | 4.2% | 54.8 | $0.395 | 2026-11-05 | |
| 19 | 3.8% | 64.1 | $17.77 | 2026-11-05 | |
| 20 | 3.8% | 60.6 | $25.86 | 2026-11-05 | |
| 21 | 3.8% | 57.4 | $64.77 | 2026-11-05 | |
| 22 | 3.0% | 57.5 | $0.533 | 2026-11-05 | |
| 23 | 2.7% | 55.1 | $1.55 | 2026-11-05 | |
| 24 | 2.3% | 56.7 | $4.90 | 2026-11-05 | |
| 25 | 1.9% | 57.9 | $6.67 | 2026-11-05 | |
| 26 | 1.9% | 54.7 | $5.58 | 2026-11-05 | |
| 27 | 1.5% | 56.2 | $3.44 | 2026-11-05 | |
| 28 | 0.8% | 58.5 | $0.549 | 2026-11-05 | |
| 29 | 0.8% | 56.8 | $13.42 | 2026-11-05 | |
| 30 | 0.8% | 52.4 | $2.29 | 2026-11-05 | |
| 31 | 0.4% | 56.1 | $18.49 | 2026-11-05 | |
| 32 | 0.4% | 56.0 | $3.07 | 2026-11-05 | |
| 33 | 0.0% | 61.5 | $23.43 | 2026-11-05 | |
| 34 | 0.0% | 60.4 | $11.34 | 2026-11-05 | |
| 35 | 0.0% | 58.9 | $26.58 | 2026-11-05 | |
| 36 | 0.0% | 50.4 | $2.23 | 2026-11-05 |
エージェント・ツールのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
SREBenchでの注目のモデル比較
引用表記:BenchLeader「SREBenchのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/vals_srebench
SREBench:よくある質問
- SREBenchは何を測るベンチマークですか?
- オンコール対応のエンジニアのように、故障したシステムを渡されたエージェントが原因を見つけて修正します。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SREBenchの最高スコアは?
- 2026年11月16日時点で、SREBenchの最高スコアは56.9%で、GPT-6 Astraが記録しています(結果の日付は2026年11月5日)。次点はGPT-6.1 Solの50.8%です。スコアはVals AIの公表値で、毎日読み直しています。
- SREBenchでトップのAIモデルは?
- 2026年11月16日時点で、SREBenchの首位はGPT-6 Astraで、スコアは56.9%です(結果の日付は2026年11月5日)。続いてGPT-6.1 Sol(50.8%)です。
- SREBenchの結果があるモデルはいくつですか?
- BenchLeaderでは36のモデル構成にSREBenchの結果があり、すべてVals AIから取得しています。
- SREBenchを運営しているのは誰で、どのくらいの頻度で更新されますか?
- SREBenchはVals AIが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SREBenchはBenchLeader Indexに含まれますか?
- いいえ。SREBenchは参考として掲載していますが、総合スコアには含めていません。