BenchLeader

SREBenchのリーダーボード

2026年11月16日時点で、SREBenchの最高スコアは56.9%で、GPT-6 Astra(OpenAI)が記録しています。次点はGPT-6.1 Solの50.8%です。公表された結果があるのは36のモデル構成です(Vals AI、結果の日付は2026年11月5日)。オンコール対応のエンジニアのように、故障したシステムを渡されたエージェントが原因を見つけて修正します。SREBenchは参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • GPT-6 AstraがSREBenchの最高スコア56.9%を記録しています(Vals AI、2026年11月5日)。
  • SREBenchの2位はGPT-6.1 Solで、50.8%です(Vals AI、2026年11月5日)。
  • SREBench:サイト信頼性(SRE)のインシデントを診断して直すタスク。Vals AIが実施(Vals AI)。
  • BenchLeaderでは36のモデル構成にSREBenchの公表結果があります(BenchLeader、2026年11月16日)。
  • SREBenchはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

サイト信頼性(SRE)のインシデントを診断して直すタスク。Vals AIが実施。

公開元
Vals AI
カテゴリ
エージェント・ツール
Indexでの重み
参考のみ
モデル
36
データ基準日
2026年11月16日

Vals AI (vals.ai).

どんなテストか

オンコール対応のエンジニアのように、故障したシステムを渡されたエージェントが原因を見つけて修正します。

採点方法

解決できたインシデントの割合で、Vals AIが実行しています。

注意点

測定されたモデルは少なく、タスクが長いため、スコアは変動しやすくなります。

36件中36件
#
1GPT-6 Astramax56.9%67.3$10.242026-11-05
2GPT-6.1 Solmax50.8%66.6$2.692026-11-05
3Gemini 4 Argonhigh44.3%65.3$30.452026-11-05
4Claude Opus 5.5max33.6%68.4$26.482026-11-05
5Daybreak Bluemax31.7%–$54.342026-11-05
6GPT-5.6 Solmax30.5%65.3$42.522026-11-05
7GPT-6 Solmax30.5%62.6$20.652026-11-05
8Claude Sonnet 5.5max30.1%64.2$17.272026-11-05
9Kimi K3.1 Promax27.1%59.9$27.392026-11-05
10Claude Fable 5.1max22.9%66.7$32.232026-11-05
11Claude Opus 5max12.2%65.0$23.632026-11-05
12Muse Wonder Fullmax11.8%61.7$33.812026-11-05
13Gemini 3.8 Flashhigh11.1%59.4$27.462026-11-05
14GPT-5.6 Terramax9.5%59.5$30.862026-11-05
15GLM 5.3max9.2%58.8$27.472026-11-05
16Claude Haiku 5.5max5.7%55.3$3.142026-11-05
17Gemini 3.7 Flashhigh4.6%62.1$21.472026-11-05
18MiMo-V2.6-Flash4.2%54.8$0.3952026-11-05
19GPT-5.5xhigh3.8%64.1$17.772026-11-05
20Muse Spark 1.3max3.8%60.6$25.862026-11-05
21Grok 4.7xhigh3.8%57.4$64.772026-11-05
22MiMo-V2.6-Pro3.0%57.5$0.5332026-11-05
23GPT-6 Lunamax2.7%55.1$1.552026-11-05
24Hy42.3%56.7$4.902026-11-05
25Inkling 2 Small1.9%57.9$6.672026-11-05
26DeepSeek V4 Promax1.9%54.7$5.582026-11-05
27GPT-5.6 Lunamax1.5%56.2$3.442026-11-05
28DeepSeek V4.1 Flashmax0.8%58.5$0.5492026-11-05
29Grok 4.5high0.8%56.8$13.422026-11-05
30GLM 5.3 Flashmax0.8%52.4$2.292026-11-05
31Claude Sonnet 5max0.4%56.1$18.492026-11-05
32Step 5 Preview0.4%56.0$3.072026-11-05
33Muse Spark 1.2xhigh0.0%61.5$23.432026-11-05
34Gemini 3.1 Prohigh0.0%60.4$11.342026-11-05
35GLM 5.2max0.0%58.9$26.582026-11-05
36Inkling0.0%50.4$2.232026-11-05

エージェント・ツールのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SREBenchのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/vals_srebench

SREBench:よくある質問

SREBenchは何を測るベンチマークですか?
オンコール対応のエンジニアのように、故障したシステムを渡されたエージェントが原因を見つけて修正します。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SREBenchの最高スコアは?
2026年11月16日時点で、SREBenchの最高スコアは56.9%で、GPT-6 Astraが記録しています(結果の日付は2026年11月5日)。次点はGPT-6.1 Solの50.8%です。スコアはVals AIの公表値で、毎日読み直しています。
SREBenchでトップのAIモデルは?
2026年11月16日時点で、SREBenchの首位はGPT-6 Astraで、スコアは56.9%です(結果の日付は2026年11月5日)。続いてGPT-6.1 Sol(50.8%)です。
SREBenchの結果があるモデルはいくつですか?
BenchLeaderでは36のモデル構成にSREBenchの結果があり、すべてVals AIから取得しています。
SREBenchを運営しているのは誰で、どのくらいの頻度で更新されますか?
SREBenchはVals AIが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SREBenchはBenchLeader Indexに含まれますか?
いいえ。SREBenchは参考として掲載していますが、総合スコアには含めていません。