BenchLeader

ITBench SRE (AA)のリーダーボード

2026年11月16日時点で、ITBench SRE (AA)の最高スコアは56.2%で、GPT-5.6 Sol(OpenAI)が記録しています。次点はStep 5 Previewの55.6%です。公表された結果があるのは45のモデル構成です(Artificial Analysis、結果の日付は2026年7月9日)。ITBench SREは、稼働中のIT環境にエージェントを置き、オンコール対応のエンジニアのようにインシデントを診断して修正させます。ITBench SRE (AA)は参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • GPT-5.6 SolがITBench SRE (AA)の最高スコア56.2%を記録しています(Artificial Analysis、2026年7月9日)。
  • ITBench SRE (AA)の2位はStep 5 Previewで、55.6%です(Artificial Analysis、2026年9月18日)。
  • ITBench SRE (AA):実際に動いているIT環境でのサイト信頼性(SRE)のインシデント対応。Artificial Analysisが実施(Artificial Analysis)。
  • BenchLeaderでは45のモデル構成にITBench SRE (AA)の公表結果があります(BenchLeader、2026年11月16日)。
  • ITBench SRE (AA)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

実際に動いているIT環境でのサイト信頼性(SRE)のインシデント対応。Artificial Analysisが実施。

公開元
Artificial Analysis
カテゴリ
エージェント・ツール
Indexでの重み
参考のみ
モデル
45
データ基準日
2026年11月16日

Source: Artificial Analysis (artificialanalysis.ai). Data taken from the public leaderboard.

どんなテストか

ITBench SREは、稼働中のIT環境にエージェントを置き、オンコール対応のエンジニアのようにインシデントを診断して修正させます。

採点方法

解決できたインシデントの割合で、Artificial Analysisが実行しています。

注意点

結果のあるモデルはまだ少なく、各タスクも長いため、スコアは変動しやすくなります。

45件中45件
#
1GPT-5.6 Solmax56.2%65.32026-07-09
2Step 5 Preview55.6%56.02026-09-18
3Gemini 3.8 Flashhigh52.5%59.42026-09-02
4GLM 5.3 Flash51.2%57.82026-08-26
5GPT-5.6 Terramax51.0%59.52026-07-09
6Claude Fable 5.1max49.5%66.72026-09-01
7GPT-6 Solmax49.4%62.62026-09-22
8GPT-6 Astramax48.6%67.32026-09-03
9Kimi K3max47.7%60.22026-07-16
10DeepSeek V4.1 Flashmax46.9%58.52026-09-10
11Claude Opus 4.7max46.7%59.72026-04-16
12GLM 5.3max46.1%58.82026-08-18
13GPT-5.5xhigh45.8%64.12026-04-23
14GLM 5.2max42.7%58.92026-06-16
15Qwen3.7max42.5%60.02026-05-19
16Grok 4.7xhigh42.1%57.42026-09-21
17Gemini 3.5 Flashhigh40.4%62.52026-05-19
18GPT-5.6 Lunamax40.3%56.22026-07-09
19Qwen3.8 Maxmax40.3%58.72026-09-02
20GLM 5.1thinking40.3%–2026-04-07
21Claude Sonnet 4.6max39.8%56.12026-02-17
22DeepSeek V4 Pro 0424max38.3%–2026-04-24
23Claude Opus 5.5max38.2%68.42026-09-22
24MiMo-V2.5-Prothinking38.2%–2026-04-22
25Gemma 4 31Bthinking37.3%46.62026-04-02
26Qwen3.5-27Bthinking35.5%–2026-02-24
27GPT-5.4 Minixhigh35.2%55.12026-03-17
28Qwen3.5 397B A17Bthinking34.1%56.42026-02-16
29Muse Spark 1.3max33.2%60.62026-09-02
30Grok 4.3high32.7%56.52026-04-30
31DeepSeek V4 Flash 0420max31.5%–2026-04-24
32Kimi K2.6thinking31.2%59.32026-04-20
33Gemini 3.1 Pro30.3%59.92026-02-19
34Step 3.7 Flash30.3%53.02026-05-29
35Claude Haiku 4.5thinking27.3%45.72025-10-15
36MiniMax M2.726.5%56.62026-03-18
37GPT-5.4 Nanoxhigh24.4%53.92026-03-17
38Gemma 4 26B A4Bthinking23.6%50.92026-04-02
39Qwen3.5-35B-A3Bthinking21.5%–2026-02-24
40GPT-5.4 Mini推論なし18.6%44.72026-03-17
41Grok 4.1 Fast推論なし17.9%43.12025-11-19
42GPT-5.4 Nano推論なし12.9%41.82026-03-17
43gpt-oss-120bhigh5.7%45.32025-08-05
44Nemotron 3 Super 120B A12Bthinking1.1%51.12026-03-11
45Llama 3.3 70B0.6%39.92024-12-06

エージェント・ツールのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「ITBench SRE (AA)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/aa_itbench_sre

ITBench SRE (AA):よくある質問

ITBench SRE (AA)は何を測るベンチマークですか?
ITBench SREは、稼働中のIT環境にエージェントを置き、オンコール対応のエンジニアのようにインシデントを診断して修正させます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
ITBench SRE (AA)の最高スコアは?
2026年11月16日時点で、ITBench SRE (AA)の最高スコアは56.2%で、GPT-5.6 Solが記録しています(結果の日付は2026年7月9日)。次点はStep 5 Previewの55.6%です。スコアはArtificial Analysisの公表値で、毎日読み直しています。
ITBench SRE (AA)でトップのAIモデルは?
2026年11月16日時点で、ITBench SRE (AA)の首位はGPT-5.6 Solで、スコアは56.2%です(結果の日付は2026年7月9日)。続いてStep 5 Preview(55.6%)です。
ITBench SRE (AA)の結果があるモデルはいくつですか?
BenchLeaderでは45のモデル構成にITBench SRE (AA)の結果があり、すべてArtificial Analysisから取得しています。
ITBench SRE (AA)を運営しているのは誰で、どのくらいの頻度で更新されますか?
ITBench SRE (AA)はArtificial Analysisが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
ITBench SRE (AA)はBenchLeader Indexに含まれますか?
いいえ。ITBench SRE (AA)は参考として掲載していますが、総合スコアには含めていません。