ITBench SRE (AA) 排行榜
截至 2026年11月16日,ITBench SRE (AA) 的最高分为 56.2%,由 GPT-5.6 Sol(OpenAI)取得,领先于 Step 5 Preview(55.6%)。共有 45 个模型配置公布了结果(Artificial Analysis,结果日期 2026年7月9日)。ITBench SRE 把智能体放进一个正在运行、出了事故的 IT 环境,让它像值班工程师那样诊断并修复问题。ITBench SRE (AA) 仅作参考展示,不计入 BenchLeader Index。
要点(截至 2026年11月16日)
- GPT-5.6 Sol 以 56.2% 保持 ITBench SRE (AA) 最高分(Artificial Analysis,2026年7月9日)。
- Step 5 Preview 以 55.6% 位列 ITBench SRE (AA) 第二(Artificial Analysis,2026年9月18日)。
- ITBench SRE (AA):在运行中的 IT 环境里处理站点可靠性(SRE)事故,由 Artificial Analysis 运行(Artificial Analysis)。
- BenchLeader 上有 45 个模型配置公布了 ITBench SRE (AA) 结果(BenchLeader,2026年11月16日)。
- ITBench SRE (AA) 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。
在运行中的 IT 环境里处理站点可靠性(SRE)事故,由 Artificial Analysis 运行。
- 类别
- 智能体与工具
- Index 权重
- 仅作参考
- 模型
- 45
- 数据截至
- 2026年11月16日
Source: Artificial Analysis (artificialanalysis.ai). Data taken from the public leaderboard.
测试内容
ITBench SRE 把智能体放进一个正在运行、出了事故的 IT 环境,让它像值班工程师那样诊断并修复问题。
评分方式
解决事故的百分比,由 Artificial Analysis 运行。
注意事项
目前有结果的模型很少,而且每项任务耗时很长,所以分数波动大。
- 1GPT-5.6 Sol (max)56.2%
- 2Step 5 Preview55.6%
- 3Gemini 3.8 Flash (high)52.5%
- 4GLM 5.3 Flash51.2%
- 5GPT-5.6 Terra (max)51.0%
- 6Claude Fable 5.1 (max)49.5%
- 7GPT-6 Sol (max)49.4%
- 8GPT-6 Astra (max)48.6%
- 9Kimi K3 (max)47.7%
- 10DeepSeek V4.1 Flash (max)46.9%
- 11Claude Opus 4.7 (max)46.7%
- 12GLM 5.3 (max)46.1%
- 13GPT-5.5 (xhigh)45.8%
- 14GLM 5.2 (max)42.7%
- 15Qwen3.7 (max)42.5%
45 / 45
| # | ||||
|---|---|---|---|---|
| 1 | 56.2% | 65.3 | 2026-07-09 | |
| 2 | 55.6% | 56.0 | 2026-09-18 | |
| 3 | 52.5% | 59.4 | 2026-09-02 | |
| 4 | 51.2% | 57.8 | 2026-08-26 | |
| 5 | 51.0% | 59.5 | 2026-07-09 | |
| 6 | 49.5% | 66.7 | 2026-09-01 | |
| 7 | 49.4% | 62.6 | 2026-09-22 | |
| 8 | 48.6% | 67.3 | 2026-09-03 | |
| 9 | 47.7% | 60.2 | 2026-07-16 | |
| 10 | 46.9% | 58.5 | 2026-09-10 | |
| 11 | 46.7% | 59.7 | 2026-04-16 | |
| 12 | 46.1% | 58.8 | 2026-08-18 | |
| 13 | 45.8% | 64.1 | 2026-04-23 | |
| 14 | 42.7% | 58.9 | 2026-06-16 | |
| 15 | 42.5% | 60.0 | 2026-05-19 | |
| 16 | 42.1% | 57.4 | 2026-09-21 | |
| 17 | 40.4% | 62.5 | 2026-05-19 | |
| 18 | 40.3% | 56.2 | 2026-07-09 | |
| 19 | 40.3% | 58.7 | 2026-09-02 | |
| 20 | 40.3% | – | 2026-04-07 | |
| 21 | 39.8% | 56.1 | 2026-02-17 | |
| 22 | 38.3% | – | 2026-04-24 | |
| 23 | 38.2% | 68.4 | 2026-09-22 | |
| 24 | 38.2% | – | 2026-04-22 | |
| 25 | 37.3% | 46.6 | 2026-04-02 | |
| 26 | 35.5% | – | 2026-02-24 | |
| 27 | 35.2% | 55.1 | 2026-03-17 | |
| 28 | 34.1% | 56.4 | 2026-02-16 | |
| 29 | 33.2% | 60.6 | 2026-09-02 | |
| 30 | 32.7% | 56.5 | 2026-04-30 | |
| 31 | 31.5% | – | 2026-04-24 | |
| 32 | 31.2% | 59.3 | 2026-04-20 | |
| 33 | 30.3% | 59.9 | 2026-02-19 | |
| 34 | 30.3% | 53.0 | 2026-05-29 | |
| 35 | 27.3% | 45.7 | 2025-10-15 | |
| 36 | 26.5% | 56.6 | 2026-03-18 | |
| 37 | 24.4% | 53.9 | 2026-03-17 | |
| 38 | 23.6% | 50.9 | 2026-04-02 | |
| 39 | 21.5% | – | 2026-02-24 | |
| 40 | 18.6% | 44.7 | 2026-03-17 | |
| 41 | 17.9% | 43.1 | 2025-11-19 | |
| 42 | 12.9% | 41.8 | 2026-03-17 | |
| 43 | 5.7% | 45.3 | 2025-08-05 | |
| 44 | 1.1% | 51.1 | 2026-03-11 | |
| 45 | 0.6% | 39.9 | 2024-12-06 |
相关基准测试
ITBench SRE (AA) 上的热门模型对比
引用格式:BenchLeader,《ITBench SRE (AA) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/aa_itbench_sre。
ITBench SRE (AA):常见问题
- ITBench SRE (AA) 衡量的是什么?
- ITBench SRE 把智能体放进一个正在运行、出了事故的 IT 环境,让它像值班工程师那样诊断并修复问题。分数以完成任务的百分比表示,越高越好。
- ITBench SRE (AA) 的最高分是多少?
- 截至 2026年11月16日,ITBench SRE (AA) 的最高分为 56.2%,由 GPT-5.6 Sol 取得(结果日期 2026年7月9日),领先于 Step 5 Preview(55.6%)。分数来自 Artificial Analysis,每天重新读取。
- 哪个 AI 模型在 ITBench SRE (AA) 上领先?
- 截至 2026年11月16日,ITBench SRE (AA) 排名第一的是 GPT-5.6 Sol,分数为 56.2%(结果日期 2026年7月9日)。其后为 Step 5 Preview(55.6%)。
- 有多少模型有 ITBench SRE (AA) 结果?
- BenchLeader 上有 45 个模型配置有 ITBench SRE (AA) 结果,全部取自 Artificial Analysis。
- ITBench SRE (AA) 由谁运行,多久更新一次?
- ITBench SRE (AA) 由 Artificial Analysis 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- ITBench SRE (AA) 是否计入 BenchLeader Index?
- 不计入。ITBench SRE (AA) 仅作参考展示,不计入综合分数。