SREBench 排行榜
截至 2026年11月16日,SREBench 的最高分为 56.9%,由 GPT-6 Astra(OpenAI)取得,领先于 GPT-6.1 Sol(50.8%)。共有 36 个模型配置公布了结果(Vals AI,结果日期 2026年11月5日)。给智能体一个出了故障的系统,它必须像值班工程师那样找出并修复故障。SREBench 仅作参考展示,不计入 BenchLeader Index。
要点(截至 2026年11月16日)
- GPT-6 Astra 以 56.9% 保持 SREBench 最高分(Vals AI,2026年11月5日)。
- GPT-6.1 Sol 以 50.8% 位列 SREBench 第二(Vals AI,2026年11月5日)。
- SREBench:诊断并修复站点可靠性(SRE)事故。由 Vals AI 运行(Vals AI)。
- BenchLeader 上有 36 个模型配置公布了 SREBench 结果(BenchLeader,2026年11月16日)。
- SREBench 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。
诊断并修复站点可靠性(SRE)事故。由 Vals AI 运行。
- 发布方
- Vals AI
- 类别
- 智能体与工具
- Index 权重
- 仅作参考
- 模型
- 36
- 数据截至
- 2026年11月16日
Vals AI (vals.ai).
测试内容
给智能体一个出了故障的系统,它必须像值班工程师那样找出并修复故障。
评分方式
解决事故的百分比,由 Vals AI 运行。
注意事项
测量过的模型很少;任务耗时长,分数波动大。
- 1GPT-6 Astra (max)56.9%
- 2GPT-6.1 Sol (max)50.8%
- 3Gemini 4 Argon (high)44.3%
- 4Claude Opus 5.5 (max)33.6%
- 5Daybreak Blue (max)31.7%
- 6GPT-5.6 Sol (max)30.5%
- 7GPT-6 Sol (max)30.5%
- 8Claude Sonnet 5.5 (max)30.1%
- 9Kimi K3.1 Pro (max)27.1%
- 10Claude Fable 5.1 (max)22.9%
- 11Claude Opus 5 (max)12.2%
- 12Muse Wonder Full (max)11.8%
- 13Gemini 3.8 Flash (high)11.1%
- 14GPT-5.6 Terra (max)9.5%
- 15GLM 5.3 (max)9.2%
36 / 36
| # | |||||
|---|---|---|---|---|---|
| 1 | 56.9% | 67.3 | $10.24 | 2026-11-05 | |
| 2 | 50.8% | 66.6 | $2.69 | 2026-11-05 | |
| 3 | 44.3% | 65.3 | $30.45 | 2026-11-05 | |
| 4 | 33.6% | 68.4 | $26.48 | 2026-11-05 | |
| 5 | 31.7% | – | $54.34 | 2026-11-05 | |
| 6 | 30.5% | 65.3 | $42.52 | 2026-11-05 | |
| 7 | 30.5% | 62.6 | $20.65 | 2026-11-05 | |
| 8 | 30.1% | 64.2 | $17.27 | 2026-11-05 | |
| 9 | 27.1% | 59.9 | $27.39 | 2026-11-05 | |
| 10 | 22.9% | 66.7 | $32.23 | 2026-11-05 | |
| 11 | 12.2% | 65.0 | $23.63 | 2026-11-05 | |
| 12 | 11.8% | 61.7 | $33.81 | 2026-11-05 | |
| 13 | 11.1% | 59.4 | $27.46 | 2026-11-05 | |
| 14 | 9.5% | 59.5 | $30.86 | 2026-11-05 | |
| 15 | 9.2% | 58.8 | $27.47 | 2026-11-05 | |
| 16 | 5.7% | 55.3 | $3.14 | 2026-11-05 | |
| 17 | 4.6% | 62.1 | $21.47 | 2026-11-05 | |
| 18 | 4.2% | 54.8 | $0.395 | 2026-11-05 | |
| 19 | 3.8% | 64.1 | $17.77 | 2026-11-05 | |
| 20 | 3.8% | 60.6 | $25.86 | 2026-11-05 | |
| 21 | 3.8% | 57.4 | $64.77 | 2026-11-05 | |
| 22 | 3.0% | 57.5 | $0.533 | 2026-11-05 | |
| 23 | 2.7% | 55.1 | $1.55 | 2026-11-05 | |
| 24 | 2.3% | 56.7 | $4.90 | 2026-11-05 | |
| 25 | 1.9% | 57.9 | $6.67 | 2026-11-05 | |
| 26 | 1.9% | 54.7 | $5.58 | 2026-11-05 | |
| 27 | 1.5% | 56.2 | $3.44 | 2026-11-05 | |
| 28 | 0.8% | 58.5 | $0.549 | 2026-11-05 | |
| 29 | 0.8% | 56.8 | $13.42 | 2026-11-05 | |
| 30 | 0.8% | 52.4 | $2.29 | 2026-11-05 | |
| 31 | 0.4% | 56.1 | $18.49 | 2026-11-05 | |
| 32 | 0.4% | 56.0 | $3.07 | 2026-11-05 | |
| 33 | 0.0% | 61.5 | $23.43 | 2026-11-05 | |
| 34 | 0.0% | 60.4 | $11.34 | 2026-11-05 | |
| 35 | 0.0% | 58.9 | $26.58 | 2026-11-05 | |
| 36 | 0.0% | 50.4 | $2.23 | 2026-11-05 |
相关基准测试
SREBench 上的热门模型对比
引用格式:BenchLeader,《SREBench 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/vals_srebench。
SREBench:常见问题
- SREBench 衡量的是什么?
- 给智能体一个出了故障的系统,它必须像值班工程师那样找出并修复故障。分数以完成任务的百分比表示,越高越好。
- SREBench 的最高分是多少?
- 截至 2026年11月16日,SREBench 的最高分为 56.9%,由 GPT-6 Astra 取得(结果日期 2026年11月5日),领先于 GPT-6.1 Sol(50.8%)。分数来自 Vals AI,每天重新读取。
- 哪个 AI 模型在 SREBench 上领先?
- 截至 2026年11月16日,SREBench 排名第一的是 GPT-6 Astra,分数为 56.9%(结果日期 2026年11月5日)。其后为 GPT-6.1 Sol(50.8%)。
- 有多少模型有 SREBench 结果?
- BenchLeader 上有 36 个模型配置有 SREBench 结果,全部取自 Vals AI。
- SREBench 由谁运行,多久更新一次?
- SREBench 由 Vals AI 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- SREBench 是否计入 BenchLeader Index?
- 不计入。SREBench 仅作参考展示,不计入综合分数。