SWE-bench (Vals) 排行榜
截至 2026年11月16日,SWE-bench (Vals) 的最高分为 97.0%,由 Claude Opus 5(Anthropic)取得,领先于 DeepSeek V4 Pro(96.4%)。共有 86 个模型配置公布了结果(Vals AI,结果日期 2026年9月1日)。SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。SWE-bench (Vals) 仅作参考展示,不计入 BenchLeader Index。
要点(截至 2026年11月16日)
- Claude Opus 5 以 97.0% 保持 SWE-bench (Vals) 最高分(Vals AI,2026年9月1日)。
- DeepSeek V4 Pro 以 96.4% 位列 SWE-bench (Vals) 第二(Vals AI,2026年9月1日)。
- SWE-bench (Vals):Vals AI 自行运行的 SWE-bench。仅作参考(Vals AI)。
- BenchLeader 上有 86 个模型配置公布了 SWE-bench (Vals) 结果(BenchLeader,2026年11月16日)。
- SWE-bench (Vals) 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。
Vals AI 自行运行的 SWE-bench。仅作参考。
- 发布方
- Vals AI
- 类别
- 编程
- Index 权重
- 仅作参考
- 模型
- 86
- 数据截至
- 2026年11月16日
Vals AI (vals.ai).
测试内容
SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。
评分方式
在 Vals AI 自己的智能体测试框架中解决 500 个 issue 的百分比,由 Vals AI 运行,而不是官方排行榜那个只用 bash 的 mini-SWE-agent 测试框架。
注意事项
这是 Vals AI 自行运行的 SWE-bench Verified。仅供参考;计入 Index 的是官方只用 bash 的排行榜。另请参阅 SWE-bench Verified (bash only) 排行榜。
- 1Claude Opus 597.0%
- 2DeepSeek V4 Pro (max)96.4%
- 3GPT-5.6 Sol (max)96.2%
- 4Grok 4.6 (high)95.6%
- 5GPT-5.6 Terra (max)95.4%
- 6GLM 5.3 (max)95.4%
- 7Claude Fable 5 (max)95.0%
- 8Kimi K393.4%
- 9GPT-5.6 Luna (max)93.0%
- 10GLM 5.3 Flash (max)92.0%
- 11DeepSeek V4 Flash (high)88.8%
- 12Claude Opus 4.8 (max)88.6%
- 13Muse Spark 1.2 (xhigh)86.6%
- 14Grok 4.5 (high)86.6%
- 15Qwen3.8 27B (xhigh)86.0%
| # | |||||
|---|---|---|---|---|---|
| 1 | 97.0% | 63.2 | $1.29 | 2026-09-01 | |
| 2 | 96.4% | 54.7 | $0.103 | 2026-09-01 | |
| 3 | 96.2% | 65.3 | $1.15 | 2026-09-01 | |
| 4 | 95.6% | 60.6 | $0.785 | 2026-09-01 | |
| 5 | 95.4% | 59.5 | $0.401 | 2026-09-01 | |
| 6 | 95.4% | 58.8 | $0.338 | 2026-09-01 | |
| 7 | 95.0% | 65.1 | $2.05 | 2026-09-01 | |
| 8 | 93.4% | 60.7 | $0.760 | 2026-09-01 | |
| 9 | 93.0% | 56.2 | $0.043 | 2026-09-01 | |
| 10 | 92.0% | 52.4 | $0.018 | 2026-09-01 | |
| 11 | 88.8% | 57.2 | $0.0099 | 2026-09-01 | |
| 12 | 88.6% | 61.1 | $1.92 | 2026-09-01 | |
| 13 | 86.6% | 61.5 | $0.554 | 2026-09-01 | |
| 14 | 86.6% | 56.8 | $0.540 | 2026-09-01 | |
| 15 | 86.0% | 52.2 | $1.08 | 2026-09-01 | |
| 16 | 85.8% | 58.7 | $0.672 | 2026-09-01 | |
| 17 | 85.6% | 58.7 | $1.13 | 2026-09-01 | |
| 18 | 82.8% | 58.9 | $0.710 | 2026-09-01 | |
| 19 | 82.6% | 64.1 | $1.36 | 2026-09-01 | |
| 20 | 82.2% | 52.0 | $0.134 | 2026-09-01 | |
| 21 | 82.0% | 59.7 | $2.42 | 2026-09-01 | |
| 22 | 82.0% | 59.5 | $0.352 | 2026-09-01 | |
| 23 | 80.8% | 62.1 | $1.44 | 2026-09-01 | |
| 24 | 80.0% | 59.4 | $2.19 | 2026-09-01 | |
| 25 | 79.6% | 61.0 | $1.19 | 2026-09-01 | |
| 26 | 79.6% | 56.1 | $1.49 | 2026-09-01 | |
| 27 | 79.6% | – | – | 2026-09-01 | |
| 28 | 78.8% | 62.5 | $0.954 | 2026-09-01 | |
| 29 | 78.8% | 60.4 | $0.783 | 2026-09-01 | |
| 30 | 78.2% | 63.1 | $0.801 | 2026-09-01 | |
| 31 | 78.2% | 57.0 | $1.22 | 2026-09-01 | |
| 32 | 78.2% | 53.9 | $0.265 | 2026-09-01 | |
| 33 | 78.0% | 62.9 | $0.455 | 2026-09-01 | |
| 34 | 77.6% | 50.4 | $0.586 | 2026-09-01 | |
| 35 | 77.4% | 56.1 | $1.30 | 2026-09-01 | |
| 36 | 76.4% | 61.0 | $0.652 | 2026-09-01 | |
| 37 | 76.4% | 60.0 | $0.772 | 2026-09-01 | |
| 38 | 76.4% | 59.7 | $1.05 | 2026-09-01 | |
| 39 | 76.4% | 55.4 | $0.457 | 2026-09-01 | |
| 40 | 76.2% | 55.1 | $0.275 | 2026-09-01 | |
| 41 | 75.8% | 59.9 | $1.45 | 2026-09-01 | |
| 42 | 75.0% | 57.4 | $0.280 | 2026-09-01 | |
| 43 | 75.0% | 56.1 | $0.416 | 2026-09-01 | |
| 44 | 75.0% | 47.8 | $0.309 | 2026-09-01 | |
| 45 | 74.8% | 53.8 | $0.439 | 2026-09-01 | |
| 46 | 74.4% | 64.2 | $0.444 | 2026-09-01 | |
| 47 | 74.2% | 53.7 | $0.457 | 2026-09-01 | |
| 48 | 74.0% | 55.5 | $0.023 | 2026-09-01 | |
| 49 | 73.8% | 56.6 | $0.466 | 2026-09-01 | |
| 50 | 73.4% | 59.0 | $0.869 | 2026-09-01 | |
| 51 | 73.0% | 55.1 | $0.511 | 2026-09-01 | |
| 52 | 72.8% | 62.1 | $1.57 | 2026-09-01 | |
| 53 | 72.4% | – | $0.312 | 2026-09-01 | |
| 54 | 72.2% | 58.3 | $0.516 | 2026-09-01 | |
| 55 | 71.4% | 60.2 | $0.449 | 2026-09-01 | |
| 56 | 71.4% | 56.5 | $0.223 | 2026-09-01 | |
| 57 | 71.2% | 57.4 | $0.964 | 2026-09-01 | |
| 58 | 71.0% | 56.3 | $0.010 | 2026-09-01 | |
| 59 | 70.0% | 59.4 | $0.168 | 2026-09-01 | |
| 60 | 70.0% | 52.3 | $0.807 | 2026-09-01 |
相关基准测试
SWE-bench (Vals) 上的热门模型对比
引用格式:BenchLeader,《SWE-bench (Vals) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/vals_swebench。
SWE-bench (Vals):常见问题
- SWE-bench (Vals) 衡量的是什么?
- SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。分数以完成任务的百分比表示,越高越好。
- SWE-bench (Vals) 的最高分是多少?
- 截至 2026年11月16日,SWE-bench (Vals) 的最高分为 97.0%,由 Claude Opus 5 取得(结果日期 2026年9月1日),领先于 DeepSeek V4 Pro(96.4%)。分数来自 Vals AI,每天重新读取。
- 哪个 AI 模型在 SWE-bench (Vals) 上领先?
- 截至 2026年11月16日,SWE-bench (Vals) 排名第一的是 Claude Opus 5,分数为 97.0%(结果日期 2026年9月1日)。其后为 DeepSeek V4 Pro(96.4%)。
- 有多少模型有 SWE-bench (Vals) 结果?
- BenchLeader 上有 86 个模型配置有 SWE-bench (Vals) 结果,全部取自 Vals AI。
- SWE-bench (Vals) 由谁运行,多久更新一次?
- SWE-bench (Vals) 由 Vals AI 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- SWE-bench (Vals) 是否计入 BenchLeader Index?
- 不计入。SWE-bench (Vals) 仅作参考展示,不计入综合分数。