BenchLeader

SWE-bench (Vals) 排行榜

截至 2026年11月16日,SWE-bench (Vals) 的最高分为 97.0%,由 Claude Opus 5(Anthropic)取得,领先于 DeepSeek V4 Pro(96.4%)。共有 86 个模型配置公布了结果(Vals AI,结果日期 2026年9月1日)。SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。SWE-bench (Vals) 仅作参考展示,不计入 BenchLeader Index。

要点(截至 2026年11月16日)

  • Claude Opus 5 以 97.0% 保持 SWE-bench (Vals) 最高分(Vals AI,2026年9月1日)。
  • DeepSeek V4 Pro 以 96.4% 位列 SWE-bench (Vals) 第二(Vals AI,2026年9月1日)。
  • SWE-bench (Vals):Vals AI 自行运行的 SWE-bench。仅作参考(Vals AI)。
  • BenchLeader 上有 86 个模型配置公布了 SWE-bench (Vals) 结果(BenchLeader,2026年11月16日)。
  • SWE-bench (Vals) 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。

Vals AI 自行运行的 SWE-bench。仅作参考。

发布方
Vals AI
类别
编程
Index 权重
仅作参考
模型
86
数据截至
2026年11月16日

Vals AI (vals.ai).

测试内容

SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。

评分方式

在 Vals AI 自己的智能体测试框架中解决 500 个 issue 的百分比,由 Vals AI 运行,而不是官方排行榜那个只用 bash 的 mini-SWE-agent 测试框架。

注意事项

这是 Vals AI 自行运行的 SWE-bench Verified。仅供参考;计入 Index 的是官方只用 bash 的排行榜。另请参阅 SWE-bench Verified (bash only) 排行榜。

86 / 86
#
1Claude Opus 597.0%63.2$1.292026-09-01
2DeepSeek V4 Promax96.4%54.7$0.1032026-09-01
3GPT-5.6 Solmax96.2%65.3$1.152026-09-01
4Grok 4.6high95.6%60.6$0.7852026-09-01
5GPT-5.6 Terramax95.4%59.5$0.4012026-09-01
6GLM 5.3max95.4%58.8$0.3382026-09-01
7Claude Fable 5max95.0%65.1$2.052026-09-01
8Kimi K393.4%60.7$0.7602026-09-01
9GPT-5.6 Lunamax93.0%56.2$0.0432026-09-01
10GLM 5.3 Flashmax92.0%52.4$0.0182026-09-01
11DeepSeek V4 Flashhigh88.8%57.2$0.00992026-09-01
12Claude Opus 4.8max88.6%61.1$1.922026-09-01
13Muse Spark 1.2xhigh86.6%61.5$0.5542026-09-01
14Grok 4.5high86.6%56.8$0.5402026-09-01
15Qwen3.8 27Bxhigh86.0%52.2$1.082026-09-01
16Claude Opus 4.885.8%58.7$0.6722026-09-01
17Qwen3.8 Maxmax85.6%58.7$1.132026-09-01
18GLM 5.2max82.8%58.9$0.7102026-09-01
19GPT-5.5xhigh82.6%64.1$1.362026-09-01
20Inkling Small82.2%52.0$0.1342026-09-01
21Claude Opus 4.7max82.0%59.7$2.422026-09-01
22Muse Spark 1.1xhigh82.0%59.5$0.3522026-09-01
23Gemini 3.7 Flashhigh80.8%62.1$1.442026-09-01
24Gemini 3.8 Flashhigh80.0%59.4$2.192026-09-01
25Gemini 3.6 Flashhigh79.6%61.0$1.192026-09-01
26Claude Sonnet 5max79.6%56.1$1.492026-09-01
27Composer 2.579.6%––2026-09-01
28Gemini 3.5 Flashhigh78.8%62.5$0.9542026-09-01
29Gemini 3.1 Prohigh78.8%60.4$0.7832026-09-01
30GPT-5.4xhigh78.2%63.1$0.8012026-09-01
31Claude Opus 4.6max78.2%57.0$1.222026-09-01
32Kimi K2.7 Code78.2%53.9$0.2652026-09-01
33GPT-5.3-Codexxhigh78.0%62.9$0.4552026-09-01
34Inkling77.6%50.4$0.5862026-09-01
35Claude Sonnet 4.6max77.4%56.1$1.302026-09-01
36GPT-5.576.4%61.0$0.6522026-09-01
37Gemini 3 Prohigh76.4%60.0$0.7722026-09-01
38Claude Opus 4.5high76.4%59.7$1.052026-09-01
39GLM 5.176.4%55.4$0.4572026-09-01
40Kimi K2.676.2%55.1$0.2752026-09-01
41GPT-5.2xhigh75.8%59.9$1.452026-09-01
42Gemini 3 Flashhigh75.0%57.4$0.2802026-09-01
43MiniMax M375.0%56.1$0.4162026-09-01
44Gemini 3.5 Flash Litehigh75.0%47.8$0.3092026-09-01
45MiniMax-M2.174.8%53.8$0.4392026-09-01
46Muse Spark74.4%64.2$0.4442026-09-01
47MiniMax M2.574.2%53.7$0.4572026-09-01
48MiMo-V2.5-Pro74.0%55.5$0.0232026-09-01
49MiniMax M2.773.8%56.6$0.4662026-09-01
50Qwen3.6 Plus73.4%59.0$0.8692026-09-01
51GPT-5.4 Minixhigh73.0%55.1$0.5112026-09-01
52Qwen3.6 Maxmax72.8%62.1$1.572026-09-01
53GPT-5.2-Codexhigh72.4%–$0.3122026-09-01
54Grok 4.20thinking72.2%58.3$0.5162026-09-01
55GLM-5thinking71.4%60.2$0.4492026-09-01
56Grok 4.3high71.4%56.5$0.2232026-09-01
57Qwen3.5 Plusthinking71.2%57.4$0.9642026-09-01
58MiMo-V2.571.0%56.3$0.0102026-09-01
59Kimi K2.5thinking70.0%59.4$0.1682026-09-01
60Claude Sonnet 4.5thinking70.0%52.3$0.8072026-09-01

更多编程基准测试 · 全部大模型基准测试

引用格式:BenchLeader,《SWE-bench (Vals) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/vals_swebench。

SWE-bench (Vals):常见问题

SWE-bench (Vals) 衡量的是什么?
SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。分数以完成任务的百分比表示,越高越好。
SWE-bench (Vals) 的最高分是多少?
截至 2026年11月16日,SWE-bench (Vals) 的最高分为 97.0%,由 Claude Opus 5 取得(结果日期 2026年9月1日),领先于 DeepSeek V4 Pro(96.4%)。分数来自 Vals AI,每天重新读取。
哪个 AI 模型在 SWE-bench (Vals) 上领先?
截至 2026年11月16日,SWE-bench (Vals) 排名第一的是 Claude Opus 5,分数为 97.0%(结果日期 2026年9月1日)。其后为 DeepSeek V4 Pro(96.4%)。
有多少模型有 SWE-bench (Vals) 结果?
BenchLeader 上有 86 个模型配置有 SWE-bench (Vals) 结果,全部取自 Vals AI。
SWE-bench (Vals) 由谁运行,多久更新一次?
SWE-bench (Vals) 由 Vals AI 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
SWE-bench (Vals) 是否计入 BenchLeader Index?
不计入。SWE-bench (Vals) 仅作参考展示,不计入综合分数。