BenchLeader

SWE-Bench Pro 排行榜

截至 2026年11月16日,SWE-Bench Pro 的最高分为 61.5%,由 Muse Spark 1.1(Meta)取得,领先于 GPT-5.4(59.1%)。共有 25 个模型配置公布了结果(Scale AI SEAL,结果日期 2026年7月9日)。SWE-Bench Pro 是 Scale AI 推出的 SWE-bench 加难版后继,能抵御数据污染:来自多种语言公开仓库的长周期 issue,任务需要跨多个文件修改。SWE-Bench Pro 计入 BenchLeader Index 的编程得分。

要点(截至 2026年11月16日)

  • Muse Spark 1.1 以 61.5% 保持 SWE-Bench Pro 最高分(Scale AI SEAL,2026年7月9日)。
  • GPT-5.4 以 59.1% 位列 SWE-Bench Pro 第二(Scale AI SEAL,2026年4月8日)。
  • SWE-Bench Pro:公开仓库中的长周期软件工程任务。Scale AI(Scale AI SEAL)。
  • BenchLeader 上有 25 个模型配置公布了 SWE-Bench Pro 结果(BenchLeader,2026年11月16日)。
  • SWE-Bench Pro 计入 BenchLeader Index 的编程类别(BenchLeader 方法论)。

公开仓库中的长周期软件工程任务。Scale AI。

发布方
Scale AI SEAL
类别
编程
Index 权重
1.0
模型
25
数据截至
2026年11月16日

Scale AI SEAL Leaderboards.

测试内容

SWE-Bench Pro 是 Scale AI 推出的 SWE-bench 加难版后继,能抵御数据污染:来自多种语言公开仓库的长周期 issue,任务需要跨多个文件修改。

评分方式

在公开题集上、使用 Scale 的测试框架解决 issue 的百分比。

注意事项

比 SWE-bench Verified 难得多,所以分数更低,也不能与之比较。另有一个只有 Scale 能运行的留出商业题集。

25 / 25
#
1Muse Spark 1.161.5%62.22026-07-09
2GPT-5.4xhigh59.1%63.12026-04-08
3Muse Spark55.0%64.22026-04-08
4Claude Opus 4.6thinking51.9%–2026-04-08
5Gemini 3.1 Prothinking46.1%–2026-04-08
6Claude Opus 4.545.9%57.12025-12-11
7Claude Sonnet 4.543.6%53.82025-09-19
8Gemini 3 Pro43.3%60.02025-11-26
9Claude Sonnet 442.7%50.02025-09-19
10GPT-5high41.8%58.22025-11-26
11GPT-5.2-Codex41.0%57.62026-01-27
12Claude Haiku 4.539.5%47.72025-09-19
13Qwen3 Coder 480B38.7%48.92026-01-27
14Minimax 2.136.8%–2026-01-12
15Gemini 3 Flash34.6%56.52026-01-12
16GPT-5.229.9%56.72026-01-27
17Kimi K227.7%51.12025-09-19
18Qwen3 235B A22B21.4%50.12026-01-27
19gpt-oss-120b16.2%46.12026-01-27
20DeepSeek V3.215.6%50.22026-01-27
21Gemma 3 27B11.4%39.72026-01-27
22Llama 3.1 405B11.2%41.82026-01-27
23GLM-4.69.7%50.22026-01-27
24Llama 4 Maverick5.2%41.82026-01-27
25Codestral 24051.5%–2026-01-27

更多编程基准测试 · 全部大模型基准测试

引用格式:BenchLeader,《SWE-Bench Pro 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/scale_swe_bench_pro。

SWE-Bench Pro:常见问题

SWE-Bench Pro 衡量的是什么?
SWE-Bench Pro 是 Scale AI 推出的 SWE-bench 加难版后继,能抵御数据污染:来自多种语言公开仓库的长周期 issue,任务需要跨多个文件修改。分数以完成任务的百分比表示,越高越好。
SWE-Bench Pro 的最高分是多少?
截至 2026年11月16日,SWE-Bench Pro 的最高分为 61.5%,由 Muse Spark 1.1 取得(结果日期 2026年7月9日),领先于 GPT-5.4(59.1%)。分数来自 Scale AI SEAL,每天重新读取。
哪个 AI 模型在 SWE-Bench Pro 上领先?
截至 2026年11月16日,SWE-Bench Pro 排名第一的是 Muse Spark 1.1,分数为 61.5%(结果日期 2026年7月9日)。其后为 GPT-5.4(59.1%)。
有多少模型有 SWE-Bench Pro 结果?
BenchLeader 上有 25 个模型配置有 SWE-Bench Pro 结果,全部取自 Scale AI SEAL。
SWE-Bench Pro 由谁运行,多久更新一次?
SWE-Bench Pro 由 Scale AI SEAL 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
SWE-Bench Pro 是否计入 BenchLeader Index?
计入。SWE-Bench Pro 计入 BenchLeader Index 的编程类别,并经过归一化,使参评模型的平均值为 50。