SWE-Bench Pro 排行榜
截至 2026年11月16日,SWE-Bench Pro 的最高分为 61.5%,由 Muse Spark 1.1(Meta)取得,领先于 GPT-5.4(59.1%)。共有 25 个模型配置公布了结果(Scale AI SEAL,结果日期 2026年7月9日)。SWE-Bench Pro 是 Scale AI 推出的 SWE-bench 加难版后继,能抵御数据污染:来自多种语言公开仓库的长周期 issue,任务需要跨多个文件修改。SWE-Bench Pro 计入 BenchLeader Index 的编程得分。
要点(截至 2026年11月16日)
- Muse Spark 1.1 以 61.5% 保持 SWE-Bench Pro 最高分(Scale AI SEAL,2026年7月9日)。
- GPT-5.4 以 59.1% 位列 SWE-Bench Pro 第二(Scale AI SEAL,2026年4月8日)。
- SWE-Bench Pro:公开仓库中的长周期软件工程任务。Scale AI(Scale AI SEAL)。
- BenchLeader 上有 25 个模型配置公布了 SWE-Bench Pro 结果(BenchLeader,2026年11月16日)。
- SWE-Bench Pro 计入 BenchLeader Index 的编程类别(BenchLeader 方法论)。
公开仓库中的长周期软件工程任务。Scale AI。
- 类别
- 编程
- Index 权重
- 1.0
- 模型
- 25
- 数据截至
- 2026年11月16日
Scale AI SEAL Leaderboards.
测试内容
SWE-Bench Pro 是 Scale AI 推出的 SWE-bench 加难版后继,能抵御数据污染:来自多种语言公开仓库的长周期 issue,任务需要跨多个文件修改。
评分方式
在公开题集上、使用 Scale 的测试框架解决 issue 的百分比。
注意事项
比 SWE-bench Verified 难得多,所以分数更低,也不能与之比较。另有一个只有 Scale 能运行的留出商业题集。
- 1Muse Spark 1.161.5%
- 2GPT-5.4 (xhigh)59.1%
- 3Muse Spark55.0%
- 4Claude Opus 4.6 (thinking)51.9%
- 5Gemini 3.1 Pro (thinking)46.1%
- 6Claude Opus 4.545.9%
- 7Claude Sonnet 4.543.6%
- 8Gemini 3 Pro43.3%
- 9Claude Sonnet 442.7%
- 10GPT-5 (high)41.8%
- 11GPT-5.2-Codex41.0%
- 12Claude Haiku 4.539.5%
- 13Qwen3 Coder 480B38.7%
- 14Minimax 2.136.8%
- 15Gemini 3 Flash34.6%
25 / 25
| # | ||||
|---|---|---|---|---|
| 1 | 61.5% | 62.2 | 2026-07-09 | |
| 2 | 59.1% | 63.1 | 2026-04-08 | |
| 3 | 55.0% | 64.2 | 2026-04-08 | |
| 4 | 51.9% | – | 2026-04-08 | |
| 5 | 46.1% | – | 2026-04-08 | |
| 6 | 45.9% | 57.1 | 2025-12-11 | |
| 7 | 43.6% | 53.8 | 2025-09-19 | |
| 8 | 43.3% | 60.0 | 2025-11-26 | |
| 9 | 42.7% | 50.0 | 2025-09-19 | |
| 10 | 41.8% | 58.2 | 2025-11-26 | |
| 11 | 41.0% | 57.6 | 2026-01-27 | |
| 12 | 39.5% | 47.7 | 2025-09-19 | |
| 13 | 38.7% | 48.9 | 2026-01-27 | |
| 14 | 36.8% | – | 2026-01-12 | |
| 15 | 34.6% | 56.5 | 2026-01-12 | |
| 16 | 29.9% | 56.7 | 2026-01-27 | |
| 17 | 27.7% | 51.1 | 2025-09-19 | |
| 18 | 21.4% | 50.1 | 2026-01-27 | |
| 19 | 16.2% | 46.1 | 2026-01-27 | |
| 20 | 15.6% | 50.2 | 2026-01-27 | |
| 21 | 11.4% | 39.7 | 2026-01-27 | |
| 22 | 11.2% | 41.8 | 2026-01-27 | |
| 23 | 9.7% | 50.2 | 2026-01-27 | |
| 24 | 5.2% | 41.8 | 2026-01-27 | |
| 25 | 1.5% | – | 2026-01-27 |
相关基准测试
SWE-Bench Pro 上的热门模型对比
引用格式:BenchLeader,《SWE-Bench Pro 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/scale_swe_bench_pro。
SWE-Bench Pro:常见问题
- SWE-Bench Pro 衡量的是什么?
- SWE-Bench Pro 是 Scale AI 推出的 SWE-bench 加难版后继,能抵御数据污染:来自多种语言公开仓库的长周期 issue,任务需要跨多个文件修改。分数以完成任务的百分比表示,越高越好。
- SWE-Bench Pro 的最高分是多少?
- 截至 2026年11月16日,SWE-Bench Pro 的最高分为 61.5%,由 Muse Spark 1.1 取得(结果日期 2026年7月9日),领先于 GPT-5.4(59.1%)。分数来自 Scale AI SEAL,每天重新读取。
- 哪个 AI 模型在 SWE-Bench Pro 上领先?
- 截至 2026年11月16日,SWE-Bench Pro 排名第一的是 Muse Spark 1.1,分数为 61.5%(结果日期 2026年7月9日)。其后为 GPT-5.4(59.1%)。
- 有多少模型有 SWE-Bench Pro 结果?
- BenchLeader 上有 25 个模型配置有 SWE-Bench Pro 结果,全部取自 Scale AI SEAL。
- SWE-Bench Pro 由谁运行,多久更新一次?
- SWE-Bench Pro 由 Scale AI SEAL 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- SWE-Bench Pro 是否计入 BenchLeader Index?
- 计入。SWE-Bench Pro 计入 BenchLeader Index 的编程类别,并经过归一化,使参评模型的平均值为 50。