SWE-Bench Pro (private) 排行榜
截至 2026年11月16日,SWE-Bench Pro (private) 的最高分为 51.5%,由 Muse Spark 1.1(Meta)取得,领先于 Claude Opus 4.6(47.1%)。共有 14 个模型配置公布了结果(Scale AI SEAL,结果日期 2026年7月9日)。与 SWE-Bench Pro 相同的任务形式,但使用只有 Scale 能运行的商业仓库留出集。SWE-Bench Pro (private) 仅作参考展示,不计入 BenchLeader Index。
要点(截至 2026年11月16日)
- Muse Spark 1.1 以 51.5% 保持 SWE-Bench Pro (private) 最高分(Scale AI SEAL,2026年7月9日)。
- Claude Opus 4.6 以 47.1% 位列 SWE-Bench Pro (private) 第二(Scale AI SEAL,2026年4月8日)。
- SWE-Bench Pro (private):SWE-Bench Pro 中基于商业仓库的非公开题集。Scale AI(Scale AI SEAL)。
- BenchLeader 上有 14 个模型配置公布了 SWE-Bench Pro (private) 结果(BenchLeader,2026年11月16日)。
- SWE-Bench Pro (private) 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。
SWE-Bench Pro 中基于商业仓库的非公开题集。Scale AI。
- 类别
- 编程
- Index 权重
- 仅作参考
- 模型
- 14
- 数据截至
- 2026年11月16日
Scale AI SEAL Leaderboards.
测试内容
与 SWE-Bench Pro 相同的任务形式,但使用只有 Scale 能运行的商业仓库留出集。
评分方式
解决 issue 的百分比,由 Scale AI 发布。
注意事项
不会被污染,但在 Scale 之外无法复现。
- 1Muse Spark 1.151.5%
- 2Claude Opus 4.6 (thinking)47.1%
- 3Muse Spark44.7%
- 4GPT-5.4 (xhigh)43.4%
- 5Gemini 3.1 Pro (thinking)32.2%
- 6GPT-5.2-Codex27.7%
- 7GPT-5.223.8%
- 8Claude Opus 4.523.4%
- 9Gemini 3 Pro17.9%
- 10Claude Opus 4.117.8%
- 11GPT-514.9%
- 12Gemini 2.5 Pro10.1%
- 13Claude Sonnet 49.1%
- 14GPT-4o3.6%
14 / 14
| # | ||||
|---|---|---|---|---|
| 1 | 51.5% | 62.2 | 2026-07-09 | |
| 2 | 47.1% | – | 2026-04-08 | |
| 3 | 44.7% | 64.2 | 2026-04-08 | |
| 4 | 43.4% | 63.1 | 2026-04-08 | |
| 5 | 32.2% | – | 2026-04-08 | |
| 6 | 27.7% | 57.6 | 2026-01-12 | |
| 7 | 23.8% | 56.7 | 2026-01-12 | |
| 8 | 23.4% | 57.1 | 2026-01-12 | |
| 9 | 17.9% | 60.0 | 2025-09-19 | |
| 10 | 17.8% | 51.1 | 2025-09-19 | |
| 11 | 14.9% | 56.6 | 2025-09-19 | |
| 12 | 10.1% | 55.2 | 2025-09-19 | |
| 13 | 9.1% | 50.0 | 2025-09-19 | |
| 14 | 3.6% | 42.8 | 2025-09-19 |
相关基准测试
SWE-Bench Pro (private) 上的热门模型对比
引用格式:BenchLeader,《SWE-Bench Pro (private) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/scale_swe_bench_pro_private。
SWE-Bench Pro (private):常见问题
- SWE-Bench Pro (private) 衡量的是什么?
- 与 SWE-Bench Pro 相同的任务形式,但使用只有 Scale 能运行的商业仓库留出集。分数以完成任务的百分比表示,越高越好。
- SWE-Bench Pro (private) 的最高分是多少?
- 截至 2026年11月16日,SWE-Bench Pro (private) 的最高分为 51.5%,由 Muse Spark 1.1 取得(结果日期 2026年7月9日),领先于 Claude Opus 4.6(47.1%)。分数来自 Scale AI SEAL,每天重新读取。
- 哪个 AI 模型在 SWE-Bench Pro (private) 上领先?
- 截至 2026年11月16日,SWE-Bench Pro (private) 排名第一的是 Muse Spark 1.1,分数为 51.5%(结果日期 2026年7月9日)。其后为 Claude Opus 4.6(47.1%)。
- 有多少模型有 SWE-Bench Pro (private) 结果?
- BenchLeader 上有 14 个模型配置有 SWE-Bench Pro (private) 结果,全部取自 Scale AI SEAL。
- SWE-Bench Pro (private) 由谁运行,多久更新一次?
- SWE-Bench Pro (private) 由 Scale AI SEAL 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- SWE-Bench Pro (private) 是否计入 BenchLeader Index?
- 不计入。SWE-Bench Pro (private) 仅作参考展示,不计入综合分数。