BenchLeader

SWE-Bench Pro (private) 排行榜

截至 2026年11月16日,SWE-Bench Pro (private) 的最高分为 51.5%,由 Muse Spark 1.1(Meta)取得,领先于 Claude Opus 4.6(47.1%)。共有 14 个模型配置公布了结果(Scale AI SEAL,结果日期 2026年7月9日)。与 SWE-Bench Pro 相同的任务形式,但使用只有 Scale 能运行的商业仓库留出集。SWE-Bench Pro (private) 仅作参考展示,不计入 BenchLeader Index。

要点(截至 2026年11月16日)

  • Muse Spark 1.1 以 51.5% 保持 SWE-Bench Pro (private) 最高分(Scale AI SEAL,2026年7月9日)。
  • Claude Opus 4.6 以 47.1% 位列 SWE-Bench Pro (private) 第二(Scale AI SEAL,2026年4月8日)。
  • SWE-Bench Pro (private):SWE-Bench Pro 中基于商业仓库的非公开题集。Scale AI(Scale AI SEAL)。
  • BenchLeader 上有 14 个模型配置公布了 SWE-Bench Pro (private) 结果(BenchLeader,2026年11月16日)。
  • SWE-Bench Pro (private) 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。

SWE-Bench Pro 中基于商业仓库的非公开题集。Scale AI。

发布方
Scale AI SEAL
类别
编程
Index 权重
仅作参考
模型
14
数据截至
2026年11月16日

Scale AI SEAL Leaderboards.

测试内容

与 SWE-Bench Pro 相同的任务形式,但使用只有 Scale 能运行的商业仓库留出集。

评分方式

解决 issue 的百分比,由 Scale AI 发布。

注意事项

不会被污染,但在 Scale 之外无法复现。

14 / 14
#
1Muse Spark 1.151.5%62.22026-07-09
2Claude Opus 4.6thinking47.1%–2026-04-08
3Muse Spark44.7%64.22026-04-08
4GPT-5.4xhigh43.4%63.12026-04-08
5Gemini 3.1 Prothinking32.2%–2026-04-08
6GPT-5.2-Codex27.7%57.62026-01-12
7GPT-5.223.8%56.72026-01-12
8Claude Opus 4.523.4%57.12026-01-12
9Gemini 3 Pro17.9%60.02025-09-19
10Claude Opus 4.117.8%51.12025-09-19
11GPT-514.9%56.62025-09-19
12Gemini 2.5 Pro10.1%55.22025-09-19
13Claude Sonnet 49.1%50.02025-09-19
14GPT-4o3.6%42.82025-09-19

更多编程基准测试 · 全部大模型基准测试

引用格式:BenchLeader,《SWE-Bench Pro (private) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/scale_swe_bench_pro_private。

SWE-Bench Pro (private):常见问题

SWE-Bench Pro (private) 衡量的是什么?
与 SWE-Bench Pro 相同的任务形式,但使用只有 Scale 能运行的商业仓库留出集。分数以完成任务的百分比表示,越高越好。
SWE-Bench Pro (private) 的最高分是多少?
截至 2026年11月16日,SWE-Bench Pro (private) 的最高分为 51.5%,由 Muse Spark 1.1 取得(结果日期 2026年7月9日),领先于 Claude Opus 4.6(47.1%)。分数来自 Scale AI SEAL,每天重新读取。
哪个 AI 模型在 SWE-Bench Pro (private) 上领先?
截至 2026年11月16日,SWE-Bench Pro (private) 排名第一的是 Muse Spark 1.1,分数为 51.5%(结果日期 2026年7月9日)。其后为 Claude Opus 4.6(47.1%)。
有多少模型有 SWE-Bench Pro (private) 结果?
BenchLeader 上有 14 个模型配置有 SWE-Bench Pro (private) 结果,全部取自 Scale AI SEAL。
SWE-Bench Pro (private) 由谁运行,多久更新一次?
SWE-Bench Pro (private) 由 Scale AI SEAL 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
SWE-Bench Pro (private) 是否计入 BenchLeader Index?
不计入。SWE-Bench Pro (private) 仅作参考展示,不计入综合分数。