BenchLeader

SWE-bench Verified (Epoch) 排行榜

截至 2026年11月16日,SWE-bench Verified (Epoch) 的最高分为 83.5%,由 Claude Opus 4.7(Anthropic)取得,领先于 GPT-5.5 Pre Release(80.6%)。共有 33 个模型配置公布了结果(Epoch AI Benchmarking Hub,结果日期 2026年4月16日)。SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。SWE-bench Verified (Epoch) 计入 BenchLeader Index 的编程得分。

要点(截至 2026年11月16日)

  • Claude Opus 4.7 以 83.5% 保持 SWE-bench Verified (Epoch) 最高分(Epoch AI Benchmarking Hub,2026年4月16日)。
  • GPT-5.5 Pre Release 以 80.6% 位列 SWE-bench Verified (Epoch) 第二(Epoch AI Benchmarking Hub,2026年4月23日)。
  • SWE-bench Verified (Epoch):Epoch AI 使用固定脚手架自行运行的 SWE-bench Verified(Epoch AI Benchmarking Hub)。
  • BenchLeader 上有 33 个模型配置公布了 SWE-bench Verified (Epoch) 结果(BenchLeader,2026年11月16日)。
  • SWE-bench Verified (Epoch) 计入 BenchLeader Index 的编程类别(BenchLeader 方法论)。

Epoch AI 使用固定脚手架自行运行的 SWE-bench Verified。

发布方
Epoch AI Benchmarking Hub
类别
编程
Index 权重
0.5
模型
33
数据截至
2026年11月16日

CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.

测试内容

SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。

评分方式

在 500 个 issue 中解决的百分比,由 Epoch AI 运行。

注意事项

Epoch AI 自己运行的 SWE-bench Verified,所有模型使用同一个固定的脚手架。固定脚手架让模型之间可以比较,但可能低估那些针对其他智能体循环调优的模型。数字通常低于厂商自己报告的最佳成绩。另请参阅 SWE-bench Verified (bash only) 排行榜。

33 / 33
#
1Claude Opus 4.7max83.5%59.72026-04-16
2GPT-5.5 Pre Releasexhigh80.6%–2026-04-23
3Gemini 3.5 Flashhigh79.3%62.52026-05-19
4Claude Opus 4.678.7%62.12026-02-05
5GLM 5.2max78.7%58.92026-06-16
6DeepSeek V4 Promax77.6%54.72026-04-24
7Qwen3.7max77.3%60.02026-05-19
8GPT-5.4high76.9%58.62026-03-05
9Qwen3.6 Maxmax76.7%62.12026-04-20
10Claude Opus 4.576.7%57.12025-11-24
11Kimi K2.676.7%55.12026-04-20
12Gemini 3.1 Pro Customtools75.6%–2026-02-19
13Gemini 3 Flash75.4%56.52025-12-17
14Claude Sonnet 4.675.2%57.62026-02-17
15GPT-5.3-Codexhigh74.8%–2026-02-05
16GLM 5.174.2%55.42026-04-07
17GPT-5.2high73.8%55.82025-12-11
18Kimi K2.573.8%54.62026-01-27
19GPT-5high73.5%58.22025-08-07
20Claude Opus 4.173.3%51.12025-08-05
21Gemini 3 Pro72.9%60.02025-11-18
22GLM-572.1%54.92026-02-11
23GPT-5medium71.5%59.02025-08-07
24Claude Sonnet 4.571.3%53.82025-09-29
25Claude Opus 470.7%51.92025-05-22
26GPT-5.1high68.0%57.52025-11-13
27GPT-5 minimedium64.7%53.62025-08-07
28o3medium62.3%53.32025-04-16
29Claude 3.7 Sonnet61.0%49.22025-02-24
30Qwen3.6 Plus57.9%59.02026-03-31
31Gemini 2.5 Pro57.6%55.22025-06-17
32GPT-4.148.5%48.72025-04-14
33GPT-4o31.0%42.82024-11-20

更多编程基准测试 · 全部大模型基准测试

引用格式:BenchLeader,《SWE-bench Verified (Epoch) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/swe_bench_verified_epoch。

SWE-bench Verified (Epoch):常见问题

SWE-bench Verified (Epoch) 衡量的是什么?
SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。分数以完成任务的百分比表示,越高越好。
SWE-bench Verified (Epoch) 的最高分是多少?
截至 2026年11月16日,SWE-bench Verified (Epoch) 的最高分为 83.5%,由 Claude Opus 4.7 取得(结果日期 2026年4月16日),领先于 GPT-5.5 Pre Release(80.6%)。分数来自 Epoch AI Benchmarking Hub,每天重新读取。
哪个 AI 模型在 SWE-bench Verified (Epoch) 上领先?
截至 2026年11月16日,SWE-bench Verified (Epoch) 排名第一的是 Claude Opus 4.7,分数为 83.5%(结果日期 2026年4月16日)。其后为 GPT-5.5 Pre Release(80.6%)。
有多少模型有 SWE-bench Verified (Epoch) 结果?
BenchLeader 上有 33 个模型配置有 SWE-bench Verified (Epoch) 结果,全部取自 Epoch AI Benchmarking Hub。
SWE-bench Verified (Epoch) 由谁运行,多久更新一次?
SWE-bench Verified (Epoch) 由 Epoch AI Benchmarking Hub 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
SWE-bench Verified (Epoch) 是否计入 BenchLeader Index?
计入。SWE-bench Verified (Epoch) 计入 BenchLeader Index 的编程类别,并经过归一化,使参评模型的平均值为 50。