SWE-bench Verified (Epoch) 排行榜
截至 2026年11月16日,SWE-bench Verified (Epoch) 的最高分为 83.5%,由 Claude Opus 4.7(Anthropic)取得,领先于 GPT-5.5 Pre Release(80.6%)。共有 33 个模型配置公布了结果(Epoch AI Benchmarking Hub,结果日期 2026年4月16日)。SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。SWE-bench Verified (Epoch) 计入 BenchLeader Index 的编程得分。
要点(截至 2026年11月16日)
- Claude Opus 4.7 以 83.5% 保持 SWE-bench Verified (Epoch) 最高分(Epoch AI Benchmarking Hub,2026年4月16日)。
- GPT-5.5 Pre Release 以 80.6% 位列 SWE-bench Verified (Epoch) 第二(Epoch AI Benchmarking Hub,2026年4月23日)。
- SWE-bench Verified (Epoch):Epoch AI 使用固定脚手架自行运行的 SWE-bench Verified(Epoch AI Benchmarking Hub)。
- BenchLeader 上有 33 个模型配置公布了 SWE-bench Verified (Epoch) 结果(BenchLeader,2026年11月16日)。
- SWE-bench Verified (Epoch) 计入 BenchLeader Index 的编程类别(BenchLeader 方法论)。
Epoch AI 使用固定脚手架自行运行的 SWE-bench Verified。
- 类别
- 编程
- Index 权重
- 0.5
- 模型
- 33
- 数据截至
- 2026年11月16日
CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.
测试内容
SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。
评分方式
在 500 个 issue 中解决的百分比,由 Epoch AI 运行。
注意事项
Epoch AI 自己运行的 SWE-bench Verified,所有模型使用同一个固定的脚手架。固定脚手架让模型之间可以比较,但可能低估那些针对其他智能体循环调优的模型。数字通常低于厂商自己报告的最佳成绩。另请参阅 SWE-bench Verified (bash only) 排行榜。
- 1Claude Opus 4.7 (max)83.5%
- 2GPT-5.5 Pre Release (xhigh)80.6%
- 3Gemini 3.5 Flash (high)79.3%
- 4Claude Opus 4.678.7%
- 5GLM 5.2 (max)78.7%
- 6DeepSeek V4 Pro (max)77.6%
- 7Qwen3.7 (max)77.3%
- 8GPT-5.4 (high)76.9%
- 9Qwen3.6 Max (max)76.7%
- 10Claude Opus 4.576.7%
- 11Kimi K2.676.7%
- 12Gemini 3.1 Pro Customtools75.6%
- 13Gemini 3 Flash75.4%
- 14Claude Sonnet 4.675.2%
- 15GPT-5.3-Codex (high)74.8%
| # | ||||
|---|---|---|---|---|
| 1 | 83.5% | 59.7 | 2026-04-16 | |
| 2 | 80.6% | – | 2026-04-23 | |
| 3 | 79.3% | 62.5 | 2026-05-19 | |
| 4 | 78.7% | 62.1 | 2026-02-05 | |
| 5 | 78.7% | 58.9 | 2026-06-16 | |
| 6 | 77.6% | 54.7 | 2026-04-24 | |
| 7 | 77.3% | 60.0 | 2026-05-19 | |
| 8 | 76.9% | 58.6 | 2026-03-05 | |
| 9 | 76.7% | 62.1 | 2026-04-20 | |
| 10 | 76.7% | 57.1 | 2025-11-24 | |
| 11 | 76.7% | 55.1 | 2026-04-20 | |
| 12 | 75.6% | – | 2026-02-19 | |
| 13 | 75.4% | 56.5 | 2025-12-17 | |
| 14 | 75.2% | 57.6 | 2026-02-17 | |
| 15 | 74.8% | – | 2026-02-05 | |
| 16 | 74.2% | 55.4 | 2026-04-07 | |
| 17 | 73.8% | 55.8 | 2025-12-11 | |
| 18 | 73.8% | 54.6 | 2026-01-27 | |
| 19 | 73.5% | 58.2 | 2025-08-07 | |
| 20 | 73.3% | 51.1 | 2025-08-05 | |
| 21 | 72.9% | 60.0 | 2025-11-18 | |
| 22 | 72.1% | 54.9 | 2026-02-11 | |
| 23 | 71.5% | 59.0 | 2025-08-07 | |
| 24 | 71.3% | 53.8 | 2025-09-29 | |
| 25 | 70.7% | 51.9 | 2025-05-22 | |
| 26 | 68.0% | 57.5 | 2025-11-13 | |
| 27 | 64.7% | 53.6 | 2025-08-07 | |
| 28 | 62.3% | 53.3 | 2025-04-16 | |
| 29 | 61.0% | 49.2 | 2025-02-24 | |
| 30 | 57.9% | 59.0 | 2026-03-31 | |
| 31 | 57.6% | 55.2 | 2025-06-17 | |
| 32 | 48.5% | 48.7 | 2025-04-14 | |
| 33 | 31.0% | 42.8 | 2024-11-20 |
相关基准测试
SWE-bench Verified (Epoch) 上的热门模型对比
引用格式:BenchLeader,《SWE-bench Verified (Epoch) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/swe_bench_verified_epoch。
SWE-bench Verified (Epoch):常见问题
- SWE-bench Verified (Epoch) 衡量的是什么?
- SWE-bench Verified 包含 500 个来自热门 Python 仓库的真实 GitHub issue,每个都经过人工标注员筛选,确保任务描述清楚、测试公平。模型阅读 issue 并修改仓库,只有隐藏测试全部通过,补丁才算被接受。分数以完成任务的百分比表示,越高越好。
- SWE-bench Verified (Epoch) 的最高分是多少?
- 截至 2026年11月16日,SWE-bench Verified (Epoch) 的最高分为 83.5%,由 Claude Opus 4.7 取得(结果日期 2026年4月16日),领先于 GPT-5.5 Pre Release(80.6%)。分数来自 Epoch AI Benchmarking Hub,每天重新读取。
- 哪个 AI 模型在 SWE-bench Verified (Epoch) 上领先?
- 截至 2026年11月16日,SWE-bench Verified (Epoch) 排名第一的是 Claude Opus 4.7,分数为 83.5%(结果日期 2026年4月16日)。其后为 GPT-5.5 Pre Release(80.6%)。
- 有多少模型有 SWE-bench Verified (Epoch) 结果?
- BenchLeader 上有 33 个模型配置有 SWE-bench Verified (Epoch) 结果,全部取自 Epoch AI Benchmarking Hub。
- SWE-bench Verified (Epoch) 由谁运行,多久更新一次?
- SWE-bench Verified (Epoch) 由 Epoch AI Benchmarking Hub 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- SWE-bench Verified (Epoch) 是否计入 BenchLeader Index?
- 计入。SWE-bench Verified (Epoch) 计入 BenchLeader Index 的编程类别,并经过归一化,使参评模型的平均值为 50。