BenchLeader

DeepSWE 排行榜

截至 2026年11月16日,DeepSWE 的最高分为 74.1%,由 GPT-6 Astra(OpenAI)取得,领先于 Gemini 3.8 Flash(73.8%)。共有 69 个模型配置公布了结果(Epoch AI Benchmarking Hub,结果日期 2026年9月3日)。在智能体循环中运行的 SWE 式仓库任务,每次运行注明推理强度。DeepSWE 仅作参考展示,不计入 BenchLeader Index。

要点(截至 2026年11月16日)

  • GPT-6 Astra 以 74.1% 保持 DeepSWE v1.1 最高分(Epoch AI Benchmarking Hub,2026年9月3日)。
  • Gemini 3.8 Flash 以 73.8% 位列 DeepSWE v1.1 第二(Epoch AI Benchmarking Hub,2026年9月2日)。
  • DeepSWE v1.1:在智能体框架中完成、并记录推理强度的软件工程任务(Epoch AI Benchmarking Hub)。
  • BenchLeader 上有 69 个模型配置公布了 DeepSWE v1.1 结果(BenchLeader,2026年11月16日)。
  • DeepSWE v1.1 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。

在智能体框架中完成、并记录推理强度的软件工程任务。

发布方
Epoch AI Benchmarking Hub
类别
编程
Index 权重
仅作参考
模型
69
数据截至
2026年11月16日

CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.

测试内容

在智能体循环中运行的 SWE 式仓库任务,每次运行注明推理强度。

评分方式

Pass@1,以公布结果为准。

注意事项

依赖测试框架。

69 / 69
#
1GPT-6 Astraxhigh74.1%66.02026-09-03
2Gemini 3.8 Flashhigh73.8%59.42026-09-02
3Claude Opus 5max73.7%65.02026-07-24
4GPT-6 Astramax73.2%67.32026-09-03
5GPT-6 Astrahigh73.2%66.32026-09-03
6Claude Opus 5xhigh73.2%60.12026-07-24
7Claude Opus 5high72.8%64.42026-07-24
8GPT-6 Astramedium72.8%64.42026-09-03
9GPT-5.6 Solmax72.7%65.32026-07-09
10Gemini 3.8 Flashmedium71.0%60.22026-09-02
11GPT-5.6 Solxhigh70.7%63.92026-07-09
12Claude Fable 5xhigh69.9%–2026-06-09
13Claude Fable 5max69.7%65.12026-06-09
14GPT-5.6 Terramax69.6%59.52026-07-09
15GPT-5.6 Solhigh69.4%63.42026-07-09
16GLM 5.3max69.0%58.82026-08-14
17Claude Opus 5medium68.9%57.52026-07-24
18Claude Fable 5high68.6%63.92026-06-09
19Kimi K3max68.5%60.22026-07-16
20Grok 4.6medium67.5%59.42026-08-12
21GPT-5.6 Lunamax67.2%56.22026-07-09
22GPT-5.5xhigh67.0%64.12026-04-23
23GPT-6 Astralow67.0%62.02026-09-03
24Grok 4.6xhigh66.7%56.12026-08-12
25Gemini 3.7 Flashmedium65.5%60.12026-08-13
26Claude Fable 5medium65.4%–2026-06-09
27Gemini 3.7 Flashhigh65.3%62.12026-08-13
28Grok 4.6high65.2%60.62026-08-12
29GPT-5.5high64.4%63.52026-04-23
30GLM 5.3 Flashmax63.4%52.42026-08-20
31GPT-5.6 Solmedium61.1%61.32026-07-09
32GPT-5.6 Terraxhigh60.2%60.12026-07-09
33Claude Fable 5low59.6%–2026-06-09
34Claude Opus 4.8max59.0%61.12026-05-28
35Claude Opus 5low58.1%57.02026-07-24
36Qwen3.8 Maxxhigh57.5%56.62026-08-02
37GPT-5.6 Lunaxhigh56.9%58.22026-07-09
38Muse Spark 1.2xhigh54.9%61.52026-08-05
39Claude Opus 4.8xhigh54.4%–2026-05-28
40GPT-5.5medium54.0%60.82026-04-23
41Claude Sonnet 5max53.9%56.12026-06-30
42Gemini 3.7 Flashlow53.8%57.32026-08-13
43Grok 4.5high53.8%56.82026-07-08
44GPT-5.6 Terrahigh53.8%56.82026-07-09
45Muse Spark 1.153.3%62.22026-07-09
46GPT-5.4xhigh51.8%63.12026-03-05
47Claude Opus 4.8high51.8%60.42026-05-28
48Claude Sonnet 5xhigh49.7%55.42026-06-30
49Claude Opus 4.8medium48.7%–2026-05-28
50Claude Sonnet 5high48.2%59.02026-06-30
51Gemini 3.6 Flashhigh46.7%61.02026-07-21
52GPT-5.6 Sollow45.4%60.22026-07-09
53GPT-5.6 Lunahigh44.3%54.72026-07-09
54GLM 5.2max43.8%58.92026-06-16
55Grok 4.6low41.6%55.12026-08-12
56Claude Opus 4.8low40.8%–2026-05-28
57Claude Sonnet 5medium39.8%–2026-06-30
58Gemini 3.5 Flashmedium37.4%61.82026-05-19
59GLM 5.2high36.3%–2026-06-16
60Gemini 3.5 Flashhigh36.1%62.52026-05-19

更多编程基准测试 · 全部大模型基准测试

引用格式:BenchLeader,《DeepSWE v1.1 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/deepswe。

DeepSWE v1.1:常见问题

DeepSWE v1.1 衡量的是什么?
在智能体循环中运行的 SWE 式仓库任务,每次运行注明推理强度。分数以完成任务的百分比表示,越高越好。
DeepSWE v1.1 的最高分是多少?
截至 2026年11月16日,DeepSWE v1.1 的最高分为 74.1%,由 GPT-6 Astra 取得(结果日期 2026年9月3日),领先于 Gemini 3.8 Flash(73.8%)。分数来自 Epoch AI Benchmarking Hub,每天重新读取。
哪个 AI 模型在 DeepSWE v1.1 上领先?
截至 2026年11月16日,DeepSWE v1.1 排名第一的是 GPT-6 Astra,分数为 74.1%(结果日期 2026年9月3日)。其后为 Gemini 3.8 Flash(73.8%)。
有多少模型有 DeepSWE v1.1 结果?
BenchLeader 上有 69 个模型配置有 DeepSWE v1.1 结果,全部取自 Epoch AI Benchmarking Hub。
DeepSWE v1.1 由谁运行,多久更新一次?
DeepSWE v1.1 由 Epoch AI Benchmarking Hub 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
DeepSWE v1.1 是否计入 BenchLeader Index?
不计入。DeepSWE v1.1 仅作参考展示,不计入综合分数。