BenchLeader

DeepSWEのリーダーボード

2026年11月16日時点で、DeepSWEの最高スコアは74.1%で、GPT-6 Astra(OpenAI)が記録しています。次点はGemini 3.8 Flashの73.8%です。公表された結果があるのは69のモデル構成です(Epoch AI Benchmarking Hub、結果の日付は2026年9月3日)。SWE形式のリポジトリタスクをエージェントループで実行したもので、実行ごとに推論エフォートが記録されています。DeepSWEは参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • GPT-6 AstraがDeepSWE v1.1の最高スコア74.1%を記録しています(Epoch AI Benchmarking Hub、2026年9月3日)。
  • DeepSWE v1.1の2位はGemini 3.8 Flashで、73.8%です(Epoch AI Benchmarking Hub、2026年9月2日)。
  • DeepSWE v1.1:推論エフォートを記録したうえで、エージェントのハーネスで行うソフトウェアエンジニアリングのタスク(Epoch AI Benchmarking Hub)。
  • BenchLeaderでは69のモデル構成にDeepSWE v1.1の公表結果があります(BenchLeader、2026年11月16日)。
  • DeepSWE v1.1はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

推論エフォートを記録したうえで、エージェントのハーネスで行うソフトウェアエンジニアリングのタスク。

公開元
Epoch AI Benchmarking Hub
カテゴリ
コーディング
Indexでの重み
参考のみ
モデル
69
データ基準日
2026年11月16日

CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.

どんなテストか

SWE形式のリポジトリタスクをエージェントループで実行したもので、実行ごとに推論エフォートが記録されています。

採点方法

pass@1で、公表された値です。

注意点

ハーネスに左右されます。

69件中69件
#
1GPT-6 Astraxhigh74.1%66.02026-09-03
2Gemini 3.8 Flashhigh73.8%59.42026-09-02
3Claude Opus 5max73.7%65.02026-07-24
4GPT-6 Astramax73.2%67.32026-09-03
5GPT-6 Astrahigh73.2%66.32026-09-03
6Claude Opus 5xhigh73.2%60.12026-07-24
7Claude Opus 5high72.8%64.42026-07-24
8GPT-6 Astramedium72.8%64.42026-09-03
9GPT-5.6 Solmax72.7%65.32026-07-09
10Gemini 3.8 Flashmedium71.0%60.22026-09-02
11GPT-5.6 Solxhigh70.7%63.92026-07-09
12Claude Fable 5xhigh69.9%–2026-06-09
13Claude Fable 5max69.7%65.12026-06-09
14GPT-5.6 Terramax69.6%59.52026-07-09
15GPT-5.6 Solhigh69.4%63.42026-07-09
16GLM 5.3max69.0%58.82026-08-14
17Claude Opus 5medium68.9%57.52026-07-24
18Claude Fable 5high68.6%63.92026-06-09
19Kimi K3max68.5%60.22026-07-16
20Grok 4.6medium67.5%59.42026-08-12
21GPT-5.6 Lunamax67.2%56.22026-07-09
22GPT-5.5xhigh67.0%64.12026-04-23
23GPT-6 Astralow67.0%62.02026-09-03
24Grok 4.6xhigh66.7%56.12026-08-12
25Gemini 3.7 Flashmedium65.5%60.12026-08-13
26Claude Fable 5medium65.4%–2026-06-09
27Gemini 3.7 Flashhigh65.3%62.12026-08-13
28Grok 4.6high65.2%60.62026-08-12
29GPT-5.5high64.4%63.52026-04-23
30GLM 5.3 Flashmax63.4%52.42026-08-20
31GPT-5.6 Solmedium61.1%61.32026-07-09
32GPT-5.6 Terraxhigh60.2%60.12026-07-09
33Claude Fable 5low59.6%–2026-06-09
34Claude Opus 4.8max59.0%61.12026-05-28
35Claude Opus 5low58.1%57.02026-07-24
36Qwen3.8 Maxxhigh57.5%56.62026-08-02
37GPT-5.6 Lunaxhigh56.9%58.22026-07-09
38Muse Spark 1.2xhigh54.9%61.52026-08-05
39Claude Opus 4.8xhigh54.4%–2026-05-28
40GPT-5.5medium54.0%60.82026-04-23
41Claude Sonnet 5max53.9%56.12026-06-30
42Gemini 3.7 Flashlow53.8%57.32026-08-13
43Grok 4.5high53.8%56.82026-07-08
44GPT-5.6 Terrahigh53.8%56.82026-07-09
45Muse Spark 1.153.3%62.22026-07-09
46GPT-5.4xhigh51.8%63.12026-03-05
47Claude Opus 4.8high51.8%60.42026-05-28
48Claude Sonnet 5xhigh49.7%55.42026-06-30
49Claude Opus 4.8medium48.7%–2026-05-28
50Claude Sonnet 5high48.2%59.02026-06-30
51Gemini 3.6 Flashhigh46.7%61.02026-07-21
52GPT-5.6 Sollow45.4%60.22026-07-09
53GPT-5.6 Lunahigh44.3%54.72026-07-09
54GLM 5.2max43.8%58.92026-06-16
55Grok 4.6low41.6%55.12026-08-12
56Claude Opus 4.8low40.8%–2026-05-28
57Claude Sonnet 5medium39.8%–2026-06-30
58Gemini 3.5 Flashmedium37.4%61.82026-05-19
59GLM 5.2high36.3%–2026-06-16
60Gemini 3.5 Flashhigh36.1%62.52026-05-19

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「DeepSWE v1.1のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/deepswe

DeepSWE v1.1:よくある質問

DeepSWE v1.1は何を測るベンチマークですか?
SWE形式のリポジトリタスクをエージェントループで実行したもので、実行ごとに推論エフォートが記録されています。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
DeepSWE v1.1の最高スコアは?
2026年11月16日時点で、DeepSWE v1.1の最高スコアは74.1%で、GPT-6 Astraが記録しています(結果の日付は2026年9月3日)。次点はGemini 3.8 Flashの73.8%です。スコアはEpoch AI Benchmarking Hubの公表値で、毎日読み直しています。
DeepSWE v1.1でトップのAIモデルは?
2026年11月16日時点で、DeepSWE v1.1の首位はGPT-6 Astraで、スコアは74.1%です(結果の日付は2026年9月3日)。続いてGemini 3.8 Flash(73.8%)です。
DeepSWE v1.1の結果があるモデルはいくつですか?
BenchLeaderでは69のモデル構成にDeepSWE v1.1の結果があり、すべてEpoch AI Benchmarking Hubから取得しています。
DeepSWE v1.1を運営しているのは誰で、どのくらいの頻度で更新されますか?
DeepSWE v1.1はEpoch AI Benchmarking Hubが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
DeepSWE v1.1はBenchLeader Indexに含まれますか?
いいえ。DeepSWE v1.1は参考として掲載していますが、総合スコアには含めていません。