DeepSWEのリーダーボード
2026年11月16日時点で、DeepSWEの最高スコアは74.1%で、GPT-6 Astra(OpenAI)が記録しています。次点はGemini 3.8 Flashの73.8%です。公表された結果があるのは69のモデル構成です(Epoch AI Benchmarking Hub、結果の日付は2026年9月3日)。SWE形式のリポジトリタスクをエージェントループで実行したもので、実行ごとに推論エフォートが記録されています。DeepSWEは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- GPT-6 AstraがDeepSWE v1.1の最高スコア74.1%を記録しています(Epoch AI Benchmarking Hub、2026年9月3日)。
- DeepSWE v1.1の2位はGemini 3.8 Flashで、73.8%です(Epoch AI Benchmarking Hub、2026年9月2日)。
- DeepSWE v1.1:推論エフォートを記録したうえで、エージェントのハーネスで行うソフトウェアエンジニアリングのタスク(Epoch AI Benchmarking Hub)。
- BenchLeaderでは69のモデル構成にDeepSWE v1.1の公表結果があります(BenchLeader、2026年11月16日)。
- DeepSWE v1.1はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
推論エフォートを記録したうえで、エージェントのハーネスで行うソフトウェアエンジニアリングのタスク。
- カテゴリ
- コーディング
- Indexでの重み
- 参考のみ
- モデル
- 69
- データ基準日
- 2026年11月16日
CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.
どんなテストか
SWE形式のリポジトリタスクをエージェントループで実行したもので、実行ごとに推論エフォートが記録されています。
採点方法
pass@1で、公表された値です。
注意点
ハーネスに左右されます。
- 1GPT-6 Astra (xhigh)74.1%
- 2Gemini 3.8 Flash (high)73.8%
- 3Claude Opus 5 (max)73.7%
- 4GPT-6 Astra (max)73.2%
- 5GPT-6 Astra (high)73.2%
- 6Claude Opus 5 (xhigh)73.2%
- 7Claude Opus 5 (high)72.8%
- 8GPT-6 Astra (medium)72.8%
- 9GPT-5.6 Sol (max)72.7%
- 10Gemini 3.8 Flash (medium)71.0%
- 11GPT-5.6 Sol (xhigh)70.7%
- 12Claude Fable 5 (xhigh)69.9%
- 13Claude Fable 5 (max)69.7%
- 14GPT-5.6 Terra (max)69.6%
- 15GPT-5.6 Sol (high)69.4%
69件中69件
| # | ||||
|---|---|---|---|---|
| 1 | 74.1% | 66.0 | 2026-09-03 | |
| 2 | 73.8% | 59.4 | 2026-09-02 | |
| 3 | 73.7% | 65.0 | 2026-07-24 | |
| 4 | 73.2% | 67.3 | 2026-09-03 | |
| 5 | 73.2% | 66.3 | 2026-09-03 | |
| 6 | 73.2% | 60.1 | 2026-07-24 | |
| 7 | 72.8% | 64.4 | 2026-07-24 | |
| 8 | 72.8% | 64.4 | 2026-09-03 | |
| 9 | 72.7% | 65.3 | 2026-07-09 | |
| 10 | 71.0% | 60.2 | 2026-09-02 | |
| 11 | 70.7% | 63.9 | 2026-07-09 | |
| 12 | 69.9% | – | 2026-06-09 | |
| 13 | 69.7% | 65.1 | 2026-06-09 | |
| 14 | 69.6% | 59.5 | 2026-07-09 | |
| 15 | 69.4% | 63.4 | 2026-07-09 | |
| 16 | 69.0% | 58.8 | 2026-08-14 | |
| 17 | 68.9% | 57.5 | 2026-07-24 | |
| 18 | 68.6% | 63.9 | 2026-06-09 | |
| 19 | 68.5% | 60.2 | 2026-07-16 | |
| 20 | 67.5% | 59.4 | 2026-08-12 | |
| 21 | 67.2% | 56.2 | 2026-07-09 | |
| 22 | 67.0% | 64.1 | 2026-04-23 | |
| 23 | 67.0% | 62.0 | 2026-09-03 | |
| 24 | 66.7% | 56.1 | 2026-08-12 | |
| 25 | 65.5% | 60.1 | 2026-08-13 | |
| 26 | 65.4% | – | 2026-06-09 | |
| 27 | 65.3% | 62.1 | 2026-08-13 | |
| 28 | 65.2% | 60.6 | 2026-08-12 | |
| 29 | 64.4% | 63.5 | 2026-04-23 | |
| 30 | 63.4% | 52.4 | 2026-08-20 | |
| 31 | 61.1% | 61.3 | 2026-07-09 | |
| 32 | 60.2% | 60.1 | 2026-07-09 | |
| 33 | 59.6% | – | 2026-06-09 | |
| 34 | 59.0% | 61.1 | 2026-05-28 | |
| 35 | 58.1% | 57.0 | 2026-07-24 | |
| 36 | 57.5% | 56.6 | 2026-08-02 | |
| 37 | 56.9% | 58.2 | 2026-07-09 | |
| 38 | 54.9% | 61.5 | 2026-08-05 | |
| 39 | 54.4% | – | 2026-05-28 | |
| 40 | 54.0% | 60.8 | 2026-04-23 | |
| 41 | 53.9% | 56.1 | 2026-06-30 | |
| 42 | 53.8% | 57.3 | 2026-08-13 | |
| 43 | 53.8% | 56.8 | 2026-07-08 | |
| 44 | 53.8% | 56.8 | 2026-07-09 | |
| 45 | 53.3% | 62.2 | 2026-07-09 | |
| 46 | 51.8% | 63.1 | 2026-03-05 | |
| 47 | 51.8% | 60.4 | 2026-05-28 | |
| 48 | 49.7% | 55.4 | 2026-06-30 | |
| 49 | 48.7% | – | 2026-05-28 | |
| 50 | 48.2% | 59.0 | 2026-06-30 | |
| 51 | 46.7% | 61.0 | 2026-07-21 | |
| 52 | 45.4% | 60.2 | 2026-07-09 | |
| 53 | 44.3% | 54.7 | 2026-07-09 | |
| 54 | 43.8% | 58.9 | 2026-06-16 | |
| 55 | 41.6% | 55.1 | 2026-08-12 | |
| 56 | 40.8% | – | 2026-05-28 | |
| 57 | 39.8% | – | 2026-06-30 | |
| 58 | 37.4% | 61.8 | 2026-05-19 | |
| 59 | 36.3% | – | 2026-06-16 | |
| 60 | 36.1% | 62.5 | 2026-05-19 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
DeepSWE v1.1での注目のモデル比較
引用表記:BenchLeader「DeepSWE v1.1のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/deepswe
DeepSWE v1.1:よくある質問
- DeepSWE v1.1は何を測るベンチマークですか?
- SWE形式のリポジトリタスクをエージェントループで実行したもので、実行ごとに推論エフォートが記録されています。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- DeepSWE v1.1の最高スコアは?
- 2026年11月16日時点で、DeepSWE v1.1の最高スコアは74.1%で、GPT-6 Astraが記録しています(結果の日付は2026年9月3日)。次点はGemini 3.8 Flashの73.8%です。スコアはEpoch AI Benchmarking Hubの公表値で、毎日読み直しています。
- DeepSWE v1.1でトップのAIモデルは?
- 2026年11月16日時点で、DeepSWE v1.1の首位はGPT-6 Astraで、スコアは74.1%です(結果の日付は2026年9月3日)。続いてGemini 3.8 Flash(73.8%)です。
- DeepSWE v1.1の結果があるモデルはいくつですか?
- BenchLeaderでは69のモデル構成にDeepSWE v1.1の結果があり、すべてEpoch AI Benchmarking Hubから取得しています。
- DeepSWE v1.1を運営しているのは誰で、どのくらいの頻度で更新されますか?
- DeepSWE v1.1はEpoch AI Benchmarking Hubが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- DeepSWE v1.1はBenchLeader Indexに含まれますか?
- いいえ。DeepSWE v1.1は参考として掲載していますが、総合スコアには含めていません。