SWE-bench Verified (Epoch)のリーダーボード
2026年11月16日時点で、SWE-bench Verified (Epoch)の最高スコアは83.5%で、Claude Opus 4.7(Anthropic)が記録しています。次点はGPT-5.5 Pre Releaseの80.6%です。公表された結果があるのは33のモデル構成です(Epoch AI Benchmarking Hub、結果の日付は2026年4月16日)。SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。SWE-bench Verified (Epoch)はBenchLeader Indexのコーディングスコアに反映されます。
要点(2026年11月16日時点)
- Claude Opus 4.7がSWE-bench Verified (Epoch)の最高スコア83.5%を記録しています(Epoch AI Benchmarking Hub、2026年4月16日)。
- SWE-bench Verified (Epoch)の2位はGPT-5.5 Pre Releaseで、80.6%です(Epoch AI Benchmarking Hub、2026年4月23日)。
- SWE-bench Verified (Epoch):Epoch AIが同じスキャフォールドで独自に実行したSWE-bench Verified(Epoch AI Benchmarking Hub)。
- BenchLeaderでは33のモデル構成にSWE-bench Verified (Epoch)の公表結果があります(BenchLeader、2026年11月16日)。
- SWE-bench Verified (Epoch)はBenchLeader Indexのコーディングカテゴリに反映されます(BenchLeaderの評価方法)。
Epoch AIが同じスキャフォールドで独自に実行したSWE-bench Verified。
- カテゴリ
- コーディング
- Indexでの重み
- 0.5
- モデル
- 33
- データ基準日
- 2026年11月16日
CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.
どんなテストか
SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。
採点方法
500件のissueのうち解決できた割合で、Epoch AIが実行しています。
注意点
Epoch AIが独自に実行したSWE-bench Verifiedで、すべてのモデルに同じスキャフォールドを使っています。スキャフォールドを固定するとモデル同士を比較しやすくなりますが、別のエージェントループ向けに調整されたモデルは低めに出ることがあります。数値は通常、ラボ自身が公表する最高値を下回ります。SWE-bench Verified (bash only)のボードもあわせてご覧ください。
- 1Claude Opus 4.7 (max)83.5%
- 2GPT-5.5 Pre Release (xhigh)80.6%
- 3Gemini 3.5 Flash (high)79.3%
- 4Claude Opus 4.678.7%
- 5GLM 5.2 (max)78.7%
- 6DeepSeek V4 Pro (max)77.6%
- 7Qwen3.7 (max)77.3%
- 8GPT-5.4 (high)76.9%
- 9Qwen3.6 Max (max)76.7%
- 10Claude Opus 4.576.7%
- 11Kimi K2.676.7%
- 12Gemini 3.1 Pro Customtools75.6%
- 13Gemini 3 Flash75.4%
- 14Claude Sonnet 4.675.2%
- 15GPT-5.3-Codex (high)74.8%
| # | ||||
|---|---|---|---|---|
| 1 | 83.5% | 59.7 | 2026-04-16 | |
| 2 | 80.6% | – | 2026-04-23 | |
| 3 | 79.3% | 62.5 | 2026-05-19 | |
| 4 | 78.7% | 62.1 | 2026-02-05 | |
| 5 | 78.7% | 58.9 | 2026-06-16 | |
| 6 | 77.6% | 54.7 | 2026-04-24 | |
| 7 | 77.3% | 60.0 | 2026-05-19 | |
| 8 | 76.9% | 58.6 | 2026-03-05 | |
| 9 | 76.7% | 62.1 | 2026-04-20 | |
| 10 | 76.7% | 57.1 | 2025-11-24 | |
| 11 | 76.7% | 55.1 | 2026-04-20 | |
| 12 | 75.6% | – | 2026-02-19 | |
| 13 | 75.4% | 56.5 | 2025-12-17 | |
| 14 | 75.2% | 57.6 | 2026-02-17 | |
| 15 | 74.8% | – | 2026-02-05 | |
| 16 | 74.2% | 55.4 | 2026-04-07 | |
| 17 | 73.8% | 55.8 | 2025-12-11 | |
| 18 | 73.8% | 54.6 | 2026-01-27 | |
| 19 | 73.5% | 58.2 | 2025-08-07 | |
| 20 | 73.3% | 51.1 | 2025-08-05 | |
| 21 | 72.9% | 60.0 | 2025-11-18 | |
| 22 | 72.1% | 54.9 | 2026-02-11 | |
| 23 | 71.5% | 59.0 | 2025-08-07 | |
| 24 | 71.3% | 53.8 | 2025-09-29 | |
| 25 | 70.7% | 51.9 | 2025-05-22 | |
| 26 | 68.0% | 57.5 | 2025-11-13 | |
| 27 | 64.7% | 53.6 | 2025-08-07 | |
| 28 | 62.3% | 53.3 | 2025-04-16 | |
| 29 | 61.0% | 49.2 | 2025-02-24 | |
| 30 | 57.9% | 59.0 | 2026-03-31 | |
| 31 | 57.6% | 55.2 | 2025-06-17 | |
| 32 | 48.5% | 48.7 | 2025-04-14 | |
| 33 | 31.0% | 42.8 | 2024-11-20 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
SWE-bench Verified (Epoch)での注目のモデル比較
引用表記:BenchLeader「SWE-bench Verified (Epoch)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/swe_bench_verified_epoch
SWE-bench Verified (Epoch):よくある質問
- SWE-bench Verified (Epoch)は何を測るベンチマークですか?
- SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE-bench Verified (Epoch)の最高スコアは?
- 2026年11月16日時点で、SWE-bench Verified (Epoch)の最高スコアは83.5%で、Claude Opus 4.7が記録しています(結果の日付は2026年4月16日)。次点はGPT-5.5 Pre Releaseの80.6%です。スコアはEpoch AI Benchmarking Hubの公表値で、毎日読み直しています。
- SWE-bench Verified (Epoch)でトップのAIモデルは?
- 2026年11月16日時点で、SWE-bench Verified (Epoch)の首位はClaude Opus 4.7で、スコアは83.5%です(結果の日付は2026年4月16日)。続いてGPT-5.5 Pre Release(80.6%)です。
- SWE-bench Verified (Epoch)の結果があるモデルはいくつですか?
- BenchLeaderでは33のモデル構成にSWE-bench Verified (Epoch)の結果があり、すべてEpoch AI Benchmarking Hubから取得しています。
- SWE-bench Verified (Epoch)を運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE-bench Verified (Epoch)はEpoch AI Benchmarking Hubが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE-bench Verified (Epoch)はBenchLeader Indexに含まれますか?
- はい。SWE-bench Verified (Epoch)はBenchLeader Indexのコーディングカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。