BenchLeader

SWE-bench Verified (Epoch)のリーダーボード

2026年11月16日時点で、SWE-bench Verified (Epoch)の最高スコアは83.5%で、Claude Opus 4.7(Anthropic)が記録しています。次点はGPT-5.5 Pre Releaseの80.6%です。公表された結果があるのは33のモデル構成です(Epoch AI Benchmarking Hub、結果の日付は2026年4月16日)。SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。SWE-bench Verified (Epoch)はBenchLeader Indexのコーディングスコアに反映されます。

要点(2026年11月16日時点)

  • Claude Opus 4.7がSWE-bench Verified (Epoch)の最高スコア83.5%を記録しています(Epoch AI Benchmarking Hub、2026年4月16日)。
  • SWE-bench Verified (Epoch)の2位はGPT-5.5 Pre Releaseで、80.6%です(Epoch AI Benchmarking Hub、2026年4月23日)。
  • SWE-bench Verified (Epoch):Epoch AIが同じスキャフォールドで独自に実行したSWE-bench Verified(Epoch AI Benchmarking Hub)。
  • BenchLeaderでは33のモデル構成にSWE-bench Verified (Epoch)の公表結果があります(BenchLeader、2026年11月16日)。
  • SWE-bench Verified (Epoch)はBenchLeader Indexのコーディングカテゴリに反映されます(BenchLeaderの評価方法)。

Epoch AIが同じスキャフォールドで独自に実行したSWE-bench Verified。

公開元
Epoch AI Benchmarking Hub
カテゴリ
コーディング
Indexでの重み
0.5
モデル
33
データ基準日
2026年11月16日

CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.

どんなテストか

SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。

採点方法

500件のissueのうち解決できた割合で、Epoch AIが実行しています。

注意点

Epoch AIが独自に実行したSWE-bench Verifiedで、すべてのモデルに同じスキャフォールドを使っています。スキャフォールドを固定するとモデル同士を比較しやすくなりますが、別のエージェントループ向けに調整されたモデルは低めに出ることがあります。数値は通常、ラボ自身が公表する最高値を下回ります。SWE-bench Verified (bash only)のボードもあわせてご覧ください。

33件中33件
#
1Claude Opus 4.7max83.5%59.72026-04-16
2GPT-5.5 Pre Releasexhigh80.6%–2026-04-23
3Gemini 3.5 Flashhigh79.3%62.52026-05-19
4Claude Opus 4.678.7%62.12026-02-05
5GLM 5.2max78.7%58.92026-06-16
6DeepSeek V4 Promax77.6%54.72026-04-24
7Qwen3.7max77.3%60.02026-05-19
8GPT-5.4high76.9%58.62026-03-05
9Qwen3.6 Maxmax76.7%62.12026-04-20
10Claude Opus 4.576.7%57.12025-11-24
11Kimi K2.676.7%55.12026-04-20
12Gemini 3.1 Pro Customtools75.6%–2026-02-19
13Gemini 3 Flash75.4%56.52025-12-17
14Claude Sonnet 4.675.2%57.62026-02-17
15GPT-5.3-Codexhigh74.8%–2026-02-05
16GLM 5.174.2%55.42026-04-07
17GPT-5.2high73.8%55.82025-12-11
18Kimi K2.573.8%54.62026-01-27
19GPT-5high73.5%58.22025-08-07
20Claude Opus 4.173.3%51.12025-08-05
21Gemini 3 Pro72.9%60.02025-11-18
22GLM-572.1%54.92026-02-11
23GPT-5medium71.5%59.02025-08-07
24Claude Sonnet 4.571.3%53.82025-09-29
25Claude Opus 470.7%51.92025-05-22
26GPT-5.1high68.0%57.52025-11-13
27GPT-5 minimedium64.7%53.62025-08-07
28o3medium62.3%53.32025-04-16
29Claude 3.7 Sonnet61.0%49.22025-02-24
30Qwen3.6 Plus57.9%59.02026-03-31
31Gemini 2.5 Pro57.6%55.22025-06-17
32GPT-4.148.5%48.72025-04-14
33GPT-4o31.0%42.82024-11-20

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE-bench Verified (Epoch)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/swe_bench_verified_epoch

SWE-bench Verified (Epoch):よくある質問

SWE-bench Verified (Epoch)は何を測るベンチマークですか?
SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE-bench Verified (Epoch)の最高スコアは?
2026年11月16日時点で、SWE-bench Verified (Epoch)の最高スコアは83.5%で、Claude Opus 4.7が記録しています(結果の日付は2026年4月16日)。次点はGPT-5.5 Pre Releaseの80.6%です。スコアはEpoch AI Benchmarking Hubの公表値で、毎日読み直しています。
SWE-bench Verified (Epoch)でトップのAIモデルは?
2026年11月16日時点で、SWE-bench Verified (Epoch)の首位はClaude Opus 4.7で、スコアは83.5%です(結果の日付は2026年4月16日)。続いてGPT-5.5 Pre Release(80.6%)です。
SWE-bench Verified (Epoch)の結果があるモデルはいくつですか?
BenchLeaderでは33のモデル構成にSWE-bench Verified (Epoch)の結果があり、すべてEpoch AI Benchmarking Hubから取得しています。
SWE-bench Verified (Epoch)を運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE-bench Verified (Epoch)はEpoch AI Benchmarking Hubが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE-bench Verified (Epoch)はBenchLeader Indexに含まれますか?
はい。SWE-bench Verified (Epoch)はBenchLeader Indexのコーディングカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。