SWE-bench Verifiedのリーダーボード (any scaffold)
別の検索名:SWE-bench Verified 500 · SWE-bench
2026年11月16日時点で、SWE-bench Verified(別名SWE-bench Verified 500)の最高スコアは79.2%で、Claude Opus 4.5(Anthropic)が記録しています。次点はGemini 3 Proの77.4%です。公表された結果があるのは65のモデル構成です(SWE-bench、結果の日付は2025年12月5日)。SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。SWE-bench Verifiedは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Claude Opus 4.5がSWE-bench Verified (any scaffold)の最高スコア79.2%を記録しています(SWE-bench、2025年12月5日)。
- SWE-bench Verified (any scaffold)の2位はGemini 3 Proで、77.4%です(SWE-bench、2025年11月20日)。
- SWE-bench Verified (any scaffold):スキャフォールドを問わない、そのモデルのSWE-bench Verified公式最高結果。参考として掲載(SWE-bench)。
- BenchLeaderでは65のモデル構成にSWE-bench Verified (any scaffold)の公表結果があります(BenchLeader、2026年11月16日)。
- SWE-bench Verified (any scaffold)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
スキャフォールドを問わない、そのモデルのSWE-bench Verified公式最高結果。参考として掲載。
- 公開元
- SWE-bench
- カテゴリ
- コーディング
- Indexでの重み
- 参考のみ
- モデル
- 65
- データ基準日
- 2026年11月16日
SWE-bench (Jimenez et al. 2024), swebench.com.
どんなテストか
SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。
採点方法
500件のissueのうち、モデルの最良の公式提出で解決できた割合です。スキャフォールドは提出者が使ったもの(多くはラボ独自のツール)で、bashのみのmini-SWE-agentハーネスではありません。
注意点
同じ500件の検証済みGitHub issueを対象に、提出者が選んだ任意のエージェントスキャフォールドでの各モデルの最高の公式結果を採用したものです。スキャフォールドが異なるため、モデル単体ではなく「モデルとハーネスを組み合わせたシステム」の比較になり、上位の結果はラボ独自のツールによるものが多くなります。参考として表示しており、Indexに反映されるのはbashのみのボードです。SWE-bench Verified (bash only)のボードもあわせてご覧ください。
- 1Claude Opus 4.579.2%
- 2Gemini 3 Pro77.4%
- 3Claude Sonnet 476.8%
- 4Gemini 3 Flash (high)75.8%
- 5MiniMax M2.5 (high)75.8%
- 6Claude Opus 4.675.6%
- 7Claude Sonnet 4.574.8%
- 8GPT-574.4%
- 9Claude Opus 473.2%
- 10GPT-5.2-Codex72.8%
- 11GPT-5.2 (high)72.8%
- 12GLM-5 (high)72.8%
- 13Kimi K2 090571.2%
- 14Kimi K2.5 (high)70.8%
- 15DeepSeek V3.2 (high)70.0%
| # | |||||
|---|---|---|---|---|---|
| 1 | 79.2% | 57.1 | Sonar Foundation Agent | 2025-12-05 | |
| 2 | 77.4% | 60.0 | live-SWE-agent | 2025-11-20 | |
| 3 | 76.8% | 50.0 | EPAM AI/Run Developer Agent | 2025-08-04 | |
| 4 | 75.8% | 57.4 | mini-SWE-agent | 2026-02-17 | |
| 5 | 75.8% | – | mini-SWE-agent | 2026-02-17 | |
| 6 | 75.6% | 62.1 | mini-SWE-agent | 2026-02-17 | |
| 7 | 74.8% | 53.8 | Sonar Foundation Agent | 2025-11-03 | |
| 8 | 74.4% | 56.6 | Prometheus-v1.2.1 | 2025-10-15 | |
| 9 | 73.2% | 51.9 | Tools | 2025-05-22 | |
| 10 | 72.8% | 57.6 | mini-SWE-agent | 2026-02-19 | |
| 11 | 72.8% | 55.8 | mini-SWE-agent | 2026-02-17 | |
| 12 | 72.8% | – | mini-SWE-agent | 2026-02-17 | |
| 13 | 71.2% | 51.7 | Lingxi v1.5 | 2025-10-14 | |
| 14 | 70.8% | – | mini-SWE-agent | 2026-02-17 | |
| 15 | 70.0% | 54.2 | mini-SWE-agent | 2026-02-17 | |
| 16 | 69.6% | 48.9 | OpenHands | 2025-08-05 | |
| 17 | 68.2% | 50.2 | Undisclosed | 2025-09-30 | |
| 18 | 66.6% | – | mini-SWE-agent | 2026-02-17 | |
| 19 | 66.4% | 49.2 | Aime-coder v1 | 2025-05-14 | |
| 20 | 66.0% | 52.4 | mini-SWE-agent | 2025-11-20 | |
| 21 | 66.0% | – | mini-SWE-agent | 2025-11-24 | |
| 22 | 65.4% | 51.1 | OpenHands | 2025-07-16 | |
| 23 | 64.6% | 55.2 | PatchPilot-v1.1 | 2025-05-03 | |
| 24 | 64.6% | 52.5 | W&B Programmer O1 crosscheck5 | 2025-01-17 | |
| 25 | 64.2% | 51.6 | Undisclosed | 2025-07-28 | |
| 26 | 63.4% | 52.3 | mini-SWE-agent | 2025-12-10 | |
| 27 | 63.4% | 46.8 | AgentScope | 2025-02-06 | |
| 28 | 61.0% | 51.5 | mini-SWE-agent | 2025-11-24 | |
| 29 | 60.8% | – | OpenHands | 2025-02-03 | |
| 30 | 60.4% | – | EntroPO + R2E | 2025-09-01 | |
| 31 | 60.0% | – | mini-SWE-agent | 2025-12-01 | |
| 32 | 59.8% | 53.6 | mini-SWE-agent | 2025-08-07 | |
| 33 | 58.4% | 60.4 | mini-SWE-agent | 2025-07-26 | |
| 34 | 56.4% | 39.4 | mini-SWE-agent | 2025-12-09 | |
| 35 | 53.8% | 42.7 | mini-SWE-agent | 2025-12-09 | |
| 36 | 53.6% | 55.2 | mini-SWE-agent | 2025-07-26 | |
| 37 | 53.6% | – | FrogBoss-32B-2510 | 2025-11-10 | |
| 38 | 52.2% | 43.5 | Google Jules | 2024-12-12 | |
| 39 | 46.8% | – | OpenHands | 2025-05-20 | |
| 40 | Co-PatcheRオープン | 46.0% | – | PatchPilot | 2025-05-28 |
| 41 | 45.0% | – | FrogMini-14B-2510 | 2025-11-10 | |
| 42 | 42.4% | 50.2 | Agentless Lite | 2025-02-14 | |
| 43 | 42.4% | 45.1 | Amazon Nova Premier 1.0 | 2025-05-27 | |
| 44 | 42.0% | 46.9 | SWE-Exp | 2025-08-06 | |
| 45 | 41.2% | – | Agentless Mini | 2025-02-26 | |
| 46 | 40.6% | 38.7 | Tools | 2024-10-22 | |
| 47 | 39.6% | 48.7 | mini-SWE-agent | 2025-07-26 | |
| 48 | 38.8% | 42.8 | Agentless-1.5 | 2024-10-28 | |
| 49 | 38.0% | – | SWE-agent | 2025-07-25 | |
| 50 | 34.8% | 45.6 | mini-SWE-agent | 2025-08-07 | |
| 51 | 28.8% | – | Lingma Agent | 2024-10-02 | |
| 52 | 28.7% | 52.4 | mini-SWE-agent | 2025-07-26 | |
| 53 | 26.0% | 46.1 | mini-SWE-agent | 2025-08-07 | |
| 54 | 23.9% | 44.7 | mini-SWE-agent | 2025-07-20 | |
| 55 | MCTS Refine 7Bオープン | 23.2% | – | MCTS-Refine-7B | 2025-06-27 |
| 56 | 22.4% | – | SWE-agent | 2024-04-02 | |
| 57 | 21.0% | 41.8 | mini-SWE-agent | 2025-07-20 | |
| 58 | 18.2% | – | Lingma Agent | 2024-10-02 | |
| 59 | 15.8% | 38.8 | SWE-agent | 2024-04-02 | |
| 60 | 9.1% | 38.2 | mini-SWE-agent | 2025-07-20 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
SWE-bench Verified (any scaffold)での注目のモデル比較
引用表記:BenchLeader「SWE-bench Verified (any scaffold)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/swe_bench_verified_any
SWE-bench Verified (any scaffold):よくある質問
- SWE-bench Verified (any scaffold)は何を測るベンチマークですか?
- SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE-bench Verified (any scaffold)の最高スコアは?
- 2026年11月16日時点で、SWE-bench Verified (any scaffold)の最高スコアは79.2%で、Claude Opus 4.5が記録しています(結果の日付は2025年12月5日)。次点はGemini 3 Proの77.4%です。スコアはSWE-benchの公表値で、毎日読み直しています。
- SWE-bench Verified (any scaffold)でトップのAIモデルは?
- 2026年11月16日時点で、SWE-bench Verified (any scaffold)の首位はClaude Opus 4.5で、スコアは79.2%です(結果の日付は2025年12月5日)。続いてGemini 3 Pro(77.4%)です。
- SWE-bench Verified (any scaffold)の結果があるモデルはいくつですか?
- BenchLeaderでは65のモデル構成にSWE-bench Verified (any scaffold)の結果があり、すべてSWE-benchから取得しています。
- SWE-bench Verified (any scaffold)を運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE-bench Verified (any scaffold)はSWE-benchが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE-bench Verified (any scaffold)はBenchLeader Indexに含まれますか?
- いいえ。SWE-bench Verified (any scaffold)は参考として掲載していますが、総合スコアには含めていません。