SWE-bench Verified (bash only)のリーダーボード
2026年11月16日時点で、SWE-bench Verified (bash only)の最高スコアは76.8%で、Claude Opus 4.5(Anthropic)が記録しています。次点はGemini 3 Flashの75.8%です。公表された結果があるのは46のモデル構成です(SWE-bench、結果の日付は2026年2月17日)。SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。SWE-bench Verified (bash only)はBenchLeader Indexのコーディングスコアに反映されます。
要点(2026年11月16日時点)
- Claude Opus 4.5がSWE-bench Verified (bash only)の最高スコア76.8%を記録しています(SWE-bench、2026年2月17日)。
- SWE-bench Verified (bash only)の2位はGemini 3 Flashで、75.8%です(SWE-bench、2026年2月17日)。
- SWE-bench Verified (bash only):最小構成のbash-only版mini-SWE-agentハーネスによる、SWE-bench Verifiedの公式結果(SWE-bench)。
- BenchLeaderでは46のモデル構成にSWE-bench Verified (bash only)の公表結果があります(BenchLeader、2026年11月16日)。
- SWE-bench Verified (bash only)はBenchLeader Indexのコーディングカテゴリに反映されます(BenchLeaderの評価方法)。
最小構成のbash-only版mini-SWE-agentハーネスによる、SWE-bench Verifiedの公式結果。
- 公開元
- SWE-bench
- カテゴリ
- コーディング
- Indexでの重み
- 1.0
- モデル
- 46
- データ基準日
- 2026年11月16日
SWE-bench (Jimenez et al. 2024), swebench.com.
どんなテストか
SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。
採点方法
解決できたissueの割合です。このボードでは、SWE-benchのメンテナー自身が実行している、bashのみを使う最小構成のmini-SWE-agentスキャフォールドを使うため、すべてのモデルが同じシンプルなエージェントループで評価されます。
注意点
結果はエージェントのスキャフォールドに大きく左右され、同じモデルでも高機能なハーネスでは15ポイント高くなることがあります。そのため、スキャフォールドを問わないボードは別に表示しています。タスクはすべてPythonで、リポジトリもよく知られたものなので、ある程度の記憶が影響する可能性があります。
- 1Claude Opus 4.5 (high)76.8%
- 2Gemini 3 Flash (high)75.8%
- 3MiniMax M2.5 (high)75.8%
- 4Claude Opus 4.675.6%
- 5Claude Opus 4.5 (medium)74.4%
- 6Gemini 3 Pro74.2%
- 7GPT-5.2-Codex72.8%
- 8GPT-5.2 (high)72.8%
- 9GLM-5 (high)72.8%
- 10Claude Sonnet 4.5 (high)71.4%
- 11Kimi K2.5 (high)70.8%
- 12Claude Sonnet 4.570.6%
- 13DeepSeek V3.2 (high)70.0%
- 14Gemini 3 Pro (high)69.6%
- 15GPT-5.269.0%
| # | ||||||
|---|---|---|---|---|---|---|
| 1 | 76.8% | 59.7 | mini-SWE-agent | $376.95 | 2026-02-17 | |
| 2 | 75.8% | 57.4 | mini-SWE-agent | $177.98 | 2026-02-17 | |
| 3 | 75.8% | – | mini-SWE-agent | $36.64 | 2026-02-17 | |
| 4 | 75.6% | 62.1 | mini-SWE-agent | $275.76 | 2026-02-17 | |
| 5 | 74.4% | – | mini-SWE-agent | $360.62 | 2025-11-24 | |
| 6 | 74.2% | 60.0 | mini-SWE-agent | $229.98 | 2025-11-18 | |
| 7 | 72.8% | 57.6 | mini-SWE-agent | $224.71 | 2026-02-19 | |
| 8 | 72.8% | 55.8 | mini-SWE-agent | $236.78 | 2026-02-17 | |
| 9 | 72.8% | – | mini-SWE-agent | $267.19 | 2026-02-17 | |
| 10 | 71.4% | 57.9 | mini-SWE-agent | $328.95 | 2026-02-17 | |
| 11 | 70.8% | – | mini-SWE-agent | $73.28 | 2026-02-17 | |
| 12 | 70.6% | 53.8 | mini-SWE-agent | $279.17 | 2025-09-29 | |
| 13 | 70.0% | 54.2 | mini-SWE-agent | $223.92 | 2026-02-17 | |
| 14 | 69.6% | 60.0 | mini-SWE-agent | $480.01 | 2026-02-26 | |
| 15 | 69.0% | 56.7 | mini-SWE-agent | $134.83 | 2025-12-11 | |
| 16 | 67.6% | 51.9 | mini-SWE-agent | $565.64 | 2025-08-02 | |
| 17 | 66.6% | – | mini-SWE-agent | $165.46 | 2026-02-17 | |
| 18 | 66.0% | 52.4 | mini-SWE-agent | $153.08 | 2025-11-20 | |
| 19 | 66.0% | – | mini-SWE-agent | $294.44 | 2025-11-24 | |
| 20 | 65.0% | 59.0 | mini-SWE-agent | $140.19 | 2025-08-07 | |
| 21 | 64.9% | 50.0 | mini-SWE-agent | $185.73 | 2025-07-26 | |
| 22 | 63.4% | 52.3 | mini-SWE-agent | $219.15 | 2025-12-10 | |
| 23 | 61.0% | 51.5 | mini-SWE-agent | $214.13 | 2025-11-24 | |
| 24 | 60.0% | – | mini-SWE-agent | $14.04 | 2025-12-01 | |
| 25 | 59.8% | 53.6 | mini-SWE-agent | $17.74 | 2025-08-07 | |
| 26 | 58.4% | 60.4 | mini-SWE-agent | $166.83 | 2025-07-26 | |
| 27 | 56.4% | 39.4 | mini-SWE-agent | – | 2025-12-09 | |
| 28 | 56.2% | 56.6 | mini-SWE-agent | $23.60 | 2026-02-17 | |
| 29 | 55.4% | 50.2 | mini-SWE-agent | $48.31 | 2025-12-01 | |
| 30 | 55.4% | 48.9 | mini-SWE-agent | $123.96 | 2025-08-02 | |
| 31 | 54.2% | 51.6 | mini-SWE-agent | $148.60 | 2025-08-22 | |
| 32 | 53.8% | 42.7 | mini-SWE-agent | – | 2025-12-09 | |
| 33 | 53.6% | 55.2 | mini-SWE-agent | $144.19 | 2025-07-26 | |
| 34 | 52.8% | 49.2 | mini-SWE-agent | $177.31 | 2025-07-20 | |
| 35 | 45.0% | 55.2 | mini-SWE-agent | $104.99 | 2025-07-26 | |
| 36 | 43.8% | 51.1 | mini-SWE-agent | $265.80 | 2025-08-07 | |
| 37 | 39.6% | 48.7 | mini-SWE-agent | $73.16 | 2025-07-26 | |
| 38 | 34.8% | 45.6 | mini-SWE-agent | $19.04 | 2025-08-07 | |
| 39 | 28.7% | 52.4 | mini-SWE-agent | $66.94 | 2025-07-26 | |
| 40 | 26.0% | 46.1 | mini-SWE-agent | $28.56 | 2025-08-07 | |
| 41 | 23.9% | 44.7 | mini-SWE-agent | $217.58 | 2025-07-20 | |
| 42 | 21.6% | 42.8 | mini-SWE-agent | $765.57 | 2025-07-20 | |
| 43 | 21.0% | 41.8 | mini-SWE-agent | $156.85 | 2025-07-20 | |
| 44 | 13.5% | 43.5 | mini-SWE-agent | – | 2025-07-26 | |
| 45 | 9.1% | 38.2 | mini-SWE-agent | $57.82 | 2025-07-20 | |
| 46 | 9.0% | 42.5 | mini-SWE-agent | $34.06 | 2025-08-03 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
引用表記:BenchLeader「SWE-bench Verified (bash only)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/swe_bench_verified
SWE-bench Verified (bash only):よくある質問
- SWE-bench Verified (bash only)は何を測るベンチマークですか?
- SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE-bench Verified (bash only)の最高スコアは?
- 2026年11月16日時点で、SWE-bench Verified (bash only)の最高スコアは76.8%で、Claude Opus 4.5が記録しています(結果の日付は2026年2月17日)。次点はGemini 3 Flashの75.8%です。スコアはSWE-benchの公表値で、毎日読み直しています。
- SWE-bench Verified (bash only)でトップのAIモデルは?
- 2026年11月16日時点で、SWE-bench Verified (bash only)の首位はClaude Opus 4.5で、スコアは76.8%です(結果の日付は2026年2月17日)。続いてGemini 3 Flash(75.8%)です。
- SWE-bench Verified (bash only)の結果があるモデルはいくつですか?
- BenchLeaderでは46のモデル構成にSWE-bench Verified (bash only)の結果があり、すべてSWE-benchから取得しています。
- SWE-bench Verified (bash only)を運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE-bench Verified (bash only)はSWE-benchが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE-bench Verified (bash only)はBenchLeader Indexに含まれますか?
- はい。SWE-bench Verified (bash only)はBenchLeader Indexのコーディングカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。