BenchLeader

SWE-bench Verified (bash only)のリーダーボード

2026年11月16日時点で、SWE-bench Verified (bash only)の最高スコアは76.8%で、Claude Opus 4.5(Anthropic)が記録しています。次点はGemini 3 Flashの75.8%です。公表された結果があるのは46のモデル構成です(SWE-bench、結果の日付は2026年2月17日)。SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。SWE-bench Verified (bash only)はBenchLeader Indexのコーディングスコアに反映されます。

要点(2026年11月16日時点)

  • Claude Opus 4.5がSWE-bench Verified (bash only)の最高スコア76.8%を記録しています(SWE-bench、2026年2月17日)。
  • SWE-bench Verified (bash only)の2位はGemini 3 Flashで、75.8%です(SWE-bench、2026年2月17日)。
  • SWE-bench Verified (bash only):最小構成のbash-only版mini-SWE-agentハーネスによる、SWE-bench Verifiedの公式結果(SWE-bench)。
  • BenchLeaderでは46のモデル構成にSWE-bench Verified (bash only)の公表結果があります(BenchLeader、2026年11月16日)。
  • SWE-bench Verified (bash only)はBenchLeader Indexのコーディングカテゴリに反映されます(BenchLeaderの評価方法)。

最小構成のbash-only版mini-SWE-agentハーネスによる、SWE-bench Verifiedの公式結果。

公開元
SWE-bench
カテゴリ
コーディング
Indexでの重み
1.0
モデル
46
データ基準日
2026年11月16日

SWE-bench (Jimenez et al. 2024), swebench.com.

どんなテストか

SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。

採点方法

解決できたissueの割合です。このボードでは、SWE-benchのメンテナー自身が実行している、bashのみを使う最小構成のmini-SWE-agentスキャフォールドを使うため、すべてのモデルが同じシンプルなエージェントループで評価されます。

注意点

結果はエージェントのスキャフォールドに大きく左右され、同じモデルでも高機能なハーネスでは15ポイント高くなることがあります。そのため、スキャフォールドを問わないボードは別に表示しています。タスクはすべてPythonで、リポジトリもよく知られたものなので、ある程度の記憶が影響する可能性があります。

46件中46件
#
1Claude Opus 4.5high76.8%59.7mini-SWE-agent$376.952026-02-17
2Gemini 3 Flashhigh75.8%57.4mini-SWE-agent$177.982026-02-17
3MiniMax M2.5high75.8%–mini-SWE-agent$36.642026-02-17
4Claude Opus 4.675.6%62.1mini-SWE-agent$275.762026-02-17
5Claude Opus 4.5medium74.4%–mini-SWE-agent$360.622025-11-24
6Gemini 3 Pro74.2%60.0mini-SWE-agent$229.982025-11-18
7GPT-5.2-Codex72.8%57.6mini-SWE-agent$224.712026-02-19
8GPT-5.2high72.8%55.8mini-SWE-agent$236.782026-02-17
9GLM-5high72.8%–mini-SWE-agent$267.192026-02-17
10Claude Sonnet 4.5high71.4%57.9mini-SWE-agent$328.952026-02-17
11Kimi K2.5high70.8%–mini-SWE-agent$73.282026-02-17
12Claude Sonnet 4.570.6%53.8mini-SWE-agent$279.172025-09-29
13DeepSeek V3.2high70.0%54.2mini-SWE-agent$223.922026-02-17
14Gemini 3 Prohigh69.6%60.0mini-SWE-agent$480.012026-02-26
15GPT-5.269.0%56.7mini-SWE-agent$134.832025-12-11
16Claude Opus 467.6%51.9mini-SWE-agent$565.642025-08-02
17Claude Haiku 4.5high66.6%–mini-SWE-agent$165.462026-02-17
18GPT-5.1medium66.0%52.4mini-SWE-agent$153.082025-11-20
19GPT-5.1-Codexmedium66.0%–mini-SWE-agent$294.442025-11-24
20GPT-5medium65.0%59.0mini-SWE-agent$140.192025-08-07
21Claude Sonnet 464.9%50.0mini-SWE-agent$185.732025-07-26
22Kimi K2 Thinkingthinking63.4%52.3mini-SWE-agent$219.152025-12-10
23MiniMax-M261.0%51.5mini-SWE-agent$214.132025-11-24
24DeepSeek V3.2 Reasoner60.0%–mini-SWE-agent$14.042025-12-01
25GPT-5 minimedium59.8%53.6mini-SWE-agent$17.742025-08-07
26o358.4%60.4mini-SWE-agent$166.832025-07-26
27Devstral Small 256.4%39.4mini-SWE-agent–2025-12-09
28GPT-5 mini56.2%56.6mini-SWE-agent$23.602026-02-17
29GLM-4.655.4%50.2mini-SWE-agent$48.312025-12-01
30Qwen3 Coder 480B55.4%48.9mini-SWE-agent$123.962025-08-02
31GLM-4.554.2%51.6mini-SWE-agent$148.602025-08-22
32Devstral 253.8%42.7mini-SWE-agent–2025-12-09
33Gemini 2.5 Pro53.6%55.2mini-SWE-agent$144.192025-07-26
34Claude 3.7 Sonnet52.8%49.2mini-SWE-agent$177.312025-07-20
35o4-mini45.0%55.2mini-SWE-agent$104.992025-07-26
36Kimi K243.8%51.1mini-SWE-agent$265.802025-08-07
37GPT-4.139.6%48.7mini-SWE-agent$73.162025-07-26
38GPT-5 nanomedium34.8%45.6mini-SWE-agent$19.042025-08-07
39Gemini 2.5 Flash28.7%52.4mini-SWE-agent$66.942025-07-26
40gpt-oss-120b26.0%46.1mini-SWE-agent$28.562025-08-07
41GPT-4.1 mini23.9%44.7mini-SWE-agent$217.582025-07-20
42GPT-4o21.6%42.8mini-SWE-agent$765.572025-07-20
43Llama 4 Maverick21.0%41.8mini-SWE-agent$156.852025-07-20
44Gemini 2.0 Flash13.5%43.5mini-SWE-agent–2025-07-26
45Llama 4 Scout9.1%38.2mini-SWE-agent$57.822025-07-20
46Qwen2.5 Coder 32B Instruct9.0%42.5mini-SWE-agent$34.062025-08-03

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE-bench Verified (bash only)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/swe_bench_verified

SWE-bench Verified (bash only):よくある質問

SWE-bench Verified (bash only)は何を測るベンチマークですか?
SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE-bench Verified (bash only)の最高スコアは?
2026年11月16日時点で、SWE-bench Verified (bash only)の最高スコアは76.8%で、Claude Opus 4.5が記録しています(結果の日付は2026年2月17日)。次点はGemini 3 Flashの75.8%です。スコアはSWE-benchの公表値で、毎日読み直しています。
SWE-bench Verified (bash only)でトップのAIモデルは?
2026年11月16日時点で、SWE-bench Verified (bash only)の首位はClaude Opus 4.5で、スコアは76.8%です(結果の日付は2026年2月17日)。続いてGemini 3 Flash(75.8%)です。
SWE-bench Verified (bash only)の結果があるモデルはいくつですか?
BenchLeaderでは46のモデル構成にSWE-bench Verified (bash only)の結果があり、すべてSWE-benchから取得しています。
SWE-bench Verified (bash only)を運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE-bench Verified (bash only)はSWE-benchが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE-bench Verified (bash only)はBenchLeader Indexに含まれますか?
はい。SWE-bench Verified (bash only)はBenchLeader Indexのコーディングカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。