BenchLeader

SWE-bench Verifiedのリーダーボード (any scaffold)

別の検索名:SWE-bench Verified 500 · SWE-bench

2026年11月16日時点で、SWE-bench Verified(別名SWE-bench Verified 500)の最高スコアは79.2%で、Claude Opus 4.5(Anthropic)が記録しています。次点はGemini 3 Proの77.4%です。公表された結果があるのは65のモデル構成です(SWE-bench、結果の日付は2025年12月5日)。SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。SWE-bench Verifiedは参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Claude Opus 4.5がSWE-bench Verified (any scaffold)の最高スコア79.2%を記録しています(SWE-bench、2025年12月5日)。
  • SWE-bench Verified (any scaffold)の2位はGemini 3 Proで、77.4%です(SWE-bench、2025年11月20日)。
  • SWE-bench Verified (any scaffold):スキャフォールドを問わない、そのモデルのSWE-bench Verified公式最高結果。参考として掲載(SWE-bench)。
  • BenchLeaderでは65のモデル構成にSWE-bench Verified (any scaffold)の公表結果があります(BenchLeader、2026年11月16日)。
  • SWE-bench Verified (any scaffold)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

スキャフォールドを問わない、そのモデルのSWE-bench Verified公式最高結果。参考として掲載。

公開元
SWE-bench
カテゴリ
コーディング
Indexでの重み
参考のみ
モデル
65
データ基準日
2026年11月16日

SWE-bench (Jimenez et al. 2024), swebench.com.

どんなテストか

SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。

採点方法

500件のissueのうち、モデルの最良の公式提出で解決できた割合です。スキャフォールドは提出者が使ったもの(多くはラボ独自のツール)で、bashのみのmini-SWE-agentハーネスではありません。

注意点

同じ500件の検証済みGitHub issueを対象に、提出者が選んだ任意のエージェントスキャフォールドでの各モデルの最高の公式結果を採用したものです。スキャフォールドが異なるため、モデル単体ではなく「モデルとハーネスを組み合わせたシステム」の比較になり、上位の結果はラボ独自のツールによるものが多くなります。参考として表示しており、Indexに反映されるのはbashのみのボードです。SWE-bench Verified (bash only)のボードもあわせてご覧ください。

65件中65件
#
1Claude Opus 4.579.2%57.1Sonar Foundation Agent2025-12-05
2Gemini 3 Pro77.4%60.0live-SWE-agent2025-11-20
3Claude Sonnet 476.8%50.0EPAM AI/Run Developer Agent2025-08-04
4Gemini 3 Flashhigh75.8%57.4mini-SWE-agent2026-02-17
5MiniMax M2.5high75.8%–mini-SWE-agent2026-02-17
6Claude Opus 4.675.6%62.1mini-SWE-agent2026-02-17
7Claude Sonnet 4.574.8%53.8Sonar Foundation Agent2025-11-03
8GPT-574.4%56.6Prometheus-v1.2.12025-10-15
9Claude Opus 473.2%51.9Tools2025-05-22
10GPT-5.2-Codex72.8%57.6mini-SWE-agent2026-02-19
11GPT-5.2high72.8%55.8mini-SWE-agent2026-02-17
12GLM-5high72.8%–mini-SWE-agent2026-02-17
13Kimi K2 090571.2%51.7Lingxi v1.52025-10-14
14Kimi K2.5high70.8%–mini-SWE-agent2026-02-17
15DeepSeek V3.2high70.0%54.2mini-SWE-agent2026-02-17
16Qwen3 Coder 480B69.6%48.9OpenHands2025-08-05
17GLM-4.668.2%50.2Undisclosed2025-09-30
18Claude Haiku 4.5high66.6%–mini-SWE-agent2026-02-17
19Claude 3.7 Sonnet66.4%49.2Aime-coder v12025-05-14
20GPT-5.1medium66.0%52.4mini-SWE-agent2025-11-20
21GPT-5.1-Codexmedium66.0%–mini-SWE-agent2025-11-24
22Kimi K265.4%51.1OpenHands2025-07-16
23o4-mini64.6%55.2PatchPilot-v1.12025-05-03
24o164.6%52.5W&B Programmer O1 crosscheck52025-01-17
25GLM-4.564.2%51.6Undisclosed2025-07-28
26Kimi K2 Thinkingthinking63.4%52.3mini-SWE-agent2025-12-10
27Claude 3.5 Sonnet63.4%46.8AgentScope2025-02-06
28MiniMax-M261.0%51.5mini-SWE-agent2025-11-24
294x Scaled60.8%–OpenHands2025-02-03
30Qwen3 Coder 30B A3B Instruct60.4%–EntroPO + R2E2025-09-01
31DeepSeek V3.2 Reasoner60.0%–mini-SWE-agent2025-12-01
32GPT-5 minimedium59.8%53.6mini-SWE-agent2025-08-07
33o358.4%60.4mini-SWE-agent2025-07-26
34Devstral Small 256.4%39.4mini-SWE-agent2025-12-09
35Devstral 253.8%42.7mini-SWE-agent2025-12-09
36Gemini 2.5 Pro53.6%55.2mini-SWE-agent2025-07-26
37Frogboss 32B 251053.6%–FrogBoss-32B-25102025-11-10
38Gemini 2.0 Flash52.2%43.5Google Jules2024-12-12
39Devstral Small 250546.8%–OpenHands2025-05-20
40Co-PatcheR46.0%–PatchPilot2025-05-28
41Frogmini 14B 251045.0%–FrogMini-14B-25102025-11-10
42o3-mini42.4%50.2Agentless Lite2025-02-14
43Nova Premier42.4%45.1Amazon Nova Premier 1.02025-05-27
44DeepSeek V3 032442.0%46.9SWE-Exp2025-08-06
45Llama3-SWE-RL-70B41.2%–Agentless Mini2025-02-26
46Claude 3.5 Haiku40.6%38.7Tools2024-10-22
47GPT-4.139.6%48.7mini-SWE-agent2025-07-26
48GPT-4o38.8%42.8Agentless-1.52024-10-28
49Devstral Small 250738.0%–SWE-agent2025-07-25
50GPT-5 nanomedium34.8%45.6mini-SWE-agent2025-08-07
51Lingma SWE-GPT 72B28.8%–Lingma Agent2024-10-02
52Gemini 2.5 Flash28.7%52.4mini-SWE-agent2025-07-26
53gpt-oss-120b26.0%46.1mini-SWE-agent2025-08-07
54GPT-4.1 mini23.9%44.7mini-SWE-agent2025-07-20
55MCTS Refine 7B23.2%–MCTS-Refine-7B2025-06-27
56GPT-4 110622.4%–SWE-agent2024-04-02
57Llama 4 Maverick21.0%41.8mini-SWE-agent2025-07-20
58Lingma SWE-GPT 7B18.2%–Lingma Agent2024-10-02
59Claude 3 Opus15.8%38.8SWE-agent2024-04-02
60Llama 4 Scout9.1%38.2mini-SWE-agent2025-07-20

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE-bench Verified (any scaffold)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/swe_bench_verified_any

SWE-bench Verified (any scaffold):よくある質問

SWE-bench Verified (any scaffold)は何を測るベンチマークですか?
SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE-bench Verified (any scaffold)の最高スコアは?
2026年11月16日時点で、SWE-bench Verified (any scaffold)の最高スコアは79.2%で、Claude Opus 4.5が記録しています(結果の日付は2025年12月5日)。次点はGemini 3 Proの77.4%です。スコアはSWE-benchの公表値で、毎日読み直しています。
SWE-bench Verified (any scaffold)でトップのAIモデルは?
2026年11月16日時点で、SWE-bench Verified (any scaffold)の首位はClaude Opus 4.5で、スコアは79.2%です(結果の日付は2025年12月5日)。続いてGemini 3 Pro(77.4%)です。
SWE-bench Verified (any scaffold)の結果があるモデルはいくつですか?
BenchLeaderでは65のモデル構成にSWE-bench Verified (any scaffold)の結果があり、すべてSWE-benchから取得しています。
SWE-bench Verified (any scaffold)を運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE-bench Verified (any scaffold)はSWE-benchが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE-bench Verified (any scaffold)はBenchLeader Indexに含まれますか?
いいえ。SWE-bench Verified (any scaffold)は参考として掲載していますが、総合スコアには含めていません。