SWE-Bench Proのリーダーボード
2026年11月16日時点で、SWE-Bench Proの最高スコアは61.5%で、Muse Spark 1.1(Meta)が記録しています。次点はGPT-5.4の59.1%です。公表された結果があるのは25のモデル構成です(Scale AI SEAL、結果の日付は2026年7月9日)。SWE-Bench Proは、Scale AIによる、SWE-benchより難しくデータ汚染にも強い後継版です。複数の言語の公開リポジトリから集めた長期的なissueで、複数ファイルにまたがる変更が必要なタスクを含みます。SWE-Bench ProはBenchLeader Indexのコーディングスコアに反映されます。
要点(2026年11月16日時点)
- Muse Spark 1.1がSWE-Bench Proの最高スコア61.5%を記録しています(Scale AI SEAL、2026年7月9日)。
- SWE-Bench Proの2位はGPT-5.4で、59.1%です(Scale AI SEAL、2026年4月8日)。
- SWE-Bench Pro:公開リポジトリでの長期的なソフトウェアエンジニアリングのタスク。Scale AI(Scale AI SEAL)。
- BenchLeaderでは25のモデル構成にSWE-Bench Proの公表結果があります(BenchLeader、2026年11月16日)。
- SWE-Bench ProはBenchLeader Indexのコーディングカテゴリに反映されます(BenchLeaderの評価方法)。
公開リポジトリでの長期的なソフトウェアエンジニアリングのタスク。Scale AI。
- カテゴリ
- コーディング
- Indexでの重み
- 1.0
- モデル
- 25
- データ基準日
- 2026年11月16日
Scale AI SEAL Leaderboards.
どんなテストか
SWE-Bench Proは、Scale AIによる、SWE-benchより難しくデータ汚染にも強い後継版です。複数の言語の公開リポジトリから集めた長期的なissueで、複数ファイルにまたがる変更が必要なタスクを含みます。
採点方法
公開セットにおいて、Scaleのハーネスで解決できたissueの割合です。
注意点
SWE-bench Verifiedよりはるかに難しいため、スコアは低く、それとは比較できません。Scaleだけが実行できる非公開の商用セットも存在します。
- 1Muse Spark 1.161.5%
- 2GPT-5.4 (xhigh)59.1%
- 3Muse Spark55.0%
- 4Claude Opus 4.6 (thinking)51.9%
- 5Gemini 3.1 Pro (thinking)46.1%
- 6Claude Opus 4.545.9%
- 7Claude Sonnet 4.543.6%
- 8Gemini 3 Pro43.3%
- 9Claude Sonnet 442.7%
- 10GPT-5 (high)41.8%
- 11GPT-5.2-Codex41.0%
- 12Claude Haiku 4.539.5%
- 13Qwen3 Coder 480B38.7%
- 14Minimax 2.136.8%
- 15Gemini 3 Flash34.6%
25件中25件
| # | ||||
|---|---|---|---|---|
| 1 | 61.5% | 62.2 | 2026-07-09 | |
| 2 | 59.1% | 63.1 | 2026-04-08 | |
| 3 | 55.0% | 64.2 | 2026-04-08 | |
| 4 | 51.9% | – | 2026-04-08 | |
| 5 | 46.1% | – | 2026-04-08 | |
| 6 | 45.9% | 57.1 | 2025-12-11 | |
| 7 | 43.6% | 53.8 | 2025-09-19 | |
| 8 | 43.3% | 60.0 | 2025-11-26 | |
| 9 | 42.7% | 50.0 | 2025-09-19 | |
| 10 | 41.8% | 58.2 | 2025-11-26 | |
| 11 | 41.0% | 57.6 | 2026-01-27 | |
| 12 | 39.5% | 47.7 | 2025-09-19 | |
| 13 | 38.7% | 48.9 | 2026-01-27 | |
| 14 | 36.8% | – | 2026-01-12 | |
| 15 | 34.6% | 56.5 | 2026-01-12 | |
| 16 | 29.9% | 56.7 | 2026-01-27 | |
| 17 | 27.7% | 51.1 | 2025-09-19 | |
| 18 | 21.4% | 50.1 | 2026-01-27 | |
| 19 | 16.2% | 46.1 | 2026-01-27 | |
| 20 | 15.6% | 50.2 | 2026-01-27 | |
| 21 | 11.4% | 39.7 | 2026-01-27 | |
| 22 | 11.2% | 41.8 | 2026-01-27 | |
| 23 | 9.7% | 50.2 | 2026-01-27 | |
| 24 | 5.2% | 41.8 | 2026-01-27 | |
| 25 | 1.5% | – | 2026-01-27 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
SWE-Bench Proでの注目のモデル比較
引用表記:BenchLeader「SWE-Bench Proのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_swe_bench_pro
SWE-Bench Pro:よくある質問
- SWE-Bench Proは何を測るベンチマークですか?
- SWE-Bench Proは、Scale AIによる、SWE-benchより難しくデータ汚染にも強い後継版です。複数の言語の公開リポジトリから集めた長期的なissueで、複数ファイルにまたがる変更が必要なタスクを含みます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE-Bench Proの最高スコアは?
- 2026年11月16日時点で、SWE-Bench Proの最高スコアは61.5%で、Muse Spark 1.1が記録しています(結果の日付は2026年7月9日)。次点はGPT-5.4の59.1%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
- SWE-Bench ProでトップのAIモデルは?
- 2026年11月16日時点で、SWE-Bench Proの首位はMuse Spark 1.1で、スコアは61.5%です(結果の日付は2026年7月9日)。続いてGPT-5.4(59.1%)です。
- SWE-Bench Proの結果があるモデルはいくつですか?
- BenchLeaderでは25のモデル構成にSWE-Bench Proの結果があり、すべてScale AI SEALから取得しています。
- SWE-Bench Proを運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE-Bench ProはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE-Bench ProはBenchLeader Indexに含まれますか?
- はい。SWE-Bench ProはBenchLeader Indexのコーディングカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。