BenchLeader

SWE-Bench Proのリーダーボード

2026年11月16日時点で、SWE-Bench Proの最高スコアは61.5%で、Muse Spark 1.1(Meta)が記録しています。次点はGPT-5.4の59.1%です。公表された結果があるのは25のモデル構成です(Scale AI SEAL、結果の日付は2026年7月9日)。SWE-Bench Proは、Scale AIによる、SWE-benchより難しくデータ汚染にも強い後継版です。複数の言語の公開リポジトリから集めた長期的なissueで、複数ファイルにまたがる変更が必要なタスクを含みます。SWE-Bench ProはBenchLeader Indexのコーディングスコアに反映されます。

要点(2026年11月16日時点)

  • Muse Spark 1.1がSWE-Bench Proの最高スコア61.5%を記録しています(Scale AI SEAL、2026年7月9日)。
  • SWE-Bench Proの2位はGPT-5.4で、59.1%です(Scale AI SEAL、2026年4月8日)。
  • SWE-Bench Pro:公開リポジトリでの長期的なソフトウェアエンジニアリングのタスク。Scale AI(Scale AI SEAL)。
  • BenchLeaderでは25のモデル構成にSWE-Bench Proの公表結果があります(BenchLeader、2026年11月16日)。
  • SWE-Bench ProはBenchLeader Indexのコーディングカテゴリに反映されます(BenchLeaderの評価方法)。

公開リポジトリでの長期的なソフトウェアエンジニアリングのタスク。Scale AI。

公開元
Scale AI SEAL
カテゴリ
コーディング
Indexでの重み
1.0
モデル
25
データ基準日
2026年11月16日

Scale AI SEAL Leaderboards.

どんなテストか

SWE-Bench Proは、Scale AIによる、SWE-benchより難しくデータ汚染にも強い後継版です。複数の言語の公開リポジトリから集めた長期的なissueで、複数ファイルにまたがる変更が必要なタスクを含みます。

採点方法

公開セットにおいて、Scaleのハーネスで解決できたissueの割合です。

注意点

SWE-bench Verifiedよりはるかに難しいため、スコアは低く、それとは比較できません。Scaleだけが実行できる非公開の商用セットも存在します。

25件中25件
#
1Muse Spark 1.161.5%62.22026-07-09
2GPT-5.4xhigh59.1%63.12026-04-08
3Muse Spark55.0%64.22026-04-08
4Claude Opus 4.6thinking51.9%–2026-04-08
5Gemini 3.1 Prothinking46.1%–2026-04-08
6Claude Opus 4.545.9%57.12025-12-11
7Claude Sonnet 4.543.6%53.82025-09-19
8Gemini 3 Pro43.3%60.02025-11-26
9Claude Sonnet 442.7%50.02025-09-19
10GPT-5high41.8%58.22025-11-26
11GPT-5.2-Codex41.0%57.62026-01-27
12Claude Haiku 4.539.5%47.72025-09-19
13Qwen3 Coder 480B38.7%48.92026-01-27
14Minimax 2.136.8%–2026-01-12
15Gemini 3 Flash34.6%56.52026-01-12
16GPT-5.229.9%56.72026-01-27
17Kimi K227.7%51.12025-09-19
18Qwen3 235B A22B21.4%50.12026-01-27
19gpt-oss-120b16.2%46.12026-01-27
20DeepSeek V3.215.6%50.22026-01-27
21Gemma 3 27B11.4%39.72026-01-27
22Llama 3.1 405B11.2%41.82026-01-27
23GLM-4.69.7%50.22026-01-27
24Llama 4 Maverick5.2%41.82026-01-27
25Codestral 24051.5%–2026-01-27

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE-Bench Proのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_swe_bench_pro

SWE-Bench Pro:よくある質問

SWE-Bench Proは何を測るベンチマークですか?
SWE-Bench Proは、Scale AIによる、SWE-benchより難しくデータ汚染にも強い後継版です。複数の言語の公開リポジトリから集めた長期的なissueで、複数ファイルにまたがる変更が必要なタスクを含みます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE-Bench Proの最高スコアは?
2026年11月16日時点で、SWE-Bench Proの最高スコアは61.5%で、Muse Spark 1.1が記録しています(結果の日付は2026年7月9日)。次点はGPT-5.4の59.1%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
SWE-Bench ProでトップのAIモデルは?
2026年11月16日時点で、SWE-Bench Proの首位はMuse Spark 1.1で、スコアは61.5%です(結果の日付は2026年7月9日)。続いてGPT-5.4(59.1%)です。
SWE-Bench Proの結果があるモデルはいくつですか?
BenchLeaderでは25のモデル構成にSWE-Bench Proの結果があり、すべてScale AI SEALから取得しています。
SWE-Bench Proを運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE-Bench ProはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE-Bench ProはBenchLeader Indexに含まれますか?
はい。SWE-Bench ProはBenchLeader Indexのコーディングカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。