BenchLeader

SWE-Bench Pro (private)のリーダーボード

2026年11月16日時点で、SWE-Bench Pro (private)の最高スコアは51.5%で、Muse Spark 1.1(Meta)が記録しています。次点はClaude Opus 4.6の47.1%です。公表された結果があるのは14のモデル構成です(Scale AI SEAL、結果の日付は2026年7月9日)。SWE-Bench Proと同じタスク形式を、Scaleだけが実行できる非公開の商用リポジトリのセットで行います。SWE-Bench Pro (private)は参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Muse Spark 1.1がSWE-Bench Pro (private)の最高スコア51.5%を記録しています(Scale AI SEAL、2026年7月9日)。
  • SWE-Bench Pro (private)の2位はClaude Opus 4.6で、47.1%です(Scale AI SEAL、2026年4月8日)。
  • SWE-Bench Pro (private):SWE-Bench Proのうち、商用リポジトリを使った非公開セット。Scale AI(Scale AI SEAL)。
  • BenchLeaderでは14のモデル構成にSWE-Bench Pro (private)の公表結果があります(BenchLeader、2026年11月16日)。
  • SWE-Bench Pro (private)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

SWE-Bench Proのうち、商用リポジトリを使った非公開セット。Scale AI。

公開元
Scale AI SEAL
カテゴリ
コーディング
Indexでの重み
参考のみ
モデル
14
データ基準日
2026年11月16日

Scale AI SEAL Leaderboards.

どんなテストか

SWE-Bench Proと同じタスク形式を、Scaleだけが実行できる非公開の商用リポジトリのセットで行います。

採点方法

解決できたissueの割合で、Scale AIが公表しています。

注意点

データ汚染はありえませんが、Scale以外では再現できません。

14件中14件
#
1Muse Spark 1.151.5%62.22026-07-09
2Claude Opus 4.6thinking47.1%–2026-04-08
3Muse Spark44.7%64.22026-04-08
4GPT-5.4xhigh43.4%63.12026-04-08
5Gemini 3.1 Prothinking32.2%–2026-04-08
6GPT-5.2-Codex27.7%57.62026-01-12
7GPT-5.223.8%56.72026-01-12
8Claude Opus 4.523.4%57.12026-01-12
9Gemini 3 Pro17.9%60.02025-09-19
10Claude Opus 4.117.8%51.12025-09-19
11GPT-514.9%56.62025-09-19
12Gemini 2.5 Pro10.1%55.22025-09-19
13Claude Sonnet 49.1%50.02025-09-19
14GPT-4o3.6%42.82025-09-19

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE-Bench Pro (private)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_swe_bench_pro_private

SWE-Bench Pro (private):よくある質問

SWE-Bench Pro (private)は何を測るベンチマークですか?
SWE-Bench Proと同じタスク形式を、Scaleだけが実行できる非公開の商用リポジトリのセットで行います。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE-Bench Pro (private)の最高スコアは?
2026年11月16日時点で、SWE-Bench Pro (private)の最高スコアは51.5%で、Muse Spark 1.1が記録しています(結果の日付は2026年7月9日)。次点はClaude Opus 4.6の47.1%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
SWE-Bench Pro (private)でトップのAIモデルは?
2026年11月16日時点で、SWE-Bench Pro (private)の首位はMuse Spark 1.1で、スコアは51.5%です(結果の日付は2026年7月9日)。続いてClaude Opus 4.6(47.1%)です。
SWE-Bench Pro (private)の結果があるモデルはいくつですか?
BenchLeaderでは14のモデル構成にSWE-Bench Pro (private)の結果があり、すべてScale AI SEALから取得しています。
SWE-Bench Pro (private)を運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE-Bench Pro (private)はScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE-Bench Pro (private)はBenchLeader Indexに含まれますか?
いいえ。SWE-Bench Pro (private)は参考として掲載していますが、総合スコアには含めていません。