SWE-Bench Pro (private)のリーダーボード
2026年11月16日時点で、SWE-Bench Pro (private)の最高スコアは51.5%で、Muse Spark 1.1(Meta)が記録しています。次点はClaude Opus 4.6の47.1%です。公表された結果があるのは14のモデル構成です(Scale AI SEAL、結果の日付は2026年7月9日)。SWE-Bench Proと同じタスク形式を、Scaleだけが実行できる非公開の商用リポジトリのセットで行います。SWE-Bench Pro (private)は参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Muse Spark 1.1がSWE-Bench Pro (private)の最高スコア51.5%を記録しています(Scale AI SEAL、2026年7月9日)。
- SWE-Bench Pro (private)の2位はClaude Opus 4.6で、47.1%です(Scale AI SEAL、2026年4月8日)。
- SWE-Bench Pro (private):SWE-Bench Proのうち、商用リポジトリを使った非公開セット。Scale AI(Scale AI SEAL)。
- BenchLeaderでは14のモデル構成にSWE-Bench Pro (private)の公表結果があります(BenchLeader、2026年11月16日)。
- SWE-Bench Pro (private)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
SWE-Bench Proのうち、商用リポジトリを使った非公開セット。Scale AI。
- カテゴリ
- コーディング
- Indexでの重み
- 参考のみ
- モデル
- 14
- データ基準日
- 2026年11月16日
Scale AI SEAL Leaderboards.
どんなテストか
SWE-Bench Proと同じタスク形式を、Scaleだけが実行できる非公開の商用リポジトリのセットで行います。
採点方法
解決できたissueの割合で、Scale AIが公表しています。
注意点
データ汚染はありえませんが、Scale以外では再現できません。
- 1Muse Spark 1.151.5%
- 2Claude Opus 4.6 (thinking)47.1%
- 3Muse Spark44.7%
- 4GPT-5.4 (xhigh)43.4%
- 5Gemini 3.1 Pro (thinking)32.2%
- 6GPT-5.2-Codex27.7%
- 7GPT-5.223.8%
- 8Claude Opus 4.523.4%
- 9Gemini 3 Pro17.9%
- 10Claude Opus 4.117.8%
- 11GPT-514.9%
- 12Gemini 2.5 Pro10.1%
- 13Claude Sonnet 49.1%
- 14GPT-4o3.6%
14件中14件
| # | ||||
|---|---|---|---|---|
| 1 | 51.5% | 62.2 | 2026-07-09 | |
| 2 | 47.1% | – | 2026-04-08 | |
| 3 | 44.7% | 64.2 | 2026-04-08 | |
| 4 | 43.4% | 63.1 | 2026-04-08 | |
| 5 | 32.2% | – | 2026-04-08 | |
| 6 | 27.7% | 57.6 | 2026-01-12 | |
| 7 | 23.8% | 56.7 | 2026-01-12 | |
| 8 | 23.4% | 57.1 | 2026-01-12 | |
| 9 | 17.9% | 60.0 | 2025-09-19 | |
| 10 | 17.8% | 51.1 | 2025-09-19 | |
| 11 | 14.9% | 56.6 | 2025-09-19 | |
| 12 | 10.1% | 55.2 | 2025-09-19 | |
| 13 | 9.1% | 50.0 | 2025-09-19 | |
| 14 | 3.6% | 42.8 | 2025-09-19 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
SWE-Bench Pro (private)での注目のモデル比較
引用表記:BenchLeader「SWE-Bench Pro (private)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_swe_bench_pro_private
SWE-Bench Pro (private):よくある質問
- SWE-Bench Pro (private)は何を測るベンチマークですか?
- SWE-Bench Proと同じタスク形式を、Scaleだけが実行できる非公開の商用リポジトリのセットで行います。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE-Bench Pro (private)の最高スコアは?
- 2026年11月16日時点で、SWE-Bench Pro (private)の最高スコアは51.5%で、Muse Spark 1.1が記録しています(結果の日付は2026年7月9日)。次点はClaude Opus 4.6の47.1%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
- SWE-Bench Pro (private)でトップのAIモデルは?
- 2026年11月16日時点で、SWE-Bench Pro (private)の首位はMuse Spark 1.1で、スコアは51.5%です(結果の日付は2026年7月9日)。続いてClaude Opus 4.6(47.1%)です。
- SWE-Bench Pro (private)の結果があるモデルはいくつですか?
- BenchLeaderでは14のモデル構成にSWE-Bench Pro (private)の結果があり、すべてScale AI SEALから取得しています。
- SWE-Bench Pro (private)を運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE-Bench Pro (private)はScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE-Bench Pro (private)はBenchLeader Indexに含まれますか?
- いいえ。SWE-Bench Pro (private)は参考として掲載していますが、総合スコアには含めていません。