SWE Atlas v1.0: Test Writingのリーダーボード
2026年11月16日時点で、SWE Atlas v1.0: Test Writingの最高スコアは67.0%で、Claude Fable 5.1(Anthropic)が記録しています。次点はClaude Opus 5の62.2%です。公表された結果があるのは22のモデル構成です(Scale AI SEAL、結果の日付は2026年9月2日)。実際のコードに対するテストをモデルに書かせ、カバレッジと正しさで採点します。SWE Atlas v1.0: Test Writingは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Claude Fable 5.1がSWE Atlas v1.0: Test Writingの最高スコア67.0%を記録しています(Scale AI SEAL、2026年9月2日)。
- SWE Atlas v1.0: Test Writingの2位はClaude Opus 5で、62.2%です(Scale AI SEAL、2026年8月4日)。
- SWE Atlas v1.0: Test Writing:既存のコードに対するテストの作成。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行(Scale AI SEAL)。
- BenchLeaderでは22のモデル構成にSWE Atlas v1.0: Test Writingの公表結果があります(BenchLeader、2026年11月16日)。
- SWE Atlas v1.0: Test WritingはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
既存のコードに対するテストの作成。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行。
- カテゴリ
- コーディング
- Indexでの重み
- 参考のみ
- モデル
- 22
- データ基準日
- 2026年11月16日
Scale AI SEAL Leaderboards.
このボードは更新を終えています。同じ名前は現在、別の新しいテストに使われており、そのスコアはSWE Atlas v1.1: Test Writingにあります。
どんなテストか
実際のコードに対するテストをモデルに書かせ、カバレッジと正しさで採点します。
採点方法
スコアで、Scale AIが公表しています。
注意点
特定のエンジニアリングスキルを測るものです。
- 1Claude Fable 5.1 (xhigh)67.0%
- 2Claude Opus 5 (xhigh)62.2%
- 3Claude Fable 5 (xhigh)55.6%
- 4Gemini 3.8 Flash53.7%
- 5GPT-6 Astra (xhigh)50.7%
- 6Claude Opus 4.8 (xhigh)49.6%
- 7GPT-5.6 Sol (xhigh)45.9%
- 8GPT-5.4 (xhigh)44.4%
- 9GPT-5.5 (xhigh)42.6%
- 10Muse Spark 1.1 (xhigh)41.5%
- 11GLM 5.241.5%
- 12GPT-5.3 Chat (xhigh)39.0%
- 13Claude Opus 4.738.5%
- 14Claude Opus 4.636.7%
- 15Claude Sonnet 4.631.8%
22件中22件
| # | ||||
|---|---|---|---|---|
| 1 | 67.0% | 64.6 | 2026-09-02 | |
| 2 | 62.2% | 60.1 | 2026-08-04 | |
| 3 | 55.6% | – | 2026-06-11 | |
| 4 | 53.7% | 56.4 | 2026-09-09 | |
| 5 | 50.7% | 66.0 | 2026-09-09 | |
| 6 | 49.6% | – | 2026-06-08 | |
| 7 | 45.9% | 63.9 | 2026-07-28 | |
| 8 | 44.4% | 63.1 | 2026-03-26 | |
| 9 | 42.6% | 64.1 | 2026-05-07 | |
| 10 | 41.5% | 59.5 | 2026-07-09 | |
| 11 | 41.5% | 51.9 | 2026-06-23 | |
| 12 | 39.0% | – | 2026-03-26 | |
| 13 | 38.5% | 63.1 | 2026-06-18 | |
| 14 | 36.7% | 62.1 | 2026-03-26 | |
| 15 | 31.8% | 57.6 | 2026-03-26 | |
| 16 | 31.1% | 64.2 | 2026-04-08 | |
| 17 | 30.3% | 56.5 | 2026-03-26 | |
| 18 | 29.8% | 59.9 | 2026-03-26 | |
| 19 | 28.7% | 54.9 | 2026-03-26 | |
| 20 | 27.1% | 53.0 | 2026-06-18 | |
| 21 | 25.8% | 54.6 | 2026-03-26 | |
| 22 | 18.6% | 53.7 | 2026-03-26 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
SWE Atlas v1.0: Test Writingでの注目のモデル比較
引用表記:BenchLeader「SWE Atlas v1.0: Test Writingのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_sweatlas_tw
SWE Atlas v1.0: Test Writing:よくある質問
- SWE Atlas v1.0: Test Writingは何を測るベンチマークですか?
- 実際のコードに対するテストをモデルに書かせ、カバレッジと正しさで採点します。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE Atlas v1.0: Test Writingの最高スコアは?
- 2026年11月16日時点で、SWE Atlas v1.0: Test Writingの最高スコアは67.0%で、Claude Fable 5.1が記録しています(結果の日付は2026年9月2日)。次点はClaude Opus 5の62.2%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
- SWE Atlas v1.0: Test WritingでトップのAIモデルは?
- 2026年11月16日時点で、SWE Atlas v1.0: Test Writingの首位はClaude Fable 5.1で、スコアは67.0%です(結果の日付は2026年9月2日)。続いてClaude Opus 5(62.2%)です。
- SWE Atlas v1.0: Test Writingの結果があるモデルはいくつですか?
- BenchLeaderでは22のモデル構成にSWE Atlas v1.0: Test Writingの結果があり、すべてScale AI SEALから取得しています。
- SWE Atlas v1.0: Test Writingを運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE Atlas v1.0: Test WritingはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE Atlas v1.0: Test WritingはBenchLeader Indexに含まれますか?
- いいえ。SWE Atlas v1.0: Test Writingは参考として掲載していますが、総合スコアには含めていません。