BenchLeader

SWE Atlas v1.0: Test Writingのリーダーボード

2026年11月16日時点で、SWE Atlas v1.0: Test Writingの最高スコアは67.0%で、Claude Fable 5.1(Anthropic)が記録しています。次点はClaude Opus 5の62.2%です。公表された結果があるのは22のモデル構成です(Scale AI SEAL、結果の日付は2026年9月2日)。実際のコードに対するテストをモデルに書かせ、カバレッジと正しさで採点します。SWE Atlas v1.0: Test Writingは参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Claude Fable 5.1がSWE Atlas v1.0: Test Writingの最高スコア67.0%を記録しています(Scale AI SEAL、2026年9月2日)。
  • SWE Atlas v1.0: Test Writingの2位はClaude Opus 5で、62.2%です(Scale AI SEAL、2026年8月4日)。
  • SWE Atlas v1.0: Test Writing:既存のコードに対するテストの作成。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行(Scale AI SEAL)。
  • BenchLeaderでは22のモデル構成にSWE Atlas v1.0: Test Writingの公表結果があります(BenchLeader、2026年11月16日)。
  • SWE Atlas v1.0: Test WritingはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

既存のコードに対するテストの作成。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行。

公開元
Scale AI SEAL
カテゴリ
コーディング
Indexでの重み
参考のみ
モデル
22
データ基準日
2026年11月16日

Scale AI SEAL Leaderboards.

このボードは更新を終えています。同じ名前は現在、別の新しいテストに使われており、そのスコアはSWE Atlas v1.1: Test Writingにあります。

どんなテストか

実際のコードに対するテストをモデルに書かせ、カバレッジと正しさで採点します。

採点方法

スコアで、Scale AIが公表しています。

注意点

特定のエンジニアリングスキルを測るものです。

22件中22件
#
1Claude Fable 5.1xhigh67.0%64.62026-09-02
2Claude Opus 5xhigh62.2%60.12026-08-04
3Claude Fable 5xhigh55.6%–2026-06-11
4Gemini 3.8 Flash53.7%56.42026-09-09
5GPT-6 Astraxhigh50.7%66.02026-09-09
6Claude Opus 4.8xhigh49.6%–2026-06-08
7GPT-5.6 Solxhigh45.9%63.92026-07-28
8GPT-5.4xhigh44.4%63.12026-03-26
9GPT-5.5xhigh42.6%64.12026-05-07
10Muse Spark 1.1xhigh41.5%59.52026-07-09
11GLM 5.241.5%51.92026-06-23
12GPT-5.3 Chatxhigh39.0%–2026-03-26
13Claude Opus 4.738.5%63.12026-06-18
14Claude Opus 4.636.7%62.12026-03-26
15Claude Sonnet 4.631.8%57.62026-03-26
16Muse Spark31.1%64.22026-04-08
17Gemini 3 Flash30.3%56.52026-03-26
18Gemini 3.1 Pro29.8%59.92026-03-26
19GLM-528.7%54.92026-03-26
20DeepSeek V4 Pro27.1%53.02026-06-18
21Kimi K2.525.8%54.62026-03-26
22MiniMax M2.518.6%53.72026-03-26

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE Atlas v1.0: Test Writingのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_sweatlas_tw

SWE Atlas v1.0: Test Writing:よくある質問

SWE Atlas v1.0: Test Writingは何を測るベンチマークですか?
実際のコードに対するテストをモデルに書かせ、カバレッジと正しさで採点します。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE Atlas v1.0: Test Writingの最高スコアは?
2026年11月16日時点で、SWE Atlas v1.0: Test Writingの最高スコアは67.0%で、Claude Fable 5.1が記録しています(結果の日付は2026年9月2日)。次点はClaude Opus 5の62.2%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
SWE Atlas v1.0: Test WritingでトップのAIモデルは?
2026年11月16日時点で、SWE Atlas v1.0: Test Writingの首位はClaude Fable 5.1で、スコアは67.0%です(結果の日付は2026年9月2日)。続いてClaude Opus 5(62.2%)です。
SWE Atlas v1.0: Test Writingの結果があるモデルはいくつですか?
BenchLeaderでは22のモデル構成にSWE Atlas v1.0: Test Writingの結果があり、すべてScale AI SEALから取得しています。
SWE Atlas v1.0: Test Writingを運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE Atlas v1.0: Test WritingはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE Atlas v1.0: Test WritingはBenchLeader Indexに含まれますか?
いいえ。SWE Atlas v1.0: Test Writingは参考として掲載していますが、総合スコアには含めていません。