BenchLeader

SWE Atlas v1.0: Codebase QnAのリーダーボード

2026年11月16日時点で、SWE Atlas v1.0: Codebase QnAの最高スコアは63.2%で、Claude Opus 5(Anthropic)が記録しています。次点はClaude Fable 5.1の60.0%です。公表された結果があるのは22のモデル構成です(Scale AI SEAL、結果の日付は2026年8月4日)。実際のコードベースの仕組みに関する質問に答えさせます。複数のファイルをたどって読む必要があります。SWE Atlas v1.0: Codebase QnAは参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Claude Opus 5がSWE Atlas v1.0: Codebase QnAの最高スコア63.2%を記録しています(Scale AI SEAL、2026年8月4日)。
  • SWE Atlas v1.0: Codebase QnAの2位はClaude Fable 5.1で、60.0%です(Scale AI SEAL、2026年3月2日)。
  • SWE Atlas v1.0: Codebase QnA:大規模なコードベースについての質問に答えるタスク。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行(Scale AI SEAL)。
  • BenchLeaderでは22のモデル構成にSWE Atlas v1.0: Codebase QnAの公表結果があります(BenchLeader、2026年11月16日)。
  • SWE Atlas v1.0: Codebase QnAはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

大規模なコードベースについての質問に答えるタスク。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行。

公開元
Scale AI SEAL
カテゴリ
コーディング
Indexでの重み
参考のみ
モデル
22
データ基準日
2026年11月16日

Scale AI SEAL Leaderboards.

このボードは更新を終えています。同じ名前は現在、別の新しいテストに使われており、そのスコアはSWE Atlas v1.1: Codebase QnAにあります。

どんなテストか

実際のコードベースの仕組みに関する質問に答えさせます。複数のファイルをたどって読む必要があります。

採点方法

正答率で、Scale AIが公表しています。

注意点

コードの編集ではなく、コードの理解力を測ります。

22件中22件
#
1Claude Opus 5xhigh63.2%60.12026-08-04
2Claude Fable 5.1xhigh60.0%64.62026-03-02
3GPT-6 Astraxhigh59.1%66.02026-09-09
4Claude Opus 4.8xhigh57.3%–2026-06-08
5GLM 5.248.1%51.92026-06-23
6Gemini 3.8 Flash47.0%56.42026-09-09
7GPT-5.6 Solxhigh46.0%63.92026-03-02
8GPT-5.5xhigh45.4%64.12026-05-07
9Muse Spark 1.1xhigh42.2%59.52026-07-09
10GPT-5.4xhigh40.8%63.12026-03-09
11Claude Opus 4.740.3%63.12026-06-18
12Claude Fable 5xhigh39.0%–2026-03-02
13Claude Opus 4.633.3%62.12026-02-25
14GPT-5.3 Chatxhigh32.6%–2026-02-25
15Claude Sonnet 4.631.2%57.62026-02-25
16DeepSeek V4 Pro27.1%53.02026-06-18
17Muse Spark24.2%64.22026-04-08
18GLM-520.5%54.92026-02-25
19Gemini 3.1 Pro13.5%59.92026-02-25
20Kimi K2.513.1%54.62026-02-25
21MiniMax M2.510.3%53.72026-02-25
22Gemini 3 Flash8.2%56.52026-02-25

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE Atlas v1.0: Codebase QnAのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_sweatlas_qna

SWE Atlas v1.0: Codebase QnA:よくある質問

SWE Atlas v1.0: Codebase QnAは何を測るベンチマークですか?
実際のコードベースの仕組みに関する質問に答えさせます。複数のファイルをたどって読む必要があります。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE Atlas v1.0: Codebase QnAの最高スコアは?
2026年11月16日時点で、SWE Atlas v1.0: Codebase QnAの最高スコアは63.2%で、Claude Opus 5が記録しています(結果の日付は2026年8月4日)。次点はClaude Fable 5.1の60.0%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
SWE Atlas v1.0: Codebase QnAでトップのAIモデルは?
2026年11月16日時点で、SWE Atlas v1.0: Codebase QnAの首位はClaude Opus 5で、スコアは63.2%です(結果の日付は2026年8月4日)。続いてClaude Fable 5.1(60.0%)です。
SWE Atlas v1.0: Codebase QnAの結果があるモデルはいくつですか?
BenchLeaderでは22のモデル構成にSWE Atlas v1.0: Codebase QnAの結果があり、すべてScale AI SEALから取得しています。
SWE Atlas v1.0: Codebase QnAを運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE Atlas v1.0: Codebase QnAはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE Atlas v1.0: Codebase QnAはBenchLeader Indexに含まれますか?
いいえ。SWE Atlas v1.0: Codebase QnAは参考として掲載していますが、総合スコアには含めていません。