SWE Atlas v1.0: Codebase QnAのリーダーボード
2026年11月16日時点で、SWE Atlas v1.0: Codebase QnAの最高スコアは63.2%で、Claude Opus 5(Anthropic)が記録しています。次点はClaude Fable 5.1の60.0%です。公表された結果があるのは22のモデル構成です(Scale AI SEAL、結果の日付は2026年8月4日)。実際のコードベースの仕組みに関する質問に答えさせます。複数のファイルをたどって読む必要があります。SWE Atlas v1.0: Codebase QnAは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Claude Opus 5がSWE Atlas v1.0: Codebase QnAの最高スコア63.2%を記録しています(Scale AI SEAL、2026年8月4日)。
- SWE Atlas v1.0: Codebase QnAの2位はClaude Fable 5.1で、60.0%です(Scale AI SEAL、2026年3月2日)。
- SWE Atlas v1.0: Codebase QnA:大規模なコードベースについての質問に答えるタスク。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行(Scale AI SEAL)。
- BenchLeaderでは22のモデル構成にSWE Atlas v1.0: Codebase QnAの公表結果があります(BenchLeader、2026年11月16日)。
- SWE Atlas v1.0: Codebase QnAはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
大規模なコードベースについての質問に答えるタスク。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行。
- カテゴリ
- コーディング
- Indexでの重み
- 参考のみ
- モデル
- 22
- データ基準日
- 2026年11月16日
Scale AI SEAL Leaderboards.
このボードは更新を終えています。同じ名前は現在、別の新しいテストに使われており、そのスコアはSWE Atlas v1.1: Codebase QnAにあります。
どんなテストか
実際のコードベースの仕組みに関する質問に答えさせます。複数のファイルをたどって読む必要があります。
採点方法
正答率で、Scale AIが公表しています。
注意点
コードの編集ではなく、コードの理解力を測ります。
- 1Claude Opus 5 (xhigh)63.2%
- 2Claude Fable 5.1 (xhigh)60.0%
- 3GPT-6 Astra (xhigh)59.1%
- 4Claude Opus 4.8 (xhigh)57.3%
- 5GLM 5.248.1%
- 6Gemini 3.8 Flash47.0%
- 7GPT-5.6 Sol (xhigh)46.0%
- 8GPT-5.5 (xhigh)45.4%
- 9Muse Spark 1.1 (xhigh)42.2%
- 10GPT-5.4 (xhigh)40.8%
- 11Claude Opus 4.740.3%
- 12Claude Fable 5 (xhigh)39.0%
- 13Claude Opus 4.633.3%
- 14GPT-5.3 Chat (xhigh)32.6%
- 15Claude Sonnet 4.631.2%
22件中22件
| # | ||||
|---|---|---|---|---|
| 1 | 63.2% | 60.1 | 2026-08-04 | |
| 2 | 60.0% | 64.6 | 2026-03-02 | |
| 3 | 59.1% | 66.0 | 2026-09-09 | |
| 4 | 57.3% | – | 2026-06-08 | |
| 5 | 48.1% | 51.9 | 2026-06-23 | |
| 6 | 47.0% | 56.4 | 2026-09-09 | |
| 7 | 46.0% | 63.9 | 2026-03-02 | |
| 8 | 45.4% | 64.1 | 2026-05-07 | |
| 9 | 42.2% | 59.5 | 2026-07-09 | |
| 10 | 40.8% | 63.1 | 2026-03-09 | |
| 11 | 40.3% | 63.1 | 2026-06-18 | |
| 12 | 39.0% | – | 2026-03-02 | |
| 13 | 33.3% | 62.1 | 2026-02-25 | |
| 14 | 32.6% | – | 2026-02-25 | |
| 15 | 31.2% | 57.6 | 2026-02-25 | |
| 16 | 27.1% | 53.0 | 2026-06-18 | |
| 17 | 24.2% | 64.2 | 2026-04-08 | |
| 18 | 20.5% | 54.9 | 2026-02-25 | |
| 19 | 13.5% | 59.9 | 2026-02-25 | |
| 20 | 13.1% | 54.6 | 2026-02-25 | |
| 21 | 10.3% | 53.7 | 2026-02-25 | |
| 22 | 8.2% | 56.5 | 2026-02-25 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
SWE Atlas v1.0: Codebase QnAでの注目のモデル比較
引用表記:BenchLeader「SWE Atlas v1.0: Codebase QnAのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_sweatlas_qna
SWE Atlas v1.0: Codebase QnA:よくある質問
- SWE Atlas v1.0: Codebase QnAは何を測るベンチマークですか?
- 実際のコードベースの仕組みに関する質問に答えさせます。複数のファイルをたどって読む必要があります。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE Atlas v1.0: Codebase QnAの最高スコアは?
- 2026年11月16日時点で、SWE Atlas v1.0: Codebase QnAの最高スコアは63.2%で、Claude Opus 5が記録しています(結果の日付は2026年8月4日)。次点はClaude Fable 5.1の60.0%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
- SWE Atlas v1.0: Codebase QnAでトップのAIモデルは?
- 2026年11月16日時点で、SWE Atlas v1.0: Codebase QnAの首位はClaude Opus 5で、スコアは63.2%です(結果の日付は2026年8月4日)。続いてClaude Fable 5.1(60.0%)です。
- SWE Atlas v1.0: Codebase QnAの結果があるモデルはいくつですか?
- BenchLeaderでは22のモデル構成にSWE Atlas v1.0: Codebase QnAの結果があり、すべてScale AI SEALから取得しています。
- SWE Atlas v1.0: Codebase QnAを運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE Atlas v1.0: Codebase QnAはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE Atlas v1.0: Codebase QnAはBenchLeader Indexに含まれますか?
- いいえ。SWE Atlas v1.0: Codebase QnAは参考として掲載していますが、総合スコアには含めていません。