SWE Atlas v1.1: Codebase QnAのリーダーボード
2026年11月16日時点で、SWE Atlas v1.1: Codebase QnAの最高スコアは83.9%で、Claude Fable 5.2(Anthropic)が記録しています。次点はQwen3.8 Maxの81.5%です。公表された結果があるのは28のモデル構成です(Scale AI SEAL、結果の日付は2026年11月11日)。大規模なコードベースについての質問に答えるタスク(SWE Atlas v1.1)。Scale AI。SWE Atlas v1.1: Codebase QnAは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Claude Fable 5.2がSWE Atlas v1.1: Codebase QnAの最高スコア83.9%を記録しています(Scale AI SEAL、2026年11月11日)。
- SWE Atlas v1.1: Codebase QnAの2位はQwen3.8 Maxで、81.5%です(Scale AI SEAL、2026年11月11日)。
- SWE Atlas v1.1: Codebase QnA:大規模なコードベースについての質問に答えるタスク(SWE Atlas v1.1)。Scale AI(Scale AI SEAL)。
- BenchLeaderでは28のモデル構成にSWE Atlas v1.1: Codebase QnAの公表結果があります(BenchLeader、2026年11月16日)。
- SWE Atlas v1.1: Codebase QnAはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
大規模なコードベースについての質問に答えるタスク(SWE Atlas v1.1)。Scale AI。
- カテゴリ
- コーディング
- Indexでの重み
- 参考のみ
- モデル
- 28
- データ基準日
- 2026年11月16日
- 最新の結果
- 2026年11月11日
Scale AI SEAL Leaderboards.
同じ名前の以前のテストとは比較できません。以前のテストの最終スコアはSWE Atlas v1.0: Codebase QnAに残しています。
- 1Claude Fable 5.283.9%
- 2Qwen3.8 Max (max)81.5%
- 3Claude Fable 5.179.0%
- 4Claude Opus 5.577.4%
- 5Inkling 2 Small74.2%
- 6Claude Sonnet 5.574.2%
- 7Muse Wonder73.4%
- 8Gemini 4 Carbon73.4%
- 9Grok 4.773.4%
- 10GPT-6.1 Sol71.0%
- 11DeepSeek V4.1 Flash71.0%
- 12GPT-6 Astra70.2%
- 13Kimi K3.1 Pro70.2%
- 14GLM 5.370.2%
- 15GLM 5.3 Flash66.9%
28件中28件
| # | ||||
|---|---|---|---|---|
| 1 | NEW | 83.9% | 65.4 | 2026-11-11 |
| 2 | 81.5% | 58.7 | 2026-11-11 | |
| 3 | 79.0% | 66.4 | 2026-11-06 | |
| 4 | 77.4% | 61.0 | 2026-11-06 | |
| 5 | 74.2% | 57.9 | 2026-11-06 | |
| 6 | 74.2% | – | 2026-11-06 | |
| 7 | 73.4% | 64.4 | 2026-11-06 | |
| 8 | 73.4% | – | 2026-11-11 | |
| 9 | 73.4% | – | 2026-11-06 | |
| 10 | 71.0% | 62.0 | 2026-11-06 | |
| 11 | 71.0% | – | 2026-11-06 | |
| 12 | 70.2% | 66.4 | 2026-11-06 | |
| 13 | 70.2% | 61.8 | 2026-11-11 | |
| 14 | 70.2% | – | 2026-11-11 | |
| 15 | 66.9% | 57.8 | 2026-11-11 | |
| 16 | 65.3% | 64.4 | 2026-11-06 | |
| 17 | 65.3% | 60.7 | 2026-11-06 | |
| 18 | 62.1% | – | 2026-11-06 | |
| 19 | 61.3% | 52.9 | 2026-11-11 | |
| 20 | NEW | 61.3% | – | 2026-11-11 |
| 21 | 54.0% | – | 2026-11-06 | |
| 22 | 50.8% | – | 2026-11-06 | |
| 23 | 50.0% | – | 2026-11-06 | |
| 24 | 49.2% | 56.1 | 2026-11-11 | |
| 25 | 45.2% | 56.4 | 2026-11-06 | |
| 26 | 26.6% | 45.8 | 2026-11-11 | |
| 27 | 21.8% | 42.1 | 2026-11-11 | |
| 28 | 10.5% | 46.1 | 2026-11-11 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
SWE Atlas v1.1: Codebase QnAでの注目のモデル比較
引用表記:BenchLeader「SWE Atlas v1.1: Codebase QnAのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_swe_atlas_qna
SWE Atlas v1.1: Codebase QnA:よくある質問
- SWE Atlas v1.1: Codebase QnAは何を測るベンチマークですか?
- 大規模なコードベースについての質問に答えるタスク(SWE Atlas v1.1)。Scale AI。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE Atlas v1.1: Codebase QnAの最高スコアは?
- 2026年11月16日時点で、SWE Atlas v1.1: Codebase QnAの最高スコアは83.9%で、Claude Fable 5.2が記録しています(結果の日付は2026年11月11日)。次点はQwen3.8 Maxの81.5%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
- SWE Atlas v1.1: Codebase QnAでトップのAIモデルは?
- 2026年11月16日時点で、SWE Atlas v1.1: Codebase QnAの首位はClaude Fable 5.2で、スコアは83.9%です(結果の日付は2026年11月11日)。続いてQwen3.8 Max(81.5%)です。
- SWE Atlas v1.1: Codebase QnAの結果があるモデルはいくつですか?
- BenchLeaderでは28のモデル構成にSWE Atlas v1.1: Codebase QnAの結果があり、すべてScale AI SEALから取得しています。
- SWE Atlas v1.1: Codebase QnAを運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE Atlas v1.1: Codebase QnAはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE Atlas v1.1: Codebase QnAはBenchLeader Indexに含まれますか?
- いいえ。SWE Atlas v1.1: Codebase QnAは参考として掲載していますが、総合スコアには含めていません。