BenchLeader

SWE Atlas v1.1: Codebase QnAのリーダーボード

2026年11月16日時点で、SWE Atlas v1.1: Codebase QnAの最高スコアは83.9%で、Claude Fable 5.2(Anthropic)が記録しています。次点はQwen3.8 Maxの81.5%です。公表された結果があるのは28のモデル構成です(Scale AI SEAL、結果の日付は2026年11月11日)。大規模なコードベースについての質問に答えるタスク(SWE Atlas v1.1)。Scale AI。SWE Atlas v1.1: Codebase QnAは参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Claude Fable 5.2がSWE Atlas v1.1: Codebase QnAの最高スコア83.9%を記録しています(Scale AI SEAL、2026年11月11日)。
  • SWE Atlas v1.1: Codebase QnAの2位はQwen3.8 Maxで、81.5%です(Scale AI SEAL、2026年11月11日)。
  • SWE Atlas v1.1: Codebase QnA:大規模なコードベースについての質問に答えるタスク(SWE Atlas v1.1)。Scale AI(Scale AI SEAL)。
  • BenchLeaderでは28のモデル構成にSWE Atlas v1.1: Codebase QnAの公表結果があります(BenchLeader、2026年11月16日)。
  • SWE Atlas v1.1: Codebase QnAはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

大規模なコードベースについての質問に答えるタスク(SWE Atlas v1.1)。Scale AI。

公開元
Scale AI SEAL
カテゴリ
コーディング
Indexでの重み
参考のみ
モデル
28
データ基準日
2026年11月16日
最新の結果
2026年11月11日

Scale AI SEAL Leaderboards.

同じ名前の以前のテストとは比較できません。以前のテストの最終スコアはSWE Atlas v1.0: Codebase QnAに残しています。

28件中28件
#
1NEWClaude Fable 5.283.9%65.42026-11-11
2Qwen3.8 Maxmax81.5%58.72026-11-11
3Claude Fable 5.179.0%66.42026-11-06
4Claude Opus 5.577.4%61.02026-11-06
5Inkling 2 Small74.2%57.92026-11-06
6Claude Sonnet 5.574.2%–2026-11-06
7Muse Wonder73.4%64.42026-11-06
8Gemini 4 Carbon73.4%–2026-11-11
9Grok 4.773.4%–2026-11-06
10GPT-6.1 Sol71.0%62.02026-11-06
11DeepSeek V4.1 Flash71.0%–2026-11-06
12GPT-6 Astra70.2%66.42026-11-06
13Kimi K3.1 Pro70.2%61.82026-11-11
14GLM 5.370.2%–2026-11-11
15GLM 5.3 Flash66.9%57.82026-11-11
16Gemini 4 Argon65.3%64.42026-11-06
17Kimi K365.3%60.72026-11-06
18Claude Haiku 5.562.1%–2026-11-06
19Mistral Large 461.3%52.92026-11-11
20NEWMuse Ember61.3%–2026-11-11
21GPT-6.1 Terra54.0%–2026-11-06
22GPT-6 Luna50.8%–2026-11-06
23Muse Spark Open50.0%–2026-11-06
24MiniMax M349.2%56.12026-11-11
25Gemini 3.8 Flash45.2%56.42026-11-06
26Nemotron 3.5 Super VL26.6%45.82026-11-11
27Nemotron 3 Ultra21.8%42.12026-11-11
28gpt-oss-120b10.5%46.12026-11-11

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE Atlas v1.1: Codebase QnAのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_swe_atlas_qna

SWE Atlas v1.1: Codebase QnA:よくある質問

SWE Atlas v1.1: Codebase QnAは何を測るベンチマークですか?
大規模なコードベースについての質問に答えるタスク(SWE Atlas v1.1)。Scale AI。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE Atlas v1.1: Codebase QnAの最高スコアは?
2026年11月16日時点で、SWE Atlas v1.1: Codebase QnAの最高スコアは83.9%で、Claude Fable 5.2が記録しています(結果の日付は2026年11月11日)。次点はQwen3.8 Maxの81.5%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
SWE Atlas v1.1: Codebase QnAでトップのAIモデルは?
2026年11月16日時点で、SWE Atlas v1.1: Codebase QnAの首位はClaude Fable 5.2で、スコアは83.9%です(結果の日付は2026年11月11日)。続いてQwen3.8 Max(81.5%)です。
SWE Atlas v1.1: Codebase QnAの結果があるモデルはいくつですか?
BenchLeaderでは28のモデル構成にSWE Atlas v1.1: Codebase QnAの結果があり、すべてScale AI SEALから取得しています。
SWE Atlas v1.1: Codebase QnAを運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE Atlas v1.1: Codebase QnAはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE Atlas v1.1: Codebase QnAはBenchLeader Indexに含まれますか?
いいえ。SWE Atlas v1.1: Codebase QnAは参考として掲載していますが、総合スコアには含めていません。