BenchLeader

SWE Atlas v1.0: Codebase QnA 排行榜

截至 2026年11月16日,SWE Atlas v1.0: Codebase QnA 的最高分为 63.2%,由 Claude Opus 5(Anthropic)取得,领先于 Claude Fable 5.1(60.0%)。共有 22 个模型配置公布了结果(Scale AI SEAL,结果日期 2026年8月4日)。模型必须回答关于某个真实代码库如何运作的问题,需要在多个文件之间浏览和阅读。SWE Atlas v1.0: Codebase QnA 仅作参考展示,不计入 BenchLeader Index。

要点(截至 2026年11月16日)

  • Claude Opus 5 以 63.2% 保持 SWE Atlas v1.0: Codebase QnA 最高分(Scale AI SEAL,2026年8月4日)。
  • Claude Fable 5.1 以 60.0% 位列 SWE Atlas v1.0: Codebase QnA 第二(Scale AI SEAL,2026年3月2日)。
  • SWE Atlas v1.0: Codebase QnA:回答关于大型代码库的问题。Scale AI。停留在 v1.0;v1.1 用新的评审模型重新运行了所有模型(Scale AI SEAL)。
  • BenchLeader 上有 22 个模型配置公布了 SWE Atlas v1.0: Codebase QnA 结果(BenchLeader,2026年11月16日)。
  • SWE Atlas v1.0: Codebase QnA 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。

回答关于大型代码库的问题。Scale AI。停留在 v1.0;v1.1 用新的评审模型重新运行了所有模型。

发布方
Scale AI SEAL
类别
编程
Index 权重
仅作参考
模型
22
数据截至
2026年11月16日

Scale AI SEAL Leaderboards.

该排行榜已冻结。如今沿用这个名称的是另一项较新的测试,其分数见 SWE Atlas v1.1: Codebase QnA。

测试内容

模型必须回答关于某个真实代码库如何运作的问题,需要在多个文件之间浏览和阅读。

评分方式

准确率,由 Scale AI 发布。

注意事项

衡量的是代码理解,而不是代码修改。

22 / 22
#
1Claude Opus 5xhigh63.2%60.12026-08-04
2Claude Fable 5.1xhigh60.0%64.62026-03-02
3GPT-6 Astraxhigh59.1%66.02026-09-09
4Claude Opus 4.8xhigh57.3%–2026-06-08
5GLM 5.248.1%51.92026-06-23
6Gemini 3.8 Flash47.0%56.42026-09-09
7GPT-5.6 Solxhigh46.0%63.92026-03-02
8GPT-5.5xhigh45.4%64.12026-05-07
9Muse Spark 1.1xhigh42.2%59.52026-07-09
10GPT-5.4xhigh40.8%63.12026-03-09
11Claude Opus 4.740.3%63.12026-06-18
12Claude Fable 5xhigh39.0%–2026-03-02
13Claude Opus 4.633.3%62.12026-02-25
14GPT-5.3 Chatxhigh32.6%–2026-02-25
15Claude Sonnet 4.631.2%57.62026-02-25
16DeepSeek V4 Pro27.1%53.02026-06-18
17Muse Spark24.2%64.22026-04-08
18GLM-520.5%54.92026-02-25
19Gemini 3.1 Pro13.5%59.92026-02-25
20Kimi K2.513.1%54.62026-02-25
21MiniMax M2.510.3%53.72026-02-25
22Gemini 3 Flash8.2%56.52026-02-25

更多编程基准测试 · 全部大模型基准测试

引用格式:BenchLeader,《SWE Atlas v1.0: Codebase QnA 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/scale_sweatlas_qna。

SWE Atlas v1.0: Codebase QnA:常见问题

SWE Atlas v1.0: Codebase QnA 衡量的是什么?
模型必须回答关于某个真实代码库如何运作的问题,需要在多个文件之间浏览和阅读。分数以完成任务的百分比表示,越高越好。
SWE Atlas v1.0: Codebase QnA 的最高分是多少?
截至 2026年11月16日,SWE Atlas v1.0: Codebase QnA 的最高分为 63.2%,由 Claude Opus 5 取得(结果日期 2026年8月4日),领先于 Claude Fable 5.1(60.0%)。分数来自 Scale AI SEAL,每天重新读取。
哪个 AI 模型在 SWE Atlas v1.0: Codebase QnA 上领先?
截至 2026年11月16日,SWE Atlas v1.0: Codebase QnA 排名第一的是 Claude Opus 5,分数为 63.2%(结果日期 2026年8月4日)。其后为 Claude Fable 5.1(60.0%)。
有多少模型有 SWE Atlas v1.0: Codebase QnA 结果?
BenchLeader 上有 22 个模型配置有 SWE Atlas v1.0: Codebase QnA 结果,全部取自 Scale AI SEAL。
SWE Atlas v1.0: Codebase QnA 由谁运行,多久更新一次?
SWE Atlas v1.0: Codebase QnA 由 Scale AI SEAL 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
SWE Atlas v1.0: Codebase QnA 是否计入 BenchLeader Index?
不计入。SWE Atlas v1.0: Codebase QnA 仅作参考展示,不计入综合分数。