SWE Atlas v1.0: Codebase QnA 排行榜
截至 2026年11月16日,SWE Atlas v1.0: Codebase QnA 的最高分为 63.2%,由 Claude Opus 5(Anthropic)取得,领先于 Claude Fable 5.1(60.0%)。共有 22 个模型配置公布了结果(Scale AI SEAL,结果日期 2026年8月4日)。模型必须回答关于某个真实代码库如何运作的问题,需要在多个文件之间浏览和阅读。SWE Atlas v1.0: Codebase QnA 仅作参考展示,不计入 BenchLeader Index。
要点(截至 2026年11月16日)
- Claude Opus 5 以 63.2% 保持 SWE Atlas v1.0: Codebase QnA 最高分(Scale AI SEAL,2026年8月4日)。
- Claude Fable 5.1 以 60.0% 位列 SWE Atlas v1.0: Codebase QnA 第二(Scale AI SEAL,2026年3月2日)。
- SWE Atlas v1.0: Codebase QnA:回答关于大型代码库的问题。Scale AI。停留在 v1.0;v1.1 用新的评审模型重新运行了所有模型(Scale AI SEAL)。
- BenchLeader 上有 22 个模型配置公布了 SWE Atlas v1.0: Codebase QnA 结果(BenchLeader,2026年11月16日)。
- SWE Atlas v1.0: Codebase QnA 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。
回答关于大型代码库的问题。Scale AI。停留在 v1.0;v1.1 用新的评审模型重新运行了所有模型。
- 类别
- 编程
- Index 权重
- 仅作参考
- 模型
- 22
- 数据截至
- 2026年11月16日
Scale AI SEAL Leaderboards.
该排行榜已冻结。如今沿用这个名称的是另一项较新的测试,其分数见 SWE Atlas v1.1: Codebase QnA。
测试内容
模型必须回答关于某个真实代码库如何运作的问题,需要在多个文件之间浏览和阅读。
评分方式
准确率,由 Scale AI 发布。
注意事项
衡量的是代码理解,而不是代码修改。
- 1Claude Opus 5 (xhigh)63.2%
- 2Claude Fable 5.1 (xhigh)60.0%
- 3GPT-6 Astra (xhigh)59.1%
- 4Claude Opus 4.8 (xhigh)57.3%
- 5GLM 5.248.1%
- 6Gemini 3.8 Flash47.0%
- 7GPT-5.6 Sol (xhigh)46.0%
- 8GPT-5.5 (xhigh)45.4%
- 9Muse Spark 1.1 (xhigh)42.2%
- 10GPT-5.4 (xhigh)40.8%
- 11Claude Opus 4.740.3%
- 12Claude Fable 5 (xhigh)39.0%
- 13Claude Opus 4.633.3%
- 14GPT-5.3 Chat (xhigh)32.6%
- 15Claude Sonnet 4.631.2%
22 / 22
| # | ||||
|---|---|---|---|---|
| 1 | 63.2% | 60.1 | 2026-08-04 | |
| 2 | 60.0% | 64.6 | 2026-03-02 | |
| 3 | 59.1% | 66.0 | 2026-09-09 | |
| 4 | 57.3% | – | 2026-06-08 | |
| 5 | 48.1% | 51.9 | 2026-06-23 | |
| 6 | 47.0% | 56.4 | 2026-09-09 | |
| 7 | 46.0% | 63.9 | 2026-03-02 | |
| 8 | 45.4% | 64.1 | 2026-05-07 | |
| 9 | 42.2% | 59.5 | 2026-07-09 | |
| 10 | 40.8% | 63.1 | 2026-03-09 | |
| 11 | 40.3% | 63.1 | 2026-06-18 | |
| 12 | 39.0% | – | 2026-03-02 | |
| 13 | 33.3% | 62.1 | 2026-02-25 | |
| 14 | 32.6% | – | 2026-02-25 | |
| 15 | 31.2% | 57.6 | 2026-02-25 | |
| 16 | 27.1% | 53.0 | 2026-06-18 | |
| 17 | 24.2% | 64.2 | 2026-04-08 | |
| 18 | 20.5% | 54.9 | 2026-02-25 | |
| 19 | 13.5% | 59.9 | 2026-02-25 | |
| 20 | 13.1% | 54.6 | 2026-02-25 | |
| 21 | 10.3% | 53.7 | 2026-02-25 | |
| 22 | 8.2% | 56.5 | 2026-02-25 |
相关基准测试
SWE Atlas v1.0: Codebase QnA 上的热门模型对比
引用格式:BenchLeader,《SWE Atlas v1.0: Codebase QnA 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/scale_sweatlas_qna。
SWE Atlas v1.0: Codebase QnA:常见问题
- SWE Atlas v1.0: Codebase QnA 衡量的是什么?
- 模型必须回答关于某个真实代码库如何运作的问题,需要在多个文件之间浏览和阅读。分数以完成任务的百分比表示,越高越好。
- SWE Atlas v1.0: Codebase QnA 的最高分是多少?
- 截至 2026年11月16日,SWE Atlas v1.0: Codebase QnA 的最高分为 63.2%,由 Claude Opus 5 取得(结果日期 2026年8月4日),领先于 Claude Fable 5.1(60.0%)。分数来自 Scale AI SEAL,每天重新读取。
- 哪个 AI 模型在 SWE Atlas v1.0: Codebase QnA 上领先?
- 截至 2026年11月16日,SWE Atlas v1.0: Codebase QnA 排名第一的是 Claude Opus 5,分数为 63.2%(结果日期 2026年8月4日)。其后为 Claude Fable 5.1(60.0%)。
- 有多少模型有 SWE Atlas v1.0: Codebase QnA 结果?
- BenchLeader 上有 22 个模型配置有 SWE Atlas v1.0: Codebase QnA 结果,全部取自 Scale AI SEAL。
- SWE Atlas v1.0: Codebase QnA 由谁运行,多久更新一次?
- SWE Atlas v1.0: Codebase QnA 由 Scale AI SEAL 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- SWE Atlas v1.0: Codebase QnA 是否计入 BenchLeader Index?
- 不计入。SWE Atlas v1.0: Codebase QnA 仅作参考展示,不计入综合分数。