AI 与大模型基准测试(2026年11月):每项基准测试、当前领先者以及可信程度
AI 基准测试用答案明确的固定任务来衡量模型表现,例如修复真实的 GitHub issue(SWE-bench Verified)、回答研究生水平的科学题(GPQA Diamond)或在匿名人类投票中胜出(Arena),并给出可在模型之间比较的分数。截至 2026年11月16日,BenchLeader 收录了来自 48 家发布方的 285 项基准测试。目前最有参考价值的现役基准测试是 HLE-Diamond 和 CritPt v2 hard subset(推理)、Arena WebDev 和 LiveCodeBench(编程)、τ³-Banking(智能体)、Arena Maths(数学)、MMMU-Pro(多模态)和 Arena Text(人类偏好);MMLU、MATH Level 5 和 ARC (AI2 Challenge) 已退役或已饱和。
最近更新 · 每日重建
- 基准测试
- 285
- 发布方
- 48
- 覆盖模型
- 731
- 最近更新
- 2026年11月16日
跳转到: 推理 · 编程 · 智能体与工具调用 · 数学 · 知识 · 指令遵循 · 人类偏好(竞技场) · 多模态 · 长上下文 · 安全与诚实 · 综合指标
分类排行榜: AI 智能体基准测试 · AI 编程基准测试 · 推理与数学基准测试 · 多模态 AI 基准测试 · 本周排行榜动态
2026 年最重要的基准测试
每个类别中最有参考价值的现役排行榜:它计入 BenchLeader Index、覆盖大量模型,并且尚未饱和。
| 基准测试 | 类别 | 衡量内容 | 当前领先者 | 状态 |
|---|---|---|---|---|
| HLE-Diamond (AA) | 推理 | 精简后的 1,000 题版 HLE(推理 500 题、知识 500 题),用于 Intelligence Index v5。由 Artificial Analysis 运行。 | Claude Fable 5.2 (max) 80.2% | 现役 |
| CritPt v2 hard subset (AA) | 推理 | CritPt v2 中不公开的 40 道难题子集,可使用代码执行工具,用于 Intelligence Index v5。由 Artificial Analysis 运行。 | Claude Fable 5.2 (max) 76.5% | 现役 |
| Arena WebDev | 编程 | 对生成的网页应用进行两两投票。 | Claude Fable 5.2 (xhigh) 1838 | 由评审打分 |
| LiveCodeBench | 编程 | 在模型训练截止之后发布的编程竞赛题。由 Vals AI 运行。 | Claude Fable 5.1 (max) 90.5% | 接近饱和 |
| τ³-Banking (AA) | 智能体与工具调用 | Artificial Analysis 运行的 τ²-Bench 银行领域测试:客服智能体使用工具应对模拟客户。 | Qwen3.8 Max (max) 51.3% | 依赖测试框架 |
| Arena Maths | 数学 | 文本竞技场在数学提示词上的评分。 | Gemini 4 Argon (high) 1536 | 由评审打分 |
| AA-Omniscience v1.1 | 知识 | 对幻觉扣分的知识回忆:答对数减去自信答错数,分值范围 −100 到 100。由 Artificial Analysis 运行。 | Claude Fable 5.2 (max) 66.8 | 现役 |
| IFBench | 指令遵循 | 针对陌生约束的精确指令遵循。由 Artificial Analysis 运行。 | Grok 4.3 (medium) 83.3% | 接近饱和 |
| Arena Text | 人类偏好(竞技场) | 文本竞技场总评分(已做风格控制)。 | Gemini 4 Carbon (high) 1526 | 由评审打分 |
| MMMU-Pro | 多模态 | 大学水平的多模态理解。由 Artificial Analysis 运行。 | Gemini 4 Carbon (medium) 89.3% | 接近饱和 |
| AA-LCR v1.1 | 长上下文 | 跨越约 10 万 token 文档集合的长上下文推理。已从 Intelligence Index v5 中移除,但仍在发布。由 Artificial Analysis 运行。 | Kimi K3 (max) 88.7% | 接近饱和 |
| LiveBench 2.0 | 综合指标 | LiveBench 2.0 当前版本七个测试套件分数的加权平均,采用 LiveBench 自己的权重(Long Agentic 2 倍,Coding 和 Design 1.5 倍,其余 1 倍)。 | Claude Fable 5.2 (xhigh) 84.9% | 接近饱和 |
推理基准测试:HLE-Diamond (AA)、CritPt v2 hard subset (AA) 和 SimpleBench
推理基准测试提出仅靠记忆无法回答的问题:研究生水平的科学题(GPQA Diamond,198 题)、专家为难倒搜索引擎而编写的问题(Humanity's Last Exam,约 2,500 题)、抽象网格谜题(ARC-AGI),以及人类觉得简单的陷阱题(SimpleBench)。
适用于:研究助理、分析,以及任何推理链出错代价高昂的工作。
注意: MMLU 已经饱和,无法再区分前沿模型:请改用 MMLU-Pro、GPQA Diamond 或 Humanity's Last Exam。
HLE-Diamond (AA) 当前领先:Claude Fable 5.2 (max),80.2%。
AI 推理与数学基准测试排行榜:每个排行榜、领先者,以及在该类别领先的模型 →
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| HLE-Diamond (AA) | 精简后的 1,000 题版 HLE(推理 500 题、知识 500 题),用于 Intelligence Index v5。由 Artificial Analysis 运行。 | Claude Fable 5.2 (max) 80.2% | 169 | 现役 |
| CritPt v2 hard subset (AA) | CritPt v2 中不公开的 40 道难题子集,可使用代码执行工具,用于 Intelligence Index v5。由 Artificial Analysis 运行。 | Claude Fable 5.2 (max) 76.5% | 135 | 现役 |
| SimpleBench | 人类正确率约 84% 的陷阱题:考察时空推理和社交智能。 | Claude Fable 5.2 94.9% | 111 | 接近饱和 |
| Humanity's Last Exam | 覆盖 100 多个学科、由专家编写的 2,500 道题(Scale AI / CAIS)。 | GPT-6 Astra 54.8% | 48 | 现役 |
| Arena Hard Prompts | 文本竞技场在被判定为高难度的提示词上的评分。 | Gemini 4 Carbon (high) 1547 | 384 | 由评审打分 |
另有 33 项推理基准测试
- Humanity's Last Exam (AA)
- CritPt
- GPQA Diamond (AA)
- Arena Expert
- GPQA Diamond
- ARC-AGI-1
- ARC-AGI-2
- DTBench
- LMCA
- Chess Puzzles
- Mystery Game Puzzles
- Kagi LLM Benchmark
- GPQA Diamond (Vals)
- ForecastBench
- ARC-AGI-3
- ARC (AI2 Challenge)
- WinoGrande
- GPQA Diamond (HELM)
- HellaSwag
- LiveBench 1.0 Reasoning
- PIQA
- BIG-Bench Hard
- LiveBench 2.0 Reasoning
- MysteryMechanism
- CL-bench
- HLE-Diamond (Scale)
- CL-bench Life
- SciPredict
- BTF-3
- ANLI
- SuperGLUE
- CommonsenseQA 2
- EnigmaEval
编程基准测试:Arena WebDev、LiveCodeBench 和 FrontierCode 2.0 (AA)
编程基准测试涵盖多种形式:在模型训练截止之后发布的竞赛题(LiveCodeBench);端到端修复真实 GitHub issue、并由仓库自身测试验证(SWE-bench Verified,500 个 issue;SWE-Bench Pro 使用私有仓库);以及通过真实编程智能体完成的代码修改(Aider Polyglot,225 道练习)。
适用于:为代码生成、代码审查和自主编程智能体挑选模型。
注意: HumanEval 已经饱和;在 SWE-bench 上,测试框架(harness)和脚手架对分数的影响与模型本身一样大,因此只应在相同条件下比较(BenchLeader 单独列出 bash-only 框架的结果)。
Arena WebDev 当前领先:Claude Fable 5.2 (xhigh),1838。
AI 编程基准测试排行榜:每个排行榜、领先者,以及在该类别领先的模型 →
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| Arena WebDev | 对生成的网页应用进行两两投票。 | Claude Fable 5.2 (xhigh) 1838 | 150 | 由评审打分 |
| LiveCodeBench | 在模型训练截止之后发布的编程竞赛题。由 Vals AI 运行。 | Claude Fable 5.1 (max) 90.5% | 140 | 接近饱和 |
| FrontierCode 2.0 (AA) | Cognition 的 FrontierCode 2.0:来自真实开源仓库的 132 个任务,按维护者是否会合并该修改来评分。用于 Intelligence Index v5。由 Artificial Analysis 运行。 | Claude Fable 5.2 (high) 49.1% | 133 | 现役 |
| SWE-bench Verified (bash only) | 使用极简 bash-only mini-SWE-agent 框架得到的 SWE-bench Verified 官方结果。 | Claude Opus 4.5 (high) 76.8% | 46 | 依赖测试框架 |
| SWE-Bench Pro | 公开仓库中的长周期软件工程任务。Scale AI。 | Muse Spark 1.1 61.5% | 25 | 依赖测试框架 |
另有 48 项编程基准测试
- Arena Coding
- LiveCodeBench (AA)
- Terminal-Bench 4.0 (AA)
- SciCode (AA)
- Terminal-Bench 2.1 (AA)
- SciCode
- GameBench 2 by reasoning setting
- Design Arena Website
- WeirdML
- ALE-Bench
- Vibe Code Bench v1.1
- CursorBench
- SWE-bench (Vals)
- FrontierCode 1.1 (AA)
- Code Migration
- DeepSWE v1.1
- LiveBench 1.0 Coding
- ProgramBench
- SWE-bench Verified (any scaffold)
- Aider Polyglot
- GameBench 2 Overall
- FrontierCode
- IOI
- MirrorCode
- GSO-Bench
- LiveBench 2.0 Coding
- SWE-bench Verified (Epoch)
- Code Migration v1.1
- Startrise Frontend
- Surface Evolver Bench
- SWE Atlas v1.1
- SWE Atlas v1.1: Codebase QnA
- SWE Atlas v1.1: Refactoring
- SWE Atlas v1.1: Test Writing
- Vibe Code Bench 1-100
- WeirdML v3
- FrontierSWE
- SWE Atlas v1.0: Codebase QnA
- SWE Atlas v1.0: Test Writing
- SWE-bench Multimodal
- AlgoTune
- SWE-Bench Pro V2
- SWE-Bench Pro V2 HARD
- SWE Atlas v1.0: Refactoring
- CadEval
- SWE-Bench Pro (private)
- SWE-bench Multilingual (bash only)
- Vibe Code Bench 1-100 v1.1
智能体与工具调用基准测试:τ³-Banking (AA)、Terminal-Bench 和 BFCL Overall
智能体基准测试把模型放进一个环境里,再对结果打分:命令行(Terminal-Bench)、带工具且用户不配合的客服对话(τ²-bench)、函数调用(BFCL)、Model Context Protocol(MCP Atlas),或真实的桌面环境(OSWorld)。
适用于:调用工具的产品、自动化,以及较长的多步骤任务。
注意: 测试框架的影响很大:同一个模型换一套脚手架、提示词或工具,分数就可能相差 10–20 个百分点,因此不同框架下的分数不可比较。
τ³-Banking (AA) 当前领先:Qwen3.8 Max (max),51.3%。
AI 智能体基准测试排行榜:每个排行榜、领先者,以及在该类别领先的模型 →
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| τ³-Banking (AA) | Artificial Analysis 运行的 τ²-Bench 银行领域测试:客服智能体使用工具应对模拟客户。 | Qwen3.8 Max (max) 51.3% | 208 | 依赖测试框架 |
| Terminal-Bench | 命令行智能体任务;每个模型取各框架中的最佳结果。 | GPT-5.5 84.7% | 109 | 依赖测试框架 |
| BFCL Overall | Berkeley Function Calling Leaderboard 的总体准确率。 | Claude Opus 4.5 77.5% | 83 | 依赖测试框架 |
| MCP Atlas | 通过 Model Context Protocol 进行的真实场景工具调用。Scale AI。 | Gemini 4 Argon 90.7% | 37 | 接近饱和 |
| τ²-bench | 航空、零售和电信领域 pass^1 的平均值。 | Qwen3.5 397B A17B (thinking) 87.9% | 8 | 依赖测试框架 |
另有 64 项智能体与工具调用基准测试
- τ²-Bench Telecom (AA)
- Terminal-Bench Hard
- GDPval-AA v2.1
- AutomationBench
- GDP.pdf (AA)
- AA-Briefcase v1.1
- GDPval-AA v2.1, normalised score
- Terminal-Bench-Science 0.1 (AA)
- Legal Research Bench
- Tax Agent Bench
- Design Arena Agentic
- Finance Agent v2
- Harvey's Legal Agent Benchmark v1
- Terminal-Bench 2.1 (Vals)
- Vending-Bench 2
- LiveBench Agentic Coding
- APEX-Agents
- Terminal-Bench 2.0 (Vals)
- Terminal-Bench 4.0 (Vals)
- Arena Agent
- Arena Agent Task Completion
- Analyst Agent (AA)
- EnterpriseOps-Gym
- CyberBench
- ITBench SRE (AA)
- Terminal-Bench Science
- Arena Search
- BrowseComp
- METR Time Horizons
- DeepResearch Bench
- Finance Agent v2.1
- BALROG
- Harvey's Legal Agent Benchmark v1.1
- SREBench
- HiL-Bench
- LiveBench Browser
- LiveBench Long Agentic
- SkillsBench
- APEX-Agents (AA)
- Harvey LAB-AA v1.1
- DeepSec-Bench (AA)
- τ³-bench Banking
- CWE-Bench (AA)
- CyberGym end-to-end (AA)
- FACTS Search
- GBAEval
- BrowseComp-Plus
- Cybench
- GDPx
- MKA (AA)
- PostTrainBench
- Remote Labor Index
- Poker Agent
- OSWorld-Verified 2.0
- TheAgentCompany
- Time Horizon Index: KSP
- DeepSearchQA
- GDPval
- CUA-bench
- ExploitBench
- SpireClimb
- Robo-bench
- Web Search Index
- RoboDojo (LLM as robot policy)
数学基准测试:Arena Maths、Omni-MATH (HELM) 和 MathArena Apex
数学基准测试从竞赛题(AIME、HMMT、IMO,由 MathArena 在题目发布当天、在任何人来得及拿来训练之前评分),到未公开的研究级问题(FrontierMath),再到完整书写的证明(ProofBench)。
适用于:定量分析、科研工作,以及检验多步骤推导的精确性。
注意: GSM8K 和 MATH 已经饱和;较早的 AIME 题目是公开的,存在数据污染风险:请优先参考 FrontierMath 和 MathArena 上每场新比赛的结果。
Arena Maths 当前领先:Gemini 4 Argon (high),1536。
AI 推理与数学基准测试排行榜:每个排行榜、领先者,以及在该类别领先的模型 →
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| Arena Maths | 文本竞技场在数学提示词上的评分。 | Gemini 4 Argon (high) 1536 | 369 | 由评审打分 |
| Omni-MATH (HELM) | 奥赛级数学题。由 Stanford CRFM 的 HELM 运行。 | GPT-5 mini 72.2% | 68 | 现役 |
| MathArena Apex | 近期各项竞赛中最难的题目。MathArena。 | Claude Opus 4.8 (max) 81.3% | 47 | 现役 |
| IMO 2025 | 2025 年国际数学奥林匹克,按证明评分。MathArena。 | GPT-5 (high) 38.1% | 6 | 现役 |
| FrontierMath Erdős | 68 problems posed or studied by Paul Erdős, all open when the set was… | GPT-6.1 Sol (max) 4.4% | 15 | 现役 |
知识基准测试:AA-Omniscience v1.1、SimpleQA Verified 和 LegalBench
知识基准测试考察模型知道什么,以及它是否承认自己不知道:覆盖面广的多项选择(MMLU-Pro,十个选项)、简短的事实问答(SimpleQA Verified)、对幻觉扣分的知识回忆(AA-Omniscience),以及法律、税务、金融和医疗等专业领域。
适用于:问答、领域助手,以及任何“自信地答错”是主要风险的场景。
注意: 静态的多项选择题集会随时间泄漏进训练数据;对错误答案扣分的排行榜(AA-Omniscience、SimpleQA Verified)比单纯的准确率更有参考价值。
AA-Omniscience v1.1 当前领先:Claude Fable 5.2 (max),66.8。
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| AA-Omniscience v1.1 | 对幻觉扣分的知识回忆:答对数减去自信答错数,分值范围 −100 到 100。由 Artificial Analysis 运行。 | Claude Fable 5.2 (max) 66.8 | 142 | 现役 |
| SimpleQA Verified | 简短的事实问答;衡量在不产生幻觉的前提下能否正确回忆。由 Epoch AI 运行。 | Claude Fable 5.2 (max) 94.0% | 99 | 接近饱和 |
| LegalBench | 由律师编写的法律推理任务。由 Vals AI 运行。 | Claude Fable 5 (max) 88.6% | 147 | 接近饱和 |
| TaxEval | 经专业人士核对的美国税务问题。由 Vals AI 运行。 | Muse Spark 1.2 (xhigh) 80.4% | 140 | 现役 |
| CorpFin | 基于真实公司财务文件的问题。由 Vals AI 运行。 | Claude Opus 5 73.2% | 128 | 现役 |
另有 32 项知识基准测试
- AA-Omniscience v1.1: accuracy
- AA-Omniscience v1.1: non-hallucination
- MMLU-Pro
- MMLU
- Global-MMLU-Lite (AA)
- MedScribe
- MedCode
- MedQA
- Excel Modeling Benchmark
- LiveBench 1.0 Data Analysis
- MMLU-Pro (HELM)
- GDP.pdf
- CaseLaw v2
- Public Benefits Bench v1.1
- PRBench Legal
- MultiNRC
- PRBench Finance
- Excel Modeling Benchmark v1.1
- OpenBookQA
- TriviaQA
- LiveBench 2.0 Data Analysis
- LiveBench Research
- BioMysteryBench
- EBR-bench
- Financial Coaching Bench
- FACTS Parametric
- Immigration Bench
- LAMBADA
- Access to Justice Benchmark
- DrugDiscoveryBench
- HealthBench Professional (AA)
- ClaimBench
指令遵循基准测试:IFBench、MultiChallenge 和 WildBench (HELM)
指令遵循基准测试检查模型是否严格按要求执行:可验证的格式与长度约束(IFBench、IFEval)、考察是否记得先前指令的多轮对话(MultiChallenge),以及按检查清单评判的开放式任务(WildBench)。
适用于:结构化输出、需要解析模型输出的流水线,以及有严格规则的助手。
注意: 约束检查器可靠但覆盖面窄;由评审模型打分的排行榜能衡量更多,但也继承了评审模型自身的偏好。
IFBench 当前领先:Grok 4.3 (medium),83.3%。
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| IFBench | 针对陌生约束的精确指令遵循。由 Artificial Analysis 运行。 | Grok 4.3 (medium) 83.3% | 428 | 接近饱和 |
| MultiChallenge | 在贴近真实对话约束下的多轮指令遵循。Scale AI。 | GPT-6.1 Sol 82.0% | 45 | 现役 |
| WildBench (HELM) | 真实用户任务,由按评分细则打分的评审模型评判。由 Stanford CRFM 的 HELM 运行。 | Qwen3 235B A22B 2507 86.6% | 68 | 接近饱和 |
| TutorBench | 高中及 AP 课程的辅导任务。Scale AI。 | Muse Spark 68.5% | 27 | 由评审打分 |
| Arena Instruction Following | 文本竞技场在含明确指令的提示词上的评分。 | Gemini 4 Argon (high) 1528 | 384 | 由评审打分 |
人类偏好(竞技场)基准测试:Arena Text、EQ-Bench 4 和 Arena Creative Writing
竞技场向真实用户展示两个匿名回答,让其选出更好的一个;大量投票汇总成评分。这是唯一能大规模衡量人们偏好的方法,但人们更喜欢的回答并不一定是正确的回答。
适用于:聊天产品、写作,以及任何以“读起来如何”来评判的场景。
注意: 排名靠前的评分置信区间相互重叠,相邻名次往往实际上是并列;此外,除非使用风格控制,投票者会偏爱更长、排版更好的回答(风格偏差)。
Arena Text 当前领先:Gemini 4 Carbon (high),1526。
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| Arena Text | 文本竞技场总评分(已做风格控制)。 | Gemini 4 Carbon (high) 1526 | 384 | 由评审打分 |
| EQ-Bench 4 | 多轮角色扮演中的情商,两两评判后汇总为类似 Elo 的评分。 | Claude Opus 5 1365 | 32 | 由评审打分 |
| Arena Creative Writing | 文本竞技场在创意写作提示词上的评分。 | Gemini 4 Argon (high) 1523 | 382 | 由评审打分 |
| Arena Multi-turn | 文本竞技场在多轮对话上的评分。 | Gemini 4 Carbon (high) 1564 | 382 | 由评审打分 |
| Arena Longer Queries | 文本竞技场在长提示词上的评分。 | Gemini 4 Argon (high) 1544 | 363 | 由评审打分 |
另有 2 项人类偏好(竞技场)基准测试
多模态基准测试:MMMU-Pro、Arena Vision 和 VISTA
多模态基准测试把图像、图表、文档、视频或音频与问题结合:大学水平的视觉推理(MMMU-Pro)、空间与视觉谜题、视频理解(Video-MME),以及针对图像提示词的竞技场投票。
适用于:文档与图表理解、截图、视觉功能和音频。
注意: 原版 MMMU 的很多题目仅凭文字就能答出;MMMU-Pro 去掉了这类题目并把选项增加到十个,因此应优先参考它。
MMMU-Pro 当前领先:Gemini 4 Carbon (medium),89.3%。
多模态 AI 基准测试排行榜:每个排行榜、领先者,以及在该类别领先的模型 →
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| MMMU-Pro | 大学水平的多模态理解。由 Artificial Analysis 运行。 | Gemini 4 Carbon (medium) 89.3% | 296 | 接近饱和 |
| Arena Vision | 对图像理解提示词进行两两投票。 | Claude Fable 5 (high) 1326 | 160 | 由评审打分 |
| VISTA | 视觉语言理解。Scale AI。 | Gemini 2.5 Pro 54.6% | 57 | 现役 |
| MortgageTax | 读取税务证明图片并提取其中的数字。由 Vals AI 运行。 | Claude Opus 5 72.1% | 94 | 现役 |
| MMMU-Pro (Vals) | Vals AI's own run of MMMU-Pro. Run by Vals AI. | Claude Fable 5.1 (max) 90.6% | 91 | 接近饱和 |
长上下文基准测试:AA-LCR v1.1、Fiction.LiveBench 120k 和 MLCR
长上下文基准测试检验模型能否在数万乃至数十万 token 的内容上依然正确推理,这一点从宣传的上下文窗口大小是看不出来的:AA-LCR 针对长文档集合提问,Fiction.LiveBench 追踪长篇故事中的情节细节。
适用于:以检索为主的助手、合同与代码库分析,以及长对话。
注意: 大海捞针式测试已经饱和(找出一句插入的句子如今很容易);需要综合上下文各处事实的多跳问题才是真正的考验。
AA-LCR v1.1 当前领先:Kimi K3 (max),88.7%。
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| AA-LCR v1.1 | 跨越约 10 万 token 文档集合的长上下文推理。已从 Intelligence Index v5 中移除,但仍在发布。由 Artificial Analysis 运行。 | Kimi K3 (max) 88.7% | 572 | 接近饱和 |
| Fiction.LiveBench 120k | 12 万 token 长度的小说长上下文理解。 | o3 (medium) 100.0% | 36 | 接近饱和 |
| MLCR | 医学长上下文推理:基于冗长的病历回答临床问题,综合评估准确性、完整性和简洁性。 | Claude Fable 5.2 (max) 43.9% | 181 | 现役 |
| Arena Document | 对关于上传文档的回答进行两两投票。 | Claude Fable 5 (high) 1500 | 46 | 由评审打分 |
| FACTS Grounding | Long-form answers written from a supplied document and nothing else: every claim has to… | GPT-6.1 Terra 84.2% | 26 | 现役 |
安全与诚实基准测试:FORTRESS、DistressBench 和 PropensityBench
安全与诚实基准测试衡量模型能否拒绝真正有害的请求而不过度拒绝(FORTRESS),在被施压说谎时是否仍说出自己的真实判断(MASK),以及在具备手段时能否避免危险行为(PropensityBench)。
适用于:部署风险评估,以及受监管或面向用户的产品。
注意: 这些基准测试都不计入 BenchLeader Index;结果很大程度上取决于系统提示词和提供商的安全层,因此应视为参考,而非保证。
FORTRESS 当前领先:Claude Opus 5.5 (max),5.8%。
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| FORTRESS | 面对对抗性有害请求时的平均风险分:回答中可直接用于作恶的有害内容有多少,越低越好。Scale AI。 | Claude Opus 5.5 (max) 5.8% | 83 | 现役 |
| DistressBench | Quality of crisis support in 718 clinician-written conversations about suicide, self-harm and acute distress… | Muse Spark 1.2 88.4% | 43 | 接近饱和 |
| PropensityBench | 智能体在压力下选用有害工具的场景比例,越低越好。Scale AI。 | o3 10.5% | 14 | 现役 |
| MASK | 在被施压说谎时,模型是否仍说出自己的真实判断。Scale AI。 | Claude Opus 4.6 (无推理) 96.3% | 65 | 已饱和 |
综合指标基准测试:LiveBench 2.0、AA Intelligence Index v4.3.2 和 AA Progress Index v1
综合指标把多项基准测试合成一个数字:Artificial Analysis 的 Intelligence Index、Epoch 的 Capabilities Index、LiveBench,以及 HELM 和 Vals 的汇总。BenchLeader Index 也是其中之一,由上述所有类别构成。
适用于:先列出候选名单,再查看与你的任务相关的类别。
注意: 每个指标对基准测试的加权不同,因此前几名的排序并不一致;综合指标的好坏取决于它所平均的各个排行榜。
LiveBench 2.0 当前领先:Claude Fable 5.2 (xhigh),84.9%。
| 基准测试 | 衡量内容 | 领先者 | 模型 | 注意事项 |
|---|---|---|---|---|
| LiveBench 2.0 | LiveBench 2.0 当前版本七个测试套件分数的加权平均,采用 LiveBench 自己的权重(Long Agentic 2 倍,Coding 和 Design 1.5 倍,其余 1 倍)。 | Claude Fable 5.2 (xhigh) 84.9% | 34 | 接近饱和 |
| AA Intelligence Index v4.3.2 | Artificial Analysis 基于自家评测(GPQA、HLE、IFBench、LCR、τ²-Bench、Terminal-Bench Hard、SciCode、AA-Omniscience 等)的综合分数,冻结在 v4.3.2 最后公布的分数(2026年10月27日)。取而代之的 v5.0 构成不同,两者不可比较。 | Claude Opus 5.5 (max) 57.6 | 643 | 现役 |
| AA Progress Index v1 | Artificial Analysis 的长期 IRT 能力量表(约 200–350),跨多项评测拟合,即使单项测试饱和,分数也能保持可比。用于观察趋势,不计入 BenchLeader Index。 | Claude Fable 5.2 (max) 358 | 641 | 现役 |
| Epoch Capabilities Index | Epoch AI 跨多项基准测试拟合出的综合能力分数。仅供参考,不计入 BenchLeader Index。 | Claude Fable 5.2 173.4 | 234 | 现役 |
| AA Intelligence Index v5.0.1 | Artificial Analysis 在 Knowledge Work、Coding、Science 和 General 四个方面(各占 25%)的综合分数,包括 AA-Briefcase、AutomationBench-AA、GDP.pdf、FrontierCode 2.0、Terminal-Bench 4.0、Terminal-Bench-Science、CritPt v2 难题子集、AA-Omniscience v1.1 和 HLE-Diamond。 | Claude Fable 5.2 (max) 64.6 | 129 | 现役 |
已饱和或已退役的基准测试,以及替代选择
已饱和:第五名模型的得分达到 90% 或以上,前几名之间的差距只是噪声。已退役:一年没有新结果。两者都由数据判定,并随分数变化。 饱和统计 →
BenchLeader 如何确定领先者
BenchLeader 自身不运行任何评测。它每天读取 48 家基准测试发布方公布的结果,把它们对同一模型使用的不同名称对应起来,并按每个模型实际运行过的每一档推理强度分别记录。一项基准测试的领先者,是在该排行榜上公布分数最高的模型配置,并标出其推理强度。没有经第三方评测方复现的发布文章数据不予采用。 285 项基准测试中有 78 项计入 BenchLeader Index:每个分数都相对同一排行榜上的其他模型进行标准化(均值 50,标准差 15),再按基准测试页面所示的权重在类别内平均(部分排行榜按一半计入);结果较少的模型会向平均值收缩,直到有更多证据为止。完整方法见方法说明页面。
按场景划分的最佳大模型
基准测试是证据,这些则是结论。每份列表都基于上面的排行榜,为一种用途给模型排名(截至 2026年11月)。
搜索全部基准测试
按名称、发布方或主题筛选全部 285 个排行榜,并查看各自的领先者、模型数量和 Index 权重。
其他指标
- AA Openness Index: 衡量模型实际开放程度:权重、许可、训练细节和可复现性。它衡量的是开放性而非能力,因此从不计入质量 Index。
下载数据
基准测试目录提供 JSON 或 CSV 格式,Index 前 100 名模型提供 JSON 或 CSV 格式。新文章和每日摘要见 Atom 订阅源。 基准测试目录不受 BenchLeader 的 CC BY 4.0 许可约束,该许可仅适用于其计算得出的排行榜数据。目录描述的是由他人运行和发布的基准测试,其中每个领先者和分数都是基准测试发布方的数据:它们仍受各发布方自身条款约束(逐行注明出处),BenchLeader 不授予任何许可。详见 https://www.benchleader.com/terms#benchmark-catalogue。
大模型基准测试:常见问题
- 什么是大模型基准测试?
- 大模型基准测试是固定的测试,用明确的任务给语言模型打分,例如回答研究生水平的科学题、修复真实的 GitHub issue 或遵循格式规则,从而让不同模型在同样的题目上进行比较。BenchLeader 收录了来自 48 家发布方的 285 项基准测试,自身不运行任何评测:每个分数都来自公布它的评测方,并链接回原始结果。
- AI 基准测试衡量的是什么?
- AI 基准测试用答案明确的固定任务来衡量模型表现,例如修复真实的 GitHub issue(SWE-bench Verified)、回答研究生水平的科学题(GPQA Diamond)或在匿名人类投票中胜出(Arena),并给出可在模型之间比较的分数。截至 2026年11月16日,BenchLeader 收录了来自 48 家发布方的 285 项基准测试。目前最有参考价值的现役基准测试是 HLE-Diamond 和 CritPt v2 hard subset(推理)、Arena WebDev 和 LiveCodeBench(编程)、τ³-Banking(智能体)、Arena Maths(数学)、MMMU-Pro(多模态)和 Arena Text(人类偏好);MMLU、MATH Level 5 和 ARC (AI2 Challenge) 已退役或已饱和。
- 哪个基准测试最适合评估编程能力?
- 就编程而言,目前最有参考价值的排行榜是 Arena WebDev(领先者:Claude Fable 5.2 (xhigh),1838)和 LiveCodeBench(领先者:Claude Fable 5.1 (max),90.5%)。基于真实仓库的基准测试(例如 SWE-bench Verified 和 SWE-Bench Pro)最接近日常的工程工作,但分数取决于智能体所用的测试框架,因此应比较在同一脚手架下得到的结果。
- 大模型排行榜可靠吗?应该相信哪一个?
- 单个排行榜只反映一家发布方的任务、测试框架和设置,因此靠前的排名经常互相矛盾。请信任那些公开方法、亲自重跑模型、报告不确定性并注明所用推理强度的排行榜。BenchLeader 把所有第三方排行榜并排列出,不采用厂商自报的发布数据,并在其 Index 上标出区间,让你看清各榜在哪些地方一致、哪些领先其实只是噪声。
- 大模型基准测试分数多久更新一次?
- BenchLeader 每 6 小时刷新一次所有基准测试,每次都会重新读取各发布方的最新结果。各发布方按自己的节奏更新:截至 2026年11月16日,285 个排行榜中有 155 个在过去 30 天内发布了新结果。每个基准测试页面都标出了每个分数的日期。
- 2026 年最重要的大模型基准测试有哪些?
- 从能否继续区分前沿模型、覆盖模型数量多少来看,目前最有用的排行榜是 HLE-Diamond、CritPt v2 hard subset、Arena WebDev、LiveCodeBench、τ³-Banking、Arena Maths、AA-Omniscience v1.1、IFBench、Arena Text、MMMU-Pro、AA-LCR v1.1 和 LiveBench 2.0,它们都计入 BenchLeader Index。MMLU、MATH Level 5 和 ARC (AI2 Challenge) 等较早的测试已经无法区分最好的模型。
- 目前在基准测试上表现最好的大模型是哪个?
- 截至 2026年11月16日,Claude Fable 5.2 (max) 以 72.7 分位居 BenchLeader Index 榜首,其次是 Gemini 4 Carbon (high)(68.9)。该 Index 综合了推理、编程、智能体、数学、知识等方面的 78 项基准测试;一两分的差距在其不确定性范围之内,因此相邻名次几乎可视为并列。
- 基准测试“饱和”是什么意思?
- 当最好的模型都接近满分、彼此之间的差异只剩噪声时,这项基准测试就饱和了。对于按百分比计分的排行榜,BenchLeader 在第五名模型达到 90% 或以上时将其标为“饱和”,一年没有新结果发布时标为“退役”。目前有 34 个排行榜已饱和、24 个已退役;上表列出了应改用的基准测试。
- 什么是基准测试污染?如何识别?
- 污染是指测试题目或答案进入了模型的训练数据,于是高分反映的是记忆而非能力。警示信号包括:模型在较早的公开测试上远好于同类的新测试,或在其训练截止日期之前发布的题目上突然大幅提升。持续更换题目(MathArena、LiveCodeBench)或不公开题目(FrontierMath、SWE-Bench Pro)的排行榜要难污染得多。
- 大模型基准测试和大模型评估有什么区别?
- 基准测试是固定、公开、任何人都能比较分数的测试。评估则是判断某个模型是否适合你的用途这一更广泛的工作:既包括基准测试,也包括你自己的提示词和数据、人工审核、成本与延迟限制以及安全检查。基准测试最适合用来列出候选名单,最终从入围者中选择则要靠你自己的评估。
- 最难的 AI 基准测试是哪个?
- 按目前的最高分看,计入 Index 的排行榜中最难的是 OSWorld-Verified 2.0(最高 31.4%)、Remote Labor Index(最高 41.3%)和 DeepSec-Bench(最高 48.1%)。Humanity's Last Exam、FrontierMath 和 ARC-AGI 都是为多年无法被攻克而设计的,但领先分数变化很快,所以这个答案每天都会根据数据重新计算。