MMLU-Pro (HELM) 排行榜
截至 2026年11月16日,MMLU-Pro (HELM) 的最高分为 90.3%,由 Gemini 3 Pro(Google)取得,领先于 Claude Opus 4(87.5%)。共有 68 个模型配置公布了结果(HELM Capabilities,结果日期 2025年11月24日)。MMLU-Pro 是 MMLU 的加难后继版本:约 12,000 道题,覆盖 14 个学科,每题十个选项,推理型题目更多,并剔除了原版中过于简单和有噪声的题目。MMLU-Pro (HELM) 仅作参考展示,不计入 BenchLeader Index。
要点(截至 2026年11月16日)
- Gemini 3 Pro 以 90.3% 保持 MMLU-Pro (HELM) 最高分(HELM Capabilities,2025年11月24日)。
- Claude Opus 4 以 87.5% 位列 MMLU-Pro (HELM) 第二(HELM Capabilities,2025年11月24日)。
- MMLU-Pro (HELM):斯坦福 CRFM 自行运行的 MMLU-Pro。仅作参考;计入 Index 的是 Vals AI 的结果(HELM Capabilities)。
- BenchLeader 上有 68 个模型配置公布了 MMLU-Pro (HELM) 结果(BenchLeader,2026年11月16日)。
- MMLU-Pro (HELM) 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。
斯坦福 CRFM 自行运行的 MMLU-Pro。仅作参考;计入 Index 的是 Vals AI 的结果。
- 类别
- 知识
- Index 权重
- 仅作参考
- 模型
- 68
- 数据截至
- 2026年11月16日
Stanford Center for Research on Foundation Models (crfm.stanford.edu), Apache-2.0 results.
测试内容
MMLU-Pro 是 MMLU 的加难后继版本:约 12,000 道题,覆盖 14 个学科,每题十个选项,推理型题目更多,并剔除了原版中过于简单和有噪声的题目。
评分方式
使用思维链提示的准确率。
注意事项
这是 Stanford CRFM 在 HELM 固定测试框架中自行运行的 MMLU-Pro。仅供参考;计入 Index 的是 Vals AI 的运行结果。另请参阅 MMLU-Pro 排行榜。
- 1Gemini 3 Pro90.3%
- 2Claude Opus 4 (thinking)87.5%
- 3Claude Sonnet 4.586.9%
- 4GPT-586.3%
- 5Gemini 2.5 Pro86.3%
- 6o385.9%
- 7Claude Opus 485.9%
- 8Grok 485.1%
- 9Qwen3 235B A22B 250784.4%
- 10Claude Sonnet 4 (thinking)84.3%
- 11Claude Sonnet 484.3%
- 12GPT-5 mini83.5%
- 13o4-mini82.0%
- 14Kimi K281.9%
- 15Qwen3 235B A22B81.7%
68 / 68
| # | ||||
|---|---|---|---|---|
| 1 | 90.3% | 60.0 | 2025-11-24 | |
| 2 | 87.5% | 55.7 | 2025-11-24 | |
| 3 | 86.9% | 53.8 | 2025-11-24 | |
| 4 | 86.3% | 56.6 | 2025-11-24 | |
| 5 | 86.3% | 55.2 | 2025-11-24 | |
| 6 | 85.9% | 60.4 | 2025-11-24 | |
| 7 | 85.9% | 51.9 | 2025-11-24 | |
| 8 | 85.1% | 58.1 | 2025-11-24 | |
| 9 | 84.4% | 50.7 | 2025-11-24 | |
| 10 | 84.3% | 53.8 | 2025-11-24 | |
| 11 | 84.3% | 50.0 | 2025-11-24 | |
| 12 | 83.5% | 56.6 | 2025-11-24 | |
| 13 | 82.0% | 55.2 | 2025-11-24 | |
| 14 | 81.9% | 51.1 | 2025-11-24 | |
| 15 | 81.7% | 50.1 | 2025-11-24 | |
| 16 | 81.1% | 48.7 | 2025-11-24 | |
| 17 | 81.0% | 41.8 | 2025-11-24 | |
| 18 | 80.4% | – | 2025-11-24 | |
| 19 | 79.9% | 52.0 | 2025-11-24 | |
| 20 | 79.5% | 46.1 | 2025-11-24 | |
| 21 | 79.3% | 49.1 | 2025-11-24 | |
| 22 | 78.8% | 50.9 | 2025-11-24 | |
| 23 | 78.6% | 52.2 | 2025-11-24 | |
| 24 | 78.4% | 49.2 | 2025-11-24 | |
| 25 | 78.3% | 44.7 | 2025-11-24 | |
| 26 | 77.8% | 56.2 | 2025-11-24 | |
| 27 | 77.7% | 47.7 | 2025-11-24 | |
| 28 | 77.7% | 46.8 | 2025-11-24 | |
| 29 | 76.2% | 46.7 | 2025-11-24 | |
| 30 | 74.2% | 38.2 | 2025-11-24 | |
| 31 | 74.0% | 44.5 | 2025-11-24 | |
| 32 | 73.7% | 43.5 | 2025-11-24 | |
| 33 | 73.7% | 41.4 | 2025-11-24 | |
| 34 | 72.6% | 45.1 | 2025-11-24 | |
| 35 | 72.3% | 44.3 | 2025-11-24 | |
| 36 | 72.3% | 41.8 | 2025-11-24 | |
| 37 | 72.0% | 48.0 | 2025-11-24 | |
| 38 | 71.3% | 42.8 | 2025-11-24 | |
| 39 | 67.8% | 38.2 | 2025-11-24 | |
| 40 | 67.3% | 40.5 | 2025-11-24 | |
| 41 | 65.7% | – | 2025-11-24 | |
| 42 | 65.3% | 40.7 | 2025-11-24 | |
| 43 | 63.9% | 52.4 | 2025-11-24 | |
| 44 | 63.1% | 43.1 | 2025-11-24 | |
| 45 | 61.0% | 38.4 | 2025-11-24 | |
| 46 | 60.5% | 38.7 | 2025-11-24 | |
| 47 | 60.3% | 35.2 | 2025-11-24 | |
| 48 | 60.0% | 38.2 | 2025-11-24 | |
| 49 | 59.9% | 42.5 | 2025-11-24 | |
| 50 | 59.1% | – | 2025-11-24 | |
| 51 | 57.9% | 56.1 | 2025-11-24 | |
| 52 | 56.9% | – | 2025-11-24 | |
| 53 | 55.0% | 36.9 | 2025-11-24 | |
| 54 | 53.9% | 39.8 | 2025-11-24 | |
| 55 | 53.7% | 48.3 | 2025-11-24 | |
| 56 | 51.1% | 39.2 | 2025-11-24 | |
| 57 | 46.0% | 37.4 | 2025-11-24 | |
| 58 | 41.4% | – | 2025-11-24 | |
| 59 | 41.1% | – | 2025-11-24 | |
| 60 | 40.6% | 33.0 | 2025-11-24 |
相关基准测试
MMLU-Pro (HELM) 上的热门模型对比
引用格式:BenchLeader,《MMLU-Pro (HELM) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/helm_mmlu_pro。
MMLU-Pro (HELM):常见问题
- MMLU-Pro (HELM) 衡量的是什么?
- MMLU-Pro 是 MMLU 的加难后继版本:约 12,000 道题,覆盖 14 个学科,每题十个选项,推理型题目更多,并剔除了原版中过于简单和有噪声的题目。分数以完成任务的百分比表示,越高越好。
- MMLU-Pro (HELM) 的最高分是多少?
- 截至 2026年11月16日,MMLU-Pro (HELM) 的最高分为 90.3%,由 Gemini 3 Pro 取得(结果日期 2025年11月24日),领先于 Claude Opus 4(87.5%)。分数来自 HELM Capabilities,每天重新读取。
- 哪个 AI 模型在 MMLU-Pro (HELM) 上领先?
- 截至 2026年11月16日,MMLU-Pro (HELM) 排名第一的是 Gemini 3 Pro,分数为 90.3%(结果日期 2025年11月24日)。其后为 Claude Opus 4(87.5%)。
- 有多少模型有 MMLU-Pro (HELM) 结果?
- BenchLeader 上有 68 个模型配置有 MMLU-Pro (HELM) 结果,全部取自 HELM Capabilities。
- MMLU-Pro (HELM) 由谁运行,多久更新一次?
- MMLU-Pro (HELM) 由 HELM Capabilities 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- MMLU-Pro (HELM) 是否计入 BenchLeader Index?
- 不计入。MMLU-Pro (HELM) 仅作参考展示,不计入综合分数。