BenchLeader

MMLU-Pro (HELM) 排行榜

截至 2026年11月16日,MMLU-Pro (HELM) 的最高分为 90.3%,由 Gemini 3 Pro(Google)取得,领先于 Claude Opus 4(87.5%)。共有 68 个模型配置公布了结果(HELM Capabilities,结果日期 2025年11月24日)。MMLU-Pro 是 MMLU 的加难后继版本:约 12,000 道题,覆盖 14 个学科,每题十个选项,推理型题目更多,并剔除了原版中过于简单和有噪声的题目。MMLU-Pro (HELM) 仅作参考展示,不计入 BenchLeader Index。

要点(截至 2026年11月16日)

  • Gemini 3 Pro 以 90.3% 保持 MMLU-Pro (HELM) 最高分(HELM Capabilities,2025年11月24日)。
  • Claude Opus 4 以 87.5% 位列 MMLU-Pro (HELM) 第二(HELM Capabilities,2025年11月24日)。
  • MMLU-Pro (HELM):斯坦福 CRFM 自行运行的 MMLU-Pro。仅作参考;计入 Index 的是 Vals AI 的结果(HELM Capabilities)。
  • BenchLeader 上有 68 个模型配置公布了 MMLU-Pro (HELM) 结果(BenchLeader,2026年11月16日)。
  • MMLU-Pro (HELM) 不计入 BenchLeader Index,仅作参考展示(BenchLeader 方法论)。

斯坦福 CRFM 自行运行的 MMLU-Pro。仅作参考;计入 Index 的是 Vals AI 的结果。

发布方
HELM Capabilities
类别
知识
Index 权重
仅作参考
模型
68
数据截至
2026年11月16日

Stanford Center for Research on Foundation Models (crfm.stanford.edu), Apache-2.0 results.

测试内容

MMLU-Pro 是 MMLU 的加难后继版本:约 12,000 道题,覆盖 14 个学科,每题十个选项,推理型题目更多,并剔除了原版中过于简单和有噪声的题目。

评分方式

使用思维链提示的准确率。

注意事项

这是 Stanford CRFM 在 HELM 固定测试框架中自行运行的 MMLU-Pro。仅供参考;计入 Index 的是 Vals AI 的运行结果。另请参阅 MMLU-Pro 排行榜。

68 / 68
#
1Gemini 3 Pro90.3%60.02025-11-24
2Claude Opus 4thinking87.5%55.72025-11-24
3Claude Sonnet 4.586.9%53.82025-11-24
4GPT-586.3%56.62025-11-24
5Gemini 2.5 Pro86.3%55.22025-11-24
6o385.9%60.42025-11-24
7Claude Opus 485.9%51.92025-11-24
8Grok 485.1%58.12025-11-24
9Qwen3 235B A22B 250784.4%50.72025-11-24
10Claude Sonnet 4thinking84.3%53.82025-11-24
11Claude Sonnet 484.3%50.02025-11-24
12GPT-5 mini83.5%56.62025-11-24
13o4-mini82.0%55.22025-11-24
14Kimi K281.9%51.12025-11-24
15Qwen3 235B A22B81.7%50.12025-11-24
16GPT-4.181.1%48.72025-11-24
17Llama 4 Maverick81.0%41.82025-11-24
18Palmyra X580.4%–2025-11-24
19Grok 3 mini79.9%52.02025-11-24
20gpt-oss-120b79.5%46.12025-11-24
21DeepSeek R1 052879.3%49.12025-11-24
22Grok 378.8%50.92025-11-24
23Qwen3-Next 80B A3Bthinking78.6%52.22025-11-24
24Claude 3.7 Sonnet78.4%49.22025-11-24
25GPT-4.1 mini78.3%44.72025-11-24
26GPT-5 nano77.8%56.22025-11-24
27Claude Haiku 4.577.7%47.72025-11-24
28Claude 3.5 Sonnet77.7%46.82025-11-24
29GLM-4.5-Air76.2%46.72025-11-24
30Llama 4 Scout74.2%38.22025-11-24
31gpt-oss-20b74.0%44.52025-11-24
32Gemini 2.0 Flash73.7%43.52025-11-24
33Gemini 1.5 Pro 00273.7%41.42025-11-24
34Nova Premier72.6%45.12025-11-24
35DeepSeek V372.3%44.32025-11-24
36Llama 3.1 405B72.3%41.82025-11-24
37Gemini 2.0 Flash-Lite72.0%48.02025-11-24
38GPT-4o71.3%42.82025-11-24
39Gemini 1.5 Flash 00267.8%38.22025-11-24
40Nova Pro67.3%40.52025-11-24
41Palmyra X 00465.7%–2025-11-24
42Llama 3.1 70B65.3%40.72025-11-24
43Gemini 2.5 Flash63.9%52.42025-11-24
44Qwen2.5 72B63.1%43.12025-11-24
45Mistral Small 3.161.0%38.42025-11-24
46Claude 3.5 Haiku60.5%38.72025-11-24
47GPT-4o mini60.3%35.22025-11-24
48Nova Lite60.0%38.22025-11-24
49Mistral Large 2.159.9%42.52025-11-24
50Palmyra Fin59.1%–2025-11-24
51GPT-5.157.9%56.12025-11-24
52Granite 4.0 Small56.9%–2025-11-24
53GPT-4.1 nano55.0%36.92025-11-24
54Qwen2.5 7B Instruct53.9%39.82025-11-24
55Gemini 2.5 Flash-Lite53.7%48.32025-11-24
56Nova Micro51.1%39.22025-11-24
57Mixtral 8x22B Instruct46.0%37.42025-11-24
58Olmo 2 32B March 202541.4%–2025-11-24
59Palmyra Med41.1%–2025-11-24
60Llama 3.1 8B40.6%33.02025-11-24

更多知识基准测试 · 全部大模型基准测试

MMLU-Pro (HELM) 上的热门模型对比

引用格式:BenchLeader,《MMLU-Pro (HELM) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/helm_mmlu_pro。

MMLU-Pro (HELM):常见问题

MMLU-Pro (HELM) 衡量的是什么?
MMLU-Pro 是 MMLU 的加难后继版本:约 12,000 道题,覆盖 14 个学科,每题十个选项,推理型题目更多,并剔除了原版中过于简单和有噪声的题目。分数以完成任务的百分比表示,越高越好。
MMLU-Pro (HELM) 的最高分是多少?
截至 2026年11月16日,MMLU-Pro (HELM) 的最高分为 90.3%,由 Gemini 3 Pro 取得(结果日期 2025年11月24日),领先于 Claude Opus 4(87.5%)。分数来自 HELM Capabilities,每天重新读取。
哪个 AI 模型在 MMLU-Pro (HELM) 上领先?
截至 2026年11月16日,MMLU-Pro (HELM) 排名第一的是 Gemini 3 Pro,分数为 90.3%(结果日期 2025年11月24日)。其后为 Claude Opus 4(87.5%)。
有多少模型有 MMLU-Pro (HELM) 结果?
BenchLeader 上有 68 个模型配置有 MMLU-Pro (HELM) 结果,全部取自 HELM Capabilities。
MMLU-Pro (HELM) 由谁运行,多久更新一次?
MMLU-Pro (HELM) 由 HELM Capabilities 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
MMLU-Pro (HELM) 是否计入 BenchLeader Index?
不计入。MMLU-Pro (HELM) 仅作参考展示,不计入综合分数。