BenchLeader

MMLU-Pro (HELM)のリーダーボード

2026年11月16日時点で、MMLU-Pro (HELM)の最高スコアは90.3%で、Gemini 3 Pro(Google)が記録しています。次点はClaude Opus 4の87.5%です。公表された結果があるのは68のモデル構成です(HELM Capabilities、結果の日付は2025年11月24日)。MMLU-ProはMMLUを難しくした後継版です。14科目にわたる約12,000問で、各問題に選択肢が10個あり、推論を多く要する問題が増えています。元のMMLUにあった簡単すぎる問題やノイズの多い問題は取り除かれています。MMLU-Pro (HELM)は参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Gemini 3 ProがMMLU-Pro (HELM)の最高スコア90.3%を記録しています(HELM Capabilities、2025年11月24日)。
  • MMLU-Pro (HELM)の2位はClaude Opus 4で、87.5%です(HELM Capabilities、2025年11月24日)。
  • MMLU-Pro (HELM):Stanford CRFMが独自に実行したMMLU-Pro。参考として掲載。Indexに使うのはVals AIの実行結果です(HELM Capabilities)。
  • BenchLeaderでは68のモデル構成にMMLU-Pro (HELM)の公表結果があります(BenchLeader、2026年11月16日)。
  • MMLU-Pro (HELM)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

Stanford CRFMが独自に実行したMMLU-Pro。参考として掲載。Indexに使うのはVals AIの実行結果です。

公開元
HELM Capabilities
カテゴリ
知識
Indexでの重み
参考のみ
モデル
68
データ基準日
2026年11月16日

Stanford Center for Research on Foundation Models (crfm.stanford.edu), Apache-2.0 results.

どんなテストか

MMLU-ProはMMLUを難しくした後継版です。14科目にわたる約12,000問で、各問題に選択肢が10個あり、推論を多く要する問題が増えています。元のMMLUにあった簡単すぎる問題やノイズの多い問題は取り除かれています。

採点方法

Chain-of-Thoughtプロンプトを使った正答率です。

注意点

Stanford CRFMがHELMの固定ハーネスで独自に実行したMMLU-Proです。参考として表示しており、Indexに反映しているのはVals AIの実行結果です。MMLU-Proのボードもあわせてご覧ください。

68件中68件
#
1Gemini 3 Pro90.3%60.02025-11-24
2Claude Opus 4thinking87.5%55.72025-11-24
3Claude Sonnet 4.586.9%53.82025-11-24
4GPT-586.3%56.62025-11-24
5Gemini 2.5 Pro86.3%55.22025-11-24
6o385.9%60.42025-11-24
7Claude Opus 485.9%51.92025-11-24
8Grok 485.1%58.12025-11-24
9Qwen3 235B A22B 250784.4%50.72025-11-24
10Claude Sonnet 4thinking84.3%53.82025-11-24
11Claude Sonnet 484.3%50.02025-11-24
12GPT-5 mini83.5%56.62025-11-24
13o4-mini82.0%55.22025-11-24
14Kimi K281.9%51.12025-11-24
15Qwen3 235B A22B81.7%50.12025-11-24
16GPT-4.181.1%48.72025-11-24
17Llama 4 Maverick81.0%41.82025-11-24
18Palmyra X580.4%–2025-11-24
19Grok 3 mini79.9%52.02025-11-24
20gpt-oss-120b79.5%46.12025-11-24
21DeepSeek R1 052879.3%49.12025-11-24
22Grok 378.8%50.92025-11-24
23Qwen3-Next 80B A3Bthinking78.6%52.22025-11-24
24Claude 3.7 Sonnet78.4%49.22025-11-24
25GPT-4.1 mini78.3%44.72025-11-24
26GPT-5 nano77.8%56.22025-11-24
27Claude Haiku 4.577.7%47.72025-11-24
28Claude 3.5 Sonnet77.7%46.82025-11-24
29GLM-4.5-Air76.2%46.72025-11-24
30Llama 4 Scout74.2%38.22025-11-24
31gpt-oss-20b74.0%44.52025-11-24
32Gemini 2.0 Flash73.7%43.52025-11-24
33Gemini 1.5 Pro 00273.7%41.42025-11-24
34Nova Premier72.6%45.12025-11-24
35DeepSeek V372.3%44.32025-11-24
36Llama 3.1 405B72.3%41.82025-11-24
37Gemini 2.0 Flash-Lite72.0%48.02025-11-24
38GPT-4o71.3%42.82025-11-24
39Gemini 1.5 Flash 00267.8%38.22025-11-24
40Nova Pro67.3%40.52025-11-24
41Palmyra X 00465.7%–2025-11-24
42Llama 3.1 70B65.3%40.72025-11-24
43Gemini 2.5 Flash63.9%52.42025-11-24
44Qwen2.5 72B63.1%43.12025-11-24
45Mistral Small 3.161.0%38.42025-11-24
46Claude 3.5 Haiku60.5%38.72025-11-24
47GPT-4o mini60.3%35.22025-11-24
48Nova Lite60.0%38.22025-11-24
49Mistral Large 2.159.9%42.52025-11-24
50Palmyra Fin59.1%–2025-11-24
51GPT-5.157.9%56.12025-11-24
52Granite 4.0 Small56.9%–2025-11-24
53GPT-4.1 nano55.0%36.92025-11-24
54Qwen2.5 7B Instruct53.9%39.82025-11-24
55Gemini 2.5 Flash-Lite53.7%48.32025-11-24
56Nova Micro51.1%39.22025-11-24
57Mixtral 8x22B Instruct46.0%37.42025-11-24
58Olmo 2 32B March 202541.4%–2025-11-24
59Palmyra Med41.1%–2025-11-24
60Llama 3.1 8B40.6%33.02025-11-24

知識のベンチマークをもっと見る · LLMベンチマーク一覧

MMLU-Pro (HELM)での注目のモデル比較

引用表記:BenchLeader「MMLU-Pro (HELM)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/helm_mmlu_pro

MMLU-Pro (HELM):よくある質問

MMLU-Pro (HELM)は何を測るベンチマークですか?
MMLU-ProはMMLUを難しくした後継版です。14科目にわたる約12,000問で、各問題に選択肢が10個あり、推論を多く要する問題が増えています。元のMMLUにあった簡単すぎる問題やノイズの多い問題は取り除かれています。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
MMLU-Pro (HELM)の最高スコアは?
2026年11月16日時点で、MMLU-Pro (HELM)の最高スコアは90.3%で、Gemini 3 Proが記録しています(結果の日付は2025年11月24日)。次点はClaude Opus 4の87.5%です。スコアはHELM Capabilitiesの公表値で、毎日読み直しています。
MMLU-Pro (HELM)でトップのAIモデルは?
2026年11月16日時点で、MMLU-Pro (HELM)の首位はGemini 3 Proで、スコアは90.3%です(結果の日付は2025年11月24日)。続いてClaude Opus 4(87.5%)です。
MMLU-Pro (HELM)の結果があるモデルはいくつですか?
BenchLeaderでは68のモデル構成にMMLU-Pro (HELM)の結果があり、すべてHELM Capabilitiesから取得しています。
MMLU-Pro (HELM)を運営しているのは誰で、どのくらいの頻度で更新されますか?
MMLU-Pro (HELM)はHELM Capabilitiesが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
MMLU-Pro (HELM)はBenchLeader Indexに含まれますか?
いいえ。MMLU-Pro (HELM)は参考として掲載していますが、総合スコアには含めていません。