BenchLeader

Omni-MATH (HELM)のリーダーボード

別の検索名:MathHELM, Omni-MATH · HELM Capabilities

2026年11月16日時点で、Omni-MATH (HELM)(別名MathHELM)の最高スコアは72.2%で、GPT-5 mini(OpenAI)が記録しています。次点はo4-miniの72.0%です。公表された結果があるのは68のモデル構成です(HELM Capabilities、結果の日付は2025年11月24日)。Omni-MATHは、多くの分野と難易度にわたるオリンピックレベルの数学問題のセットで、答えは参照解答と照合して確認されます。Omni-MATH (HELM)はBenchLeader Indexの数学スコアに反映されます。

要点(2026年11月16日時点)

  • GPT-5 miniがOmni-MATH (HELM)の最高スコア72.2%を記録しています(HELM Capabilities、2025年11月24日)。
  • Omni-MATH (HELM)の2位はo4-miniで、72.0%です(HELM Capabilities、2025年11月24日)。
  • Omni-MATH (HELM):オリンピック級の数学の問題。Stanford CRFMのHELMが実施(HELM Capabilities)。
  • BenchLeaderでは68のモデル構成にOmni-MATH (HELM)の公表結果があります(BenchLeader、2026年11月16日)。
  • Omni-MATH (HELM)はBenchLeader Indexの数学カテゴリに反映されます(BenchLeaderの評価方法)。

オリンピック級の数学の問題。Stanford CRFMのHELMが実施。

公開元
HELM Capabilities
カテゴリ
数学
Indexでの重み
1.0
モデル
68
データ基準日
2026年11月16日

Stanford Center for Research on Foundation Models (crfm.stanford.edu), Apache-2.0 results.

どんなテストか

Omni-MATHは、多くの分野と難易度にわたるオリンピックレベルの数学問題のセットで、答えは参照解答と照合して確認されます。

採点方法

正答率で、Stanford CRFMのHELMがすべてのモデルを同じプロンプトで実行しています。

注意点

オリンピック問題の答え合わせは完璧ではありません。また、HELMは掲載上の注記がない限り長い推論の予算なしでモデルを実行するため、スコアは各ラボがテスト時の計算量を大きくして報告する値を下回ります。

68件中68件
#
1GPT-5 mini72.2%56.62025-11-24
2o4-mini72.0%55.22025-11-24
3Qwen3 235B A22B 250771.8%50.72025-11-24
4o371.4%60.42025-11-24
5gpt-oss-120b68.8%46.12025-11-24
6Kimi K265.4%51.12025-11-24
7GPT-564.7%56.62025-11-24
8Claude Opus 4thinking61.6%55.72025-11-24
9Grok 460.3%58.12025-11-24
10Claude Sonnet 4thinking60.2%53.82025-11-24
11gpt-oss-20b56.5%44.52025-11-24
12Claude Haiku 4.556.1%47.72025-11-24
13Gemini 3 Pro55.6%60.02025-11-24
14Claude Sonnet 4.555.3%53.82025-11-24
15Qwen3 235B A22B54.8%50.12025-11-24
16GPT-5 nano54.7%56.22025-11-24
17Claude Sonnet 451.3%50.02025-11-24
18Claude Opus 451.1%51.92025-11-24
19GPT-4.1 mini49.1%44.72025-11-24
20Gemini 2.5 Flash-Lite48.0%48.32025-11-24
21GPT-4.147.1%48.72025-11-24
22Qwen3-Next 80B A3Bthinking46.7%52.22025-11-24
23GPT-5.146.4%56.12025-11-24
24Grok 346.4%50.92025-11-24
25Gemini 2.0 Flash45.9%43.52025-11-24
26DeepSeek R1 052842.4%49.12025-11-24
27Llama 4 Maverick42.2%41.82025-11-24
28Gemini 2.5 Pro41.6%55.22025-11-24
29Palmyra X541.5%–2025-11-24
30DeepSeek V340.3%44.32025-11-24
31GLM-4.5-Air39.1%46.72025-11-24
32Gemini 2.5 Flash38.4%52.42025-11-24
33Gemini 2.0 Flash-Lite37.4%48.02025-11-24
34Llama 4 Scout37.3%38.22025-11-24
35GPT-4.1 nano36.7%36.92025-11-24
36Gemini 1.5 Pro 00236.4%41.42025-11-24
37Nova Premier35.0%45.12025-11-24
38Claude 3.7 Sonnet33.0%49.22025-11-24
39Qwen2.5 72B33.0%43.12025-11-24
40Palmyra X 00432.0%–2025-11-24
41Grok 3 mini31.8%52.02025-11-24
42Gemini 1.5 Flash 00230.5%38.22025-11-24
43Granite 4.0 Small29.6%–2025-11-24
44Palmyra Fin29.5%–2025-11-24
45Qwen2.5 7B Instruct29.4%39.82025-11-24
46GPT-4o29.3%42.82025-11-24
47Mistral Large 2.128.1%42.52025-11-24
48GPT-4o mini28.0%35.22025-11-24
49Claude 3.5 Sonnet27.6%46.82025-11-24
50Llama 3.1 405B24.9%41.82025-11-24
51Mistral Small 3.124.8%38.42025-11-24
52Nova Pro24.2%40.52025-11-24
53Nova Lite23.3%38.22025-11-24
54Claude 3.5 Haiku22.4%38.72025-11-24
55Nova Micro21.4%39.22025-11-24
56Llama 3.1 70B21.0%40.72025-11-24
57granite-4.0-micro20.9%36.22025-11-24
58Granite 3.3 8B17.6%–2025-11-24
59Mixtral 8x22B Instruct16.3%37.42025-11-24
60Olmo 2 32B March 202516.1%–2025-11-24

数学のベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「Omni-MATH (HELM)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/helm_omni_math

Omni-MATH (HELM):よくある質問

Omni-MATH (HELM)は何を測るベンチマークですか?
Omni-MATHは、多くの分野と難易度にわたるオリンピックレベルの数学問題のセットで、答えは参照解答と照合して確認されます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
Omni-MATH (HELM)の最高スコアは?
2026年11月16日時点で、Omni-MATH (HELM)の最高スコアは72.2%で、GPT-5 miniが記録しています(結果の日付は2025年11月24日)。次点はo4-miniの72.0%です。スコアはHELM Capabilitiesの公表値で、毎日読み直しています。
Omni-MATH (HELM)でトップのAIモデルは?
2026年11月16日時点で、Omni-MATH (HELM)の首位はGPT-5 miniで、スコアは72.2%です(結果の日付は2025年11月24日)。続いてo4-mini(72.0%)です。
Omni-MATH (HELM)の結果があるモデルはいくつですか?
BenchLeaderでは68のモデル構成にOmni-MATH (HELM)の結果があり、すべてHELM Capabilitiesから取得しています。
Omni-MATH (HELM)を運営しているのは誰で、どのくらいの頻度で更新されますか?
Omni-MATH (HELM)はHELM Capabilitiesが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
Omni-MATH (HELM)はBenchLeader Indexに含まれますか?
はい。Omni-MATH (HELM)はBenchLeader Indexの数学カテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。