BenchLeader

MMMU (validation)のリーダーボード

2026年11月16日時点で、MMMU (validation)の最高スコアは68.3%で、Claude 3.5 Sonnet(Anthropic)が記録しています。次点はGemini 1.5 Proの65.8%です。公表された結果があるのは3のモデル構成です(MMMU、結果の日付は2024年6月20日)。MMMUは大学レベルのマルチモーダル試験で、6つの大分野と30の科目にわたり、図表、グラフ、写真、表を含む約900問の検証用問題があります。MMMU (validation)はBenchLeader Indexのマルチモーダルスコアに反映されます。

要点(2026年11月16日時点)

  • Claude 3.5 SonnetがMMMU (validation)の最高スコア68.3%を記録しています(MMMU、2024年6月20日)。
  • MMMU (validation)の2位はGemini 1.5 Proで、65.8%です(MMMU、2024年8月1日)。
  • MMMU (validation):MMMUの検証セットの公式リーダーボード(MMMU)。
  • BenchLeaderでは3のモデル構成にMMMU (validation)の公表結果があります(BenchLeader、2026年11月16日)。
  • MMMU (validation)はBenchLeader Indexのマルチモーダルカテゴリに反映されます(BenchLeaderの評価方法)。

MMMUの検証セットの公式リーダーボード。

公開元
MMMU
カテゴリ
マルチモーダル
Indexでの重み
0.5
モデル
3
データ基準日
2026年11月16日

MMMU (Yue et al.).

どんなテストか

MMMUは大学レベルのマルチモーダル試験で、6つの大分野と30の科目にわたり、図表、グラフ、写真、表を含む約900問の検証用問題があります。

採点方法

検証セットでの正答率で、公式リーダーボードに報告された値です。

注意点

結果はモデルのプロバイダーが提出したもので、プロバイダー自身の実行とプロンプトを反映しています。テキストだけで答えられる問題も一部あります。

上位15
  1. 1Claude 3.5 Sonnet68.3%
  2. 2Gemini 1.5 Pro65.8%
  3. 3Qwen2-VL-72B64.5%
3件中3件
#
1Claude 3.5 Sonnet68.3%46.82024-06-20
2Gemini 1.5 Pro65.8%47.02024-08-01
3Qwen2-VL-72B64.5%–2024-08-29

マルチモーダルのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「MMMU (validation)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/mmmu_val

MMMU (validation):よくある質問

MMMU (validation)は何を測るベンチマークですか?
MMMUは大学レベルのマルチモーダル試験で、6つの大分野と30の科目にわたり、図表、グラフ、写真、表を含む約900問の検証用問題があります。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
MMMU (validation)の最高スコアは?
2026年11月16日時点で、MMMU (validation)の最高スコアは68.3%で、Claude 3.5 Sonnetが記録しています(結果の日付は2024年6月20日)。次点はGemini 1.5 Proの65.8%です。スコアはMMMUの公表値で、毎日読み直しています。
MMMU (validation)でトップのAIモデルは?
2026年11月16日時点で、MMMU (validation)の首位はClaude 3.5 Sonnetで、スコアは68.3%です(結果の日付は2024年6月20日)。続いてGemini 1.5 Pro(65.8%)です。
MMMU (validation)の結果があるモデルはいくつですか?
BenchLeaderでは3のモデル構成にMMMU (validation)の結果があり、すべてMMMUから取得しています。
MMMU (validation)を運営しているのは誰で、どのくらいの頻度で更新されますか?
MMMU (validation)はMMMUが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
MMMU (validation)はBenchLeader Indexに含まれますか?
はい。MMMU (validation)はBenchLeader Indexのマルチモーダルカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。