MMMU (validation)のリーダーボード
2026年11月16日時点で、MMMU (validation)の最高スコアは68.3%で、Claude 3.5 Sonnet(Anthropic)が記録しています。次点はGemini 1.5 Proの65.8%です。公表された結果があるのは3のモデル構成です(MMMU、結果の日付は2024年6月20日)。MMMUは大学レベルのマルチモーダル試験で、6つの大分野と30の科目にわたり、図表、グラフ、写真、表を含む約900問の検証用問題があります。MMMU (validation)はBenchLeader Indexのマルチモーダルスコアに反映されます。
要点(2026年11月16日時点)
- Claude 3.5 SonnetがMMMU (validation)の最高スコア68.3%を記録しています(MMMU、2024年6月20日)。
- MMMU (validation)の2位はGemini 1.5 Proで、65.8%です(MMMU、2024年8月1日)。
- MMMU (validation):MMMUの検証セットの公式リーダーボード(MMMU)。
- BenchLeaderでは3のモデル構成にMMMU (validation)の公表結果があります(BenchLeader、2026年11月16日)。
- MMMU (validation)はBenchLeader Indexのマルチモーダルカテゴリに反映されます(BenchLeaderの評価方法)。
MMMUの検証セットの公式リーダーボード。
- 公開元
- MMMU
- カテゴリ
- マルチモーダル
- Indexでの重み
- 0.5
- モデル
- 3
- データ基準日
- 2026年11月16日
MMMU (Yue et al.).
どんなテストか
MMMUは大学レベルのマルチモーダル試験で、6つの大分野と30の科目にわたり、図表、グラフ、写真、表を含む約900問の検証用問題があります。
採点方法
検証セットでの正答率で、公式リーダーボードに報告された値です。
注意点
結果はモデルのプロバイダーが提出したもので、プロバイダー自身の実行とプロンプトを反映しています。テキストだけで答えられる問題も一部あります。
- 1Claude 3.5 Sonnet68.3%
- 2Gemini 1.5 Pro65.8%
- 3Qwen2-VL-72B64.5%
3件中3件
| # | ||||
|---|---|---|---|---|
| 1 | 68.3% | 46.8 | 2024-06-20 | |
| 2 | 65.8% | 47.0 | 2024-08-01 | |
| 3 | 64.5% | – | 2024-08-29 |
マルチモーダルのベンチマークをもっと見る · LLMベンチマーク一覧
引用表記:BenchLeader「MMMU (validation)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/mmmu_val
MMMU (validation):よくある質問
- MMMU (validation)は何を測るベンチマークですか?
- MMMUは大学レベルのマルチモーダル試験で、6つの大分野と30の科目にわたり、図表、グラフ、写真、表を含む約900問の検証用問題があります。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- MMMU (validation)の最高スコアは?
- 2026年11月16日時点で、MMMU (validation)の最高スコアは68.3%で、Claude 3.5 Sonnetが記録しています(結果の日付は2024年6月20日)。次点はGemini 1.5 Proの65.8%です。スコアはMMMUの公表値で、毎日読み直しています。
- MMMU (validation)でトップのAIモデルは?
- 2026年11月16日時点で、MMMU (validation)の首位はClaude 3.5 Sonnetで、スコアは68.3%です(結果の日付は2024年6月20日)。続いてGemini 1.5 Pro(65.8%)です。
- MMMU (validation)の結果があるモデルはいくつですか?
- BenchLeaderでは3のモデル構成にMMMU (validation)の結果があり、すべてMMMUから取得しています。
- MMMU (validation)を運営しているのは誰で、どのくらいの頻度で更新されますか?
- MMMU (validation)はMMMUが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- MMMU (validation)はBenchLeader Indexに含まれますか?
- はい。MMMU (validation)はBenchLeader Indexのマルチモーダルカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。