MMMU-Pro (official)のリーダーボード
2026年11月16日時点で、MMMU-Pro (official)の最高スコアは51.9%で、GPT-4o(OpenAI)が記録しています。次点はClaude 3.5 Sonnetの51.5%です。公表された結果があるのは9のモデル構成です(MMMU、結果の日付は2024年5月13日)。MMMU-Proは、大学レベルのマルチモーダル試験MMMUを難しくした版です。科学、工学、医学、芸術の画像付き問題で、選択肢は10個あり、問題文自体が画像の中にある画像のみのバリエーションもあります。MMMU-Pro (official)は参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- GPT-4oがMMMU-Pro (official)の最高スコア51.9%を記録しています(MMMU、2024年5月13日)。
- MMMU-Pro (official)の2位はClaude 3.5 Sonnetで、51.5%です(MMMU、2024年6月20日)。
- MMMU-Pro (official):MMMU-Pro公式リーダーボード。参考として掲載(MMMU)。
- BenchLeaderでは9のモデル構成にMMMU-Pro (official)の公表結果があります(BenchLeader、2026年11月16日)。
- MMMU-Pro (official)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
MMMU-Pro公式リーダーボード。参考として掲載。
- 公開元
- MMMU
- カテゴリ
- マルチモーダル
- Indexでの重み
- 参考のみ
- モデル
- 9
- データ基準日
- 2026年11月16日
MMMU (Yue et al.).
どんなテストか
MMMU-Proは、大学レベルのマルチモーダル試験MMMUを難しくした版です。科学、工学、医学、芸術の画像付き問題で、選択肢は10個あり、問題文自体が画像の中にある画像のみのバリエーションもあります。
採点方法
公式リーダーボードに提出された正答率です。
注意点
MMMU-Proの公式リーダーボードで、MMMUを難しくした選択肢10個の版に、画像のみの設定を加えたものです。自己申告による実行結果で、Artificial Analysisによる第三者の実行と並べて参考として表示しています。MMMU-Proのボードもあわせてご覧ください。
- 1GPT-4o51.9%
- 2Claude 3.5 Sonnet51.5%
- 3Gemini 1.5 Pro46.9%
- 4Qwen2-VL-72B46.2%
- 5GPT-4o mini37.6%
- 6InternVL2-40B34.2%
- 7LLaVA-OneVision 72B31.0%
- 8Minicpm V 2.627.2%
- 9Phi 3.5 Vision19.7%
| # | ||||
|---|---|---|---|---|
| 1 | 51.9% | 42.8 | 2024-05-13 | |
| 2 | 51.5% | 46.8 | 2024-06-20 | |
| 3 | 46.9% | 47.0 | 2024-08-01 | |
| 4 | 46.2% | – | 2024-08-29 | |
| 5 | 37.6% | 35.2 | 2024-07-18 | |
| 6 | 34.2% | – | 2024-07-04 | |
| 7 | 31.0% | – | 2024-08-06 | |
| 8 | 27.2% | – | 2024-08-06 | |
| 9 | 19.7% | – | 2024-05-21 |
マルチモーダルのベンチマークをもっと見る · LLMベンチマーク一覧
引用表記:BenchLeader「MMMU-Pro (official)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/mmmu_pro_official
MMMU-Pro (official):よくある質問
- MMMU-Pro (official)は何を測るベンチマークですか?
- MMMU-Proは、大学レベルのマルチモーダル試験MMMUを難しくした版です。科学、工学、医学、芸術の画像付き問題で、選択肢は10個あり、問題文自体が画像の中にある画像のみのバリエーションもあります。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- MMMU-Pro (official)の最高スコアは?
- 2026年11月16日時点で、MMMU-Pro (official)の最高スコアは51.9%で、GPT-4oが記録しています(結果の日付は2024年5月13日)。次点はClaude 3.5 Sonnetの51.5%です。スコアはMMMUの公表値で、毎日読み直しています。
- MMMU-Pro (official)でトップのAIモデルは?
- 2026年11月16日時点で、MMMU-Pro (official)の首位はGPT-4oで、スコアは51.9%です(結果の日付は2024年5月13日)。続いてClaude 3.5 Sonnet(51.5%)です。
- MMMU-Pro (official)の結果があるモデルはいくつですか?
- BenchLeaderでは9のモデル構成にMMMU-Pro (official)の結果があり、すべてMMMUから取得しています。
- MMMU-Pro (official)を運営しているのは誰で、どのくらいの頻度で更新されますか?
- MMMU-Pro (official)はMMMUが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- MMMU-Pro (official)はBenchLeader Indexに含まれますか?
- いいえ。MMMU-Pro (official)は参考として掲載していますが、総合スコアには含めていません。