MMMU (validation) 排行榜
截至 2026年11月16日,MMMU (validation) 的最高分为 68.3%,由 Claude 3.5 Sonnet(Anthropic)取得,领先于 Gemini 1.5 Pro(65.8%)。共有 3 个模型配置公布了结果(MMMU,结果日期 2024年6月20日)。MMMU 是一项大学水平的多模态考试:约 900 道验证集题目,配有示意图、图表、照片和表格,涵盖六大学科门类、三十个科目。MMMU (validation) 计入 BenchLeader Index 的多模态得分。
要点(截至 2026年11月16日)
- Claude 3.5 Sonnet 以 68.3% 保持 MMMU (validation) 最高分(MMMU,2024年6月20日)。
- Gemini 1.5 Pro 以 65.8% 位列 MMMU (validation) 第二(MMMU,2024年8月1日)。
- MMMU (validation):MMMU 验证集的官方排行榜(MMMU)。
- BenchLeader 上有 3 个模型配置公布了 MMMU (validation) 结果(BenchLeader,2026年11月16日)。
- MMMU (validation) 计入 BenchLeader Index 的多模态类别(BenchLeader 方法论)。
MMMU 验证集的官方排行榜。
- 发布方
- MMMU
- 类别
- 多模态
- Index 权重
- 0.5
- 模型
- 3
- 数据截至
- 2026年11月16日
MMMU (Yue et al.).
测试内容
MMMU 是一项大学水平的多模态考试:约 900 道验证集题目,配有示意图、图表、照片和表格,涵盖六大学科门类、三十个科目。
评分方式
验证集上的准确率,以官方排行榜报告为准。
注意事项
结果由模型的提供商提交,反映的是他们自己的运行和提示词。部分题目仅凭文字就能回答。
- 1Claude 3.5 Sonnet68.3%
- 2Gemini 1.5 Pro65.8%
- 3Qwen2-VL-72B64.5%
3 / 3
| # | ||||
|---|---|---|---|---|
| 1 | 68.3% | 46.8 | 2024-06-20 | |
| 2 | 65.8% | 47.0 | 2024-08-01 | |
| 3 | 64.5% | – | 2024-08-29 |
引用格式:BenchLeader,《MMMU (validation) 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/mmmu_val。
MMMU (validation):常见问题
- MMMU (validation) 衡量的是什么?
- MMMU 是一项大学水平的多模态考试:约 900 道验证集题目,配有示意图、图表、照片和表格,涵盖六大学科门类、三十个科目。分数以完成任务的百分比表示,越高越好。
- MMMU (validation) 的最高分是多少?
- 截至 2026年11月16日,MMMU (validation) 的最高分为 68.3%,由 Claude 3.5 Sonnet 取得(结果日期 2024年6月20日),领先于 Gemini 1.5 Pro(65.8%)。分数来自 MMMU,每天重新读取。
- 哪个 AI 模型在 MMMU (validation) 上领先?
- 截至 2026年11月16日,MMMU (validation) 排名第一的是 Claude 3.5 Sonnet,分数为 68.3%(结果日期 2024年6月20日)。其后为 Gemini 1.5 Pro(65.8%)。
- 有多少模型有 MMMU (validation) 结果?
- BenchLeader 上有 3 个模型配置有 MMMU (validation) 结果,全部取自 MMMU。
- MMMU (validation) 由谁运行,多久更新一次?
- MMMU (validation) 由 MMMU 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
- MMMU (validation) 是否计入 BenchLeader Index?
- 计入。MMMU (validation) 计入 BenchLeader Index 的多模态类别,并经过归一化,使参评模型的平均值为 50。