BIG-Bench Hardのリーダーボード
2026年11月16日時点で、BIG-Bench Hardの最高スコアは89.2%で、Gemini 1.5 Pro 001(Google)が記録しています。次点はDeepSeek V3の87.5%です。公表された結果があるのは43のモデル構成です(Epoch AI Benchmarking Hub、結果の日付は2024年5月14日)。BIG-Benchから選んだ23の難しいタスクです。BIG-Bench Hardは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Gemini 1.5 Pro 001がBIG-Bench Hardの最高スコア89.2%を記録しています(Epoch AI Benchmarking Hub、2024年5月14日)。
- BIG-Bench Hardの2位はDeepSeek V3で、87.5%です(Epoch AI Benchmarking Hub、2024年12月26日)。
- BIG-Bench Hard:BIG-Benchから選んだ23の難しいタスク。2022年のベンチマークで、現在のモデルでは飽和しており、記録として残しています(Epoch AI Benchmarking Hub)。
- BenchLeaderでは43のモデル構成にBIG-Bench Hardの公表結果があります(BenchLeader、2026年11月16日)。
- BIG-Bench HardはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
BIG-Benchから選んだ23の難しいタスク。2022年のベンチマークで、現在のモデルでは飽和しており、記録として残しています。
- カテゴリ
- 推論
- Indexでの重み
- 参考のみ
- モデル
- 43
- データ基準日
- 2026年11月16日
CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.
どんなテストか
BIG-Benchから選んだ23の難しいタスクです。
採点方法
正答率で、公表された結果をEpoch AIがまとめたものです。
注意点
飽和しています。最先端のモデルは上限近くに達しているため、差がつくのは古いモデルや小型モデルだけで、結果の大半はプロバイダー自身の報告によるものです。
- 1Gemini 1.5 Pro 00189.2%
- 2DeepSeek V387.5%
- 3Gemini 1.5 Pro 001 Feb2484.0%
- 4Llama 3.1 405B82.9%
- 5Phi 3 (medium)81.4%
- 6Qwen2.5 72B79.8%
- 7Phi 3 Small79.1%
- 8Deepseek v278.8%
- 9GPT 4 061375.1%
- 10Phi 3 Mini71.7%
- 11Yi-34B71.7%
- 12Stable Beluga 269.3%
- 13Llama 2-70B64.9%
- 14GPT-3.5 Turbo (older v0613)61.6%
- 15Phi-259.4%
43件中43件
| # | ||||
|---|---|---|---|---|
| 1 | 89.2% | – | 2024-05-14 | |
| 2 | 87.5% | 44.3 | 2024-12-26 | |
| 3 | 84.0% | – | 2024-02-15 | |
| 4 | 82.9% | 41.8 | 2024-07-23 | |
| 5 | 81.4% | 37.8 | 2024-04-23 | |
| 6 | 79.8% | 43.1 | 2024-09-19 | |
| 7 | 79.1% | – | 2024-04-23 | |
| 8 | 78.8% | – | 2024-05-07 | |
| 9 | 75.1% | 39.5 | 2023-06-13 | |
| 10 | 71.7% | 36.7 | 2024-04-23 | |
| 11 | 71.7% | 34.7 | 2023-11-22 | |
| 12 | 69.3% | – | 2023-07-20 | |
| 13 | 64.9% | 33.4 | 2023-07-18 | |
| 14 | 61.6% | – | 2023-06-13 | |
| 15 | 59.4% | – | 2023-12-12 | |
| 16 | 58.7% | – | 2024-02-26 | |
| 17 | 58.4% | – | 2023-02-24 | |
| 18 | 58.2% | – | 2023-07-18 | |
| 19 | 56.1% | 28.9 | 2023-09-27 | |
| 20 | 55.1% | – | 2024-02-21 | |
| 21 | 55.0% | – | 2023-09-24 | |
| 22 | 52.5% | – | 2023-09-18 | |
| 23 | 50.0% | – | 2023-02-24 | |
| 24 | 49.0% | – | 2023-09-06 | |
| 25 | 47.2% | – | 2023-11-22 | |
| 26 | 45.0% | – | 2023-09-28 | |
| 27 | 44.1% | – | 2023-07-18 | |
| 28 | 43.0% | – | 2023-04-12 | |
| 29 | 43.0% | – | 2023-07-11 | |
| 30 | 41.6% | – | 2023-09-20 | |
| 31 | 39.2% | – | 2023-07-18 | |
| 32 | 38.0% | – | 2023-06-22 | |
| 33 | 37.9% | – | 2023-02-24 | |
| 34 | 37.1% | – | 2023-03-15 | |
| 35 | 37.0% | – | 2023-07-05 | |
| 36 | 35.6% | – | 2023-05-05 | |
| 37 | 35.2% | – | 2024-02-21 | |
| 38 | 34.9% | – | 2024-11-29 | |
| 39 | 33.7% | – | 2023-06-24 | |
| 40 | 33.5% | – | 2023-02-24 | |
| 41 | 32.5% | – | 2023-06-01 | |
| 42 | 28.8% | – | 2023-04-24 | |
| 43 | 28.2% | – | 2023-11-30 |
関連するベンチマーク
引用表記:BenchLeader「BIG-Bench Hardのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/bbh
BIG-Bench Hard:よくある質問
- BIG-Bench Hardは何を測るベンチマークですか?
- BIG-Benchから選んだ23の難しいタスクです。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- BIG-Bench Hardの最高スコアは?
- 2026年11月16日時点で、BIG-Bench Hardの最高スコアは89.2%で、Gemini 1.5 Pro 001が記録しています(結果の日付は2024年5月14日)。次点はDeepSeek V3の87.5%です。スコアはEpoch AI Benchmarking Hubの公表値で、毎日読み直しています。
- BIG-Bench HardでトップのAIモデルは?
- 2026年11月16日時点で、BIG-Bench Hardの首位はGemini 1.5 Pro 001で、スコアは89.2%です(結果の日付は2024年5月14日)。続いてDeepSeek V3(87.5%)です。
- BIG-Bench Hardの結果があるモデルはいくつですか?
- BenchLeaderでは43のモデル構成にBIG-Bench Hardの結果があり、すべてEpoch AI Benchmarking Hubから取得しています。
- BIG-Bench Hardを運営しているのは誰で、どのくらいの頻度で更新されますか?
- BIG-Bench HardはEpoch AI Benchmarking Hubが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- BIG-Bench HardはBenchLeader Indexに含まれますか?
- いいえ。BIG-Bench Hardは参考として掲載していますが、総合スコアには含めていません。