OpenBookQAのリーダーボード
2026年11月16日時点で、OpenBookQAの最高スコアは88.0%で、Phi 3 MiniとPhi 3 Smallが並んでいます。次点はPhi 3の87.4%です。公表された結果があるのは41のモデル構成です(Epoch AI Benchmarking Hub、結果の日付は2024年4月23日)。事実をまとめた資料(オープンブック)を参照できる、初等レベルの理科の問題です。OpenBookQAは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Phi 3 MiniとPhi 3 SmallがOpenBookQAの最高スコア88.0%で並んでいます(Epoch AI Benchmarking Hub、2026年11月16日)。
- OpenBookQA:事実をまとめた「教科書」を参照できる初等理科の問題。2018年のベンチマークで、現在のモデルでは飽和しており、記録として残しています(Epoch AI Benchmarking Hub)。
- BenchLeaderでは41のモデル構成にOpenBookQAの公表結果があります(BenchLeader、2026年11月16日)。
- OpenBookQAはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
事実をまとめた「教科書」を参照できる初等理科の問題。2018年のベンチマークで、現在のモデルでは飽和しており、記録として残しています。
- カテゴリ
- 知識
- Indexでの重み
- 参考のみ
- モデル
- 41
- データ基準日
- 2026年11月16日
CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.
どんなテストか
事実をまとめた資料(オープンブック)を参照できる、初等レベルの理科の問題です。
採点方法
正答率で、公表された結果をEpoch AIがまとめたものです。
注意点
飽和しています。最先端のモデルは上限近くに達しているため、差がつくのは古いモデルや小型モデルだけで、結果の大半はプロバイダー自身の報告によるものです。
- 1Phi 3 Mini88.0%
- 2Phi 3 Small88.0%
- 3Phi 3 (medium)87.4%
- 4GPT 3.5 Turbo 110686.0%
- 5Mixtral 8x7B85.8%
- 6Llama 3-8B82.6%
- 7Mistral 7B v0.379.8%
- 8Gemma 7B78.6%
- 9Phi-273.6%
- 10PaLM 540B68.0%
- 11InstructGPT 175B65.4%
- 12Falcon-180B64.2%
- 13Llama 2-70B60.2%
- 14LLaMA-65B60.2%
- 15Llama 2-7B58.6%
41件中41件
| # | ||||
|---|---|---|---|---|
| 1 | 88.0% | 36.7 | 2024-04-23 | |
| 2 | 88.0% | – | 2024-04-23 | |
| 3 | 87.4% | 37.8 | 2024-04-23 | |
| 4 | 86.0% | 38.4 | 2023-11-06 | |
| 5 | 85.8% | 30.8 | 2023-12-11 | |
| 6 | 82.6% | 34.8 | 2024-04-18 | |
| 7 | 79.8% | 28.9 | 2023-09-27 | |
| 8 | 78.6% | – | 2024-02-21 | |
| 9 | 73.6% | – | 2023-12-12 | |
| 10 | 68.0% | – | 2022-04-04 | |
| 11 | 65.4% | – | 2022-01-27 | |
| 12 | 64.2% | – | 2023-09-06 | |
| 13 | 60.2% | 33.4 | 2023-07-18 | |
| 14 | 60.2% | – | 2023-02-24 | |
| 15 | 58.6% | – | 2023-07-18 | |
| 16 | 58.6% | – | 2023-02-24 | |
| 17 | 58.2% | – | 2023-07-18 | |
| 18 | 57.4% | – | 2023-05-17 | |
| 19 | 57.2% | – | 2023-02-24 | |
| 20 | 57.0% | – | 2023-07-18 | |
| 21 | 56.6% | – | 2023-03-15 | |
| 22 | 56.4% | – | 2023-02-24 | |
| 23 | 56.2% | – | 2023-05-17 | |
| 24 | 52.0% | – | 2023-06-22 | |
| 25 | 51.6% | – | 2023-04-24 | |
| 26 | 51.4% | – | 2023-05-05 | |
| 27 | 50.4% | – | 2022-04-04 | |
| 28 | 40.2% | – | 2023-06-27 | |
| 29 | 40.0% | – | 2023-05-04 | |
| 30 | 39.8% | – | 2022-05-11 | |
| 31 | 39.2% | – | 2023-04-11 | |
| 32 | open_llama_7b | 39.0% | – | 2023-06-07 |
| 33 | 38.8% | – | 2022-04-07 | |
| 34 | 38.2% | – | 2021-08-05 | |
| 35 | 37.2% | – | 2023-09-11 | |
| 36 | 35.8% | – | 2023-03-20 | |
| 37 | 33.0% | – | 2023-04-12 | |
| 38 | 32.4% | – | 2023-04-19 | |
| 39 | 24.0% | – | 2022-05-11 | |
| 40 | 23.2% | – | 2021-03-30 | |
| 41 | 22.4% | – | 2019-11-05 |
引用表記:BenchLeader「OpenBookQAのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/openbookqa
OpenBookQA:よくある質問
- OpenBookQAは何を測るベンチマークですか?
- 事実をまとめた資料(オープンブック)を参照できる、初等レベルの理科の問題です。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- OpenBookQAの最高スコアは?
- 2026年11月16日時点で、OpenBookQAの最高スコアは88.0%で、Phi 3 MiniとPhi 3 Smallが並んでいます。次点はPhi 3の87.4%です。スコアはEpoch AI Benchmarking Hubの公表値で、毎日読み直しています。
- OpenBookQAでトップのAIモデルは?
- 2026年11月16日時点で、Phi 3 MiniとPhi 3 Smallが88.0%でOpenBookQAの首位に並んでいます。
- OpenBookQAの結果があるモデルはいくつですか?
- BenchLeaderでは41のモデル構成にOpenBookQAの結果があり、すべてEpoch AI Benchmarking Hubから取得しています。
- OpenBookQAを運営しているのは誰で、どのくらいの頻度で更新されますか?
- OpenBookQAはEpoch AI Benchmarking Hubが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- OpenBookQAはBenchLeader Indexに含まれますか?
- いいえ。OpenBookQAは参考として掲載していますが、総合スコアには含めていません。