BenchLeader

OpenBookQAのリーダーボード

2026年11月16日時点で、OpenBookQAの最高スコアは88.0%で、Phi 3 MiniとPhi 3 Smallが並んでいます。次点はPhi 3の87.4%です。公表された結果があるのは41のモデル構成です(Epoch AI Benchmarking Hub、結果の日付は2024年4月23日)。事実をまとめた資料(オープンブック)を参照できる、初等レベルの理科の問題です。OpenBookQAは参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Phi 3 MiniとPhi 3 SmallがOpenBookQAの最高スコア88.0%で並んでいます(Epoch AI Benchmarking Hub、2026年11月16日)。
  • OpenBookQA:事実をまとめた「教科書」を参照できる初等理科の問題。2018年のベンチマークで、現在のモデルでは飽和しており、記録として残しています(Epoch AI Benchmarking Hub)。
  • BenchLeaderでは41のモデル構成にOpenBookQAの公表結果があります(BenchLeader、2026年11月16日)。
  • OpenBookQAはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

事実をまとめた「教科書」を参照できる初等理科の問題。2018年のベンチマークで、現在のモデルでは飽和しており、記録として残しています。

公開元
Epoch AI Benchmarking Hub
カテゴリ
知識
Indexでの重み
参考のみ
モデル
41
データ基準日
2026年11月16日

CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.

どんなテストか

事実をまとめた資料(オープンブック)を参照できる、初等レベルの理科の問題です。

採点方法

正答率で、公表された結果をEpoch AIがまとめたものです。

注意点

飽和しています。最先端のモデルは上限近くに達しているため、差がつくのは古いモデルや小型モデルだけで、結果の大半はプロバイダー自身の報告によるものです。

上位15
  1. 1Phi 3 Mini88.0%
  2. 2Phi 3 Small88.0%
  3. 3Phi 3 (medium)87.4%
  4. 4GPT 3.5 Turbo 110686.0%
  5. 5Mixtral 8x7B85.8%
  6. 6Llama 3-8B82.6%
  7. 7Mistral 7B v0.379.8%
  8. 8Gemma 7B78.6%
  9. 9Phi-273.6%
  10. 10PaLM 540B68.0%
  11. 11InstructGPT 175B65.4%
  12. 12Falcon-180B64.2%
  13. 13Llama 2-70B60.2%
  14. 14LLaMA-65B60.2%
  15. 15Llama 2-7B58.6%
41件中41件
#
1Phi 3 Mini88.0%36.72024-04-23
2Phi 3 Small88.0%–2024-04-23
3Phi 3medium87.4%37.82024-04-23
4GPT 3.5 Turbo 110686.0%38.42023-11-06
5Mixtral 8x7B85.8%30.82023-12-11
6Llama 3-8B82.6%34.82024-04-18
7Mistral 7B v0.379.8%28.92023-09-27
8Gemma 7B78.6%–2024-02-21
9Phi-273.6%–2023-12-12
10PaLM 540B68.0%–2022-04-04
11InstructGPT 175B65.4%–2022-01-27
12Falcon-180B64.2%–2023-09-06
13Llama 2-70B60.2%33.42023-07-18
14LLaMA-65B60.2%–2023-02-24
15Llama 2-7B58.6%–2023-07-18
16LLaMA-33B58.6%–2023-02-24
17Llama 2-34B58.2%–2023-07-18
18PaLM 2-M57.4%–2023-05-17
19LLaMA-7B57.2%–2023-02-24
20Llama 2-13B57.0%–2023-07-18
21Falcon-40B56.6%–2023-03-15
22LLaMA-13B56.4%–2023-02-24
23PaLM 2-S56.2%–2023-05-17
24MPT-30B52.0%–2023-06-22
25Falcon-7B51.6%–2023-04-24
26MPT-7B51.4%–2023-05-05
27PaLM 62B50.4%–2022-04-04
28Xgen 7B Base40.2%–2023-06-27
29RedPajama-INCITE-7B-Base40.0%–2023-05-04
30OPT-13B39.8%–2022-05-11
31Dolly v2 12B39.2%–2023-04-11
32open_llama_7b39.0%–2023-06-07
33GPT-NeoX-20B38.8%–2022-04-07
34GPT-J-6B38.2%–2021-08-05
35Phi-1.537.2%–2023-09-11
36Cerebras-GPT-13B35.8%–2023-03-20
37Vicuna 13B v1.133.0%–2023-04-12
38StableLM Tuned Alpha 7B32.4%–2023-04-19
39OPT-1.3B24.0%–2022-05-11
40GPT-Neo-2.7B23.2%–2021-03-30
41Gpt2 Xl22.4%–2019-11-05

知識のベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「OpenBookQAのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/openbookqa

OpenBookQA:よくある質問

OpenBookQAは何を測るベンチマークですか?
事実をまとめた資料(オープンブック)を参照できる、初等レベルの理科の問題です。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
OpenBookQAの最高スコアは?
2026年11月16日時点で、OpenBookQAの最高スコアは88.0%で、Phi 3 MiniとPhi 3 Smallが並んでいます。次点はPhi 3の87.4%です。スコアはEpoch AI Benchmarking Hubの公表値で、毎日読み直しています。
OpenBookQAでトップのAIモデルは?
2026年11月16日時点で、Phi 3 MiniとPhi 3 Smallが88.0%でOpenBookQAの首位に並んでいます。
OpenBookQAの結果があるモデルはいくつですか?
BenchLeaderでは41のモデル構成にOpenBookQAの結果があり、すべてEpoch AI Benchmarking Hubから取得しています。
OpenBookQAを運営しているのは誰で、どのくらいの頻度で更新されますか?
OpenBookQAはEpoch AI Benchmarking Hubが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
OpenBookQAはBenchLeader Indexに含まれますか?
いいえ。OpenBookQAは参考として掲載していますが、総合スコアには含めていません。