BenchLeader

SimpleQA Verifiedのリーダーボード

2026年11月16日時点で、SimpleQA Verifiedの最高スコアは94.0%で、Claude Fable 5.2(Anthropic)が記録しています。次点はGemini 4 Carbonの77.7%です。公表された結果があるのは99のモデル構成です(Epoch AI Benchmarking Hub、結果の日付は2026年11月9日)。答えが1つに確定できる短い事実確認の質問(「1988年のノーベル化学賞の受賞者は?」など)で、OpenAIのSimpleQAを整理・再確認したサブセットから出題されます。SimpleQA VerifiedはBenchLeader Indexの知識スコアに反映されます。

要点(2026年11月16日時点)

  • Claude Fable 5.2がSimpleQA Verifiedの最高スコア94.0%を記録しています(Epoch AI Benchmarking Hub、2026年11月9日)。
  • SimpleQA Verifiedの2位はGemini 4 Carbonで、77.7%です(Epoch AI Benchmarking Hub、2026年11月10日)。
  • SimpleQA Verified:短い事実確認の質問。ハルシネーションなしで正しく思い出せるかを測ります。Epoch AIが実施(Epoch AI Benchmarking Hub)。
  • BenchLeaderでは99のモデル構成にSimpleQA Verifiedの公表結果があります(BenchLeader、2026年11月16日)。
  • SimpleQA VerifiedはBenchLeader Indexの知識カテゴリに反映されます(BenchLeaderの評価方法)。

短い事実確認の質問。ハルシネーションなしで正しく思い出せるかを測ります。Epoch AIが実施。

公開元
Epoch AI Benchmarking Hub
カテゴリ
知識
Indexでの重み
1.0
モデル
99
データ基準日
2026年11月16日
最新の結果
2026年11月10日

CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.

どんなテストか

答えが1つに確定できる短い事実確認の質問(「1988年のノーベル化学賞の受賞者は?」など)で、OpenAIのSimpleQAを整理・再確認したサブセットから出題されます。

採点方法

正答率です。モデルは回答を控えることもできます。Epoch AIが実行し、参照解答と照らして自動で採点しています。

注意点

測っているのは推論ではなく記憶している事実の想起で、幅広く事前学習した大型モデルが有利です。回答を控えることが多いモデルはスコアが下がりますが、ハルシネーションは少ない可能性があります。AA-Omniscienceのようなハルシネーションも考慮するテストと併せて読んでください。

99件中99件
#
1NEWClaude Fable 5.2max94.0%72.72026-11-09
2Gemini 4 Carbonhigh77.7%68.92026-11-10
3Gemini 4 Argonhigh76.0%65.32026-10-13
4GPT-6 Astramax75.6%67.32026-09-03
5GPT-6.1 Solmax73.9%66.62026-09-29
6Gemini 3.1 Prohigh73.5%60.42026-02-19
7Claude Opus 5.5max72.2%68.42026-09-22
8Claude Fable 5.1max70.8%66.72026-09-01
9Claude Fable 5xhigh70.7%–2026-06-09
10GPT-5.6 Solmax69.7%65.32026-07-09
11Gemini 3.8 Flashhigh69.7%59.42026-09-02
12Gemini 3.7 Flashhigh69.2%62.12026-08-13
13Gemini 3 Flashhigh66.8%57.42025-12-17
14Gemini 3.5 Flashhigh66.2%62.52026-05-19
15Gemini 3.6 Flashhigh66.2%61.02026-07-21
16GPT-5.5xhigh63.0%64.12026-04-23
17Kimi K3.1 Pro Togethermax62.2%60.02026-10-23
18GPT-6 Solmax60.7%62.62026-09-22
19Muse Spark 1.2xhigh60.3%61.52026-08-05
20Claude Opus 5max59.9%65.02026-07-24
21Muse Spark 1.157.8%62.22026-07-09
22GPT-6.1 Terramax57.3%64.12026-10-26
23Muse Spark Open 816B A42Bxhigh56.6%58.12026-10-15
24Grok 4.7xhigh56.0%57.42026-09-21
25Qwen3.7max55.8%60.02026-05-19
26Claude Opus 4.8max53.0%61.12026-05-28
27DeepSeek V4 Promax52.9%54.72026-08-13
28Qwen3.6 Maxmax52.0%62.12026-04-20
29Claude Opus 4.7xhigh51.7%57.02026-04-16
30Kimi K3max50.6%60.22026-07-16
31GPT-5high50.1%58.22025-08-07
32o3high49.4%55.12025-04-16
33Grok 4.6high49.3%60.62026-08-12
34Grok 4.6xhigh48.9%56.12026-08-12
35Qwen3 Maxmax48.8%54.22025-09-24
36Grok 4.5high48.3%56.82026-07-08
37GPT-5.1high48.0%57.52025-11-13
38Qwen3.8 Maxxhigh47.3%56.62026-09-01
39Claude Opus 4.6max47.0%57.02026-02-05
40Claude Sonnet 5.5max46.5%64.22026-09-28
41GPT-5.4 Proxhigh46.3%59.52026-03-05
42Claude Opus 4.545.7%57.12025-11-24
43GPT-5.4xhigh45.1%63.12026-03-05
44Doubao Seed 2.1 Pro 260628high44.7%–2026-06-23
45Qwen3.6 Plus44.1%59.02026-03-31
46GPT-5.6 Terramax43.2%59.52026-07-09
47DeepSeek V4.1 Flashmax42.9%58.52026-09-09
48DeepSeek V4.1 Flash 1017max42.5%57.72026-10-17
49Doubao Seed Evolvinghigh41.9%–2026-11-02
50GPT-6 Lunamax41.4%55.12026-09-22
51o1high41.1%49.52024-12-17
52GLM 5.3max41.0%58.82026-08-14
53GPT-5.6 Lunamax41.0%56.22026-07-09
54Qwen3 235B A22B 2507thinking40.4%51.82025-07-25
55Inklingxhigh40.3%50.02026-07-15
56Doubao Seed 2.0 Pro 260215high39.4%–2026-02-14
57GPT-5.2xhigh37.1%59.92025-12-11
58Kimi K2.7 Code36.5%53.92026-06-12
59Claude Sonnet 4.6high35.5%50.32026-02-17
60Kimi K2.634.9%55.12026-04-20

知識のベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SimpleQA Verifiedのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/simpleqa_verified

SimpleQA Verified:よくある質問

SimpleQA Verifiedは何を測るベンチマークですか?
答えが1つに確定できる短い事実確認の質問(「1988年のノーベル化学賞の受賞者は?」など)で、OpenAIのSimpleQAを整理・再確認したサブセットから出題されます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SimpleQA Verifiedの最高スコアは?
2026年11月16日時点で、SimpleQA Verifiedの最高スコアは94.0%で、Claude Fable 5.2が記録しています(結果の日付は2026年11月9日)。次点はGemini 4 Carbonの77.7%です。スコアはEpoch AI Benchmarking Hubの公表値で、毎日読み直しています。
SimpleQA VerifiedでトップのAIモデルは?
2026年11月16日時点で、SimpleQA Verifiedの首位はClaude Fable 5.2で、スコアは94.0%です(結果の日付は2026年11月9日)。続いてGemini 4 Carbon(77.7%)です。
SimpleQA Verifiedの結果があるモデルはいくつですか?
BenchLeaderでは99のモデル構成にSimpleQA Verifiedの結果があり、すべてEpoch AI Benchmarking Hubから取得しています。
SimpleQA Verifiedを運営しているのは誰で、どのくらいの頻度で更新されますか?
SimpleQA VerifiedはEpoch AI Benchmarking Hubが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SimpleQA VerifiedはBenchLeader Indexに含まれますか?
はい。SimpleQA VerifiedはBenchLeader Indexの知識カテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。