BenchLeader

ARC (AI2 Challenge)のリーダーボード

2026年11月16日時点で、ARC (AI2 Challenge)の最高スコアは95.3%で、DeepSeek V3とLlama 3.1 405Bが並んでいます。次点はQwen2.5 72Bの94.5%です。公表された結果があるのは77のモデル構成です(Epoch AI Benchmarking Hub、結果の日付は2024年12月26日)。小学校レベルの理科の問題(チャレンジセット)です。ARC (AI2 Challenge)は参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • DeepSeek V3とLlama 3.1 405BがARC (AI2 Challenge)の最高スコア95.3%で並んでいます(Epoch AI Benchmarking Hub、2026年11月16日)。
  • ARC (AI2 Challenge):小学校レベルの理科の問題(チャレンジセット)。2018年のベンチマークで、現在のモデルでは飽和しており、記録として残しています(Epoch AI Benchmarking Hub)。
  • BenchLeaderでは77のモデル構成にARC (AI2 Challenge)の公表結果があります(BenchLeader、2026年11月16日)。
  • ARC (AI2 Challenge)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

小学校レベルの理科の問題(チャレンジセット)。2018年のベンチマークで、現在のモデルでは飽和しており、記録として残しています。

公開元
Epoch AI Benchmarking Hub
カテゴリ
推論
Indexでの重み
参考のみ
モデル
77
データ基準日
2026年11月16日

CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.

どんなテストか

小学校レベルの理科の問題(チャレンジセット)です。

採点方法

正答率で、公表された結果をEpoch AIがまとめたものです。

注意点

飽和しています。最先端のモデルは上限近くに達しているため、差がつくのは古いモデルや小型モデルだけで、結果の大半はプロバイダー自身の報告によるものです。

上位15
  1. 1DeepSeek V395.3%
  2. 2Llama 3.1 405B95.3%
  3. 3Qwen2.5 72B94.5%
  4. 4Deepseek v292.2%
  5. 5Phi 3 (medium)91.6%
  6. 6Phi 3 Small90.7%
  7. 7GPT 3.5 Turbo 110687.4%
  8. 8Mixtral 8x7B87.3%
  9. 9Claude Instant 1.286.3%
  10. 10Stable Beluga 286.1%
  11. 11Claude Instant 1.185.7%
  12. 12PaLM 540B85.2%
  13. 13text-davinci-00285.2%
  14. 14Phi 3 Mini84.9%
  15. 15Qwen-14B84.4%
77件中77件
#
1DeepSeek V395.3%44.32024-12-26
2Llama 3.1 405B95.3%41.82024-07-23
3Qwen2.5 72B94.5%43.12024-09-19
4Deepseek v292.2%–2024-05-07
5Phi 3medium91.6%37.82024-04-23
6Phi 3 Small90.7%–2024-04-23
7GPT 3.5 Turbo 110687.4%38.42023-11-06
8Mixtral 8x7B87.3%30.82023-12-11
9Claude Instant 1.286.3%–2023-08-09
10Stable Beluga 286.1%–2023-07-20
11Claude Instant 1.185.7%––
12PaLM 540B85.2%–2022-04-04
13text-davinci-00285.2%–2022-03-15
14Phi 3 Mini84.9%36.72024-04-23
15Qwen-14B84.4%–2023-09-28
16Llama 3-8B82.8%34.82024-04-18
17InternLM 20B81.7%–2023-09-18
18Mistral 7B v0.378.6%28.92023-09-27
19Llama 2-70B78.3%33.42023-07-18
20Gemma 7B78.3%–2024-02-21
21Phi-275.9%–2023-12-12
22Qwen-7B75.3%–2023-09-28
23Qwen2.5 Coder 32B Instruct70.5%42.52024-09-18
24InternLM 7B69.5%–2023-07-05
25LLaMA-65B69.5%–2023-02-24
26PaLM 2-L69.2%–2023-05-17
27Falcon-180B67.8%–2023-09-06
28LLaMA-33B67.5%–2023-02-24
29Qwen2.5-Coder-14B66.0%–2024-09-18
30PaLM 2-M64.9%–2023-05-17
31DeepSeek-Coder-V2 236B64.3%–2024-06-17
32Falcon-40B61.9%–2023-03-15
33ChatGLM2-6B61.0%–2023-06-24
34Qwen2.5-Coder 7B Instruct60.9%–2024-09-18
35Llama 2-13B60.3%–2023-07-18
36PaLM 2-S59.6%–2023-05-17
37DeepSeek-Coder-V2-Lite-Base57.3%–2024-06-13
38Yi-9B55.6%–2024-03-01
39Nemotron-4 15B55.5%–2024-02-26
40INTELLECT-154.5%–2024-11-29
41Llama 2-34B54.5%–2023-07-18
42InstructGPT 175B53.2%–2022-01-27
43Qwen-1_8B53.2%–2023-11-30
44Qwen2.5-Coder-3B52.9%–2024-09-18
45LLaMA-13B52.7%–2023-02-24
46PaLM 62B52.5%–2022-04-04
47MPT-30B50.6%–2023-06-22
48Yi 6B50.3%–2023-11-02
49Falcon-7B47.9%–2023-04-24
50LLaMA-7B47.6%–2023-02-24
51StarCoder2-15B47.2%–2024-02-20
52Llama 2-7B45.9%–2023-07-18
53Qwen2.5 Coder 1.5B45.2%–2024-09-18
54Phi-1.544.4%–2023-09-11
55Vicuna 13B v1.143.2%–2023-04-12
56MPT-7B42.6%–2023-05-05
57Deepseek Coder 33B Base42.2%–2023-11-02
58Gemma 2B42.1%–2024-02-21
59Xgen 7B Base41.2%–2023-06-27
60GPT-NeoX-20B41.1%–2022-04-07

推論のベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「ARC (AI2 Challenge)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/arc_ai2

ARC (AI2 Challenge):よくある質問

ARC (AI2 Challenge)は何を測るベンチマークですか?
小学校レベルの理科の問題(チャレンジセット)です。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
ARC (AI2 Challenge)の最高スコアは?
2026年11月16日時点で、ARC (AI2 Challenge)の最高スコアは95.3%で、DeepSeek V3とLlama 3.1 405Bが並んでいます。次点はQwen2.5 72Bの94.5%です。スコアはEpoch AI Benchmarking Hubの公表値で、毎日読み直しています。
ARC (AI2 Challenge)でトップのAIモデルは?
2026年11月16日時点で、DeepSeek V3とLlama 3.1 405Bが95.3%でARC (AI2 Challenge)の首位に並んでいます。
ARC (AI2 Challenge)の結果があるモデルはいくつですか?
BenchLeaderでは77のモデル構成にARC (AI2 Challenge)の結果があり、すべてEpoch AI Benchmarking Hubから取得しています。
ARC (AI2 Challenge)を運営しているのは誰で、どのくらいの頻度で更新されますか?
ARC (AI2 Challenge)はEpoch AI Benchmarking Hubが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
ARC (AI2 Challenge)はBenchLeader Indexに含まれますか?
いいえ。ARC (AI2 Challenge)は参考として掲載していますが、総合スコアには含めていません。