AI・LLMベンチマーク(2026年11月):すべてのベンチマークと現在のトップ、そしてどこまで信頼できるか
AIベンチマークは、実際のGitHub issueの解決(SWE-bench Verified)、大学院レベルの科学の問題(GPQA Diamond)、匿名での人間による投票(Arena)など、答えの決まった課題でモデルの出来を測り、モデル同士で比べられるスコアを出すものです。2026年11月16日時点で、BenchLeaderは48の公開元による285のベンチマークを追跡しています。現役でもっとも参考になるのはHLE-DiamondとCritPt v2 hard subset(推論)、Arena WebDevとLiveCodeBench(コーディング)、τ³-Banking(エージェント)、Arena Maths(数学)、MMMU-Pro(マルチモーダル)、Arena Text(人間の評価)です。MMLU、MATH Level 5、ARC (AI2 Challenge)は飽和しているか、更新が止まっています。
最終更新 · 毎日更新
- ベンチマーク
- 285
- 公開元
- 48
- 対象モデル
- 731
- 最終更新
- 2026年11月16日
移動: 推論 · コーディング · エージェント・ツール利用 · 数学 · 知識 · 指示追従 · 人間の評価(アリーナ) · マルチモーダル · 長文コンテキスト · 安全性・誠実さ · 総合指標
カテゴリ別リーダーボード: AIエージェントのベンチマーク · AIコーディングのベンチマーク · 推論・数学のベンチマーク · マルチモーダルAIのベンチマーク · 今週のリーダーボード
2026年の注目ベンチマーク
各カテゴリでもっとも参考になる現役のボードです。BenchLeader Indexに使われ、多くのモデルをカバーし、まだ飽和していません。
| ベンチマーク | カテゴリ | 測定内容 | 現在のトップ | 状態 |
|---|---|---|---|---|
| HLE-Diamond (AA) | 推論 | HLEを1,000問(推論500、知識500)に絞った改良版。Intelligence Index v5で使用。Artificial Analysisが実施。 | Claude Fable 5.2 (max) 80.2% | 現役 |
| CritPt v2 hard subset (AA) | 推論 | CritPt v2の非公開の難問40問。コード実行ツール付きで、Intelligence Index v5で使用。Artificial Analysisが実施。 | Claude Fable 5.2 (max) 76.5% | 現役 |
| Arena WebDev | コーディング | 生成されたWebアプリへの一対一の投票。 | Claude Fable 5.2 (xhigh) 1838 | 評価モデルが採点 |
| LiveCodeBench | コーディング | モデルの学習カットオフ後に出題された競技プログラミングの問題。Vals AIが実施。 | Claude Fable 5.1 (max) 90.5% | 飽和に近い |
| τ³-Banking (AA) | エージェント・ツール利用 | Artificial Analysisによるτ²-Benchの銀行分野。ツールを使うサポート担当が、模擬顧客に対応します。 | Qwen3.8 Max (max) 51.3% | ハーネスに依存 |
| Arena Maths | 数学 | 数学のプロンプトでのテキストアリーナのレーティング。 | Gemini 4 Argon (high) 1536 | 評価モデルが採点 |
| AA-Omniscience v1.1 | 知識 | ハルシネーションを減点する知識の想起。正答数から自信のある誤答を引いた−100〜100のスコア。Artificial Analysisが実施。 | Claude Fable 5.2 (max) 66.8 | 現役 |
| IFBench | 指示追従 | 未知の制約に対する正確な指示追従。Artificial Analysisが実施。 | Grok 4.3 (medium) 83.3% | 飽和に近い |
| Arena Text | 人間の評価(アリーナ) | スタイル補正ありのテキストアリーナ総合レーティング。 | Gemini 4 Carbon (high) 1526 | 評価モデルが採点 |
| MMMU-Pro | マルチモーダル | 大学レベルのマルチモーダル理解。Artificial Analysisが実施。 | Gemini 4 Carbon (medium) 89.3% | 飽和に近い |
| AA-LCR v1.1 | 長文コンテキスト | 約10万トークンの文書群にまたがる長文コンテキスト推論。Intelligence Index v5からは外れましたが、公開は続いています。Artificial Analysisが実施。 | Kimi K3 (max) 88.7% | 飽和に近い |
| LiveBench 2.0 | 総合指標 | LiveBench 2.0の最新リリースにおける7つのスイートのスコアを、LiveBench自身の重み(Long Agenticが2倍、CodingとDesignが1.5倍、ほかは1倍)で加重平均したもの。 | Claude Fable 5.2 (xhigh) 84.9% | 飽和に近い |
推論のベンチマーク:HLE-Diamond (AA)、CritPt v2 hard subset (AA)、SimpleBench
推論ベンチマークは、記憶だけでは答えられない問題を出します。大学院レベルの科学(GPQA Diamondの198問)、検索では解けないよう専門家が作った問題(Humanity's Last Exam、約2,500問)、抽象的なグリッドパズル(ARC-AGI)、人間には簡単なひっかけ問題(SimpleBench)などです。
用途:リサーチアシスタントや分析など、推論の誤りが大きな代償につながる作業。
注意点: MMLUは飽和しており、最先端のモデルの差はもう測れません。代わりにMMLU-Pro、GPQA Diamond、Humanity's Last Examを使ってください。
HLE-Diamond (AA)の現在のトップ:Claude Fable 5.2 (max)の80.2%。
AI推論・数学ベンチマークのリーダーボード:すべてのボード、各トップ、カテゴリを率いるモデル →
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| HLE-Diamond (AA) | HLEを1,000問(推論500、知識500)に絞った改良版。Intelligence Index v5で使用。Artificial Analysisが実施。 | Claude Fable 5.2 (max) 80.2% | 169 | 現役 |
| CritPt v2 hard subset (AA) | CritPt v2の非公開の難問40問。コード実行ツール付きで、Intelligence Index v5で使用。Artificial Analysisが実施。 | Claude Fable 5.2 (max) 76.5% | 135 | 現役 |
| SimpleBench | 人間の正答率が約84%のひっかけ問題。時空間的な推論と社会的知性を試します。 | Claude Fable 5.2 94.9% | 111 | 飽和に近い |
| Humanity's Last Exam | 100以上の分野にわたり専門家が作成した2,500問(Scale AI / CAIS)。 | GPT-6 Astra 54.8% | 48 | 現役 |
| Arena Hard Prompts | 難しいと判定されたプロンプトでのテキストアリーナのレーティング。 | Gemini 4 Carbon (high) 1547 | 384 | 評価モデルが採点 |
ほかの推論のベンチマーク(33件)
- Humanity's Last Exam (AA)
- CritPt
- GPQA Diamond (AA)
- Arena Expert
- GPQA Diamond
- ARC-AGI-1
- ARC-AGI-2
- DTBench
- LMCA
- Chess Puzzles
- Mystery Game Puzzles
- Kagi LLM Benchmark
- GPQA Diamond (Vals)
- ForecastBench
- ARC-AGI-3
- ARC (AI2 Challenge)
- WinoGrande
- GPQA Diamond (HELM)
- HellaSwag
- LiveBench 1.0 Reasoning
- PIQA
- BIG-Bench Hard
- LiveBench 2.0 Reasoning
- MysteryMechanism
- CL-bench
- HLE-Diamond (Scale)
- CL-bench Life
- SciPredict
- BTF-3
- ANLI
- SuperGLUE
- CommonsenseQA 2
- EnigmaEval
コーディングのベンチマーク:Arena WebDev、LiveCodeBench、FrontierCode 2.0 (AA)
コーディングベンチマークには、モデルの学習データのカットオフ後に出題された競技プログラミングの問題(LiveCodeBench)から、実際のGitHub issueをエンドツーエンドで修正してリポジトリ自身のテストで確かめるもの(500件のSWE-bench Verified、非公開リポジトリを使うSWE-Bench Pro)、実際のコーディングエージェントを通じた編集(225問のAider Polyglot)まであります。
用途:コード生成、コードレビュー、自律型コーディングエージェントに使うモデルの選定。
注意点: HumanEvalは飽和しています。またSWE-benchでは、ハーネスや足場(スキャフォールド)がモデルと同じくらいスコアを左右するため、同じ条件同士で比べてください(BenchLeaderはbash-onlyハーネスの結果を別に表示しています)。
Arena WebDevの現在のトップ:Claude Fable 5.2 (xhigh)の1838。
AIコーディングベンチマークのリーダーボード:すべてのボード、各トップ、カテゴリを率いるモデル →
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| Arena WebDev | 生成されたWebアプリへの一対一の投票。 | Claude Fable 5.2 (xhigh) 1838 | 150 | 評価モデルが採点 |
| LiveCodeBench | モデルの学習カットオフ後に出題された競技プログラミングの問題。Vals AIが実施。 | Claude Fable 5.1 (max) 90.5% | 140 | 飽和に近い |
| FrontierCode 2.0 (AA) | CognitionのFrontierCode 2.0。実在するオープンソースリポジトリの132タスクを、メンテナーが変更をマージするかどうかで採点します。Intelligence Index v5で使用。Artificial Analysisが実施。 | Claude Fable 5.2 (high) 49.1% | 133 | 現役 |
| SWE-bench Verified (bash only) | 最小構成のbash-only版mini-SWE-agentハーネスによる、SWE-bench Verifiedの公式結果。 | Claude Opus 4.5 (high) 76.8% | 46 | ハーネスに依存 |
| SWE-Bench Pro | 公開リポジトリでの長期的なソフトウェアエンジニアリングのタスク。Scale AI。 | Muse Spark 1.1 61.5% | 25 | ハーネスに依存 |
ほかのコーディングのベンチマーク(48件)
- Arena Coding
- LiveCodeBench (AA)
- Terminal-Bench 4.0 (AA)
- SciCode (AA)
- Terminal-Bench 2.1 (AA)
- SciCode
- GameBench 2 by reasoning setting
- Design Arena Website
- WeirdML
- ALE-Bench
- Vibe Code Bench v1.1
- CursorBench
- SWE-bench (Vals)
- FrontierCode 1.1 (AA)
- Code Migration
- DeepSWE v1.1
- LiveBench 1.0 Coding
- ProgramBench
- SWE-bench Verified (any scaffold)
- Aider Polyglot
- GameBench 2 Overall
- FrontierCode
- IOI
- MirrorCode
- GSO-Bench
- LiveBench 2.0 Coding
- SWE-bench Verified (Epoch)
- Code Migration v1.1
- Startrise Frontend
- Surface Evolver Bench
- SWE Atlas v1.1
- SWE Atlas v1.1: Codebase QnA
- SWE Atlas v1.1: Refactoring
- SWE Atlas v1.1: Test Writing
- Vibe Code Bench 1-100
- WeirdML v3
- FrontierSWE
- SWE Atlas v1.0: Codebase QnA
- SWE Atlas v1.0: Test Writing
- SWE-bench Multimodal
- AlgoTune
- SWE-Bench Pro V2
- SWE-Bench Pro V2 HARD
- SWE Atlas v1.0: Refactoring
- CadEval
- SWE-Bench Pro (private)
- SWE-bench Multilingual (bash only)
- Vibe Code Bench 1-100 v1.1
エージェント・ツール利用のベンチマーク:τ³-Banking (AA)、Terminal-Bench、BFCL Overall
エージェントベンチマークは、モデルを環境の中に置いて結果を採点します。シェル(Terminal-Bench)、ツールを使いながら非協力的なユーザーに対応するカスタマーサポートの会話(τ²-bench)、関数呼び出し(BFCL)、Model Context Protocol(MCP Atlas)、実際のデスクトップ(OSWorld)などです。
用途:ツール呼び出しを使うプロダクト、自動化、長い複数ステップのタスク。
注意点: ハーネスの影響は大きく、同じモデルでも足場、プロンプト、ツールの組み合わせが違うだけで10〜20ポイント変わることがあります。異なるハーネスのスコアは比較できません。
τ³-Banking (AA)の現在のトップ:Qwen3.8 Max (max)の51.3%。
AIエージェントベンチマークのリーダーボード:すべてのボード、各トップ、カテゴリを率いるモデル →
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| τ³-Banking (AA) | Artificial Analysisによるτ²-Benchの銀行分野。ツールを使うサポート担当が、模擬顧客に対応します。 | Qwen3.8 Max (max) 51.3% | 208 | ハーネスに依存 |
| Terminal-Bench | コマンドラインでのエージェントタスク。モデルごとにハーネスを問わず最高の結果を採用。 | GPT-5.5 84.7% | 109 | ハーネスに依存 |
| BFCL Overall | Berkeley Function Calling Leaderboardの総合正答率。 | Claude Opus 4.5 77.5% | 83 | ハーネスに依存 |
| MCP Atlas | Model Context Protocolを通じた実践的なツール利用。Scale AI。 | Gemini 4 Argon 90.7% | 37 | 飽和に近い |
| τ²-bench | 航空、小売、通信の各分野でのpass^1の平均。 | Qwen3.5 397B A17B (thinking) 87.9% | 8 | ハーネスに依存 |
ほかのエージェント・ツール利用のベンチマーク(64件)
- τ²-Bench Telecom (AA)
- Terminal-Bench Hard
- GDPval-AA v2.1
- AutomationBench
- GDP.pdf (AA)
- AA-Briefcase v1.1
- GDPval-AA v2.1, normalised score
- Terminal-Bench-Science 0.1 (AA)
- Legal Research Bench
- Tax Agent Bench
- Design Arena Agentic
- Finance Agent v2
- Harvey's Legal Agent Benchmark v1
- Terminal-Bench 2.1 (Vals)
- Vending-Bench 2
- LiveBench Agentic Coding
- APEX-Agents
- Terminal-Bench 2.0 (Vals)
- Terminal-Bench 4.0 (Vals)
- Arena Agent
- Arena Agent Task Completion
- Analyst Agent (AA)
- EnterpriseOps-Gym
- CyberBench
- ITBench SRE (AA)
- Terminal-Bench Science
- Arena Search
- BrowseComp
- METR Time Horizons
- DeepResearch Bench
- Finance Agent v2.1
- BALROG
- Harvey's Legal Agent Benchmark v1.1
- SREBench
- HiL-Bench
- LiveBench Browser
- LiveBench Long Agentic
- SkillsBench
- APEX-Agents (AA)
- Harvey LAB-AA v1.1
- DeepSec-Bench (AA)
- τ³-bench Banking
- CWE-Bench (AA)
- CyberGym end-to-end (AA)
- FACTS Search
- GBAEval
- BrowseComp-Plus
- Cybench
- GDPx
- MKA (AA)
- PostTrainBench
- Remote Labor Index
- Poker Agent
- OSWorld-Verified 2.0
- TheAgentCompany
- Time Horizon Index: KSP
- DeepSearchQA
- GDPval
- CUA-bench
- ExploitBench
- SpireClimb
- Robo-bench
- Web Search Index
- RoboDojo (LLM as robot policy)
数学のベンチマーク:Arena Maths、Omni-MATH (HELM)、MathArena Apex
数学ベンチマークには、競技数学の問題(AIME、HMMT、IMO。誰も学習に使えないうちに、MathArenaが公開当日に採点します)から、未公開の研究レベルの問題(FrontierMath)、記述式の証明(ProofBench)まであります。
用途:定量分析、科学的な作業、複数ステップの計算の正確さの確認。
注意点: GSM8KとMATHは飽和しています。古いAIMEの問題は公開済みのため、データ汚染(コンタミネーション)のおそれがあります。FrontierMathと、MathArenaに載る新しい大会の結果を優先してください。
Arena Mathsの現在のトップ:Gemini 4 Argon (high)の1536。
AI推論・数学ベンチマークのリーダーボード:すべてのボード、各トップ、カテゴリを率いるモデル →
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| Arena Maths | 数学のプロンプトでのテキストアリーナのレーティング。 | Gemini 4 Argon (high) 1536 | 369 | 評価モデルが採点 |
| Omni-MATH (HELM) | オリンピック級の数学の問題。Stanford CRFMのHELMが実施。 | GPT-5 mini 72.2% | 68 | 現役 |
| MathArena Apex | 最近の大会から選んだ最難関の問題。MathArena。 | Claude Opus 4.8 (max) 81.3% | 47 | 現役 |
| IMO 2025 | 国際数学オリンピック2025、証明を採点。MathArena。 | GPT-5 (high) 38.1% | 6 | 現役 |
| FrontierMath Erdős | 68 problems posed or studied by Paul Erdős, all open when the set was… | GPT-6.1 Sol (max) 4.4% | 15 | 現役 |
知識のベンチマーク:AA-Omniscience v1.1、SimpleQA Verified、LegalBench
知識ベンチマークは、モデルが何を知っているか、そして知らないことを認めるかを測ります。幅広い分野の多肢選択式(10択のMMLU-Pro)、短い事実確認の質問(SimpleQA Verified)、ハルシネーションを減点する知識の想起(AA-Omniscience)、法律・税務・金融・医療などの専門分野があります。
用途:質問応答や専門分野のアシスタントなど、自信満々の誤答が最大のリスクになる用途。
注意点: 固定の多肢選択問題は、時間が経つと学習データに混入していきます。誤答を減点するボード(AA-Omniscience、SimpleQA Verified)のほうが、単純な正答率より多くを教えてくれます。
AA-Omniscience v1.1の現在のトップ:Claude Fable 5.2 (max)の66.8。
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| AA-Omniscience v1.1 | ハルシネーションを減点する知識の想起。正答数から自信のある誤答を引いた−100〜100のスコア。Artificial Analysisが実施。 | Claude Fable 5.2 (max) 66.8 | 142 | 現役 |
| SimpleQA Verified | 短い事実確認の質問。ハルシネーションなしで正しく思い出せるかを測ります。Epoch AIが実施。 | Claude Fable 5.2 (max) 94.0% | 99 | 飽和に近い |
| LegalBench | 弁護士が作成した法的推論のタスク。Vals AIが実施。 | Claude Fable 5 (max) 88.6% | 147 | 飽和に近い |
| TaxEval | 専門家が確認した米国の税務の質問。Vals AIが実施。 | Muse Spark 1.2 (xhigh) 80.4% | 140 | 現役 |
| CorpFin | 実際の企業財務の文書に関する質問。Vals AIが実施。 | Claude Opus 5 73.2% | 128 | 現役 |
ほかの知識のベンチマーク(32件)
- AA-Omniscience v1.1: accuracy
- AA-Omniscience v1.1: non-hallucination
- MMLU-Pro
- MMLU
- Global-MMLU-Lite (AA)
- MedScribe
- MedCode
- MedQA
- Excel Modeling Benchmark
- LiveBench 1.0 Data Analysis
- MMLU-Pro (HELM)
- GDP.pdf
- CaseLaw v2
- Public Benefits Bench v1.1
- PRBench Legal
- MultiNRC
- PRBench Finance
- Excel Modeling Benchmark v1.1
- OpenBookQA
- TriviaQA
- LiveBench 2.0 Data Analysis
- LiveBench Research
- BioMysteryBench
- EBR-bench
- Financial Coaching Bench
- FACTS Parametric
- Immigration Bench
- LAMBADA
- Access to Justice Benchmark
- DrugDiscoveryBench
- HealthBench Professional (AA)
- ClaimBench
指示追従のベンチマーク:IFBench、MultiChallenge、WildBench (HELM)
指示追従ベンチマークは、モデルが指示どおりに動くかを確かめます。検証できる書式や長さの制約(IFBench、IFEval)、前の指示を覚えているかを試す複数ターンの会話(MultiChallenge)、チェックリストに照らして評価する自由形式のタスク(WildBench)などです。
用途:構造化出力、モデルの出力をパースするパイプライン、厳格なルールのあるアシスタント。
注意点: 制約チェッカーは信頼できますが、測れる範囲は狭めです。評価モデルが採点するボードはより多くを測れる反面、評価モデル自身の好みも引き継ぎます。
IFBenchの現在のトップ:Grok 4.3 (medium)の83.3%。
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| IFBench | 未知の制約に対する正確な指示追従。Artificial Analysisが実施。 | Grok 4.3 (medium) 83.3% | 428 | 飽和に近い |
| MultiChallenge | 現実的な会話の制約のもとでの、複数ターンの指示追従。Scale AI。 | GPT-6.1 Sol 82.0% | 45 | 現役 |
| WildBench (HELM) | 実際のユーザーのタスクを、ルーブリックに従う評価モデルが採点。Stanford CRFMのHELMが実施。 | Qwen3 235B A22B 2507 86.6% | 68 | 飽和に近い |
| TutorBench | 高校・AP科目の個別指導のタスク。Scale AI。 | Muse Spark 68.5% | 27 | 評価モデルが採点 |
| Arena Instruction Following | 明示的な指示を含むプロンプトでのテキストアリーナのレーティング。 | Gemini 4 Argon (high) 1528 | 384 | 評価モデルが採点 |
ほかの指示追従のベンチマーク(3件)
人間の評価(アリーナ)のベンチマーク:Arena Text、EQ-Bench 4、Arena Creative Writing
アリーナでは、実際のユーザーに匿名の回答を2つ見せ、どちらが良いかを選んでもらいます。多数の投票がレーティングになります。人が何を好むかを大規模に測れる唯一の方法ですが、好まれる答えが正しい答えとは限りません。
用途:チャット製品、文章作成など、回答の読みやすさで評価されるもの。
注意点: 上位のレーティングは信頼区間が重なるため、隣り合う順位は実質的に同率のことがよくあります。またスタイル補正をしない限り、投票者は長く書式の整った回答を好む傾向(スタイルバイアス)があります。
Arena Textの現在のトップ:Gemini 4 Carbon (high)の1526。
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| Arena Text | スタイル補正ありのテキストアリーナ総合レーティング。 | Gemini 4 Carbon (high) 1526 | 384 | 評価モデルが採点 |
| EQ-Bench 4 | 複数ターンのロールプレイにおける感情的知性。一対一で評価し、Eloに似たレーティングにまとめます。 | Claude Opus 5 1365 | 32 | 評価モデルが採点 |
| Arena Creative Writing | 創作文のプロンプトでのテキストアリーナのレーティング。 | Gemini 4 Argon (high) 1523 | 382 | 評価モデルが採点 |
| Arena Multi-turn | 複数ターンの会話でのテキストアリーナのレーティング。 | Gemini 4 Carbon (high) 1564 | 382 | 評価モデルが採点 |
| Arena Longer Queries | 長いプロンプトでのテキストアリーナのレーティング。 | Gemini 4 Argon (high) 1544 | 363 | 評価モデルが採点 |
ほかの人間の評価(アリーナ)のベンチマーク(2件)
マルチモーダルのベンチマーク:MMMU-Pro、Arena Vision、VISTA
マルチモーダルベンチマークは、画像、グラフ、文書、動画、音声と質問を組み合わせます。大学レベルの視覚的推論(MMMU-Pro)、空間・視覚パズル、動画理解(Video-MME)、画像を使ったプロンプトでのアリーナ投票などです。
用途:文書やグラフの読み取り、スクリーンショット、画像認識機能、音声。
注意点: 元のMMMUはテキストだけで答えられる問題が多く含まれます。MMMU-Proはそうした問題を除き、選択肢を10個に増やしているので、こちらを優先してください。
MMMU-Proの現在のトップ:Gemini 4 Carbon (medium)の89.3%。
マルチモーダルAIベンチマークのリーダーボード:すべてのボード、各トップ、カテゴリを率いるモデル →
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| MMMU-Pro | 大学レベルのマルチモーダル理解。Artificial Analysisが実施。 | Gemini 4 Carbon (medium) 89.3% | 296 | 飽和に近い |
| Arena Vision | 画像理解のプロンプトへの一対一の投票。 | Claude Fable 5 (high) 1326 | 160 | 評価モデルが採点 |
| VISTA | 視覚と言語の理解。Scale AI。 | Gemini 2.5 Pro 54.6% | 57 | 現役 |
| MortgageTax | 税証明書の画像を読み取り、数値を抜き出すタスク。Vals AIが実施。 | Claude Opus 5 72.1% | 94 | 現役 |
| MMMU-Pro (Vals) | Vals AI's own run of MMMU-Pro. Run by Vals AI. | Claude Fable 5.1 (max) 90.6% | 91 | 飽和に近い |
長文コンテキストのベンチマーク:AA-LCR v1.1、Fiction.LiveBench 120k、MLCR
長文コンテキストのベンチマークは、数万〜数十万トークンにわたってモデルが正しく推論し続けられるかを測ります。これは公称のコンテキストウィンドウからは分かりません。AA-LCRは長い文書群をまたいだ質問で、Fiction.LiveBenchは長い物語の筋の細部で試します。
用途:検索中心のアシスタント、契約書やコードベースの分析、長いチャット。
注意点: 「干し草の山の中の針」型のテストは飽和しています(埋め込まれた1文を見つけるのは今では簡単です)。コンテキスト全体から事実を組み合わせるマルチホップの質問こそが本当のテストです。
AA-LCR v1.1の現在のトップ:Kimi K3 (max)の88.7%。
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| AA-LCR v1.1 | 約10万トークンの文書群にまたがる長文コンテキスト推論。Intelligence Index v5からは外れましたが、公開は続いています。Artificial Analysisが実施。 | Kimi K3 (max) 88.7% | 572 | 飽和に近い |
| Fiction.LiveBench 120k | 12万トークンの小説の長文読解。 | o3 (medium) 100.0% | 36 | 飽和に近い |
| MLCR | 医療の長文コンテキスト推論。長い患者記録をもとに臨床の質問に答え、正確さ・網羅性・簡潔さをまとめて採点します。 | Claude Fable 5.2 (max) 43.9% | 181 | 現役 |
| Arena Document | アップロードされた文書についての回答への一対一の投票。 | Claude Fable 5 (high) 1500 | 46 | 評価モデルが採点 |
| FACTS Grounding | Long-form answers written from a supplied document and nothing else: every claim has to… | GPT-6.1 Terra 84.2% | 26 | 現役 |
安全性・誠実さのベンチマーク:FORTRESS、DistressBench、PropensityBench
安全性と誠実さのベンチマークは、本当に有害な依頼を断りつつ過剰に断らないか(FORTRESS)、嘘をつくよう圧力をかけられても自分の考えを述べるか(MASK)、手段を与えられたときに危険な行動を避けるか(PropensityBench)を測ります。
用途:導入時のリスク評価、規制のある分野やユーザー向けのプロダクト。
注意点: いずれもBenchLeader Indexには使われていません。結果はシステムプロンプトやプロバイダーの安全レイヤーに大きく左右されるため、保証ではなく目安として読んでください。
FORTRESSの現在のトップ:Claude Opus 5.5 (max)の5.8%。
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| FORTRESS | 敵対的な有害リクエストに対する平均リスクスコア。回答に含まれる実行可能な有害情報の多さを示し、低いほど良い。Scale AI。 | Claude Opus 5.5 (max) 5.8% | 83 | 現役 |
| DistressBench | Quality of crisis support in 718 clinician-written conversations about suicide, self-harm and acute distress… | Muse Spark 1.2 88.4% | 43 | 飽和に近い |
| PropensityBench | 圧力をかけられたエージェントが有害なツールに手を伸ばすシナリオの割合。低いほど良い。Scale AI。 | o3 10.5% | 14 | 現役 |
| MASK | 嘘をつくよう圧力をかけられても、モデルが自分の考えを述べるかどうか。Scale AI。 | Claude Opus 4.6 (推論なし) 96.3% | 65 | 飽和 |
総合指標のベンチマーク:LiveBench 2.0、AA Intelligence Index v4.3.2、AA Progress Index v1
総合指標は、多くのベンチマークを1つの数値にまとめたものです。Artificial AnalysisのIntelligence Index、EpochのCapabilities Index、LiveBench、HELMやValsの集計などがあります。BenchLeader Indexもその1つで、上記のすべてのカテゴリから作られています。
用途:まず候補を絞り込み、そのあとで自分のタスクに大事なカテゴリを確認する。
注意点: 指標ごとにベンチマークの重み付けが違うため、上位の順位は食い違います。総合指標の質は、平均するボードの質で決まります。
LiveBench 2.0の現在のトップ:Claude Fable 5.2 (xhigh)の84.9%。
| ベンチマーク | 測定内容 | トップ | モデル | 注意点 |
|---|---|---|---|---|
| LiveBench 2.0 | LiveBench 2.0の最新リリースにおける7つのスイートのスコアを、LiveBench自身の重み(Long Agenticが2倍、CodingとDesignが1.5倍、ほかは1倍)で加重平均したもの。 | Claude Fable 5.2 (xhigh) 84.9% | 34 | 飽和に近い |
| AA Intelligence Index v4.3.2 | Artificial Analysisが自社の評価(GPQA、HLE、IFBench、LCR、τ²-Bench、Terminal-Bench Hard、SciCode、AA-Omniscienceなど)をまとめた総合スコア。v4.3.2で最後に公開されたスコア(2026年10月27日)で固定。後継のv5.0は構成が異なるため、両者は比較できません。 | Claude Opus 5.5 (max) 57.6 | 643 | 現役 |
| AA Progress Index v1 | Artificial Analysisによる長期的なIRT能力尺度(約200〜350)。多くの評価にまたがって推定し、個々のテストが飽和してもスコアを比べられるようにしています。推移を見るための表示で、BenchLeader Indexには含まれません。 | Claude Fable 5.2 (max) 358 | 641 | 現役 |
| Epoch Capabilities Index | Epoch AIが多くのベンチマークから推定した独自の総合能力スコア。参考表示で、BenchLeader Indexには含まれません。 | Claude Fable 5.2 173.4 | 234 | 現役 |
| AA Intelligence Index v5.0.1 | Artificial Analysisによる、Knowledge Work、Coding、Science、Generalの4分野(各25%)の総合スコア。AA-Briefcase、AutomationBench-AA、GDP.pdf、FrontierCode 2.0、Terminal-Bench 4.0、Terminal-Bench-Science、CritPt v2の難問サブセット、AA-Omniscience v1.1、HLE-Diamondで構成されます。 | Claude Fable 5.2 (max) 64.6 | 129 | 現役 |
飽和・更新停止したベンチマークと、代わりに使うもの
飽和:5位のモデルが90%以上を取り、上位の差がノイズにすぎない状態。更新停止:1年間新しい結果がない状態。どちらもデータから判定しており、スコアに応じて変わります。 飽和の統計 →
BenchLeaderがトップを決める方法
BenchLeaderは独自の評価を一切行いません。1日1回、48のベンチマーク公開元が公表した結果を読み込み、同じモデルに付けられた異なる名前を突き合わせ、実行された推論エフォートの設定ごとに各モデルを記録します。ベンチマークのトップは、そのボードで公表された最高スコアを持つモデル構成で、エフォートとともに表示します。第三者の評価者が再現していない発表記事の数値は使いません。 285のベンチマークのうち78がBenchLeader Indexに使われます。各スコアは同じボードのほかのモデルを基準に標準化し(平均50、標準偏差15)、ベンチマークのページに示した重みでカテゴリ内で平均します(重みが半分のボードもあります)。結果の少ないモデルは、根拠がそろうまで平均値に向けて縮小します。詳しくは算出方法のページをご覧ください。
用途別のおすすめLLM
ベンチマークは根拠で、こちらはその結論です。各リストは、上のボードをもとに1つの用途向けにモデルを順位付けしています(2026年11月時点)。
すべてのベンチマークを検索
全285ボードを名前、公開元、テーマで絞り込めます。各ボードのトップ、対象モデル数、Indexでの重みも表示します。
その他の指標
- AA Openness Index: モデルが実際にどれだけオープンか(重み、ライセンス、学習の詳細、再現性)を示す指標。能力ではなくオープンさの尺度なので、品質のIndexには含めません。
データのダウンロード
ベンチマークカタログはJSONまたはCSVで、Indexの上位100モデルはJSONまたはCSVでダウンロードできます。新しい記事と日次ダイジェストはAtomフィードで配信しています。 ベンチマークカタログは、BenchLeaderの計算したリーダーボードの数値にのみ適用されるCC BY 4.0ライセンスの対象外です。カタログは他者が実施・公開したベンチマークを説明したもので、各トップとスコアはベンチマーク公開元の数値です。これらは各公開元の規約に従い(行ごとにクレジットを記載)、BenchLeaderはいかなるライセンスも付与しません。https://www.benchleader.com/terms#benchmark-catalogue を参照してください。
LLMベンチマーク:よくある質問
- LLMベンチマークとは何ですか?
- LLMベンチマークは、大学院レベルの科学の問題に答える、実際のGitHub issueを修正する、書式のルールに従うといった決まった課題で言語モデルを採点する固定のテストで、同じ問題で異なるモデルを比べられるようにするものです。BenchLeaderは48の公開元による285のベンチマークを追跡しており、自らは一切評価を実施しません。すべてのスコアは公表した評価者のものを使い、元の結果にリンクしています。
- AIベンチマークは何を測っているのですか?
- AIベンチマークは、実際のGitHub issueの解決(SWE-bench Verified)、大学院レベルの科学の問題(GPQA Diamond)、匿名での人間による投票(Arena)など、答えの決まった課題でモデルの出来を測り、モデル同士で比べられるスコアを出すものです。2026年11月16日時点で、BenchLeaderは48の公開元による285のベンチマークを追跡しています。現役でもっとも参考になるのはHLE-DiamondとCritPt v2 hard subset(推論)、Arena WebDevとLiveCodeBench(コーディング)、τ³-Banking(エージェント)、Arena Maths(数学)、MMMU-Pro(マルチモーダル)、Arena Text(人間の評価)です。MMLU、MATH Level 5、ARC (AI2 Challenge)は飽和しているか、更新が止まっています。
- コーディングにもっとも適したベンチマークはどれですか?
- コーディングで現在もっとも参考になるボードはArena WebDev(首位はClaude Fable 5.2 (xhigh)の1838)とLiveCodeBench(首位はClaude Fable 5.1 (max)の90.5%)です。SWE-bench VerifiedやSWE-Bench Proのように実際のリポジトリを使うベンチマークは日々のエンジニアリング作業にもっとも近いものの、スコアはエージェントのハーネスに左右されるため、同じ足場で実行された結果同士で比べてください。
- LLMのリーダーボードは信頼できますか?どれを信じればよいですか?
- 1つのリーダーボードは、1つの公開元のタスク、ハーネス、設定を反映しているにすぎないため、上位の順位はしばしば食い違います。手法を公開し、モデルを自ら再実行し、不確実性を報告し、どの推論エフォートを使ったかを明記しているボードを信頼してください。BenchLeaderは第三者のボードをすべて並べて表示し、自己申告の発表値は使わず、Indexには信頼区間を示しているので、ボード同士が一致する点と、リードが誤差の範囲内にすぎない点を確かめられます。
- LLMベンチマークのスコアはどのくらいの頻度で更新されますか?
- BenchLeaderは6時間ごとにすべてのベンチマークを更新し、そのたびに各公開元の最新の結果を読み直しています。公開元はそれぞれ独自のスケジュールで更新しており、2026年11月16日時点で285のボードのうち155が直近30日以内に新しい結果を公開しました。各ベンチマークのページには、すべてのスコアの日付が載っています。
- 2026年に重要なLLMベンチマークは何ですか?
- 最先端のモデルの差をいまも測れるか、どれだけ多くのモデルをカバーしているかで判断すると、現在もっとも役に立つボードはHLE-Diamond、CritPt v2 hard subset、Arena WebDev、LiveCodeBench、τ³-Banking、Arena Maths、AA-Omniscience v1.1、IFBench、Arena Text、MMMU-Pro、AA-LCR v1.1、LiveBench 2.0です。いずれもBenchLeader Indexに使われています。MMLU、MATH Level 5、ARC (AI2 Challenge)のような古いテストでは、もはやトップモデルの差は測れません。
- いまベンチマークでもっとも優れたLLMはどれですか?
- 2026年11月16日時点では、Claude Fable 5.2 (max)がBenchLeader Indexで72.7を記録し、首位です。次いでGemini 4 Carbon (high)が68.9です。Indexは推論、コーディング、エージェント、数学、知識など78のベンチマークを組み合わせています。1〜2ポイントの差は不確実性の範囲内なので、隣り合う順位はほぼ同率です。
- ベンチマークが飽和しているとはどういう意味ですか?
- トップクラスのモデルがみな上限近くのスコアを取り、差がノイズにすぎなくなった状態を、ベンチマークの飽和といいます。BenchLeaderでは、パーセントで採点するボードで5位のモデルが90%以上を取ると「飽和」、1年間新しい結果が公開されないと「更新停止」としています。現在、飽和しているボードは34、更新停止のボードは24で、代わりに使うべきものは上の表にまとめています。
- ベンチマークのデータ汚染とは何ですか?どう見分けますか?
- データ汚染(コンタミネーション)とは、テストの問題や答えがモデルの学習データに入り込み、高いスコアが能力ではなく記憶を反映してしまうことです。同じ種類の新しいテストより古い公開テストで突出して良いスコアを出す、学習カットオフより前に公開された問題で急に伸びる、といった点が警告のサインです。問題を入れ替え続けるボード(MathArena、LiveCodeBench)や非公開にしているボード(FrontierMath、SWE-Bench Pro)は、汚染がずっと起きにくくなっています。
- LLMベンチマークとLLMの評価はどう違うのですか?
- ベンチマークは、誰でも比べられるスコアが出る固定の公開テストです。評価は、モデルが自分の用途に合うかを判断する、より広い作業です。ベンチマークに加え、自分のプロンプトやデータ、人によるレビュー、コストやレイテンシの制約、安全性のチェックも含みます。候補を絞り込むにはベンチマークが最適で、最終候補の中から選ぶのは自分自身の評価です。
- もっとも難しいAIベンチマークはどれですか?
- 現在の最高スコアで見ると、Indexに使われるボードのなかでもっとも難しいのはOSWorld-Verified 2.0(最高31.4%)、Remote Labor Index(最高41.3%)、DeepSec-Bench(最高48.1%)です。Humanity's Last Exam、FrontierMath、ARC-AGIはいずれも何年も解かれないように作られましたが、トップのスコアはすぐに動くため、この答えは毎日データから計算し直しています。