算出方法
BenchLeaderはアグリゲーターです。モデルを実行することも、プロンプトを書くことも、回答を採点することもありません。1日に1回、第三者の評価機関やアリーナが公開した結果を取得し、同じモデルに使われているさまざまな名前を照合して、結果を横に並べます。名前のとおり、すべてのベンチマークをひとつのリーダーボードにまとめたものです。単独のボードだけではモデルの立ち位置はわかりません。すべてを合わせて読んで、はじめて全体像が見えてきます。
結果として扱うもの
- 第三者の評価機関、またはクラウドソーシング型のアリーナが公開したものであること。 発表記事のスコアは、ランキングにもベンチマークボードにも使いません。第三者の情報源がまだないモデルに限り、一部の仕様(定価、コンテキストウィンドウ、回答開始までの時間)をベンダーの公表値から取ることがあり、その場合は「ベンダー公表」と明記します。モデルのページに載る、少数のベンダー自身による測定値も同様です。
- 公開元で機械可読な形になっていること:公開元が管理するCSV、JSON、またはデータセットです。グラフの画面からの読み取り(スクレイピング)は行いません。
- 出典をたどれること:このサイトのすべての値は取得元のページにリンクしており、公開元のライセンスは情報源の一覧に記載しています。
1つのモデルに多くの名前
GPT-5 (high)、openai/gpt-5、gpt-5-2025-08-07、gpt-5_highは、いずれも同じモデルを異なる構成で評価したものです。ラベルはスラッグに変換され、別のモデルではなく実行の条件を表す語(推論エフォート、思考バジェット、日付付きスナップショット、スキャフォールド、量子化)は、その実行のバリアントとして切り分けます。そのうえでスラッグを、人手で整備した別名の登録簿と照合します。認識できないものは自動的に暫定モデルになるため、新しいモデルはリーダーボードに追加されたその日に表示されます。
情報源に同じモデルの実行が複数ある場合、モデルのページには最良の結果を表示し、ほかの結果も一覧にします。品質ベンチマークでは最も高いスコア、価格と速度では、そのモデル自身のプロバイダーがあればその値、なければプロバイダー間の中央値です。
BenchLeader Index
ベンチマークはそれぞれ互換性のない尺度で結果を出します。パーセンテージ、Elo形式のレーティング、上限の異なる指標などです。これらを組み合わせるため、各ベンチマークのスコアを、そのベンチマークで評価されたモデル全体で標準化します。母集団の平均を50、1標準偏差を15点とし、±3標準偏差で打ち切ります。標準化するのは、評価済みモデルが5つ以上あるベンチマークだけです。
標準化したスコアは、下の重みを使ってカテゴリごとに平均します。BenchLeader Indexは構成ごとのカテゴリスコアの平均で、元になった結果の数をnとして、n/(n+3)の割合で50に引き寄せます。結果が6件なら平均からの差の3分の2、12件なら5分の4、30件なら10分の9以上が残ります。これにより、有利な少数のボードでしか実行されていない構成が、あらゆる場所で測定された構成より上位になることを防いでいます。Indexが付くには、2つ以上のカテゴリにわたる5つ以上のベンチマークで結果が必要です。飽和している、範囲が狭い、またはほかのボードと大きく重なるベンチマークは、重みを半分にしています。
| カテゴリ | ベンチマーク(重み) |
|---|---|
| 推論 | GPQA Diamond(1.0)、Humanity's Last Exam(1.0)、SimpleBench(1.0)、Arena Hard Prompts(0.5)、HLE-Diamond (AA)(1.0)、EnigmaEval(0.5)、Kagi LLM Benchmark(0.5)、ARC-AGI-1(0.5)、ARC-AGI-2(1.0)、ARC-AGI-3(0.5)、CritPt v2 hard subset (AA)(1.0) |
| 数学 | FrontierMath Tiers 1–3(1.0)、FrontierMath Tier 4(0.5)、OTIS Mock AIME(0.5)、MATH Level 5(0.5)、ProofBench(0.5)、AIME (Vals)(0.5)、MGSM(0.5)、AIME 2026(1.0)、HMMT February 2026(1.0)、IMO 2025(0.5)、MathArena Apex(0.5)、Omni-MATH (HELM)(1.0)、Arena Maths(1.0) |
| コーディング | SWE-bench Verified (Epoch)(0.5)、SciCode(0.5)、WeirdML(0.5)、FrontierCode(0.5)、GSO-Bench(0.5)、Arena Coding(0.5)、Arena WebDev(1.0)、LiveCodeBench(1.0)、IOI(0.5)、SWE-Bench Pro(1.0)、Aider Polyglot(1.0)、SWE-bench Verified (bash only)(1.0)、FrontierCode 2.0 (AA)(1.0) |
| 知識 | SimpleQA Verified(1.0)、AA-Omniscience v1.1(1.0)、MMLU-Pro(1.0)、LegalBench(0.5)、CorpFin(0.5)、TaxEval(0.5)、MedQA(0.5)、PRBench Finance(0.5)、PRBench Legal(0.5)、MultiNRC(0.5) |
| エージェント・ツール | Terminal-Bench(1.0)、OSWorld-Verified 2.0(0.5)、GDPval(0.5)、Cybench(0.5)、Remote Labor Index(0.5)、APEX-Agents(0.5)、Arena Agent(0.5)、Terminal-Bench Hard(0.5)、Terminal-Bench 2.1 (Vals)(0.5)、MCP Atlas(1.0)、HiL-Bench(0.5)、BFCL Overall(1.0)、τ²-bench(1.0)、τ³-Banking (AA)(1.0)、CWE-Bench (AA)(0.5)、DeepSec-Bench (AA)(0.5)、CyberGym end-to-end (AA)(0.5) |
| 長文コンテキスト | Fiction.LiveBench 120k(1.0)、AA-LCR v1.1(1.0) |
| 人間の評価 | Arena Text(1.0)、EQ-Bench 4(0.5) |
| マルチモーダル | Arena Vision(1.0)、MMMU-Pro(1.0)、VISTA(1.0)、MMMU (validation)(0.5) |
| 総合 | LiveBench 2.0(1.0) |
| 指示追従 | IFBench(1.0)、MultiChallenge(1.0)、TutorBench(0.5)、IFEval (HELM)(1.0)、WildBench (HELM)(0.5) |
既知の限界。ベンチマークごとに標準化するため、モデルのスコアは同じベンチマークでほかにどのモデルが評価されたかに左右されます。最先端のモデルだけを評価するボードでは、モデル間の差が小さく出ます。少数の易しいベンチマークでしか評価されていないモデルは、実力以上に良く見えることがあります。カバー率の列と「最低5件の結果」という条件は、それを見えるようにするためのものです。Indexは全体をつかむための要約であり、根拠は個々のベンチマークの表にあります。
データ汚染。MathArenaとScaleはどちらも、問題が公開されたあとに評価されたモデルに注記を付けています。その問題がすでに学習データに含まれている可能性があるためです。新しい競技のボードでは、大半のモデルがこれに当たります。AIME 2026では31件中22件、MASKでは64件中37件です。この注記は公開元自身の言葉のまま、ベンチマークのボードとモデルのページに表示しますが、スコアはIndexに満額の重みで反映されています。除外するとAIME 2026に残るのは9モデルだけになり、標準化するには少なすぎるためです。注記の付いたスコアは上限値として読んでください。
推論エフォート
同じモデルでも、推論エフォートの設定(none、minimal、low、medium、high、xhigh、max、または詳細不明の「thinking」モード)によって評価が変わり、結果が10ポイント以上違うこともあります。そのため設定ごとに1行とし、その設定で実行されたベンチマークだけで評価します。「標準」は、公開元が設定を明らかにしていないことを意味します。価格とコンテキストウィンドウはモデルのすべての設定に共通ですが、測定された速度と最初の回答までの時間は、測定したときの設定にだけ結び付けます。表には既定で各モデルの最もスコアが高い設定を表示し、切り替えるとすべての設定を見られます。
グラフが既定で表示するもの
すべての構成を散布図に載せると読み取れないため、グラフはフロンティアのセットで開きます。両方の軸でほかのどのモデルにも負けていないモデル、Indexの上位8つ、横軸の区間ごとの最良モデルで、いずれも過去18か月以内に公開され、結果が8件以上ある構成から選んでいます。フロンティアのモデルは紫色で線で結ばれ、それ以外のモデルは灰色で、名前が収まる場所にはラベルが付きます。「上位50」と「すべて」はワンクリックで切り替えられます。
速度、レイテンシ、価格
定価はmodels.devとLiteLLMの価格表から取り、Artificial AnalysisとOpenRouterのマーケットプレイスと照らし合わせています。ブレンド価格は、出力1トークンにつき入力3トークンと仮定しています。出力速度は、Artificial Analysisがカバーしているモデルではその測定中央値、最初のトークンまでの時間はOpenRouterの値を使います。OpenRouterの数値には思考フェーズが含まれません。どちらも、もう一方に値がないところを補い合います。OpenRouterの数値は、正常に稼働しているプロバイダー間の中央値で、直近30分間のリクエスト量で重み付けしています。この期間は短いため、マーケットプレイスの値は直近7日分の日次の値の中央値で平滑化しています。1時間程度の混雑ではモデルの値は動かず、実際の変化(新しいプロバイダー、より速い実行基盤)は数日以内に反映されます。それでも速度は時間帯やプロバイダーによって変わるため、保証値ではなく目安として見てください。
タスクあたりの見積もり
代表的な5つのワークロードで、100万トークンあたりの価格を予算を立てやすい数字に換算しています。
- チャットの返答:短いアシスタントの返答:コンテキスト400トークンを入力し、300トークンを出力します。
- 30ページのレポートを要約:文書12,000トークンを入力し、600トークンの要約を出力します。
- コード編集:ファイルと指示6,000トークンを入力し、1,500トークンの差分を出力します。
- エージェント型コーディングセッション:ツールを使う長いループ1回分:複数ターンで計60,000トークンを入力し、4,000トークンを出力します。
- 構造化データの抽出:元テキスト2,000トークンを入力し、JSON 200トークンを出力します。
コスト=入力トークン数×入力価格+出力トークン数×出力価格。時間=最初の回答までの時間(それしかない場合は最初のトークンまでの時間)+出力トークン数÷出力速度。「キャッシュあり」は、入力トークンの4分の3がプロバイダーのキャッシュ読み取り価格でプロンプトキャッシュから提供されると仮定しています。同じコンテキストを繰り返し送るエージェントのループでよくある比率です。推論トークンとバッチ料金はモデル化していません。
算出方法のバージョン1.4
重み、対象条件、計算式を変えると過去の順位も入れ替わるため、算出方法にはバージョンを付けています。バージョンが変わるたびに、推移のグラフは毎日のスナップショットすべてから計算し直すので、1つのグラフに2つの方法が混ざることはありません。
- v1.4 (2026年10月29日):Artificial Analysis Intelligence Indexを除外:Indexがすでに読み込んでいるボードの平均であり、独立したカテゴリとして数えると、対象になるかどうかが1つの公開元の再実行スケジュールに左右されていたため。Index v5.0は独自のボードに移し、v4.3.2の最後のスコアは元のボードに固定したまま残しています。
- v1.3 (2026年10月28日):Artificial Analysis Index v5への対応:FrontierCode 2.0、HLE-Diamond、CritPt v2のhardサブセットを重み1でIndexに追加。同じ領域を二重に数えないよう、CritPtの全体ボードは参考扱いに変更。AA Progress Index v1を参考ボードとして公開。
- v1.2 (2026年9月19日):CritPt(推論)、τ²-Bench Banking(エージェント)、LMArena Maths(数学)を重み1でIndexに追加。同じ週に追加したほかの104のボードは参考扱いのまま。
- v1.1 (2026年9月9日):行をモデル×推論エフォートの構成単位に変更。Indexをn/(n+3)で50に向けて縮小。Artificial Analysis、Vals AI、MathArena、Scale SEAL、Terminal-Bench、EQ-Bench、MMMU、Kagiのベンチマークを重み付きで追加。
- v1.0 (2026年9月8日):初版:ベンチマークごとのzスコアを50 ± 15に換算し、カテゴリ内で平均したうえでカテゴリ間で平均。2つのカテゴリで最低5件の結果が必要。
更新頻度と取得失敗時の扱い
パイプラインは6時間ごとに、UTC 04:03、10:03、16:03、22:03に実行を開始します。取得できなかった情報源は、黙って消えるのではなく、前回の値を残したうえで情報源の一覧に「古い」と表示します。毎日のスナップショットはバージョン管理しており、推移のグラフと日次ダイジェスト(英語。Atomフィードもあります)の元になっています。
オープンデータ
現在のリーダーボードの要約を、更新のたびに作り直してファイルとして公開しています。上位100の構成(モデル×推論エフォート)について、順位、BenchLeader Indexとその区間、5つのカテゴリスコア、定価、出力速度、最初の回答までの時間、データの日付、各行の正規ページを収録しています。
- /data/leaderboard.json(JSON、各フィールドの説明付き)
- /data/leaderboard.csv(CSV、同じ行)
- /llms-full.txt(言語モデル向けのプレーンテキストの要約:算出方法、総合とカテゴリ別の上位20、用途別のベストモデル)
- MCPサーバー(ClaudeやCursorなどのAIアシスタント向け:リーダーボード、モデルの検索、比較、ベンチマークに、1問ずつ答えます)
- 順位バッジ(
/badge/<model>.svg、埋め込みコードは各モデルのページにあります)と、ブラウザ拡張機能が使う単一モデルの検索(/lookup?q=):ベストLLMリストでのモデルの順位、Index、価格、速度、ページへのリンク
BenchLeaderが独自に算出した数値(BenchLeader Index、その区間、カテゴリスコア、順位)はCC BY 4.0(https://creativecommons.org/licenses/by/4.0/)で提供しています。商用・非商用を問わず利用でき、その際は「BenchLeader」の名前とhttps://www.benchleader.com(または各行のurl)へのリンクを表示してください。このライセンスはほかの人の数値には及ばず、BenchLeaderがそれらを再ライセンスすることもありません。定価はベンダー自身が公表している事実であり、速度、レイテンシ、スコアの元になったベンチマーク結果は、それぞれの公開元の条件に従います(各モデルのページにクレジットを記載し、「sources」に一覧があります。たとえばEpoch AIのBenchmarking HubとDuelLab GameBench 2はCC BY 4.0です)。
ファイルとして公開しているのはこれだけです。ベンチマークの生の結果、履歴、モデルの登録簿は公開していません。それらはページ上にあり、各値は公開元にリンクしています。MCPサーバーは同じリンクを付けて、少しずつ引用します。
よくある質問
- BenchLeader Indexとは何ですか?
- 0から100の総合的な品質スコアです。品質ベンチマークはそれぞれ、評価されたモデルの平均が50、1標準偏差が15点になるよう正規化され、カテゴリ内で平均したあと、カテゴリどうしを平均して1つの数値にします。2つのカテゴリにわたって最低5件の結果が必要です。
- BenchLeaderは独自に評価を行っていますか?
- いいえ。BenchLeaderは、Artificial Analysis、LMArena、Epoch AI、LiveBench、SWE-bench、Vals AI、Scale SEALなどの第三者の評価機関がすでに公開した結果を突き合わせています。すべてのスコアに元のページへのリンクがあります。発表記事のスコアは、ランキングにもベンチマークボードにも使いません。第三者の情報源がまだないモデルに限り、一部の仕様(定価、コンテキストウィンドウ、回答開始までの時間)をベンダーの公表値から取ることがあり、その場合は「ベンダー公表」と明記します。モデルのページに載る、少数のベンダー自身による測定値も同様です。
- 同じモデルが複数回表示されるのはなぜですか?
- 推論エフォートによって結果が変わるからです。各行は1つの構成、つまりある推論エフォート設定でのモデルで、その設定で測定された結果だけで評価されます。表には既定でスコアが最も高い設定が表示され、展開するとすべての設定を見られます。
- データはどのくらいの頻度で更新されますか?
- 6時間ごと(UTC 04:03、10:03、16:03、22:03に開始)です。パイプラインがすべてのデータフィード(48の公開元による285のベンチマーク、加えて価格と速度のリスト)を読み直し、日付付きのスナップショットを保存し、Indexを再計算してサイトを公開します。取得できなかった情報源は、前回の値を残したうえでその旨を表示します。
- 価格と速度はどのように測っていますか?
- 価格は、プロバイダーが公表する100万トークンあたりの定価です(入力3トークンにつき出力1トークンの割合でブレンド)。出力速度は、利用できる場合はArtificial Analysisの値、それ以外はOpenRouterでのプロバイダー間のリクエスト数加重中央値を7日間で平滑化したものです。最初のトークンまでの時間はOpenRouterの値です。
- 新しいモデルの順位が予想より低いのはなぜですか?
- 根拠が少ないスコアは平均に向けて縮小されるためです。結果が3件のモデルを、30件あるモデルと同じ確度で順位付けすることはできません。公開されるベンチマーク結果が増えるにつれて縮小は弱まり、Indexは落ち着いていきます。各Indexの横の ± の数値は、結果どうしのばらつきの大きさを示しています。