BenchLeaderについて
BenchLeader(benchleader.com)は、約340のAIモデルを品質、速度、価格で毎日ランク付けする独立系のLLMリーダーボードです。独自のテストやベンダーの発表値ではなく、48の公開元による285のベンチマークの結果を使っています。2026年9月8日に公開し、自動化されたパイプラインで毎日更新しています。
要点(2026年11月16日時点)
- BenchLeaderは48の公開元による285のベンチマークを追跡しています(BenchLeader、2026年11月16日)。
- BenchLeaderは6時間ごと、UTC 04:03、10:03、16:03、22:03に再構築されます。
- BenchLeaderのすべてのスコアには、それを測定した公開元へのリンクがあります。
なぜ作ったのか
AIモデルの結果は数十のリーダーボードに散らばっていて、同じモデルでもボードごとに名前が違います。発表記事の数値はベンダー自身のものです。BenchLeaderは第三者のボードを読み込み、名前を1つのモデルにまとめ、結果を並べて示します。そのため、モデルの位置づけが特定のボードやプロバイダー自身の主張だけに左右されることはありません。
運営の仕組み
BenchLeaderは独立して運営されており、毎日自動のパイプラインで更新しています。サイトの履歴にある「benchleader-bot」によるコミットがその実行で、6時間ごと(UTC 04:03、10:03、16:03、22:03に開始)行われます。
ランキングの作り方
- 結果として扱うもの:第三者の評価機関とアリーナのみ。モデル自身の発表記事は使いません。
- 1つのモデルに多くの名前:ボードごとに異なる名前を1つのモデルに対応づける方法。
- BenchLeader Index:異なるベンチマークのスコアを同じ尺度にそろえ、まとめる方法。
- 更新頻度と取得失敗時の扱い:情報源の更新が遅れたり、止まったり、取得できなかったりしたときの扱い。
- LLMベンチマーク一覧:それぞれが何を測るのか、誰が公開しているのか、注意点は何か。
データとライセンス
その日の上位構成をJSONとCSVで公開しています。BenchLeaderが独自に算出した数値(Index、その区間、カテゴリスコア、順位)はCC BY 4.0で提供しています。価格、速度、元になったベンチマーク結果は再ライセンスせず、それぞれの公開元の条件に従います。詳しくはオープンデータをご覧ください。
これまでの歩み
BenchLeaderは2026年9月8日に公開しました(公開時の記事)。それ以降、Indexの算出方法は4回変更しており、変更はすべて日付付きで手法の変更履歴に記録しています。日々のデータの動きは日次ダイジェストとAtomフィードで確認できます。Xでは@BenchLeaderAIで発信しています。
連絡先と訂正
BenchLeaderは独立して運営されており、毎日自動のパイプラインで更新しています。誤りのご報告はhello@benchleader.comまでお願いします。ご質問や取材のお問い合わせも同じアドレスで受け付けています。
BenchLeaderを引用する
参照したページを引用してください。BenchLeader、ページのタイトル、ページに表示されたデータの日付、URLを記載します。例:BenchLeader「BenchLeaderについて」2026年11月16日時点のデータ、https://www.benchleader.com/ja/about