BenchLeader

方法说明

BenchLeader 是一个聚合平台。它不运行模型,不编写提示词,也不给答案打分。它每天抓取一次第三方评测方和竞技场公布的结果,把它们对同一模型使用的不同名称统一起来,再把结果并排展示。名字已经说明了一切:所有基准测试,汇成一个排行榜。单个排行榜无法告诉你一个模型的真实水平,只有把它们放在一起看,全貌才会清晰。

什么算作结果

  • 由第三方评测方或众包竞技场公布。 发布文章中的分数从不进入任何排名或基准测试排行榜。只有在尚无第三方来源时,少数规格(标价、上下文窗口、首次回答时间)可能取自厂商,并标注为“厂商自报”;模型页面上少量厂商自行测得的分数也同样标注。
  • 来源处可供机器读取:发布方维护的 CSV、JSON 或数据集。我们不从网页图表中抓取数据。
  • 可追溯:本站每个数值都链接到其出处页面,发布方的许可协议注明在来源列表中。

一个模型,多个名称

GPT-5 (high)、openai/gpt-5、gpt-5-2025-08-07 和 gpt-5_high 是同一个模型在不同配置下的评测。标签会被归一为一个 slug,其中描述的是某次运行而非另一个模型的部分(推理强度、思考预算、带日期的快照、脚手架、量化)会被拆出来,作为该次运行的变体。然后再用 slug 去匹配人工维护的别名登记表。无法识别的名称会自动成为临时模型,因此新模型会在排行榜收录它的当天出现在本站。

当某个来源列出同一模型的多次运行时,模型页面会显示最好的结果,并列出其余结果。对质量基准测试而言,取最高分;对价格和速度而言,有官方提供商时取其数值,否则取各提供商的中位数。

BenchLeader Index

各基准测试使用的量表互不兼容:百分比、Elo 式评分、上限各不相同的综合指标。为了合并它们,每项基准测试的分数会在其评测过的所有模型之间标准化:总体平均值记为 50,一个标准差记为 15 分,并在 ±3 个标准差处截断。只有评测模型不少于 5 个的基准测试才会被标准化。

标准化后的分数按下表的权重在各类别内取平均。BenchLeader Index 是一个配置各类别得分的平均值,并按 n/(n+3) 向 50 收缩,其中 n 是其背后的结果数量。有 6 个结果时保留与平均值距离的三分之二,12 个时保留五分之四,30 个时保留十分之九以上。这样可以防止只在少数有利排行榜上运行过的配置排在处处都测过的配置之前。一个配置至少要在两个类别的 5 项基准测试上有结果,才能获得 Index。已饱和、范围较窄或与其他排行榜高度重叠的基准测试,权重减半。

类别基准测试(权重)
推理GPQA Diamond(1.0)、Humanity's Last Exam(1.0)、SimpleBench(1.0)、Arena Hard Prompts(0.5)、HLE-Diamond (AA)(1.0)、EnigmaEval(0.5)、Kagi LLM Benchmark(0.5)、ARC-AGI-1(0.5)、ARC-AGI-2(1.0)、ARC-AGI-3(0.5)、CritPt v2 hard subset (AA)(1.0)
数学FrontierMath Tiers 1–3(1.0)、FrontierMath Tier 4(0.5)、OTIS Mock AIME(0.5)、MATH Level 5(0.5)、ProofBench(0.5)、AIME (Vals)(0.5)、MGSM(0.5)、AIME 2026(1.0)、HMMT February 2026(1.0)、IMO 2025(0.5)、MathArena Apex(0.5)、Omni-MATH (HELM)(1.0)、Arena Maths(1.0)
编程SWE-bench Verified (Epoch)(0.5)、SciCode(0.5)、WeirdML(0.5)、FrontierCode(0.5)、GSO-Bench(0.5)、Arena Coding(0.5)、Arena WebDev(1.0)、LiveCodeBench(1.0)、IOI(0.5)、SWE-Bench Pro(1.0)、Aider Polyglot(1.0)、SWE-bench Verified (bash only)(1.0)、FrontierCode 2.0 (AA)(1.0)
知识SimpleQA Verified(1.0)、AA-Omniscience v1.1(1.0)、MMLU-Pro(1.0)、LegalBench(0.5)、CorpFin(0.5)、TaxEval(0.5)、MedQA(0.5)、PRBench Finance(0.5)、PRBench Legal(0.5)、MultiNRC(0.5)
智能体与工具Terminal-Bench(1.0)、OSWorld-Verified 2.0(0.5)、GDPval(0.5)、Cybench(0.5)、Remote Labor Index(0.5)、APEX-Agents(0.5)、Arena Agent(0.5)、Terminal-Bench Hard(0.5)、Terminal-Bench 2.1 (Vals)(0.5)、MCP Atlas(1.0)、HiL-Bench(0.5)、BFCL Overall(1.0)、τ²-bench(1.0)、τ³-Banking (AA)(1.0)、CWE-Bench (AA)(0.5)、DeepSec-Bench (AA)(0.5)、CyberGym end-to-end (AA)(0.5)
长上下文Fiction.LiveBench 120k(1.0)、AA-LCR v1.1(1.0)
人类偏好Arena Text(1.0)、EQ-Bench 4(0.5)
多模态Arena Vision(1.0)、MMMU-Pro(1.0)、VISTA(1.0)、MMMU (validation)(0.5)
综合LiveBench 2.0(1.0)
指令遵循IFBench(1.0)、MultiChallenge(1.0)、TutorBench(0.5)、IFEval (HELM)(1.0)、WildBench (HELM)(0.5)

已知局限。在每项基准测试内部做标准化,意味着一个模型的分数取决于还有哪些模型在那里参评:只测前沿模型的排行榜会压缩它们之间的差距。只在少数简单基准测试上参评的模型,可能看起来比实际更好;覆盖率一列和“至少 5 个结果”的门槛就是为了让这一点一目了然。Index 只是帮助你把握全局的概览,真正的证据在各项基准测试的表格里。

数据污染。MathArena 和 Scale 都会标注在题目公开之后才参评的模型,因为这些题目可能已经进入了模型的训练数据。在新一届竞赛的排行榜上,大多数模型都属于这种情况:AIME 2026 上 31 个中有 22 个,MASK 上 64 个中有 37 个。这一标注会以发布方的原话显示在基准测试排行榜和模型页面上,但这些分数仍以全额权重计入 Index:如果剔除它们,AIME 2026 上只剩 9 个模型,太少,无法标准化。请把带标注的分数看作上限。

推理强度

同一个模型会在不同的推理强度设置下参评(none、minimal、low、medium、high、xhigh、max,或未说明细节的“thinking”模式),结果可能相差 10 分甚至更多。因此每个设置单独占一行,只依据在该设置下运行的基准测试打分。“默认”表示发布方没有说明所用设置。价格和上下文窗口适用于模型的所有设置;实测速度和首次回答时间则只归属于测量时所用的设置。表格默认显示每个模型得分最高的设置,可切换查看全部设置。

图表默认显示什么

把所有配置都画进散点图会无法阅读,因此图表默认显示前沿集合:在两个坐标轴上都没有被其他模型同时超越的模型、Index 前 8 名,以及横轴每个区间内最好的模型,均选自过去 18 个月内发布、且至少有 8 个结果的配置。前沿模型以紫色显示并用线连接;其他模型为灰色,放得下名称时会加上标签。“前 50 名”和“全部”只需点击一下即可切换。

速度、延迟和价格

标价来自 models.dev 和 LiteLLM 价格表,并与 Artificial Analysis 及 OpenRouter 市场的数据交叉核对。混合价格按每 1 个输出 token 对应 3 个输入 token 计算。输出速度在 Artificial Analysis 覆盖的模型上取其实测中位数,首 token 延迟取自 OpenRouter,其首 token 数据不包含思考阶段;两者在对方缺失时互相补充。OpenRouter 的数值是各正常运行提供商的中位数,按过去 30 分钟的请求量加权。由于这个时间窗口很短,市场数据会取最近 7 次每日读数的中位数加以平滑:一小时的拥堵不会影响模型的数值,而真正的变化(新的提供商、更快的推理栈)会在几天内体现出来。速度仍会随时段和提供商而变化,请把它当作典型值,而非保证值。

每项任务的估算

用 5 种有代表性的工作负载,把每百万 token 的价格换算成便于做预算的数字:

  • 聊天回复:一次简短的助手回复:输入 400 个 token 的上下文,输出 300 个 token。
  • 总结一份 30 页的报告:输入 12,000 个 token 的文档,输出 600 个 token 的摘要。
  • 代码编辑:输入 6,000 个 token 的文件和指令,输出 1,500 个 token 的 diff。
  • 智能体编程会话:一次长时间的工具调用循环:多轮共输入 60,000 个 token,输出 4,000 个 token。
  • 结构化信息提取:输入 2,000 个 token 的源文本,输出 200 个 token 的 JSON。

成本 = 输入 token 数 × 输入价格 + 输出 token 数 × 输出价格。时间 = 首次回答时间(只有首 token 数据时用首 token 延迟)+ 输出 token 数 ÷ 输出速度。“使用缓存”假设四分之三的输入 token 从提示词缓存中读取,按提供商的缓存读取价格计费,这是反复发送相同上下文的智能体循环中常见的比例。推理 token 和批量定价未纳入计算。

方法版本 1.4

权重、参评条件或公式的任何改动都会改变历史排名,因此方法带有版本号。每当版本变化,趋势线都会根据每一天的快照重新计算,所以同一张图表绝不会混用两种方法。

  • v1.4 (2026年10月29日):排除 Artificial Analysis Intelligence Index:它是 Index 已读取的各排行榜的平均值,若单独算作一个类别,模型能否参与排名就会取决于一家发布方的重跑时间表。Index v5.0 现在有自己的排行榜;v4.3.2 的最后分数保留在原排行榜上,不再更新。
  • v1.3 (2026年10月28日):跟进 Artificial Analysis Index v5:将 FrontierCode 2.0、HLE-Diamond 和 CritPt v2 困难子集加入 Index(各自权重 1)。CritPt 完整排行榜改为参考,以免同一领域被计算两次。AA Progress Index v1 作为参考排行榜发布。
  • v1.2 (2026年9月19日):将 CritPt(推理)、τ²-Bench Banking(智能体)和 LMArena Maths(数学)以权重 1 加入 Index。同一周新增的其余 104 个排行榜仍仅作参考。
  • v1.1 (2026年9月9日):每一行改为“模型 × 推理强度”的配置。Index 按 n/(n+3) 向 50 收缩。加入 Artificial Analysis、Vals AI、MathArena、Scale SEAL、Terminal-Bench、EQ-Bench、MMMU 和 Kagi 的基准测试及其权重。
  • v1.0 (2026年9月8日):首个版本:将每项基准测试的 z 分数映射为 50 ± 15,先在类别内平均,再在类别间平均;至少需要两个类别中的 5 个结果。

更新频率与抓取失败

流水线每 6 小时运行一次,分别于 UTC 04:03、10:03、16:03、22:03 开始。如果某个来源无法抓取,会保留其之前的数值,并在来源列表中标为“过时”,而不是悄无声息地消失。每天的快照都有版本记录,趋势线和每日摘要(英文,也提供 Atom 订阅)都以此为基础。

开放数据

当前排行榜的摘要以文件形式发布,每次更新都会重新生成:前 100 个配置(模型 × 推理强度),包括排名、BenchLeader Index 及其区间、5 个类别得分、标价、输出速度、首次回答时间、数据日期以及每一行的规范页面。

  • /data/leaderboard.json(JSON,附字段说明)
  • /data/leaderboard.csv(CSV,行相同)
  • /llms-full.txt(供语言模型阅读的纯文本摘要:方法、综合及各类别前 20 名、各用途的最佳模型)
  • MCP 服务器(供 Claude、Cursor 等 AI 助手使用:排行榜、模型查询、对比和基准测试,一次回答一个问题)
  • 排名徽章(/badge/<model>.svg,嵌入代码见各模型页面)以及浏览器扩展所用的单模型查询(/lookup?q=):模型在各个最佳大模型排名中的名次、Index、价格、速度和页面链接

BenchLeader 自行计算的数据(BenchLeader Index 及其区间、类别得分和排名)以 CC BY 4.0(https://creativecommons.org/licenses/by/4.0/)授权:商业和非商业用途均可,但须注明出处,即署名“BenchLeader”并链接到 https://www.benchleader.com(或该行的 url)。该授权不涵盖他人的数据,BenchLeader 也不会对其重新授权:标价是厂商自己公布的事实,速度、延迟以及分数背后的基准测试结果仍受各发布方自身条款的约束(每个模型页面都注明了来源,并列在“sources”中;例如 Epoch AI 的 Benchmarking Hub 和 DuelLab GameBench 2 采用 CC BY 4.0)。

以文件形式发布的就只有这些:不包含原始基准测试结果、历史数据或模型登记表。这些内容只留在页面上,每个数值都链接到其发布方;MCP 服务器每次只引用其中少量内容,并附上相同的链接。

常见问题

什么是 BenchLeader Index?
一个 0 到 100 的综合质量分数。每项质量基准测试都经过标准化,使参评模型的平均分为 50、一个标准差为 15 分;先在各类别内对基准测试取平均,再把各类别平均为一个数字。至少需要两个类别中的 5 个结果。
BenchLeader 会自己做评测吗?
不会。BenchLeader 汇总的是 Artificial Analysis、LMArena、Epoch AI、LiveBench、SWE-bench、Vals AI、Scale SEAL 等第三方评测方已经公布的结果。每个分数都链接到其出处页面。发布文章中的分数从不进入任何排名或基准测试排行榜。只有在尚无第三方来源时,少数规格(标价、上下文窗口、首次回答时间)可能取自厂商,并标注为“厂商自报”;模型页面上少量厂商自行测得的分数也同样标注。
为什么同一个模型会出现不止一次?
因为推理强度会改变结果。每一行是一个配置,即某个推理强度设置下的模型,只依据在该设置下测得的结果打分。表格默认显示得分最高的设置,展开后可查看全部设置。
数据多久更新一次?
每 6 小时(UTC 04:03、10:03、16:03、22:03 开始运行)。流水线会重新读取每个数据源(来自 48 家发布方的 285 项基准测试,以及价格和速度列表),保存一份带日期的快照,重新计算 Index 并更新网站。如果某个来源无法获取,会保留其之前的数值并加以标注。
价格和速度是如何测量的?
价格是提供商公布的每百万 token 标价(按每 3 个输入 token 对应 1 个输出 token 混合计算)。输出速度在有数据时取自 Artificial Analysis,否则取 OpenRouter 上各提供商按请求量加权的中位数,并做 7 天平滑。首 token 延迟取自 OpenRouter。
为什么新模型的排名比预期低?
证据不足的分数会向平均值收缩:只有 3 个结果的模型,无法像有 30 个结果的模型那样被有把握地排名。随着更多基准测试公布结果,收缩会逐渐减弱,Index 也会趋于稳定。每个 Index 旁边的 ± 数值表示其各项结果之间的分歧程度。