BenchLeader

WeirdML 排行榜

截至 2026年11月16日,WeirdML 的最高分为 93.6%,由 GPT-6 Astra(OpenAI)取得,领先于 Claude Fable 5.1(92.9%)。共有 159 个模型配置公布了结果(WeirdML,结果日期 2026年9月3日)。WeirdML 提出不寻常的机器学习问题,例如对奇特的合成数据分类,或从古怪的输入格式中学习,无法套用背下来的方法解决。模型必须写出在留出数据上确实有效的训练代码。WeirdML 计入 BenchLeader Index 的编程得分。

要点(截至 2026年11月16日)

  • GPT-6 Astra 以 93.6% 保持 WeirdML 最高分(WeirdML,2026年9月3日)。
  • Claude Fable 5.1 以 92.9% 位列 WeirdML 第二(WeirdML,2026年9月1日)。
  • WeirdML:需要写出可运行训练代码的非常规机器学习任务(WeirdML)。
  • BenchLeader 上有 159 个模型配置公布了 WeirdML 结果(BenchLeader,2026年11月16日)。
  • WeirdML 计入 BenchLeader Index 的编程类别(BenchLeader 方法论)。

需要写出可运行训练代码的非常规机器学习任务。

发布方
WeirdML数据经由 Epoch AI Benchmarking Hub
类别
编程
Index 权重
0.5
模型
159
数据截至
2026年11月16日

CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.

测试内容

WeirdML 提出不寻常的机器学习问题,例如对奇特的合成数据分类,或从古怪的输入格式中学习,无法套用背下来的方法解决。模型必须写出在留出数据上确实有效的训练代码。

评分方式

模型自己的代码在隐藏测试集上达到的准确率,按任务取平均;由基准测试作者运行。

注意事项

任务集小,分数混合了编程能力与机器学习判断力。由于训练过程本身就有波动,不同运行之间的差异较明显。

159 / 159
#
1GPT-6 AstraPro 模式93.6%–2026-09-03
2GPT-6 Astramax93.3%67.32026-09-03
3Claude Fable 5.1max92.9%66.72026-09-01
4GPT-6 Astrahigh92.9%66.32026-09-03
5Claude Fable 5.1high92.3%63.72026-09-01
6Claude Fable 5max91.9%65.12026-06-09
7Claude Opus 5max91.8%65.02026-07-24
8Claude Opus 5high91.6%64.42026-07-24
9GPT-5.6 SolPro 模式89.4%–2026-07-09
10GPT-5.6 Solhigh88.8%63.42026-07-09
11Claude Fable 5high87.8%63.92026-06-09
12GPT-5.6 Solmax87.0%65.32026-07-09
13Claude Opus 586.3%63.22026-07-24
14GPT-5.5xhigh84.9%64.12026-04-23
15Gemini 3.8 Flashhigh84.8%59.42026-09-02
16GPT-5.5high83.9%63.52026-04-23
17Claude Opus 4.8xhigh82.9%–2026-05-28
18Kimi K3max82.6%60.22026-07-16
19GPT-5.3-Codex79.3%–2026-02-05
20GPT-5.6 Terrahigh78.3%56.82026-07-09
21Claude Opus 4.6high78.0%62.52026-02-05
22GPT-5.3-Codexxhigh77.9%62.92026-02-05
23Claude Opus 4.677.9%62.12026-02-05
24GPT-5.4xhigh77.7%63.12026-03-05
25Claude Opus 4.7high76.4%60.02026-04-16
26Claude Opus 4.776.4%63.12026-04-16
27Claude Opus 4.8medium76.0%–2026-05-28
28Claude Opus 4.7max75.5%59.72026-04-16
29GLM 5.3max75.4%58.82026-08-14
30GPT-5.2xhigh72.2%59.92025-12-11
31Gemini 3.1 Pro72.1%59.92026-02-19
32Claude Opus 4.8无推理70.5%–2026-05-28
33GLM 5.2max70.1%58.92026-06-16
34Gemini 3 Pro69.9%60.02025-11-18
35Claude Sonnet 5high68.8%59.02026-06-30
36GLM 5.2high67.3%–2026-06-16
37Grok 4.6high67.3%60.62026-08-12
38GPT-5.5无推理67.2%52.32026-04-23
39DeepSeek V4 Promax66.2%54.72026-08-13
40Claude Sonnet 4.6medium66.1%–2026-02-17
41Claude Opus 4.563.7%57.12025-11-24
42GPT-5.2medium63.4%56.22025-12-11
43DeepSeek V4 Flashmax63.0%56.82026-07-31
44Gemini 3.5 Flashhigh62.6%62.52026-05-19
45Gemini 3 Flash61.6%56.52025-12-17
46GPT-5.6 Lunahigh60.9%54.72026-07-09
47GPT-5.1high60.8%57.52025-11-13
48GPT-5high60.7%58.22025-08-07
49GPT-5 Prohigh60.4%–2025-10-07
50Muse Spark 1.2xhigh60.3%61.52026-08-05
51GPT-5.4 Minihigh60.3%52.02026-03-17
52o3-prohigh58.2%55.92025-06-10
53GPT-5.4无推理57.4%53.02026-03-05
54GPT-5.4 Pro无推理57.4%–2026-03-05
55GLM 5.157.1%55.42026-04-07
56DeepSeek V4 Flashhigh57.0%57.22026-07-31
57Gemini 3.6 Flashhigh56.1%61.02026-07-21
58Kimi K2.655.9%55.12026-04-20
59GPT-5-Codexhigh54.5%58.62025-09-15
60GPT-5-Codex54.5%–2025-09-15

更多编程基准测试 · 全部大模型基准测试

引用格式:BenchLeader,《WeirdML 排行榜》,数据截至 2026年11月16日,https://www.benchleader.com/zh/benchmarks/weirdml。

WeirdML:常见问题

WeirdML 衡量的是什么?
WeirdML 提出不寻常的机器学习问题,例如对奇特的合成数据分类,或从古怪的输入格式中学习,无法套用背下来的方法解决。模型必须写出在留出数据上确实有效的训练代码。分数以完成任务的百分比表示,越高越好。
WeirdML 的最高分是多少?
截至 2026年11月16日,WeirdML 的最高分为 93.6%,由 GPT-6 Astra 取得(结果日期 2026年9月3日),领先于 Claude Fable 5.1(92.9%)。分数来自 WeirdML,每天重新读取。
哪个 AI 模型在 WeirdML 上领先?
截至 2026年11月16日,WeirdML 排名第一的是 GPT-6 Astra,分数为 93.6%(结果日期 2026年9月3日)。其后为 Claude Fable 5.1(92.9%)。
有多少模型有 WeirdML 结果?
BenchLeader 上有 159 个模型配置有 WeirdML 结果,全部取自 WeirdML(经由 Epoch AI Benchmarking Hub)。
WeirdML 由谁运行,多久更新一次?
WeirdML 由 WeirdML 发布。BenchLeader 每天重新读取一次公布的结果,并记录每个结果的发布日期。
WeirdML 是否计入 BenchLeader Index?
计入。WeirdML 计入 BenchLeader Index 的编程类别,并经过归一化,使参评模型的平均值为 50。