BenchLeader

WeirdMLのリーダーボード

2026年11月16日時点で、WeirdMLの最高スコアは93.6%で、GPT-6 Astra(OpenAI)が記録しています。次点はClaude Fable 5.1の92.9%です。公表された結果があるのは159のモデル構成です(WeirdML、結果の日付は2026年9月3日)。WeirdMLは、奇妙な合成データの分類や変わった入力形式からの学習など、覚えた手順では解けない風変わりな機械学習の問題を出します。モデルは、ホールドアウトデータで実際に機能する学習コードを書かなければなりません。WeirdMLはBenchLeader Indexのコーディングスコアに反映されます。

要点(2026年11月16日時点)

  • GPT-6 AstraがWeirdMLの最高スコア93.6%を記録しています(WeirdML、2026年9月3日)。
  • WeirdMLの2位はClaude Fable 5.1で、92.9%です(WeirdML、2026年9月1日)。
  • WeirdML:動く学習コードを書く必要がある、一風変わった機械学習タスク(WeirdML)。
  • BenchLeaderでは159のモデル構成にWeirdMLの公表結果があります(BenchLeader、2026年11月16日)。
  • WeirdMLはBenchLeader Indexのコーディングカテゴリに反映されます(BenchLeaderの評価方法)。

動く学習コードを書く必要がある、一風変わった機械学習タスク。

公開元
WeirdMLデータ取得元:Epoch AI Benchmarking Hub
カテゴリ
コーディング
Indexでの重み
0.5
モデル
159
データ基準日
2026年11月16日

CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.

どんなテストか

WeirdMLは、奇妙な合成データの分類や変わった入力形式からの学習など、覚えた手順では解けない風変わりな機械学習の問題を出します。モデルは、ホールドアウトデータで実際に機能する学習コードを書かなければなりません。

採点方法

モデル自身が書いたコードが非公開のテストセットで達成した精度を、タスク全体で平均したものです。ベンチマークの作成者が実行しています。

注意点

タスクの数が少なく、スコアにはコーディング力と機械学習の判断力が混ざっています。学習の実行自体にばらつきがあるため、実行ごとの差も目立ちます。

159件中159件
#
1GPT-6 AstraProモード93.6%–2026-09-03
2GPT-6 Astramax93.3%67.32026-09-03
3Claude Fable 5.1max92.9%66.72026-09-01
4GPT-6 Astrahigh92.9%66.32026-09-03
5Claude Fable 5.1high92.3%63.72026-09-01
6Claude Fable 5max91.9%65.12026-06-09
7Claude Opus 5max91.8%65.02026-07-24
8Claude Opus 5high91.6%64.42026-07-24
9GPT-5.6 SolProモード89.4%–2026-07-09
10GPT-5.6 Solhigh88.8%63.42026-07-09
11Claude Fable 5high87.8%63.92026-06-09
12GPT-5.6 Solmax87.0%65.32026-07-09
13Claude Opus 586.3%63.22026-07-24
14GPT-5.5xhigh84.9%64.12026-04-23
15Gemini 3.8 Flashhigh84.8%59.42026-09-02
16GPT-5.5high83.9%63.52026-04-23
17Claude Opus 4.8xhigh82.9%–2026-05-28
18Kimi K3max82.6%60.22026-07-16
19GPT-5.3-Codex79.3%–2026-02-05
20GPT-5.6 Terrahigh78.3%56.82026-07-09
21Claude Opus 4.6high78.0%62.52026-02-05
22GPT-5.3-Codexxhigh77.9%62.92026-02-05
23Claude Opus 4.677.9%62.12026-02-05
24GPT-5.4xhigh77.7%63.12026-03-05
25Claude Opus 4.7high76.4%60.02026-04-16
26Claude Opus 4.776.4%63.12026-04-16
27Claude Opus 4.8medium76.0%–2026-05-28
28Claude Opus 4.7max75.5%59.72026-04-16
29GLM 5.3max75.4%58.82026-08-14
30GPT-5.2xhigh72.2%59.92025-12-11
31Gemini 3.1 Pro72.1%59.92026-02-19
32Claude Opus 4.8推論なし70.5%–2026-05-28
33GLM 5.2max70.1%58.92026-06-16
34Gemini 3 Pro69.9%60.02025-11-18
35Claude Sonnet 5high68.8%59.02026-06-30
36GLM 5.2high67.3%–2026-06-16
37Grok 4.6high67.3%60.62026-08-12
38GPT-5.5推論なし67.2%52.32026-04-23
39DeepSeek V4 Promax66.2%54.72026-08-13
40Claude Sonnet 4.6medium66.1%–2026-02-17
41Claude Opus 4.563.7%57.12025-11-24
42GPT-5.2medium63.4%56.22025-12-11
43DeepSeek V4 Flashmax63.0%56.82026-07-31
44Gemini 3.5 Flashhigh62.6%62.52026-05-19
45Gemini 3 Flash61.6%56.52025-12-17
46GPT-5.6 Lunahigh60.9%54.72026-07-09
47GPT-5.1high60.8%57.52025-11-13
48GPT-5high60.7%58.22025-08-07
49GPT-5 Prohigh60.4%–2025-10-07
50Muse Spark 1.2xhigh60.3%61.52026-08-05
51GPT-5.4 Minihigh60.3%52.02026-03-17
52o3-prohigh58.2%55.92025-06-10
53GPT-5.4推論なし57.4%53.02026-03-05
54GPT-5.4 Pro推論なし57.4%–2026-03-05
55GLM 5.157.1%55.42026-04-07
56DeepSeek V4 Flashhigh57.0%57.22026-07-31
57Gemini 3.6 Flashhigh56.1%61.02026-07-21
58Kimi K2.655.9%55.12026-04-20
59GPT-5-Codexhigh54.5%58.62025-09-15
60GPT-5-Codex54.5%–2025-09-15

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「WeirdMLのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/weirdml

WeirdML:よくある質問

WeirdMLは何を測るベンチマークですか?
WeirdMLは、奇妙な合成データの分類や変わった入力形式からの学習など、覚えた手順では解けない風変わりな機械学習の問題を出します。モデルは、ホールドアウトデータで実際に機能する学習コードを書かなければなりません。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
WeirdMLの最高スコアは?
2026年11月16日時点で、WeirdMLの最高スコアは93.6%で、GPT-6 Astraが記録しています(結果の日付は2026年9月3日)。次点はClaude Fable 5.1の92.9%です。スコアはWeirdMLの公表値で、毎日読み直しています。
WeirdMLでトップのAIモデルは?
2026年11月16日時点で、WeirdMLの首位はGPT-6 Astraで、スコアは93.6%です(結果の日付は2026年9月3日)。続いてClaude Fable 5.1(92.9%)です。
WeirdMLの結果があるモデルはいくつですか?
BenchLeaderでは159のモデル構成にWeirdMLの結果があり、すべてWeirdML(Epoch AI Benchmarking Hub経由)から取得しています。
WeirdMLを運営しているのは誰で、どのくらいの頻度で更新されますか?
WeirdMLはWeirdMLが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
WeirdMLはBenchLeader Indexに含まれますか?
はい。WeirdMLはBenchLeader Indexのコーディングカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。