WeirdMLのリーダーボード
2026年11月16日時点で、WeirdMLの最高スコアは93.6%で、GPT-6 Astra(OpenAI)が記録しています。次点はClaude Fable 5.1の92.9%です。公表された結果があるのは159のモデル構成です(WeirdML、結果の日付は2026年9月3日)。WeirdMLは、奇妙な合成データの分類や変わった入力形式からの学習など、覚えた手順では解けない風変わりな機械学習の問題を出します。モデルは、ホールドアウトデータで実際に機能する学習コードを書かなければなりません。WeirdMLはBenchLeader Indexのコーディングスコアに反映されます。
要点(2026年11月16日時点)
- GPT-6 AstraがWeirdMLの最高スコア93.6%を記録しています(WeirdML、2026年9月3日)。
- WeirdMLの2位はClaude Fable 5.1で、92.9%です(WeirdML、2026年9月1日)。
- WeirdML:動く学習コードを書く必要がある、一風変わった機械学習タスク(WeirdML)。
- BenchLeaderでは159のモデル構成にWeirdMLの公表結果があります(BenchLeader、2026年11月16日)。
- WeirdMLはBenchLeader Indexのコーディングカテゴリに反映されます(BenchLeaderの評価方法)。
動く学習コードを書く必要がある、一風変わった機械学習タスク。
- 公開元
- WeirdMLデータ取得元:Epoch AI Benchmarking Hub
- カテゴリ
- コーディング
- Indexでの重み
- 0.5
- モデル
- 159
- データ基準日
- 2026年11月16日
CC BY 4.0 — Epoch AI, ‘AI Benchmarking Hub’, epoch.ai/benchmarks. Mirrored boards credit their original publishers.
どんなテストか
WeirdMLは、奇妙な合成データの分類や変わった入力形式からの学習など、覚えた手順では解けない風変わりな機械学習の問題を出します。モデルは、ホールドアウトデータで実際に機能する学習コードを書かなければなりません。
採点方法
モデル自身が書いたコードが非公開のテストセットで達成した精度を、タスク全体で平均したものです。ベンチマークの作成者が実行しています。
注意点
タスクの数が少なく、スコアにはコーディング力と機械学習の判断力が混ざっています。学習の実行自体にばらつきがあるため、実行ごとの差も目立ちます。
- 1GPT-6 Astra (pro)93.6%
- 2GPT-6 Astra (max)93.3%
- 3Claude Fable 5.1 (max)92.9%
- 4GPT-6 Astra (high)92.9%
- 5Claude Fable 5.1 (high)92.3%
- 6Claude Fable 5 (max)91.9%
- 7Claude Opus 5 (max)91.8%
- 8Claude Opus 5 (high)91.6%
- 9GPT-5.6 Sol (pro)89.4%
- 10GPT-5.6 Sol (high)88.8%
- 11Claude Fable 5 (high)87.8%
- 12GPT-5.6 Sol (max)87.0%
- 13Claude Opus 586.3%
- 14GPT-5.5 (xhigh)84.9%
- 15Gemini 3.8 Flash (high)84.8%
| # | ||||
|---|---|---|---|---|
| 1 | 93.6% | – | 2026-09-03 | |
| 2 | 93.3% | 67.3 | 2026-09-03 | |
| 3 | 92.9% | 66.7 | 2026-09-01 | |
| 4 | 92.9% | 66.3 | 2026-09-03 | |
| 5 | 92.3% | 63.7 | 2026-09-01 | |
| 6 | 91.9% | 65.1 | 2026-06-09 | |
| 7 | 91.8% | 65.0 | 2026-07-24 | |
| 8 | 91.6% | 64.4 | 2026-07-24 | |
| 9 | 89.4% | – | 2026-07-09 | |
| 10 | 88.8% | 63.4 | 2026-07-09 | |
| 11 | 87.8% | 63.9 | 2026-06-09 | |
| 12 | 87.0% | 65.3 | 2026-07-09 | |
| 13 | 86.3% | 63.2 | 2026-07-24 | |
| 14 | 84.9% | 64.1 | 2026-04-23 | |
| 15 | 84.8% | 59.4 | 2026-09-02 | |
| 16 | 83.9% | 63.5 | 2026-04-23 | |
| 17 | 82.9% | – | 2026-05-28 | |
| 18 | 82.6% | 60.2 | 2026-07-16 | |
| 19 | 79.3% | – | 2026-02-05 | |
| 20 | 78.3% | 56.8 | 2026-07-09 | |
| 21 | 78.0% | 62.5 | 2026-02-05 | |
| 22 | 77.9% | 62.9 | 2026-02-05 | |
| 23 | 77.9% | 62.1 | 2026-02-05 | |
| 24 | 77.7% | 63.1 | 2026-03-05 | |
| 25 | 76.4% | 60.0 | 2026-04-16 | |
| 26 | 76.4% | 63.1 | 2026-04-16 | |
| 27 | 76.0% | – | 2026-05-28 | |
| 28 | 75.5% | 59.7 | 2026-04-16 | |
| 29 | 75.4% | 58.8 | 2026-08-14 | |
| 30 | 72.2% | 59.9 | 2025-12-11 | |
| 31 | 72.1% | 59.9 | 2026-02-19 | |
| 32 | 70.5% | – | 2026-05-28 | |
| 33 | 70.1% | 58.9 | 2026-06-16 | |
| 34 | 69.9% | 60.0 | 2025-11-18 | |
| 35 | 68.8% | 59.0 | 2026-06-30 | |
| 36 | 67.3% | – | 2026-06-16 | |
| 37 | 67.3% | 60.6 | 2026-08-12 | |
| 38 | 67.2% | 52.3 | 2026-04-23 | |
| 39 | 66.2% | 54.7 | 2026-08-13 | |
| 40 | 66.1% | – | 2026-02-17 | |
| 41 | 63.7% | 57.1 | 2025-11-24 | |
| 42 | 63.4% | 56.2 | 2025-12-11 | |
| 43 | 63.0% | 56.8 | 2026-07-31 | |
| 44 | 62.6% | 62.5 | 2026-05-19 | |
| 45 | 61.6% | 56.5 | 2025-12-17 | |
| 46 | 60.9% | 54.7 | 2026-07-09 | |
| 47 | 60.8% | 57.5 | 2025-11-13 | |
| 48 | 60.7% | 58.2 | 2025-08-07 | |
| 49 | 60.4% | – | 2025-10-07 | |
| 50 | 60.3% | 61.5 | 2026-08-05 | |
| 51 | 60.3% | 52.0 | 2026-03-17 | |
| 52 | 58.2% | 55.9 | 2025-06-10 | |
| 53 | 57.4% | 53.0 | 2026-03-05 | |
| 54 | 57.4% | – | 2026-03-05 | |
| 55 | 57.1% | 55.4 | 2026-04-07 | |
| 56 | 57.0% | 57.2 | 2026-07-31 | |
| 57 | 56.1% | 61.0 | 2026-07-21 | |
| 58 | 55.9% | 55.1 | 2026-04-20 | |
| 59 | 54.5% | 58.6 | 2025-09-15 | |
| 60 | 54.5% | – | 2025-09-15 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
WeirdMLでの注目のモデル比較
引用表記:BenchLeader「WeirdMLのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/weirdml
WeirdML:よくある質問
- WeirdMLは何を測るベンチマークですか?
- WeirdMLは、奇妙な合成データの分類や変わった入力形式からの学習など、覚えた手順では解けない風変わりな機械学習の問題を出します。モデルは、ホールドアウトデータで実際に機能する学習コードを書かなければなりません。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- WeirdMLの最高スコアは?
- 2026年11月16日時点で、WeirdMLの最高スコアは93.6%で、GPT-6 Astraが記録しています(結果の日付は2026年9月3日)。次点はClaude Fable 5.1の92.9%です。スコアはWeirdMLの公表値で、毎日読み直しています。
- WeirdMLでトップのAIモデルは?
- 2026年11月16日時点で、WeirdMLの首位はGPT-6 Astraで、スコアは93.6%です(結果の日付は2026年9月3日)。続いてClaude Fable 5.1(92.9%)です。
- WeirdMLの結果があるモデルはいくつですか?
- BenchLeaderでは159のモデル構成にWeirdMLの結果があり、すべてWeirdML(Epoch AI Benchmarking Hub経由)から取得しています。
- WeirdMLを運営しているのは誰で、どのくらいの頻度で更新されますか?
- WeirdMLはWeirdMLが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- WeirdMLはBenchLeader Indexに含まれますか?
- はい。WeirdMLはBenchLeader Indexのコーディングカテゴリに反映され、評価対象モデルの平均が50になるよう正規化されています。