Autoform-Hardのリーダーボード
2026年11月19日時点で、Autoform-Hardの最高スコアは87.5%で、GPT-6.2 Astra(OpenAI)が記録しています。次点はClaude Fable 5.2の85.7%です。公表された結果があるのは8のモデル構成です(Vals AI、結果の日付は2026年11月18日)。大学院・研究レベルの数学をLean 4で形式化するタスク。AutoformBenchで最も難しい56問を使い、証明はクリーンな環境で再ビルドして検証。Vals AIが実施。Autoform-Hardは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月19日時点)
- GPT-6.2 AstraがAutoform-Hardの最高スコア87.5%を記録しています(Vals AI、2026年11月18日)。
- Autoform-Hardの2位はClaude Fable 5.2で、85.7%です(Vals AI、2026年11月18日)。
- Autoform-Hard:大学院・研究レベルの数学をLean 4で形式化するタスク。AutoformBenchで最も難しい56問を使い、証明はクリーンな環境で再ビルドして検証。Vals AIが実施(Vals AI)。
- BenchLeaderでは8のモデル構成にAutoform-Hardの公表結果があります(BenchLeader、2026年11月19日)。
- Autoform-HardはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
大学院・研究レベルの数学をLean 4で形式化するタスク。AutoformBenchで最も難しい56問を使い、証明はクリーンな環境で再ビルドして検証。Vals AIが実施。
- 公開元
- Vals AI
- カテゴリ
- 数学
- Indexでの重み
- 参考のみ
- モデル
- 8
- データ基準日
- 2026年11月19日
Vals AI (vals.ai).
- 1GPT-6.2 Astra (max)87.5%
- 2Claude Fable 5.2 (high)85.7%
- 3GPT-6.2 Sol (max)85.7%
- 4Gemini 4 Carbon (high)71.4%
- 5Gemini 4 Hydrogen (xhigh)64.3%
- 6Gemini 4 Argon (high)48.2%
- 7Beam 1.00.0%
- 8MiniMax M3.1 Flash (max)0.0%
8件中8件
| # | |||||
|---|---|---|---|---|---|
| 1 | NEW | 87.5% | 68.9 | $15.24 | 2026-11-18 |
| 2 | 85.7% | 67.3 | $23.21 | 2026-11-18 | |
| 3 | NEW | 85.7% | 64.6 | $8.09 | 2026-11-18 |
| 4 | 71.4% | 68.0 | $12.38 | 2026-11-18 | |
| 5 | NEW | 64.3% | 63.6 | $23.25 | 2026-11-18 |
| 6 | 48.2% | 64.6 | $25.74 | 2026-11-18 | |
| 7 | 0.0% | 45.1 | – | 2026-11-18 | |
| 8 | 0.0% | – | $4.29 | 2026-11-18 |
関連するベンチマーク
Autoform-Hardでの注目のモデル比較
引用表記:BenchLeader「Autoform-Hardのリーダーボード」2026年11月19日時点のデータ、https://www.benchleader.com/ja/benchmarks/vals_autoform_hard
Autoform-Hard:よくある質問
- Autoform-Hardは何を測るベンチマークですか?
- 大学院・研究レベルの数学をLean 4で形式化するタスク。AutoformBenchで最も難しい56問を使い、証明はクリーンな環境で再ビルドして検証。Vals AIが実施。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- Autoform-Hardの最高スコアは?
- 2026年11月19日時点で、Autoform-Hardの最高スコアは87.5%で、GPT-6.2 Astraが記録しています(結果の日付は2026年11月18日)。次点はClaude Fable 5.2の85.7%です。スコアはVals AIの公表値で、毎日読み直しています。
- Autoform-HardでトップのAIモデルは?
- 2026年11月19日時点で、Autoform-Hardの首位はGPT-6.2 Astraで、スコアは87.5%です(結果の日付は2026年11月18日)。続いてClaude Fable 5.2(85.7%)です。
- Autoform-Hardの結果があるモデルはいくつですか?
- BenchLeaderでは8のモデル構成にAutoform-Hardの結果があり、すべてVals AIから取得しています。
- Autoform-Hardを運営しているのは誰で、どのくらいの頻度で更新されますか?
- Autoform-HardはVals AIが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- Autoform-HardはBenchLeader Indexに含まれますか?
- いいえ。Autoform-Hardは参考として掲載していますが、総合スコアには含めていません。