BrokenArXivのリーダーボード
2026年11月16日時点で、BrokenArXivの最高スコアは84.4%で、Gemini 4 Carbon(Google)が記録しています。次点はGPT-6.1 Solの83.1%です。公表された結果があるのは8のモデル構成です(MathArena)。最近のarXiv論文の命題を少しだけ変えて偽にしたもの。「証明」せずに誤りを指摘できれば得点。MathArena。参考表示です(対象モデルがまだ少ないため)。BrokenArXivは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Gemini 4 CarbonがBrokenArXivの最高スコア84.4%を記録しています(MathArena、2026年11月16日)。
- BrokenArXivの2位はGPT-6.1 Solで、83.1%です(MathArena、2026年11月16日)。
- BrokenArXiv:最近のarXiv論文の命題を少しだけ変えて偽にしたもの。「証明」せずに誤りを指摘できれば得点。MathArena。参考表示です(対象モデルがまだ少ないため)(MathArena)。
- BenchLeaderでは8のモデル構成にBrokenArXivの公表結果があります(BenchLeader、2026年11月16日)。
- BrokenArXivはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
最近のarXiv論文の命題を少しだけ変えて偽にしたもの。「証明」せずに誤りを指摘できれば得点。MathArena。参考表示です(対象モデルがまだ少ないため)。
- 公開元
- MathArena
- カテゴリ
- 数学
- Indexでの重み
- 参考のみ
- モデル
- 8
- データ基準日
- 2026年11月16日
MIT — eth-sri/matharena.
- 1Gemini 4 Carbon (high)84.4%
- 2GPT-6.1 Sol (max)83.1%
- 3Claude Opus 5.5 (high)77.3%
- 4Inkling 2 Small63.2%
- 5Kimi K3.1 Pro (max)61.9%
- 6DeepSeek V4.1 Flash 1017 (max)48.7%
- 7Gemini 4 Argon (high)47.9%
- 8Muse Spark Open (xhigh)30.1%
8件中8件
| # | |||||
|---|---|---|---|---|---|
| 1 | 84.4% | 68.9 | $16.35 | 540k | |
| 2 | 83.1% | 66.6 | $1.14 | 80k | |
| 3 | 77.3% | 66.0 | $2.66 | 86k | |
| 4 | 63.2% | 57.9 | $0.220 | 128k | |
| 5 | 61.9% | 59.9 | $2.35 | 125k | |
| 6 | 48.7% | 57.7 | $0.290 | 184k | |
| 7 | 47.9% | 65.3 | $9.55 | 524k | |
| 8 | 30.1% | 53.5 | $0.450 | 56k |
関連するベンチマーク
BrokenArXivでの注目のモデル比較
引用表記:BenchLeader「BrokenArXivのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/matharena_brokenarxiv
BrokenArXiv:よくある質問
- BrokenArXivは何を測るベンチマークですか?
- 最近のarXiv論文の命題を少しだけ変えて偽にしたもの。「証明」せずに誤りを指摘できれば得点。MathArena。参考表示です(対象モデルがまだ少ないため)。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- BrokenArXivの最高スコアは?
- 2026年11月16日時点で、BrokenArXivの最高スコアは84.4%で、Gemini 4 Carbonが記録しています。次点はGPT-6.1 Solの83.1%です。スコアはMathArenaの公表値で、毎日読み直しています。
- BrokenArXivでトップのAIモデルは?
- 2026年11月16日時点で、BrokenArXivの首位はGemini 4 Carbonで、スコアは84.4%です。続いてGPT-6.1 Sol(83.1%)です。
- BrokenArXivの結果があるモデルはいくつですか?
- BenchLeaderでは8のモデル構成にBrokenArXivの結果があり、すべてMathArenaから取得しています。
- BrokenArXivを運営しているのは誰で、どのくらいの頻度で更新されますか?
- BrokenArXivはMathArenaが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- BrokenArXivはBenchLeader Indexに含まれますか?
- いいえ。BrokenArXivは参考として掲載していますが、総合スコアには含めていません。