SciPredictのリーダーボード
2026年11月16日時点で、SciPredictの最高スコアは25.3%で、Gemini 3 Pro(Google)が記録しています。次点はClaude Opus 4.5の23.1%です。公表された結果があるのは15のモデル構成です(Scale AI SEAL、結果の日付は2026年1月14日)。文献にある実験の設定を与え、モデルに結果を予測させ、論文で得られた結果と照らして採点します。SciPredictは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Gemini 3 ProがSciPredictの最高スコア25.3%を記録しています(Scale AI SEAL、2026年1月14日)。
- SciPredictの2位はClaude Opus 4.5で、23.1%です(Scale AI SEAL、2026年1月14日)。
- SciPredict:科学実験の結果を、実験の前に予測するタスク。Scale AI(Scale AI SEAL)。
- BenchLeaderでは15のモデル構成にSciPredictの公表結果があります(BenchLeader、2026年11月16日)。
- SciPredictはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
科学実験の結果を、実験の前に予測するタスク。Scale AI。
- カテゴリ
- 推論
- Indexでの重み
- 参考のみ
- モデル
- 15
- データ基準日
- 2026年11月16日
Scale AI SEAL Leaderboards.
どんなテストか
文献にある実験の設定を与え、モデルに結果を予測させ、論文で得られた結果と照らして採点します。
採点方法
正答率で、Scale AIが公表しています。
注意点
科学的な直感を試すテストです。発表済みの実験なので、データ汚染の可能性があります。
- 1Gemini 3 Pro25.3%
- 2Claude Opus 4.523.1%
- 3Claude Sonnet 4.522.6%
- 4Gemini 3 Flash22.2%
- 5Claude Opus 4.122.2%
- 6GPT-5.220.6%
- 7o3-mini19.8%
- 8DeepSeek V319.2%
- 9Llama 3.3 70B18.2%
- 10o317.9%
- 11Gemini 2.5 Pro17.0%
- 12Qwen3 32B17.0%
- 13Qwen3 235B A22B16.6%
- 14o4-mini16.2%
- 15Llama 3.1 8B14.7%
15件中15件
| # | ||||
|---|---|---|---|---|
| 1 | 25.3% | 60.0 | 2026-01-14 | |
| 2 | 23.1% | 57.1 | 2026-01-14 | |
| 3 | 22.6% | 53.8 | 2026-01-14 | |
| 4 | 22.2% | 56.5 | 2026-01-14 | |
| 5 | 22.2% | 51.1 | 2026-01-14 | |
| 6 | 20.6% | 56.7 | 2026-01-14 | |
| 7 | 19.8% | 50.2 | 2026-01-14 | |
| 8 | 19.2% | 44.3 | 2026-01-14 | |
| 9 | 18.2% | 39.9 | 2026-01-14 | |
| 10 | 17.9% | 60.4 | 2026-01-14 | |
| 11 | 17.0% | 55.2 | 2026-01-14 | |
| 12 | 17.0% | 51.2 | 2026-01-14 | |
| 13 | 16.6% | 50.1 | 2026-01-14 | |
| 14 | 16.2% | 55.2 | 2026-01-14 | |
| 15 | 14.7% | 33.0 | 2026-01-14 |
関連するベンチマーク
引用表記:BenchLeader「SciPredictのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_scipredict
SciPredict:よくある質問
- SciPredictは何を測るベンチマークですか?
- 文献にある実験の設定を与え、モデルに結果を予測させ、論文で得られた結果と照らして採点します。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SciPredictの最高スコアは?
- 2026年11月16日時点で、SciPredictの最高スコアは25.3%で、Gemini 3 Proが記録しています(結果の日付は2026年1月14日)。次点はClaude Opus 4.5の23.1%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
- SciPredictでトップのAIモデルは?
- 2026年11月16日時点で、SciPredictの首位はGemini 3 Proで、スコアは25.3%です(結果の日付は2026年1月14日)。続いてClaude Opus 4.5(23.1%)です。
- SciPredictの結果があるモデルはいくつですか?
- BenchLeaderでは15のモデル構成にSciPredictの結果があり、すべてScale AI SEALから取得しています。
- SciPredictを運営しているのは誰で、どのくらいの頻度で更新されますか?
- SciPredictはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SciPredictはBenchLeader Indexに含まれますか?
- いいえ。SciPredictは参考として掲載していますが、総合スコアには含めていません。