CaseLaw v2のリーダーボード
2026年11月16日時点で、CaseLaw v2の最高スコアは79.3%で、Grok 4.3(SpaceXAI)が記録しています。次点はGPT-5.1の73.4%です。公表された結果があるのは53のモデル構成です(Vals AI、結果の日付は2026年5月4日)。弁護士が作成した、カナダの裁判所の判決に関する質問で、判例を読んで当てはめることが求められます。CaseLaw v2は参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Grok 4.3がCaseLaw v2の最高スコア79.3%を記録しています(Vals AI、2026年5月4日)。
- CaseLaw v2の2位はGPT-5.1で、73.4%です(Vals AI、2026年5月4日)。
- CaseLaw v2:カナダの裁判例についての質問。Vals AIが実施(Vals AI)。
- BenchLeaderでは53のモデル構成にCaseLaw v2の公表結果があります(BenchLeader、2026年11月16日)。
- CaseLaw v2はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
カナダの裁判例についての質問。Vals AIが実施。
- 公開元
- Vals AI
- カテゴリ
- 知識
- Indexでの重み
- 参考のみ
- モデル
- 53
- データ基準日
- 2026年11月16日
Vals AI (vals.ai).
どんなテストか
弁護士が作成した、カナダの裁判所の判決に関する質問で、判例を読んで当てはめることが求められます。
採点方法
正答率で、Vals AIが実行しています。
注意点
カナダに特化しており、米国中心のLegalBenchを補完します。
- 1Grok 4.379.3%
- 2GPT-5.1 (high)73.4%
- 3GPT-4.1 (high)69.9%
- 4GPT-5 mini (high)68.5%
- 5Claude Opus 4.768.4%
- 6GPT-5 (high)66.5%
- 7GPT-5.5 (xhigh)66.2%
- 8GPT-5.2 (xhigh)66.0%
- 9Grok 465.8%
- 10Kimi K2 Thinking (thinking)65.7%
- 11Grok 4 Fast (thinking)65.7%
- 12Gemini 3.1 Pro (high)64.8%
- 13Command A64.5%
- 14Claude Sonnet 4.664.0%
- 15Gemini 2.5 Pro63.9%
53件中53件
| # | |||||
|---|---|---|---|---|---|
| 1 | 79.3% | 54.5 | $0.040 | 2026-05-04 | |
| 2 | 73.4% | 57.5 | $0.043 | 2026-05-04 | |
| 3 | 69.9% | 46.6 | $0.047 | 2026-05-04 | |
| 4 | 68.5% | 54.6 | $0.011 | 2026-05-04 | |
| 5 | 68.4% | 63.1 | $0.162 | 2026-05-04 | |
| 6 | 66.5% | 58.2 | $0.067 | 2026-05-04 | |
| 7 | 66.2% | 64.1 | $0.155 | 2026-05-04 | |
| 8 | 66.0% | 59.9 | $0.104 | 2026-05-04 | |
| 9 | 65.8% | 58.1 | $0.159 | 2026-05-04 | |
| 10 | 65.7% | 52.3 | $0.015 | 2026-05-04 | |
| 11 | 65.7% | 51.6 | $0.0073 | 2026-05-04 | |
| 12 | 64.8% | 60.4 | $0.136 | 2026-05-04 | |
| 13 | 64.5% | 42.1 | $0.098 | 2026-05-04 | |
| 14 | 64.0% | 57.6 | $0.145 | 2026-05-04 | |
| 15 | 63.9% | 55.2 | $0.257 | 2026-05-04 | |
| 16 | 63.8% | 63.1 | $0.101 | 2026-05-04 | |
| 17 | 63.1% | 64.2 | $0.0065 | 2026-05-04 | |
| 18 | 62.6% | 59.3 | $0.229 | 2026-05-04 | |
| 19 | 62.2% | 52.3 | $0.256 | 2026-05-04 | |
| 20 | 62.1% | – | $0.231 | 2026-05-04 | |
| 21 | 61.4% | 45.1 | $0.019 | 2026-05-04 | |
| 22 | 61.2% | 55.1 | $0.026 | 2026-05-04 | |
| 23 | 60.9% | 56.6 | $0.0031 | 2026-05-04 | |
| 24 | 60.5% | 55.3 | $0.011 | 2026-05-04 | |
| 25 | 59.7% | 57.4 | $0.030 | 2026-05-04 | |
| 26 | 59.7% | 41.6 | $0.067 | 2026-05-04 | |
| 27 | 59.4% | 54.7 | $0.013 | 2026-05-04 | |
| 28 | 58.7% | 59.4 | $0.025 | 2026-05-04 | |
| 29 | 57.9% | 47.0 | $0.0089 | 2026-05-04 | |
| 30 | 56.5% | 45.7 | $0.050 | 2026-05-04 | |
| 31 | 56.0% | 51.8 | $0.0049 | 2026-05-04 | |
| 32 | 55.8% | 57.4 | $0.025 | 2026-05-04 | |
| 33 | 55.8% | 53.8 | $0.0080 | 2026-05-04 | |
| 34 | 55.4% | 54.2 | $0.018 | 2026-05-04 | |
| 35 | 55.0% | 54.2 | $0.085 | 2026-05-04 | |
| 36 | 55.0% | 48.4 | $0.0093 | 2026-05-04 | |
| 37 | 54.9% | 51.7 | $0.021 | 2026-05-04 | |
| 38 | 54.5% | 58.3 | $0.068 | 2026-05-04 | |
| 39 | 53.9% | 49.0 | $0.017 | 2026-05-04 | |
| 40 | 53.5% | 53.7 | $0.012 | 2026-05-04 | |
| 41 | 53.2% | 47.9 | $0.024 | 2026-05-04 | |
| 42 | 53.1% | 60.0 | $0.138 | 2026-05-04 | |
| 43 | 52.6% | 47.4 | $0.0042 | 2026-05-04 | |
| 44 | 52.6% | – | – | 2026-05-04 | |
| 45 | 52.5% | 60.2 | $0.034 | 2026-05-04 | |
| 46 | 51.9% | 48.3 | $0.0011 | 2026-05-04 | |
| 47 | 51.7% | 55.1 | $0.041 | 2026-05-04 | |
| 48 | 51.5% | 55.4 | $0.034 | 2026-05-04 | |
| 49 | 51.5% | 59.0 | $0.047 | 2026-05-04 | |
| 50 | 48.8% | 46.1 | $0.0043 | 2026-05-04 | |
| 51 | 47.9% | 62.1 | $0.052 | 2026-05-04 | |
| 52 | 44.2% | – | $0.085 | 2026-05-04 | |
| 53 | 43.8% | 44.5 | $0.0022 | 2026-05-04 |
関連するベンチマーク
CaseLaw v2での注目のモデル比較
引用表記:BenchLeader「CaseLaw v2のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/vals_caselaw
CaseLaw v2:よくある質問
- CaseLaw v2は何を測るベンチマークですか?
- 弁護士が作成した、カナダの裁判所の判決に関する質問で、判例を読んで当てはめることが求められます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- CaseLaw v2の最高スコアは?
- 2026年11月16日時点で、CaseLaw v2の最高スコアは79.3%で、Grok 4.3が記録しています(結果の日付は2026年5月4日)。次点はGPT-5.1の73.4%です。スコアはVals AIの公表値で、毎日読み直しています。
- CaseLaw v2でトップのAIモデルは?
- 2026年11月16日時点で、CaseLaw v2の首位はGrok 4.3で、スコアは79.3%です(結果の日付は2026年5月4日)。続いてGPT-5.1(73.4%)です。
- CaseLaw v2の結果があるモデルはいくつですか?
- BenchLeaderでは53のモデル構成にCaseLaw v2の結果があり、すべてVals AIから取得しています。
- CaseLaw v2を運営しているのは誰で、どのくらいの頻度で更新されますか?
- CaseLaw v2はVals AIが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- CaseLaw v2はBenchLeader Indexに含まれますか?
- いいえ。CaseLaw v2は参考として掲載していますが、総合スコアには含めていません。