Public Benefits Benchのリーダーボード
2026年11月16日時点で、Public Benefits Benchの最高スコアは76.9%で、Claude Opus 5(Anthropic)が記録しています。次点はClaude Fable 5.1の74.9%です。公表された結果があるのは50のモデル構成です(Vals AI、結果の日付は2026年10月12日)。給付の申請者がSNAPの受給資格や手続きについて尋ねそうな質問で、制度に照らして採点します。Public Benefits Benchは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Claude Opus 5がPublic Benefits Bench v1.1の最高スコア76.9%を記録しています(Vals AI、2026年10月12日)。
- Public Benefits Bench v1.1の2位はClaude Fable 5.1で、74.9%です(Vals AI、2026年10月12日)。
- Public Benefits Bench v1.1:申請者のためにSNAP(米国の食料支援)の質問に対応するタスク。Vals AIが実施(Vals AI)。
- BenchLeaderでは50のモデル構成にPublic Benefits Bench v1.1の公表結果があります(BenchLeader、2026年11月16日)。
- Public Benefits Bench v1.1はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
申請者のためにSNAP(米国の食料支援)の質問に対応するタスク。Vals AIが実施。
- 公開元
- Vals AI
- カテゴリ
- 知識
- Indexでの重み
- 参考のみ
- モデル
- 50
- データ基準日
- 2026年11月16日
Vals AI (vals.ai).
どんなテストか
給付の申請者がSNAPの受給資格や手続きについて尋ねそうな質問で、制度に照らして採点します。
採点方法
正答率で、Vals AIが実行しています。
注意点
米国に特化しており、制度は時とともに変わります。
- 1Claude Opus 5 (max)76.9%
- 2Claude Fable 5.1 (max)74.9%
- 3Muse Wonder Full (max)73.8%
- 4Claude Opus 5.5 (max)70.6%
- 5Claude Fable 5 (max)70.4%
- 6Muse Wonder (max)70.2%
- 7Gemini 4 Argon (high)69.8%
- 8MiMo-V2.6-Pro68.9%
- 9Hy468.6%
- 10GLM 5.3 (max)68.5%
- 11Muse Spark 1.2 (xhigh)68.5%
- 12Kimi K3 (max)68.2%
- 13Claude Opus 4.8 (max)68.1%
- 14MiMo-V2.6-Flash67.6%
- 15Claude Sonnet 5.5 (max)67.2%
50件中50件
| # | |||||
|---|---|---|---|---|---|
| 1 | 76.9% | 65.0 | $3.95 | 2026-10-12 | |
| 2 | 74.9% | 66.7 | $7.48 | 2026-10-12 | |
| 3 | 73.8% | 61.7 | $4.64 | 2026-10-12 | |
| 4 | 70.6% | 68.4 | $5.29 | 2026-10-12 | |
| 5 | 70.4% | 65.1 | $4.59 | 2026-10-12 | |
| 6 | 70.2% | 60.8 | $2.46 | 2026-10-12 | |
| 7 | 69.8% | 65.3 | $2.79 | 2026-10-12 | |
| 8 | 68.9% | 57.5 | $0.082 | 2026-10-12 | |
| 9 | 68.6% | 56.7 | $0.253 | 2026-10-12 | |
| 10 | 68.5% | 58.8 | $0.947 | 2026-10-12 | |
| 11 | 68.5% | 61.5 | $0.588 | 2026-10-12 | |
| 12 | 68.2% | 60.2 | $0.913 | 2026-10-12 | |
| 13 | 68.1% | 61.1 | $1.89 | 2026-10-12 | |
| 14 | 67.6% | 54.8 | $0.032 | 2026-10-12 | |
| 15 | 67.2% | 64.2 | $3.76 | 2026-10-12 | |
| 16 | 67.1% | 58.7 | $0.991 | 2026-10-12 | |
| 17 | 66.8% | 60.6 | $0.916 | 2026-10-12 | |
| 18 | 66.5% | 65.3 | $8.85 | 2026-10-12 | |
| 19 | Ember-1 | 66.2% | – | $1.02 | 2026-10-12 |
| 20 | 66.0% | 56.1 | $1.29 | 2026-10-12 | |
| 21 | 65.6% | 57.4 | $2.25 | 2026-10-12 | |
| 22 | 65.3% | 59.4 | $1.01 | 2026-10-12 | |
| 23 | 64.3% | 58.5 | $0.073 | 2026-10-12 | |
| 24 | 64.1% | 56.1 | $0.254 | 2026-10-12 | |
| 25 | 63.2% | 55.3 | $0.525 | 2026-10-12 | |
| 26 | 62.9% | 54.7 | $0.460 | 2026-10-12 | |
| 27 | 62.5% | 56.1 | $1.11 | 2026-10-12 | |
| 28 | 62.4% | 59.5 | $1.20 | 2026-10-12 | |
| 29 | 61.8% | 55.4 | $0.341 | 2026-10-12 | |
| 30 | 61.3% | 59.5 | $0.278 | 2026-10-12 | |
| 31 | 61.2% | 56.2 | $0.270 | 2026-10-12 | |
| 32 | 60.9% | 64.1 | $3.97 | 2026-10-12 | |
| 33 | 59.5% | 62.5 | $1.11 | 2026-10-12 | |
| 34 | 59.4% | 52.0 | $0.096 | 2026-10-12 | |
| 35 | 59.3% | 66.6 | $0.691 | 2026-10-12 | |
| 36 | 58.5% | 50.4 | $0.368 | 2026-10-12 | |
| 37 | 58.1% | 56.0 | $0.504 | 2026-10-12 | |
| 38 | 57.6% | 55.1 | $0.224 | 2026-10-12 | |
| 39 | 56.6% | 62.6 | $2.49 | 2026-10-12 | |
| 40 | 56.6% | 55.1 | $0.906 | 2026-10-12 | |
| 41 | 56.6% | 61.0 | $0.385 | 2026-10-12 | |
| 42 | 54.3% | 47.7 | $0.225 | 2026-10-12 | |
| 43 | 53.8% | 60.4 | $0.377 | 2026-10-12 | |
| 44 | 51.8% | 47.8 | $0.096 | 2026-10-12 | |
| 45 | 51.7% | 56.5 | $0.264 | 2026-10-12 | |
| 46 | 50.7% | 51.7 | $0.050 | 2026-10-12 | |
| 47 | 45.3% | – | $0.068 | 2026-10-12 | |
| 48 | 44.8% | 55.3 | $0.031 | 2026-10-12 | |
| 49 | 43.8% | 37.3 | $0.202 | 2026-10-12 | |
| 50 | 41.4% | 36.3 | $0.113 | 2026-10-12 |
関連するベンチマーク
Public Benefits Bench v1.1での注目のモデル比較
引用表記:BenchLeader「Public Benefits Bench v1.1のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/vals_public_benefits
Public Benefits Bench v1.1:よくある質問
- Public Benefits Bench v1.1は何を測るベンチマークですか?
- 給付の申請者がSNAPの受給資格や手続きについて尋ねそうな質問で、制度に照らして採点します。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- Public Benefits Bench v1.1の最高スコアは?
- 2026年11月16日時点で、Public Benefits Bench v1.1の最高スコアは76.9%で、Claude Opus 5が記録しています(結果の日付は2026年10月12日)。次点はClaude Fable 5.1の74.9%です。スコアはVals AIの公表値で、毎日読み直しています。
- Public Benefits Bench v1.1でトップのAIモデルは?
- 2026年11月16日時点で、Public Benefits Bench v1.1の首位はClaude Opus 5で、スコアは76.9%です(結果の日付は2026年10月12日)。続いてClaude Fable 5.1(74.9%)です。
- Public Benefits Bench v1.1の結果があるモデルはいくつですか?
- BenchLeaderでは50のモデル構成にPublic Benefits Bench v1.1の結果があり、すべてVals AIから取得しています。
- Public Benefits Bench v1.1を運営しているのは誰で、どのくらいの頻度で更新されますか?
- Public Benefits Bench v1.1はVals AIが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- Public Benefits Bench v1.1はBenchLeader Indexに含まれますか?
- いいえ。Public Benefits Bench v1.1は参考として掲載していますが、総合スコアには含めていません。