BenchLeader

ProgramBenchのリーダーボード

2026年11月16日時点で、ProgramBenchの最高スコアは19.0%で、Claude Fable 5.2(Anthropic)が記録しています。次点はClaude Opus 5.5の18.5%です。公表された結果があるのは65のモデル構成です(Vals AI、結果の日付は2026年11月9日)。バイナリを与え、その動作を再現する動くソースコードを復元させ、テストで確認します。ProgramBenchは参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Claude Fable 5.2がProgramBenchの最高スコア19.0%を記録しています(Vals AI、2026年11月9日)。
  • ProgramBenchの2位はClaude Opus 5.5で、18.5%です(Vals AI、2026年11月9日)。
  • ProgramBench:コンパイル済みバイナリからプログラムを作り直すタスク。Vals AIが実施(Vals AI)。
  • BenchLeaderでは65のモデル構成にProgramBenchの公表結果があります(BenchLeader、2026年11月16日)。
  • ProgramBenchはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

コンパイル済みバイナリからプログラムを作り直すタスク。Vals AIが実施。

公開元
Vals AI
カテゴリ
コーディング
Indexでの重み
参考のみ
モデル
65
データ基準日
2026年11月16日

Vals AI (vals.ai).

どんなテストか

バイナリを与え、その動作を再現する動くソースコードを復元させ、テストで確認します。

採点方法

再構築できたプログラムの割合で、Vals AIが実行しています。

注意点

リバースエンジニアリングはニッチな分野で、ほとんどのモデルのスコアは低くなっています。

65件中65件
#
1NEWClaude Fable 5.2high19.0%68.4$46.822026-11-09
2Claude Opus 5.5max18.5%68.4$42.662026-11-09
3Claude Fable 5.1max7.0%66.7$58.522026-11-09
4Claude Sonnet 5.5max6.5%64.2$22.622026-11-09
5GPT-6 Astramax5.5%67.3$11.572026-11-09
6GPT-6.1 Solmax3.0%66.6$2.872026-11-09
7Claude Opus 5max3.0%65.0$60.292026-11-09
8Gemini 4 Argonhigh2.5%65.3$17.662026-11-09
9Muse Spark 1.3max2.5%60.6$54.292026-11-09
10Claude Haiku 5.5max2.5%55.3$6.832026-11-09
11Claude Fable 5max2.0%65.1$75.682026-11-09
12GPT-6 Solmax2.0%62.6$11.672026-11-09
13Kimi K32.0%60.7$70.482026-11-09
14GPT-5.6 Solmax1.5%65.3$15.292026-11-09
15GLM 5.3max1.5%58.8$21.962026-11-09
16Claude Opus 4.8max1.0%61.1$31.272026-11-09
17Grok 4.6high1.0%60.6$16.762026-11-09
18Gemini 3.8 Flashhigh1.0%59.4$10.932026-11-09
19GPT-5.5xhigh0.5%64.1$6.952026-11-09
20Muse Wonder Fullmax0.5%61.7$28.652026-11-09
21Muse Spark 1.2xhigh0.5%61.5$2.472026-11-09
22GPT-5.6 Terramax0.5%59.5$5.382026-11-09
23GLM 5.2max0.5%58.9$12.582026-11-09
24GPT-5.4high0.5%58.6$2.272026-11-09
25DeepSeek V4.1 Flashmax0.5%58.5$0.8972026-11-09
26Muse Spark 1.3xhigh0.5%58.1$11.562026-11-09
27Inkling 2 Small0.5%57.9$8.462026-11-09
28MiMo-V2.6-Pro0.5%57.5$0.7272026-11-09
29Grok 4.7xhigh0.5%57.4$46.492026-11-09
30Claude Sonnet 4.6max0.5%56.1–2026-11-09
31GPT-6 Lunamax0.5%55.1$0.1812026-11-09
32MiMo-V2.6-Flash0.5%54.8$0.4712026-11-09
33Inkling Small0.5%52.0$0.4792026-11-09
34GPT-5.4xhigh0.0%63.1–2026-11-09
35Gemini 3.5 Flashhigh0.0%62.5–2026-11-09
36Gemini 3.7 Flashhigh0.0%62.1$7.132026-11-09
37Gemini 3.6 Flashhigh0.0%61.0$5.922026-11-09
38Gemini 3.1 Prohigh0.0%60.4$2.632026-11-09
39Claude Opus 4.7max0.0%59.7–2026-11-09
40Muse Spark 1.1xhigh0.0%59.5$13.062026-11-09
41Qwen3.6 Plus0.0%59.0–2026-11-09
42Qwen3.8 Maxmax0.0%58.7$12.362026-11-09
43Gemini 3 Flashhigh0.0%57.4$0.4402026-11-09
44DeepSeek V4 Flashhigh0.0%57.2$1.292026-11-09
45Grok 4.5high0.0%56.8$4.122026-11-09
46Hy40.0%56.7$12.812026-11-09
47MiniMax M2.70.0%56.6–2026-11-09
48Grok 4.3high0.0%56.5$0.3562026-11-09
49GPT-5.6 Lunamax0.0%56.2$0.9432026-11-09
50Claude Sonnet 5max0.0%56.1$24.362026-11-09
51GLM 5.10.0%55.4–2026-11-09
52Nemotron 3 Ultra 550B A55B0.0%55.4–2026-11-09
53Kimi K2.60.0%55.1–2026-11-09
54GPT-5.4 Minixhigh0.0%55.1–2026-11-09
55DeepSeek V4 Promax0.0%54.7$3.412026-11-09
56Kimi K2.7 Code0.0%53.9$3.192026-11-09
57GLM 5.3 Flashmax0.0%52.4$1.602026-11-09
58Qwen3.8 27Bxhigh0.0%52.2$17.992026-11-09
59Inkling0.0%50.4$4.142026-11-09
60Gemini 3.1 Flash Litehigh0.0%48.4$0.0642026-11-09

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「ProgramBenchのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/vals_programbench

ProgramBench:よくある質問

ProgramBenchは何を測るベンチマークですか?
バイナリを与え、その動作を再現する動くソースコードを復元させ、テストで確認します。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
ProgramBenchの最高スコアは?
2026年11月16日時点で、ProgramBenchの最高スコアは19.0%で、Claude Fable 5.2が記録しています(結果の日付は2026年11月9日)。次点はClaude Opus 5.5の18.5%です。スコアはVals AIの公表値で、毎日読み直しています。
ProgramBenchでトップのAIモデルは?
2026年11月16日時点で、ProgramBenchの首位はClaude Fable 5.2で、スコアは19.0%です(結果の日付は2026年11月9日)。続いてClaude Opus 5.5(18.5%)です。
ProgramBenchの結果があるモデルはいくつですか?
BenchLeaderでは65のモデル構成にProgramBenchの結果があり、すべてVals AIから取得しています。
ProgramBenchを運営しているのは誰で、どのくらいの頻度で更新されますか?
ProgramBenchはVals AIが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
ProgramBenchはBenchLeader Indexに含まれますか?
いいえ。ProgramBenchは参考として掲載していますが、総合スコアには含めていません。