BenchLeader

SWE-bench (Vals)のリーダーボード

2026年11月16日時点で、SWE-bench (Vals)の最高スコアは97.0%で、Claude Opus 5(Anthropic)が記録しています。次点はDeepSeek V4 Proの96.4%です。公表された結果があるのは86のモデル構成です(Vals AI、結果の日付は2026年9月1日)。SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。SWE-bench (Vals)は参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Claude Opus 5がSWE-bench (Vals)の最高スコア97.0%を記録しています(Vals AI、2026年9月1日)。
  • SWE-bench (Vals)の2位はDeepSeek V4 Proで、96.4%です(Vals AI、2026年9月1日)。
  • SWE-bench (Vals):Vals AIが独自に実行したSWE-bench。参考として掲載(Vals AI)。
  • BenchLeaderでは86のモデル構成にSWE-bench (Vals)の公表結果があります(BenchLeader、2026年11月16日)。
  • SWE-bench (Vals)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

Vals AIが独自に実行したSWE-bench。参考として掲載。

公開元
Vals AI
カテゴリ
コーディング
Indexでの重み
参考のみ
モデル
86
データ基準日
2026年11月16日

Vals AI (vals.ai).

どんなテストか

SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。

採点方法

500件のissueのうち、Vals AI独自のエージェントハーネスで解決できた割合で、Vals AIが実行しています。公式ボードのbashのみのmini-SWE-agentハーネスではありません。

注意点

Vals AIが独自に実行したSWE-bench Verifiedです。参考として表示しており、Indexに反映しているのはbashのみの公式ボードです。SWE-bench Verified (bash only)のボードもあわせてご覧ください。

86件中86件
#
1Claude Opus 597.0%63.2$1.292026-09-01
2DeepSeek V4 Promax96.4%54.7$0.1032026-09-01
3GPT-5.6 Solmax96.2%65.3$1.152026-09-01
4Grok 4.6high95.6%60.6$0.7852026-09-01
5GPT-5.6 Terramax95.4%59.5$0.4012026-09-01
6GLM 5.3max95.4%58.8$0.3382026-09-01
7Claude Fable 5max95.0%65.1$2.052026-09-01
8Kimi K393.4%60.7$0.7602026-09-01
9GPT-5.6 Lunamax93.0%56.2$0.0432026-09-01
10GLM 5.3 Flashmax92.0%52.4$0.0182026-09-01
11DeepSeek V4 Flashhigh88.8%57.2$0.00992026-09-01
12Claude Opus 4.8max88.6%61.1$1.922026-09-01
13Muse Spark 1.2xhigh86.6%61.5$0.5542026-09-01
14Grok 4.5high86.6%56.8$0.5402026-09-01
15Qwen3.8 27Bxhigh86.0%52.2$1.082026-09-01
16Claude Opus 4.885.8%58.7$0.6722026-09-01
17Qwen3.8 Maxmax85.6%58.7$1.132026-09-01
18GLM 5.2max82.8%58.9$0.7102026-09-01
19GPT-5.5xhigh82.6%64.1$1.362026-09-01
20Inkling Small82.2%52.0$0.1342026-09-01
21Claude Opus 4.7max82.0%59.7$2.422026-09-01
22Muse Spark 1.1xhigh82.0%59.5$0.3522026-09-01
23Gemini 3.7 Flashhigh80.8%62.1$1.442026-09-01
24Gemini 3.8 Flashhigh80.0%59.4$2.192026-09-01
25Gemini 3.6 Flashhigh79.6%61.0$1.192026-09-01
26Claude Sonnet 5max79.6%56.1$1.492026-09-01
27Composer 2.579.6%––2026-09-01
28Gemini 3.5 Flashhigh78.8%62.5$0.9542026-09-01
29Gemini 3.1 Prohigh78.8%60.4$0.7832026-09-01
30GPT-5.4xhigh78.2%63.1$0.8012026-09-01
31Claude Opus 4.6max78.2%57.0$1.222026-09-01
32Kimi K2.7 Code78.2%53.9$0.2652026-09-01
33GPT-5.3-Codexxhigh78.0%62.9$0.4552026-09-01
34Inkling77.6%50.4$0.5862026-09-01
35Claude Sonnet 4.6max77.4%56.1$1.302026-09-01
36GPT-5.576.4%61.0$0.6522026-09-01
37Gemini 3 Prohigh76.4%60.0$0.7722026-09-01
38Claude Opus 4.5high76.4%59.7$1.052026-09-01
39GLM 5.176.4%55.4$0.4572026-09-01
40Kimi K2.676.2%55.1$0.2752026-09-01
41GPT-5.2xhigh75.8%59.9$1.452026-09-01
42Gemini 3 Flashhigh75.0%57.4$0.2802026-09-01
43MiniMax M375.0%56.1$0.4162026-09-01
44Gemini 3.5 Flash Litehigh75.0%47.8$0.3092026-09-01
45MiniMax-M2.174.8%53.8$0.4392026-09-01
46Muse Spark74.4%64.2$0.4442026-09-01
47MiniMax M2.574.2%53.7$0.4572026-09-01
48MiMo-V2.5-Pro74.0%55.5$0.0232026-09-01
49MiniMax M2.773.8%56.6$0.4662026-09-01
50Qwen3.6 Plus73.4%59.0$0.8692026-09-01
51GPT-5.4 Minixhigh73.0%55.1$0.5112026-09-01
52Qwen3.6 Maxmax72.8%62.1$1.572026-09-01
53GPT-5.2-Codexhigh72.4%–$0.3122026-09-01
54Grok 4.20thinking72.2%58.3$0.5162026-09-01
55GLM-5thinking71.4%60.2$0.4492026-09-01
56Grok 4.3high71.4%56.5$0.2232026-09-01
57Qwen3.5 Plusthinking71.2%57.4$0.9642026-09-01
58MiMo-V2.571.0%56.3$0.0102026-09-01
59Kimi K2.5thinking70.0%59.4$0.1682026-09-01
60Claude Sonnet 4.5thinking70.0%52.3$0.8072026-09-01

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE-bench (Vals)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/vals_swebench

SWE-bench (Vals):よくある質問

SWE-bench (Vals)は何を測るベンチマークですか?
SWE-bench Verifiedは、人気のあるPythonリポジトリから集めた実際のGitHub issue 500件で、タスクが明確に定義され、テストが公正であることを人間のアノテーターが確認しています。モデルはissueを読んでリポジトリを編集し、隠しテストに合格した場合にのみパッチが受理されます。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE-bench (Vals)の最高スコアは?
2026年11月16日時点で、SWE-bench (Vals)の最高スコアは97.0%で、Claude Opus 5が記録しています(結果の日付は2026年9月1日)。次点はDeepSeek V4 Proの96.4%です。スコアはVals AIの公表値で、毎日読み直しています。
SWE-bench (Vals)でトップのAIモデルは?
2026年11月16日時点で、SWE-bench (Vals)の首位はClaude Opus 5で、スコアは97.0%です(結果の日付は2026年9月1日)。続いてDeepSeek V4 Pro(96.4%)です。
SWE-bench (Vals)の結果があるモデルはいくつですか?
BenchLeaderでは86のモデル構成にSWE-bench (Vals)の結果があり、すべてVals AIから取得しています。
SWE-bench (Vals)を運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE-bench (Vals)はVals AIが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE-bench (Vals)はBenchLeader Indexに含まれますか?
いいえ。SWE-bench (Vals)は参考として掲載していますが、総合スコアには含めていません。