BenchLeader

SWE-bench Multilingual (bash only)のリーダーボード

2026年11月16日時点で、SWE-bench Multilingual (bash only)の最高スコアは72.7%で、Gemini 3 Flash(Google)が記録しています。次点はClaude Opus 4.6の72.0%です。公表された結果があるのは13のモデル構成です(SWE-bench、結果の日付は2026年2月13日)。9つのプログラミング言語、42リポジトリから集めた300件の実際のGitHub課題。SWE-benchチームが最小構成のbash-only版mini-SWE-agentで実行。SWE-bench Multilingual (bash only)は参考として掲載しており、BenchLeader Indexには含まれません。

要点(2026年11月16日時点)

  • Gemini 3 FlashがSWE-bench Multilingual (bash only)の最高スコア72.7%を記録しています(SWE-bench、2026年2月13日)。
  • SWE-bench Multilingual (bash only)の2位はClaude Opus 4.6で、72.0%です(SWE-bench、2026年2月13日)。
  • SWE-bench Multilingual (bash only):9つのプログラミング言語、42リポジトリから集めた300件の実際のGitHub課題。SWE-benchチームが最小構成のbash-only版mini-SWE-agentで実行(SWE-bench)。
  • BenchLeaderでは13のモデル構成にSWE-bench Multilingual (bash only)の公表結果があります(BenchLeader、2026年11月16日)。
  • SWE-bench Multilingual (bash only)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。

9つのプログラミング言語、42リポジトリから集めた300件の実際のGitHub課題。SWE-benchチームが最小構成のbash-only版mini-SWE-agentで実行。

公開元
SWE-bench
カテゴリ
コーディング
Indexでの重み
参考のみ
モデル
13
データ基準日
2026年11月16日
最新の結果
2026年2月20日

公開元は2026年2月20日以降、このボードに新しい結果を掲載していません。BenchLeaderは毎日読み直しているので、新しいモデルの結果は公開され次第ここに表示されます。

SWE-bench (Jimenez et al. 2024), swebench.com.

13件中13件
#
1Gemini 3 Flash72.7%56.5mini-SWE-agent$105.552026-02-13
2Claude Opus 4.672.0%62.1mini-SWE-agent$198.892026-02-13
3Claude Opus 4.570.7%57.1mini-SWE-agent$250.072026-02-13
4GLM-569.7%54.9mini-SWE-agent$192.742026-02-13
5Gemini 3 Pro68.7%60.0mini-SWE-agent$306.332026-02-13
6MiniMax M2.568.3%53.7mini-SWE-agent$30.062026-02-16
7Kimi K2.567.3%54.6mini-SWE-agent$207.852026-02-13
8Claude Sonnet 4.567.0%53.8mini-SWE-agent$200.862026-02-13
9GPT-5.2high66.7%55.8mini-SWE-agent$160.922026-02-13
10GPT-5.2-Codex66.3%57.6mini-SWE-agent$198.652026-02-20
11Claude Haiku 4.564.7%47.7mini-SWE-agent$113.852026-02-13
12DeepSeek V3.259.0%50.2mini-SWE-agent$115.152026-02-13
13GPT-5 mini39.7%56.6mini-SWE-agent$15.492026-02-13

コーディングのベンチマークをもっと見る · LLMベンチマーク一覧

引用表記:BenchLeader「SWE-bench Multilingual (bash only)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/swe_bench_multilingual

SWE-bench Multilingual (bash only):よくある質問

SWE-bench Multilingual (bash only)は何を測るベンチマークですか?
9つのプログラミング言語、42リポジトリから集めた300件の実際のGitHub課題。SWE-benchチームが最小構成のbash-only版mini-SWE-agentで実行。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
SWE-bench Multilingual (bash only)の最高スコアは?
2026年11月16日時点で、SWE-bench Multilingual (bash only)の最高スコアは72.7%で、Gemini 3 Flashが記録しています(結果の日付は2026年2月13日)。次点はClaude Opus 4.6の72.0%です。スコアはSWE-benchの公表値で、毎日読み直しています。
SWE-bench Multilingual (bash only)でトップのAIモデルは?
2026年11月16日時点で、SWE-bench Multilingual (bash only)の首位はGemini 3 Flashで、スコアは72.7%です(結果の日付は2026年2月13日)。続いてClaude Opus 4.6(72.0%)です。
SWE-bench Multilingual (bash only)の結果があるモデルはいくつですか?
BenchLeaderでは13のモデル構成にSWE-bench Multilingual (bash only)の結果があり、すべてSWE-benchから取得しています。
SWE-bench Multilingual (bash only)を運営しているのは誰で、どのくらいの頻度で更新されますか?
SWE-bench Multilingual (bash only)はSWE-benchが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
SWE-bench Multilingual (bash only)はBenchLeader Indexに含まれますか?
いいえ。SWE-bench Multilingual (bash only)は参考として掲載していますが、総合スコアには含めていません。