SWE-bench Multilingual (bash only)のリーダーボード
2026年11月16日時点で、SWE-bench Multilingual (bash only)の最高スコアは72.7%で、Gemini 3 Flash(Google)が記録しています。次点はClaude Opus 4.6の72.0%です。公表された結果があるのは13のモデル構成です(SWE-bench、結果の日付は2026年2月13日)。9つのプログラミング言語、42リポジトリから集めた300件の実際のGitHub課題。SWE-benchチームが最小構成のbash-only版mini-SWE-agentで実行。SWE-bench Multilingual (bash only)は参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- Gemini 3 FlashがSWE-bench Multilingual (bash only)の最高スコア72.7%を記録しています(SWE-bench、2026年2月13日)。
- SWE-bench Multilingual (bash only)の2位はClaude Opus 4.6で、72.0%です(SWE-bench、2026年2月13日)。
- SWE-bench Multilingual (bash only):9つのプログラミング言語、42リポジトリから集めた300件の実際のGitHub課題。SWE-benchチームが最小構成のbash-only版mini-SWE-agentで実行(SWE-bench)。
- BenchLeaderでは13のモデル構成にSWE-bench Multilingual (bash only)の公表結果があります(BenchLeader、2026年11月16日)。
- SWE-bench Multilingual (bash only)はBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
9つのプログラミング言語、42リポジトリから集めた300件の実際のGitHub課題。SWE-benchチームが最小構成のbash-only版mini-SWE-agentで実行。
- 公開元
- SWE-bench
- カテゴリ
- コーディング
- Indexでの重み
- 参考のみ
- モデル
- 13
- データ基準日
- 2026年11月16日
- 最新の結果
- 2026年2月20日
公開元は2026年2月20日以降、このボードに新しい結果を掲載していません。BenchLeaderは毎日読み直しているので、新しいモデルの結果は公開され次第ここに表示されます。
SWE-bench (Jimenez et al. 2024), swebench.com.
- 1Gemini 3 Flash72.7%
- 2Claude Opus 4.672.0%
- 3Claude Opus 4.570.7%
- 4GLM-569.7%
- 5Gemini 3 Pro68.7%
- 6MiniMax M2.568.3%
- 7Kimi K2.567.3%
- 8Claude Sonnet 4.567.0%
- 9GPT-5.2 (high)66.7%
- 10GPT-5.2-Codex66.3%
- 11Claude Haiku 4.564.7%
- 12DeepSeek V3.259.0%
- 13GPT-5 mini39.7%
13件中13件
| # | ||||||
|---|---|---|---|---|---|---|
| 1 | 72.7% | 56.5 | mini-SWE-agent | $105.55 | 2026-02-13 | |
| 2 | 72.0% | 62.1 | mini-SWE-agent | $198.89 | 2026-02-13 | |
| 3 | 70.7% | 57.1 | mini-SWE-agent | $250.07 | 2026-02-13 | |
| 4 | 69.7% | 54.9 | mini-SWE-agent | $192.74 | 2026-02-13 | |
| 5 | 68.7% | 60.0 | mini-SWE-agent | $306.33 | 2026-02-13 | |
| 6 | 68.3% | 53.7 | mini-SWE-agent | $30.06 | 2026-02-16 | |
| 7 | 67.3% | 54.6 | mini-SWE-agent | $207.85 | 2026-02-13 | |
| 8 | 67.0% | 53.8 | mini-SWE-agent | $200.86 | 2026-02-13 | |
| 9 | 66.7% | 55.8 | mini-SWE-agent | $160.92 | 2026-02-13 | |
| 10 | 66.3% | 57.6 | mini-SWE-agent | $198.65 | 2026-02-20 | |
| 11 | 64.7% | 47.7 | mini-SWE-agent | $113.85 | 2026-02-13 | |
| 12 | 59.0% | 50.2 | mini-SWE-agent | $115.15 | 2026-02-13 | |
| 13 | 39.7% | 56.6 | mini-SWE-agent | $15.49 | 2026-02-13 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
引用表記:BenchLeader「SWE-bench Multilingual (bash only)のリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/swe_bench_multilingual
SWE-bench Multilingual (bash only):よくある質問
- SWE-bench Multilingual (bash only)は何を測るベンチマークですか?
- 9つのプログラミング言語、42リポジトリから集めた300件の実際のGitHub課題。SWE-benchチームが最小構成のbash-only版mini-SWE-agentで実行。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE-bench Multilingual (bash only)の最高スコアは?
- 2026年11月16日時点で、SWE-bench Multilingual (bash only)の最高スコアは72.7%で、Gemini 3 Flashが記録しています(結果の日付は2026年2月13日)。次点はClaude Opus 4.6の72.0%です。スコアはSWE-benchの公表値で、毎日読み直しています。
- SWE-bench Multilingual (bash only)でトップのAIモデルは?
- 2026年11月16日時点で、SWE-bench Multilingual (bash only)の首位はGemini 3 Flashで、スコアは72.7%です(結果の日付は2026年2月13日)。続いてClaude Opus 4.6(72.0%)です。
- SWE-bench Multilingual (bash only)の結果があるモデルはいくつですか?
- BenchLeaderでは13のモデル構成にSWE-bench Multilingual (bash only)の結果があり、すべてSWE-benchから取得しています。
- SWE-bench Multilingual (bash only)を運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE-bench Multilingual (bash only)はSWE-benchが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE-bench Multilingual (bash only)はBenchLeader Indexに含まれますか?
- いいえ。SWE-bench Multilingual (bash only)は参考として掲載していますが、総合スコアには含めていません。