SWE Atlas v1.0: Refactoringのリーダーボード
2026年11月16日時点で、SWE Atlas v1.0: Refactoringの最高スコアは59.0%で、GPT-6 Astra(OpenAI)が記録しています。次点はClaude Fable 5.1の56.7%です。公表された結果があるのは17のモデル構成です(Scale AI SEAL、結果の日付は2026年9月9日)。実際のリポジトリでの複数ファイルにまたがるリファクタリングで、テストとレビュー基準で確認します。SWE Atlas v1.0: Refactoringは参考として掲載しており、BenchLeader Indexには含まれません。
要点(2026年11月16日時点)
- GPT-6 AstraがSWE Atlas v1.0: Refactoringの最高スコア59.0%を記録しています(Scale AI SEAL、2026年9月9日)。
- SWE Atlas v1.0: Refactoringの2位はClaude Fable 5.1で、56.7%です(Scale AI SEAL、2026年9月2日)。
- SWE Atlas v1.0: Refactoring:実際のリポジトリでのリファクタリング。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行(Scale AI SEAL)。
- BenchLeaderでは17のモデル構成にSWE Atlas v1.0: Refactoringの公表結果があります(BenchLeader、2026年11月16日)。
- SWE Atlas v1.0: RefactoringはBenchLeader Indexには反映されず、参考として掲載しています(BenchLeaderの評価方法)。
実際のリポジトリでのリファクタリング。Scale AI。v1.0で固定。v1.1では新しい採点モデルで全モデルを再実行。
- カテゴリ
- コーディング
- Indexでの重み
- 参考のみ
- モデル
- 17
- データ基準日
- 2026年11月16日
Scale AI SEAL Leaderboards.
このボードは更新を終えています。同じ名前は現在、別の新しいテストに使われており、そのスコアはSWE Atlas v1.1: Refactoringにあります。
どんなテストか
実際のリポジトリでの複数ファイルにまたがるリファクタリングで、テストとレビュー基準で確認します。
採点方法
受理されたリファクタリングの割合で、Scale AIが公表しています。
注意点
エージェント型コーディングのボードの常として、ハーネスに左右されます。
- 1GPT-6 Astra (xhigh)59.0%
- 2Claude Fable 5.1 (xhigh)56.7%
- 3Claude Fable 5 (xhigh)54.8%
- 4Claude Opus 4.748.6%
- 5Claude Opus 4.846.7%
- 6GPT-5.5 (xhigh)44.8%
- 7Gemini 3.8 Flash44.8%
- 8GPT-5.4 (xhigh)44.3%
- 9GLM 5.242.4%
- 10GPT-5.3 Chat (xhigh)42.4%
- 11Claude Opus 4.635.6%
- 12Gemini 3.1 Pro33.8%
- 13Claude Sonnet 4.632.2%
- 14GLM-524.2%
- 15Kimi K2.520.9%
17件中17件
| # | ||||
|---|---|---|---|---|
| 1 | 59.0% | 66.0 | 2026-09-09 | |
| 2 | 56.7% | 64.6 | 2026-09-02 | |
| 3 | 54.8% | – | 2026-06-11 | |
| 4 | 48.6% | 63.1 | 2026-05-06 | |
| 5 | 46.7% | 58.7 | 2026-06-08 | |
| 6 | 44.8% | 64.1 | 2026-05-06 | |
| 7 | 44.8% | 56.4 | 2026-09-09 | |
| 8 | 44.3% | 63.1 | 2026-05-06 | |
| 9 | 42.4% | 51.9 | 2026-06-23 | |
| 10 | 42.4% | – | 2026-05-06 | |
| 11 | 35.6% | 62.1 | 2026-05-06 | |
| 12 | 33.8% | 59.9 | 2026-05-06 | |
| 13 | 32.2% | 57.6 | 2026-05-06 | |
| 14 | 24.2% | 54.9 | 2026-05-06 | |
| 15 | 20.9% | 54.6 | 2026-05-06 | |
| 16 | 19.5% | 53.7 | 2026-05-06 | |
| 17 | 10.0% | 56.5 | 2026-05-06 |
コーディングのベンチマークをもっと見る · LLMベンチマーク一覧
関連するベンチマーク
SWE Atlas v1.0: Refactoringでの注目のモデル比較
引用表記:BenchLeader「SWE Atlas v1.0: Refactoringのリーダーボード」2026年11月16日時点のデータ、https://www.benchleader.com/ja/benchmarks/scale_sweatlas_refactoring
SWE Atlas v1.0: Refactoring:よくある質問
- SWE Atlas v1.0: Refactoringは何を測るベンチマークですか?
- 実際のリポジトリでの複数ファイルにまたがるリファクタリングで、テストとレビュー基準で確認します。スコアは解けたタスクの割合(%)で示され、高いほど良い結果です。
- SWE Atlas v1.0: Refactoringの最高スコアは?
- 2026年11月16日時点で、SWE Atlas v1.0: Refactoringの最高スコアは59.0%で、GPT-6 Astraが記録しています(結果の日付は2026年9月9日)。次点はClaude Fable 5.1の56.7%です。スコアはScale AI SEALの公表値で、毎日読み直しています。
- SWE Atlas v1.0: RefactoringでトップのAIモデルは?
- 2026年11月16日時点で、SWE Atlas v1.0: Refactoringの首位はGPT-6 Astraで、スコアは59.0%です(結果の日付は2026年9月9日)。続いてClaude Fable 5.1(56.7%)です。
- SWE Atlas v1.0: Refactoringの結果があるモデルはいくつですか?
- BenchLeaderでは17のモデル構成にSWE Atlas v1.0: Refactoringの結果があり、すべてScale AI SEALから取得しています。
- SWE Atlas v1.0: Refactoringを運営しているのは誰で、どのくらいの頻度で更新されますか?
- SWE Atlas v1.0: RefactoringはScale AI SEALが公開しています。BenchLeaderは公開された結果を1日1回読み直し、各結果の公開日を記録しています。
- SWE Atlas v1.0: RefactoringはBenchLeader Indexに含まれますか?
- いいえ。SWE Atlas v1.0: Refactoringは参考として掲載していますが、総合スコアには含めていません。