研究・モデル評価

SWE-Bench Proの約3割に問題というOpenAI検証は、AI評価の「採点表」を疑うニュースだ

OpenAIは7月8日、コーディング評価ベンチマークSWE-Bench Proを監査し、相当数のタスクに壊れた問題があると報告しました。モデル性能の数字を読む前に、評価データそのものの品質を確認する必要があります。

重要度★★研究・モデル評価読了7分図解あり

この記事で押さえること

AIモデルの発表では、SWE-Bench系のようなコーディング評価がよく使われます。しかしOpenAIの監査は、評価データそのものに大きなノイズがあることを示しました。隠しテストが問題文にない条件を要求する、正しい実装を狭すぎるテストが落とす、逆にテストが薄く不完全な修正を通す、といった問題です。

図解: 壊れた評価が起こす誤読

問題文要求が不足・矛盾している。

テスト狭すぎる、薄すぎる、実装依存になる。

スコアモデルの実力ではなく採点ミスを反映する。

公開ベンチマークは入口として有用ですが、エージェントに任せたい実務は、社内コード、社内規約、古いテスト、曖昧なチケット、レビュー文化に強く依存します。公開スコアが高くても、自社の失敗パターンに強いとは限りません。

評価対象	見落としやすい点	補う方法
公開ベンチマーク	タスク品質、汚染、テストの妥当性。	監査レポートと失敗例を確認する。
社内PoC	簡単な成功例だけを集めがち。	過去の障害、レビュー差し戻し、曖昧なIssueを含める。
本番運用	時間、再実行、レビュー負荷、費用。	成功率だけでなく人間の修正時間を測る。

今回のOpenAI検証は、AI開発競争の裏側で「評価を評価する」作業が重要になっていることを示します。モデル選定では、ベンチマーク順位を鵜呑みにせず、評価データの欠陥、自社タスクでの再現性、失敗時のコストを合わせて見るべきです。