開発・モデル

OpenAIがMultiLangBenchを公開

原題: Advancing coding in low-resource programming languages

重要評価公開ソフトウェア開発

20言語とCOBOL移行を評価

OpenAIは2026年10月19日、低資源プログラミング言語でのコーディング能力を測る評価を公表しました。

MultiLangBenchは20のプログラミング言語で、SQLite互換データベースを一から構築できるかを評価します。

候補プログラムは初期データベースとSQLクエリを受け取り、変更後のデータベースを出力します。

OpenAIは評価設定とテストスイート、言語別の結果をGitHubで公開しました。

別のCOBOL移行評価では、既存プログラムをC++、Java、Kotlin、Python、Rustへ移行し、動作を保持できるかを測ります。

移行の成功は、隠しテストで観測可能な出力がバイト単位で一致した場合だけとしています。

OpenAIによると、GPT-6 AstraはMultiLangBenchで20言語平均87.4％のテスト通過率を記録しました。

GPT-6.1 SolはCOBOL移行評価で低い推論量でも86.6％、高い推論量では97.9％としています。

これらはOpenAI自身の評価結果であり、独立した第三者評価ではありません。

開発者は公開された評価スイートを確認でき、最新モデルはAPIで対象言語のコーディングに利用できます。