OpenAI、COBOLなど低リソース言語のコーディング評価を公開 移行精度97.9%
OpenAICOBOLベンチマークレガシー移行コーディング
OpenAIは10月19日、COBOLやFortranなど学習データの少ない言語でのコーディング性能について、2つの評価を公開した。20言語を対象とするMultiLangBenchでGPT-6 Astraのテスト通過率は平均87.4%（GPT-5.6 Solは26.8%）。COBOL移行の評価ではGPT-6.1 Solが低い推論設定で86.6%、高い設定では97.9%の精度に達したとしている。
何が発表されたか
OpenAIは10月19日、COBOL、Fortran、Visual Basic といった低リソースプログラミング言語でのコーディング能力に関する記事を公開し、2つの評価を導入した。MultiLangBench と、COBOL移行の評価である。
MultiLangBench の対象は20言語。C、C#、C++、COBOL、Common Lisp、Fortran、Go、Java、JavaScript、Lean、OCaml、PHP、PowerShell、Python、Ruby、Rust、Scala、Swift、Visual Basic、Zig。
最大の推論設定での結果は次の通り。
- GPT-6 Astra のテスト通過率は平均87.4%。比較対象の GPT-5.6 Sol は26.8%。
- 言語別の変化は、COBOL が10.9%から72.1%、OCaml が25.6%から85.8%、Fortran が21.4%から83.5%、Visual Basic が27.5%から89.4%。
- GPT-6 Luna は平均40.3%で、1サンプルあたりの推定コストは0.77ドル。GPT-5.6 Sol の3.48ドルに比べ約78%低い。
COBOL移行の評価は、COBOL から C++、Java、Kotlin、Python、Rust への移行を対象としたもの。
- GPT-6.1 Sol は低い推論設定で86.6%の精度。GPT-5.6 Sol は5.4%で、コストは39%低い。
- より高い推論設定では97.9%に達する。
MultiLangBench の評価セットアップ、テストスイート、言語別の結果は GitHub で公開されている。
開発者への影響
- 影響を受けるのは、PHP や PowerShell、Visual Basic、COBOL といった「主要言語ではない」コードを保守している開発者・受託事業者。これまで生成AIの支援が相対的に弱かった領域で、評価上の数値が大きく動いている。
- 記事はAPI経由で最新モデルをコーディング用途に試せるとしている。ChatGPT での提供については言及がない。
- 安いモデルでコストを抑える選択肢も示されている。GPT-6 Luna は精度では Astra に及ばないが、1サンプルあたりのコストは GPT-5.6 Sol より約78%低い。
- ベンチマークはOpenAI自身が設計・公開したもので、第三者による検証結果ではない。レガシー移行の見積りに使う場合は、公開されている言語別の数値を確認したうえで、自社のコードベースで小さく試すのが順当。