米OpenAI、COBOLなど学習データの少ない言語の性能向上を発表 移行評価の正解率86.6％

　米OpenAIは10月19日、COBOL、Fortran、Visual Basicなど学習データの少ない「低リソース」プログラミング言語で、コーディング性能を高めたと発表した。これらの言語はPythonやJavaScriptに比べて学習に使えるコードや文書が少なく、開発者や企業の顧客から、コーディングモデルが苦手としているとの声が寄せられていたと説明している。

　OpenAIによると、COBOLはオンラインバンキングシステムの40％超、対面のクレジットカード取引の80％、ATM取引の95％を支えているという（いずれもIBMの数字を引用）。Fortranも気象予報や原子炉の安全性解析に使われている。

　評価には2つのベンチマークを使った。1つは新たに作成した「MultiLangBench」で、SQLite互換のデータベースエンジンをゼロから作れるかを、COBOLやFortranなど20言語で測る。テストはSQLiteの既存テストスイートを基にし、参照実装のSQLiteで出力結果を検証する。もう1つは、既存のCOBOLプログラムをC++、Java、Kotlin、Python、Rustのいずれかへ移行し、動作を保てるかを見る評価だ。隠しテストで出力のバイト単位の一致を求め、すべてに通って初めて成功とする。

　MultiLangBenchの平均テスト合格率（最大推論設定）は、GPT-6 Astraが87.4％で、GPT-5.6 Solの26.8％から上昇した。言語別では、COBOLが10.9％から72.1％、OCamlが25.6％から85.8％、Fortranが21.4％から83.5％、Visual Basicが27.5％から89.4％になった。低価格モデルのGPT-6 Lunaは平均40.3％で、平均API費用はGPT-5.6 Solより約78％低いという。

　COBOLからの移行評価では、GPT-6.1 Solが低推論設定で正解率86.6％を記録した。GPT-5.6 Solの5.4％から上がり、APIコストは約39％少ない。推論設定を高めると97.9％に達した。

　OpenAIはMultiLangBenchの評価環境、テストスイート、言語別の結果をGitHubで公開した。開発者はAPIから最新モデルを試せる。