MedChemBench が登場した。OpenAI は 11 月 20 日、医薬品化学の推論ベンチマークを公開した。実際の論文と特許から作られた 99 問で、モデルが医薬品化学者のように考えられるかを測る。GPT-6.2 Astra は総合 84.5% を獲得したが、注目すべきは合計点ではない。分子構造の描画ではほぼ満点なのに、どの候補化合物を進めるかを決める課題では得点が半分ほどに落ちる。
問題は 117 本の論文と特許から作られ、761 種の異なる分子構造をカバーし、7 カテゴリーに分かれる。対象は前臨床の創薬で、臨床開発は含まない。採点は 4 分野。構造図と化学基から分子を再構成すること、実験データから結果を説明すること、化合物を並べ替えて候補を選ぶこと、数値と分類を予測することだ。いまのところ OpenAI は自社モデルのみを測定している。最高推論設定 xhigh では、GPT-6.2 Astra が 84.5%、GPT-6 Astra が 83.3%、GPT-6.1 Sol が 82.0%、GPT-5.6 Sol が 58.2% だった。
構造はほぼ満点、候補選びは半分
内訳を見ると弱点ははっきりしている。GPT-6 Astra は分子構造の再構成で 95.4%、科学的説明で 91.05% を取ったが、化合物の順位付けと選択は 50.42%、数値予測は 47.02% にとどまった。つまり、既知の分子を正しく描き、理屈を説明するのは得意だが、複数の候補から最も有望なものを選び、信頼できる数値を付ける段になると半分しかできない。医薬品化学者が本当に時間をかけるのは、まさにその後半だ。
この結果が直接意味を持つのは 2 つの層だ。創薬チームにとって MedChemBench は物差しになる。構造と説明における強みを活かしつつ、候補選びと予測には人の確認を残せばいい。一般の読者はひとつの誤読に注意したい。84.5% は AI が新薬を発見できるという意味ではない。OpenAI 自身が発表の中で線を引いている。結果はモデルが新薬を発見したり実験室の判断を改善したりできることを示すものではなく、出典論文に事前に触れていた可能性は排除できず、各問題はツールもフィードバックも新しい実験もない 1 回の回答で解かれた。しかも現時点では OpenAI 自社モデルのみの採点で、外部モデルとの比較はまだない。
今後注目すべきは 2 点だ。OpenAI がこのベンチマークを他社モデルに開放するかどうか、そして実際の研究フローに近いオープンエンドな課題へ進化するかどうか。医薬品化学の試験会場はできたが、モデルが現場に立つのはまだ先だ。最高点を取ったモデル自体については、GPT-6.2 Astra と Sol の発表解説を参照してほしい。