MedChemBench est là : le 20 novembre, OpenAI a publié un benchmark de raisonnement en chimie médicinale qui teste si les modèles peuvent raisonner comme des chimistes médicinaux, avec 99 problèmes tirés de vrais articles et brevets. GPT-6.2 Astra obtient 84,5 % au total — mais le score global n'est pas le plus intéressant. Le modèle est presque parfait pour dessiner des structures moléculaires, mais son score tombe à environ la moitié sur les tâches qui décident vraiment quel candidat-médicament poursuivre.
Les problèmes proviennent de 117 articles et brevets, couvrent 761 structures moléculaires distinctes réparties en sept catégories, et portent sur la découverte préclinique de médicaments, pas sur le développement clinique. La notation couvre quatre domaines : reconstruire des molécules à partir de schémas structurels et de groupes chimiques, expliquer des résultats à partir de données expérimentales, classer des composés et sélectionner des candidats, et prédire des valeurs numériques et des catégories. Pour l'instant, OpenAI n'a testé que ses propres modèles : au réglage de raisonnement le plus élevé, xhigh, GPT-6.2 Astra obtient 84,5 %, GPT-6 Astra 83,3 %, GPT-6.1 Sol 82,0 % et GPT-5.6 Sol 58,2 %.
Presque parfait sur les structures, moitié moins sur le choix des candidats
Le détail des scores montre clairement le point faible. GPT-6 Astra obtient 95,4 % des points disponibles pour la reconstruction des structures moléculaires et 91,05 % pour l'explication scientifique, mais seulement 50,42 % pour le classement et la sélection des composés et 47,02 % pour les prédictions numériques. Autrement dit, les modèles savent dessiner correctement des molécules connues et exposer le raisonnement, mais quand il faut choisir le candidat le plus prometteur parmi plusieurs et lui associer des chiffres fiables, ils ne sont qu'à moitié au niveau — et c'est pourtant là que les chimistes médicinaux passent l'essentiel de leur temps.
Cela concerne directement deux publics. Les équipes de découverte de médicaments peuvent utiliser MedChemBench comme un étalon : exploiter les points forts du modèle en structure et en explication, tout en gardant une vérification humaine pour la sélection et la prédiction. Les lecteurs généralistes doivent éviter un malentendu : 84,5 % ne signifie pas que l'IA peut découvrir de nouveaux médicaments. OpenAI trace elle-même la limite dans son annonce : ces résultats n'établissent pas que les modèles peuvent découvrir de nouveaux médicaments ni améliorer les décisions de laboratoire, une exposition préalable aux articles sources ne peut être exclue, et chaque problème a été résolu en une seule tentative, sans outils, sans retour ni nouvelle expérience. De plus, seuls les modèles d'OpenAI ont été évalués jusqu'ici, sans comparaison externe.
Deux choses méritent d'être suivies : OpenAI ouvrira-t-elle ce benchmark aux modèles tiers, et évoluera-t-il vers des tâches ouvertes plus proches des flux de recherche réels ? La salle d'examen de la chimie médicinale est prête ; les modèles ne sont pas encore en poste. Pour le modèle à l'origine du meilleur score, voir notre analyse précédente de la sortie de GPT-6.2 Astra et Sol.