ToolNavs Outils IA à découvrir
Proposer Connexion
Retour à Informations sur l’IA
BioBasicsBench : OpenAI fait lire de vraies données de laboratoire à GPT-6 Astra, mais 66,7 % ne suffisent pas encore

BioBasicsBench : OpenAI fait lire de vraies données de laboratoire à GPT-6 Astra, mais 66,7 % ne suffisent pas encore

Informations sur l’IA • Admin • • 15 vues

BioBasicsBench est un nouveau benchmark publié par OpenAI le 6 novembre 2026 : au lieu de questions de biologie tirées d'un manuel, il confie aux modèles 100 tâches issues de vrais laboratoires de biologie expérimentale — lire des images de gels, compter des colonies, interpréter des photos de microscope et juger si la conclusion de l'expérience tient. Développé avec Ligo, entreprise de conception d'enzymes, il place le tout dernier modèle, GPT-6 Astra, à 66,7 % en moyenne, soit 22,9 points de plus que GPT-5.6 Sol, de la génération précédente. Mais OpenAI prévient : un score en hausse ne signifie pas que le modèle peut remplacer un scientifique.

Ce qui est testé : les preuves brutes de vraies expériences

Les 100 tâches couvrent cinq domaines du quotidien — méthodes protéiques, imagerie et cytométrie en flux, dosages quantitatifs, méthodes d'acides nucléiques et clonage moléculaire — et toutes les preuves proviennent des propres expériences des scientifiques de Ligo : images de gels et de blots, photos de boîtes de colonies, images de microscope, fichiers de séquençage, tableaux exportés par les instruments et vidéos de paillasse. Chaque tâche dispose d'une grille de notation rédigée par des experts et a passé trois cycles de relecture. OpenAI a testé 7 modèles dans 37 combinaisons de modèle et d'intensité de raisonnement, chaque tâche cinq fois, soit 18 500 évaluations. À l'intensité de raisonnement la plus élevée, GPT-6 Astra atteint 66,7 % en moyenne (intervalle de confiance à 95 % : 60,3 %–73,1 %), GPT-6.1 Sol 62,0 % et GPT-5.6 Sol seulement 43,8 %. GPT-6 Cyber avait auparavant repéré 948 failles d'élévation de privilèges dans une évaluation du noyau Linux — mais l'un chasse les failles, l'autre lit des expériences.

Ce que 66,7 % signifie — et ce qu'il ne signifie pas

Ce qui compte, ce n'est pas un classement de plus, mais une autre façon de poser les questions : les anciens benchmarks scientifiques utilisaient surtout des graphiques propres tirés de publications, et un modèle qui les réussit n'est pas pour autant capable de gérer le désordre d'une vraie expérience — expériences ratées, images floues, observations contradictoires. C'est précisément ce que mesure BioBasicsBench : les modèles doivent repérer les preuves insuffisantes et détecter les contrôles défaillants. Dans les exemples publiés, Astra a remarqué que les fenêtres de détection de deux colorants fluorescents se chevauchent et que les intensités ne peuvent donc pas se comparer directement, et qu'une boîte témoin négative portait le mauvais antibiotique. La même entreprise a récemment rendu publics deux cas où ses modèles de recherche se sont trompés en évaluation et ne cache pas ses faiblesses. Mais les limites sont tout aussi claires : les sept modèles testés sont tous d'OpenAI, sans référence humaine ni modèle concurrent ; 66,7 % est une moyenne calculée à partir des grilles de notation — pas « deux tiers des questions résolues », et encore moins un taux de réussite.

Deux choses sont à surveiller : OpenAI publiera-t-il le jeu de données, les grilles et le code de notation pour que d'autres laboratoires reproduisent les scores et testent leurs propres modèles, et les faiblesses d'Astra se réduiront-elles au prochain tour — dans certaines tâches, il se laisse encore guider par des idées préconçues, choisit les mauvaises colonies ou ne retient que les observations qui l'arrangent. Pour les chercheurs en sciences de la vie, ce benchmark se lit pour l'instant comme une carte des capacités : il indique à quelles étapes de laboratoire les modèles peuvent déjà aider et où un humain doit encore vérifier — pas comme un laissez-passer pour le laboratoire.

Outils Recommandés

Plus