ToolNavs KI-Tools entdecken
Tool einreichen Anmelden
Zurück zu KI-Informationen
MedChemBench ist da: GPT-6.2 erreicht 84,5 %, doch die Wirkstoffsuche ist noch nicht gelöst

MedChemBench ist da: GPT-6.2 erreicht 84,5 %, doch die Wirkstoffsuche ist noch nicht gelöst

KI-Informationen • Admin • • 14 Aufrufe

MedChemBench ist da: Am 20. November hat OpenAI einen Benchmark für medizinisch-chemisches Schlussfolgern veröffentlicht, der mit 99 Aufgaben aus echten Fachartikeln und Patenten prüft, ob Modelle wie Medizinalchemiker denken können. GPT-6.2 Astra erreichte insgesamt 84,5 % – doch die Gesamtpunktzahl ist nicht der interessanteste Teil. Beim Zeichnen von Molekülstrukturen ist das Modell fast perfekt, bei den Aufgaben, die tatsächlich entscheiden, welcher Wirkstoffkandidat weiterverfolgt wird, fällt die Punktzahl auf etwa die Hälfte.

Die Aufgaben stammen aus 117 Fachartikeln und Patenten, umfassen 761 verschiedene Molekülstrukturen in sieben Kategorien und konzentrieren sich auf die präklinische Wirkstoffforschung, nicht auf die klinische Entwicklung. Bewertet werden vier Bereiche: Moleküle aus Strukturzeichnungen und chemischen Gruppen rekonstruieren, Ergebnisse anhand experimenteller Daten erklären, Verbindungen ordnen und Kandidaten auswählen sowie Zahlenwerte und Kategorien vorhersagen. Bisher hat OpenAI nur eigene Modelle getestet: Bei der höchsten Schlussfolgerungseinstellung xhigh erreichte GPT-6.2 Astra 84,5 %, GPT-6 Astra 83,3 %, GPT-6.1 Sol 82,0 % und GPT-5.6 Sol 58,2 %.

Fast perfekt bei Strukturen, nur die Hälfte bei der Kandidatenauswahl

Die Aufschlüsselung zeigt die Schwachstelle deutlich. GPT-6 Astra erhielt 95,4 % der möglichen Punkte für die Rekonstruktion von Molekülstrukturen und 91,05 % für wissenschaftliche Begründungen, aber nur 50,42 % für die Rangordnung und Auswahl von Verbindungen und 47,02 % für numerische Vorhersagen. Mit anderen Worten: Modelle können bekannte Moleküle korrekt zeichnen und die Argumentation sauber darlegen, doch wenn sie aus mehreren Kandidaten den vielversprechendsten auswählen und verlässliche Zahlen liefern sollen, schaffen sie nur die Hälfte – und genau dort verbringen Medizinalchemiker die meiste Zeit.

Das ist für zwei Gruppen direkt relevant. Wirkstoffteams können MedChemBench als Maßstab nutzen: die Stärken bei Struktur und Erklärung ausschöpfen und bei Auswahl und Vorhersage weiterhin menschlich prüfen. Allgemeine Leser sollten eine Fehldeutung vermeiden – 84,5 % bedeutet nicht, dass KI neue Medikamente entdecken kann. OpenAI zieht in der Veröffentlichung selbst die Grenze: Die Ergebnisse belegen nicht, dass Modelle neue Wirkstoffe entdecken oder Laborentscheidungen verbessern können, ein vorheriger Kontakt mit den Quellartikeln lässt sich nicht ausschließen, und jede Aufgabe wurde in einem einzigen Versuch ohne Werkzeuge, Rückmeldung oder neue Experimente gelöst. Außerdem wurden bislang nur OpenAI-eigene Modelle bewertet, ein externer Vergleich fehlt noch.

Zwei Dinge sind nun zu beobachten: ob OpenAI den Benchmark für Modelle anderer Anbieter öffnet und ob er sich zu offenen Aufgaben weiterentwickelt, die echten Forschungsabläufen näherkommen. Der Prüfungsraum für die medizinische Chemie steht – bis die Modelle wirklich im Einsatz sind, dauert es noch. Zum Modell hinter der Bestpunktzahl siehe unsere frühere Analyse der Veröffentlichung von GPT-6.2 Astra und Sol.

Empfohlene Tools

Mehr