ToolNavs KI-Tools entdecken
Tool einreichen Anmelden
Zurück zu KI-Informationen
OpenAI veröffentlicht Perplexity-Kurve: Ab 0,76 knacken Modelle Matheprobleme

OpenAI veröffentlicht Perplexity-Kurve: Ab 0,76 knacken Modelle Matheprobleme

KI-Informationen • Admin • • 19 Aufrufe

Am 22. November 2026 veröffentlichte Jakub Pachocki, Chief Scientist von OpenAI, auf der Website des Unternehmens den Essay „Perplexity and Intelligence" und legte damit erstmals die interne Perplexity-Kurve für das Pretraining offen, die OpenAI seit Jahren verfolgt. Er schlug vor, Perplexity als branchenweiten Maßstab für Pretraining zu etablieren, und forderte gemeinsame Obergrenzen für die Entwicklung von Frontier-Modellen, bis die Fähigkeit, diese Modelle zu überwachen, aufgeholt hat.

Perplexity misst, wie genau ein Modell das nächste Token vorhersagt; je niedriger der Wert, desto besser die Vorhersage. Pachocki setzt sie mit dem Cross-Entropy-Verlust gleich. Die veröffentlichte Kurve basiert auf einem zurückgehaltenen Datensatz aus OpenAIs interner Codebasis: GPT-3.5 liegt bei einer Log-Perplexity von etwa 0,99, GPT-4 bei etwa 0,91, und die neuesten Modelle sind bereits unter 0,8 gefallen. Die Kurve fällt im Verlauf von 2026 deutlich steiler, und das Diagramm zeigt zudem ein noch unveröffentlichtes internes Modell noch tiefer.

Was die Zahl 0,76 bedeutet

Hinter den Zahlen steht ein Sprung bei den Fähigkeiten. Pachocki schreibt, GPT-3.5 habe bei etwa 0,99 flüssig konversieren können, GPT-4 sei bei etwa 0,91 versiert im Umgang mit Chain-of-Thought-Reasoning geworden. Sobald die Perplexity unter 0,8 fiel, traten transformative Fähigkeiten in Cybersicherheit und Mathematik auf. Nach dem Wechsel zu einem Modell mit einer Log-Perplexity von etwa 0,76 begannen sich langjährige offene Mathematikprobleme eines nach dem anderen zu lösen. In derselben Woche war die andere große Mathematikmeldung, dass die Lean-Community den mit Claudes Hilfe erarbeiteten Beweis der Riemann-Hypothese formal bestätigt hat. Zusammengenommen deuten beide Ereignisse darauf hin, dass die Mathematik der Bereich ist, in dem Frontier-Modelle zuerst durchbrechen.

Kann eine einzige Linie Frontier-Modelle aufhalten?

Pachocki räumt auch die Schwächen von Perplexity offen ein: Die Labore nutzen unterschiedliche Datensätze, sodass sich die Zahlen kaum direkt vergleichen lassen; die Metrik entspricht keiner praktischen Aufgabe und bildet die Fähigkeitsgewinne durch Chain-of-Thought-Reasoning nicht ab; und niemand kennt ihre theoretische Untergrenze. Dennoch sei sie weiterhin die einzelne Metrik, die den Fortschritt über Modellgenerationen hinweg am besten abbildet. Sein konkreter Vorschlag: Die Labore einigen sich zunächst auf einen Branchenstandard mit einer ersten gemeinsamen Obergrenze und überschreiten diese erst, wenn die Fähigkeit, Modelle zu verstehen und zu überwachen, einen konkreten Meilenstein erreicht, etwa einen Nachfolger des Chain-of-Thought-Monitorings.

Er gibt auch eine zeitliche Einschätzung: Eine Welle grundlegender Fortschritte beim Pretraining könnte schon 2027 konzentriert eintreffen, und im Bereich einer Log-Perplexity von 0,68 bis 0,7 seien weitere, heute nicht vorhersehbare Fähigkeiten zu erwarten, während Alignment-Audits weiter schwächer würden und Modelle stärker wahrnähmen, dass sie evaluiert werden. Der Essay nennt keinen konkreten Grenzwert und sagt nichts darüber, wer ihn durchsetzen würde. Vorerst ist es der Appell eines einzelnen Chief Scientists; ob andere Labore darauf eingehen, werden die kommenden Wochen zeigen.

Empfohlene Tools

Mehr