Am 13. November 2025 veröffentlichte OpenAI eine Studie und ein Papier mit dem Titel "Understanding neural networks through sparse circuits", in dem vorgeschlagen wird, die mechanische Interpretierbarkeit neuronaler Netze durch "Weight Sparse Transformers" zu verbessern. Im Gegensatz zur nachträglichen "Entflechtung" in dichten Netzwerken wird bei dieser Arbeit die überwiegende Mehrheit der Gewichte während der Trainingsphase direkt auf Null beschränkt, so dass jedes Neuron nur mit einer kleinen Anzahl von Kanälen verbunden ist, wodurch das Modell dazu ermutigt wird, dünnbesetzte Schaltkreise mit klaren Strukturen zu bilden. Das Forschungsteam verifizierte anhand einer Reihe einfacher, handentworfener Aufgaben und stellte fest, dass in diesen spärlichen Modellen Schaltkreise mit geringer Größe, vollständigen Strukturen und ausreichender Aufgabenstellung beschnitten werden können, und die Knoten in diesen Schaltkreisen oft intuitiven Konzepten entsprechen, wie z. B. "Erkennen der Art von Anführungszeichen am Anfang der Zeichenfolge".
Die Arbeit zeigt, dass bei gleichem Verlust vor dem Training die Skala des kleinsten Schaltkreises, der erforderlich ist, um die gleiche Aufgabe im Weight Sparse-Modell zu erledigen, im Vergleich zum Modell mit hoher Dichte um mehr als eine Größenordnung reduziert werden kann, was darauf hindeutet, dass seine interne Berechnung eher "zerlegt" ist. Gleichzeitig wird entlang der "Sparsity-Capability"-Kurve eine zunehmende Sparsity eine bestimmte Fähigkeit opfern, aber die Interpretierbarkeit verbessern, während eine Erweiterung der Gesamtzahl der Parameter bei gleichzeitiger Beibehaltung der Sparsity die Gesamtbewegung der "Fähigkeit-Erklärbarkeit"-Grenze in eine günstige Richtung fördern kann. Die Studie zeigt auch einige Beispiele für Schaltkreise mit komplexerem Verhalten, wie z.B. der Variablenbindung, die schwer vollständig zu erklären sind, aber dennoch eine prädiktive strukturelle Beschreibung des Modellverhaltens liefern können.
OpenAI positioniert diese Arbeit als einen frühen Schritt hin zu besser erklärbaren großen Modellen und räumt ein, dass das derzeitige Weight Sparse-Modell viel kleiner ist als das von hochmodernen Systemen und die Trainings- und Einsatzeffizienz deutlich geringer ist, so dass es unwahrscheinlich ist, dass es direkt zum stärksten Produktionsmodell wird. Das Team schlug zwei Folgewege vor: erstens, die Skala von Modellen mit geringer Dichte weiter zu erweitern, die Bibliothek von Schaltungsmustern zu bereichern und die Grundlage für das Verständnis komplexerer Denkverhaltensweisen zu legen; Die zweite besteht darin, zu versuchen, die dünnbesetzte Schaltung aus dem vorhandenen dichten Modell zu extrahieren und das Modell mit geringer Dichte durch die "Bridging"-Methode an die ursprüngliche Modelldarstellung anzupassen und so zu einem interpretierbaren ungefähren Stellvertreter zu werden. OpenAI stellt auch relevante dünnbesetzte Modellgewichte, Beschneidungsschaltkreise und Visualisierungscode als Open Source zur Verfügung und bietet so eine Grundlage für die nachfolgende Reproduktions- und Erweiterungsforschung.
FAQ
F: Was genau bedeutet eine "Sparse-Schaltung"?
A: In dieser Arbeit bezieht sich eine "Sparse-Schaltung" auf das kleinste Teilnetz, das von einem gewichteten Sparse-Transformator bereinigt wird und eine kleine Anzahl von Knoten und Verbindungen enthält, die notwendig und ausreichend sind, um eine bestimmte Aufgabe zu erfüllen. Knoten können einzelne Neuronen, Aufmerksamkeitsheader-Kanäle oder Restkanäle sein, wobei die Kanten Gewichtungen ungleich Null entsprechen.
F: Wie unterscheidet sich dies von dem, was gemeinhin als "erklärbare KI" bezeichnet wird?
A: Gängige interpretierbare Methoden sind meist die Nachanalyse von Eingaben, Ausgaben oder Zwischenaktivierungen, aber hier gehört es zur mechanischen Interpretierbarkeit, und das Ziel ist es, den vom Modell implementierten "Algorithmus" auf der untersten Ebene so weit wie möglich rückgängig zu machen. Durch das Erzwingen von Gewichtssparsamkeit und Beschneidung liefert diese Studie spezifische Schaltkreise, die in ein vollständiges Blockdiagramm gezeichnet werden können und den Informationsfluss Schritt für Schritt verfolgen.
F: Können diese Ergebnisse direkt auf große Modelle auf GPT-Ebene verallgemeinert werden?
A: Das Papier weist deutlich darauf hin, dass das derzeitige Modell mit geringer Dichte nur Dutzende Millionen von Parametern ungleich Null hat, was immer noch weit von der Skalierbarkeit und Leistungsfähigkeit hochmoderner großer Modelle entfernt ist, und dass ein spärliches Training in Bezug auf Rechenleistung und Effizienz nicht kosteneffektiv ist, so dass nicht behauptet werden kann, dass die gleiche Methode bei größeren und stärkeren Modellen gleich effektiv ist. Die Autoren positionieren es als "vielversprechende, aber frühe" Erkundung.
F: Warum sollte man Fähigkeiten für die Erklärbarkeit opfern?
A: In sicheren und vertrauenswürdigen Bereitstellungsszenarien besteht das Risiko, dass das völlig undurchsichtige Modell mit hoher Kapazität schwer zu warnen und zu korrigieren ist. Durch die Erhöhung der Sparsamkeit ist es möglich, kleinere, klarere Schaltkreise auszutauschen, um die Mechanismen potenziell schädlichen Verhaltens leichter zu analysieren, was wiederum Hinweise für die Überprüfung, das Debuggen und die Ausrichtung stärkerer Modelle liefert, was eine Idee ist, die proaktiv "Raum" für die Interpretierbarkeit während des Trainings reserviert.
F: Können normale Forscher Experimente auf der Grundlage dieser Arbeit reproduzieren oder weiterhin durchführen?
A: OpenAI stellt die Gewichtungen aller spärlichen Modelle, beschnittenen Schaltkreise und Links zum Code-Repository für die Schaltungsvisualisierung im Papieranhang bereit, das externen Teams hilft, Experimente zu reproduzieren, mehr Aufgaben zu testen oder Verhaltensmuster auf höherer Ebene zu erforschen und so eine systematischere experimentelle Plattform für die mechanistische Interpretierbarkeitsgemeinschaft bereitzustellen.
