GPT-6 Astra hat in einem am 2. November 2026 veröffentlichten Forschungsartikel die Gewichte eines anderen Modells direkt umgeschrieben. Vier Forschende des MIT CSAIL ließen Astra die Rohgewichte des offenen kleinen Modells Qwen3.5-0.8B von Alibaba lesen, die Ursache dafür finden, warum es sich bei Matheaufgaben in Schleifen verfängt, und anschließend 0,016 % seiner Gewichte ändern. Bei gleichen Sampling-Einstellungen stieg der MATH-500-Wert von 7,9 % auf 48,1 %. Es handelt sich um eine Forschungsdemonstration mit vollständig veröffentlichten Versuchsprotokollen, noch nicht um ein allgemeines Trainingsverfahren.
Die Schleife war das Hauptproblem dieses kleinen Modells
Astra lokalisierte das Problem in den mehrschichtigen Perzeptronen der Schichten 15 und 19, entfernte eine Richtung, die das Modell im Kreis laufen ließ, und änderte insgesamt 131.072 Gewichtseinträge. Vor der Änderung erreichten 93,0 % der MATH-500-Antworten die Grenze von 32.768 neuen Tokens, ohne ein Ergebnis zu liefern; danach fiel dieser Anteil auf 33,1 %. GSM8K stieg von 13,8 % auf 67,1 %, der Benchmark für das Befolgen von Anweisungen, IFEval, von 21,0 % auf 62,3 %. Die Forschenden betonen, dass der Gewinn daher rührt, dass ein Hindernis beseitigt wurde, und nicht daher, dass mathematisches Wissen in die Gewichte hineingesteckt worden wäre, das vorher nicht vorhanden war. Der beste Lauf mit 50 Vorwärtspässen dauerte 20,3 Stunden, 158 Gesprächsrunden und 80 Python-Ausführungen; die Kosten liegen im Suchprozess, nicht in der Änderung selbst.
Astra probierte mit dem Lesen und Schreiben von Gewichten auch andere Aufgaben
Im selben Artikel erkannte Astra allein anhand der Rohgewichte, für welches von vier Spielen jedes von vier kleinen Netzen trainiert worden war; in einer einzigen Antwort ohne Werkzeuge änderte es 3,5 % der Gewichte eines Policy-Netzes, sodass ein Auto, das vor einer Rampe immer stecken blieb, alle 1.024 Tests bestand; und von Grund auf geschriebene MinAtar-Spielnetze übertrafen bei Breakout ein PPO-Netz, das 500 Millionen Schritte trainiert worden war. Alle diese Ergebnisse stammen aus den eigenen Auswertungen der Forschenden und wurden noch nicht unabhängig reproduziert. Eine aus den öffentlichen Protokollen wiederaufgebaute Version des bearbeiteten Modells erreichte 51,0 % bei MATH-500, was in dieselbe Richtung weist, aber es war ein separater Wiederholungslauf und lässt sich nicht direkt neben die Zahlen des Artikels stellen.
Es funktioniert nur bei Modellen mit einem klaren Fehler
Ein Kontrollexperiment zieht die Grenze. Gemma 3 270M verfängt sich selten in Schleifen, und Astras wiederholte Änderungen bewegten MATH-500 nur von 6,8 % auf 7,0 % bis 7,7 %, was die Forschenden nicht als gesicherte Verbesserung werten. Auch konnte Astra allein anhand der Gewichte nicht unterscheiden, welches von zwei Gemma-Modellen darauf trainiert worden war, sich anbiedernder zu verhalten. Die 48,1 % sind der beste von vier Läufen; mit 10 Vorwärtspässen waren es nur 12,3 %. Der Wert dieser Arbeit liegt darin zu zeigen, dass ein Frontier-Modell bereits gezielte, durch Schlussfolgern gesteuerte Änderungen an den Gewichten selbst vornehmen kann; das Gradiententraining zu ersetzen oder beliebige große Modelle automatisch zu reparieren, ist noch weit entfernt.
