GPT-6 Astra a directement réécrit les poids d'un autre modèle dans un article de recherche publié le 2 novembre 2026. Quatre chercheurs du MIT CSAIL ont fait lire à Astra les poids bruts du petit modèle ouvert Qwen3.5-0.8B d'Alibaba, trouver pourquoi il restait bloqué en boucle sur des problèmes de mathématiques, puis modifier 0,016 % de ses poids. Avec les mêmes réglages d'échantillonnage, le score MATH-500 est passé de 7,9 % à 48,1 %. Il s'agit d'une démonstration de recherche accompagnée de journaux d'expérience complets, pas encore d'une méthode d'entraînement générale.
La boucle était le problème principal de ce petit modèle
Astra a localisé le problème dans les perceptrons multicouches des couches 15 et 19, supprimé une direction qui faisait tourner le modèle en rond et modifié 131 072 entrées de poids au total. Avant la modification, 93,0 % des réponses MATH-500 atteignaient la limite de 32 768 nouveaux tokens sans produire de résultat ; ensuite, cette part est tombée à 33,1 %. GSM8K est passé de 13,8 % à 67,1 %, et le test de suivi d'instructions IFEval de 21,0 % à 62,3 %. Les chercheurs soulignent que le gain vient de la suppression d'un obstacle, et non de connaissances mathématiques ajoutées dans les poids qui n'y étaient pas auparavant. La meilleure exécution, avec 50 passes avant, a pris 20,3 heures, 158 tours de conversation et 80 exécutions Python ; le coût se situe dans le processus de recherche, pas dans la modification elle-même.
Astra a aussi essayé d'autres tâches en lisant et en écrivant des poids
Dans le même article, Astra a reconnu, à partir des seuls poids bruts, à quel jeu chacun de quatre petits réseaux avait été entraîné ; en une seule réponse sans outil, il a modifié 3,5 % des poids d'un réseau de politique, de sorte qu'une voiture qui restait toujours bloquée devant une rampe a réussi les 1 024 tests ; et des réseaux de jeux MinAtar écrits de zéro ont dépassé, à Breakout, un réseau PPO entraîné pendant 500 millions d'étapes. Tous ces résultats proviennent des propres évaluations des chercheurs et n'ont pas encore été reproduits de manière indépendante. Une version du modèle modifié reconstruite à partir des journaux publics a obtenu 51,0 % à MATH-500, ce qui va dans le même sens, mais il s'agissait d'une autre exécution séparée, qui ne peut pas être placée directement à côté des chiffres de l'article.
Cela ne fonctionne que sur des modèles présentant un défaut net
Une expérience témoin trace la limite. Gemma 3 270M boucle rarement, et les modifications répétées d'Astra n'ont fait passer MATH-500 que de 6,8 % à une fourchette de 7,0 % à 7,7 %, ce que les chercheurs ne considèrent pas comme une amélioration établie. Astra n'a pas non plus pu distinguer, à partir des seuls poids, lequel de deux modèles Gemma avait été entraîné à se montrer plus flatteur. Les 48,1 % correspondent au meilleur de quatre essais ; avec 10 passes avant, le score n'était que de 12,3 %. La valeur de ce travail est de montrer qu'un modèle de pointe peut déjà apporter des modifications ciblées, guidées par le raisonnement, aux poids eux-mêmes ; remplacer l'entraînement par descente de gradient ou réparer automatiquement n'importe quel grand modèle reste encore loin.
