« Étrangement doués » : ils demandent à GPT-6 Astra de réparer Qwen sans le réentraîner, et les résultats font débat

Alors peut-être ?

4 min

Résumé par IA, vérifié par Numerama

Des chercheurs du MIT rapportent que GPT-6 Astra peut interpréter les poids de petits réseaux neuronaux, les modifier et même en concevoir sans entraînement.
En corrigeant 0,016 % des poids de Qwen3.5-0.8B, Astra a fait passer son score en mathématiques de 7,9 % à 48,1 %.
Les auteurs reconnaissent toutefois que cette méthode ne peut pas ajouter une capacité absente du modèle, et les tests ne démontrent pas qu’Astra puisse s’améliorer lui-même.

Recevez tous les soirs un résumé de l’actu importante avec Le Récap’

Quatre chercheurs du MIT affirment que GPT-6 Astra sait lire et modifier directement les paramètres d’autres modèles d’IA. De quoi corriger une IA sans la réentraîner ?

« Les LLM peuvent lire et écrire nativement les poids des réseaux neuronaux. »

C’est sur cette affirmation que s’ouvre le billet de blog publié le 2 novembre 2026 par quatre chercheurs du MIT, qui a rapidement suscité de vives réactions sur le forum Hacker News. La promesse est alléchante. Selon eux, GPT-6 Astra, le modèle de langage (LLM) phare d’OpenAI, sait lire et réécrire directement les « poids » d’autres réseaux de neurones, sans devoir repasser par un entraînement.

Si l’annonce a autant fait réagir, c’est que ces poids, des milliards de nombres qui déterminent le comportement d’un modèle, ne se retouchent pas à la main. Ils sont d’ordinaire fixés par l’entraînement, un processus automatique qui les ajuste par petites touches à partir de grandes quantités de données. Le modèle ainsi obtenu fonctionne, mais ses poids restent une immense liste de chiffres que personne ne sait lire à l’œil nu. Corriger un défaut oblige donc souvent à repasser par de nouvelles données et de nouveaux calculs.

Or, si un modèle pouvait comprendre ces nombres et les retoucher lui-même, il deviendrait possible d’analyser une IA à moindre coût et, espèrent les auteurs, de réparer ses défauts, voire d’y repérer une porte dérobée (une fonction malveillante cachée) sans même le faire tourner.

Et votre vie numérique devient sereine

Bitdefender Premium Security est une solution de cybersécurité européenne qui vous protège automatiquement contre les pirates et toutes les menaces du web. Profitez de vos activités en ligne en toute tranquillité

La promesse tient en trois mots : lire, réparer, améliorer // Source : MIT — La promesse : lire, réparer, améliorer // Source : MIT

Astra a identifié, réparé et écrit des réseaux

La conclusion majeure de ces travaux tient en une seule observation : les modèles de pointe, dont Astra fait partie, commenceraient « à devenir étrangement doués pour comprendre et concevoir les poids de réseaux neuronaux ». Un constat qui s’appuie d’abord sur la capacité d’Astra à lire de très petits réseaux.

Les chercheurs ont donc débuté leurs tests en soumettant au modèle quatre réseaux de même taille de 17 253 poids chacun, entraînés à jouer à quatre jeux vidéo différents, dont le casse-briques Breakout et Pac-Man.

Sans disposer d’une liste de réponses possibles, Astra a retrouvé le bon jeu à chaque fois. Pour Breakout, il a notamment remarqué que les poids associés au joueur se concentraient sur la rangée du bas de l’écran, là où se déplace la raquette.

À partir des seuls poids du réseau, Astra a reconnu le casse-briques Breakout, notamment grâce à ceux qui trahissent la raquette sur la rangée du bas. // Source : MIT

Un autre test consistait à demander au modèle de réparer un réseau de neurones chargé de conduire une voiture virtuelle, qui restait bloquée sur une rampe faute d’avoir appris à reculer pour prendre de l’élan. Astra a modifié 3,5 % de ses poids en une seule réponse, et la voiture a ensuite franchi l’obstacle lors des 1 024 essais suivants. Le modèle a aussi écrit des réseaux à partir de zéro, en fixant lui-même leurs poids, sans données ni entraînement.

Un signe qu’Astra serait capable d’améliorer n’importe quelle IA disponible en open-weight sans repasser par la case entraînement ? Le résultat le plus commenté concerne en tout cas Qwen3.5-0.8B, un petit modèle de langage chinois qui a tendance à tourner en boucle lorsqu’il raisonne.

Sur le test de mathématiques MATH-500, 93 % de ses réponses s’interrompaient ainsi après avoir atteint la limite de longueur fixée par les chercheurs. Astra n’avait pas le droit de réentraîner Qwen, mais il pouvait le faire travailler sur des exercices et analyser ses réponses, dans la limite de 50 séries. Il a ainsi localisé l’origine des boucles et corrigé le problème en modifiant 0,016 % des poids. Le score de Qwen à MATH-500 est alors passé de 7,9 % à 48,1 %, et celui à IFEval, un test qui mesure le respect des consignes, de 21 % à 62,3 %.

Des résultats nuancés par les auteurs et les commentateurs

Les chercheurs reconnaissent eux-mêmes deux échecs importants. Sur Gemma 3 270M, un modèle de Google environ trois fois plus petit que Qwen et qui boucle rarement, Astra n’a pas réussi à améliorer nettement les résultats en mathématiques, ce qui conduit les auteurs à conclure que modifier les poids pouvait lever un obstacle qui masquait une capacité, mais « ne pouvait pas ajouter une capacité qui manquait au modèle ». Astra n’a pas non plus su distinguer, à partir des seuls poids, une version de Gemma entraînée à flatter l’utilisateur d’une version honnête, et il n’y est parvenu qu’en observant une partie du fonctionnement des modèles pendant leur exécution.

Sur Hacker News, beaucoup restent sceptiques et jugent que la correction de Qwen n’a rien d’inédit. Les chercheurs la comparent d’ailleurs à une méthode décrite dès 2024 pour supprimer les refus d’un modèle, qui consiste à repérer une « direction » associée à un comportement, puis à la retirer.

Si certains voient dans ces travaux un premier pas vers des IA capables de s’améliorer elles-mêmes, d’autres relèvent que ces expériences ne le prouvent pas pour l’instant, puisqu’Astra n’a jamais modifié ses propres poids.