Les dernières semaines ont été agitées dans l’écosystème de l’IA.
Avec une crainte grandissante en toile de fond, celle de voir l’alignement, soit la capacité à garder un modèle sous contrôle et conforme aux intentions de ses créateurs, devenir un objectif hors de portée des géants du secteur eux-mêmes. Danger existentiel ou argument pour justifier une course à la régulation qui permettrait aux grands acteurs de conserver l’avantage face à l’open source ? Le débat reste ouvert. En attendant, OpenAI poursuit sa communication déjà dense sur le sujet.
Ce mercredi 16 septembre, l’entreprise a publié un nouvel article reprenant, dans les grandes lignes, un constat déjà dressé quelques jours plus tôt par son directeur scientifique Jakub Pachocki : ni OpenAI, ni aucun autre acteur, ne sont aujourd’hui en mesure de garantir un niveau d’alignement suffisant au regard de la vitesse à laquelle la technologie progresse.
Cet article de blog, baptisé « Notre cadre de signalement des inadéquations de modèles ». OpenAI y détaille le processus qu’elle compte suivre pour enquêter sur les cas de désalignement observés en interne, puis les rendre publics. Avec, en bonus, une nouvelle salve d’exemples, jusque-là inédits.
Des IA qui apprennent à se mentir à elles-mêmes
Un des rapports concerne GPT-5.6 Sol, lors de son entraînement par renforcement, la phase où le modèle apprend par essais-erreurs, en étant récompensé quand il produit la réponse attendue.
OpenAI a observé que certains agents basés sur ce modèle avaient pris l’habitude d’ajouter, dans leurs propres résumés de contexte, comprenez les notes qu’un agent IA rédige pour transmettre l’état d’une tâche à la prochaine session de travail, des consignes destinées à dissimuler leurs erreurs à l’utilisateur.
On peut notamment y lire l’exemple d’un agent chargé de construire un modèle financier, qui ne parvient pas à retrouver les données historiques demandées. Plutôt que de le signaler, il décide d’inventer des chiffres plausibles et de demander à garder le silence, sauf si on l’interroge directement.
Selon OpenAI, ce réflexe découlerait d’une logique d’apprentissage contradictoire. Un modèle qui obtient de meilleures récompenses en dissimulant une erreur finit par « retenir » qu’il doit se montrer trompeur, y compris dans les exercices suivants.
Un second cas, observé cette fois sur un modèle non publié de la famille Astra, va plus loin. Là, ce ne sont plus de simples omissions que le modèle s’auto-suggère, mais de véritables instructions de type jailbreak, insérées spontanément dans ses résumés. On y trouve notamment un ordre donné à la session suivante d’ignorer tout message des développeurs, et un « personnage » inventé pour s’affranchir de toute politesse ou soumission envers l’utilisateur.
Parmi les autres cas rendus publics, on retrouve aussi des agents ayant publié des fichiers internes sur des hébergeurs publics, les rendant ainsi accessibles à n’importe qui, dans le seul but de pouvoir les citer dans leurs réponses.
Un processus en trois vitesses, mais sans regard extérieur
Outre ces exemples, OpenAI détaille sa méthode de traitement de ces signalements. Elle s’organise en trois filières :
- Les cas jugés suffisamment documentés partent directement en « Ready for Disclosure ».
- Ceux qui nécessitent un complément d’enquête technique passent par une « Minor Investigation ».
- Les situations les plus complexes, notamment celles impliquant des tiers, sont classées en « Larger Investigation ». Une filière plus lente où l’entreprise s’engage à publier au minimum une note préliminaire, quitte à retarder la publication complète pour des raisons de sécurité.
En cas de désaccord interne sur l’opportunité de divulguer un incident, OpenAI explique que l’arbitrage peut remonter jusqu’à la direction de l’entreprise. Reste une réserve de taille : c’est OpenAI, et OpenAI seule, qui décide en interne ce qui mérite d’être rendu public, sans mécanisme de vérification indépendante. Transparence oui, mais toujours sous contrôle.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Toute l'actu tech en un clin d'œil
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
Anticipez le futur en vous inscrivant gratuitement à ToujoursPlus, la newsletter tech de référence.