OpenAI, l’entreprise à l’origine de ChatGPT, a dévoilé un nouvel outil. Il permet de détecter les textes écrits par une intelligence artificielle, notamment GPT-3. Il existe encore cependant quelques limites à l’outil.

Comment reconnaître un texte écrit par un élève d’un texte écrit par une intelligence artificielle ? Depuis l’arrivée de ChatGPT et son interdiction dans les écoles de New-York et à Sciences Po, c’est la question que se posent beaucoup de professeurs. Même si l’utilisation du chatbot développé par OpenAI n’est pas encore formellement interdite dans tous les établissements, ChatGPT reste polémique.

Il n’y avait surtout pas encore d’outil véritablement efficace pour détecter les textes générés par IA, ce qui compliquait encore la tâche des professeurs. Depuis le 31 janvier, c’est désormais chose faite : OpenAI vient de rendre publique une intelligence artificielle, elle-même chargée de dire si un texte a été écrit par IA. Vous pouvez la retrouver ici.

Un outil qui marche, mais qui a des limites

L’outil publié par OpenAI s’appelle « AI Text Classifier ». Une fois sur la page, il suffit de coller un texte dans l’encart dédié et d’appuyer sur le bouton vert « Submit » afin d’avoir le résultat — qui arrive en quelques secondes. L’IA vous dira si le texte renseigné est « likely » (probablement) écrit par un humain, ou une intelligence artificielle ; ou s’il l’est « possibly » (possiblement).

Nous avons fait le test en reprenant des extraits de notre article sur ChatGPT que nous avions fait écrire par ChatGPT, et Text Classifier a bien trouvé.

ChatGPT a écrit ce texte, ce qui n'est pas passé inaperçu // Source : Capture d'écran Numerama
ChatGPT a écrit ce texte, ce qui n’est pas passé inaperçu // Source : Capture d’écran Numerama

Nous avons ensuite essayé avec des extraits de cet article, et nous avons pu voir les premiers bémols. Classifier n’a pas su dire que l’article avait été écrit par un humain. À la place, l’outil a indiqué que l’extrait avait été « possiblement » écrit par une intelligence artificielle.

Suis-je vraiment humaine après tout ?  // Source : Capture d'écran Numerama
Suis-je vraiment humaine après tout ? // Source : Capture d’écran Numerama

On voit donc que Classifier a des limites, ce qu’OpenAI reconnaît également. L’entreprise a annoncé que Classifier « identifie correctement 26% des textes écrits par IA en tant de « probablement écrit par des IA » », et qu’elle se trompait en « indiquant que des textes écrits par des humains avaient été générés par des IA 9% du temps ».

Il est aussi important de noter qu’il est moins compétent dès qu’on utilise une autre langue que l’anglais ou des textes écrits par des enfants, car « il a été principalement été entrainé sur des textes en anglais écrits par des adultes », explique OpenAI.

L’outil ne marche également pas avec les textes courts : il faut une longueur minimum de 1000 signes, ce qui représente un extrait assez long — surtout s’il existe un doute sur une petite partie de texte. Enfin, « Classifier n’est pas toujours juste. Il peut se tromper sur des textes écrits par des humains et sur des textes écrits par des IA », indique la page.

Il serait également facile de tromper sa surveillance : « les textes modifiés par des humains peuvent facilement échapper à sa surveillance ». Là aussi, Numerama a fait le test, et les résultats sont surprenants. En reprenant le même texte que pour l’essai précédent, mais en changeant des tournures de phrase, en faisant des fautes d’orthographe, en ajoutant et supprimant des mots, et en modifiant l’ordre des paragraphes, Classifier ne s’est pas trompé sur le résultat final : pour lui, le texte est toujours « probablement » écrit par une IA (suis-je vraiment humaine ? Je ne sais plus.)

Crise existentielle intensifies // Source : Capture d'écran Numerama
Crise existentielle intensifies // Source : Capture d’écran Numerama

Le fait que Classifier arrive à retrouver les textes générés par IA est impressionnant. Mais, tant qu’il n’arrive pas complètement à détecter ceux écrits par des humains, il ne pourra pas être un outil utilisé massivement, notamment dans le cas de professeurs. En attendant, il s’agit cependant d’un premier bon indicateur — et OpenAI rappelle qu’il s’agit d’un « projet toujours en cours de développement ».


Abonnez-vous à Numerama sur Google News pour ne manquer aucune info !