Le texte est-il bon parce qu’il nous captive, ou parce que nous croyons qu’un être humain l’a écrit ? Une expérience menée par Sydney Sears et Deena Skolnick Weisberg, de l’université Villanova, montre que ces deux critères peuvent entrer en contradiction.
Dans leur étude, publiée dans la revue Judgment and Decision Making, les chercheuses constatent que des lecteurs évaluent plus favorablement de courtes nouvelles générées par ChatGPT que des textes humains comparables. Pourtant, les histoires présentées comme étant l’œuvre d’une personne sont elles aussi mieux notées — même lorsque cette information est fausse.
Autrement dit, le contenu produit par l’intelligence artificielle séduit davantage à la lecture, tandis que la signature humaine conserve une valeur symbolique.
Six histoires et une attribution parfois mensongère
Pour la première expérience, les chercheuses ont recruté 1 682 adultes américains par l’intermédiaire de la plateforme Prolific. L’échantillon devait refléter la population des États-Unis en matière d’âge, de genre et d’origine ethnique.
Chaque participant a lu une nouvelle d’environ 1 000 mots. Trois textes provenaient d’auteurs humains et avaient déjà été publiés dans des revues ou des recueils littéraires. Trois autres avaient été générés par GPT-4. Chacun reprenait le thème et certains éléments narratifs de l’une des œuvres humaines, formant ainsi trois paires de textes comparables.
Avant la lecture, les participants étaient informés que leur histoire avait été écrite soit par une personne, soit par ChatGPT. Cette indication n’était toutefois exacte que dans la moitié des cas.
Les lecteurs devaient ensuite évaluer la qualité du texte et leur degré d’immersion : avaient-ils été absorbés par le récit ? S’étaient-ils représentés son univers ? Avaient-ils eu envie de poursuivre leur lecture ?
Le résultat est double. Les nouvelles générées par ChatGPT ont obtenu de meilleures évaluations que les textes humains : 1,42 contre 1,00 pour l’absorption, et 1,54 contre 0,97 pour la qualité perçue.
Mais l’étiquette influençait elle aussi le jugement. Quelle que soit l’origine réelle du texte, les histoires présentées comme humaines étaient jugées plus favorablement que celles attribuées à ChatGPT. L’effet était plus prononcé chez les participants ayant une opinion négative de l’intelligence artificielle.
Distinguer l’humain de la machine
Dans deux autres expériences réunissant 905 participants, chacun devait comparer une nouvelle humaine à une histoire générée par ChatGPT, puis identifier leur origine.
Lors du premier test, seuls 40 % des participants ont correctement identifié l’origine des deux histoires. Ils se sont donc trompés plus souvent qu’ils n’ont vu juste, attribuant fréquemment à ChatGPT le texte humain et à une personne le texte généré par l’IA. Dans le second test, 52 % ont répondu correctement, un résultat trop proche de 50 % pour montrer une réelle capacité à faire la différence.
L’expertise littéraire autodéclarée ne les aidait pas davantage. Lire beaucoup de fiction, en écrire ou savoir l’analyser n’améliorait pas les résultats. Les personnes les plus familières des outils d’IA réussissaient en revanche légèrement mieux.
Autre constat surprenant : les participants qui disaient s’appuyer sur le langage employé ou sur le plaisir ressenti avaient davantage tendance à se tromper. Les indices qui leur semblaient les plus révélateurs n’étaient donc pas nécessairement les bons.
Des textes plus faciles à lire ?
Pourquoi les histoires de ChatGPT ont-elles obtenu de meilleures notes ? Les chercheuses avancent une explication possible : les textes générés par l’IA pourraient être plus fluides et plus faciles à comprendre immédiatement.
Sur des nouvelles d’environ 1 000 mots — une longueur que les chercheuses assimilent à cinq minutes de lecture — cette lisibilité pourrait favoriser les évaluations d’absorption et de qualité. L’étude ne permet toutefois pas de démontrer que la fluidité ou la facilité de lecture explique à elle seule l’écart observé.
Ces résultats ne signifient donc pas que l’IA écrit « mieux » que les humains. L’étude ne portait que sur trois paires de nouvelles réalistes et relativement courtes, auprès d’un échantillon américain recruté en ligne. Les textes générés reprenaient en outre des thèmes et des éléments narratifs d’œuvres humaines existantes.
L’expérience ne permet pas davantage de savoir si ChatGPT pourrait maintenir la même qualité à l’échelle d’un roman, avec des personnages, une intrigue et un style développés sur plusieurs centaines de pages.
Reste que cette étude a le mérite de souligner deux points : dans cet échantillon, l’expertise littéraire autodéclarée n’a pas permis de mieux distinguer les textes humains des textes générés par IA, et l’accueil réservé à un texte dépend aussi de ce que l’on croit savoir de son auteur.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Toute l'actu tech en un clin d'œil
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
Anticipez le futur en vous inscrivant gratuitement à ToujoursPlus, la newsletter tech de référence.