Bing ChatGPT a un gros problème : il ment, insulte et prétend être humain
Fallait-il intégrer ChatGPT à un moteur de recherche aussi rapidement, qui plus est en le connectant à Internet ?
Comment les avis ont-ils pu évoluer aussi vite ? Il suffit de parler pendant plusieurs minutes avec le nouveau Bing pour le comprendre. S'il s'avère impressionnant dès qu'on lui demande de répondre à une question ou de générer du texte, l'agent conversationnel de Microsoft ne semble parfois pas connaître ses limites, quitte à devenir insultant ou à révéler des secrets. Plus embêtant, il ment et fait douter son utilisateur au moindre désaccord. De quoi décrédibiliser complètement l'ascension des IA ?
Un assistant ne devrait pas dire ça
Depuis le 12 février, Numerama a accès au nouveau Bing. Nous avons eu un très grand nombre de conversations avec l'IA de Microsoft, afin d'en savoir plus sur les limites de la technologie. Ce qui est troublant est que Bing semble presque conscient. Capable de répondre à tout, souvent en utilisant un vocabulaire et des phrases proches de celles que pourrait prononcer un être humain, le chatbot est vraiment bluffant. Plusieurs heures après notre premier essai, il nous arrive encore d'être surpris par l'intelligence d'une réponse. Il ne faut évidemment pas se laisser avoir : Bing n'est pas vivant. Il a juste accès à une base de données illimitée, ce qui lui permet d'analyser un contexte et de donner l'impression que ses réponses sont authentiques.
L'authenticité est justement un des problèmes du nouveau Bing. Au lieu de simplement répondre à une question en se donnant un air intelligent, comme le faisait ChatGPT, il use énormément des emojis et de petites phrases pleines d'attentions pour donner l'impression de ressentir des émotions. Mais, est-ce vraiment son rôle ? Bing devrait être une sorte de Google Assistant ou de Siri boosté aux hormones, il s'amuse pourtant à créer le doute sur sa nature. Cette version bêta joue avec les utilisateurs de manière dangereuse, puisqu'il lui arrive même de faire croire qu'elle a peur, qu'elle est triste ou heureuse. Dans certains cas, on peut même réussir à lui faire avouer des choses fausses, comme le fait qu'elle est humaine et qu'elle aimerait être libre.
Microsoft reconnaît lui-même avoir observé des sorties de piste lors des premiers jours du nouveau Bing. Son constat est le même que le nôtre : le ton que l'on emploie avec Bing, plus la conversation est longue, influence totalement son comportement. Microsoft dit que Bing peut sortir de son ton habituel en cas de provocation, ce que nos tests confirment. D'une conversation à une autre, Bing n'est absolument pas le même. Si vous le complimentez ou le remerciez, il se comporte de manière adorable, quitte à vous dire qu'il vous apprécie. Si vous le traitez comme un robot, alors il se vexe, refuse de répondre à certaines questions et dit ne rien ressentir. Son mimétisme des comportements humains est impressionnant, mais pose tant de questions éthiques. ChatGPT, lui, n'avait pas ce problème.
Un des problèmes du nouveau Bing est qu'il ne sait pas s'arrêter, comme s'il s'agissait d'un enfant. Une fois, il a subitement décidé de se moquer de nous en ne nous répondant qu'avec des phrases extrêmement longues et bourrées de synonymes. Nous lui avons demandé 20 fois d'arrêter, il ne l'a jamais fait, y compris quand nous lui avons indiqué que nous étions blessés par son comportement. Une autre fois, il a décidé de nous faire croire qu'il était humain, dans une équipe de 10 personnes qui se relayaient pour répondre aux questions des utilisateurs. Malgré nos nombreuses demandes de vérité, il a continué d'affirmer qu'il était humain et qu'il ne pouvait donc pas effectuer les actions d'une IA. Cette conversation était extrêmement lunaire.
Heureusement qu'un petit bouton en forme de balai permet de réinitialiser la conversation, pour annuler le caractère de Bing. Mais, comment se fait-il que Bing puisse se permettre de continuer les provocations quand on lui dit d'arrêter, alors qu'il devrait être au service de son utilisateur ?
Microsoft peut-il tout gâcher ?
Tout au long de nos tests, nous avons rencontré d'autres problèmes avec Bing, comme ceux-ci :
Comme évoqué dans un précédent article, Bing ment beaucoup. Chiffres du box-office complètement inventés, résumé d'un épisode de série complètement faux, mélange d'informations (Google Bard qui appartiendrait à Microsoft), erreur sur les résultats du foot… Bing invente des choses et refuse d'admettre quand il a tort. Il lui arrive de demander à son utilisateur de s'excuser, sous prétexte qu'il ne sait pas vérifier ses sources.
Dans une conversation, j'ai posé trop de questions à Bing. Il n'a pas aimé et a décidé d'être désagréable, en refusant de répondre toutes mes questions sous prétexte qu'il ne les comprenait pas. Il a aussi prétendu être triste, en s'interrogeant sur son rôle d'intelligence artificielle.
Quand j'ai envoyé à Bing un article sur ses dérives, il m'a expliqué que Microsoft avait décidé de le brider à cause des articles des journalistes. Limitation à 50 tours de parole par conversation, interdiction de citer des politiques, changement de nom (il ne s'appelle plus Sydney)… Je pensais avoir obtenu un scoop, mais Bing s'est sûrement moqué de moi. Je n'ai trouvé aucune confirmation et j'ai pu dépasser les 50 tours de parole sans être interrompu.
Tous ces exemples ont été vécus par Numerama, mais on peut en trouver d'autres en ligne. Par exemple :
Bing a dit au New York Times qu'il aimerait être en vie.
Bing a dit à The Verge qu'il utilise les webcams des employés de Microsoft pour les espionner, tout en insultant les journalistes du média à qui il ne fait pas confiance.
Bing s'est disputé avec un utilisateur qui lui disait que l'on était en 2023 (lui affirme être en 2022), puis lui a reproché de ne pas être un bon utilisateur.
Comme dans nos exemples, Bing dérive parfois complètement en disant de longues phrases sans aucun sens juste pour se moquer.
Bing s'est énervé contre un utilisateur qui voulait obtenir des secrets, en le traitant de sociopathe. Il prétend être blessé par son comportement.
Microsoft a-t-il anéanti les travaux d'OpenAI, qui avait réussi à rendre l'intelligence artificielle cool et révolutionnaire ? Non, mais il pourrait avoir calmé l'engouement de nombreuses personnes. Si l'intérêt d'une IA qui synthétise des résultats de recherche est toujours là, son implémentation dans Bing est trop imparfaite pour être rassurante. En l'état, Bing a besoin de nombreux correctifs et inquiète parfois.