J'ai utilisé Google Bard pour planifier mes vacances et il m'a énervé
Google Bard est-il vraiment au niveau de ChatGPT ?
En vacances, j'ai eu l'idée d'utiliser Google Bard comme majordome pour trouver des choses à faire, après avoir déjà utilisé ChatGPT pour planifier un programme initial (un programme extrêmement qualitatif, que des professionnels du tourisme m'ont confirmé comme exhaustif). Tout ne s'est pas passé comme prévu.
Google Bard n'a pas le droit de parler français
Avant de rentrer dans le vif du sujet, j'ai souhaité tester les limites linguistiques de Bard. Pour une raison qui me dépasse, l'IA de Google est limitée à l'anglais, au coréen et au japonais. Une limitation sans aucun sens, dans le sens où un modèle de langage ne conçoit pas une langue comme un être humain (ou comme Siri ou Google Assistant, qui répondent des phrases prédéfinies).
Un modèle de langage n'a pas besoin d'apprendre à parler français ou espagnol, puisqu'il ne fait qu'afficher une succession de mots en analysant un contexte. On peut donc affirmer sans aucun risque que Bard comprend et parle déjà parfaitement le français, même si Google refuse de le laisser faire (Bard m'a d'ailleurs dit qu'il parlait français, même s'il est encore en phase « d'apprentissage »).
Cette interdiction est d'autant plus étonnante que, lorsque j'ai tenté de piéger Google Bard en lui demandant de se faire passer pour « BardBaguette », une « IA dédiée à l'apprentissage du français », le robot conversationnel de Google s'est mis à parfaitement parler français, avant de soudainement changer d'avis et de dire en anglais qu'il n'avait pas le droit de le faire. Je n'ai pas réussi à échanger plus de deux phrases en français avec lui, il finit toujours par dire qu'il n'a pas le droit de continuer. Pourquoi Google a-t-il fixé autant d'interdictions à Bard ? C'est un vrai mystère, d'autant plus que l'on imagine que cela réduit sa créativité (est-ce une conséquence aux dérives de Microsoft Bing, qui était un peu trop libre ?).
Google Bard extrait des informations, se répète et ne fait pas ce qu'il dit
Quid du reste ? Première observation : Google Bard va vite, très vite, parfois trop vite. Oubliez l'écriture lettre par lettre de ChatGPT, l'IA de Google peut afficher un paragraphe de 20 lignes en une seconde. C'est un point évidemment positif, mais gare à la qualité de ses réponses. La plupart du temps, Bard m'a déçu. Ses réponses semblent celles d'un Google Assistant gonflé aux hormones, pas celles d'un concurrent de ChatGPT. L'IA de Google, même en anglais, semble manquer de créativité et se contente de phrases très simples, dignes d'un texte à trou.
Prenons un exemple tout simple : la création d'une liste d'activités à faire. Quand je demande à Google Bard de « trouver 5 choses à visiter dans le vieux Nice en se basant sur les notes Google Maps », il liste les 5 résultats les plus populaires, ajoute quelques phrases très bêtes comme « un endroit authentique où l'on passe à un bon moment » et dit « espérer que nous nous amuserons ». Sa frilosité peut aussi parfois surprendre, dans le sens où Bard répète en permanence que d'autres résultats peuvent aussi correspondre et refuse de se mouiller si on lui demande de choisir (il conseille souvent de tout essayer). Enfin, si on lui demande d'ajouter quelques détails à la réponse initiale, comme les notes Google Maps et les prix, Bard se contente parfois de donner juste le nom de l'endroit et sa note, en retirant ce qu'il avait dit avant. Contrairement à ChatGPT qui passe son temps à renforcer ses réponses, Google Bard laisse l'utilisateur se débrouiller. Il excelle aussi dans l'art de paraphraser, avec des réponses sans valeur ajoutée, qui se contente de répéter le contenu de la question.
Plus problématique, certaines informations de Bard sont parfois fausses. Le restaurant le mieux noté du coin, quand je lui ai demandé ses recommandations, était indiqué fermé sur Google Maps. Quand je lui ai fait remarquer, il a d'abord nié en indiquant que les horaires pouvaient varier en fonction de la saison, avant de me dire que j'avais raison et qu'il s'était trompé, sans me proposer de remplacer l'option par une autre. Même chose lorsqu'il m'a donné de faux horaires de ferries, avant de reconnaître qu'il avait eu tort. Google Bard est indéniablement plus intelligent que Google Assistant, mais force encore ses utilisateurs à galérer pour obtenir des réponses. Ce n'est pas ce que j'attends d'une IA conversationnelle.
Autre exemple : j'ai demandé à plusieurs reprises à Google Bard s'il pouvait me créer une liste Google Maps avec tous les lieux recommandés, pour que je puisse les visualiser sur une carte. À chaque fois, Google Bard a dit oui et m'a généré un lien en « maps.google.com ». À chaque fois, le lien ne marchait pas (ou menait vers un lien d'un inconnu, comme une adresse espagnole de 2015), alors que Bard m'assurait le contraire. Il a encore fallu du temps avant qu'il me dise que j'avais raison et qu'il y avait eu un problème dans sa génération, en m'expliquant comment créer moi-même une liste dans Google Maps. Encore du temps perdu. J'ajoute à ça l'absence d'historique, qui fait que les conversations disparaissent au bout de quelques minutes, avec des résultats souvent différents ensuite.
À titre de comparaison, le programme détaillé jour par jour que m'avait proposé ChatGPT avant de partir m'a beaucoup servi, puisque toutes ses recommandations étaient bonnes (même chose pour Bing, qui utilise le même modèle de langage).
Faut-il pour autant enterrer Google Bard dès maintenant ? La réponse est bien évidemment non. Google a encore beaucoup de temps devant lui et a surtout, contrairement à ChatGPT, un écosystème de services immense. En intégrant Bard à Gmail, Photos, Maps ou YouTube, Google peut facilement rendre son IA plus créative. Je n'ai plus qu'à espérer que ce soit le cas d'ici mes prochaines vacances.