Quel assistant vocal répond le plus souvent à côté de la plaque ? Si l’on en croit les observation de la société de capital-risque Loup Venture, Alexa est l’assistant qui répond le moins correctement, face à ses concurrents Google Assistant, Siri ou Cortana.
Le 26 juillet 2018, le groupe a publié son test annuel des assistants vocaux : pour déterminer lequel répond le plus à-propos, les analystes Gene Munster et Will Thompson ont posé 800 questions à Siri, Google Assistant, Alexa et Cortana. Ils expliquent que l’assistant de la firme de Mountain View s’en est le mieux sorti, en répondant correctement ans 86 % des cas.
Sur smartphone uniquement
Notre test d’Amazon Echo avait déjà évoqué ce que cette étude vient confirmer, à savoir la difficulté d’Alexa de répondre à des questions simples. Néanmoins, cette fois-ci la société ne s’est concentrée que sur les assistants vocaux intégrés à des smartphones — elle envisage de les tester à la fois sur smartphone et enceintes connectées à l’avenir.
Le test a ainsi été mené avec Siri sur iOS 11.4, sur Google Assistant depuis un Pixel XL, sur Alexa et Cortana depuis leur application sur iOS.
L’assistant a-t-il compris, et répondu correctement ?
Pour déterminer si les assistants étaient capables de répondre, les analyses ont établi leur classement en fonction de deux critères : « 1. A-t-il compris ce qui lui était demandé ? 2. A-t-il donné une réponse correcte ? »
Les questions posées aux assistants portaient sur cinq domaines : des questions sur la localisation d’un endroit, sur un commande en ligne, sur la navigation, des demandes d’information et des commandes (par exemple, pour demander à l’assistant de faire un rappel).
Google Assistant se démarque
En plus de répondre le mieux souvent aux questions posées, Google Assistant a aussi compris les 800 questions qui lui ont été adressées. De son côté, Siri a mal compris 11 questions, et Alexa 13. Cortana était le plus mauvais élève, avec 19 questions incomprises.
« Google Assistant a l’avantage dans toutes les catégories, sauf la commande. L’avance de Siri sur Assistant dans cette catégorie est étrange, étant donné qu’ils sont tous les deux incorporés dans l’OS du téléphone plutôt que d’être dans une application tierce (comme Cortana et Alexa) », notent les analystes.
La conclusion de ces tests amène la société a noter que les assistants vocaux semblent s’améliorer de plus en plus rapidement : « Nous sommes impressionnés par la vitesse à laquelle la technologie avance. De nombreuses problématiques que nous avions l’année dernière ont été gommées par des améliorations du traitement du langage naturel et l’inter connectivité entre les appareils », assurent Gene Munster et Will Thompson.
Nouveauté : Découvrez
La meilleure expérience de Numerama, sans publicité,
+ riche,
+ zen,
+ exclusive.
Si vous avez aimé cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à Numerama sur Google News.
