L’accessibilité des personnes malentendantes et muettes face à une enceinte connectée n’est pas encore acquise. Un designer s’est appuyé sur le deep learning, afin que les gens concernés par ces handicaps puissent utiliser Amazon Echo.

À l’heure où des millions d’Américains possèdent une enceinte connectée, la question de l’accessibilité de cette technologie risque inévitablement de se poser. MicrosoftGoogle et même Porhnub ont déjà cherché à adapter leurs outils aux personnes en situation de handicap. Comment les enceintes connectées pourraient-elles s’adapter aux déficiences visuelles ou au mutisme de certains utilisateurs ou utilisatrices ?

Le designer Abhishek Singh a apporté le 11 juillet 2018 un début de réponse à cette interrogation. Dans une vidéo publiée sur Twitter, il explique comment il est parvenu à faire en sorte que l’enceinte d’Amazon réponde à des directives adressées en langue des signes.

« Si la voix est le futur de l’informatique, qu’en est-il de ceux qui ne peuvent pas parler ou entendre ? J’ai utilisé TensorFlow.js pour qu’Amazon Echo réponde au langage des signes », écrit le designer, qui n’est lui-même pas concerné par ces handicaps.

Une caméra joue l’intermédiaire

TensorFlow, le système d’intelligence artificielle mis à disposition par Google depuis 2015, est une méthode reposant sur l’apprentissage profond (ou deep learning). C’est cette technique qu’il a utilisé pour qu’Alexa, l’assistant vocal intégré à l’enceinte d’Amazon, puisse répondre à la langue des signes.

Pour ce faire, il a eu besoin d’un ordinateur, dont la caméra capture les mouvements de l’utilisateur afin d’interpréter ses signes. Les gestes sont alors traduits à la fois par du texte et du son, que l’Amazon Echo peut interpréter comme une directive.

Les signes sont traduits en sons

La réponse adressée par Alexa est alors, à nouveau, traduite par le dispositif sous forme de texte, que la personne peut lire directement à l’écran. Le designer fait une démonstration en demandant à l’enceinte quel temps il fait, et il apprend ainsi qu’il fait 29 degrés à New York. Abhishek Singh demande aussi à Alexa de lui raconter une blague.

Le procédé mis en place par le designer a le mérite de souligner que les enceintes connectées, un secteur investi par plusieurs leaders la tech, ont encore des progrès à faire pour améliorer leur accessibilité.


Vous voulez tout savoir sur la mobilité de demain, des voitures électriques aux VAE ? Abonnez-vous dès maintenant à notre newsletter Watt Else !