Des gants pour synthétiser vocalement la langue des signes

C’est encore très loin d’être un produit fini prêt à être lancé sur le marché, mais l’état des recherches va donner beaucoup d’espoir aux personnes sourdes et muettes qui ne communiquent qu’avec la langue des signes. Des étudiants ukrainiens ont en effet mis au point les premiers prototypes d’EnableTalk, une paire de gants électroniques capable de capter les mouvements de la main pour les traduire en temps réel en langage vocal :

https://youtube.com/watch?v=C7OUfkMlbYo%3Frel%3D0

Côté matériel, le gant est du même type que ceux utilisés pour les services de réalité augmentée à la Minority Report. Il envoie par Blutooth les données de position de chacun des doigts de la main, avec un ensemble un ensemble de 19 capteurs (11 de flexion et 8 de toucher), un accéléromètre, et un gyroscope. Il possède aussi une batterie Li-On rechargeable par USB, et un panneau solaire pour recharger automatiquement à la lumière. 

Côté logiciel en revanche, le site officiel d’EnableTalk est avare d’informations. On sait simplement que les chercheurs se basent sur le sa synthèse vocale de Windows 7 et Windows 8, ce qui s’explique très certainement par le fait que l’équipe a gagné la première place du concours ImagineCup organisé par Microsoft, récompenses financières et logistiques à l’appui.

Toute la difficulté, comme l’explique TechNewsWorld, est de réussir à prendre en compte les très nombreuses variations dans les signes utilisés par les sourds et muets. Non seulement tout le monde ne fait pas exactement les mêmes gestes, au centimètre près, mais en plus il existe dans le langage des signes de multiples dialectes et variations. Il faut donc apprendre au logiciel à s’adapter aux différents utilisateurs et aux différentes variantes. En cela, la difficulté technologique est la même qu’avec le langage traditionnel ; mais l’apprentissage risque d’être beaucoup plus long, du fait d’un marché beaucoup plus réduit.

https://youtube.com/watch?v=Zlsc3Wsid6I%3Frel%3D0

Abonnez-vous gratuitement à Artificielles, notre newsletter sur l’IA, conçue par des IA, vérifiée par Numerama !