Des gants pour synthétiser vocalement la langue des signes

.

Cela avait été imaginé dans un film débile du nom de congo avec un grand singe qui portait ce type de gants. Mais cela pourrait rejoindre la réalité, si on appliquait ce type de gant à un autre gorille bien réelle celui-là, Koko

C'est intéressant, mais j'ai du mal à voir comment ça peut fonctionner en pratique...
Le système risque d'être très long à développer pour arriver à un résultat de synthèse vocale en temps réel et qui fonctionne à la perfection.
En attendant, si la personne doit relier le machin à un smartphone, pourquoi n'écrirait-elle pas simplement ce qu'elle souhaite dire en montrant le texte ou en utilisant un synthétiseur vocal basé sur l'écrit ?

L'intention est bonne et louable, mais vraiment complexe à faire aboutir.

Et il faut faire les gants inverses, quand on parle, ça produit les signes.

Nan, je déconne. C'est une bonne idée.

Edit : Par contre le module linguistique doit être balèze parce que la langue des signes n'utilise pas une grammaire standard "Tu Manquer Moi", à prononcer en anglais, allemand ou français, c'est pas tout à fait pareil.
Autre point problématique, la langue des signes n'utilise pas uniquement les mains, le mouvement de la tête, ou les "grimaces" sont importants aussi.

Guillaume, le 20/08/2012 - 16:10

Toute la difficulté, comme l'explique TechNewsWorld, est de réussir à prendre en compte les très nombreuses variations dans les signes utilisés par les sourds et muets. Non seulement tout le monde ne fait pas exactement les mêmes gestes, au centimètre près, mais en plus il existe dans le langage des signes de multiples dialectes et variations. Il faut donc apprendre au logiciel à s'adapter aux différents utilisateurs et aux différentes variantes.

Ces difficultés ont l'air de concerner avant tous les noms communs. Avec les noms propres, ça se complique encore plus, parce que visiblement, les muets utilisent souvent plusieurs gestes différents pour désigner une même personnalité, par exemple.
Autant, avec des traductions entre différentes langues, c'est assez simple : si la synthèse ne comprend pas le mot, elle le restitue tel quel, autant, avec le langage des signes, ça me paraît très compliqué.
C'est quand même une belle avancée. J'ai du mal à imaginer ce que c'est que d'être muet, mais ça ne doit pas être tous les jours facile...

Warp, le 20/08/2012 - 16:29

C'est intéressant, mais j'ai du mal à voir comment ça peut fonctionner en pratique...

Les capteurs sur les gants permettent au système de reconnaitre les signes (tel doigt est levé, tel doigt est baissé, etc...

Warp, le 20/08/2012 - 16:29

Le système risque d'être très long à développer pour arriver à un résultat de synthèse vocale en temps réel et qui fonctionne à la perfection.

Techniquement, il s'agit de traduire les données envoyées par les capteurs en mots, ça n'est ni plus, ni moins qu'un lexique. Pour le temps réel, avec la rapidité de traitement d'information, c'est pas ce qui va poser le plus de problèmes. Ce qui risque de prendre le plus de temps, c'est le référencement de chaque signe existant.

Warp, le 20/08/2012 - 16:29

En attendant, si la personne doit relier le machin à un smartphone, pourquoi n'écrirait-elle pas simplement ce qu'elle souhaite dire en montrant le texte ou en utilisant un synthétiseur vocal basé sur l'écrit ?

2 raisons :
- Écrire est plus long et moins naturel que parler (vocalement ou en langage des signes).
- Le cerveau n'utilise pas le même lexique pour parler et pour écrire. Ainsi, il y a des mots ou des expressions que tu utilises à l'oral et pas à l'écrit et vice et versa...

Warp, le 20/08/2012 - 16:29

L'intention est bonne et louable, mais vraiment complexe à faire aboutir.

Pas beaucoup plus complexe qu'un gantelet permettant de diriger un ordinateur ou un smartphone (des produits finis existent déjà pour se la jouer Minority Report).
La principale difficulté résidera dans le fait d'avoir des capteurs suffisamment précis sans trop faire augmenter les coûts de fabrication...

En gros une invention intéressante qui devrait permettre de faire tomber certaines barrières entre les sourds/muets et le reste de la population.

Bravo aux inventeurs et bon courage à eux pour finaliser cette très belle idée.

Intéressant, mais pas nouveau et je ne vois pas trop d'application réelle à la langue des signes.
Soit la personne a perdu l'usage de la parole et/ou de l'audition et sait lire /écrire et il n'y a que peu d'intérêt à ces gants (peut être taper plus vite des sms).
Soit la personne pratique la langue des signes, ce qui veut dire que le "sign2speech" ne se limite pas à un lexique de signes à "convertir" en oral. Il s'agit bien d'une langue à part entière avec une grammaire spatiale notamment (et la mise en branle de tout le haut du corps, expressions faciales comprises) et donc d'une traduction d'une langue (des signes) vers une autre (français ou anglais écrit).
Traduire mot à mot d'une langue (textuelle) à l'autre est déjà pas terrible, alors passer d'une langue spatiale à un écrit, puis à de l'oral ... hmmm pas sûr que ça ait un quelconque intérêt.

Samuel_Vimaire, le 20/08/2012 - 16:46

Warp, le 20/08/2012 - 16:29

Le système risque d'être très long à développer pour arriver à un résultat de synthèse vocale en temps réel et qui fonctionne à la perfection.

Techniquement, il s'agit de traduire les données envoyées par les capteurs en mots, ça n'est ni plus, ni moins qu'un lexique. Pour le temps réel, avec la rapidité de traitement d'information, c'est pas ce qui va poser le plus de problèmes. Ce qui risque de prendre le plus de temps, c'est le référencement de chaque signe existant.

Ce que je voulais dire et ce qu'a déjà signalé l'article, c'est que la reconnaissance de toutes les "façons de parler" en langage des signes, toutes les imperfections de mouvement ainsi que la rapidité de l'action demandent un système extrêmement réactif et avec une correction d'erreur assez grande.

Il n'y a rien de plus embêtant qu'un logiciel qui te limite dans ta façon d'agir car il ne te comprend pas comme il faut.
Un peu à l'image d'un soft de reconnaissance vocale pour écrire avec la voix. Je me souviens des débuts de cette technologie où il fallait bien souvent répéter pas mal de fois un même mot pour que le soft écrive ce qu'il faut... on en a d'ailleurs encore l'exemple aujourd'hui avec les messageries téléphoniques contrôlées par la voix. Combien de fois aies-je vu un pote répéter encore et encore "SUPPRIMER !" pour enfin se faire comprendre du serveur vocal...

Bref, quand tu regardes la vidéo de démo, le mec met vraiment très longtemps à écrire "HELLO" en langue des signes.
Le prototype va évoluer, c'est certain, mais si la version finale montre des limites de ce genre, la personne préférera simplement écrire ce qu'elle veut dire.

Bonjour,
Pour comprendre rapidement les limites de ce type de technologies, il suffit de s'intéresser un instant à la langue des signes (et non langage comme on le lit ici ou là).
La langue des signes (qui n'est pas internationale la française est différente de l'allemande qui est différente de l'anglaise qui est différente de l'américaine...) est une langue vivante et complexe. Comme toute langue, elle évolue et possède une pleine capacité d'expression et d'abstraction, ce qui me permet (je suis interprète en lsf) de traduire aussi bien un entretien médicale, qu'une conférence philosophique, une cérémonie religieuse, un cours de mathématiqueâ?

Il ne faut pas croire que c'est une simple succession de signes. Elle possède sa propre syntaxe qui est intimement liée à la perception visuelle, puisque cette langue répond à une logique visuelle et non auditive. La grammaire de la LSF n'est pas identique à celle du français (par exemple la place des mots dans la phrase n'est pas la même). Elle se construit comme un plan au cinéma. D'abord le temps (passé présent futur) ensuite le lieu (cela se passe où) puis les acteurs (qui ?) et enfin l'action (le verbe).
Les signes sont basés sur l'utilisation des mains (donc ok pour les gants) mais aussi du regard et de l'espace, des expressions du visage : les configurations des mains, leur emplacement, leur orientation et leur mouvement forment des signes qui équivalent à des mots, disposés devant soi comme sur une scène de théâtre. La disposition de ces signes, ainsi que la direction du regard, permettent de visualiser les relations (actif, passifâ?), le temps (signes tournés vers l'arrière pour le passé, vers l'avant pour le futur). Le visage et le mouvement des épaules servent aussi à exprimer les nuances du discours par exemple l'ironie, le doute, la fermeté...
Bref tous ces éléments que des gants ne pourront pas percevoir.
Au mieux, ils pourront traduire quelques signes en mots mais sans lien les uns avec les autres.

A l'inverse d'autres recherches ont lieu pour traduire du discours oral vers la langue des signe avec l'utilisation d'un avatar.
C'est le cas au Japon où des chercheurs des laboratoires NHK Science & Technology développent actuellement une technologie automatisée qui serait capable de convertir des chaînes de mots japonnais en gestes via un avatar virtuel. L'objectif est d'améliorer la compréhension des émissions de télé pour les personnes sourdes et malentendantes car à ce jour dans ce pays, peu de programmes diffusent une traduction en langue des signes japonaise. Des recherches sont aussi menées en France via la société Websourd (ce sont eux qui ont développé Jade pour la Sncf).
http://interpretelsf...gue-des-signes/

Enfin, récemment, des chercheurs de l'Université d'Aberdeen en Écosse ont développé un programme informatique permettant de traduire les langues des signes en texte écrit. Ce logiciel serait utilisable via des appareils portables (ordinateur ou téléphone) et fournirait une traduction simultanée vers la langue écrite.
http://www.smh.com.a...0312-1uwer.html

Stéphan
Interprète LSF/Français
http://www.interpretelsf.fr

Merci Stephan pour ces précisions sur la langue des signes.

Par contre je suis un peu déçu d'apprendre qu'il y a plusieurs langues des signes, j'aimais l'idée d'une Babylon en signe.

Oazar, le 20/08/2012 - 19:35

Merci Stephan pour ces précisions sur la langue des signes.

Par contre je suis un peu déçu d'apprendre qu'il y a plusieurs langues des signes, j'aimais l'idée d'une Babylon en signe.

Pourquoi faire simple quand on peut faire compliqué.

Waw Stephane, je vois vraiment la passion du metier a travers tes mots.
Ton commentaire devrait carement etre une partie de l'article.

Je pense que toutes ces personnes avec un handicap (vue, audition, ...) meritent un meillieur support niveau technologie.

L'accessbilitee n'est globalement pas assee prise en compte dans les nouvelles technologies ou appareil cense nous aider dans la vie de tous les jours. Il suffit de voir par exemple le nombre de pages dites "accessibles" sur le web.

Une collaboration plus forte entre dev. et personnes en relation avec le probleme (exemple Stephane) devrait etre plus souvent mise en avant a l'instar de standard qui paraissent parfois bien loin du probleme.

Merci Stéphane pour toutes ces précisions, je comprends mieux maintenant les difficultés que risquent de rencontrer les inventeurs de ces gants...