Sans connaissance de la langue des signes, la communication est impossible entre signeurs et non signeurs. La solution connectée du moment ? Un gant muni de capteurs sensibles aux mouvements des doigts et capable de traduire la langue des signes en paroles. En 2005, son créateur José Hernandez Rebollar avait déjà testé l’appareil avec des élèves d’une école américaine de la langue des signes et cherchait des financements pour le commercialiser.
Jusqu’à présent, un appareil connecté cher et peu fiable
D’autres dispositifs de traduction en langue des signes sont notamment basés sur l’électromyographie (technique médicale qui permet d'étudier la fonction des nerfs et des muscles), la photographie et le traitement d’image. "Cependant, la production à grande échelle et l’utilisation généralisée de ces techniques est limitée par un certain nombre de questions", mettent en lumière des chercheurs de l’Université de Californie à Los Angeles (UCLA). En effet, les systèmes de traduction en langue des signes basés sur l’électromyographie de surface imposent des positions de capteurs strictes, qui peuvent influer sur la précision et la fiabilité de la traduction. Ces systèmes peuvent aussi souffrir d’un mauvais éclairage qui compromet la qualité visuelle de mouvement et affecte les résultats de la reconnaissance. Enfin, le coût des dispositifs basés sur ces technologies est élevé, ce qui limite leur utilisation généralisée.
Pour une communication directe entre signeurs et non signeurs
Les bioingénieurs de l’UCLA ont donc conçu un nouvel appareil "peu coûteux et durable" selon eux. Publiée dans la revue Nature Electronics, leur recherche aboutit à un système qui peut traduire la langue des signes américaine en anglais en temps réel grâce à une application pour smartphone. "Nous espérons que cela permettra aux personnes qui utilisent la langue des signes de communiquer directement avec des non-signeurs sans avoir besoin de quelqu’un d’autre pour les traduire", explique dans un communiqué Jun Chen, chercheur principal de l’étude. "De plus, nous espérons que cela aidera plus de gens à apprendre eux-mêmes la langue des signes", ajoute-t-il.
Comment l'appareil fonctionne-t-il ?
Le système de traduction est composé de capteurs filaires et d’un circuit imprimé (circuit électrique dont les composants et conducteurs sont intégrés à une structure mécanique) sans fil. Plus précisément, les mouvements gestuels de la main sont convertis par les réseaux de capteurs en signaux jusqu’au circuit. Ce dernier est le siège de la suppression des signaux d’interférence et des bruits de l’environnement, et de l’amplification des signaux principaux. Ces signes sont finalement transmis à une application mobile qui en donne la traduction orale.
Chaque mouvement de doigt correspond à un signal électrique véhiculé jusqu’au circuit. "Lorsque plusieurs doigts se déplacent simultanément, l’information de mouvement de chaque doigt est enregistrée et combinée comme un signal électrique complexe qui correspond à un geste de la main unique", détaillent les chercheurs. Pour détecter les changements d’expression faciale, des capteurs peuvent aussi être positionnés au niveau de la bouche et des sourcils.
En pratique, quatre signeurs sourds qui utilisent la langue des signes américaine ont participé à l’entraînement du système. Ils ont répété chaque geste de la main 15 fois pour une acquisition totale de 660 modèles de reconnaissance gestuelle, à l’aide d’un algorithme d’intelligence artificielle. Le résultat est impressionnant : un taux de reconnaissance jusqu’à 98,63 % en un temps inférieur à une seconde.