Les gestes qui remplacent les mots

05/04/2017

La langue des signes bouscule la linguistique et offre un nouveau champ d'étude pour les théories de l'apprentissage. Elle représente aussi un défi pour la traduction automatique. Par Astrid Tomczak-Plewka

(De "Horizons" no 112 mars 2017)​​​​​​

​Les langues des signes sont des langues naturelles. Elles sont utilisées à l'intérieur d'une communauté et s'y développent exactement comme tout parler. La Suisse des signes est également multilingue avec trois langues gestuelles: le suisse allemand, le français et l'italien.

Les premières recherches sur la langue des signes avec des méthodes linguistiques modernes ont débuté dans les années 1960 aux Etats-Unis et aux Pays-Bas. En Suisse, Penny Boyes Braem a fondé le Centre de recherche sur la langue des signes, une organisation privée à but non lucratif, à Bâle en 1982. "A l'époque, aucune autre institution du pays n'était prête à étudier ce sujet plutôt méprisé, explique la chercheuse. Pourtant, les langues produites et perçues visuellement sont très intéressantes, car elles jettent souvent un éclairage nouveau sur les théories linguistiques traditionnelles."

Par exemple, l'iconicité visuelle représente une caractéristique unique: les gestes s'appuient sur une ressemblance avec l'objet qu'ils expriment. Cela bouscule le principe linguistique selon lequel le lien entre le signifiant et le signifié est arbitraire dans toutes les langues humaines. Ainsi, les mots pour désigner un arbre sont très différents dans les idiomes oraux non apparentés. En revanche, dans de nombreuses langues des signes à travers le monde, les gestes pour évoquer un arbre en montrent la forme.

Avancées grâce au numérique

Ce sujet d'étude exige des chercheurs qui maîtrisent très bien ce mode de communication, telle Katja Tissi de la Haute école de pédagogie curative à Zurich. Sourde de naissance, elle a appris la langue des signes avec sa soeur aînée, également malentendante. "Lorsque j'étais enfant, j'avais souvent mauvaise conscience de m'exprimer de cette façon", se souvient-elle. Jusque dans les années 1980, les spécialistes suisses s'évertuaient à prescrire aux personnes concernées des exercices pour améliorer leur audition et leur expression orale. La communication se basait surtout sur la lecture des lèvres. Lors d'un séjour aux Etats-Unis, Katja Tissi a découvert que la langue des signes faisait aussi l'objet d'études scientifiques. "Cela m'a ouvert de nouveaux horizons et donné confiance en moi."

D'un point de vue technique, la recherche dans ce domaine profite du développement des technologies numériques. La reconnaissance d'images joue ici un rôle central. "Comme les entendants, les sourds utilisent toujours davantage Internet et les médias sociaux", explique Penny Boyes Braem. Pour communiquer sur le web, ils produisent souvent des clips vidéo en langue des signes, mais ils sont susceptibles d'être identifiés. Afin de garantir leur anonymat, les chercheurs développent des techniques capables de reconnaître automatiquement les gestes sur une vidéo avant de les reproduire par un avatar. Un premier pas dans cette direction a été franchi par Smile, un projet de l'institut de recherche Idiap de Martigny mené avec la Haute école de pédagogie curative et l'Université de Surrey (GB). Il développe un système de reconnaissance destiné aux personnes qui apprennent la langue des signes suisse allemande. Le programme donne à ces derniers un retour sur leurs progrès.

Des avatars pour annoncer les trains

La traduction automatique joue également un rôle central dans le travail de doctorat de Sarah Ebling de l'Université de Zurich. Les malentendants ne peuvent pas comprendre les annonces des trains dans les gares. Le projet développe une app pour smartphone où un avatar interprète ces messages automatiquement en langue des signes suisse allemande.

Les processus cognitifs dans l'utilisation de la langue des signes représentent un autre point fort de la recherche, au même titre que les signaux des mains et du visage. "Différentes études ont montré que la coordination d'un geste de la main avec une composante non manuelle constitue un défi de taille pour les adultes entendants qui apprennent la langue des signes. Mais nous en savons encore bien trop peu sur les modalités spécifiques de ce phénomène", explique Tobias Haug, directeur d'études et chercheur à la Haute école de pédagogie curative. Afin de répondre à ces questions, l'institution prévoit la mise en place d'un corpus éducatif sur la langue des signes suisse allemande. "L'objectif est de rassembler des données afin de déterminer quelles sont les difficultés typiques de l'apprentissage d'une langue des signes."

Astrid Tomczak-Plewka est une journaliste indépendante basée à Berne.