Kophosight: la réalité virtuelle pour favoriser la communication

Avec la démocratisation de la réalité virtuelle (VR) de nouvelles perspectives d’innovations technologiques au service du handicap s’ouvrent. Nous vous présentons l’une d’elles: Kophosight. Souvenez-vous, ils ont été primés à l’occasion du Défi H 2017 organisé par Sogeti et Le Monde Informatique et dont Talentéo est partenaire. Le principe? Utiliser la technologie Hololens de Microsoft pour transcrire en direct la parole en LPC (Langue Parlée Complétée). Interview des étudiants à l’initiative de ce beau projet!

Cet été, nous vous proposons de revenir sur vos contenus phares du blog talenteo.fr! Article original publié le 3 mai 2018.

Pouvez-vous présenter le projet Kophosight? Comment vous est venue l’idée?

En France, le nombre d’individus victimes de troubles de l’audition est estimé à
environ 5 à 6 millions. Parmi eux, environ 400 000 sont atteints de surdité totale. La pose d’appareils auditifs ou d’implants cochléaires permet de restaurer l’audition, cependant chez les jeunes sourds ces solutions à elles-seules ne permettent pas d’obtenir un apprentissage correct de la langue française.

En effet, pour les individus sourds ayant choisi un projet oraliste basé sur l’apprentissage de la langue française, l’implant ou l’appareil doit être utilisé
en association avec un outil appelé LfPC (Langue française Parlée Complété ou Code LPC).

Ce code s’utilise en parallèle de la lecture labiale et permet aux individus le pratiquant de distinguer les sosies labiaux invisibles visuellement. Il s’effectue avec la main en réalisant une combinaison forme/position permettant d’identifier chaque phonème de la langue française. Il est appris par les jeunes sourds en parallèle de leur scolarisation.

Cet apprentissage leur permet de le coder mais aussi de le décoder. Cependant, la présence d’interprètes est nécessaire pour suppléer chaque entendant ne sachant pas coder la LfPC et c’est là que réside le problème: les interprètes ont des prestations très coûteuses et sont en sous effectif. De plus, il n’existe actuellement aucune solution secondaire pour les remplacer.

Le projet Kophosight a ainsi pour ambition de devenir une alternative au recours à des interprètes en offrant en temps réel un affichage de la Langue française Parlée Complétée sur le casque de Réalité Mixte commercialisé par Microsoft : HoloLens.

Ainsi, une personne sourde, sachant décoder la LPC, et n’ayant pas accès à un interprète, pourra toujours comprendre son interlocuteur entendant qui s’exprime en langue française orale traditionnelle.

L’application Kophosight se charge en effet de compléter la langue française orale comme le ferait un interprète et ce directement sur le visage de l’interlocuteur. Il n’y a alors aucune perte du langage corporel ni des expressions faciales.

Nous avons eu l’idée de ce projet en quatrième année d’école d’ingénieurs à l’ECE Paris. Nous savions que nous devions réaliser un projet étudiant mélangeant plusieurs disciplines, nous avons tout de suite voulu travailler avec la technologie HoloLens.

Nous nous y étions intéressé depuis quelques temps et le casque venait de sortir. Nous avons ensuite réfléchi à une idée d’application sur cette innovation permettant d’exploiter au maximum ses capacités et surtout de les rendre disponibles aux personnes qui en auraient le plus besoin.

Nous avons ainsi directement ciblé le handicap auditif qui pourrait être compensé par la vue et d’autant plus grâce à la réalité augmentée.

Au tout début, nous souhaitions travailler avec la langue des signes mais nos premiers rendez-vous à l’INJS (Institut National des Jeunes Sourds de Paris) ont été déterminants et nous ont redirigé sur la LPC qui correspond mieux aux besoins des individus en situation de handicap auditif et qui est aussi beaucoup plus facile à traiter algorithmiquement parlant. C’est ainsi que le projet Kophosight est né.

Techniquement, comment ça fonctionne?

Notre application repose sur trois fonctions principales qui doivent s’effectuer en temps réel:

• Reconnaissance vocale des phonèmes.
• Affichage holographique de la main codeuse, associé à une détection de visage.
• Connexion à un microphone distant.

Pour la reconnaissance vocale nous avons écrit entièrement à la main un dictionnaire comprenant tous les phonèmes de la langue française en explicitant leur prononciation avec l’écriture phonétique propre à l’API que nous utilisons.

Kophosight affiche ensuite la main codeuse correspondante. Pour l’affichage holographique nous souhaitons à terme implémenter une reconnaissance faciale qui soit capable de détecter automatiquement un visage et d’y placer correctement les mains en repérant la ligne des yeux, de la bouche et du menton. Nous sommes encore en train de développer cette partie du projet.

En attendant d’avoir une reconnaissance faciale efficace nous avons développé une solution temporaire pour résoudre le problème de détection de visage et de placement des mains. Nous avons réalisé un modèle 3D de “masque” aux proportions classiques d’un visage humain.

Celui-ci est alors placé manuellement par l’utilisateur en juxtaposition sur le visage de son interlocuteur. Il sert alors de référence à notre programme pour situer les lignes importantes du visage et placer les mains aux bonnes positions.

Concernant la connexion à un microphone distant, nous cherchons actuellement à utiliser le dispositif le plus ergonomique possible pour nos futurs utilisateurs: un micro pratique, performant et économique que nous proposerons comme compatible avec l’application.

Quel rôle a joué le Défi H dans le développement de ce projet?

Le Défi H a permis à Kophosight de se développer beaucoup plus rapidement. En effet
l’INJS a été d’une très grande aide pour définir correctement les besoins des personnes
sourdes et comprendre les enjeux de notre solution.

De plus nous avons été accompagnés par Cédric Durix, coach Sogeti, grâce à qui nous avons travaillé beaucoup plus efficacement.

Par ailleurs Cédric a su nous faire profiter de l’alliance Sogeti – Microsoft et c’est ainsi que nous avons pu rentrer en contact avec Philippe Trottin, Référent Handicap Microsoft France, et ses collaborateurs. C’est aussi grâce à lui que nous avons pu effectuer notre stage au Studio Kamino.

C’est grâce à ces différentes rencontres que nous avons pu accélérer le développement du projet. Les conseils d’experts HoloLens rencontrés chez Microsoft nous ont facilité les étapes de configuration et de conception logicielle et l’accès à des HoloLens nous a notamment permis de tester notre application.

D’ailleurs, avez-vous des anecdotes à nous raconter?

Lorsque nous avons débuté le projet, notre idée première était de développer une
application permettant de traduire le français oral en LSF. Cependant après avoir été sélectionnés pour participer au Défi H nous avons dû trouver une association partenaire.

Nous sommes donc rentrés en contact avec l’INJS et plus particulièrement avec Frédéric Brossier, directeur du pôle innovation de cet institut. Dès notre premier rendez-vous, il a su nous rediriger vers la Langue Parlée Complétée. Il nous a ainsi expliqué que la LSF était bien trop complexe à traiter et que d’un point de vue insertion professionnelle et scolaire, la LPC est un bien meilleur outil.

En effet, la LPC permet aux personnes en situation de handicap auditif d’apprendre le français. Si nous n’avions pas participé au Défi H nous serions très probablement parti dans la mauvaise direction et le projet n’aurait pas pu se développer autant.

Quelles sont les prochaines étapes?

Au niveau technique, nous allons travailler sur les points suivants :

• Prise de note automatique.
• Amélioration du rendu des mains holographiques.
• Adaptation du LPC en Cued Speech et autres langages supportés par ce code.
• Développement de l’application sur mobile.
• Amélioration de la reconnaissance vocale.
• Développement d’une reconnaissance faciale.

Quant à la suite du projet, nous souhaiterions potentiellement poursuivre l’aventure
Kophosight en Start-up afin de toucher le plus de personnes possibles et ainsi d’avoir un réel impact sur l’intégration des personnes sourdes dans notre société.

Quel message souhaitez-vous passer aux personnes en situation de handicap? Aux concurrents du Défi H 2018?

Le Défi H est un concours qui met l’innovation au service du handicap de façon sérieuse et réfléchie. Cela est notamment rendu possible grâce à la participation des associations partenaires qui permettent d’obtenir une vraie expertise sur les besoins actuels des personnes en situation de handicap.

De plus, toutes les équipes sont accompagnés par un coach Sogeti qui permet de faire progresser les projets avec un suivi et une méthodologie précise. Ce concours est donc à suivre de près car chaque année de nouvelles solutions pratiques peuvent émerger et pourquoi pas faciliter la vie quotidienne d’un grand nombre de personnes en situation de handicap.

Aux concurrents du Défi H 2018 nous conseillons donc d’accorder un maximum d’importance aux conseils précieux de l’association partenaire de votre projet. Elle saura vous accompagner et vous mettre en contact avec les personnes concernées par votre projet et qui pourraient en tirer une réelle utilité.

Et vous, que pensez-vous de cette initiative? Dites-le nous dans les commentaires. 

Vous souhaitez en savoir plus sur le Défi H? Cela tombe bien, nous vous donnons rendez-vous ce vendredi 4 mai à 12h30 pour discuter en live avec les équipes de l’édition 2018 sur Twitter! Suivez le hashtag #DefiH!

© 2018 Talentéo. Toute reproduction interdite sans l’autorisation de l’auteur.