Navigation Assistée par Vision embarquée et GNSS

ANR-08-TECS-0011

Le projet ANR-NAVIG a pour objectif d'augmenter l'autonomie des déficients visuels dans une action primordiale et particulièrement problématique : la navigation.

Le consortium est composé de :

• 3 équipes de recherches :
  • IRIT (responsable du projet): Interaction et systèmes de suppléance pour personnes handicapées.
  • CerCo: Neuroscience de la vision humaine.
  • LIMSI-CNRS: Perception auditive, cognition spatial, ergonomie et réalité augmentée .
• 2 PME toulousaines :
  • SpikeNet Technology: Vision artificielle.
  • NAVOCAP: Géolocalisation pour piétons.
• Un centre d'éducation spécialisé pour déficients visuels : IJA.
• La communauté d'agglomérations du Grand Toulouse.

A travers une méthode de conception participative, nous comptons permettre aux déficients visuel de se déplacer vers une destination voulue de façon fiable et plus sûre, sans interférer avec leur comportement de déplacement habituel. Le dispositif permettra en plus de localiser et saisir des objets sans nécessité de les pré-équiper avec un composant électronique (balise RFID). L'objectif de l'équipe AA sur le projet NAVIG est de mettre au point un moteur de synthèse binaurale augmentant la réalité avec des informations auditives permettant de localiser des cibles visuelles et d'atteindre une destination en évitant des obstacles.

Prototype du système NAVIG.

La restitution auditive des informations est faite en utilisant la technique de spatialisation binaurale. Nous utilisons pour cela un moteur de synthèse binaurale mis au point au LIMSI et fonctionnant sur la convolution en temps réel de HRIR. Afin d'obtenir de meilleures performances de localisation avec des HRTFs non individualisées et de réduire les problèmes de confusions haut/bas et avant/arrière propre à la technique binaurale, nous avons mis au point un jeu, qui, basé sur la plasticité du système auditif, permet à l'utilisateur de s'adapter à des HRTFs qui ne sont pas les siennes.

L'objectif du guidage audio est de transmettre des informations visuelles sous la forme d'informations sonore. Nous envisageons différents types d'informations sonore en fonction du type de guidage :

Guidage en champ proche

Le guidage en champ proche doit permettre de transmettre la position d'un objet, sa taille et sa forme. Afin de mieux guider le geste de saisie, les sons doivent permettre de transmettre l'information sur l'encombrement du trajet de la main vers l'objet. Nos premiers travaux consistent à évaluer la précision de localisation d'une source proche, situer dans l'espace péri-personnel, pour aller saisir un objet. Nous comptons évaluer les performances de sujets non-voyants pour des sources réelles vs virtuelles, pour différents types de stimuli sonores

Guidage en champ lointain

Le guidage en navigation doit permettre à l'utilisateur de connaître les indications sur la trajectoire à venir, les points de repères à proximité du trajet ainsi que toutes les informations lui permettant de se faire une bonne représentation de l'espace dans lequel il se déplace. Des tests sont en cours sur un guidage utilisant du "text-to-speech" spatialisé et des métaphores de sonifications.

Description de l'environnement

La description de l'environnement consiste à transmettre à l'utilisateur une connaissance de la situation. Utilisable en amont et pendant la navigation, cette description doit contenir différents niveaux de détails afin de ne pas surcharger l'utilisateur pendant la navigation et de tenir compte des limites des capacités de la mémoire de travail pour la description en amont. L'objectif est de permettre à l'utilisateur de construire une représentation cognitive intégrée de l'environnement dans le cadre de référence qui est le sien. Nous travaillons sur l'élaboration de cartes sonores allocentrés et égocentrés. Ces cartes pourront être couplées à des tables tactiles permettant de recevoir des cartes en brailles pour la préparation d'itinéraire.

Choix des sons pour la restitution

Afin de ne pas être considéré comme désagréable, le design sonore devra être basé sur des feuilles de styles permettants à l'utilisateur de choisir les différents types de sons qui permettront le guidage. Nous cherchons à éviter les approches des systèmes existants, basés trop souvent sur du Text-to-speech ou sur des balises sonores entrainant une surcharge cognitive. Les premières réunions avec les utilisateurs montrent que, si certains préfèrent être guider avec des sons électronique (bien différentiable des sons de l'environnement), d'autre préfèrent des sons naturels (jugés moins désagréable). Ceci tend à démontrer l'utilité des feuilles de styles.

Des exemples sonores de 3 palettes (natural, instrumental, electronic) sont disponible pour l'écoute au liens suivant : http://perso.limsi.fr/Individu/gaetan/morphocons/

La discriminations et compréhension de ces palettes était étudier grâce à une questionnaire sur le web. Ce questionnaire est désormais disponible au lien suivant :

En anglais http://perso.limsi.fr/gaetan/Questionnaire/En/

En français http://perso.limsi.fr/gaetan/Questionnaire/Fr/

—-

Choix du type de casque pour la restitution

Afin d'éviter le masquage de l'environnement sonore réel par les sons du dispositif, nous étudions la qualité de la spatialisation binaurale pour différents types de casques : casques osseaux, air-tubes.

• Florian Dramas, Brian FG Katz, Christophe Jouffrais. "Auditory-guided reaching movements in the peripersonal frontal space". Acoustics, Paris, Vol. 123, Acoustical Society of America, p. 3723, 2008.
• Florian Dramas, Bernard Oriola, Brian FG Katz, Simon Thorpe, Christophe Jouffrais. "Designing an assistive device for the blind based on object localization and augmented auditory reality". ACM Conference on Computers and Accessibility (ASSETS 2008), Halifax, Canada, 13/10/08-15/10/08.
• Florian Dramas, Simon Thorpe, Brian FG Katz, Christophe Jouffrais. "Object recognition and localization for the blinds. From the assistive device towards the neuroprosthesis". From Neural Code to Brain/Machine Interface, Paris, 27/09/07-29/09/07.
• Gaëtan Parseihian, Brian FG Katz. "Conception d'un moteur de rendu audio binaural pour l'aide à la navigation des non-voyants". Journées des Jeunes Chercheurs en Audition, Acoustique musicale et Signal audio, Marseille, 25/11/09-27/11/09.
• Brian FG Katz, Philippe Truillet, Simon Thorpe, Christophe Jouffrais. "NAVIG: Navigation Assisted by Artificial Vision and GNSS". Workshop Pervasive 2010: Multimodal Location Based Techniques for Extreme Navigation, Helsinki, 17/05/2010.
• Gaëtan Parseihian, Adrien Brilhaut, Florian Dramas. "NAVIG: An Object Localization System for the Blind". Workshop Pervasive 2010: Multimodal Location Based Techniques for Extreme Navigation, Helsinki, 17/05/2010.