Rendus audiovisuels pour la navigation multimédia

Personnes participant au projet: Tifanie Bouchara, Christian Jacquemin, Brian F.G. Katz et Catherine Guastavino (collaboratrice).

Il s'agit d'une étude sur différentes combinaisons possibles entre les modalités audio et visuelles pour améliorer les interfaces d'exploration de données multimédia. Nous nous proposons de reprendre les méthodes graphiques utilisées dans le domaine de la visualisation et de les étendre au domaine sonore. En d'autres termes il s'agit de créer des interfaces audio zoomables. En particulier, nous avons développé une lentille grossissante qui agit sur les deux modalités auditive et visuelle de façon simultanée et cohérente. Pour la modalité visuelle, la distorsion s'apparente aux distorsions de type vues en oeil-de-poisson; pour l'aspect audio, il s'agit de spatialiser les sons puis de déformer ce rendu sonore, 2D ou 3D, en fonction du rendu graphique en modifiant la position spatiale (distance, azimuth, élévation) des sources. Dans les travaux futurs nous chercherons à mettre en place des interfaces zoomables basées sur le contenu et non plus sur la représentation spatiale des données.

Cette recherche sur les interfaces audio et multimodale (voir le site Web de Tifanie bouchara) fait intervenir plusieurs disciplines : interaction homme-machines, interfaces zoomables, rendu sonore spatialisé, perception et cognition sonore, crossmodalité audiovisuelle.

Rendu graphique des interfaces d'exploration développées pour l'exploration de bases de données de documents vidéos: en haut la méthode dite Pan&Zoom, en bas la méthode dite en œil-de-poisson.

• T. Bouchara, C. Guastavino, B.F.G. Katz, C. Jacquemin, "Audiovisual Rendering for Multimedia Navigation.", submitted, 2010.
• T. Bouchara, C. Guastavino, B.F.G. Katz, C. Jacquemin, "Conception d'une Lentille Grossissante Audiovisuelle pour l'Exploration de Base de Données Multimédias", Journées des Jeunes Chercheurs en Audition, Acoustique musicale et Signal audio, Marseille, November 2009.