Personnes impliquées: Marc Rébillat, Xavier Boutillon, Brian F.G. Katz et Etienne Corteel (collaborateur)

Le projet SMART-I² est un projet impliquant trois entités differentes: Le LIMSI-CNRS, le LMS (Laboratoire de Mécanique des Solides) et sonic emotion (société suisse spécialiste du son 3D). L'objectif de ce projet est de concevoir un dispositif capable de proposer simultanément à plusieurs utilisateurs un rendu audio-visuel spatialisé physiquement cohérent, avec lequel et au sein duquel ils puissent interagir.

Le SMART-I² est un dispositif de rendu audio-visuel 3D de haute qualité. Dans ce système, le rendu visuel est réalisé en utilisant la stéréoscopie passive trackée. L'originalité de ce dispositif est que les écrans de projection sont aussi utilisés en tant que bancs de haut-parleurs. Le rendu sonore spatialisé est réalisé en utilisant la "Wave field Synthesis", procédé qui réalise une synthèse physique du champ sonore que l'on cherche à obtenir. Ainsi le SMART-I² permet une très bonne intégration audio-visuelle avec quasiment aucun compromis sur les qualités audio ou visuelle.

La "Wave Field Synthesis" (WFS) est une technologie qui a été d'abord développée à l'Université de Delft. Il s'agit d'une implémentation audio du principe de Huygens-fresnel, qui spécifie que: "Tout champ sonore émergeant d'une source principale peut être reproduit en sommant les contributions d'une distribution infinie et continue de sources sonores secondaires". D'un point de vue théorique, la WFS permet donc de synthétiser des sources sonores à n'importe quelle position. En pratique, nous sommes limités au plan horizontal.

Illustration du principe de la WFS.

Cette figure illustre le principe de Huygens-Fresnel. Le violon de la partie gauche est la source primaire produisant le champ sonore que l'on cherche à reproduire. Le banc linéaire de haut-parleurs de la partie droite constitue l'ensemble des sources secondaires. La somme des contributions de chacun de ces haut-parleurs, s'ils sont correctement alimentés, est alors équivalente au champ sonore original. Le champ sonore créé par le violon est donc ainsi synthétisé et perçu par les utilisateurs présents dans la zone de restitution comme provenant de la position précise ou se situait le violon. Plusieurs sources peuvent être synthétisées simultanément en sommant les signaux d'alimentation.

Pour produire un rendu visuel 3D convaincant, les deux yeux de l'utilisateur du système doivent voir la même scène mais d'un point de légèrement différent. Un moyen de réaliser ceci est d'utiliser les propriétés de polarisation de la lumière pour envoyer des images indépendantes sur chacun des yeux de l'utilisateur. Il faut aussi que la position de l'utilisateur soit connue pour pouvoir lui restituer à tout moment le rendu visuel correspondant à la position ou il se trouve. Avec cette approche, le rendu visuel 3D est physiquement cohérent, quelquesoit la position de l'utilisateur dans la zone d'immersion.

L'originalité du SMART-I² est qu'il intègre les deux technologies présentées précédement en utilisant d'une façon nouvelle les "Multi-Actuator Panels'' (MAPs). Les MAPs sont des panneaux légers et rigides aux dos desquels sont fixés des excitateurs électro-dynamiques. Les haut-parleurs multi-canaux de ce type ne dépassent habituellement pas 1 m². Pour ce projet, des nouveaux MAPs de grandes dimension (5 m² avec un ratio de 4/3) ont été conçus pour pouvoir être utilisés aussi en tant qu'écrans. Pour ne pas dépolariser la lumière une peinture spéciale a été appliquée sur leur face avant. Etant donné la grande taille des panneaux en jeu, les vibrations sont de très faible amplitude et le rendu visuel 3D n'est pas perturbé.

Face avant.	Face arrière.

L'organisation générale du SMART-I² est représentée de façon schématique sur la figure de gauche. Deux grands MAPs de 2.6 m par 2 m forment un coin d'écrans stéréoscopiques et un banc de 24 haut-parleurs. Dans cette configuration, les utilisateurs peuvent évoluer dans une zone d'immersion d'environ 2.5m par 2.5m.

Guide des démos, Machines, doc_smartii_interface3.0.pdf (accès réservé)

Les perspectives de recherches pour ce projet sont nombreuses. En effet, étant donné que c'est la première fois que des panneaux vibrant d'une telle dimension sont utilisés dans ce contexte, il est très important de bien comprendre leur fonctionnement physique pour pouvoir envisager des améliorations. Ces améliorations peuvent avoir un impact sur la perception sonore des utilisateurs du système et peuvent à terme améliorer la qualité du rendu sonore spatialisé.

Les applications d'un tel système sont elles aussi nombreuses. L'application la plus évidente est commerciale. Etant donné que ce système ont un cout relativement modéré par rapport aux systèmes audio visuels classiques, le SMART-I² peut avoir des applications visant le grand public: téléconférence, jeux vidéo, etc… D'autre part, ce dispositif constitue aussi un bon dispositif de rendu audio-visuel pour la réalité virtuelle et peut donc être aussi utilisé dans ce contexte: soins en environnement virtuel, expérience psychophysiques, etc…

• M. Rébillat, E. Corteel, B.F.G. Katz, "The SMART-I²: A new approach for the design of immersive audio-visual environments.", Euro-VR Eve 2010, Orsay, France, May 2010. (Preprint-pdf)
• M. Rébillat, E. Corteel, B.F.G. Katz, X. Boutillon, "Identification, modélisation et contrôle de Large Multi-Actuator Panels pour la création d'un rendu audio-visuel spatialisé.", Journées des Jeunes Chercheurs en Audition, Acoustique musicale et Signal audio, Marseille, November 2009. (Poster-pdf)
• M. Rébillat, E. Corteel, B.F.G. Katz, "SMART-I²: Spatial Multi-users Audio-visual Real Time Interactive Interface, a broadcast application context", 3DTV Conference, Potsdam, Germany, May 2009. (Preprint-pdf)
• M. Rébillat, E. Corteel, B.F.G. Katz, "SMART-I²: A Spatial Multi-users Audio-visual Real Time Interactive Interface", 125th Convention of the Audio engineering Society, San Francisco, October 2008. (Preprint-pdf)