Les thématiques traitées portent sur l'analyse de la source vocale, le contrôle gestuel de la synthèse de parole, la synthèse à partir du texte, le traitement du son temps réel pour les applications musicales, l'acoustique du clavicorde et de l'orgue, les analogies entre gestes manuels et prosodie. Parmi les faits marquants ces deux dernières années, on note d'une part les études sur le contrôle gestuel de la synthèse avec leurs conséquences pour la prosodie, et d'autre part le projet d'orgue augmenté.

• GV-Lex : Lecture expressive de contes par un robot humanoïde
• OrJo : Orchestre de Joysticks
• ADN-TR : Agence de Doublure Numérique - Temps Réel
• ORA : Orgue et réalité augmentée
• ChaNTeR ChaNTeR : Chant Numérique Temps-Réel

Pour l'analyse de la parole expressive, un des objectifs est de développer une boîte à outils d'analyse des paramètres de la source vocale. En continuant les travaux sur la ZZT, certains paramètres de la source sont accessibles (quotient ouvert, asymétrie). Nos travaux antérieurs sur la représentation par ondelettes, maintenant qu'un modèle spectral de la source est bien compris, ont été développés pour donner de nouvelles informations, comme la richesse spectrale.

Nos travaux récents ont traité surtout de la partie périodique de la source. Il est important de revenir maintenant également à la partie apériodique, en particulier pour l'expression. En effet, il y a beaucoup de situations où l'expression passe par l'utilisation d'une voix rauque, soufflée, etc. Il faut alors tenir compte des apériodicités. Dans ce cadre, des algorithmes de décomposition périodique apériodique sont développés et évalués.

D. Sciamarella, en détachement à Bueno Aires a poursuivi ses travaux sur la modélisation mécanique du fonctionnement des plis vocaux et des bandes ventriculaires, à l'aide de maquettes et de simulations numériques. Un modèle de production du son par la glotte sous forme de coups de bélier à été également publié.

N. Delprat travaille en collaboration avec le département Mécanique Energétique sur l'analyse spectrale des signaux d'écoulement dans les cavités. Elle utilise une approche signal (dérivée de celles développées en synthèse sonore) pour caractériser les différentes modulations présentes dans les oscillations de cavité. Cette étude pourra naturellement se poursuivre sur l'analyse des sons de biseau et sur la modélisation des oscillations auto-entretenues qui se développent dans les systèmes cavité-tuyau (sons de flûte, orgue…).

Les travaux sur l'acoustique du clavicorde se sont poursuivis. Les résultats déjà obtenus, en particulier sur la dynamique du clavicorde, sont en cours de publication. Une étude comparative du clavicorde et du piano forte a été présentée.

Un projet d'orgue augmenté a été mené. Des concerts avec un instrument augmenté, tant dans sa composante visuelle que sonore, par captation interne du son, transformation temps réel et projection sur la façade de tuyaux de l'instrument ont été donnés en public.

Ce projet de recherche/projet artistique coordonné par C. d'Alessandro a été développé dans le cadre du festival Science sur Seine de Paris en collaboration avec le groupe AMI du LIMSI et un plasticien (Bertrand Planes) pour la partie visuelle.

N. Delprat est impliquée dans des projets arts/science et à ce titre a co-organisé une conférence sur « Simulation Technologique et Matérialisation Artistique » à Paris en 2009 et participe à l'édition des Actes de la conférence. Elle est aussi responsable du groupe de travail interdisciplinaire "NUAGE" en collaboration avec Claire Leroux de l'ESIEA Paris, dans lequel est prévu une exploration couplée des aspects sonores et visuels dans le ressenti virtuel d'une matière (thématique transervale VIDA du LIMSI).

le projet Orgue et Réalité augmentée: traitement audio-visuel temps réel du son d'un orgue en situation de concert.

La modélisation gestuelle de la prosodie a été étudiée, en particulier à l'occasion des workshops eNTERFACE (sur les interfaces multimodales) dont une des sessions a été organisée au LIMSI par le groupe en 2008. Une nouvelle approche de la prosodie, utilisant la chironomie ou contrôle gestuel de la prosodie, a été initiée. Le but est de proposer un modèle prosodique en termes de mouvements, au sens gestuel du terme (trajectoire et dynamique). L'enjeu le plus important est théorique : comment intégrer la dimension gestuelle de la prosodie dans un modèle de description prosodique de la parole expressive ?

L'étude de l'expression et des attitudes grâce au synthétiseur à contrôle gestuel (menée dans le cadre du projet ANR 2PIM) va également se poursuivre, en particulier en comparant les attitudes dans différentes langues.

Enfin la dimension musicale du contrôle gestuel a été étudiée en particulier avec l'utilisation du Méta-Instrument, et dans le cadre d'un nouveau projet (Orchestre de Joystick, ORJO, voir la chorale de voix de synthèse Chorus Digitalis).

L'utilisation d'un retour haptique pour la synthèse de voix chantée est étudiée.

Les travaux en synthèse à partir du texte se poursuivent, en particulier à travers une collaboration avec Orange R&D. Nous avons mesuré des données sur le rayonnement acoustique de la tête en parole et en chant. Ces données sont intégrées dans le synthétiseur à partir du texte : ce synthétiseur spatialisé est le premier réalisé à notre connaissance. Il est intégré dans la tête parlante du LIMSI.