Lors de la post-production d’un film, il est possible de recourir à des techniques de doublures numériques permettant de retoucher les images, et ainsi de corriger le jeu d’un acteur, sans avoir à lui faire rejouer la scène correspondante. Pour le jeu vidéo, on cherche à créer des personnages au réalisme toujours plus poussé et personnalisé.

Le but de ce projet est de pouvoir caractériser et reproduire l’espace expressif d’une personnalité, tant dans le domaine de l’apparence visuelle que de celui de la parole.

Ce travail s’inscrit dans le cadre d’un projet du FUI et sera mené, avec les chercheurs du laboratoire impliqués dans le projet, en collaboration étroite avec des partenaires industriels.

Dans ce cadre, le groupe AA est en charge des recherches visant à :

La caractérisation de l’expressivité vocale d’un locuteur (prosodie, paramètres de source glottique et éléments paralinguistiques).

Sa reproduction supervisée dans des applications de post-production cinématographique, et automatisée dans un système de synthèse vocale à partir du texte (text-to-speech).

A partir du modèle d’expressivité vocale d’un acteur, il sera possible de créer de nouvelles scènes sonores partielles, mais aussi d’assister le doublage d’un film dans une langue étrangère, en conservant la voix de l’acteur et sa personnalité vocale.

Dans le cadre des jeux-vidéo, un tel modèle permettra de faire produire en temps réel par la personnalité modélisée, des énoncés expressifs cohérents en fonction du contexte du jeu.

Pôle de compétitivité Cap Digital FUI-11 OSEO / DGCIS

Janvier 2012 – Décembre 2014

• ADN (coordinateur)
• Vocally
• LIMSI-CNRS
• Telecom Sud-Paris

• Jean-Claude Martin (CPU)
• Matthieu Courgeon (CPU)
• Christophe D'Alessandro (AA)
• Albert Rilliard (AA)
• Nicolas Audibert (AA)
• Marc Evrard (AA)