Les animations faciales deviennent de plus en plus essentielles dans certains domaines tels que les films d'animations, les jeux vidéos, les agents virtuels, ... etc. Le processus de création de tels animations nécessite l'utilisation de performance capture permettant de délivrer des animations faciales de grande qualité. Seulement, ce genre de procédé demeure coûteux en termes de financement et en main d'oeuvre. En effet, cela nécessite un nombre important de marqueurs de mouvements ainsi que des acteurs. Ces acteurs ont l'obligation de garder leur apparence tout au long du process étant donné que ce genre de méthode est très sensible à l'apparence de l'acteur. De plus, l'ensemble des données récoltées implique un long et pénible travail de nettoyage.

D'anciens travaux sur le sujets on montrés que des approches orientées data et plus particulièrement en Deep Learning peuvent apporter des résultats de qualité. Parmis ces derniers, on distingue deux grands types de méthodes. Certaines utilisent une approche utilisant des visemes [5, 6, 17, 21]. Cela nécessite que le transcript de l'audio soit traduit en phonèmes qui seront associés à des formes de bouches appelées visemes. Ces phonèmes doivent également être calibrés avec l'audio. Les méthodes plus récentes utilisent quant à eux le signal audio ou des transformations de ce dernier telles que le spectrogram pour être transformé directement en formes faciales [11, 14].

Toutes ces techniques demandent dans un premier temps de labéliser des données. Seulement, il existe aucun dataset gratuit créée spécifiquement pour cette tâche. Cette donnée est la plupart du temps generées par les chercheurs. Certains utilisent de la performance capture traditionnels et d'autres les extraits de videos. Dans ce travail, nous décrivons une méthodologie pour générer un tel dataset. Pour prouvé la viabilité de cette méthode, nous détaillons aussi un modèle entraîné sur ces données. Notre model est composé d'un Tacotron2 [16] chargé de transformer du text en spectrogram de mel, d'un WaveGlow [15] chargé de transformer ce spectrogram en signal audio ainsi que d'un réseau de convolution chargé de transformer ce signal en une séquence de formes buccales inspiré par les papiers [11, 14].

Dataset

Le dataset que nous avons nommés ADMA-TED pour Audio Diven Mouth Animation TED a été extrait du LRS3-TED dataset [2] rassemblant plus de 400 heures de vidéos issues de TED et TEDx de discours en anglais.

ADMA-TED est composé de séquences de 20 points 3D normalisés de points de repères buccaux et de l'audio qui leur est associé. Les séquences de bouches sont samplées à 25 FPS et les audios originalement samplés à 16000 Hz ont été resamplés à 44100 Hz. Les données du dataset sont rassemblées dans un fichier .npy.

Tout comme pour le dataset LRS3-TED, notre dataset est organisé en trainval et test sans croisement entre les deux sets.

Extraction de la donnée

Pour extraire automatiquement les données à partir des vidéos croppées sur le visage de l'interlocuteur, nous avons établi une pipeline en plusieurs étapes. Avec cette méthode, nous avons pu extraire nos données sur presque la totalité du LRS3-TED dataset [2].

Le dataset [2] dont nous avons extrait les données nous permet d'appliquer cette technique sur une grande varieté d'interlocuteurs avec un tracking des visages continue sans interruption.

Extraction de points de repères faciaux

La première étape de la pipeline consiste en l'extraction de points de repères faciaux à partir de ces vidéos. Pour ce faire, nous avons utilisé un modèle de Deep Learning nommé FAN [4] qualifié d'état de l'art et capable d'extraire 68 points faciaux à partir d'une image. En appliquant ce modèle sur nos vidéos nous avons récupéré 68 coordonnées 3D a fréquence de 25 FPS.

La qualité des prédictions de ces coordonnées dépend entièrement du model que nous utilisons et de la qualité des vidéos. Une amélioration de ces facteurs résulterait à l'amélioration de notre dataset.

Projection de la bouche

Nous avons décider de garder uniquement les points concernant la bouche. Seulement ces derniers sont affectés par la rotation de la tête. Il a donc fallu que l'on projette ces coordonées dans le réferentiel du visage en utilisant une matrice de transformation. Grâce à cela nous avons pu garder les 20 points concernant uniquement la bouche.

Normalisation des données

Une fois les données extraites, il reste néanmoins une étape importante de normalisation. En effet, les bouches sont de tailles différentes et l'épaisseur des lèvres varie selon l'interlocuteur. Nous avons donc normaliser la tailles des bouches pour chaque vidéo dans l'intervalle [0, 1] ainsi que l'épaisseur de lèvre que nous avons moyennée sur l'entièreté du dataset. Cette opération permet en grande partie de limiter les biais mais aussi de permettre à un modèle de se concentrer uniquement sur le mouvement et non sur la forme des lèvres.

Nettoyage

Comme pour tout dataset, il faut une étape de nettoyage. En effet, après analyse du dataset, nous avons pu remarquer et isoler des comportements anormaux comme des fréquences trop élevées ou trop basses dû à un problème du micro de l'interlocuteur ou encore dès cas que FAN [4] a du mal à gérer.

Modèle

En ce qui concerne le modèle, nous avons entraîné un CNN inspiré par les papiers [11, 14] sur l'entiéreté du dataset capable d'inférer une séquence de points buccaux à partir d'un spectrogram de mel.

Dans un premier temps, l'audio est samplé à 16 kHz puis transformé en spectrogram avec 32 bandes de fréquences, une hop length de 128 et in fenêtre de taille 512. Ce mel-spectrogram est ensuite découpé en fragment grâce à une fenêtre glissante de taille 64. Pour chacune des frames du spectrogram est associé les coordonnées de la forme de bouche correspondante.

Voici les détails de l'architecture du modèle:

Pistes d'améliorations

Après avoir rendu en 3D et analysé les extrait du dataset générés, nous nous sommes rendu compte qu'ils contenaient énormément de bruit. Une amélioration possible de ce projet serait dans un premier temps de regénérer le dataset en utilisant des splines pour supprimer le bruit trop important. Après avoir testé cette méthode nous certifions que cela améliore nettement la qualité du dataset. Seulement pour des soucis de temps cette méthode ne sera pas appliquée tout de suite.

Nous pensons également qu'en ajoutant des skip connections au réseau, il est possible de réduire l'overfitting et d'aini obtenir de meilleurs résultats.

Bibliographie

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21

PaintsTorch: a User-Guided Anime Line Art Colorization Tool with Double Generator Conditional Adversarial Network.

Text-Driven Mouth Animation for Human-Computer Interaction with Personal Assistant.

ADMA: The voice of AI