L’édition et l’animation de visages réels sont des outils puissants pour l’édition vidéo. Les méthodes de Deep Learning sont les plus prométeuses pour ce type de tâche. Elles permettent de créer des transformations faciales fidèles à la réalité telles que les méthodes de Deep Fake.

Cependant, ces techniques demandent un nombre important de portraits du sujet des modifications. Un nombre tellement important que d’effectuer cette tâche sur une personne non-célèbre est une tâche ardue, les données nécéssaires n’existant simplement pas.

One-Shot Face Puppetry est basé sur un papier de recherche récent pour générer de faux visages réalistes avec peu d’images (aussi peu qu’une seule image).

OSFP peut être utilisé pour modifier des images de personnes dont très peu d’images existent. Par exmeple des personnages historiques, des peintures et des personnes qui ne sont pas célèbres.

Les avatars pour les appels vidéo ou le streaming peuvent être créés à la volée avec un entrainement simple du réseau de neurone (<2 minutes contre plusieurs heures pour les techniques précédentes) et avec une seule image. Ceci introduit de nouvelles manières de garder l’anonymité en ligne et un moyen amusant pour intéragir avec les autres.

Comme le modèle compressent de manière importante les images en entrée, le transfer de l’embedding qu’il produit permet de faire des économies de données considérables. Ceci est pratique pour les opérateurs et les utilisateurs de platformes de chat vidéo (Skype, Discord, …).

Mon prototype open-source est disponible sur cette page avec des détails sur l’architecture du réseau et avec des tutoriels sur comment l’installer et l’utiliser.