Anaël Seghezzi

Anaël Seghezzi nous explique l’intérêt de développer ses propres outils, davantage personnalisés que les logiciels présents sur le marché et évitant de devoir s'adapter à des pipelines existants. Cet apport technique important demande du temps et des fonds consacrés à la recherche, mais il permet de résoudre des problèmes dits "impossibles", de réduire les temps de production et de se démarquer. Les studios font face à une forte compétition et ils démarchent souvent à l'étranger pour faire baisser leurs coûts, alors que développer de nouveaux logiciels en interne permet de réaliser des économies sans avoir recours à la délocalisation.

Anaël Seghezzi nous présente deux logiciels développés par la société Les Films du Poisson Rouge, basée à Angoulême. Hoodou permet de réduire le temps des intervalles dans l'animation traditionnelle, et MOE touche à la recherche fondamentale de reconnaissance d'image.

MOE reproduit des rendus graphiques complexes habituellement réalisés uniquement à la main, comme de la peinture à l'huile ou du dessin au crayon, sans devoir les repeindre image par image. Sur la base de calculs mathématiques, il analyse une peinture existante et essaye de comprendre comment elle a été créée, selon l'épaisseur des gouaches ou la forme du coup de crayon, pour reproduire un style graphique et garder une cohérence sur l'ensemble d'un projet. Il devient alors possible d'appliquer cet effet sur des séquences animées. L'animation est générée par un algorithme, sans être pour autant vibrante ou aléatoire. Plusieurs styles graphiques et des réglages comme la forme de la brosse ou son mouvement peuvent être appliqués sur la même vidéo, permettant par exemple de retraiter le contour d'un personnage et de changer l'épaisseur de la ligne sur certains plans.

Hoodou permet quant à lui de générer des images intermédiaires (intervalles) à partir d'images clés dessinées, pour améliorer la fluidité et la stabilité de l'animation ou animer des perspectives entre deux images. La fonction de cet outil est de remplacer certaines étapes habituellement réalisées à la main. Le logiciel enregistre l'épaisseur de trait et la texture de l'image A pour la reproduire sur l'image B. Ce mécanisme permet ainsi de réaliser un transfert de style d'une image à l'autre et de générer des intervalles d'animation entre ces deux images.

Deux projets utilisant la rotoscopie expérimentent ces technologies pour la première fois. Le défi du projet de long métrage L'Affaire Furcy était de reproduire un style complexe, avec peu de budget, pour générer un rendu de type peinture à l'huile animée. Ce projet présentait aussi de nouvelles contraintes : le tournage était déjà réalisé sur des décors finaux sans fond vert, avec une lumière définitive. La peinture a donc été générée par un algorithme à partir d'une vidéo, en s'adaptant à une image de cinéma complète. Pour le pilote du long métrage Le Repenti, la direction artistique a été validée en utilisant des images et des photographies des acteurs, ainsi qu'une recherche de lumières et de décors à partir de tests préliminaires. Ce projet a d'abord été tourné sur fond vert pour contrôler des décors dessinés postérieurement à la main. Le caméra mapping est récupéré à partir du décor et des mouvements de caméras enregistrés au moment du tournage. Un travail de compositing est ensuite nécessaire pour mélanger tous ces résultats.

Question : Sur Hoodou, avez-vous des données chiffrées concernant les réductions de délai ?
• A. S. : Nous avons un gain de temps de 4 par rapport à de l'animation traditionnelle, mais cela dépend aussi de la fluidité voulue pour l'animation.

Question : Sur MOE, combien de temps prend le calcul ?
• A. S. : Pour de la HD, nous avons 15 secondes de calcul par passe, entre 18 et 25 secondes par image. Le calcul CPU est le plus lourd, l'analyse est la plus importante ; ici, nous nous situons à 14 secondes, auxquelles il faut ajouter 1 seconde d'affichage.

Question : Comment avez-vous financé six ans de recherche ?
• A. S. : Le financement de la R&D est assez complexe, d'autant que nous n'avons pas obtenu de soutiens financiers, qui sont longs à mettre en place. J'ai donc dû développer entièrement ces logiciels en compilant d'autres outils sur lesquels j'avais déjà travaillé, en étant en contact avec d'autres chercheurs et en échangeant nos idées.

Yann Couderc

Yann Couderc a développé des logiciels utilisés par de grands studios. Sa société, Isotropix, est basée à Montpellier et emploie vingt salariés. Elle a été fondée en 2011 par deux vétérans des effets spéciaux et se positionne sur l'édition et le développement de logiciels d'infographie 3D. Leur produit phare est Clarisse iFX.
En août 2014, Double Negative choisit Clarisse comme outil principal d'éclairage et de rendu. Une approche soudée entre l'équipe de développement et les clients permet de faire évoluer constamment le logiciel sur la base d'un travail sur mesure adapté à chaque client.

Dans les années 1990-2000, nous avons assisté à la généralisation des processeurs graphiques (GPU) destinés à traiter l'affichage interactif, mais ils ont vite été limités, une carte graphique ne pouvant pas traiter 100 millions de polygones. La solution trouvée pour diminuer les temps de calcul des rendus a donc été de décomposer tous les éléments du film en assets. Les décors, les accessoires et les personnages sont ensuite rassemblés, mais le GPU ne peut pas tout traiter. La mémoire centrale de l'ordinateur (CPU) vient alors soutenir la puissance de calcul, mais ce traitement en parallèle des données entraîne des doublons, des données traitées à la fois par le GPU et par la mémoire. Pour alléger encore ces calculs, une version simplifiée d'un asset en affichage interactif (proxy) est donc réalisée avant de créer le rendu final.

La nouveauté apportée par Clarisse iFX est de faire traiter ces calculs uniquement par la mémoire centrale de l'ordinateur, évitant les doublons et utilisant toutes les ressources de l'ordinateur, sans être limité par la mémoire interne du GPU. Clarisse iFX est un moteur de rendu totalement intégré, qui utilise massivement le calcul distribué, par le biais de plusieurs cœurs. C'est le seul logiciel capable de charger un plan de production en entier sans proxy.

Clarisse iFX a par exemple été utilisé pour Avengers : L'Ère d'Ultron, Exodus ou encore Insurgent, mais aussi par Xavier Chassaing pour son court métrage Dry Lights.

Question : Quels changements apporte Clarisse iFX ?
• Y. C. : Tous les éléments de référencement restent à l'extérieur d'un projet Clarisse. Ils sont généralement importés via le logiciel Alembic et on peut donc les modifier sans casser le pipeline existant.

Il y a aussi une vraie visibilité sur les assets lourds et les plans. Cette technologie permet de les modifier, alors que ces objets lourds n'étaient pas accessibles ou visibles avant. Le pipeline est simplifié et il est possible d'apporter des modifications directes sur le plan final. Enfin, Clarisse iFX accorde aussi la possibilité d'effectuer des sessions interactives avec le réalisateur et les équipes de production.

Flavio Perez et Éric Serre

Les Fées Spéciales est une société d'animation basée à Montpellier et créée sur la base d'une SCOP composée de quatre associés ayant les mêmes statuts. Cette alternative permet aux salariés d'être associés à l'entreprise et de valoriser leur propre équipe qui, si elle est rémunérée, a aussi son droit de décision dans la direction que prend l'entreprise.

Virginie Guilminot est ainsi productrice, Ève Machuel est productrice exécutive et maîtrise les aspects financiers et juridiques de la production, Éric Serre est le directeur artistique et Flavio Perez le directeur technique. Ils ont notamment travaillé sur Le Lorax et Moi, moche et méchant 2 avec Illumination Mac Guff, Il était une forêt et Macadam Popcorn avec Mac Guff Ligne, le court métrage Logorama avec H5, Azur et Asmar, de Michel Ocelot, avec Nord-Ouest Production, Kirikou et la Sorcière, de Michel Ocelot également, ou encore sur des projets autoproduits comme Herakles.

Pour son nouveau projet, Dilili à Paris, Michel Ocelot a voulu recréer un univers du début du 20^e siècle, mettant en scène de nombreux personnages, engins, tricycles et calèches. Il voulait utiliser des photographies pour façonner un décor célébrant cette époque et la ville de Paris.

Il a fallu créer de nouvelles techniques pour faire ce film, puisque le nombre de personnages, d'éléments et d'images présentes dépassait les possibilités techniques disponibles. Ce projet a notamment nécessité de conserver des dessins 2D pour les layouts, tout en les intégrant dans des éléments 3D (pas systématiquement utilisés dans la production, afin de réduire le nombre de polygones à traiter et les temps de modélisation).

Plutôt que de modéliser une esquisse, un rough layout, ils ont fait le choix d'utiliser les dessins du storyboard. Autant mettre ces formes dans les images à l'écran et dans les étapes de fabrication, plutôt que de se contenter d'avoir un bel outil de communication. Le dessin de Michel Ocelot est suffisamment précis et validé par l'auteur pour qu'il valide ensuite le plan.

Une des problématiques de ce projet était de lister précisément tous les éléments présents (assets) dans la production et savoir comment remplacer les éléments 3D en 2D. Un outil a donc été développé pour permettre de lister tous les plans, ainsi qu'un nombre de paramètres les définissant, qui permettront peut-être d'estimer le temps de travail nécessaire pour les réaliser. Mais cela permet surtout d'ajouter facilement un personnage au casting ou un élément du décor dans la base de données. Modéliser un espace virtuel permet ensuite de manipuler les éléments facilement. Les différents éléments peuvent ainsi être réutilisés, il devient possible de savoir combien de fois ils apparaissent dans le film et de créer des statistiques.

Question : Quand le logiciel que vous venez de montrer sera-t-il disponible ?
• F. P. : Ce logiciel s'appelle Neo Project. C'est un outil open source sur lequel j'ai créé mon interface web. Nous avons ensuite travaillé sur un prototype qui permette d'identifier les assets du film. Il est en développement et nous travaillerons probablement dessus cet été pour l'enrichir et l'améliorer. Nous l'utilisons simplement en ce moment pour ajouter des chiffres et lister les assets du film. Mais concernant le modèle et l'interface, c'est typiquement le genre d'outils que nous voulons proposer en open source.

Jon Dobson et Jeff Stringer

Jeff Stringer est directeur de production chez LAIKA, studio d'animation en stop motion basé à Portland (Oregon, États-Unis). Il est spécialisé dans la technique, et gère depuis 2008 une équipe de directeurs techniques et de développeurs de logiciels. Son travail consiste essentiellement à aider les artistes créatifs sur les longs métrages de LAIKA. Jon Dobson est, quant à lui, le superviseur général de toutes les étapes de la fabrication. Tous deux nous exposent les techniques développées notamment pour le long métrage Boxtrolls en 2014, où les équipes du storyboard ont travaillé en interaction avec les équipes de design et de tournage.

Pour Boxtrolls, le défi était de gérer de nombreux personnages, puisqu'il y avait un plateau large avec cinquante personnages, réalisés en unités modulaires. L'équipe a dû aussi réaliser soixante décors différents avec leurs propres accessoires, avant d'effectuer le tournage. Ensuite, l'atelier de réalisation a créé 135 pantins pour représenter les personnages, chacune de ces poupées devant être animée avec des expressions particulières. L'utilisation d'une bibliothèque de visages a été combinée avec un système permettant de rattacher les différentes composantes faciales pour 53 000 visages.

L'animation, les mouvements, placements et perspectives sont des processus qui ne peuvent pas être développés en linéaire pour ce type de projet. Résoudre les problèmes de storyboard et la partie artistique a nécessité de travailler en parallèle, en coopération constante pour savoir ce dont les différents collaborateurs avaient besoin, et donc utiliser des outils pour communiquer avec les différents départements.

Une des problématiques de réalisation pour ce projet a par exemple été de savoir comment placer la caméra pour que l'artiste bénéficie de la plus grande souplesse possible. Des outils ont été développés pour montrer le rendu aux graphistes au fur et à mesure que l’équipe artistique développait ses idées. Maya et Photoshop ont été utilisés comme outils principaux, intégrés par la suite dans l'outil SandBox. Cette interface donne aux artistes un accès à des galeries d'images et permet de contrôler la caméra et de la déplacer dans le décor, de faire des bookmarks sur le placement des caméras, de contrôler la lumière et l'ombre, de déplacer l'axe de l'éclairage, puis d’intégrer des personnages et de les mouvoir dans le décor. Il est ensuite possible de retravailler les éléments dans Photoshop et de les réimporter dans SandBox.

Cet outil est facile à intégrer dans Photoshop et donne la possibilité de travailler en parallèle avec d'autres outils, permettant notamment de ne pas ajouter une équipe supplémentaire entre celle qui produit l'histoire et les artistes qui réalisent la création. SandBox permet aussi d'enregistrer des voix ; un plugin est installé pour les exporter en PDF et les afficher dans le storyboard physique. L'intégration des personnages avec des images de décor du film constitue aussi une avancée qui apporte une nouvelle qualité technique, permettant de travailler sur des décors complexes avec le directeur artistique, avant de passer à la création des décors en dur et au placement des marionnettes. Le tournage est effectué sur ces bases, mais, pour Jon Dobson et Jeff Stringer, les animateurs restent les vraies stars des films, car ce sont eux qui impriment les mouvements aux personnages.

Question : Comment intégrez-vous l'architecture de SandBox dans le scénario ?
• Réponse : Cette intégration demande de faire sans cesse des allers-retours.

Question : Comment décidez-vous de la taille idéale de la marionnette par rapport à SandBox ?
• Réponse : SandBox est adaptable, mais il y a parfois des personnages plus grands et il faut que les animateurs puissent les manipuler. Il faut en effet parfois faire appel à trois animateurs pour bouger une marionnette.

Question : Quel est le lien entre la manipulation des marionnettes, qui devient de plus en plus robotique, et les pièces mécaniques ? Y a-t-il eu des inspirations dans la manière de gérer les stocks de pièces ?
• Réponse : Il y a beaucoup de gestion de fabrication en stop motion, et toutes les livraisons représentent une tâche énorme pour savoir comment les magasiniers fonctionnent. Cela coûte cher et nous comptons sur nos animateurs pour savoir où trouver les meilleures pièces au meilleur prix. Il y a une connexion entre la robotique et l'animation. Tout le système de motion control est repoussé sans cesse, surtout dans les poupées gérées à la main.

Questions générales

Question : Pensez-vous qu'il pourrait y avoir une plateforme généraliste et collaborative pour mettre en commun ces idées innovantes et créatives disponibles pour tout le monde ?
• Réponse : L'open source peut proposer ce type de solution pour partager le travail des programmeurs et des développeurs.

Question : Travailler avec des imprimantes 3D peut-il aussi permettre de gagner du temps ?
• Réponse de Jon Dobson : Chez Laika, nous travaillons avec d'autres groupes pour développer des projets comme ceux-ci, ou par exemple pour proposer des visages plus expressifs.
Réponse de Flavio Perez : Chaque projet est différent, mais il me paraît difficile de créer un outil universel qui soit une fusion de tous ces outils. Les graphistes ont aussi besoin d'outils simples à utiliser, pour simplifier aussi des pipelines très compliqués.
• Réponse de Yann Couderc : C'est aussi une question de moyens. Aujourd'hui, plus personne n'est capable de développer quelque chose comme Maya, qui réunit beaucoup de gens travaillant gratuitement pendant des années. Même pour Maya, beaucoup d'options se sont ajoutées au fur et à mesure du temps.

Question : Pour parler des méthodes agiles et du management que nous retrouvons dans le monde de l'informatique, cela a-t-il ici un impact sur vos études ? Ces méthodes agiles en informatique représentant des approches différentes en termes d'organisation...
• Réponse de Flavio Perez : Oui, nous avons tout à gagner à être agiles, c'est une question de survie dans nos métiers. Nous sommes à la croisée de différentes technologies qui ont tout intérêt à se mélanger.
• Réponse d'Éric Serre : La faculté de réagir sur plusieurs compétences permet aussi de réduire le nombre de collaborateurs, et je pense que l'informatique nous formate aussi d'une certaine manière.

Rédigé par Alain Andrieux, ITZACOM, France

Les synthèses des conférences Annecy 2015 sont réalisées avec le soutien de :

Conférences organisées par CITIA 

Sous la responsabilité éditoriale de René Broca et Christian Jacquemart