Stéphane Deverly

Stéphane Deverly nous parle des tendances actuelles des pipelines à travers son expérience chez Shotgun. Cette société développe des outils pour aider les studios dans la réalisation de leur chaîne de production et la gestion de leurs assets. Un pipeline d'animation typique commence par le modeling, puis des caméras, des personnages et des décors sont créés. L'animation génère ensuite des caches utilisés pour créer des effets et des images qui pourront être édités.

Pour les effets spéciaux, il y a des étapes supplémentaires comme le tracking, la préparation et le nettoyage des images. Dans cette phase de préparation, des proxys sont générés. Ce sont des répliques plus légères des images qui seront travaillées par différents départements. Pour simplifier ces volumes, des assets globaux sont définis et rendus disponibles par tous les départements en une seule version.

Sur un projet, le donneur d'ordre, en général le producteur ou le studio, doit gérer les montages, les scans, les images qui seront utilisés et l’étalonnage numérique. Les effets visuels peuvent être partagés entre plusieurs studios. Le studio réplique alors son infrastructure ailleurs, avec des connexions rapides pour partager les fichiers avec des départements techniques, des systèmes, et des pipelines qui s'assurent que les choses soient faites de la même façon partout. Les crédits d’impôt font qu'aujourd'hui certains studios sont éloignés dans le monde. Une autre tendance est d'avoir des artistes qui travaillent depuis chez eux, ou depuis un studio qui n'est pas dans celui de la société originelle. Il faut donc mettre en place des outils pour que tous puissent travailler ensemble.

Dans les pipelines modernes, il y a beaucoup d'intervenants, le travail est largement distribué et il est préférable d'avoir des coûts variables plutôt que fixes. Une infrastructure et des coûts fixes trop importants par rapport au travail effectué peuvent faire échouer un projet.

Shotgun s'occupe essentiellement des problèmes liés au montage et à la livraison des effets visuels. Il est important de pouvoir communiquer les données du montage au prestataire en effets spéciaux. Mais la livraison des effets visuels et le reporting des difficultés rencontrées peuvent vite devenir problématiques.

Shotgun est alors utilisé comme point d’échange de données entre le studio producteur et le prestataire en effets spéciaux. Le studio a sa propre infrastructure et son serveur, mais Shotgun n'a aucun contrôle sur le studio du producteur ou sur l'infrastructure du prestataire. Est donc mis en place un système pour gérer les échanges sans maîtriser ces éléments. Ce système est une porte qui fonctionne dans les deux sens, grâce à Toolkit Desktop, une application simple à installer qui permet de partager les informations. Cela donne un accès sécurisé et autosuffisant aux services et des applications sont développées pour les prestataires et les studios. Cette application de partage de données est un processus agile et interactif dans le sens où les clients sont accompagnés dans leur projet et où les applications s'améliorent au fur et à mesure.

Question : Comment créez-vous une identité de groupe en travaillant autant à distance ?
• Réponse : Nous sommes très techniques, et des développeurs sont donc plus faciles à gérer que des studios. Nous avons des réunions entre nous tous les jours et avec l'ensemble de l’équipe extérieure toutes les deux semaines. Une fois par an, nous nous réunissons au même endroit pour définir ce que nous allons faire.

François Grassard et Alexandre Gauthier-Foichat

François Grassard est graphiste et développeur. C'est un défenseur des logiciels libres qui développe depuis un an le projet Natron, un logiciel open source de postproduction destiné au compositing et aux effets spéciaux. Le principe du compositing étant de créer des images composites, mélangées ou superposées.

Ce logiciel en constant développement présente l'intérêt de fournir une relation directe avec les développeurs et de réaliser des projets de démo libres, livrés sur le même site que le logiciel afin d'avoir un terrain d'expérimentation ouvert. Il est gratuit, multiplateforme, et propose un format de script XML et Python 3. Compatible avec les plugins OpenFX, il permet de faire de l'incrustation de fond vert/bleu, de la correction colorimétrique et de l'étalonnage, du tracking, du compositing, de la rotoscopie ou encore de l'animation.

Natron est donc un logiciel dit nodal qui transfère les images dans des outils qui les modifient. Il est fondé sur une librairie open source lui permettant de lire de nombreuses images et plusieurs formats de fichiers multilayers, des images composées de plusieurs couches d'images qu'il est possible d'extraire à loisir afin de transporter les informations.

Alexandre Gauthier-Foichat a créé ce logiciel et démarré son développement en juin 2012. En mettant en place une plateforme générique, il a réalisé qu'il y avait de la demande pour un logiciel de compositing open source fondé sur les mêmes principes que des outils de pointe utilisés en postproduction dans l'industrie cinématographique et télévisuelle. Avant Natron, il n'y avait pas de logiciel open source qui faisait du compositing. Blender était utilisé mais il n'est pas dédié uniquement à cette fonction. Le reproche fait aux logiciels propriétaires étant de ne pas donner le contrôle sur le cœur des métiers de graphiste et développeur. Aujourd'hui, le projet est développé au sein de l'équipe de recherche Prima qui travaille sur la modélisation d'activité et la robotique, et financé par l'Inria, avec le soutien du ministère de l'Enseignement supérieur et de la Recherche.

La crainte des utilisateurs de logiciels libres est d'être dépassés par la technique, mais payer un ingénieur pour gérer des lignes de code coûte beaucoup moins cher que les licences des logiciels. Selon lui, les licences libres feront une arrivée massive dans quelques années car elles permettent de faire évoluer les logiciels. Elles contreront les éditeurs de logiciels qui pratiquent des prix exorbitants quand ils acquièrent un monopole. L'université Paris 8 n'ayant par exemple pas pu obtenir de licence After Effects cette année, Natron lui a été fourni. L'objectif est de proposer une bibliothèque standard et commune à laquelle chacun peut apporter sa pierre.

Ce projet a gagné le prix de la meilleure innovation de l'année lors du premier Paris Images Digital Summit en janvier 2015.

Question : Peut-on lancer Natron sur plusieurs machines ?
• Réponse : Oui, il est tout à fait possible de lancer Natron en ligne de commande en background. Il est ensuite possible de synchroniser les rendus.

Question : Quelle est la meilleure façon pour un studio de participer à l’évolution du code source ? Et l'encouragez-vous ?
• Réponse : D'un point de vue utilisateur, la meilleure contribution reste le test. Nous travaillons sur une plateforme collaborative en ligne appelée GitHub, qui est une sorte de Facebook pour développeurs où les gens publient des rapports de bugs. Nous les lisons et essayons de corriger les problèmes.
Il est aussi possible de créer des plugins VFX, pas forcément disponibles pour tous en ligne, certains peuvent être payants et demandés par des entreprises. Une autre manière de contribuer est de présenter des petits projets, en licence Creative Commons par exemple. Cela nous permet de faire des tests immunitaires et de les proposer en enseignement. La recherche fait en général de l'open source, il est rare que nous cherchions à rendre un code privé.

Loïc Anquetil

Loïc Anquetil est artiste 3D chez Allegorithmic. Il nous présente deux outils de texture développés par sa société : Substance Painter et Substance Designer. Ces deux logiciels sont dédiés au texturing d'assets 3D, ils sont complémentaires et conçus pour des profils différents. Painter est conçu pour les artistes 3D, et Designer porte davantage sur la technique artistique. Il est plus technique mais reste très intuitif.

Substance Designer est un atelier géant pour texturer des assets et développer ses propres outils de texturing, ses propres filtres et effets. Il est possible d'utiliser cette boîte à outils personnalisée et de l'importer dans Painter, 3Ds Max, Maya, ou des moteurs de 3D en temps réel comme Unity.

Texturer un personnage sur Painter revient à peindre une maquette ou une figurine réelle, sauf qu'ici il ne s'agit pas seulement de la couleur mais aussi de la matière. Tout ce qui compose la matière est peint pour pouvoir travailler avec des masques et appliquer très rapidement sur différents modèles.

Les développeurs de Substance viennent du jeu vidéo, ils rassemblent une communauté de 25 000 utilisateurs actifs, avec une présence dans plus de 70 studios de jeu vidéo AAA (Ubisoft, Rockstar Games, Blizzard Entertainment, Arkane Studios ou encore Warner Bros Games). Des jeux comme Assassin's Creed exploitent les technologies développées par Substance. Depuis quelque temps, des studios d'animation de long métrage comme DreamWorks commencent aussi à intégrer Substance à leur pipeline.

Quand un matériau ou un effet sont créés dans Substance Designer, les paramètres choisis peuvent être utilisés dans un logiciel 3D. Il est alors possible de continuer à affiner le rendu, y compris lorsque la texture est réalisée. Cela permet par exemple de texturer 10 objets différents avec une seule substance.

Substance Designer intègre aussi le physically-based rendering (PBR), qui a explosé dans le jeu vidéo ces dernières années. Cette technique de rendu des objets 3D est liée à l'éclairage et se fonde sur des modèles de calculs physiques. Cela crée un shader en temps réel, basé sur les données du réel, et permet d'obtenir des rendus photoréalistes en temps réel.

Question : Ce logiciel permet de faire des textures en nodal. Est-il possible de mettre des clés d'animation dans Substance Designer et de réaliser des textures animées ?
• L. A. : Vous pouvez accéder aux paramètres de la substance dans votre logiciel. En l'important et en ajoutant un petit script, il est possible de modifier les valeurs en ajoutant des clés d'animation et de créer des textures animées.

Question : Pouvez-vous faire des exports GLSL simples avec ce logiciel ?
L. A. : Nous travaillons sur cet aspect…

Cédric Guiard

Cédric Guiard est président d'EISKO, société spécialisée dans la création et l'exploitation de doublures numériques, modèles en images de synthèse d'individus existants. Ce procédé est fondé sur des images précalculées. Il ne s'agit pas de remplacer les acteurs mais de répliquer leur charisme ou leurs émotions sur des plans qui ne peuvent pas être tournés de manière traditionnelle, comme des cascades, des performances de sport de haut niveau ou des métamorphoses.

Cédric Guiard nous présente sa nouvelle offre de doublure numérique en temps réel pour les besoins de l’animation et du jeu vidéo. Pour assurer un haut niveau de crédibilité et de photoréalisme, cette modélisation est fondée sur l'analyse et la reconstruction d'acquisitions très détaillées, grâce à un procédé réagissant à différentes intensités de lumière.

L'offre couvre trois volets : la reproduction de l'apparence, la reproduction des expressions propres à l'individu, et la reproduction de la performance de l'animation pour la livraison d'un modèle animé.

Le process est fondé sur une capture. Une solution intégrée avec un système transportable a été développée pour pouvoir réaliser la doublure numérique sur le lieu choisi par la production. Un processus d’analyse de ce flux de données permet d'extraire les données physiques puis une phase de reconstruction structure l'ensemble de ces données sur la base d'un maillage qui donne une maîtrise du mesh et de la topologie des textures choisies par une production. Un modèle prêt à être intégré est enfin livré.

Ce procédé est fondé sur deux technologies : un système de capture basé sur une sphère formée de LED permet d'extraire la géométrie et les matériaux physiques de n'importe quelle expression. La deuxième technologie permet de passer de l'acquisition à un modèle structuré et exploitable pour l'animer.

Le système de capture s'effectue grâce à 1 600 LED dont l'intensité et la longueur d'onde sont maîtrisées, puis des caméras enregistrent la façon dont la peau, la bouche et les vêtements réfléchissent la lumière selon le calibrage de l'illumination choisie. L'approche est donc fondée sur cette analyse de la réaction d'un sujet à une illumination calibrée, alors que la majorité des procédés existants s'appuient sur une calibration géométrique, qui produit une singularité de l'image en fonction de la position de la caméra, et ne permet pas de retrouver les mêmes informations pour deux images différentes. Le procédé développé par EISKO permet donc de simuler les réactions physiques de la lumière quelles que soient les conditions en présence, et de dissocier ensuite les différentes informations récoltées.

L'ensemble des expressions et déformations faciales, liées à l’élocution ou aux émotions, sont enregistrées pour éviter le manque de fluidité dans l'animation du personnage. Un rigging complet des expressions faciales propres à l'individu peut ensuite être manipulé en temps réel.

Question : Comment capturez-vous les cheveux et coiffures ?
• C. G. : Nous travaillons avec une société spécialisée sur les cheveux, et nous menons une recherche avec l'équipe de l'Inria sur ces problématiques. Nous utilisons donc pour l'instant des techniques traditionnelles. Nous n'avons pas encore non plus développé une technique de reconstruction sur les poils.

Question : Combien coûte une capture motion en termes de budget et de temps ?
• C. G. : Aujourd'hui, c'est quelque chose d'accessible pour faire vos prévisualisations, et la question de la démocratisation est vitale, pour rendre la technologie accessible aux studios français et européens.
Une doublure numérique doit tenir jusqu'au gros plan. Évidemment, la qualité du modèle tient à son utilisation, mais nous sommes sur des coûts de 50 000 EUR, ce qui est 10 fois moins cher qu'une capture traditionnelle réalisée par les grands studios. Pour les doublures numériques en temps réel, le temps de capture est très rapide, mais le temps de traitement des calculs et de reconstruction est de 3 jours.
Pour les doublures numériques statiques, nous sommes sur des coûts de 5 000 EUR. C'est un challenge artistique sur le maintien de la fidélité et du photoréalisme, et cela nécessite le travail d'infographistes experts.

Rédigé par Alain Andrieux, ITZACOM, France

Les synthèses des conférences Annecy 2015 sont réalisées avec le soutien de :

Conférences organisées par CITIA 

Sous la responsabilité éditoriale de René Broca et Christian Jacquemart