Mots clés

GameFusion, Carlen, Cyber Marionnette, Alkymia, Miance, Horyzon, Jamel Debbouze, iPad, Game Audio Factory, SolidAnim, Percevault, Szlapka, mocap faciale, postsynchro, Kinect, Gleam Session, Mercenaries Engineering, Guerilla Render, Legros. 

GameFusion et Cyber Marionnette

GameFusion est une société spécialisée dans la prestation de services et de technologies autour de solutions d'animation. "L'objectif de nos recherches est d'améliorer la productivité des pipelines de fabrication", indique Andreas Carlen. Dans toute production, créer de nouveaux personnages s'avère souvent complexe et onéreux ; c'est pour réduire ces coûts qu'a été développé Cyber Marionnette pour la société Cyber Group Studios. "Il s'agit d'un outil de génération de personnages, disponible en stand alone mais également sous forme de plug-in pour Maya. Compatible Linux, Mac OS X et Windows, il peut aussi être utilisé sur un iPad (app iOS) et sur Android. Bien qu'il soit éprouvé pour pouvoir être utilisé en long métrage, il est tout à fait adapté à une configuration de série."

Son interface, développée en OpenGL et C++, a pour finalité la simplification d'authoring de personnages. Le fondateur de GameFusion précise : "Il suffit de sélectionner dans un premier temps le sexe et le morphotype souhaités. Le logiciel offre toutes les fonctionnalités de modification, tant sur le corps que sur le visage, les accessoires et les matériaux. Le principe s'appuie sur un ensemble de presets. L'intérêt de sa corrélation avec Maya fait qu'on peut accéder très facilement au squelette si on souhaite le modifier en cours de route."

Un clic sur la partie que l'on souhaite modifier ouvre un panneau pour modifier, dans le cas d'un vêtement, sa couleur ou sa texture. D'autres fenêtres permettent d'accéder à une visualisation dite globale (corps, corpulence, muscles), tandis que la partie faciale offre la possibilité de jouer sur de nombreux éléments du visage, entièrement paramétrables : menton, crâne, oreille, pommette, joue, mâchoire, etc. La génération finale et l'export s'effectuent en un clic et le résultat obtenu est un fichier Maya, que l'on peut intégrer en toute transparence dans le pipeline de production.

Cyrille Martin, chef animateur, détaille ensuite la constitution de la base de données servant à cette génération "automatisée". "La base de données comprend deux modèles génériques : un homme et une femme, suffisamment neutres pour pouvoir être déclinés en un large spectre de possibilités. Pour les déformations, on va utiliser un système de cages, associées à des blendshapes, permettant le travail par zones – ce qui facilite les modifications." Une cage plus détaillée – au regard des paramètres modifiables – est associée au visage. La cage du corps offre des fonctionnalités de déformation de structures et, dans ce cas, c'est sur les os qu'on applique ces déformations. Le deuxième niveau de déformation se fait donc via des shapes. Andreas Carlen souligne que la banque de données constituée doit être déterminée en amont de la production si l'on veut obtenir une réelle optimisation. "À partir de chaque nouveau preset, on peut constituer une nouvelle famille de presets, de niveau inférieur."

L'un des points importants dans la phase de développement de Cyber Marionnette était "la conservation de tout le set de blendshapes, ce qui est le résultat obtenu grâce à ces cages de déformation qui nous permet d'en garder un très bon pourcentage". Seul bémol, "comme le skin n'est pas directement sur le mesh, il faut de nouveau précalculer pour obtenir les matrices de transformation". Avantage : toute modification (un clin d'œil, par exemple) sur un personnage entraîne la même chose sur tous les autres. "C'est idéal pour les personnages secondaires ou les foules, notamment", complète Cyrille Martin.

Andreas Carlen explique que, lorsqu'on charge une librairie, on charge également les rigs associés, qui se greffent automatiquement… si cela a été pensé en amont, naturellement.

Questions à Andreas Carlen et Cyrille Martin

Peut-on avoir des données concernant les gains de productivité ?
C'est difficile à établir, car c'est au cas par cas. Ce qu'il faut forcément modéliser, ce sont les personnages, mais c'est une fois pour toutes.

Quel est le business model ?
Nous travaillons sur un mode de licence par studio, du moins dans le cas de Cyber Group, car ils ont largement contribué à l'émergence de cet outil.

Game Audio Factory et SolidAnim présentent Gleam Session

Game Audio Factory et SolidAnim sont deux sociétés françaises situées à Angoulême (SolidAnim est également implantée à Ivry-sur-Seine, près de Paris), la première spécialisée dans le son, l'autre dans la prestation de services et la R&D dans le domaine de la capture de mouvements. Développé conjointement, Gleam Session est un outil de mocap faciale sans marqueur avec enregistrement audio intégré. C'est en partant du constat que la capture de mouvements tendait à se démocratiser, technologiquement et économiquement, que les deux sociétés en sont venues à échanger sur un autre système qui serait basé sur la Kinect de Microsoft. "Nous avons fait le choix du tracking 3D, explique Jean-François Szlapka, car nous souhaitions conserver l'information de profondeur, tout en nous affranchissant des marqueurs. On reste ici dans du visuel, c'est-à-dire qu'il n'y a pas de lipsync."

Concrètement, la Kinect capte un signal, très bruité, qui permet néanmoins d'obtenir la profondeur de champ. Le cofondateur de SolidAnim admet qu'il y a un manque de précision sur le signal, mais indique que l'algorithme mis au point en interne permet d'affiner largement le résultat. "On plaque ensuite la vidéo sur les informations de profondeur. Le système reconnaît alors le visage dans l'image et génère automatiquement une déformation, avec une petite résolution de textures. Il suffit alors d'attaquer l'animation."

Les avantages du dispositif sont : un coût raisonnable, pas de temps de préparation, une prévisualisation temps réel et un résultat équivalent à une première passe d'animation, qui sera ensuite retravaillée par les animateurs. "Il faut bien conserver à l'esprit que la mocap n'est qu'une première étape et que l'animation est nécessaire dans un second temps."

Vincent Percevault complète la présentation du dispositif côté audio. "Dans ce puzzle de techniques présentes en captation, il nous manquait un élément pour synchroniser la capture des corps, celle des visages et l'enregistrement des voix." La solution la plus largement usitée est celle dite de post audio ADR, soit la reprise en cabine des dialogues des acteurs, réenregistrés sur les voix plateau. Tous deux admettent qu'il s'agit d'une perte de temps.

Gleam Session permet d'enregistrer toutes les données – son et capture de mouvements du visage – en même temps. Même si celles-ci sont brutes, l'algorithme de SolidAnim, tout comme pour les mouvements, permet d'obtenir un résultat temps réel de qualité via un senseur PrimeSense, disponible sur la quasi-totalité des logiciels tels que Protools, mais aussi largement présent dans les studios. "On gagne alors un temps fou sur l'étape de post-synchronisation", précise Vincent Percevault. L'inconvénient soulevé est la perte de corrélation avec la capture de mouvements corporels, "mais on peut aussi voir cela comme un atout, car les acteurs peuvent alors se concentrer soit sur leur performance physique, soit sur leur émotion dans les dialogues".

Gleam Session a déjà été utilisé pour le jeu vidéo de courses automobiles The Crew, édité par Ubisoft et présenté à l'E3 en juin 2013. "Nous avons fabriqué toutes les animations faciales du jeu, soit plus de 1 500 lignes de dialogue, avec un rendu quasi photoréaliste", rappelle le fondateur de Game Audio Factory. Le magazine de programmes Télé Loisirs a également utilisé Gleam Session pour une pastille vidéo de deux minutes et demie sur son site Internet, intitulée Le Cinéma de Zlatan : on y voit une marionnette du joueur de football présenter ses coups de cœur cinématographiques de la semaine. "L'acquisition d'une émission se fait dans la journée : le matin, capture du corps de l'acteur figurant Zlatan Ibrahimovi? ; l'après-midi, capture faciale et enregistrement des voix via Gleam Session. Il ne reste plus que la postsynchronisation animation à effectuer", précise Jean-François Szlapka.

Déjà, Game Audio Factory et SolidAnim prévoient d'améliorer le dispositif avec du rendu temps réel, des options multilingues, voire, dans une version 2.0, une diffusion temps réel avec un dispositif embarqué, pour une meilleure optimisation.

Alkymia : la mocap et la gestion de projets pour… tous

Marc Miance, après avoir créé Attitude Studio, a développé deux sociétés, l'une orientée production exécutive, Let'So Ya, l'autre sur un versant R&D, Alkymia. Il présente ici deux innovations nées de ses deux secteurs d'activité pour la production du long métrage Pourquoi j'ai (pas) mangé mon père, réalisé par l'acteur Jamel Debbouze.

Mocap faciale en toute légèreté

Le long métrage d'animation, adapté du roman de Roy Lewis, est réalisé en capture de mouvements, "avec de nombreux acteurs connus, dont Jamel lui-même, ce qui est un enjeu important pour ce type de production", évoque en introduction Marc Miance. "Nous ne voulions pas décorréler l'animation faciale et l'animation corporelle, sous peine d'avoir l'impression que le personnage est décalé. Ce décalage tient surtout au fait que l'équilibre des yeux ne correspond plus à l'équilibre du corps", explique celui qui a maîtrisé toute la production du long métrage Renaissance, également en mocap.

Pour atteindre son objectif, Marc Miance a donc fait le tour du marché en matière de casques de capture faciale. "L'installation des marqueurs sur les acteurs est fastidieuse, longue et chère, notamment parce que leur pose ralentit les temps de tournage. En outre, les consommables sont hors de prix. Pour rappel, le budget marqueurs du film Avatar tourne autour du million d'euros ! La mocap sans marqueurs donne de bonnes possibilités, avec un tracking pouvant aller jusqu'à 200 000 points/frame sur un visage. Il y a aussi la solution du data processing, basée à la fois sur les metrics et sur l'expression. Des sociétés comme Cubic Motion la proposent comme un service ou en logiciel."

La capture de données en soi n'est pas aisée : la plupart des caméras, selon Marc Miance, étant de piètre qualité. "Pourtant, nous ne voulions pas nous lancer dans le développement d'outils propriétaires, car je sais combien cela peut s'avérer risqué." Finalement, ce sera pourtant l'option retenue, avec une Headcam conçue par Laurent Martin et Jean-Paul Dasilva. Légère, précise, robuste, elle pèse 350 g, avec un système de fixations sans point de pression, "pour éviter les maux de tête et s'adapter aux différentes formes de crâne. Pour cela, nous avons scanné beaucoup de formes via un logiciel de CAO, puis nous avons réalisé un modèle générique en résine pour finalement parvenir à un jeu de trois casques en fibre, retenus par un système de lacets. Le poids du casque dans sa partie gauche est sensiblement plus lourd que la droite, pour équilibrer parfaitement avec le surpoids de la caméra et du bras." "Surpoids" est à modérer car celle-ci, une Horus, spécialiste de la caméra embarquée, ne pèse que 35 g. Pour atteindre ce niveau de légèreté, "nous avons dégrafé toute l'électronique et l'avons déplacée dans un boîtier externe", indique Marc Miance.

L'enregistrement des voix se fait en mode sans fil (wireless) : "Nous avions testé le HF numérique, mais ça décroche tout le temps. On a donc miniaturisé le serveur vidéo, qui fait 300 g, placé sur l'acteur, le tout piloté au Wifi. On peut donc lancer la capture, l'arrêter, comme on le souhaite ; il suffit d'avoir un champ Wifi stable. L'autre avantage est que si le champ tombe, l'enregistreur continue de travailler."

La Headcam a déjà fait ses preuves, puisqu'elle a été utilisée pendant neuf semaines de tournage, à raison de "moins de 1 000 € la minute de mocap faciale".

Le nouvel Horyzon de la gestion des médias

Tout comme pour le casque de capture de mouvements faciaux, Horyzon a été développé en production, pour répondre à un besoin ponctuel, avant de s'installer durablement dans le pipeline de production. "Horyzon est une application iOS pour iPad qui fonctionne comme une boîte e-mail mais, en lieu et place des courriers, il s'agit de médias d'une production de film", résume Marc Miance. L'idée a germé il y a plusieurs années, et est en production depuis trois ans. "Travailler avec un metteur en scène comme Jamel Debbouze, souvent en déplacement, pouvait s'avérer fastidieux pour échanger sur les avancées du film. Un e-mail se lit facilement, une centaine beaucoup moins et, s'il s'agit plus de valider un plan, une animatique, etc., cela peut s'avérer extrêmement complexe."

L'idée est de partir de la notion de communauté correspondant aux différents postes d'une production, avec des paramètres de filtres pour allouer des autorisations de modification ou pas selon les profils. Un média est donc envoyé à une liste donnée de personnes et l'iPad permet de visualiser le fichier Quicktime, d'annoter à la frame près les modifications éventuelles. La webcam de la tablette offre aussi la possibilité de déposer des commentaires précis car oraux, sans perdre de temps. Chaque commentaire est empilé et permet de voir l'historique des apports.

En parallèle, et face à la somme de données déposées, Horyzon a été pourvu d'un gateway, qui ouvre sur une timeline de l'intégralité du film, basée sur une classification sémantique pour une meilleure organisation. Au fur et à mesure de l'avancement de la production, la timeline vient s'enrichir et le film se constitue étape par étape ; on accède à certaines séquences qui en sont encore à l'animatique, d'autres à l'animation ou plus avancées. Un système de versioning automatisé donne aussi une bonne vue des différents intervenants sur un plan et des versions antérieures.

Afin d'éviter une trop grande multiplication d'intervenants, l'architecture du réseau s'appuie sur un community manager, de workers et de followers. On peut donc parler de base de données dynamique, mais "pas d'un outil de suivi de production", assène Marc Miance. "On parle plus d'une fenêtre dynamique sur la production à l'instant T. D'ailleurs, nous utilisons Shotgun comme solution de suivi de production, que l'on peut plugger avec Horyzon."

Question à Marc Miance

Comptez-vous commercialiser ces deux produits ?
Le casque et le bras-caméra seront en effet commercialisés en septembre 2013, et Horyzon, sous forme d'applicatif, début 2014.

Mercenaries Engineering et Guerilla Render

Mercenaries Engineering est une société basée à Paris et fondée par Cyril Corvazier et Benjamin Legros en 2005. Elle développe des outils de production pour l'animation et les VFX, dont notamment son nouveau moteur de rendu et de lighting, Guerilla Render. "La problématique que nous avions devait tenir compte à la fois d'impératifs artistiques et de production", explique Benjamin Legros. "Dans le premier cas, l'objectif est d'obtenir l'image voulue, d'allier simplicité et flexibilité ; dans le second, d'avoir un flux de travail opérationnel, en maîtrisant sa complexité tout en assurant robustesse et performance."

Il s'agit d'un moteur de rendu Path Tracing, comme Arnold, pour faire de l'illumination globale, pouvoir gérer des IBL, des shaders et des lampes physiques. Sa flexibilité et sa capacité de programmation font qu'il s'appuie sur les standards de l'industrie (textures Udim, RSL, DSO) avec des fonctions de baking. Guerilla Render dispose des fonctions suivantes : lancer de rayon rapide, subsurface scattering raytracé rapide, shaders optimisés et compilés avec LLVM (Low Level Virtual Machine). "Notre point fort est de pouvoir faire du rendu progressif. En quelques secondes, on obtient un résultat certes un peu brut, mais qui donne déjà une bonne image et une vision correcte de la direction à prendre."

Le second aspect de l'outil est la possibilité de développer des shaders, du surfacing (pose de textures et de matériaux), de travailler sur un assemblage de scènes, pré-éclairer et éclairer des scènes et, enfin, d'envoyer des rendus sur la ferme. "Nous l'avons développé comme un plug-in pour Maya, avec des géométries bakées. On va assigner les shaders sur l'asset. Ensuite, c'est à l'animation de travailler ; une fois que c'est terminé, on exporte tout cela dans Guerilla."

L'outil central de ces deux pistes d'innovation s'appelle le Render Graph, un graphe nodal et hiérarchique – décorrélé de l'acting – pour assigner des textures, matériaux et d'autres paramètres. Son principal atout est la possibilité de répliquer simplement les réglages d'une scène à l'autre pour des gains de productivité évidents.

Guerilla Render sera présenté au Siggraph 2013 et a déjà été utilisé en production sur cinq longs métrages VFX, un long métrage d'animation, et le sera prochainement sur Ballerina, film d'animation produit par la société française Quad.

Rédigé par Stéphane Malagnac, Prop'Ose, France

Les synthèses des conférences Annecy 2013 sont réalisées avec le soutien de :

Conférences organisées par CITIA

sous la responsabilité éditoriale de René Broca et Christian Jacquemart

Contact : christellerony@citia.org