LAIKA Studios élargit les possibilités dans le domaine du cinéma

L'équipe de machine learning appliquée d'Intel et les outils oneAPI permettent à LAIKA de se rendre compte de la portée illimitée de l'animation en stop motion.

En bref :

  • LAIKA, fondé en 2005, est un studio d'animation de longs métrages primé. Parmi ses films, citons Missing Link, Kubo and the Two Strings, The Boxtrolls, ParaNorman et Coraline.

  • LAIKA a étroitement collaboré avec l'équipe de machine learning appliquée d'Intel afin de révéler la valeur de ses données et de découvrir de nouvelles façons de donner vie à ses personnages et à ses mondes imaginaires.

author-image

Par

LAIKA, surtout connue pour ses longs métrages hybrides en stop-motion Coraline, ParaNorman, The Boxtrolls, Kubo and the Two Strings et Missing Link, tous nominés aux Oscars, s'efforce toujours d'innover dans le domaine de l'animation. Le studio exploite des technologies de pointe pour élargir les possibilités de ses films. En 2016, LAIKA a reçu un Oscar scientifique et technologique pour son innovation dans la réalisation de films d'animation.

Regardez la vidéo ci-dessous :

Regardez le webinaire ci-dessous :

Dans ce webinaire, écoutez les têtes pensantes de la technologie LAIKA, Steve Emerson, superviseur des effets spéciaux, et Jeff Stringer, directeur des technologies de production, partager les efforts et les innovations technologiques faits en coulisses et permettant de réaliser les films primés de LAIKA.

Découvrez comment LAIKA s'est associée à Intel pour développer des outils, alimentés par le machine learning et l'IA, qui accélèrent ses tâches de peinture numérique et de rotoscopie dans le but d'apprendre et de prédire avec précision de multiples formes, ouvertes et fermées, en relation avec l'image, tout en assurant une fluidité spatiale et une cohérence temporelle. Le machine learning s'appuie généralement sur de grandes quantités de données pour construire des modèles. Intel et LAIKA ont collaboré sur une solution contre-intuitive avec de plus petites quantités de données basées sur le processus d'animation en stop motion.

Lisez la transcription ci-dessous :

Mary Killelea : Bienvenue à tous. Merci de nous avoir rejoints pour la série : Gros plans sur les clients Intel. Cette série met en évidence des entreprises innovantes, leaders dans leur industrie, qui ont amorcé la transformation numérique, relevé des défis commerciaux et technologiques, et créé de nouvelles opportunités en utilisant les technologies et plateformes Intel centrées sur les données. Aujourd'hui, nous sommes heureux d'accueillir LAIKA pour échanger sur leur façon d'utiliser le machine learning afin de créer des effets dramatiques dans la réalisation de leurs films. L'animateur d'aujourd'hui est Tim Crawford. Tim est un conseiller stratégique de l'information qui travaille avec l'organisation de l'entreprise. Tim, je vais maintenant vous donner la parole pour démarrer la conversation d'aujourd'hui.

Tim Crawford : D'accord, merci beaucoup Mary et bienvenue à tous les participants au webinaire ce matin. Nous avons une conversation passionnante à mener autour du machine learning, de l'IA et du processus de réalisation de films, mais je dirai aussi que nous allons avoir des surprises très intéressantes aujourd'hui. Restez donc à l'écoute pour les découvrir. Pour la conversation d'aujourd'hui, je suis accompagné de deux personnes de LAIKA : Jeff Stringer et Steve Emerson. J'aimerais prendre une minute pour permettre à Jeff et Steve de se présenter et de dire qui est LAIKA, au cas où vous ne connaîtriez pas LAIKA, et de présenter le processus que LAIKA utilise pour produire un film, afin que nous puissions établir quelques bases. Jeff, voulez-vous nous donner le coup d'envoi et peut-être prendre une minute pour vous présenter et présenter LAIKA et son processus ?

Jeff Stringer : Bien sûr, oui, je m'appelle Jeff Stringer. Je suis le directeur des technologies de production de LAIKA, et LAIKA est une société qui a 15 ans. Nous faisons des films d'animation en stop motion depuis tout ce temps. Notre premier film était Coraline en 2009 et notre film le plus récent est Missing Link. Et Steve est notre superviseur des effets visuels. Je pense qu'il peut probablement vous en dire plus sur la façon dont nous procédons.

Tim Crawford : Super. Steve.

Steve Emerson : Bien sûr. Je m'appelle Steve Emerson. Je suis le superviseur des effets visuels chez LAIKA. Comme l'a dit Jeff, nous avons célébré notre 15e anniversaire l'année dernière. En quinze ans, nous avons produit cinq longs métrages d'animation. Il s'agit de Coraline, ParaNorman, The BoxTrolls, Kubo The Two Strings et Missing Link. Voici comment nous réalisons nos films ici, dans cet entrepôt de Hillsboro, en Oregon. Tous ensemble, nous utilisons l'animation en stop motion qui est une sorte de technique classique d'animation ou de réalisation de film. C'est aussi vieux que le cinéma en lui-même et la plupart d'entre vous savent probablement comment cela fonctionne. En fait, ce que vous voyez vraiment, ce sont 24 images fixes qui se succèdent rapidement et qui créent l'illusion du mouvement. Et donc, avec l'animation 2D traditionnelle, vous dessinez 24 images par seconde pour créer cette illusion de mouvement.

Ce que nous faisons ici à LAIKA, c'est que nous prenons des marionnettes, des marionnettes entièrement articulées, et nous créons des décors miniatures pour y placer ces marionnettes, à la lumière du jour, et nous les capturons une image à la fois.

Ainsi, pour chaque image d'une seconde de film, nous posons une marionnette, nous prenons une exposition ; nous déplaçons la marionnette ou quelque chose d'autre dans son environnement, par le plus petit des incréments. Nous prenons une autre exposition et après en avoir fait 24, nous avons une performance d'une seconde. Nous répétons le processus jusqu'à ce que nous ayons un film de 90 à 95 minutes, ou 2 heures. C'est un processus chronophage intense et parfois complètement fou, c'est-à-dire qu'il y a beaucoup de problèmes. Et souvent, ces problèmes sont corrigés en post-production et c'est ce que je supervise ici en tant que superviseur des effets visuels et c'est dans le cadre de ce processus que nous cherchons vraiment à rationaliser les choses avec le machine learning.

Tim Crawford : Super, Jeff et Steve. Merci beaucoup pour cette explication. Je pense que cela nous permet de parler du premier sujet de notre conversation ici qui est de comprendre le défi auquel LAIKA était confrontée. Vous savez, Steve, vous avez dit que vous preniez 24 images, ce qui équivaut à une seconde de film, et c'est assez étonnant quand on y pense. Pouvez-vous peut-être approfondir un peu plus la façon dont vous prenez ces photos, les défis que vous rencontrez avec les marionnettes et la place de la technologie dans tout cela ? Nous verrons plus tard comment vous relevez ce défi, mais parlons d'abord du défi en lui-même.

Steve Emerson : Donc, la première chose que je dirais, pour mettre les choses en contexte, c'est qu'en moyenne, les animateurs de LAIKA capturent environ trois secondes et demie, peut-être quatre secondes, cinq secondes s'ils se débrouillent vraiment bien, par semaine. Donc, quand on parle de 24 images, c'est essentiellement une journée de travail pour un animateur stop motion.

Maintenant, une chose que nous faisons ici est que, puisque c'est en quelque sorte la base de tout, nous essayons vraiment de réaliser le potentiel de l'animation en stop motion. Nous essayons de faire des choses avec cette forme d'art qui n'a jamais été faite auparavant, ou avec tout ce que les gens ont vu auparavant quand ils regardent des films d'animation. Et donc, nous y arrivons en utilisant la technologie.

À l'époque de Coraline, nous avons introduit l'impression en 3D pour les performances faciales. Avant même que nous n'amenions les marionnettes sur les scènes, notre équipe d'animation faciale détermine une performance faciale pour un plan donné et tout cela se fait sur ordinateur. Une fois la performance approuvée, elle est envoyée à une imprimante 3D et tous les visages sont imprimés à l'avance et livrés aux animateurs sur de grandes plaques à biscuits. À ce moment-là, les animateurs, lorsqu'ils font les performances faciales, se servent d'aimants pour fixer les visages et, le reste du temps, ils se concentrent sur la performance corporelle, sur la gravité dans cet environnement.

Mais une chose qui a été décidée très tôt, c'est que pour leur donner une plus grande gamme d'expression, ils divisent le visage en deux, au centre, juste entre les yeux. Cela permet non seulement à l'animateur de changer d'avis sur un cadre donné, dans lequel la bouche ou le front pourraient être intégrés, mais cela nous a également permis d'obtenir une plus grande gamme d'expressions pour ces spectacles de marionnettes avec moins de composantes faciales. En fin de compte, cela signifie que nous avons une ligne qui court le long des visages, horizontalement sur tous nos personnages. Depuis cinq films, nous utilisons la rotoscopie, qui est un type de traçage de haute technologie que l'on fait avec un ordinateur.

Ce que vous faites quand vous faites de la rotoscopie, c'est que vous dessinez des lignes et des formes pour indiquer à l'ordinateur une zone particulière que vous voulez arranger d'une manière ou d'une autre, ou modifier d'une manière ou d'une autre. Ces autres zones... Je trace aussi et je dis que je ne veux pas les toucher du tout. Et c'est en quelque sorte la source de tout. J'aime à penser que si vous allez peindre une maison ou l'intérieur de la maison, vous devez d'abord la protéger, n'est-ce pas ? Et ensuite, il faut peindre. Et la bande adhésive va protéger certaines parties de votre maison. Pour moi, la rotoscopie est un peu comme le scotchage de votre maison pour vous préparer à peindre. Cela prend du temps et, honnêtement, beaucoup d'artistes n'aiment pas le faire. Mais c'est vraiment ce que nous cherchons à arranger avec le machine learning. C'est le joli mot pour dire que l'on va nettoyer la ligne qui sépare le bas du visage de nos personnages, et c'est la rotoscopie qui permet de le faire.

Jeff Stringer : Si je pouvais simplement ajouter à cela.

Tim Crawford : Allez-y Jeff.

Jeff Stringer : Je voulais juste rappeler comment le problème s'est développé au fil des ans depuis l'époque de Coraline. Nous avons utilisé les kits faciaux, vous savez, pour que le nombre de visages dans le film soit réellement contenu par le nombre de visages que nous pouvions imprimer et traiter de manière réaliste pour les plans. Mais à mesure que la technologie d'impression s'est développée et que nous avons poussé ce processus plus loin, nous faisons de plus en plus de photos avec des ensembles de visages complètement uniques. Je pense que nous avions plus de 100 000 formes imprimées pour ces personnages. Ainsi, en poussant les performances de nuance que nous obtenons, que nous captons sur scène, nous avons également créé un problème de plus en plus important pour notre équipe de rotoscopie. Je pense que la taille de cette équipe a probablement doublé au cours de ces treize dernières années.

Tim Crawford : Ouah. Et donc, si j'examine plus en détail le processus de rotoscopie et la quantité de travail que vous pouvez faire en une journée, à quoi cela ressemble-t-il ? Vous avez parlé du nombre de secondes de film que vous pouvez réaliser en termes d'effets spéciaux ou d'effets visuels avant de commencer le processus de rotoscopie, à quelle vitesse ce processus se déroule-t-il ?

Steve Emerson : Eh bien, pour Missing Link, nous avons fait un total de 1 486 plans que nous avons augmentés d'une certaine manière avec les effets visuels. Parmi ces plans, il y avait plus de 2 000 performances de personnages qui ont toutes nécessité un travail cosmétique avec rotoscopie et suppression de scènes. Pour chacune de ces 2 000 performances de personnages, en incluant les différents niveaux de complexité et ce qui devait être arrangé exactement, nous les avons réalisées à environ 50 images par jour, pour une longueur moyenne de 100 images. Donc, par plan, nous nous attendons à ce que les gens fassent le travail en quelques jours. Mais c'est 50 images par jour, et il y avait 2 000 performances à nettoyer dans Missing Link.

Tim Crawford : C'est une quantité incroyable de travail. Avant que nous ne parlions du rôle de la technologie, combien de temps faut-il généralement pour produire un film ; lorsque nous examinons la manière plus traditionnelle de faire un film, vous envoyez les marionnettes et ensuite, pendant la rotoscopie, combien de temps faut-il généralement pour créer un film ?

Jeff Stringer : Depuis la conception ?

Steve Emerson : Vous voulez répondre à ça, Jeff ?

Jeff Stringer : Bien sûr. De la conception à la post-production, cela peut durer jusqu'à trois ans.

Tim Crawford : Incroyable.

Jeff Stringer : Et si vous incluez le temps de développement de l'histoire dès le départ, cela peut être encore plus long. Mais une période de tournage habituelle est d'environ 18 mois. Ceci une fois que nous avons tout construit et que nous capturons seulement l'animation sur les scènes. Et ce qui est bien avec le fait que notre équipe d'effets visuels soit intégrée dans le travail, dans le processus, c'est qu'elle travaille aux côtés des animateurs sur les scènes, en achevant les plans au fur et à mesure. Après cela, il n'y a généralement pas de longue période de post-production. Mais c'est long, et c'est donc un long processus.

Tim Crawford : C'est incroyable. Alors, et si nous parlions de comment vous relevez le défi et de la place de la technologie à cet égard. Vous voulez peut-être approfondir la façon dont le machine learning a permis de nettoyer ces lignes sur le visage ? Et vous avez parlé, lors de conversations précédentes, d'être émotionnellement connecté aux personnages par le biais du visage. Où cette ligne rentre-t-elle en jeu et où le machine learning intervient-il dans le processus ?

Jeff Stringer : Eh bien, vous savez, je pense qu'en premier lieu, Steve, vous pourriez probablement en parler, car il y a même le choix de faire le nettoyage ou pas, n'est-ce pas ? C'est un choix unique que LAIKA a fait. Je pense que l'engagement de LAIKA à capturer autant que possible en huis clos, combiné à notre engagement à raconter des histoires de la manière la plus nuancée et la plus réaliste possible, mène à ce désir de nettoyer ces éléments. Certaines entreprises ont peut-être choisi de ne pas s'en occuper.

Steve Emerson : Oui, c'est là que, pour la première fois, je me suis joint à LAIKA lors de la production de Coraline. Ils sortaient tout juste d'un grand débat sur la question de savoir s'il fallait ou non nettoyer ces lignes. Et ce qui compte vraiment, c'est que, du moins en ce qui me concerne, quand je vais voir un film, je veux qu'on me raconte une belle histoire. Je veux être conduit à un endroit où je n'ai pas la possibilité d'aller dans ma vie quotidienne et je veux être ému. Et, pour être ému, il faut avoir de l'empathie pour les personnages à l'écran. Et cela se résume au fait que si une grande ligne est tracée au centre des visages des personnages, elle va perturber l'image et nuire à la performance, et elle interfère dans la connexion émotionnelle entre les personnages et le public. C'est à ce moment-là que la décision a été prise de nettoyer chaque image de ces films et effacer véritablement ces lignes. Vous savez, au fil des ans, nous avons affiné et rationalisé le processus. Honnêtement , je ne pense pas que nous ayons fait un bond aussi important au cours de ces 15 dernières années que nous l'avons fait au cours des 12 derniers mois. Jeff, vous pourriez probablement nous raconter comment nous avons commencé à travailler avec Intel.

Jeff Stringer : Nous cherchions déjà une solution de machine learning avant de rencontrer l'équipe d'Intel. Il y a eu beaucoup d'articles, beaucoup de recherches dans ce domaine qui montrent la capacité du machine learning à faire de la segmentation d'images et quelques outils ont même été publiés, je pense, qui visaient la tâche de rotoscopie des effets visuels. Donc, on y pensait sérieusement lorsque nous avons appris que cette équipe d'Intel cherchait à résoudre un problème concret avec la technologie qu'ils avaient développée. Et nous avons eu une présentation de la personne qui dirige cette équipe de machine learning appliqué. Il a fait venir son groupe, nous avons fait quelques réunions à LAIKA où nous avons exposé notre processus et avons passé en revue ce problème particulier des visages et des scènes. Ils ont pensé que c'était parfait, ils voulaient résoudre le problème et c'est comme ça que nous avons collaboré.

Tim Crawford : Intéressant. J'aimerais approfondir un peu plus le partenariat avec Intel dans une minute, mais avant d'y passer, parlons un peu de comment le machine learning a été appliqué au processus de rotoscopie et au nettoyage des visages. L'une des choses dont vous avez parlé auparavant concernant le machine learning est que plus il y a de données, mieux c'est. Mais ce n'est pas forcément le cas ici quand il s'agit de ces marionnettes et de ces lignes sur le visage. On ne peut pas non plus se diriger vers la perfection avec cette technologie. Peut-être pourriez-vous nous en dire un peu plus sur ce que cela signifie, dans votre processus de réalisation de films et de rotoscopie.

Steve Emerson : Voulez-vous que...

Jeff Stringer : Il y a deux choses. Je pense que la question d'avoir un grand nombre de données est pertinente. Je me disais qu'une des idées d'Intel à ce sujet est qu'au lieu d'essayer de créer un outil très généralisé qui se contente de reconnaître les visages des marionnettes, ils ont créé un outil très spécifique à cette tâche et il s'avère que lorsque vous faites cela, les données dont vous avez besoin sont tout aussi spécifiques au lieu d'être généralisées. Je veux dire, nous n'étions pas vraiment sûrs que ça allait se passer comme ça quand nous avons commencé. Nous avions accès à des fichiers graphiques pour chacun de ces visages qui sont imprimés. Nous pouvions faire un rendu de ces fichiers et nous avons essayé différentes façons de construire un centre de données de formation, incluant le rendu d'un tas de fichiers de visages, et même leurs photographies. Nous les avons mis sur un appareil photo robotisé et avons photographié les visages sous différents angles. Mais il s'est avéré que, lorsque vous vous concentrez sur cette tâche particulière de création d'une forme rotoscopique à partir de points de suivi sur le visage, cinq ou six plans de données de terrain bien conçus suffisent pour former le système.

Tim Crawford : Vous savez, l'une des choses qui est ressortie de nos conversations dans le passé, c'est que vous avez parlé de la façon dont le machine learning peut être utilisé pour trouver ces lignes dans le visage, mais que vous ne voulez pas nécessairement qu'il corrige toutes les lignes. Et, Steve, je pense que vous avez parlé de la protection de certaines zones. Comment le machine learning a-t-il commencé à créer cette opportunité ? Aussi, quels ont été les défis que vous avez dû relever ?

Steve Emerson : Bien sûr. Donc, quand nous faisons ce type de travail, nous voulons nous assurer que nous protégeons autant que possible les performances du visage. La seule chose qui, à la fin de ce processus, est touchée sont les artefacts se trouvant sur le visage de la marionnette qui doivent être nettoyés, mais à part cela, tout le reste est protégé. C'est très important. Le truc avec l'animation en stop motion, du moins pour moi, c'est que je sais quand je le vois, c'est une réaction viscérale. Les gens comprennent lorsqu'ils voient quelque chose de physique qui a été photographié à la lumière du monde réel et ils ont presque l'impression que ce sont vos figurines de quand vous étiez enfant et que, soudain, elles prennent vie et vous racontent une histoire. Et je pense qu'il y a des imperfections dans ces performances que vous regardez. Et ces imperfections sont créées par la main humaine, par opposition à un ordinateur, qui s'efforcera toujours d'atteindre la perfection, à moins que vous n'appreniez à l'ordinateur d'une manière ou d'une autre à ne pas être parfait.

Souvent, lorsque nous faisons des prises de vue et que nous réparons des choses ici à LAIKA, il ne s'agit pas toujours de les rendre parfaites, mais il s'agit aussi de savoir si cela semble synthétique ou si cela ne semble pas tout à fait correct. Qu'est-ce qui manque ici ? Comment pouvons-nous améliorer un peu les choses et les rendre moins parfaites ? Et donc, quand il s'agit de machine learning et de ce que nous faisons ici, je pense qu'une partie très importante de tout cela est que nous voulions nous assurer que ce qui est créé, en fin de compte, c'est un processus dirigé par l'artiste. Donc, la machine s'y mettait, elle vous restituait vos informations de suivi, vos formes rotoscopiques. Mais en même temps, il y avait là une opportunité pour un être humain, pour un artiste, d'évaluer réellement ce qui avait été fait et aussi d'avoir les outils pour pouvoir revenir en arrière dans une augmentation qu'il ou elle devait faire de quelque façon que ce soit, afin de s'assurer qu'elle était authentique.

Tim Crawford : C'est vraiment intéressant. La combinaison de l'utilisation du machine learning avec de plus petites quantités de données, mais aussi le fait de ne pas rechercher la perfection, je pense que cela va quelque peu à l'encontre de l'approche traditionnelle à laquelle quelqu'un pourrait penser avec le machine learning. Vous avez donc évoqué le partenariat avec Intel et la place que l'entreprise occupe dans ce domaine, et j'aimerais en parler encore une minute ou deux. Vous pourriez peut-être approfondir la façon dont ils ont commencé ce processus, peut-être parler un peu plus de la technologie que vous utilisiez dans le cadre du processus des effets visuels.

Jeff Stringer : Bien sûr. Je pense que l'une des choses qui a fait que le partenariat avec Intel a fonctionné, c'est leur volonté d'apprendre comment nos artistes accomplissaient la tâche dans les moindres détails. En fait, ils sont venus, ont regardé par-dessus leur épaule et ont pris des notes, ils en savent beaucoup sur le machine learning et ils ne savent pas grand-chose sur la réalisation de films. Il y a donc eu un échange très net, et il faut faire un certain effort pour comprendre pourquoi nous faisons les choses comme nous les faisons. Il n'y a pas beaucoup de gens qui font des films comme nous le faisons. C'est pourquoi je leur accorde beaucoup de mérite pour leur patience. La question qui se pose toujours quand on regarde notre processus est de savoir pourquoi on imprime ces pages d'infographie pour les mettre sur une marionnette et ensuite les prendre en photo ? Pourquoi n'effectuez-vous pas le rendu comme tout le monde le ferait ? Mais comme le dit Steve, nous voulons voir la même lumière sur ce visage que si elle était capturée par une caméra sur scène. C'est un processus un peu étrange et la volonté d'Intel d'y aller avec nous et de construire ensuite un outil vraiment adapté à cette tâche était inhabituelle. Nous avons travaillé avec d'autres fournisseurs et d'autres partenaires sur ce genre de problèmes et les gens cherchaient toujours à trouver une solution générale pour chaque film, ceux de LAIKA sont très spécifiques.

Tim Crawford : Ça y ressemble.

Jeff Stringer : Mais ils ont compris que la façon de réussir, en fin de compte, était de cibler un problème spécifique, puis de mettre les données entre les mains des artistes qui font cela tous les jours et vont savoir comment les utiliser au mieux. Si vous essayez de faire en sorte que la machine vous donne une solution 100 % du temps, vous n'y arriverez jamais. Je pense que c'est probablement la chose la plus applicable en général dans ce cadre. À l'avenir, nous pourrons le faire encore et encore. Nous recherchons simplement des processus artistiques qui sont répétitifs et cohérents et nous essayons ensuite de construire ce genre de choses autour de ces systèmes et d'accélérer ce qu'ils font, mais sans remplacer ce qu'ils font.

Tim Crawford : C'est super. Donc, lorsque l'on réfléchit à ce que vous allez faire à partir de là et à la façon dont cela va changer le processus de réalisation des films, vous avez déjà touché à la ligne entre les moitiés du visage mais ce n'est qu'une composante. À quels autres aspects pensez-vous en ce qui concerne le changement vers l'innovation autour du processus de réalisation des films ?

Jeff Stringer : Eh bien, comme je l'ai dit...

Steve Emerson : Vous voulez que j'y aille, Jeff, ou vous vous voulez en parler ?

Jeff Stringer : Oui, lancez-vous ; vous avez une idée pour ça.

Steve Emerson : Eh bien, je sais certainement où j'aimerais emmener ça. Nous construisons ces mondes et nous essayons de faire des films plus grands. Mais en même temps, nous restons responsables sur le plan financier et conscients de nos limites. Nous cherchons donc des moyens de rationaliser afin de pouvoir faire de plus gros films avec des budgets similaires à ceux des productions précédentes. Une chose qui se produit régulièrement, c'est que maintenant que nous créons des mondes où nous avons des spectacles de marionnettes avec de grandes foules, vous ne verrez jamais de grandes foules dans les films en stop motion avant LAIKA, parce qu'il n'y a tout simplement pas la possibilité de créer autant de marionnettes. Donc si vous voulez créer une foule énorme de personnages, à moins que vous n'alliez construire un millier de marionnettes à mettre en place, il va falloir infuser une certaine technologie numérique.

Cela signifie que si nous voulons faire quelque chose comme ce que nous avons fait, par exemple, en partie sur Two Strings et Missing Link, ce que nous devons faire, c'est que nous avons besoin de cartes, de canaux Alpha, et de rotoscopie afin de pouvoir tirer les représentations de marionnettes séparées des diapositives d'animation et de pouvoir y mettre des représentations secondaires en arrière-plan avec des personnages numériques. Lorsque nous faisons cela, nous tournons parfois sur écran vert, mais nous n'aimons pas cela parce que cela contamine la lumière sur les scènes. L'idéal serait donc de filmer les spectacles de marionnettes sur scène et d'utiliser un rotoscope. Mais la rotoscopie est coûteuse et prend du temps, et c'est pourquoi nous demandons souvent aux animateurs de filmer une exposition dans l'éclairage prévu, puis de filmer une exposition secondaire où ils prennent une petite carte verte ou un petit écran vert miniature et le mettent derrière la marionnette. Nous finissons avec deux images pour chaque image du film et nous pouvons utiliser l'exposition de l'écran vert pour obtenir le canal alpha dont nous avons besoin pour pouvoir mettre la foule derrière la marionnette.

Ce qui serait incroyable, c'est que nous puissions faire une rotation complète des personnages, pour pouvoir séparer les personnages des plaques d'animation sans avoir à mettre des écrans verts derrière eux. Ce que cela nous permettrait de faire, c'est de sauter cette deuxième exposition et les animateurs en stop motion n'auraient pas à s'arrêter pour mettre l'écran vert. Ils pourraient simplement continuer à avancer dans leurs performances parce qu'une grande partie de ce qu'ils font est une question de rythme. Et quand je dis qu'ils ont une seconde par jour, c'est-à-dire s'ils ont de la chance. Parfois, ils n'ont pas de chance parce que je leur demande de mettre des écrans verts derrière les marionnettes. Nous pourrions aller beaucoup plus vite, ils pourraient être beaucoup plus attentifs à ces représentations, nous pourrions construire différents types de contractions et de choses que nous pourrions attacher aux marionnettes pour créer des représentations encore plus réalistes et nuancées. Mais tout cela commence par une rotation complète des personnages sur les spectacles de marionnettes, ce qui serait pour nous une énorme avancée pour le studio.

Tim Crawford : Intéressant. Quand vous pensez à ce que vous allez faire à partir de là, vous parlez d'automatiser le processus de rotoscopie, vous parlez d'éviter les doubles images. Quels sont les autres domaines potentiels auxquels vous pensez pour le machine learning et la technologie en général dans le processus de réalisation de films ?

Jeff Stringer : La technologie en général. Je veux dire qu'il y a certainement de l'innovation dans le processus de réalisation de films. Nous n'innovons pas seulement dans notre département de rotoscopie et d'effets visuels. Nous essayons de trouver des moyens d'accélérer et d'étendre la vitesse à laquelle nous pouvons fabriquer les marionnettes. Les marionnettes ne sont que des sortes d'animations, ce sont des merveilles d'ingénierie en soi. Vous savez, il faut beaucoup de temps pour les construire, mais elles doivent résister à l'utilisation des animateurs sur scène pendant deux ans. Nous faisons toutes nos propres armatures mécaniques à l'intérieur de ces marionnettes, donc nous cherchons des moyens d'utiliser la conception informatisée et l'impression 3D à l'intérieur des marionnettes, ce que nous n'avons pas fait autant par le passé. Il y a d'autres innovations en cours avec les plateformes de contrôle de mouvement, mais je pense qu'en ce qui concerne le machine learning, nous visons ces tâches répétitives. Il y en a beaucoup dans les effets visuels, qui ne vous donnent pas le contrôle artistique que vous voulez, mais cela reste à faire, surtout avec notre type de réalisation de film. Nous examinons les côtes communes que nous utilisons, pour voir si nous pouvons les reconnaître et les sortir du cadre. Et le problème que décrit Steve, celui de reconnaître le corps entier d'une marionnette et de créer le canal de profondeur qui pourrait le séparer, est clairement quelque chose qui nous intéresse pour la suite.

Tim Crawford : C'est tellement intéressant pour moi parce que vous faites des choses qui sont quelque peu contre-intuitives par rapport à tout ce que nous avons entendu sur le machine learning et l'IA. Là, ces outils s'intègrent en quelque sorte dans le mélange, et c'est une approche très intéressante que vous adoptez. Vous avez parlé de caméras de profondeur, de capteurs d'images, où ce genre de choses s'inscrit-il dans le processus futur ?

Jeff Stringer : C'est quelque chose sur lequel nous travaillons depuis des années. Vous savez qu'il y a eu des innovations dans ce domaine, d'ailleurs je crois qu'Intel a une caméra de profondeur qu'ils vendent. Elle ne coûte pas très cher, dans le genre des caméras Microsoft Connect. Il s'agit du concept de base selon lequel on peut utiliser deux lentilles pour saisir la géométrie d'une image de héros. C'est une chose qu'il a été difficile de faire fonctionner à l'échelle. Je pense que la plupart des technologies conçues pour fonctionner à une échelle humaine complète, pour une raison quelconque, quand on réduit les choses à notre monde de marionnettes, il devient plus difficile de fabriquer ces tapis. Nous cherchons donc quelqu'un pour travailler avec nous sur ce sujet et cela va probablement nécessiter du matériel spécialisé.

Tim Crawford : Fascinant, absolument fascinant. Eh bien, nous allons passer à la partie des questions et réponses. Permettez-moi de vous poser la première question. L'une des choses dont vous avez parlé auparavant est la technologie spécifique que vous utilisez. Pourquoi avez-vous décidé de faire fonctionner le machine learning sur des processeurs ou des processeurs Xeon [processeurs Intel® Xeon®] et quels avantages voyez-vous à utiliser ces derniers plutôt que les processeurs ?

Jeff Stringer : C'est l'une des choses que nous avons aimées dans notre collaboration avec Intel sur ce sujet. Nous savions que nous avions déjà fait un investissement important dans les processeurs Xeon [d'Intel], ils couvrent tous nos postes de travail et notre cabinet de rendu. S'ils appliquaient le groupe de machine learning qui, chez Intel, allait construire quelque chose, nous savions qu'ils seraient capables de l'optimiser pour ces processeurs. En fait, c'était dans la feuille de route de ce qu'ils essayaient de faire, je pense que c'est un avantage. Je veux dire que chaque fois qu'il faut introduire un nouveau processeur ou une autre technologie dans le flux de travail, c'est difficile. L'une des choses que nous avons appréciées dans la collaboration, c'est qu'elle promettait un ensemble d'outils qui s'adapteraient à nos charges de travail existantes et fonctionneraient sur notre matériel existant sans nouveaux investissements majeurs.

Tim Crawford : Question suivante. Vous avez parlé de la perfection et nous avons parlé précédemment de comment dont le machine learning mène à la perfection. La question est de savoir si vous craignez que le machine learning ne devienne trop bon et n'enlève de l'émotion du film. Vous avez parlé d'établir des liens avec les phases et de ressentir cette émotion quand vous vous y plongez. Steve, vous avez mentionné cela, quand vous entrez et regardez un film, vous voulez être emmené ailleurs. Craignez-vous que le machine learning soit trop bon et enlève de l'émotion au film ?

Steve Emerson : Vous savez, je ne pense pas, Tim. Tant que vous impliquez toujours un regard humain dans le processus, je ne pense pas. Et c'est mon travail. Après n'importe quel type de traitement en post sur une image donnée, on la met devant moi avant que je ne la mette devant le réalisateur et que je dise ok, c'est magnifique ou c'est incroyable. Je pense que tant que vous aurez toujours ce contrôle de l’œil humain pour vous assurer que l'image est authentique, tout ira bien, mais là encore, on en revient à l'histoire. L'une de mes anecdotes préférées est que l'on a un jour demandé à quelqu'un pourquoi peindrait-il un tableau sur une toile alors qu'il existe Photoshop et des tablettes de travail. C'est juste une façon différente d'aborder les choses, vous savez. C'est une façon différente de s'exprimer.

Et, vous savez, nous créons des films en stop motion, nous leur insufflons de la technologie, et les gens se demanderont toujours où est la limite. La limite, pour nous, c'est que nous allons filmer le plus possible en huis clos. Nous allons nous assurer que les animateurs de stop motion dirigent les performances de tous nos personnages principaux et héros dans les films. Nous allons construire autant de décors que possible et, au moment où nous devons limiter nos récits, nous n'avons pas peur d'intervenir et de commencer à utiliser la technologie pour pouvoir le faire. Nous voulons le faire dans le respect du métier et heureusement, ici, dans l'équipe des effets visuels, il n'y a pas que mes yeux et les superviseurs et responsables qui me soutiennent, qui sont tous passionnés par la réalisation de films en stop motion. Nous avons aussi certains des plus talentueux constructeurs de décors, des animateurs en stop motion, des éclairagistes que nous pouvons faire venir pour leur montrer des plans sur nos ordinateurs et leur dire : « Hé, ça a l'air authentique, est-ce qu'on a marqué les choses ? ». Nous pouvons toujours faire la même chose avec quelque chose qui est sorti du processus de machine learning. Vous savez, il s'agit de se rationaliser pour pouvoir s'enhardir en tant que conteurs d'histoires.

Tim Crawford : En effet. La question suivante est quelque peu liée à cela. Comment concilier le graphisme et la rotoscopie générés par ordinateur avec le machine learning ? Je pense que c'est en quelque sorte lié au fait de ne pas viser la perfection, tout en conservant un caractère unique dans les marionnettes et le processus, les libertés artistiques si vous voulez. Mais comment trouver un équilibre entre les deux ? Je trouve que c'est une excellente question.

Steve Emerson : Ce que vous voulez dire par cette question, Tim, c'est comment décider de ce qui sera numérique et de ce qui sera des marionnettes et des pièces de théâtre. Ai-je bien compris ?

Tim Crawford : Oui. Je pense que la question était davantage de savoir pourquoi ne pas simplement faire des graphiques générés par ordinateur par opposition à la rotoscopie avec le machine learning. On commence potentiellement à atteindre un degré de perfection avec les graphiques générés par ordinateur.

Steve Emerson : Eh bien, je prendrai la rotoscopie avec le machine learning pour être honnête. Je veux dire que cela remonte à l'époque où nous faisions ces films. Nous commençons par les films, puis il y a les story-boards qui sont créés et les animatiques, qui sont des story-boards animés. Puis, vous avez un groupe de personnes d'ici au studio, des leaders créatifs, qui s'entassent dans une salle de conférence avec le réalisateur et passent en revue plan par plan pour essayer de comprendre comment nous allons exécuter un visuel donné pour le film. Lorsque nous avons ces discussions, je suis dans la salle et je me tais jusqu'à ce qu'il y ait un problème, parce que nous allons obtenir ce visuel en huis clos si nous le pouvons. Et, si pour une raison quelconque, il n'est physiquement pas possible de dire, d'animer, vous savez, quelque chose qui a comme la plus fine des particules, ou si c'est une question de ressources pour un département donné qui n'a tout simplement pas la main d'œuvre pour pouvoir faire quelque chose, alors c'est là que j'interviens et que je commence à parler de solutions numériques. Mais nous commençons toujours par filmer. Ce qui est vraiment passionnant avec le machine learning et l'IA, c'est qu'il vont nous permettre de le faire encore plus.

Tim Crawford : Il ne nous reste que quelques minutes. Permettez-moi d'essayer de faire un tour plus rapide avec vous sur quelques questions ici. On dirait que tout cela se passe, c'est l'une des questions du public, on dirait que tout cela se passe sur place, est-ce vrai ? Y a-t-il des éléments de votre processus de production global qui se prêtent mieux au Cloud public et voyez-vous cela se produire au fil du temps ?

Jeff Stringer : C'est sur place. Nous sommes optimisés pour le travail sur place, c'est comme ça que nous avons construit le studio, parce que notre priorité était de garder tout le monde sur place et de collaborer ensemble. Je peux vous dire que la pandémie a été un défi et que nous avons de plus en plus besoin de rendre les données disponibles hors site de manière plus pratique. C'est pourquoi nous nous penchons sur une infrastructure de fichiers à ces fins. Cela répond-il à la question ?

Tim Crawford : Oui, je pense que c'est bien. Du point de vue des effets visuels, l'ajout de l'intelligence artificielle a-t-il exigé un ensemble de compétences différent pour ceux qui cherchent à se lancer dans les effets visuels ? Je pense que c'est une excellente question.

Jeff Stringer : En effet. Je veux dire Steve, c'est probablement la tienne, mais je dirais simplement non. Je pense qu'il y a un enjeu et un coût pour construire les ensembles de données de formation. Cela nécessite des connaissances spécialisées et il se pourrait qu'à mesure que nous introduisons de plus en plus de ces données, mon équipe, l'équipe des technologies de production, occupe un rôle de spécialiste des données. Mais en ce qui concerne les artistes des effets visuels, la peinture, la rotoscopie et ces métiers, ce sont ceux que nous allons épauler.

Steve Emerson : Nous voulons nous assurer que les outils créés sont aussi intuitifs que possible afin de pouvoir faire appel à des artistes qui connaissent bien la rotoscopie et la peinture. Et là encore, on en revient à la rationalisation, à l'accélération des flux de travail, et de notre côté, il y a James Pena, notre chef de file en matière de peinture rotoscopique, qui a été le fer de lance d'une grande partie de ce développement. Il est venu ici en tant qu'artiste peintre rotoscopique, ici aussi, dans le studio. Donc, une grande partie de son travail est qu'il peut voir les choses de ce point de vue et témoigner que, même un artiste peintre rotoscopique avec une expérience limitée en termes de réalisation de films ici à LAIKA, peut utiliser cet outil dès le premier jour. C'est aussi intuitif que ça.

Tim Crawford : C'est super. Je pense que nous avons le temps pour une dernière question. L'ajout de l'intelligence artificielle et du machine learning au processus de rendu a-t-il augmenté le temps nécessaire pour effectuer le rendu réel et nécessite-t-il une infrastructure de serveur différente pour le prendre en charge ?

Jeff Stringer : Il n'a pas augmenté le temps de rendu du plan. Il y a une période de formation qui se déroule du jour au lendemain lorsque nous construisons la formation pour un nouveau personnage et qui est distincte du court rendu et elle peut être faite par personnage, et non par plan. Et en ce qui concerne l'infrastructure, c'est l'un des avantages de travailler avec Intel sur le réseau d'applications oneAPI [Toolkit], qui est optimisé pour fonctionner sur nos processeurs Xeon [Intel].

Tim Crawford : C'est super. Ok, le temps imparti pour les questions et réponses est terminé. Jeff, Steve, merci beaucoup d'avoir participé à cette conversation très instructive sur les coulisses du processus de réalisation d'un film. Nous avons fait un tour d'horizon de l'animation en stop-motion et nous vous sommes vraiment reconnaissants pour ce temps passé ensemble.

Jeff Stringer : C'était sympa.

Tim Crawford : Mary, je vais vous renvoyer la balle pour clore ce webinaire.

Mary Killelea : Merci beaucoup, c'était une conversation formidable et merci à tous ceux qui se sont joints à nous aujourd'hui. Vous trouverez bientôt d'autres gros plans sur des clients passionnants qui mettent en avant des innovations centrées sur les données.

Télécharger la transcription ›