Les données se multiplient. D'ici 2025, le monde produira trois fois plus de données qu'entre 2015 et 2020, et les exigences de réactivité en temps réel pour ces charges de travail Big Data augmentent également de manière exponentielle. C'est l'équivalent d'une autoroute qui doit accueillir cinq fois plus de trafic, tout en gérant une vitesse de circulation beaucoup plus rapide.
Les entreprises et les services informatiques ont eu peu de temps pour se préparer à la dernière explosion des données. Cela n'est nulle part plus évident que dans le secteur des médias et du divertissement, où les équipes chargées des effets visuels (VFX) et de l'animation donnent vie aux visions des cinéastes. Selon TechRadar, la création d'un film d'animation tel que Les Cinq Légendes pourrait nécessiter jusqu'à 65 millions d'heures de métrage pour aboutir à un contenu de 90 minutes digne d'un film1.
Tout cela nécessite une grande puissance de traitement et de la mémoire (généralement de la DRAM), afin de pouvoir gérer les applications centrées sur les données qu'utilisent les artistes et les animateurs de VFX. Le chargement de scènes sur une station de travail peut en effet souvent prendre 10 minutes ou plus, en fonction de leur complexité et de l'application utilisée. Bien sûr, dans l'éventualité d'un goulot d'étranglement lors du chargement ou de la sauvegarde des données (ou en cas de plantage d'application), ce délai peut s'étendre à plusieurs heures. Le résultat ? La productivité et le calendrier de production en souffrent.
« Tant la capacité que la vélocité des données ne cessent d'augmenter. Les applications qui sont très gourmandes en mémoire ou qui exigent le transfert de grandes quantités de données sont freinées soit par la mémoire, soit par les performances des E/S de stockage », explique Charles Fan, cofondateur et PDG de MemVerge. « Au cours de l'année écoulée, nous avons constaté une augmentation du nombre d'entreprises qui constatent des problèmes liés à la taille de leur mémoire, ou des goulots d'étranglement au niveau des E/S, ou encore des problèmes de reprise après un plantage. »
Les entreprises peuvent certes investir davantage en DRAM, mais cette mémoire est volatile, coûteuse et n'offre pas la capacité nécessaire. Les modules de mémoire persistante sont capables d'accueillir une plus grande quantité de données et sont extrêmement stables. Toutefois, pour fonctionner correctement, la mémoire persistante nécessite généralement des modifications au niveau de l'application.
Découvrez la nouvelle star, MemVerge® Memory Machine™, construite avec la mémoire persistante Intel® Optane™ (PMem)
La MemVerge® Memory Machine™ est le premier produit d'une nouvelle catégorie de logiciels de Big Memory qui virtualise la DRAM ainsi que la mémoire persistante Intel® Optane™ (PMem Intel® Optane™) afin de pouvoir accéder à la mémoire sans modifier le code des applications. Compatible avec les applications existantes, la Memory Machine apparaît sous forme de DRAM pour les applications et utilise 100 % de la DRAM et de la mémoire persistante.
Les entreprises du secteur des médias et du divertissement, comme Chapeau Studios, disposent ainsi de la capacité nécessaire pour les applications créatives intensives telles que Maya. Elles évitent également les plantages d'applications en prenant un instantané en mémoire du travail et en éliminant les E/S vers ou depuis la mémoire et le stockage. Le résultat donne aux artistes la possibilité de récupérer des téraoctets de données à partir de la mémoire persistante en quelques secondes, au lieu de perdre plusieurs minutes ou heures en passant par le stockage.
« Nous avons créé le premier logiciel de Big Memory au monde qui offre un service de mémoire défini par logiciel aux applications sans qu'il soit nécessaire de les modifier. L'instantané en mémoire capture ce qui se passe à un moment donné et restaure ensuite les données en cas d'arrêt de l'application. C'est particulièrement utile dans le cadre du montage de films, car les studios emploient des milliers d'artistes aux quatre coins du monde pour effectuer le montage, l'éclairage, la mise en page, l'animation et les effets spéciaux », explique Charles Fan.
Il poursuit : « La possibilité de revenir à un état antérieur, que ce soit en raison d'un besoin de l'artiste ou d'un plantage de l'application, est un argument de vente important. Sans Big Memory et sans instantané, l'artiste perdrait tout son travail. Il est difficile de se remettre d'un plantage. »
Récupération rapide des données après un plantage2.
Chapeau Studios : une passerelle entre création et technologie
Chapeau Studios est un collaborateur de conception et de VFX à la pointe de la technologie qui intègre les techniques cinématographiques traditionnelles à la technologie, à l'expérience utilisateur et au design. Le studio travaille avec certaines des plus grandes marques de technologie et de consommation pour offrir des services variés : expériences médiatiques traditionnelles, publicités hors domicile, murs médiatiques avec des effets visuels extrêmes, animations, etc.
Ben Looram, associé fondateur et responsable de la création, explique que « Chapeau est fondé sur les effets visuels. Nous sommes connus pour notre capacité à intégrer des images de synthèse photo-réelles dans des prises de vue réelles, parmi de nombreuses autres disciplines. Notre véritable raison d'être est de créer des performances basées sur la technologie. »
Et pour Ben Looram, les performances sont critiques. Un de ses clients, Facebook, a fait appel à Chapeau pour créer les films en prises de vues réelles de la « Journée des amis » de ce géant des réseaux sociaux. Les films se sont appuyés sur le procédé de composition dynamique de Chapeau pour créer des fichiers vidéo « en direct », qui ont été transformés en millions de vidéos personnalisées. « Notre premier livrable comprenait 880 millions de films en 35 langues », explique Ben Looram.
Ben Looram et Mark Wright, responsable de la technologie chez Chapeau, ont commencé à utiliser MemVerge® Memory Machine™ sur une station de travail HP Z8 dotée de la mémoire persistante Intel® Optane™ et du logiciel graphique 3D Autodesk Maya (Maya), une application standard pour les animateurs et les artistes VFX.
Mark Wright nous en dit plus sur les avantages de Memory Machine et de la mémoire persistante Intel® Optane™ : « Supposons qu'un artiste parte en pause déjeuner et que quelqu'un d'autre ait besoin de son ordinateur. L'artiste peut utiliser Memory Machine pour prendre un instantané de son travail avant de prendre sa pause. À son retour, Memory Machine lui permettra de reprendre son travail là où il l’a laissé. Il ne s'agit pas seulement d'ouvrir la scène, mais de revenir exactement au point où il en était. Ainsi il n'a pas besoin de se remettre dans le bain. Il ne l'a jamais quitté. »
Ce type de matériel permet d'adopter des nouvelles habitudes de travail », continue-t-il. « L'ajout de la mémoire persistante Intel® Optane™ à chaque station de travail d'artiste n'est pas seulement abordable, mais offre aussi une assurance supplémentaire quant aux délais de livraison. Il permet de forger de nouvelles habitudes pour le travail sur les scènes et l'enregistrement des fichiers. Je pense qu'à mesure que MemVerge continue à affiner son logiciel pour qu'il fonctionne sur les systèmes Windows, celui-ci sera adopté par l'ensemble du secteur.
Mark Wright explique le fonctionnement de cette technologie pour les artistes de Chapeau : « En tant qu'artiste, il fonctionne comme une sauvegarde automatique, en restaurant votre système à partir de vos instantanés précédents. Il élimine un obstacle majeur, car il permet aux systèmes de diffuser les scènes plus rapidement. La vitesse théorique d'Optane est ridicule. Désormais, le goulot d'étranglement n'est plus la vitesse de stockage. »
Ben Looram évoque quant à lui ses avantages commerciaux : « D'un point de vue commercial, nous structurons nos appels d'offres pour tenir compte des plantages de système et autres problèmes de production erratiques. » Si un artiste subit un plantage plantage avec un effet domino sur le réseau, tous les artistes sont touchés. Soudain, ce plantage représente 45 minutes de retard par artiste en attendant la remise en ligne du réseau. Il leur est ensuite difficile de se remettre dans le bain. Leur travail sur des images demande beaucoup de concentration, par exemple. Après un plantage, il est difficile de se replonger dans son travail instantanément. »
Au-delà d'un outil pour la reprise du travail après des plantages inévitables, les deux collègues considèrent également la Memory Machine de MemVerge et la mémoire persistante Intel® Optane™ comme un moyen d'élever le travail créatif et de repousser les limites.
Ce n'est pas de la magie, c'est la persistance d'Intel
Les modules de PMem Intel® Optane™ s'installent simplement à côté de la mémoire DDR4 classique, ce qui permet de conserver davantage de données à proximité du processeur avec une latence proche de celle de la DRAM.
« Cela fait 20 ans que l'on parle de mémoire persistante », explique Charles Fan. « Quand j'en ai entendu parler pour la première fois, j'ai trouvé que c'était magique, mais j'avais aussi des doutes, car personne ne l'avait encore mis en pratique. Puis Intel l'a fait.
« Je pense qu'Optane est une technologie révolutionnaire. Je m'attends à ce que ce produit continue à s'améliorer, à ce que son prix baisse et à ce que la mémoire persistante Intel® Optane™ devienne une technologie de plus en plus intéressante. Il s'agit d'une technologie incroyable et nous faisons notre possible pour que les gens l'adoptent sans avoir à modifier les applications », conclut Charles Fan.
Repousser les limites du possible
Hank Driskill, visionnaire en matière de technologie et de VFX, s'exprime sur la façon dont la MemVerge® Memory Machine™ avec la PMem Intel® Optane™ peut aider les artistes à protéger leur travail et leur flux créatif.
« Le chargement des scènes peut parfois prendre quarante-cinq minutes à une heure, et la sauvegarde plusieurs minutes. En conséquence, les artistes ont tendance à ne pas sauvegarder leur travail très souvent. Si leur système plante, ils perdent leur travail, leur concentration et leur inspiration. Il faut parfois compter une demi-journée pour récupérer le travail perdu, ce qui peut être catastrophique pour l'artiste et son calendrier de production. Grâce à la PMem Intel® Optane™, le travail d'un artiste ne disparaît pas si son système plante.
« Avec chaque nouveau film, les artistes repoussent les limites du possible. Ils absorbent les nouvelles technologies et mettent la barre toujours plus haut au nom de leur art. Cela signifie qu'avec la PMem Intel® Optane et la MemVerge® Memory Machine™™, par exemple, un artiste est en mesure de créer la même œuvre d'art en deux fois moins de temps ou une œuvre d'art deux fois plus belle. J'estime que cela représentera une grande avancée pour les artistes. »