Synthèse
L'université de Victoria, l'UVic, est située sur l'île de Vancouver au Canada et accueille plus de 22 000 étudiants ainsi que des centaines de professeurs et de chercheurs. Ses services de recherche informatique (RCS) fournissent une infrastructure et des services de recherche informatique avancée (ARC) aux chercheurs universitaires, aux scientifiques de différentes institutions à travers le pays, et participent à diverses collaborations internationales. Le site héberge l'un des centres de données ARC de Compute Canada et le Cloud Arbutus, un Cloud OpenStack qui met l'accent sur l'hébergement de machines virtuelles et d'autres charges de travail en Cloud. Arbutus a été conçu pour augmenter la charge de travail des grandes grappes de calcul intensif traditionnels et pour soutenir des projets de recherche qui nécessitent des capacités différentes de celles des grappes de calcul intensif classiques. Parmi ces applications, on peut trouver l'apprentissage automatique en ligne et l'intelligence artificielle, le big data et l'informatique collaborative. Arbutus a été développé avec les nœuds Lenovo SR630, SR670 et SD530 en utilisant des processeurs Intel® Xeon® Gold de 2ᵉ génération avec mémoire persistante Intel® Optane™ (PMem Intel® Optane™) et des unités de stockage SSD Intel®.
Lorsqu'un chercheur a besoin d'un environnement informatique, ce que nous considérons comme son propre laboratoire virtuel, nous mettons en place le réseau et le matériel nécessaires pour faciliter son travail. Il peut ensuite créer son propre laboratoire virtuel en quelques minutes, avec ou sans l'aide de nos services. »- Dr. Belaid Moa, Spécialiste en recherche informatique avancée au sein du département des services de recherche en informatique de l'université de Victoria
Défi
En 2015, l'UVic, en partenariat avec Compute Canada, WestGrid et l'Université de Sherbrooke, a lancé la première phase d'Arbutus pour permettre à une nouvelle génération de chercheurs d’éclore. Contrairement aux chercheurs qui s'appuient sur les grappes de calcul intensif classiques pour exécuter des tâches de calcul massivement parallèles ou des charges de travail à grande échelle axées sur la simulation, ces chercheurs avaient des besoins différents.
« À l'époque, nos services informatiques n'avaient pas l'infrastructure suffisante pour répondre à certains des besoins de nos chercheurs en matière d'informatique avancée », explique le Dr. Belaid Moa., spécialiste en recherche informatique avancée au sein de l'unité des services de recherche en informatique du département des systèmes universitaires. « Nous disposions de grappes de calcul intensif, mais les chercheurs avaient un besoin urgent de plateformes collaboratives à haute disponibilité, de sites Web personnalisés, d'accès à la racine, d'environnement informatiques de micro-services et d'autres services de Cloud computing, ainsi que d'un service ARC essentiel pour de nombreux chercheurs. Ces services sont rapidement devenus aussi importants que les grappes de calcul intensif. »
Ainsi naquit l'infrastructure Cloud privée Arbutus OpenStack. Cette première phase comprenait 7 000 cœurs de processeurs Intel® Xeon® E5-2680 v4 sur 250 nœuds avec stockage sur nœud, réseau 10 GbE et 1,6 Po (4,8 Po au total) de stockage Ceph en miroir triple. Arbutus utilise la virtualisation pour fournir des ressources IaaS (Infrastructure-as-a-Service) afin de prendre en charge les diverses charges de travail des chercheurs.
Au cours des quatre années suivantes, de nouveaux projets de recherche ont été lancés, dont beaucoup ont commencé à utiliser des capacités technologiques et des environnement informatiques de recherche émergents, tels que l'apprentissage automatique (AA), l'intelligence artificielle (IA), JupyterHub et le big data. Ces nouveaux projets, ainsi que la demande croissante de services en Cloud, nécessitaient plus de stockage, une technologie informatique avancée et des pools de mémoire plus importants. Ces éléments ont conduit à une infrastructure de Cloud plus importante et donc à la phase 2 d'Arbutus.
Solution
La phase 2 d'Arbutus a été déployée début 2020. Le nouveau système comprend 208 nœuds Lenovo ThinkSystem SR630, SR670 et SD530 supplémentaires avec 119 Go de mémoire ThinkSystem TruDDR4 et 1 To de Mémoire persistante Optane par nœud. L'expansion donne à l'UVic 7 968 cœurs de processeurs Intel® Xeon® Gold 6248 et de processeurs Intel® Xeon® Gold 6130 supplémentaires à ajouter à son infrastructure de Cloud. La plateforme Ceph a été enrichie d'une unité de stockage SSD de 5,7 Po avec unité de stockage SSD Intel® S4610. Les nœuds du Cloud comprenaient deux nouveaux nœuds Database-as-a-Service pour offrir un accès dédié aux données structurées de haute performance via SQL.
Les innovations d'Intel en matière de mémoire, de stockage et de performances des processeurs offrent de nouvelles possibilités à l'UVic. La PMem Intel Optane permet de très grandes capacités de mémoire par nœud avec des performances semblables à la DRAM. La PMem Intel Optane peut être utilisée comme une mémoire extrêmement importante en mode mémoire, ou comme un stockage persistant avec une faible latence et un accès de type DRAM en mode stockage sur application directe. En utilisant une PMem Intel Optane en mode mémoire, chaque nœud de la phase 2 d'Arbutus équilibre les performances informatiques avancées des processeurs Intel Xeon Gold 6248 avec une capacité de mémoire supplémentaire.
Grâce à ses hautes performances et à sa mémoire beaucoup plus importante par nœud, l'UVic peut faire fonctionner beaucoup plus de machines virtuelles par serveur pour soutenir la base croissante de chercheurs. Elle répond ainsi particulièrement à leurs besoins de charges de travail persistantes devant fonctionner 24 heures sur 24 et 7 jours sur 7 pour soutenir leurs projets. Les progrès réalisés dans l'architecture des processeurs Intel® Xeon® avec Intel® Deep Learning boost (Intel® DL boost), ainsi que les logiciels spécifiques au deep learning, tels que Intel® Optimizations for TensorFlow et Intel® Distribution pour Python, permettent d'accélérer les tâches de machine learning lors de la compilation des codes pour les processeurs Intel® Xeon® Scalable de 2ᵉ génération.
Résultat
Avec la phase 2 d'Arbutus, les services de recherche en informatique de l'UVic peuvent aider de nombreux autres chercheurs à travers le pays grâce à des ressources de Cloud computing plus performantes, et même des ressources de calcul intensif à plus petite échelle. L'établissement continue à prendre en charge d'importantes charges de travail classiques de supercalcul avec ses grandes grappes de calcul intensif. Les chercheurs peuvent néanmoins exécuter des travaux parallèles plus petits sur Arbutus et les faire monter en puissance plus rapidement que s'ils attendaient un créneau sur de plus grosses machines.
« Lorsqu'un chercheur a besoin d'un environnement informatique, ce que nous considérons comme son propre laboratoire virtuel, nous mettons en place le réseau et le matériel pour soutenir ses travaux », explique le Dr. Moa. « Il peut ensuite créer son propre laboratoire virtuel en quelques minutes, avec ou sans l'aide de nos services. »
Selon le Dr. Moa, Arbutus permet aux utilisateurs de choisir parmi différents environnement informatiques de machine learning, tels que TensorFlow, PyTorch, Julia, Pandas, scikit-learn et Apache Spark. Ces environnements s'appuient sur les distributions Conda. La distribution Conda utilise Intel MKL pour les opérations de faible niveau lors de l'utilisation de paquets, tels que NumPy, SciPy, et scikit-learn. À l'avenir, l'UVic installera des optimisations Intel pour TensorFlow et la distribution Intel de Python.
« Certains laboratoires virtuels exécutent même des charges de travail de calcul intensif à petite échelle. Par exemple, GROMACS, logiciel de dynamique moléculaire, a été utilisé pour étudier des phénomènes tels que le virus SRAS-CoV-2 », a conclu le Dr. Moa.
Le Professeur Dennis K. Hore connait bien GROMACS et les possibilités d'exploiter le cloud pour la recherche. Il est chercheur et professeur dans les départements de chimie et d'informatique de l'UVic à la tête d'une équipe de 25 chercheurs travaillant sur 15 projets différents.
« La plupart de mes projets au cours des 15 dernières années ont consisté à étudier la façon dont les molécules interagissent avec les surfaces », précise le Professeur Hore. « Par exemple, on utilise beaucoup de plastiques dans le corps humain : cathéters, stents, sutures, organes artificiels et autres. Mon équipe étudie la façon dont les protéines interagissent avec elles, en essayant d'atteindre la base moléculaire de la biocompatibilité. »
Mais au cours des trois dernières années, son équipe a lancé un projet sur Arbutus qui combine analyses chimiques, big data et machine learning pour aider à améliorer la vie des consommateurs de drogues.
« Sur trois différents sites répartis dans Victoria », poursuit le Pr Hore, « nous travaillons de manière anonyme avec la population pour l'informer sur la composition des drogues qu'elle nous apporte volontairement pour analyse. Nous effectuons une multitude d'analyses chimiques sur leurs échantillons en utilisant des instruments analytiques de pointe. Nous utilisons ensuite les données que nous recueillons ainsi que les bibliothèques et les bases de données chimiques pour construire des algorithmes et des applications de machine learning. L'un des objectifs du programme est de transmettre des informations permettant aux individus de prendre des décisions éclairées sur l'utilisation de leurs substances, en fonction de leur composition et de leur dosage. »
Le dépistage des drogues est proposé au public par le projet « Vancouver Island Drug Checking », en collaboration avec Santé Canada et l'Université de Victoria. Crédit photo : Jay Wallace
Ce n'est que la partie émergée de l'iceberg, selon le Pr. Hore. En plus des avantages humains, des données et de la technologie informatique qu'offre son projet, il existe des applications potentielles pour la médecine à distance. Les enseignements et les applications de ces recherches pourraient déboucher sur la mise au point d'appareils et de bornes portables capables d'analyser rapidement et de manière interactive des composés chimiques. Cette analyse à distance, utilisant le machine learning interactif en ligne, peut ensuite donner un aperçu des effets potentiels de l'échantillon et apporter des conseils à ceux qui cherchent à l'analyser.
« Le projet a débuté il y a 4 ans après qu'un pharmacien spécialisé dans la réduction des risques m'a contacté pour effectuer un contrôle de qualité sur l'un des médicaments sur ordonnance qu'il délivrait », explique le Pr Hore. « Alors qu'il se procurait ce médicament depuis des années auprès du même fabricant, ses clients lui disaient qu'il les affectait différemment que lors des usages précédents. Il voulait une analyse du médicament contenant les concentrations de ses composants. Il s'agit là d'une autre application potentielle de la science. »
Cette demande a donné naissance au projet « Drug Checking » qui contribue à enrichir les connaissances en sciences sociales et en chimie en utilisant des technologies informatiques avancées avec des infrastructures de cloud computing basées sur l'architecture Intel®. Les implications de la recherche pourraient se traduire par une amélioration des soins de santé, de la sécurité publique et d'autres domaines.
Pour les mesures par spectrométrie d'absorption infrarouge, une petite quantité d'échantillon est placée sur un cristal à travers lequel la lumière infrarouge est réfléchie. Crédit photo : Jay Wallace
Synthèse de la solution
Le laboratoire de recherche informatique de l'université de Victoria a étendu son infrastructure Arbutus suite à la demande faite par les chercheurs de disposer de ressources sur le cloud computing plus nombreuses et variées. La phase 2 d'Arbutus a ajouté près de 8 000 nouveaux cœurs avec des processeurs Intel Xeon Scalable de pointe, de la mémoire persistante Intel Optane et une unité de stockage SSD S4610. Cet Arbutus, plus volumineux et plus avancé, est utilisé pour un large éventail d'applications informatiques, notamment les services Web, l'IA, le machine learning et le big data.
Composants de la solution
- 208 nœuds Lenovo ThinkSystem SR630, SR670 et SD530 avec mémoire ThinkSystem TruDDR4
- Près de 8 000 cœurs de processeurs Intel Xeon Gold 6248 Scalable et de processeurs Intel Xeon Gold 6130
- 1 To de mémoire persistante Intel Optane par nœud
- Unité de stockage SSD Intel S4610
Lenovo et Intel collaborent pour accélérer la convergence du calcul intensif et de l'IA, créant des solutions de toutes tailles qui ouvrent de nouvelles perspectives aux clients. Grâce à leur collaboration dans le domaine des systèmes et des solutions, de l'optimisation des logiciels et de la mise en place d'écosystèmes, leur objectif est d'accélérer la découverte et l'obtention de résultats pour résoudre les problèmes les plus difficiles à l'ère de l'exascale et au-delà. Les serveurs Lenovo, le premier choix en matière de système pour les supercalculateurs les plus rapides du TOP500, 1 sont équipés de processeurs Intel Xeon Scalable et de la technologie de pointe Intel pour le stockage, la mémoire et les logiciels, ce qui constitue la base innovante pour accélérer le progrès scientifique et industriel.