Synthèse
Son centre de données en calcul intensif actuel étant dépassé, la division NASA Advanced Supercomputing (NAS) de NASA Ames s'est lancée dans la construction d'un grand système petascale appelé Aitken, son nouveau supercalculateur de référence, basé sur une architecture conteneurisée équipée de processeurs Intel® Xeon® Scalable de 2ᵉ génération. Grâce aux nouveaux processeurs Intel®, les scientifiques pourront effectuer des recherches impossibles à réaliser sur les machines existantes, telles qu'exécuter des modèles plus longtemps ou obtenir des délais plus rapides sur les résultats détaillés des simulations. Le processus de conception informatique modulaire consistait à faire un prototype de la nouvelle approche à l'aide de systèmes informatiques basés sur des conteneurs à partir d'un cluster prototype appelé Electra. La nouvelle conception bénéficie des performances et de l'évolutivité des processeurs Intel® Xeon® Gold 6248 de 2e génération et du climat tempéré local pour le refroidissement des systèmes. Le nouvel espace aménagé pour le centre de données abrite désormais des conteneurs dotés d'Electra et des prémices d'Aitken, qui seront développées au cours des prochaines années.
Enjeux
La mégascience nécessite des calculs importants. Avec des missions qui couvrent plusieurs domaines dont l'aéronautique, l'astronomie, l'océanographie et l'exploration spatiale, NASA Ames effectue beaucoup de calculs importants. Pleiades, son supercalculateur installé en 2008, était à l'époque l'un des plus rapides au monde. Depuis, il a connu de nombreuses améliorations, et aujourd'hui, avec une puissance de calcul de 7,24 pétaflops (pointe théorique), il continue d'être le cluster le plus efficace de l'installation de la NAS.
En plus de Pleiades, la NASA prend en charge plusieurs autres ressources en matière de calcul intensif (HPC). Afin d'avoir une connaissance encore plus poussée du monde et de l'univers et d'effectuer des missions plus avancées, à l'instar du projet Artemis (la mission sur la Lune) et du projet SLS (Space Launch System) visant à transporter les humains sur la lune, la NASA avait besoin de plus de capacités de calcul.
L'installation actuelle de la NAS est un bâtiment complet de six mégawatts. Pour ajouter les cycles de CPU, l'équipe dirigée par Bill Thigpen, chef adjoint du service chargé des opérations HPC de la division NAS, a estimé qu'il faudrait envisager de supprimer certains cycles pour faire de la place. Cela signifie qu'ils ne pouvaient pas tirer pleinement profit de tous les achats effectués jusque-là. Après avoir étudié plusieurs options, ils ont conclu qu'ils auraient besoin d'une nouvelle installation.
Afin d'avoir une connaissance encore plus poussée du monde et de l'univers et d'effectuer des missions plus avancées, la NASA avait besoin de plus de capacités de calcul. Elle a opté pour un système HPE SGI 8600 alimenté par les processeurs Intel® Xeon® Gold. (Photo avec l'aimable autorisation de la NASA)
Solution
Le refroidissement (refroidisseurs, appareils de traitement de l'air, etc.) représente environ un tiers de la consommation énergétique de l'installation actuelle de la NAS. Le reste est destiné au calcul. Ce qui représente un indice d'efficacité énergétique de 1,33, acceptable pour les technologies modernes selon les responsables de la NAS. Cependant, en raison de l'emplacement de la NASA AMES sur la côte ouest des États-Unis, qui possède des conditions climatiques idéales, ils ont estimé qu'ils pouvaient améliorer leur consommation d'énergie en tirant parti des avantages que leur offre l'environnement.
Architecture conteneurisée et refroidissement par air à coûts réduits
La NASA s'est ainsi consacrée à la recherche d'un nouveau site et d'une architecture modulaire utilisant des conteneurs de calcul spécialisés pour abriter ses systèmes HPC. La nouvelle installation sera construite sur un site d'un hectare et dotée d'une puissance de 30 mégawatts. Ils ont appris qu'une architecture modulaire basée sur des conteneurs pourrait leur offrir un meilleur contrôle sur l'environnement informatique grâce au climat tempéré qui les entoure, ce qui leur éviterait d'utiliser des refroidisseurs. Cependant, ils devaient aussi déterminer s'ils pouvaient créer un cluster étroitement couplé sur les conteneurs. Deux questions importantes se posaient : pouvaient-ils utiliser l'environnement qui les entoure pour le refroidissement et se passer de l'utilisation de refroidisseurs ? La construction d'un système modulaire sous forme d'un cluster étroitement couplé pour l'exécution des tâches de calcul les plus importantes était-elle possible ? Un prototype permettrait de répondre à ces questions.
L'équipe de la NASA s'est rapprochée des fournisseurs pour concevoir une solution dotée de toutes ces fonctionnalités, des conteneurs aux systèmes d'alimentation et de calcul. Ils ont choisi HPE pour le projet et Schneider Electric pour la connectivité électrique.
Le système prototype, nommé Electra d'après l'une des étoiles de l'amas des Pléiades, a été conçu en deux modules de calcul (chaque conteneur représente un module). Chaque conteneur pourrait prendre en charge quatre clusters de calcul individuels appelés cellules électroniques. Le premier module, construit en 2016, leur a permis d'évaluer la possibilité de se passer de refroidisseurs pour le refroidissement du système. Il a abrité 1 152 nœuds de processeurs Intel® Xeon® E5-2680 v4 à double socket et consommé 500 kilowatts d'énergie de calcul, avec un indice d'efficacité énergétique de 1,025. Le deuxième module, construit en 2017 et équipé de 1 152 nœuds de processeurs Intel® Xeon® Gold 6148 à double socket, a effectué des calculs beaucoup plus denses d'environ 1,2 mégawatts, avec un indice d'efficacité énergétique de 1,04. Ce deuxième module leur a permis d'évaluer la possibilité de coupler étroitement plusieurs modules en un ordinateur haut de gamme. Grâce au prototype Electra, l'équipe a pu constater qu'une architecture modulaire permettait de remplir ces deux objectifs et de faire des économies d'eau (environ 96%) et d'énergie (environ 91%) comparée à d'autres installations.
Les premiers résultats d'une simulation GEOS/ECCO à haute résolution montrant l'évaporation (couleurs rouges) et les précipitations (couleurs bleues) au-dessus de l'océan. (Photo avec l'aimable autorisation de la NASA)
L'avènement d'Aitken
L'approche modulaire ayant fait ses preuves, la NASA est passée à la phase suivante de son projet d'agrandissement de l'installation de la NAS, c'est-à-dire, la construction du nouveau supercalculateur de référence de l'agence appelé Aitken, qui tire son nom de l'astronome américain Robert Grant Aitken. Afin d'obtenir une plus grande capacité de calcul, le nouveau système sera conçu en plusieurs étapes, à l'aide des dernières technologies de pointe.
Chaque module pourra abriter douze cellules électroniques contenant 288 nœuds de calcul chacun et son propre système de refroidissement. Aitken a déployé ses quatre premières cellules électroniques en 2019. Il utilise les processeurs Intel® Xeon® Gold 6248 à 20 cœurs et 40 cœurs par nœud, ce qui fait un total de 46 080 cœurs, avec une puissance de calcul de 3,69 pétaflops (pointe théorique).
Avec 30 mégawatts disponibles dans la nouvelle installation, ils disposent d'une marge de manœuvre pour son agrandissement. Aitken fournit aujourd'hui un peu moins de quatre pétaflops de calcul théorique dans une seule cellule de calcul. Chaque module peut prendre en charge quatre de ces cellules, et il est prévu qu'Aitken soit équipé de douze modules.
De ce fait, Aitken ne bénéficie pour le moment que d'un trente-sixième de sa taille finale et est déjà en mesure de fournir près de quatre pétaflops. Aitken va être développé aux cours des prochaines années, tout comme Pleiades n'a cessé d'évoluer depuis 2008. Si le cluster était complètement rempli aujourd'hui et doté des mêmes capacités actuelles, chaque module fournirait une puissance de calcul de 11,07 pétaflops et l'ensemble du cluster, une puissance de calcul de 133 pétaflops. Avec cette puissance, il aurait pu prendre en charge de nombreux calculs liés à la mégascience.
Résultat
Aitken a été conçu pour un grand nombre de travaux de modélisation et de simulation. Grâce aux processeurs Intel® Xeon® Gold 6248 de 2ᵉ génération, les chercheurs peuvent effectuer des calculs qu'il était impossible de réaliser sur les anciennes technologies. Ils ont la capacité de rendre leurs modèles plus précis afin de mieux comprendre les problèmes qu'ils étudient. En plus, grâce à ces processeurs de dernière génération, les scientifiques peuvent exécuter les tâches plus longtemps afin d'obtenir des résultats plus détaillés.
Aitken en est encore à ses balbutiements. Certes la NASA n'associe pas un ordinateur spécifique à un domaine de la science en particulier, cependant, de nombreuses recherches scientifiques ont été menées sur Aitken et Electra jusqu'à présent. Les personnes travaillant sur le projet Artemis et le nouveau projet SLS ont exécuté des tâches dans ces clusters.
Aussi, de nombreuses recherches en aéronautique ont été menées sur Electra, allant de la réduction du bruit aux nouveaux types d’aéronefs, en passant par la mobilité aérienne avancée.
Electra au service de l'aéronautique
Neil Chaderjian, chercheur à la NASA, s'est servi d'Electra afin de mieux comprendre pourquoi les giravions, tels que les hélicoptères, se limitent au vol vers l'avant vu qu'ils atteignent une vitesse de décrochage dynamique causée par l'interaction due au tourbillon des pales. Son travail basé sur les simulations avancées de calcul de la dynamique des fluides effectuées sur les giravions à l'aide d'Electra a révélé des premières observations et découvertes au sujet de l'interaction due au tourbillon des pales. Il a partagé les résultats de ses recherches avec les constructeurs de giravions afin de les aider à concevoir des giravions plus sûrs, plus rapides et plus économes en énergie.
Electra a également assisté la recherche aéronautique dans la construction des aéronefs de nouvelle génération, tels que le TTBW (transonic truss-braced wing), l'avion électrique X-57 de la NASA, et l'avion supersonique ultra-silencieux X-59 QueSST.
Les scientifiques de la NASA se servent également d'Electra pour le développement des modèles de système terrestre de nouvelle génération. Par exemple, ils ont combiné les deux modèles de référence de la NASA, le modèle Goddard du système d'observation de la Terre (GEOS, Goddard Earth Observing System) et le modèle basé sur l'estimation de la circulation et du climat de l'océan (ECCO, Estimating the Circulation and Climate of the Ocean), afin de réaliser une simulation de la météo et du climat de la Terre avec un niveau de détail sans précédent pour les premiers résultats. Electra et Aitken permettront aux équipes GEOS et ECCO d'améliorer considérablement les capacités de la NASA pour des simulations, des estimations et des prévisions météorologiques et climatiques cohérentes.
À ce jour, Electra est encore plus performante qu'Aitken, mais au fur et à mesure que le nouveau système de référence se développera, il deviendra la ressource de calcul la plus efficace de la NASA. Grâce à l'architecture modulaire, la NASA dépensera moins d'argent sur le refroidissement. Les supercalculateurs pourront ainsi déployer plus de capacités de calcul, et offriront aux scientifiques des ressources de calcul nécessaires à la réalisation de certaines simulations originales et détaillées qui ne sont pas possibles aujourd'hui.
Synthèse de la solution
L'installation de calcul de NASA Ames était dépassée. Il développe ses ressources HPC à l'aide d'une architecture de calcul modulaire conçue par HPE qui tire parti du climat tempéré de la région de la baie de San Francisco pour construire un centre de calcul plus efficace avec un indice d'efficacité énergétique qui varie entre 1,03 et 1,04. Le premier système construit dans la nouvelle installation a été un système prototype appelé Electra. Il était abrité dans deux conteneurs et fournissait une puissance de calcul de 4,79 pétaflops (pointe théorique). La nouvelle approche ayant fait ses preuves, la NASA a lancé la construction d'Aitken, le supercalculateur de nouvelle génération de référence qui sera développé sur plusieurs années. Un tiers du premier module d'Aitken est équipé de processeurs Intel® Xeon® Gold 6248. Il offre une performance de calcul de 3,69 pétaflops (pointe théorique). Une fois complet, Aitken prendra en charge 12 modules de calcul et fournira un niveau de calcul intensif jamais atteint par les anciennes technologies.
Composants du supercalculateur Aitken :
- Processeur Intel® Xeon® Gold 6248 (20 cœurs)
- 1 152 nœuds (premier module construit, 1/3 uniquement)
- Conçu par Hewlett Packard Enterprise (HPE) sur la base du système HPE SGI 8600
- Exploite le climat local pour le refroidissement de son système et possède un indice d'efficacité énergétique de 1,03