L'université de Kyoto (Kyoto U) est une institution de recherche et d'éducation de classe mondiale avec des campus au Japon et des écoles réparties dans le monde entier. L'université dispose d'une large communauté de recherche qui s'appuie sur le calcul intensif (HPC) pour contribuer aux connaissances mondiales.
Le Yukawa Institute for Theoretical Physics (YITP) de l'Université de Kyoto est l'un des grands centres mondiaux d'étude de la physique théorique. Les chercheurs de l'YITP étudient tous les domaines de la physique théorique, y compris la physique des particules, la physique nucléaire, la cosmologie, l'astrophysique, la physique des solides, la physique statistique, l'information quantique, etc. Ils s'appuient sur le supercalcul pour réaliser des simulations qui apportent de nouvelles connaissances et découvertes, des plus petites échelles quantiques aux échelles astronomiques. Début 2021, ils ont mis à niveau leurs ressources informatiques avec un cluster de 1,3 pétaFLOPS construit sur des serveurs Dell EMC PowerEdge à 4 sockets avec des processeurs Intel® Xeon® de 2ᵉ génération. Le nouveau système offre des performances 3,8 fois supérieures à celles du système précédent.
Enjeux
Le YITP a été créé en 1953, après que Hideki Yukawa a reçu en 1949 le premier prix Nobel décerné à un citoyen japonais. Yukawa a été le premier directeur de l'YITP et a dirigé l'institut jusqu'à sa retraite en 1970. Lors de sa fondation, l'institut était considéré comme un nouveau type de centre national de recherche en physique théorique. Ses installations étaient ouvertes à l'ensemble de la communauté de recherche en physique théorique du Japon pour permettre de collaborer sur des projets.
Bien que l'YITP soit officiellement un institut de l'université de Kyoto, des physiciens de tout le pays sont élus pour rejoindre le personnel académique de l'YITP afin de discuter et d'établir des politiques et des projets. Le YITP accueille également chaque année de nombreuses conférences et de nombreux ateliers internationaux et nationaux afin d'élargir les connaissances en physique. En tant qu'institution ouverte, les ressources du supercalculateur de l'YITP sont offertes gratuitement à l'ensemble de la communauté de chercheurs en physique théorique au Japon.
Les ressources informatiques sont au cœur du travail des chercheurs de l'YITP. Chaque année, les scientifiques ont besoin de simulations à plus haute résolution pour mieux comprendre de nombreux domaines de recherche en physique théorique. Ces demandes imposent des exigences de plus en plus strictes aux systèmes de calcul intensif de l'institut. Le système existant, installé en 2016 et exploité jusqu'en 2020, était un cluster Cray XC40, composé de 292 nœuds avec un total de 9 344 cœurs et 36,5 To de mémoire. Il a fourni des performances de pointe de 343 téraFLOPS.
« Nous avions besoin d'un système qui répond aux besoins de nombreux types de simulations », a déclaré Naoyuki Itagaki, chercheur à l'YITP. « Certains des utilisateurs ont besoin d'effectuer des calculs à grande échelle en utilisant de nombreux nœuds, notamment pour la recherche et le développement de leurs applications conçues pour fonctionner sur Fugaku. »
Fugaku est le plus grand supercalculateur du Japon, situé au RIKEN Center for Computational Science à Kobe, au Japon. Certaines simulations à grande échelle destinées à Fugaku commencent à fonctionner à l'YITP.
« De nombreux autres utilisateurs utilisent un petit nombre de nœuds qui ont besoin de cœurs à haute performance. Pour Yukawa-21, nous avons dû tenir compte de ces différents besoins et concevoir en conséquence », conclut Itagaki.
Le système Yukawa-21 est constitué de plateformes Dell EMC PowerEdge R840 équipées de processeurs Intel® Xeon® Platinum 8280 à 28 cœurs. (Crédit photo : YITP)
Solution
Les développeurs d'applications de l'YITP ont historiquement compilé leur code avec des compilateurs Intel Fortran/C performants et étaient habitués aux technologies Intel®. Pour le nouveau supercalculateur Yukawa-21, les architectes système ont conçu à l'origine un cluster construit sur des serveurs à 2 sockets, en raison du retour sur investissement supposé favorable pour ces plus petits nœuds. Mais, le point le plus important du nouveau système est la performance réelle des simulations. Dell Technologies et Intel ont présenté des nœuds plus grands, à 4 sockets, avec des processeurs à 28 cœurs Intel Xeon Platinum 8280 (112 cœurs par nœud) pour offrir les performances et l'évolutivité dont les utilisateurs ont besoin, tout en tirant parti de l'expérience des développeurs en matière d'architecture Intel.
Les compilateurs et les processeurs Intel avancés sont des facteurs essentiels à la réussite de nos recherches. « Les calculs du banc d'essai ont prouvé l'amélioration significative des performances par rapport au système précédent. » — Naoyuki Itagaki, chercheur à l'YITP
Pour évaluer les performances de la conception, les scientifiques ont préparé des programmes du banc d'essai. Trois applications de banc d'essai développées par des chercheurs en physique fournissaient des codes de simulation pour la structure nucléaire, la structure de l'univers et les systèmes de spin quantique. Trois autres bancs d'essai plus généraux comprenaient les gradients conjugués haute performance (HPCG), l'entrelacement ou aléatoire (IOR) et STREAM OpenMP.
Yukawa-21 facilite le travail de l'YITP en physique théorique. Nous avons par exemple les simulations qui calculent la distribution de la densité des noyaux riches en neutrons. (Crédit photo : YITP)
« Les codes de simulation développés par les utilisateurs sont écrits en Fortran et/ou en C », ajoute Itagaki. « Les compilateurs et les processeurs Intel avancés sont des facteurs essentiels à la réussite de nos recherches. Les calculs du banc d'essai ont prouvé l'amélioration significative des performances par rapport au système précédent. »
Dell Technologies a remporté le projet en utilisant 135 serveurs PowerEdge R840 avec un total de 202,5 To de mémoire. Les nœuds de processeur haute performance sont complétés par deux nœuds avec quatre processeurs graphiques par nœud. Le cluster est évalué à 1,3 pétaFLOPS de pointe, ce qui est 3,8 fois plus rapide que leur système précédent. 1
Résultat
Le système a atteint le statut de production en janvier 2021. Depuis lors, plus de 100 chercheurs y ont mené divers projets.
« Non seulement le nouveau système réduit les temps de simulation, mais il nous permet également de faire appel à de nouveaux sujets, ce qui n'était pas possible avec les systèmes existants. » — Naoyuki Itagaki, chercheur à l'YITP
« Les scientifiques ont réalisé des simulations pour des systèmes physiques à de nombreuses échelles différentes, des particules élémentaires à l'univers », a commenté Itagaki. « Par exemple, une simulation concernait l'interaction nucléon-nucléon dans les noyaux atomiques en partant du premier principe. D'autres incluent les fusions d'étoiles à neutrons, la synthèse des éléments dans l'univers, diverses propriétés nobles de systèmes quantiques à plusieurs corps, etc. »
Selon Itagaki, la plupart des utilisateurs sont assez satisfaits des performances du nouveau système.
« Non seulement le nouveau système réduit les temps de simulation, mais il nous permet également d'aborder des sujets inédits qui n'ont pas été possibles avec les systèmes existants », a-t-il déclaré.
Itagaki étudie la structure nucléaire depuis plus de 25 ans et utilise des supercalculateurs pour accomplir son travail.
« Les noyaux sont des systèmes quantiques à plusieurs corps constitués de protons et de neutrons », explique Itagaki. « Pour décrire de manière microscopique, nous devons effectuer des calculs à grande échelle. Mon intérêt est d'établir un modèle unifié qui combine différentes images conventionnelles. Dans le domaine de la physique nucléaire, les noyaux riches en neutrons, qui n'existent pas dans la nature, font l'objet d'une étude approfondie. Les noyaux riches en neutrons ont une courte durée de vie, mais on pense qu'ils ont joué un rôle essentiel dans la synthèse des éléments de l'univers. Pour de tels calculs, le recours à des supercalculateurs à haute performance est inévitable. »
Cette image de la formation de la structure de l'univers est le résultat des simulations astronomiques que les chercheurs sont en mesure de réaliser sur Yakawa-21. (Crédit photo : YITP)
Synthèse de la solution
Au Yukawa Institute for Theoretical Physics, il était temps de mettre à niveau le supercalculateur vieux de quatre ans afin de relever les défis informatiques plus exigeants de la recherche en physique. Au lieu de serveurs à 2 sockets, ils ont déployé des plateformes Dell EMC PowerEdge R840 à 4 sockets avec des processeurs Intel Xeon Platinum 8280 à 28 cœurs. Les systèmes de plus grande taille, dotés de 202,5 To de mémoire, ainsi que la prise en charge des compilateurs Intel C et FORTRAN, permettent aux chercheurs de l'YITP d'exécuter une large gamme de charges de travail, des simulations quantiques aux simulations astronomiques, en moins de temps et d'explorer de nouveaux sujets qui n'étaient pas possibles auparavant. Voir les composants du système Yukawa-21.
Composants de la solution
- 135 nœuds de serveurs 4 sockets Dell EMC PowerEdge R840
- 15 120 cœurs de processeurs Intel Xeon Platinum 8280 (28 cœurs chacun)
- Ressource ouverte pour tous les chercheurs en physique du Japon