Stockage et mémoire HPC

Évitez que la latence de l'accès aux données devienne un goulot d'étranglement important à l'encontre des performances. Découvrez les solutions de mémoire persistante et de stockage HPC avancées optimisées pour répondre aux demandes en bande passante et en débit des charges de travail HPC gourmandes en données d'aujourd'hui.

Présentation du stockage et de la mémoire HPC :

  • Les piles de stockage traditionnelles, conçues pour les disques durs et les blocs d'E/S, s'adaptent mal aux charges de travail HPC gourmandes en données, notamment l'IA et la simulation.

  • L'évolution des exigences du stockage HPC impose de réduire la latence et d'utiliser des solutions de stockage HPC entièrement optimisées pour les technologies de mémoire non volatile (NVM), les écosystèmes de logiciels HPC et tous les composants de l'architecture HPC.

  • Les solutions Intel® de stockage et de mémoire HPC, notamment la mémoire persistante Intel® Optane™, les SSD Intel® Optane™ et les unités de stockage SSD Intel® QLC 3D NAND travaillent de concert pour éliminer les obstacles entre les données et le calcul.

author-image

By

Pour atteindre et même dépasser les performances actuelles les plus exigeants, les systèmes HPC doivent intégrer un portefeuille équilibré de composants de construction. Compte tenu de la croissance exponentielle récente de la taille des ensembles de données et du nombre d'opérations de lecture/écriture que doivent effectuer les applications HPC, les performances globales du système sont souvent limitées par les performances du stockage et de la mémoire, plutôt que par la vitesse des processeurs.

Aujourd'hui, les technologies de stockage et de mémoire HPC les plus avancées s'inscrivent dans le cadre d'un continuum qui s'étend de la DRAM du niveau chaud aux supports de stockage à long terme peu coûteux du niveau froid. Les architectes de systèmes doivent identifier les produits et les capacités qui répondent le mieux aux besoins de performances de leurs charges de travail HPC individuelles. Ces éléments se trouvent de moins en moins dans les solutions de mémoire non volatile et de stockage traditionnelles.

Défis du stockage et de la mémoire HPC

Les limites du calcul intensif sont en constante expansion, car les problèmes de calcul réels nécessitent de collecter, de stocker, d'accéder et de traiter des volumes de données importants et en constante augmentation. La taille même de ces ensembles de données présente des difficultés en matière de mémoire et de stockage : en termes simples, la capacité de la DRAM est insuffisante et les disques durs sont trop lents.

Lorsqu'ils s'appuyaient sur des solutions de mémoire et de stockage traditionnelles, les architectes de systèmes HPC devaient faire des compromis difficiles entre la capacité, les performances et les coûts. Il était difficile de combler les lacunes entre les données chaudes situées près du processeur et une plus grande capacité de stockage non volatile pour toute la diversité des charges de travail HPC. Deux lacunes importantes persistaient notamment :

  • Entre la DRAM, d'un coût élevé et d'une faible capacité, et les lecteurs SSD NAND, qui offrent une capacité plus abordable mais présentent des problèmes de latence.
  • Entre les lecteurs SSD NAND et les disques durs, qui peuvent fournir un stockage massif à moindre coût, mais qui possèdent des exigences importantes en matière d'alimentation, de refroidissement et d'espace physique, présentent des problèmes de fiabilité et introduisent une latence encore plus importante.

Ce qui est nécessaire : réduction de la latence et accroissement de la capacité de stockage

Dans de nombreuses charges de travail HPC, c'est la rapidité à laquelle les données peuvent être transmises au processeur qui présente le principal goulot d'étranglement de performances en situation réelle. Les architectes de solutions HPC ont tenté de surmonter cette limitation en utilisant la mise en cache locale et en déployant des pools de DRAM de plus en plus grands pour garder plus de données à proximité du processeur. La DRAM permet d'accéder rapidement à son contenu, mais elle est coûteuse et soumise à des contraintes de taille qui rendent leur utilisation impossible avec de grandes bases de données en mémoire, et elle est volatile.

Les solutions de mémoire volatile sont mal adaptées aux exigences de performance extrêmes auxquelles sont soumis les systèmes HPC actuels. Les pertes de données possibles lors de pannes de système peuvent avoir des conséquences catastrophiques et les longues durées de redémarrage érodent considérablement la productivité.

Cependant, le stockage de plus grands volumes de données sur des supports non volatiles comme les lecteurs SSD NAND ou les disques durs présente des problèmes de performance plus importants. Les systèmes de stockage conçus pour les disques durs traditionnels et des capacités d'entrée/sorti (E/S) POSIX ne peuvent tout simplement pas suivre le rythme des modèles de lecture et d'écriture aléatoires complexes que produisent les charges de travail d'analytique et de simulation, et ne sont pas adaptés aux besoins de lecture intensifs des charges de travail d'IA.

En fait, les demandes d'E/S par nœud de calcul s'accroissent sur toute la ligne, sur les systèmes exascalaires comme sur les systèmes plus petits, ce qui accroît les demandes sur les solutions de stockage HPC alors que toutes les charges de travail deviennent plus complexes.

Choisir des solutions de stockage et de mémoire HPC optimales pour votre charge de travail

Clusters HPC traditionnels
Dans les applications de simulation et de modélisation hautes performantes, comme les prévisions de dynamique des fluides, la modélisation du climat et les prévisions financières, les calculs sont généralement distribués sur plusieurs ordinateurs configurés pour agir comme un cluster HPC unique. Un stockage et une mémoire HPC plus rapides sont nécessaires pour bénéficier d'une modélisation plus fine, de résultats plus rapides et d'une plus grande productivité.

Systèmes d'intelligence artificielle (IA)
Les charges de travail d'IA sont de plus en plus répandues dans les applications HPC. Ces charges de travail nécessitent beaucoup plus d'opérations de lecture que les charges de travail HPC traditionnelles, et celles qui interagissent avec des groupes d'instruments ou d'autres services de streaming de données en temps réel nécessitent une qualité de service (QoS) continue plus élevée pour éviter les pertes de données critiques. L'intensité de l'écriture s'accroît également, tout comme la phase d'ingestion de l'IA. Ces systèmes nécessitent des communications à faible latence et à haut débit de messages, qui contournent idéalement tout le système d'exploitation, afin d'assurer que les algorithmes de machine learning et d'inférence fonctionnent à la vitesse et avec la précision nécessaires.

Analyse de données hautes performances (HPDA)
Alors même que le volume de données s'accroît de manière exponentielle, l'analytique doit elle aussi être réalisée plus rapidement. Les charges de travail HPDA présentent non seulement des demandes d'E/S beaucoup plus élevées que les charges de travail de « Big Data », mais elles nécessitent également des clusters de calcul plus importants et un réseau plus efficace. Les exigences en mémoire et en stockage HPC des charges de travail HPDA s'accroissent également de manière proportionnelle.

Supercalculateurs et systèmes exascalaires
L'évolutivité et les avantages que présentent les solutions de stockage et de mémoire HPC modernes en matière de coût sont particulièrement importants pour les clusters de supercalcul et les systèmes exascalaires. Alors que l'utilisation de ces solutions HPC s'étend encore plus dans les entreprises et les universités, le coût devient de plus en plus un facteur. Il reste cependant essentiel que ces solutions continuent de repousser les limites de capacité de calcul connues et le seul moyen d'y parvenir est d'utiliser des solutions de mémoire et de stockage HPC dont les performances reflètent les avancées réalisées en matière de processeurs, de structure et d'autres composants HPC.

Produits de stockage et de mémoire HPC

Avec son portefeuille complet de solutions de stockage et de mémoire HPC et grâce au stockage DAOS (Distributed Asynchronous Object Storage), la fondation de la pile logicielle exascalaire Intel®, Intel révolutionne l'architecture du stockage HPC. Ces technologies comblent les écarts entre les données en mémoire et la capacité de stockage de grands ensembles de données pour prendre en charge les projets transformationnels qui nécessitent des performances informatiques de premier ordre.

Mémoire persistante Intel® Optane
La mémoire persistante Intel® Optane est une nouvelle catégorie de solutions de mémoire HPC qui prend en charge l'analyse en temps presque réel des plus grands ensembles de données actuels. Intel® Optane offre une mémoire persistante hautes performances de grande capacité qui peut résider sur les mêmes bus/canaux que la DRAM et agir comme de la DRAM dans le stockage des données volatiles. Intel® Optane peut également fonctionner en mode persistant sans alimentation et peut offrir une plus grande capacité de stockage à moindre coût par gigaoctet. Cela permet aux architectes de solutions HPC de tirer parti d'un grand niveau de mémoire persistante entre la DRAM et les lecteurs SSD, à la fois rapide et abordable.

SSD Intel® Optane
Les SSD Intel® Optane offrent un type de niveau de stockage de données tout nouveau entre la mémoire et les lecteurs SSD 3D NAND. Les SSD Intel® Optane DC offrent des performances élevées en lecture/écriture aléatoire et une faible latence constante, ce qui est parfait pour accélérer la mise en cache. La technologie Intel® Optane offre également la qualité de service et l'endurance dont les charges de travail HPC ont besoin pour obtenir des performances révolutionnaires.

Unités de stockage SSD Intel® QLC 3D NAND
La technologie Intel® QLC 3D NAND SSD transforme aujourd'hui l'aspect économique du stockage avec un stockage très dense et rentable, offrant un mélange fiable de performances, de capacité et de valeur. Basés sur une technologie de grille flottante verticale éprouvée mais dotés d'une plus grande densité surfacique et d'une architecture de circuit de soutien unique, les SSD Intel® QLC 3D NAND sont conçus pour offrir des performances optimales pour les charges de travail HPC avec un fort mélange d'écritures ou une mise en cache intensive, notamment en association avec les technologies Intel® Optane.

Stockage d'objets asynchrones distribués (DAOS)
Conçu pour réduire la latence des charges de travail HPC, le stockage DAOS (Distributed Asynchronous Object Storage) est un écosystème logiciel Open Source entièrement optimisé pour la mémoire persistante Intel® Optane et les SSD Intel® Optane DC, ainsi que pour d'autres solutions et produits HPC Intel®. DAOS a été conçu pour tirer pleinement parti des avantages des technologies de mémoire non volatile, en offrant une grande bande passante, une faible latence et des conteneurs de stockage offrant des IOPS (opérations d’E/S par seconde) élevées pour les applications HPC.

Solutions Intel® Select pour le calcul intensif
Il est difficile de s'assurer que l'interopérabilité de tous les composants d'un cluster HPC est validée et que ces composants répondent aux exigences de performance de votre charge de travail particulière. Les solutions Intel® Select pour le calcul intensif offrent des infrastructures HPC faciles et rapides à déployer qui possèdent la bonne la combinaison de capacité de traitement, de structure, de mémoire, de stockage et de logiciels pour fournir des systèmes équilibrés qui réduisent les délais nécessaires pour obtenir des renseignements et des percées dans des clusters d'analytique ou des applications HPC spécifiques.