DUG Technology : stockage Flash Exascale

DUG Technology a remplacé ses disques durs par des pétaoctets de stockage flash grâce à la technologie Intel® Optane™.

En bref :

  • DUG Technology est à la pointe du calcul intensif, combinant des solutions matérielles et logicielles innovantes qui permettent aux clients d'utiliser des ensembles de données vastes et complexes.

  • DUG a construit un environnent de stockage résilient et adaptable, permettant de s'étendre sur de nouveaux marchés, en remplaçant ses disques durs par des pétaoctets de stockage flash. Pour ce faire, elle a utilisé la solution Universal Storage de VAST Data, alimentée par des processeurs Intel® Xeon® Scalable de 2ᵉ génération, ainsi que des unités de stockage SSD Intel® QLC 3D NAND pour améliorer les performances et la fiabilité.

author-image

Par

L'analyse sismique est une discipline de calcul intensif qui reconstruit ce qui se trouve sous la surface de la terre à partir de la seule réflexion du son. Pour réaliser des analyses 3D utiles, il faut des pétaoctets (Po) de données et des milliers d'ordinateurs puissants. Même les grandes entreprises pétrolières ne possèdent pas les ressources de calcul nécessaires pour réaliser ces analyses en interne. Elles se tournent donc vers des entreprises comme DUG technology pour extraire des détails de leurs montagnes de données.

DUG nomme cette capacité de calcul exascale complet, disponible sur demande, le HPCaaS (HPC en tant que service). DUG réservait traditionnellement sa technologie de calcul en tant que service à des clients spécifiques, notamment les grandes entreprises pétrolières et gazières. Une fois ses capacités reconnues sur le marché, DUG a élargi son offre à d'autres secteurs industriels utilisant ce même service pour faire face à des besoins variés de calculs extrêmes.

DUG a décidé d'apporter la même facilité de service (« n'apportez que vos données ») aux entreprises en dehors du secteur énergétique. DUG savait qu'elle pouvait servir ces nouveaux secteurs industriels de façon rentable grâce au service DUG McCloud spécialisé pour le calcul intensif. La solution Universal Storage de VAST Data, qui est alimentée par les technologies Intel®, soutient DUG McCloud et a permis à DUG de percer dans de nouveaux secteurs, notamment le monde universitaire, l'astrophysique, la médecine et la génomique, la modélisation des incendies et la recherche COVID-19. Cependant, pour y parvenir, DUG a dû changer radicalement sa façon de gérer le stockage.

Enjeux

Pendant sa première décennie d'opération, DUG a déployé et géré le stockage basé sur le disque dur afin d'assurer l'échelle et le coût de travail de ses sismiques. Pendant ce temps, DUG a soigneusement optimisé ses applications pour utiliser ses capacités et éviter les limites de son système basé sur le disque dur Lustre. À cette occasion, DUG a dû faire de nombreux compromis. Par exemple, si des clients du système de fichiers Lustre atteignaient le sommet pour un flux de travail donné, d'autres utilisateurs partageant le même système de fichiers en pâtissaient. Du point de vue de la résilience, bien que DUG ait conçu son logiciel pour se protéger contre les pannes de disque dur, la nécessité de remplacer les disques défaillants chaque semaine était une épine dans le pied de DUG.

Enfin, alors que les applications de DUG étaient bien optimisées pour le stockage Lustre et les disques durs, les nouvelles applications que DUG faisait évoluer pour prendre en charge toutes les entrées/sorties (E/S) de stockage géraient différemment. La polyvalence et la multiplicité des installations de stockage sont devenues d'une importance vitale pour DUG ; toute nouvelle solution devrait répondre à un large éventail d'exigences et les prendre en charge à l'échelle industrielle. DUG avait également besoin d'un stockage qui pouvait répondre à la multiplicité des exigences de débit pour différentes applications. DUG s'est penché sur un stockage SSD basé sur un disque solide afin d'offrir des performances et une fiabilité supérieures. Cependant, le passage aux SSD sur Lustre aurait été d'un coût prohibitif et le caractère abordable était primordial pour la DUG.

Pour construire un environnement de stockage résilient et adaptatif qui permettait une expansion sur de nouveaux marchés, DUG avait besoin d'une nouvelle approche pour le stockage.

Des serveurs refroidis par immersion dans un centre de données DUG

Solution : Universal Storage de VAST

DUG a choisi le VAST Data Universal Storage pour développer son activité et répondre aux besoins d'une grande diversité de nouveaux marchés et clients. L'offre de stockage universel combine la vitesse et l'échelle d'un système de fichiers parallèles avec un nouveau niveau d'accessibilité et de multilocation de flash pour offrir un saut technologique complet pour DUG. L'architecture DASE (disaggregated shared everything) de VAST Data offre également des performances constantes en isolant les entrées/sorties non optimisées afin de ne pas affecter les autres locataires. Grâce à l'approche DASE, VAST Data élimine les problèmes de simultanéité du stockage parallèle afin d'offrir de hautes performances pour des charges de travail spécifiques, sans que cela se fasse au détriment d'autres charges de travail.

Outre l'amélioration significative de l'expérience des clients, VAST Data offre une combinaison de fiabilité, de gestion et de prise en charge qui n'existe pas chez les anciennes technologies de stockage de calcul intensif. L'architecture DASE de VAST Data offre une évolutivité exascale, permettant à DUG de développer jusqu'à des dizaines de pétaoctets de stockage flash sans aucun point de défaillance dans une architecture qui peut rapidement se remettre d'une défaillance. La fiabilité de l'architecture DASE est « gratuite » : elle est le résultat direct de l'efficacité de la protection des données de VAST Data et de l'apatridie de l'architecture. Au-delà de la résilience, VAST Data Universal Storage simplifie également l'expérience de déploiement et de gestion de DUG en fournissant un appareil évolutif qui apporte systématiquement de nouvelles fonctionnalités qui sont automatiquement embarquées quand le système est en ligne donc pas de temps d'arrêt pour DUG en jeu.

Aperçu de VAST Data Universal Storage avec des technologies de stockage Intel

VAST Data Universal Storage fournit un espace de noms unique et global afin que chaque application ait accès à toutes les données associées à cette charge de travail. La solution VAST Data combine des performances de disque entièrement flash une évolutivité massive, l'économie du stockage des archives et la simplicité de la connectivité des réseaux (NAS) connectée par jeu.

Les unités de stockage SSD Intel® fournissent la base matérielle de la rentabilité et de la fiabilité du stockage universel des données VAST. Le couplage de la technologie à grille flottante verticale d'Intel et de l'architecture de sous-réseau métal-oxyde-semiconducteur (CMOS) complémentaire permet d'obtenir la plus haute densité de surface (gigaoctets de stockage par millimètre carré) de l'industrie pour les mêmes bits par cellule1 Cela signifie que les disques SSD Intel® QLC 3D NAND offrent non seulement une densité de surface supérieure à celle des supports à cellules à trois niveaux (TLC) de la génération précédente, mais aussi une densité de surface et une fiabilité supérieures à celles des conceptions à cellules à quatre niveaux (QLC) concurrentes basées sur la technologie de piégeage de charge. 2 Les innovations architecturales d'Intel permettent à la solution VAST Data de stocker toutes les données sur les disques flash. La rentabilité et la grande fiabilité des disques durs Intel QLC 3D NAND SSD sont à la base de l'architecture de VAST Data qui permet de réduire les coûts jusqu'à 85 % par rapport aux disques durs, offrant un coût par gigaoctet (Go) similaire à celui des systèmes à base de disques durs sur 10 ans 3 4

Les unités de stockage SSD Intel® Optane™ accélèrent davantage les performances d'écriture des charges de travail qui fonctionnent sur le stockage universel des données VAST. Les unités de stockage SSD d'Intel utilisent une mémoire tampon pour l'écriture sur le stockage, ce qui permet des écrits QLC complets par effacement de bloc. La faible latence, la grande endurance et les hautes performances en écriture aléatoire 4K des unités de stockage SSD Intel Optane permettent d'assurer que les données à long et à court terme ne sont pas co-situées dans de grands blocs QLC. Les SSD Intel Optane protègent les SSD Intel QLC 3D NAND contre un comportement d'écriture inefficace, ce qui est l'une des raisons pour lesquelles VAST Data peut offrir une garantie d'endurance de 10 ans pour les SSD tout en offrant l'avantage économique d'un QLC NAND rentable5 6

Schéma logique de la solution Universal Storage de VAST Data

Cependant, la capacité, les coûts et les capacités de stockage ne forment qu'une partie de l'histoire du stockage universel des données VAST. La solution VAST Data est également très sophistiquée dans la mise en œuvre de nouveaux algorithmes qui ouvrent la voie à de nouveaux niveaux d'efficacité de réduction et de protection des données 7 Le stockage universel VAST Data réunit tous ces aspects architecturaux avec des processeurs Intel® Xeon® Scalable de 2ᵉ génération pour mettre en œuvre une nouvelle classe d'algorithmes globaux dans un cluster DASE 8 Ces processeurs fournissent la puissance de calcul sous-jacente au stockage universel des données VAST et des bibliothèques d'accélération vitale Le kit de développement des performances de stockage (SPSP) sert d'accélérateur pour le stockage universel des données VAST afin d'offrir un accès à faible latence à partir de chaque processeur à chaque QLC et à chaque unité de stockage SSD Intel Optane. Le SPDK élimine ainsi le besoin d'opérations complexes et volatiles de cohérence de cache qui peuvent autrement empêcher l'extensibilité des architectures de stockage partagé sans partage.

VAST Data Universal Storage interconnecte les unités centrales avec les dispositifs NVM Express (NVMe) en utilisant le protocole NVMe over fabrics (NVMe-oF) pour fournir une échelle distribuée avec les performances et la latence du stockage à attachement direct (DAS) 9 NVMe-oF fonctionne sur des réseaux Ethernet ou InfiniBand standard pour permettre la désagrégation des ressources et une architecture à tous les niveaux par rapport aux tissus des centres de données sur les produits. La connexion VAST Data expose le système via des protocoles omniprésents tels que le système de fichiers réseau (NFS), le bloc de messages du serveur (SMB) et une API compatible Amazon S3, de sorte que les applications qui consomment un stockage universel ne nécessitent pas d'adaptateurs, de formats ou de protocoles spécialisés.

VAST Data a changé la maniére dont DUG gère les données

DUG est entièrement en production avec VAST Data depuis décembre 2019 dans les centres de données de DUG à Houston, Texas, et à Perth, Australie, avec des plans d'expansion supplémentaires. En fait, DUG prévoit de doubler ses capacités de calcul à Houston et d'augmenter de plus du double celles de Perth en 2020 et 2021. Heureusement, la solution VAST Data devient plus fiable, et non moins fiable, à mesure qu'elle se développe.

Les besoins de stockage des données de DUG ont toujours été grands. Des projets de traitement sismique arrivent à DUG avec plus d'un milliard de données et connaissent une expansion 6-8x dans le cadre du traitement. Au cours d'un seul projet de traitement sismique, la DUG copie et écrit ces données jusqu'à 50 fois - et la DUG a généralement plus de 100 projets en cours simultanément à un moment donné. Le stockage universel VAST Data est parfait pour ce type de croissance de données et permet à DUG de s'assurer que les applications concurrentes bénéficient toutes de performances équitables sur une ressource informatique HPC partagée.

Au-delà de la gestion de grandes quantités de données, la réduction des données de VAST est un autre attrait. Pour DUG, il s'agit d'une réduction de coûts. Même avec des données sismiques, qui sont notoirement difficiles à réduire, les puissantes capacités de réduction des données de VAST Data peuvent permettre d'économiser des sommes importantes. DUG permet de réaliser d'importantes économies grâce à la réduction des données avec différentes charges de travail en utilisant la nouvelle approche de compression de données de VAST Data, basée sur la similitude.

Un autre avantage pour DUG est que VAST Data gère le stockage à distance pour DUG 24/7. C'est la première fois que DUG bénéficie d'un fournisseur qui assure la gestion des appareils à distance pour son stockage. DUG ne subit aucune interruption de service pour les mises à jour, et ses administrateurs informatiques peuvent être sûrs que VAST Data surveille étroitement les performances et la disponibilité de leur environnement. Grâce à cela, DUG peut développer la capacité de stockage sans avoir à développer son équipe de stockage.

Le stockage comme bien stratégique

Le passage réussi de DUG à de nouveaux marchés a été rendu possible grâce au stockage universel VAST Data, alimenté par les technologies Intel. La solution de stockage VAST Data a fourni à DUG la capacité, les performances et la fiabilité nécessaires pour se débarrasser des disques durs, aller au-delà de la technologie complexe de stockage de fichiers HPC et offrir une expérience client de premier ordre aux clients de l'industrie pétrolière et gazière, et bien d'autres encore. Une offre de stockage entièrement silicium fournit la cohérence et la diversité des hautes performances qui permet à DUG de construire efficacement son environnement Cloud multi-locataire pour sa prochaine vague de croissance. Le stockage, la fiabilité et la facilité de gestion de VAST Data ont transformé le stockage en un atout stratégique pour DUG et lui a permis de mieux atteindre ses objectifs commerciaux généraux.

À propos de DUG Technology

Avec plus de 17 ans d'expérience et de centres de données à Perth, Houston, Londres et Kuala Lumpur, DUG Technology est à la pointe de la technologie HPC. Elle combine des solutions matérielles et logicielles innovantes qui permettent aux clients d'utiliser des ensembles de données à la fois vastes et complexes. L'expérience industrielle de DUG Technology et ses solides bases en physique appliquée lui ont permis de fournir un HPCaaS de pointe livré, soit directement au client, soit via sa plate-forme DUG McCloud.

Plus d'infos

Consultez le livre blanc sur le NAS exascale de VAST Data.

Télécharger le PDF ›