PhoenixNAP : scalabilité et recherche de métadonnées

Le stockage d'objets scale-out contient les données, tandis que la mémoire persistante Intel® Optane™ DC conserve un cache pour accélérer les performances.

Les centres de données et le nombre croissant d'appareils connectés génèrent une énorme quantité de métadonnées. Les entreprises ont besoin d'un moyen efficace pour stocker et rechercher ces métadonnées, les aider à gérer leur infrastructure et à détecter les failles de sécurité. Grâce au service phoenixNAP Elasticsearch*, elles peuvent désormais stocker leurs données dans un stockage d'objets scale-out plutôt que dans la mémoire et conserver un cache dans la mémoire persistante Intel® Optane™ DC pour accélérer les performances.

Défi

  • S'ils peuvent s'avérer difficiles, le stockage et l'analyse des volumes croissants de métadonnées sont nécessaires pour gérer le parc informatique et sa sécurité.
  • Comme les journaux peuvent être répartis sur différentes plateformes Cloud, dresser l'image globale d'un événement particulier ou du parcours d'un utilisateur n'est pas chose aisé.
  • Elasticsearch fournit une solution, mais le clustering nécessite une gestion continue. De plus, les données sont généralement conservées dans un stockage flash, ce qui peut coûter excessivement cher à mesure que le volume de données augmente.

Solution

  • Le service Elasticsearch de PhoenixNAP permet aux entreprises de déployer facilement Elasticsearch pour chercher des données dans différents endroits du Cloud.
  • Grâce à la technologie de Vizion.AI, le service permet d'utiliser un stockage d'objets abordable pour 90 % des données.
  • Les 10 % restants représentent le cache des données les plus chaudes, qui est stocké dans la mémoire persistante Intel Optane DC, offrant des vitesses proches de celles de la mémoire et d'importantes capacités abordables.

Résultats

  • Utiliser la mémoire persistante Intel Optane DC pour le cache plutôt qu'héberger la solution dans un environnement Cloud hyperscale a permis de réduire la latence de 80 % et de tripler la vitesse d'indexation1.
  • Les clients de PhoenixNAP peuvent désormais analyser les métadonnées stockées dans les centres de données de PhoenixNAP sans avoir à valider la souveraineté des données d'un nouveau fournisseur.
  • Le fournisseur de services Cloud (CSP) peut également vendre le service à de nouveaux clients qui ont besoin d'un moyen plus simple pour interpréter leurs métadonnées.

Gérer d'énormes volumes de métadonnées
Selon IDC, l'Internet des objets (IoT) générera 79,4 zettaoctets de données par an d'ici 20252, ce qui représente environ 79,4 milliards de téraoctets. Des métadonnées accompagnent toutes les données utilisées. Ces données sur les données (journaux, par exemple) joueront un rôle dans la croissance des données. Elles devront être gérées et analysées, ce qui intensifiera un problème auquel les entreprises sont déjà confrontées. En effet, de nombreuses ressources numériques, notamment les serveurs et les applications, génèrent des journaux qu'elles doivent analyser pour gérer leurs performances informatiques et protéger leur sécurité.

Dans la mesure où ces journaux peuvent être répartis sur différentes plateformes Cloud, la recherche d'un seul point de données peut nécessiter l'exploration d'énormes volumes de données. Plusieurs points de données devront souvent être mis en corrélation. Les entreprises peuvent avoir besoin de retracer rapidement les activités d'un utilisateur dans tous les journaux au cours d'une période donnée, par exemple en cas d'incident de sécurité. Plus cela prend de temps, plus le risque est grand pour l'entreprise.

De nombreuses entreprises cherchent une plateforme Cloud native qui leur permettra non seulement de stocker, mais aussi de rechercher et d'analyser leur journaux de métadonnées toujours plus nombreux. Le moteur de recherche open source Elasticsearch pourrait être utilisé, mais il requiert généralement que les données soient stockées sur des supports de stockage flash, ce qui peut s'avérer excessivement coûteux à mesure que les volumes de données augmentent.

De plus, le déploiement et la gestion d'Elasticsearch peuvent être exigeants. Les clients devront peut-être lancer six machines virtuelles avant de pouvoir y introduire leurs premières données et devront surveiller les volumes de données afin de pouvoir supprimer des données ou d'étendre le cluster lorsqu'il se remplira.

Placer les données dans un environnement Cloud hyperscale peut être moins coûteux, mais cela nécessite néanmoins que l'utilisateur gère constamment le cluster et ne tire pas profit du stockage d'objets économique.

Les clients du Cloud cherchent une solution qui dépasse ces limites pour analyser facilement et rapidement leurs métadonnées tout en profitant des avantages économiques des logiciels libres.

Présentation du service phoenixNAP Elasticsearch*
Le CSP phoenixNAP a collaboré avec Vizion.AI et Intel pour lancer le service phoenixNAP Elasticsearch. Ce service permet aux entreprises de déployer facilement Elasticsearch pour analyser les données dans leur environnement multi-Cloud. Seuls les 10 % de données les plus chaudes doivent être stockés sur un stockage rapide. Le reste peut être conservé dans le Cloud grâce au stockage d'objets, la solution de Vizion.AI se chargeant de la compression, de la déduplication, du chiffrement et du transport vers et depuis le Cloud. Utiliser le Cloud pour la majeure partie des métadonnées plutôt que les conserver sur un stockage flash peut réduire considérablement les coûts.

Les clients commandent la solution via un portail. La configuration et la gestion sont ensuite automatisées, ce qui résout l'un des points faibles d'Elasticsearch. Ils n'ont plus besoin de surveiller leurs volumes de données, car la solution est basée sur un micro-service plutôt que sur un pool d'infrastructures gérées. Le stockage d'objets sur le back-end se met à l'échelle (scaling) pour recevoir les données au fur et à mesure qu'elles arrivent.

La figure 1 montre une architecture simplifiée de la solution. Les workloads des clients s'exécutent dans des conteneurs et sont orchestrés avec Kubernetes*. Le partage de l'infrastructure entre des centaines de clients représente d'importantes économies d'échelle par rapport à une entreprise qui créerait son propre cluster Elasticsearch.

Figure 1. Le service Elasticsearch* de phoenixNAP permet d'utiliser le stockage d'objets comme stockage scale-out de métadonnées qu'Elasticsearch peut examiner et analyser. La solution est basée sur la famille de processeurs Intel® Xeon® Scalable de 2e génération avec mémoire persistante Intel® Optane™ DC.

Panzura*, société mère de Vizion.AI, fournit une couche intermédiaire capable d'assurer la traduction entre les protocoles de stockage des centres de données et le stockage d'objets Cloud natif. Cela permet à Elasticsearch (et à d'autres applications) exécuté dans le centre de données d'accéder au stockage Cloud sans modification, le cache en mémoire fournissant des performances élevées.

Le matériel serveur sous-jacent est équipé de processeurs Intel Xeon Scalable de 2e génération avec mémoire persistante Intel Optane DC. La mémoire persistante Intel Optane DC permet aux CSP de profiter d'une combinaison unique de capacités abordables et de performances proches de celles de la mémoire. Physiquement, elle est compatible avec la DRAM et se branche dans les mêmes emplacements DIMM. La mémoire persistante est utilisée pour mettre en cache les 10 % de données les plus chaudes.

« La mémoire persistante Intel Optane DC ne perturbe pas le déploiement d'applications. En observant le monde du point de vue de Kubernetes, elle nous apparaît simplement comme une autre ressource de stockage. Nous réalisons des gains d'efficacité dès le départ, sans avoir à changer de code. Le fait que la mémoire permanente Intel Optane DC accélère notre solution nous permet également de réaliser des économies par rapport à l'utilisation d'un fournisseur de solutions Cloud hyperscale. » - Geoff Tudor, vice-président et directeur général de Vizion.AI

La couche de virtualisation est basée sur VMware vSphere* 6.7, qui prend en charge la mémoire persistante Intel Optane DC.

Vizion.AI a mesuré les performances de l'infrastructure avec la mémoire persistante et les a comparées à la vitesse de ses logiciels exécutés dans un service de Cloud public. L'entreprise a constaté que la mise en œuvre de phoenixNAP était 3 fois plus rapide pour indexer et numériser des documents1. Elle a également observé une réduction de 80 % de la latence, ce qui est particulièrement important lorsque l'on utilise des problèmes identifiés pour déclencher une réponse à un incident en temps réel1.

« La mémoire persistante Intel Optane DC ne perturbe pas le déploiement d'applications », déclare Geoff Tudor, vice-président et directeur général de Vizion.AI. « En observant le monde du point de vue de Kubernetes, elle nous apparaît simplement comme une autre ressource de stockage. Nous réalisons des gains d'efficacité dès le départ, sans avoir à changer de code. Le fait que la mémoire permanente Intel Optane DC accélère notre solution nous permet également de réaliser des économies par rapport à l'utilisation d'un fournisseur de solutions Cloud hyperscale. »

Avec plusieurs centaines de conteneurs clients sur chaque serveur, améliorer l'indexation des nouveaux contenus et la latence des recherches en temps réel permet d'éviter les conflits sur le serveur et d'améliorer l'expérience du client.

Intel est un allié
Intel a établi une relation de travail étroite avec phoenixNAP, notamment en l'aidant à développer et à commercialiser de nouveaux services. Pour accélérer le lancement du service Elasticsearch, Intel a permis à phoenixNAP de découvrir en avant-première la mémoire persistante Intel Optane DC et le processeur Intel Xeon Scalable de 2e génération (obligatoire pour pouvoir l'utiliser). La société était présente pour aider à la mise en œuvre de la solution, ainsi qu'à sa mise au point afin d'en améliorer les performances.

Se démarquer avec Elasticsearch*
Le marché du Cloud étant extrêmement concurrentiel, phoenixNAP se démarque des fournisseurs hyperscale en offrant un environnement Cloud optimisé pour des applications particulières et enrichi de services à valeur ajoutée.

Le lancement du nouveau service Elasticsearch permet à phoenixNAP d'offrir plus de valeur à ses clients existants, en leur proposant de nouvelles façons de gérer leurs données au sein du Cloud phoenixNAP. Pour les clients soumis à la réglementation, cela signifie qu'il n'est pas nécessaire de valider la souveraineté ou la sécurité des données d'un nouveau fournisseur de solutions.

Ce nouveau service peut également contribuer à attirer de nouveaux clients. Comme la solution fonctionne dans l'ensemble des environnements Cloud, elle ne nécessite pas que la majeure partie des données soit stockée dans le centre de données de phoenixNAP. Les nouveaux clients peuvent choisir de migrer leurs données vers phoenixNAP ou de profiter de la facilité de déploiement qu'offre phoenixNAP lorsqu'ils accèdent à des sites de stockage Cloud tiers.

Vizion.AI et phoenixNAP travaillent ensemble à la commercialisation de la solution pour construire une base de clients commune.

Enseignements tirés
Il y a plusieurs leçons à tirer de l'expérience de phoenixNAP et de Vizion.AI dans le lancement de ce nouveau service.

  • « Adapter la charge de travail à une infrastructure optimisée peut permettre de réaliser d'énormes économies », explique Geoff Tudor. « Grâce à la mémoire persistante Intel Optane DC, je peux effectuer plus de traitements que sur une plateforme matérielle équivalente sans mémoire persistante. »
  • Il n'est pas toujours nécessaire de modifier le code pour profiter de la mémoire permanente Intel Optane DC. Par exemple, VMware vSphere* 6.7 est immédiatement compatible avec la mémoire persistante.
  • Intel collabore avec des fournisseurs de services Cloud (CSP) pour les aider à créer et à lancer de nouveaux services, notamment le service Elasticsearch* de phoenixNAP.
À propos de PhoenixNAP
Fondé en 2009, PhoenixNAP est un fournisseur mondial de services informatiques qui propose des solutions technologiques pour le Cloud, les serveurs dédiés, la colocation et l'infrastructure en tant que service (IaaS). PhoenixNAP est un Premier Service Provider dans le programme réseau VMware vCloud Air* et un fournisseur de services validé par la norme Payment Card Industry Data Security Standard (PCI DSS). Son installation phare à Phoenix, en Arizona, fait l'objet d'un audit SOC (Service Organization Controls) de types 1 et 2.
 
Composants techniques de la solution
  • Elasticsearch*. Elasticsearch est un logiciel open source qui fournit un moteur de recherche de texte intégral distribué et mutualisé.
  • Couche de stockage Panzura*. La couche de stockage Panzura sert d'intermédiaire entre les protocoles de stockage des centres de données et les protocoles de stockage Cloud, permettant aux applications des centres de données d'utiliser le stockage Cloud sans modification.
  • Processeur Intel® Xeon® Scalable de 2e génération. Le processeur Intel Xeon Scalable de 2e génération constitue la base d'une puissante plateforme de centre de données qui représente une avancée en termes d'agilité et d'évolutivité. Disruptif par conception, ce processeur innovant définit un nouveau niveau de convergence et de capacités dans les domaines du calcul, du stockage, de la mémoire, du réseau et de la sécurité. Les entreprises, les opérateurs de télécommunications et les fournisseurs de services Cloud peuvent à présent faire avancer leurs projets numériques les plus ambitieux, soutenus par une plateforme polyvalente et riche en fonctionnalités.
  • Mémoire persistante Intel® Optane™ DC. La mémoire persistante Intel Optane DC est une nouvelle catégorie de mémoire qui apporte une plus grande capacité aux cœurs (des téraoctets au lieu de gigaoctets par plate-forme) et est accessible via le bus mémoire. Cette technologie révolutionnaire offre une combinaison unique de grande capacité abordable et de support à la persistance des données. Elle est prise en charge par les processeurs Intel Xeon Scalable de 2ème génération.

Explorer les produits Intel® associés

Processeurs Intel® Xeon® Scalable

Générez des données exploitables, faites confiance à la sécurité assistée par matériel et mettez en place des prestations de services dynamiques avec les processeurs Intel® Xeon® Scalable.

En savoir plus

Mémoire persistante Intel® Optane™ DC

Extraire des données des informations plus exploitables - du cloud et des bases de données, à l'analyse en mémoire et aux réseaux de diffusion de contenu.

En savoir plus

Avis et avertissements

Les fonctionnalités et avantages des technologies Intel® dépendent de la configuration du système et peuvent nécessiter du matériel et des logiciels compatibles et l'activation de certains services. Les performances varient d'une configuration à une autre. Aucun ordinateur ne saurait être totalement sécurisé. Consultez le constructeur ou le revendeur de votre ordinateur.vous pouvez consulter le site https://www.intel.fr pour en savoir plus. // Les logiciels et charges de travail utilisés dans les tests de performance ont peut-être été optimisés uniquement pour les microprocesseurs Intel®. Les tests de performance tels que SYSmark* et MobileMark* portent sur des configurations, composants, logiciels, opérations et fonctions spécifiques. Les résultats peuvent varier en fonction de ces facteurs. Pour l'évaluation d'un produit, il convient de consulter d'autres tests et d'autres sources d'information, notamment pour connaître le comportement de ce produit avec d'autres composants. Pour des informations plus complètes, visitez https://www.intel.fr/benchmarks. // Les résultats de performances s'appuient sur les tests réalisés aux dates indiquées dans les configurations et peuvent ne pas refléter toutes les mises à jour de sécurité disponibles. Pour obtenir plus de détails, veuillez lire les informations de configuration. Aucun produit ou composant ne saurait être totalement sécurisé. // Les scénarios de réduction de coûts décrits sont fournis à titre d'exemples montrant comment un produit de technologie Intel® donné, dans les circonstances et configurations spécifiées, peut affecter les coûts futurs et entraîner des économies de coûts. Les circonstances peuvent varier selon les cas. Intel ne garantit aucun coût ni réduction de coûts. // Intel ne maîtrise et ne vérifie pas les bancs d'essai cités ici ou sur les sites Web mentionnés en référence. Vous êtes invité à consulter vous-même ces sites Web et à vérifier l'exactitude des données. // Dans certains cas, les résultats ont été estimés ou simulés à l'aide d'une analyse, d'une simulation ou d'une modélisation d'architecture réalisée en interne par Intel et sont mentionnés à titre indicatif. Toute différence matérielle, logicielle ou de configuration du système peut avoir une incidence sur vos performances effectives.

Infos sur le produit et ses performances

1

Les logiciels et charges de travail utilisés dans les tests de performance ont peut-être été optimisés uniquement pour les microprocesseurs Intel®. Configurations : indexation jusqu'à 3x et diminution de 80 % de la latence du cache - selon les tests de phoenixNAP et Panzura effectués à partir de mars 2019 sur Elasticsearch : processeur Intel® Xeon® Gold 6230, mémoire totale de 256 Go de RAM, 1,5 To de mémoire persistante Intel® Optane™ DC, HyperThreading : Activé, Turbo : Activé, ucode : 0x043, OS : ('centos-release-7-5.1804.el7.centos.x86_64'), Noyau : (3.10.0-862) vs. AWS i3xlarge (Intel) Instance, Elasticsearch, Mémoire : 30,5 Go, écran tactile : KVM, Type de stockage : EBS optimisé, Capacité du disque : 160 Go, Stockage total : 960 Go, Version Elasticsearch : 6.3.