SoftBank améliore la capacité des machines virtuelles et réduit les coûts

La vérification des performances de la mémoire persistante Intel® Optane™ améliore la capacité des machines virtuelles et réduit le coût de l'infrastructure.

En bref:

  • SoftBank, un opérateur de télécommunications, utilise plus de 10 000 machines virtuelles (VM) pour son infrastructure informatique interne, principalement pour ses systèmes critiques.

  • La division IT Infrastructure a décidé de transférer l'infrastructure de virtualisation sur un serveur équipé de la mémoire persistante Intel® Optane™, ce qui a permis de tripler la capacité des machines virtuelles1.

author-image

Par

Devenir plus qu'un simple opérateur et faire avancer la révolution de l'information

SoftBank Corp. développe diverses activités centrées sur les télécommunications mobiles, les services haut débit et les télécommunications fixes en se basant sur la philosophie de l'entreprise : « Information Revolution—Happiness for everyone ». L'entreprise, qui a géré les activités de télécommunications du groupe SoftBank pendant de nombreuses années, est entrée à la première section de la bourse de Tokyo en décembre 2018 et porte actuellement la révolution de l'information vers une nouvelle étape dans le cadre de sa stratégie « Beyond Carrier », qui dépasse le modèle commercial traditionnel dans le domaine des télécommunications en fournissant des services innovants dans un grand nombre de secteurs pour davantage de croissance.

Dans le domaine des télécommunications, SoftBank, Y!mobile et LINE MOBILE, un MVNO multi-opérateur, répondent à des besoins divers avec ces trois marques. SoftBank et Y!mobile fournissent des services uniques en coopération avec Yahoo!, l'un des plus grands portails Web du Japon. De plus, avec le développement de circuits à fibre optique pour les services de téléphonie fixe et d'entreprise, nous encourageons le développement et la démonstration technologique de nouvelles solutions de services utilisant des technologies sophistiquées telles que l'IA, l'IoT, la robotique et la conduite automatisée, en vue de leur mise en œuvre concrète avec l'arrivée du haut débit, de la grande capacité et de la faible latence de la 5G.

La division IT Infrastructure soutient la stratégie Beyond Carrier de l'entreprise qui ne cesse d'innover et de relever des défis. « Les services de télécommunications et leurs infrastructures sont devenus indispensables dans la vie de tous les jours et dans le monde des affaires, et leur importance est plus grande que jamais », a déclaré Tadashi Suzuki, Directeur, division IT Infrastructure, division Information Technology. « Le rôle de notre division informatique est de rechercher les dernières technologies tout en privilégiant la sécurité et la stabilité des communications, et de rendre les gens heureux grâce à la révolution de l'information. »

Validation des caractéristiques et des performances de la mémoire persistante Intel® Optane™ pour améliorer le taux de consolidation des serveurs

En tant qu'opérateur de télécommunications, SoftBank utilise plus de 10 000 machines virtuelles pour son infrastructure informatique interne, principalement pour ses systèmes critiques, les systèmes d'information utilisés par environ 45 000 employés de la société et de ses sociétés partenaires, les applications utilisées dans les opérations quotidiennes telles que les systèmes des centres d'appel, les systèmes des magasins ou les systèmes de facturation utilisés dans les magasins de téléphonie mobile, et les services aux consommateurs tels que les applications pour smartphones, les services Cloud, etc. Depuis la fusion de SoftBank Mobile, SoftBank BB, SoftBank Telecom et Y!mobile en 2015, l'entreprise a administré de multiples centres de données distribués et plus de 1 000 racks.

SoftBank a introduit une plateforme de virtualisation depuis plus de 10 ans pour améliorer l'efficacité de l'infrastructure, mais le matériel a vieilli et le nombre d'étapes opérationnelles en cas de panne a augmenté d'année en année. Suite à l'introduction de la plateforme de virtualisation adaptée à l'application commerciale, des hyperviseurs du commerce tels que VMware, Hyper-V, Xen, KVM, Openstack ont été mélangés sur la plateforme.

Avec plus de 1 000 machines virtuelles en plus chaque année, le besoin de racks supplémentaires dans le centre de données augmente également. Par conséquent, afin d'augmenter le taux de consolidation des serveurs et de réduire les coûts d'infrastructure, nous avons construit une plateforme de virtualisation intégrée unifiée avec VMware en 2018 et commencé à consolider les systèmes fonctionnant sur la précédente plateforme de virtualisation en juin 2019.

Toutefois, lorsque nous avons vérifié l'utilisation des ressources de l'infrastructure de virtualisation à la fin de la migration d'environ 1 000 machines virtuelles, nous avons constaté que le taux d'allocation de la mémoire avait presque atteint la limite (100 %), même si l'utilisation des processeurs pouvait être épargnée. La situation a inspiré le commentaire suivant à Kohei Tanemura, Directeur, département IT Infrastructure, division IT Infrastructure, division Information Technology.

« En raison du pic d'accès aux télécommunications, nous investissons dans une plateforme basée sur la capacité de la saison de forte affluence. Bien que l'utilisation des processeurs fluctue, la mémoire initialement allouée est fixe et réservée, et peut venir à manquer en premier. De plus, par rapport aux processeurs qui peuvent allouer plus de ressources virtuelles que de ressources physiques avec un surengagement, le surengagement de la mémoire n'est pas recommandé et les ressources mémoire seront épuisées en premier lorsqu'on essaiera d'augmenter le taux de consolidation. »

Pour résoudre ces problèmes, SoftBank s'est focalisé sur la mémoire persistante Intel® Optane™, une mémoire non volatile qui offre à la fois des performances d'accès élevées et une grande capacité. Dès sa commercialisation par Intel en avril 2019, l'entreprise l'a immédiatement adoptée et a décidé de déterminer si elle pouvait ou non être incorporée à la plateforme de virtualisation intégrée, ainsi que de vérifier son fonctionnement et son utilité. « L'objectif est d'étudier la conception de serveur qui sera introduite à l'avenir et de vérifier si elle peut contribuer à augmenter le taux de consolidation des serveurs », rappelle Yusuke Omiya, responsable au sein du département IT Infrastructure.

Vérification du déploiement, du fonctionnement, des performances et de la conception dans une configuration similaire à celle de l'environnement commercial

La division IT Infrastructure a obtenu deux serveurs équipés de mémoire persistante Intel® Optane™ comme machines d'évaluation et a décidé de procéder à des vérifications dans une configuration similaire à celle d'un environnement commercial. L'entreprise fournit un environnement commercial comportant 16 serveurs, deux périphériques réseau et une unité de stockage dans un même rack de serveur. Cette fois, deux des 16 serveurs du rack ont été remplacés par des machines d'évaluation, et la vérification a été effectuée sans modifier la configuration du réseau, du stockage ou de l'environnement de virtualisation de VMware. « Notre entreprise augmente la disponibilité grâce à un couplage souple dans chaque unité de rack. Ainsi, même si une défaillance se produit, l'effet est limité à l'intérieur du rack et n'affecte donc pas l'ensemble », explique Omiya. Voici le résumé de la vérification.

Machine d'évaluation

Serveur n°1

  • Processeur : Intel® Xeon® Gold 6252
  • Mémoire : 12 modules de mémoire persistante Intel® Optane™ de 128 Go (1,5 To)
  • Mémoire cache : DRAM de 16 Go x 12 (192 Go)
  • SSD : SATA de 480 Go, NVMe* de 4 To
  • Carte réseau NIC : 10 Gb à deux ports

Serveur n°2

  • Processeur : Intel® Xeon® Platinum 8260L
  • Mémoire : 12 modules de mémoire persistante Intel® Optane™ de 256 Go (3,0 To)
  • Mémoire cache : DRAM de 32 Go x 12 (384 Go)
  • SSD : SATA de 480 Go, NVMe* de 4 To
  • Carte réseau NIC : 10 Gb à deux ports

Calendrier de validation

La validation a été effectuée sur une période de trois mois, de juillet à septembre 2019. Au cours du premier mois, l'entreprise a mené une enquête environnementale, procédé à des ajustements internes et créé un plan de vérification spécifique. À partir du mois d'août, elle a commencé à travailler sur le site du centre de données et a créé un environnement de vérification. La vérification à proprement parler a commencé la deuxième semaine d'août. Les vérifications fonctionnelles et de performances ont été effectuées en trois semaines environ. En septembre, période pendant laquelle le changement des configurations de l'environnement de vérification était interdit, un test de longue durée a été effectué, au cours duquel le fonctionnement a été maintenu durant un mois tout en maintenant la charge des processeurs à presque 100 %. Sur la base des résultats de la vérification des performances, la conception en vue d'une application réelle a commencé.

Éléments de validation

Dans le cadre de cette vérification, les neuf tests suivants ont été effectués pour quatre éléments : le déploiement, les fonctionnalités, les performances et la conception. Les éléments de validation conviennent également à un usage commercial et couvrent tous les aspects, de l'installation initiale aux tests de fonctionnement et de performance, en passant par la mesure de la consommation énergétique. Omiya indique également : « Un point important dans les opérations de production est la consommation énergétique. Nous gérons plus de 1 000 racks dans plusieurs centres de données, mais la consommation électrique disponible par rack est fixe. Nous devions donc nous assurer qu'elle se trouvait dans la fourchette acceptable pour cette vérification. »

Déploiement

  • Installation : le système d'exploitation peut être installé en utilisant les procédures standard internes
  • Ajout vCenter/Cluster : possibilité d'ajouter à vCenter/Cluster

Fonctionnalités

  • Fonctions de base : vérification des fonctions de base de VMware telles que le déploiement de machines virtuelles, vMotion, DRS
  • Test de résistance : test de VMware HA et de l'environnement mixte des serveurs en coupant l'alimentation
  • Test de longue durée : avec une charge de processeur de 100 % pendant 1 mois au cours de la période de prêt de la machine d'évaluation

Performances

  • Bancs d'essai : bancs d'essai sur les serveurs avec mémoire persistante Intel Optane
  • Comparaison des bancs d'essai : comparer les résultats des bancs d'essai avec les serveurs existants

Conception

  • Mesure de la consommation énergétique : mesure de la consommation énergétique requise pour la conception
  • Conception provisoire : conception provisoire lors de l'introduction de la mémoire persistante Intel Optane

Résultats de validation

Le déploiement et les vérifications fonctionnelles ont été effectués avec succès et ont permis de constater que cette solution peut être utilisée dans un environnement commercial. Les résultats de la vérification des performances des serveurs à l'aide du banc d'essai UnixBench sont les suivants. Les machines de vérification équipées du processeur Intel Xeon® Gold 6252 ont affiché des valeurs plus élevées que la machine actuelle équipée du processeur Intel® Xeon® Silver 4114 lors de la configuration et de la mesure d'une machine virtuelle 8 cœurs de 32 Go.

La mesure de la latence de la mémoire avec le banc d'essai LMbench3 n'a montré aucun changement significatif pour une VM 8 cœurs de 32 Go. Lors de la configuration et de la mesure d'une VM 8 cœurs de 384 Go, la latence maximale était d'environ 110 ns dans l'environnement existant, contre environ 340 ns dans l'environnement serveur du processeur Intel Xeon Gold 6252 avec mémoire persistante Intel Optane.

Cela est probablement dû au fait que la capacité de mémoire de la VM est de 384 Go et que les données ont augmenté puisque la mémoire tampon de la DRAM (384 Go) a été saturée et que des données ont été écrites sur la mémoire persistante Intel Optane. Finalement, SoftBank a constaté qu'il n'y avait pas de problème lors de l'utilisation des applications pour les tests.

« Toutes les plateformes de virtualisation lancées après février 2020 seront remplacées par la mémoire persistante Intel Optane. Nous commencerons avec environ 300 serveurs intégrant la mémoire persistante Intel Optane, que nous ferons migrer et que nous exploiterons. » — Kohei Tanemura, Directeur, département IT Infrastructure, division IT Infrastructure, division Information Technology

Le coût estimé par VM peut être réduit de 41 % par rapport à l'année précédente

Les résultats de la vérification ont montré que la capacité d'allocation de mémoire par VM pouvait être améliorée de 33 %1 et que l'on pouvait héberger jusqu'à trois fois plus de VM. Pour les achats effectifs, l'entreprise a adopté le processeur Intel® Xeon® Gold 6222V, qui possède un nombre similaire de cœurs et offre une faible consommation énergétique. De ce fait, le prix unitaire par VM est également estimé être inférieur de 41 % aux coûts d'achat du premier semestre de 2018. L'entreprise prévoit d'augmenter le coût unitaire des serveurs de 15 % par serveur, mais les taux de consolidation plus élevés réduiront le nombre de serveurs et les coûts de licence de VMware, diminuant ainsi le coût global.

En augmentant le ratio de consolidation par serveur physique, le nombre d'installations de racks pour la demande annuelle est également réduit, ce qui permet de rentabiliser davantage l'espace du centre de données. Le stockage partagé devrait également diminuer proportionnellement au nombre de racks.

Remplacement de toute l'infrastructure de virtualisation intégrée par la mémoire persistante Intel Optane

La division IT Infrastructure a décidé d'acheter des serveurs avec mémoire persistante Intel Optane à partir de la seconde moitié de 2019, car les résultats de la vérification ont été conformes aux attentes. « Toutes les plateformes de virtualisation lancées après février 2020 seront remplacées par la mémoire persistante Intel Optane. Nous commencerons avec environ 300 serveurs intégrant la mémoire persistante Intel Optane, que nous ferons migrer et que nous exploiterons », a déclaré Tanemura.

La division IT Infrastructure, qui est passée à une nouvelle plateforme de virtualisation, envisage maintenant de recourir à la mémoire persistante Intel Optane pour les bases de données et le Multi Access Edge Computing (MEC). De plus, les résultats de cette vérification sont transmis au département de développement d'applications et au département DevOps de la division informatique. « L'épuisement de la mémoire des machines virtuelles est un problème qui concerne tous les services. Nous partagerons activement les informations afin d'améliorer l'efficacité des systèmes à l'échelle de l'entreprise. Nous sommes impatients de recevoir les dernières informations d'Intel », déclare Suzuki.

Mémoire persistante Intel® Optane™

Mémoire à faible coût, de grande capacité et à faible latence avec des performances proches de celles de la mémoire DRAM (jusqu'à 40 fois plus rapide que les SSD classiques). De plus, comme il s'agit d'une mémoire non volatile, les données sont conservées même si le serveur est mis hors tension en raison d'une panne ou autre.

Il dispose de deux modes de fonctionnement : le mode « App Direct Mode » qui fonctionne comme une mémoire non volatile à ultra-haute vitesse et le mode « Memory Mode » qui peut être utilisé comme une mémoire de grande capacité de la même manière qu'une DRAM ordinaire. Le mode mémoire est moins cher en unités d'octets, il peut donc être utilisé comme une RAM peu coûteuse avec des performances proches de celles d'une DRAM.

Enjeux

  • Réduire l'espace des centres de données
  • Réduire le coût des serveurs
  • Plus de mémoire par serveur

Solution

  • Mémoire persistante Intel® Optane™
  • Processeur Intel Xeon Gold 6222V

Résultats

  • Réponse rapide
  • 33 % de mémoire supplémentaire allouée par VM1.
  • Jusqu'à 3 fois plus de capacité de VM1.
  • Prix unitaire par VM réduit de 41 %1.
  • Améliorer l'efficacité de l'espace des centres de données

SoftBank Corp.

Création : 9 décembre 1986

Capital : 204 309 millions de yens (au 31 mars 2019)

Ventes : 3 746,3 milliards de yens (année fiscale clôturée en mars 2019)

Employés : environ 17 100 (au 31 mars 2019)

Activités commerciales : fourniture de services de communications mobiles, vente d'appareils mobiles, fourniture de services de télécommunications fixes, fourniture de services de connexion Internet

Télécharger le PDF ›