Obtenez des réponses aux requêtes Databricks avec une cadence plus rapide de 31 % et économisez jusqu'à 30 % avec les VM Microsoft Azure Edsv4 dotées de processeurs évolutifs Intel® Xeon® de 2e génération

Databricks

  • Exécutez des requêtes d'aide à la décision avec une cadence plus rapide de 31 % avec les VM E8ds_v4 activées par les processeurs évolutifs Intel Xeon de 2e génération par rapport aux VM E8sv3 dotées des processeurs AMD EPYC.

  • Réduisez vos dépenses jusqu'à 30 % pour exécuter des requêtes d'aide à la décision grâce aux VM E8ds_v4 activées par les processeurs évolutifs Intel Xeon de 2e génération par rapport aux VM E8s_v3 dotées des processeurs AMD EPYC.

author-image

Par

Avec le moteur de requête vectorisé de Photon activé, ces VM ont fourni des performances de charge de travail d'aide à la décision supérieures à celles des VM Easv4 équipées de processeurs AMD EPYC™

Databricks et Databricks Lakehouse sont conçues pour stocker et analyser les quantités massives de données - structurées et non structurées - que les entreprises collectent. Plus vous pouvez analyser ces données rapidement, plus votre équipe pourra prendre de bonnes décisions commerciales rapidement en se basant sur les faits. Pour les applications d'entreprise gourmandes en mémoire telles que les charges de travail d'entreposage de données/de prise de décision, Microsoft Azure propose plusieurs séries de VM : les VM Edsv4 activées par les processeurs évolutifs Intel® Xeon® de 2e génération et les VM Easv4 équipées des processeurs AMD EPYC. Pour aider à sélectionner les VMs cloud pour les charges de travail d'aide à la décision, nous avons testé une charge de travail d'aide à la décision sur un cluster E8ds_v4 à 20 nœuds activé par Databricks Runtime 9.0. Nous avons ensuite testé la même charge de travail sur un cluster E8as_v4 à 20 nœuds, évaluant à nouveau le temps nécessaire pour répondre aux requêtes ainsi que le prix / les performances requis pour fournir des informations. Sur les deux ensembles de VM, nous avons activé Photon, un moteur de requête vectorisé capable d'accélérer les performances des requêtes SQL.

Nous avons constaté que les VM Edsv4 équipées de processeurs Intel Xeon de 2e génération offraient des performances de base de données plus rapides que les VM Easv4, réduisant ainsi le temps nécessaire pour répondre aux requêtes, tout en offrant une meilleure valeur globale.

Améliorez les performances de l'entrepôt de données avec les VM Edsv4

Nous avons effectué des tests à l'aide d'un banc d'essai d'aide à la décision dérivé de TPC-DS, qui mesure la performance de l'entrepôt de données dans le temps nécessaire pour réaliser un ensemble de requêtes. Des temps plus courts signifient des réponses plus rapides, ce qui peut réduire les coûts permanents de disponibilité des VM. Comme le montre la figure 1, les VM E8ds_v4 équipées de processeurs évolutifs Intel Xeon de 2e génération offraient de meilleures performances de charge de travail que les VM E8as_v4 équipées de processeurs AMD EPYC. Avec un ensemble de données de 1 To, la requête du cluster E8ds_v4 a permis de réduire le délai de traitement de 31 % par rapport au cluster E8as_v4. Avec un ensemble de données de 10 To, le cluster E8ds_v4 a permis de réduire le délai de traitement des requêtes de 23 % par rapport au cluster E8as_v4.

Figure 1. Temps de traitement relatif pour exécuter les 99 requêtes du banc d'essai d'aide à la décision sur un cluster VM E8ds_v4 équipé de Photon et de processeurs évolutifs Intel Xeon de 2e génération, comparé à un cluster E8as_v4 équipé de processeurs AMD EPYC sur des ensembles de données de 1 To et 10 To.

Gains de performances et de rentabilité

La performance n'est pas la seule chose à prendre en compte lors de la sélection des VM pour exécuter vos charges de travail Databricks. Le coût permanent de fonctionnement doit également être justifié sur le plan commercial. Nous avons déterminé le coût d'exécution des charges de travail en utilisant le prix à l'heure au moment des tests. Nous avons converti le temps total de traitement des requêtes de millisecondes en heures, combiné le coût horaire des instances et du stockage, et calculé le prix d'exécution par To pour les quatre scénarios. Comme le montre la figure 2, l'exécution de la prise en charge des décisions sur les VM Edsv4 offre une meilleure rentabilité qu'avec les VM Easv4. Pour un jeu de données de 1 To, le cluster E8ds_v4 activé par des processeurs évolutifs Intel® Xeon® de 2e génération offrait un rapport prix/performance inférieur de 30 % à celui du cluster E8as_v4 équipé de processeurs AMD EPYC. Le rapport prix/ performances pour le jeu de données de 10 To était similaire, le cluster E8ds_v4 réduisant le rapport prix/performances de 22 % par rapport au cluster E8as_v4.

Figure 2. Prix/performances normalisés pour l'exécution d'une charge de travail d'aide à la décision dans un environnement Databricks sur des VM Azure E8ds_v4 dotées de Photon par rapport à des VM E8as_v4 sur des ensembles de données de 1 et 10 To.

Conclusion

Les VM Microsoft Azure E8ds_v4 dotées de processeurs évolutifs Intel® Xeon® de 2e génération ont pris en charge les charges de travail avec une cadence plus rapide de 31 % par rapport aux VM E8as_v4 équipées de processeurs AMD EPYC. Cette amélioration de la performance a permis de réaliser des économies jusqu'à 30 %. Ces résultats montrent que les VM E8ds_v4 dotées de processeurs évolutifs Intel® Xeon® de 2e génération offrent un équilibre solide entre performances et prix pour l'exécution des charges de travail d'aide à la décision Databricks, ce qui permet à votre entreprise de traiter plus de données et d'obtenir des informations plus rapidement.

En savoir plus

Pour commencer à exécuter vos clusters Databricks sur des VM Microsoft Azure Edsv4 compatibles avec Photon et dotées de processeurs Intel Xeon Scalable de 2e génération, visitez le site https://docs.microsoft.com/en-us/azure/virtual-machines/edv4-edsv4-series.

Pour connaître tous les détails du test et les résultats montrant comment ces VM équipées de processeurs Intel Xeon Scalable de 2e génération se sont comportées par rapport aux VM équipées de processeurs de la génération précédente, lisez le rapport à l'adresse suivante : https://www.intel.fr/content/www/fr/fr/partner/workload/microsoft/enhance-databricks-azure-vms-benchmark.html.