Obtenez jusqu’à 64 % d’amélioration des performances de travail de l’inférence DE TAILLE GRANDE en sélectionnant les instances AWS M6i équipées de processeurs Intel® Xeon® scalables de 3e génération

GRANDE TAILLE :

  • Bénéficiez de jusqu’à 64 % d’amélioration des performances DE LA TAILLE sur les instances m6i.16xlarge 64 vCPU équipées de processeurs Intel Xeon Scalable de 3e génération par rapport aux instances m5n.16xlarge.

  • Traitez jusqu’à 40 % de débit PLUS VOLUMINEUx sur des instances m6i.8xlarge 32 vCPU équipées de processeurs Intel Xeon Scalable de 3e génération par rapport aux instances m5n.8xlarge.

author-image

Par

Pour différentes tailles d’instances, les instances M6i ont effectué plus d’opérations d’inférence par seconde que les instances M5n avec des processeurs Intel Xeon scalables de 2e génération

Les entreprises utilisent des charges de travail d’inférence automatique du langage naturel pour diverses applications commerciales, telles que des chatbots qui analysent le texte typé par les clients et d’autres utilisateurs. Ce type de travail entraîne de grandes exigences en matière de ressources de calcul, ce qui rend très important la sélection d’instances Cloud hautes performances.

NOUS avons choisi de mesurer les performances de deux types d’instances Cloud Amazon Web Services (AWS) EC2 pour le traitement du langage naturel à usage général (NLP). Nous avons testé deux tailles d’instances M6i avec des processeurs Intel Xeon scalable de 3e génération et des instances M5n avec des processeurs Intel Xeon scalable de 2e génération. Nous avons constaté que 32 instances vCPU et 64 instances vCPU M6i équipées de processeurs Intel Xeon Scalable de 3e génération ont toutes deux surpassé leurs 2e génération de traitements m5n. Sur la base de ces résultats, les entreprises peuvent offrir à leurs utilisateurs une expérience plus rapide en optant pour des instances M6i.

Instances M6i avec 64 vCPU

Pour comparer les performances d’inférence DE GRANDE taille des deux instances AWS, nous avons utilisé le cadre TensorFlow. Comme le montre la Figure 1, l’instance m6i.16xlarge 64 vCPU activée par les processeurs Intel Xeon Scalable de 3e génération offre un débit 64 % plus élevé que l’instance m5n.16xlarge avec les processeurs Intel Xeon Scalable de 2e génération.

Figure 1. LES PERFORMANCEs d’inférence LARGE obtenues par une instance m6i.16xlarge avec des processeurs Intel Xeon Scalable de 3e génération et par une instance m5n.16xlarge avec des processeurs Intel Xeon Scalable de 2e génération. Les tests ont utilisé la précision INT8, la taille du lot de 1 et la longueur de séquence de 384. Le plus élevé est le meilleur.

Instances M6i avec 32 vCPU

Comme le montre la Figure 2, l’instance m6i.8xlarge 32 vCPU activée par les processeurs Intel® Xeon® Scalable de 3e génération offre un débit 40 % plus élevé que l’instance m5n.8xlarge avec les processeurs Intel Xeon scalable de 2e génération.

Figure 2. INFOGRAPHIE - Performances d’inférence de grande taille obtenues par une instance m6i.8xlarge avec des processeurs Intel Xeon Scalable de 3e génération et par une instance m5n.8xlarge avec des processeurs Intel Xeon Scalable de 2e génération. Les tests ont utilisé la précision INT8, la taille du lot de 1 et la longueur de séquence de 384. Le plus élevé est le meilleur.

Conclusion

Nous avons testé les performances d’inférence du traitement du langage naturel DANS LE LANGAGE NATUREL DE GRANDE TAILLE pour deux instances AWS : les instances M6i équipées de processeurs Intel Xeon scalable de 3e génération et d’instances M5n équipées de processeurs Intel Xeon scalable de 2e génération. Avec deux tailles différentes, les instances M6i ont surpassé les instances M5n de 64 %. Pour offrir une expérience plus rapide à vos clients et à vos autres utilisateurs, exécutez vos charges de travail d’inférence NLP sur les instances Amazon M6i avec des processeurs Intel Xeon Scalable de 3e génération.

Pour en savoir plus

Pour commencer à exécuter vos charges de travail d’inférence NLP sur les instances Amazon M6i avec des processeurs Intel Xeon Scalable de 3e génération, consultez https://aws.amazon.com/ec2/instance-types/m6i/.

Tests de VM uniques réalisés par Intel le 30/11/2021. Toutes les RMA configurées avec Ubuntu 20.04 LTS, 5.11.0-1022-aws, stockage EBS, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7, conteneurd=1.5.5, modèle LEUR, taille du lot 1, longueur de séquence 384, précision INT8. Détails de l’instance : m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum processeur 8375C @ 2,90 GHz, 128 Go de mémoire DDR4 au total ; m5n.8xlarge, 32vcpus, Intel® Xeon® Platinum processeur 8259CL @ 2,50 GHz, 128 Go de mémoire DDR4 au total ; m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum processeur 8375C @ 2,90 GHz, 256 Go de mémoire DDR4 au total ; m5n.16xlarge, 64vcpus, Intel® Xeon® Platinum processeur 8259CL @ 2,50 GHz, 256 Go de mémoire DDR4 au total.

Le contenu de cette page est une combinaison de traduction humaine et informatique du contenu original en anglais. Ce contenu vous est fourni pour votre commodité et à titre informatif seulement et ne saurait être totalement exact ou complet. En cas de contradiction entre la version anglaise de cette page et la traduction, c'est la version anglaise qui prévaut. Afficher la version anglaise de cette page.