Pour différentes tailles d’instances, les instances M6i ont effectué plus d’opérations d’inférence par seconde que les instances M5n avec des processeurs Intel Xeon scalables de 2e génération
Les entreprises utilisent des charges de travail d’inférence automatique du langage naturel pour diverses applications commerciales, telles que des chatbots qui analysent le texte typé par les clients et d’autres utilisateurs. Ce type de travail entraîne de grandes exigences en matière de ressources de calcul, ce qui rend très important la sélection d’instances Cloud hautes performances.
NOUS avons choisi de mesurer les performances de deux types d’instances Cloud Amazon Web Services (AWS) EC2 pour le traitement du langage naturel à usage général (NLP). Nous avons testé deux tailles d’instances M6i avec des processeurs Intel Xeon scalable de 3e génération et des instances M5n avec des processeurs Intel Xeon scalable de 2e génération. Nous avons constaté que 32 instances vCPU et 64 instances vCPU M6i équipées de processeurs Intel Xeon Scalable de 3e génération ont toutes deux surpassé leurs 2e génération de traitements m5n. Sur la base de ces résultats, les entreprises peuvent offrir à leurs utilisateurs une expérience plus rapide en optant pour des instances M6i.
Instances M6i avec 64 vCPU
Pour comparer les performances d’inférence DE GRANDE taille des deux instances AWS, nous avons utilisé le cadre TensorFlow. Comme le montre la Figure 1, l’instance m6i.16xlarge 64 vCPU activée par les processeurs Intel Xeon Scalable de 3e génération offre un débit 64 % plus élevé que l’instance m5n.16xlarge avec les processeurs Intel Xeon Scalable de 2e génération.
Instances M6i avec 32 vCPU
Comme le montre la Figure 2, l’instance m6i.8xlarge 32 vCPU activée par les processeurs Intel® Xeon® Scalable de 3e génération offre un débit 40 % plus élevé que l’instance m5n.8xlarge avec les processeurs Intel Xeon scalable de 2e génération.
Conclusion
Nous avons testé les performances d’inférence du traitement du langage naturel DANS LE LANGAGE NATUREL DE GRANDE TAILLE pour deux instances AWS : les instances M6i équipées de processeurs Intel Xeon scalable de 3e génération et d’instances M5n équipées de processeurs Intel Xeon scalable de 2e génération. Avec deux tailles différentes, les instances M6i ont surpassé les instances M5n de 64 %. Pour offrir une expérience plus rapide à vos clients et à vos autres utilisateurs, exécutez vos charges de travail d’inférence NLP sur les instances Amazon M6i avec des processeurs Intel Xeon Scalable de 3e génération.
Pour en savoir plus
Pour commencer à exécuter vos charges de travail d’inférence NLP sur les instances Amazon M6i avec des processeurs Intel Xeon Scalable de 3e génération, consultez https://aws.amazon.com/ec2/instance-types/m6i/.
Tests de VM uniques réalisés par Intel le 30/11/2021. Toutes les RMA configurées avec Ubuntu 20.04 LTS, 5.11.0-1022-aws, stockage EBS, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7, conteneurd=1.5.5, modèle LEUR, taille du lot 1, longueur de séquence 384, précision INT8. Détails de l’instance : m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum processeur 8375C @ 2,90 GHz, 128 Go de mémoire DDR4 au total ; m5n.8xlarge, 32vcpus, Intel® Xeon® Platinum processeur 8259CL @ 2,50 GHz, 128 Go de mémoire DDR4 au total ; m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum processeur 8375C @ 2,90 GHz, 256 Go de mémoire DDR4 au total ; m5n.16xlarge, 64vcpus, Intel® Xeon® Platinum processeur 8259CL @ 2,50 GHz, 256 Go de mémoire DDR4 au total.