Bénéficiez d'un débit Apache Kafka® sur Confluent Platform™ jusqu'à 90 % supérieur avec des instances AWS EC2 R5 équipées de processeurs Intel® Xeon® Scalable de 2ᵉ génération

Kafka

  • Bénéficiez d'un débit Apache Kafka® jusqu'à 90 % supérieur sur des instances AWS r5.xlarge équipées de processeurs Intel Xeon Scalable de 2ᵉ génération par rapport aux instances AWS r4.xlarge.

  • Bénéficiez d'un débit Apache Kafka® jusqu'à 23 % supérieur sur des instances AWS r5.xlarge équipées de processeurs Intel Xeon Scalable de 2ᵉ génération par rapport aux instances AWS c5.xlarge.

author-image

Par

Les instances R5 ont surpassé les instances R4 et les instances C5 équipées de processeurs de la même génération ou de génération précédente

Les organisations qui cherchent à exécuter des charges de travail de streaming de données en temps réel sur Cloud Amazon Web Services (AWS) EC2 peuvent éprouver des difficultés à discerner quel type d'instance offre les performances Kafka dont elles ont besoin. Pour montrer les différences qu'offrent les instances AWS populaires, nous avons comparé les performances d'Apache Kafka® sur Confluent Platform™ sur trois types d'instances dans un environnement conteneurisé Kubernetes :

  • Instances AWS R5 équipées de processeurs Intel® Xeon® Scalable de 2ᵉ génération
  • Instances AWS R4 équipées de processeurs Intel Xeon E5-2686 v4
  • Instances AWS C5 équipées de processeurs Intel Xeon Scalable de 1re ou 2e génération

En utilisant le test de performance Kafka Producer intégré à Apache Kafka 2.7.0, les instances AWS R5 équipées de processeurs Intel Xeon Scalable de 2ᵉ génération ont amélioré de 90 % le débit de Kafka sur Confluent Platform par rapport aux instances R4 de génération précédente. Cela montre que pour les charges de travail de plateforme de données en temps réel, la sélection d'instances AWS R5 équipées d'une technologie de processeur plus récente peut offrir de meilleures performances de streaming Kafka sur Confluent Platform que les instances basées sur des générations de processeurs précédentes. De plus, les instances R5 optimisées pour la mémoire offrent 23 % de débit supplémentaire que les instances C5 optimisées pour le calcul. Le traitement et le transfert plus rapides des données dans le pipeline permet à ces instances de traiter davantage de demandes clients par instance sans latence notable.

Bénéficiez de meilleures performances Kafka avec des instances AWS R5

La première phase de tests comparait des clusters de 12 nœuds de deux types d'instances optimisées pour la mémoire : les instances AWS R5 équipées de processeurs Intel Xeon Scalable de 2ᵉ génération aux anciennes instances R4 (voir Figure 1). Grâce en partie aux nouveaux processeurs, le débit de Kafka avec les instances R5 était près de deux fois supérieur à celui des instances R4 équipées de processeurs plus anciens.

Figure 1. Débit Apache Kafka relatif d'instances AWS R4 par rapport aux instances AWS R5 équipées de processeurs Intel Xeon Scalable de 2ᵉ génération. Plus les chiffres sont élevés, mieux c'est.

Comparaison des performances de Kafka sur tous les types d'instances

Comme le montre la Figure 2, les clusters de 12 nœuds d'instances AWS R5 optimisées pour la mémoire équipés de processeurs Intel® Xeon® Scalable de 2ᵉ génération ont également surpassé les clusters de 12 nœuds d'instances AWS R5 optimisées pour le calcul exécutées sur des processeurs Intel Xeon Scalable de 1ʳᵉ ou 2ᵉ génération. Par rapport aux instances C5, les instances AWS R5 offrent à Kafka un de débit 23 % supérieur : une forte augmentation du nombre d'événements que chaque instance peut gérer.

Figure 2. Débit Apache Kafka relatif d'instances AWS C5 par rapport aux instances AWS R5 équipées de processeurs Intel Xeon Scalable de 2e génération. Plus les chiffres sont élevés, mieux c'est.

Configurations utilisées pour les tests

La Figure 3 montre comment nous avons configuré chaque cluster Apache Kafka lors de nos tests pour chaque type de VM.

Figure 3. Les VM du cluster Apache Kafka dans chaque configuration.

Conclusion

Avec des plateformes distribuées de streaming d'événements, les organisations veulent traiter les transactions et les interactions avec les clients en temps réel, sans retard important. Ces tests montrent que les entreprises qui exécutent Apache Kafka sur Confluent Plateform sur le Cloud AWS peuvent gérer plus d'événements en sélectionnant des instances AWS R5 équipées de processeurs Intel Xeon Scalable de 2ᵉ génération, ce qui leur permet d'offrir des performances supérieures et évolutives aux clients.

Plus d'infos

Pour commencer à exécuter des charges de travail Kafka sur des instances Amazon EC2 R5, rendez-vous sur https://aws.amazon.com/ec2/instance-types/r5/.

Tests de cluster de 12 VM exécutés par Intel en juillet-août 2021. Toutes configurations de stockage sur CentOS 7 3.10.0-1160.6.1.el7.x86_64 Confluent Platform 6.0.0-post openjdk version « 1.8.0_292 » Apache Kafka 2.7.0 (test de performances de Kafka Producer), paramètres de Producer : vitesse d'ingestion : 120 000 enregistrements/sec, taille des enregistrements : 1 ko, durée d'exécution : 10 min, nombre de sujets : 1, partitions de sujet : 24, Paramètres de courtage : log.dirs:/dev/sda1(EBS), num.io.threads:16, num.network.threads:8, num.partitions:1. VM : r4.xlarge, 4vcpus, Intel Xeon® E5-2686 v4, 30,5 Go de mémoire DDR4 totale ; r5.xlarge, 4vcpus, processeurs Intel Xeon® Platinum série 8000, 32 Go de mémoire DDR4 totale ; c5.xlarge, 4vcpus, processeurs Intel Xeon® Platinum série 8000, 8 Go de mémoire DDR4 totale.