Quelle est la relation entre la complexité d’un modèle et son débit d’inférence ?

Impossible de déterminer pourquoi l’outil de banc d’essai rapporte des FPS d’inférence similaires pour deux modèles de complexités très différentes, ce qui est défini par les opérations en virgule flottante giga (GFLOPs).

• Un nombre plus élevé de FLOP est directement proportionnel à un nombre réduit de FPS. Cependant, il n’y a pas de comparaison équitable entre le FPS et les FLOP.
• Facteurs pouvant affecter le FPS obtenu à partir de Benchmark Tool :
  • Exécution en mode synchrone et asynchrone
  • Nombre de flux
  • Nombre de demandes d’inférence