ID de l'article: 000089522 Type de contenu: Maintenance et performances Dernière révision: 20/11/2023

Performances d’inférence plus lentes sur Stick de calcul neuronal Intel® 2 (Intel® NCS2) par rapport au processeur

BUILT IN - ARTICLE INTRO SECOND COMPONENT
En bref

Le processeur a plus de puissance de calcul que Intel® NCS2 de sorte qu’il devrait s’exécuter plus rapidement lors de l’inférence du même modèle

Descriptif
  • Utilisé Intel® Core™ i7 processeur pour exécuter benchmark_app.py avec -m model.xml, avec entrée aléatoire générée
  • Les performances sur NCS2 sont plus lentes que sur CPU :

    Pour NCS2 :
    [ INFO ] First inference took 33.88 ms
    [Step 11/11] Dumping statistics report
    Count: 2596 iterations
    Duration: 60141.63 ms
    Latency: 92.60 ms
    Throughput: 5525.09 FPS

    Pour le processeur :
    [ INFO ] First inference took 17.07 ms
    [Step 11/11] Dumping statistics report
    Count: 148124 iterations
    Duration: 60001.79 ms
    Latency: 1.61 ms
    Throughput: 315988.43 FPS

Résolution

Les performances du processeur devraient être meilleures par rapport à Intel® NCS2 car le processeur a plus de puissance de calcul.

Intel® NCS2'est un dispositif d’accélération qui aiderait dans certaines situations, en particulier lorsqu’une puissance de calcul supplémentaire est nécessaire.

De plus, le processeur nécessite le format de modèle FP32 tandis que Intel® NCS2 nécessite le format de modèle FP16. FP16 peut avoir une erreur de quantification car il est extrait d’un modèle de précision complète pour le rendre plus petit. Cela affecterait la précision et les performances.

Les performances signifient la vitesse de déploiement du modèle avec deux mesures clés : la latence et le débit.

En OpenVINO™, il existe deux approches pour améliorer les performances :

Pendant le développement : outil d’optimisation post-entraînement (POT), Neural Network Compression Framework (NNCF), Model Optimizer.

Pendant le déploiement : réglage des paramètres d’inférence et optimisation de l’exécution du modèle.

Il est possible de combiner les deux approches.

Produits associés

Cet article concerne 2 produits

Le contenu de cette page est une combinaison de traduction humaine et informatique du contenu original en anglais. Ce contenu vous est fourni pour votre commodité et à titre informatif seulement et ne saurait être totalement exact ou complet. En cas de contradiction entre la version anglaise de cette page et la traduction, c'est la version anglaise qui prévaut. Afficher la version anglaise de cette page.