ID de l'article: 000058227 Type de contenu: Information et documentation de produit Dernière révision: 06/06/2023

OpenVINO™ le temps d’inférence augmente lors de l’exécution de plusieurs processus

Environnement

UbuntuOpenVINO 2021.2

BUILT IN - ARTICLE INTRO SECOND COMPONENT
En bref

Étape rapide permettant de lier plusieurs processus d’inférence à différents CPU

Descriptif

Le temps d’inférence double lors de l’exécution de deux processus pour inférer le même modèle.

  • Utiliser OpenVINO™ pour inférer un modèle.
  • Le temps d’inférence est d’environ 300 ms lors de l’exécution d’un seul processus.
  • Lors de l’utilisation de deux processus, le temps d’inférence pour les deux processus devient de 600 ms.
Résolution
  1. Ajoutez la commande suivante dans le script main.cpp .

    ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")

  2. Créez la démo.
Informations complémentaires
  • La valeur par défaut de la configuration KEY_CPU_BIND_THREAD est OUI.
  • Sous Linux*, ces deux processus se lient au même cœur de processeur et doublent le temps d’inférence.
  • Configurer la configuration de l’KEY_CPU_BIND_THREAD config à AUCUN thread d’inférence nonbinds à partir des cœurs de processeur sur Windows* et Linux*.

Reportez-vous aux paramètres de configuration pris en charge pour plus d’informations sur les paramètres de configuration du plugin CPU.

Produits associés

Cet article concerne 2 produits

Le contenu de cette page est une combinaison de traduction humaine et informatique du contenu original en anglais. Ce contenu vous est fourni pour votre commodité et à titre informatif seulement et ne saurait être totalement exact ou complet. En cas de contradiction entre la version anglaise de cette page et la traduction, c'est la version anglaise qui prévaut. Afficher la version anglaise de cette page.