Création d’un kit d’outils open source OpenVINO™ pour le système d’exploitation Raspbian* et le Stick de calcul neuronal Intel® 2

Matériel

• Raspberry Pi* 4 (Raspberry Pi* 3 Modèle B+ devrait fonctionner.)
• Au moins une carte microSD de 8 Go
• Stick de calcul neuronal Intel® 2
• Connexion Internet Ethernet ou réseau sans fil compatible
• Carte d’alimentation DC dédiée

Système d’exploitation cible

• Raspbian* Stretch, 32 bits

• Buster Raspbian*, 32 bits

Assurez-vous que le logiciel de votre appareil est à jour :

sudo apt update && sudo apt upgrade -y

Certaines des dépendances du kit d’outils ne possèdent pas de binaires ARMv7 pré-construits et doivent être construits à partir de la source. Cela permet d’augmenter considérablement le temps de construction par rapport aux autres plateformes. La préparation de la construction du kit d’outils nécessite les étapes suivantes :

sudo apt install build-essential lib-clang11-dev clang-11 clang-format-9

Récupérez CMake à partir de la page de version de Kitware* GitHub*, extrayez-le et entrez le dossier extrait :

cd ~/

wget https://github.com/Kitware/CMake/releases/download/v3.25.0/cmake-3.25.0.tar.gz

tar xvzf cmake-3.25.0.tar.gz

cd ~/cmake-3.25.0

Exécutez le script boots script pour installer des dépendances supplémentaires commencent la compilation :

./bootstrap

make -j4

sudo make install

Vous pouvez vérifier le nombre de cœurs sur votre système à l’aide de la commande :

grep -c ^processor /proc/cpuinfo

Sachez que le réglage du nombre trop élevé peut entraîner des dépassements de mémoire, ce qui entraîne un échec de la construction. Si le temps le permet, nous vous recommandons d’exécuter 1 à 2 tâches.

Intel® OpenVINO™ kit d’outils utilise la puissance d’OpenCV* pour accélérer l’inférence basée sur la vision. Alors que le processus CMake pour le kit d’outils Intel® OpenVINO™ télécharge OpenCV* si aucune version n’est installée pour les plateformes prises en charge, aucune version spécifique n’existe pour les plateformes ARMv7. En tant que tel, vous devez créer OpenCV à partir de la source.

OpenCV nécessite des dépendances supplémentaires. Installez les éléments suivants depuis votre gestionnaire de packages :

sudo apt install git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev libatlas-base-dev python3-scipy 

Clonez le référentiel sur la page OpenCV* GitHub, préparez l’environnement de build et construisez :

cd ~/

git clone --depth 1 --branch 4.5.5-openvino-2022.1.0 https://github.com/opencv/opencv.git

cd opencv && mkdir build && cd build

cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local ..

make -j4

sudo make install

La version open-source du kit d’outils Intel® OpenVINO™ est disponible sur GitHub. Le dossier référentiel est intitulé Openvino.

cd ~/

git clone --recurse-submodules --single-branch --branch=2022.1.0 https://github.com/openvinotoolkit/openvino.git

Intel® OpenVINO™ kit d’outils a un certain nombre de dépendances de construction. Le script install_build_dependencies.sh les récupérer pour vous. En cas de problèmes lors de la tentative d’exécution du script, vous devez installer chaque dépendance individuellement.

Exécutez le script pour installer les dépendances du kit d’outils Intel® OpenVINO™ :

sudo ./install_build_dependencies.sh

Si le script a terminé correctement, vous êtes prêt à créer le kit d’outils. Si quelque chose a échoué à ce stade, assurez-vous que vous installez toutes les dépendances répertoriées et réessayez.

La première étape pour commencer la compilation est de savoir où se trouve le système avec OpenCV. Utilisez la commande suivante :

export OpenCV_DIR=/usr/local/lib/cmake/opencv4

Pour créer l’emballage de l’API Python, installez tous les packages supplémentaires répertoriés dans le fichier /inference-engine/ie_bridges/python/requirements.txt :

python3 -m pip install --upgrade pip

python3 -m pip install clang==11.0 pyaml

python3 -m pip install -r ~/openvino/src/bindings/python/src/compatibility/openvino/requirements-dev.txt

python3 -m pip install -r ~/openvino/src/bindings/python/wheel/requirements-dev.txt

Le kit d’outils utilise un système CMake Building pour guider et simplifier le processus de construction. Pour créer à la fois le moteur d’inférence et le plugin MYRIAD pour Stick de calcul neuronal Intel® 2, utilisez les commandes suivantes :

cd ~/openvino

mkdir build && cd build

cmake -DCMAKE_BUILD_TYPE=Release \

-DCMAKE_INSTALL_PREFIX=/home/pi/openvino_dist \

-DENABLE_INTEL_MYRIAD=ON \

-DENABLE_INTEL_CPU=OFF \

-DENABLE_INTEL_GPU=DÉSACTIVÉ \

-DENABLE_CLDNN=OFF \

-DENABLE_AUTO=OFF \

-DENABLE_MULTI=OFF \

-DENABLE_HETERO=OFF \

-DENABLE_TEMPLATE=OFF \

-DENABLE_TESTS=OFF \

-DENABLE_OV_ONNX_FRONTEND=OFF \

-DENABLE_OV_PADDLE_FRONTEND=OFF \

-DENABLE_OV_TF_FRONTEND=OFF \

-DENABLE_NCC_STYLE=DÉSACTIVÉ \

-DENABLE_SSE42=OFF \

-DTHREADING=SEQ \

-DENABLE_OPENCV=OFF \

-DENABLE_PYTHON=ON \

-DPYTHON_EXECUTABLE=$(which python3.7) \

-DPYTHON_LIBRARY=/usr/lib/arm-linux-gnueabihf/libpython3.7m.so \

-DPYTHON_INCLUDE_DIR=/usr/include/python3.7 ..

make -j4

sudo make install

Si la commande de marque échoue en raison d’un problème avec une bibliothèque OpenCV, assurez-vous que vous avez informé le système de l’emplacement de votre installation d’OpenCV. Si la construction se termine à ce stade, Intel® OpenVINO™ kit d’outils est prêt à l’emploi. Il convient de noter que les builds sont placés dans le dossier ~/openvino/bin/armv7l/Release .

Après avoir terminé avec succès la construction du moteur d’inférence, vous devez vérifier que tout est configuré correctement. Pour vérifier que le kit d’outils et Stick de calcul neuronal Intel® 2 fonctionner sur votre appareil, suivez les étapes suivantes :

1. Exécutez l’exemple de programme benchmark_app pour confirmer que toutes les bibliothèques se chargent correctement.
2. Téléchargez un modèle formé.
3. Sélectionnez une entrée pour le réseau neuronal.
4. Configurez le pilote USB Stick de calcul neuronal Intel® 2 Linux*.
5. Exécutez object_detection_sample_ssd avec le modèle et l’entrée sélectionnés.

Exemples d’applications

Le kit d’outils Intel® OpenVINO™ comprend des exemples d’applications qui utilisent le moteur d’inférence et le Stick de calcul neuronal Intel® 2. Un des programmes est benchmark_app, qui se trouve dans :

~/openvino/bin/armv7l/Release

Exécutez les commandes suivantes pour tester benchmark_app:

cd ~/openvino/bin/armv7l/Release

./benchmark_app -h

Il doit imprimer une boîte de dialogue d’aide, décrivant les options disponibles pour le programme.

Télécharger un modèle

Le programme a besoin d’un modèle pour passer l’entrée. Vous pouvez obtenir des modèles de kit d’outils Intel® OpenVINO™ au format IR en :

• Utiliser l’optimiseur de modèle pour convertir un modèle existant d’un des cadres pris en charge en format IR pour le moteur d’inférence
• Utiliser l’outil de téléchargement de modèles pour le téléchargement depuis le zoo Open Model
• Téléchargez les fichiers IR directement à partir de storage.openvinotookit.org

À nos fins, le téléchargement direct est le plus simple. Utilisez les commandes suivantes pour récupérer un modèle person-vehicle-bike detection :

cd ~/Downloads

wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/3/person-vehicle-bike-detection-crossroad-0078/FP16/person-vehicle-bike-detection-crossroad-0078.bin

wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/3/person-vehicle-bike-detection-crossroad-0078/FP16/person-vehicle-bike-detection-crossroad-0078.xml

Entrée pour le réseau neuronal

Le dernier élément nécessaire est l’entrée pour le réseau neuronal. Pour le modèle que nous avons téléchargé, vous avez besoin d’une image avec 3 canaux de couleur. Téléchargez les fichiers nécessaires sur votre carte :

cd ~/Downloads
wget https://cdn.pixabay.com/photo/2018/07/06/00/33/person-3519503_960_720.jpg -O person.jpg

Configuration du pilote USB Linux Stick de calcul neuronal Intel® 2

Certaines règles udev doivent être ajoutées pour permettre au système de reconnaître Intel® NCS2 les périphériques USB.

sudo usermod -a -G users "$(whoami)"

Set up the OpenVINO™ environnement :

source /home/pi/openvino_dist/bin/setupvars.sh

To perform inférence sur le Stick de calcul neuronal Intel® 2, installez les règles USB en exécutant le install_NCS_udev_rules.shScript:

sh /home/pi/openvino_dist/install_dependencies/install_NCS_udev_rules.sh

The USB driver should be installed correctly now. If the Intel® Neural Compute Stick 2 is not detected when running demos, restart your device and try again.

Exécution de benchmark_app

Lorsque le modèle est téléchargé, une image d’entrée est disponible et le Stick de calcul neuronal Intel® 2 est branché sur un port USB, utilisez la commande suivante pour exécuter le benchmark_app :

cd ~/openvino/bin/armv7l/Release

./benchmark_app -i ~/Downloads/person.jpg -m ~/Downloads/person-vehicle-bike-detection-crossroad-0078.xml -d MYRIAD

Cela exécute l’application avec les options sélectionnées. L’indicateur -d indique au programme quel périphérique utiliser pour l’inférence. -MYRIAD active le plugin MYRIAD , en utilisant le Stick de calcul neuronal Intel® 2. Après l’exécution réussie de la commande, le terminal affiche les statistiques d’inférence et produit une sortie d’image.

INFO ] First inference took 267.43 ms
[Step 11/11] Dumping statistics report
Count:          12 iterations
Duration:       1620.69 ms
Latency:
    Median:     532.82 ms
    AVG:        494.30 ms
    MIN:        278.83 ms
    MAX:        557.00 ms
Throughput: 7.40 FPS

Si l’application a fonctionné correctement sur votre Intel® NCS2, OpenVINO™ kit d’outils et les Stick de calcul neuronal Intel® 2 sont configurés correctement pour être utilisés sur votre appareil.

Exécutez l’application benchmark_app Python :

source /home/pi/openvino_dist/bin/setupvars.sh

cd /home/pi/openvino_dist/tools/samples/python/benchmark_tool

python3 benchmark_app.py -i ~/Downloads/person.jpg -m ~/Downloads/person-vehicle-bike-detection-crossroad-0078.xml -d MYRIAD

Si l’application a fonctionné correctement sur votre Intel® NCS2, le module nGraph est lié correctement au python.

Variables environnementales

Vous devez mettre à jour plusieurs variables environnementales avant de pouvoir compiler et exécuter OpenVINO les applications du kit d’outils. Exécutez le script suivant pour définir temporairement les variables environnementales :

source /home/pi/openvino_dist/bin/setupvars.sh

***(facultatif)** Les variables environnementales OpenVINO sont supprimées lorsque vous fermez le shell. En option, vous pouvez définir de manière permanente les variables environnementales comme suit :

« source /home/pi/openvino_dist/bin/setup faits.sh » >> ~/.hdr

Pour tester votre modification, ouvrez un nouveau terminal. Vous verrez ce qui suit :

[setupvars.sh] OpenVINO environnement initialisé

Cela termine la procédure de construction de la distribution open-source du kit d’outils OpenVINO™ pour le système d’exploitation Raspbian* et l’utilisation avec Stick de calcul neuronal Intel® 2.