Aucun gain de performance sur le format FP16 par rapport au format FP32 d’un modèle lors de l’utilisation de OpenVINO™ Toolkit
Type de contenu: Maintenance et performances | ID de l'article: 000095716 | Dernière révision: 01/08/2023
On s’attend à ce que le format FP16 effectue une inférence plus rapide par rapport au même modèle au format FP32. L’utilisation du benchmark_app pour exécuter l’inférence avec les paramètres par défaut de l’application pour les deux formats, mais il n’y a aucune amélioration des performances (FPS plus élevé) lors de la comparaison du modèle de format FP16 avec le modèle de format FP32.
Pour exécuter le modèle FP32 au format F32 tout en utilisant le benchmark_app, ajoutez -infer_precision F32 pour le périphérique choisi.
Par exemple :
$ benchmark_app -m intel/bert-large-uncased-whole-word-masking-squad-0001/FP32/bert-large-uncased-whole-word-masking-squad-0001.xml -d GPU -t 5 -api async -hint throughput -infer_precision f32
Pour le plug-in GPU, la précision en virgule flottante d’une primitive GPU est sélectionnée en fonction de la précision de fonctionnement dans l’IR OpenVINO, à l’exception du formulaire IR OpenVINO f16 <compressé, qui est exécuté dans la f16 précision.
Pour le plug-in CPU, la précision en virgule flottante par défaut d’une primitive CPU est f32. Pour prendre en charge l’IR f16 OpenVINO™, le plugin convertit en interne toutes les valeurs f16 en f32 et tous les calculs sont effectués en utilisant la précision native de f32. Sur les plateformes qui supportent nativement les calculs bfloat16 (ont l’extension AVX512_BF16 ou AMX), le type bf16 est automatiquement utilisé à la place de f32 pour obtenir de meilleures performances (voir l’indice du mode d’exécution).
Pour plus d’informations sur les types de données pour les plug-ins CPU/GPU, consultez :