Base de connaissances pour l'assistance

Pourquoi le format de modèle quantisé est-il resté FP32 au lieu d’INT8 ?

Type de contenu: Information et documentation de produit | ID de l'article: 000095064 | Dernière révision: 13/06/2023

Descriptif Résolution Informations complémentaires

Descriptif

Modèle ONNX quantisé au format de précision FP32.
Exécutez la fonction compress_model_weights pour réduire la taille du fichier bin après avoir effectué une quantification post-apprentissage.
A compilé le modèle et a remarqué que la sortie du modèle est en FP32 au lieu d’INT8.

Résolution

Au cours de la quantification, seules les opérations nécessaires en vue des performances ont été quantisées. Les autres opérations resteront en FP32 dans la sortie.

Informations complémentaires

Reportez-vous à OpenVINO™ Transformation de faible précision.

Produits associés

Cet article s'applique aux produits 3.

Logiciels pour processeurs Intel® Xeon Phi™ OpenVINO™ Toolkit Bibliothèques de performances

Avis de non-responsabilité

Le contenu de cette page est une combinaison de traduction humaine et informatique du contenu original en anglais. Ce contenu vous est fourni pour votre commodité et à titre informatif seulement et ne saurait être totalement exact ou complet. En cas de contradiction entre la version anglaise de cette page et la traduction, c'est la version anglaise qui prévaut. Afficher la version anglaise de cette page.

Vous avez besoin d'aide ?

Contacter l'assistance