Lorsque vous modifiez un backend d'inférence, enregistrez le runtime, le pilote, l'outil de conversion, le fichier de modèle et la configuration d'exécution. Vérifiez où les opérations s'exécutent réellement et si un repli se produit. Le chargement d'un modèle termine cette étape. Des échantillons convenus sont encore nécessaires pour vérifier les résultats et l’utilisation des ressources.
Comparer les sorties après des changements de précision numérique
La modification de la précision numérique peut modifier les résultats numériques et l'exécution des opérateurs. La documentation de quantification d'ONNX Runtime indique que la quantification n'est pas sans perte et que la précision doit être vérifiée. Comparez les modèles d'origine et déployés à l'aide d'échantillons représentatifs et de métriques de tâches. Enregistrez les échantillons dont les résultats diffèrent, ainsi que les seuils et les versions d'évaluation.
Le prétraitement définit l'entrée du modèle
Enregistrez l'ordre des canaux de couleur, le redimensionnement, le recadrage, le remplissage, la normalisation et la disposition du tenseur. Liez les échantillons originaux aux tenseurs d'entrée réels et comparez le contenu transformé. Indiquez si le prétraitement s'exécute sur le processeur ou l'accélérateur et si la copie est incluse dans le timing.
Vérifier les paramètres d'optimisation dans l'environnement cible
La documentation d'optimisation du graphe ONNX Runtime nécessite des options et du matériel correspondants lors de l'utilisation de l'optimisation hors ligne. Enregistrez le modèle et la configuration optimisés. Revérifiez la fonction, le temps et les ressources dans l’environnement cible. Signalez l'exécution du modèle séparément du chemin d'application qui inclut le décodage vidéo, le prétraitement et le traitement de sortie.
Voir documentation de quantification et documentation sur l'optimisation des graphes.