Pour l’acquisition ou l’évaluation d’inférence Edge, définissez la tâche et les métriques à comparer. Enregistrez le fichier de modèle, les dimensions d'entrée, la taille du lot, la précision numérique, l'exécution et la configuration matérielle avec les résultats. Le même nom de modèle ne prouve pas à lui seul que l’exécution est identique. Versionnez également le fichier converti et sa configuration.

Définir les limites d'entrée et de synchronisation

Utilisez des échantillons fixes et des règles convenues de prétraitement et de traitement de sortie. Mesurez séparément l’exécution du modèle, la copie des données, le décodage vidéo et la latence des applications. Indiquez les événements de début et de fin ainsi que la méthode de synchronisation. Enregistrez les échantillons d’échauffement et mesurés. Le temps d'exécution d'une opération de modèle ne représente pas la latence totale de l'application.

Enregistrez les ressources partagées et les charges de travail simultanées

Indiquez les flux vidéo simultanés, le transcodage, l'enregistrement et d'autres tâches. Enregistrez la charge du processeur, de la mémoire et de l'accélérateur. La documentation sur les threads ONNX Runtime décrit les modes d'exécution et la configuration des threads. Mesurez la configuration réelle sur le périphérique cible sous la charge de travail prévue. Plus de threads ne constituent pas une promesse d’une livraison plus rapide.

Livrer des résultats avec leurs conditions applicables

Vérifiez les sorties en utilisant les mêmes échantillons et les mêmes mesures de qualité convenues, puis comparez les distributions de latence, les enregistrements de débit et de ressources. Rapportez les définitions des mesures, la couverture des échantillons et les exceptions. N'étendez pas le résultat d'exécution d'un modèle à la simultanéité de l'ensemble du périphérique, à la stabilité à long terme ou à d'autres entrées.

Voir Gestion des threads d'exécution ONNX.