Après une modification du backend d’inférence, les résultats antérieurs peuvent servir de matériel de comparaison. Les conclusions sur la fonction, la qualité des tâches et les performances pour le nouvel environnement nécessitent des preuves correspondantes. Enregistrez les modifications apportées aux fichiers de modèle, à la configuration de conversion, aux entrées, aux sorties et aux dépendances logicielles avant de définir la portée du nouveau test.
Que reste-t-il après une conversion réussie ?
Confirmez l’exécution réelle du modèle sur l’appareil cible. Vérifiez les tenseurs d'entrée, les champs de sortie, les exceptions et les solutions de secours. Utilisez des échantillons représentatifs pour comparer les résultats de classification, de détection ou d’autres tâches, en conservant les différences et les tolérances. Les conditions qui n'ont pas été testées ne peuvent pas être signalées comme compatibilité vérifiée.
Comment comparer à nouveau les performances ?
Gardez les entrées, la taille du lot, l’échauffement, les limites de temps et la charge de travail simultanée inchangés tout au long de chaque comparaison. Enregistrez séparément l’exécution du modèle et la latence des applications. Comparez les exemples de distributions et l’utilisation des ressources. Changements d’état dans la précision numérique, le threading ou l’emplacement de copie des données. La seule comparaison de deux heures affichées ne suffit pas.
Quels documents doivent être transférés ?
Conservez les versions et les sommes de contrôle du modèle, les configurations d'environnement, les exemples, les comparaisons de résultats, les enregistrements de performances et les problèmes en suspens. Confirmez les chemins de démarrage, de gestion des échecs, de redémarrage et de restauration. Les conclusions sur les tâches simultanées, l'exploitation à long terme ou les performances du site nécessitent des preuves couvrant les conditions réelles.