Notieren Sie beim Ändern eines Inferenz-Backends die Laufzeit, den Treiber, das Konvertierungstool, die Modelldatei und die Ausführungskonfiguration. Prüfen Sie, wo die Vorgänge tatsächlich laufen und ob es zu einem Fallback kommt. Das Laden eines Modells schließt diesen Schritt ab. Zur Überprüfung der Ergebnisse und des Ressourcenverbrauchs sind weiterhin vereinbarte Proben erforderlich.

Vergleichen Sie die Ausgaben nach Änderungen der numerischen Genauigkeit

Eine Änderung der numerischen Genauigkeit kann sich auf die numerischen Ergebnisse und die Ausführung des Bedieners auswirken. In der Dokumentation zur ONNX Runtime-Quantisierung heißt es, dass die Quantisierung nicht verlustfrei ist und die Genauigkeit überprüft werden muss. Vergleichen Sie die ursprünglichen und bereitgestellten Modelle anhand repräsentativer Stichproben und Aufgabenmetriken. Speichern Sie Proben, bei denen die Ergebnisse abweichen, zusammen mit Schwellenwerten und Bewertungsversionen.

Die Vorverarbeitung definiert die Modelleingabe

Zeichnen Sie die Reihenfolge der Farbkanäle, die Größenänderung, das Zuschneiden, das Auffüllen, die Normalisierung und das Tensor-Layout auf. Verknüpfen Sie Originalproben mit tatsächlichen Eingabetensoren und vergleichen Sie den transformierten Inhalt. Geben Sie an, ob die Vorverarbeitung auf der CPU oder dem Beschleuniger läuft und ob das Kopieren in die Zeitmessung einbezogen wird.

Überprüfen Sie die Optimierungseinstellungen in der Zielumgebung

Die Dokumentation zur ONNX-Laufzeitdiagrammoptimierung erfordert passende Optionen und Hardware, wenn die Offline-Optimierung verwendet wird. Speichern Sie das optimierte Modell und die Konfiguration. Überprüfen Sie erneut Funktion, Zeit und Ressourcen in der Zielumgebung. Melden Sie die Modellausführung getrennt vom Anwendungspfad, der Videodekodierung, Vorverarbeitung und Ausgabeverarbeitung umfasst.

Sehen Quantisierungsdokumentation Und Dokumentation zur Diagrammoptimierung.