Nach einer Änderung des Inferenz-Backends können frühere Ergebnisse als Vergleichsmaterial dienen. Funktions-, Aufgabenqualitäts- und Leistungsschlussfolgerungen für die neue Umgebung bedürfen entsprechender Nachweise. Zeichnen Sie Änderungen an Modelldateien, Konvertierungskonfigurationen, Eingaben, Ausgaben und Softwareabhängigkeiten auf, bevor Sie den Umfang des erneuten Tests definieren.

Was bleibt nach erfolgreicher Umstellung?

Bestätigen Sie die tatsächliche Modellausführung auf dem Zielgerät. Überprüfen Sie Eingabetensoren, Ausgabefelder, Ausnahmen und Fallback. Verwenden Sie repräsentative Stichproben, um Klassifizierungs-, Erkennungs- oder andere Aufgabenergebnisse zu vergleichen und dabei Unterschiede und Toleranzen beizubehalten. Bedingungen, die nicht getestet wurden, können nicht als verifizierte Kompatibilität gemeldet werden.

Wie soll die Leistung noch einmal verglichen werden?

Lassen Sie Eingabe, Batchgröße, Aufwärmzeit, Zeitgrenzen und gleichzeitige Arbeitslast während jedes Vergleichs unverändert. Zeichnen Sie die Modellausführung und die Anwendungslatenz separat auf. Vergleichen Sie Beispielverteilungen und Ressourcennutzung. Zustandsänderungen der numerischen Genauigkeit, des Threadings oder des Datenkopierorts. Der Vergleich zweier angezeigter Zeiten allein reicht nicht aus.

Welche Unterlagen gehören zur Übergabe?

Bewahren Sie sowohl Modellversionen als auch Prüfsummen, Umgebungskonfigurationen, Beispiele, Ausgabevergleiche, Leistungsaufzeichnungen und offene Probleme auf. Bestätigen Sie Start-, Fehlerbehandlungs-, Neustart- und Rollback-Pfade. Rückschlüsse auf gleichzeitige Aufgaben, Langzeitbetrieb oder Standortleistung erfordern Nachweise über die tatsächlichen Verhältnisse.

Sehen Dokumentation zur ONNX-Laufzeitdiagrammoptimierung.