Definieren Sie für die Beschaffung oder Bewertung von Edge-Inferenzen die zu vergleichende Aufgabe und die zu vergleichenden Metriken. Speichern Sie die Modelldatei, die Eingabeabmessungen, die Chargengröße, die numerische Genauigkeit, die Laufzeit und die Hardwarekonfiguration mit den Ergebnissen. Der gleiche Modellname allein beweist nicht, dass die Ausführung identisch ist. Versionieren Sie auch die konvertierte Datei und ihre Konfiguration.
Definieren Sie die Eingabe- und Zeitgrenzen
Verwenden Sie feste Muster und vereinbarte Vorverarbeitungs- und Ausgabeverarbeitungsregeln. Messen Sie die Modellausführung, das Kopieren von Daten, die Videodekodierung und die Anwendungslatenz separat. Geben Sie die Start- und Endereignisse sowie die Synchronisierungsmethode an. Zeichnen Sie Aufwärm- und Messproben auf. Die Ausführungszeit einer Modelloperation stellt nicht die gesamte Anwendungslatenz dar.
Erfassen Sie gemeinsam genutzte Ressourcen und gleichzeitige Arbeitslasten
Geben Sie gleichzeitige Videostreams, Transkodierung, Aufnahme und andere Aufgaben an. Zeichnen Sie die CPU-, Speicher- und Beschleunigerlast auf. Die Dokumentation zum ONNX Runtime-Threading beschreibt Ausführungsmodi und Thread-Konfiguration. Messen Sie die tatsächliche Konfiguration auf dem Zielgerät unter der beabsichtigten Arbeitslast. Mehr Threads stellen keine Garantie für eine schnellere Lieferung dar.
Liefern Sie Ergebnisse mit den entsprechenden Bedingungen
Überprüfen Sie die Ausgaben anhand derselben Stichproben und vereinbarten Qualitätsmetriken und vergleichen Sie dann Latenzverteilungen, Durchsatz und Ressourcendatensätze. Melden Sie Metrikdefinitionen, Beispielabdeckung und Ausnahmen. Erweitern Sie ein Modellausführungsergebnis nicht auf die Parallelität des gesamten Geräts, die Langzeitstabilität oder andere Eingaben.