Wanneer u een inferentie-backend wijzigt, legt u de runtime, het stuurprogramma, de conversietool, het modelbestand en de uitvoeringsconfiguratie vast. Controleer waar bewerkingen daadwerkelijk plaatsvinden en of er terugval optreedt. Het laden van een model voltooit deze stap. Er zijn nog steeds goedgekeurde monsters nodig om de resultaten en het gebruik van middelen te controleren.

Vergelijk de uitgangen na numerieke precisiewijzigingen

Het veranderen van de numerieke precisie kan de numerieke resultaten en de uitvoering door de operator veranderen. ONNX Runtime-kwantiseringsdocumentatie stelt dat kwantisering niet verliesvrij is en dat de nauwkeurigheid moet worden gecontroleerd. Vergelijk de originele en geïmplementeerde modellen met behulp van representatieve voorbeelden en taakstatistieken. Bewaar monsters waarvan de resultaten verschillen, samen met drempelwaarden en evaluatieversies.

Voorverwerking definieert de modelinvoer

Registreer de volgorde van kleurkanalen, formaatwijziging, bijsnijden, opvulling, normalisatie en tensorindeling. Koppel originele voorbeelden aan daadwerkelijke invoertensoren en vergelijk de getransformeerde inhoud. Geef aan of de voorverwerking op de CPU of de accelerator plaatsvindt en of het kopiëren bij de timing is inbegrepen.

Controleer de optimalisatie-instellingen in de doelomgeving

ONNX Runtime-grafiekoptimalisatiedocumentatie vereist bijpassende opties en hardware bij gebruik van offline optimalisatie. Sla het geoptimaliseerde model en de configuratie op. Controleer de functie, tijd en middelen in de doelomgeving opnieuw. Rapporteer de uitvoering van het model afzonderlijk van het applicatiepad, inclusief videodecodering, voorverwerking en uitvoerverwerking.

Zien kwantiseringsdocumentatie En documentatie voor grafiekoptimalisatie.