Zmieniając backend wnioskowania, zapisz środowisko wykonawcze, sterownik, narzędzie do konwersji, plik modelu i konfigurację wykonania. Sprawdź, gdzie faktycznie działają operacje i czy występuje rezerwa. Załadowanie modelu kończy ten krok. Uzgodnione próbki są nadal potrzebne do sprawdzenia wyników i wykorzystania zasobów.
Porównaj wyniki po zmianach precyzji numerycznej
Zmiana precyzji numerycznej może zmienić wyniki numeryczne i wykonanie operatora. Dokumentacja kwantyzacji ONNX Runtime stwierdza, że kwantyzacja nie jest bezstratna i należy sprawdzić jej dokładność. Porównaj oryginalne i wdrożone modele, korzystając z reprezentatywnych próbek i metryk zadań. Zapisz próbki, w których wyniki się różnią, wraz z progami i wersjami ewaluacyjnymi.
Przetwarzanie wstępne definiuje dane wejściowe modelu
Rejestruj kolejność kanałów kolorów, zmianę rozmiaru, kadrowanie, dopełnianie, normalizację i układ tensora. Połącz oryginalne próbki z rzeczywistymi tensorami wejściowymi i porównaj przekształconą treść. Określ, czy przetwarzanie wstępne działa na procesorze lub akceleratorze i czy kopiowanie jest uwzględnione w taktowaniu.
Sprawdź ustawienia optymalizacji w środowisku docelowym
Dokumentacja optymalizacji wykresów ONNX Runtime wymaga dopasowania opcji i sprzętu podczas korzystania z optymalizacji offline. Zapisz zoptymalizowany model i konfigurację. Sprawdź ponownie funkcję, czas i zasoby w środowisku docelowym. Raportuj wykonanie modelu oddzielnie od ścieżki aplikacji, która obejmuje dekodowanie wideo, wstępne przetwarzanie i przetwarzanie wyjściowe.
Widzieć dokumentacja kwantyzacji I dokumentacja optymalizacji wykresów.