Zmieniając backend wnioskowania, zapisz środowisko wykonawcze, sterownik, narzędzie do konwersji, plik modelu i konfigurację wykonania. Sprawdź, gdzie faktycznie działają operacje i czy występuje rezerwa. Załadowanie modelu kończy ten krok. Uzgodnione próbki są nadal potrzebne do sprawdzenia wyników i wykorzystania zasobów.

Porównaj wyniki po zmianach precyzji numerycznej

Zmiana precyzji numerycznej może zmienić wyniki numeryczne i wykonanie operatora. Dokumentacja kwantyzacji ONNX Runtime stwierdza, że ​​kwantyzacja nie jest bezstratna i należy sprawdzić jej dokładność. Porównaj oryginalne i wdrożone modele, korzystając z reprezentatywnych próbek i metryk zadań. Zapisz próbki, w których wyniki się różnią, wraz z progami i wersjami ewaluacyjnymi.

Przetwarzanie wstępne definiuje dane wejściowe modelu

Rejestruj kolejność kanałów kolorów, zmianę rozmiaru, kadrowanie, dopełnianie, normalizację i układ tensora. Połącz oryginalne próbki z rzeczywistymi tensorami wejściowymi i porównaj przekształconą treść. Określ, czy przetwarzanie wstępne działa na procesorze lub akceleratorze i czy kopiowanie jest uwzględnione w taktowaniu.

Sprawdź ustawienia optymalizacji w środowisku docelowym

Dokumentacja optymalizacji wykresów ONNX Runtime wymaga dopasowania opcji i sprzętu podczas korzystania z optymalizacji offline. Zapisz zoptymalizowany model i konfigurację. Sprawdź ponownie funkcję, czas i zasoby w środowisku docelowym. Raportuj wykonanie modelu oddzielnie od ścieżki aplikacji, która obejmuje dekodowanie wideo, wstępne przetwarzanie i przetwarzanie wyjściowe.

Widzieć dokumentacja kwantyzacji I dokumentacja optymalizacji wykresów.