Rozpocznij plan wdrożenia modelu brzegowego, potwierdzając źródła modelu i dozwolone zastosowania, definicje wejść i wyjść, urządzenie docelowe i wersje oprogramowania. Zachowaj oryginalny model, reprezentatywne próbki, definicje etykiet i istniejące wyniki. Rozpocznij od ograniczonej wersji próbnej wdrożenia i uzgodnij kryteria akceptacji dotyczące funkcji, jakości zadań i limitów zasobów.

Przekaż pliki konwersji wraz z ich konfiguracją

Rejestruj polecenia konwersji, wersje narzędzi, wsparcie dla operatorów i znane ograniczenia. W przypadku kwantyzacji należy zachować pokrycie i wstępne przetwarzanie danych kalibracyjnych. Oblicz i zapisz sumę kontrolną pliku modelu wyjściowego. Połącz ten plik z oryginalnym modelem i dziennikami konwersji. Komunikat o pomyślnej konwersji nie ustanawia zaakceptowanego wnioskowania na urządzeniu docelowym.

Porównaj wyniki dla tych samych próbek

Najpierw sprawdź tensory wejściowe, a następnie porównaj dane wyjściowe z modeli oryginalnych i wdrożonych. Sprawdź wyniki klasyfikacji, ramki ograniczające lub inne rzeczywiste wyniki zadań, korzystając z ustalonych tolerancji i metryk jakości. Zapisz niespójne próbki i wyjaśnienia. Wymień niewystarczające próbki i warunki, które nie zostały przetestowane, jako niezweryfikowane.

Zmierz obciążenie pracą i sprawdź regenerację

W ramach uzgodnionego jednoczesnego obciążenia pracą rejestruj granice czasu, próbki, zasoby i wyjątki. Sprawdź oddzielnie uruchomienie, niepowodzenie ładowania modelu, ponowne uruchomienie procesu i wycofanie wersji. Dostarczaj modele, konfiguracje, zależności, wyniki porównań i otwarte problemy. Dodaj weryfikację, zwiększając później współbieżność lub czas działania.

Aby zapoznać się z zakresem konwersji i oceny, zob Dokumentacja kwantyzacji ONNX Runtime.