W przypadku pozyskiwania lub oceny wnioskowania brzegowego zdefiniuj zadanie i metryki do porównania. Zapisz plik modelu, wymiary wejściowe, wielkość partii, precyzję numeryczną, czas wykonania i konfigurację sprzętu wraz z wynikami. Sama nazwa modelu nie świadczy o identyczności wykonania. Sprawdź także wersję przekonwertowanego pliku i jego konfiguracji.
Zdefiniuj granice wejściowe i czasowe
Używaj ustalonych próbek i ustalonych zasad przetwarzania wstępnego i przetwarzania wyjściowego. Zmierz osobno wykonanie modelu, kopiowanie danych, dekodowanie wideo i opóźnienie aplikacji. Podaj zdarzenia początkowe i końcowe oraz metodę synchronizacji. Rejestruj rozgrzewkę i zmierzone próbki. Czas wykonania jednej operacji modelu nie reprezentuje całkowitego opóźnienia aplikacji.
Rejestruj udostępnione zasoby i równoczesne obciążenia
Stan jednoczesnych strumieni wideo, transkodowania, nagrywania i innych zadań. Rejestruj obciążenie procesora, pamięci i akceleratora. Dokumentacja dotycząca wątków środowiska uruchomieniowego ONNX opisuje tryby wykonywania i konfigurację wątków. Zmierz rzeczywistą konfigurację na urządzeniu docelowym przy zamierzonym obciążeniu. Więcej wątków nie stanowi obietnicy szybszej dostawy.
Dostarczaj wyniki z obowiązującymi warunkami
Sprawdź wyniki, korzystając z tych samych próbek i ustalonych wskaźników jakości, a następnie porównaj rozkłady opóźnień, przepustowość i rekordy zasobów. Definicje metryk raportu, pokrycie próbki i wyjątki. Nie rozszerzaj jednego wyniku wykonania modelu na współbieżność całego urządzenia, długoterminową stabilność lub inne dane wejściowe.