W przypadku pozyskiwania lub oceny wnioskowania brzegowego zdefiniuj zadanie i metryki do porównania. Zapisz plik modelu, wymiary wejściowe, wielkość partii, precyzję numeryczną, czas wykonania i konfigurację sprzętu wraz z wynikami. Sama nazwa modelu nie świadczy o identyczności wykonania. Sprawdź także wersję przekonwertowanego pliku i jego konfiguracji.

Zdefiniuj granice wejściowe i czasowe

Używaj ustalonych próbek i ustalonych zasad przetwarzania wstępnego i przetwarzania wyjściowego. Zmierz osobno wykonanie modelu, kopiowanie danych, dekodowanie wideo i opóźnienie aplikacji. Podaj zdarzenia początkowe i końcowe oraz metodę synchronizacji. Rejestruj rozgrzewkę i zmierzone próbki. Czas wykonania jednej operacji modelu nie reprezentuje całkowitego opóźnienia aplikacji.

Rejestruj udostępnione zasoby i równoczesne obciążenia

Stan jednoczesnych strumieni wideo, transkodowania, nagrywania i innych zadań. Rejestruj obciążenie procesora, pamięci i akceleratora. Dokumentacja dotycząca wątków środowiska uruchomieniowego ONNX opisuje tryby wykonywania i konfigurację wątków. Zmierz rzeczywistą konfigurację na urządzeniu docelowym przy zamierzonym obciążeniu. Więcej wątków nie stanowi obietnicy szybszej dostawy.

Dostarczaj wyniki z obowiązującymi warunkami

Sprawdź wyniki, korzystając z tych samych próbek i ustalonych wskaźników jakości, a następnie porównaj rozkłady opóźnień, przepustowość i rekordy zasobów. Definicje metryk raportu, pokrycie próbki i wyjątki. Nie rozszerzaj jednego wyniku wykonania modelu na współbieżność całego urządzenia, długoterminową stabilność lub inne dane wejściowe.

Widzieć Zarządzanie wątkami w środowisku wykonawczym ONNX.