Oceń wielostrumieniowe platformy wizyjne, korzystając z rzeczywistych obciążeń wideo i biznesowych. Reklamowana pojemność procesora, izolowany test porównawczy modelu i demonstracja pojedynczego strumienia opisują tylko część odpowiednich warunków. Zaopatrzenie powinno umieścić zamierzone strumienie, tryby obrazu, modele, zadania nagrywania i interakcji w jednej konfiguracji weryfikacyjnej.

Podziel obciążenie pracą na obserwowalne etapy

Scena Główne wejścia Informacje do zapisania
Wejście wideo i dekodowanie Strumienie, kodek, rozdzielczość, szybkość transmisji i czas Rzeczywisty odbiór, prawidłowe ramki i błędy dekodowania
Wstępne przetwarzanie i transfer Skalowanie, konwersja, układ pamięci i kopiowanie Czas przetwarzania, pamięć i oczekiwanie w kolejce
Wnioskowanie modelowe Wersja modelu, kształt wejściowy, format numeryczny i backend Opóźnienie wnioskowania, przepustowość i wykorzystanie zasobów
Postprocessing i zasady biznesowe Wykrywanie, śledzenie, fuzja i interfejsy Czas generowania wyników i potwierdzenia biznesowego
Przechowywanie, wyświetlanie i operacje Obrazy, dowody, nagrania, interfejs użytkownika i dzienniki Efekty współbieżne, stany wydajności i błędów

Transfery między etapami również zużywają zasoby. Przyspieszenie o jeden etap może spowodować przeniesienie wąskiego gardła na dekodowanie, pamięć, pamięć masową lub interfejs biznesowy. Sam czas wnioskowania nie definiuje konfiguracji urządzenia.

Zdefiniuj oddzielnie przepustowość i opóźnienie

Przepustowość opisuje zakończone zadania w określonym przedziale czasu. Opóźnienie opisuje czas, jaki upłynął pomiędzy zdefiniowanymi punktami początkowymi i końcowymi zadania. Rejestruj prawidłowe dane wyjściowe poszczególnych strumieni wraz z wynikami zbiorczymi, aby suma nie przesłaniała strumienia oczekującego w nieskończoność.

Oficjalna dokumentacja testu porównawczego OpenVINO oddzielnie raportuje opóźnienia wnioskowania i przepustowość oraz odnotowuje wpływ środowiska testowego. Jest to odniesienie do pomiaru, a nie dowód działania dowolnego urządzenia lub całego systemu.

Napraw warunki przed porównaniem platform

Zapisz model i dane wejściowe, zaplecze dekodujące i wnioskowania, system operacyjny i sterownik, współbieżne zadania, tryb zasilania i chłodzenie. Rozróżnij rozgrzewkę, stabilną pracę i regenerację. Wyjaśnij porównanie ponownie, gdy zmienią się modele, wymiary, formaty liczbowe lub zasady przechowywania.

Zakupy i weryfikacja pilotażowa

Zacznij od reprezentatywnego wideo i docelowych trybów działania, a następnie zwiększ liczbę strumieni i funkcji współbieżnych. Określ wejście i wyjście każdego strumienia, pełne opóźnienie, zasady pomijania klatek lub celowego próbkowania, zasoby i czas trwania. Bez testu w skali docelowej oznacz pojemność jako oczekującą na weryfikację, zamiast obiecać stałą liczbę strumieni.

Powiązane usługi: Wdrożenie i optymalizacja brzegowej sztucznej inteligencji, osadzona akwizycja obrazu I zapytania projektowe.