Per l'approvvigionamento o la valutazione dell'inferenza dei bordi, definire l'attività e le metriche da confrontare. Salva il file del modello, le dimensioni di input, la dimensione del batch, la precisione numerica, il runtime e la configurazione hardware con i risultati. Lo stesso nome del modello da solo non dimostra che l'esecuzione sia identica. Versione del file convertito e anche della sua configurazione.
Definire i limiti di input e di temporizzazione
Utilizzare campioni fissi e regole di pre-elaborazione e di elaborazione dell'output concordate. Misura separatamente l'esecuzione del modello, la copia dei dati, la decodifica video e la latenza dell'applicazione. Indicare gli eventi di inizio e fine e il metodo di sincronizzazione. Registrare il riscaldamento e i campioni misurati. Il tempo di esecuzione di un'operazione del modello non rappresenta la latenza totale dell'applicazione.
Registra risorse condivise e carichi di lavoro simultanei
Indica flussi video simultanei, transcodifica, registrazione e altre attività. Registra il carico di CPU, memoria e acceleratore. La documentazione del threading di ONNX Runtime descrive le modalità di esecuzione e la configurazione del thread. Misurare la configurazione effettiva sul dispositivo di destinazione con il carico di lavoro previsto. Un numero maggiore di thread non costituisce una promessa di consegna più rapida.
Fornire risultati con le condizioni applicabili
Controlla gli output utilizzando gli stessi campioni e le metriche di qualità concordate, quindi confronta le distribuzioni di latenza, la velocità effettiva e i record delle risorse. Report sulle definizioni delle metriche, sulla copertura del campione e sulle eccezioni. Non estendere il risultato dell'esecuzione di un modello alla concorrenza dell'intero dispositivo, alla stabilità a lungo termine o ad altri input.