Valuta le piattaforme di visione multi-stream utilizzando video reali e carichi di lavoro aziendali. La capacità del processore pubblicizzata, un benchmark di modello isolato e una dimostrazione a flusso singolo descrivono solo parti delle rispettive condizioni. L'approvvigionamento dovrebbe collocare i flussi previsti, le modalità di immagine, i modelli, le attività di registrazione e interazione in un'unica configurazione di verifica.
Suddividere il carico di lavoro in fasi osservabili
| Palcoscenico | Ingressi principali | Informazioni da registrare |
|---|---|---|
| Ingresso e decodifica video | Stream, codec, risoluzione, bitrate e timing | Ricezione effettiva, frame validi ed errori di decodifica |
| Preelaborazione e trasferimento | Scaling, conversione, layout della memoria e copia | Tempo di elaborazione, memoria e coda di attesa |
| Inferenza del modello | Versione del modello, forma di input, formato numerico e backend | Latenza di inferenza, throughput e utilizzo delle risorse |
| Postelaborazione e regole aziendali | Rilevazioni, tracciamento, fusione e interfacce | Generazione dei risultati e tempi di riconoscimento aziendale |
| Conservazione, visualizzazione e operazioni | Immagini, prove, registrazioni, interfaccia utente e registri | Effetti concorrenti, capacità e stati di errore |
Anche i trasferimenti tra le fasi consumano risorse. Accelerare una fase può spostare il collo di bottiglia nella decodifica, nella memoria, nell'archiviazione o nell'interfaccia aziendale. Il tempo di inferenza da solo non definisce la configurazione del dispositivo.
Definire throughput e latenza separatamente
Il throughput descrive le attività completate in un intervallo specificato. La latenza descrive il tempo trascorso tra i punti di inizio e fine definiti per un'attività. Registra gli output validi per flusso insieme ai risultati aggregati in modo che il totale non nasconda un flusso che attende a tempo indeterminato.
Documentazione ufficiale dei benchmark OpenVINO segnala separatamente la latenza di inferenza e il throughput e rileva l'effetto dell'ambiente di test. Si tratta di un riferimento di misurazione, non di una prova delle prestazioni di un dispositivo arbitrario o di un sistema completo.
Correggi le condizioni prima di confrontare le piattaforme
Registra il modello e l'input, i backend di decodifica e inferenza, il sistema operativo e il driver, le attività simultanee, la modalità di alimentazione e il raffreddamento. Distinguere il riscaldamento, il funzionamento costante e il recupero. Spiega nuovamente il confronto quando cambiano modelli, dimensioni, formati numerici o politiche di archiviazione.
Approvvigionamento e verifica pilota
Inizia con video rappresentativi e modalità operative target, quindi aumenta i flussi e le funzioni simultanee. Specifica l'input e l'output di ciascun flusso, la latenza end-to-end, la politica di campionamento intenzionale o drop-frame, le risorse e la durata. Senza un test su scala target, contrassegna la capacità come in attesa di verifica anziché promettere un conteggio del flusso fisso.
Servizi correlati: distribuzione e ottimizzazione dell'intelligenza artificiale edge, acquisizione di immagini integrate E richieste di progetto.