Quando si modifica un backend di inferenza, registrare il runtime, il driver, lo strumento di conversione, il file del modello e la configurazione di esecuzione. Controllare dove vengono effettivamente eseguite le operazioni e se si verifica il fallback. Il caricamento di un modello completa questo passaggio. Sono ancora necessari campioni concordati per verificare i risultati e l’utilizzo delle risorse.
Confronta gli output dopo le modifiche alla precisione numerica
La modifica della precisione numerica può modificare i risultati numerici e l'esecuzione dell'operatore. La documentazione sulla quantizzazione di ONNX Runtime afferma che la quantizzazione non è priva di perdite e che la precisione deve essere verificata. Confronta i modelli originali e quelli distribuiti utilizzando campioni rappresentativi e metriche delle attività. Salva campioni in cui i risultati differiscono, insieme alle soglie e alle versioni di valutazione.
La preelaborazione definisce l'input del modello
Registra l'ordine dei canali di colore, il ridimensionamento, il ritaglio, il riempimento, la normalizzazione e il layout del tensore. Collega i campioni originali ai tensori di input effettivi e confronta il contenuto trasformato. Indicare se la preelaborazione viene eseguita sulla CPU o sull'acceleratore e se la copia è inclusa nei tempi.
Verificare le impostazioni di ottimizzazione nell'ambiente di destinazione
La documentazione sull'ottimizzazione del grafico di runtime ONNX richiede opzioni e hardware corrispondenti quando si utilizza l'ottimizzazione offline. Salvare il modello e la configurazione ottimizzati. Ricontrollare funzionalità, tempo e risorse nell'ambiente di destinazione. Segnala l'esecuzione del modello separatamente dal percorso dell'applicazione che include la decodifica video, la preelaborazione e l'elaborazione dell'output.
Vedere documentazione di quantizzazione E documentazione sull'ottimizzazione dei grafici.