Dopo una modifica del backend di inferenza, i risultati precedenti possono servire come materiale di confronto. Le conclusioni relative alla funzione, alla qualità dei compiti e alle prestazioni per il nuovo ambiente necessitano di prove corrispondenti. Registra le modifiche ai file del modello, alla configurazione di conversione, agli input, agli output e alle dipendenze del software prima di definire l'ambito del nuovo test.
Cosa rimane dopo la conversione riuscita?
Conferma l'effettiva esecuzione del modello sul dispositivo di destinazione. Controlla i tensori di input, i campi di output, le eccezioni e il fallback. Utilizzare campioni rappresentativi per confrontare classificazione, rilevamento o altri risultati di attività, mantenendo differenze e tolleranze. Le condizioni che non sono state testate non possono essere segnalate come compatibilità verificata.
Come dovrebbero essere confrontate nuovamente le prestazioni?
Mantieni invariati l'input, la dimensione del batch, il riscaldamento, i limiti temporali e il carico di lavoro simultaneo durante ogni confronto. Registra separatamente l'esecuzione del modello e la latenza dell'applicazione. Confrontare distribuzioni campione e utilizzo delle risorse. Cambiamenti di stato nella precisione numerica, nel threading o nella posizione di copia dei dati. Il solo confronto tra due orari visualizzati non è sufficiente.
Quali record appartengono alla consegna?
Conserva sia le versioni del modello che i checksum, le configurazioni dell'ambiente, gli esempi, i confronti degli output, i record delle prestazioni e i problemi aperti. Confermare i percorsi di avvio, gestione degli errori, riavvio e rollback. Le conclusioni sulle attività simultanee, sul funzionamento a lungo termine o sulle prestazioni del sito necessitano di prove che coprano le condizioni reali.
Vedere Documentazione sull'ottimizzazione del grafico di runtime ONNX.