Avvia un piano di distribuzione del modello edge confermando le origini del modello e gli usi consentiti, le definizioni di input e output, il dispositivo di destinazione e le versioni del software. Conserva il modello originale, i campioni rappresentativi, le definizioni delle etichette e i risultati esistenti. Inizia con una prova di implementazione limitata e concorda i criteri di accettazione per la funzione, la qualità delle attività e i limiti delle risorse.
Consegnare i file di conversione con la loro configurazione
Registra comandi di conversione, versioni dello strumento, supporto dell'operatore e limitazioni note. Per la quantizzazione, conservare la copertura dei dati di calibrazione e la preelaborazione. Calcolare e salvare il checksum del file del modello di output. Collega il file al modello originale e ai log di conversione. Un messaggio di conversione riuscita non stabilisce un'inferenza accettata sul dispositivo di destinazione.
Confrontare gli output sugli stessi campioni
Controllare prima i tensori di input, quindi confrontare gli output dei modelli originali e distribuiti. Controlla i risultati della classificazione, i riquadri di delimitazione o altri output effettivi delle attività utilizzando tolleranze concordate e metriche di qualità. Salva campioni e spiegazioni incoerenti. Elencare campioni e condizioni insufficienti che non sono stati testati come non verificati.
Misurare il carico di lavoro e verificare il ripristino
Nell'ambito del carico di lavoro simultaneo concordato, registrare i limiti temporali, i campioni, le risorse e le eccezioni. Controlla separatamente l'avvio, l'errore di caricamento del modello, il riavvio del processo e il rollback della versione. Fornisci modelli, configurazioni, dipendenze, risultati di confronto e problemi aperti. Aggiungi la verifica quando aumenti la concorrenza o la durata operativa in un secondo momento.
Per l'ambito di conversione e valutazione, cfr Documentazione sulla quantizzazione del runtime ONNX.