Ao alterar um back-end de inferência, registre o tempo de execução, o driver, a ferramenta de conversão, o arquivo de modelo e a configuração de execução. Verifique onde as operações realmente são executadas e se ocorre fallback. Carregar um modelo conclui essa etapa. Ainda são necessárias amostras acordadas para verificar os resultados e a utilização de recursos.

Compare os resultados após alterações de precisão numérica

Alterar a precisão numérica pode alterar os resultados numéricos e a execução do operador. A documentação de quantização do ONNX Runtime afirma que a quantização não é isenta de perdas e a precisão deve ser verificada. Compare os modelos originais e implantados usando amostras representativas e métricas de tarefas. Salve amostras onde os resultados diferem, juntamente com limites e versões de avaliação.

O pré-processamento define a entrada do modelo

Grave a ordem dos canais de cores, redimensionamento, corte, preenchimento, normalização e layout de tensor. Vincule amostras originais a tensores de entrada reais e compare o conteúdo transformado. Indique se o pré-processamento é executado na CPU ou no acelerador e se a cópia está incluída no tempo.

Verifique as configurações de otimização no ambiente de destino

A documentação de otimização de gráfico ONNX Runtime requer opções e hardware correspondentes ao usar a otimização offline. Salve o modelo e a configuração otimizados. Verifique novamente a função, o tempo e os recursos no ambiente de destino. Reporte a execução do modelo separadamente do caminho do aplicativo que inclui decodificação de vídeo, pré-processamento e processamento de saída.

Ver documentação de quantização e documentação de otimização de gráfico.