Ao alterar um back-end de inferência, registre o tempo de execução, o driver, a ferramenta de conversão, o arquivo de modelo e a configuração de execução. Verifique onde as operações realmente são executadas e se ocorre fallback. Carregar um modelo conclui essa etapa. Ainda são necessárias amostras acordadas para verificar os resultados e a utilização de recursos.
Compare os resultados após alterações de precisão numérica
Alterar a precisão numérica pode alterar os resultados numéricos e a execução do operador. A documentação de quantização do ONNX Runtime afirma que a quantização não é isenta de perdas e a precisão deve ser verificada. Compare os modelos originais e implantados usando amostras representativas e métricas de tarefas. Salve amostras onde os resultados diferem, juntamente com limites e versões de avaliação.
O pré-processamento define a entrada do modelo
Grave a ordem dos canais de cores, redimensionamento, corte, preenchimento, normalização e layout de tensor. Vincule amostras originais a tensores de entrada reais e compare o conteúdo transformado. Indique se o pré-processamento é executado na CPU ou no acelerador e se a cópia está incluída no tempo.
Verifique as configurações de otimização no ambiente de destino
A documentação de otimização de gráfico ONNX Runtime requer opções e hardware correspondentes ao usar a otimização offline. Salve o modelo e a configuração otimizados. Verifique novamente a função, o tempo e os recursos no ambiente de destino. Reporte a execução do modelo separadamente do caminho do aplicativo que inclui decodificação de vídeo, pré-processamento e processamento de saída.
Ver documentação de quantização e documentação de otimização de gráfico.