Após uma alteração no backend de inferência, os resultados anteriores podem servir como material de comparação. As conclusões sobre função, qualidade da tarefa e desempenho para o novo ambiente precisam de evidências correspondentes. Registre alterações nos arquivos de modelo, configuração de conversão, entradas, saídas e dependências de software antes de definir o escopo de novo teste.

O que resta após uma conversão bem-sucedida?

Confirme a execução real do modelo no dispositivo de destino. Verifique tensores de entrada, campos de saída, exceções e substitutos. Use amostras representativas para comparar classificação, detecção ou outros resultados de tarefas, mantendo diferenças e tolerâncias. Condições que não foram testadas não podem ser relatadas como compatibilidade verificada.

Como o desempenho deve ser comparado novamente?

Mantenha a entrada, o tamanho do lote, o aquecimento, os limites de tempo e a carga de trabalho simultânea inalterados durante cada comparação. Registre a execução do modelo e a latência do aplicativo separadamente. Compare distribuições de amostra e uso de recursos. Mudanças de estado na precisão numérica, threading ou local de cópia de dados. Comparar apenas dois tempos exibidos é insuficiente.

Quais registros pertencem à transferência?

Retenha versões de modelos e somas de verificação, configurações de ambiente, amostras, comparações de resultados, registros de desempenho e problemas em aberto. Confirme os caminhos de inicialização, tratamento de falhas, reinicialização e reversão. As conclusões sobre tarefas simultâneas, operação a longo prazo ou desempenho do local necessitam de evidências que cubram as condições reais.

Ver Documentação de otimização de gráfico ONNX Runtime.