Inicie um plano de implantação de modelo de borda confirmando as fontes do modelo e os usos permitidos, as definições de entrada e saída, o dispositivo de destino e as versões de software. Preserve o modelo original, amostras representativas, definições de rótulos e resultados existentes. Comece com um teste de implantação limitado e chegue a um acordo sobre os critérios de aceitação para função, qualidade da tarefa e limites de recursos.
Entregue os arquivos de conversão com sua configuração
Registre comandos de conversão, versões de ferramentas, suporte do operador e limitações conhecidas. Para quantização, retenha a cobertura e o pré-processamento dos dados de calibração. Calcule e salve a soma de verificação do arquivo do modelo de saída. Vincule esse arquivo ao modelo original e aos logs de conversão. Uma mensagem de conversão bem-sucedida não estabelece inferência aceita no dispositivo de destino.
Compare resultados nas mesmas amostras
Verifique primeiro os tensores de entrada e, em seguida, compare as saídas dos modelos original e implantado. Verifique os resultados da classificação, caixas delimitadoras ou outros resultados reais da tarefa usando tolerâncias e métricas de qualidade acordadas. Salve amostras e explicações inconsistentes. Liste amostras insuficientes e condições que não foram testadas como não verificadas.
Meça a carga de trabalho e verifique a recuperação
Sob a carga de trabalho simultânea acordada, registre limites de tempo, amostras, recursos e exceções. Verifique a inicialização, falha no carregamento do modelo, reinicialização do processo e reversão de versão separadamente. Entregue modelos, configurações, dependências, resultados de comparação e problemas em aberto. Adicione verificação ao aumentar a simultaneidade ou a duração operacional posteriormente.
Para escopo de conversão e avaliação, consulte Documentação de quantização do ONNX Runtime.