Para aquisição ou avaliação de inferência de borda, defina a tarefa e as métricas a serem comparadas. Salve o arquivo do modelo, dimensões de entrada, tamanho do lote, precisão numérica, tempo de execução e configuração de hardware com os resultados. O mesmo nome de modelo por si só não prova que a execução seja idêntica. Versão do arquivo convertido e sua configuração também.

Defina os limites de entrada e tempo

Use amostras fixas e regras acordadas de pré-processamento e processamento de saída. Meça a execução do modelo, a cópia de dados, a decodificação de vídeo e a latência do aplicativo separadamente. Indique os eventos de início e fim e o método de sincronização. Registre o aquecimento e as amostras medidas. O tempo de execução de uma operação de modelo não representa a latência total do aplicativo.

Registre recursos compartilhados e cargas de trabalho simultâneas

Declare fluxos de vídeo simultâneos, transcodificação, gravação e outras tarefas. Registre a carga da CPU, da memória e do acelerador. A documentação de threading do ONNX Runtime descreve modos de execução e configuração de thread. Meça a configuração real no dispositivo de destino sob a carga de trabalho pretendida. Mais threads não constituem uma promessa de entrega mais rápida.

Entregue resultados com suas condições aplicáveis

Verifique os resultados usando as mesmas amostras e métricas de qualidade acordadas e, em seguida, compare distribuições de latência, rendimento e registros de recursos. Relate definições de métricas, cobertura de amostra e exceções. Não estenda o resultado da execução de um modelo para simultaneidade de todo o dispositivo, estabilidade de longo prazo ou outras entradas.

Ver Gerenciamento de threads em tempo de execução ONNX.