Al cambiar un backend de inferencia, registre el tiempo de ejecución, el controlador, la herramienta de conversión, el archivo de modelo y la configuración de ejecución. Compruebe dónde se ejecutan realmente las operaciones y si se produce un retroceso. Cargar un modelo completa ese paso. Todavía se necesitan muestras acordadas para comprobar los resultados y el uso de recursos.

Comparar resultados después de cambios de precisión numérica

Cambiar la precisión numérica puede cambiar los resultados numéricos y la ejecución del operador. La documentación de cuantificación de ONNX Runtime establece que la cuantificación no es sin pérdidas y se debe verificar la precisión. Compare los modelos originales e implementados utilizando muestras representativas y métricas de tareas. Guarde muestras donde los resultados difieran, junto con umbrales y versiones de evaluación.

El preprocesamiento define la entrada del modelo.

Registre el orden de los canales de color, el cambio de tamaño, el recorte, el relleno, la normalización y el diseño del tensor. Vincule muestras originales con tensores de entrada reales y compare el contenido transformado. Indique si el preprocesamiento se ejecuta en la CPU o el acelerador y si la copia está incluida en el tiempo.

Verificar la configuración de optimización en el entorno de destino

La documentación de optimización de grafos de ONNX Runtime requiere opciones y hardware coincidentes cuando se utiliza la optimización fuera de línea. Guarde el modelo optimizado y la configuración. Vuelva a verificar la función, el tiempo y los recursos en el entorno de destino. Informe la ejecución del modelo por separado de la ruta de la aplicación que incluye decodificación de video, preprocesamiento y procesamiento de salida.

Ver documentación de cuantificación y documentación de optimización de grafos.