Para la adquisición o evaluación de inferencias periféricas, defina la tarea y las métricas a comparar. Guarde el archivo del modelo, las dimensiones de entrada, el tamaño del lote, la precisión numérica, el tiempo de ejecución y la configuración del hardware con los resultados. El mismo nombre de modelo por sí solo no prueba que la ejecución sea idéntica. Versione el archivo convertido y su configuración también.
Definir los límites de entrada y tiempo.
Utilice muestras fijas y reglas acordadas de preprocesamiento y procesamiento de salida. Mida la ejecución del modelo, la copia de datos, la decodificación de video y la latencia de la aplicación por separado. Indique los eventos de inicio y fin y el método de sincronización. Registre el calentamiento y las muestras medidas. El tiempo de ejecución de una operación de modelo no representa la latencia total de la aplicación.
Registre recursos compartidos y cargas de trabajo simultáneas
Indique transmisiones de video simultáneas, transcodificación, grabación y otras tareas. Registre la carga de CPU, memoria y acelerador. La documentación de subprocesos de ONNX Runtime describe los modos de ejecución y la configuración de subprocesos. Mida la configuración real en el dispositivo de destino bajo la carga de trabajo prevista. Más hilos no constituyen una promesa de una entrega más rápida.
Entregar resultados con sus condiciones aplicables.
Verifique los resultados utilizando las mismas muestras y métricas de calidad acordadas, luego compare las distribuciones de latencia, el rendimiento y los registros de recursos. Informe definiciones de métricas, cobertura de muestra y excepciones. No extienda el resultado de la ejecución de un modelo a la simultaneidad de todo el dispositivo, la estabilidad a largo plazo u otras entradas.