采购或评估边缘推理能力时,先定义要比较的任务与指标。模型文件、输入尺寸、批大小、数值精度、运行时和硬件配置应随结果保存。相同模型名称不足以说明实际执行内容相同,转换后的文件与配置也需要对应版本。
写清输入与计时范围
固定样本、图像预处理和输出处理规则。分别计量模型执行、数据复制、解码和业务端到端时延,说明起止事件与同步方式。记录预热和正式采样范围,不能用单个算子的耗时替代应用整体时延。
记录共享资源与并发负载
说明同期视频路数、转码、录像及其他任务,记录CPU、内存和加速器负载。ONNX Runtime线程文档说明了执行方式和线程配置。实际配置需要在目标设备与工作负载下测量,增加线程数并不构成更快的交付承诺。
比较结果与适用条件一同交付
使用相同样本和约定的质量指标核对输出,再比较时延分布、吞吐量及资源记录。报告统计口径、采样范围和异常,不将某次模型执行结果扩大为整机并发、长期稳定性或其他输入的结论。