更换推理后端时,应记录运行时、驱动、转换工具、模型文件和执行配置。核对实际执行位置与回退情况。模型成功载入只说明完成该步骤,仍需用约定样本检查结果及资源消耗。
数值精度变化需要结果对照
精度格式变化可能改变数值结果和算子执行方式。ONNX Runtime量化文档指出量化并非无损过程,需要检查准确性。使用代表性样本和目标任务指标对照原模型与部署模型,保留差异样本、阈值和评估版本。
预处理属于模型输入定义
记录颜色通道顺序、缩放、裁剪、填充、归一化和张量布局。将原始样本与实际输入张量关联,比较变换后的内容。预处理在CPU还是加速器执行、是否包含复制,也要写入计时范围。
优化配置随目标环境验证
ONNX Runtime图优化文档要求离线优化时使用与目标一致的选项和硬件条件。保存优化后的模型和配置,在目标环境复查功能、耗时及资源。分别报告模型执行与包含解码、预处理和输出处理的应用链路。