边缘模型部署方案先确认模型来源与使用权限、输入输出定义、目标设备和软件版本。保存原模型、代表性样本、标签定义和已有结果。建立小范围试部署,明确功能、任务质量和资源限制的验收口径。
转换文件与配置一同交接
记录转换命令、工具版本、算子支持和已知限制。量化时保留校准数据范围及预处理。对输出模型计算校验值,关联原模型与转换日志。不能将转换工具返回成功当作目标设备推理已验收。
用同一批样本对照输出
先核对输入张量,再比较原模型与部署模型的输出。按任务检查分类结果、目标框或其他实际输出,使用约定容差和质量指标。保存不一致样本与原因。样本不足或未覆盖的条件列为待验证。
测量运行负载并检查恢复
在约定并发负载下记录计时范围、采样、资源和异常。分别检查启动、模型载入失败、进程重启与版本回退。交付模型、配置、依赖、对照结果和问题清单,后续扩大并发或运行时长时补充相应验证。
转换及评测范围可参考ONNX Runtime量化文档。