工业缺陷检测验收需要同时检查缺陷是否被漏掉,以及合格品是否被误判。总体准确率会受到样本构成影响;当合格样本占多数时,单一合计值可能掩盖少数缺陷的漏检。采购与技术评审应先约定缺陷定义、参考标注和统计单位。

先说明正类和计数方式

以下以缺陷品为正类,统计单位为单件产品。图像级、缺陷区域级和产品级指标应分别说明,不能直接混用。

参考结果 判为有缺陷 判为合格
缺陷品 命中 TP 漏检 FN
合格品 误报 FP 正确放行 TN

scikit-learn混淆矩阵官方说明按实际类别和预测类别组织计数。此处借用该统计定义,不引用算法跑分或把软件文档作为设备效果证明。

指标必须带分母

在上述二分类范围内,漏检率可写为 FN / (TP + FN),合格品误报率可写为 FP / (FP + TN)。分母为 0 时,该项缺陷指标无定义。报告应同时列出计数、样本构成、缺陷类别和统计范围。

模糊图像、定位失败或参考标注未确认的样本应单独登记待复核数量和处理方式。是否纳入最终验收分母需事先约定,不能通过删除难例使结果显得更好。

用验证集确定阈值,再进行验收

保存样本来源、批次、型号、成像条件、标注版本和数据用途。调整阈值、区域或模型后,重新检查漏检与误报;用于调整的资料不能直接冒充独立验收资料。重复拍摄同一件产品也不应被当作互相独立的产品样本。

验收条件还应包括适用缺陷、严重程度、边缘样本、复核流程和处理节拍。实际阈值及指标需要目标样本测试,本文不报告任何设备的检测通过结果。

相关服务:视觉算法与模型工程、项目咨询。