CN111814850A - 缺陷检测模型训练方法、缺陷检测方法及相关装置 - Google Patents

Abstract

本申请公开了一种缺陷检测模型训练方法、缺陷检测方法及相关装置，包括：获取至少一张训练样本图像，其中，训练样本图像标注有分别对应至少一类缺陷的至少一个第一真值框；利用目标检测网络对训练样本图像进行检测，以获取第一检测结果，其中，第一检测结果包括对应缺陷的第一检测框；利用第一真值框与第一检测框之间的距离，选择至少部分第一检测框作为目标检测框；基于目标检测框与第一真值框确定网络损失值，并利用网络损失值更新目标检测网络的参数以获得最终的缺陷检测模型。本申请所提供的技术方案可以快速且准确的训练得到同时对多种缺陷进行检测的缺陷检测模型。

Description

缺陷检测模型训练方法、缺陷检测方法及相关装置

技术领域

本申请涉及缺陷检测领域，特别是涉及一种缺陷检测模型训练方法、缺陷检测方法及相关装置。

背景技术

随着智能制造产业的快速发展，计算机视觉和图像处理技术成为产品后工序检测主要手段之一。比如：在瓶盖的制造过程中，存在着各种瓶盖破损、划痕、打滑、喷码异常、标贴异常等各种问题，如果不能即时筛选出问题瓶盖，轻者影响成品瓶盖的美观，严重者会影响瓶盖封存的产品的保存等问题。对于瓶盖检测问题，现在大多数监测方法都是采用人工识别，靠工作人员肉眼对酒瓶就行识别和定位，也有一些会采用传统图像处理方法进行筛选。但是这些方法存在很明显的弊端，如工作人员长时间进行物体识别，势必会产生疲劳，导致注意力下降。这会对检测结果的准确度产生一定的影响，降低问题瓶盖的识别率；再者工作人员用肉眼识别的速度较为缓慢，故需要一种可以解决上述问题的技术方案。

发明内容

本申请主要解决的技术问题是提供一种缺陷检测模型训练方法、缺陷检测方法及相关装置，能够快速训练得到对多种缺陷进行检测的缺陷检测模型。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种缺陷检测模型训练方法，所述方法包括：

获取至少一张训练样本图像，其中，所述训练样本图像标注有分别对应至少一类缺陷的至少一个第一真值框；

利用目标检测网络对所述训练样本图像进行检测，以获取第一检测结果，其中，所述第一检测结果包括对应所述缺陷的第一检测框；

利用所述第一真值框与所述第一检测框之间的距离，选择至少部分所述第一检测框作为目标检测框；

基于所述目标检测框与第一真值框确定网络损失值，并利用所述网络损失值更新所述目标检测网络的参数以获得最终的缺陷检测模型。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种缺陷检测方法，所述方法包括：

获取对待检测对象进行拍摄得到的待检测图像；

利用缺陷检测模型对所述待检测图像进行缺陷检测，得到缺陷检测结果；

其中，所述待检测对象为瓶盖，和/或，所述缺陷检测模型为如上任意一项所述的方法训练所得的模型。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种缺陷检测模型训练装置，所述装置包括耦接的存储器和处理器，其中，所述存储器包括本地储存，且存储有计算机程序；

所述处理器用于运行所述计算机程序，以执行如上所述的缺陷检测模型训练方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种缺陷检测装置，所述装置包括耦接的存储器和处理器，其中，

所述存储器包括本地储存，且存储有计算机程序；

所述处理器用于运行所述计算机程序，以执行如上所述的缺陷检测方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机存储介质，所述计算机存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现如上所述的缺陷检测模型训练方法或缺陷检测方法。

相比于现有技术中的方案，本申请所提供的技术方案，通过获取到至少一张训练样本图像，并利用目标检测网络对训练样本图像进行检测，以获取包括对应缺陷的第一检测框的第一检测结果，然后利用第一真值框与第一检测框之间的距离，选择至少部分第一检测框作为目标检测框，基于目标检测框与第一真值框确定网络损失值，并利用网络损失值更新目标检测网络的参数以获得最终的缺陷检测模型，相比现有技术的方案可以快速训练得到可对多种缺陷进行高效率检测的、且准确率较高的缺陷检测模型。

附图说明

图1为本申请一种缺陷检测模型训练方法一实施例中的流程示意图；

图2为本申请一种缺陷检测模型训练方法另一实施例中的流程示意图；

图3为本申请一种缺陷检测模型训练方法又一实施例中的流程示意图；

图4为本申请一种缺陷检测模型训练方法又一实施例中的流程示意图；

图5为本申请一种缺陷检测模型训练方法再一实施例中的流程示意图；

图6为本申请一种缺陷检测模型训练方法又一实施例中的流程示意图；

图7为本申请一种缺陷检测模型训练方法又一实施例中的流程示意图；

图8为本申请一种缺陷检测方法一实施例中的流程示意图；

图9为本申请一种缺陷检测模型训练装置一实施例中的结构示意图；

图10为本申请一种缺陷检测装置一实施例中的结构示意图；

图11为本申请一种计算机存储介质一实施例中结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参见图1，图1为本申请一种缺陷检测模型训练方法一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括：

S110：获取至少一张训练样本图像。

其中，训练样本图像标注有分别对应至少一类缺陷的至少一个第一真值框。

在进行训练可对某类目标进行缺陷检测的缺陷检测模型时，首先需要采集包括进行缺陷检测的目标的样本图像，样本图像中所包括的目标中对应包括至少一类缺陷。其中，包括目标的样本图像可以是由外部的拍摄设备拍摄得到并传输至缺陷检测模型训练装置的，也可以是由缺陷检测模型训练装置利用自身的图像获取单元获取的，具体在此不做限定，以缺陷检测模型训练装置的具体配置为准。

其中，在当前实施例中，样本图像至少包括原始的RGB图像，可以理解的是，在此并不限定样本图像的类型仅仅包括原始的RGB图像一种。当样本图像为原始的RGB图像时，在对原始的RGB图像中的至少一类缺陷进行标注后即可获得训练样本图像。具体地，可以由人工预先在训练样本图像中标注有分别对应至少一类缺陷的至少一个第一真值框。其中，在当前实施例中，一类缺陷可以对应一个第一真值框。在另一实施例中，也可以预先在训练样本图像中对同一类缺陷对应标注多个第一真值框。

进一步地，在另一实施例中，为了训练得到可对某类目标同时进行多种不同类型缺陷检测的缺陷检测模型时，首先需要采集多张包括进行缺陷检测的目标的样本图像。其中，在该实施例中，多张样本图像中包括所需要检测的多种类型的缺陷，具体地，多张样本图像中包括：只包括一种缺陷的样本图像、同时包括多种不同类型的缺陷的样本图像。

进一步地，请参见图2，图2为本申请一种缺陷检测模型训练方法另一实施例中的流程示意图。在当前实施例中，着重展示的是上述步骤S110获取至少一张训练样本图像所包括的步骤。在图2所对应的实施例中，步骤S110进一步包括步骤S201至步骤S202。

S201：获取原本的训练样本图像。其中，训练样本图像标注有分别对应至少一种类型缺陷的至少一个真值框。

其中，原本的训练样本图像为获取的标注有分别对应至少一种类型缺陷的至少一个真值框的、且没有进行数据增强处理之前的样本图像。在一实施例中，获取原本的训练样本图像的过程为：利用图像获取单元对包括待检测缺陷的待检测目标进行多方位拍摄以获取原始图像，然后再由用户人工在缺陷检测模型训练装置上，对所获取的原始图像中待检测目标所包括的缺陷进行人工标注，以获得原本的训练样本图像，以执行下述步骤S202。用户在对原始图像中目标所包括的缺陷进行标注时，至少是用框将缺陷标注出并注明框所对应缺陷的类型以获得第一真值框。

在另一实施例中，获取原本的训练样本图像的过程为：获取外部拍摄设备对包括待检测缺陷的待检测目标多方位拍摄所得的原始图像，然后由用户人工对所获取的原始图像进行人工标注以获得第一真值框，进而获得至少一张原本的训练样本图像，再将所获得的原本的训练样本图像发送至缺陷检测模型训练装置，使得缺陷检测模型训练装置获取到原本的训练样本图像，再执行下述步骤S202。

S202：对原本的训练样本图像进行数据增强处理，以获得新的训练样本图像。

在获取到原本的训练样本图像之后，进一步对所获取的原本的训练样本图像进行数据增强处理，以获得新的训练样本图像。在当前实施例中，通过对所获取的原本的训练样本图像进行数据增强处理，进而可以获得数量较多的新的训练样本图像，并在得到新的训练样本图像之后，将所获得的新的训练样本图像和原本的训练样本图像合并输出作为用于训练缺陷检测模型的训练集。在当前实施例中，所获取的新的训练样本图像中，同样会对应标注有第一真值框和对应的缺陷类型，在当前实施例中通过对原本的训练样本图像进行数据增强处理之后，可以较好地扩大训练样本图像总的数量。其中，数据增强处理的方式至少包括：翻转、旋转、颜色变换、添加噪声、放射变换、平移和随机裁剪和风格迁移网络中的一种。

更进一步地，上述步骤S202对原本的训练样本图像进行数据增强处理，以获得新的训练样本图像，进一步包括：获取无缺陷图像，利用风格迁移网络将原本的训练样本图像中的缺陷特征迁移至无缺陷图像中，以得到新的训练样本图像。在另一实施例中，并不限定获取无缺陷图像和步骤201获取原本的训练样本图像的前后步骤。其中，无缺陷图像可以是经过用户标注并确认之后的图像，且为了训练得到准确度较高的缺陷检测模型，所获取的是待检测对象多个不同角度的无缺陷图像。在当前实施例中，利用风格迁移网络对训练样本图像进行数据增强处理，以获得新的训练样本图像，进而增加训练样本图像的数量，可以较好地提高数据集的利用率，减少了用户进行人工标注的投入。

具体地，由于原本的训练样本图像中的缺陷特征在不同的样本中可能是其他的形态，故在利用风格迁移网络将原本的训练样本图像中的缺陷特征，迁移至其他的无缺陷的图像中，并在缺陷特征进行迁移的过程中，缺陷的位置、缺陷的大小以及缺陷与周围图像之间的相对融合效果均会有适应性变化，进而可以获取到包含缺陷的、且缺陷形态不同的新的训练样本图像，并将原本的训练样本图像和新的训练样本图像输出作为训练样本图像，以执行步骤S120。

S120：利用目标检测网络对训练样本图像进行检测，以获取第一检测结果。

在获取到至少一张训练样本图像之后，进一步利用目标检测网络对训练样本图像进行检测，以获取第一检测结果。具体地，是将所获取的训练样本输入至目标检测网络中，以使得目标检测网络对训练样本图像进行缺陷检测，进而获取到第一检测结果。其中，第一检测结果至少包括对应缺陷的第一检测框。

进一步地，在利用目标检测网络对训练样本图像进行检测时，还会利用目标检测网络进一步判断检测所得的缺陷的类型，并在所获取到的第一检测框处标注该第一检测框所对应的缺陷类型。在当前实施例中，会在第一检测框处标注有第一检测框所对应的缺陷类型。

更进一步地，标注的缺陷类型是根据预先设定的缺陷标识码进行标注的。在当前实施例中，会预先为各个类型的缺陷对应设置缺陷标识码，在利用目标检测网络对训练样本图像进行检测得到第一检测框时，对应利用缺陷标识码标注该第一检测框所对应的缺陷。其中，每个缺陷标识码具有唯一性，即不同的缺陷标识码在本申请所提供的技术方案中只用于标注一种类型的缺陷。

进一步地，在首次进行训练时，则在执行步骤S120中所利用的目标检测网络可以为初始目标检测网络，初始目标检测网络中的各个参数均是初始参数，需要说明的是，在训练得到缺陷检测模型的过程中，会进一步根据所得的目标检测框和第一真值框之间的网络损失值，调整目标检测网络的参数，以对目标检测网络进行训练优化，进而获得检测更为准确的缺陷检测模型。其中，目标检测框的选取可以参见下述步骤S130中所对应的阐述，关于目标检测网络之间。

进一步地，目标检测网络包括SSD网络，对应的，第一检测框为目标检测网络中个卷积层检测所得的检测框。其中，SSD网络包括基础网络和金字塔网络。其中，基础网络是VGG-16的前4层网络，金字塔网络是特征图逐渐变小的简单卷积网络(在其他实施例中也可以将卷积网络定义为卷积层)由5部分组成。在金字塔结构的每一部分都有3*3的卷积来进行预测，在特征图的每个位置检测得到第一检测框，每个第一检测框分别对应有设定数量个缺陷分类得分，和4个相对于真值框的位置偏移量。其中，缺陷分类得分用于确定第一检测框所对应的缺陷的类型。

S130：利用第一真值框与第一检测框之间的距离，选择至少部分第一检测框作为目标检测框。

在获取到包括第一检测框的第一检测结果之后，进一步计算求取第一真值框与第一检测框之间的距离，并利用计算所得的第一真值框与第一检测框之间的距离，自第一检测框中选取部分第一检测框作为目标检测框。其中，目标检测框是用于调整目标检测网络参数的部分第一检测框。

进一步地，在另一实施例中，在获取到第一检测框之后，计算的是第一真值框与第一检测框之间的损失距离，即计算第一真值框与第一检测框两者之间的损失值，并根据计算所得的损失值，自第一检测框中选取部分第一检测框作为目标检测框。

更进一步地，在另一实施例中，在计算第一真值框与第一检测框两者之间的损失值之后，还会进一步对所得的损失值进行处理，以根据所得的处理后的损失值确定目标检测框。

S140：基于目标检测框与第一真值框确定网络损失值，并利用网络损失值更新目标检测网络的参数以获得最终的缺陷检测模型。

在自第一检测框中选取得到目标检测框之后，进一步计算目标检测框与第一真值框之间网络损失值，然后利用所得的网络损失值更新目标检测网络的参数以获得最终的缺陷检测模型。

进一步地，当目标检测框数量为多个时，则在分别计算各个目标检测框与对应第一真值框之间的网络损失值，进一步将各个目标检测框与对应的真值框之间的网络损失值进加权求和，以得到总的网络损失值，再根据所得的总的损失值更新目标检测网络的参数，以获得最终的缺陷检测模型。其中，最终的缺陷检测模型为停止训练优化，最终输出的缺陷检测模型。

本申请图1所对应的实施例中，通过获取到至少一张训练样本图像，并利用目标检测网络对训练样本图像进行检测，以获取包括对应缺陷的第一检测框的第一检测结果，然后利用第一真值框与第一检测框之间的距离，选择至少部分第一检测框作为目标检测框，基于目标检测框与第一真值框确定网络损失值，并利用网络损失值更新目标检测网络的参数以获得最终的缺陷检测模型，相比现有技术的方案可以快速训练得到可对产品中多种缺陷进行高效率检测的、且准确率较高的缺陷检测模型。

具体地，相比于现有技术中通过大量计算所有检测框和真值框之间的交并比，本申请图1所对应的实施例中是通过基于第一检测框和第一真值框之间的距离，在检测所得的第一检测框中选取部分第一检测框作为目标检测框，相比现有技术可以较好地减少计算量，进而提高缺陷检测模型的训练速度。

请参见图3，图3为本申请一种缺陷检测模型训练方法又一实施例中的流程示意图。在当前实施例中，本申请所提供的方法着重展示的是上述步骤S130利用第一真值框与第一检测框之间的距离，选择至少部分第一检测框作为目标检测框所包括的步骤。在图3所对应的实施例中，上述步骤S130进一步包括步骤S301至步骤S303。

S301：分别计算各个第一检测框与对应第一真值框之间的距离。

在利用目标检测网络对训练样本图像进行检测，并获取到第一检测框之后，分别确定各个第一检测框对应的第一真值框，并在确定了各个第一真值框之后进一步分别计算各个第一检测框与对应第一真值框之间的距离。

更进一步地，步骤S301是分别计算各个第一检测框与其所对应的第一真值框之间的损失距离，以根据损失距离判断第一检测框相对于第一真值框之间的准确度。

S302：自第一检测框中选取距离最小的预设数量的第一检测框作为候选检测框。

在计算求得各个第一检测框与对应第一真值框之间的距离之后，进一步自第一检测框中选取距离最小的预设数量的第一检测框作为候选检测框。其中，预设数量是根据经验值设定的一个定值。

进一步地，在另一实施例中，当进行训练的训练样本图像的数量并不是固定的，或者是进行训练样本图像中所包括的缺陷数量不固定，故利用目标检测网络自训练样本图像中进行检测获得的第一检测框的数量也是不确定的，故在步骤S302中也可以是自第一检测框中选取预设比例的距离最小的第一检测框作为候选检测框。其中，候选检测框为按照第一检测框与对应第一真值框之间的距离自第一检测框中选取的、且是用来选取目标检测框的检测框。换而言之，也可以将候选检测框按照损失距离从大到小排序，损失距离较小的预设数量个或者预设比例的第一检测框。

S303：计算各个候选检测框与对应第一真值框的第一交并比，并根据第一交并比选取至少部分候选检测框，作为目标检测框。

在确定了候选检测框之后，进一步计算各个候选检测框与对应第一真值框的第一交并比。并根据各个第一交并比选取至少部分候选检测框，作为目标检测框。

进一步地，在求取各个候选检测框与对应的第一真值框的第一交并比之后，如可以直接是选取交并比较大的至少部分候选检测框作为目标检测框。

更进一步地，在计算求得各个候选检测框与对应的第一真值框的第一交并比之后，还可以是对所得的交并比再次进行处理，如计算第一交并比的均值和方差值，然后根据所的均值和方差值确定选取目标检测框所对应的交并比阈值，然后选取交并比大于或等于所确定的交并比阈值的候选检测框作为目标检测框，具体可以参见下文图4所对应的实施例部分的阐述。在一些实施例中，会将选取所得的目标检测框定义为正样本，对应的，其他没有被选做目标检测框的第一检测框则定义为负样本。

请参见图4，图4为本申请一种缺陷检测模型训练方法又一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括：

S401：获取至少一张训练样本图像。

S402：利用目标检测网络对训练样本图像进行检测，以获取第一检测结果。

在当前实施例中，上述步骤S301分别计算各个第一检测框与对应第一真值框之间的距离进一步包括步骤S403。

S403：分别获取各个第一检测框的中心点与对应第一真值框的中心点之间的距离，以作为第一检测框与第一真值框之间的距离。

在当前实施例中，在获取到包括第一检测框的第一检测结果之后，分别计算获取各个第一检测框的中心点与该第一检测框所对应的第一真值框之间的距离，在当前实施例中，第一检测框的中心点与对应第一真值框的中心点之间的距离可以指的是两点之间的实际距离值。

进一步地，在另一实施例中，在获取到包括第一检测框的第一检测结果之后，分别计算获取各个第一检测框的中心点与该第一检测框所对应的第一真值框中心点之间的损失距离，在此也可以将损失距离理解为第一检测框的中心点与该第一检测框所对应的第一真值框中心点之间的损失值。

更进一步地，在其他实施例中，在利用目标检测网络对训练样本图像进行检测，以获取第一检测结果之后，进一步分别获取各个第一检测框的端点与对应第一真值框的端点之间的距离，然后将所得的端点之间的距离进行加权求和以作为第一检测框与第一真值框之间的距离。可以理解的是，在一些实施例中，也可以求取所得的多个端点之间的距离均值，并将多个端点之间的距离均值作为第一检测框与第一真值框之间的距离。

S404：自第一检测框中选取距离最小的预设数量的第一检测框作为候选检测框。

S405：计算各个候选检测框与对应第一真值框的第一交并比。

在当前实施例中，上述步骤S303中的根据第一交并比选取至少部分候选检测框，作为目标检测框进一步包括步骤S406至步骤S408。

S406：获取预设数量的候选检测框与对应第一真值框的第一交并比的均值和方差值。

在当前实施例中，在计算各个候选检测框与对应第一真值框的第一交并比之后，进一步计算获取预设数量的候选检测框与对应第一真值框之间的第一交并比的均值和方差值。

S407：将均值和方差值的和作为目标检测框的第一选取阈值。

计算求取得到均值和方差值之后，将所求取的均值和方差值作为目标检测框的交并比第一选取阈值，并执行步骤S408。

S408：选取第一交并比大于或等于第一选取阈值的候选检测框，以作为目标检测框。

选取第一交并比大于或等于第一选取阈值的候选检测框作为目标检测框，即将第一交并比大于或等于第一选取阈值的候选检测框输出作为目标检测框，以对缺陷检测模型进行训练优化；同时舍弃其他的第一交并比小于第一选取阈值的候选检测框。

S409：基于目标检测框与第一真值框确定网络损失值，并利用网络损失值更新目标检测网络的参数以获得最终的缺陷检测模型。在当前实施例中，通过在计算各个候选检测框与对应第一真值框的第一交并比之后，进一步计算获取预设数量的候选检测框与对应第一真值框之间的第一交并比的均值和方差值，然后进一步再利用第一交并比的均值和方差值确定第一选取阈值，然后基于第一选取阈值自候选检测框中选取目标检测框，可以实现更为准确的选取到目标检测框，通过选取更为准确的目标检测框进而提高训练缺陷检测模型的效率，同时也可以提高训练缺陷检测模型的准确率。

需要说明的是，当前实施例中的步骤S401至S402、步骤S404至步骤S405和步骤S409与分别与上述图1或者是图3中一些步骤相同，具体可以参见上文对应部分的阐述，在此不再详述。

请参见图5，图5为本申请一种缺陷检测模型训练方法再一实施例中的流程示意图。在当前实施例中，着重阐述的是步骤利用网络损失值更新目标检测网络的参数以获得最终的缺陷检测模型之后所包括的步骤。在利用网络损失值更新目标检测网络的参数，即获得一个新的缺陷检测模型之后，会对所得的新的缺陷检测模型进行测评，以判断新的缺陷检测模型参数是否合格，进而判断其是否为最终的缺陷检测模型。具体地，对新的缺陷检测模型进行测评的过程包括步骤S501至步骤S504所述的内容。具体地，在当前实施例中，本申请所提供的方法还包括：

S501：将测试样本图像输入至缺陷检测模型，以获得测试样本图像的第二检测结果。

在利用网络损失值更新目标检测网络的参数后，获得一个新的缺陷检测模型之后，会进一步将测试样本图像输入至所得的新的缺陷检测模型，以获得对应测试样本图像的第二检测结果。其中，测试样本图像是预设的用于对缺陷检测模型进行测试的样本图像，具体可以是区别于训练样本集的图像集。第二检测结果包括对应缺陷的第二检测框，第二检测结果包括缺陷类型，具体地是将缺陷类型运用缺陷标识码来标注在第二检测框处。需要说明的是，用于标注第二检测框对应的缺陷类型的缺陷标识码与用于标注第一检测框所对应的缺陷的缺陷标识码为同一套标识码。

进一步地，在其他实施例中，会预先根据经验值设定执行预设次数的步骤S120至步骤S140，以经过多次训练优化，进而获得一个新的缺陷检测模型，然后再利用步骤S501至步骤S504对所得的缺陷检测模型进行评估检测。其中，预设的训练优化的执行次数是根据经验值可进行调整设置，在此不做限定。

S502：判断缺陷的第二检测框的位置和/或尺寸是否符合缺陷的理论特征。

在获得包括第二检测框的第二检测结果之后，进一步判断缺陷对应的第二检测框的位置和/或尺寸是否符合缺陷的理论特征。进一步地，在获得第二检测结果之后，进一步获得第二检测框的位置和/或尺寸，然后将所获得的第二检测框的位置和/或尺寸，与预先设定的缺陷的理论特征进行比对，以判断缺陷的第二检测框的位置和/或尺寸是否符合缺陷的理论特征。其中，缺陷的理论特征至少包括缺陷的理论位置范围和理论尺寸。

具体地，缺陷的理论特征还可以是由用户预先根据产品要求以及产品常常出现的缺陷特征预先设定的，也可以理解为产品中缺陷的其他常见特征。如，当产品为瓶盖时，可以预先设定瓶盖喷码异常的缺陷处于瓶盖的侧面，又或者是预先定瓶盖喷码异常为的喷码高度高于瓶盖高度的三分之二处。可以理解的是，本申请所提供的缺陷检测模型训练方法可以用于训练对不同的产品进行缺陷检测的缺陷检测模型，故在实际应用时可以由用户根据缺陷检测模型的应用场景、以及进行缺陷检测的产品中缺陷常见特征进行设置缺陷的理论特征，在此对于缺陷的理论特征不做限定。

在另一实施例中，缺陷的理论特征也可以是根据对训练样本图像观察得出。如在一实施例中，经过对训练样本图像观察得到：瓶盖破损类缺陷可以位于瓶盖的整个界面；而瓶盖打旋的缺陷多存在于瓶盖侧面且高度上面1/3-1/2处、喷码异常的缺陷多存在于瓶盖的左中侧、瓶盖断点和坏边的缺陷多存在于瓶盖下方，在对应的会将上述观察所的缺陷结论设置为缺陷的理论特征。据此信息，进一步设计了一个验证缺陷检测的方法。将第二检测结果输入至验证缺陷处理模块，可以根据缺陷类型进行检测当前检测所得的缺陷是否符合该类型缺陷的理论特征，若符合则留下该缺陷对应的第二检测框，否则舍弃。

S503：若是则保留第二检测框，否则舍弃第二检测框。

若判断得到缺陷的第二检测框的位置和/或尺寸符合缺陷的理论特征，则会保留该第二检测框，反之，若判断得到缺陷的第二检测框的位置和/或尺寸不符合缺陷的理论特征，则会舍弃第二检测框。

S504：利用保留的第二检测框的数量，对缺陷检测模型进行性能评估。

经过判断缺陷的第二检测框的位置和/或尺寸是否符合缺陷的理论特征，并获得保留下来的第二检测框之后，利用保留的第二检测框的数量，对当前的缺陷检测模型进行性能评估。具体地，对于缺陷检测模型进行性能评估可以参见下文图6所对应实施例中的阐述。

图5所对应的实施例中，通过将测试样本图像输入至缺陷检测模型，以获得测试样本图像的第二检测结果，并判断缺陷的第二检测框的位置和/或尺寸是否符合缺陷的理论特征，若是则保留第二检测框，否则舍弃第二检测框，然后利用保留的第二检测框的数量，对缺陷检测模型进行性能评估，可以较好地测评所得的缺陷检测模型的检测精度，并利用测评结果确定是否将所得的缺陷检测模型输出，进而实现在训练得到检测精度较高的缺陷检测模型。

进一步地，请参见图6，图6为本申请一种缺陷检测模型训练方法又一实施例中的流程示意图。在当前实施例中，测试样本图像标注有分别对应至少一类缺陷的第二真值框。

上述步骤S504利用保留的第二检测框的数量，对缺陷检测模型进行性能评估，进一步包括：

S601：获取保留的第二检测框与对应的第二真值框之间的第二交并比。

在将测试样本图像输入至缺陷检测模型，获得测试样本图像的第二检测结果，并在判断缺陷的第二检测框的位置和/或尺寸符合缺陷的理论特征并保留第二检测框之后，进一步计算保留的第二检测框与对应的第二真值框之间的第二交并比。其中，需要说明的是，步骤S601中计算获取的是与第二检测框所对应的缺陷类型相同的第二真值框之间的第二交并比。

S602：利用至少部分第二交并比确定缺陷检测模型的准确率和召回率。

在计算获取到保留的第二检测框与对应的第二真值框之间的第二交并比之后，进一步利用至少部分第二交并比确定缺陷检测模型的准确率和召回率。

进一步地，在一实施例中，在获取到保留的第二检测框与对应的第二真值框之间的第二交并比之后，进一步选取大于或等于预设的第二选取阈值的第二交并比，然后利用交并比值大于或等于预设的第二选取阈值的第二交并比确定缺陷检测模型的准确率和召回率。

S603：根据第二交并比、召回率和准确率得到缺陷检测模型的性能评估值，以根据性能评估值评估缺陷检测模型。

根据计算所得的第二交并比、召回率和准确率，进一步判断当前所的新的缺陷检测模型的性能是否符合要求，进而判断是否可以停止训练缺陷检测模型，将当前的缺陷检测模型输出作为最终的缺陷检测模型。

其中，准确率表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)。即，在当前实施例中，准确率等于第二检测框的总数量和总的第二真值框的数量的比值，计算公式为：准确率＝保留的第二检测框的总数量/第二真值框的总数量。

召回率是针对原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。具体地，存在两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。即，在当前实施例中，召回率等于保留的第二检测框的数量与总的第二真值框的数量的比值，即召回率＝第二检测框的数量/总的第二真值框的数量的比值。其中需要说明的是：在其他实施例中，还会将准确率和召回率又定义为查准率和查全率。

进一步地，根据第二交并比、召回率和准确率计算得到平均精度均值，即mAP(meanAverage Precision)。具体地，依据下述公式计算平均精度均值，

其中，P，R分别为准确率与召回率。

需要说明的是，为了对缺陷检测模型进行较为全面的测评，需要限定多个测试样本图像中所包括的缺陷类型至少涵盖用于训练的训练样本图像中全部的缺陷类型。

其中，需要说明的是，在一些实施例中，将利用网络损失值更新目标检测网络的参数，定义为利用网络损失值进行梯度回传，以更新目标检测网络的参数，更进一步地，当目标检测网络为SSD网络时，则上述步骤也理解为，利用网络损失值进行梯度回传，以更新SSD网络的参数。

请参见图7，图7为本申请一种缺陷检测模型训练方法又一实施例中的流程示意图。在当前实施例中，上述步骤S140中的基于目标检测框与第一真值框确定网络损失值，进一步包括：

S701：根据目标检测框与对应第一真值框之间的位置差异，得到位置损失值。

在选取得到目标检测框之后，计算目标检测框与第一真值框之间的网络损失值。其中，网络损失值至少包括位置损失值和置信度损失值。

具体地，位置损失值为Smooth L1损失函数。

S702：根据第一检测结果中的目标检测框的置信度，得到置信度损失值。

其中，置信度损失值为交叉熵损失函数。

S703：基于位置损失值和置信度损失值，得到网络损失值。

在分别求取得到位置损失值和置信度损失值之后，进一步对位置损失值和置信度损失值的进行加权求和，进而将位置损失值和置信度损失值的加权求和的结果作为网络损失值，以根据所得的网络损失值更新目标检测网络的参数以获得最终的缺陷检测模型。其中，在对位置损失值和置信度损失值进行加权求和时，位置损失值和置信度损失值所对应的权重比可以根据经验值进行设定，在此不做限定。

本申请所提供的方法可较好地训练得到可应用于检测某一产品多种类型的缺陷的缺陷检测模型，且只需提供相应的需要检测的缺陷数据并进行训练即可，通过本申请所提供的方法训练所得的缺陷检测模型相对于传统的图像处理技术，可实现更高效率的缺陷检测，也可以较好地保证缺陷检测精度。

请参见图8，图8为本申请一种缺陷检测方法一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括：

S810：获取对待检测对象进行拍摄得到的待检测图像。

在对待检测对象进行检测时，首先需要对待检测对象进行拍摄，并获取对检测对象进行拍摄得到的待检测图像。

进一步地，在另一实施例中，为了对待检测对象进行更为准确的检测，则步骤S810为获取对待检测对象进行多角度拍摄得到的多个不同角度的待检测图像。当对待检测对象多角度进行检测时，则在拍摄得到待检测对象不同角度的待检测图像时，会进一步在拍摄所得的待检测图像中标记拍摄的角度，以便后续进行缺陷检测时，根据拍摄角度确定缺陷，并在检测得到缺陷检测结果后，将缺陷检测结果以及拍摄角度对应输出，以便用户或者是后续的机器可根据缺陷检测结果快速分辨出缺陷，或者是将所得的缺陷结合拍摄角度，与缺陷理论特征进行比对，以判断缺陷检测的准确性。

S820：利用缺陷检测模型对待检测图像进行缺陷检测，得到缺陷检测结果。

将待检测图像输入至缺陷检测模型，以利用缺陷检测模型对待检测图像进行缺陷检测，以得到缺陷检测结果，并将所得的缺陷检测结果输出。

其中，待检测对象为瓶盖，和/或，缺陷检测模型为如图1至图7及其所对应的任意一个实施例中的缺陷检测模型训练方法训练所得的最终的缺陷检测模型。

进一步地，在另一实施例中，请继续参见图8，在步骤S820利用缺陷检测模型对待检测图像缺陷检测，得到缺陷检测结果之后，本申请所提供的方法还包括：

S830：根据缺陷检测结果中包含的缺陷的类型，对瓶盖进行分类处理。

在利用缺陷检测模型对待检测图像进行缺陷检测，得到缺陷检测结果之后，进一步根据缺陷检测结果中包含的缺陷的类型，对瓶盖进行分类处理。具体地，是将检测所得的缺陷检测结果输出至处理器，以使得处理器根据检测所得的缺陷检测结果中所包含的缺陷的类型，确定对瓶盖进行分类处理的操作，并生成对应的分类处理的操作的控制指令，以将瓶盖按照缺陷的类别输出至对应的工位或工线，以便后续对瓶盖上的缺陷进行处理。

进一步地，分类处理是指根据瓶盖的缺陷类型确定将瓶盖输出至什么的工位或工线，并反馈至处理器，以便生成对应分类处理的操作指令进而将包括不同类型缺陷的瓶盖输出至不同的工位或工线，以对瓶盖的缺陷进行处理，进而获得合格的瓶盖。

其中，缺陷检测结果中包含的缺陷的类型包括：瓶盖破损、瓶盖变形、瓶盖坏边、瓶盖打旋、瓶盖断点和喷码异常中的至少一个。

相比于现有技术，本申请所提供的技术方案，本提案仅需使用摄像机拍摄的图像即可进行缺陷检测，和其他方法相比，不需要以额外的图像处理技术，方法简单易行，可以快速应用于工厂。

对于本申请图1至图7及图8及其各自所对应的任意一个实施例中所提供的技术方案中通过采用深度学习技术，并结合图像的视觉特征，使用端到端的深度神经网络对RGB图像进行训练，实现对瓶盖缺陷的准确分类和定位。且本申请所提供的基于深度学习的缺陷检测方法，可以通过仅替换训练样本图像的数据及少量参数即可实现多种缺陷类别的识别，部署到产品中亦可以轻易实现升级。

请参见图9，图9为本申请一种缺陷检测模型训练装置一实施例中的结构示意图。在当前实施例中，本申请所提供的缺陷检测模型训练装置900包括耦接的处理器901和存储器902。其中，缺陷检测模型训练装置900可以执行图1至图7及其对应的任意一个实施例中所述的缺陷检测模型训练方法。

其中，存储器902包括本地储存(图未示)，且存储有计算机程序，计算机程序被执行时可以实现图1至图7及其所对应的任意一个实施例中所述的方法。

处理器901与存储器902耦接，处理器901用于运行计算机程序，以执行如上图1至图7及其对应的任意一个实施例中所述的缺陷检测模型训练方法。

进一步地，在另一实施例中，本申请所提供的缺陷检测模型训练装置900还会包括图像获取单元(图未示)。图像获取单元与处理器901连接，用于在处理器901的控制下拍摄获取原始图像或测试样本图像或训练样本图像。

进一步地，在另一实施例中，本申请所提供的缺陷检测模型训练装置900还会包括通信电路(图未示)，通信电路与处理器901连接，用于在处理器901的控制下与外部的终端设备进行数据交互，以获取训练样本图像或原始图像或测试样本图像，其中外部的终端设备可包括拍摄设备或移动终端等等。

请参见图10，图10为本申请一种缺陷检测装置一实施例中的结构示意图。在当前实施例中，本申请所提供的缺陷检测装置1000包括耦接的处理器1001和存储器1002。其中，缺陷检测装置1000可以执行图8及其对应的任意一个实施例中所述的缺陷检测模型训练方法。

其中，存储器1002包括本地储存(图未示)，且存储有计算机程序，计算机程序被执行时可以实现图8及其所对应的任意一个实施例中所述的方法。

处理器1001与存储器1002耦接，处理器1001用于运行计算机程序，以执行如上图8及其对应的任意一个实施例中所述的缺陷检测方法。

进一步地，在另一实施例中，本申请所提供的缺陷检测装置1000还会包括图像获取单元(图未示)。图像获取单元与处理器1001连接，用于在处理器1001的控制下拍摄获取待检测对象，以获取待检测图像。

进一步地，在另一实施例中，本申请所提供的缺陷检测装置1000还会包括通信电路(图未示)，通信电路与处理器1001连接，用于在处理器1001的控制下与外部的终端设备进行数据交互，以获取待检测图像，其中外部的终端设备可包括拍摄设备或移动终端等等。

参见图11，图11为本申请一种计算机存储介质一实施例中结构示意图。该计算机存储介质1100存储有能够被处理器运行的计算机程序1101，该计算机程序1101用于实现如上图1至图7及其所对应的任意一个实施例所述的缺陷检测模型训练方法，再或者计算机程序1101是用于实现图8及其对应的任意一个实施例中所描述的缺陷检测方法。具体地，上述计算机存储介质1100可以是存储器、个人计算机、服务器、网络设备，或者U盘等其中的一种，具体在此不做任何限定。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种缺陷检测模型训练方法，其特征在于，所述方法包括：

获取至少一张训练样本图像，其中，所述训练样本图像标注有分别对应至少一类缺陷的至少一个第一真值框；

利用目标检测网络对所述训练样本图像进行检测，以获取第一检测结果，其中，所述第一检测结果包括对应所述缺陷的第一检测框；

利用所述第一真值框与所述第一检测框之间的距离，选择至少部分所述第一检测框作为目标检测框；

基于所述目标检测框与第一真值框确定网络损失值，并利用所述网络损失值更新所述目标检测网络的参数以获得最终的缺陷检测模型。

2.根据权利要求1所述的方法，其特征在于，所述利用所述第一真值框与所述第一检测框之间的距离，选择至少部分所述第一检测框作为目标检测框，进一步包括：

分别计算各个所述第一检测框与对应第一真值框之间的距离；

自所述第一检测框中选取所述距离最小的预设数量的第一检测框作为候选检测框；

计算各个所述候选检测框与对应第一真值框的第一交并比，并根据所述第一交并比选取至少部分所述候选检测框，作为所述目标检测框。

3.根据权利要求2所述的方法，其特征在于，所述分别计算各个所述第一检测框与对应第一真值框之间的距离，包括：

分别获取各个所述第一检测框的中心点与对应第一真值框的中心点之间的距离，以作为所述第一检测框与所述第一真值框之间的距离；

所述根据所述第一交并比选取至少部分所述候选检测框，作为所述目标检测框，进一步包括：

获取所述预设数量的候选检测框与对应第一真值框的第一交并比的均值和方差值；

将所述均值和所述方差值的和作为目标检测框的第一选取阈值；

选取第一交并比大于或等于所述第一选取阈值的所述候选检测框，以作为所述目标检测框。

4.根据权利要求1所述的方法，其特征在于，所述利用所述网络损失值更新所述目标检测网络的参数以获得最终的缺陷检测模型之后，所述方法还包括：

将测试样本图像输入至所述缺陷检测模型，以获得所述测试样本图像的第二检测结果，其中，所述第二检测结果包括对应所述缺陷的第二检测框；

判断所述缺陷的第二检测框的位置和/或尺寸是否符合所述缺陷的理论特征；

若是则保留所述第二检测框，否则舍弃所述第二检测框；

利用保留的所述第二检测框的数量，对所述缺陷检测模型进行性能评估。

5.根据权利要求4所述的方法，其特征在于，所述测试样本图像标注有分别对应至少一类缺陷的第二真值框；

所述利用保留的所述第二检测框的数量，对所述缺陷检测模型进行性能评估，包括：

获取保留的所述第二检测框与对应的所述第二真值框之间的第二交并比；

利用至少部分所述第二交并比确定所述缺陷检测模型的准确率和召回率；

根据所述第二交并比、所述召回率和准确率得到所述缺陷检测模型的性能评估值，以根据所述性能评估值评估所述缺陷检测模型。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标检测框与第一真值框确定网络损失值，包括：

根据所述目标检测框与对应所述第一真值框之间的位置差异，得到位置损失值；以及，

根据所述第一检测结果中的所述目标检测框的置信度，得到置信度损失值；

基于所述位置损失值和置信度损失值，得到网络损失值。

7.根据权利要求1所述的方法，其特征在于，所述获取至少一张训练样本图像，进一步包括：

获取原本的训练样本图像，其中，所述训练样本图像标注有分别对应至少一种类型缺陷的至少一个第一真值框；

对所述原本的训练样本图像进行数据增强处理，以获得新的所述训练样本图像。

8.根据权利要求7所述的方法，其特征在于，所述对所述原本的训练样本图像进行数据增强处理，以获得新的所述训练样本图像，进一步包括：

获取无缺陷图像，利用风格迁移网络将所述原本的训练样本图像中的缺陷特征迁移至所述无缺陷图像中，以得到新的所述训练样本图像。

9.根据权利要求1所述的方法，其特征在于，所述目标检测网络包括SSD网络，所述第一检测框为所述目标检测网络中的各个卷积层检测所得的检测框。

10.一种缺陷检测方法，其特征在于，所述方法包括：

获取对待检测对象进行拍摄得到的待检测图像；

利用缺陷检测模型对所述待检测图像进行缺陷检测，得到缺陷检测结果；

其中，所述待检测对象为瓶盖，和/或，所述缺陷检测模型为如权利要求1至权利要求9任意一项所述的方法训练所得的模型。

11.根据权利要求10所述的方法，其特征在于，在所述利用缺陷检测模型对所述待检测图像进行缺陷检测，得到缺陷检测结果之后，所述方法还包括：

根据所述缺陷检测结果中包含的缺陷的类型，对所述瓶盖进行分类处理；

和/或，所述缺陷检测结果中包含的缺陷的类型包括：瓶盖破损、瓶盖变形、瓶盖坏边、瓶盖打旋、瓶盖断点和喷码异常中的至少一个。

12.一种缺陷检测模型训练装置，其特征在于，所述装置包括耦接的存储器和处理器，其中，

所述存储器包括本地储存，且存储有计算机程序；

所述处理器用于运行所述计算机程序，以执行权利要求1至9任一项所述的方法。

13.一种缺陷检测装置，其特征在于，所述装置包括耦接的存储器和处理器，其中，

所述存储器包括本地储存，且存储有计算机程序；

所述处理器用于运行所述计算机程序，以执行权利要求10至11任一项所述的方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现权利要求1至9或权利要求10至11任一项所述的方法。

Images