CN111126446B - 一种机器人视觉工业产品缺陷图像数据增广方法 - Google Patents
一种机器人视觉工业产品缺陷图像数据增广方法 Download PDFInfo
- Publication number
- CN111126446B CN111126446B CN201911198833.2A CN201911198833A CN111126446B CN 111126446 B CN111126446 B CN 111126446B CN 201911198833 A CN201911198833 A CN 201911198833A CN 111126446 B CN111126446 B CN 111126446B
- Authority
- CN
- China
- Prior art keywords
- feature map
- discriminator
- image
- label
- random
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种机器人视觉工业产品缺陷图像数据增广方法，对原始图像按照类别进行编号，将编号作为真实标签；将原始图像输入数据加载器中分为若干批后进行训练，得到对应的随机噪声、随机标签；将随机噪声、随机标签输入生成器得到生成图像，将生成图像和随机标签输入判别器，根据判别结果计算生成器损失并更新生成器参数；将原始图像和真实标签输入判别器，根据判别结果计算判别器判别原始图像损失，将生成图像和随机标签输入判别器，根据判别结果计算判别器判别生成图像损失，计算判别器损失并更新判别器参数，迭代后得到缺陷图像数据增广模型。解决小样本数据增广问题，提高了工业产品缺陷检测效果。
Description
技术领域
本发明属于缺陷检测方法技术领域，涉及一种机器人视觉工业产品缺陷图像数据增广方法。
背景技术
制造业是国民经济的基础行业，随着科学技术的发展，智能制造已经成为从制造大国向制造强国转变的突破口和必由之路。工业机器人作为智能制造中不可替代的重要装备和手段，已成为衡量一个国家制造业水平和科技水平的重要标志。传统制造业离不开人工劳动，更离不开人眼检测和人脑判断，要实现机器换人，关键问题在于实现机器人视觉的智能化，这是破解制造业成本上升、环境制约问题的重要途径。在智能制造业中,采用工业机器人视觉技术对工业产品的检测，将有利于发现生产过程的工艺问题、及时改进生产工艺问题、提高产品质量。
近年来，随着人工智能和深度学习的发展，越来越多的制造企业开始引入深度学习技术来解决传统机器视觉难以解决的检测难题。深度学习要实现零件的准确识别，首先需要大量的训练数据，也就是零件图片，否则，会出现欠拟合等问题，影响检测效果。但是，在实际情况中，人工拍摄的图片数量是有限的，甚至在一些复杂的工业条件下，只能采集到很少的图片样本。要实现小样本条件下的深度学习检测，需要对小样本图片数据集进行扩充，传统的处理方法是对原始图片进行旋转、缩放、裁剪、加噪声等操作，这些方法并没有从本质上完成图片数据集的扩充，无法充分学习图像特征，更无法明显改善深度学习检测效果。
GAN生成对抗网络是一种无监督的深度学习模型，由生成器和判别器两部分组成，生成器负责生成图像，而判别器负责区分原始图像和生成的图片，不断对抗，直到生成器可以生成逼真的图片。现有的GAN生成对抗网络在生成多种类别的图像时，会出现类别混乱的情况，影响图像数据増广效果，进而影响缺陷检测的深度学习训练，导致缺陷检测准确率不高，容易出现漏检或误检的情况。
发明内容
本发明的目的是提供一种机器人视觉工业产品缺陷图像数据增广方法，解决了现有缺陷图像数据增广方法生成图像类别混乱的问题。
本发明所采用的技术方案是，一种机器人视觉工业产品缺陷图像数据增广方法，包括：
对原始图像按照类别进行编号，将编号作为真实标签；将原始图像输入数据加载器中分为若干批后进行迭代训练，得到对应的随机噪声、随机标签；将每批随机噪声、随机标签输入生成器得到生成图像，将生成图像和随机标签输入判别器，根据判别结果计算生成器损失并更新生成器参数；将原始图像和真实标签输入判别器，根据判别结果计算判别器判别原始图像的损失，将生成图像和随机标签输入判别器，根据判别结果计算判别器判别生成图像的损失，计算判别器损失并更新判别器参数，迭代后得到缺陷图像数据增广模型。
本发明的特点还在于：
具体包括以下步骤：
步骤1、将原始图像按照类别生成原始图像集，并将每类原始图像的编号作为其对应的真实标签；将原始图像输入数据加载器中，按照批量大小将原始图像集分为若干批，并确定预设训练轮数；
步骤2、遍历数据加载器，获取原始图像和真实标签，生成对应批量大小组随机噪声和随机标签；
步骤3、将随机噪声和随机标签输入生成器模块中，使随机标签进行反卷积得到的特征图后，与随机噪声对应特征图叠加并进行反卷积得到生成图像；
步骤4、将随机标签和生成图像输入判别器中，使随机标签进行反卷积得到的特征图后，再与生成图像对应特征图叠加并卷积后得到判别结果；
步骤5、将判别结果处理后得到生成器的损失，利用生成器的损失更新生成器的参数；
步骤6、将原始图像和对应的真实标签输入判别器模块中，使真实标签进行反卷积得到的特征图后，再与原始图像对应特征图叠加并卷积后得到判别结果；
步骤7、将判别结果处理后得到判别器判别原始图像的损失；
步骤8、将随机标签和生成图像输入判别器模块中进行卷积得到判别结果，将判别结果处理后得到判别器判别生成图像的损失，并结合判别原始图像的损失得到判别器的损失，利用判别器的损失对判别器参数进行迭代更新；
步骤9、将判别结果处理后得到判别器判别生成图像的损失，将判别原始图像的损失和判别生成图像的损失处理后更新判别器的参数；
步骤10、返回步骤2，进行下一次迭代，直至训练所有原始图像集；
步骤11、返回步骤10，进行下一轮的训练，直至完成所有预设训练轮数的训练，得到缺陷图像数据增广模型。
步骤3具体包括：
步骤3.1、将随机标签通过Pytorch的Embedding函数扩展为多维随机标签，将多维随机标签利用生成器的标签数据反卷积网络依次进行反卷积得到A，B，…N的第一特征图，第一特征图A-N尺寸依次增大；
步骤3.2、将输入的随机噪声利用生成器的标签数据反卷积网络反卷积为尺寸与第一特征图A相同的第二特征图A，将第二特征图A与第一特征图A相加后，通过噪声数据反卷积网络进行反卷积得到尺寸与第二特征图B相同的第二特征图B；以此类推，将第二特征图N与第一特征图N相加后，通过噪声数据反卷积网络进行反卷积得到生成图像。
步骤4具体包括：
步骤4.1、将随机标签扩展为多维随机标签，将多维随机标签利用判别器的标签数据反卷积网络依次反卷积为A，B，…N的第三特征图，第三特征图A-N尺寸依次增大；
步骤4.2、将生成图像利用判别器的图像卷积网络卷积为第四特征图N；将第四特征图N与第三特征图N相加后，通过图像卷积网络进行卷积得到第四特征图N-1；以此类推，将第四特征图A与第三特征图A相加后，通过图像卷积网络进行卷积得到0-1判别结果。
步骤5具体包括：
步骤5、将判别结果和1比较，通过MSE均方误差函数进行误差计算，作为生成器的损失，并反向传播，通过Adam优化算法更新生成器的参数。
步骤6具体包括：
步骤6.1、将真实标签扩展为多维真实标签，将多维真实标签利用判别器的标签数据反卷积网络依次反卷积为A，B，…N的第五特征图，第五特征图A-N尺寸依次增大；
步骤6.2、将原始图像利用判别器的图像卷积网络卷积为第六特征图N；将第六特征图N与第五特征图N相加后，通过图像卷积网络进行卷积得到第六特征图N-1；以此类推，将第四特征图A与第三特征图A相加后，通过图像卷积网络进行卷积得到0-1判别结果。
步骤7具体包括：
将判别结果和1比较，通过MSE均方误差函数进行误差计算，作为判别器判别原始图像的损失。
步骤8具体包括：
步骤8.1、将随机标签扩展为多维随机标签，将多维随机标签利用判别器的标签数据反卷积网络依次反卷积为A，B，…N的第七特征图，第七特征图A-N尺寸依次增大；
步骤8.2、将生成图像利用判别器的图像卷积网络卷积为第八特征图N；将第八特征图N与第七特征图N相加后，通过图像卷积网络进行卷积得到第八特征图N-1；以此类推，将第八特征图A与第七特征图A相加后，通过图像卷积网络进行卷积得到0-1判别结果。
步骤9具体包括：
将判别结果和0比较，通过MSE均方误差函数进行误差计算，作为判别器判别生成图像的损失；将判别原始图像的损失和判别生成图像的损失求平均值，作为判别器的损失，并反向传播，通过Adam优化算法更新判别器的参数。
本发明的有益效果是：
本发明的机器人视觉工业产品缺陷图像数据增广方法，在生成器和判别器中加入标签数据反卷积网络，将其分别与生成器和判别器的网络进行叠加得到的增广模型，能强化标签数据对GAN网络的影响力，使生成的缺陷图片分类更加明确，有效解决现有图像数据增广方法生成图像类别混乱的问题；根据需要生成不同种类的工业产品缺陷图像，解决小样本数据增广问题，提高了工业产品缺陷检测效果，为工业产品缺陷检测提供了新的方法，降低了企业的质量检测成本。
附图说明
图1是本发明一种机器人视觉工业产品缺陷图像数据增广方法的流程图；
图2是本发明一种机器人视觉工业产品缺陷图像数据增广方法中生成器的结构示意图；
图3是本发明一种机器人视觉工业产品缺陷图像数据增广方法中判别器结构示意图；
图4是本发明一种机器人视觉工业产品缺陷图像数据增广方法的实施例的原始图像；
图5a是利用传统CDCGAN网络训练100轮生成的缺陷图像；
图5b是利用传统CDCGAN网络训练500轮生成的缺陷图像；
图5c是利用传统CDCGAN网络训练1000轮生成的缺陷图像；
图5d是利用本发明一种机器人视觉工业产品缺陷图像数据增广方法训练100轮生成的缺陷图像；
图5e是利用本发明一种机器人视觉工业产品缺陷图像数据增广方法训练500轮生成的缺陷图像；
图5f是利用本发明一种机器人视觉工业产品缺陷图像数据增广方法训练1000轮生成的缺陷图像。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种机器人视觉工业产品缺陷图像数据增广方法，如图1所示，包括：
对原始图像按照类别进行编号，将编号作为真实标签；将原始图像输入数据加载器中分为若干批后进行迭代训练，得到随机噪声、随机标签；将每批原始图像的随机噪声、随机标签输入生成器得到生成图像，将生成图像和随机标签输入判别器，根据判别结果计算生成器损失并更新生成器参数；将原始图像和真实标签输入判别器，根据判别结果计算判别器判别原始图像的损失，将生成图像和随机标签输入判别器，根据判别结果计算判别器判别生成图像的损失，计算判别器损失并更新判别器参数，迭代后得到缺陷图像数据增广模型。
步骤1、将原始图像按照类别生成原始图像集，并将每类原始图像的编号作为其对应的真实标签；将原始图像输入数据加载器中，按照批量大小将原始图像集分为若干批，并确定预设训练轮数。
具体的，原始图像的类别数为n_classes，首先，把原始缺陷图像按类别放入编号为0到n_classes（不包含n_classes）的文件夹下，文件夹的编号作为其对应的真实标签，最后放入一个总的数据集文件夹。本实施例中，选取3类有代表性的带钢缺陷图片，分别放入编号为0、1、2的三个文件夹，每个文件夹包含300张图片，每张图片都是分辨率为64x64的灰度图。使用Pytorch构造数据加载器，把原始的缺陷图像数据集输入，按批量大小把训练的图像数据集分为若干批，每批包含原始图像和对应的真实标签可能存在不完全等分，最后一批的图像数量可能小于预设的批量大小的情况，不影响训练。
步骤2、遍历数据加载器，获取原始图像和对应的真实标签，根据这批样本的批量大小，生成对应批量大小组随机噪声，每组随机噪声包含100个0到1的随机小数，要训练的缺陷图像类别数为n_classes，再生成对应批量大小个0到n_classes（不包含n_classes）的随机整数作为随机标签。
步骤3、将随机噪声和随机标签输入生成器模块中，使随机标签进行反卷积得到的特征图后，与随机噪声对应特征图叠加并进行反卷积得到生成图像；
步骤3.1、将随机标签通过Pytorch的Embedding函数扩展为多维随机标签，将多维随机标签利用生成器的标签数据反卷积网络依次进行反卷积得到A，B，…N的第一特征图，第一特征图A-N尺寸依次增大；
具体的，如图2所示，将随机标签从1维扩展为n_classes维随机标签，将n_classes维利用生成器的标签数据反卷积网络依次反卷积为4x4、8x8、16x16、32x32大小的第一特征图，称为条件蒙版C-Mask；
步骤3.2、将输入的随机噪声利用生成器的标签数据反卷积网络反卷积为与第一特征图A尺寸相同的第二特征图A，将第二特征图A与第一特征图A相加后，通过噪声数据反卷积网络进行反卷积得到尺寸与第二特征图B相同的第二特征图B；以此类推，将第二特征图N与第一特征图N相加后，通过噪声数据反卷积网络进行反卷积得到生成图像。
具体的，将输入的随机噪声利用生成器的标签数据反卷积网络反卷积为4x4的第二特征图，然后4x4的第二特征图与4x4的第一特征图相加后，通过噪声数据反卷积网络进行反卷积得到8x8的第二特征图；
将8x8的第二特征图与8x8的第一特征图相加后，通过噪声数据反卷积网络进行反卷积得到16x16的第二特征图；
将16x16的第二特征图与16x16的第一特征图相加后，通过噪声数据反卷积网络进行反卷积得到32x32的第二特征图；
将32x32的第二特征图与32x32的第一特征图相加后，通过噪声数据反卷积网络进行反卷积得到64x64的生成图像。
步骤4、将随机标签和生成图像输入判别器中，对随机标签进行反卷积得到的特征图与生成图像对应特征图叠加并卷积后得到判别结果；
步骤4.1、将随机标签通过Pytorch的Embedding函数扩展为多维随机标签，将多维随机标签利用判别器的标签数据反卷积网络依次反卷积为A，B，…N的第三特征图，第三特征图A-N尺寸依次增大；
具体的，如图3所示，将随机标签扩展为多维随机标签，将多维随机标签利用判别器的标签数据反卷积网络依次反卷积为4x4、8x8、16x16、32x32大小的第三特征图；
步骤4.2、将生成图像利用判别器的图像卷积网络卷积为第四特征图N；将第四特征图N与第三特征图N相加后，通过图像卷积网络进行卷积得到第四特征图N-1；以此类推，将第四特征图A与第三特征图A相加后，通过图像卷积网络进行卷积得到0-1判别结果。
具体的，将64x64的生成图像利用判别器的图像卷积网络卷积为32x32的第四特征图；
将32x32的第四特征图与32x32的第三特征图相加后，通过图像卷积网络进行卷积得到16x16的第二特征图B；
将16x16的第四特征图与16x16的第三特征图相加后，通过图像卷积网络进行卷积得到8x8的第二特征图B；
将8x8的第四特征图与8x8的第三特征图相加后，通过图像卷积网络进行卷积得到4x4的第二特征图B；
将4x4的第四特征图与4x4的第三特征图相加后，通过图像卷积网络进行卷积得到0-1判别结果，越接近0表示图片越假，越接近1表示图片越真。
步骤5、将判别结果和1比较，通过MSE均方误差函数进行误差计算，作为生成器的损失，并反向传播，通过Adam优化算法更新生成器的参数。
步骤6、将原始图像和对应的真实标签输入判别器模块中，使所述真实标签进行反卷积得到的特征图后，再与原始图像对应特征图叠加并卷积后得到判别结果；
步骤6.1、将真实标签通过Pytorch的Embedding函数扩展为多维真实标签，将多维真实标签利用判别器的标签数据反卷积网络依次反卷积为A，B，…N的第五特征图，第五特征图A-N尺寸依次增大；
具体的，将真实标签扩展为多维真实标签，将多维真实标签利用判别器的标签数据反卷积网络依次反卷积为4x4、8x8、16x16、32x32大小的第五特征图；
步骤6.2、将原始图像利用判别器的图像卷积网络卷积为第六特征图N；将第六特征图N与第五特征图N相加后，通过图像卷积网络进行卷积得到第六特征图N-1；以此类推，将第四特征图A与第三特征图A相加后，通过图像卷积网络进行卷积得到0-1判别结果。
具体的，将原始图像利用判别器的图像卷积网络卷积为32x32的第四特征图A；
将32x32的第六特征图与32x32的第五特征图相加后，通过图像卷积网络进行卷积得到16x16的第六特征图；
将16x16的第六特征图与16x16的第五特征图相加后，通过图像卷积网络进行卷积得到8x8的第六特征图；
将8x8的第六特征图与8x8的第五特征图相加后，通过图像卷积网络进行卷积得到4x4的第六特征图；
将4x4的第六特征图与4x4的第五特征图相加后，通过图像卷积网络进行卷积得到0-1判别结果。
步骤7、将判别结果和1比较，通过MSE均方误差函数进行误差计算，作为判别器判别原始图像的损失；
步骤8、将随机标签和生成图像输入判别器模块中进行卷积得到判别结果，将判别结果处理后得到判别器判别生成图像的损失，并结合判别原始图像的损失得到判别器的损失，利用损失对判别器参数进行迭代更新。
步骤8.1、将随机标签通过Pytorch的Embedding函数扩展为多维随机标签，将多维随机标签利用判别器的标签数据反卷积网络依次反卷积为A，B，…N的第七特征图，第七特征图A-N尺寸依次增大；
具体的，将随机标签扩展为多维真实标签，将多维随机标签利用判别器的标签数据反卷积网络依次反卷积为4x4、8x8、16x16、32x32大小的第七特征图；
步骤8.2、将生成图像利用判别器的图像卷积网络卷积为第八特征图N；将第八特征图N与第七特征图N相加后，通过图像卷积网络进行卷积得到第八特征图N-1；以此类推，将第八特征图A与第七特征图A相加后，通过图像卷积网络进行卷积得到0-1判别结果。
具体的，将64x64的生成图像利用判别器的图像卷积网络卷积为32x32的第八特征图；
将32x32的第八特征图与32x32的第七特征图相加后，通过图像卷积网络进行卷积得到16x16的第八特征图；
将16x16的第八特征图与16x16的第七特征图相加后，通过图像卷积网络进行卷积得到8x8的第八特征图；
将8x8的第八特征图与8x8的第七特征图相加后，通过图像卷积网络进行卷积得到4x4的第八特征图；
将4x4的第八特征图与4x4的第七特征图相加后，通过图像卷积网络进行卷积得到0-1判别结果。
步骤9、将判别结果和0比较，通过MSE均方误差函数进行误差计算，作为判别器判别生成图像的损失；将判别原始图像的损失和判别生成图像的损失求平均值，作为判别器的损失，并反向传播，通过Adam优化算法更新判别器的参数；
步骤10、返回步骤2，进行下一次迭代，直至训练所有批的原始图像；
步骤11、返回步骤10，进行下一轮的训练，直至完成所有预设训练轮数的训练，即可得到缺陷图像数据增广模型（Mask-CDCGAN模型）。实验证明，经过2000轮的训练，GAN生成对抗网络模型已经完成收敛，可以产生逼真的缺陷图像。
通过以上方式，本发明的机器人视觉工业产品缺陷图像数据增广方法，在生成器和判别器中加入标签数据反卷积网络，将其分别与生成器和判别器的网络进行叠加得到的增广模型，能强化标签数据对GAN网络的影响力，使生成的缺陷图片分类更加明确，有效解决现有图像数据增广方法生成图像类别混乱的问题；根据需要生成不同种类的工业产品缺陷图像，解决小样本数据增广问题，提高了工业产品缺陷检测效果，为工业产品缺陷检测提供了新的方法，降低了企业的质量检测成本。
本发明对传统CDCGAN模型和本专利的Mask-CDCGAN模型，进行对比实验，原始图像如图4所示，对比结果如图5a-f所示，图中每一列为同一类别的缺陷：
图5a、图5b、图5c依次为传统方法训练100轮、500轮和1000轮生成的缺陷图像，图5d、图5e、图5f依次为本发明Mask-CDCGAN模型训练100轮、500轮和1000轮生成的缺陷图像。传统的CDCGAN网络在生成多类别图像时，直接将标签数据和随机噪声混合输入生成器和判别器，训练时容易出现类别混乱的问题。本发明提出的Mask-CDCGAN很好地解决了这个问题，训练早期生成的图片就有了明显的分类。
实验中，首先是小样本不増广的原始图像数据集，然后分别采用旋转缩放裁剪、CDCGAN、Mask-CDCGAN三种图像数据増广方法对原始图像数据集进行増广，分别在这四种数据集上采用经典的Yolo算法进行训练并测试识别准确率，准确率对比如表1所示。结果表明，本发明的Mask-CDCGAN模型増广后的数据集，对识别准确率有一定提升，效果优于旋转缩放裁剪和CDCGAN等方法，相比小样本不増广的准确率更是有很大提升。
表1 不同图像数据増广方法对识别准确率的影响对比
| 图像数据増广方法 | 识别准确率 |
| 小样本不増广 | 86.3% |
| 旋转缩放裁剪 | 92.5% |
| CDCGAN | 94.2% |
| Mask-CDCGAN | 95.7% |
Claims (8)
1.一种机器人视觉工业产品缺陷图像数据增广方法，其特征在于，具体包括以下步骤：
步骤1、将原始图像按照类别生成原始图像集，并将每类所述原始图像的编号作为其对应的真实标签；将所述原始图像输入数据加载器中，按照批量大小将原始图像集分为若干批，并确定预设训练轮数；
步骤2、遍历数据加载器，获取所述原始图像和真实标签，生成对应批量大小组随机噪声和随机标签；
步骤3、将随机噪声和随机标签输入生成器模块中，使所述随机标签进行反卷积得到的特征图后，与随机噪声对应特征图叠加并进行反卷积得到生成图像；
步骤4、将所述随机标签和生成图像输入判别器中，使所述随机标签进行反卷积得到的特征图后，再与生成图像对应特征图叠加并卷积后得到判别结果；
步骤5、将所述判别结果处理后得到生成器的损失，利用所述生成器的损失更新生成器的参数；
步骤6、将原始图像和对应的真实标签输入判别器模块中，使所述真实标签进行反卷积得到的特征图后，再与原始图像对应特征图叠加并卷积后得到判别结果；
步骤7、将所述判别结果处理后得到判别器判别原始图像的损失；
步骤8、将所述随机标签和生成图像输入判别器模块中进行卷积得到判别结果，将判别结果处理后得到判别器判别生成图像的损失，并结合判别原始图像的损失得到判别器的损失，利用所述判别器的损失对判别器参数进行迭代更新；
步骤9、将所述判别结果处理后得到判别器判别生成图像的损失，将所述判别原始图像的损失和判别生成图像的损失处理后更新判别器的参数；
步骤10、返回步骤2，进行下一次迭代，直至训练所有原始图像集；
步骤11、返回步骤10，进行下一轮的训练，直至完成所有预设训练轮数的训练，得到缺陷图像数据增广模型。
2.根据权利要求1所述的一种机器人视觉工业产品缺陷图像数据增广方法，其特征在于，步骤3具体包括：
步骤3.1、将所述随机标签通过Pytorch的Embedding函数扩展为多维随机标签，将所述多维随机标签利用生成器的标签数据反卷积网络依次进行反卷积得到A，B，…N的第一特征图，所述第一特征图A-N尺寸依次增大；
步骤3.2、将输入的随机噪声利用生成器的标签数据反卷积网络反卷积为尺寸与第一特征图A相同的第二特征图A，将所述第二特征图A与第一特征图A相加后，通过噪声数据反卷积网络进行反卷积得到尺寸与第二特征图B相同的第二特征图B；以此类推，将第二特征图N与第一特征图N相加后，通过噪声数据反卷积网络进行反卷积得到生成图像。
3.根据权利要求1所述的一种机器人视觉工业产品缺陷图像数据增广方法，其特征在于，步骤4具体包括：
步骤4.1、将所述随机标签扩展为多维随机标签，将所述多维随机标签利用判别器的标签数据反卷积网络依次反卷积为A，B，…N的第三特征图，所述第三特征图A-N尺寸依次增大；
步骤4.2、将所述生成图像利用判别器的图像卷积网络卷积为第四特征图N；将所述第四特征图N与第三特征图N相加后，通过图像卷积网络进行卷积得到第四特征图N-1；以此类推，将所述第四特征图A与第三特征图A相加后，通过图像卷积网络进行卷积得到0-1判别结果。
4.根据权利要求1或2所述的一种机器人视觉工业产品缺陷图像数据增广方法，其特征在于，步骤5具体包括：
步骤5、将所述判别结果和1比较，通过MSE均方误差函数进行误差计算，作为生成器的损失，并反向传播，通过Adam优化算法更新生成器的参数。
5.根据权利要求3所述的一种机器人视觉工业产品缺陷图像数据增广方法，其特征在于，步骤6具体包括：
步骤6.1、将所述真实标签扩展为多维真实标签，将所述多维真实标签利用判别器的标签数据反卷积网络依次反卷积为A，B，…N的第五特征图，所述第五特征图A-N尺寸依次增大；
步骤6.2、将原始图像利用判别器的图像卷积网络卷积为第六特征图N；将所述第六特征图N与第五特征图N相加后，通过图像卷积网络进行卷积得到第六特征图N-1；以此类推，将所述第四特征图A与第三特征图A相加后，通过图像卷积网络进行卷积得到0-1判别结果。
6.根据权利要求1所述的一种机器人视觉工业产品缺陷图像数据增广方法，其特征在于，步骤7具体包括：
将所述判别结果和1比较，通过MSE均方误差函数进行误差计算，作为判别器判别原始图像的损失。
7.根据权利要求1所述的一种机器人视觉工业产品缺陷图像数据增广方法，其特征在于，步骤8具体包括：
步骤8.1、将所述随机标签扩展为多维随机标签，将所述多维随机标签利用判别器的标签数据反卷积网络依次反卷积为A，B，…N的第七特征图，所述第七特征图A-N尺寸依次增大；
步骤8.2、将所述生成图像利用判别器的图像卷积网络卷积为第八特征图N；将所述第八特征图N与第七特征图N相加后，通过图像卷积网络进行卷积得到第八特征图N-1；以此类推，将所述第八特征图A与第七特征图A相加后，通过图像卷积网络进行卷积得到0-1判别结果。
8.根据权利要求1所述的一种机器人视觉工业产品缺陷图像数据增广方法，其特征在于，步骤9具体包括：
将所述判别结果和0比较，通过MSE均方误差函数进行误差计算，作为判别器判别生成图像的损失；将所述判别原始图像的损失和判别生成图像的损失求平均值，作为判别器的损失，并反向传播，通过Adam优化算法更新判别器的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911198833.2A CN111126446B (zh) | 2019-11-29 | 2019-11-29 | 一种机器人视觉工业产品缺陷图像数据增广方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911198833.2A CN111126446B (zh) | 2019-11-29 | 2019-11-29 | 一种机器人视觉工业产品缺陷图像数据增广方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126446A CN111126446A (zh) | 2020-05-08 |
| CN111126446B true CN111126446B (zh) | 2023-04-07 |
Family
ID=70497094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911198833.2A Active CN111126446B (zh) | 2019-11-29 | 2019-11-29 | 一种机器人视觉工业产品缺陷图像数据增广方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126446B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949706B (zh) * | 2021-02-25 | 2024-01-05 | 平安科技（深圳）有限公司 | Ocr训练数据生成方法、装置、计算机设备及存储介质 |
| CN113129231B (zh) * | 2021-04-07 | 2023-05-30 | 中国科学院计算技术研究所 | 一种基于对抗生成网络生成高清图像的方法及系统 |
| CN113361443A (zh) * | 2021-06-21 | 2021-09-07 | 广东电网有限责任公司 | 一种输电线路图像样本对抗学习增广方法及系统 |
| CN113298190B (zh) * | 2021-07-05 | 2023-04-07 | 四川大学 | 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法 |
| CN114882304A (zh) * | 2022-02-28 | 2022-08-09 | 西安电子科技大学 | 基于CDCGAN-wc的目标SAR图像生成方法及装置 |
| CN114970342B (zh) * | 2022-05-19 | 2025-09-16 | 北京探境科技有限公司 | 增广数据生成模型的生成的方法、装置、系统及存储介质 |
| CN115661062B (zh) * | 2022-10-19 | 2025-10-03 | 浙大宁波理工学院 | 基于对抗生成网络的工业缺陷样本生成方法及系统 |
| CN115660977B (zh) * | 2022-10-19 | 2026-02-03 | 浙江纺织服装职业技术学院 | 一种工业机器人工业产品缺陷图像数据增广方法 |
| CN115661578A (zh) * | 2022-11-01 | 2023-01-31 | 征图新视(江苏)科技股份有限公司 | 一种工业缺陷图像生成方法 |
| CN115526891B (zh) * | 2022-11-28 | 2023-04-07 | 深圳精智达技术股份有限公司 | 一种缺陷数据集的生成模型的训练方法及相关装置 |
| CN116883389A (zh) * | 2023-08-23 | 2023-10-13 | 苏州元瞰科技有限公司 | 一种基于图像生成的提升缺陷检测模型检出能力的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097543A (zh) * | 2019-04-25 | 2019-08-06 | 东北大学 | 基于生成式对抗网络的热轧带钢表面缺陷检测方法 |
| WO2019180868A1 (ja) * | 2018-03-22 | 2019-09-26 | 日本電気株式会社 | 画像生成装置、画像生成方法および画像生成プログラム |
| CN110363122A (zh) * | 2019-07-03 | 2019-10-22 | 昆明理工大学 | 一种基于多层特征对齐的跨域目标检测方法 |
-
2019
- 2019-11-29 CN CN201911198833.2A patent/CN111126446B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019180868A1 (ja) * | 2018-03-22 | 2019-09-26 | 日本電気株式会社 | 画像生成装置、画像生成方法および画像生成プログラム |
| CN110097543A (zh) * | 2019-04-25 | 2019-08-06 | 东北大学 | 基于生成式对抗网络的热轧带钢表面缺陷检测方法 |
| CN110363122A (zh) * | 2019-07-03 | 2019-10-22 | 昆明理工大学 | 一种基于多层特征对齐的跨域目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 何剑华 ; 龙法宁 ; 朱晓姝 ; .基于改进的CycleGAN模型非配对的图像到图像转换.玉林师范学院学报.2018,(02),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111126446A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126446B (zh) | 一种机器人视觉工业产品缺陷图像数据增广方法 | |
| CN112329588B (zh) | 一种基于Faster R-CNN的管道故障检测方法 | |
| CN114549507B (zh) | 改进Scaled-YOLOv4的织物瑕疵检测方法 | |
| CN108492286B (zh) | 一种基于双通路u型卷积神经网络的医学图像分割方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN113808180B (zh) | 一种异源图像配准方法、系统及装置 | |
| CN111008959A (zh) | 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 | |
| CN113128518B (zh) | 基于孪生卷积网络和特征混合的sift误匹配检测方法 | |
| CN115018787B (zh) | 一种基于梯度增强的异常检测方法和系统 | |
| CN112364881A (zh) | 一种进阶采样一致性图像匹配算法 | |
| CN113420776B (zh) | 一种基于模型融合的多侧面联合检测物品分类方法 | |
| CN115731400B (zh) | 基于自监督学习的x光图像异物检测方法 | |
| CN110533024A (zh) | 基于多尺度roi特征的双二次池化细粒度图像分类方法 | |
| CN110751061B (zh) | 基于sar网络的sar图像识别方法、装置、设备和存储介质 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN107622276B (zh) | 一种基于机器人仿真与物理采样结合的深度学习训练方法 | |
| CN110909615B (zh) | 基于多尺度输入混合感知神经网络的目标检测方法 | |
| CN116229455B (zh) | 基于多尺度特征深度神经网络的半夏产地识别方法和系统 | |
| CN113505802B (zh) | 一种基于多通道模型融合的深度学习物体分类方法 | |
| CN115223080A (zh) | 一种基于非局部特征聚合神经网络的目标分割方法 | |
| CN114820541A (zh) | 基于重构网络的缺陷检测方法 | |
| CN117456272A (zh) | 一种基于对比学习的自监督异常检测方法 | |
| CN115205521A (zh) | 基于神经网络的厨余垃圾检测方法 | |
| CN111612759A (zh) | 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法 | |
| CN113269786B (zh) | 基于深度学习和引导滤波的装配体图像分割方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |