CN114266286A - 一种焊接过程信息的在线检测方法及装置 - Google Patents

Abstract

本发明公开了一种焊接过程信息的在线检测方法及装置，首先借助软件开发平台，采集工业CCD相机拍摄的焊接过程熔池动态图像信息数据；通过图像处理手段提取熔池图像特征信息；基于深度学习算法，建立熔池图像特征信息及焊接状态的相关性；利用深度学习算法得到的算法模型，对熔池图像进行状态识别，最终实现焊缝质量评估。本发明针对焊接过程中图像信息变化的随机性以及焊接状态的多样性导致的难以精确描述，可以利用神经网络学习图像与焊接状态之间的相关性信息，并通过自学习机制进行调整。利用神经网络的特点对焊接过程图像信息进行有效的分解、表征和评估，从而取得传统方法无法比拟的结果。

Description

一种焊接过程信息的在线检测方法及装置

技术领域

本发明涉及一种焊接过程信息的在线检测方法及装置，属于焊接图像分析技术领域。

背景技术

焊接过程的实时信息采集已经成为一种识别焊接状态的主要手段，其中焊接过程图像信息的采集作为一种检测手段逐渐成为主流。但由于焊接过程较为复杂，干扰项繁多，为获取有用的熔池特征信息作为衡量焊接过程稳定及缺陷产生的依据，常需要获取较高采集频率的清晰图像以及更丰富的图像处理手段，从而造成了图像信息数据量巨大，无法很好的与不同焊接状态相对应，造成了过程监测结果的不准确性。

目前常见的检测方法中大多是通过经验性、规律性的认知，将熔池图像特征信息与焊接状态相匹配，通过特征信息的变化评估焊缝质量。随着计算机技术的发展，出现了更多的选择作为评估手段，其中深度学习方法作为一种实现人工智能的新兴手段极为适合应用在焊缝过程质量评估领域。

如何将人工智能用于焊接过程信息的分析，更加准确、高效地进行焊接状态的在线检测，是本领域技术人员急需要解决的技术问题。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种焊接过程信息的在线检测方法及装置，针对焊接过程中图像信息变化的随机性以及焊接状态的多样性导致的难以精确描述，可以利用神经网络学习图像与焊接状态之间的相关性信息，并通过自学习机制进行调整。利用神经网络的特点对焊接过程图像信息进行有效的分解、表征和评估，从而取得传统方法无法比拟的结果。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

第一方面，一种焊接过程信息的在线检测方法，包括如下步骤：

构建第一预测模型，将熔池图像特征信息与焊接状态作为第一预测模型输入值，计算二者之间的第一相关性系数作为第一预测模型的输出值。

设置相关性系数预设值，选取第一预测模型中输出值大于相关性系数预设值对应的焊接状态和熔池图像特征信息作为第一训练集。

构建第二预测模型，第二预测模型输入值为熔池图像特征信息，输出值为焊接状态，利用第一训练集对第二预测模型进行训练，得到训练后的第二预测模型。

提取焊接过程中实际的熔池图像特征信息、焊接状态，将实际的熔池图像特征信息输入训练后的第二预测模型，得到预测的焊接状态；计算实际的焊接状态与预测的焊接状态的第二相关性系数，将实际的熔池图像特征信息、焊接状态和第二相关性系数作为第二训练集，利用第二训练集对第一预测模型进行训练，得到更新后的第一预测模型，再将第二相关性系数作为更新后的相关性系数预设值。

根据更新后的第一预测模型、相关性系数预设值，重新获得更新后的第一预测模型中输出值大于更新后的相关性系数预设值对应的焊接状态和熔池图像特征信息作为更新后的第一训练集。

利用更新后的第一训练集对第二预测模型进行训练，得到更新后的第二预测模型。

将实时的熔池图像特征信息输入到更新后的第二预测模型，得到最终预测的焊接状态。

作为优选方案，所述熔池图像特征信息通过工业CCD相机采集焊接过程表面熔池图像的几何尺寸特征信息，包括但不局限于：熔池宽度、熔池长度、熔池面积、匙孔长度、匙孔面积。

作为优选方案，所述焊接状态包括但不局限于：良好焊接、焊接过程不稳定、焊偏、焊塌、焊漏、飞溅。

作为优选方案，所述焊接状态采用二进制向量表示，每种状态对应的向量中一个列元素为1，其它元素为0，向量的列数等于焊接状态的数量。

作为优选方案，所述相关性系数预设值设置为0.5。

作为优选方案，当第二预测模型输出的向量值中列元素均不为1，则取列元素中最接近1的数值对应焊接状态为输出值。

作为优选方案，所述熔池图像特征信息可以替换为焊接工艺参数。

作为优选方案，所述焊接工艺参数，包括但不局限于：焊接速度、焊接功率、焊接角度。

第二方面，一种焊接过程信息的在线检测装置，包括如下模块：

第一模型构建模块：用于构建第一预测模型，将熔池图像特征信息与焊接状态作为第一预测模型输入值，计算二者之间的第一相关性系数作为第一预测模型的输出值。

训练集生成模块：用于设置相关性系数预设值，选取第一预测模型中输出值大于相关性系数预设值对应的焊接状态和熔池图像特征信息作为第一训练集。

第二模型构建模块：用于构建第二预测模型，第二预测模型输入值为熔池图像特征信息，输出值为焊接状态，利用第一训练集对第二预测模型进行训练，得到训练后的第二预测模型。

模型调整模块：用于提取焊接过程中实际的熔池图像特征信息、焊接状态，将实际的熔池图像特征信息输入训练后的第二预测模型，得到预测的焊接状态；计算实际的焊接状态与预测的焊接状态的第二相关性系数，将实际的熔池图像特征信息、焊接状态和第二相关性系数作为第二训练集，利用第二训练集对第一预测模型进行训练，得到更新后的第一预测模型，再将第二相关性系数作为更新后的相关性系数预设值。

训练集更新模块：用于根据更新后的第一预测模型、相关性系数预设值，重新获得更新后的第一预测模型中输出值大于更新后的相关性系数预设值对应的焊接状态和熔池图像特征信息作为更新后的第一训练集。

第二模型更新模块：用于利用更新后的第一训练集对第二预测模型进行训练，得到更新后的第二预测模型。

焊接状态评估模块：用于将实时的熔池图像特征信息输入到更新后的第二预测模型，得到最终预测的焊接状态。

有益效果：本发明提供的一种焊接过程信息的在线检测方法及装置，以工业CCD视觉传感器为数据获取源，通过图像处理手段提取表面熔池图像特征信息，利用深度学习算法建立焊接图像与焊接状态的相关性联系，制定缺陷识别标准，提高在线检测手段的准确率。

附图说明

图1为焊接过程信息在线检测流程示意图。

图2为预测模型训练算法流程图。

具体实施方式

下面结合具体实施例对本发明作更进一步的说明。

如图1-2所示，一种焊接过程信息的在线检测方法，包括如下步骤：

步骤1：通过工业CCD相机，采集焊接过程表面熔池动态图像信息。

步骤2：利用图像处理手段，提取熔池图像的几何尺寸特征信息作为熔池图像特征信息，包括但不局限于：熔池宽度、熔池长度、熔池面积、匙孔长度、匙孔面积。

步骤3：预先设定焊接状态种类，包括但不局限于：良好焊接、焊偏、焊塌以及焊接过程不稳定，并通过一个四维向量模式对不同状态进行描述。例如：良好焊接对应理想向量[1 0 0 0]，焊偏对应理想向量[0 1 0 0]，焊塌对应理想向量[0 0 1 0]，焊接过程不稳定对应[0 0 0 1]。

步骤4：建立第一预测模型，将熔池图像特征信息与焊接状态作为第一预测模型输入值，计算二者之间的第一相关性系数作为第一预测模型的输出值，输出值范围在0~1之间，用以判别熔池图像特征信息和焊接状态的对应关系的依据。

步骤5：根据日常生产经验，将熔池图像特征信息与焊接状态的相关性系数预设值设为0.5，即通过第一预测模型获得的输出值大于0.5时，可视其为“真”判据；那么选取第一预测模型中输出大于预设值的焊接状态信息和熔池图像特征信息作为第一训练集。

步骤6：利用得到的第一训练集建立第二预测模型，此时输入值为熔池图像特征信息，输出值为焊接状态；值得一提的是，经过第一预测模型的输出值不会一直是理想向量值，那么判断准则就应相应的做些调整，将向量中分量最大的那个视为最贴近对应焊接状态的值。例如，若经过模型后得到的输出量为[0. 2 0. 8 0. 3 0. 6]，其中0. 8与1最为接近，那么就认为该输出量对应的焊接状态是焊偏。

步骤7：在焊接过程之后，提取相应的熔池图像特征信息，同时提取对应的监控量，即实际获得的焊接状态。

步骤8：利用实际获得的监控量与通过第二预测模型获得的输出值比对，获取二者第二相关性系数，将此时的实际获得的监控量和熔池图像特征信息、以及二者相关性系数作为第二训练集，采用第二训练集重新训练所述第一预测模型，得到更新后的第一预测模型，将获得的第二相关性系数作为预设值。

步骤9：根据更新后的第一预测模型重新选择第一训练数据，并采用重新选择的第一训练数据重新训练所述第二预测模型，得到更新后的第二预测模型。

步骤10：在新的焊接过程中，采用更新后的第二预测模型对图像处理得到的熔池特征信息进行焊接状态评估。

可选的，根据实际工况，所述焊接状态信息包括但不局限于：良好焊接、焊接过程不稳定、焊偏、焊塌、焊漏、飞溅；

可选的，除熔池特征参数外，焊接工艺参数也可作为预测模型的输入值，焊接工艺参数例如焊接速度、焊接功率、焊接角度等。

实施例：

首先借助软件开发平台，采集工业CCD相机拍摄的焊接过程熔池动态图像信息数据；通过图像处理手段提取熔池图像特征信息；基于深度学习算法，建立熔池图像特征信息及焊接状态的相关性；利用深度学习算法得到的算法模型，对熔池图像进行状态识别，最终实现焊缝质量评估。

本发明有效地利用深度学习算法，建立了焊接过程熔池图像与焊接状态的关联性，根据训练得到了第二预测模型，可用于表示熔池图像信息到焊接状态的映射。因此，通过图像处理获得焊接过程中的熔池特征信息，并将其传入预测模型，便可以得到对应的状态信息。同时通过反馈调节机制大大提高了预测模型的准确率，从而得到了高效、准确的焊接过程在线检测手段，可实时评估焊接状态，规避焊接风险。

本发明还可以对除图像信息以外的其他焊接过程信息进行与焊后状态的映射，例如工艺参数、声信号及设备状态等。但值得注意的是，其他焊接过程信号均需进行相应的信号处理，以减少预测模型的学习过程，提高预测精度。

本发明还可以针对其他预测算法，针对实际焊接状况以及日常工程经验所得规律，简化特征信号模型以及状态信息。

基于本发明所提供的焊接过程信息在线检测方法都在本发明保护范围之内。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种焊接过程信息的在线检测方法，其特征在于：包括如下步骤：

构建第一预测模型，将熔池图像特征信息与焊接状态作为第一预测模型输入值，计算二者之间的第一相关性系数作为第一预测模型的输出值；

设置相关性系数预设值，选取第一预测模型中输出值大于相关性系数预设值对应的焊接状态和熔池图像特征信息作为第一训练集；

构建第二预测模型，第二预测模型输入值为熔池图像特征信息，输出值为焊接状态，利用第一训练集对第二预测模型进行训练，得到训练后的第二预测模型；

提取焊接过程中实际的熔池图像特征信息、焊接状态，将实际的熔池图像特征信息输入训练后的第二预测模型，得到预测的焊接状态；计算实际的焊接状态与预测的焊接状态的第二相关性系数，将实际的熔池图像特征信息、焊接状态和第二相关性系数作为第二训练集，利用第二训练集对第一预测模型进行训练，得到更新后的第一预测模型，再将第二相关性系数作为更新后的相关性系数预设值；

根据更新后的第一预测模型、相关性系数预设值，重新获得更新后的第一预测模型中输出值大于更新后的相关性系数预设值对应的焊接状态和熔池图像特征信息作为更新后的第一训练集；

利用更新后的第一训练集对第二预测模型进行训练，得到更新后的第二预测模型；

将实时的熔池图像特征信息输入到更新后的第二预测模型，得到最终预测的焊接状态。

2.根据权利要求1所述的一种焊接过程信息的在线检测方法，其特征在于：所述熔池图像特征信息通过工业CCD相机采集焊接过程表面熔池图像的几何尺寸特征信息，包括但不局限于：熔池宽度、熔池长度、熔池面积、匙孔长度、匙孔面积。

3.根据权利要求1所述的一种焊接过程信息的在线检测方法，其特征在于：所述焊接状态包括但不局限于：良好焊接、焊接过程不稳定、焊偏、焊塌、焊漏、飞溅。

4.根据权利要求1所述的一种焊接过程信息的在线检测方法，其特征在于：所述焊接状态采用二进制向量表示，每种状态对应的向量中一个列元素为1，其它元素为0，向量的列数等于焊接状态的数量。

5.根据权利要求1所述的一种焊接过程信息的在线检测方法，其特征在于：所述相关性系数预设值设置为0.5。

6.根据权利要求4所述的一种焊接过程信息的在线检测方法，其特征在于：当第二预测模型输出的向量值中列元素均不为1，则取列元素中最接近1的数值对应焊接状态为输出值。

7.根据权利要求1所述的一种焊接过程信息的在线检测方法，其特征在于：所述熔池图像特征信息可以替换为焊接工艺参数。

8.根据权利要求7所述的一种焊接过程信息的在线检测方法，其特征在于：所述焊接工艺参数，包括但不局限于：焊接速度、焊接功率、焊接角度。

9.一种焊接过程信息的在线检测装置，其特征在于：包括如下模块：

第一模型构建模块：用于构建第一预测模型，将熔池图像特征信息与焊接状态作为第一预测模型输入值，计算二者之间的第一相关性系数作为第一预测模型的输出值；

训练集生成模块：用于设置相关性系数预设值，选取第一预测模型中输出值大于相关性系数预设值对应的焊接状态和熔池图像特征信息作为第一训练集；

第二模型构建模块：用于构建第二预测模型，第二预测模型输入值为熔池图像特征信息，输出值为焊接状态，利用第一训练集对第二预测模型进行训练，得到训练后的第二预测模型；

模型调整模块：用于提取焊接过程中实际的熔池图像特征信息、焊接状态，将实际的熔池图像特征信息输入训练后的第二预测模型，得到预测的焊接状态；计算实际的焊接状态与预测的焊接状态的第二相关性系数，将实际的熔池图像特征信息、焊接状态和第二相关性系数作为第二训练集，利用第二训练集对第一预测模型进行训练，得到更新后的第一预测模型，再将第二相关性系数作为更新后的相关性系数预设值；

训练集更新模块：用于根据更新后的第一预测模型、相关性系数预设值，重新获得更新后的第一预测模型中输出值大于更新后的相关性系数预设值对应的焊接状态和熔池图像特征信息作为更新后的第一训练集；

第二模型更新模块：用于利用更新后的第一训练集对第二预测模型进行训练，得到更新后的第二预测模型；

焊接状态评估模块：用于将实时的熔池图像特征信息输入到更新后的第二预测模型，得到最终预测的焊接状态。

10.根据权利要求9所述的一种焊接过程信息的在线检测装置，其特征在于：所述熔池图像特征信息通过工业CCD相机采集焊接过程表面熔池图像的几何尺寸特征信息，包括但不局限于：熔池宽度、熔池长度、熔池面积、匙孔长度、匙孔面积。

11.根据权利要求9所述的一种焊接过程信息的在线检测装置，其特征在于：所述焊接状态包括但不局限于：良好焊接、焊接过程不稳定、焊偏、焊塌、焊漏、飞溅。

12.根据权利要求9所述的一种焊接过程信息的在线检测装置，其特征在于：所述焊接状态采用二进制向量表示，每种状态对应的向量中一个列元素为1，其它元素为0，向量的列数等于焊接状态的数量。

13.根据权利要求9所述的一种焊接过程信息的在线检测装置，其特征在于：所述相关性系数预设值设置为0.5。

14.根据权利要求12所述的一种焊接过程信息的在线检测装置，其特征在于：当第二预测模型输出的向量值中列元素均不为1，则取列元素中最接近1的数值对应焊接状态为输出值。

15.根据权利要求9所述的一种焊接过程信息的在线检测装置，其特征在于：所述熔池图像特征信息可以替换为焊接工艺参数。

16.根据权利要求15所述的一种焊接过程信息的在线检测装置，其特征在于：所述焊接工艺参数，包括但不局限于：焊接速度、焊接功率、焊接角度。

Images