CN111932539B - 基于熔池图像和深度残差网络的余高与熔深协同预测方法 - Google Patents

Abstract

本发明涉及一种基于熔池图像和深度残差网络的余高与熔深协同预测方法，属于图像分析技术领域，准确的预测焊缝未来发展的熔深与余高的趋势，提高焊接质量，其包括以下步骤：1.还原余高和熔深在焊缝长度上的变化情况，2.图像处理框架，3.确定基础网络，4.确定网络输入端，5.确定网络输出端，6.网络学习能力评估，7.余高与熔深网络预测。本发明基于熔池图像和深度残差网络的熔深余高协同预测，不仅能清晰地观察到熔池边缘及内部细节，实时监控焊缝成形过程中的熔深和余高的变化，还能够准确的预测焊缝未来发展的熔深与余高的趋势，适用于不同焊接参数与不同焊接件，实时调控焊接质量。

Description

基于熔池图像和深度残差网络的余高与熔深协同预测方法

技术领域

本发明涉及一种基于熔池图像和深度残差网络的余高与熔深协同预测方法，属于图像分析技术领域。

背景技术

熔池图像特征与焊缝的熔深与余高的变化对焊接质量的好坏有着决定性的作用。在焊缝的横截面上，母材的熔化深度称为熔深，熔深直接决定了焊缝与母材之间的结合强度，在很大程度也决定焊健的承载能力；超出工件表面的那部分焊缝之最大高度称为余高，即焊缝的顶点到两焊趾连线的距离，焊缝的余高使焊缝的横截而面积增大，静载承载能力提高。但是，余高又使焊趾处产生应力集中，焊缝承受动载的能力下降。对于承受动载荷或疲劳的焊件，对接焊缝的余高应磨平，而角接焊缝的余高部位应磨成凹形。

由此可知，不仅焊缝的熔池轮廓特征对焊缝的焊接质量有着十分重要的影响，焊缝的熔深和余高也对焊缝的质量调控有着十分重要的作用。正确的辨识和分析焊缝的熔深与余高，正确的预测焊缝的熔深与余高对焊接质量具有十分重要的指导作用。

发明内容

为了解决上述技术问题，本发明提供一种基于熔池图像和深度残差网络的余高与熔深协同预测方法，其具体技术方案如下：

基于熔池图像和深度残差网络的余高与熔深协同预测方法，包括以下步骤：

步骤一：还原余高和熔深在焊缝长度上的变化情况：沿长度方向将焊缝切成均匀两半，对其中的一半进行打磨、腐蚀操作，通过电子显微镜观察其熔深和余高的情况并辨识焊缝的余高和熔深；

步骤二：图像处理框架：通过网络学习熔池图像的深层特征，建立熔池图像与余高、熔深之间的关系；

步骤三：确定基础网络：为了更准确地预测焊接过程中焊缝的余高和熔深的变化，需对网络的输入、输出端，网络的层数以及网络的泛化能力做评估；

步骤四：确定网络输入端：将熔池原图或熔池原图进行傅里叶变换后输入，比较熔池的空域图和频域图作为输入端后的回归效果，选择熔池图像的频域图为网络输入端；

步骤五：确定网络输出端：因有余高和熔深两个输出值，网络框架的输出端就有熔深或余高的单输出方式与包含熔深、余高的双输出方式，在网络输入端确定后，通过比较两种输出方式的回归结果，选择包含余高和熔深的双输出方式作为网络的输出端；

步骤六：网络学习能力评估：网络的泛化能力为评估网络性能的重要指标，选取若干焊缝的熔池图像分别为测试集和训练集，通过测试集的回归结果评估网络的泛化能力；

步骤七：余高与熔深网络预测：制作测试工件，测试工件起弧端至收弧端焊缝的余高，将焊缝两端的数据作为若干组训练集，焊缝中间的数据作为若干组测试集，通过判断测试集回归结果的平均误差，预测余高的趋势。

进一步的，所述图像处理框架采用深度残差网络结构，所述深度残差网络结构采用残差块作为基本组成单元。

进一步的，所述网络输入端采取熔池中后部图像的频域图作为网络输入端。

进一步的，所述熔池图像特征提取部分的基础网络结构为Resnet-34。

本发明的有益效果：

本发明基于熔池图像和深度残差网络的熔深余高协同预测，不仅能清晰地观察到熔池边缘及内部细节，实时监控焊缝成形过程中的熔深和余高的变化，还能够准确的预测焊缝未来发展的熔深与余高的趋势，适用于不同焊接参数与不同焊接件，实时调控焊接质量。

附图说明

图1是本发明的流程示意图，

图2是本发明的余高与熔深监控装置示意图，

图3是本发明的熔池单个CMT周期内的变化规律图，

图4是本发明的焊缝金相图，

图5是本发明的焊缝轮廓图，

图6是本发明的余高和熔深变化对应的熔池形态图，

图7是本发明的网络特征映射图，

图8是本发明的熔池不同ROI区域截取图，

图9是本发明的原熔池图像余高回归结果和误差示意图，

图10是本发明的熔池中后部余高回归结果和误差示意图，

图11是本发明的熔池前部余高回归结果和误差示意图，

图12是本发明的工件形状示意图，

图13是本发明的120A时的焊缝余高变化图，

图14是本发明的120A的余高回归结果和误差示意图，

图15是本发明的130A时的焊缝余高变化图，

图16是本发明的130A的余高回归结果和误差示意图，

图中：1—母板，2—彩色相机，3—焊枪，4—激光器，5—黑白相机，6—工作台，7—熔池，8—焊缝。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明，因此其仅显示与本发明有关的构成。

如图1所示，本发明的基于熔池图像和深度残差网络的余高与熔深协同预测方法，包括以下步骤：

步骤一：还原余高和熔深在焊缝长度上的变化情况：沿长度方向将焊缝切成均匀两半，对其中的一半进行打磨、腐蚀操作，通过电子显微镜观察其熔深和余高的情况并辨识焊缝的余高和熔深；

步骤二：图像处理框架：通过网络学习熔池图像的深层特征，建立熔池图像与余高、熔深之间的关系；

步骤三：确定基础网络：为了更准确地预测焊接过程中焊缝的余高和熔深的变化，需对网络的输入、输出端，网络的层数以及网络的泛化能力做评估；

步骤四：确定网络输入端：将熔池原图或熔池原图进行傅里叶变换后输入，比较熔池的空域图和频域图作为输入端后的回归效果，选择熔池图像的频域图为网络输入端；

步骤五：确定网络输出端：因有余高和熔深两个输出值，网络框架的输出端就有熔深或余高的单输出方式与包含熔深、余高的双输出方式，在网络输入端确定后，通过比较两种输出方式的回归结果，选择包含余高和熔深的双输出方式作为网络的输出端；

步骤六：网络学习能力评估：网络的泛化能力为评估网络性能的重要指标，选取若干焊缝的熔池图像分别为测试集和训练集，通过测试集的回归结果评估网络的泛化能力；

步骤七：余高与熔深网络预测：制作测试工件，测试工件起弧端至收弧端焊缝的余高，将焊缝两端的数据作为若干组训练集，焊缝中间的数据作为若干组测试集，通过判断测试集回归结果的平均误差，预测余高的趋势。

实施例一：

本发明余高和熔深的实验数据采集装置为CMT焊接实验平台。CMT焊接实验平台主要由焊接电源，移动机器人和视觉传感器系统组成。视觉系统传感系统安置于平整的工作台6台面，工作台6放置需要焊接的母板1。视觉传感器系统包括一个固定在机器人上的焊枪3，焊枪3正对母板1，机器人上还安装有CCD彩色相机2，其型号为Basler acA640-750uc。为了将采集到的熔池7图像与焊缝8实际位置相对应，使用激光器4进行辅助定位，使用中心波长为450nm的激光器4照射在焊丝上沿部分，同时摆放一台型号为Basler ace acA1920-155um的CCD黑白相机5，用以捕捉激光点，如图2所示。在熔池7图像采集过程中，由FPGA系统发出两路同步信号，控制两台相机在同一时刻采集图像。CMT是一种特殊的MIG/MAG焊，它的热源加热方式为热-冷-热交替，这种加热方式有效地降低了焊接热输入，可以实现超薄件的增材制造成型。而单层单道的成形尺寸和质量直接决定了增材零件的成形质量，因此本发明以基于CMT的不锈钢单道单层的成形控制为背景，监控焊缝8成形过程中的熔深和余高的变化。一般认为一个CMT周期持续的时间为14ms，图3为相机以1000Hz的采集频率在一个CMT周期内采集到的14幅熔池7图像。从10ms开始，采集到的熔池7图像是完全不受电弧光影响的，能观察到清晰的熔池7边缘及内部细节。因此，为降低干扰影响，统一采用第10ms的熔池7图像。

为了达到实时监控余高和熔深的效果，需要精准的还原余高和熔深在焊缝长度上的变化情况。因此，沿长度方向将焊缝切成均匀两半，对其中的一半进行打磨、腐蚀等操作，通过电子显微镜观察其熔深和余高的情况。图5为提取出焊缝的轮廓，同时根据图4中的比例尺和母材底部的基准线，计算出母材表面在图像中的像素位置，以计算出的位置为基准，基准线以上到上轮廓边缘的长度就是焊缝的余高，基准线以下到下轮廓边缘的长度就是焊缝的熔深，这样，就能拟合出余高和熔深随着焊缝长度变化的公式，同时结合实验设备，就能确定采集到的每幅熔池图对应的余高和熔深。本实施例设置焊机的焊接速度为5mm/s，保护气为氩氧混合气，气流量为25L/min，焊丝牌号为ER316L，母材为304不锈钢，其余焊接工艺参数如表1所示，

表1

图6中的 （a）为上述工艺下的一条典型焊缝余高和熔深随焊缝长度变化的曲线图，与焊缝中间稳定阶段相比，起弧端的高度较高，熄弧端的高度较低，且在后续焊缝接头强度的研究过程中，一般都不考虑起弧端和收弧端，因此本实施例取焊缝离起弧端15-70mm处的熔池图像进行分析。图6中的（b）为熔池在离起弧点不同距离时的三种典型形态。左图为刚脱离起弧端处的熔池形态，右图为快进入收弧阶段处的熔池形态，中间图为焊接稳定阶段的熔池形态。由于刚脱离起弧阶段，此时左图中的熔池的散热条件最好，因此熔池的铺展能力最弱，导致熔池前端宽度最小。随着焊接的进行，散热条件变得越来越差，不仅有利于熔池的铺展，导致熔池前端宽度变大，而且也影响到了杆伸长度，杆伸长度的改变会影响电弧的位置，而电弧的位置影响到了熔池位置，正是这些焊接特征的变化，为熔深和余高的回归提供了可能性。

图像处理框架。通过网络学习熔池图像的深层特征，建立熔池图像与余高及熔深之间的关系。由于传统神经网络或者全连接网络在信息传递的时会存在信息丢失损耗问题，同时随着网络深度的增加还会出现梯度消失或者梯度爆炸问题。采用残差网络结构即采用残差块作为基本组成单元，其中输入是x，对于一个堆积层结构而言，其学习到的特征设为

，而残差结构希望学习到的特征为

，则

，表明了原始的学习特征是

，从公式可以看出直接学习原始特征要比学习残差更复杂，采用残差网络结构将输入信息直接绕道传到输出，使得网络不直接拟合原来的映射，而是拟合残差映射，简化学习难度。当残差F(x)=0时，堆积层也能到达恒等映射的作用，这样在很大程度上解决了卷积神经网络随着深度增加而带来的网络退化问题。一般情况下，F(x)>0，所以，网络总会在基于输入特征上学到新的特征，从而拥有更好的网络性能。通过残差模块的基本结构来提取图像特征，提出一种基于深度残差网络来监测熔覆层余高的方法。经过剪切对齐后的熔池大小为640×350，综合考虑网络的训练速度与精度，将原始图像缩放到300×210。下表2显示了网络部分的具体信息，其中基础块包括了两个卷积层，内核大小为3×3，Resnet-34作为熔池图像的特征提取部分的基础网络，对于输出的特征图进行池化后，进行第一个全连接来整合前面的池化层中具有类别区分性的局部信息。为了提升网络性能，全连接层的每个神经元的激励函数采用了ReLU函数，最后一层的全连接的输出值被传递出来即余高。图7显示了由于卷积和平均池化导致的特征映射收缩的过程。

表2

损失函数与评价函数。损失函数用于评估估计值与真实值之间的差值。根据这些差值，网络在训练过程中会不断的调整网络的参数以找到最优模型参数，最大限度降低损失。而均方误差一般都用于回归模型中，主要是对具体数值的预测，其计算公式为（1）式所示：

，（1）

式中，

是预测值，

是真实值，n是样本数，MSE为均方误差。接着使用平均绝对误差和误差率对网络的回归结果进行评价，其计算公式为（2）式所示：

，（2）

式中，

是预测值，

是真实值，n是样本数，MAE为平均绝对误差，RE为误差率。

确定基础网络。为了更准确地预测焊接过程中焊缝的余高和熔深的变化，需对网络的输入输出端，网络的层数以及网络的泛化能力做评估。因此，焊接多条焊缝，根据焊缝长度均匀随机选取1512组熔池图像数据及其对应的余高熔深。为了评估网络的泛化能力，将一道焊缝中部至尾部共283组数据作为测试集，剩下的1229组作为训练集。在构建卷积网络时，网络的深度越高，可抽取的特征层次就越丰富，所以一般会倾向于使用更深层次的网络结构，以便取得更高层次的特征。但是，在使用深层次的网络结构时依旧有梯度消失、梯度爆炸和网络退化的问题，因此确定网络的层数就显得至关重要。其中，平均绝对误差和误差率如表3所示：

表3

经过VGG-11、Vgg-16、Resnet-34和Resnet-50对测试集的回归结果得出，相比于Vgg11和Vgg16，Resnet-34在网络中增加了跳层连接，直接将输入信息绕道传到输出，保护了信息的完整性，简化了学习目标和难度，也同时确保深层网络性能不弱于浅层网络。由于熔池图像是由熔池轮廓和熔池内部细节构成，场景并不复杂，Resnet-50层数较深，在处理简单的轮廓特征上深层数并不占优，甚至更容易出现过拟合现象，Resnet-50对余高的回归结果是最差。因此选择Resnet-34作为网络结构。

确定网络输入端。因为希望尽量不丢失熔池的细节信息，所以网络输入端的选择策略分两种：一是将熔池原图作为输入，二是将熔池原图进行傅里叶变换后作为输入。分别将熔池的空域图和频域图作为输入端，网络结构为Resnet-34，结果显示将熔池的频域图作为输入端的余高和熔深回归的平均绝对误差都是最低的。熔池图像在空域中，熔池轮廓包围着熔池内部细节，在卷积的过程中，轮廓信息会和它附近的内部细节信息杂糅在一起，导致空域回归效果差。熔池图像在转为频域后，熔池轮廓信息为高频信息，内部细节信息为低频信息，这两种信息位于频域图的固定位置，在卷积的过程中，不会发生高低频信息的杂糅，使得频域回归效果好。因此选择熔池图像的频域图为输入端。由于热积累等造成的焊接环境的改变，在CMT周期第10ms的熔池图像中溶滴形状和焊丝杆伸长度会发生变化，这一变化可能也会对回归结果产生影响。为了验证这一设想，如图8所示，从左至右依次为熔池原图、熔池中后部图和熔池前部图，此时分辨率仍为300×210，在其它条件不变的情况下，测试集回归结果显示将原图作为输入端的回归结果最差，而对于后两种输入方式，在熔深回归结果指标相近的情况下，截取熔池中后部的输入方式的余高回归结果误差更低，因为熔池前部处于熔池振荡的中心，熔池前部的内部细节发生着剧烈变化，而熔池中后部形态则相对稳定，导致截取熔池中后部的回归结果最好。因此采用以熔池中后部图像的频域图作为网络的输入端。

确定网络输出端。在确定了网络的输入端后，还要决定网络的输出端。因为有余高和熔深的两个输出值，因此在网络框架的输出端就有两种方式，即熔深、余高的单输出以及包含两者的双输出。在输入端固定后，通过两种输出方式的回归结果对比。对于余高回归结果来说，双输出的平均绝对误差低于单输出的平均绝对误差，说明熔深对余高的回归起到了一定的约束力。对于熔深回归结果来说，双输出的平均绝对误差高于单输出的平均绝对误差，说明余高对熔深的回归约束不明显，那是因为熔深变化的情况受周围散热条件、母材等综合影响更为复杂，但是双输出的回归结果的趋势更符合实际熔深的起伏趋势，因此采用余高和熔深同时输出的方式作为网络的输出端。

网络学习能力评估。在确定了网络架构后，网络的泛化能力成为评估网络性能的最重要的一项指标。在表1的焊接参数序号2下焊接了23道焊缝，随机抽取18道里15mm-70mm的熔池图像作为训练集，选中12582组，剩下的5道焊缝作为测试集，选中2916组，熔池原图测试集回归结果如图9所示，熔池中后部测试集回归结果如图10所示，熔池前部测试集回归结果如图11所示。回归结果验证了以熔池图像中后部的频域图作为输入端的方法对回归效果有提升。从预测出的余高趋势来看，第四道焊缝的余高起伏趋势与实际的起伏趋势相近，其他几道焊缝部分区域的余高趋势也被预测出来，说明网络有一定的泛化能力。如图10所示，部分焊道余高的起伏变化并没有通过网络预测出来，回归的结果像是在某个平均值附近波动，因此为了证明网络预测出来的余高值不是某段焊缝余高的平均值，制作了如图12所示的工件，工件的厚度从5mm渐变至0mm。焊接参数为表1中的焊接参数序号3，因固定钢板的原因，实际是从厚度4.5mm处起弧，到2mm处收弧。由于板子的厚度在逐渐变小，焊缝的余高也在逐渐减小，理论上网络预测出来的余高值也是逐渐减小的趋势，而不是在某个平均值附近波动。如图13所示，将焊缝两端的数据作为训练集，选中1105组，焊缝中间的数据作为测试集，选中145组，测试集回归结果如图14所示。结果显示不仅回归结果的平均误差较小，余高减小的趋势也被预测出来。为了进一步验证网络的泛化能力，在其他条件不变的情况下，仅改变焊接电流为130A，焊缝余高变化情况如图15所示。采取与120A斜板相同的训练和测试策略，其中训练集797组，测试集300组，得到的测试集回归结果如图16所示，平均绝对误差低，同时预测出余高减小的趋势。

本发明基于熔池图像和深度残差网络的熔深余高协同预测，不仅能清晰地观察到熔池边缘及内部细节，实时监控焊缝成形过程中的熔深和余高的变化，还能够准确的预测焊缝未来发展的熔深与余高的趋势。上述实验结果表明，余高熔深协同预测网络对余高的预测精度可达0.13mm，对熔深的预测精度可达0.09mm。不同焊接参数、不同焊接件的回归结果验证了网络的精度，可用于焊接质量的实时调控。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.基于熔池图像和深度残差网络的余高与熔深协同预测方法，其特征在于：包括以下步骤：

步骤一：还原余高和熔深在焊缝长度上的变化情况：沿长度方向将焊缝切成均匀两半，对其中的一半进行打磨、腐蚀操作，通过电子显微镜观察其熔深和余高的情况并辨识焊缝的余高和熔深；

步骤二：图像处理框架：通过网络学习熔池图像的深层特征，建立熔池图像与余高、熔深之间的关系；

步骤三：确定基础网络：为了更准确地预测焊接过程中焊缝的余高和熔深的变化，需对网络的输入、输出端，网络的层数以及网络的泛化能力做评估；

步骤四：确定网络输入端：将熔池原图或熔池原图进行傅里叶变换后输入，比较熔池的空域图和频域图作为输入端后的回归效果，选择熔池图像的频域图为网络输入端；

步骤五：确定网络输出端：因有余高和熔深两个输出值，网络框架的输出端就有熔深或余高的单输出方式与包含熔深、余高的双输出方式，在网络输入端确定后，通过比较两种输出方式的回归结果，选择包含余高和熔深的双输出方式作为网络的输出端；

步骤六：网络学习能力评估：网络的泛化能力为评估网络性能的重要指标，选取若干焊缝的熔池图像分别为测试集和训练集，通过测试集的回归结果评估网络的泛化能力；

步骤七：余高与熔深网络预测：制作测试工件，测试工件起弧端至收弧端焊缝的余高，将焊缝两端的数据作为若干组训练集，焊缝中间的数据作为若干组测试集，通过判断测试集回归结果的平均误差，预测余高的趋势。

2.根据权利要求1所述的基于熔池图像和深度残差网络的余高与熔深协同预测方法，其特征在于：所述图像处理框架采用深度残差网络结构，所述深度残差网络结构采用残差块作为基本组成单元。

3.根据权利要求1所述的基于熔池图像和深度残差网络的余高与熔深协同预测方法，其特征在于：所述网络输入端采取熔池中后部图像的频域图作为网络输入端。

4.根据权利要求1所述的基于熔池图像和深度残差网络的余高与熔深协同预测方法，其特征在于：所述熔池图像特征提取部分的基础网络结构为Resnet-34。

Images