CN109389165A - 基于巡检机器人的变压器油位计识别方法 - Google Patents

Abstract

本发明公开了一种基于巡检机器人的变压器油位计识别方法，检测过程融合巡检机器人定位信息，处理流程如下：(1)巡检机器人到巡检点，定位仪表并拍摄图片；(2)对待检测的目标仪表区域进行粗定位和精确定位，筛选目标候选区域得到油位计图像；(3)将图像灰度化处理；(4)根据油位区域和背景区域的颜色不用，转化为灰度后有明显差异，根据此特点提取油位区域；(5)根据形状、亮度差异，使用轮廓分割提取油位计物块，并由油位计区域上下界和物块位置计算出数值；本发明利用机器学习，能检测识别多种光照、姿态变化下的变压器油位计。

Description

基于巡检机器人的变压器油位计识别方法

技术领域

本发明涉及电力巡检机器人领域，具体地说是一种基于巡检机器人的变压器油位计识别方法。

背景技术

电力巡检机器人需要实现变电站内自主定位与导航、现场仪表示数识别、自动充电等基本功能。其中核心的功能就是检测和识别现场电力设备的仪器仪表的示数。

目前，电力巡检机器人在检测和识别变压器油位计示数的过程中，存在较大的难度。大部分变压器油位计由于成本和历史的原因，并不具有智能仪表的远传功能，只能是巡检机器人通过计算机视觉的方法去读取仪表示数。而准确识别变压器油位计示数的前提是准确检测到视觉图像中变压器油位计的位置，且大多数变压器油位计在室外，目前大多数方法，利用传统的图像处理手段进行检测和识别，在光照条件变化的情况下，检测效果不好，一般一种光照条件就需要一组参数，在识别过程中，还存在室外不同光照、巡检机器人不同拍摄角度等情况。

发明内容

本发明的目的在于提供一种基于巡检机器人的变压器油位计识别方法，解决现场液位型仪表在不同光照、姿态条件下的示数识别不准确的问题。

实现本发明目的的技术解决方案为：一种基于巡检机器人的变压器油位计识别方法，具体步骤为：

步骤1、为每个巡检点选取一张在该巡检点拍摄的仪表居中的图像作为模板图像，巡检机器人到巡检点获取待检测仪表图片；

步骤2、对待检测的目标变压器油位计区域进行粗定位和精确定位，筛选目标候选区域得到最终目标；

步骤3、将图片灰度化处理；

步骤4、对灰度图像进行去干扰和图像视觉优化处理，根据灰度图像油位区域与背景区域灰度差明显的特点，提取油位区域；

步骤5、根据形状、亮度差异，使用轮廓分割提取油位计物块，并由油位计区域上下界和物块位置计算出数值。

优选地，步骤2对待检测的目标仪表区域进行粗定位和精确定位，筛选目标候选区域得到最终目标的具体步骤为：

步骤2.1、利用梅林傅里叶变换和相位相关技术对待检测仪表图片中的目标变压器油位计区域进行粗定位；

步骤2.2、利用机器学习的方法对目标变压器油位计区域进行精确定位，将待检测图像送入训练过的分类器，得到若干个目标候选区域；

步骤2.3、计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标。

优选地，步骤2.3中计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标的具体步骤为：

步骤2.3.1、分别将每个目标候选区域与粗定位目标仪表区域求交并比参数IOU，公式为：

式中，C为粗定位目标仪表区域，n_i为目标候选区域；

步骤2.3.2、分别将每个目标候选区域图像与模板图像中的变压器油位计区域图像做感知哈希计算，获得感知哈希指标，具体为将目标候选区域图像与模板图像缩放到同一大小，进行余弦变换，选取余弦变换后的图像左上角的部分低频区域，去除坐标(0,0)的直流分量得到一共N维特征向量，计算目标候选区域图像与模板图像的特征向量的汉明距离，作为感知哈希指标；

步骤2.3.3、分别计算每个目标候选区域图像与模板图像的互信息指标，计算公式为：

G_(X)、H_(Y)分别为模板图像与候选图像灰度像素的数目，W、H分别为候选区域图像宽、高；

步骤2.3.4、将每一目标候选区域的交并比IOU、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度，将置信度最大的目标候选区域作为备选检测结果；

步骤2.3.5、若备选检测结果的IOU满足同时小于设定阈值thresholdIOU且(pHash+1/I(G_(X)，H_(Y)))大于阈值thresholdA时，将步骤2.1确定的粗定位目标仪表区域作为最终目标，否则以备选检测结果作为最终目标，pHash为备选检测结果感知哈希指标，I(G_(X)，H_(Y))为互信息指标。

优选地，步骤4对灰度图像进行去干扰及图像视觉优化处理，根据灰度图像油位区域与背景区域灰度差明显的特点，提取油位区域的具体步骤为：

步骤4.1、对灰度图像进行直方图均衡化、高斯滤波处理去除干扰；

步骤4.2、对灰度图进行开运算，开运算能够去除图像中独立的小点和毛刺，而总的位置和形状不变。

步骤4.3、利用大津算法对表盘区域二值化，大津算法原理如下：

对于图像I(x,y)，前景即目标和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为ω₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁，其平均灰度为μ₁。图像的总平均灰度记为μ，类间方差记为g。由于图像的背景较暗，并且图像的大小为M×N，图像中像素的灰度值小于阈值T的像素个数记作N₀，像素灰度大于阈值T的像素个数记作N₁，则有：

ω₀＝N₀/M×N

ω₁＝N₁/M×N

N₀+N₁＝M×N

ω₀+ω₁＝1

μ＝ω₀*μ₀+ω₁*μ₁

g＝ω₀(μ₀-μ)^2+ω₁(μ₁-μ)^2

得到等价公式:

g＝ω₀ω₁(μ₀-μ₁)^2

采用遍历的方法得到使类间方差g最大的阈值T,利用获得的最大阈值对灰度图像进行二值化；

步骤4.4、再次进行开运算去除背景环境中的噪声点：

先对油位管左右区域进行开运算，去除左右噪声；再对上下区域进行开运算，去除上下噪声；

步骤4.5、根据灰度值差异，选定阈值(范围40-70)，分割出油位区域，得出油位计区域。

优选地，步骤5根据形状、亮度差异，使用轮廓分割提取油位计物块，并由油位计区域上下界和物块位置计算出数值，具体步骤为：

步骤5.1、采用二值化算法进行轮廓扫描，提取出最大连通域；

步骤5.2、找出表盘中间区域，开运算消除物块周围噪声，得到物块位置；

步骤5.3、根据分割好的物块区域，由油位计区域上下界和物块位置计算出数值。

本发明与现有技术相比，其显著优点为：(1)本发明在分类器筛选的基础上，基于机器人定位导航，利用图像的频域进行，进行相位相关计算，使用图像位移指标做大限度的减少了漏检的误检问题；(2)本发明融合了机器人定位信息，利用机器人已有的定位信息，使得位置重复度高，尺度、旋转等变化较小，在此基础上利用相位相关进行粗检测，检测全面；(3)本发明利用机器学习，能检测到多种光照、姿态变化下的仪表。(4)本发明检测到目标图像后，进行预处理，通过开运算，大津算法等操作较好地解决了不同光照、姿态条件下的变压器油位计的示数识别问题，极大的提高机器人巡检效率。

附图说明

图1为本发明的流程示意图。

图2为电力系统变压器油位计示意图。

具体实施方式

一种基于巡检机器人的变压器油位计识别方法，包括以下步骤：

步骤1、为每个巡检点选取一张在该巡检点拍摄的仪表居中的图像作为模板图像，巡检机器人到巡检点获取待检测仪表图片；

步骤2、对待检测的目标仪表区域进行粗定位和精确定位，筛选目标候选区域得到最终目标，具体为：

步骤2.1、利用梅林傅里叶变换和相位相关技术对待检测仪表图片中的目标仪表区域进行粗定位；

步骤2.2、利用机器学习的方法对目标仪表区域进行精确定位，将待检测图像送入训练过的分类器，得到若干个目标候选区域；训练过的分类器为利用仪表图像数据集训练的分类器。

步骤2.3、计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标，具体步骤为：

步骤2.3.1、分别将每个目标候选区域与粗定位目标仪表区域求交并比参数IOU，公式为：

式中，C为粗定位目标仪表区域，n_i为目标候选区域。

步骤2.3.2、分别将每个目标候选区域图像与模板图像中的仪表区域图像做感知哈希计算，获得感知哈希指标，具体方法为：

将目标候选区域图像与模板图像缩放到同一大小，进行余弦变换，选取余弦变换后的图像左上角的部分低频区域，去除坐标(0,0)的直流分量得到一共N维特征向量，计算目标候选区域图像与模板图像的特征向量的汉明距离，作为感知哈希指标。

步骤2.3.3、分别计算每个目标候选区域图像与模板图像的互信息指标，计算公式为：

G_(X)、H_(Y)分别为模板图像与候选图像灰度像素的数目，W、H分别为候选区域图像宽、高。

步骤2.3.4、将每一目标候选区域的交并比IOU、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度，将置信度最大的目标候选区域作为备选检测结果，置信度的计算公式为：

Confidence＝1-(pHash+1/I(G_(X)，H_(Y)))/(IOU+D)

式中，I(G_(X)，H_(Y))为互信息指标，pHash为感知哈希指标，IOU为交并比指标，D为设定的常数。

步骤2.3.5：若备选检测结果的IOU满足同时小于设定阈值thresholdIOU且(pHash+1/I(G_(X)，H_(Y)))大于阈值thresholdA时，将步骤2确定的粗定位目标仪表区域作为最终目标，否则以备选检测结果作为最终目标，pHash为备选检测结果感知哈希指标，I(G_(X)，H_(Y))为互信息指标，优选地，阈值thresholdIOU取值范围0.1～0.4，阈值thresholdA取值范围10～50。

步骤3、将图片灰度化处理；

步骤4、根据油位区域和背景区域的颜色不用(油位区域为深色，背景区域为浅色)，转化为灰度后有明显差异，根据此特点提取油位区域，具体步骤为：

步骤4.1、为了减少，光照、灰尘对图片灰度等的影响，使用直方图均衡化、高斯滤波去除干扰。

步骤4.2：对灰度图进行开运算，由于物体比背景明亮，开运算能够排除小团块物体，开运算的结果删除了不能包含结构元素的对象区域，平滑了对象的轮廓，断开了狭窄的连接，去掉了细小的突出部分。

步骤4.3、由于油位计和表盘颜色差异明显，利用大津算法对表盘区域二值化。大津算法原理如下：

对于图像I(x,y)，前景(即目标)和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为ω₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁，其平均灰度为μ₁。图像的总平均灰度记为μ，类间方差记为g。由于图像的背景较暗，并且图像的大小为M×N，图像中像素的灰度值小于阈值T的像素个数记作N₀，像素灰度大于阈值T的像素个数记作N₁，则有：

ω₀＝N₀/M×N

ω₁＝N₁/M×N

N₀+N₁＝M×N

ω₀+ω₁＝1

μ＝ω₀*μ₀+ω₁*μ₁

g＝ω₀(μ₀-μ)^2+ω₁(μ₁-μ)^2

得到等价公式:

g＝ω₀ω₁(μ₀-μ₁)^2

采用遍历的方法得到使类间方差g最大的阈值T,利用获得的最大阈值对灰度图像进行二值化；

步骤4.4、再次进行开运算去除背景环境中的噪声点：

先对油位管左右区域进行开运算，去除左右噪声；再对上下区域进行开运算，去除上下噪声；

步骤4.5、根据灰度值差异，再次利用大律算法选定阈值，分割出油位区域，得出油位计区域。

步骤5、根据形状、亮度差异，使用轮廓分割提取油位计物块，并由油位计区域上下界和物块位置计算出数值，具体步骤为：

步骤5.1、采用二值化算法进行轮廓扫描，提取出最大连通域。

步骤5.2、找出表盘中间区域，开运算消除物块周围噪声，得到物块位置。

步骤5.3、根据分割好的物块区域，由油位计区域上下界和物块位置计算出数值。

Claims (6)

1.一种基于巡检机器人的变压器油位计识别方法，其特征在于，具体步骤为：

步骤1、为每个巡检点选取一张在该巡检点拍摄的仪表居中的图像作为模板图像，巡检机器人到巡检点获取待检测仪表图片；

步骤2、对待检测的目标变压器油位计区域进行粗定位和精确定位，筛选目标候选区域得到油位计图片；

步骤3、将油位计图片灰度化处理；

步骤4、对灰度图像进行去干扰和图像视觉优化处理，根据灰度图像油位区域与背景区域灰度差明显的特点，提取油位区域；

步骤5、根据形状、亮度差异，使用轮廓分割提取油位计物块，并由油位计区域上下界和物块位置计算出数值。

2.根据权利要求1所述的基于巡检机器人的变压器油位计识别方法，其特征在于，步骤2对待检测的目标仪表区域进行粗定位和精确定位，筛选目标候选区域得到最终目标的具体步骤为：

步骤2.1、利用梅林傅里叶变换和相位相关技术对待检测仪表图片中的目标变压器油位计区域进行粗定位；

步骤2.2、利用机器学习的方法对目标变压器油位计区域进行精确定位，将待检测图像送入训练过的分类器，得到若干个目标候选区域；

步骤2.3、计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标。

3.如权利要求2所述的基于电力巡检机器人的电抗器油位计识别方法，其特征在于，步骤2.3中计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标的具体步骤为：

步骤2.3.1、分别将每个目标候选区域与粗定位目标仪表区域求交并比参数IOU，公式为：

式中，C为粗定位目标仪表区域，n_i为目标候选区域；

步骤2.3.2、分别将每个目标候选区域图像与模板图像中的变压器油位计区域图像做感知哈希计算，获得感知哈希指标，具体为将目标候选区域图像与模板图像缩放到同一大小，进行余弦变换，选取余弦变换后的图像左上角的部分低频区域，去除坐标(0,0)的直流分量得到一共N维特征向量，计算目标候选区域图像与模板图像的特征向量的汉明距离，作为感知哈希指标；

步骤2.3.3、分别计算每个目标候选区域图像与模板图像的互信息指标，计算公式为：

G_(X)、H_(Y)分别为模板图像与候选图像灰度像素的数目，W、H分别为候选区域图像宽、高；

步骤2.3.4、将每一目标候选区域的交并比IOU、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度，将置信度最大的目标候选区域作为备选检测结果；

步骤2.3.5、若备选检测结果的IOU满足同时小于设定阈值thresholdIOU且(pHash+1/I(G_(X)，H_(Y)))大于阈值thresholdA时，将步骤2.1确定的粗定位目标仪表区域作为最终目标，否则以备选检测结果作为最终目标，pHsah为备选检测结果感知哈希指标，I(G_(X)，H_(Y))为互信息指标。

4.根据权利要求1所述的基于巡检机器人的变压器油位计识别方法，其特征在于，步骤4对灰度图像进行去干扰及图像视觉优化处理，根据灰度图像油位区域与背景区域灰度差明显的特点，提取油位区域的具体步骤为：

步骤4.1、对灰度图像进行直方图均衡化、高斯滤波处理去除干扰；

步骤4.2、对灰度图进行开运算，开运算能够去除图像中独立的小点和毛刺，而总的位置和形状不变。

步骤4.3、利用大津算法对表盘区域二值化，大津算法原理如下：

对于图像I(x,y)，前景即目标和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为ω₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁，其平均灰度为μ₁，图像的总平均灰度记为μ，类间方差记为g，由于图像的背景较暗，并且图像的大小为M×N，图像中像素的灰度值小于阈值T的像素个数记作N₀，像素灰度大于阈值T的像素个数记作N₁，则有：

ω₀＝N₀/M×N

ω₁＝N₁/M×N

N₀+N₁＝M×N

ω₀+ω₁＝1

μ＝ω₀*μ₀+ω₁*μ₁

g＝ω₀(μ₀-μ)^2+ω₁(μ₁-μ)^2

得到等价公式:

g＝ω₀ω₁(μ₀-μ₁)^2

采用遍历的方法得到使类间方差g最大的阈值T,利用获得的最大阈值对灰度图像进行二值化；

步骤4.4、再次进行开运算去除背景环境中的噪声点：

先对油位管左右区域进行开运算，去除左右噪声；再对上下区域进行开运算，去除上下噪声；

步骤4.5、根据灰度值差异，选定阈值，分割出油位区域，得出油位计区域。

5.根据权利要求4所述的基于巡检机器人的变压器油位计识别方法，其特征在于，步骤4.5中阈值的选定方法与步骤4.3中阈值的选定方法相同。

6.根据权利要求1所述的基于巡检机器人的变压器油位计识别方法，其特征在于，步骤5根据形状、亮度差异，使用轮廓分割提取油位计物块，并由油位计区域上下界和物块位置计算出数值，具体步骤为：

步骤5.1、采用二值化算法进行轮廓扫描，提取出最大连通域；

步骤5.2、找出表盘中间区域，开运算消除物块周围噪声，得到物块位置；

步骤5.3、根据分割好的物块区域，由油位计区域上下界和物块位置计算出数值。