CN110796632B - 猪只计数装置 - Google Patents

Abstract

本发明的实施方式涉及一种猪只计数装置，包括：图像获取单元，用于获得同一时间拍摄的同一区域的红外图像和可见光图像；红外图像拥挤区域确定单元，确定红外图像中的猪只拥挤区域，猪只拥挤区域是指多个猪只相互拥挤在一处的区域；可见光图像拥挤区域确定单元，确定可见光图像中的猪只拥挤区域；共同拥挤区域确定单元，确定可见光图像和红外图像中的共同拥挤区域；融合单元，将共同拥挤区域部分对应的可见光图像部分和红外图像部分相融合，获得融合图像；识别单元，对融合后的图像进行卷积神经网络识别，确定共同拥挤区域猪只的个数；以及总计数单元，根据识别单元的识别结果对猪群进行计数。

Description

猪只计数装置

技术领域

本发明涉及一种猪只计数装置。

背景技术

生猪计数有很多现实的意义。猪的耳标可以用来对猪只进行识别和计数，但是耳标容易对猪造成伤害，而且容易脱落或改变。另一方面，如果猪只的数量较少，可以采用图像识别的方法，识别出图像中的猪脸，就可以识别出猪的个数了。

但是目前养猪场中猪的数量越来越多，会出现局部拥挤的情况，在这种情况下，目前的图像识别的精度有待提高。

发明内容

本发明鉴于现有技术存在的以上的问题作出，提供了一种猪只计数方法和装置，用于缓解或克服现有技术的以上缺点，至少提供一种有益的选择。

根据本发明的一个方面，提供了一种猪只计数装置，1、一种猪只计数装置，其特征在于，包括：图像获取单元，用于获得同一时间拍摄的同一区域的红外图像和可见光图像；红外图像拥挤区域确定单元，确定红外图像中的猪只拥挤区域，猪只拥挤区域是指多个猪只相互拥挤在一处的区域；可见光图像拥挤区域确定单元，确定可见光图像中的猪只拥挤区域；共同拥挤区域确定单元，确定可见光图像和红外图像中的共同拥挤区域，所述共同拥挤区域是指在可见光图像中和红外图像中均被识别为猪只拥挤区域的猪只拥挤区域；融合单元，将所述共同拥挤区域部分对应的可见光图像部分和红外图像部分相融合，获得融合图像；识别单元，对融合后的图像进行卷积神经网络识别，确定共同拥挤区域猪只的个数；以及总计数单元，根据识别单元的识别结果对猪群进行计数。

根据一种实施方式，所述融合单元先分别对要融合所述可见光图像部分和所述红外图像部分进行NSCT变换，得到对应的低频子带系数和高频子带系数，然后根据融合规则进行低频子带系数融合和高频子带系数融合，之后通过NSCT反变换，获得融合图像，

其中，所述低频子带系数融合如下进行：

首先，获得红外图像部分和可见光图像部分的低频子带所共有的特征Af_comm：

Af_comm＝min(Af_inf,Af_nature)

其中Af_inf表示红外图像部分的低频子带的特征，Af_nature表示可见光图像部分的低频子带的特征；

然后，获得红外图像部分的特有特征：

Af_spcial＝Af_inf-Af_comm

接着，生成融合图像的低频子带

σ(Af_inf)表示红外图像的区域方差，σ(Af_nature)表示自然图像的区域方差。

根据一种实施方式，所述识别单元包括共同拥挤区识别单元以及可见光图像猪只拥挤区域识别单元；所述共同拥挤区识别单元采用Ic-CNN、SANet或CSRNet进行共同拥挤区域识别，识别出指定猪轮廓的数目，所述指定猪轮廓为根据猪的前肢后后肢前之间的全部或部分而确定的轮廓；所述可见光图像猪只拥挤区域识别单元对可见光图像中的共同拥挤区域之外的其他猪只拥挤区域进行识别和计数，首先确定红外图像中的与各该猪只拥挤区域对应的红外图像对应区域，对各红外图像对应区域中的猪只进行识别和计数，作为该可见光图像中的各该猪只拥挤区域的猪只的数量。

根据一种实施方式，所述总计数单元对可见光图像中猪只拥挤区域之外的区域进行基于猪脸识别算法的计数，并利用所述可见光图像猪只拥挤区域识别单元的识别结果以及共同拥挤区识别单元的识别结果，来获得总的计数结果。

根据一种实施方式，可见光图像拥挤区域确定单元根据猪脸识别算法的精度确定可见光图像中猪只拥挤区域。

根据一种实施方式，所述融合单元先分别对要融合所述可见光图像部分和所述红外图像部分进行NSCT变换，得到对应的低频子带系数和高频子带系数，然后根据融合规则进行低频子带系数融合和高频子带系数融合，之后通过NSCT反变换，获得融合图像，其中，所述低频子带系数融合如下进行：

首先，获得红外图像部分和可见光图像部分的低频子带所共有的特征Af_comm：

Af_comm＝min(Af_inf,Af_nature)

其中Af_inf表示红外图像部分的低频子带的特征，Af_nature表示可见光图像部分的低频子带的特征；

然后，获得红外图像部分的特有特征：

Af_spcial＝Af_inf-Af_comm

接着，生成融合图像的低频子带：

σ(Af_inf)表示红外图像的区域方差，σ(Af_nature)表示自然图像的区域方差，所述β是所述猪脸识别算法的置信度与所述共同拥挤区识别单元采用的卷积神经网络识别算法的置信度的比值。

根据一种实施方式，所述识别单元包括共同拥挤区识别单元以及红外图像猪只拥挤区域识别单元；所述共同拥挤区识别单元采用Ic-CNN、SANet或CSRNet进行共同拥挤区域识别，识别出指定猪轮廓的数目，所述指定猪轮廓为根据猪的前肢后后肢前之间的全部或部分而确定的轮廓；所述红外图像猪只拥挤区域识别单元对红外图像中的共同拥挤区域之外的其他猪只拥挤区域进行识别和计数，首先确定所述可见光图像中与各该猪只拥挤区域对应的可见光图像对应区域，对各该可见光图像对应区域中的猪只进行识别和计数，作为对应的该红外图像中的各对应猪只拥挤区域的猪只的数量。

根据一种实施方式，所述总计数单元对所述红外图像中猪只拥挤区域之外的区域进行基于猪轮廓识别算法的计数，并利用红外图像猪只拥挤区域识别单元的识别结果以及共同拥挤区识别单元的识别结果，来获得总的识别结果。

根据一种实施方式，红外图像拥挤区域确定单元根据猪轮廓识别算法的精度确定可见光图像中猪只拥挤区域。

根据一种实施方式，所述融合单元先分别对要融合所述可见光图像部分和所述红外图像部分进行NSCT变换，得到对应的低频子带系数和高频子带系数，然后根据融合规则进行低频子带系数融合和高频子带系数融合，之后通过NSCT反变换，获得融合图像，

其中，所述低频子带系数融合如下进行：

首先，获得红外图像部分和可见光图像部分的低频子带所共有的特征Af_comm：

Af_comm＝min(Af_inf,Af_nature)

其中Af_inf表示红外图像部分的低频子带的特征，Af_nature表示可见光图像部分的低频子带的特征；

然后，获得红外图像部分的特有特征：

Af_spcial＝Af_inf-Af_comm

接着，生成融合图像的低频子带：

σ(Af_inf)表示红外图像的区域方差，σ(Af_nature)表示自然图像的区域方差，所述β是所述猪轮廓识别算法的置信度与所述共同拥挤区识别单元采用的卷积神经网络识别算法的置信度的比值。

附图说明

附图只是示例性的，不是对本发明的保护范围的限制。

图1示出了依据本发明的一种实施方式的猪只计数装置的方框图。

图2示出了依据一种实施方式的识别单元的示意性方框图。

具体实施方式

下面结合附图对本发明的实施方式进行详细的说明，这些说明都是示意性的，不是对本发明的保护范围的限制。

图1示出了依据本发明的一种实施方式的猪只计数装置的方框图。如图1所示，根据本发明的一种实施方式，一种猪只计数装置包括：图像获取单元10，用于获得同一时间拍摄的同一区域的红外图像和可见光图像，其可以从外部输入或接收而获得，可以通过红外摄像机和可见光摄像机获得；红外图像拥挤区域确定单元20，确定红外图像中的猪只拥挤区域，猪只拥挤区域是指多个猪只相互拥挤在一处的区域，例如抢食时猪槽区域；可见光图像拥挤区域确定单元30，确定可见光图像中的猪只拥挤区域；共同拥挤区域确定单元40，确定可见光图像和红外图像中的共同拥挤区域，共同拥挤区域是指在可见光图像中和红外图像中均被识别为猪只拥挤区域的猪只拥挤区域；融合单元50，将共同拥挤区域部分的可见光图像和红外图像相融合，获得融合图像；识别单元60，对融合后的图像进行卷积神经网络(CNN)识别，确定共同拥挤区域猪只的个数；以及总计数单元70，根据识别单元60的识别结果对猪群进行计数。

红外图像拥挤区域确定单元20在确定猪只拥挤区域时，可以依据红外图像识别算法的精度来确定，即仅仅将会引起识别精度下降的范围，才列入猪只拥挤区域，因而其拥挤区域的最少猪只数目，可因算法的不同而不同。

可见光图像拥挤区域确定单元30在确定猪只拥挤区域时，可以依据可见光图像识别算法的精度来确定，即仅仅将会引起识别精度下降的范围，才列入猪只拥挤区域，因而其拥挤区域的最少猪只数目，可因算法的不同而不同，并且可以与红外图像的猪只拥挤区域中的最少猪只数目不同。

融合单元50可以采用目前已知或未来知悉的各种方法进行融合。根据一种实施方式，可以先分别对可见光图像和红外图像进行NSCT(Nonsubsampled ContourletTransform)变换，得到对应的低频子带系数和高频子带系数，然后根据融合规则进行系数融合，之后通过NSCT反变换，获得融合图像。猪的红外图像的特点是一方面猪体和猪舍的背景差异明显，同时猪体的各部分之间也有温度差异，主要是猪的耳部和部分嘴部与猪体之间差别或更大一些。可见光图像猪体各部分灰度分布接近，但与背景的差异较小。在以往的融合中，通常都是为了特征提取，以进行猪脸识别、体态识别。但是发明人发现，强化纹理和细节特征点对于猪只的总数识别并无特别的意义，反而运算慢。因而提供一种算法，主要是利用红外图像的灰度均匀部分将可见光图像的对应部分能够与背景更好地区分开。高频系数主要体现纹理信息和细节，可以采用本领域的各种方法进行融合。低频子带系数融合可以如下的公式进行：

首先，获得红外图像和可见光图像的低频子带所共有的特征Af_comm：

Af_comm＝min(Af_inf,Af_nature)

其中Af_inf表示红外图像的低频子带的特征，Af_nature表示可见光图像的低频子带的特征。

然后，获得红外图像的特有特征：

Af_spcial＝Af_inf-Af_comm

接着，生成融合图像的低频子带

σ(Af_inf)表示红外图像的区域方差，σ(Af_nature)表示自然图像的区域方差。

采用这种办法，会使后面识别的速度比较快，而且更好地进行猪只的计数。

图2示出了依据一种实施方式的识别单元的示意图。如图2所示，根据一种实施方式，识别单元60包括共同拥挤区识别单元601、可见光图像猪只拥挤区域识别单元602、红外图像猪只拥挤区域识别单元603。

共同拥挤区识别单元601可以采用Ic-CNN、SANet、CSRNet等来实现共同拥挤区密度图和猪群识别。在进行人群识别时，Ic-CNN从低分辨率密度图细化到高分辨率的密度图，其余的方法，是提取多尺度的人头特征信息。本发明将其专用到猪群识别。Ic-CNN、SANet、以及CSRNet均是本发明的卷积神经网络识别的示例，进行端对端识别，识别出指定猪轮廓的数目，所述指定猪轮廓为根据猪的前肢后后肢前之间的全部或部分而确定的轮廓。

根据一种实施方式，首先生成一张和原图一样大小的单通道图片，其中像素点全部取0，然后将有指定猪轮廓的点标记为1，接着，通过高斯滤波处理这张图，形成的图就是密度图。应该注意，与人群密度图的识别不同，猪的猪头部分往往温度不高，经过上面的融合，猪头部分的一些部分(例如耳部)被模糊，在这里的指定猪轮廓可选择前肢后后肢前之间的全部或部分。在一种实施例中，可以选取从前肢后第一距离到后肢前的第二距离的部分。该第一距离和第二距可以根据猪的品种、成长期和季节确定，从而选取与猪舍背景区分最大的部分。基于该部分而确定识别时的猪轮廓。

可见光图像猪只拥挤区域识别单元602对可见光图像中的共同拥挤区域之外的其他猪只拥挤区域进行识别和计数，根据一种实施方式，其首先确定红外图像中的与可见光图像中各猪只拥挤区域对应的红外图像对应区域，对各红外图像对应区域中的猪只进行识别和计数，作为该可见光图像中的各该猪只拥挤区域的猪只的数量。

类似地，红外图像猪只拥挤区域识别单元603对红外图像中的共同拥挤区域之外的其他猪只拥挤区域进行识别和计数，根据一种实施方式，其首先确定可见光图像中与各该猪只拥挤区域对应的可见光图像对应区域，对各该可见光图像对应区域中的猪只进行识别和计数，作为对应的该红外图像中的各对应猪只拥挤区域的猪只的数量。

根据一种实施方式，总计数单元70可以对可见光图像中猪只拥挤区域之外的区域进行识别，并利用可见光图像猪只拥挤区域识别单元602的识别结果以及共同拥挤区识别单元601的识别结果，来获得总的计数结果。根据一种实施方式，总计数单元70对可见光图像中猪只拥挤区域之外的区域进行识别时，可以采用基于猪脸识别的方法来进行计数。基于识别出的猪脸并进而进行计数，毫无疑问能够提高精度。

在该情况下，在生成融合图像的低频子带时，在Af_nature前增加系数β，所述β是猪脸识别算法的置信度与共同拥挤区识别单元601采用的卷积神经网络识别算法的置信度的比值。即

根据这种方法，由于融合时考虑了后面的算法的置信度，实现了某种程度的后反馈，因而使得共同拥挤区域的识别的准确性更高。

根据另一种实施方式，总计数单元70可以对红外图像中猪只拥挤区域之外的区域进行识别，并利用红外图像猪只拥挤区域识别单元603的识别结果以及共同拥挤区识别单元601的识别结果，来获得总的识别结果(相加即得)。总计数单元70对红外图像中猪只拥挤区域之外的区域进行识别时，可以采用基于猪轮廓识别算法的计数。

在该情况下，在生成融合图像的低频子带时，在Af_nature前增加系数β，所述β是猪轮廓识别算法的置信度与共同共同拥挤区识别单元601采用的卷积神经网络识别算法的置信度的比值。即

因而，从上面可以看出，红外图像猪只拥挤区域识别单元603和可见光图像猪只拥挤区域识别单元602并不需要同时具备。

根据一种实施方式，总计数单元70可以对红外图像中猪只拥挤区域之外的区域进行识别，并利用红外图像猪只拥挤区域识别单元603的识别结果以及共同拥挤区识别单元601的识别结果，获得第一结果，同时，总计数单元70可以对可见光图像中猪只拥挤区域之外的区域进行识别，并利用可见光图像猪只拥挤区域识别单元602的识别结果以及共同拥挤区识别单元601的识别结果，来获得第二计数结果，将第一结果与第二结果进行平均或加权平均来获得总的计数结果。

根据本发明的方法，首先切割出最难进行识别的共同拥挤区，对共同拥挤区，借鉴人群识别的CNN端对端神经网络识别方法，从而减少了整体的任务量，提高了整体的识别速度，另一方面，由于只针对共同拥挤区域进行识别，因而识别精度即便低于可见光图像或红外图像非拥挤部分的识别，其对整体识别精度的影响也相对较小，可以确保整体的精度提高。进一步，对于仅在红外图像中出现的猪只拥挤区域或仅在可见光图像中出现的猪只拥挤区域，则利用另外的图像中该区域并不拥挤的特性，来进行识别，同样可以提高识别的精度和效率。对可见光图像和红外图像的非拥挤部分的识别可以选取目前已知或以后获知的精度最好的识别算法。

猪只计数装置可以由包含存储装置和计算装置(CPU等)的计算机(或结合摄像机等)来实现。该计算机的存储器中存储有计算机软件，当所述软件执行时(包含经过过编译后执行的情况)可以使该计算机实现本发明的猪脸识别装置。

本发明的一个方面还包括该计算机软件和存储该计算机软件的介质。

应该注意，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例。基于本发明的构思，在本发明的权利要求范围内的任何所有其他实施例，都属于本发明保护的范围。

Claims (6)

1.一种猪只计数装置，其特征在于，包括：

图像获取单元，用于获得同一时间拍摄的同一区域的红外图像和可见光图像；

红外图像拥挤区域确定单元，确定红外图像中的猪只拥挤区域，该猪只拥挤区域是指多个猪只相互拥挤在一处的区域，并且是会导致红外图像猪轮廓识别算法的识别精度下降的区域；

可见光图像拥挤区域确定单元，确定可见光图像中的猪只拥挤区域，该猪只拥挤区域是指多个猪只相互拥挤在一处的区域，并且是会导致可见光图像猪脸识别算法的识别精度下降的区域；

共同拥挤区域确定单元，确定所述可见光图像和所述红外图像的共同拥挤区域，所述共同拥挤区域是指在所述可见光图像中和在所述红外图像中均被识别为猪只拥挤区域的猪只拥挤区域；

融合单元，将所述共同拥挤区域部分对应的可见光图像部分和红外图像部分相融合，获得融合图像；

识别单元，对所述融合图像进行卷积神经网络识别，确定共同拥挤区域猪只的个数；以及

总计数单元，根据所述识别单元的识别结果对猪群进行计数，

其中，所述识别单元包括共同拥挤区识别单元以及可见光图像猪只拥挤区域识别单元，

所述可见光图像猪只拥挤区域识别单元对所述可见光图像中的共同拥挤区域之外的其他猪只拥挤区域进行识别和计数，首先确定红外图像中的与各该猪只拥挤区域对应的红外图像对应区域，然后对各红外图像对应区域中的猪只进行识别和计数，作为该可见光图像中的各该猪只拥挤区域的猪只的数量，

其中，所述共同拥挤区识别单元采用Ic-CNN、SANet或CSRNet对所述共同拥挤区域进行识别，识别出指定猪轮廓的数目，所述指定猪轮廓为根据猪的前肢后后肢前之间的全部或部分而确定的轮廓，

其中，所述总计数单元对所述可见光图像中猪只拥挤区域之外的区域进行基于猪脸识别算法的计数，并利用所述可见光图像猪只拥挤区域识别单元的识别结果以及共同拥挤区识别单元的识别结果，来获得总的计数结果。

2.根据权利要求1所述的猪只计数装置，其特征在于，所述融合单元先分别对要融合所述可见光图像部分和所述红外图像部分进行NSCT变换，得到对应的低频子带系数和高频子带系数，然后根据融合规则进行低频子带系数融合和高频子带系数融合，之后通过NSCT反变换，获得融合图像，

其中，所述低频子带系数融合如下进行：

首先，获得红外图像部分和可见光图像部分的低频子带所共有的特征Af_comm：

Af_comm＝min(Af_inf,Af_nature)

其中Af_inf表示所述红外图像部分的低频子带的特征，Af_nature表示所述可见光图像部分的低频子带的特征；

然后，获得所述红外图像部分的特有特征：

Af_spcial＝Af_inf-Af_comm

接着，生成融合图像的低频子带Af_fuse，

σ(Af_inf)表示红外图像的区域方差，σ(Af_nature)表示自然图像的区域方差。

3.根据权利要求1所述的猪只计数装置，其特征在于，

所述融合单元先分别对要融合所述可见光图像部分和所述红外图像部分进行NSCT变换，得到对应的低频子带系数和高频子带系数，然后根据融合规则进行低频子带系数融合和高频子带系数融合，之后通过NSCT反变换，获得融合图像，

其中，所述低频子带系数融合如下进行：

首先，获得红外图像部分和可见光图像部分的低频子带所共有的特征Af_comm：

Af_comm＝min(Af_inf,Af_nature)

其中Af_inf表示红外图像部分的低频子带的特征，Af_nature表示可见光图像部分的低频子带的特征；

然后，获得红外图像部分的特有特征：

Af_spcial＝Af_inf-Af_comm

接着，生成融合图像的低频子带：

σ(Af_inf)表示红外图像的区域方差，σ(Af_nature)表示自然图像的区域方差，所述β是所述猪脸识别算法的置信度与所述共同拥挤区识别单元采用的卷积神经网络识别算法的置信度的比值。

4.根据权利要求1所述的猪只计数装置，其特征在于，

所述红外图像猪只拥挤区域识别单元对红外图像中的共同拥挤区域之外的其他猪只拥挤区域进行识别和计数，首先确定所述可见光图像中与各该猪只拥挤区域对应的可见光图像对应区域，然后对各该可见光图像对应区域中的猪只进行识别和计数，作为对应的该红外图像中的各对应猪只拥挤区域的猪只的数量。

5.根据权利要求4所述的猪只计数装置，其特征在于，所述总计数单元对所述红外图像中猪只拥挤区域之外的区域进行基于猪轮廓识别算法的计数，并利用红外图像猪只拥挤区域识别单元的识别结果以及共同拥挤区识别单元的识别结果，来获得总的识别结果。

6.根据权利要求5所述的猪只计数装置，其特征在于，所述融合单元先分别对要融合所述可见光图像部分和所述红外图像部分进行NSCT变换，得到对应的低频子带系数和高频子带系数，然后根据融合规则进行低频子带系数融合和高频子带系数融合，之后通过NSCT反变换，获得融合图像，

其中，所述低频子带系数融合如下进行：

首先，获得红外图像部分和可见光图像部分的低频子带所共有的特征Af_comm：

Af_comm＝min(Af_inf,Af_nature)

其中Af_inf表示红外图像部分的低频子带的特征，Af_nature表示可见光图像部分的低频子带的特征；

然后，获得红外图像部分的特有特征：

Af_spcial＝Af_inf-Af_comm

接着，生成融合图像的低频子带：

σ(Af_inf)表示红外图像的区域方差，σ(Af_nature)表示自然图像的区域方差，所述β是所述猪轮廓识别算法的置信度与所述共同拥挤区识别单元采用的卷积神经网络识别算法的置信度的比值。