CN118037814A - 颗粒肥料沉积分布模式自动检测系统及方法 - Google Patents

Abstract

本发明提供一种颗粒肥料沉积分布模式自动检测系统及方法，首先在检测区域铺设具有采样网格单元的撒肥校准垫，然后撒肥机通过检测区域，颗粒肥料抛洒至校准垫上，利用图像采集装置获取颗粒肥料分布图像并传输至图像处理核心，对颗粒肥料进行识别检测，输出每个采样网格单元内颗粒肥料的质量数据，进一步计算得出撒肥有效幅宽内颗粒肥料的分布变异系数、单位面积施肥量误差及横向沉积分布曲线，通过上述三指标结果分析颗粒肥料沉积分布模式，对撒肥机进行参数校准、性能测试及结构优化。本发明在保证检测精度的前提下具有更加智能化、成本更低、检测效率更高等优点，在极大程度上节省里人工成本及物料成本，检测精准快速，具有较强的推广价值。

Description

颗粒肥料沉积分布模式自动检测系统及方法

技术领域

本发明属于精准施肥控制技术领域，尤其涉及一种基于深度学习的离心式撒肥机颗粒肥料沉积分布模式自动检测系统及方法。

背景技术

在精准施肥技术中，颗粒肥料的正确撒施是保证农用化肥有效利用的重要措施。颗粒肥料经过撒肥装置释放后会在地面形成多样化的肥料沉积分布模式(DepositionDistribution Pattern,DDP)，通过分析肥料的沉积分布模式可以反映撒施范围、肥料分布均匀性以及沉积量等参数，从而分析撒肥装置是否将颗粒肥料正确撒施，并帮助工作人员对撒肥装置进行性能优化及参数校准，以形成最佳的肥料沉积分布模式。传统的颗粒肥料沉积分布模式检测方法为地面沉积分布检测法，该方法通常在检测场地内按照国际标准铺设采样收集盒，待撒肥装置在不同条件下经过采样区域后，统计各收集盒内的肥料质量，绘制肥料横向沉积分布曲线，可以反映出肥料分布的均匀性及有效幅宽。该方法是目前最常用的检测方法，但是其对检测场地及收集盒的布置都有较高的要求，撒肥完成后还需对每个收集盒进行称量及统计，因此该检测方法实施复杂、费时费力、人工成本及物料成本相对较高。针对上述技术问题，本发明设计了一种基于深度学习的离心式撒肥机颗粒肥料沉积分布模式自动检测系统及方法。

发明内容

针对现有技术中存在的不足，本发明提供了一种颗粒肥料沉积分布模式自动检测系统及方法，能够基于智能化、自动化的方式精准快速地实现对撒肥机进行参数校准、性能测试及结构优化。

本发明通过以下技术手段实现上述技术目的。

一种颗粒肥料沉积分布模式自动检测系统，包括撒肥校准垫、图像采集装置、PC端，撒肥校准垫铺设在图像采集装置下方检测区域内，撒肥校准垫上划分有多个采样网格单元，PC端设置在图像采集装置一侧，图像采集装置用于采集散落在撒肥校准垫上的肥料颗粒图像数据并传递至PC端进行数据分析处理；图像采集装置包括顶部装有电动导轨的行走架体，电动导轨上安装有工业相机，电动导轨用于控制工业相机沿横向及纵向移动。

进一步地，所述行走架体四周安装有LED照明光源，行走架体底部装有带刹车装置的行走轮。

进一步地，包括如下过程：

步骤1：在检测区域铺设撒肥校准垫，对撒肥校准垫上每个网格设定数字标签；

步骤2：离心式撒肥机启动，以相应的工作参数沿撒肥校准垫中心线通过检测区域，肥料颗粒被抛洒至撒肥校准垫上；

步骤3：利用工业相机对撒肥校准垫内的每个网格进行拍照，获取到的图像以网格数字标签命名，并传递至PC端进行分析处理；

步骤4：PC端利用实例分割网络模型F-TPP对图像内的肥料颗粒进行识别检测，输出每张图像内肥料颗粒的像素面积；

步骤5：PC端将肥料颗粒的像素面积输入至颗粒肥料质量拟合模型内，得出每个采样网格单元内肥料颗粒的质量数据，整合数据结果，将每张图像的命名编号、质量数据一一对应；

步骤6：PC端基于肥料颗粒质量数据，计算得出撒肥有效幅宽内肥料颗粒的分布变异系数、单位面积施肥量误差、平面直角坐标系下的横向沉积分布曲线，并通过显示设备进行可视化展示，供相关人员实时查看；

步骤7：基于步骤6得到的三个指标结果，分析撒肥机撒肥的均匀性及准确性，适当对撒肥机进行参数校准、性能测试及结构优化。

进一步地，所述步骤4的具体过程包括：

首先利用Swin Transformer网络作为特征提取网络提取肥料颗粒特征信息，SwinTransformer网络输出四层特征图，输出的四层特征图分别进入特征融合网络PANet中进行特征融合操作，得到特征图Feature Maps后再进入RPN模块，以K-Means++聚类算法得到多种锚框尺度为基准，生成适用于肥料颗粒的检测框；将Swin Transformer和PANet阶段生成的特征图像feature maps以及RPN模块生成的检测框proposal作为RoI Align模块的输入，将RPN模块生成的检测框对应到Swin Transformer和PANet阶段生成的特征图像上；最后进入预测层得到掩膜的分割结果，生成掩膜后即可输出掩膜的像素面积，每个掩膜的像素面积即对应肥料颗粒的像素面积。

进一步地，所述以K-Means++聚类算法得到多种锚框尺度的具体过程如下：

S4.1首先准备要聚类的肥料颗粒数据集，获取到数据集后标注出每张图像内的肥料颗粒，然后得到所有肥料颗粒标注的最小外接矩形框的宽度和高度，作为聚类算法的输入数据集X，X＝[x₁,x₂,...,x_n]，其中，x₁,x₂,...,x_n＝[(w₁,h₁),(w₂,h₂),…,(w_n,h_n)]，w表示最小外接矩形框的宽度，h表示最小外接矩形框的高度，下标n表示第n颗肥料颗粒；

S4.2：在数据集X中任取K个值作为初始聚类值C_j，K表示聚类个数；

S4.3：针对数据集X中的每个样本x_i，i＝1,2,…,n，计算其与每个初始聚类值C_j之间的iou值：

其中，iou指的是每个样本和每个初始聚类值之间的交集，inter_area为重叠面积，其计算方法为取样本x_i与初始聚类值C_j中较小的宽高数值作为重叠区域的宽高值，用此数值计算重叠面积inter_area；box_area为样本x_i的面积；cluster_area为初始聚类值C_j的面积；

S4.4：计算每个样本和每个初始聚类值之间的误差值P(n,K)，P(n,K)＝1-iou，对于每个样本都选取与他最小误差值的初始聚类值，并将样本分类给最小误差值的初始聚类值；

S4.5：重新选定聚类值，根据上一步已经确定每个初始聚类值中的样本，对于每个初始聚类值中的样本，计算得出它们的宽高平均值，将其作为新的聚类值；

S4.6：重复S 4.3～S4.5，直至聚类中心位置变化并满足收敛条件。

进一步地，所述步骤5中，颗粒肥料质量拟合模型如下：

y＝-4E-10x²+0.0002x-0.2952

式中，y表示肥料颗粒质量，E表示科学计数法中的指数，x表示肥料颗粒的像素面积。

进一步地，所述步骤6中，撒肥有效幅宽内肥料颗粒的分布变异系数C_v通过下式计算得到：

式中，M_D表示肥料颗粒质量标准差，表示肥料颗粒质量均值，X_i表示第i个网格采样单元肥料颗粒质量，m表示网格采样单元数量。

进一步地，所述步骤6中，单位面积施肥量误差γ为：

式中，M表示试验区域内肥料颗粒总质量，S表示试验区域面积，Q表示理论目标施肥量。

本发明具有如下有益效果：

本发明基于深度学习提出一种离心式撒肥机颗粒肥料沉积分布模式自动检测方法，该检测方法使用前需要在检测区域铺设具有多个采样网格单元的撒肥校准垫，待撒肥机通过检测区域后颗粒肥料被抛洒至校准垫上，然后利用图像采集装置获取颗粒肥料分布图像，将获取到的图像传输至图像处理核心，对颗粒肥料进行识别检测，输出每个采样网格单元内颗粒肥料的质量数据，利用质量数据计算得出撒肥有效幅宽内颗粒肥料的分布变异系数、单位面积施肥量误差以及平面直角坐标系下的横向沉积分布曲线，通过分析上述三指标的结果分析颗粒肥料的沉积分布模式，进而对撒肥机进行参数校准、性能测试及结构优化。本发明提供的检测方法在保证检测精度的前提下具有更加智能化、成本更低、检测效率更高等优点，相较于传统的检测方法，本发明利用深度学习，图像处理的方式可以直接得出检测区域内颗粒肥料的质量，利用质量数据可以直接得出评估撒肥性能的参数，进而评估撒肥机的性能。本发明提出的方法在极大程度上节省里人工成本及物料成本，检测精准快速，具有较强的推广价值。

附图说明

图1为本发明所述颗粒肥料沉积分布模式自动检测方法流程示意图。

图2为本发明所述撒肥校准垫示意图；

图3为本发明所述图像采集装置结构示意图；

图4为本发明所述F-TPP网络模型示意图；

图5为本发明所述肥料颗粒识别检测效果示意图；

图6为本发明所述Swin Transformer网络示意图；

图7为本发明所述特征融合网络PANet示意图；

图8为本发明所述RPN模块示意图。

图9为本发明所述RoI Align模块示意图；

图10为识别效果对比示意图。

图中：1-纵向导轨；2-横向导轨；3-行走轮；4-PC端；5-工业相机；6-LED照明光源。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

本发明所述颗粒肥料沉积分布模式自动检测系统，包括图像采集装置、PC端4、铺设在检测区域的撒肥校准垫；如图2、3所示，撒肥校准垫上划分有若干采样网格单元，PC端4设置在图像采集装置一侧放置板上，图像采集装置高1.3m、长2m，用于采集散落在撒肥校准垫上的肥料颗粒图像数据并传递至PC端4进行数据分析处理。

如图3至5所示，图像采集装置包括行走架体、行走轮3、LED照明光源6、电动导轨、工业相机5。行走架体底部安装有带刹车装置的行走轮3以便自由移动；行走架体四周安装有LED照明光源6以应对光照条件不足对肥料图像分割精度的影响；为提高图像采集效率，行走架体顶部装有电动导轨，电动导轨包括横向导轨2和纵向导轨1，工业相机5通过相机支架安装在电动导轨的横向导轨2上，通过电动导轨可以控制工业相机5沿横向及纵向移动；本实施例中的电动导轨5选用直线模组RXP45及60步进电机，为提高图像的像素质量并适合肥料颗粒这种微小目标图像的拍摄，工业相机5选用Sony IMX226高清相机，该相机最高分辨率可达3280×2464，适用于微小颗粒肥料图像的拍摄。

PC端4为系统控制终端及处理核心，用于实现对图像采集装置、电动导轨及LED照明光源6的综合控制功能，并对颗粒肥料图像进行分割检测、数据处理、数据存储，因此本实施例中PC端4选用的处理器为Intel(R)Core(TM)i5-8400H，主频2.80GHz，内存为16GB。

参照图1，本发明所述颗粒肥料沉积分布模式自动检测方法包括如下过程：

步骤1：在检测区域铺设具有若干采样网格单元的撒肥校准垫，为模仿田间地面的粗糙及复杂程度并减少肥料颗粒经撒施后过度弹跳而产生的试验误差，使用人造草坪制作撒肥校准垫，并且，绿色的人造草坪还可以与肥料颗粒有明显的区分，从而提高后续图像分割的精度；如图2所示，撒肥校准垫内按照15×10的矩阵划定150个采样网格单元，每个网格内边大小为50.8cm×40.6cm，网格行间距0.8m，列间距1.5m，并对每个网格设定数字标签。

步骤2：离心式撒肥机启动，其以一定的工作参数沿撒肥校准垫中心线通过检测区域，肥料颗粒通过离心式撒肥机被抛洒至撒肥校准垫上，其中，离心式撒肥机工作参数包括排肥流量、圆盘转速、前进速度。

步骤3：利用图像采集装置中的工业相机5对撒肥校准垫内的每个网格进行拍照，获取到的图像以网格编号(即网格数字标签)命名，并传递至系统控制终端及处理核心进行分析处理。

步骤4：系统控制终端及处理核心利用实例分割网络模型(Fertilizer-SwinTransformer PANet Partition，F-TPP)对图像内的肥料颗粒进行识别检测(识别检测效果图如图5所示)，输出每张图像内肥料颗粒的像素面积；

其中，如图4所示，利用F-TPP网络模型识别检测的过程为：首先利用SwinTransformer作为特征提取网络提取更加丰富的肥料颗粒特征信息，利用特征融合网络PANet融合不同尺度的特征，提高浅层信息在深层网络中的流动效率，提高肥料颗粒特征提取的精度，减少相似特征背景噪声的干扰；再将提取到的特征图输入至RPN模块，利用改进后的Anchor生成尺度生成更容易匹配到肥料颗粒的Anchor；然后利用RoI Align将由RPN生成检测框对应到提取的特征图像上去；最后对生成的特征图像进行分类、回归计算及生成颗粒肥料的掩膜；生成掩膜后即可输出掩膜的像素面积，每个掩膜的像素面积即对应肥料颗粒的像素面积。

Swin Transformer网络输出四层特征图，尺寸大小分别为： 通道数C为96，H、W分别表示特征图的高和宽；输出的四层特征图分别进入特征融合网络PANet中进行特征融合操作，得到特征图Feature Maps后再进入RPN模块，以K-Means++聚类算法得到5种锚框尺度为基准，生成适用于肥料颗粒的检测框；将Swin Transformer和PANet阶段生成的特征图像featuremaps以及RPN模块生成的检测框proposal作为RoI Align模块的输入，将RPN模块生成的检测框对应到Swin Transformer和PANet阶段生成的特征图像上；最后进入预测层Head得到掩膜的分割结果。

Swin Transformer网络如图6所示，特征融合网络PANet如图7所示，RPN模块如图8所示，RoI Align模块如图9所示。

K-Means++聚类算法具体为：

首先准备要聚类的肥料颗粒数据集，获取到数据集后需要标注出每张图像内的肥料颗粒，然后得到所有肥料颗粒标注的最小外接矩形框的宽度和高度，作为聚类算法的输入数据集X，X＝[x₁,x₂,...,x_n]，其中，x₁,x₂,...,x_n＝[(w₁,h₁),(w₂,h₂),…,(w_n,h_n)]，w表示最小外接矩形框的宽度，h表示最小外接矩形框的高度，下标n表示第n颗肥料颗粒；取聚类个数K＝5个，K-Means++聚类算法的具体步骤如下：

S4.1：在数据集X中任取K个值作为初始聚类值C_j；

S4.2：针对数据集X中的每个样本x_i(i＝1,2,…,n)，计算其与每个初始聚类值C_j之间的iou值：

其中，iou指的是每个样本和每个初始聚类值之间的交集，inter_area为重叠面积，其计算方法为取样本x_i与初始聚类值C_j中较小的宽高数值作为重叠区域的宽高值，用此数值计算重叠面积inter_area；box_area为样本x_i的面积；cluster_area为初始聚类值C_j的面积；

S4.3：经过前一步计算可以得出每个样本和每个初始聚类值之间的误差值，将误差值设为P(n,K)，P(n,K)＝[P(i,1)，P(i,2)，…，P(i,K)]，P(n,K)的计算公式为：P(n,K)＝1-iou，对于每个样本都选取与他最小误差值的初始聚类值，并将样本分类给最小误差值的初始聚类值；

S4.4：重新选定聚类值，根据上一步已经确定每个初始聚类值中都有哪些样本，对于每个初始聚类值中的样本，再计算得出它们的宽高平均值，将其作为新的聚类值；

S4.5：重复S 4.2～S4.4，直至聚类中心位置变化并满足收敛条件；

通过K-Means++聚类算法对肥料颗粒数据集进行聚类迭代后共生成5种锚框尺度(322，962，1602，2202，3402)和3种长宽比(0.4，1.0，2.2)。

步骤5：系统控制终端及处理核心进一步将步骤4处理得到的肥料颗粒的像素面积数据输入至颗粒肥料质量拟合模型内，得出每个采样网格单元内肥料颗粒的质量数据，整合数据结果，将每张图像的命名编号、质量数据一一对应；

其中，颗粒肥料像素面积与质量的相关性拟合数学模型(即颗粒肥料质量拟合模型)为：

y＝-4E-10x²+0.0002x-0.2952

式中，y表示肥料颗粒质量，E表示科学计数法中的指数，x表示肥料颗粒的像素面积；

步骤6：系统控制终端及处理核心基于步骤5得到的肥料颗粒质量数据，进一步计算得出撒肥有效幅宽内肥料颗粒的分布变异系数、单位面积施肥量误差、平面直角坐标系下的横向沉积分布曲线，并通过显示设备进行可视化展示，供相关人员实时查看；

其中，撒肥有效幅宽内肥料颗粒的分布变异系数C_v通过下式计算得到：

式中，M_D表示肥料颗粒质量标准差，表示肥料颗粒质量均值，X_i表示第i个网格采样单元肥料颗粒质量，m表示网格采样单元数量；

撒肥有效幅宽内单位面积施肥量误差γ为：

式中，M表示试验区域内肥料颗粒总质量，S表示试验区域面积，Q表示理论目标施肥量。

步骤7：基于步骤6得到的三个指标结果，分析撒肥机撒肥的均匀性及准确性，适当对撒肥机进行参数校准、性能测试及结构优化。

图10为本实施例使用的F-TPP网络模型识别检测效果与传统的Mask R-CNN网络模型识别检测效果对比示意图，可以明显看出，F-TPP网络模型对颗粒肥料的识别检测效果明显优于Mask R-CNN网络模型；图10中，(a)、(b)、(c)分别表示光照较弱、光照较强、光影干扰三种不同的环境条件。

所述实施例中提及的RPN、RoI Align、Anchor都是F-TPP网络模型中的模块，其中，RPN(Region Proposal Network)是用于提取候选框的网络，RoI Align(Region ofInterest Align)是一种用于处理感兴趣区域(Region of Interest，RoI)的操作，Anchor表示锚框，是一种用于定义目标位置和尺寸的预定义框或边界框。所述实施例中图像采集装置中的电动导轨等部件结构的安装连接及移动控制原理均采用的是现有技术，且也并非为本发明保护重点，因此不再加以赘述。所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (8)

1.一种颗粒肥料沉积分布模式自动检测系统，其特征在于，包括撒肥校准垫、图像采集装置、PC端(4)，撒肥校准垫铺设在图像采集装置下方检测区域内，撒肥校准垫上划分有多个采样网格单元，PC端(4)设置在图像采集装置一侧，图像采集装置用于采集散落在撒肥校准垫上的肥料颗粒图像数据并传递至PC端(4)进行数据分析处理；图像采集装置包括顶部装有电动导轨的行走架体，电动导轨上安装有工业相机(5)，电动导轨用于控制工业相机(5)沿横向及纵向移动。

2.根据权利要求1所述的颗粒肥料沉积分布模式自动检测系统，其特征在于，所述行走架体四周安装有LED照明光源(6)，行走架体底部装有带刹车装置的行走轮(3)。

3.利用权利要求1所述颗粒肥料沉积分布模式自动检测系统的颗粒肥料沉积分布模式自动检测方法，其特征在于，包括如下过程：

步骤1：在检测区域铺设撒肥校准垫，对撒肥校准垫上每个网格设定数字标签；

步骤2：离心式撒肥机启动，以相应的工作参数沿撒肥校准垫中心线通过检测区域，肥料颗粒被抛洒至撒肥校准垫上；

步骤3：利用工业相机(5)对撒肥校准垫内的每个网格进行拍照，获取到的图像以网格数字标签命名，并传递至PC端(4)进行分析处理；

步骤4：PC端(4)利用实例分割网络模型F-TPP对图像内的肥料颗粒进行识别检测，输出每张图像内肥料颗粒的像素面积；

步骤5：PC端(4)将肥料颗粒的像素面积输入至颗粒肥料质量拟合模型内，得出每个采样网格单元内肥料颗粒的质量数据，整合数据结果，将每张图像的命名编号、质量数据一一对应；

步骤6：PC端(4)基于肥料颗粒质量数据，计算得出撒肥有效幅宽内肥料颗粒的分布变异系数、单位面积施肥量误差、平面直角坐标系下的横向沉积分布曲线，并通过显示设备进行可视化展示，供相关人员实时查看；

步骤7：基于步骤6得到的三个指标结果，分析撒肥机撒肥的均匀性及准确性，适当对撒肥机进行参数校准、性能测试及结构优化。

4.根据权利要求3所述的颗粒肥料沉积分布模式自动检测方法，其特征在于，所述步骤4的具体过程包括：

首先利用Swin Transformer网络作为特征提取网络提取肥料颗粒特征信息，SwinTransformer网络输出四层特征图，输出的四层特征图分别进入特征融合网络PANet中进行特征融合操作，得到特征图Feature Maps后再进入RPN模块，以K-Means++聚类算法得到多种锚框尺度为基准，生成适用于肥料颗粒的检测框；将Swin Transformer和PANet阶段生成的特征图像feature maps以及RPN模块生成的检测框proposal作为RoI Align模块的输入，将RPN模块生成的检测框对应到Swin Transformer和PANet阶段生成的特征图像上；最后进入预测层得到掩膜的分割结果，生成掩膜后即可输出掩膜的像素面积，每个掩膜的像素面积即对应肥料颗粒的像素面积。

5.根据权利要求4所述的颗粒肥料沉积分布模式自动检测方法，其特征在于，所述以K-Means++聚类算法得到多种锚框尺度的具体过程如下：

S4.1首先准备要聚类的肥料颗粒数据集，获取到数据集后标注出每张图像内的肥料颗粒，然后得到所有肥料颗粒标注的最小外接矩形框的宽度和高度，作为聚类算法的输入数据集X，X＝[x₁,x₂,...,x_n]，其中，x₁,x₂,...,x_n＝[(w₁,h₁),(w₂,h₂),…,(w_n,h_n)]，w、h分别表示最小外接矩形框的宽度、高度，下标n表示第n颗肥料颗粒；

S4.2：在数据集X中任取K个值作为初始聚类值C_j，K表示聚类个数；

S4.3：针对数据集X中的每个样本x_i，i＝1,2,…,n，计算其与每个初始聚类值C_j之间的iou值：

其中，iou指的是每个样本和每个初始聚类值之间的交集，inter_area为重叠面积，其计算方法为取样本x_i与初始聚类值C_j中较小的宽高数值作为重叠区域的宽高值，用此数值计算重叠面积inter_area；box_area为样本x_i的面积；cluster_area为初始聚类值C_j的面积；

S4.4：计算每个样本和每个初始聚类值之间的误差值P(n,K)，P(n,K)＝1-iou，对于每个样本都选取与之最小误差值的初始聚类值，并将样本分类给最小误差值的初始聚类值；

S4.5：重新选定聚类值，根据上一步已经确定每个初始聚类值中的样本，对于每个初始聚类值中的样本，计算得出它们的宽高平均值，将其作为新的聚类值；

S4.6：重复S 4.3～S4.5，直至聚类中心位置变化并满足收敛条件。

6.根据权利要求3所述的颗粒肥料沉积分布模式自动检测方法，其特征在于，所述步骤5中，颗粒肥料质量拟合模型如下：

y＝-4E-10x²+0.0002x-0.2952

式中，y表示肥料颗粒质量，E表示科学计数法中的指数，x表示肥料颗粒的像素面积。

7.根据权利要求3所述的颗粒肥料沉积分布模式自动检测方法，其特征在于，所述步骤6中，撒肥有效幅宽内肥料颗粒的分布变异系数C_v通过下式计算得到：

式中，M_D表示肥料颗粒质量标准差，表示肥料颗粒质量均值，X_i表示第i个网格采样单元肥料颗粒质量，m表示网格采样单元数量。

8.根据权利要求3所述的颗粒肥料沉积分布模式自动检测方法，其特征在于，所述步骤6中，单位面积施肥量误差γ为：

式中，M表示试验区域内肥料颗粒总质量，S表示试验区域面积，Q表示理论目标施肥量。