CN118097246A - 一种基于嵌入式平台的茶园病虫害智能检测方法 - Google Patents
一种基于嵌入式平台的茶园病虫害智能检测方法 Download PDFInfo
- Publication number
- CN118097246A CN118097246A CN202410197979.XA CN202410197979A CN118097246A CN 118097246 A CN118097246 A CN 118097246A CN 202410197979 A CN202410197979 A CN 202410197979A CN 118097246 A CN118097246 A CN 118097246A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- area
- frame
- pest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于嵌入式平台的茶园病虫害智能检测方法,属于农业技术中的图像处理领域。本发明基于YOLOv3模型的基础上,针对茶园病虫害目标改进了网络特征提取结构,优化了训练过程,通过量化部署的方式,在嵌入式推理设备上部署实现了目标检测模型。本发明具有在茶园应用场景下不依赖于网络传输和较多人工干预的前提下,实时地获取无人机图传信号并完成病虫害目标检测的边缘推理功能,其中,多类别病虫害检测精度可达0.7以上,检测帧率可达20fps以上,满足茶园场景智能检测方案的需求。
Description
技术领域
本发明属于农业技术中的图像处理领域,具体涉及一种嵌入式平台对茶园病虫害采用边缘推理方法进行检测的方法。
背景技术
我国作为农业大国,茶树是一种重要经济作物,在全球范围内需求量不断增加。然而在茶叶生产过程中,茶树病虫害对以叶片为采用部位的茶叶产量和品质构成严重威胁。目前全球范围内茶树病虫害有一千余种,严重时造成茶叶产量损失可高达43%。
我国目前对于植物病虫害的检测主要靠人力识别,虽然准确性较高,但是效率低下并且难以应对现实中大面积的病虫害爆发情况。近年来,随着我国农业信息化的发展,光谱遥感、图像处理和机器学习等技术成为植物监测的有效工具,并且已经在植物病虫害监测、产量估计和品质检测方面得到了广泛的研究与应用,有效地改善了我国传统的农业生产管理策略。
但是现有的基于深度学习的茶叶病虫害智能检测方法往往是在茶园采集到局部茶叶病斑图像后传至云端平台上进行在线推理,后续再将分类结果发送至仓库终端,此类方案需要人工进行大量图像采集工作,并且检测方案不具备实时性。在实际茶园场景中,存在地形复杂、作物面积广阔、设备传输具有延时性等难题,通常无法对整片作物区进行实时的智能检测。
发明内容
为解决现有技术中检测实时性差覆盖率低的问题,本发明采用实时图像采集,然后分析采集的图像从而得到检测结果。
本发明提供了一种基于嵌入式平台的茶园病虫害智能检测方法,该方法包括:
步骤1:无人机按照设定路径对茶园进行全方位巡检,机载摄像头对茶叶作物区域进行鸟瞰图像采集;
步骤2:频流预处理,对无人机采集的茶树作物区图像进行逐帧提取,并依次进行图像格式转换、数据清洗、影像拼接、影像矫正和影像裁剪得到预处理图像;
步骤3:采用深度学习目标检测模型对图像区域中病虫害集中区域进行监测,满足判定响应条件时,返回此时无人机位置;
步骤4:通过图传通信协议将检测结果发送至终端设备供农场主进行标定病虫害片区,采用干预遥控的方式操控无人机进行目标病虫害区域逼近;
步骤5:机载摄像头对局部病虫害图片进行高清图片采集,传输至嵌入式推理设备进行多种病虫害类型的分类,发送至图传终端得到具体的病虫害类别,进而针对病虫害类型和位置信息进行辅助干预。
进一步的,所述步骤1的具体方法为:
对该茶园进行地理信息建模,存储至无人机云平台中,无人机按照规划的最优路径进行全面积覆盖巡检,机载摄像头对茶叶作物区域进行鸟瞰图像采集。
进一步的,所述步骤2的具体方法为:
S2.1:图像格式转换;
采用图像处理算法,借助Opencv库将从机载摄像头获取的原始图像数据进行格式转换,以适应后续处理中RGB565格式的要求;将图像进行色彩空间转换、调整分辨率和色深;
S2.2:数据清洗;
在图像格式转换后,对图像进行数据清洗,去除噪声、异常值和其他干扰,确保后续处理步骤基于高质量的输入数据;使用中值滤波器降低图像中的噪声,提高后续目标检测的准确性,利用阈值处理技术剔除图像中的异常像素值,确保图像数据的一致性和可靠性;
S2.3:图像拼接;
拼接数据清洗后的图像,形成一个连续的目标区域鸟瞰图,实现无人机工作区域尽可能对茶园作物区进行全面覆盖;基于特征点匹配的图像拼接,确保无缝连接不同图像帧,拼接的重叠区域采用透明度融合方法,使拼接后的图像过渡自然;
S2.4:图像裁剪;
通过裁剪图像,获取感兴趣的局部茶园作物区域,减小后续处理步骤的计算负担,提高深度学习模型的运行效率;根据后续的目标检测模型,确定茶园作物区域的边界框,根据边界框信息,对图像进行裁剪到网络模型输入的数据维度;
S3:建立基于YOLOv3算法的病虫害区域检测模型,从预处理图像中提出目标病虫害区域,通过算法得出当前区域属于患病植株区域。
进一步的,所述步骤3中深度学习目标检测模型的具体部署方法为:
S3.1:所述深度学习目标检测模型为基于YOLOv3算法的病虫害区域检测模型,将采集的自建鸟瞰图片数据制作为PascalVOC格式的数据集,并按照8:2进行分割为训练集和测试集,对每张图片利用LabelImg工具进行大面积病虫害区域的矩形框人工标注;
S3.2:在深度学习目标检测模型训练的过程中,为提高模型的鲁棒性和泛化能力,对数据集进行扩充;数据集扩充包括:随机旋转、翻转、缩放,使模型更好地适应不同场景和光照条件;
S3.3:基于YOLOv3算法的病虫害区域检测模型在图像数据输入后首先进行图像特征提取;特征提取的过程依次包括:输入图像预处理,输入的图像首先被调整为网络的输入尺寸;卷积层,采用卷积核并使用ReLU激活函数来引入非线性,多个卷积层的堆叠逐渐学习到图像的低级和高级特征;残差连接,间隔地将当前卷积层之前层的输出与后续层的输出相加,防止梯度消失;多尺度特征提取,在网络中间和底部添加额外的卷积层用来检测不同尺寸的目标,获得多次采样后的特征图;其中较大尺寸的特征图用来检测大尺寸的目标,较小尺寸的特征图用来检测小尺寸的目标;通过划分大小尺度特征层为多部分,模型能更好地捕捉图像中的局部和全局信息,提高病虫害区域的检测效果;在256、512、1024的尺幅特征图中进行特征提取;
S3.4:在特征融合模块中,采用改进后的特征金字塔结构,首先,原始的卷积神经网络的顶层特征被下采样,得到较低分辨率但语义信息丰富的特征图;同时,从底层到高层的卷积特征被上采样,获取高分辨率但语义信息相对较少的特征图;然后将自顶向下的特征图与自底向上的特征图进行连接,获得具有丰富语义信息和高分辨率的特征金字塔;最后,在特征金字塔的每个层次上,进行特征融合操作,将不同层次的特征图进行组合,获得最终的融合特征图;
S3.5:在图像中生成多个候选框来尝试检测目标;
通过在图像的每个位置应用多个不同尺度和宽高比的锚点,生成多个候选框;对于每个锚点生成的候选框,将其标记为目标或背景,比较候选框与真实目标框的重叠程度(IoU);设置不同候选框的尺度和宽高比,覆盖不同大小和形状的目标,对默认的候选框大小进行调整;设定候选框尺度和宽高比阈值,丢弃大于阈值的候选框,并添加小于阈值的候选框,设置改进后的候选框尺寸为4、8、16,更好地匹配实际病虫害目标的尺度,提高模型对于小目标的检测能力;
S3.6:选择Focal Loss作为分类损失函数,边界框回归损失为GIoU Loss,分类损失与边界框回归损失的权重都为1,其中GIoU的计算公式如下:
其中,C为最小闭合凸面面积,A为预测框,B为真实框,IoU为预测狂与真实框面积的交集比上其并集,采用CIoU方法优化深度学习目标检测模型的训练过程,采用CIoU边界框回归损失函数兼顾检测框的重叠面积以及检测框中心点的距离,增加检测框和真实目标框的长宽比一致性的衡量参数,使模型更倾向于重叠区域密集的方向优化,CIoU损失的计算公式:
式中,表示检测框和真实框两个中心点之间的欧氏距离,c表示最小闭合凸面的对角线距离,b表示预测框的中心点,表示真实框的中心点,v是衡量检测框和真实框之间的比例是否一致的参数,是平衡比例参数,
其中,表示真实框的宽度,表示真实框的高度,表示预测框的宽度,表示预测框的高度;
S3.7:将训练完成后的深度学习目标检测模型保存为PyTorch格式下的.pth文件,采用昇腾ACL转换工具将模型部署至嵌入式推理设备。
进一步的,所述步骤5的具体方法为:
S5.1:嵌入式设备与地面飞控终端通信,采用无线通信技术,建立无人机与地面站之间的数据链路;通过通信连接,嵌入式设备将患病植株区域的定位信息传送至地面飞控终端;
S5.2:信息传输与控制,地面飞控终端接收到患病植株区域的定位信息后,根据收到的信息,控制无人机逐一飞至目标病虫害植株区域,采用机载摄像头对细节叶片进行图像采集。
进一步的,所述步骤5中病虫害分类的具体方法为:
采用病虫害分类检测模型对病虫害进行分类,病虫害分类检测模型的训练和部署方法包括以下步骤:
S6.1:采用PlantVillage数据集,其中包含常见的茶叶病虫害类别:藻类叶斑病、斑枯病、山茶花顶枯病和溃疡病、山茶花枯萎病、马毛枯、茯苓根病(红根病)、肉桂疫霉(根腐病);
S6.2:将数据集按照7:2:1的比例随机划分训练集、验证集、测试集,对其进行放缩、采用随机翻转进行数据增强,并对增强后的数据进行格式转化和归一化处理;
S6.3:加载预训练的Inception v3模型,冻结内部通用的网络结构,对网络结构进行修改以适应本文的病虫害分类任务;
S6.4:引入深度可分离卷积,对每个输入通道分别使用不同的滤波器进行特征提取,再对每个输出通道的深度卷积结果进行逐点卷积,进而合并通道,采用多个1×1卷积将特征图中的值进行组合;
S6.5:最终,通过池化层和全连接层将特征映射转换为茶树病虫害的概率分布,采用softmax函数进行多类别分类;
S6.6:网络迭代次数预设100次,每次迭代的批处理数量为100张,经过20次批处理完成一次训练,训练过程中采用交叉熵损失函数,优化器选择随机梯度下降算法,模型的部署同S3.7。
进一步的,所述以S3.7中所述深度学习目标检测模型部署与转化包括以下步骤:
S3.7.1:将训练完成的模型保存为PyTorch格式的.pth文件;PyTorch深度学习框架所使用的标准模型保存格式,缺少模型的结构信息,.pth文件无法进行模型的部署和推理,因此首先转换为.onnx文件;
S3.7.2:采用昇腾ACL转换工具,ACL表示Ascend Compute Library;在部署前,在本地环境中安装昇腾ACL转换工具,使用昇腾ACL转换工具,对保存为.pth文件的PyTorch模型进行转换;此过程包括模型结构的调整以适应硬件架构,以及权重参数的转换和优化,完成模型转换后,生成适用于嵌入式推理设备的模型文件,包含模型结构和参数的特定格式文件;
S3.7.3:在嵌入式推理设备上进行模型推理需要使用到NPU,而不同的推理框架所用的算子和底层实现有所不同,采用ATC工具进行智能图像预处理的配置,将.onnx模型转换为开发板所支持的.om文件;
S3.7.4:采用CANN提供的C++接口程序以及封装库,编写推理代码,生成可执行文件,利用工具库来解析调用。
本发明基于YOLOv3模型的基础上,针对茶园病虫害目标改进了网络特征提取结构,优化了训练过程,通过量化部署的方式,在嵌入式推理设备上部署实现了目标检测模型。本发明具有在茶园应用场景下不依赖于网络传输和较多人工干预的前提下,实时地获取无人机图传信号并完成病虫害目标检测的边缘推理功能,其中,多类别病虫害检测精度可达0.7以上,检测帧率可达20fps以上,满足茶园场景智能检测方案的需求。
附图说明
图1为茶园工作场景示意图。
图2为系统整体的工作流程图。
图3为模型转换流程图。
图4为算法模型训练以及部署流程图。
具体实施方式
一种基于嵌入式平台的茶园病虫害智能检测系统,该系统包括以下几个模块:高清相机,用于获取目标区域的图像;
视频流获取模块,用于将相机拍摄的实时视频提取为模型输入所需要的图片;
区域病虫害检测模块,用于在高空飞行状态下检测农田中病虫害集中的片区;
信息交互模块,用于获取无人机端模型推理结果与地面控制终端可视化交互;
局部病虫害分类模块,用于将低飞状态下检测局部病虫害叶片对其病虫害类别进行分类;
飞行控制模块,用于控制无人机按照既定任务完成全区域巡检和定点飞行;
边缘推理模块,用于部署边缘端模型并实现在户外场景随时采集随时推理的任务需求;
可视化终端模块,用于展示图传画面和对应的模型推理输出结果;
所述区域病虫害检测模块包括:视频抽帧子模块、图像校正子模块、图像预处理子模块、特征提取子模块、特征融合子模块、算子模块、预测框展示子模块、参数调整子模块;
现在将参照附图说明来详细描述本发明的实施例的技术细节。
实施例1:图1为本发明系统在茶园场景工作的示意图,如图1所示,包括:
101,茶园部分,茶园特征呈现为阶梯状分布,其中茶树的种植情况以条列状为主,几何特征明显,在巡检过程中便于进行路径规划;同时,条状分布的茶树作物区在无人机获取图像时便于实现全覆盖的效果;
102,无人机平台部分,采用大疆无人机平台,嵌入式推理设备采用HUAWEI Atlas200IDK,适配高帧率摄像头,按照图中示意的蓝色区域进行对茶树作物的图像采集;
103,无人机飞控终端,对无人机的状态信号进行收发,通过图传模块实时将无人机画面进行可视化,展示模型推理结果;
104,地面仓储端,用户根据检测系统的结果判断病虫害类别,并实施人工干预和精准防治;
实施例2:图2为本发明系统整体工作流程图,如图2所示,包括:
201,本系统包括无人机端完成自主路径巡检任务、嵌入式推理设备完成模型的实施推理、地面端完成图传结果可视化并对检测结果进行人工干预;
202,对于无人机按照路径规划进行巡航时,第一阶段采用高飞模式,采集大范围的茶树作物区域,并将图像数据送往Atlas 200IDK进行该区域是否患病虫害的检测,同时在飞控平台进行实时的区域坐标传输;在第二阶段采用人工干预的低飞模式,采集病虫害区域的局部叶片图像,进行病虫害类型的分类,在图传平台进行结果可视化;
203,模型推理过程,首先获取到摄像头传输的图像数据,在Atlas 200IDK端进行视频帧的提取,对提取的视频数据进行Opencv图像格式转化后送至网络进行推理;第一阶段基于yolov3网络的病虫害区域目标检测,模型通过图像预处理、特征提取、特征融合等网络结构操作判断出当前帧图像区域中是否有病虫害情况的发生,并将结果发送至飞控终端,反馈茶园中出现病虫害情况的区域位置信息;第二阶段基于Xception网络的病虫害类别分类预测,模型通过图像预处理、特征提取、多重深度可分离卷积、特征映射分类等网络结构操作对采集到的局部病虫害叶片细节图进行分类,得出对应的病虫害类别,并将结果发送至地面端进行可视化,用户可根据具体的病虫害类别采取精准施药防治;
204,对于地面端接受图传结果进行可视化,采用可视化平台进行实时展示模型的推理结果,包括推理得出第一阶段的病虫害区域初筛的位置信息和第二阶段局部患病叶片病虫害分类结果。
实施例3:图3为模型转换流程图,如图3所示,包括:
301,在用户本地端进行开发和编译工作,基于Ubuntu x86操作系统安装CANN框架;
302,配置ATC转换所需要的AIPP工具包,在完成模型的训练工作后,将模型作为输入,利用ATC工具进行.onnx模型转换为.om格式文件;
303,在Atlas 200IDK上进行离线推理测试,基于板载Ubuntu Aarch64操作系统,借助CANN框架的Ascend-cann-toolkit、硬件包firmware、driver等模块,开展模型离线推理测试工作,验证在机载平台的正常运行。
实施例4:图4为本发明系统算法模型训练及部署流程图,如图4所示,包括:
401,模型的训练过程,针对病虫害区域检测模型,采集茶园鸟瞰图像制作PascalVOC格式数据集,采用yolov3网络模型,更改特征图维度以适合病虫害集中茶树的大小目标,基于C-IOU的loss函数进行多轮训练对比;对于病虫害类别分类模型采用公开数据集PlantVillage,采用Xception网络模型,通过多个深度可分离卷积模块,减少参数量,增强通道间的空间关系;
402,模型在Atlas 200IDK上的部署和运行。经过ATC工具完成模型转换与部署,通过接口获取图像数据,依次进行模型预处理、模型调用、模型后处理等流程完成推理,并在可视化平台进行展示。
Claims (7)
1.一种基于嵌入式平台的茶园病虫害智能检测方法,该方法包括:
步骤1:无人机按照设定路径对茶园进行全方位巡检,机载摄像头对茶叶作物区域进行鸟瞰图像采集;
步骤2:频流预处理,对无人机采集的茶树作物区图像进行逐帧提取,并依次进行图像格式转换、数据清洗、影像拼接、影像矫正和影像裁剪得到预处理图像;
步骤3:采用深度学习目标检测模型对图像区域中病虫害集中区域进行监测,满足判定响应条件时,返回此时无人机位置;
步骤4:通过图传通信协议将检测结果发送至终端设备供农场主进行标定病虫害片区,采用干预遥控的方式操控无人机进行目标病虫害区域逼近;
步骤5:机载摄像头对局部病虫害图片进行高清图片采集,传输至嵌入式推理设备进行多种病虫害类型的分类,发送至图传终端得到具体的病虫害类别,进而针对病虫害类型和位置信息进行辅助干预。
2.如权利要求1所述的一种基于嵌入式平台的茶园病虫害智能检测方法,其特征在于,所述步骤1的具体方法为:
对该茶园进行地理信息建模,存储至无人机云平台中,无人机按照规划的最优路径进行全面积覆盖巡检,机载摄像头对茶叶作物区域进行鸟瞰图像采集。
3.如权利要求1所述的一种基于嵌入式平台的茶园病虫害智能检测方法,其特征在于,所述步骤2的具体方法为:
S2.1:图像格式转换;
采用图像处理算法,借助Opencv库将从机载摄像头获取的原始图像数据进行格式转换,将图像进行色彩空间转换、调整分辨率和色深;
S2.2:数据清洗;
在图像格式转换后,对图像进行数据清洗,去除噪声、异常值和其他干扰;使用中值滤波器降低图像中的噪声,利用阈值处理技术剔除图像中的异常像素值;
S2.3:图像拼接;
拼接数据清洗后的图像,形成一个连续的目标区域鸟瞰图,实现无人机工作区域尽可能对茶园作物区进行全面覆盖;基于特征点匹配的图像拼接,拼接的重叠区域采用透明度融合方法,使拼接后的图像过渡自然;
S2.4:图像裁剪;
根据后续的目标检测模型,确定茶园作物区域的边界框,根据边界框信息,对图像进行裁剪到网络模型输入的数据维度;
S3:建立基于YOLOv3算法的病虫害区域检测模型,从预处理图像中提出目标病虫害区域,通过算法得出当前区域属于患病植株区域。
4.如权利要求1所述的一种基于嵌入式平台的茶园病虫害智能检测方法,其特征在于,所述步骤3中深度学习目标检测模型的具体部署方法为:
S3.1:所述深度学习目标检测模型为基于YOLOv3算法的病虫害区域检测模型,将采集的自建鸟瞰图片数据制作为PascalVOC格式的数据集,并按照8:2进行分割为训练集和测试集,对每张图片利用LabelImg工具进行大面积病虫害区域的矩形框人工标注;
S3.2:在深度学习目标检测模型训练的过程中,为提高模型的鲁棒性和泛化能力,对数据集进行扩充;数据集扩充包括:随机旋转、翻转、缩放,使模型更好地适应不同场景和光照条件;
S3.3:基于YOLOv3算法的病虫害区域检测模型在图像数据输入后首先进行图像特征提取;特征提取的过程依次包括:输入图像预处理,输入的图像首先被调整为网络的输入尺寸;卷积层,采用卷积核并使用ReLU激活函数来引入非线性,多个卷积层的堆叠逐渐学习到图像的低级和高级特征;残差连接,间隔地将当前卷积层之前层的输出与后续层的输出相加,防止梯度消失;多尺度特征提取,在网络中间和底部添加额外的卷积层用来检测不同尺寸的目标,获得多次采样后的特征图;
S3.4:在特征融合模块中,采用改进后的特征金字塔结构,首先,原始的卷积神经网络的顶层特征被下采样,得到较低分辨率但语义信息丰富的特征图;同时,从底层到高层的卷积特征被上采样,获取高分辨率但语义信息相对较少的特征图;然后将自顶向下的特征图与自底向上的特征图进行连接,获得具有丰富语义信息和高分辨率的特征金字塔;最后,在特征金字塔的每个层次上,进行特征融合操作,将不同层次的特征图进行组合,获得最终的融合特征图;
S3.5:在图像中生成多个候选框来尝试检测目标;
通过在图像的每个位置应用多个不同尺度和宽高比的锚点,生成多个候选框;对于每个锚点生成的候选框,将其标记为目标或背景,比较候选框与真实目标框的重叠程度;设置不同候选框的尺度和宽高比,覆盖不同大小和形状的目标,对默认的候选框大小进行调整;设定候选框尺度和宽高比阈值,丢弃大于阈值的候选框,并添加小于阈值的候选框;
S3.6:选择Focal Loss作为分类损失函数,边界框回归损失为GIoU Loss,分类损失与边界框回归损失的权重都为1,其中GIoU的计算公式如下:
其中,C为最小闭合凸面面积,A为预测框,B为真实框,IoU为预测狂与真实框面积的交集比上其并集,采用CIoU方法优化深度学习目标检测模型的训练过程,采用CIoU边界框回归损失函数兼顾检测框的重叠面积以及检测框中心点的距离,增加检测框和真实目标框的长宽比一致性的衡量参数,使模型更倾向于重叠区域密集的方向优化,CIoU损失的计算公式:
式中,ρ表示检测框和真实框两个中心点之间的欧氏距离,c表示最小闭合凸面的对角线距离,b表示预测框的中心点,bgt表示真实框的中心点,v是衡量检测框和真实框之间的比例是否一致的参数,α是平衡比例参数,
其中,wgt表示真实框的宽度,hgt表示真实框的高度,w表示预测框的宽度,h表示预测框的高度;
S3.7:将训练完成后的深度学习目标检测模型保存为PyTorch格式下的.pth文件,采用昇腾ACL转换工具将模型部署至嵌入式推理设备。
5.如权利要求1所述的一种基于嵌入式平台的茶园病虫害智能检测方法,其特征在于,所述步骤5的具体方法为:
S5.1:嵌入式设备与地面飞控终端通信,采用无线通信技术,建立无人机与地面站之间的数据链路;通过通信连接,嵌入式设备将患病植株区域的定位信息传送至地面飞控终端;
S5.2:信息传输与控制,地面飞控终端接收到患病植株区域的定位信息后,根据收到的信息,控制无人机逐一飞至目标病虫害植株区域,采用机载摄像头对细节叶片进行图像采集。
6.如权利要求1所述的一种基于嵌入式平台的茶园病虫害智能检测方法,其特征在于,所述步骤5中病虫害分类的具体方法为:
采用病虫害分类检测模型对病虫害进行分类,病虫害分类检测模型的训练和部署方法包括以下步骤:
S6.1:采用PlantVillage数据集,其中包含常见的茶叶病虫害类别:藻类叶斑病、斑枯病、山茶花顶枯病和溃疡病、山茶花枯萎病、马毛枯、茯苓根病、肉桂疫霉;
S6.2:将数据集按照7:2:1的比例随机划分训练集、验证集、测试集,对其进行放缩、采用随机翻转进行数据增强,并对增强后的数据进行格式转化和归一化处理;
S6.3:加载预训练的Inception v3模型,冻结内部通用的网络结构,对网络结构进行修改以适应本文的病虫害分类任务;
S6.4:引入深度可分离卷积,对每个输入通道分别使用不同的滤波器进行特征提取,再对每个输出通道的深度卷积结果进行逐点卷积,进而合并通道,采用多个1×1卷积将特征图中的值进行组合;
S6.5:最终,通过池化层和全连接层将特征映射转换为茶树病虫害的概率分布,采用softmax函数进行多类别分类;
S6.6:网络迭代次数预设100次,每次迭代的批处理数量为100张,经过20次批处理完成一次训练,训练过程中采用交叉熵损失函数,优化器选择随机梯度下降算法,模型的部署同S3.7。
7.如权利要求1所述的一种基于嵌入式平台的茶园病虫害智能检测方法,其特征在于,所述以S3.7中所述深度学习目标检测模型部署与转化包括以下步骤:
S3.7.1:将训练完成的模型保存为PyTorch格式的.pth文件;PyTorch深度学习框架所使用的标准模型保存格式,缺少模型的结构信息,.pth文件无法进行模型的部署和推理,因此首先转换为.onnx文件;
S3.7.2:采用昇腾ACL转换工具,ACL表示Ascend Compute Library;在部署前,在本地环境中安装昇腾ACL转换工具,使用昇腾ACL转换工具,对保存为.pth文件的PyTorch模型进行转换;此过程包括模型结构的调整以适应硬件架构,以及权重参数的转换和优化,完成模型转换后,生成适用于嵌入式推理设备的模型文件,包含模型结构和参数的特定格式文件;
S3.7.3:在嵌入式推理设备上进行模型推理需要使用到NPU,而不同的推理框架所用的算子和底层实现有所不同,采用ATC工具进行智能图像预处理的配置,将.onnx模型转换为开发板所支持的.om文件;
S3.7.4:采用CANN提供的C++接口程序以及封装库,编写推理代码,生成可执行文件,利用工具库来解析调用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410197979.XA CN118097246A (zh) | 2024-02-22 | 2024-02-22 | 一种基于嵌入式平台的茶园病虫害智能检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410197979.XA CN118097246A (zh) | 2024-02-22 | 2024-02-22 | 一种基于嵌入式平台的茶园病虫害智能检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118097246A true CN118097246A (zh) | 2024-05-28 |
Family
ID=91158225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410197979.XA Pending CN118097246A (zh) | 2024-02-22 | 2024-02-22 | 一种基于嵌入式平台的茶园病虫害智能检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118097246A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118766294A (zh) * | 2024-07-11 | 2024-10-15 | 哈尔滨工程大学 | 基于目标检测技术的智能饮水机及其控制方法 |
| CN119049025A (zh) * | 2024-08-23 | 2024-11-29 | 南宁师范大学 | 基于对角线损失的农业病虫害精准识别方法 |
| CN119360002A (zh) * | 2024-12-23 | 2025-01-24 | 四川农业大学 | 一种基于无人机的水稻冠层病害识别与定位方法 |
| CN119399620A (zh) * | 2024-09-30 | 2025-02-07 | 中国农业科学院农业信息研究所 | 一种基于无人机的作物病害检测方法及应用 |
-
2024
- 2024-02-22 CN CN202410197979.XA patent/CN118097246A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118766294A (zh) * | 2024-07-11 | 2024-10-15 | 哈尔滨工程大学 | 基于目标检测技术的智能饮水机及其控制方法 |
| CN119049025A (zh) * | 2024-08-23 | 2024-11-29 | 南宁师范大学 | 基于对角线损失的农业病虫害精准识别方法 |
| CN119399620A (zh) * | 2024-09-30 | 2025-02-07 | 中国农业科学院农业信息研究所 | 一种基于无人机的作物病害检测方法及应用 |
| CN119360002A (zh) * | 2024-12-23 | 2025-01-24 | 四川农业大学 | 一种基于无人机的水稻冠层病害识别与定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102300799B1 (ko) | 작물 상태 판단 장치 및 이를 포함하는 작물 재배 정보 서비스 플랫폼 | |
| CN113392775B (zh) | 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法 | |
| Milella et al. | In-field high throughput grapevine phenotyping with a consumer-grade depth camera | |
| CN118097246A (zh) | 一种基于嵌入式平台的茶园病虫害智能检测方法 | |
| CN115240093B (zh) | 基于可见光和激光雷达点云融合的输电通道自动巡检方法 | |
| CN106407880B (zh) | 使用图像处理的存量、生长和风险预测 | |
| CN111582234B (zh) | 基于uav和深度学习的大范围油茶林果智能检测与计数方法 | |
| CN107918776B (zh) | 一种基于机器视觉的用地规划方法、系统及电子设备 | |
| Diago et al. | On‐the‐go assessment of vineyard canopy porosity, bunch and leaf exposure by image analysis | |
| KR102262382B1 (ko) | 무인기 기반 영상 취득의 광지역 공간정보 구축시스템 | |
| CN110718137B (zh) | 目标物密度分布地图的构建方法及装置、终端、移动装置 | |
| CN112711900A (zh) | 一种农作物数字孪生建模方法 | |
| CN112560623B (zh) | 一种基于无人机的红树植物种类快速识别方法 | |
| CN113989509A (zh) | 基于图像识别的农作物虫害检测方法、检测系统及设备 | |
| KR102002632B1 (ko) | Iot 기반 과수 모니터링 시스템 및 방법 | |
| CN112528912A (zh) | 基于边缘计算的作物生长监测嵌入式系统及方法 | |
| WO2025097545A1 (zh) | 无人机飞行高度控制方法、装置、电子设备及存储介质 | |
| CN117197656A (zh) | 多模态牧草图像特征提取与识别系统 | |
| CN115294562A (zh) | 一种植保机器人作业环境智能感知方法 | |
| CN114663785B (zh) | 基于无人机高光谱的荔枝病害检测方法及系统 | |
| CN111815612A (zh) | 一种基于物联网的红枣病虫预测系统 | |
| Lyu et al. | Development of phenotyping system using low altitude UAV imagery and deep learning | |
| CN120107799A (zh) | 一种基于图像分析与几何建模的插秧位置质量评估方法 | |
| CN110781865A (zh) | 一种农作物生长控制系统 | |
| CN118470091A (zh) | 基于无人机遥感的西兰花花球尺寸与位置二维分布实时构建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |