[go: up one dir, main page]

CN116883917A - 一种基于深度信息的田间水稻叶龄识别方法 - Google Patents

一种基于深度信息的田间水稻叶龄识别方法 Download PDF

Info

Publication number
CN116883917A
CN116883917A CN202310606955.0A CN202310606955A CN116883917A CN 116883917 A CN116883917 A CN 116883917A CN 202310606955 A CN202310606955 A CN 202310606955A CN 116883917 A CN116883917 A CN 116883917A
Authority
CN
China
Prior art keywords
rice
image
leaf age
depth
leaf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310606955.0A
Other languages
English (en)
Inventor
龙拥兵
魏康宁
李金豪
李钊荣
范志文
徐海涛
兰玉彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202310606955.0A priority Critical patent/CN116883917A/zh
Publication of CN116883917A publication Critical patent/CN116883917A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度信息的田间水稻叶龄识别方法，包括如下步骤：S1：获取训练集；所述训练集包括水稻彩色图像、水稻深度图像、气象数据、水稻品种以及水稻叶龄；S2：采用若干个训练集对叶龄模型进行训练，得到叶龄预测模型；其中，设置训练集中水稻彩色图像、水稻深度图像、气象数据和水稻品种为所述叶龄预测模型的输入数据，设置水稻叶龄为所述叶龄预测模型的输出数据；S3：采用叶龄预测模型进行水稻叶龄识别。本发明提供的一种基于深度信息的田间水稻叶龄识别方法，具有操作简便、效率高、准确度高等优点，为水稻种植提供科学依据和技术支持。

Description

一种基于深度信息的田间水稻叶龄识别方法
技术领域
本发明涉及水稻叶龄识别领域，尤其涉及一种基于深度信息的田间水稻叶龄识别方法。
背景技术
水稻作为我国主要的粮食作物之一，水稻的生产水平直接关系到我国人民的温饱问题和粮食安全问题，确保水稻生产的稳定增长，是中国粮食安全的基石。
随着农业现代化水平的不断提升，水稻信息化建设已成为我国农业发展的重要要求。在此背景下，水稻大数据与水稻产业化的全面深度融合已经成为趋势，各种水稻信息系统应运而生。然而，在这些系统的使用和推广过程中，存在着诸多难题。
水稻叶龄是指水稻主茎上的叶片数目，水稻叶龄即为水稻生长发育的“年龄”。根据主茎总叶数和伸长节间数，可以将水稻分成若干类，同类型的水稻品种，在同一叶龄期的生育与器官建成进程完全相同。叶龄作为一个重要的指标，对指导水稻田科学水肥管理、育苗培育、提高水稻产量和品质等方面具有重要意义。
水稻叶龄与水稻的分叶、拔节、孕穗、抽穗等生育过程有一定的同步规律，通过叶龄可以判断水稻的分叶有效性、幼穗分化进程、上层根始发时期等，从而采取相应的措施促进水稻的生长发育，提高水稻的产量和品质。水稻叶龄模式法是根据水稻器官同伸规律，应用水稻主茎叶片生育进程，来确定水稻的生育时期及其相应的高产栽培技术和肥水管理措施的方法。
在一般情况下，水稻主茎叶片数相对稳定，但不同的栽培措施以及环境因素发生剧烈变化可能会对水稻叶龄产生较大的影响。在秧田期，水稻只有3到5片叶，此时的水稻叶龄容易判断，一般采用计算叶片数量的方式来计算叶龄。然而，当水稻达到6叶龄左右时，水稻开始分叶，叶龄的识别难度也随之增加。
在水稻种植中，最常用的水稻叶龄判断方法为“点叶龄法”，该方法需要在每个叶龄时期人为地标记水稻叶片。具体来说，点叶龄法是指在水稻移栽前，在苗床上将水稻的第三片叶用红色油漆笔标记一个红点，在水稻移栽时，把若干株有标记的水稻植株移栽到大田中易于观察的地方。此后，需要每天到田间观察，水稻主茎每长出一片叶就在该叶片上标记一个红点，以确保没有错过每一个叶龄时期。
除此之外，还有一些水稻叶龄识别方法，包括“谷种指向法”、“最长叶法”、“倒数叶龄法”、“叶脉偏向法”、“植伤叶法”、“变形叶鞘法”。但这些方法难以连续识别水稻叶龄，只能识别特定时期的水稻叶龄，而且这些方法需要专业培训、经过多次实践才能掌握如何通过这些方法正确识别水稻叶龄。
传统的水稻叶龄识别方法存在着费时费力、不准确、不连续等问题，难以适应现代农业的发展趋势。因此，亟需一种自动化、智能化的方法来识别水稻叶龄，实现对水稻叶片图像的自动化识别和叶龄计算。
近年来，随着计算机视觉、机器学习、深度学习等技术的发展和应用，使得基于图像处理的水稻叶龄识别技术成为可能。目前实用的均是基于规则的水稻叶龄识别方法。基于规则的方法是根据人为设定的一些规则或公式来判断水稻叶片和叶龄，例如根据颜色、形状、纹理等特征来区分水稻叶片和背景，或者根据叶片长度、宽度、面积等参数来计算叶龄。该方法的一个关键的步骤是水稻叶片的检测和分割，即从图像中准确地提取出水稻叶片的位置和轮廓，为后续的特征提取和叶龄计算提供基础。水稻叶片检测和分割方法主要基于颜色、形状、纹理等特征，利用阈值分割、边缘检测、形态学操作等技术来实现。这些方法虽然简单易实现，且通常需要人为地选取合适的特征和阈值，对图像质量和环境条件有较高的要求，容易受到噪声、光照、遮挡等干扰因素的影响，泛化能力较差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的问题之一。为此，本发明的目的在于提供一种基于深度信息的田间水稻叶龄识别方法，具有操作简便、效率高、准确度高等优点，为水稻种植提供科学依据和技术支持。
为了实现上述目的，本申请采用如下技术方案：一种基于深度信息的田间水稻叶龄识别方法，包括如下步骤：
S1：获取训练集；所述训练集包括水稻彩色图像、水稻深度图像、气象数据、水稻品种以及水稻叶龄，其中，水稻彩色图像和水稻深度图像由同一个图像采集单元同时获取，气象数据指的是图像采集单元获取所述水稻彩色图像和水稻深度图像时所对应的气象数据；
S2：采用若干个训练集对叶龄模型进行训练，得到叶龄预测模型；其中，设置训练集中水稻彩色图像、水稻深度图像、气象数据和水稻品种为所述叶龄预测模型的输入数据，设置水稻叶龄为所述叶龄预测模型的输出数据；
S3：采用叶龄预测模型进行水稻叶龄识别；获取待预测水稻对应的水稻彩色图像、水稻深度图像、气象数据和水稻品种，并输入所述叶龄预测模型，所述叶龄预测模型经过模型计算输出对应的水稻叶龄。
进一步的，所述图像采集单元包括第一图像传感器、第二图像传感器和转换接口，所述第一图像传感器用于获取水稻彩色图像，所述第二图像传感器用于获取水稻深度图像，所述接口用于对所述水稻彩色图像和水稻深度图像进行坐标变换和校正，使得所述水稻彩色图像和水稻深度图像对齐。
进一步的，所述图像采集单元包括气象传感器，当所述图像采集单元获取所述水稻彩色图像和水稻深度图像时，气象传感器获取同时刻的气象数据。
进一步的，步骤S1还包括：针对各个品种水稻的不同生长阶段进行拍照，将对应的水稻彩色图像、水稻深度图像、气象数据、水稻品种以及水稻叶龄存储为一个数据集，将数据集分为测试集和训练集。
进一步的，步骤S2还包括：采用训练集对所述叶龄预测模型进行测试，若叶龄预测模型的均根方误差小于均根方阈值，或者叶龄预测模型的决定系数决定阈值，则继续采用训练集对所述叶龄模型进行训练。
进一步的，采用随机裁剪、随机旋转和随机翻转对所述数据集进行数据增强，获得扩充后的数据集，将扩充后的数据集分为测试集和训练集。
进一步的，所述叶龄预测模型包括PyTorch框架和Resize函数，所述水稻彩色图像输入至所述叶龄预测模型之后，处理过程包括：
水稻彩色图像经过Resize函数缩小至224×224×3的大小；
进入第一彩色卷积层，使用nn.Conv2d函数，输入通道为3，输出通道为16，卷积核大小为3，步长为1，填充为1；
进入第一彩色池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；
进入第二彩色卷积层，使用nn.Conv2d函数，输入通道为16，输出通道为32，卷积核大小为3，步长为1，填充为1；
进入第二彩色池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；获得彩色特征图。
进一步的，所述叶龄预测模型包括PyTorch框架和Resize函数，所述水稻深度图像输入至所述叶龄预测模型之后，处理过程包括：
水稻深度图像经过Resize函数缩小至224×224×1的大小；
进入第一深度卷积层，使用nn.Conv2d函数，输入通道为1，输出通道为16，卷积核大小为3，步长为1，填充为1；
进入第一深度池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；
进入第二深度卷积层，使用nn.Conv2d函数，输入通道为16，输出通道为32，卷积核大小为3，步长为1，填充为1；
进入第二深度池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；获得深度特征图。
进一步的，所述叶龄预测模型还包括株高计算单元，所述计算单元根据水稻彩色图像和水稻深度图像计算对应的水稻株高，包括：
将所述水稻彩色图像和水稻深度图像进行坐标变换和校正，使得所述水稻彩色图像和水稻深度图像对齐；
根据水稻深度图像生成对应的点云数据，其中每个点包括三维坐标和颜色信息；
将水稻彩色图像转换到HSV空间，获得HSV图像；使用OTSU算法对所述HSV图像的S通道进行阈值分割，根据灰度值将所述HSV图像分成背景和前景两部分，得到的掩膜二值图，使得水稻叶片从背景中分割出来；
通过所述掩膜二值图，在点云数据中找出属于叶片的部分，得到水稻叶片点云，其中每个点保留了三维坐标和颜色信息；
使用PCL库的RANSAC算法，在点云数据中拟合出一个平面模型，作为地面；使用Open3D库的compute_point_cloud_to_plane_distance函数计算水稻叶片点云的最高点与地面的距离，得到水稻株高。
进一步的，所述叶龄预测模型还包括全连接层，将所述深度特征图和彩色特征图按通道进行拼接，得到合并特征图；将水稻株高、合并特征图、水稻品种、气象数据同时输入全连接层后通过Softmax函数进行归一化，得出水稻叶龄。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请先获取训练集，采用训练集对建立的叶龄模型进行训练，得到叶龄预测模型，再根据叶龄预测模型直接实现水稻的叶龄预测；本申请利用图像采集单元采集水稻彩色图像、水稻深度图像和气象数据，结合水稻品种以及叶龄预测模型实现对水稻叶龄的自动计算；本申请方法可以克服基于规则方法的局限性，具有更强的自适应能力和泛化能力，可以处理复杂多变的场景和数据，避免了传统方法中人工标记、特征选取、阈值设定等繁琐和主观的步骤，提高识别和计算的准确度和鲁棒性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
附图中：
图1为本申请叶龄预测模型的预测过程流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。以下描述中，需要理解的是，“前”、“后”、“上”、“下”、“左”、“右”、“纵”、“横”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“头”、“尾”等指示的方位或位置关系为基于附图所示的方位或位置关系、以特定的方位构造和操作，仅是为了便于描述本技术方案，而不是指示所指的机构或元件必须具有特定的方位，因此不能理解为对本发明的限制。
还需要说明的是，除非另有明确的规定和限定，“安装”、“相连”、“连接”、“固定”、“设置”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。当一个元件被称为在另一元件“上”或“下”时，该元件能够“直接地”或“间接地”位于另一元件之上，或者也可能存在一个或更多个居间元件。术语“第一”、“第二”、“第三”等仅是为了便于描述本技术方案，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、机构、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
实施例1
本申请提供的一种基于深度信息的田间水稻叶龄识别方法，包括如下步骤：
S1：获取训练集；所述训练集包括水稻彩色图像、水稻深度图像、气象数据、水稻品种以及水稻叶龄，其中，水稻彩色图像和水稻深度图像由同一个图像采集单元同时获取，气象数据指的是图像采集单元获取所述水稻彩色图像和水稻深度图像时所对应的气象数据；
S2：采用若干个训练集对叶龄模型进行训练，得到叶龄预测模型；其中，设置训练集中水稻彩色图像、水稻深度图像、气象数据和水稻品种为所述叶龄预测模型的输入数据，设置水稻叶龄为所述叶龄预测模型的输出数据；
S3：采用叶龄预测模型进行水稻叶龄识别；获取待预测水稻对应的水稻彩色图像、水稻深度图像、气象数据和水稻品种，并输入所述叶龄预测模型，所述叶龄预测模型经过模型计算输出对应的水稻叶龄。
本申请先获取训练集，采用训练集对建立的叶龄模型进行训练，得到叶龄预测模型，再根据叶龄预测模型直接实现水稻的叶龄预测；本申请利用图像采集单元采集水稻彩色图像、水稻深度图像和气象数据，结合水稻品种以及叶龄预测模型实现对水稻叶龄的自动计算；本申请方法可以克服基于规则方法的局限性，具有更强的自适应能力和泛化能力，可以处理复杂多变的场景和数据，避免了传统方法中人工标记、特征选取、阈值设定等繁琐和主观的步骤，提高识别和计算的准确度和鲁棒性。
实施例2
本申请提供的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，包括如下步骤：
S1：获取训练集；所述训练集包括水稻彩色图像、水稻深度图像、气象数据、水稻品种以及水稻叶龄，其中，水稻彩色图像和水稻深度图像由同一个图像采集单元同时获取，气象数据指的是图像采集单元获取所述水稻彩色图像和水稻深度图像时所对应的气象数据。其中，水稻彩色图像提供水稻的颜色和形状信息，水稻深度图像提供水稻的高度和密度信息，气象传感器数据提供水稻生长环境的参数，包括温度、湿度、日照辐射等信息。
本申请中图像采集单元包括第一图像传感器、第二图像传感器和转换接口，所述第一图像传感器用于获取水稻彩色图像，所述第二图像传感器用于获取水稻深度图像，所述接口用于对所述水稻彩色图像和水稻深度图像进行坐标变换和校正，使得所述水稻彩色图像和水稻深度图像对齐。
具体的，可以使用RGB-D Microsoft KinectAzure相机作为图像采集设备，该相机可以同时获取彩色图像和深度图像，具有高分辨率和高精度的特点。为了在夜间或光线不足的情况下进行数据采集，本发明还需要一个光源，比如白炽灯或LED灯，用于照明水稻田。
在获取图像过程中需要一个轨道支架，用于固定相机和传感器，并使其能够沿着水稻田进行移动。本发明选择两种方式来采集多株水稻的数据：一种是使用移动式设备，将相机安装在一个轨道小车或者无人机上，沿着水稻田进行扫描；另一种是使用固定式设备，将相机安装在一个固定的位置上，对水稻田进行定点拍摄。
由于水稻彩色图像和水稻深度图像是由不同的传感器采集的，它们之间存在一定的几何偏差和畸变，需要利用相机厂商提供的接口，进行坐标变换和校正，实现水稻彩色图像和水稻深度图像对齐。本发明中使用的相机是微软开发的azure kinect，该设备提供了SDK和API，使用k4a_transformation_create创建k4a_transformation_t结构体，使用k4a_transformation_depth_image_to_color_camera函数实现。通过PCL库，将图像保存为PCD格式的文件。
本申请中图像采集单元包括气象传感器，当所述图像采集单元获取所述水稻彩色图像和水稻深度图像时，气象传感器获取同时刻的气象数据。
具体的，为了记录水稻生长的天数和气象数据，在图像采集单元中，内置温湿度传感器、日照辐射计等气象传感器，这些设备可以实时测量拍摄时对应气温、湿度、降雨量等指标，并将气象数据存储在对应的测试集中。本发明还可以使用物联网技术进行实时采集，比如使用传感器和无线网络将数据发送到云端服务器，以便随时随地查看和分析水稻生长状态。
为了使得测试集中包含水稻不同生长时期的图像数据，本申请需要针对各个品种水稻的不同生长阶段进行拍照，将对应的水稻彩色图像、水稻深度图像、气象数据、水稻品种以及水稻叶龄存储为一个测试集。
具体的，为了获取不同叶龄阶段的水稻数据集，本发明需要每天连续对水稻数据进行采集。每次数据同时获取水稻彩色图像、水稻深度图像和气象数据、并将它们按照日期和编号进行标注和存储，图像数据保存为PCD格式的文件。为了确保训练的准确性，需要采集不同品种、不同生育期的水稻多模态数据，并对其进行预处理和标注，标注是指标注该数据集的水稻叶龄。
在获取上述的水稻数据集之后，为了扩充数据集的个数，本申请可以采用数据增强技术来扩充训练集并提升模型的泛化能力，获得扩充后的数据集。具体的数据增强方法包括随机裁剪、随机旋转、随机翻转等；将扩充后的数据集分为测试集和训练集。
为了训练和测试模型，本发明可以按照8：1划分训练集和测试集。其中，训练集和测试集和验证集均是从数据集中随机划分的，均包含水稻彩色图像、水稻深度图像、气象数据、水稻品种以及水稻叶龄的信息。二者作用不同，训练集用于训练模型，测试集用于测试训练模型的精度。
S2：采用若干个训练集对叶龄模型进行训练，得到叶龄预测模型；其中，设置训练集中水稻彩色图像、水稻深度图像、气象数据和水稻品种为所述叶龄预测模型的输入数据，设置水稻叶龄为所述叶龄预测模型的输出数据；
本发明使用均根方误差(RMSE)和决定系数(R2)作为评价指标，分别反映模型的预测误差和预测精度。具体采用训练集对所述叶龄预测模型进行测试，若叶龄预测模型的均根方误差小于均根方阈值，或者叶龄预测模型的决定系数决定阈值，则继续采用训练集对所述叶龄模型进行训练。
本申请中叶龄模型是初始建立的模型，其对应的模型权重参数并不能准确用来预测叶龄，因此需要采用测试集对叶龄模型进行训练；直至得出能够准确预测叶龄的模型权重参数，此时对应的模型才是训练后的叶龄预测模型。
其中，模型训练的过程中，叶龄预测模型对应输入数据的处理与步骤S3中预测过程中的处理类似，区别在于：训练过程中，输入数据和输出数据是确定的，需要改变的是模型权重参数；预测过程中，模型权重参数确定，需要得出的是输出数据。
S3：采用叶龄预测模型进行水稻叶龄识别；获取待预测水稻对应的水稻彩色图像、水稻深度图像、气象数据和水稻品种，并输入所述叶龄预测模型，所述叶龄预测模型经过模型计算输出对应的水稻叶龄。
具体的预测过程包括：
S31：如图1所示，所述叶龄预测模型包括PyTorch框架和Resize函数，所述水稻彩色图像输入至所述叶龄预测模型之后，处理过程包括：
水稻彩色图像经过Resize函数缩小至224×224×3的大小；
进入第一彩色卷积层，使用nn.Conv2d函数，输入通道为3，输出通道为16，卷积核大小为3，步长为1，填充为1；
进入第一彩色池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；
进入第二彩色卷积层，使用nn.Conv2d函数，输入通道为16，输出通道为32，卷积核大小为3，步长为1，填充为1；
进入第二彩色池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；获得彩色特征图。
S32：请继续参阅图1，所述水稻深度图像输入至所述叶龄预测模型之后，处理过程包括：
水稻深度图像经过Resize函数缩小至224×224×1的大小；
进入第一深度卷积层，使用nn.Conv2d函数，输入通道为1，输出通道为16，卷积核大小为3，步长为1，填充为1；
进入第一深度池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；
进入第二深度卷积层，使用nn.Conv2d函数，输入通道为16，输出通道为32，卷积核大小为3，步长为1，填充为1；
进入第二深度池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；获得深度特征图。
S33：所述叶龄预测模型还包括株高计算单元，所述计算单元根据水稻彩色图像和水稻深度图像计算对应的水稻株高，具体包括：
将所述水稻彩色图像和水稻深度图像进行坐标变换和校正，使得所述水稻彩色图像和水稻深度图像对齐；
根据水稻深度图像生成对应的点云数据，其中每个点包括三维坐标和颜色信息；由于采集过程中可能存在噪声点，比如由于光照或者遮挡造成的误差点，需要对点云进行滤波处理，去除这些噪声点。本发明采用SOR滤波算法(统计离群值移除算法)，该算法计算每个点的平均距离和标准差，并根据阈值来判断哪些点是离群值，然后将它们移除。
将水稻彩色图像转换到HSV空间，获得HSV图像；使用OTSU算法对所述HSV图像的S通道进行阈值分割，根据灰度值将所述HSV图像分成背景和前景两部分，得到的掩膜二值图，使得水稻叶片从背景中分割出来；
通过所述掩膜二值图，在点云数据中找出属于叶片的部分，得到水稻叶片点云，其中每个点保留了三维坐标和颜色信息；
使用PCL库的RANSAC算法，在点云数据中拟合出一个平面模型，作为地面；使用Open3D库的compute_point_cloud_to_plane_distance函数计算水稻叶片点云的最高点与地面的距离，得到水稻株高。
S34：请继续参阅图1，所述叶龄预测模型还包括全连接层，将所述深度特征图和彩色特征图按通道进行拼接，得到合并特征图；将水稻株高、合并特征图、水稻品种、气象数据同时输入全连接层后通过Softmax函数进行归一化，得出水稻叶龄。其中，全连接层可以为四个，具体可以使用nn.Linear函数来定义；且最后一个全连接层的输出数据通过Softmax函数进行归一化，得到一个数值作为最终的输出结果。
上述步骤S31、S32和S33的顺序可以互换。
与现有方法相比，本发明所采用的方法具有非破坏性、高效性、自动化和智能化的特点，可以有效地解决现实农田中的遮挡问题和人力成本问题，提高水稻生产的质量和产量，同时也有应用于其他作物的生长监测和管理的潜力。
可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。

Claims (10)

1.一种基于深度信息的田间水稻叶龄识别方法，其特征在于，包括如下步骤：
S1：获取训练集；所述训练集包括水稻彩色图像、水稻深度图像、气象数据、水稻品种以及水稻叶龄，其中，水稻彩色图像和水稻深度图像由同一个图像采集单元同时获取，气象数据指的是图像采集单元获取所述水稻彩色图像和水稻深度图像时所对应的气象数据；
S2：采用若干个训练集对叶龄模型进行训练，得到叶龄预测模型；其中，设置训练集中水稻彩色图像、水稻深度图像、气象数据和水稻品种为所述叶龄预测模型的输入数据，设置水稻叶龄为所述叶龄预测模型的输出数据；
S3：采用叶龄预测模型进行水稻叶龄识别；获取待预测水稻对应的水稻彩色图像、水稻深度图像、气象数据和水稻品种，并输入所述叶龄预测模型，所述叶龄预测模型经过模型计算输出对应的水稻叶龄。
2.根据权利要求1所述的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，所述图像采集单元包括第一图像传感器、第二图像传感器和转换接口，所述第一图像传感器用于获取水稻彩色图像，所述第二图像传感器用于获取水稻深度图像，所述接口用于对所述水稻彩色图像和水稻深度图像进行坐标变换和校正，使得所述水稻彩色图像和水稻深度图像对齐。
3.根据权利要求1所述的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，所述图像采集单元包括气象传感器，当所述图像采集单元获取所述水稻彩色图像和水稻深度图像时，气象传感器获取同时刻的气象数据。
4.根据权利要求1所述的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，步骤S1还包括：针对各个品种水稻的不同生长阶段进行拍照，将对应的水稻彩色图像、水稻深度图像、气象数据、水稻品种以及水稻叶龄存储为一个数据集，将数据集分为测试集和训练集。
5.根据权利要求4所述的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，步骤S2还包括：采用训练集对所述叶龄预测模型进行测试，若叶龄预测模型的均根方误差小于均根方阈值，或者叶龄预测模型的决定系数决定阈值，则继续采用训练集对所述叶龄模型进行训练。
6.根据权利要求4所述的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，采用随机裁剪、随机旋转和随机翻转对所述数据集进行数据增强，获得扩充后的数据集，将扩充后的数据集分为测试集和训练集。
7.根据权利要求1所述的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，所述叶龄预测模型包括PyTorch框架和Resize函数，所述水稻彩色图像输入至所述叶龄预测模型之后，处理过程包括：
水稻彩色图像经过Resize函数缩小至224×224×3的大小；
进入第一彩色卷积层，使用nn.Conv2d函数，输入通道为3，输出通道为16，卷积核大小为3，步长为1，填充为1；
进入第一彩色池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；
进入第二彩色卷积层，使用nn.Conv2d函数，输入通道为16，输出通道为32，卷积核大小为3，步长为1，填充为1；
进入第二彩色池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；获得彩色特征图。
8.根据权利要求7所述的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，所述叶龄预测模型包括PyTorch框架和Resize函数，所述水稻深度图像输入至所述叶龄预测模型之后，处理过程包括：
水稻深度图像经过Resize函数缩小至224×224×1的大小；
进入第一深度卷积层，使用nn.Conv2d函数，输入通道为1，输出通道为16，卷积核大小为3，步长为1，填充为1；
进入第一深度池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；
进入第二深度卷积层，使用nn.Conv2d函数，输入通道为16，输出通道为32，卷积核大小为3，步长为1，填充为1；
进入第二深度池化层，使用nn.MaxPool2d函数，最大池化，核大小为2，步长为2；获得深度特征图。
9.根据权利要求8所述的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，所述叶龄预测模型还包括株高计算单元，所述计算单元根据水稻彩色图像和水稻深度图像计算对应的水稻株高，包括：
将所述水稻彩色图像和水稻深度图像进行坐标变换和校正，使得所述水稻彩色图像和水稻深度图像对齐；
根据水稻深度图像生成对应的点云数据，其中每个点包括三维坐标和颜色信息；
将水稻彩色图像转换到HSV空间，获得HSV图像；使用OTSU算法对所述HSV图像的S通道进行阈值分割，根据灰度值将所述HSV图像分成背景和前景两部分，得到的掩膜二值图，使得水稻叶片从背景中分割出来；
通过所述掩膜二值图，在点云数据中找出属于叶片的部分，得到水稻叶片点云，其中每个点保留了三维坐标和颜色信息；
使用PCL库的RANSAC算法，在点云数据中拟合出一个平面模型，作为地面；使用Open3D库的compute_point_cloud_to_plane_distance函数计算水稻叶片点云的最高点与地面的距离，得到水稻株高。
10.根据权利要求9所述的一种基于深度信息的田间水稻叶龄识别方法，其特征在于，所述叶龄预测模型还包括全连接层，将所述深度特征图和彩色特征图按通道进行拼接，得到合并特征图；将水稻株高、合并特征图、水稻品种、气象数据同时输入全连接层后通过Softmax函数进行归一化，得出水稻叶龄。
CN202310606955.0A 2023-05-26 2023-05-26 一种基于深度信息的田间水稻叶龄识别方法 Pending CN116883917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310606955.0A CN116883917A (zh) 2023-05-26 2023-05-26 一种基于深度信息的田间水稻叶龄识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310606955.0A CN116883917A (zh) 2023-05-26 2023-05-26 一种基于深度信息的田间水稻叶龄识别方法

Publications (1)

Publication Number Publication Date
CN116883917A true CN116883917A (zh) 2023-10-13

Family

ID=88266867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310606955.0A Pending CN116883917A (zh) 2023-05-26 2023-05-26 一种基于深度信息的田间水稻叶龄识别方法

Country Status (1)

Country Link
CN (1) CN116883917A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118120426A (zh) * 2024-03-07 2024-06-04 黑龙江大学 基于水稻生长环境监测与叶龄识别的移动式探测装置及施肥预测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118120426A (zh) * 2024-03-07 2024-06-04 黑龙江大学 基于水稻生长环境监测与叶龄识别的移动式探测装置及施肥预测方法

Similar Documents

Publication Publication Date Title
AU2020103026A4 (en) A Single Tree Crown Segmentation Algorithm Based on Super-pixels and Topological Features in Aerial Images
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
CN111582234B (zh) 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN113392775A (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN115760885B (zh) 基于消费级无人机影像的高郁闭度湿地森林参数提取方法
CN111340826A (zh) 基于超像素与拓扑特征的航拍图像单株树冠分割算法
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
CN117576195A (zh) 一种植物叶片形态识别方法
CN116258956B (zh) 无人机树木识别方法、设备、存储介质及装置
CN119338626B (zh) 一种基于卫星遥感与ai算法的作物病虫害监测与预警系统
CN119991989B (zh) 一种基于三维激光建模的林业调查规划设计与分析方法
CN109492665A (zh) 水稻生育期的检测方法、装置及电子设备
CN120219965B (zh) 基于无人机rgb图像的棉花田间生长状态评估预测系统
CN117197595A (zh) 基于边缘计算的果树生育期识别方法、装置及管理平台
CN108073947A (zh) 一种识别蓝莓品种的方法
CN109523509A (zh) 小麦抽穗期的检测方法、装置及电子设备
CN116883917A (zh) 一种基于深度信息的田间水稻叶龄识别方法
CN116977960A (zh) 一种基于实例分割的水稻秧苗行检测方法
CN120564090A (zh) 基于倒伏监测光谱指数图像的倒伏面积确定方法及系统
CN113989253A (zh) 农田目标对象信息的获取方法及装置
CN119942460A (zh) 基于影像数据融合的寒地盐碱地水稻生长评估方法及系统
CN119251010A (zh) 农田地块智能分割与作物分布大数据分析系统和方法
CN112488230A (zh) 基于机器学习的作物水分胁迫程度判定方法和装置
Fang et al. Research on persimmon fruit diameter accurate detection method based on improved RCNN instance segmentation algorithm
CN119763102B (zh) 火龙果生长监测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination