[go: up one dir, main page]

CN119887876A - 基于双目立体视觉的全天候草木株高测量方法及装置 - Google Patents

基于双目立体视觉的全天候草木株高测量方法及装置 Download PDF

Info

Publication number
CN119887876A
CN119887876A CN202411967173.0A CN202411967173A CN119887876A CN 119887876 A CN119887876 A CN 119887876A CN 202411967173 A CN202411967173 A CN 202411967173A CN 119887876 A CN119887876 A CN 119887876A
Authority
CN
China
Prior art keywords
image
gray value
pixel
points
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411967173.0A
Other languages
English (en)
Inventor
王宇
周龙飞
赵胜楠
王艋
都伟冰
李长春
柴华彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202411967173.0A priority Critical patent/CN119887876A/zh
Publication of CN119887876A publication Critical patent/CN119887876A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Nonlinear Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于双目立体视觉的全天候草木株高测量方法及装置,属于农作物结构信息非接触、自动化测量技术领域。本发明解决了现有方法测量效率低的问题,通过双目相机获取草木株高图像,对草木株高图像进行清晰度处理;再进行特征点提取,并对特征点进行立体匹配,得到具备深度信息的视差图,并根据视差图计算草木株高图像的三维坐标;选取视差图中的一部分随机点,对所有随机点的深度进行排序处理,并计算平均深度;再使用固定的高度减去平均深度,得到植株的平均高度,从而实现精准的近距离测量;其次,双目相机成本低廉,且依托履带割草机带动双目相机位移,使其不受地形和环境光约束,拓宽了该装置的适用场景,提高了该方法的可行性。

Description

基于双目立体视觉的全天候草木株高测量方法及装置
技术领域
本发明涉及农作物结构信息非接触、自动化测量技术领域,具体为基于双目立体视觉的全天候草木株高测量方法及装置。
背景技术
作物株高作为一种关键的表型形态学参数,通常用于评估作物的活力,进而估算生物量及其潜在产量。传统的株高测量方法通常由人工使用刻度尺进行,当前在作物株高测量领域,计算作物冠层与地面高度差的“差分法”被广泛认为是最为有效且精准的测量方式。此方法通常结合三维系统或三维传感器来完成,包括立体视觉系统、LiDAR(光探测与测距)技术、激光扫描传感器、超声波传感器以及深度相机等多种传感设备的应用;尽管这些先进的技术手段提升了测量的自动化水平,但各类传感器仍存在一些技术挑战。
随着计算机视觉技术的发展,为株高的高精度实时测量提供技术支撑。如:一种是基于点云数据的株高测量方法,通过采集不同角度的图像序列,分别提取底面和植株三维点云,进而提取单植株株高;又如:一种是基于双目相机的株高测量方法,该方法通过履带车载一个双目相机计算深度。以上两种测量方法均在可见光环境下工作,难以实现弱光环境下的实时测量。再如:一种基于结构光的株高测量方法,该方法虽解决了弱光环境下的平原株高测量问题,然而并未考虑山地等特殊地形和弱环境光的株高测量场景。同时,现有的双目摄像机测量距离的装置仍存在成本过高,易受环境干扰,且对于处于地形复杂地区和弱环境光下的植株,株高测量难以精确实现。
因此,不满足现有的需求,对此我们提出了基于双目立体视觉的全天候草木株高测量方法及装置。
发明内容
本发明的目的在于提供基于双目立体视觉的全天候草木株高测量方法及装置,通过双目相机获取草木株高图像,对草木株高图像进行清晰度处理;再进行特征点提取,并对特征点进行立体匹配,得到具备深度信息的视差图,并根据视差图计算草木株高图像的三维坐标;选取视差图中的一部分随机点,对所有随机点的深度进行排序处理,并计算平均深度;再使用固定的高度减去平均深度,得到植株的平均高度,从而实现精准的近距离测量;其次,双目相机成本低廉,且依托履带割草机带动双目相机位移,使其不受地形和环境光约束,拓宽了该装置的适用场景,提高了该方法的可行性,解决了上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
基于双目立体视觉的全天候草木株高测量方法,包括以下步骤:
步骤一、通过采用标定法对双目相机进行标定,建立双目相机的坐标系和实际世界坐标系之间的映射关系,并获取双目相机的参数;
步骤二、通过双目相机对植株进行俯视视角图像采集,对采集到的草木株高图像进行切割、矫正、滤波处理;并在识别到草木株高图像亮度不够时,自动开启环境光线补偿器进行补光操作;
步骤三、对增强后的草木株高图像进行特征点提取,并对所提取的特征点进行立体匹配,得到具备深度信息的视差图,并根据视差图计算草木株高图像的三维坐标;
步骤四、选取视差图中的一部分随机点,并对所有随机点的深度进行排序,筛除最高点和最低点,对剩下的深度求均值,得到平均深度;再用固定的高度减去平均深度,得到植株的平均高度。
基于双目立体视觉的全天候草木株高测量装置,包括:双目相机,所述双目相机连接处理子系统,处理子系统用于对双目相机所获取的图像进行预处理,双目相机通过固定杆安装于履带割草机上,履带割草机与遥测终端电性连接,遥测终端用于远程对履带割草机的移动和测量过程进行实时操控;
所述处理子系统,包括:
拍摄调整单元,用于在双目相机对草木株高进行拍摄时,根据现场光照条件,自动开启环境光线补偿器进行光照补偿;并根据色彩偏差,通过颜色校正算法对获得的图像进行校正;
图像处理单元,用于采用图像增强技术对双目相机所获取的草木株高图像进行预处理,包括:切割、矫正、图像增强,阈值分割,形态学处理,ROI提取;
特征提取单元,用于对预处理后的草木株高图像进行特征点提取,并采用立体视觉技术对所提取的特征点进行立体匹配,得到包含深度信息的视差图;
坐标计算单元,用于根据视差图为依据,通过三角测量原理计算视差图中每个匹配点的深度值;再结合双目相机的内参数和外参数,以及三角测量得到的深度值,重建出每个像素点的三维坐标,得到草木株高图像的三维坐标;
高度确认单元,用于选取深度图中的一部分随机点,对该部分随机点的深度进行排序,筛除掉最高点和最低点,对剩下的深度求均值,得到平均深度;再用固定高度减去平均深度,得到草木株高的平均高度。
进一步的,对所述草木株高图像进行图像增强,包括:
提取图像色彩校正之前的每个像素点的灰度值;
将所述图像色彩校正之前的每个像素点的灰度值与预设的灰度值阈值进行比较;
提取所述灰度值超过预设的灰度值阈值的像素点及其灰度值,作为第一像素点灰度值集合;
提取第一像素点灰度值集合中所包含的每个像素点对应的图像色彩校正之后的灰度值,作为第二像素点灰度值集合;
利用所述第一像素点灰度值集合所包含的灰度值和第二像素点灰度值集合所包含的灰度值获取第一对比度调节系数;
其中,所述第一对比度调节系数通过如下公式获取:
其中,U01表示第一对比度调节系数;n表示第一像素点灰度值集合中所包含的像素点的个数,并且,所述第一像素点灰度值集合和第二像素点灰度值集合中所包含的像素点的个数相同;H01i表示第一像素点灰度值集合中的第i个像素点的灰度值;H02i表示第一像素点灰度值集合中的第i个像素点对映到第二像素点灰度值集合中对应的的灰度值;Hy表示预设的灰度值阈值;H01b表示第一像素点灰度值集合中的n个像素点的灰度值标准差;H02b表示第二像素点灰度值集合中的n个像素点的灰度值标准差;s表示调节系数,并且,所述调节系数通过如下公式获取:
其中,s表示调节系数;H01i表示第一像素点灰度值集合中的第i个像素点的灰度值;H02i表示第一像素点灰度值集合中的第i个像素点对映到第二像素点灰度值集合中对应的的灰度值;Hy表示预设的灰度值阈值;
利用所述图像色彩校正之后的所有像素点的灰度值结合第一对比度调节系数对图像色彩校正之后的草木株高图像进行对比度调整。
进一步的,利用所述图像色彩校正之后的所有像素点的灰度值结合第一对比度调节系数对图像色彩校正之后的草木株高图像进行对比度调整,包括:
提取图像色彩校正之后的每个像素点的灰度值;
提取图像色彩校正之后的每个像素点的灰度值与图像色彩校正之前的每个像素点的灰度值获取第二对比度调节系数;
其中,所述第二对比度调节系数通过如下公式获取:
其中,U02表示第二对比度调节系数;m表示草木株高图像所包含的像素点的个数;Hxi表示图像色彩校正之前的第i个像素点的灰度值;Hhi表示图像色彩校正之后的第i个像素点的灰度值;Hy表示预设的灰度值阈值;H01b表示第一像素点灰度值集合中的n个像素点的灰度值标准差;H02b表示第二像素点灰度值集合中的n个像素点的灰度值标准差;Hfb表示草木株高图像所包含的m个像素点在图像色彩校正之前灰度值标准差;Hgb表示草木株高图像所包含的m个像素点在图像色彩校正之后灰度值标准差;
利用所述第一对比度调节系数和第二对比度调节系数对所述图像色彩校正之后的草木株高图像进行对比度调整;
其中,调整后的对比度数值通过如下公式获取:
其中,Yt表示调整后的对比度数值;Y0表示调整前的对比度数值;U01表示第一对比度调节系数;U02表示第二对比度调节系数。
进一步的,还包括:
数据反馈单元,用于在得到草木株高的平均高度后,基于无线通信技术及时反馈至人机交互终端;
人机交互终端,用于实时接收草木株高图像及其计算所得的草木株高数据;并对草木株高图像及对应的数据按时间序列进行存储,得到同一片种植区域内草木株高数据库。
进一步的,所述拍摄调整单元,包括:
模型训练模块,用于收集各种不同的光照条件和草木类型的历史数据,作为多种样本;采用神经网络模型对每种样本进行训练,根据样本信息输出相应的调整方案,每种样本所对应的调整方案均包括:补光参数和颜色校正参数;
方案获取模块,用于根据训练后的神经网络模型对现场光照条件及草木类型进行预测,得到现场所需的补光参数和颜色校正参数;
自动调整模块,用于根据得到的补光参数和颜色校正参数为依据,自动开启环境光线补偿器进行光照补偿,并自动启用颜色校正算法对获得的图像进行校正。
进一步的,所述图像处理单元,包括:
尺寸调整模块,用于对草木株高的原始图像进行切割,将原始图像分为多个小的区域;再对草木株高的原始图像进行几何校正,纠正由于相机或环境引起的扭曲和变形;
图像增强模块,用于对尺寸调整后的草木株高图像进行增强处理,包括:去除噪声、降低背景干扰、增加边缘锐化;
阈值分割模块,用于对增强处理后的草木株高图像进行阈值分割,将图像分为不同的区域;
形态学处理模块,用于对阈值分割后的草木株高图像进行形态学处理,包括:开运算、闭运算、腐蚀、膨胀以及仿射;
ROI提取模块,用于从阈值分割后的草木株高图像中提取出感兴趣区域,并对ROI进行植被分类,将区域分为不同的类别。
进一步的,所述特征提取单元,包括:
特征提取模块,用于采用SIFT算法从预处理后的草木株高图像中提取出多个特征点,多个关键点则为后续进行立体匹配的基础;
特征匹配模块,用于将提取出的多个特征点与预先存储在立体视觉库中的特征点进行匹配,匹配的原则为:最大相似度、最小角距离;
图片生成模块,用于获取每个匹配成功的特征对,并利用立体视觉原理计算出相应的视差值,得到多个视差值,再将多个视差值组成视差图。
进一步的,所述坐标计算单元,包括:
深度值获取模块,用于根据视差图为依据,通过三角测量原理中三角形内角和定理计算出视差线上两点连线之间的垂直距离,垂直距离为对应的特征点深度,得到视差图上每个匹配点所得的深度值;对于求解深度值的公式如下所示:
化简后可得:
其中,D表示图像深度;f表示为焦距;B表示为基线;Bf表示为基线B到成像平面M之间的距离;Xl表示为Pl位于x轴的坐标点;Xr表示为Pr位于x轴的坐标点。
坐标获取模块,用于利用三角函数关系,从已知的两个匹配点坐标和两个匹配点之间的角度,计算出第三个匹配点坐标,以及第三个匹配点与第一个匹配点之间的角度;得到视差图中所有匹配点的三维坐标;求解匹配点三维坐标的公式如下所示:
其中,x表示为X轴;y表示为y轴;Z表示为物体相对于摄像头的深度;Bxl表示为基线B到Pl点位于X轴之间的距离;Byl表示为基线B到Pl点位于Y轴之间的距离;Bf表示为基线B到成像平面M之间的距离;Xl表示为Pl位于x轴的坐标点;Xr表示为Pr位于x轴的坐标点;yl表示为Pl位于Y轴的坐标点;yr表示为Pr位于Y轴的坐标点。
坐标确认模块,基于所有匹配点的三维坐标为依据,结合三角测量得到的深度值和双目相机的内参数和外参数,重建出每个像素点的三维坐标,得到草木株高图像的三维坐标;
图像写回模块,用于将得到的三维坐标至草木株高图像中,得到最终的具备深度信息的草木株高图像,该图像包括:草木植物的位置信息、草木植物的形态信息。
进一步的,所述高度确认单元,包括:
随机点排序模块,用于选取深度图中的一部分随机点,随机点可以是深度值的某个范围内的点;采用冒泡排序法对选出的这些点进行排序,并筛选出排序后深度最大的点和深度最小的点;对剩下的深度值进行求均值操作,得到所有点深度的平均值,该深度的平均值则代表整个草木株高图像的平均深度。
高度计算模块,用于采用固定高度值减去平均深度,得到草木株高的平均高度。
与现有技术相比,本发明的有益效果是:
1.本发明,通过双目相机获取草木株高图像,对草木株高图像进行清晰度处理;再进行特征点提取,并对特征点进行立体匹配,得到具备深度信息的视差图,并根据视差图计算草木株高图像的三维坐标;选取视差图中的一部分随机点,对所有随机点的深度进行排序处理,并计算平均深度;再使用固定的高度减去平均深度,得到植株的平均高度,从而实现精准的近距离测量,减少了人工参与的需求。
2.本发明,通过便宜便捷的双目相机即可获取草木株高图像,并测量株高,使得该方法具备成本低廉、高效快捷的优点;同时依托履带割草机带动双目相机位移,使其可在田间泥泞地形下自由穿梭,克服各种地形环境变化导致的相机倾斜,使双目相机不受地形和环境光约束,拓宽了该全天候草木株高测量装置的适用场景,提高了该全天候草木株高测量方法的可行性。
附图说明
图1为本发明的双目相机装置图;
图2为本发明的棋盘格示意图;
图3为本发明的基于双目立体视觉的全天候草木株高测量装置结构图;
图4为本发明的处理子系统组成图;
图5为本发明的程序效果展示图;
图6为本发明的基于双目立体视觉的全天候草木株高测量方法流程图;
图7为本发明的双目相机立体模型图;
图8为本发明的双目相机模型图。
图中:1、双目相机;2、固定杆;3、履带割草机;4、遥测终端。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有装置存在成本过高,易受环境干扰,且对于处于地形复杂地区和弱环境光下的植株,株高测量难以精确实现的技术问题,请参阅图1-图8,本实施例提供以下技术方案:
基于双目立体视觉的全天候草木株高测量方法,包括以下步骤:
步骤一、通过采用棋盘格标定法对双目相机1进行标定,建立双目相机1的坐标系和实际世界坐标系之间的映射关系,并获取双目相机1的参数;具体的,将双目相机1固定在固定杆2上,手持棋盘格标定盘进行图像采集,要求棋盘格占据图像尽可能多的面积,并保证棋盘格在图像中的完整;还要求多次变换角度,共拍摄20对图像;在标定过程中,至少有一半的图像是将棋盘格标定板置于植株底端地面平行对应的平面上,使得地面得坐标系与标定板平面坐标系重合,以标定双目相机1的安装参数;通过计算机视觉库提取出标定板的角点信息,根据已知的角点信息,以及双目相机1的内参和外参,结合棋盘格标定算法计算出双目相机1的内外参;将双目相机1的内外参和标定板在空间中的位置关系进行联系,并建立双目相机1坐标系和实际世界坐标系之间的映射关系;通过该映射关系,从双目相机1拍摄到的草木株高图像中恢复出三维世界坐标系下的点坐标。
步骤二、通过双目相机1对植株进行俯视视角图像采集,对采集到的草木株高图像进行切割、矫正、滤波处理,如:进行图像增强,阈值分割,形态学处理,ROI提取等;并在识别到草木株高图像亮度不够时,自动开启环境光线补偿器进行补光操作;具体的,通过双目相机1对草木植物的生长状态进行实时监控,从而获取草木植物的俯视视角图像。为进一步确保图像的清晰度,通过对采集到的草木株高图像进行切割、矫正、滤波处理,以获取清晰的图像,便于后续的分析。通过分析图像,并在识别到草木株高图像亮度不够时,自动开启环境光线补偿器进行补光操作,从而确保双目相机1获取草木株高图像的有效性。
步骤三、对增强后的草木株高图像进行特征点提取,并对所提取的特征点进行立体匹配,得到具备深度信息的视差图,并根据视差图计算草木株高图像的三维坐标;具体的,通过对原始的草木株高图像进行增强和滤波处理,以提高图像的质量。并对增强和滤波后的图像进行特征点提取,再对提取出的特征点进行立体匹配,得到一组包含深度信息丰富的视差图。通过三角测量法对视差图中匹配点的深度信息进行计算,得到草木株高图像的三维坐标。
步骤四、选取视差图中的一部分随机点,并对所有随机点的深度进行排序,筛除最高点和最低点,对剩下的深度求均值,得到平均深度;再用固定的高度减去平均深度,得到植株的平均高度;具体的,通过在视差图中,选择一部分随机点,并对该部分随机点的深度进行排序,删除最高点和最低点;再对剩余的深度值求均值,得到平均深度。用固定的高度减去平均深度,得到植株的平均高度。该方法通过筛选视差图中的特定点,并计算特定点的平均深度,从而获取草木植物的平均高度。
上述内容所达到的有益效果:该方法步骤简单易行,适合各种类型的植物,并且可在短时间内完成大量植株的高度估算,从而提高该全天候草木株高测量方法的可行性与有效性。
基于双目立体视觉的全天候草木株高测量装置,包括:双目相机1,双目相机1可选用便宜便捷的双目摄像头即可,双目相机1上设置有环境光线补偿器,双目相机1连接处理子系统,处理子系统用于对双目相机1所获取的图像进行预处理,双目相机1通过固定杆2安装于履带割草机3上,固定杆2为可调节式不锈钢管材质,起支撑双目相机1的作用,且其高度应高于灌草植株预计高度30cm以上,根据实际情况调节;固定杆2的上方设置有轻质铝合金架,用于固定双目相机1,将双目相机1视角垂直于地面;履带割草机3用于带动双目相机1在田间泥泞地形下自由穿梭,克服各种地形环境变化导致的相机倾斜;履带割草机3上设置有机载电脑,与双目相机1以及履带割草机3的遥测终端4相连;履带割草机3与遥测终端4电性连接,遥测终端4用于远程对履带割草机3的移动和测量过程进行实时操控,从而实现精准的近距离测量,减少了人工参与的需求。
处理子系统,包括:
拍摄调整单元,用于在双目相机1对草木株高进行拍摄时,根据现场光照条件,自动开启环境光线补偿器进行光照补偿;并根据色彩偏差,通过颜色校正算法对获得的图像进行校正;具体的,环境光线补偿器为双目相机1的图像清晰度提供保障,可在阴雨天或光线条件不好的情况自主补光,缓解了外部环境对自动化测量的影响;颜色校正算法主要是对双目相机1内部的颜色偏移和镜头畸变进行校正,以获得准确的RGB颜色值。
拍摄调整单元,包括:
模型训练模块,用于收集各种不同的光照条件和草木类型的历史数据,作为多种样本;采用神经网络模型对每种样本进行训练,根据样本信息输出相应的调整方案,每种样本所对应的调整方案均包括:补光参数和颜色校正参数,补光参数指的是植物需要的光照强度,颜色校正参数则是根据植物的颜色响应特性进行颜色补偿;具体的,通过从历史监测记录中或实验室实验中获取历史数据,使用神经网络模型对每种样本进行训练,根据样本信息,从而输出相应的调整方案;基于此,通过神经网络模型学习样本中不同光照条件和草木类型之间的复杂关系,并根据每个样本的信息生成个性化的调整方案,可以有效地解决不同光照条件和不同植物类型下的植物生长调节问题,由此提高植物生长的精度和效率。
方案获取模块,用于根据训练后的神经网络模型对现场光照条件及草木类型进行预测,得到现场所需的补光参数和颜色校正参数;具体的,通过将现场的光照条件和草木类型等信息输入到已训练好的神经网络模型中;模型对输入数据进行预测,得到现场所需的补光参数和颜色校正参数;由于该参数根据现场的实际光照条件和草木类型生成而来,因此可以更好地适应现场的环境;并将得到的补光参数和颜色校正参数作为最终的结果输出,供现场的工作人员进行实际操作。
自动调整模块,用于根据得到的补光参数和颜色校正参数为依据,自动开启环境光线补偿器进行光照补偿,并自动启用颜色校正算法对获得的图像进行校正,以达到最佳的测量效果;具体的,通过接收神经网络模型所输出的补光参数和颜色校正参数的要求,自动调节环境光线补偿器的亮度和角度,使照明条件符合要求;并根据接收到的补光参数和颜色校正参数,自动调整成像算法的参数,以获得最佳的光学成像效果;从而确保双目相机1在不同环境下都能保持良好的工作状态,并获得最佳的测量效果;其次,在具体实施中,还可计算图片在灰度图上的均值和方差,当存在亮度异常时,均值会偏离均值点,如:假设为128,方差也会偏小;通过计算灰度图的均值和方差,就可评估图像是否存在过曝光不足。当在室外光线太强时,通过直方图均衡,高斯滤波、WSL滤波、中值滤波操作来处理图像,以减少光线过强带来的副作用,以此提高测量精度;当检测到亮度不足时,可开启外部环境光线补偿器,用以提供充足合适的亮度,为图像质量提供保障。
图像处理单元,用于采用图像增强技术对双目相机1所获取的草木株高图像进行预处理,包括:切割、矫正、图像增强,阈值分割,形态学处理,ROI提取,以提高其清晰度和准确度,确保草木株高图像质量;图像处理单元,包括:
尺寸调整模块,用于对草木株高的原始图像进行切割,将原始图像分为多个小的区域,以便于后续的处理和识别;再对草木株高的原始图像进行几何校正,纠正由于相机或环境引起的扭曲和变形;具体的,通过对草木株高的原始图像进行切割,将图像分为多个小区域,使图像的大小和形状更适合后续的处理。同时,该模块还可对原始图像进行几何校正,以消除由于双目相机1或环境导致的图像扭曲和变形,从而大大提高了后续处理和识别的准确性及效率。
图像增强模块,用于对尺寸调整后的草木株高图像进行增强处理,包括:去除噪声、降低背景干扰、增加边缘锐化,确保草木株高图像的对比度和清晰度;具体的,通过对经过尺寸调整的草木株高图像进行增强处理,以确保草木株高图像的对比度和清晰度,使草木株高图像更易于后续的识别,提高整体草木株高图像的质量。
具体的,对所述草木株高图像进行图像增强,包括:
提取图像色彩校正之前的每个像素点的灰度值;
将所述图像色彩校正之前的每个像素点的灰度值与预设的灰度值阈值进行比较;
提取所述灰度值超过预设的灰度值阈值的像素点及其灰度值,作为第一像素点灰度值集合;
提取第一像素点灰度值集合中所包含的每个像素点对应的图像色彩校正之后的灰度值,作为第二像素点灰度值集合;
利用所述第一像素点灰度值集合所包含的灰度值和第二像素点灰度值集合所包含的灰度值获取第一对比度调节系数;
其中,所述第一对比度调节系数通过如下公式获取:
其中,U01表示第一对比度调节系数;n表示第一像素点灰度值集合中所包含的像素点的个数,并且,所述第一像素点灰度值集合和第二像素点灰度值集合中所包含的像素点的个数相同;H01i表示第一像素点灰度值集合中的第i个像素点的灰度值;H02i表示第一像素点灰度值集合中的第i个像素点对映到第二像素点灰度值集合中对应的的灰度值;Hy表示预设的灰度值阈值;H01b表示第一像素点灰度值集合中的n个像素点的灰度值标准差;H02b表示第二像素点灰度值集合中的n个像素点的灰度值标准差;s表示调节系数,并且,所述调节系数通过如下公式获取:
其中,s表示调节系数;H01i表示第一像素点灰度值集合中的第i个像素点的灰度值;H02i表示第一像素点灰度值集合中的第i个像素点对映到第二像素点灰度值集合中对应的的灰度值;Hy表示预设的灰度值阈值;
利用所述图像色彩校正之后的所有像素点的灰度值结合第一对比度调节系数对图像色彩校正之后的草木株高图像进行对比度调整。
上述技术方案的技术效果为:通过计算第一对比度调节系数(U01),该方案能够针对图像色彩校正后的草木株高图像进行精细的对比度调整。这种调整是基于图像中特定灰度值范围内的像素点(即灰度值超过预设阈值的像素点)进行的,因此能够更准确地改善图像的对比度,使图像中的细节更加清晰。调节系数(s)的计算考虑了像素点灰度值的变化情况,使得对比度调整具有自适应性。当图像中像素点的灰度值变化较大时,调节系数会相应增大,从而进行更强烈的对比度调整;反之,当灰度值变化较小时,调节系数会减小,避免过度调整导致的图像失真。该方案不仅考虑了图像色彩校正前的灰度值,还利用了校正后的灰度值来计算对比度调节系数。这种做法能够更全面地反映图像在色彩校正过程中的变化,从而更准确地调整对比度。通过对超过预设灰度值阈值的像素点进行单独处理,该方案能够在增强对比度的同时保留图像中的细节信息。这对于草木株高图像的识别和测量等应用来说是非常重要的,因为细节信息的保留有助于提高测量的准确性和可靠性。虽然该方案涉及多个步骤和计算过程,但每一步都是针对特定范围内的像素点进行的,因此具有较高的处理效率。此外,通过预设灰度值阈值来筛选像素点,还可以减少不必要的计算量,进一步提高处理速度。
综上所述,上述技术方案在对比度增强、自适应调节、灰度值校正的利用、细节保留以及处理效率等方面都表现出良好的技术效果。这些效果对于草木株高图像的图像增强和后续应用来说具有重要意义。
具体的,利用所述图像色彩校正之后的所有像素点的灰度值结合第一对比度调节系数对图像色彩校正之后的草木株高图像进行对比度调整,包括:
提取图像色彩校正之后的每个像素点的灰度值;
提取图像色彩校正之后的每个像素点的灰度值与图像色彩校正之前的每个像素点的灰度值获取第二对比度调节系数;
其中,所述第二对比度调节系数通过如下公式获取:
其中,U02表示第二对比度调节系数;m表示草木株高图像所包含的像素点的个数;Hxi表示图像色彩校正之前的第i个像素点的灰度值;Hhi表示图像色彩校正之后的第i个像素点的灰度值;Hy表示预设的灰度值阈值;H01b表示第一像素点灰度值集合中的n个像素点的灰度值标准差;H02b表示第二像素点灰度值集合中的n个像素点的灰度值标准差;Hfb表示草木株高图像所包含的m个像素点在图像色彩校正之前灰度值标准差;Hgb表示草木株高图像所包含的m个像素点在图像色彩校正之后灰度值标准差;
利用所述第一对比度调节系数和第二对比度调节系数对所述图像色彩校正之后的草木株高图像进行对比度调整;
其中,调整后的对比度数值通过如下公式获取:
其中,Yt表示调整后的对比度数值;Y0表示调整前的对比度数值;U01表示第一对比度调节系数;U02表示第二对比度调节系数。
上述技术方案的技术效果为:该方案采用了第一对比度调节系数(U01)和第二对比度调节系数(U02)的双重机制来进行对比度调整。第一对比度调节系数基于特定灰度值范围内的像素点(超过预设阈值的像素点)进行计算,而第二对比度调节系数则考虑了图像色彩校正前后所有像素点的灰度值变化。这种双重机制能够更全面地评估图像对比度的需求,并据此进行更精确的调整。通过计算第二对比度调节系数,该方案能够考虑到图像色彩校正对整体灰度值分布的影响。这种自适应性使得对比度调整能够更灵活地适应不同图像的色彩校正效果,从而确保调整后的图像在视觉上更加自然和舒适。该方案在对比度调整过程中,既考虑了整体灰度值的变化,又特别关注了特定灰度值范围内的像素点。这种处理方式有助于在增强对比度的同时保留图像中的细节信息,使得调整后的图像在清晰度、细节表现等方面都有所提升。虽然该方案涉及多个步骤和计算过程,但每一步都是基于图像色彩校正前后的灰度值进行的,因此具有较高的处理效率。同时,通过精确计算对比度调节系数,该方案能够确保对比度调整的准确性,避免过度调整或不足调整导致的图像失真。该技术方案不仅适用于草木株高图像的对比度调整,还可以扩展到其他类型的图像处理任务中。只要图像需要进行色彩校正和对比度调整,都可以尝试采用这种双重对比度调节机制来优化处理效果。
综上所述,上述技术方案在性能指标上展现出了双重对比度调节机制、自适应性与灵活性、细节保留与对比度增强、处理效率与准确性以及广泛的适用性等技术效果。这些效果共同作用于图像对比度调整的过程中,使得调整后的图像在视觉效果、细节表现和处理效率等方面都有所提升。
阈值分割模块,用于对增强处理后的草木株高图像进行阈值分割,将图像分为不同的区域,以便于后续的处理和识别;具体的,通过数学方法,如:Otsu’smethod对图像进行阈值分割,从而获得图像的二值图,从而可以将草木株高图像中的像素点分为两个类别,即:黑色和白色,便于后续的处理和识别。
形态学处理模块,用于对阈值分割后的草木株高图像进行形态学处理,包括:开运算、闭运算、腐蚀、膨胀以及仿射,以此达到去除噪声、增强边缘、连接相邻区域等功能,帮助消除图像中的不规则形状和不必要的细节,使图像更容易被后续的识别和分类所利用;具体的,通过对每个区块进行形态学处理,在保持草木株高图像整体结构的同时,尽可能地去除噪声和冗余信息,以便于后续的识别和分类;进一步的,开运算是一种膨胀的操作,通过膨胀操作,从而扩大草木株高图像中的区域,并合并草木株高图像中不相交的部分;闭运算是一种腐蚀的操作,可以减小草木株高图像中的区域,并合并图像中不相交的部分;仿射操作可连接相邻的区域,可把草木株高图像中的某些区域按照一定的规则进行拉伸和压缩,从而将草木株高图像中的不同部分进行联系起来,以获得更好的效果。
ROI提取模块,用于从阈值分割后的草木株高图像中提取出感兴趣区域,并对ROI进行植被分类,将区域分为不同的类别,以便于后续的分析;具体的,通过从处理后的图像中提取出感兴趣区域,并对ROI进行植被分类,将区域分为不同的类别;再对分类好的区域进行进一步的分析,包括:对植物的高度、生长密度等进行统计和预测;在本实施例中,如:对草木株高图像进行分析时,可将ROI提取模块应用于每一根植物的图像上,并对其进行植被分类。通过对植物的分类,可了解到每一种植物的生长状况,如:高度、生长密度等信息,从而为农业生产管理提供有用的参考信息。
特征提取单元,用于对预处理后的草木株高图像进行特征点提取,并采用立体视觉技术对所提取的特征点进行立体匹配,得到包含深度信息的视差图;特征提取单元,包括:
特征提取模块,用于采用SIFT算法从预处理后的草木株高图像中提取出多个特征点,多个关键点则为后续进行立体匹配的基础;具体的,通过使用SIFT算法对预处理后的草木株高图像进行特征提取,得到一系列特征点;该系列特征点是草木株高图像中草木本体局部结构的代表,可为后续的立体匹配和语义分析提供帮助;再对得到的特征点进行筛选,保留具有良好稳定性和唯一性的特征点,将被用于后续的立体匹配,以确定草木株高图像中的草木本体是否在不同的视角下保持一致。
特征匹配模块,用于将提取出的多个特征点与预先存储在立体视觉库中的特征点进行匹配,匹配的原则为:最大相似度、最小角距离,最大相似度是指两个特征点之间的相似度的最大值,亦为两个特征点之间所有可能的最小相似度的最大值。最小角距离是指两个特征点在空间中所形成的两个最短路径之间的最小距离,最大相似度、最小角距离均用来衡量两个特征点之间的关系密切程度的,相似度越大,表示两个特征点越相似,角距离越小,表示两个特征点之间的角度变化越小;具体的,将提取出的特征点和预先存储在立体视觉库中的特征点进行匹配,具体为:通过计算两个特征点之间的相似度或角距离,并基于该方法遍历每一个特征点,将其与立体视觉库中的每个特征点进行匹配,找出与其相似度或角距离最小的那个特征点;再将这个匹配结果返回,作为当前匹配的结果。
图片生成模块,用于获取每个匹配成功的特征对,并利用立体视觉原理计算出相应的视差值,得到多个视差值,再将多个视差值组成视差图;视差图包含了深度信息的图像,可以用于表示物体在空间中的位置关系;具体的,通过计算每个特征点到对应特征点的距离,得到每个特征点的深度值;再根据深度值的分布情况,确定每个像素点的深度值,并将其作为图像的一个像素值;通过插值等方式,将所有的像素值组合成一个完整的图像,得到视差图。
坐标计算单元,用于根据视差图为依据,通过三角测量原理计算视差图中每个匹配点的深度值;再结合双目相机1的内参数和外参数,以及三角测量得到的深度值,重建出每个像素点的三维坐标,得到草木株高图像的三维坐标;坐标计算单元,包括:
深度值获取模块,用于根据视差图为依据,通过三角测量原理中三角形内角和定理计算出视差线上两点连线之间的垂直距离,该距离为对应的特征点深度,重复此过程,得到视差图上每个匹配点所得的深度值;具体的,在本实施例中,如:假设视差图上已有两对匹配点为:A-B和C-D,其中AB和CD分别位于视差线上,则可先求出线段AB和CD的中点E和F,再用三角形内角和定理求出AE和CF的垂直距离;进一步的,可在三角形AEF和BED中求出一个角度θ,使得AE=EFsinθ,AF=FDsinθ,那么AE和AF就是视差图上对应点深度值的候选值;若两个候选值满足一定的精度要求,并且与其它匹配点深度估计值一致,则可认为该两个候选值是比较可靠的深度值,再重复此过程即可得到视差图上每个匹配点所得的深度值。
在具体实施中,由于双目相机1在现实生产生活中容易受到外界因素的影响而导致双目相机1光轴不平行,所以在进行三维重建之前,需要通过相机标定对两台相机的位置进行标定纠正。
如图7-图8所示:图中表述了经过标定后的双目相机位置模型;图中的包含现实世界一点P与两个相机所构成的三角关系,此三角关系即为恢复该点三维信息的关键;世界坐标系O-XYZ的坐标原点为图7中Z所代表的左摄像头的成像光心所定义的,左右相机成像水平面上的图像坐标系为Ol-XlYl,Or-XrYr;Pl(Xl,Yl)和Pr(Xr,Yr)分别是现实三维世界中点P通过双目相机1映射在左右图像坐标系面上的点;三维空间点的深度距离是P(x,y,z)点到与双目相机1基线B的垂直距离;因此,对于求解深度D的公式如下所示:
化简后可得:
其中,D表示图像深度;f表示为焦距;B表示为基线;Bf表示为基线B到成像平面M之间的距离;Xl表示为Pl位于x轴的坐标点;Xr表示为Pr位于x轴的坐标点。
坐标获取模块,用于利用三角函数关系,从已知的两个匹配点坐标和两个匹配点之间的角度,计算出第三个匹配点坐标,以及第三个匹配点与第一个匹配点之间的角度;重复此过程,得到视差图中所有匹配点的三维坐标;
具体的,对P点的三维坐标进行求解,求解公式如下所示:
其中,x表示为X轴;y表示为y轴;Z表示为物体相对于摄像头的深度;Bxl表示为基线B到Pl点位于X轴之间的距离;Byl表示为基线B到Pl点位于Y轴之间的距离;Bf表示为基线B到成像平面M之间的距离;Xl表示为Pl位于x轴的坐标点;Xr表示为Pr位于x轴的坐标点;yl表示为Pl位于Y轴的坐标点;yr表示为Pr位于Y轴的坐标点。
坐标确认模块,基于所有匹配点的三维坐标为依据,结合三角测量得到的深度值和双目相机1的内参数和外参数,内参数包括:相机内径和畸变系数,外参数包括:相机在空间中的位置和朝向以及每个匹配点的三维坐标,重建出每个像素点的三维坐标,得到草木株高图像的三维坐标;具体的,通过使用双目相机1的内参数和外参数,以及每个匹配点的三维坐标来重建三维图像,对每个匹配点进行反投影,从而将三维坐标还原到二维图像上;再根据双目相机1的外参数和每个像素点的三维坐标,将其转换为三维空间中的像素坐标;最后对于每个像素点,重复上述步骤,得到每个像素点的三维坐标。
图像写回模块,用于将得到的三维坐标至草木株高图像中,得到最终的具备深度信息的草木株高图像,该图像包括:草木植物的位置信息、草木植物的形态信息;具体的,通过对得到的三维坐标进行校正,使其与草木株高图像中相应像素点的深度信息匹配;根据校正后的三维坐标和图像深度信息,建立坐标到像素点的映射关系;利用上述的坐标到像素点的映射关系,将得到的三维坐标转换为相应的图像坐标,并使用该图像坐标和原始图像深度信息构建最终的草木株高深度图像;对于生成的草木株高深度图像,进一步进行处理,如:去除噪声、增强对比度等,以获得更加清晰的草木株高深度图像;该图像可以用来进一步分析植物的生长状况,以及评估植物的种植情况。
高度确认单元,用于选取深度图中的一部分随机点,对该部分随机点的深度进行排序,筛除掉最高点和最低点,对剩下的深度求均值,得到平均深度;再用固定高度减去平均深度,得到草木株高的平均高度;高度确认单元,包括:
随机点排序模块,用于选取深度图中的一部分随机点,随机点可以是深度值的某个范围内的点,如:深度值在某一范围之内的点;采用冒泡排序法对选出的这些点进行排序,并筛选出排序后深度最大的点和深度最小的点;因为这两个点可能是异常值,不具有代表性。对剩下的深度值进行求均值操作,得到所有点深度的平均值,该深度的平均值则代表整个草木株高图像的平均深度。高度计算模块,用于采用固定高度值减去平均深度,得到草木株高的平均高度。具体的,点的坐标(x,y)为点在640×480像素图像中的位置坐标,Z为点到双目相机1的距离,即:深度值。在目标范围内选取90个数据点,并获取点的坐标(x,y)与深度值,删除其中深度depth为0的无效点,将剩余有效点存入文件中。对文件中的有效点按深度的值进行排序,取中间的30个点,对这30个点取均值,即为筛选得到的数据。而植株高度由双目相机1与植株顶端竖直方向的平均距离,以及由双目相机1距离地面高度计算得到,根据双目相机1距离地面高度减去双目相机1与植株顶端竖直方向的平均距离,得到植株平均高度。
数据反馈单元,用于在得到草木株高的平均高度后,基于无线通信技术及时反馈至人机交互终端;以便用户能够根据这一信息做出相应的调整和管理,如:决定何时施肥、浇水等。
人机交互终端,用于实时接收草木株高图像及其计算所得的草木株高数据;并对草木株高图像及对应的数据按时间序列进行存储,得到同一片种植区域内草木株高数据库;具体的,通过按时间序列进行存储,可以比较不同日期或时期的草木株高,以获得生长趋势。也可以对不同区域的草木进行比较,以确定是否存在显著差异;同时生成可视化的报告和图表,可以帮助用户更好地理解植物的生长情况,并据此做出更明智的决策。
上述内容所达到的有益效果:通过上述方法,从而实现精准的近距离测量,减少了人工参与的需求;其次,该装置为便宜便捷的双目相机1,使得该装置具备成本低廉、高效快捷的优点;同时依托履带割草机3带动双目相机1位移,测量人员无需亲自到达现场,便可通过远程操控完成整个测量过程;同时,使其可在田间泥泞地形下自由穿梭,克服各种地形环境变化导致的相机倾斜,确保双目相机1不受地形和环境光约束,由此拓宽了该全天候草木株高测量装置的适用场景,提高了该全天候草木株高测量方法的可行性。
工作原理:通过双目相机1获取草木株高图像,对草木株高图像进行清晰度处理;再进行特征点提取,并对特征点进行立体匹配,得到具备深度信息的视差图,并根据视差图计算草木株高图像的三维坐标;选取视差图中的一部分随机点,对所有随机点的深度进行排序处理,并计算平均深度;再使用固定的高度减去平均深度,得到植株的平均高度。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.基于双目立体视觉的全天候草木株高测量方法,其特征在于,包括以下步骤:
步骤一、通过采用标定法对双目相机(1)进行标定,建立双目相机(1)的坐标系和实际世界坐标系之间的映射关系,并获取双目相机(1)的参数;
步骤二、通过双目相机(1)对植株进行俯视视角图像采集,对采集到的草木株高图像进行切割、矫正、滤波处理;并在识别到草木株高图像亮度不够时,自动开启环境光线补偿器进行补光操作;
步骤三、对增强后的草木株高图像进行特征点提取,并对所提取的特征点进行立体匹配,得到具备深度信息的视差图,并根据视差图计算草木株高图像的三维坐标;
步骤四、选取视差图中的一部分随机点,并对所有随机点的深度进行排序,筛除最高点和最低点,对剩下的深度求均值,得到平均深度;再用固定的高度减去平均深度,得到植株的平均高度。
2.基于双目立体视觉的全天候草木株高测量装置,应用于权利要求1所述的基于双目立体视觉的全天候草木株高测量方法中,其特征在于:包括双目相机(1),所述双目相机(1)连接处理子系统,处理子系统用于对双目相机(1)所获取的图像进行预处理,双目相机(1)通过固定杆(2)安装于履带割草机(3)上,履带割草机(3)与遥测终端(4)电性连接,遥测终端(4)用于远程对履带割草机(3)的移动和测量过程进行实时操控;
所述处理子系统,包括:
拍摄调整单元,用于在双目相机(1)对草木株高进行拍摄时,根据现场光照条件,自动开启环境光线补偿器进行光照补偿;并根据色彩偏差,通过颜色校正算法对获得的图像进行校正;
图像处理单元,用于采用图像增强技术对双目相机(1)所获取的草木株高图像进行预处理,包括:切割、矫正、图像增强,阈值分割,形态学处理,ROI提取;
特征提取单元,用于对预处理后的草木株高图像进行特征点提取,并采用立体视觉技术对所提取的特征点进行立体匹配,得到包含深度信息的视差图;
坐标计算单元,用于根据视差图为依据,通过三角测量原理计算视差图中每个匹配点的深度值;再结合双目相机(1)的内参数和外参数,以及三角测量得到的深度值,重建出每个像素点的三维坐标,得到草木株高图像的三维坐标;
高度确认单元,用于选取深度图中的一部分随机点,对该部分随机点的深度进行排序,筛除掉最高点和最低点,对剩下的深度求均值,得到平均深度;再用固定高度减去平均深度,得到草木株高的平均高度。
3.根据权利要求2所述的基于双目立体视觉的全天候草木株高测量装置,其特征在于:对所述草木株高图像进行图像增强,包括:
提取图像色彩校正之前的每个像素点的灰度值;
将所述图像色彩校正之前的每个像素点的灰度值与预设的灰度值阈值进行比较;
提取所述灰度值超过预设的灰度值阈值的像素点及其灰度值,作为第一像素点灰度值集合;
提取第一像素点灰度值集合中所包含的每个像素点对应的图像色彩校正之后的灰度值,作为第二像素点灰度值集合;
利用所述第一像素点灰度值集合所包含的灰度值和第二像素点灰度值集合所包含的灰度值获取第一对比度调节系数;
其中,所述第一对比度调节系数通过如下公式获取:
其中,U01表示第一对比度调节系数;n表示第一像素点灰度值集合中所包含的像素点的个数,并且,所述第一像素点灰度值集合和第二像素点灰度值集合中所包含的像素点的个数相同;H01i表示第一像素点灰度值集合中的第i个像素点的灰度值;H02i表示第一像素点灰度值集合中的第i个像素点对映到第二像素点灰度值集合中对应的的灰度值;Hy表示预设的灰度值阈值;H01b表示第一像素点灰度值集合中的n个像素点的灰度值标准差;H02b表示第二像素点灰度值集合中的n个像素点的灰度值标准差;s表示调节系数,并且,所述调节系数通过如下公式获取:
其中,s表示调节系数;H01i表示第一像素点灰度值集合中的第i个像素点的灰度值;H02i表示第一像素点灰度值集合中的第i个像素点对映到第二像素点灰度值集合中对应的的灰度值;Hy表示预设的灰度值阈值;
利用所述图像色彩校正之后的所有像素点的灰度值结合第一对比度调节系数对图像色彩校正之后的草木株高图像进行对比度调整。
4.根据权利要求3所述的基于双目立体视觉的全天候草木株高测量装置,其特征在于:利用所述图像色彩校正之后的所有像素点的灰度值结合第一对比度调节系数对图像色彩校正之后的草木株高图像进行对比度调整,包括:
提取图像色彩校正之后的每个像素点的灰度值;
提取图像色彩校正之后的每个像素点的灰度值与图像色彩校正之前的每个像素点的灰度值获取第二对比度调节系数;
其中,所述第二对比度调节系数通过如下公式获取:
其中,U02表示第二对比度调节系数;m表示草木株高图像所包含的像素点的个数;Hxi表示图像色彩校正之前的第i个像素点的灰度值;Hhi表示图像色彩校正之后的第i个像素点的灰度值;Hy表示预设的灰度值阈值;H01b表示第一像素点灰度值集合中的n个像素点的灰度值标准差;H02b表示第二像素点灰度值集合中的n个像素点的灰度值标准差;Hfb表示草木株高图像所包含的m个像素点在图像色彩校正之前灰度值标准差;Hgb表示草木株高图像所包含的m个像素点在图像色彩校正之后灰度值标准差;
利用所述第一对比度调节系数和第二对比度调节系数对所述图像色彩校正之后的草木株高图像进行对比度调整;
其中,调整后的对比度数值通过如下公式获取:
其中,Yt表示调整后的对比度数值;Y0表示调整前的对比度数值;U01表示第一对比度调节系数;U02表示第二对比度调节系数。
5.根据权利要求2所述的基于双目立体视觉的全天候草木株高测量装置,其特征在于:还包括:
数据反馈单元,用于在得到草木株高的平均高度后,基于无线通信技术及时反馈至人机交互终端;
人机交互终端,用于实时接收草木株高图像及其计算所得的草木株高数据;并对草木株高图像及对应的数据按时间序列进行存储,得到同一片种植区域内草木株高数据库。
6.根据权利要求2所述的基于双目立体视觉的全天候草木株高测量装置,其特征在于:所述拍摄调整单元,包括:
模型训练模块,用于收集各种不同的光照条件和草木类型的历史数据,作为多种样本;采用神经网络模型对每种样本进行训练,根据样本信息输出相应的调整方案,每种样本所对应的调整方案均包括:补光参数和颜色校正参数;
方案获取模块,用于根据训练后的神经网络模型对现场光照条件及草木类型进行预测,得到现场所需的补光参数和颜色校正参数;
自动调整模块,用于根据得到的补光参数和颜色校正参数为依据,自动开启环境光线补偿器进行光照补偿,并自动启用颜色校正算法对获得的图像进行校正。
7.根据权利要求2所述的基于双目立体视觉的全天候草木株高测量装置,其特征在于:所述图像处理单元,包括:
尺寸调整模块,用于对草木株高的原始图像进行切割,将原始图像分为多个小的区域;再对草木株高的原始图像进行几何校正,纠正由于相机或环境引起的扭曲和变形;
图像增强模块,用于对尺寸调整后的草木株高图像进行增强处理,包括:去除噪声、降低背景干扰、增加边缘锐化;
阈值分割模块,用于对增强处理后的草木株高图像进行阈值分割,将图像分为不同的区域;
形态学处理模块,用于对阈值分割后的草木株高图像进行形态学处理,包括:开运算、闭运算、腐蚀、膨胀以及仿射;
ROI提取模块,用于从阈值分割后的草木株高图像中提取出感兴趣区域,并对ROI进行植被分类,将区域分为不同的类别。
8.根据权利要求2所述的基于双目立体视觉的全天候草木株高测量装置,其特征在于:所述特征提取单元,包括:
特征提取模块,用于采用SIFT算法从预处理后的草木株高图像中提取出多个特征点,多个关键点则为后续进行立体匹配的基础;
特征匹配模块,用于将提取出的多个特征点与预先存储在立体视觉库中的特征点进行匹配;
图片生成模块,用于获取每个匹配成功的特征对,并利用立体视觉原理计算出相应的视差值,得到多个视差值,再将多个视差值组成视差图。
9.根据权利要求2所述的基于双目立体视觉的全天候草木株高测量装置,其特征在于:所述坐标计算单元,包括:
深度值获取模块,用于根据视差图为依据,通过三角测量原理中三角形内角和定理计算出视差线上两点连线之间的垂直距离,垂直距离为对应的特征点深度,得到视差图上每个匹配点所得的深度值;对于求解深度值的公式如下所示:
其中,D表示图像深度;f表示为焦距;B表示为基线;Bf表示为基线B到成像平面M之间的距离;Xl表示为Pl位于x轴的坐标点;Xr表示为Pr位于x轴的坐标点;
坐标获取模块,用于利用三角函数关系,从已知的两个匹配点坐标和两个匹配点之间的角度,计算出第三个匹配点坐标,以及第三个匹配点与第一个匹配点之间的角度;得到视差图中所有匹配点的三维坐标;求解匹配点三维坐标的公式如下所示:
其中,x表示为X轴;y表示为y轴;Z表示为物体相对于摄像头的深度;Bxl表示为基线B到Pl点位于X轴之间的距离;Byl表示为基线B到Pl点位于Y轴之间的距离;Bf表示为基线B到成像平面M之间的距离;Xl表示为Pl位于x轴的坐标点;Xr表示为Pr位于x轴的坐标点;yl表示为Pl位于Y轴的坐标点;yr表示为Pr位于Y轴的坐标点;
坐标确认模块,基于所有匹配点的三维坐标为依据,结合三角测量得到的深度值和双目相机(1)的内参数和外参数,重建出每个像素点的三维坐标,得到草木株高图像的三维坐标;
图像写回模块,用于将得到的三维坐标至草木株高图像中,得到最终的具备深度信息的草木株高图像,草木株高图像包括:草木植物的位置信息、草木植物的形态信息。
10.根据权利要求2所述的基于双目立体视觉的全天候草木株高测量装置,其特征在于:所述高度确认单元,包括:
随机点排序模块,用于选取深度图中的一部分随机点,采用冒泡排序法对选出的这些点进行排序,并筛选出排序后深度最大的点和深度最小的点;对剩下的深度值进行求均值操作,得到所有点深度的平均值,该深度的平均值代表草木株高图像的平均深度;
高度计算模块,用于采用固定高度值减去平均深度,得到草木株高的平均高度。
CN202411967173.0A 2024-12-30 2024-12-30 基于双目立体视觉的全天候草木株高测量方法及装置 Pending CN119887876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411967173.0A CN119887876A (zh) 2024-12-30 2024-12-30 基于双目立体视觉的全天候草木株高测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411967173.0A CN119887876A (zh) 2024-12-30 2024-12-30 基于双目立体视觉的全天候草木株高测量方法及装置

Publications (1)

Publication Number Publication Date
CN119887876A true CN119887876A (zh) 2025-04-25

Family

ID=95423602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411967173.0A Pending CN119887876A (zh) 2024-12-30 2024-12-30 基于双目立体视觉的全天候草木株高测量方法及装置

Country Status (1)

Country Link
CN (1) CN119887876A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070472A1 (en) * 2013-09-11 2015-03-12 National Taiwan University Measuring apparatus for three-dimensional profilometry and method thereof
CN109115776A (zh) * 2018-08-27 2019-01-01 江苏大学 一种基于颜色和深度信息的穴盘苗长势无损监测方法和装置
CN117128874A (zh) * 2023-09-18 2023-11-28 吉林大学 一种基于机器视觉的农作物植株高遥测方法及系统
CN118424119A (zh) * 2024-04-15 2024-08-02 宿迁学院 一种多地形全天候株高测量装置及其株高测量方法
RU2828596C1 (ru) * 2024-04-08 2024-10-14 Общество с ограниченной ответственностью "ДИДЖИТАЛ РЕСЕРЧ" Способ определения параметров лесного массива

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070472A1 (en) * 2013-09-11 2015-03-12 National Taiwan University Measuring apparatus for three-dimensional profilometry and method thereof
CN109115776A (zh) * 2018-08-27 2019-01-01 江苏大学 一种基于颜色和深度信息的穴盘苗长势无损监测方法和装置
CN117128874A (zh) * 2023-09-18 2023-11-28 吉林大学 一种基于机器视觉的农作物植株高遥测方法及系统
RU2828596C1 (ru) * 2024-04-08 2024-10-14 Общество с ограниченной ответственностью "ДИДЖИТАЛ РЕСЕРЧ" Способ определения параметров лесного массива
CN118424119A (zh) * 2024-04-15 2024-08-02 宿迁学院 一种多地形全天候株高测量装置及其株高测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WAN-SOO KIM等: ""Stereo-vision-based crop height estimation for agricultural robots"", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》, 30 December 2020 (2020-12-30) *

Similar Documents

Publication Publication Date Title
CN105825173B (zh) 通用道路和车道检测系统与方法
CN115375842A (zh) 一种植株三维重建方法、终端及存储介质
CN114283400B (zh) 一种智能沿边清扫与路面清洁度判定集成方法
CN110647850A (zh) 一种基于逆透视原理的车道偏移自动测量方法
CN114283167B (zh) 一种基于视觉的清扫区域检测方法
CN113313116B (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN113674218A (zh) 焊缝特征点提取方法、装置、电子设备与存储介质
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN112200854B (zh) 一种基于视频图像的叶类蔬菜三维表型测量方法
CN115236643A (zh) 一种传感器标定方法、系统、装置、电子设备及介质
CN113744191A (zh) 一种卫星遥感影像自动云检测方法
Magistri et al. Towards in-field phenotyping exploiting differentiable rendering with self-consistency loss
CN119224743A (zh) 一种激光雷达与相机外在参数校准方法
CN120431437B (zh) 一种高反射环境下抑制激光雷达假回波的方法
CN120689835A (zh) 一种自移动设备的障碍物识别方法、自移动设备及介质
CN118229903B (zh) 一种基于多模态数据的新型基础测绘方法和系统
CN119887876A (zh) 基于双目立体视觉的全天候草木株高测量方法及装置
CN115108466A (zh) 一种集装箱吊具智能定位的方法
CN118274795B (zh) 一种火情经纬度坐标定位方法及装置
CN119445372A (zh) 一种畦沟识别算法的优化方法
Li et al. Three-dimensional reconstruction and phenotypic identification of the wheat plant using RealSense D455 sensor
CN120014460B (zh) 基于多源数据融合的智能机器人茶叶嫩梢采摘点识别方法
LU600174B1 (en) Combined navigation method and navigation system for vegetable seeders based on beidou and vision
CN119919795B (zh) 宜机化甘蓝穴盘幼苗叶片直立度与最大叶展识别方法
CN120635212B (zh) 一种轻量化旋转目标检测方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination