[go: up one dir, main page]

CN109154978A - 用于检测植物疾病的系统和方法 - Google Patents

用于检测植物疾病的系统和方法 Download PDF

Info

Publication number
CN109154978A
CN109154978A CN201780029151.1A CN201780029151A CN109154978A CN 109154978 A CN109154978 A CN 109154978A CN 201780029151 A CN201780029151 A CN 201780029151A CN 109154978 A CN109154978 A CN 109154978A
Authority
CN
China
Prior art keywords
image
color
plant
disease
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780029151.1A
Other languages
English (en)
Other versions
CN109154978B (zh
Inventor
J·亚历山大
T·艾格斯
A·皮肯
A·阿尔瓦雷斯-吉拉
A·M·奥尔蒂斯巴雷多
A·M·迪茨-纳瓦雅斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BASF SE
Original Assignee
BASF SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BASF SE filed Critical BASF SE
Publication of CN109154978A publication Critical patent/CN109154978A/zh
Application granted granted Critical
Publication of CN109154978B publication Critical patent/CN109154978B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098—Plants or trees
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Botany (AREA)
  • Wood Science & Technology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种用于确定植物疾病的系统(100)、方法和计算机程序产品。该系统包括接口模块(110)，被配置为接收植物的图像(10)，该图像(10)包括至少一个植物元素(1)的视觉表示(11)。颜色归一化模块(120)被配置为将颜色恒常方法应用于接收的图像(10)以生成颜色归一化图像；提取器模块(130)，被配置为从颜色归一化图像中提取一个或多个图像部分(11e)，其中提取的图像部分(11e)对应于至少一个植物元素(1)；过滤模块(140)，被配置为：由提取的图像部分(11e)内的一个或多个视觉特征识别一个或多个聚类(C1至Cn)，其中每个聚类与示出植物疾病特征的植物元素部分相关联；并且，通过使用贝叶斯分类器根据预定义阈值从所识别的一个或多个聚类(C1至Cn)过滤一个或多个候选区域，所述贝叶斯分类器对总是存在于患病植物图像上的视觉特征统计进行建模；植物疾病诊断模块(150)，被配置为通过使用统计推断方法从每个候选区域(C4，C5，C6，Cn)提取一个或多个视觉特征，以针对每个候选区域确定指示特定疾病的一个或多个概率；并且通过评估候选区域(C4，C5，C6，Cn)的所有确定的概率来计算特定疾病的置信度得分(CS1)。

Description

用于检测植物疾病的系统和方法
技术领域
本发明一般涉及植物疾病的确定，并且更特别地涉及具有统计推断方法支持的植物疾病的基于图像的诊断。
背景技术
一些植物疾病在植物叶子的表面上示出疾病特异性指示物。例如，真菌疾病，诸如真菌早期疾病(例如，壳针孢属(Septoria)、叶枯病菌(S.tritici)和颖枯壳针孢(S.nodorum))、真菌晚期疾病(例如，小麦锈病(Wheat Rusts))和长蠕孢属(Helminthosporium)的真菌疾病通常引起植物叶子的变化，它们示出可视觉分析的疾病特异性的斑点或斑。
过去已经提出了计算机化的视觉诊断方法。例如，论文“Leaf Disease Gradingby Machine Vision and Fuzzy Logic”(Arun Kumar R等人在Int.J.Comp.Tech.Appl.第2(5)卷第1709-1716页)公开了一种将植物叶子上的疾病进行自动分级的方法。所提出的系统使用图像处理技术来分析患病植物的图像中的颜色特定信息。对图像中的每个像素执行K均值聚类方法以提取具有患病斑点的聚类。保存分割的图像并计算总叶子面积。最后，通过利用模糊逻辑来确定特定疾病，对在植物叶子上传播的疾病进行分级。这种基于图像处理的方法需要高计算量。
在Jun Zhou等人在IGI Global 2015年第14章“Cell Phone Image-Based PlantDisease Classification”的“Computer Vision and Pattern Recognition inEnvironmental Informatics”中，提出了植物疾病诊断的计算框架。提出了各种图像描述符，诸如颜色通道、图像梯度、LBP等，以及提取所需特征的侵蚀算法。在预处理阶段中，使用滤色器并设置阈值。高于该阈值的值形成候选区域的二进制图像，该候选区域使用形态学过滤。通过计算从前一步骤或整个图像提取的每个连接区域的特征来执行后续特征提取。然而，所公开的解决方案没有提出如何确定特定疾病的全局存在。相反，分别检测和分析几个候选者，这可能不太可靠。此外，所公开的疾病分析在记录患病植物的植物图像时对光条件的鲁棒性较差，因为它不允许对记录的图像进行照明和/或摄影改变并适应它们。
发明内容
需要提供基于图像处理的植物疾病识别，同时减少现有技术系统所需的计算工作，并且同时提高疾病识别的可靠性。
独立权利要求中公开的本发明的实施例提供了通过基于图像处理的技术结合统计推断方法来检测植物疾病的系统、方法和计算机程序产品以解决上述技术问题。如在此所用的植物疾病检测包括确定特定疾病存在的概率。通常，植物疾病对植物元素(例如叶、根、花、果实、鲜花、茎等)的表面造成特征性损害。因此，特征斑点或斑在患病植物的一些元素上变得可见。
在一个实施例中，一种用于检测植物疾病的系统包括被配置为接收植物图像的接口模块。例如，图像可以由与系统通信耦接的数字相机记录。该系统可以是计算系统，诸如例如个人计算机、服务器计算机、智能电话、平板计算机等。例如，相机可以经由通用串行总线(USB)接口与系统连接，或者它可以经由无线通信标准(例如，蓝牙)与系统通信。相机可以是网络摄像头或包括专业高分辨率相机的任何其它数字相机。在一些实施例中，相机可以是系统的组成部分，因为通常是智能电话或平板计算机的情况，在这种情况下，接口模块是系统内部接口。由相机记录的图像包括至少一个植物元素的视觉表示。在以下描述中，植物叶子用作植物元素的代表。然而，本领域技术人员可以将植物背景下的教导应用于植物的任何其它元素。至少一种植物叶子属于植物(例如，作物、小麦等)，并且可以关于潜在疾病进一步分析。该图像可以由系统存储在系统的存储器部分中，在该存储器部分中，图像可以由系统的各种图像处理模块访问。
该系统进一步具有颜色归一化模块，该颜色归一化模块将颜色恒常方法应用于所接收的图像以生成颜色归一化图像。颜色归一化模块可以由图像处理功能来实施，以通过相应地处理接收图像的像素来执行颜色恒常方法。例如，合适的颜色恒常方法是：灰度算法(参见G.D.Finlayson和E.Trezzi在颜色和成像会议2004年1月2004卷第1期第37-41页的“Shades of Gray and Colour Constancy”)、灰度世界算法(参见G.Buchsbaum在富兰克林研究所杂志1980年第310卷第1期第1-26页的“A spatial processor model for objectcolour perception”)、灰度边缘算法(参见J.van de Weijer、T.Gevers和A.Gijsenij在IEEE Transactions on Image Processing 2007年9月第16卷第9期第2207-2214页的“Edge-Based Color Constancy”)，以及Max-RGB算法(参见E.H.Land和J.J.McCann在JOSA1971年第61卷第1期第1-11页的“Lightness and reinex theory”；E.H.Land在科学美国人1977年第237卷第6期第108页的“The retinex theory of color vision”)。颜色归一化方法可用于减少或甚至消除由不同照明情况引起的影响。例如，可以在阳光照射下记录第一图像，在雨天记录第二图像。对于这种图像的进一步处理，有利的是使颜色归一化图像作为疾病分析的起始点，其在由于不同照明情况而仅存在低颜色变化的意义上非常相似。
该系统进一步具有提取器模块，该提取器模块被配置为从颜色归一化图像中提取一个或多个图像部分。当在颜色归一化图像上而不是原始记录图像上执行时，便于植物元素提取(例如，叶子分割)。以这种方式建立植物元素提取：从颜色归一化图像提取的提取部分对应于(涉及)至少一个植物元素。也就是说，提取器执行图像处理操作，该图像处理操作将与植物元素相关联的图像部分与图像中的其它部分(例如，图像背景)分割。提取器的不同实施例是可能的。例如，叶子提取器可以使用灰板分割算法作为提取方法。灰板分割使用颜色饱和度和边界信息来提取与至少一个植物元素对应的图像部分。可替代地，可以使用手动分割算法作为提取方法。因此，由系统接收植物元素掩模作为来自用户的输入，并且Chan-Vese分割可用于平滑和细化所接收的掩模。在另一个实施例中，自然图像分割算法可以用作提取方法。自然图像分割借助于颜色分布使用颜色归一化图像的预分割，并采用边界分布、颜色和基于LBP的纹理分析图像的每个斑点，以测量其属于植物元素的概率。
在一个可选实施例中，颜色归一化模块进一步被配置为将一种或多种颜色恒常方法应用于所提取的一个或多个图像部分，以对提取的一个或多个图像部分进行颜色归一化。应用于提取部分的这种附加颜色归一化步骤可以进一步改善系统的后续图像处理阶段的图像，并且便于图像中的对象识别。
该系统进一步具有过滤模块。过滤模块可以执行两个功能，该两个功能导致图像的部分的可靠识别，该图像的部分包括示出植物疾病特征的植物元素的这些部分。过滤器的第一功能是聚类功能，该聚类功能被配置为由提取的图像部分内的一个或多个视觉特征来识别聚类。每个识别的聚类与示出植物疾病特征的植物元素的一部分相关联。有利地，视觉特征可以是颜色通道，诸如例如R、G、B、H、S、L、a、b和/或用于强调疾病的其它颜色通道。代替颜色通道或除了颜色通道之外，可以使用其它视觉聚类特征(例如，纹理)。第二功能是朴素贝叶斯分类器(在此也简称为贝叶斯分类器)，该朴素贝叶斯分类器对总是出现在示出具有相应疾病的植物的图像上的视觉特征统计进行建模。贝叶斯分类器充当过滤器以根据预定义阈值过滤所识别的聚类。预定义阈值被配置为确定一个或多个候选区域，并控制检测到的元素部分的百分比以限定示出植物疾病特征的候选区域。例如，当经由训练模块训练贝叶斯分类器时，可以在训练过程中设置阈值。由贝叶斯分类器应用的过滤器函数在识别真阳性时具有高度可靠性，作为用于进一步图像处理的候选区域。例如，可以以这种方式设置阈值：99％的过滤元素部分实际上示出一种或多种疾病的特征。鉴于全图像内容，与整个图像的像素数量相比时，所识别的候选区域通常仅覆盖相对少量的像素。结果，由贝叶斯过滤器机制显著减少了用作图像处理的下一阶段的基础的数据量，这显著减少了后续图像处理阶段的数据处理工作量。
在一个可选实施例中，不同的植物疾病可以与不同的图像-疾病-特征相关联，并且过滤模块可以进一步被配置为根据识别的图像-疾病-特征通过植物疾病将提取的图像部分进行聚类。例如，不同的疾病可以与不同的颜色通道相关联，并且聚类步骤已经可以由颜色通道(即，由疾病)执行聚类。因此，贝叶斯分类器也可以基于多个颜色通道。例如，可以在包括Lab、HSL和特定颜色通道的所选颜色通道上执行过滤，以映射壳针孢属疾病中的属性。例如，可以借助于诸如扩张和侵蚀的形态学操作来细化分割区域。可以调整特殊处理以检测壳针孢属类的疾病的内部和外部区域。
在一个实施例中，在使用预定义限制阈值时过滤模块没有确定候选区域的情况下，过滤模块可以在第二次检测尝试时再次使用限制较少的阈值进行检查。换句话说，过滤模块可以执行先前描述的过滤机制的多次迭代，并且在每次迭代中，可以修改(例如，减小)预定义阈值，直到识别出至少一个候选区域。
在一个实施例中，在使用预定义阈值时，在过滤模块没有确定候选区域的情况下，过滤模块可以将具有最高概率的聚类确定为后续图像处理阶段的候选区域。
该系统进一步包括植物疾病诊断模块，该植物疾病诊断模块最终确定在拍摄的植物上存在哪种疾病。诊断模块还执行两个功能。
在第一功能中，基础分类器从每个候选区域提取一个或多个视觉特征，以针对每个候选区域确定指示特定疾病的一个或多个概率。基础分类器使用统计推断方法以便确定概率。在一个实施例中，基础分类器从候选区域提取视觉描述符和分类器，并使用机器学习技术来确定一个或多个概率。在另一实施例中，统计推断方法借助于卷积神经网络架构从候选区域执行视觉特征提取，并使用深度学习技术来确定一个或多个概率。
在植物疾病诊断模块的第二功能中，元分类器通过评估候选区域的所有确定的概率来计算特定疾病的置信度得分。
所提出的系统可以经由应用于患病植物图像的图像处理技术为植物疾病提供可靠的诊断结果。该系统是有效的，因为它不在疾病确定方法的所有阶段处理整个图像，而是在图像的颜色归一化版本上应用贝叶斯过滤器，这显著减少了要处理的数据量。这允许使用功能较弱的硬件或释放系统(存储器和CPU功率)的计算资源以用于其它任务。
借助于所附权利要求中特别描述的元件和组合，将实现和获得本发明的其它方面。应当理解，前面的一般性描述和下面的详细描述二者都只是示例性和说明性的，并不是对所描述的本发明的限制。
附图说明
图1是根据本发明的实施例的用于检测植物疾病的系统的简化框图；
图2是根据本发明的实施例的由系统执行的用于检测植物疾病的方法的简化流程图；
图3示出具有三种不同植物疾病的植物叶子的照片；
图4A、4B示出根据本发明的实施例的聚类结果的示例；
图5示出锈色聚类的累积概率分布图的示例；
图6示出根据本发明的实施例的诊断模块的细节；
图7A至7C示出根据本发明的实施例的叶子提取的不同可能性；
图8A、8B示出用于单一疾病和多疾病检测的系统的两个实施例；以及
图9是示出可以在本发明的实施例中使用的通用计算机设备和通用移动计算机设备的示例的图。
具体实施方式
图1是根据本发明的实施例的用于检测植物疾病的系统100的简化框图。将在图2的上下文中讨论图1，图2是根据本发明的实施例的由图1的系统100执行的用于检测植物疾病的方法1000的简化流程图。因此，附图标记可以参考图1或图2。
系统100可以是配备有适当硬件和软件以执行以下描述中公开的图像处理步骤和统计的任何计算设备。该系统可以是通用计算机，但它也可以是移动设备，诸如具有足够计算资源(存储器、CPU、软件模块)的智能电话或平板计算机。例如，系统100可以是由农民携带的手持设备，该农民正在检查具有农作物的田地，并且想要分析示出可能表明植物疾病的显著特征的植物样本(例如真菌早期疾病，诸如壳针孢属、叶枯病菌和颖枯壳针孢；真菌晚期疾病，诸如小麦锈病，或长蠕孢属)。
在一个实施例中，手持设备(例如，智能电话)可以包括数字相机90，农民可以使用该数字相机90来记录可疑植物的图像10。图像10包括至少一个植物元素1的视觉表示11。在该示例中，植物元素是叶子1。
在一些实施例中，系统100可以是远程服务器或安装在农民的拖拉机上的计算机，并且农民可以使用具有相机90的手持设备来拍摄植物的图片，其中图片可以经由适当的接口从相机发送到远程系统100。移动通信标准可用于建立相机110与系统100的通信耦接。
在一个实施例中，所选择的移动设备(例如，智能电话)可以配备有特定的显微镜镜头和照明系统，或者它可以经由USB接口与手持数字显微镜(例如，由美国威尔逊维尔的Bodelin Technologies提供的ProScope HR)通信耦接，以提供植物叶子的高倍放大图像。
系统100经由接口110接收1100记录的图像10。在相机90是系统100的集成组件的这种实施例中，接口110可以仅是内部总线，该内部总线被配置为在系统100的不同组件或模块之间交换图像数据。接收的图像数据10被存储或缓冲在系统100的存储器(未示出)的对应部分中。例如，存储器可具有保留的特定部分，用于以相应格式(例如，JPEG、PDF、PNG等)存储图像数据。然后，如在此所公开的图像处理功能可以在其相应的存储/缓冲位置处访问和处理图像。
系统100包括颜色归一化模块120(CNM)。CNM 120可以将颜色恒常方法应用于1200整个接收图像10以生成颜色归一化图像。通常，记录图像10可以呈现颜色可变性，该颜色可变性可以通过使用颜色恒常方法来减少，诸如灰度算法、灰度世界算法、灰度边缘算法或Max-RGB算法。颜色恒常方法使用外部信息，诸如例如已知颜色的参考对象的中性色信息(例如，灰板或灰卡)。该信息可用于对记录图像的同时存在的照明条件进行建模，并执行将拍摄(记录)的颜色映射到公共颜色参考系统的基于外部参考的颜色归一化。颜色归一化使得校正的图像在图像记录期间对于改变的照明条件更加鲁棒。
通过分析和开发用于记录的图像的颜色归一化模型，可以进一步改善结果。可以采用不同的相机设备训练模型，并且可以执行设备间测试。不同相机类型之间的颜色对比度可能不同。例如，如果给定的相机设备拍摄具有非常浅的颜色的图片而另一个相机设备拍摄非常多彩的图片，则仅基于呈现彩色图像的设备的图像的训练可能导致缺少以彩色斑点为特征的疾病，该图像由浅色相机装置记录。在该示例中，相应斑点的外观不会像用捕获更多彩色图片的相机设备训练的相应分类器所预期的那样多彩。所应用的颜色恒常方法消除或至少减弱与各种相机设备的采集参数和硬件参数相关的差异。这导致更好的分类结果。基于使用灰板作为背景获取的图像的再训练模型获得比示出自然背景的图像更好的结果。因此，灰板可能适合于提高关于疾病识别的系统精度。
然而，支持具有相同型号的多个相机设备可能是有趣的。例如，这可以通过用几个设备的图像训练模型来实现。可替代地或另外地，可以对每个相机设备进行参数化以自动对颜色映射、分辨率和放大率进行归一化。可替代地或另外地，可以开发图像归一化方法以减少图像采集/记录条件的可变性。
系统100的提取器模块130(EM)然后可以从颜色归一化图像中提取1300一个或多个图像部分11e，其中提取的图像部分11e对应于至少一种植物元素1(例如，叶、根、花、果、鲜花、茎等)。也就是说，EM 130可以将图像内容减少到图像的相关部分，其中示出了叶子的图形表示。图像背景不能为植物的疾病识别提供任何有意义的信息。对于叶子提取，EM130可以使用各种方法。例如，可以使用灰板叶子分割算法，其使用颜色饱和度和边界信息来提取与至少一个植物叶子1对应的图像部分11e。在另一个示例中，可以使用手动叶子分割算法，其中接收叶子掩模作为来自用户的输入，并且随后，Chan-Vese分割用于平滑和细化接收的掩模。在另一个示例中，使用自然图像分割算法，其借助于颜色分布使用颜色归一化图像的预分割，并且采用边界分布、颜色和基于LBP的纹理分析每个斑点以测量其属于植物的叶子的概率。在图7A至图7C的上下文中更详细地讨论EM 130的三个实施例。
作为植物元素提取(例如，叶子分割)的结果，仅通过叶子分割算法识别属于原始图像中的叶子的图形表示11的颜色归一化图像10cn的这些部分。因此，不一定需要识别所有这些部分。
在系统100的可选实施例中，CNM 120可以进一步被配置为将一个或多个颜色恒常方法应用1400于由EM 130提供的提取的一个或多个图像部分11e，以进一步对提取的一个或多个图像部分进行颜色归一化。通过将颜色恒常方法重新应用于图像的提取元素部分，可以生成改进的颜色归一化图像10cn，因为颜色恒常方法仅应用于图像的潜在相关部分，因此，避免了可能由完整图像中包括的不相关背景部分(例如，土壤、石头等)引起的人工颜色归一化效果。
系统100进一步具有过滤模块140(FM)。FM 140用于通过对这些元素部分执行聚类来对图像的植物元素的提取部分进行主要分割。此外，FM 140对所识别的聚类执行贝叶斯检查以掩蔽和预选植物元素上示出植物疾病特征的区域。然后将这种预选区域作为候选区域呈现给系统100的其它分析模块。
主要分割可以由聚类子模块141执行。通过聚类进行分割在本领域中是公知的(参见Forsyth、Ponce在Pearson Education ISBN 0-13-085198-1第301-3017页的“ComputerVision–A Modern Approach”)。聚类器141也可以实施为系统100中的独立模块，其从EM130接收提取的植物元素部分11e。聚类器141通过提取的图像部分11e内的一个或多个视觉特征识别1500一个或多个聚类C1至Cn。聚类是具有相似视觉特征值(例如，颜色值或纹理值)的一组像素。因此，每个聚类与示出植物疾病特征的叶子部分相关联。例如，提取的部分11e的聚类可以基于单个颜色通道(例如，b通道的暗水平)。然而，当支持多色通道方法时，聚类器141可以更好地处理新疾病的增加的复杂性和可变性。通过多色通道方法，FM140对于新疾病变得可调。也就是说，改善了FM 140的灵活性。例如，不同的颜色可表示不同的疾病。在该实施例中，对提取的图像部分进行聚类可以导致根据所识别的图像-疾病-特征通过植物疾病分类的聚类，其中特定疾病与特定颜色相关联。可用于识别用于聚类的植物疾病的特征的分割参数列表包括诸如一个或多个颜色通道或纹理特征的视觉特征等等。此外，诸如聚类的数量、所选择的患病聚类的召回百分比、所包括的颜色通道或视觉特征、分层聚类的必要性或叶子面积的减少的配置特征也可以用作分割参数。
用于聚类的一个或多个视觉特征可以是从以下组中选择的颜色描述符或纹理描述符：
-局部L、a、b、H、S、R、G或B颜色通道平均值和方差；
-局部L、a、b、H、S、R、G或B颜色通道颜色直方图；
-“局部对立颜色映射”直方图；
-L、a、b、H、S、R、G或B通道上的局部二进制模式(LBP)描述符；
-L、a、b、H、S、R、G或B通道上的统一LBP描述符；
-LOC映射上的统一LBP描述符；
-L、a、b、H、S、R、G或B通道上的类似DSIFT的描述符；
-高级滤色器组LINC和SLINC；以及
-以视觉词语量化和编码的任何先前描述符。
例如，疾病锈病和长蠕孢属在视觉上完全不同。这可以在图3的图像中看到。图像320示出用智能电话的低放大率相机记录的叶子上的长蠕孢属。图像321用放大设备记录并示出相同的疾病。图像330示出用低放大率相机记录的叶子上的锈病。图像331用放大设备记录并示出相同的疾病。然而，锈病和长蠕孢属共享显著的相似性，因为它们在叶子表面上引起相对小的局部化斑点。然而，壳针孢属(参见图3，低放大率图像340，高放大率图像341)是完全不同类型的疾病，其通常影响叶子的整体视觉外观，因为它影响叶子表面的较大区域。因此，可以生成FM 140的特定配置以同样包括聚类中的壳针孢属疾病的视觉特征。例如，大面积疾病斑点(例如，壳针孢属)通常示出外环和内环作为特性性特征。主要分割模块可以通过在聚类器141使用的相应模型中包括这种特征来支持这种视觉特征的检测。
图4A、4B示出聚类器141的聚类结果的示例，其中颜色归一化的提取的叶子部分通过分别配置的颜色通道进行聚类。水平和垂直标度涉及图像11e的像素坐标。在图4A的上部401中，识别三个颜色聚类410、420、430，其在多色通道实施例中根据它们的颜色通道聚类，如在对应的下部402中可见的。在该示例中，每个识别的聚类具有用于计算识别的不同颜色。与那些颜色聚类410、420、430相关联的相应点440、450、460在下部402中示出。每个斑点对应于由相应聚类的视觉特征值(例如颜色)定义的对象。在示例中，每个斑点以不同的颜色绘制以允许每个斑点之间的计算微分。因此，可以将一系列颜色映射到由贝叶斯检查可检测的相同疾病。图4B示出具有较高密度的颜色聚类的叶子部分(由上部403中的黑色矩形指示)和下部404中的对应斑点的另一示例。
回到图1，过滤器140的第二功能包括贝叶斯过滤器功能142，其对所识别的聚类执行贝叶斯检查。因此，贝叶斯分类器用于根据预定义阈值对所识别的一个或多个聚类C1至Cn进行过滤1600。贝叶斯分类器对总是存在于患病植物图像上的视觉特征(如图3上所示的视觉特征(示出三种植物的患病植物图像，每种植物具有特定的相应疾病))统计进行建模。视觉特征统计的示例包括从一个所选颜色通道或从以下列表中选择的颜色通道的组合获取的图像颜色统计：Lab、Mean_ab、RGB、HIS、Norm rgb、CMYK和XYZ。这种颜色通道是本领域技术人员已知的。
然后，每个识别的聚类的视觉特征统计面对该贝叶斯分割模型。分析每个识别的图像聚类并计算其疾病似然概率并通过使用根据预定义阈值偏置的贝叶斯分割模型来分割，以确保低百分比(例如，1％至5％之间)的丢弃阳性，同时保持低的假阳性率。也就是说，在将贝叶斯过滤器142应用于聚类C1至Cn(由聚类器141识别)之后，仅将通过具有预定义阈值的贝叶斯检查的这种聚类保持为候选区域(例如，如图1中的矢量示出的C4、C5、C6、Cn-)用于进一步分析。换句话说，预定义阈值确保将图像中的每个候选区域分割以进行进一步更深入的分析。
贝叶斯检查可以基于一个或多个不同的预定义阈值(参见图5，阈值503、504)。更多限制性的阈值503可以允许例如仅60％的候选区域通过检查，并且较少限制性的阈值504可以允许例如1％至5％之间的丢弃阳性(对应于通过率为95％至99％的候选区域)。如果在使用更多限制性的阈值503时没有找到候选区域，则可以使用较少限制性的阈值504来完成放宽(Relaxation)。也就是说，可以迭代地应用贝叶斯过滤器142，其中每次迭代可以选择比先前迭代具有更少限制的阈值。也就是说，在过滤器的第一次迭代不产生任何候选区域的情况下，可以用较少限制性的阈值执行第二次迭代。可以执行进一步的迭代，直到最终识别出至少一个候选区域。该方法进一步减少了假阳性的存在，同时确保图像中的每个候选区域将被分割以进行进一步更深入的分析。
贝叶斯检查可以基于统计颜色建模和基于单个颜色通道(例如，b通道的暗级)的图像聚类。然而，为了处理新疾病的增加的复杂性和可变性，可以通过使用多色通道方法有利地扩展过滤器140以进行主要分割。因此，如前所述，过滤器140对于新疾病变得可调。
当在训练数据集上训练贝叶斯分类器时，可以确定预定义阈值。训练数据集中的图像以与过滤器140的描述中公开的相同方式被聚类和分割。针对疾病分割斑点(概率函数501)和无疾病分割斑点(概率函数502)计算视觉特征值(例如，颜色通道、多色通道或其它视觉特征)的累积概率函数(参见图5，概率函数501、502)。可以通过在累积概率函数501上留下表示特定疾病的斑点的期望面积(例如，阈值504的1-5％面积)来选择预定义阈值503、504。可以选择更多限制性的阈值503以丢弃更高百分比的假阳性(例如，30％)以进一步减少假阳性的数量。训练函数可以在系统100的专用训练模块中实施，或者可以实施为过滤器140的子模块。
可以针对多种疾病执行贝叶斯检查。在该情况下，候选区域取决于疾病，该疾病允许以增加的精度执行后续分析步骤。只有可疑区域(候选区域)可以用于训练和描述能够近乎实时地确定疾病的分类器和描述符，如将在关于疾病诊断模块150的讨论中更详细示出。仅对于疾病/无疾病特征训练分割的候选者可以更好地训练相应的辨别视觉特征。
例如，如果在包括Lab、HSL和特定颜色通道的所选颜色通道上执行，则主要分割可以被映射到壳针孢属疾病的属性/视觉特征。可以借助于诸如侵蚀和/或膨胀的形态学操作来细化分割区域。可以进一步调整图像处理以检测壳针孢属类的疾病的内部和外部区域。从一个或多个所选颜色通道或颜色通道组合获得的图像颜色统计可以被计算，并且可以用于训练贝叶斯分割模型，该模型负责检测图像中适合于重新呈现特定疾病的每个斑点。训练的贝叶斯模型可以被偏置以避免贝叶斯过滤器142丢弃真正患病的斑候选者。
在一个实施例中，如果例如以过于严格的方式设置预定义阈值(仅允许非常少的假阳性)，则过滤器140可能无法识别1610一个或多个候选区域。在这种情况下，贝叶斯检查之后候选区域的命中数保持为零。在该情况下，过滤器140可以简单地将由贝叶斯分类器给出的具有最高概率的聚类确定1650为候选区域，并将该候选区域提供给进一步详细的分析步骤。换句话说，如果具有预定义阈值的贝叶斯检查得出不存在候选区域的决定，则放宽关于候选区域的所需概率的限制，并且可以选择具有较低概率的一个或多个区域用于进一步分析。这确保了将至少进一步分析叶子上可用的最合适的区域。
在一个实施例中，聚类器141可以被配置为在所识别的候选区域上执行分层聚类。也就是说，在贝叶斯检查之后再次调用聚类器141以进一步细化通过贝叶斯检查的聚类。与其它较小的候选区域相比，这对于覆盖叶子表面的相对大的面积(例如，>总叶子面积的15％)的候选区域可能是有利的。例如，可以基于动态计算的阈值来执行用于判断候选区域是否相对较大的比较检查1660，其中初始识别的候选区域的大小的平均值和方差用于识别示出与平均值显著的偏差(至更大)的这种候选区域。阈值还可以取决于疾病的类型。
例如，当过滤器140在执行识别1500和过滤1600步骤的同时检测到某些疾病的这种大的候选区域时，聚类器141可以仅针对大的(多个)候选区域重复聚类步骤1500。还重复采用贝叶斯检查的过滤1600步骤，但仅针对由聚类步骤的第二执行产生的新识别的子聚类。这允许以下分析步骤关于候选区域的识别更具体。换句话说，在聚类步骤的第二执行期间，可以将聚类步骤1500的第一执行的较大聚类划分为另外的(子)聚类。该结果可以被视为具有在第一聚类步骤1500中识别为较大的聚类(候选区域)作为父节点并且第二聚类步骤的分区结果(子聚类)作为相应父节点的子节点的聚类层级。将贝叶斯过滤器142重新应用于这种子聚类区域可以导致原始大的候选区域的更优分割，并且导致更具体的更小的候选区域，这可以提高后续分析步骤的精度。
因此，由过滤器140执行的主要分割消除了图像中携带无用视觉信息的这些区域以进行进一步处理和分析。这加强了疾病诊断过程的以下阶段，因为相应的描述符和分类器可以集中于重叠视觉特征的正确表征，而不是表征大部分不具有辨别力的整组的不同视觉特征。换句话说，就其特征性视觉特征而言的疾病建模集中在可以与患病区域混淆的叶子的这些区域上，而不是在整个叶子上。
还可以对过滤器模块140进行参数化以对接收的图像数据执行特定的白平衡校正算法。当中性灰板用于采用移动设备捕获图像时，这可能是有利的。
在一个实施例中，过滤器140使用精细掩模方法。当执行正常的k均值聚类时(参见，https：//en.wikipedia.org/wiki/K-means_clustering)，观察(较小的区域)被划分为更大的聚类，其中每个观察属于具有最近平均值的聚类，作为聚类的原型。这可能导致从未分析过的患病区域的丢失，因为相应的面积与总叶子面积相比太小。该问题可以通过细化的掩模方法来解决。因此，可以由叶提取器130的一个实施例使用的自然图像分割算法被应用于图像的提取的叶子部分11e，并且丢弃不关注的这些区域(没有元素的平坦区域)。这允许增加主要k均值聚类中的小斑点的权重(图？)。
在以下三段中，关于植物疾病长蠕孢属、锈病和壳针孢属更详细地公开了过滤器140。
用于壳针孢属疾病的主要分割：长蠕孢属疾病的特征在于叶子表面上的黑斑点。这些斑点的大小不同，并且有时会导致叶子脱色。因此，主要分割被参数化以检测L通道上的暗聚类。然后，贝叶斯颜色分割分类器142能够过滤掉(识别)所有真实候选区域，同时保持少量假阳性。
用于锈病的主要分割：锈病疾病的特征在于叶子表面上的亮黄色斑点。在该情况下，主要分割被参数化以检测a-b通道的平均值上的亮聚类。然后，贝叶斯颜色分割分类器142能够过滤掉(识别)所有真实候选区域，同时保持少量的假阳性。
用于壳针孢属的主要分割：与先前描述的疾病不同，壳针孢属疾病的特征在于在整个叶子上散布的脱色。在该情况下的脱色意味着叶子的原始颜色正在消失并且变为疾病特定的颜色。在该情况下，可以使用对立颜色模型进行检测。
假阳性的去除质量取决于贝叶斯分类器所使用的分割模型的训练。在训练阶段中，过滤器140的主要分割阶段产生一组分割的子图像。通常，这些子图像中的大多数已经属于真阳性组。然而，存在一些属于其不属于与特定疾病的视觉特征对应的特定组的元素的子图像。因此，出于训练目的，借助于先前生成的分割基础事实来过滤这些生成的子图像可能是有利的。在机器学习中，术语“基础事实”是指用于获得监督学习技术的训练集分类精度的注释数据。这用于统计模型以证明或反驳研究假设。还可以分析主要分割结果，以便基于先前训练的分类器最小化所生成的假阳性子图像的数量。
作为示例，图5示出锈色聚类(线501，顶部)和无锈色聚类(线502，底部)的分布图500以及它们的累积概率，其示出了朴素贝叶斯分类器的辨别力。例如，在Bishop在Springer 2006年第202页的“Pattern Recognition and Pattern Recognition andMachine Learning”中，或在“可在https://nlp.stanford.edu/IR-book/html/htmledition/contents-1.html获得的斯坦福IR书的翻译器版本2002-2-1(1.71)的章节“Text classification and Naive Bayes”中，讨论了朴素贝叶斯分类器。在x轴上呈现颜色通道的值，在y轴上呈现累积概率函数。通过使用包含相应疾病(例如，锈病)的图像的训练集，可以计算朴素贝叶斯模型。观察候选区域在一个所选颜色通道上的累积概率函数的曲线500，计算“绿色”累积概率函数501。如图5上所示，疾病呈现高颜色通道值。选择该示例中的预定义阈值504，使得其在其右侧留下95或99％的面积。也就是说，由贝叶斯过滤器142识别示出与锈病疾病相关联的视觉特征的95-99％候选区域(真阳性)。只有留在阈值504(1-5％面积)的真阳性候选区域将被切断进一步分析。在使用更多限制性的阈值503的实施例中，可以首先针对贝叶斯检查应用更严格的阈值。如果没有找到候选区域，则可以在贝叶斯检查的第二次迭代中使用较少限制的阈值504。可以存在多于两个的预定义阈值，其可以在贝叶斯检查的进一步迭代中使用。较少限制性的阈值504的使用减少了假阳性区域的出现。在使用分层聚类的实施例中，甚至可以改进95-99％的百分比，因为执行了进一步的聚类和进一步的滤波步骤。
回到图1，通过过滤器140的分割的子图像(候选区域)中的每一个然后由疾病诊断模块150进一步处理和分析。疾病诊断模块150包括基础分类器151和元分类器152以执行对先前识别的(多个)候选区域的更详细分析。
基础分类器151被配置为从每个候选区域C4、C5、C6、Cn提取一个或多个视觉特征，以针对每个候选区域确定指示特定疾病的一个或多个概率。为此，基础分类器使用统计推断方法。在一个实施例中，基础分类器执行从每个候选区域提取描述符，并使用机器学习技术来确定一个或多个概率。基础分类器使用的这种机器学习技术的示例包括：支持向量机、随机森林、Ada增强、神经网络、分类器集成、套袋和决策树。
在替代实施例中，通过随机密集方法对由过滤器140检测的区域进行采样，并且从提取这些区域的多个固定图块。这些图块的大小是固定的。可能的图块大小的示例是128x128或256x256。这些图块被提供作为基础分类器151的输入。在该实施例中，用于表征候选区域的基础分类器151借助于先前训练的深度卷积神经网络架构来执行视觉特征的提取和概率的预测，以确定一个或多个概率。在该情况下，它是在训练阶段期间学习的卷积神经网络本身并配置本身以提取这些特征，该训练阶段是为特定疾病提取的相关特征。在Yann LeCun等人在自然521,436-444(2015年5月28日)的文章深度学习中详细描述了这些技术。在该实施例中，元分类器152可以对从基础分类器提取的概率执行最大池化操作。
在基础分类器151的两个公开实施例中的任何一个实施例中，基础分类器依赖于需要大量训练图像集的训练过程。作为预处理步骤，可以在这种训练图像集上进行数据增强处理，借助于该训练图像集，原始图像可以经历各种变换以增加数据可变性和丰度。这种变换的示例是：旋转、平移、模糊、仿射变换或照明强度和颜色修改。
在第一实施例中，当使用机器学习技术来确定一个或多个概率时，可能需要合适的视觉特征描述来进行准确的疾病表征。过滤器140通过基于区域和图像颜色统计提供患病候选区域的鲁棒分割来提取相关图像斑点。然而，用于主要分割的描述可能不适合于疾病的准确描述和表征。
为了对提取的候选区域进行适当建模，可以应用不同的描述符来在数学上描述实际存在的候选区域之间的细微差异，例如，来自其中不存在这种特定疾病的其它区域的特定真菌疾病。例如，颜色分布、视觉纹理和颜色纹理描述符是真菌疾病描述的合理候选者。
描述符的示例是：
-颜色坐标通道的平均值和方差，其中通道可以是L、a、b、H、S、L、R、G、B，以及专门设计的颜色通道或相反的颜色通道；
-颜色坐标通道的直方图描述符，其中通道可以是L、a、b、H、S、L、R、G、B，以及专门设计的颜色通道，或相反的颜色通道；以及
-颜色坐标通道的LBP纹理描述符，其中通道可以是L、a、b、H、S、L、R、G、B，以及专门设计的颜色通道，或相反颜色通道。
在文献中，相反的颜色通道也称为对立颜色通道(参见Mark D.Fairchild在Wiley2005年第17至19页的第二版本的Color Appearance Models。
例如，可以扩展针对特定疾病生成的描述符以支持多种其它疾病的可变性。
可用于识别壳针孢属、长蠕孢属和锈病疾病的描述符的示例是:
-局部L、a、b、H、S、R、G或B颜色通道平均值和方差；
-局部L、a、b、H、S、R、G或B颜色通道颜色直方图；
-“局部对立颜色映射”直方图；
-L、a、b、H、S、R、G或B通道上的局部二进制模式(LBP)描述符；
-L、a、b、H、S、R、G或B通道上的统一LBP描述符；
-LOC映射上的统一LBP描述符；
-L、a、b、H、S、R、G或B通道上的类似DSIFT的描述符；
-高级滤色器组LINC和SLINC；以及
以视觉词语量化和编码的任何先前描述符。
可以通过例如使用可以使用在图1的上下文中公开的模块的基于机器学习的训练方法来针对不同种类的真菌疾病调整这些描述符。机器学习领域的技术人员知道如何配置这种训练方法以识别用于区分不同种类的真菌疾病的有利描述符。
现在分析由过滤器140获得的每个候选区域，以评估相应疾病的存在。以上描述符示例可以被配置为分析每个候选区域的不同视觉特征。每个描述符与基础分类器模块151的分类器相关联，该分类器负责估计图像的每个候选区域的疾病概率。
图6示出基础分类器模块的这种分类器BC1至BC5。可以借助于形成基础分类器的一个或多个描述符-分类器对来描述每个检测到的候选区域11-1至11-5。可以使用以上公开的描述符中的一个或多个来适当地描述特定区域。每个描述符(例如，描述符A1、描述符B1)可以提取不同的特征，诸如例如颜色或纹理。例如，在一个实施例中，描述符的值通过一组数字来描述相应的区域，该数字被输送到相应的分类器(例如，分类器C1，C2)，该分类器根据相应的描述符(例如，A1)向其基础分类器(例如，BC5)返回在相应区域中存在特定疾病的估计。
每个描述符类型可以取决于特定候选区域中的最具辨别力的特征来捕获不同的视觉特征。例如，描述符A1可以是专用于颜色特征的描述符类型，而描述符B1可以是专用于纹理特征的描述符类型。在该示例中，结果将为每个候选区域提供两个概率估计。即使当纹理和颜色特征在唯一描述符中混合，训练的分类器也可以取决于数据集分布自动加权一种类型的特征而不是其它特征。这可能会导致不太真实的辨别力。因此，每个描述符与对图像中的特定候选区域建模的唯一分类器相关联可能是有利的。
可以进一步优化与不同描述符相关联的分类器以提供最优辨别力。可以选择的分类器的示例是：
-Ada增强；
-随机森林；
-SVM；
-套袋分类器；以及
-分类器集合。
元分类器152被配置为通过评估候选区域C4、C5、C6、Cn的所有确定的概率来计算特定疾病的置信度得分CS1。一旦基础分类器151处理了不同的候选区域，则由元分类器152收集所得到的信息，该元分类器152针对一种或多种疾病做出关于整个图像的分类决定。元分类器152考虑的信息可以包括：
-不同描述符给出的概率；
-候选区域的位置；
-候选区域的大小和形状；
-每个分类器的权重；以及
-要考虑的评估所需的置信度。
分析所提出的算法的结果可以根据可以被设置的不同置信度级别提供关于系统如何表现的统计数据。以该方式，系统可以设置为所需的置信度级别。所需置信度越高，将提供越高的系统的加权精度。可以通过计算从训练获得的错误接受率FAR和错误拒绝率FRR统计来估计系统置信度。给定特定阈值，如果表明存在疾病，则可以将系统的置信度计算为FAR，或者如果表明不存在疾病，则可以将其计算为FRR率值。
可以顺序地集成先前公开的分割模块、描述符、分类器和元分类器，以提供对特定类型疾病的存在的估计。要分析的每个图像由不同的单一疾病分类器对象(150)检查，其中每个分类器验证单个疾病的存在。
图7A至图7C示出根据本发明实施例的叶子提取的不同概率。图7A示出基于灰板叶子分割的叶子提取器的实施例。在该实施例中，以这种方式记录图像10(图7A中的左图)：叶子(表示)11放置在灰板12上，该灰板12为整个图像10提供归一化背景。灰板叶子分割算法使用图像10中的颜色饱和度和边界信息，并且产生右图像10gp，其中区域11ri被分割为与叶子的一部分对应的关注区域。植物元素的灰板分割算法假设叶子图像以灰色表面作为图像背景记录。其它颜色也可以用作同质背景颜色。例如，蓝色、棕色、绿色等的板可以相应地与适配的分割算法一起使用。叶子提取(区域11ri)的分割借助于阈值处理和形态学操作来执行。
图7B示出基于手动叶子分割的叶子提取器的实施例。在该实施例中，例如通过经由触摸屏显示器101在记录的图像上用手指或触笔绘制叶子区域，用户以叶子掩模11um的粗略估计的形式提供输入。由用户提供的掩模11um可以进一步平滑和细化。例如，Chan-Vese分割可用于平滑和细化所获取的掩模。可以适配Chan-Vese方法以获得比植物更好的结果。例如，“a”颜色通道可以用作分割通道，并且可以选择3.0的平滑度μ。例如，以下术语可用于识别与具有低曲率的区域(术语的第一部分)对应的最优最小值，而其颜色特征在分割区域之间保持恒定：
用户掩模110um的这种平滑和细化避免了可能导致疾病错误分类的叶子边界的选择。右图10sr示出了手动叶子提取的结果，其中叶子部分11me最终被提供给随后的图像处理阶段。
图7C示出基于自然图像分割的叶子提取器的实施例。在该实施例中，使用更复杂的算法，因为背景的更高可变性更难以建模。为了正确地分割叶子，在第一步骤中，原始图像10被预分割成超像素或斑点，如分割边界图像10s中所示，其中分割边界由白线表示。在第二步骤中分析这些预先分割的斑点中的每一个以测量其属于叶子的概率。该第二(分析)步骤的结果示出在图像10p(img_leaf_prob_compound)上。对于该第二分析步骤可以使用的超像素分割算法的示例是简单线性迭代聚类(SLIC)算法(参见R.Achanta、A.Shaji、K.Smith、A.Lucchi、P.Fua和S.Susstrunk在关于模式分析和机器智能的IEEE学报的2012年11月第34卷第11期第2274-2282页的“SLIC Superpixels Compared to State-of-the-ArtSuperpixel Methods”)，它在CIELAB颜色空间中采用基于k均值聚类的方法，同时保持可配置的空间相干性，以便实现紧凑性。可用于具有类似结果的分析步骤的替代算法是快速移位(Quickshift)算法(参见Vedaldi，
A.和Soatto，S.在2008年欧洲计算机视觉会议的用于模式搜索的快速移位和内核方法)和Felsenszwalb的基于有效图形的图像分割算法(参见Felzenszwalb，P.F.和Huttenlocher，D.P.在2004年国际计算机视觉杂志中的高效的基于图形的图像分割)。
在第二步骤中，在分割的超像素的每一个分割的超像素上提取各种视觉特征。这些特征中的每一个特征将每个超像素映射到实数值，表示加权因子或者等效地表示超像素属于根据这种特征的叶子的概率。可以为每个超像素提取的特征的一些示例是：
a)基于Roberts的交叉算子，超像素中边缘大小的平均值、最大值或方差；
b)取决于图像纵横比的高斯加权函数的平均值、最大值或方差；
c)超像素的LBP平坦度大小的平均值、最大值或方差(背后的基本原理是更平坦的区域更可能失焦，并且因此与疾病确定无关)；
d)b颜色通道的平均值和反转颜色通道的平均值中的最大值；或
e)超像素内感知颜色方差。
在e)中，感知颜色变化的度量可以通过利用以下任何CIE提出的色差公式来实现：CIEDE76、CIEDE94、CIEDE2000。在a)至e)中，超像素的面积可以可选地经受形态侵蚀过程，以便最小化由于不精确分割引起的噪声的可能性。作为前一过程的结果，每个超像素借助于方法a)至e)中的一个或多个来描述，每个方法具有一个权重或概率值(所提取的特征的类型对于所有超像素必须相同，使得它们在它们之间具有可比性)。
在第三步骤中，借助于各个概率的乘积或总和将每个超像素可用的所有概率组合在一起，从而在每个超像素的范围[0，1]中产生唯一的实数值，表示其成为叶子一部分的概率。
在第四步骤中，选择实际阈值Th，并且图像10b被二值化，使得属于具有大于或等于这种阈值的组合概率的超像素的所有像素被认为是叶子的一部分。可以在该步骤中使用的阈值选择方法的一些示例是：用户给定的静态阈值、Otsu的阈值选择方法(参见Otsu，N.，在关于系统、人和控制论的IEEE学报1979年第9卷第1期第62-66页的“A ThresholdSelection Method from Gray-Level Histograms”)。
作为可选的第五步骤，可以利用形态学闭合方法以便以隔离的方式去除分配给非叶类的小的像素组，从而提高紧凑性。
出于相同的目的，另一个可选的最终步骤包括仅保留在先前步骤中标记为叶子的图像的所有结果区域中的最大区域。得到的像素集被标记为叶子掩模所包含的叶子的一部分。
图8A、图8B示出了用于单一疾病和多种疾病检测的系统的两个实施例。
图8A描绘了用于检测单一疾病的处理流程，其中图像由分割器分割。分割器可以包括如图1中公开的模块120、130和140，以提取候选区域(候选子图像)。由此借助于一个或多个描述符(图像描述符)描述每个候选区域并且进入分类推断模块(例如，图1的模块150)，该分类推断模块可以包括基础分类器子模块。该分类推断模块返回每个候选区域的疾病概率。最终决定由元分类器模块加权。
图8B示出了实施例，其中将不同的疾病分类器放在一起以同时对不同的疾病(例如，针对长蠕孢属、锈病和壳针孢属的全局疾病分类器)进行分类。多疾病分类器可以使用来自附加元数据的信息(例如，天气数据、日期、GPS坐标、湿度、温度、先前作物和先前的植物检疫处理等)，并且在总结来自所有分类器的结果时将元数据集成到知识推理过程中。元数据信息可以细化多疾病分类器给出的置信度级别。该细化可以通过统计模型来完成，该统计模型可以鉴于给定元数据和基于视觉特征的最大似然估计来估计特定疾病的存在的贝叶斯概率。
在下面，总结了本发明的潜在实施例：
实施例1涉及一种用于植物疾病检测的系统，包括：接口模块，其被配置为接收植物的图像，该图像包括至少一个植物元素的视觉表示；颜色归一化模块，其被配置为将颜色恒常方法应用于所接收的图像以生成颜色归一化图像；提取器模块，其被配置为从颜色归一化图像提取一个或多个图像部分，其中提取的图像部分与至少一个植物元素相关；过滤模块，其被配置为：由提取的图像部分内的一个或多个视觉特征识别一个或多个聚类，其中每个聚类与示出植物疾病特征的植物元素部分相关联；并且，通过使用朴素贝叶斯分类器，从根据预定义阈值的所识别的一个或多个聚类中过滤一个或多个候选区域，该朴素贝叶斯分类器对总是存在于指示特定疾病的患病植物图像上的视觉特征统计进行建模；以及植物疾病诊断模块，其被配置为：通过使用统计推断方法从每个候选区域提取一个或多个视觉特征，以针对每个候选区域确定指示特定疾病的一个或多个概率；并且通过评估候选区域的所有确定的概率来计算特定疾病的置信度得分，以对一种或多种疾病做出分类决定。
实施例2涉及实施例1的系统，其中，颜色归一化模块进一步被配置为将一种或多种颜色恒常方法应用于所提取的一个或多个图像部分，以对所提取的一个或多个图像部分进行颜色归一化。
实施例3涉及实施例1或2的系统，其中，不同的植物疾病与不同的图像-疾病-特征相关联，其中过滤模块进一步被配置为根据识别的图像-疾病-特征由植物疾病对提取的图像部分进行聚类。
实施例4涉及实施例1至3中任一实施例的系统，其中，在多色通道上训练朴素贝叶斯分类器。
实施例5涉及实施例1至4中任一实施例的系统，其中，过滤模块进一步被配置为：在使用预定义阈值时，在没有确定候选区域的情况下，将具有最高概率的聚类确定为候选区域。
实施例6涉及实施例1至5的系统，其中，颜色恒常方法选自以下组中的任何一个：灰度阴影算法、灰度世界算法、灰度边缘算法和Max-RGB算法。
实施例7涉及实施例1至6的系统，其中，从颜色归一化图像中提取一个或多个图像部分基于以下提取方法中的任何一种：灰板分割算法，其使用颜色饱和度和边界信息以提取与至少一个植物元素对应的图像部分；手动分割算法，其接收植物元素掩模作为来自用户的输入，并使用Chan-Vese分割来平滑和细化接收的掩模；以及自然图像分割算法，其借助于颜色分布对颜色归一化图像进行预分割，并采用边界分布、颜色和基于LBP的纹理分析每个斑点，以测量其属于植物元素的概率。
实施例8涉及实施例1至7的系统，其中，统计推断方法从每个候选区域执行描述符和分类器提取，并使用机器学习技术来确定一个或多个概率。
实施例9涉及实施例1至8的系统，其中，统计推断方法借助于卷积神经网络架构从每个候选区域执行视觉特征提取，并使用深度学习技术来确定一个或多个概率。
实施例10涉及实施例1至9的系统，其中，视觉特征统计是从一个所选颜色通道或从以下组中选择的颜色通道的组合获得的图像颜色统计：Lab、Mean_ab、RGB、HSI、Normrgb、CMYK和XYZ。
实施例11涉及实施例1至10的系统，其中，使用所选的分割参数或从选自以下的组的分割参数的组合来识别用于聚类的植物疾病的特征：聚类的数量、患病聚类的所选召回百分比、颜色通道、视觉纹理特征、层次聚类的必要性，或基于其视觉纹理特征进行聚类的叶子面积的减少。
实施例12涉及实施例8的系统，其中，对于从候选区域的特征提取，从以下组中选择所选描述符或描述符组合：-颜色坐标通道的平均值和方差，其中通道可以是L、a、b、H、S、L、R、G、B，以及专门设计的颜色通道或相反的颜色通道；-颜色坐标通道的直方图描述符，其中通道可以是L、a、b、H、S、L、R、G、B，以及专门设计的这种颜色通道或相反的颜色通道；以及-颜色坐标通道的LBP纹理描述符，其中通道可以是L、a、b、H、S、L、R、G、B，以及专门设计的这种颜色通道或相反颜色通道。
实施例13涉及实施例8或12的系统，其中，对于从候选区域的特征提取，从以下组中选择所选分类器或分类器组合：支持向量机、随机森林、Ada增强、神经网络、分类器集合和决策树。
实施例14涉及实施例1至13的系统，其中，用于聚类的一个或多个视觉特征是从以下组中选择的颜色描述符或纹理描述符：-局部L、a、b、H、S、R、G或B颜色通道平均值和方差；-局部L、a、b、H、S、R、G或B颜色通道颜色直方图；-“局部对立颜色映射”直方图；-L、a、b、H、S、R、G或B通道上的局部二进制模式(LBP)描述符；-L、a、b、H、S、R、G或B通道上的统一LBP描述符；-LOC映射上的统一LBP描述符；-L、a、b、H、S、R、G或B通道上的类似DSIFT的描述符；-高级滤色器组LINC和SLINC；以及以视觉词语量化和编码的任何先前描述符。
实施例15涉及实施例1至14的系统，其中，预定义阈值被配置用于确定一个或多个候选区域并控制检测到的植物元素部分的百分比以限定示出植物疾病特征的候选区域。
实施例16涉及实施例1至15的系统，进一步包括：训练模块，其被配置为通过以下方式设置预定义阈值：使用过滤器的聚类和过滤功能分析训练图像数据集，以及计算与疾病相关联的斑点的视觉特征值的累积概率函数，以及与疾病无关联的斑点的视觉特征值的累积概率函数。
实施例17涉及用于检测植物疾病的计算机实施的方法，包括：接收植物的图像，该图像包括至少一个植物元素的视觉表示；将颜色恒常方法应用于所接收的图像以生成颜色归一化图像；从颜色归一化图像中提取一个或多个图像部分，其中所提取的图像部分对应于至少一个植物元素；由所提取的图像部分内的颜色通道识别聚类，其中每个聚类与示出植物疾病特征的叶子部分相关联；通过使用贝叶斯分类器根据预定义阈值对所识别的聚类进行过滤，该贝叶斯分类器对总是存在于患病植物的图像上的颜色统计进行建模，该预定义阈值被配置用于确定一个或多个候选区域，其中预定义阈值定义检测到的植物元素部分的百分比，以限定为示出植物疾病特征的候选区域；经由相应的描述符和分类器从每个候选区域提取一个或多个颜色和纹理作为互补特征，以通过使用机器学习技术针对每个候选区域确定指示特定疾病的一个或多个概率；以及通过评估候选区域的所有确定的概率来计算特定疾病的置信度得分。
实施例18涉及实施例17的方法，其中，采用至少另外的预定义阈值迭代地重复过滤，另外的预定义阈值比预定义阈值具有更少限制。
实施例19涉及实施例17或18的方法，进一步包括：在识别之前，对提取的一个或多个图像部分应用颜色恒常方法，以对提取的一个或多个图像部分进行颜色归一化。
实施例20涉及实施例17至19的方法，其中，不同的植物疾病与不同的图像疾病特征相关，并且其中识别进一步包括：根据所识别的图像-疾病-特征由植物疾病对所提取的图像部分进行聚类。
实施例21涉及实施例17至20的方法，进一步包括：在采用预定义阈值进行过滤时，在没有确定候选区域的情况下，将具有最高概率的聚类确定为候选区域。
实施例22涉及实施例17至21的方法，进一步包括：确定所识别的候选区域是否包括超过所识别的候选区域的平均大小大于预定义阈值大小的至少一个候选区域，并且如果包括该至少一个候选区域，则重复针对该至少一个候选区域的识别和过滤步骤。
实施例23涉及用于植物疾病检测的计算机程序产品，该计算机程序产品包括指令，该指令在加载到控制系统的存储器中并由控制系统的至少一个处理器执行时使控制系统执行根据实施例17至22中任一实施例的步骤的方法。
图9是示出可以与这里描述的技术一起使用的通用计算机设备900和通用移动计算机设备950的示例的图。在一些实施例中，计算设备900可以涉及系统100(参见图1)。计算设备950旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算设备。在本公开的上下文中，计算设备950可以提供相机功能以记录随后提供给设备900的图像。在其它实施例中，整个系统100可以在移动设备950上实施。这里示出的组件，它们的连接和关系及其功能仅仅是示例性的，并不意味着限制本文件中描述和/或要求保护的发明的实施方式。
计算设备900包括处理器902、存储器904、存储设备906、连接到存储器904和高速扩展端口910的高速接口908，以及连接到低速总线914和存储设备906的低速接口912。组件902、904、906、908、910和912中的每一个使用各种总线互连，并且可以适当地安装在公共主板上或以其它方式安装。处理器902可以处理用于在计算设备900内执行的指令，包括存储在存储器904中或存储设备906上的指令，以在外部输入/输出设备(诸如耦接到高速接口的显示器916)上显示GUI的图形信息。在其它实施方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和多类型的存储器。此外，可以连接多个计算设备900，每个设备提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器904存储计算设备900内的信息。在一个实施方式中，存储器904是易失性存储器单元或多个易失性存储器单元。在另一个实施方式中，存储器904是非易失性存储器单元或多个非易失性存储器单元。存储器904还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
存储设备906能够为计算设备900提供大容量存储。在一个实施方式中，存储设备906可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备，或磁带设备、闪存或其它类似的固态存储设备，或包括存储区域网络或其它配置中的设备的设备阵列。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，该指令在被执行时执行一个或多个方法，诸如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器904、存储设备906或处理器902上的存储器。
高速控制器908管理计算设备900的带宽密集型操作，而低速控制器912管理较低带宽密集型操作。这种功能分配仅是示例性的。在一个实施方式中，高速控制器908耦接到存储器904、显示器916(例如，通过图形处理器或加速器)，并耦接到可以接受各种扩展卡(未示出)的高速扩展端口910。在该实施方式中，低速控制器912耦接到存储设备906和低速扩展端口914。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦接到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪，或诸如交换机或路由器的网络设备。
如图中所示，计算设备900可以以多种不同的形式实施。例如，它可以实现为标准服务器920，或者在一组这种服务器中实现多次。它还可以实现为机架服务器系统924的一部分。此外，它可以在诸如膝上型计算机922的个人计算机中实施。可替代地，来自计算设备900的组件可以与诸如设备950的移动设备中的其它组件(未示出)组合。这些设备中的每一个设备可以包含计算设备900、950中的一个或多个，并且整个系统可以由彼此通信的多个计算设备900、950组成。
计算设备950包括处理器952、存储器964、诸如显示器954的输入/输出设备、通信接口966和收发机968，以及其它组件。设备950还可以设置有存储设备，诸如微驱动器或其它设备，以提供附加存储。组件950、952、964、954、966和968中的每一个使用各种总线互连，并且若干组件可以适当地安装在公共主板上或以其它方式安装。
处理器952可以执行计算设备950内的指令，包括存储在存储器964中的指令。处理器可以实施为芯片的芯片集，该芯片包括单独的和多个模拟和数字处理器。例如，处理器可以提供用于设备950的其它组件的协调，诸如用户界面的控制、设备950运行的应用程序和设备950的无线通信。
处理器952可以通过控制接口958和耦接到显示器954的显示器接口956与用户通信。显示器954可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器，或其它适当的显示技术。显示器接口956可以包括用于驱动显示器954以向用户呈现图形和其它信息的适当电路。控制接口958可以从用户接收命令并将它们转换以提交给处理器952。此外，可以提供与处理器952通信的外部接口962，以便实现设备950与其它设备的近场通信。外部接口962可以例如在一些实施方式中提供有线通信，或者在其它实施方式中提供无线通信，并且也可以使用多个接口。
存储器964存储计算设备950内的信息。存储器964可以实施为计算机可读介质或多个计算机可读介质、易失性存储器单元或多个易失性存储器单元，或非易失性存储器单元或多个非易失性存储器单元中的一个或多个。还可以提供扩展存储器984并通过扩展接口982连接到设备950，该扩展接口982可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器984可以为设备950提供额外的存储空间，或者还可以存储设备950的应用程序或其它信息。具体地，扩展存储器984可以包括执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器984可以用作设备950的安全模块，并且可以用允许设备950的安全使用的指令编程。此外，可以经由SIMM卡提供安全应用程序以及附加信息，诸如以不可黑客攻击的方式将识别信息放在SIMM卡上。
如下所述，存储器可以包括例如闪存和/或NVRAM存储器。在一个实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含指令，该指令在被执行时执行一种或多种方法，诸如上述方法。信息载体是计算机或机器可读介质，诸如存储器964、扩展存储器984或处理器952上的存储器，其可以例如通过收发机968或外部接口962接收。
设备950可以通过通信接口966无线通信，该通信接口966可以在必要时包括数字信号处理电路。通信接口966可以提供各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发机968发生。此外，诸如使用蓝牙、WiFi或其它这种收发机(未示出)，可以发生短程通信。另外，GPS(全球定位系统)接收机模块980可以向设备950提供附加的导航和位置相关的无线数据，其可以由在设备950上运行的应用程序适当地使用。
设备950还可以使用音频编解码器960进行可听地通信，该音频编解码器960可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器960同样可以诸如通过例如在设备950的手机中的扬声器为用户生成可听声音。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备950上操作的应用程序生成的声音。
如图中所示，计算设备950可以以多种不同的形式实施。例如，它可以实施为蜂窝电话980。它还可以实施为智能电话982、个人数字助理或其它类似移动设备的一部分。
这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括可以是特殊的或通用的至少一个可编程处理器，该可编程处理器被耦接以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言来实施。如在此所使用的，术语“机器可读介质”、“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，这里描述的系统和技术可以在计算机上实施，该计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以通过其向计算机提供输入的键盘和指点设备(例如，鼠标或轨迹球)。其它种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声学、语音或触觉输入。
这里描述的系统和技术可以在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该浏览器与这里描述的系统和技术的实施方式交互)，或者这种后端、中间件或前端组件的任何组合的计算设备中实施。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算设备可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系由于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。

Claims (15)

1.一种用于植物疾病检测的系统(100)，包括：
接口模块(110)，其被配置为接收植物的图像(10)，所述图像(10)包括至少一个植物元素(1)的视觉表示(11)；
颜色归一化模块(120)，其被配置为将颜色恒常方法应用于所接收的图像(10)以生成颜色归一化图像；
提取器模块(130)，其被配置为从所述颜色归一化图像提取一个或多个图像部分(11e)，其中，所提取的图像部分(11e)与所述至少一个植物元素(1)相关；
过滤模块(140)，其被配置为：
由所提取的图像部分(11e)内的一个或多个视觉特征识别一个或多个聚类(C1至Cn)，其中，每个聚类与示出植物疾病特征的植物元素部分相关联；以及
通过使用朴素贝叶斯分类器，根据预定义阈值从所识别的一个或多个聚类(C1至Cn)中过滤一个或多个候选区域，所述朴素贝叶斯分类器对总是存在于指示特定疾病的患病植物图像上的视觉特征统计进行建模；以及
植物疾病诊断模块(150)，其被配置为：
通过使用统计推断方法从每个候选区域(C4，C5，C6，Cn)提取一个或多个视觉特征，以针对每个候选区域确定指示特定疾病的一个或多个概率；以及
通过评估所述候选区域(C4，C5，C6，Cn)的所有确定的概率来计算特定疾病的置信度得分(CS1)，以对一种或多种疾病做出分类决定。
2.根据权利要求1所述的系统(100)，其中，通过使用多色通道作为特征来训练所述朴素贝叶斯分类器。
3.根据前述权利要求中任一项所述的系统(100)，其中，所述统计推断方法从每个候选区域执行描述符和分类器提取，并使用机器学习技术来确定所述一个或多个概率。
4.根据前述权利要求中任一项所述的系统(100)，其中，所述统计推断方法借助于卷积神经网络架构从每个候选区域执行视觉特征提取，并使用深度学习技术来确定所述一个或多个概率。
5.根据前述权利要求中任一项所述的系统(100)，其中，所述视觉特征统计是从一个所选颜色通道或从以下组中选择的颜色通道的组合获取的图像颜色统计：Lab、Mean_ab、RGB、HSI、Norm rgb、CMYK和XYZ。
6.根据前述权利要求中任一项所述的系统(100)，其中，使用所选的分割参数或从选自以下的组的分割参数的组合来识别由所述过滤模块(140)进行聚类的植物疾病的特征：视觉特征，其包括一个或多个颜色通道和视觉纹理特征；以及配置特征，其包括聚类的数量、所述患病聚类的所选召回百分比、分层聚类的必要性、或聚类的叶子面积的减少。
7.根据权利要求3至6中任一项所述的系统(100)，其中，对于从所述候选区域的特征提取，从以下组中选择描述符或描述符的组合：
-颜色坐标通道的平均值和方差，其中通道可以是L、a、b、H、S、L、R、G、B，以及专门设计的颜色通道或相反的颜色通道；
-颜色坐标通道的直方图描述符，其中通道可以是L、a、b、H、S、L、R、G、B，以及专门设计的这种颜色通道或相反的颜色通道；以及
-颜色坐标通道的LBP纹理描述符，其中通道可以是L、a、b、H、S、L、R、G、B，以及专门设计的这种颜色通道或相反的颜色通道。
8.根据权利要求3至7所述的系统(100)，其中，对于从所述候选区域的特征提取，从以下组中选择所选分类器或分类器组合：包括支持向量机、Ada增强和神经网络的所选分类器，以及包括随机森林和套袋的分类器集合。
9.根据前述权利要求中任一项所述的系统(100)，其中，用于聚类的一个或多个视觉特征是从以下组中选择的颜色描述符或纹理描述符：
-局部L、a、b、H、S、R、G或B颜色通道平均值和方差；
-局部L、a、b、H、S、R、G或B颜色通道颜色直方图；
-“局部对立颜色映射”直方图；
-L、a、b、H、S、R、G或B通道上的局部二进制模式(LBP)描述符；
-L、a、b、H、S、R、G或B通道上的统一LBP描述符；
-LOC映射上的统一LBP描述符；
-L、a、b、H、S、R、G或B通道上的类似DSIFT的描述符；
-高级滤色器组LINC和SLINC；以及
以视觉词语量化和编码的任何先前描述符。
10.一种用于检测植物疾病的计算机实现的方法(1000)，包括：
接收(1100)植物的图像(10)，所述图像包括至少一个植物元素(1)的视觉表示(11)；
将颜色恒常方法应用(1200)于所接收的图像(10)以生成颜色归一化图像(10cn)；
从所述颜色归一化图像(10vn)中提取(1300)一个或多个图像部分，其中所提取的图像部分与所述至少一个植物元素(1)相关；
由所提取的图像部分内的颜色通道识别(1500)聚类(C1至Cn)，其中每个聚类与示出植物疾病特征的叶子部分相关联；
通过使用朴素贝叶斯分类器根据预定义阈值对所识别的聚类(C1至Cn)进行过滤(1600)，所述朴素贝叶斯分类器对总是存在于指示特定疾病的患病植物的图像上的颜色统计进行建模，所述预定义阈值被配置用于确定一个或多个候选区域(C4，C5，C6，Cn)，其中所述预定义阈值定义检测到的植物元素部分的百分比，以限定示出植物疾病特征的候选区域；
经由相应的描述符和分类器从每个候选区域(C4，C5，C6，Cn)提取(1700)一个或多个视觉特征，以通过使用机器学习技术针对每个候选区域确定指示特定疾病的一个或多个概率；以及
通过评估所述候选区域的所有确定的概率来计算(1800)所述特定疾病的置信度得分，以对一种或多种疾病做出分类决定。
11.根据权利要求10所述的方法，其中，采用至少另外的预定义阈值迭代地重复过滤(1600)，所述另外的预定义阈值(504)比所述预定义阈值(503)具有更少限制。
12.根据权利要求10或11所述的方法，进一步包括：
在识别(1500)之前，将颜色恒常方法应用(1400)于所提取的一个或多个图像部分，以对所提取的一个或多个图像部分进行颜色归一化。
13.根据权利要求10至12中任一项所述的方法，其中，不同的植物疾病与不同的图像疾病特征相关联，并且其中识别(1500)进一步包括：
根据所识别的图像-疾病-特征由植物疾病对所提取的图像部分进行聚类(1510)。
14.根据权利要求10至13中任一项所述的方法，进一步包括：
确定(1660)所识别的候选区域是否包括超过所识别的候选区域的平均大小大于预定义阈值大小的至少一个候选区域，并且如果包括所述至少一个候选区域，则重复针对所述至少一个候选区域的所述识别(1500)和过滤(1600)步骤。
15.一种用于植物疾病检测的计算机程序产品，包括指令，所述指令在被加载到控制系统的存储器中并由所述控制系统的至少一个处理器执行时，使所述控制系统执行根据权利要求10至14中任一项所述的方法步骤。
CN201780029151.1A 2016-05-13 2017-04-19 用于检测植物疾病的系统和方法 Expired - Fee Related CN109154978B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16169719 2016-05-13
EP16169719.8 2016-05-13
PCT/EP2017/059231 WO2017194276A1 (en) 2016-05-13 2017-04-19 System and method for detecting plant diseases

Publications (2)

Publication Number Publication Date
CN109154978A true CN109154978A (zh) 2019-01-04
CN109154978B CN109154978B (zh) 2023-04-11

Family

ID=56068688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780029151.1A Expired - Fee Related CN109154978B (zh) 2016-05-13 2017-04-19 用于检测植物疾病的系统和方法

Country Status (9)

Country Link
US (1) US11037291B2 (zh)
EP (1) EP3455782B1 (zh)
CN (1) CN109154978B (zh)
AR (1) AR108473A1 (zh)
AU (1) AU2017264371A1 (zh)
BR (1) BR112018072122A8 (zh)
CA (1) CA3021795A1 (zh)
RU (1) RU2018142757A (zh)
WO (1) WO2017194276A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110013197A (zh) * 2019-04-16 2019-07-16 上海天诚通信技术股份有限公司 一种扫地机器人物体识别方法
CN113554641A (zh) * 2021-07-30 2021-10-26 江苏盛泽医院 一种儿科咽部图像采集方法及装置
CN114144813A (zh) * 2019-04-23 2022-03-04 巴黎欧莱雅 机器图像颜色提取和使用提取的颜色的机器图像构造
CN114565580A (zh) * 2022-03-01 2022-05-31 广西壮族自治区林业科学研究院 使用图像和传感结合进行土壤数据采集的方法及装置
CN116245784A (zh) * 2021-12-07 2023-06-09 北京大学 基于深度学习的手指毛细血管再充盈时间测量方法及装置
CN116778343A (zh) * 2023-08-15 2023-09-19 安徽迪万科技有限公司 一种用于综合识别的目标图像特征提取方法

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748036B2 (en) * 2017-11-21 2020-08-18 Nvidia Corporation Training a neural network to predict superpixels using segmentation-aware affinity loss
CN108021948A (zh) * 2017-12-27 2018-05-11 深圳春沐源控股有限公司 一种病虫害的巡检方法及装置
CN110659659A (zh) * 2018-07-19 2020-01-07 清华珠三角研究院 一种智能识别和预警害虫的方法及系统
CN110895804A (zh) * 2018-09-10 2020-03-20 上海市农业科学院 模糊边缘病斑提取方法和装置
AU2019365219B2 (en) 2018-10-24 2025-01-23 Climate Llc Detecting infection of plant diseases with improved machine learning
US10943681B2 (en) * 2018-11-21 2021-03-09 Enlitic, Inc. Global multi-label generating system
EP3886571B1 (en) * 2018-11-29 2025-12-31 Germishuys, Dennis Mark PLANT CULTIVATION SYSTEM AND METHOD
US11989886B2 (en) * 2019-02-12 2024-05-21 Tata Consultancy Services Limited Automated unsupervised localization of context sensitive events in crops and computing extent thereof
DE102019201826B4 (de) * 2019-02-13 2024-06-13 Zf Friedrichshafen Ag Bestimmung eines Pflanzenzustands
CN109993228A (zh) * 2019-04-02 2019-07-09 南通科技职业学院 基于机器视觉的植保无人机水稻纹枯病识别方法
CN110135481B (zh) * 2019-04-30 2023-01-24 佛山科学技术学院 一种农作物病变检测方法以及检测装置
EP3739504A1 (en) * 2019-05-16 2020-11-18 Basf Se System and method for plant disease detection support
WO2021001318A1 (en) * 2019-07-01 2021-01-07 Basf Agro Trademarks Gmbh Multi weed detection
CN110555416B (zh) * 2019-09-06 2021-09-03 杭州睿琪软件有限公司 一种植物识别方法及装置
WO2021095672A1 (ja) * 2019-11-15 2021-05-20 ソニーグループ株式会社 情報処理装置および情報処理方法
CN111178177A (zh) * 2019-12-16 2020-05-19 西京学院 一种基于卷积神经网络的黄瓜病害识别方法
CN111311542B (zh) * 2020-01-15 2023-09-19 歌尔股份有限公司 一种产品质量检测方法及装置
US11587678B2 (en) * 2020-03-23 2023-02-21 Clover Health Machine learning models for diagnosis suspecting
CN111539293A (zh) * 2020-04-17 2020-08-14 北京派得伟业科技发展有限公司 一种果树病害诊断方法及系统
US11748984B2 (en) * 2020-05-05 2023-09-05 Planttagg, Inc. System and method for horticulture viability prediction and display
US12423659B2 (en) 2020-05-05 2025-09-23 Planttagg, Inc. System and method for horticulture viability prediction and display
EP3933049A1 (de) 2020-07-03 2022-01-05 Bayer AG Früherkennung von krankheitserregern bei pflanzen
BR112022023090A2 (pt) 2020-05-13 2022-12-20 Bayer Ag Detecção precoce de patógenos em plantas
CN113689374B (zh) * 2020-05-18 2023-10-27 浙江大学 一种植物叶片表面粗糙度确定方法及系统
CN111598001B (zh) * 2020-05-18 2023-04-28 哈尔滨理工大学 一种基于图像处理的苹果树病虫害的识别方法
CN113763304B (zh) * 2020-05-19 2024-01-30 中移(成都)信息通信科技有限公司 农作物病虫害识别方法、装置、设备及介质
GB202009146D0 (en) * 2020-06-16 2020-07-29 Dark Horse Tech Ltd System and method for crop monitoring
CN111967385B (zh) * 2020-08-17 2023-11-14 之江实验室 基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统
BR112023003968A2 (pt) 2020-09-04 2023-04-11 Basf Agro Trademarks Gmbh Método implementado por computador, produto de programa de computador e sistema de computador
CN112102211B (zh) * 2020-11-18 2021-02-02 南京农业大学 一种基于温度和图像的作物胁迫预警系统及预警方法
EP4022556A1 (en) * 2020-11-18 2022-07-06 Hijo Ip Pte Ltd. Crop disease prediction and treatment based on artificial intelligence (ai) and machine learning (ml) models
US11982616B2 (en) * 2021-03-09 2024-05-14 Headwall Photonics Inc. Spectrally resolved imaging for agricultural product assessment
CN113256567B (zh) * 2021-05-08 2023-09-22 中国农业大学 香蕉叶面积指数检测方法及系统
CN113298777A (zh) * 2021-05-21 2021-08-24 山东大学 一种基于颜色特征和超像素聚类的棉花叶枯病检测方法及系统
CN113486773B (zh) * 2021-07-01 2024-03-12 山东大学 棉花植株生长期识别方法、系统、存储介质及设备
US12136484B2 (en) 2021-11-05 2024-11-05 Altis Labs, Inc. Method and apparatus utilizing image-based modeling in healthcare
US12148139B2 (en) * 2021-11-29 2024-11-19 Carl Zeiss Smt Gmbh Methods and evaluation devices for analyzing three-dimensional data sets representing devices
CN114141326A (zh) * 2021-12-02 2022-03-04 杭州睿胜软件有限公司 用于追踪植物的康复情况的方法、装置和存储介质
US20230186623A1 (en) * 2021-12-14 2023-06-15 Ping An Technology (Shenzhen) Co., Ltd. Systems and methods for crop disease diagnosis
CN114463322B (zh) * 2022-02-22 2024-10-15 鄂州市志超生态农业科技有限公司 一种蔬菜种植用病害识别及补光调节方法
US11921493B2 (en) 2022-05-13 2024-03-05 AgZen Inc. Systems and methods for real-time measurement and control of sprayed liquid coverage on plant surfaces
TWI847184B (zh) * 2022-07-08 2024-07-01 和碩聯合科技股份有限公司 物件偵測系統及物件偵測輔助系統
CN115471747B (zh) * 2022-08-30 2023-05-09 广东省农业科学院环境园艺研究所 一种山茶花病虫害和生理病害的ai快速判识方法及应用
CN115410193A (zh) * 2022-09-15 2022-11-29 河北农业大学 一种基于机器视觉的玉米行道识别的方法
CN115311588A (zh) * 2022-09-16 2022-11-08 航天宏图信息技术股份有限公司 基于无人机遥感图像的松材线虫病害立木检测方法及装置
DE202022105678U1 (de) 2022-10-08 2022-11-11 Priyanka Bhattacharya Ein System zur Erkennung von Krankheiten in Blättern
CN115376032B8 (zh) * 2022-10-25 2023-05-26 金乡县林业保护和发展服务中心(金乡县湿地保护中心、金乡县野生动植物保护中心、金乡县国有白洼林场) 一种基于图像理解的林业病虫智能识别方法及系统
DE102023113709A1 (de) * 2023-05-25 2024-11-28 Carl Zeiss Ag Verfahren, vorrichtung und system zur unterstützung einer untersuchung einer pflanze und verfahren zum bereitstellen einer auswerteschaltung hierfür
DE102023113704A1 (de) * 2023-05-25 2024-11-28 Carl Zeiss Ag Vorrichtung, auswerteeinrichtung, auswertesystem und verfahren für eine zustandsanalyse einer pflanze
CN116912881A (zh) * 2023-07-13 2023-10-20 百鸟数据科技(北京)有限责任公司 一种动物物种识别方法、计算机设备以及识别系统
CN117036968B (zh) * 2023-10-09 2024-03-22 杭州稻道农业科技有限公司 一种用于农作物病虫危害的高分卫星遥感诊断方法及装置
CN117689966B (zh) * 2024-02-04 2024-05-24 中国科学院深圳先进技术研究院 一种基于量子贝叶斯神经网络的磁共振图像分类方法
KR102800320B1 (ko) * 2024-05-10 2025-04-30 (주)엘로이랩 입력 데이터의 명도 변동에 강건하게 신경망 모델을 학습시키는 방법 및 장치
CN120318215B (zh) * 2025-05-13 2025-09-05 陕西驼城绒业科技有限公司 一种羊绒制品的质量检测方法
CN120526318B (zh) * 2025-07-24 2025-09-19 西安卓辰网络科技有限公司 一种农作物叶面病斑识别预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140036054A1 (en) * 2012-03-28 2014-02-06 George Zouridakis Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases
CN104598908A (zh) * 2014-09-26 2015-05-06 浙江理工大学 一种农作物叶部病害识别方法
CN105550651A (zh) * 2015-12-14 2016-05-04 中国科学院深圳先进技术研究院 一种数字病理切片全景图像自动分析方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7911517B1 (en) * 2007-10-31 2011-03-22 The United States Of America As Represented By The Secretary Of Agriculture Device and method for acquiring digital color-infrared photographs for monitoring vegetation
BR112019022447A2 (pt) * 2017-04-27 2020-06-09 Retinopathy Answer Limited sistema e método para análise de imagem funduscópica automatizada

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140036054A1 (en) * 2012-03-28 2014-02-06 George Zouridakis Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases
CN104598908A (zh) * 2014-09-26 2015-05-06 浙江理工大学 一种农作物叶部病害识别方法
CN105550651A (zh) * 2015-12-14 2016-05-04 中国科学院深圳先进技术研究院 一种数字病理切片全景图像自动分析方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110013197A (zh) * 2019-04-16 2019-07-16 上海天诚通信技术股份有限公司 一种扫地机器人物体识别方法
CN114144813A (zh) * 2019-04-23 2022-03-04 巴黎欧莱雅 机器图像颜色提取和使用提取的颜色的机器图像构造
CN113554641A (zh) * 2021-07-30 2021-10-26 江苏盛泽医院 一种儿科咽部图像采集方法及装置
CN113554641B (zh) * 2021-07-30 2022-04-12 江苏盛泽医院 一种儿科咽部图像采集方法及装置
CN116245784A (zh) * 2021-12-07 2023-06-09 北京大学 基于深度学习的手指毛细血管再充盈时间测量方法及装置
CN116245784B (zh) * 2021-12-07 2025-12-19 北京大学 基于深度学习的手指毛细血管再充盈时间测量方法及装置
CN114565580A (zh) * 2022-03-01 2022-05-31 广西壮族自治区林业科学研究院 使用图像和传感结合进行土壤数据采集的方法及装置
CN114565580B (zh) * 2022-03-01 2024-03-19 广西壮族自治区林业科学研究院 使用图像和传感结合进行土壤数据采集的方法及装置
CN116778343A (zh) * 2023-08-15 2023-09-19 安徽迪万科技有限公司 一种用于综合识别的目标图像特征提取方法
CN116778343B (zh) * 2023-08-15 2023-11-14 安徽迪万科技有限公司 一种用于综合识别的目标图像特征提取方法

Also Published As

Publication number Publication date
BR112018072122A2 (pt) 2019-02-12
AU2017264371A1 (en) 2018-11-01
EP3455782B1 (en) 2020-07-15
CN109154978B (zh) 2023-04-11
US20200320682A1 (en) 2020-10-08
RU2018142757A3 (zh) 2020-08-19
US11037291B2 (en) 2021-06-15
EP3455782A1 (en) 2019-03-20
WO2017194276A1 (en) 2017-11-16
AR108473A1 (es) 2018-08-22
RU2018142757A (ru) 2020-06-15
WO2017194276A9 (en) 2018-07-26
BR112018072122A8 (pt) 2023-04-04
CA3021795A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
CN109154978A (zh) 用于检测植物疾病的系统和方法
US11681418B2 (en) Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
Aquino et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis
KR101964397B1 (ko) 정보처리장치 및 정보처리방법
US8233712B2 (en) Methods of segmenting a digital image
US20150227810A1 (en) Visual saliency estimation for images and video
CN105701467B (zh) 一种基于人体形态特征的多人异常行为识别方法
Trivedi et al. Automatic segmentation of plant leaves disease using min-max hue histogram and k-mean clustering
US20120213440A1 (en) Systems and Methods for Automatically Identifying Shadows in Images
CN109948625A (zh) 文本图像清晰度评估方法及系统、计算机可读存储介质
CN115223206B (zh) 工作服穿戴情况检测方法、装置、电子设备及存储介质
WO2021057395A1 (zh) 一种鞋跟型号识别方法、装置及存储介质
Zhao et al. Automatic blur region segmentation approach using image matting
Zhou et al. Recognizing black point in wheat kernels and determining its extent using multidimensional feature extraction and a naive Bayes classifier
CN120388362B (zh) 一种茶叶视觉识别方法、装置及系统
CN105225228B (zh) 田间自然背景下甘蔗宿根图像分割方法
CN113240611A (zh) 一种基于图片序列的异物检测方法
CN115690775A (zh) 基于图像的冰箱食材放取识别方法、装置和存储介质
CN116416523B (zh) 一种基于机器学习的水稻生长阶段的识别系统和方法
CN118608917A (zh) 一种图像敏感信息的识别方法、系统、设备及介质
Vijayalakshmi A new shape feature extraction method for leaf image retrieval
CN113128251A (zh) 一种鱼脸特征检测算法
Escorcia-Gutierrez et al. Texture and Shape-Based Segmentation of Coffee Beans Images
Bhattacharjee et al. Performance evaluation of thresholding-based segmentation algorithms for aerial imagery
Putra et al. Implementation of Watershed Algorithm for Rice Plant Image Segmentation to Analyze Growth Levels of Plant Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230411

CF01 Termination of patent right due to non-payment of annual fee