发明内容
本申请提供了一种对象异常状态的检测方法和装置,以至少解决相关技术中对象异常状态的检测准确性较低的技术问题。
根据本申请实施例的一个方面,提供了一种对象异常状态的检测方法,包括:
获取目标对象的第一图像和第二图像,其中,所述第一图像用于展示所述目标对象,所述第二图像用于展示所述目标对象的目标部位;
通过对象检测模型对所述第一图像进行检测,得到所述目标对象所属于的目标对象类型,其中,所述对象检测模型是使用标注了对象类型的第一样本对第一初始模型进行训练得到的,所述第一样本用于展示样本对象;
从具有对应关系的对象类型和状态检测模型中获取所述目标对象类型所对应的目标状态检测模型,其中,所述目标状态检测模型是使用标注了异常状态的第二样本对第二初始模型进行训练得到的,所述第二样本用于展示所述样本对象的所述目标部位;
通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态,其中,所述目标异常状态用于指示所述目标对象的所述目标部位处于由目标异常对象所导致的异常状态中。
可选地,通过所述对象检测模型对所述第一图像进行检测,得到所述目标对象所属于的目标对象类型包括:
将所述第一图像输入第一特征提取器,得到所述第一特征提取层输出的第一图像特征;
将所述第一图像特征输入对象分类器,得到所述对象分类器输出的所述目标对象类型,其中,所述对象检测模型包括所述第一特征提取器和所述对象分类器。
可选地,将所述第一图像特征输入对象分类器,得到所述对象分类器输出的所述目标对象类型包括:
将所述第一图像特征输入所述对象分类器,得到多个对象类型中每个对象类型对应的第一概率,其中,所述第一概率用于指示所述目标对象属于所述每个对象类型的概率;
获取所述对象分类器输出的所述目标对象类型,其中,所述目标对象类型为所述多个对象类型中所述第一概率超过第一阈值且所述第一概率最高的对象类型。
可选地,从具有对应关系的对象类型和状态检测模型中获取所述目标对象类型所对应的目标状态检测模型包括:
从具有对应关系的对象类型和状态检测模型的模型参数中获取所述目标对象类型所对应的目标模型参数;
使用所述目标模型参数更新预先存储的所述第二初始模型的模型参数,得到所述目标状态检测模型。
可选地,通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态包括:
将所述第二图像输入第二特征提取器,得到所述第二特征提取层输出的第二图像特征;
将所述第二图像特征输入状态分类器,得到所述状态分类器输出的所述目标异常状态,其中,所述目标状态检测模型包括所述第二特征提取器和所述状态分类器。
可选地,将所述第二图像特征输入状态分类器,得到所述状态分类器输出的所述目标异常状态包括:
将所述第二图像特征输入所述状态分类器,得到多个异常状态中每个异常状态对应的第二概率,其中,所述第二概率用于指示所述目标对象的所述目标部位处于所述每个异常状态的概率;
获取所述状态分类器输出的所述目标异常状态,其中,所述目标异常状态为所述多个异常状态中所述第二概率超过第二阈值且所述第二概率最高的异常状态。
可选地,在根据所述第二图像检测所述目标对象在所述目标对象类型对应的异常状态中所处于的目标异常状态之后,所述方法还包括:
从预先建立的知识图谱中匹配所述目标对象类型对应的目标对象信息,和所述目标异常状态对应的目标异常状态信息,其中,所述目标对象信息用于指示所述目标对象的属性特征,所述目标异常状态信息用于指示所述目标异常状态的属性特征以及消除所述目标异常状态的方式;
推送所述目标对象信息和目标异常状态信息。
可选地,从预先建立的知识图谱中匹配所述目标对象类型对应的目标对象信息,和所述目标异常状态对应的目标异常状态信息包括:
从所述知识图谱中搜索所述目标对象类型;
在搜索到所述目标对象类型的情况下,获取所述目标对象类型对应的所述目标对象信息,并在所述知识图谱中搜索所述目标异常状态;在搜索到所述目标异常状态的情况下,获取所述目标异常状态对应的所述目标异常状态信息;
在未搜索到所述目标对象类型的情况下,从所述知识图谱中包括的对象图像中获取与所述第一图像的相似度最高的目标对象图像;从所述知识图谱中包括的异常状态图像中获取与所述第二图像的相似度最高的第一异常状态图像;
在搜索到所述目标对象类型但未搜索到所述目标异常状态的情况下,从所述目标对象类型对应的异常状态图像中获取与所述第二图像的相似度最高的第二异常状态图像。
可选地,推送所述目标对象信息和目标异常状态信息包括:
在搜索到所述目标对象类型且搜索到所述目标异常状态的情况下,将所述目标对象信息和所述目标异常状态信息推送至第一终端,其中,所述第一终端用于展示所述目标对象信息和所述目标异常状态信息;
在未搜索到所述目标对象类型的情况下,将所述目标对象图像和所述第一异常状态图像发送至第二终端,其中,所述第二终端用于对所述目标对象图像和所述第一异常状态图像进行分析;
在搜索到所述目标对象类型但未搜索到所述目标异常状态的情况下,将所述目标对象信息和所述第二异常状态图像发送至第三终端,其中,所述第三终端用于对所述目标对象信息和所述第二异常状态图像进行分析。
可选地,在通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态之后,所述方法还包括:
获取拍摄所述第一图像和所述第二图像时的目标环境数据;
使用所述环境数据、标注了所述目标对象类型的所述第一图像和标注了所述目标异常状态的所述第二图像训练初始预测模型,得到目标预测模型,其中,所述目标预测模型用于对属于所述目标对象类型的对象是否处于所述目标异常状态进行预测。
可选地,在通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态之后,所述方法还包括:
获取所述目标对象的目标位置信息和所述目标对象处于所述目标异常状态的目标时间信息;
获取第一其他对象的其他位置信息和所述第一其他对象处于所述目标异常状态的其他时间信息,其中,所述第一其他对象是处于所述目标异常状态并属于所述目标对象类型的对象;
根据所述目标位置信息与所述其他位置信息之间的关系,以及,所述目标时间信息与所述其他时间信息之间的关系确定所述目标异常状态在属于所述目标对象类型的对象中的发展信息;
根据所述发展信息确定预防信息,其中,所述预防信息用于指示如何防止第二其他对象进入所述目标异常状态,所述第二其他对象是未处于所述目标异常状态并属于所述目标对象类型的对象。
可选地,获取所述目标对象的所述第一图像和所述第二图像包括:
采集所述目标对象当前所处的环境参数;
根据所述环境参数调整拍摄角度,得到目标拍摄角度;
在所述目标拍摄角度对所述目标对象进行拍摄,得到所述第一图像和所述第二图像。
可选地,在所述目标拍摄角度对所述目标对象进行拍摄,得到所述第一图像和所述第二图像包括:
在所述目标拍摄角度对所述目标对象进行拍摄,得到多个第一候选图像和多个第二候选图像;
将所述多个第一候选图像中第一像素标准差最大的第一候选图像确定为所述第一图像,其中,所述第一像素标准差用于指示所述第一候选图像的像素灰度值相对于均值的离散度;
将所述多个第二候选图像中第二像素标准差最大的第二候选图像确定为所述第二图像,其中,所述第二像素标准差用于指示所述第二候选图像的像素灰度值相对于均值的离散度。
根据本申请实施例的另一方面,还提供了一种对象异常状态的检测装置,包括:
第一获取模块,用于获取目标对象的第一图像和第二图像,其中,所述第一图像用于展示所述目标对象,所述第二图像用于展示所述目标对象的目标部位;
第一检测模块,用于通过对象检测模型对所述第一图像进行检测,得到所述目标对象所属于的目标对象类型,其中,所述对象检测模型是使用标注了对象类型的第一样本对第一初始模型进行训练得到的,所述第一样本用于展示样本对象;
第二获取模块,用于从具有对应关系的对象类型和状态检测模型中获取所述目标对象类型所对应的目标状态检测模型,其中,所述目标状态检测模型是使用标注了异常状态的第二样本对第二初始模型进行训练得到的,所述第二样本用于展示所述样本对象的所述目标部位;
第二检测模块,用于通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态,其中,所述目标异常状态用于指示所述目标对象的所述目标部位处于由目标异常对象所导致的异常状态中。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的方法。
根据本申请实施例的另一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器通过计算机程序执行上述的方法。
在本申请实施例中,采用获取目标对象的第一图像和第二图像,其中,第一图像用于展示目标对象,第二图像用于展示目标对象的目标部位;通过对象检测模型对第一图像进行检测,得到目标对象所属于的目标对象类型,其中,对象检测模型是使用标注了对象类型的第一样本对第一初始模型进行训练得到的,第一样本用于展示样本对象;从具有对应关系的对象类型和状态检测模型中获取目标对象类型所对应的目标状态检测模型,其中,目标状态检测模型是使用标注了异常状态的第二样本对第二初始模型进行训练得到的,第二样本用于展示样本对象的目标部位;通过目标状态检测模型对第二图像进行检测,得到目标对象所处于的目标异常状态,其中,目标异常状态用于指示目标对象的目标部位处于由目标异常对象所导致的异常状态中的方式,获取到的目标对象的数据包括第一图像和第二图像,第一图像是目标对象的整体图像,第二图像是目标部位的图像,也就是目标对象的局部图像,通过训练好的对象检测模型对第一图像进行检测从而确定出目标对象所属于的目标对象类型,对于不同对象类型的对象预先训练好了针对各个对象类型的状态检测模型,根据检测出的目标对象类型能够获取到与其对应的目标状态检测模型,通过目标状态检测模型对第二图像进行检测判定出目标对象所处于的目标异常状态,达到了自动检测对象异常状态的目的,用于进行检测的数据针对性强,从而实现了提高对象异常状态的检测准确性的技术效果,进而解决了相关技术中对象异常状态的检测准确性较低的技术问题。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一方面,提供了一种对象异常状态的检测的方法实施例。
可选地,在本实施例中,上述对象异常状态的检测方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示,服务器103通过网络与终端101进行连接,可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器103提供数据存储服务,上述网络包括但不限于:广域网、城域网或局域网,终端101并不限定于PC、手机、平板电脑等。本申请实施例的对象异常状态的检测方法可以由服务器103来执行,也可以由终端101来执行,还可以是由服务器103和终端101共同执行。其中,终端101执行本申请实施例的对象异常状态的检测方法也可以是由安装在其上的客户端来执行。
图2是根据本申请实施例的一种可选的对象异常状态的检测方法的流程图,如图2所示,该方法可以包括以下步骤:
步骤S202,获取目标对象的第一图像和第二图像,其中,所述第一图像用于展示所述目标对象,所述第二图像用于展示所述目标对象的目标部位;
步骤S204,通过对象检测模型对所述第一图像进行检测,得到所述目标对象所属于的目标对象类型,其中,所述对象检测模型是使用标注了对象类型的第一样本对第一初始模型进行训练得到的,所述第一样本用于展示样本对象;
步骤S206,从具有对应关系的对象类型和状态检测模型中获取所述目标对象类型所对应的目标状态检测模型,其中,所述目标状态检测模型是使用标注了异常状态的第二样本对第二初始模型进行训练得到的,所述第二样本用于展示所述样本对象的所述目标部位;
步骤S208,通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态,其中,所述目标异常状态用于指示所述目标对象的所述目标部位处于由目标异常对象所导致的异常状态中。
通过上述步骤S202至步骤S208,获取到的目标对象的数据包括第一图像和第二图像,第一图像是目标对象的整体图像,第二图像是目标部位的图像,也就是目标对象的局部图像,通过训练好的对象检测模型对第一图像进行检测从而确定出目标对象所属于的目标对象类型,对于不同对象类型的对象预先训练好了针对各个对象类型的状态检测模型,根据检测出的目标对象类型能够获取到与其对应的目标状态检测模型,通过目标状态检测模型对第二图像进行检测判定出目标对象所处于的目标异常状态,达到了自动检测对象异常状态的目的,用于进行检测的数据针对性强,从而实现了提高对象异常状态的检测准确性的技术效果,进而解决了相关技术中对象异常状态的检测准确性较低的技术问题。
在步骤S202提供的技术方案中,目标对象可以但不限于包括:动物、植物、家具用品、办公用品等等。
可选地,在本实施例中,对于动物来说,对象异常状态可以但不限于包括动物的伤病等等。对于植物来说,对象异常状态可以但不限于包括植物的病虫害等等。对于家具用品或者办公用品来说,对象异常状态可以但不限于包括家具用品或者办公用品的破损等等。
可选地,在本实施例中,第一图像用于展示目标对象,第一图像可以但不限于是目标对象的整体照片。
可选地,在本实施例中,第二图像用于展示目标对象的目标部位,第二图像可以但不限于是目标对象的局部照片。如果目标对象为动物,目标部位可以但不限于包括动物的四肢、躯干、头部等等。如果目标对象为植物,目标部位可以但不限于包括植物的根、茎、叶、果实等等。
在步骤S204提供的技术方案中,第一图像可以用于对目标对象所属于的对象类型进行检测。
可选地,在本实施例中,预先使用标注了对象类型的大量不同的第一样本对第一初始模型进行训练,使得得到的对象检测模型能够对输入的图像中的对象进行分类,确定其所属于的对象类型。
可选地,在本实施例中,在通过对象检测模型对所述第一图像进行检测,得到所述目标对象所属于的目标对象类型之前,还可以采用以下过程对第一初始模型进行训练:将第一样本输入第一初始模型,得到第一初始模型输出的样本类型;根据样本类型与第一样本标注的对象类型之间的关系调整第一初始模型的模型参数,直至样本类型与第一样本标注的对象类型之间的关系满足第一初始模型对应的训练条件,得到对象检测模型。
在步骤S206提供的技术方案中,不同的对象类型对应了不同的状态检测模型,状态检测模型可以用来检测某特定对象类型的对象所处于的异常状态。比如:苹果树对应了苹果树的状态检测模型,梨树对应了梨树的状态检测模型,桃树对应了桃树的状态检测模型,小麦对应了小麦的状态检测模型,高粱对应了高粱的状态检测模型等等。
可选地,在本实施例中,预先使用标注了异常状态的大量不同的第二样本对第二初始模型进行训练得到不同的状态检测模型。使得得到的状态检测模型能够对输入的图像中的目标部位的异常状态进行分类,确定其所属于的异常状态。对第二初始模型进行训练的过程与对第一初始模型进行训练的过程类似,在此不再赘述。
在步骤S208提供的技术方案中,第二图像可以用于对目标部位所处于的异常状态进行检测。目标状态检测模型是与目标对象的目标对象类型所对应的,也就是说,目标状态检测模型是专门用来检测属于目标对象类型的对象的目标部位所处于的异常状态的。
作为一种可选的实施例,通过所述对象检测模型对所述第一图像进行检测,得到所述目标对象所属于的目标对象类型包括:
S11,将所述第一图像输入第一特征提取器,得到所述第一特征提取层输出的第一图像特征;
S12,将所述第一图像特征输入对象分类器,得到所述对象分类器输出的所述目标对象类型,其中,所述对象检测模型包括所述第一特征提取器和所述对象分类器。
可选地,在本实施例中,对象检测模型可以但不限于包括卷积神经网络。对象检测模型包括第一特征提取器和对象分类器,第一特征提取器可以但不限于包括卷积层和池化层,对象分类器可以但不限于包括全连接层。卷积层和池化层用于从第一图像中提取特征,全连接层用于依据提取的特征对第一图像中的目标对象进行分类。
可选地,在本实施例中,对象分类器的分支数量由农作物类别数确定,其中,可以增加一个非农作物类别,用于拦截非农作物数据造成的误识别情况。
作为一种可选的实施例,将所述第一图像特征输入对象分类器,得到所述对象分类器输出的所述目标对象类型包括:
S21,将所述第一图像特征输入所述对象分类器,得到多个对象类型中每个对象类型对应的第一概率,其中,所述第一概率用于指示所述目标对象属于所述每个对象类型的概率;
S22,获取所述对象分类器输出的所述目标对象类型,其中,所述目标对象类型为所述多个对象类型中所述第一概率超过第一阈值且所述第一概率最高的对象类型。
可选地,在本实施例中,对象分类器的输出可以但不限于是目标对象属于多个对象类型中每个对象类型的概率,可以预先设定策略根据对象分类器的输出的概率确定目标对象类型。比如:将多个对象类型中第一概率超过第一阈值且第一概率最高的对象类型确定为目标对象类型。
作为一种可选的实施例,从具有对应关系的对象类型和状态检测模型中获取所述目标对象类型所对应的目标状态检测模型包括:
S31,从具有对应关系的对象类型和状态检测模型的模型参数中获取所述目标对象类型所对应的目标模型参数;
S32,使用所述目标模型参数更新预先存储的所述第二初始模型的模型参数,得到所述目标状态检测模型。
可选地,在本实施例中,为了能够节省存储空间,可以不对大量的状态检测模型进行存储,而只存储具有对应关系的对象类型和状态检测模型的模型参数以及第二初始模型,从具有对应关系的对象类型和状态检测模型的模型参数中获取目标对象类型所对应的目标模型参数赋予预先存储的第二初始模型,即使用获取到的目标模型参数更新第二初始模型的模型参数,从而得到目标状态检测模型。
作为一种可选的实施例,通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态包括:
S41,将所述第二图像输入第二特征提取器,得到所述第二特征提取层输出的第二图像特征;
S42,将所述第二图像特征输入状态分类器,得到所述状态分类器输出的所述目标异常状态,其中,所述目标状态检测模型包括所述第二特征提取器和所述状态分类器。
可选地,在本实施例中,目标状态检测模型可以但不限于包括卷积神经网络。目标状态检测模型包括第二特征提取器和状态分类器,第二特征提取器可以但不限于包括卷积层和池化层,状态分类器可以但不限于包括全连接层。卷积层和池化层用于从第二图像中提取特征,全连接层用于依据提取的特征对第二图像中的目标对象的目标部位所处于的异常状态进行分类。
作为一种可选的实施例,将所述第二图像特征输入状态分类器,得到所述状态分类器输出的所述目标异常状态包括:
S51,将所述第二图像特征输入所述状态分类器,得到多个异常状态中每个异常状态对应的第二概率,其中,所述第二概率用于指示所述目标对象的所述目标部位处于所述每个异常状态的概率;
S52,获取所述状态分类器输出的所述目标异常状态,其中,所述目标异常状态为所述多个异常状态中所述第二概率超过第二阈值且所述第二概率最高的异常状态。
可选地,在本实施例中,状态分类器的输出可以但不限于是目标部位处于多个异常状态中每个异常状态的概率,可以预先设定策略根据状态分类器的输出的概率确定目标异常状态。比如:将多个异常状态中第二概率超过第二阈值且第二概率最高的异常状态确定为目标异常状态。
作为一种可选的实施例,在根据所述第二图像检测所述目标对象在所述目标对象类型对应的异常状态中所处于的目标异常状态之后,还包括:
S61,从预先建立的知识图谱中匹配所述目标对象类型对应的目标对象信息,和所述目标异常状态对应的目标异常状态信息,其中,所述目标对象信息用于指示所述目标对象的属性特征,所述目标异常状态信息用于指示所述目标异常状态的属性特征以及消除所述目标异常状态的方式;
S62,推送所述目标对象信息和目标异常状态信息。
可选地,在本实施例中,在检测出目标异常状态后可以对目标对象信息和目标异常状态信息进行推送,目标对象信息用于指示目标对象的属性特征,目标异常状态信息用于指示目标异常状态的属性特征以及消除目标异常状态的方式,从而指导目标异常状态的治理。
可选地,在本实施例中,目标对象信息可以但不限于包括对象名称,对象历史,对象的形态特征,对象的生长习性,地理分布和品种分类等等。目标异常状态信息可以但不限于包括异常状态的发病症状,发病规律和特点,发病原因和防治方法等等。
可选地,在本实施例中,可以预先建立关于对象属性特征和异常状态的知识图谱。
可选地,在本实施例中,以农作物病虫害的治理为例,可以但不限于采用以下方式构建农作物病虫害数据的知识图谱:
首先,定义具体的业务问题,本知识图谱针对的业务问题是需要根据病虫害类别推荐病虫害治理方案。
其次,对构建知识图谱所需数据进行收集和预处理,病虫害治理的知识图谱数据可以但不限于包括两种:一种是农作物的基本信息,包括名称,植物学史,形态特征,生长习性,地理分布和品种分类等;另一种是病虫害基本信息,包括发病症状,发病规律和特点,发病原因和防治方法等。以上两类数据的来源包括两种,一种是存放在数据库的结构化数据,如农科院所数据库收集的作物和病虫害信息。一种是网络上公开、抓取的数据,通常这些非结构化数据以网页形式存放在数据库,如从百科数据库中爬取的数据。对于结构化数据进行简单预处理(归一化,去噪,实体名称统一等)作为后续操作的输入,对于非结构化数据可以借助于自然语言处理等技术来提取出结构化信息,然后再进行预处理加工后进行后续操作。将预处理后的数据采用图数据库的方式进行数据存储,从而构建出农作物病虫害数据的知识图谱。
作为一种可选的实施例,从预先建立的知识图谱中匹配所述目标对象类型对应的目标对象信息,和所述目标异常状态对应的目标异常状态信息包括:
S71,从所述知识图谱中搜索所述目标对象类型;
S72,在搜索到所述目标对象类型的情况下,获取所述目标对象类型对应的所述目标对象信息,并在所述知识图谱中搜索所述目标异常状态;在搜索到所述目标异常状态的情况下,获取所述目标异常状态对应的所述目标异常状态信息;
S73,在未搜索到所述目标对象类型的情况下,从所述知识图谱中包括的对象图像中获取与所述第一图像的相似度最高的目标对象图像;从所述知识图谱中包括的异常状态图像中获取与所述第二图像的相似度最高的第一异常状态图像;
S74,在搜索到所述目标对象类型但未搜索到所述目标异常状态的情况下,从所述目标对象类型对应的异常状态图像中获取与所述第二图像的相似度最高的第二异常状态图像。
可选地,在本实施例中,从知识图谱中搜索目标对象类型的方式可以但不限于采用关键字搜索匹配的方式。
可选地,在本实施例中,如果搜索得到了返回结果,即目标对象类型,则将返回的作物知识图谱介绍,包括名称,植物学史,形态特征,生长习性,地理分布,品种分类信息以及采集设备的信息等作为目标对象信息以txt形式存储在数据库中。如果没有得到返回结果,则计算第一图像与知识图谱中包括的对象图像的相似度,返回相似度最高的图谱图片作为专家系统的输入,提供人为评估的参考。
可选地,在本实施例中,相似度可以基于图像像素的均方误差MSE来计算,MSE越小,表明匹配程度越高。假设对象图像是像素大小为M*N的矩阵R,第一图像是像素大小为M*N的矩阵F,则可以通过以下公式确定MSE:
可选地,在本实施例中,搜索到目标对象类型后,可以根据检测出的目标病虫害类别(即目标异常状态)与该目标对象类型下的病虫害类别进行关键字搜索匹配。匹配方法可以与目标对象类型的匹配方法一样,如果搜索后得到返回结果,则将返回的病虫害知识图谱介绍,包括发病症状,发病规律和特点,发病原因、防治方法和采集设备的信息等作为目标异常状态信息以txt形式存储在数据库中。如果不能得到返回结果,从目标对象类型对应的异常状态图像中获取与第二图像的相似度最高的第二异常状态图像,由专家给出具体的防治方案。
作为一种可选的实施例,推送所述目标对象信息和目标异常状态信息包括:
S81,在搜索到所述目标对象类型且搜索到所述目标异常状态的情况下,将所述目标对象信息和所述目标异常状态信息推送至第一终端,其中,所述第一终端用于展示所述目标对象信息和所述目标异常状态信息;
S82,在未搜索到所述目标对象类型的情况下,将所述目标对象图像和所述第一异常状态图像发送至第二终端,其中,所述第二终端用于对所述目标对象图像和所述第一异常状态图像进行分析;
S83,在搜索到所述目标对象类型但未搜索到所述目标异常状态的情况下,将所述目标对象信息和所述第二异常状态图像发送至第三终端,其中,所述第三终端用于对所述目标对象信息和所述第二异常状态图像进行分析。
可选地,在本实施例中,第一终端用于展示目标对象信息和目标异常状态信息,第一终端可以是目标对象的所有者的终端,比如:农户的终端。第二终端用于对目标对象图像和第一异常状态图像进行分析,第二终端可以是技术专家的终端,比如:农业技术员的终端。第三终端用于对目标对象信息和第二异常状态图像进行分析,第三终端可以是专家系统,比如:农作物专家系统。第二终端也可以是专家系统。
可选地,在本实施例中,如果既得到了目标对象类型又得到了目标异常状态,则将数据库中记录的农作物信息,病虫害信息和采集设备信息一起发送给农户手机端,农户手机端进行相关页面展示,展示内容包括农作物基本信息,病虫害基本信息和具体的治理方案。如果只得到了目标对象类型,或者,目标对象类型和目标异常状态均没有得到,则将农作物图片信息,病虫害信息和采集设备的信息上传到专家系统,请求专家支持获取病虫害治理方案。
作为一种可选的实施例,在通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态之后,还包括:
S91,获取拍摄所述第一图像和所述第二图像时的目标环境数据;
S92,使用所述环境数据、标注了所述目标对象类型的所述第一图像和标注了所述目标异常状态的所述第二图像训练初始预测模型,得到目标预测模型,其中,所述目标预测模型用于对属于所述目标对象类型的对象是否处于所述目标异常状态进行预测。
可选地,在本实施例中,还能够对对象的异常状态进行预测,拍摄第一图像和第二图像的设备上还能够部署传感器设备,传感器设备可以但不限于包括经纬度测试仪,温度传感器,湿度传感器,雨量计,风速传感器、土壤测试仪和作物生长周期测试仪等等,用来采集拍摄图像时的环境数据。其中,经纬度测试仪用来采集地理位置数据,温度传感器用于采集检测区域内的温度,湿度传感器用于采集检测区域内的湿度,雨量计用来采集检测区域内的雨量,风速传感器用来采集检测区域内的风速,土壤测试仪用来采集土壤内的参数,包括土壤盐碱度,化学肥料含量及土壤含盐量等。作物生长周期测试仪主要用来测试作物的株高,叶片大小等。
可选地,在本实施例中,传感器可以每隔3小时采集一次环境数据,结合拍摄设备读取的对象图片,使用无线网络进行上传。环境数据上传后可以根据之前设置的数据范围,判断是否在合理范围内。如果不在合理范围内,给出重新采集数据指示。如果在合理范围内,则对采集的数据进行预处理,可以包括归一化等操作。
可选地,在本实施例中,初始预测模型可以但不限于包括逻辑回归模型。模型的输入为预处理后的环境数据和目标对象的图像数据,输出为类别1和0:1表示有病虫害,0表示无病虫害。
可选地,在本实施例中,逻辑回归模型公式如下所示:
log(y)=β0+β1X1+β2X2+β3X3+β4X4+…+βnXn+ε
其中,Xi指输入的环境数据和目标对象的图像数据,βi和ε是模型参数。
将预处理后的环境数据和目标对象的图像数据分成训练集和测试集,先用训练集训练出模型参数βi和ε,然后使用测试集数据验证模型的准确率。
环境数据每隔3小时采集一次,因此每隔3小时训练一次模型,当模型准确率达到预期阈值时,可以使用模型对其他采集设备采集的数据进行预测,给出是否有病虫害结果。
可选地,在本实施例中,预测结果可以定期发送到农户手机端,提前做好病虫害防治工作,减少农户经济损失。
作为一种可选的实施例,在通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态之后,还包括:
S101,获取所述目标对象的目标位置信息和所述目标对象处于所述目标异常状态的目标时间信息;
S102,获取第一其他对象的其他位置信息和所述第一其他对象处于所述目标异常状态的其他时间信息,其中,所述第一其他对象是处于所述目标异常状态并属于所述目标对象类型的对象;
S103,根据所述目标位置信息与所述其他位置信息之间的关系,以及,所述目标时间信息与所述其他时间信息之间的关系确定所述目标异常状态在属于所述目标对象类型的对象中的发展信息;
S104,根据所述发展信息确定预防信息,其中,所述预防信息用于指示如何防止第二其他对象进入所述目标异常状态,所述第二其他对象是未处于所述目标异常状态并属于所述目标对象类型的对象。
可选地,在本实施例中,可以但不限于使用检测到的信息和数据对其他对象的异常状态进行预防。
比如:对农田/农业用地大区域进行划分(例如以2km*2km为地块),对农田进行地理划分,可以用每个地块的中心地址位置(经纬度)作为地块标志,同时基于地块生长的农作物对各个地块进行分类。通过对单一地块历史数据的分析,可以获知该地块病虫害发生过程的演化过程阶段(无-初期-中期-后期),即目标对象处于目标异常状态的目标时间信息,而对生长相同作物地块的同期数据比较,可以得出病虫害情况的时间-地块-阶段对应表,即目标异常状态在属于目标对象类型的对象中的发展信息,从而判断病虫害的蔓延方向(地理方位),合理对该方向尚未发生病虫害的地块实施预防措施或进行物理隔离。
作为一种可选的实施例,获取所述目标对象的所述第一图像和所述第二图像包括:
S111,采集所述目标对象当前所处的环境参数;
S112,根据所述环境参数调整拍摄角度,得到目标拍摄角度;
S113,在所述目标拍摄角度对所述目标对象进行拍摄,得到所述第一图像和所述第二图像。
可选地,在本实施例中,获取第一图像和第二图像的设备可以但不限于使用智能图片采集杆。智能图片采集杆是一种可以根据光照、作物生长周期和叶片角度变化采集农作物和病虫害图片的装置。部署以后应用该装置采集农作物的整体图像作为第一图像,采集农作物的叶片图像作为第二图像。
作为一种可选的实施例,在所述目标拍摄角度对所述目标对象进行拍摄,得到所述第一图像和所述第二图像包括:
S121,在所述目标拍摄角度对所述目标对象进行拍摄,得到多个第一候选图像和多个第二候选图像;
S122,将所述多个第一候选图像中第一像素标准差最大的第一候选图像确定为所述第一图像,其中,所述第一像素标准差用于指示所述第一候选图像的像素灰度值相对于均值的离散度;
S123,将所述多个第二候选图像中第二像素标准差最大的第二候选图像确定为所述第二图像,其中,所述第二像素标准差用于指示所述第二候选图像的像素灰度值相对于均值的离散度。
可选地,在本实施例中,可以但不限于采用以下方式对需要识别的农作物图片进行采集:
判断当前采集杆的高度和角度是否符合要求(例如农作物叶片所占图片的比例是否超过一定阈值,是否存在光照阴影等),依据判断结果调整采集杆的高度和角度;例如,可以在当前采集杆状态下初步采集图片并识别,判断图片是否符合要求,进而根据识别结果调整采集杆。
在采集杆的高度和角度符合要求的状态下,启动采集杆的拍照功能,拍摄农作物图像,得到第一图像和第二图像。例如,可以在同一高度通过旋转角度的控制拍摄多张第一图像和多张第二图像,或在同一角度通过高度的控制拍摄多张第一图像和多张第二图像,选择其中最佳图像来使用;
可选地,在本实施例中,上述农作物图像的采集可以根据操作人员的触发而启动,也可以周期性的采集(例如每天/每周采集一次),或者根据特定条件的触发来增加采集频率(例如光照、温度、湿度、生长过程(下种后20天,开花后7天,出穗前5天等)条件的设定)。
可选地,在本实施例中,可以同时采集各类农作物的整体图像作为第一图像和病虫害叶片图像作为第二图像。
可选地,在本实施例中,可以但不限于采用以下方式之一选择合适的图像进行病虫害检测:
方式一,在仅采集一次的情况下,将采集到的图像直接上传到检测系统。
方式二,若采集多次,可以根据图片质量的比较选择最佳图片,可以但不限于采取如下两种方式结合比较图片的质量:
方式1,主观评价方法:该方法只涉及人作出的定性评价,以人为观察者,对图像的优劣作出主观的定性评价。根据肉眼观察对每一张图片根据以下4个维度进行打分,按照档次依次是5分,4分,3分,2分和1分。对每一张图片都需要打5个分数,然后将5个分数汇总得到对该图片的最终得分,选取最高分数为最佳图片。
维度a,判断拍摄图片的清晰度,是否模糊发虚;清晰度高5分,依次根据清晰度往下递减4分,3分,2分和1分;
维度b,判断图片是否存在光照阴影;不存在阴影5分,其他根据遮挡情况依次递减4分,3分,2分和1分;
维度c,判断农作物叶片所占图片的比例是否超过一定阈值;没有超过阈值且比例较大为5分,其他根据比例依次递减4分,3分,2分和1分;
维度d,判断拍摄图片叶片角度是否合适;角度合适5分,其他根据角度偏差依次递减4分,3分,2分和1分。
方式2,客观评价方法:该方法通常是通过测试多个影响质量的图像因素表现,并通过计算模型获得图像质量的量化指标。可以采用自身像素的标准差进行图像质量的评估。标准差反应的是图像像素灰度值相对于均值的离散程度,标准差越大,表明图像中灰度级分布越散,图像质量越好。假设待评图片是像素大小为M*N的矩阵F,则标准差的计算公式如下:
其中,均值
本申请还提供了一种可选实施例,该可选实施例提供了一种基于人工智能的农作物病虫害防治系统,图3是根据本申请可选实施例的基于人工智能的农作物病虫害防治系统的示意图,如图3所示,该系统包括病虫害识别模块,病虫害治理模块和病虫害预防模块,在农田部署若干个“智能图片采集杆”,部署以后应用该装置采集图片并将图片信息上传至病虫害识别模块,病虫害识别模块根据人工智能深度学习算法进行病虫害精准识别,当识别的病虫害类别的概率值大于设定阈值时,将最大概率值对应的病虫害类别确定为最终的病虫害类别。接着病虫害治理模块根据病虫害知识图谱进行相应的治理方案推荐。作物病虫害防大于治,为了减少农户经济损失,提高农作物产量,智能采集杆还支持通过部署的传感器设备采集地理位置数据,气象数据和作物生长周期数据通过病虫害预防模块对病虫害进行提前预测。
图4是根据本申请可选实施例的植物叶片病虫害检测的示意图,如图4所示,上述病虫害识别模块在深度卷积神经网络算法下对绿萝叶片进行检测,得到的检测结果是该绿萝叶片处于健康状态的概率为100%。图5是根据本申请可选实施例的病虫害治理信息推送的示意图,如图5所示,对于草莓病害叶片进行了草莓叶枯病信息和防治方法的推送。图6是根据本申请可选实施例的农作物叶片病虫害检测的示意图,如图6所示,对桃树图片进行了精准识别,检测出该桃树图片中的桃树叶片处于桃树叶蝉虫害的状态,并且概率为99.99%。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面,还提供了一种用于实施上述对象异常状态的检测方法的对象异常状态的检测装置。图7是根据本申请实施例的一种可选的对象异常状态的检测装置的示意图,如图7所示,该装置可以包括:
第一获取模块72,用于获取目标对象的第一图像和第二图像,其中,所述第一图像用于展示所述目标对象,所述第二图像用于展示所述目标对象的目标部位;
第一检测模块74,用于通过对象检测模型对所述第一图像进行检测,得到所述目标对象所属于的目标对象类型,其中,所述对象检测模型是使用标注了对象类型的第一样本对第一初始模型进行训练得到的,所述第一样本用于展示样本对象;
第二获取模块76,用于从具有对应关系的对象类型和状态检测模型中获取所述目标对象类型所对应的目标状态检测模型,其中,所述目标状态检测模型是使用标注了异常状态的第二样本对第二初始模型进行训练得到的,所述第二样本用于展示所述样本对象的所述目标部位;
第二检测模块78,用于通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态,其中,所述目标异常状态用于指示所述目标对象的所述目标部位处于由目标异常对象所导致的异常状态中。
需要说明的是,该实施例中的第一获取模块72可以用于执行本申请实施例中的步骤S202,该实施例中的第一检测模块74可以用于执行本申请实施例中的步骤S204,该实施例中的第二获取模块76可以用于执行本申请实施例中的步骤S206,该实施例中的第二检测模块78可以用于执行本申请实施例中的步骤S208。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现。
通过上述模块,获取到的目标对象的数据包括第一图像和第二图像,第一图像是目标对象的整体图像,第二图像是目标部位的图像,也就是目标对象的局部图像,通过训练好的对象检测模型对第一图像进行检测从而确定出目标对象所属于的目标对象类型,对于不同对象类型的对象预先训练好了针对各个对象类型的状态检测模型,根据检测出的目标对象类型能够获取到与其对应的目标状态检测模型,通过目标状态检测模型对第二图像进行检测判定出目标对象所处于的目标异常状态,达到了自动检测对象异常状态的目的,用于进行检测的数据针对性强,从而实现了提高对象异常状态的检测准确性的技术效果,进而解决了相关技术中对象异常状态的检测准确性较低的技术问题。
作为一种可选的实施例,所述第一检测模块包括:
第一输入单元,用于将所述第一图像输入第一特征提取器,得到所述第一特征提取层输出的第一图像特征;
第二输入单元,用于将所述第一图像特征输入对象分类器,得到所述对象分类器输出的所述目标对象类型,其中,所述对象检测模型包括所述第一特征提取器和所述对象分类器。
作为一种可选的实施例,所述第二输入单元用于:
将所述第一图像特征输入所述对象分类器,得到多个对象类型中每个对象类型对应的第一概率,其中,所述第一概率用于指示所述目标对象属于所述每个对象类型的概率;
获取所述对象分类器输出的所述目标对象类型,其中,所述目标对象类型为所述多个对象类型中所述第一概率超过第一阈值且所述第一概率最高的对象类型。
作为一种可选的实施例,所述第二获取模块包括:
获取单元,用于从具有对应关系的对象类型和状态检测模型的模型参数中获取所述目标对象类型所对应的目标模型参数;
更新单元,用于使用所述目标模型参数更新预先存储的所述第二初始模型的模型参数,得到所述目标状态检测模型。
作为一种可选的实施例,所述第二检测模块包括:
第三输入单元,用于将所述第二图像输入第二特征提取器,得到所述第二特征提取层输出的第二图像特征;
第四输入单元,用于将所述第二图像特征输入状态分类器,得到所述状态分类器输出的所述目标异常状态,其中,所述目标状态检测模型包括所述第二特征提取器和所述状态分类器。
作为一种可选的实施例,所述第四输入单元用于:
将所述第二图像特征输入所述状态分类器,得到多个异常状态中每个异常状态对应的第二概率,其中,所述第二概率用于指示所述目标对象的所述目标部位处于所述每个异常状态的概率;
获取所述状态分类器输出的所述目标异常状态,其中,所述目标异常状态为所述多个异常状态中所述第二概率超过第二阈值且所述第二概率最高的异常状态。
作为一种可选的实施例,所述装置还包括:
匹配模块,用于在根据所述第二图像检测所述目标对象在所述目标对象类型对应的异常状态中所处于的目标异常状态之后,从预先建立的知识图谱中匹配所述目标对象类型对应的目标对象信息,和所述目标异常状态对应的目标异常状态信息,其中,所述目标对象信息用于指示所述目标对象的属性特征,所述目标异常状态信息用于指示所述目标异常状态的属性特征以及消除所述目标异常状态的方式;
推送模块,用于推送所述目标对象信息和目标异常状态信息。
作为一种可选的实施例,所述匹配模块包括:
搜索单元,用于从所述知识图谱中搜索所述目标对象类型;
第一处理单元,用于在搜索到所述目标对象类型的情况下,获取所述目标对象类型对应的所述目标对象信息,并在所述知识图谱中搜索所述目标异常状态;在搜索到所述目标异常状态的情况下,获取所述目标异常状态对应的所述目标异常状态信息;
第二处理单元,用于在未搜索到所述目标对象类型的情况下,从所述知识图谱中包括的对象图像中获取与所述第一图像的相似度最高的目标对象图像;从所述知识图谱中包括的异常状态图像中获取与所述第二图像的相似度最高的第一异常状态图像;
第三处理单元,用于在搜索到所述目标对象类型但未搜索到所述目标异常状态的情况下,从所述目标对象类型对应的异常状态图像中获取与所述第二图像的相似度最高的第二异常状态图像。
作为一种可选的实施例,所述推送模块包括:
推送单元,用于在搜索到所述目标对象类型且搜索到所述目标异常状态的情况下,将所述目标对象信息和所述目标异常状态信息推送至第一终端,其中,所述第一终端用于展示所述目标对象信息和所述目标异常状态信息;
第一发送单元,用于在未搜索到所述目标对象类型的情况下,将所述目标对象图像和所述第一异常状态图像发送至第二终端,其中,所述第二终端用于对所述目标对象图像和所述第一异常状态图像进行分析;
第二发送单元,用于在搜索到所述目标对象类型但未搜索到所述目标异常状态的情况下,将所述目标对象信息和所述第二异常状态图像发送至第三终端,其中,所述第三终端用于对所述目标对象信息和所述第二异常状态图像进行分析。
作为一种可选的实施例,所述装置还包括:
第三获取模块,用于在通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态之后,获取拍摄所述第一图像和所述第二图像时的目标环境数据;
训练模块,用于使用所述环境数据、标注了所述目标对象类型的所述第一图像和标注了所述目标异常状态的所述第二图像训练初始预测模型,得到目标预测模型,其中,所述目标预测模型用于对属于所述目标对象类型的对象是否处于所述目标异常状态进行预测。
作为一种可选的实施例,所述装置还包括:
第四获取模块,用于在通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态之后,获取所述目标对象的目标位置信息和所述目标对象处于所述目标异常状态的目标时间信息;
第五获取模块,用于获取第一其他对象的其他位置信息和所述第一其他对象处于所述目标异常状态的其他时间信息,其中,所述第一其他对象是处于所述目标异常状态并属于所述目标对象类型的对象;
第一确定模块,用于根据所述目标位置信息与所述其他位置信息之间的关系,以及,所述目标时间信息与所述其他时间信息之间的关系确定所述目标异常状态在属于所述目标对象类型的对象中的发展信息;
第二确定模块,用于根据所述发展信息确定预防信息,其中,所述预防信息用于指示如何防止第二其他对象进入所述目标异常状态,所述第二其他对象是未处于所述目标异常状态并属于所述目标对象类型的对象。
作为一种可选的实施例,所述第一获取模块包括:
采集单元,用于采集所述目标对象当前所处的环境参数;
调整单元,用于根据所述环境参数调整拍摄角度,得到目标拍摄角度;
拍摄单元,用于在所述目标拍摄角度对所述目标对象进行拍摄,得到所述第一图像和所述第二图像。
作为一种可选的实施例,所述拍摄单元用于:
在所述目标拍摄角度对所述目标对象进行拍摄,得到多个第一候选图像和多个第二候选图像;
将所述多个第一候选图像中第一像素标准差最大的第一候选图像确定为所述第一图像,其中,所述第一像素标准差用于指示所述第一候选图像的像素灰度值相对于均值的离散度;
将所述多个第二候选图像中第二像素标准差最大的第二候选图像确定为所述第二图像,其中,所述第二像素标准差用于指示所述第二候选图像的像素灰度值相对于均值的离散度。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本申请实施例的另一个方面,还提供了一种用于实施上述对象异常状态的检测方法的服务器或终端。
图8是根据本申请实施例的一种终端的结构框图,如图8所示,该终端可以包括:一个或多个(图中仅示出一个)处理器801、存储器803、以及传输装置805,如图8所示,该终端还可以包括输入输出设备807。
其中,存储器803可用于存储软件程序以及模块,如本申请实施例中的对象异常状态的检测方法和装置对应的程序指令/模块,处理器801通过运行存储在存储器803内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的对象异常状态的检测方法。存储器803可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器803可进一步包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置805用于经由一个网络接收或者发送数据,还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置805包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置805为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器803用于存储应用程序。
处理器801可以通过传输装置805调用存储器803存储的应用程序,以执行下述步骤:
获取目标对象的第一图像和第二图像,其中,所述第一图像用于展示所述目标对象,所述第二图像用于展示所述目标对象的目标部位;
通过对象检测模型对所述第一图像进行检测,得到所述目标对象所属于的目标对象类型,其中,所述对象检测模型是使用标注了对象类型的第一样本对第一初始模型进行训练得到的,所述第一样本用于展示样本对象;
从具有对应关系的对象类型和状态检测模型中获取所述目标对象类型所对应的目标状态检测模型,其中,所述目标状态检测模型是使用标注了异常状态的第二样本对第二初始模型进行训练得到的,所述第二样本用于展示所述样本对象的所述目标部位;
通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态,其中,所述目标异常状态用于指示所述目标对象的所述目标部位处于由目标异常对象所导致的异常状态中。
采用本申请实施例,提供了一种对象异常状态的检测的方案。获取到的目标对象的数据包括第一图像和第二图像,第一图像是目标对象的整体图像,第二图像是目标部位的图像,也就是目标对象的局部图像,通过训练好的对象检测模型对第一图像进行检测从而确定出目标对象所属于的目标对象类型,对于不同对象类型的对象预先训练好了针对各个对象类型的状态检测模型,根据检测出的目标对象类型能够获取到与其对应的目标状态检测模型,通过目标状态检测模型对第二图像进行检测判定出目标对象所处于的目标异常状态,达到了自动检测对象异常状态的目的,用于进行检测的数据针对性强,从而实现了提高对象异常状态的检测准确性的技术效果,进而解决了相关技术中对象异常状态的检测准确性较低的技术问题。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图8所示的结构仅为示意,终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices,MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如,终端还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图8所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行对象异常状态的检测方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
获取目标对象的第一图像和第二图像,其中,所述第一图像用于展示所述目标对象,所述第二图像用于展示所述目标对象的目标部位;
通过对象检测模型对所述第一图像进行检测,得到所述目标对象所属于的目标对象类型,其中,所述对象检测模型是使用标注了对象类型的第一样本对第一初始模型进行训练得到的,所述第一样本用于展示样本对象;
从具有对应关系的对象类型和状态检测模型中获取所述目标对象类型所对应的目标状态检测模型,其中,所述目标状态检测模型是使用标注了异常状态的第二样本对第二初始模型进行训练得到的,所述第二样本用于展示所述样本对象的所述目标部位;
通过所述目标状态检测模型对所述第二图像进行检测,得到所述目标对象所处于的目标异常状态,其中,所述目标异常状态用于指示所述目标对象的所述目标部位处于由目标异常对象所导致的异常状态中。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。