CN113486811B - 悬崖检测方法、装置、电子设备及计算机可读存储介质 - Google Patents
悬崖检测方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113486811B CN113486811B CN202110772726.7A CN202110772726A CN113486811B CN 113486811 B CN113486811 B CN 113486811B CN 202110772726 A CN202110772726 A CN 202110772726A CN 113486811 B CN113486811 B CN 113486811B
- Authority
- CN
- China
- Prior art keywords
- image
- analysis
- cliff
- detected
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种悬崖检测方法、装置、电子设备及计算机可读存储介质,属于智能机器人技术领域。在本申请实施例中,仅基于平面图像即能够进行悬崖检测,无需使用深度图像,也无需使用运动传感器,对于仅能采集平面图像的移动机器人来说,无需增加任何硬件也能实现悬崖检测。
Description
技术领域
本申请实施例涉及智能机器人技术领域,特别涉及一种悬崖检测方法、装置、电子设备及计算机可读存储介质。
背景技术
随着科技的发展,越来越多智能化的移动机器人被制造并应用于各行各业。例如,扫地机器人可以移动并自动执行清洁工作,送餐机器人可以移动并进行送餐。在移动机器人的移动环境中,经常会遇到一些具有高度差的区域,例如楼梯边缘、桌面等区域,这些区域可称为存在悬崖的区域。为了防止移动机器人跌落悬崖,需要在移动机器人的移动过程中进行悬崖检测。
发明内容
本申请实施例提供了一种悬崖检测方法、装置、电子设备及计算机可读存储介质,能够基于移动机器人采集的平面图像进行悬崖检测,对于仅能采集平面图像的移动机器人来说,无需额外增加硬件也能实现悬崖检测。所述技术方案如下:
一方面,提供了一种悬崖检测方法,所述方法包括:
获取待检测的第一平面图像,所述第一平面图像为移动机器人所采集的图像;
对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果;
基于所述图像分析结果,确定所述待检测区域的悬崖检测结果。
可选地,所述图像分析的方式包括边缘检测方式,所述图像分析结果包括所述边缘检测方式对应的分析结果;
所述对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,包括:
对所述待检测区域进行边缘检测,确定多个边缘像素点;
对所述多个边缘像素点进行连通域分析,得到多个边缘区域;
如果所述多个边缘区域包括的像素点占所述待检测区域的比例大于第一阈值,则确定所述边缘检测方式对应的分析结果为存在悬崖。
可选地,所述图像分析的方式包括像素聚类方式,所述图像分析结果包括所述像素聚类方式对应的分析结果;
所述对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,包括:
对所述待检测区域中的像素点进行聚类,得到多个像素点的标记信息,所述标记信息指示相应像素点为悬崖点或非悬崖点;
基于所述多个像素点的标记信息,确定所述待检测区域中的悬崖侧区域和非悬崖侧区域;
如果所述悬崖侧区域占所述待检测区域的比例大于第二阈值,则确定所述像素聚类方式对应的分析结果为存在悬崖。
可选地,所述图像分析的方式包括图像区域分类方式,所述图像分析结果包括所述图像区域分类方式对应的分析结果;
所述对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,包括:
将所述待检测区域的图像信息输入悬崖检测模型,得到所述悬崖检测模型输出的所述图像区域分类方式对应的分析结果,所述悬崖检测模型为深度学习模型。
可选地,所述图像分析的方式包括基于光流场的方式,所述图像分析结果包括所述光流场的方式对应的分析结果;
所述对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,包括:
获取第二平面图像,所述第二平面图像为所述第一平面图像的前一帧图像;
基于所述第一平面图像和所述第二平面图像,进行关于所述待检测区域内多个特征点的光流场计算,得到所述多个特征点的运动速度;
如果所述多个特征点中运动速度小于第三阈值的特征点占所述多个特征点的比例大于第四阈值,则确定所述基于光流场的方式对应的检测结果为存在悬崖。
可选地,所述图像分析的方式包括边缘检测、像素聚类、图像区域分类和基于光流场中的一种或多种方式,所述一种或多种方式与一个或多个分析结果一一对应,所述图像分析结果包括所述一个或多个分析结果;
所述基于所述图像分析结果,确定所述待检测区域内的悬崖检测结果,包括:
如果所述一个或多个分析结果均指示存在悬崖,则确定所述悬崖检测结果为存在悬崖;或者,
如果所述一个或多个分析结果中指示存在悬崖的分析结果的总数量大于指定数量,则确定所述悬崖检测结果为存在悬崖。
另一方面,提供了一种悬崖检测装置,所述装置包括:
获取模块,用于获取待检测的第一平面图像,所述第一平面图像为移动机器人所采集的图像;
分析模块,用于对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果;
确定模块,用于基于所述图像分析结果,确定所述待检测区域的悬崖检测结果。
可选地,所述图像分析的方式包括边缘检测方式,所述图像分析结果包括所述边缘检测方式对应的分析结果;
所述分析模块包括:
第一确定子模块,用于对所述待检测区域进行边缘检测,确定多个边缘像素点;
分析子模块,用于对所述多个边缘像素点进行连通域分析,得到多个边缘区域;
第二确定子模块,用于如果所述多个边缘区域包括的像素点占所述待检测区域的比例大于第一阈值,则确定所述边缘检测方式对应的分析结果为存在悬崖。
可选地,所述图像分析的方式包括像素聚类方式,所述图像分析结果包括所述像素聚类方式对应的分析结果;
所述分析模块包括:
第一处理子模块,用于对所述待检测区域中的像素点进行聚类,得到多个像素点的标记信息,所述标记信息指示相应像素点为悬崖点或非悬崖点;
第三确定子模块,用于基于所述多个像素点的标记信息,确定所述待检测区域中的悬崖侧区域和非悬崖侧区域;
第四确定子模块,用于如果所述悬崖侧区域占所述待检测区域的比例大于第二阈值,则确定所述像素聚类方式对应的分析结果为存在悬崖。
可选地,所述图像分析的方式包括图像区域分类方式,所述图像分析结果包括所述图像区域分类方式对应的分析结果;
所述分析模块包括:
第二处理子模块,用于将所述待检测区域的图像信息输入悬崖检测模型,得到所述悬崖检测模型输出的所述图像区域分类方式对应的分析结果,所述悬崖检测模型为深度学习模型。
可选地,所述图像分析的方式包括基于光流场的方式,所述图像分析结果包括所述光流场的方式对应的分析结果;
所述分析模块包括:
获取子模块,用于获取第二平面图像,所述第二平面图像为所述第一平面图像的前一帧图像;
第三处理子模块,用于基于所述第一平面图像和所述第二平面图像,进行关于所述待检测区域内多个特征点的光流场计算,得到所述多个特征点的运动速度;
第五确定子模块,用于如果所述多个特征点中运动速度小于第三阈值的特征点占所述多个特征点的比例大于第四阈值,则确定所述基于光流场的方式对应的检测结果为存在悬崖。
可选地,所述图像分析的方式包括边缘检测、像素聚类、图像区域分类和基于光流场中的一种或多种方式,所述一种或多种方式与一个或多个分析结果一一对应,所述图像分析结果包括所述一个或多个分析结果;
所述确定模块包括:
第六确定子模块,用于如果所述一个或多个分析结果均指示存在悬崖,则确定所述悬崖检测结果为存在悬崖;或者,
第七确定子模块,用于如果所述一个或多个分析结果中指示存在悬崖的分析结果的总数量大于指定数量,则确定所述悬崖检测结果为存在悬崖。
另一方面,提供了一种电子设备,所述电子设备包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,所述存储器用于存放计算机程序,所述处理器用于执行所述存储器上所存放的程序,以实现上述所述悬崖检测方法的步骤。可选地,所述电子设备为移动机器人或计算机设备。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述所述悬崖检测方法的步骤。
另一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的悬崖检测方法的步骤。
本申请实施例提供的技术方案至少可以带来以下有益效果:
在本申请实施例中,仅基于平面图像即能够进行悬崖检测,无需使用深度图像,也无需使用运动传感器,对于仅能采集平面图像的移动机器人来说,无需增加任何硬件也能实现悬崖检测。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种悬崖检测方法的流程图;
图2是本申请实施例提供的一种悬崖检测装置的结构示意图;
图3是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例描述业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请实施例所提供的悬崖检测方法能够应用于各种移动机器人相关的场景中。例如,扫地机器人可以移动并自动执行清洁工作,送餐机器人可以移动并进行送餐。在移动机器人的移动环境中,经常会遇到一些具有高度差的区域,例如楼梯边缘、桌面等存在悬崖的区域。为了防止移动机器人跌落悬崖,需要在移动机器人的移动过程中进行悬崖检测。本申请实施例提供的悬崖检测方法能够实现基于移动机器人采集的平面图像的悬崖检测,进而预防移动机器人摔倒或跌落。例如,移动机器人在移动过程中采集平面图像,基于平面图像进行悬崖检测,得到悬崖检测结果,若悬崖检测结果指示存在悬崖,则后续移动机器人可以采取相应措施以防止摔倒或跌落。
接下来对本申请实施例提供的悬崖检测方法进行详细的解释说明。
需要说明的是,本申请实施例提供的悬崖检测方法能够应用于移动机器人本身,也即由移动机器人在移动过程中自行检测悬崖。该悬崖检测方法也能够应用于计算机设备,移动机器人将所采集的平面图像发送给计算机设备,由计算机设备基于平面图像进行悬崖检测。可选地,计算机设备为用户终端、后台设备或服务器等。可选地,用户终端可以为电脑、手机等。在本申请实施例中,由移动机器人和计算机设备基于平面图像进行悬崖检测的过程类似,在接下来的实施例中以悬崖检测方法由计算机设备为例进行介绍。
图1是本申请实施例提供的一种悬崖检测方法的流程图。以该方法应用于计算机设备为例,请参考图1,该方法包括如下步骤。
步骤101:获取待检测的第一平面图像,第一平面图像为移动机器人所采集的图像。
在本申请实施例中,计算机设备获取待检测的第一平面图像,第一平面图像为移动机器人所采集的图像。示例性地,移动机器人将采集的第一平面图像发送给计算机设备。
可选地,移动机器人在移动过程中周期性地采集平面图像,当前待检测的平面图像为第一平面图像。
可选地,平面图像即二维图像,平面图像可以为RGB图像、灰度图像、二值图像等任一种不具备深度信息的图像。
步骤102:对第一平面图像中待检测区域进行图像分析,以得到图像分析结果。
在本申请实施例中,计算机设备对第一平面图像中待检测区域进行图像分析,以得到图像分析结果。可选地,待检测区域为根据预设参数确定的区域,待检测区域可以包括第一平面图像中的局部区域,例如中心区域、上方区域、侧方区域或者下方区域。当然,待检测区域包括第一平面图像的全部区域,本申请实施例不限定待检测区域的位置和大小。
可选地,在本申请实施例中,图像分析的方式包括边缘检测、像素聚类、图像区域分类和基于光流场中的一种或多种方式,该一种或多种方式与一个或多个分析结果一一对应,图像分析结果包括该一个或多个分析结果。也即是,本申请实施例中边缘检测、像素聚类、图像区域分类和基于光流场的方式可以单独使用,也可以组合使用。
可选地,该一种或多种方式的不同组合方式对应不同的检测性能,检测性能包括灵敏度、准确度等。基于此,可以由提供给用户多个设置选项,该不同的设置选项对应不同的组合方式,用户可以选择某个设置选项以设置计算机设备进行悬崖检测的方式。示例性地,用户终端显示多个设置选项以及对应的多种检测性能,用户根据需求从该多个设置选项中选择一个设置选项,以在计算机设备上设置用户所选择的设置选项所对应的组合方式,之后计算机设备设置的组合方式进行图像分析。
接下来对本申请实施例中的边缘检测、像素聚类、图像区域分类和基于光流场这四种方式单独使用的情况分别进行介绍。
首先介绍边缘检测方式。在本申请实施例中,图像分析的方式包括边缘检测方式,图像分析结果包括边缘检测方式对应的分析结果。相应地,计算机设备对第一平面图像中待检测区域进行图像分析,以得到图像分析结果的实现方式为:计算机设备对该待检测区域进行边缘检测,确定多个边缘像素点,对该多个边缘像素点进行连通域分析,得到多个边缘区域,如果该多个边缘区域包括的像素点占该待检测区域的比例大于第一阈值,则计算机设备确定边缘检测方式对应的分析结果为存在悬崖。
示例性地,计算机设备对待检测区域进行边缘检测得到多个边缘像素点,该多个边缘像素点作为悬崖的备选区域。计算机设备再对该多个边缘像素点进行连通域分析得到多个边缘区域,也即计算机设备从备选区域中确定边缘区域,例如将该多个边缘像素点中独立的像素点筛除。其中,该多个边缘区域所包括的各个像素点对应有像素标记,像素标记指示相应像素点属于该多个边缘区域中的哪个边缘区域。之后,计算机设备计算该多个边缘区域包括的像素点占该待检测区域的比例,如果该比例超过第一阈值,表示边缘区域较多,存在悬崖的可能性较大,则计算机设备确定边缘检测方式对应的分析结果为存在悬崖。也可以理解为,计算机设备对待检测区域内的多个边缘区域进行面积计算,如果待检测区域内所标记的多个边缘区域的面积超过面积阈值,则计算机设备确定边缘检测方式对应的分析结果为存在悬崖。
在本申请实施例中,如果该多个边缘区域包括的像素点占该待检测区域的比例小于或等于第一阈值,则计算机设备确定边缘检测方式对应的分析结果为不存在悬崖。
可选地,上述第一阈值根据待检测区域的宽度确定。例如,将第一阈值设定为等于待检测区域的宽度,也即将第一平面图像中待检测区域在宽度方向的像素个数设定为第一阈值。示例性地,假设待检测区域的宽度和高度分别为第一平面图像的宽度的40%和20%,那么可以设定第一阈值为第一平面图像的宽度的40%。可选地,上述第一阈值也可以被设定为待检测区域的高度。在其他一些实施例中,第一阈值也可以被设定为其他值,例如设定第一阈值为待检测区域的宽度的90%、110%等,本申请实施例对此不作限定。
可选地,边缘检测可以是canny、sobel等图像处理方法,也可以是基于神经网络的边缘检测方法,也可以是其他的可检测边缘的方法,本申请实施例对此不作限定。
其次介绍像素聚类方式。在本申请实施例中,图像分析的方式包括像素聚类方式,图像分析结果包括像素聚类方式对应的分析结果。相应地,计算机设备对第一平面图像中待检测区域进行图像分析,以得到图像分析结果的实现方式为:计算机设备对该待检测区域中的像素点进行聚类,得到多个像素点的标记信息,标记信息指示相应像素点为悬崖点或非悬崖点。计算机设备基于该多个像素点的标记信息,确定该待检测区域中的悬崖侧区域和非悬崖侧区域。如果悬崖侧区域占该待检测区域的比例大于第二阈值,则计算机设备确定像素聚类方式对应的分析结果为存在悬崖。
示例性地,像素点的标记信息由标签的形式体现,计算机设备对该待检测区域中的像素点进行聚类,以将各个像素点分类为不同的标签,例如悬崖点的标签为‘1’,非悬崖点的标签为‘0’。计算机设备基于待检测区域内的悬崖点和非悬崖点,将待检测区域分为悬崖侧区域和非悬崖侧区域,例如悬崖点组成的区域为悬崖侧区域,非悬崖点组成的区域为非悬崖区域。之后,计算机设备计算悬崖侧区域的面积,基于面积计算悬崖侧区域占该待检测区域的比例,如果该比例超过第二阈值,表示存在悬崖的可能性较大,则计算机设备确定像素聚类方式对应的分析结果为存在悬崖。当然,计算机设备也可以在基于聚类确定待检测区域存在悬崖侧区域后,确定像素聚类方式对应的分析结果为存在悬崖,第二阈值可以理解为0。
可选地,如果悬崖侧区域占该待检测区域的比例小于或等于第二阈值,则计算机设备确定像素聚类方式对应的分析结果为不存在悬崖。
可选地,上述第二阈值根据待检测区域的面积确定。例如,将第二阈值设定为待检测区域的面积乘以指定比例,指定比例可以为8%、10%或15%等。例如,将待检测区域包括的像素点的总个数作为待检测区域的面积,第二阈值可以设定为待检测区域包括的像素点的总个数的8%、10%或15%。
可选地,像素聚类可以为k-means(k-均值)聚类、语义分割等方法,也可以其他的方法,本申请实施例对此不作限定。
然后介绍图像区域分类方式。在本申请实施例中,图像分析的方式包括图像区域分类方式,图像分析结果包括图像区域分类方式对应的分析结果。相应地,计算机设备对第一平面图像中待检测区域进行图像分析,以得到图像分析结果的实现方式为:计算机设备将该待检测区域的图像信息输入悬崖检测模型,得到悬崖检测模型输出的图像区域分类方式对应的分析结果。其中,悬崖检测模型为深度学习模型。也即是,计算机设备直接将待检测区域的图像信息输入一个已训练的悬崖检测模型中,悬崖检测模型直接对待检测区域进行分类,以直接判定待检测区域内是否存在悬崖。
需要说明的是,悬崖检测模型需要预训练得到,示例性地,根据样本图像以及样本图像对应的标注信息训练初始检测模型,得到已训练的悬崖检测模型。其中,样本图像包括多个悬崖样本图像和多个非悬崖样本图像,悬崖样本图像的标注信息指示存在悬崖,非悬崖样本图像的标注信息指示不存在悬崖。
可选地,悬崖检测模型为卷积神经网络模型,悬崖检测模型也可以为其他类型的深度学习模型,本申请实施例对此不作限定。
最后对基于光流场的方式进行介绍。在本申请实施例中,图像分析的方式包括基于光流场的方式,图像分析结果包括光流场的方式对应的分析结果。相应地,计算机设备对第一平面图像中待检测区域进行图像分析,以得到图像分析结果的实现方式为:计算机设备获取第二平面图像,第二平面图像为第一平面图像的前一帧图像,计算机设备基于第一平面图像和第二平面图像,进行关于待检测区域内多个特征点的光流场计算,得到该多个特征点的运动速度。如果该多个特征点中运动速度小于第三阈值的特征点占该多个特征点的比例大于第四阈值,则计算机设备确定基于光流场的方式对应的检测结果为存在悬崖。
可选地,该多个特征点包括待检测区域内的各个像素点,或者,该多个特征点包括待检测区域内的多个角点,该多个角点为待检测区域内的部分像素点。可选地,该多个角点根据预设坐标参数确定。
需要说明的是,由于光流场计算针对的是两帧图像,因此,计算机设备需要获取待检测的第一平面图像的前一帧图像,也即获取第二平面图像,这样计算机设备即获取到连续两帧图像,计算机设备基于这连续两帧图像进行光流场计算。可选地,由前述可知,移动机器人可以周期性地采集图像,如果计算机设备为计算机设备,移动机器人实时将采集的图像发送给计算机设备,计算机设备在进行光流场计算之前获取第一平面图像以及第二平面图像。
另外,由于在悬崖两侧由于视觉深度不同,特征点的运动速度会不同,悬崖侧的特征点的运动速度较小,非悬崖侧的特征点的运动速度较大。也即是,如果待检测区域内存在悬崖,则待检测区域内存在运动速度较小的特征点。基于此,计算机设备在确定多个特征点的运动速度之后,确定该多个特征点中运动速度小于第三阈值的特征点,也即确定运动速度较小的特征点,如果所确定的特征点占该多个特征点的比例大于第四阈值,表示待检测区域内运动速度较小的特征点较多,存在悬崖的可能性较大,则计算机设备确定基于光流场的方式对应的分析结果为存在悬崖。
可选地,如果该多个特征点中运动速度小于第三阈值的特征点占该多个特征点的比例小于或等于第四阈值,则计算机设备确定基于光流场的方式对应的检测结果为不存在悬崖。
可选地,上述第三阈值可以根据悬崖检测的实验数据确定。示例性地,在悬崖检测的实验中分别模拟移动机器人在存在悬崖和不存在悬崖的环境中移动,计算机设备通过对移动机器人在移动过程中所采集的平面图像进行光流场分析,也即分析悬崖侧的特征点的运动速度和非悬崖侧的特征点的运动速度,分别得到多个悬崖侧的特征点的平均运动速度和多个非悬崖侧的特征点的平均运动速度。计算机设备可以基于该多个悬崖侧的特征点的平均运动速度和该多个非悬崖侧的特征点的平均运动速度确定第三阈值。示例性地,该多个悬崖侧的特征点的平均运动速度为v1,该多个非悬崖侧的特征点的平均运动速度为v2,计算机设备将v1和v2的平均值作为第三阈值。
可选地,上述第四阈值设定为40%、50%或60%等。以第四阈值为50%为例,如果该多个特征点中运动速度小于第三阈值的特征点占该多个特征点的比例大于50%,也即该多个特征点中运动速度小于第三阈值的特征点较多,则计算机设备确定基于光流场的方式对应的检测结果为存在悬崖。如果该多个特征点中运动速度小于第三阈值的特征点占该多个特征点的比例小于或等于50%,也即该多个特征点中运动速度小于第三阈值的特征点较少,则计算机设备确定基于光流场的方式对应的检测结果为不存在悬崖。
以上介绍了一种或多种方式中每种方式单独使用的情况下,计算机设备基于第一平面图像确定图像分析结果的实现方式,在本申请实施例中,如果该一种或多种方式组合使用,则计算机设备通过组合方式中的每种方式对待检测区域进行图像分析,得到相应方式对应的分析结果。可选地,组合方式包括的各个方式可以并行,也可以串行,本申请实施例对此不作限定。需要说明的是,假设图像分析包括边缘检测、像素聚类、图像区域分类和基于光流场,那么组合方式可以为边缘检测+像素聚类,或者,边缘检测+像素聚类,或者,边缘检测+像素聚类+基于光流场,或者为其他的组合方式,这里不一一列举,组合方式中每个方式的具体实现方式可以参照前述相关介绍,这里不再赘述。
可选地,若计算机设备被设置为基于组合方式进行悬崖检测,组合方式中的各个方式对应的步骤串行执行,则如果计算机设备在执行某个方式对应的步骤后确定该方式对应的分析结果为不存在悬崖,则计算机设备不再执行该方式后续的方式对应的步骤,计算机设备将后续的方式对应的分析结果均确定为不存在悬崖,或者,计算机设备仅记录已确定各个分析结果,也即图像分析结果仅包括已确定的各个分析结果。
可选地,若计算机设备被设置为基于组合方式进行悬崖检测,组合方式中的各个方式对应的步骤串行执行,且组合方式包括指定方式,指定方式不是串行的最后一个方式,如果计算机设备确定指定方式对应的分析结果指示不存在悬崖,则计算机设备不再执行指定方式之后的方式对应的步骤,计算机设备仅记录已确定各个分析结果,也即图像分析结果仅包括已确定的各个分析结果。例如,组合方式为边缘检测+像素聚类+基于光流场,这三个方式串行,指定方式为边缘检测方式,计算机设备执行边缘检测之后,如果边缘检测方式对应的分析结果为不存在悬崖,则计算机设备不再执行像素聚类方式和基于光流场的方式对应的步骤,可选地,计算机设备将像素聚类方式和基于光流场的方式均确定为不存在悬崖,或者,计算机设备仅记录边缘检测对应的分析结果。
步骤103:基于图像分析结果,确定待检测区域的悬崖检测结果。
在本申请实施例中,图像分析的方式包括一种或多种方式,该一种或多种方式与一个或多个分析结果一一对应,图像分析结果包括该一个或多个分析结果。相应地,计算机设备基于图像分析结果,确定待检测区域内的悬崖检测结果的实现方式为:如果该一个或多个分析结果均指示存在悬崖,则计算机设备确定悬崖检测结果为存在悬崖。或者,如果该一个或多个分析结果中指示存在悬崖的分析结果的总数量大于指定数量,则计算机设备确定悬崖检测结果为存在悬崖。
相应地,如果该一个或多个分析结果中存在指示不存在悬崖的分析结果,则计算机设备确定悬崖检测结果为不存在悬崖。或者,如果该一个或多个分析结果中指示存在悬崖的分析结果的总数量小于或等于指定数量,则计算机设备确定悬崖检测结果为不存在悬崖。
其中,若图像分析的方式包括一种方式,则计算机设备将图像分析结果确定为待检测区域的悬崖检测结果。若图像分析方式包括多种方式,则计算机设备基于多个分析结果确定悬崖检测结果。
示例性地,假设图像分析的方式包括边缘检测方式、像素聚类方式和基于光流场的方式,图像分析结果包括这三种方式对应的三个分析结果。如果这三个分析结果均指示存在悬崖,则计算机设备确定悬崖检测结果为存在悬崖,如果这三个分析结果中存在指示不存在悬崖的分析结果,则计算机设备确定悬崖检测结果为不存在悬崖。假设边缘检测方式对应的分析结果为存在悬崖,像素聚类方式对应的分析结果为存在悬崖,基于光流场的方式为不存在悬崖,则悬崖检测结果为不存在悬崖。
或者,假设指定数量为1,如果这三个分析结果中指示存在悬崖的分析结果的总数量大于指定数量1,则计算机设备确定悬崖检测结果为存在悬崖,如果这三个分析结果中指示存在悬崖的分析结果的总数量小于或等于1,则计算机设备确定悬崖检测结果为不存在悬崖。假设边缘检测方式对应的分析结果为存在悬崖,像素聚类方式对应的分析结果为存在悬崖,基于光流场的方式为不存在悬崖,则悬崖检测结果为存在悬崖。需要说明的是,本申请实施例中不限定指定数量的数值,指定数量也可以由用户设置。
在本申请实施例中,在通过多种方式进行悬崖检测的方案中,综合考虑多个分析结果能够保证悬崖检测的性能,例如保证悬崖检测的准确度、精确度等。另外,本方案通过悬崖检测判定待检测区域内是否存在悬崖后,进而能够实现移动机器人的防跌功能。
综上所述,本方案是一种基于2D视觉的悬崖检测方法,只利用单帧或多帧平面图像(二维图像)进行悬崖检测,未使用深度信息和运动传感器等,也即仅基于平面图像即能够进行悬崖检测,无需使用深度图像,也无需使用运动传感器,对于仅能采集平面图像的移动机器人来说,无需增加任何硬件也能实现悬崖检测,本方案成本较低,能够得到广泛应用。
上述所有可选技术方案,均可按照任意结合形成本申请的可选实施例,本申请实施例对此不再一一赘述。
图2是本申请实施例提供的一种悬崖检测装置200的结构示意图,该悬崖检测装置200可以由软件、硬件或者两者的结合实现成为电子设备的部分或者全部,该电子设备可以为上述实施例中的电子设备。请参考图2,该装置200包括:获取模块201、分析模块202和确定模块203。
获取模块201,用于获取待检测的第一平面图像,第一平面图像为移动机器人所采集的图像;
分析模块202,用于对第一平面图像中待检测区域进行图像分析,以得到图像分析结果;
确定模块203,用于基于图像分析结果,确定待检测区域的悬崖检测结果。
可选地,图像分析的方式包括边缘检测方式,图像分析结果包括边缘检测方式对应的分析结果;
分析模块202包括:
第一确定子模块,用于对待检测区域进行边缘检测,确定多个边缘像素点;
分析子模块,用于对多个边缘像素点进行连通域分析,得到多个边缘区域;
第二确定子模块,用于如果多个边缘区域包括的像素点占待检测区域的比例大于第一阈值,则确定边缘检测方式对应的分析结果为存在悬崖。
可选地,图像分析的方式包括像素聚类方式,图像分析结果包括像素聚类方式对应的分析结果;
分析模块202包括:
第一处理子模块,用于对待检测区域中的像素点进行聚类,得到多个像素点的标记信息,标记信息指示相应像素点为悬崖点或非悬崖点;
第三确定子模块,用于基于多个像素点的标记信息,确定待检测区域中的悬崖侧区域和非悬崖侧区域;
第四确定子模块,用于如果悬崖侧区域占待检测区域的比例大于第二阈值,则确定像素聚类方式对应的分析结果为存在悬崖。
可选地,图像分析的方式包括图像区域分类方式,图像分析结果包括图像区域分类方式对应的分析结果;
分析模块202包括:
第二处理子模块,用于将待检测区域的图像信息输入悬崖检测模型,得到悬崖检测模型输出的图像区域分类方式对应的分析结果,悬崖检测模型为深度学习模型。
可选地,图像分析的方式包括基于光流场的方式,图像分析结果包括光流场的方式对应的分析结果;
分析模块202包括:
获取子模块,用于获取第二平面图像,第二平面图像为第一平面图像的前一帧图像;
第三处理子模块,用于基于第一平面图像和第二平面图像,进行关于待检测区域内多个特征点的光流场计算,得到多个特征点的运动速度;
第五确定子模块,用于如果多个特征点中运动速度小于第三阈值的特征点占多个特征点的比例大于第四阈值,则确定基于光流场的方式对应的检测结果为存在悬崖。
可选地,图像分析的方式包括边缘检测、像素聚类、图像区域分类和基于光流场中的一种或多种方式,一种或多种方式与一个或多个分析结果一一对应,图像分析结果包括一个或多个分析结果;
确定模块203包括:
第六确定子模块,用于如果一个或多个分析结果均指示存在悬崖,则确定悬崖检测结果为存在悬崖;或者,
第七确定子模块,用于如果一个或多个分析结果中指示存在悬崖的分析结果的总数量大于指定数量,则确定悬崖检测结果为存在悬崖。
综上所述,在本申请实施例中,仅基于平面图像即能够进行悬崖检测,无需使用深度图像,也无需使用运动传感器,对于仅能采集平面图像的移动机器人来说,无需增加任何硬件也能实现悬崖检测。
需要说明的是:上述实施例提供的悬崖检测装置在检测悬崖时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的悬崖检测装置与悬崖检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图3是本申请实施例提供的一种电子设备300的结构示意图。该电子设备300可以是:移动机器人,计算机设备等。计算机设备可以为智能手机、平板电脑、笔记本电脑或台式电脑等,计算机设备还可能被称为用户终端、终端设备、用户设备、便携式电子设备、膝上型电子设备、台式电子设备等其他名称。电子设备300还可能被称为服务器、云服务器、服务中心、计算中心、控制设备等其他名称。
通常,电子设备300包括有:处理器301和存储器302。
处理器301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器301可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器301还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的悬崖检测方法。
在一些实施例中,电子设备300还可选包括有:外围设备接口303和至少一个外围设备。处理器301、存储器302和外围设备接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口303相连。具体地,外围设备包括:射频电路304、显示屏305、摄像头组件306、音频电路307、定位组件308和电源309中的至少一种。
外围设备接口303可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中,处理器301、存储器302和外围设备接口303被集成在同一芯片或电路板上;在一些其他实施例中,处理器301、存储器302和外围设备接口303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路304包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路304还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏305用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时,显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时,显示屏305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏305可以为一个,设置在电子设备300的前面板;在另一些实施例中,显示屏305可以为至少两个,分别设置在电子设备300的不同表面或呈折叠设计;在另一些实施例中,显示屏305可以是柔性显示屏,设置在电子设备300的弯曲表面上或折叠面上。甚至,显示屏305还可以设置成非矩形的不规则图形,也即异形屏。显示屏305可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件306用于采集图像或视频。可选地,摄像头组件306包括前置摄像头和后置摄像头。通常,前置摄像头设置在电子设备的前面板,后置摄像头设置在电子设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件306还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器301进行处理,或者输入至射频电路304以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器301或射频电路304的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路307还可以包括耳机插孔。
定位组件308用于定位电子设备300的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件308可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源309用于为电子设备300中的各个组件进行供电。电源309可以是交流电、直流电、一次性电池或可充电电池。当电源309包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,电子设备300还包括有一个或多个传感器310。该一个或多个传感器310包括但不限于:加速度传感器311、陀螺仪传感器312、压力传感器313、指纹传感器314、光学传感器315以及接近传感器316。
加速度传感器311可以检测以电子设备300建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器311可以用于检测重力加速度在三个坐标轴上的分量。处理器301可以根据加速度传感器311采集的重力加速度信号,控制显示屏305以横向视图或纵向视图进行用户界面的显示。加速度传感器311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器312可以检测电子设备300的机体方向及转动角度,陀螺仪传感器312可以与加速度传感器311协同采集用户对电子设备300的3D动作。处理器301根据陀螺仪传感器312采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器313可以设置在电子设备300的侧边框和/或显示屏305的下层。当压力传感器313设置在电子设备300的侧边框时,可以检测用户对电子设备300的握持信号,由处理器301根据压力传感器313采集的握持信号进行左右手识别或快捷操作。当压力传感器313设置在显示屏305的下层时,由处理器301根据用户对显示屏305的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器314用于采集用户的指纹,由处理器301根据指纹传感器314采集到的指纹识别用户的身份,或者,由指纹传感器314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器301授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器314可以被设置在电子设备300的正面、背面或侧面。当电子设备300上设置有物理按键或厂商Logo时,指纹传感器314可以与物理按键或厂商Logo集成在一起。
光学传感器315用于采集环境光强度。在一个实施例中,处理器301可以根据光学传感器315采集的环境光强度,控制显示屏305的显示亮度。具体地,当环境光强度较高时,调高显示屏305的显示亮度;当环境光强度较低时,调低显示屏305的显示亮度。在另一个实施例中,处理器301还可以根据光学传感器315采集的环境光强度,动态调整摄像头组件306的拍摄参数。
接近传感器316,也称距离传感器,通常设置在电子设备300的前面板。接近传感器316用于采集用户与电子设备300的正面之间的距离。在一个实施例中,当接近传感器316检测到用户与电子设备300的正面之间的距离逐渐变小时,由处理器301控制显示屏305从亮屏状态切换为息屏状态;当接近传感器316检测到用户与电子设备300的正面之间的距离逐渐变大时,由处理器301控制显示屏305从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图3中示出的结构并不构成对电子设备300的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在一些实施例中,还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中悬崖检测方法的步骤。例如,所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是,本申请实施例提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是,在一些实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的悬崖检测方法的步骤。
应当理解的是,本文提及的“至少一个”是指一个或多个,“多个”是指两个或两个以上。在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (5)
1.一种悬崖检测方法,其特征在于,所述方法包括:
获取待检测的第一平面图像,所述第一平面图像为移动机器人所采集的未经处理的图像,所述第一平面图像是一种不具备深度信息的图像,所述第一平面图像为RGB图像、灰度图像或二值图像;
按照预设分析方式,对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,所述待检测区域为根据预设参数确定的区域,所述待检测区域为所述第一平面图像中的局部区域,所述局部区域为中心区域、上方区域、侧方区域或下方区域,所述预设分析方式是在检测到对多个设置选项中任意一个设置选项的选择操作的情况下确定的,所述多个设置选项与多种分析方式一一对应,所述多种分析方式包括多种图像分析的方式以及所述多种图像分析的方式中至少两种方式的组合方式,所述多种图像分析的方式包括边缘检测、像素聚类、图像区域分类和基于光流场的方式,所述预设分析方式是所选择的一个设置选项对应的分析方式,不同的分析方式对应不同的检测性能,所述检测性能包括灵敏度和精准度,一种或多种分析方式与一个或多个分析结果一一对应,所述图像分析结果包括所述一个或多个分析结果;
如果所述一个或多个分析结果均指示存在悬崖,则确定悬崖检测结果为存在悬崖;或者,如果所述一个或多个分析结果中指示存在悬崖的分析结果的总数量大于指定数量,则确定悬崖检测结果为存在悬崖,所述指定数量支持由用户设置;
其中,所述预设分析方式包括边缘检测方式,所述图像分析结果包括所述边缘检测方式对应的分析结果;
所述对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,包括:
对所述待检测区域进行边缘检测,确定多个边缘像素点;
对所述多个边缘像素点进行连通域分析,得到多个边缘区域;
如果所述多个边缘区域包括的像素点占所述待检测区域的比例大于第一阈值,则确定所述边缘检测方式对应的分析结果为存在悬崖,所述第一阈值为所述待检测区域的宽度,或者为所述待检测区域的宽度乘以第一比例;
其中,所述预设分析方式包括像素聚类方式,所述图像分析结果包括所述像素聚类方式对应的分析结果;
所述对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,包括:
对所述待检测区域中的像素点进行聚类,得到多个像素点的标记信息,所述标记信息指示相应像素点为悬崖点或非悬崖点;
基于所述多个像素点的标记信息,确定所述待检测区域中的悬崖侧区域和非悬崖侧区域;
如果所述悬崖侧区域占所述待检测区域的比例大于第二阈值,则确定所述像素聚类方式对应的分析结果为存在悬崖,所述第二阈值为所述待检测区域的面积乘以第二比例;
其中,所述预设分析方式包括图像区域分类方式,所述图像分析结果包括所述图像区域分类方式对应的分析结果;
所述对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,包括:
将所述待检测区域的图像信息输入悬崖检测模型,得到所述悬崖检测模型输出的所述图像区域分类方式对应的分析结果,所述悬崖检测模型为深度学习模型;
其中,所述预设分析方式包括基于光流场的方式,所述图像分析结果包括所述光流场的方式对应的分析结果;
所述对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,包括:
获取第二平面图像,所述第二平面图像为所述第一平面图像的前一帧图像;
基于所述第一平面图像和所述第二平面图像,进行关于所述待检测区域内多个特征点的光流场计算,得到所述多个特征点的运动速度;
如果所述多个特征点中运动速度小于第三阈值的特征点占所述多个特征点的比例大于第四阈值,则确定所述基于光流场的方式对应的检测结果为存在悬崖,所述第三阈值为第一平均速度和第二平均速度的平均值,所述第一平均速度为多个悬崖侧的特征点的平均运动速度,所述第二平均速度为多个非悬崖侧的特征点的平均运动速度。
2.一种悬崖检测装置,其特征在于,所述装置包括:
获取模块,用于获取待检测的第一平面图像,所述第一平面图像为移动机器人所采集的未经处理的图像,所述第一平面图像是一种不具备深度信息的图像,所述第一平面图像为RGB图像、灰度图像或二值图像;
分析模块,用于按照预设分析方式,对所述第一平面图像中待检测区域进行图像分析,以得到图像分析结果,所述待检测区域为根据预设参数确定的区域,所述待检测区域为所述第一平面图像中的局部区域,所述局部区域为中心区域、上方区域、侧方区域或下方区域,所述预设分析方式是在检测到对多个设置选项中任意一个设置选项的选择操作的情况下确定的,所述多个设置选项与多种分析方式一一对应,所述多种分析方式包括多种图像分析的方式以及所述多种图像分析的方式中至少两种方式的组合方式,所述多种图像分析的方式包括边缘检测、像素聚类、图像区域分类和基于光流场的方式,所述预设分析方式是所选择的一个设置选项对应的分析方式,不同的分析方式对应不同的检测性能,所述检测性能包括灵敏度和精准度,一种或多种分析方式与一个或多个分析结果一一对应,所述图像分析结果包括所述一个或多个分析结果;
确定模块,用于基于所述图像分析结果,确定所述待检测区域的悬崖检测结果;
其中,所述确定模块包括:
第六确定子模块,用于如果所述一个或多个分析结果均指示存在悬崖,则确定所述悬崖检测结果为存在悬崖;或者,
第七确定子模块,用于如果所述一个或多个分析结果中指示存在悬崖的分析结果的总数量大于指定数量,则确定所述悬崖检测结果为存在悬崖,所述指定数量支持由用户设置;
其中,所述预设分析方式包括边缘检测方式,所述图像分析结果包括所述边缘检测方式对应的分析结果;所述分析模块包括:
第一确定子模块,用于对所述待检测区域进行边缘检测,确定多个边缘像素点;
分析子模块,用于对所述多个边缘像素点进行连通域分析,得到多个边缘区域;
第二确定子模块,用于如果所述多个边缘区域包括的像素点占所述待检测区域的比例大于第一阈值,则确定所述边缘检测方式对应的分析结果为存在悬崖,所述第一阈值为所述待检测区域的宽度,或者为所述待检测区域的宽度乘以第一比例;
其中,所述预设分析方式包括像素聚类方式,所述图像分析结果包括所述像素聚类方式对应的分析结果;所述分析模块包括:
第一处理子模块,用于对所述待检测区域中的像素点进行聚类,得到多个像素点的标记信息,所述标记信息指示相应像素点为悬崖点或非悬崖点;
第三确定子模块,用于基于所述多个像素点的标记信息,确定所述待检测区域中的悬崖侧区域和非悬崖侧区域;
第四确定子模块,用于如果所述悬崖侧区域占所述待检测区域的比例大于第二阈值,则确定所述像素聚类方式对应的分析结果为存在悬崖,所述第二阈值为所述待检测区域的面积乘以第二比例;
其中,所述预设分析方式包括图像区域分类方式,所述图像分析结果包括所述图像区域分类方式对应的分析结果;所述分析模块包括:
第二处理子模块,用于将所述待检测区域的图像信息输入悬崖检测模型,得到所述悬崖检测模型输出的所述图像区域分类方式对应的分析结果,所述悬崖检测模型为深度学习模型;
其中,所述预设分析方式包括基于光流场的方式,所述图像分析结果包括所述光流场的方式对应的分析结果;所述分析模块包括:
获取子模块,用于获取第二平面图像,所述第二平面图像为所述第一平面图像的前一帧图像;
第三处理子模块,用于基于所述第一平面图像和所述第二平面图像,进行关于所述待检测区域内多个特征点的光流场计算,得到所述多个特征点的运动速度;
第五确定子模块,用于如果所述多个特征点中运动速度小于第三阈值的特征点占所述多个特征点的比例大于第四阈值,则确定所述基于光流场的方式对应的检测结果为存在悬崖,所述第三阈值为第一平均速度和第二平均速度的平均值,所述第一平均速度为多个悬崖侧的特征点的平均运动速度,所述第二平均速度为多个非悬崖侧的特征点的平均运动速度。
3.一种电子设备,其特征在于,所述电子设备包括处理器和存储器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序实现权利要求1所述方法的步骤。
4.根据权利要求3所述的电子设备,其特征在于,所述电子设备为移动机器人或计算机设备。
5.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772726.7A CN113486811B (zh) | 2021-07-08 | 2021-07-08 | 悬崖检测方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772726.7A CN113486811B (zh) | 2021-07-08 | 2021-07-08 | 悬崖检测方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113486811A CN113486811A (zh) | 2021-10-08 |
| CN113486811B true CN113486811B (zh) | 2024-10-15 |
Family
ID=77937521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110772726.7A Active CN113486811B (zh) | 2021-07-08 | 2021-07-08 | 悬崖检测方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486811B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114879691A (zh) * | 2022-05-31 | 2022-08-09 | 北京石头创新科技有限公司 | 自行走机器人的控制方法、存储介质和自行走机器人 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652897A (zh) * | 2020-06-10 | 2020-09-11 | 北京云迹科技有限公司 | 一种基于机器人视觉的边缘定位方法及装置 |
| CN113313052A (zh) * | 2021-06-15 | 2021-08-27 | 杭州萤石软件有限公司 | 悬崖区域检测及移动机器人控制方法、装置及移动机器人 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015132817A1 (ja) * | 2014-03-05 | 2015-09-11 | 三菱電機株式会社 | エッジ検出装置、エッジ検出方法およびプログラム |
| TWI653964B (zh) * | 2016-05-17 | 2019-03-21 | Lg Electronics Inc. | 行動機器人及其控制方法 |
| CN109955246B (zh) * | 2017-12-26 | 2020-11-24 | 深圳市优必选科技有限公司 | 悬崖检测方法、装置、终端设备及计算机可读存储介质 |
| CN111598034B (zh) * | 2020-05-22 | 2021-07-23 | 知行汽车科技(苏州)有限公司 | 障碍物检测方法、装置及存储介质 |
-
2021
- 2021-07-08 CN CN202110772726.7A patent/CN113486811B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652897A (zh) * | 2020-06-10 | 2020-09-11 | 北京云迹科技有限公司 | 一种基于机器人视觉的边缘定位方法及装置 |
| CN113313052A (zh) * | 2021-06-15 | 2021-08-27 | 杭州萤石软件有限公司 | 悬崖区域检测及移动机器人控制方法、装置及移动机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113486811A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097576B (zh) | 图像特征点的运动信息确定方法、任务执行方法和设备 | |
| CN111754386B (zh) | 图像区域屏蔽方法、装置、设备及存储介质 | |
| CN110865756B (zh) | 图像标注方法、装置、设备及存储介质 | |
| CN114494469B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111857793B (zh) | 网络模型的训练方法、装置、设备及存储介质 | |
| CN112308103B (zh) | 生成训练样本的方法和装置 | |
| CN110442521B (zh) | 控件单元检测方法及装置 | |
| CN108363982B (zh) | 确定对象数量的方法及装置 | |
| CN113343709B (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
| CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
| WO2020244592A1 (zh) | 物品取放检测系统、方法及装置 | |
| CN113627413B (zh) | 数据标注方法、图像比对方法及装置 | |
| CN113378705B (zh) | 车道线检测方法、装置、设备及存储介质 | |
| CN112989198B (zh) | 推送内容的确定方法、装置、设备及计算机可读存储介质 | |
| CN111582184B (zh) | 页面检测方法、装置、设备及存储介质 | |
| CN113592874B (zh) | 图像显示方法、装置和计算机设备 | |
| CN110647881A (zh) | 确定图像对应的卡片类型的方法、装置、设备及存储介质 | |
| CN110738185B (zh) | 表单对象的识别方法、装置及存储介质 | |
| CN112990424B (zh) | 神经网络模型训练的方法和装置 | |
| CN111753813A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113486811B (zh) | 悬崖检测方法、装置、电子设备及计算机可读存储介质 | |
| CN112804481B (zh) | 监控点位置的确定方法、装置及计算机存储介质 | |
| CN111984755B (zh) | 确定目标停车点的方法、装置、电子设备及存储介质 | |
| CN111754564B (zh) | 视频展示方法、装置、设备及存储介质 | |
| CN113590877B (zh) | 获取标注数据的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |