CN111815687A - 点云匹配方法、定位方法、设备及存储介质 - Google Patents
点云匹配方法、定位方法、设备及存储介质 Download PDFInfo
- Publication number
- CN111815687A CN111815687A CN202010565092.3A CN202010565092A CN111815687A CN 111815687 A CN111815687 A CN 111815687A CN 202010565092 A CN202010565092 A CN 202010565092A CN 111815687 A CN111815687 A CN 111815687A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- feature
- cloud data
- preset
- semantic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种点云匹配方法、定位方法、设备及存储介质。该点云匹配方法包括:确定目标点云数据的第一点云特征所对应的语义信息,其中,目标点云数据是对目标位姿的周边环境进行扫描得到的;基于语义信息过滤第一点云特征中与动态物体对应的点特征;将经过滤的第一点云特征与预设点云数据的第二点云特征进行特征匹配,以得到匹配结果。通过上述方式,能够实现对目标点云数据与预设点云数据的精确匹配。
Description
技术领域
本申请涉及人工智能领域,特别是涉及一种点云匹配方法、定位方法、电子设备及计算机可读存储介质。
背景技术
重定位技术是地图定位技术(simultaneous localization and mapping,SLAM)中最常见需要解决的问题之一。在实际的生产应用场景中,地图定位技术的应用经常受到不确定外界环境的挑战。比如,在没有任何环境先验信息的情况下确定机器人在全局地图上的位姿时,如果机器人被外界移动会影响采集到的数据的连续性,从而导致位姿定位失败。又如,现代化生产环境中,越来越多的机器人需要在高动态环境下自主运动,当机器人的外界环境变化十分剧烈时,经常出现机器人定位漂移甚至丢失的情况。基于以上列举的情况,需要对机器人的位姿进行重新确定。而在机器人地图定位技术中,点云匹配过程尤为关键,但现有的点云匹配方法准确性不高。
发明内容
本申请主要解决的技术问题是现有的点云匹配方法准确性不高的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种点云匹配方法,该方法包括:确定目标点云数据的第一点云特征所对应的语义信息,其中,目标点云数据是对目标位姿的周边环境进行扫描得到的;基于语义信息过滤第一点云特征中与动态物体对应的点特征;将经过滤的第一点云特征与预设点云数据的第二点云特征进行特征匹配,以得到匹配结果。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种定位方法,该方法包括:以当前位姿作为目标位姿,利用扫描器件对目标位姿的周边环境进行扫描,得到目标点云数据;利用全局地图数据,得到分别对应若干候选位姿的若干候选点云数据;以每帧候选点云数据作为预设点云数据,并将目标点云数据与每帧预设点云数据进行特征匹配,选出与目标点云数据之间的匹配满足预设条件的预设点云数据;利用选出的预设点云数据对应的位姿,对当前位姿进行定位;其中,目标点云数据与每帧预设点云数据进行特征匹配的过程可以利用上述点云匹配方法实现。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种电子设备,该电子设备包括处理器、与处理器耦接的存储器,其中,存储器存储有执行存储器存储的所述程序指令以实现上述方法。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种计算机可读存储介质,存储有程序指令,程序指令被执行时能够实现上述方法。
本申请的有益效果是:通过上述方案的实施,本申请通过本申请预设点云数据的第二点云特征对应有语义信息,因此确定目标点云数据的第一点云特征所对应的语义信息后,可进一步基于确定的语义信息对目标点云数据和预设点云数据的特征匹配;并且,在进行匹配前,基于第一点云特征所对应的语义信息过滤第一点云特征中与动态物体对应的点特征,并用经过滤的第一点云特征与预设点云数据的第二点云特征进行匹配,可以使得到的匹配结果更加准确。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请点云匹配方法一实施例的流程示意图;
图2是本申请点云匹配方法又一实施例的流程示意图;
图3是图2中S220的具体流程示意图;
图4是图2中S220的具体流程示意图;
图5是图4中S223的具体流程示意图;
图6是图1中S150的具体流程示意图;
图7是图6中S1531的具体流程示意图;
图8是本申请定位方法一实施例的流程示意图;
图9是本申请电子设备一实施例的结构示意图;
图10是本申请电子设备另一实施例的结构示意图;
图11是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1是本申请点云匹配方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例可以包括:
S110:获取对目标位姿的周边环境分别进行拍摄和扫描而对应得到的目标图像集和目标点云数据。
目标位姿可以但不限于为机器人的当前位姿。目标图像集中包括多张目标位姿周边环境的图像,可通过具有拍摄功能的器件(比如相机传感器)获取到,在具体应用场景中,机器人可以通过原地旋转等方式来获取目标位姿周边环境的图像,以使获取到的目标位姿周边环境信息更加全面。当然,机器人也可以通过其他方式来获取目标位姿周边环境的图像,在此不作限定。
目标点云数据可以为目标位姿周边预设范围内的点云数据,其可以是对目标位姿的周边环境进行扫描得到的,具体可以通过扫描器件(比如激光雷达传感器)进行扫描得到。目标点云数据可以由多个点组成,其中可以包括点的坐标等信息。目标点云数据中的点可以为扫描器件直接获取到的点,也可以是扫描器件获取到的点经过下采样或者体素化后得到的点。
S120:对目标图像集中的每个图像进行语义分割,得到图像的语义信息,并对目标点云数据进行特征提取以得到目标点云数据的第一点云特征。
可以但不限于采用语义分割神经网络(SwiftNet)对目标图像集中的每个图像进行语义分割,以得到图像的语义信息。该语义分割神经网络依赖于一个轻量级的架构作为主要的识别引擎,其在经典的Cityscapes数据集上取得了75.5%的平均交并比(MIoU),以及在GTX1080T上以1024*2048的分辨率大小达到了接近40HZ的处理速度。其中,图像的语义信息可以包括路面,人行道,树木,灌木丛,行人,建筑物,地面,墙面,车辆,货架等类别。
第一点云特征可以为目标点云数据中点的特征的集合,其可以但不限于采用点云特征提取网络(KPConv)对目标点云数据进行提取得到。具体而言,点云特征提取网络可以以目标点云数据中每一个点xi为圆心,r为半径确定一个球体,该球体范围内可能覆盖点云中除xi以外的其他点xi'。在球体范围内确定h个核心点,该些核心点并不是点云中的点,而是通过特定规则计算出来的一些特殊的位姿点。每一个核心点带一个权重矩阵,可以用核函数计算球体范围内xi'的权重矩阵,并用权重矩阵对xi'的特征进行变换;用上述方法得到落在球体内的每个xi'的特征,最后将每个xi'的特征经累加起来,作为xi的特征向量pi,也即xi的特征。
S130:确定目标点云数据的第一点云特征所对应的语义信息。
其中,可基于拍摄器件的拍摄参数和扫描器件的扫描参数,确定第一点云特征中每个点特征所对应的语义信息。换句话说,可基于拍摄器件的拍摄参数和扫描器件的扫描参数,将图像的语义信息投影到第一点云特征上,以使第一点云特征中每个点特征带有语义信息。
S140:基于语义信息过滤第一点云特征中与动态物体对应的点特征。
与动态物体对应的点特征可以是第一点云特征中对应语义信息为动态物体的点特征,其中,动态物体也可被称为潜在移动物体,即可以发生移动的物体,比如车辆、行人、货架等。
S150:将经过滤的第一点云特征与预设点云数据的第二点云特征进行特征匹配,以得到匹配结果。
预设点云数据可以为全局地图中位姿对应的预设点云数据,即全局地图中位姿周边预设范围内的点云数据。其中,全局地图可以为预先根据机器人的规划路径构建的地图,全局地图中位姿可以为机器人的规划路径中的位姿。第二点云特征提取方法与第一点云特征提取方法相同。使用过滤后第一点云特征中剩余的点特征(静态特征)与预设点云数据的第二点云特征进行特征匹配,可以降低动态物体对后续机器人当前位姿判断产生的影响,使得最终得到的位姿更加准确。
参阅图2,S150之前可以包括:
S210:对经过滤的第一点云特征的语义信息进行统计,得到第一点云特征的语义统计信息。
可选地,第一点云特征的语义统计信息包括第一点云特征所对应的语义信息类别以及各语义信息类别的占比。
其中,第一点云特征所对应的语义信息类别可以为第一点云特征中点特征所对应的语义信息类别,第一点云特征中各语义信息类别的占比可以为第一点云特征中各对应同一语义信息类别的点特征在第一点云特征中的占比。
比如,第一点云特征中的点特征所对应的语义信息包括“人行道”和“建筑物”,则第一点云特征所对应的语义信息类别为“人行道”和“建筑物”。第一点云特征中对应语义信息“人行道”的点特征在第一点云特征中的占比为语义信息类别“人行道”的占比,第一点云特征中对应语义信息“建筑物”的点特征在第一点云特征中的占比为语义信息类别“建筑物”的占比。
S220:比较第一点云特征和第二点云特征的语义统计信息。
可选地,第二点云特征的语义统计信息包括第二点云特征所对应的语义信息类别以及各语义信息类别的占比,其获取方式请参见上述第一点云特征中对应的语义信息的获取方式。
比较第一点云特征和第二点云特征的语义统计信息具体方式可以为:分别比较第一点云特征和第二点云特征所对应的语义信息类别以及各语义信息类别的占比,得到语义相似度和占比相似度。
参阅图3,S220中,比较第一点云特征和第二点云特征所对应的语义信息类别,得到语义相似度可以包括:
S221:按照第一点云特征和第二点云特征所对应的语义信息类别情况,分别为第一点云特征和所述第二点云特征建立类别向量。
其中,类别向量的每个位对应一个语义信息类别,且第一点云特征和第二点云特征的类别向量的相应位对应同一语义信息类别,若类别向量的位为第一字符,则表示相应的点云特征中存在位对应的语义信息类别,类别向量的位为第二字符,则表示相应的点云特征中不存在位对应的语义信息类别。
类别向量中位的数量可以为语义信息类别数量总数,类别向量中位对应的语义信息类别顺序可以预先设定,第一点云特征的类别向量位对应的语义信息类别顺序与第二点云特征的类别向量位对应的语义信息类别顺序相同,若第一点云特征与第二点云特征的类别向量对应位上的字符均为第一字符,则认为第一点云特征与第二点云特征均存在该位对应的类别。
比如,设定“0”为第一字符,“1”为第二字符,初始类别向量为(0,0,0)。其中该初始类别向量中3个位对应的语义信息类别的顺序预先设定,第一位对应语义信息类别“人行道”、第二位对应语义信息类别“树木”、第三位对应语义信息类别“建筑物”。若第一点云特征对应的语义信息类别为“人行道”、“树木”,第二点云特征对应的语义信息类别为“人行道”、“建筑物”,则第一点云特征的类别向量为(1,1,0),第二点云特征的类别向量为(1,0,1)。
S222:计算第一点云特征和第二点云特征的类别向量之间的汉明距离,得到语义相似度。
语义相似度也可以被称为语义信息类别相似度,其可以为第一点云特征和第二点云特征所对应的不同语义信息类别的个数,即第一点云特征和第二点云特征的类别向量中不同位的个数,可以体现为第一点云特征和第二点云特征的类别向量之间的汉明距离。比如,第一点云特征的类别向量为(1,1,0),第二点云特征的类别向量为(1,0,1),那么两类别向量中不同位的个数为2,两类别向量之间的汉明距离为2,第一点云特征和第二点云特征的语义相似度为2。
参阅图4,S220中,比较第一点云特征和第二点云特征之间的占比,对应得到占比相似度可以包括:
S223:基于每个语义信息类别的占比,建立对应的占比向量。
其中,占比向量的值用于表示对应语义信息类别的占比。
参阅图5,S223可以包括:
S2231:建立预设位数的占比向量。
其中,每个位表示预设占比。
比如,占比向量的预设位数为20,则预设占比为5%,也即将总占比100%划分成20等份,占比向量中每个位表示预设占比5%。
S2232:获取语义信息类别的占比与预设占比之间的商,并对商进行向上取整,得到整数商。
比如,预设占比为5%,第一点云特征所对应的语义信息类别“人行道”的占比为34%,则语义信息类别“人行道”对应的整数商为7。
S2233:按照预设顺序将占比向量中整数商个位赋值为第一字符,剩余位赋值为第二字符。
比如,设定初始占比向量为(0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0),若第一点云特征所对应的语义信息类别“人行道”对应的整数商为7,则第一点云特征所对应的语义信息类别“人行道”的占比向量为(1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0),即将占比向量中前7位赋值为“1”,剩余13位字符赋值为“0”。并且当第一点云特征所对应的某一语义信息类别的占比在(30%,35%)内时,都可以用前7位值为“1”,剩余13位字符值为“0”的占比向量来表示。
S224:分别计算第一点云特征和第二点云特征所对应的同一语义信息类别的占比向量的汉明距离。
若第一点云特征和第二点云特征均对应有语义信息类别“人行道”,并且第一点云特征所对应的语义信息类别“人行道”的占比向量为(1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0),第二点云特征所对应的语义信息类别“人行道”的占比向量为(1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0),则第一点云特征和第二点云特征的语义信息类别“人行道”占比向量的汉明距离为2。
S225:基于第一点云特征和第二点云特征所对应的每个语义信息类别的对应的汉明距离,得到占比相似度。
可选地,将第一点云特征和第二点云特征的每个语义信息类别的对应的汉明距离进行求和,得到占比相似度。换句话说,占比相似度为第一点云特征和第二点云特征的每个语义信息类别的对应的汉明距离之和。
S230:根据比较结果确定是否执行S150。
在本申请一具体实施例中,若语义相似度和占比相似度之和小于相似度阈值,则计算目标点云数据和预设点云数据之间的点云特征匹配度。在第一点云特征和第二点云特征的语义相似度和占比相似度之和小于相似度阈值的情况下,认为第一点云特征和第二点云特征的语义统计信息的比较结果满足要求,因此进一步将经过滤的第一点云特征与预设点云数据的第二点云特征进行特征匹配,以得到匹配结果,即执行S150。
在本申请另一具体实施例中,在丢失机器人定位位姿的情况下,若语义相似度和占比相似度之和小于相似度阈值,和/或预设点云数据对应的位姿在丢失前位姿的预设范围内,则执行S150。
参阅图6,S150可以包括:
S151:对经过滤的第一点云特征和预设点云数据的第二点云特征进行匹配,得到目标点云数据与预设点云数据之间的若干个匹配点对。
参阅图7,S151可以包括:
S1511:将目标点云数据的每一个点作为待匹配点,利用第一点云特征和第二点云特征计算待匹配点与预设点云数据中每个点之间的特征距离,以及计算待匹配点与预设点云数据中的每个点之间的坐标距离。
在一具体实施方式中,待匹配点与预设点云数据中每个点之间的特征距离可以为第一点云数据中待匹配点对应的点特征(向量)与第二点云特征中点特征(向量)之间的汉明距离。
比如,P1为预设点云数据的第二点云特征,P1=(p11,p12,p13),p1i为第一点云特征P1中的第i个点特征向量,P2=(p21,p22,p23)为预设点云数据的第二点云特征,p2i为第二点云特征P2中的第i个点特征向量。将p11作为待匹配点对应的特征向量,分别计算p11与p21~p23之间的汉明距离,将待匹配点与预设点云数据中与p21对应点1之间的汉明距离,作为待匹配点与点1的特征距离,将待匹配点与预设点云数据中与p22对应点2之间的汉明距离,作为待匹配点与点2的特征距离,将待匹配点与预设点云数据中与p23对应点3之间的汉明距离,作为待匹配点与点3的特征距离。
在一具体实施方式中,待匹配点与预设点云数据中的每个点之间的坐标距离可以为欧式距离。
S1512:分别对待匹配点与预设点云数据中的每个点之间的特征距离和坐标距离进行加权处理,以得到目标点云数据与预设点云数据之间的对应点以及对应点的相似度。
其中,可通过下式对待匹配点与预设点云数据中的点之间的特征距离和坐标距离进行加权处理:
score=w1s+w2o,
其中,score代表待匹配点与预设点云数据中的点之间的相似度,w1代表待匹配点与预设点云数据中的点之间的特征距离的权重,s代表待匹配点与预设点云数据中的点之间的特征距离,w2代表待匹配点与预设点云数据中的点之间的坐标距离的权重,o代表待匹配点与预设点云数据中的点之间的坐标距离。
通过对预设点云数据中点一一遍历的方式,从预设点云数据中选出与待匹配点之间的相似度最小的点,作为预设点云数据中与待匹配点对应的点,也即预设点云数据中与待匹配点之间的相似度最小的点与待匹配点为对应点,预设点云数据中与待匹配点之间的相似度最小的点与待匹配点之间的相似度为对应点的相似度。
S1513:判断对应点的相似度是否小于预设阈值。
分别判断目标点云数据与预设点云数据之间的每组对应点的相似度是否小于预设阈值。若是,则执行S1514。
S1514:将对应点作为匹配点对。
分别将目标点云数据与预设点云数据之间的相似度大于预设阈值的对应点作为匹配点对。
S152:将匹配点对的数量作为目标点云数据和预设点云数据之间的点云特征匹配度。
目标点云数据和预设点云数据之间的点云特征匹配度可以为目标点云数据和预设点云数据之间匹配点对的数量,匹配的数量越多,则认为目标点云数据和预设点云数据之间的点云特征匹配度越高。
通过上述实施例的实施,本申请预设点云数据的第二点云特征对应有语义信息,因此确定目标点云数据的第一点云特征所对应的语义信息后,可进一步基于确定的语义信息对目标点云数据和预设点云数据的特征匹配;并且,在进行匹配前,基于第一点云特征所对应的语义信息过滤第一点云特征中与动态物体对应的点特征,并用经过滤的第一点云特征与预设点云数据的第二点云特征进行匹配,可以使得到的匹配结果更加准确。
图8是本申请定位方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图8所示的流程顺序为限。如图8所示,本实施例可以包括:
S310:以当前位姿作为目标位姿,利用扫描器件对目标位姿的周边环境进行扫描,得到目标点云数据。
本实施例所指当前位姿为机器人的当前位姿,也即机器人当前所处的实际位姿。
S320:利用全局地图数据,得到分别对应若干候选位姿的若干候选点云数据。
全局地图数据可以为上述实施例中提及的全局地图对应的点云数据,也即机器人的规划路径对应的数据,其可以包括与机器人的规划路径中若干候选位姿对应的候选点云数据。其中,候选位姿的候选点云数据可以指候选位姿周边预设范围内的点云数据。
S330:以每帧候选点云数据作为预设点云数据,并将目标点云数据与每帧预设点云数据进行特征匹配,选出与目标点云数据之间的匹配满足预设条件的预设点云数据。
本步骤具体的特征匹配可通过上述第一实施例中点云匹配方法实现。并且,参考上述第一实施例,在特征匹配过程中,若目标点云数据与当前帧预设点云数据的语义相似度和占比相似度之和小于预设阈值,和/或预设点云数据对应的位姿在跟丢前位姿的预设范围内,则将当前帧预设点云数据加入候选匹配集中。然后分别计算目标点云数据与候选匹配集中每预设点云数据之间的点云特征匹配度,以从候选点云数据匹配集中找出与目标点云数据之间的匹配满足预设条件的预设点云数据。
其中,与目标点云数据之间的匹配满足预设条件的预设点云数据可以为,与目标点云数据之间的点云特征匹配度大于点云特征匹配度阈值的预设点云数据。
S340:利用选出的预设点云数据对应的位姿,对当前位姿进行定位。
当选出的预设点云数据有多帧时,可以从中选择一帧预设点云数据,利用该帧预设点云数据对应的位姿在全局地图中对当前位姿进行定位。比如,选择与目标点云数据之间的点云特征匹配度最高的预设点云数据对应的位姿作为初始值传入位姿定位算法,实现在全局地图中对当前位姿进行定位。当然,也可以分别将选出来的每帧预设点云数据对应的位姿作为位姿定位算法的初始值,在全局地图中对当前位姿进行定位。其中,位姿定位算法可以为ICP算法、NDT算法等。
通过上述实施例的实施,本申请可利用上述第一实施例提供的点云匹配方法,将目标点云数据与全局地图数据中的多帧候选点云数据进行匹配,以得到与所述目标点云数据最匹配的候选点云数据,从而能够根据候选点云数据对应的候选位姿在全局地图中对机器人当前位姿进行定位。
图9是本申请电子设备一实施例的结构示意图。如图9所示,该电子设备包括处理器410、与处理器耦接的存储器420。
其中,存储器420存储有用于实现上述任一实施例的方法的程序指令;处理器410用于执行存储器420存储的程序指令以实现上述方法实施例的步骤。其中,处理器410还可以称为CPU(Central Processing Unit,中央处理单元)。处理器410可能是一种集成电路芯片,具有信号的处理能力。处理器410还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请一具体实施例中,电子设备可以为机器人。参阅图10,该机器人除了包括上述处理器410和存储器420之外,机器人还包括机器人本体430以及设置在机器人本体430上的扫描器件431和拍摄器件432。
其中,扫描器件431可以为具有扫描功能的器件,如激光雷达等,其可以用于扫描机器人周边环境,以得到机器人周边环境的点云数据。拍摄器件432可以为具有拍摄功能的器件,如相机传感器等,其可以用于拍摄机器人周边环境的图像。并且,扫描器件431和拍摄器件432可以将获取到的数据发送至处理器410进行处理。
图11是本申请计算机可读存储介质一实施例的结构示意图。本申请实施例的计算机可读存储介质500存储有程序指令510,该程序指令500被执行时实现本申请上述实施例提供的方法。其中,该程序指令510可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质500中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质500包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (13)
1.一种点云匹配方法,其特征在于,包括:
确定目标点云数据的第一点云特征所对应的语义信息,其中,所述目标点云数据是对目标位姿的周边环境进行扫描得到的;
基于所述语义信息过滤所述第一点云特征中与动态物体对应的点特征;
将经过滤的第一点云特征与预设点云数据的第二点云特征进行特征匹配,以得到匹配结果。
2.根据权利要求1所述的方法,其特征在于,在所述确定目标点云数据的第一点云特征所对应的语义信息之前,所述方法还包括:
获取对目标位姿的周边环境分别进行拍摄和扫描而对应得到的目标图像集和目标点云数据;
对所述目标图像集中的每个图像进行语义分割,得到所述图像的语义信息,并对所述目标点云数据进行特征提取,得到所述目标点云数据的第一点云特征;
所述确定目标点云数据的第一点云特征所对应的语义信息包括:
基于拍摄参数和扫描参数,确定所述第一点云特征中每个点特征所对应的所述语义信息。
3.根据权利要求1所述的方法,其特征在于,在所述将经过滤的第一点云特征与所述预设点云数据的第二点云特征进行特征匹配,以得到匹配结果之前,还包括:
对所述经过滤的第一点云特征的语义信息进行统计,得到所述第一点云特征的语义统计信息;
比较所述第一点云特征和所述第二点云特征的语义统计信息;
根据比较结果确定是否执行所述将经过滤的第一点云特征与所述预设点云数据的第二点云特征进行特征匹配,以得到匹配结果的步骤。
4.根据权利要求3所述的方法,其特征在于,
所述第一点云特征的语义统计信息包括所述第一点云特征所对应的语义信息类别以及各语义信息类别的占比,所述第二点云特征的语义统计信息包括所述第二点云特征所对应的语义信息类别以及各语义信息类别的占比。
5.根据权利要求4所述的方法,其特征在于,
所述比较所述第一点云特征和所述第二点云特征的语义统计信息,包括:
分别比较所述第一点云特征和所述第二点云特征所对应的所述语义信息类别以及各语义信息类别的占比,得到语义相似度和占比相似度;
所述根据比较结果确定是否执行所述将经过滤的第一点云特征与所述预设点云数据的第二点云特征进行特征匹配,以得到匹配结果的步骤,包括:
若所述语义相似度和占比相似度之和是否小于预设阈值,则执行所述将经过滤的第一点云特征与所述预设点云数据的第二点云特征进行特征匹配,以得到匹配结果的步骤;和/或,
在丢失机器人定位位姿的情况下,所述目标位姿为所述机器人的当前位姿,若所述预设点云数据对应的位姿在丢失前位姿的预设范围内,则执行所述将经过滤的第一点云特征与所述预设点云数据的第二点云特征进行特征匹配,以得到匹配结果的步骤。
6.根据权利要求5所述的方法,其特征在于,
比较所述第一点云特征和所述第二点云特征所对应的语义信息类别,得到语义相似度,包括:
按照所述第一点云特征和所述第二点云特征所对应的语义信息类别情况,分别为所述第一点云特征和所述第二点云特征建立类别向量,其中,所述类别向量的每个位对应一个所述语义信息类别,且所述第一点云特征和所述第二点云特征的类别向量的相应位对应同一语义信息类别,若所述类别向量的位为第一字符,则表示相应的点云特征中存在所述位对应的语义信息类别,所述类别向量的位为第二字符,则表示相应的点云特征中不存在所述位对应的语义信息类别;
计算所述第一点云特征和第二点云特征的类别向量之间的汉明距离,得到所述语义相似度;
比较所述第一点云特征和所述第二点云特征之间的所述占比,对应得到占比相似度,包括:
基于每个所述语义信息类别的占比,建立对应的占比向量,其中,所述占比向量的值用于表示对应语义信息类别的占比;
分别计算所述第一点云特征和第二点云特征所对应的同一语义信息类别的占比向量的汉明距离;
基于所述第一点云特征和第二点云特征所对应的每个语义信息类别的对应的汉明距离,得到所述占比相似度。
7.根据权利要求6所述的方法,其特征在于,所述基于每个语义信息类别的占比,建立对应的占比向量,包括:
建立预设位数的占比向量,其中,每个位表示预设占比;
获取所述语义信息类别的占比与所述预设占比之间的商,并对所述商进行向上取整,得到整数商;
按照预设顺序将所述占比向量中所述整数商个位赋值为第一字符,剩余位赋值为第二字符;
所述基于第一点云特征和第二点云特征所对应的每个语义信息类别的对应的汉明距离,得到所述占比相似度,包括:
将所述第一点云特征和第二点云特征的每个语义信息类别的对应的汉明距离进行求和,得到所述占比相似度。
8.根据权利要求1所述的方法,其特征在于,所述将经过滤的第一点云特征与所述预设点云数据的第二点云特征进行特征匹配,以得到匹配结果,包括:
对经过滤的所述第一点云特征和所述预设点云数据的第二点云特征进行匹配,得到所述目标点云数据与所述预设点云数据之间的若干个匹配点对;
将所述匹配点对的数量作为所述目标点云数据和所述预设点云数据之间的点云特征匹配度。
9.根据权利要求8所述的方法,其特征在于,所述对经过滤的所述第一点云特征和所述预设点云数据的第二点云特征进行匹配,得到所述目标点云数据与所述预设点云数据之间的若干个匹配点对包括:
将所述目标点云数据的每一个点作为待匹配点,利用所述第一点云特征和所述第二点云特征计算所述待匹配点与所述预设点云数据中每个点之间的特征距离,以及计算所述待匹配点与所述预设点云数据中的每个点之间的坐标距离;
分别对所述待匹配点与所述预设点云数据中的每个点之间的所述特征距离和所述坐标距离进行加权处理,以得到所述目标点云数据与所述预设点云数据之间的对应点以及所述对应点的相似度;
若所述对应点的相似度小于预设阈值,则将所述对应点作为匹配点对。
10.一种定位方法,其特征在于,包括:
以当前位姿作为目标位姿,利用扫描器件对目标位姿的周边环境进行扫描,得到目标点云数据;
利用全局地图数据,得到分别对应若干候选位姿的若干所述候选点云数据;
以每帧所述候选点云数据作为预设点云数据,并将所述目标点云数据与每帧所述预设点云数据进行特征匹配,选出与所述目标点云数据之间的匹配满足预设条件的预设点云数据;
利用选出的所述预设点云数据对应的位姿,对所述当前位姿进行定位;
其中,所述目标点云数据与所述预设点云数据进行特征匹配的过程是利用权利要求1至9任一项所述方法实现。
11.一种电子设备,其特征在于,包括处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-10中任一项所述的方法。
12.根据权利要求11所述的设备,其特征在于,所述电子设备为机器人,所述机器人还包括机器人本体以及设置在所述机器人本体上的扫描器件和拍摄器件。
13.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序指令,所述程序指令被执行时实现权利要求1-10中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010565092.3A CN111815687B (zh) | 2020-06-19 | 2020-06-19 | 点云匹配方法、定位方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010565092.3A CN111815687B (zh) | 2020-06-19 | 2020-06-19 | 点云匹配方法、定位方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111815687A true CN111815687A (zh) | 2020-10-23 |
| CN111815687B CN111815687B (zh) | 2024-09-03 |
Family
ID=72845376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010565092.3A Active CN111815687B (zh) | 2020-06-19 | 2020-06-19 | 点云匹配方法、定位方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815687B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784873A (zh) * | 2020-12-25 | 2021-05-11 | 华为技术有限公司 | 一种语义地图的构建方法及设备 |
| CN113064576A (zh) * | 2021-04-09 | 2021-07-02 | 北京云迹科技有限公司 | 一种音量调节方法、装置、可移动设备及存储介质 |
| CN113656418A (zh) * | 2021-07-27 | 2021-11-16 | 追觅创新科技(苏州)有限公司 | 语义地图的保存方法和装置、存储介质、电子装置 |
| CN113726891A (zh) * | 2021-08-31 | 2021-11-30 | 中联重科建筑起重机械有限责任公司 | 用于建立通信连接的方法、装置及工程机械 |
| CN114526720A (zh) * | 2020-11-02 | 2022-05-24 | 北京四维图新科技股份有限公司 | 定位的处理方法、装置、设备及存储介质 |
| CN114722944A (zh) * | 2022-04-12 | 2022-07-08 | 高德软件有限公司 | 点云精度确定方法、电子设备及计算机存储介质 |
| CN114926649A (zh) * | 2022-05-31 | 2022-08-19 | 中国第一汽车股份有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| EP4068208A1 (en) * | 2021-03-31 | 2022-10-05 | Topcon Corporation | Point cloud information processing device, point cloud information processing method, and point cloud information processing program |
| CN115619871A (zh) * | 2022-09-05 | 2023-01-17 | 中汽创智科技有限公司 | 一种车辆定位方法、装置、设备及存储介质 |
| CN116310445A (zh) * | 2023-03-31 | 2023-06-23 | 高德软件有限公司 | 一种点云匹配方法、装置、电子设备及存储介质 |
| WO2023131203A1 (zh) * | 2022-01-04 | 2023-07-13 | 深圳元戎启行科技有限公司 | 语义地图更新方法、路径规划方法以及相关装置 |
| CN117095050A (zh) * | 2022-05-13 | 2023-11-21 | 追觅创新科技(苏州)有限公司 | 机器人的重定位方法和装置、存储介质及电子装置 |
| CN117710421A (zh) * | 2022-09-07 | 2024-03-15 | 北京三快在线科技有限公司 | 点云数据的配准方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180275277A1 (en) * | 2017-03-22 | 2018-09-27 | Here Global B.V. | Method, apparatus and computer program product for mapping and modeling a three dimensional structure |
| CN109285220A (zh) * | 2018-08-30 | 2019-01-29 | 百度在线网络技术(北京)有限公司 | 一种三维场景地图的生成方法、装置、设备及存储介质 |
| CN110068824A (zh) * | 2019-04-17 | 2019-07-30 | 北京地平线机器人技术研发有限公司 | 一种传感器位姿确定方法和装置 |
| WO2019153245A1 (en) * | 2018-02-09 | 2019-08-15 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Systems and methods for deep localization and segmentation with 3d semantic map |
| CN110335319A (zh) * | 2019-06-26 | 2019-10-15 | 华中科技大学 | 一种语义驱动的相机定位与地图重建方法和系统 |
| CN111008660A (zh) * | 2019-12-03 | 2020-04-14 | 北京京东乾石科技有限公司 | 语义地图的生成方法、装置、系统、存储介质及电子设备 |
| CN111190981A (zh) * | 2019-12-25 | 2020-05-22 | 中国科学院上海微系统与信息技术研究所 | 一种三维语义地图的构建方法、装置、电子设备及存储介质 |
| WO2020103108A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 一种语义生成方法、设备、飞行器及存储介质 |
| CN111209978A (zh) * | 2020-04-20 | 2020-05-29 | 浙江欣奕华智能科技有限公司 | 三维视觉重定位方法、装置及计算设备、存储介质 |
-
2020
- 2020-06-19 CN CN202010565092.3A patent/CN111815687B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180275277A1 (en) * | 2017-03-22 | 2018-09-27 | Here Global B.V. | Method, apparatus and computer program product for mapping and modeling a three dimensional structure |
| WO2019153245A1 (en) * | 2018-02-09 | 2019-08-15 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Systems and methods for deep localization and segmentation with 3d semantic map |
| CN109285220A (zh) * | 2018-08-30 | 2019-01-29 | 百度在线网络技术(北京)有限公司 | 一种三维场景地图的生成方法、装置、设备及存储介质 |
| WO2020103108A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 一种语义生成方法、设备、飞行器及存储介质 |
| CN110068824A (zh) * | 2019-04-17 | 2019-07-30 | 北京地平线机器人技术研发有限公司 | 一种传感器位姿确定方法和装置 |
| CN110335319A (zh) * | 2019-06-26 | 2019-10-15 | 华中科技大学 | 一种语义驱动的相机定位与地图重建方法和系统 |
| CN111008660A (zh) * | 2019-12-03 | 2020-04-14 | 北京京东乾石科技有限公司 | 语义地图的生成方法、装置、系统、存储介质及电子设备 |
| CN111190981A (zh) * | 2019-12-25 | 2020-05-22 | 中国科学院上海微系统与信息技术研究所 | 一种三维语义地图的构建方法、装置、电子设备及存储介质 |
| CN111209978A (zh) * | 2020-04-20 | 2020-05-29 | 浙江欣奕华智能科技有限公司 | 三维视觉重定位方法、装置及计算设备、存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 王任栋;徐友春;齐尧;韩栋斌;李华;: "一种鲁棒的城市复杂动态场景点云配准方法", 机器人, no. 03 * |
| 王宪伦;张海洲;安立雄;: "基于图像语义分割的物体位姿估计", 机械制造与自动化, no. 02, 20 April 2020 (2020-04-20) * |
| 薛耀红;梁学章;马婷;梁英;车翔玖;: "扫描点云的一种自动配准方法", 计算机辅助设计与图形学学报, no. 02 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114526720A (zh) * | 2020-11-02 | 2022-05-24 | 北京四维图新科技股份有限公司 | 定位的处理方法、装置、设备及存储介质 |
| CN114526720B (zh) * | 2020-11-02 | 2024-04-16 | 北京四维图新科技股份有限公司 | 定位的处理方法、装置、设备及存储介质 |
| CN112784873B (zh) * | 2020-12-25 | 2024-08-23 | 华为技术有限公司 | 一种语义地图的构建方法及设备 |
| CN112784873A (zh) * | 2020-12-25 | 2021-05-11 | 华为技术有限公司 | 一种语义地图的构建方法及设备 |
| JP2022157660A (ja) * | 2021-03-31 | 2022-10-14 | 株式会社トプコン | 点群情報処理装置、点群情報処理方法、点群情報処理プログラム |
| JP7767021B2 (ja) | 2021-03-31 | 2025-11-11 | 株式会社トプコン | 点群情報処理装置、点群情報処理方法、点群情報処理プログラム |
| EP4068208A1 (en) * | 2021-03-31 | 2022-10-05 | Topcon Corporation | Point cloud information processing device, point cloud information processing method, and point cloud information processing program |
| CN113064576A (zh) * | 2021-04-09 | 2021-07-02 | 北京云迹科技有限公司 | 一种音量调节方法、装置、可移动设备及存储介质 |
| CN113656418B (zh) * | 2021-07-27 | 2023-08-22 | 追觅创新科技(苏州)有限公司 | 语义地图的保存方法和装置、存储介质、电子装置 |
| CN113656418A (zh) * | 2021-07-27 | 2021-11-16 | 追觅创新科技(苏州)有限公司 | 语义地图的保存方法和装置、存储介质、电子装置 |
| CN113726891A (zh) * | 2021-08-31 | 2021-11-30 | 中联重科建筑起重机械有限责任公司 | 用于建立通信连接的方法、装置及工程机械 |
| WO2023131203A1 (zh) * | 2022-01-04 | 2023-07-13 | 深圳元戎启行科技有限公司 | 语义地图更新方法、路径规划方法以及相关装置 |
| CN114722944A (zh) * | 2022-04-12 | 2022-07-08 | 高德软件有限公司 | 点云精度确定方法、电子设备及计算机存储介质 |
| CN117095050A (zh) * | 2022-05-13 | 2023-11-21 | 追觅创新科技(苏州)有限公司 | 机器人的重定位方法和装置、存储介质及电子装置 |
| CN117095050B (zh) * | 2022-05-13 | 2025-04-22 | 追觅创新科技(苏州)有限公司 | 机器人的重定位方法和装置、存储介质及电子装置 |
| CN114926649A (zh) * | 2022-05-31 | 2022-08-19 | 中国第一汽车股份有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| CN115619871A (zh) * | 2022-09-05 | 2023-01-17 | 中汽创智科技有限公司 | 一种车辆定位方法、装置、设备及存储介质 |
| CN117710421A (zh) * | 2022-09-07 | 2024-03-15 | 北京三快在线科技有限公司 | 点云数据的配准方法 |
| CN116310445A (zh) * | 2023-03-31 | 2023-06-23 | 高德软件有限公司 | 一种点云匹配方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111815687B (zh) | 2024-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815687B (zh) | 点云匹配方法、定位方法、设备及存储介质 | |
| CN110657803B (zh) | 机器人定位方法、装置以及存储装置 | |
| CN106204522B (zh) | 对单个图像的联合深度估计和语义标注 | |
| CN110176027A (zh) | 视频目标跟踪方法、装置、设备及存储介质 | |
| KR101896357B1 (ko) | 객체를 검출하는 방법, 디바이스 및 프로그램 | |
| CN110443258B (zh) | 文字检测方法、装置、电子设备及存储介质 | |
| JP2023527510A (ja) | ブートストラッピングされた潜在表現を使用する自己教師付き表現学習 | |
| CN115311550B (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 | |
| CN114359665A (zh) | 全任务人脸识别模型的训练方法及装置、人脸识别方法 | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN114973064B (zh) | 一种伪标签框生成方法、装置及电子设备 | |
| CN113627298B (zh) | 目标检测模型的训练方法及检测目标对象的方法、装置 | |
| CN114842287B (zh) | 深度引导变形器的单目三维目标检测模型训练方法及装置 | |
| CN112241736B (zh) | 一种文本检测的方法及装置 | |
| CN116977674A (zh) | 图像匹配方法、相关设备、存储介质及程序产品 | |
| CN111815677A (zh) | 目标追踪方法、装置、终端设备和可读存储介质 | |
| CN115984951B (zh) | 一种鱼眼图像遮挡类别的判别方法及装置 | |
| WO2023241372A1 (zh) | 相机内参标定方法及相关设备 | |
| CN116012323A (zh) | 图像清晰度计算方法、图像处理模型训练方法及装置 | |
| CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 | |
| CN115359468A (zh) | 一种目标网站识别方法、装置、设备及介质 | |
| CN114119958A (zh) | 基于级联回归的目标检测方法及装置 | |
| CN116740573B (zh) | 一种荔枝图像的检测方法、装置 | |
| CN115861785B (zh) | 基于yolo的水生生物多目标检测方法、装置、终端及存储介质 | |
| US20230196752A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |