[go: up one dir, main page]

CN117848234A - 物体扫描机构、方法及相关设备 - Google Patents

物体扫描机构、方法及相关设备 Download PDF

Info

Publication number
CN117848234A
CN117848234A CN202311794879.7A CN202311794879A CN117848234A CN 117848234 A CN117848234 A CN 117848234A CN 202311794879 A CN202311794879 A CN 202311794879A CN 117848234 A CN117848234 A CN 117848234A
Authority
CN
China
Prior art keywords
target
cameras
frame image
pose
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311794879.7A
Other languages
English (en)
Inventor
罗哉
陈媛
江文松
杨力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202311794879.7A priority Critical patent/CN117848234A/zh
Publication of CN117848234A publication Critical patent/CN117848234A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提出一种物体扫描机构、方法及相关设备。其中,物体扫描机构包括:扫描设备,所述扫描设备可移动设置;所述扫描设备为线激光扫描仪;立体靶标,所述立体靶标设有多个标志点,所述多个标志点按照预设的规则排布;所述立体靶标相对所述扫描设备固定设置;相机组件,所述相机组件包括多个相机;所述多个相机用于拍摄所述立体靶标。本申请实施例提供的上述技术方案,采用线激光扫描仪进行局部扫描,对大型且复杂的物体可以灵活处理数据,成本低,且实用性强。采用多个相机结合,可以获得更大视角的拍摄数据,可以克服局部遮挡无法定位的局限性,具有更高的实用性和可操作性,在保证低成本的同时实现高精度多角度大场景的扫描效果。

Description

物体扫描机构、方法及相关设备
技术领域
本申请涉及高精度三维建模技术领域,尤其涉及一种物体扫描机构、方法及相关设备。
背景技术
目前,对物体进行高精度三维建模时,通常采用相机与面阵扫描仪相互结合的方式。现有的技术方案中,如果被扫描的物体非常大,则需要能够扫描更大面积的面阵扫描仪,导致成本非常昂贵;这种方式在大场景复杂物件的情况下,难以适用。
发明内容
本申请实施例提供一种物体扫描机构、方法及相关设备,以解决相关技术存在的问题,技术方案如下:
第一方面,本申请实施例提供了一种物体扫描机构,包括:
扫描设备,所述扫描设备可移动设置;所述扫描设备为线激光扫描仪;
立体靶标,所述立体靶标设有多个标志点,所述多个标志点按照预设的规则排布;所述立体靶标相对所述扫描设备固定设置;
相机组件,所述相机组件包括多个相机;所述多个相机用于拍摄所述立体靶标。
第二方面,本申请实施例提供了一种物体扫描方法,包括:
获取多个相机在当前时刻拍摄到的多个帧图像;
基于所述多个相机之间的位姿关系和所述多个帧图像,确定当前时刻下立体靶标的位姿;
基于所述立体靶标的位姿以及所述立体靶标与扫描仪之间的位姿关系,对所述扫描仪在当前时刻扫描到的坐标数据进行坐标转换,获得当前时刻下物体中被扫描位置的坐标数据;
基于多个所述被扫描位置的坐标数据,构建物体的三维形状。
第三方面,本申请实施例提供了一种物体扫描装置,包括:
帧图像获取模块,用于获取多个相机在当前时刻拍摄到的多个帧图像;
立体靶标位姿确定模块,用于基于所述多个相机之间的位姿关系和所述多个帧图像,确定当前时刻下立体靶标的位姿;
坐标转换模块,用于基于所述立体靶标的位姿以及所述立体靶标与扫描仪之间的位姿关系,对所述扫描仪在当前时刻扫描到的坐标数据进行坐标转换,获得当前时刻下物体中被扫描位置的坐标数据;
物体构建模块,用于基于多个所述被扫描位置的坐标数据,构建物体的三维形状。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,以使至少一个处理器能够执行上述物体扫描的方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储计算机指令,当计算机指令在计算机上运行时,上述各方面任一种实施方式中的方法被执行。
上述技术方案中的优点或有益效果至少包括:
本申请实施例提供的物体扫描机构,采用线激光扫描仪进行局部扫描,对大型且复杂的物体可以灵活处理数据,成本低,且实用性强。采用多个相机结合,可以获得更大视角的拍摄数据,可以克服局部遮挡无法定位的局限性,具有更高的实用性和可操作性,在保证低成本的同时实现高精度多角度大场景的扫描效果。
本申请实施例提供的物体扫描机构,将线激光扫描仪与多相机进行结合,即使在复杂场景下,仍然可以获得全面且精确的信息,可以适用于大型物体的高精度三维建模,且成本低。线激光局部扫描的方式以及对线激光的定位的方式使得数据处理更加简便,节省资源。
本申请实施例提供的物体扫描机构,可以应用于在汽车、航空航天结构件、新能源汽车托盘等较大尺寸快速在线检测中。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请公开的一些实施方式,而不应将其视为是对本申请范围的限制。
图1示出根据本申请一实施例的物体扫描机构的场景结构示意图;
图2示出根据本申请一实施例的物体扫描方法的示意性流程图;
图3示出根据本申请一实施例的同源点匹配过程的示意图;
图4示出根据本申请一实施例的物体扫描装置的示意性结构图;
图5示出用来实现本申请实施例的物体扫描的方法的电子设备的框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本申请一实施例的物体扫描机构的示意性场景结构图。如图1所示,该物体扫描机构可以包括:扫描设备、立体靶标和相机组件。
其中,扫描设备为线激光扫描仪。线激光扫描仪成本低,可以有更宽广的扫描范围。扫描设备可移动设置,其中可移动设置可以为采用机械臂带动扫描设备移动,也可以为人为地手动带动扫描设备移动。
本申请实施例中,扫描设备可移动设置,使得扫描设备可以灵活地扫描物体的各个角度,包括向内凹陷,向内蜿蜒等复杂场景。
本申请实施例中的立体靶标可以为大致球形的形状,也可以为球形,立方体等形状。立体靶标可以采用材质较轻的材质制成。立体靶标上设有多个标志点,所述多个标志点按照预设的规则排布;预设的规则可以是随意地排布与立体靶标的各个面,也可以是多个标志点之间能够分别构造出不同的形状为预设规则,以方便后续的数据处理工作等等;本申请实施例对此不做限定,本领域的技术人员可以根据实际情况,布设多个标志点。
本申请实施例中的立体靶标相对所述扫描设备固定设置,使得扫描设备移动或者转动的情况下,立体靶标也随之移动或者转动,从而可以通过立体靶标的位姿变换确定扫描设备的位姿变换。
本申请实施例中的相机组件包括多个相机;所述多个相机用于拍摄所述立体靶标。由于立体靶标中携带有多个标志点,多个相机拍摄到的帧图像中包括标志点的信息,通过图像处理技术,可以获得拍摄到的标志点的信息,从而用于后续数据处理中。
本申请实施例中,多个相机可以根据实际的应用场景布局。在一个示例中,如图1所示,多个相机采用一个相机支架支撑,多个相机在一平直的支架上一次排列。
在一种实施方式中,所述多个相机中,相邻的相机之间具有共同视场,且相邻相机的视场重叠度不低于第一预设阈值。
在一个示例中,第一预设阈值可以为45%。
在被扫描物体面积再大一些的情况下,可以通过增加相机数量的方式,以实现更大型物体的三维建模。
本申请实施例提供的物体扫描机构,采用线激光扫描仪进行局部扫描,对大型且复杂的物体可以灵活处理数据,成本低,且实用性强。采用多个相机结合,可以获得更大视角的拍摄数据,可以克服局部遮挡无法定位的局限性,具有更高的实用性和可操作性,在保证低成本的同时实现高精度多角度大场景的扫描效果。
本申请实施例提供的物体扫描机构,将线激光扫描仪与多相机进行结合,即使在复杂场景下,仍然可以获得全面且精确的信息,可以适用于大型物体的高精度三维建模,且成本低。线激光局部扫描的方式以及对线激光的定位的方式使得数据处理更加简便,节省资源。
本申请实施例提供的物体扫描机构,可以应用于在汽车、航空航天结构件、新能源汽车托盘等较大尺寸快速在线检测中。
图2示出根据本申请一实施例的物体扫描方法的示意性流程图。如图2所示,该物体扫描方法可以包括:
S210,获取多个相机在当前时刻拍摄到的多个帧图像。
本申请实施例中,多个相机可以是3个及3个以上的相机。相机可以为工业相机。相机可以实时地拍摄图像,或者定时地拍摄图像。拍摄到的图像可以传输至服务器中,以用作数据处理。
拍摄到的图像中的物体,可以基于相机本身的相机坐标系,读取或者获得拍摄物体的坐标数据,以确定拍摄物体的位置或者形状等信息。
本申请实施例中,多个相机的排布和设置可以采用如图1所示的方式设置。
S220,基于所述多个相机之间的位姿关系和所述多个帧图像,确定当前时刻下立体靶标的位姿。
本申请实施例,采用多个相机对同一物体进行拍摄,通过多个相机获得的多个帧图像进行数据处理。多个帧图像的视角不同,多个帧图像进行结合处理,使得可以对更大型更大视角范围的物体进行数据处理,同时保证数据处理的可靠性。
本申请实施例中,立体靶标中包括多个标志点,通过对帧图像中标志点进行分析,可以确定当前时刻下立体靶标的位姿。
S230,基于所述立体靶标的位姿以及所述立体靶标与扫描仪之间的位姿关系,对所述扫描仪在当前时刻扫描到的坐标数据进行坐标转换,获得当前时刻下物体中被扫描位置的坐标数据。
立体靶标与扫描仪固定连接,也即是说,立体靶标变动位姿,则扫描仪以同等幅度同等方向变动位姿。因此,在扫描仪移动的情况下,通过立体靶标的位姿可以确定扫描仪在当前时刻下的位姿。基于扫描仪在当前时刻下的位姿,结合扫描仪扫描到的扫描数据,可以确定被扫描位置的坐标数据。
S240,基于多个所述被扫描位置的坐标数据,构建物体的三维形状。
通过多个角度的数据分析,获得不同角度下物体的数据信息,从而拼接获得物体的三维形状。
本申请实施例提供的物体扫描方法,采用线激光扫描仪进行局部扫描,对大型且复杂的物体可以灵活处理数据,成本低,且实用性强。采用多个相机结合,可以获得更大视角的拍摄数据,可以克服局部遮挡无法定位的局限性,具有更高的实用性和可操作性,在保证低成本的同时实现高精度多角度大场景的扫描效果。
在一种实施方式中,步骤S210之后还包括:从所述多个帧图像中确定至少两个帧图像,作为目标帧图像;具体包括:
获取多个帧图像中的标志点数量,确定多个帧图像中标志点数量最多的帧图像为第一目标帧图像;
基于所述第一目标帧图像对应的第一目标相机,比较与所述第一目标相机相邻的两个相机拍摄到的帧图像中的标志点数量,标志点数量较多的帧图像为第二目标帧图像,所述第二目标帧图像对应的目标为第二目标相机。
相应地,步骤S220包括:
基于所述第一目标相机和所述第二目标相机之间的位姿关系,以及所述第一目标帧图像和所述第二目标帧图像,确定当前时刻下立体靶标的位姿。
本申请实施例中,通过当前时刻下的多个帧图像,确定两个目标帧图像,并以两个目标帧图像的数据进行数据处理,可以简化数据处理过程,提高数据处理效率。
本申请实施例中,两个目标相机是实时变化的,即在下一个时刻中,又会重新确定出另外的两个目标相机对应的帧图像为目标帧图像,以确保数据处理的广度和精度。
本申请实施例中,通过在4个相机拍摄到的图像中识别到的有效标志点数量来确定两个目标相机。例如立体靶标在相机1与相机2的视场范围内时,相机3与相机4的视场中可能识别到的标志点很少。
当靶标在相机1的视场范围内时,相机1与相机2捕捉到靶标标志点,对捕获到的帧图像中的标志点进行检测。首先对图像进行预处理,将包含标志点的图像灰度化,使用以下加权平均公式:
Igray=0.299*IR+0.587*IG+0.114*IB (1)
IR、IG、IB分别表示红色、绿色、蓝色通道的分量值。
其次对灰度图像进行高斯滤波来消除边缘噪声,使用Otsu阈值分割算法将背景与有效信息进行区分。将处理后的图片进行Canny算子边缘检测,分别计算水平和垂直方向的梯度值Gx和Gy,梯度幅值为Gm。沿着梯度方向对其邻点进行二次多项式拟合,选取极值点作为最终的亚像素边缘提取点,提取到的边缘更加平滑、连续,提高边缘检测精度。
椭圆的一般方程为:
对亚像素边缘检测得到的轮廓使用最小二乘拟合方法进行椭圆拟合,找到最优参数x0,y0,a,b,使得轮廓上各点到椭圆的距离平方和最小,表示为代价函数:
式中,坐标点(x0,y0)为椭圆中心像素坐标,(xi,yi)为轮廓上的点,常数a、b为椭圆的半长、短轴。
使用梯度下降算法,找到代价函数最优解,得到椭圆参数。
将拟合之后的椭圆进行无效点滤除,通过计算椭圆斑点面积大小、椭圆圆度、长短轴比等将不满足条件的椭圆滤除。
1)圆形标志点的直径为10mm,在1.5m到2.5m拍摄距离处,标志点投影面积过滤原则:
50pixel<Area<200pixel (4)
2)通过设置长短轴比的阈值,当长短比不在所设置的阈值范围内,将该椭圆视为不符合要求,将其滤除,设置如下比例关系:
3)标准圆的圆度值为1,当椭圆的圆度越接近1时,与圆越接近。已知圆形标志在投影成像过程中,拍摄到标志点倾斜时,图像的圆度会下降,投影图案会越偏离标准圆。圆度计算公式为:
式中,S表示轮廓面积,l为轮廓周长,C表示此刻圆形标志的成像圆度值。
当相机倾斜80°对圆形标志点进行拍摄时,识别到的椭圆成像圆度为0.18,因此设定如下圆度约束来滤除不必要椭圆:
0.18<C<1 (7)
滤除无效点后,计算每个相机捕捉到图片中的标志点数量,相机i拍摄到数量记为Ni,若N2为4帧图片中的最大值,比较N1和N3,当N1>N3时,选择相机1与相机2作为当前双目系统。
在一种实施方式中,步骤S220还包括:
基于所述多个帧图像,确定所述多个帧图像中的第一公共标志点;
确定所述第一公共标志点的坐标数据;
将所述第一公共标志点与标志点库中的标志点进行匹配,基于匹配结果确定立体靶标的位姿。
本申请实施例中,确定多个帧图像中的公共标志点的过程如下:
1)计算帧图像A和帧图像B的标志点在全局坐标系下的三维坐标数据。
2)记帧图像A、帧图像B标志点坐标集合为:
其中,QA、QB分别表示帧图像A、帧图像B的三维标志点集合,ai、br分别是帧图像A和帧图像B识别到的标志点三维坐标数据,m为帧图像A捕捉到的标记点数量,l为帧图像B的标记点数量。
3)计算帧图像A与帧图像B中两两标志点间的欧式距离集合为:
式中,DA、DB为帧图像A与帧图像B中两两标志点间的欧式距离集合,LAi与LBr分别表示集合QA与集合QB中第i点和第r点与其余点的距离集合,dij表示第i个点与第j个点的距离,drs表示第r个点与第s个点的距离。
4)设定距离阈值为ε,选取QA中一点a1,a1与其余点的距离集合为LA1,遍历DB中各个距离子集,计算满足式(13)的个数x。当满足x≥n时,a1的预匹配同源点为bt,确定a1和bt为公共点。
|LBt-LA1|≤ε (10)
LA1表示集合QA与中第1点与其余点的距离集合,LBt表示集合QB与中第t点与其余点的距离集合。
其次,将所述第一公共标志点与标志点库中的标志点进行匹配可以采用如下过程进行匹配:
首先确定第一公共标志点与标志点库中的标志点可以匹配的点,该匹配过程可以采用上述确定公共标志点的方式进行。
当标志点库中的一个标志点与多个第一公共标志点匹配成功,或者第一公共标志点与标志点库中的多个标志点匹配成功的情况下,采用三角形全等原则确定最终的匹配点。
如图3所示,点a1、b1和点a2、b2为对应的匹配点,将a1、a2与aj构成一个三角形,b1、b2与k个候选匹配点可构成k个三角形,若候选点b1、b2与bj能构成与Va1a2aj全等的Vb1b2bj,则bj即为aj的正确匹配点。
在一种实施方式中,所述标志点库采用如下步骤构建,包括:
获取双目相机在当前角度下拍摄的两个帧图像;
基于所述双目相机构建的三维坐标系,获取帧图像中的标志点坐标,构建所述帧图像中标志点的坐标集合;
所述两个帧图像中,基于所述第一帧图像中的任一标志点与所述第二帧图像中的任一标志点,计算两个标志点之间的欧式距离;以确定所述两个帧图像的欧式距离集合;
基于预设策略,将所述第一帧图像中多个标志点,与所述第二帧图像中多个标志点进行匹配,获得所述第一帧图像与所述第二帧图像的第二公共标志点;
采用所述预设策略,将当前角度下获得的多个第二公共标志点,与下一个角度拍摄获得的多个第二公共标志点进行匹配,将匹配成功的第二公共标志点进行拼接;直至将立体靶标中的标志点拼接完成,形成标志点库。
本申请实施例中的物体扫描方法,一个立体靶标可以构建一个对应标志点库。在采用该立体靶标进行物体扫描时,既可以采用该对应的标志点库进行匹配。
构建立体靶标的标志点库时,可以采用其他的与上述的物体扫描机构不同的机构进行。例如,可以采用两个相机进行标定,无需实时地确定两个目标相机。
构建立体靶标的标志点库时,预设策略可以是采用上述实施例提到的确定公共标志点的方式,确定双目相机获得的第一帧图像与所述第二帧图像的第二公共标志点;也可以是采用实施例提到的确定公共标志点的方式,确定不同角度下的多个第二公共标志点及其匹配点,以将匹配成功的多个第二公共标志点进行拼接,得到立体靶标的标志点库。
本申请实施例中,拼接过程可以如下:
基于两个不同角度下的第二公共标志点集合,求解位姿变换。通过非线性优化的方式求解,获得最优的转换矩阵其中,最优的转换矩阵满足如下的目标函数值为最小:
使用Levenberg-Marquardt算法对目标函数进行迭代优化求解,目标函数小于某个阈值时停止迭代,获取最优解。阈值可以为
将多个不同视角下的第二公共标志点坐标拼接至同一坐标系下,使得立体靶标中所有标志点有确定的坐标关系,从而得到一个包含所有标志点的靶标标志点库。为了减小拼接的累积误差,采用光束平差法对标志点的坐标数据全局优化:
式中,k为标志点的个数,n为不同角度拍摄的平面个数,mij为第i个公共点在第j个像平面对应的标记点坐标,vij表示点i在像平面j上有无成像点,Pj表示各个像平面的外参数向量,Mi为各标志点的坐标向量,Q(Pj,Mi)是图像重投影函数;d(x,y)为欧式距离函数。
在一种实施方式中,步骤S210之前还包括多相机标定的步骤,具体的多相机标定包括如下步骤:从所述多个相机中,选择一个相机的相机坐标系作为全局坐标系;将其余相机的相机坐标系映射至所述全局坐标系中。
在一个示例中,本申请实施例中的多个相机设置于同一高度水平线上,相机间距合理,保证相邻相机间视野重叠度不低于45%。
为了确定4个相机的位姿关系,如图1所示,相机1(c1)与相机2(c2)、相机2(c2)与相机3(c3)、相机3(c3)与相机4(c4)有共同视场,将标定板放置于每两个相机的共同视场处。多次变换标定板位姿,识别标定板角点,得到相机2相对于相机1相对位姿关系相机3对于相机2的相对位姿关系相机4对于相机3的相对位姿关系R为旋转矩阵、T为平移矩阵。
将相机1的坐标系作为全局坐标系,将其余每个相机的坐标系映射到全局坐标系中。相机3相对于相机1的位姿可通过相机2计算得到:
式中,xc1、xc2、xc3分别为基于相机1、相机2、相机3坐标系下的某点,为相机i坐标系相对于相机j坐标系的位姿变换矩阵的齐次形式
相机1坐标系与相机3坐标系之间的中间转换矩阵为:
同理,相机4相对于相机1的位姿转换关系也能通过相机2和相机3求得:
图4示出根据本申请一实施例的物体扫描装置400的示意性结构框图。如图4所示,该物体扫描装置400可以包括:
帧图像获取模块410,用于获取多个相机在当前时刻拍摄到的多个帧图像;
立体靶标位姿确定模块420,用于基于所述多个相机之间的位姿关系和所述多个帧图像,确定当前时刻下立体靶标的位姿;
坐标转换模块430,用于基于所述立体靶标的位姿以及所述立体靶标与扫描仪之间的位姿关系,对所述扫描仪在当前时刻扫描到的坐标数据进行坐标转换,获得当前时刻下物体中被扫描位置的坐标数据;
物体构建模块440,用于基于多个所述被扫描位置的坐标数据,构建物体的三维形状。
在一种实施方式中,帧图像获取模块410还用于:
从所述多个帧图像中确定至少两个帧图像,作为目标帧图像;具体包括:
获取多个帧图像中的标志点数量,确定多个帧图像中标志点数量最多的帧图像为第一目标帧图像;
基于所述第一目标帧图像对应的第一目标相机,比较与所述第一目标相机相邻的两个相机拍摄到的帧图像中的标志点数量,标志点数量较多的帧图像为第二目标帧图像,所述第二目标帧图像对应的目标为第二目标相机;
立体靶标位姿确定模块420用于:
基于所述第一目标相机和所述第二目标相机之间的位姿关系,以及所述第一目标帧图像和所述第二目标帧图像,确定当前时刻下立体靶标的位姿。
在一种实施方式中,立体靶标位姿确定模块420还用于:
基于所述多个帧图像,确定所述多个帧图像中的第一公共标志点;
确定所述第一公共标志点的坐标数据;
将所述第一公共标志点与标志点库中的标志点进行匹配,基于匹配结果确定立体靶标的位姿。
在一种实施方式中,所述标志点库采用如下步骤构建,包括:
获取双目相机在当前角度下拍摄的两个帧图像;
基于所述双目相机构建的三维坐标系,获取帧图像中的标志点坐标,构建所述帧图像中标志点的坐标集合;
所述两个帧图像中,基于所述第一帧图像中的任一标志点与所述第二帧图像中的任一标志点,计算两个标志点之间的欧式距离;以确定所述两个帧图像的欧式距离集合;
基于预设策略,将所述第一帧图像中多个标志点,与所述第二帧图像中多个标志点进行匹配,获得所述第一帧图像与所述第二帧图像的第二公共标志点;
采用所述预设策略,将当前角度下获得的多个第二公共标志点,与下一个角度拍摄获得的多个第二公共标志点进行匹配,将匹配成功的第二公共标志点进行拼接;直至将立体靶标中的标志点拼接完成,形成标志点库。
在一种实施方式中,帧图像获取模块410还用于:
从所述多个相机中,选择一个相机的相机坐标系作为全局坐标系;
将其余相机的相机坐标系映射至所述全局坐标系中。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
图5示出根据本申请一实施例的电子设备的结构框图。如图5所示,该电子设备包括:存储器510和处理器520,存储器510内存储有可在处理器520上运行的指令。处理器520执行该指令时实现上述实施例中的物体扫描方法。存储器510和处理器520的数量可以为一个或多个。该电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
该电子设备还可以包括通信接口530,用于与外界设备进行通信,进行数据交互传输。各个设备利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器520可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器510、处理器520及通信接口530集成在一块芯片上,则存储器510、处理器520及通信接口530可以通过内部接口完成相互间的通信。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Dignal Processing,DSP)、专用集成电路(Application Specific Sntegrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(advanced RISC machines,ARM)架构的处理器。
本申请实施例提供了一种计算机可读存储介质(如上述的存储器510),其存储有计算机指令,该程序被处理器执行时实现本申请实施例中提供的方法。
可选的,存储器510可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据物体扫描方法的电子设备的使用所创建的数据等。此外,存储器510可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器510可选包括相对于处理器520远程设置的存储器,这些远程存储器可以通过网络连接至物体扫描方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或多个(两个或两个以上)用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种物体扫描机构,其特征在于,包括:
扫描设备,所述扫描设备可移动设置;所述扫描设备为线激光扫描仪;
立体靶标,所述立体靶标设有多个标志点,所述多个标志点按照预设的规则排布;所述立体靶标相对所述扫描设备固定设置;
相机组件,所述相机组件包括多个相机;所述多个相机用于拍摄所述立体靶标。
2.根据权利要求1所述的物体扫描机构,其特征在于,
所述多个相机中,相邻的相机之间具有共同视场,且相邻相机的视场重叠度不低于第一预设阈值。
3.一种物体扫描方法,其特征在于,包括:
获取多个相机在当前时刻拍摄到的多个帧图像;
基于所述多个相机之间的位姿关系和所述多个帧图像,确定当前时刻下立体靶标的位姿;
基于所述立体靶标的位姿以及所述立体靶标与扫描仪之间的位姿关系,对所述扫描仪在当前时刻扫描到的坐标数据进行坐标转换,获得当前时刻下物体中被扫描位置的坐标数据;
基于多个所述被扫描位置的坐标数据,构建物体的三维形状。
4.根据权利要求3所述的方法,其特征在于,所述获取多个相机在当前时刻拍摄到的多个帧图像,之后还包括:
从所述多个帧图像中确定至少两个帧图像,作为目标帧图像;具体包括:
获取多个帧图像中的标志点数量,确定多个帧图像中标志点数量最多的帧图像为第一目标帧图像;
基于所述第一目标帧图像对应的第一目标相机,比较与所述第一目标相机相邻的两个相机拍摄到的帧图像中的标志点数量,标志点数量较多的帧图像为第二目标帧图像,所述第二目标帧图像对应的目标为第二目标相机;
所述基于所述多个相机之间的位姿关系和所述多个帧图像,确定当前时刻下立体靶标的位姿;包括:
基于所述第一目标相机和所述第二目标相机之间的位姿关系,以及所述第一目标帧图像和所述第二目标帧图像,确定当前时刻下立体靶标的位姿。
5.根据权利要求3或4所述的方法,其特征在于,所述基于所述多个相机之间的位姿关系和所述多个帧图像,确定当前时刻下立体靶标的位姿,还包括:
基于所述多个帧图像,确定所述多个帧图像中的第一公共标志点;
确定所述第一公共标志点的坐标数据;
将所述第一公共标志点与标志点库中的标志点进行匹配,基于匹配结果确定立体靶标的位姿。
6.根据权利要求5所述的方法,其特征在于,所述标志点库采用如下步骤构建,包括:
获取双目相机在当前角度下拍摄的两个帧图像;
基于所述双目相机构建的三维坐标系,获取帧图像中的标志点坐标,构建所述帧图像中标志点的坐标集合;
所述两个帧图像中,基于所述第一帧图像中的任一标志点与所述第二帧图像中的任一标志点,计算两个标志点之间的欧式距离;以确定所述两个帧图像的欧式距离集合;
基于预设策略,将所述第一帧图像中多个标志点,与所述第二帧图像中多个标志点进行匹配,获得所述第一帧图像与所述第二帧图像的第二公共标志点;
采用所述预设策略,将当前角度下获得的多个第二公共标志点,与下一个角度拍摄获得的多个第二公共标志点进行匹配,将匹配成功的第二公共标志点进行拼接;直至将立体靶标中的标志点拼接完成,形成标志点库。
7.根据权利要求3所述的方法,其特征在于,所述获取多个相机在当前时刻拍摄到的多个帧图像,之前还包括:
从所述多个相机中,选择一个相机的相机坐标系作为全局坐标系;
将其余相机的相机坐标系映射至所述全局坐标系中。
8.一种物体扫描装置,其特征在于,包括:
帧图像获取模块,用于获取多个相机在当前时刻拍摄到的多个帧图像;
立体靶标位姿确定模块,用于基于所述多个相机之间的位姿关系和所述多个帧图像,确定当前时刻下立体靶标的位姿;
坐标转换模块,用于基于所述立体靶标的位姿以及所述立体靶标与扫描仪之间的位姿关系,对所述扫描仪在当前时刻扫描到的坐标数据进行坐标转换,获得当前时刻下物体中被扫描位置的坐标数据;
物体构建模块,用于基于多个所述被扫描位置的坐标数据,构建物体的三维形状。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求3-7中任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机指令,所述计算机指令被处理器执行时实现如权利要求3-7中任一项所述的方法。
CN202311794879.7A 2023-12-25 2023-12-25 物体扫描机构、方法及相关设备 Pending CN117848234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311794879.7A CN117848234A (zh) 2023-12-25 2023-12-25 物体扫描机构、方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311794879.7A CN117848234A (zh) 2023-12-25 2023-12-25 物体扫描机构、方法及相关设备

Publications (1)

Publication Number Publication Date
CN117848234A true CN117848234A (zh) 2024-04-09

Family

ID=90537407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311794879.7A Pending CN117848234A (zh) 2023-12-25 2023-12-25 物体扫描机构、方法及相关设备

Country Status (1)

Country Link
CN (1) CN117848234A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118279399A (zh) * 2024-06-03 2024-07-02 先临三维科技股份有限公司 扫描设备位姿跟踪方法及跟踪设备
CN118537935A (zh) * 2024-05-30 2024-08-23 西藏大洋泊车科技有限公司 一种立体停车场自动控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118537935A (zh) * 2024-05-30 2024-08-23 西藏大洋泊车科技有限公司 一种立体停车场自动控制系统
CN118279399A (zh) * 2024-06-03 2024-07-02 先临三维科技股份有限公司 扫描设备位姿跟踪方法及跟踪设备

Similar Documents

Publication Publication Date Title
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US8600192B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
CN106408609B (zh) 一种基于双目视觉的并联机构末端运动位姿检测方法
CN110070564B (zh) 一种特征点匹配方法、装置、设备及存储介质
Herráez et al. 3D modeling by means of videogrammetry and laser scanners for reverse engineering
CN106683071B (zh) 图像的拼接方法和装置
US11488322B2 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
US20140118500A1 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
CN117848234A (zh) 物体扫描机构、方法及相关设备
CN117495975B (zh) 一种变焦镜头的标定方法、装置及电子设备
CN111583388A (zh) 一种三维扫描系统的扫描方法及设备
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN114820725A (zh) 目标显示方法、装置、电子设备及存储介质
CN119478049B (zh) 一种外观检测多相机取图拼接的方法、系统及相关装置
CN118411420A (zh) 扩展现实设备上的相机的标定方法、装置、设备、介质
CN113298869B (zh) 距离测定方法、装置、计算机设备和存储介质
CN118864469B (zh) 自适应的图像采集方法、介质及设备
CN111383262A (zh) 遮挡检测方法、系统、电子终端以及存储介质
RU2384882C1 (ru) Способ автоматической компоновки ландшафтных панорамных изображений
JP3221384B2 (ja) 三次元座標計測装置
CN120013921A (zh) 一种基于大视场拼接视频数据的配电网设备隐患检测方法和相关装置
CN112734838A (zh) 一种空间目标定位方法、设备及存储介质
CN116091610B (zh) 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN118154694A (zh) 大尺寸装备对接的视觉测量方法、装置、设备及介质
CN116485907A (zh) 一种环视相机外参确定方法、装置及环视鸟瞰图采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination