CN119810207A - 多相机单投影仪三维重建系统的标定与点云融合方法 - Google Patents

Abstract

多相机单投影仪三维重建系统的标定与点云融合方法，通过至少四个相机多视角布置和投影仪将投射图案投射到待测特体表面；进行投影仪‑相机系统的标定，以及各相机外参标定，最后根据投影仪‑相机系统的标定以及各相机外参标定进行三维点云数据采集与融合。本发明利用多相机联合标定和数据融合，提升标定的精度和鲁棒性，增强点云融合精度，解决传统三维重建方法在采集高反光、低反射率物体时的精度问题。

Description

多相机单投影仪三维重建系统的标定与点云融合方法

技术领域

本发明涉及三维重建技术，具体说的是多相机单投影仪三维重建系统的标定与点云融合方法。

背景技术

在计算机视觉和图像处理领域，三维重建技术在虚拟现实、增强现实、工业检测等领域得到了广泛应用。为了实现高精度的三维重建，传统单相机单投影仪组成的单目系统在面对待检测物体具有高反光和低反射性的问题时，常常力不从心。尤其无法实现局部高反光、局部低反射特性的微小物体(约200微米的芯片)进行高精度三维重建。

发明内容

为解决上述技术问题，本发明提供一种多相机单投影仪三维重建系统的标定与点云融合方法，多相机联合标定和数据融合，提升标定的精度和鲁棒性，增强点云融合精度，解决传统三维重建方法在采集高反光、低反射率物体时的精度问题。

为实现上述技术目的，所采用的技术方案是：多相机单投影仪三维重建系统的标定与点云融合方法，包括以下步骤：

步骤1、选择至少四个相机能覆盖待测物体的各个视角下进行多视角布置；选择高精度投影仪将投射图案通过高精度镜面反射到待测特体表面；

步骤2、投影仪-相机系统的标定

利用放置在相机视野内的标定板和投影多幅格雷码图案，对至少四个相机进行标定，计算各相机的内参参参数，同时，对投影仪进行精确标定，计算相机与投影仪之间的外参参数；

步骤3、各相机外参标定

步骤3.1、利用标定板角点坐标、相机与投影仪之间的外参参数，通过ransc计算得到矫正后的标定板角点坐标，将矫正后的标定板角点坐标与标定板世界坐标系坐标的单应性矩阵，根据此单应性矩阵，优化标定板角点坐标；

步骤3.2、根据3.1优化后的标定板角点坐标和标定板角点预设定的世界坐标系坐标，利用solvePnP模型计算各个相机的外参参数，统一某个相机和其余相机之间的外参作为参考坐标系；

步骤4、三维点云数据采集与融合

步骤4.1、投影仪在待测物体表面投射相移码后，多相机同时采集到投影图案，利用这些图案通过相移法进行深度信息的计算，从而生成各相机的初步三维点云数据；

步骤4.2、依据步骤3.3提到的各相机的外参参数，将所有相机获取的初步的三维点云数据，转换到参考坐标系下；

步骤4.3、对步骤4.2得到的转换到参考坐标系下的所有相机获取的初步的三维点云数据去除明显噪点，根据每个像素点来源的图像信息计算权重，根据权重修改每个像素点内的实际深度值。

进一步，步骤2的具体步骤为：

步骤2.1、所有相机获得各自视角下不同位置下的多组标定图像；

步骤2.2、根据各个相机采集到的多组标定图像，对各个相机每组标定图像中最亮的一张，采用张氏标定法对每个相机进行标定，得到所有相机的内参参数；利用格雷码解码公式，对各个相机采集到的每一组标定图像数据进行解码；

步骤2.3、解码后的解码数据作为标定板像素坐标，对于每个标定板角点及其周围选定区域进行采样，标记该选定区域内每个像素的格雷码码值及对应的相机像素点的坐标，然后去噪处理，得到投影仪像素点与相机像素点的对应关系；

步骤2.4，通过步骤2.3得到的投影仪像素点与相机像素点的对应关系，计算出投影仪像素点与相机像素点的单应性矩阵，根据单应性矩阵更新标定板角点的格雷码码值，得到的优化后的投影仪像素点与相机像素点的对应关系；

步骤2.5、将投影仪模型近似看作相机模型，利用张氏标定法进行对投影仪的精确标定；

步骤2.6、根据步骤2.4得到的优化后的投影仪像素点与相机像素点的对应关系，计算相机与投影仪之间的基础矩阵或本质矩阵，并对其进行奇异值分解，提取相机与投影仪之间的外参参数。

进一步，步骤2.1的具体实现方法为，将标定板置于所有相机的公共视野中，投影仪依次投影多幅格雷码图案至标定板上，所有相机捕捉标定板上的格雷码图案作为一组标定图像，多次调整标定板的位置，重复多幅格雷码图案投影和相机捕捉。

进一步，步骤3.1中矫正后的标定板角点坐标计算方法为，利用标定板角点坐标以及相机与投影仪之间的外参参数，计算出每个标定板角点的三维坐标，然后对所有的标定板角点使用ransc拟合一个平面，所有三维角点做直线垂直于拟合后平面，平面和直线交点视作更精确的三维角点坐标，根据相机成像公式，计算出这些更精确的三维角点在图像中位置，得到矫正后的标定板角点坐标。

进一步，步骤4.3中去除明显噪点的方法为，去除不仅与同一像素格内其他点具有较大空间距离，而且与周围点也具有较大空间距离的点。

进一步，高精度投影仪将投射图案能够通过高精度镜面反射到待测特体表面。

本发明有益效果是：该专利通过多角度相机单投影仪，进行标定与点云融合，实现完整的三维物体重建，其创新之处在于，利用单应性矩阵优化格雷码编码的投影仪内参标定，提高标定精度；同时，根据三维信息优化二维图像的角点检测，增强图像处理的准确性。此外，专利中的数据融合技术有效解决了单视角相机在处理高光问题时的不足，提升了重建质量。不仅能够快速高效地重建较大物体的三维结构，还能精确地捕捉和重建微小物体的细节，证明了系统的高精度和高分辨率性能。

附图说明

图1为本发明的流程图；

图2为本发明的系统图；

图3为不同相机视角下标定图案；

图4为同一相机格雷码图案；

图5为数据处理软件界面图；

图6为芯片与人手比较图像；

图7为单相机单投影仪重建效果图；

图8为为芯片点云融合前效果图；

图9点云融合后效果图；

图10为单相机单投影仪面片重建效果图；

图11为本申请多视角融合后效果图；

图中：1、待测物体，2、相机，3、投影仪，4、高精度镜面。

具体实施方式

下面结合附图给出发明的较佳实施例，以详细说明本发明的技术方案。这里，将给出相应附图对本发明进行详细说明。需要特别说明的是，这里所描述的优选实施例子仅用于说明和解释本发明，并不用于限制或限定本发明。

本发明提出了一种创新的多相机系统中相机投影仪标定与融合方法，通过结合多相机系统的优势，优化多相机单投影仪系统的标定与点云融合流程，实现局部高反光、局部低反射特性的物体进行高精度三维重建。例如：微小物体(约200微米的芯片)，具体而言，如图1所示，本发明的方法包括以下几个步骤：步骤1、多相机三维重建系统选型和设置：

1.1、相机的布置与选择：

选择高分辨率、低噪声的工业相机，以确保图像质量。相机应具有良好的光学性能和稳定的成像效果，能够在不同光照条件下提供一致的图像质量。

选择至少四个相机进行多视角布置，尽可能覆盖物体的各个视角。这种多相机布局能够有效减少由于单一视角带来的遮挡和反射问题，提高图像采集的全面性和数据完整性。

调整和优化相机的位置和角度。每个相机的位置均匀分布在标定场景的周围，高度和倾斜角度根据被测物体的尺寸和形状进行调整，以确保每个相机都能清晰捕捉到物体的不同部分，经验证，对于结构较为简单的目标(如芯片板)，四相机系统即可确保芯片的每个区域均能被至少两台相机同时捕捉。

1.2、投影仪的布置与选择：

选择高精度、稳定性好的投影仪，能够在不同光照条件下保持稳定的投射效果。投影仪应具有较高的分辨率和亮度，以确保投射图案的清晰度和对比度。

为保证在系统正上方为后续测试相机留出视场，投影仪可以布置在系统中心的单侧，将投射图案通过高精度镜面反射到待测物体表面。这样设计既能确保投射图案覆盖待测物体的整个表面，又能在不干扰相机视场的情况下进行投射。投影仪的位置和角度根据物体的尺寸和标定场景的空间布局进行优化，以确保投射图案的均匀性和清晰度。

步骤2、投影仪-相机系统的标定：

2.1、首先，以四个相机为例，将标定板放置在所有相机的公共视野中。使用投影仪依次投射多幅格雷码图案，并确保所有相机能够同步捕捉这些图案，格雷码图案包括横向格雷码图案和纵向格雷码图案都有，都是正反格雷码，如果投影仪行数960行，那么二进制就需是2的十次方等于1024，需要10张来呈现格雷码，然后再考虑到正反，横向格雷码图案就需要20张，纵向如果是1440列，那么纵向格雷码就需要22张，最后加上全黑和全白，一组为44张，即每个相机在一个位置至少采集44张格雷码图像。为了确保标定的准确性，需要调整标定板的位置并重复多次采集图像数据。在每次调整标定板位置后，继续投射格雷码图案并同步采集，以获得四相机各自视角下不同位置下的多组标定图像。

2.2、根据各个相机采集到的多组标定图像，对于每组标定图像数据中最亮的一张(投影仪打出纯白光对应的相机图像)，采用张氏标定法，遵循公式

M_i＝K[R|T]m_i

对每个相机进行标定，其中m_i表示世界坐标系中第i个点的三维点坐标，M_i表示图像坐标系中第i个点的二维点像素位置，K表示相机的内参矩阵，R表示旋转矩阵，T表示平移向量，得到所有相机的内参参数。

接着，利用格雷码解码公式，对各个相机采集到的不同位姿下(标定板在不同位置下)的标定板图像数据进行解码。具体来说，对于每组标定板数据，分析多张图片各个像素点亮度变化，对于同一像素位置在不同图像上的灰度值，亮度低于平均值记为0，高于平均值记为1，并根据格雷码解码公式：

其中G_n表示第n位格雷码码值，B_n表示第n位二进制码值，表示异或运算符，B₀＝G₀。获取标定板上的每个像素点的唯一编码值。这些编码值将用于后续的坐标映射和几何计算。

由于投影仪投射的格雷码图案共两组，分别是横向格雷码图案和纵向格雷码图案，因此每个像素点最终能够得到两个唯一解码值，分别对应横向格雷码和纵向格雷码。

2.3、对解码后的解码数据中，对于每个标定板角点周围的40*40像素区域进行采样，区域像素的选择根据相机分辨率设计，例如此处采用相机的像素为5120*5120。采样区域内点每个像素点i的格雷码码值记作G(a_i，b_i)，a_i为横向格雷码码值，b_i为纵向格雷码码值，相机像素点坐标记作(x_i，y_i)，设角标定板角点P_ij的采样像素区域为R_ij，其范围为R_ij＝{(x，y)|x_i-20≤x≤x_i+20,y_i-20≤y≤y_i+20}获取该区域内每个像素点的格雷码解码值。利用格雷码解码值在行列方向上具有单调递增或递减的特性，进行去噪处理。具体而言，若某像素点i的解码值在行方向上满足：

G(a_i-1，b_i)≤＝G(a_i，b_i)≤G(a_i+1，b_i)

同时在列方向上满足：

G(a_i，b_i-1)≤＝G(a_i，b_i)≤G(a_i，b_i+1)

则认为该像素点的解码值有效。否则，将其标记为无效并删除。通过此方法，可有效去除噪声干扰，提高解码值的准确性。完成去噪后，得到每个像素点的格雷码解码值(即投影仪成像位置)与空间各点(相机像素点)的对应关系。

2.4、通过上述步骤得到的投影仪像素点P_i与相机像素点p_i的对应关系，根据单应性矩阵计算公式：p_i＝HP_i，计算出这投影仪像素点与相机像素点之间的3×3单应性矩阵。单应性矩阵用于描述投影仪坐标系与相机坐标系之间的几何映射关系。利用该单应性矩阵，可以进一步计算每个标定板角点对应的更加精确的投影仪坐标，即更新每个标定板角点的格雷码码值G(a_i，b_i)，得到的优化后的投影仪像素点与相机像素点的对应关系。这一步骤的目的是通过几何变换，确保每个像素点的位置和角度得到最优化的校正。同时，由于每个格雷码G(a_i，b_i)码值对应投影仪的单个具体像素位置，每个角点对应世界坐标系的三维点，此时也就建立起投影仪多个像素和世界坐标系中点的关系。

2.5、在本发明中，将投影仪模型近似看作相机模型，通过建立投影仪二维像素点与实际空间三维点的映射关系，获取投影仪的坐标参数。即将投影仪模型近似视为相机模型，利用标定板每个角点的精确格雷码解码值，确定投影仪在这些角点上的具体像素位置，利用张式标定法从而实现投影仪的精确标定。对投影仪进行精确标定，为了提高获取初始点云的精度。

2.6、在相机与投影仪的相对位置标定过程中，通过相机拍摄的包含标定板的图像，利用角点检测算法提取标定板的角点在相机图像上坐标。同时，根据投影仪投射特定图案，通过解码方法获取角点对应的投影仪像素坐标，建立相机图像与投影仪图像之间的角点对应关系。优化后的投影仪像素点P_i与相机像素点p_i的对应关系，计算相机与投影仪之间的基础矩阵或本质矩阵，并对其进行奇异值分解，提取旋转矩阵，即相机与投影仪之间的外参参数。

步骤3、各相机外参标定：

3.1、先通过步骤2.2、2.3得到角点的原坐标以及相机和投影仪之间的外参参数，计算出每个角点的三维坐标，然后对所有角点，使用ransc拟合一个平面，然后，所有三维角点做直线垂直于拟合后平面，平面和直线交点视作更精确的三维角点坐标，根据相机成像公式，计算出这些更精确的三维角点在图像中位置，得到矫正后的角点，经过矫正后的角点的新坐标再和标定板角点世界坐标系坐标的(x，y)值计算单应性矩阵，再根据这个单应性矩阵，再优化图像坐标系下的标定板角点坐标。

具体实现过程为：得到标定板各角点较为精确的相机坐标系下的三维坐标后，利用ransc算法进一步提升坐标精度。首先通过RANSAC算法拟合当前点云所在标定板的平面坐标，获得每个点云在标定板平面上的坐标。具体来说，假设点云P在相机坐标系下的坐标为(x，y，z)，标定板平面方程为aX+bY+cZ+d＝0。使用RANSAC算法根据各角点已知相机坐标系下坐标，拟合标定板平面参数a，b，c，d。然后将点云P映射到标定板平面上，得到投影坐标p_p＝(x_p，y_p，0)，更新此点为新的角点在图像坐标系下坐标。再根据各角点新的图像坐标系下坐标，与各角点世界坐标下坐标的(x，y)值，再计算新的单应性映射矩阵H₂，使得p_i＝H₂P_i，并通过该单应性矩阵，计算出每个标定反角点更精确的图像坐标系下坐标。这个过程有效减少了由于投影仪分辨率不足引起的误差，从而提高空间坐标的精度。

3.2、根据3.1优化后的标定板角点坐标和标定板角点预设定的实际三维空间坐标，使用solvePnP模型计算各个相机之间的外参参数矩阵。具体来说，只需计算相机1和相机2，相机1和相机3，相机1和相机4这三组相机间位姿关系，通过这一模型，利用标定板角点的位置关系，精确求解出每对相机之间的旋转矩阵和平移向量，即外参参数。

此外，为确保计算过程的简便性和一致性，统一使用各个相机与1号相机(可以随机选择)之间的外参作为参考坐标系。这意味着所有相机的外参参数将相对于1号相机进行定义和转换。通过这种方式，确保每个相机的外参参数在同一个参考系下进行描述，从而统一所有相机的坐标系。这一步骤是至关重要的，因为它为后续的点云数据对齐和融合奠定了基础。统一外参参数不仅简化了计算流程，还提高了数据处理的一致性和准确性。

步骤4、三维点云数据采集与融合：

4.1、使用纯相移码进行三维重建

对于高精度的三维重建系统，投影仪会投射相移码到待测物体表面。由于待测物体与投影仪之间的距离已经高度确定，因此无需相机实际拍摄格雷码，仅通过预先标定的信息(相机标定及投影仪标定)即可确定图像中每个像素的格雷码大致范围，即过解码相移码，根据相移码码值，可唯一确定实际格雷码值。具体来说，对像素点(x_i，y_i)，其解码值经过预先测算，仅可能为6-9之间某值，由于相移码编码在投影仪图像占多行像素，4-7为一个像素周期格雷码，8-10为另一组，当相移码解码值P在0-∏时，可认为实际解码值为8+2P/∏，当相移码解码值在∏-2∏时，可认为实际解码值为6+2P/∏。

投影仪投射相移码后，多相机同时采集到投影图案，利用这些图案通过相移法进行深度信息的计算，从而生成初步的三维点云数据。这种方法能够省去投射格雷码图案的时间，快速且高效地获取高精度的三维数据。

4.2、点云数据的初步处理

在整个重建过程中，保留所有重建记录中的深度图及其对应的点云信息。重建结束后，依据3.2获取的各相机的外参参数，统一将所有相机获取的初步的三维点云数据据转换到预先设定的相机1的坐标系下。这一步骤的目的是将所有点云数据统一到同一个参考坐标系中，以便于后续的融合处理。

4.3、点云数据的融合与优化

将所有点云数据转换到相机1的坐标系后，对于相机1的深度图而言，每个像素可能对应来自不同相机的多个不同的深度信息。为了得到更加精确的三维重建结果，需要对这些深度信息进行处理和融合。处理和融合可分区域进行，进一步提升重建精度。

首先，去除明显的噪点。具体方法是将多幅点云重投影到相机1采集的图像中，并对同一像素内多个点进行异常值去除，去除那些不仅与同一像素格内其他点具有较大空间距离，而且与周围点也具有较大空间距离的点。这样的点通常是由于采集误差或反射导致的噪点，通过去除这些点可以提高数据的准确性。

接下来，根据每个像素点来源的图像信息计算加权参数(权重)，根据权重修改每个像素点内的实际深度值。具体思路如下：对于相移码得到的每个像素点，如果多幅图片中，该像素的灰度值变化越大，其置信度越高，因为较大的灰度值变化通常意味着该像素点的测量更可靠。相反，如果灰度值出现明显异常，如达到255，通常表示该点是反光点，其置信度较低，甚至需要被去除。令：ΔI＝I_max-I_min，其中I_max是每个点云对应多张图片中像素亮度最大值，I_min为最小值，并根据灰度值差计算权重：

基于每个点云的置信度，对最终深度图中同一像素格子内的多个像素点进行加权平均计算，从而得到该位置点云的实际深度值。具体来说，对于同一像素格子内的多个点，根据每个像素点的置信度进行加权，置信度高的点在加权平均中占据更大权重，而置信度低的点占据较小权重，甚至被剔除，即：

Z＝∑_iw_iz_i

其中Z表示最终深度，z_i表示该点深度值，w_i表示该点权重。

经过上述处理后，最终得到融合后的点云数据，即建立完整的三维模型。这些数据不仅精度高，而且噪点少，为后续的芯片精度计算和处理提供了可靠的基础。

实施例1

1.多相机三维重建系统选型和设置

1.1相机的布置与选择

在本实施例中，我们选择了高分辨率、低噪声的MV-CH250-90TM-C-NF海康工业相机，以确保图像质量。该相机具有2500万像素分辨率，可适配C口镜头，具备优良的光学性能和稳定的成像效果，能够在不同光照条件下提供一致的图像质量。

选择四个相机进行多视角布置，以覆盖物体的各个关键视角。这种多相机布局能够有效减少由于单一视角带来的遮挡和反射问题，提高图像采集的全面性和数据完整性。

在具体操作中，我们对相机的位置和角度进行了调整和优化。每个相机的位置均匀分布在标定场景的周围，高度和倾斜角度根据被测物体的尺寸和形状进行调整，以确保每个相机都能清晰捕捉到物体的不同部分。

1.2投影仪的布置与选择

选择DLP4710信号投影仪，该投影器是当前最先进的投影仪之一，具有1080*1920分辨率，能够确保投射图案的清晰度和对比度。

为了在系统正上方为后续测试相机留出视场，我们将投影仪布置在系统中心的单侧。投影仪通过高精度镜面将投射图案反射到待测物体表面。这样的设计既能确保投射图案覆盖待测物体的整个表面，又能在不干扰相机视场的情况下进行投射。

投影仪的位置和角度根据物体的尺寸和标定场景的空间布局进行优化调整，以确保投射图案的均匀性和清晰度。

整个系统的结构如图2所示，第四个相机受到中间相机遮挡未显示。

2.投影仪-相机系统的标定

2.1标定板的设置与图像采集

首先，将标定板放置在所有相机的公共视野中。使用投影仪依次投射格雷码图案，并确保所有相机能够同步捕捉这些图案。为了确保标定的准确性，需要调整标定板的位置并重复多次采集图像数据。在每次调整标定板位置后，继续投射格雷码图案并同步采集，以获得多个视角和不同位置下的标定图像，不同相机视角下的标定图像如图3所示，同一相机格雷码图案如图4所示。

2.2相机内参的标定

根据各个相机采集到的标定板图案，对于每个数据集中最亮的全白光图片，采用张氏标定法对每个相机进行标定，得到所有相机的内参参数。这些内参包括相机的焦距、主点坐标以及镜头畸变系数。接着，利用格雷码解码公式，对各个相机在不同姿态下采集到的标定板图案进行解码，获取标定板上的每个格雷码图案的唯一编码值。这些编码值将用于后续的坐标映射和几何计算，标定相机投影仪内外参，并根据内外参重建三维点云的软件界面如图5所示。

2.3图案解码值的采样与去噪

在解码后的图案中，对于每个角点周围的40*40像素区域进行采样，获取该区域内每个像素点的格雷码解码值。同时，利用这些解码值在行列方向上具有单调递增或递减的性质，对其进行滤波去噪处理。通过去噪，可以有效减少噪声干扰，提高解码值的准确性。完成去噪后，得到每个像素点的格雷码解码值(即投影仪成像位置)与空间各点的对应关系。

2.4单应性矩阵的计算

通过上述步骤得到的空间点与像素点的对应关系，计算出这两组点之间的单应性矩阵。单应性矩阵用于描述投影仪坐标系与相机坐标系之间的几何映射关系。利用该矩阵，可以进一步计算每个标定板角点对应的更加精确的投影仪坐标。这一步骤的目的是通过几何变换，确保每个像素点的位置和角度得到最优化的校正。

2.5投影仪内参的标定

将投影仪模型近似看作相机模型，将每个相机在不同视角下获取的空间坐标-像素坐标作为输入，利用多视角的数据进行综合分析，计算出投影仪的内参参数。这些内参包括投影仪的焦距、主点坐标以及投影畸变参数。通过多相机数据的联合计算，可以显著提高投影仪内参的精度和稳定性。

2.6外参参数的计算

基于多相机标定模型，进一步计算每组相机与投影仪的外参参数。外参参数用于描述相机和投影仪在空间中的相对位置和姿态，包括旋转矩阵和平移向量。通过几何约束和优化算法，确保各相机与投影仪之间的相对位置关系准确无误。最终，获得一套高精度的相机和投影仪的内参与外参参数，为后续的三维重建和点云融合提供坚实基础。

3.各相机外参标定

3.1空间坐标的获取

首先，根据格雷码解码结果，利用各个相机和投影仪的内参以及相机与投影仪之间的外参参数，使用三维重建公式计算出标定板每个角点对应的空间坐标。这一步骤的目的是通过多视角图像数据和标定参数，精确确定标定板每个角点在三维空间中的位置。通过这种方式，可以确保获取到的空间坐标具有较高的精度和可靠性。

3.2精度优化

由于投影仪分辨率的限制，相机采集的图案中相邻像素可能会获得相同的格雷码码值，这会影响空间点坐标的精度。为提高精度，需要矫正每个标定板角点。这个过程有效减少了由于投影仪分辨率不足引起的误差，从而提高空间坐标的精度。

3.3外参参数的计算

根据解码后的标定板角点的图像坐标和对应的三维空间坐标，使用solvePnP模型计算各个相机之间的外参参数矩阵。通过这一模型，利用标定板角点的位置关系，精确求解出每对相机之间的旋转矩阵和平移向量。

为确保计算过程的简便性和一致性，统一使用各个相机与1号相机(可以随机选择)之间的外参作为参考坐标系。这意味着所有相机的外参参数将相对于1号相机进行定义和转换。首先，针对每对相机计算它们之间的相对外参参数，这些参数描述了从一个相机坐标系到另一个相机坐标系的旋转和平移关系。

然后，将这些相对外参参数转换为相对于1号相机的外参参数。通过这种方式，确保每个相机的外参参数在同一个参考系下进行描述，从而统一所有相机的坐标系。这一步骤是至关重要的，因为它为后续的点云数据对齐和融合奠定了基础。统一外参参数不仅简化了计算流程，还提高了数据处理的一致性和准确性。

4.三维点云数据采集与融合

4.1使用纯相移码进行三维重建

对于高精度的三维重建系统，投影仪会投射相移码到待测物体表面。由于待测物体与投影仪之间的距离已经高度确定，因此无需再使用格雷码进行标定，仅通过预先标定的信息即可确定图像中每个像素的具体位置。投影仪投射相移码后，多相机同时采集到投影图案，利用这些图案通过相移法进行深度信息的计算，从而生成初步的三维点云数据。这种方法能够省去投射格雷码图案的时间，快速且高效地获取高精度的三维数据。

为验证系统的精度，尝试重建细小芯片的三维模型。该芯片的半径仅为0.5毫米，极其微小，对系统的分辨率和精度要求非常高。在实验中，投影仪依旧投射相移码，多个相机同步采集图案，通过相移法计算得到芯片表面的深度信息，并生成其三维点云数据。经过数据处理和融合，最终得到了高精度的芯片三维模型。此实验表明，该系统不仅能够快速高效地重建较大物体的三维结构，还能精确地捕捉和重建微小物体的细节，证明了系统的高精度和高分辨率性能。

芯片如图6所示，单设备采集的点云效果如图7所示。

4.2点云数据的初步处理

在整个重建过程中，保留所有重建记录中的深度图及其对应的点云信息。重建结束后，依据各相机的外参参数，统一将所有相机获取的点云数据转换到预先设定的相机1的坐标系下。这一步骤的目的是将所有点云数据统一到同一个参考坐标系中，以便于后续的融合处理。

4.3点云数据的融合与优化

将所有点云数据转换到相机1的坐标系后，对于相机1的深度图而言，每个像素可能对应来自不同相机的多个不同的深度信息。为了得到更加精确的三维重建结果，需要对这些深度信息进行处理和融合。

首先，去除明显的噪点。具体方法是去除那些不仅与同一像素格内其他点具有较大空间距离，而且与周围点也具有较大空间距离的点。这样的点通常是由于采集误差或反射导致的噪点，通过去除这些点可以提高数据的准确性。

接下来，根据每个点来源的图像信息计算加权参数。具体思路如下：对于相移码得到的每个像素点，如果多幅图片中，该像素的灰度值变化越大，其置信度越高，因为较大的灰度值变化通常意味着该像素点的测量更可靠。相反，如果灰度值出现明显异常，如达到255，通常表示该点是反光点，其置信度较低，甚至需要被去除。

基于每个点云的置信度，对最终深度图中同一像素格子内的多个点进行加权平均计算，从而得到该位置点云的实际深度值。具体来说，对于同一像素格子内的多个点，根据每个点的置信度进行加权，置信度高的点在加权平均中占据更大权重，而置信度低的点占据较小权重，甚至被剔除。

经过上述处理后，最终得到融合后的点云数据。这些数据不仅精度高，而且噪点少，为后续的三维重建和应用提供了可靠的基础。

融合前后的点云效果(右侧标定区域)分别如图8，9所示：可以看到，融合后的点云有效的填充了前一台相机高反光部分，且重建误差极小，几乎无法分辨。

单相机单投影仪对芯片凸点的面片重建效果，如图10(a)(b)所示，多相机单投影仪面片重建效果，如图11(a)(b)所示，对比可以看出，在更微小的识别情况下，本申请的重建更精确，单相机角度变化后重建图像差异小，形状不规整，而本申请不论何种角度球体形状更精确，起伏更平顺，具有更高的分辨率，识别更准确。

Claims (6)

1.多相机单投影仪三维重建系统的标定与点云融合方法，其特征在于：包括以下步骤：

步骤1、选择至少四个相机能覆盖待测物体的各个视角下进行多视角布置；选择高精度投影仪将投射图案投射到待测特体表面；

步骤2、投影仪-相机系统的标定

利用放置在相机视野内的标定板和投影多幅格雷码图案，对至少四个相机进行标定，计算各相机的内参参参数，同时，对投影仪进行精确标定，计算相机与投影仪之间的外参参数；

步骤3、各相机外参标定

步骤3.1、利用标定板角点坐标、相机与投影仪之间的外参参数，通过ransc计算得到矫正后的标定板角点坐标，将矫正后的标定板角点坐标与标定板世界坐标系坐标的单应性矩阵，根据此单应性矩阵，优化标定板角点坐标；

步骤3.2、根据3.1优化后的标定板角点坐标和标定板角点预设定的世界坐标系坐标，利用solvePnP模型计算各个相机的外参参数，统一某个相机和其余相机之间的外参作为参考坐标系；

步骤4、三维点云数据采集与融合

步骤4.1、投影仪在待测物体表面投射相移码后，多相机同时采集到投影图案，利用这些图案通过相移法进行深度信息的计算，从而生成各相机的初步三维点云数据；

步骤4.2、依据步骤3.3提到的各相机的外参参数，将所有相机获取的初步的三维点云数据，转换到参考坐标系下；

步骤4.3、对步骤4.2得到的转换到参考坐标系下的所有相机获取的初步的三维点云数据去除明显噪点，根据每个像素点来源的图像信息计算权重，根据权重修改每个像素点内的实际深度值。

2.如权利要求1所述的多相机单投影仪三维重建系统的标定与点云融合方法，其特征在于：步骤2的具体步骤为：

步骤2.1、所有相机获得各自视角下不同位置下的多组标定图像；

步骤2.2、根据各个相机采集到的多组标定图像，对各个相机每组标定图像中最亮的一张，采用张氏标定法对每个相机进行标定，得到所有相机的内参参数；利用格雷码解码公式，对各个相机采集到的每一组标定图像数据进行解码；

步骤2.3、解码后的解码数据作为标定板像素坐标，对于每个标定板角点及其周围选定区域进行采样，标记该选定区域内每个像素的格雷码码值及对应的相机像素点的坐标，然后去噪处理，得到投影仪像素点与相机像素点的对应关系；

步骤2.4，通过步骤2.3得到的投影仪像素点与相机像素点的对应关系，计算出投影仪像素点与相机像素点的单应性矩阵，根据单应性矩阵更新标定板角点的格雷码码值，得到的优化后的投影仪像素点与相机像素点的对应关系；

步骤2.5、将投影仪模型近似看作相机模型，利用张氏标定法进行对投影仪的精确标定；

步骤2.6、根据步骤2.4得到的优化后的投影仪像素点与相机像素点的对应关系，计算相机与投影仪之间的基础矩阵或本质矩阵，并对其进行奇异值分解，提取相机与投影仪之间的外参参数。

3.如权利要求1所述的多相机单投影仪三维重建系统的标定与点云融合方法，其特征在于：步骤2.1的具体实现方法为，将标定板置于所有相机的公共视野中，投影仪依次投影多幅格雷码图案至标定板上，所有相机捕捉标定板上的格雷码图案作为一组标定图像，多次调整标定板的位置，重复多幅格雷码图案投影和相机捕捉。

4.如权利要求1所述的多相机单投影仪三维重建系统的标定与点云融合方法，其特征在于：步骤3.1中矫正后的标定板角点坐标计算方法为，利用标定板角点坐标以及相机与投影仪之间的外参参数，计算出每个标定板角点的三维坐标，然后对所有的标定板角点使用ransc拟合一个平面，所有三维角点做直线垂直于拟合后平面，平面和直线交点视作更精确的三维角点坐标，根据相机成像公式，计算出这些更精确的三维角点在图像中位置，得到矫正后的标定板角点坐标。

5.如权利要求1所述的多相机单投影仪三维重建系统的标定与点云融合方法，其特征在于：步骤4.3中去除明显噪点的方法为，去除不仅与同一像素格内其他点具有较大空间距离，而且与周围点也具有较大空间距离的点。

6.如权利要求1所述的多相机单投影仪三维重建系统的标定与点云融合方法，其特征在于：高精度投影仪将投射图案能够通过高精度镜面反射到待测特体表面。