CN102938142A - 基于Kinect的室内LiDAR缺失数据填补方法 - Google Patents

Abstract

本发明涉及基于Kinect的室内LiDAR缺失数据填补方法。一、Kinect扫描过程的关键帧提取，获取较稀疏的扫描数据；二、采用SIFT算法对Kinect设备采集的RGB-D影像进行特征提取，并利用RANSAC算子对异常特征匹配点进行剔除；三、对步骤二中的特征进行归并；四、LiDAR影像的特征提取，与Kinect设备的特征粗匹配，获取转换矩阵；五、采用改进的ICP算法实现LiDAR影像与Kinect的RGB-D影像的精细匹配；六、LiDAR模型与Kinect扫描的部分缺失数据融合。优点：设备价格低廉，采集过程灵活，能够获取场景深度与影像信息，快速实现对室内复杂场景的局部或缺失数据的采集与填补。

Description

基于Kinect的室内LiDAR缺失数据填补方法

技术领域

本发明涉及一种室内LiDAR缺失数据填补方法，尤其是涉及基于Kinect的室内LiDAR缺失数据填补方法。

背景技术

LiDAR(Light Detection And Ranging)，称为激光雷达，是激光扫描与探测系统的简称。LiDAR系统主要分为两大类：机载LiDAR系统与地面LiDAR系统，本发明主要针对室内复杂环境下的地面LiDAR系统。相比与传统基于图片的三维重建，基于三维激光扫描的三维重建具有快速、精确、非接触等优点。由于激光扫描仪的非连续性，为将多个扫描点获取的点云数据坐标转换至统一坐标系下，形成完成的点云模型，需要进行影像配准。影像配准技术主要分为两大类：一种是侧重在影像数据离散特征的提取与定位，该类技术特点在于不需要初始位置估计，但不适于特征不明显的情况；另一种是由Besl和McKay最初提出的著名ICP(Iterative ClosestPoint)算法，该算法通过不断计算两幅影像重叠区域对应点对之间的刚体变换关系，重复变化，找到最终使对应点之间的距离均方误差达到最小的旋转矩阵和平移向量。该算法比上一种配准算法有更好的鲁棒性和准确性，但原始ICP算法在收敛上主要取决于对应点对的选取和误差函数的最小化，后来的许多研究都致力于通过寻找不同的误差判断函数，和对应点对的选取方法来增强ICP算法的稳定性。Kinect是微软开发的体感设备，它属于一类名为RIM（Range Imaging）相机[2]的新型传感器，主要用于捕捉人体骨骼结构，以此实现以身体作为控制器的构想。Kinect由一个发射单元（脉冲光，调制光或结构光），感光传感器（CCD，CMOS或APD），光学系统以及一些驱动电路和计算单元组成。Kinect设备同步获取场景深度与影像信息，可全自动完成场景纹理映射，基于Kinect设备获取的深度数据是结构化的点云数据，本发明采用基于体元的数据融合方法重建三维模型。（参考文献：Remondino,F.,Heritage Recording and 3D Modeling withPhotogrammetry and 3D Scanning.Remote Sensing,2011.）

数据融合主要采用体元技术，最早在1974年Baumgart提出VolumeIntersection的方法，并指出每一个体元只有两个状态：0和1，1意味着该体元被重建目标占据，而0则反之。1989年A.Elfes利用声纳为移动机器人导航时所提出占用栅格概念（Occupancy Grid），它是将整个空间中的体元分为三类：Occupied、Free、Unknown，并利用概率函数表达空间使用情况，利用该方法可以实现机器人自主导航定位。Hoppe通过构造点到物体表面的有向距离场（Signed Distance Function）来重建物体表面。为改善Hoppe方法中存在的边界重建不理想的问题，同时并解决了法向传播中可能出现的局部“孤岛”问题，Curless和Levoy在每个体素中保存两个值，一个是权重信息，另一个是距离值，他们将每幅深度图像转换成一个加权有向距离场（Weighted Signed Distance Function）。

在Kinect发布以后，华盛顿大学和Intel合作开展了名为RGB-D DensePoint Cloud Mapping的研究项目，这个项目旨在利用Kinect实现机器人的自动测图。由于较少关心测图本身精度，因此重建效果不够理想，场景中存在很多“洞”，且有“重影”现象产生。在2011年8月，微软在SIGGRAPH大会上展示了其KinectFusion项目成果，旨在利用Kinect实现增强现实（Augmented Reality）。其中针对Kinect原始深度图精度低的问题，利用Kinect高频输出特点，基于文献提出体重构技术和Point-To-Plane ICP算法，采用截断符号距离函数（Truncated Signed Distance Functions）和GPU进行并行加速，实现实时精细三维建模，精度可达到毫米级。

发明内容

本发明主要是解决现有技术所存在的传统的激光扫描仪扫描范围有限，尤其针对复杂的室内场景，对于狭小的区域无法完成数据采集工作等的技术问题；提供了一种充分发挥新型体感设备Kinect价格低廉，同时获取场景深度与影像信息，每秒30帧速率输出、可获取大量深度信息、可保持采集信息完整性等特点，实现对局部数据的采集工作的基于Kinect的室内LiDAR缺失数据填补方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于Kinect的室内LiDAR缺失数据填补方法，其特征在于，包括以下步骤：

步骤1，针对室内场景采用LiDAR设备在进行单点扫描，获取扫描数据，即获取LiDAR设备扫描的影像；针对LiDAR设备过程中缺失的区域，采用Kinect设备再次进行扫描，并提取扫描过程中的关键帧，获取稀疏的扫描数据；即获取稀疏的RGB-D影像；

步骤2，采用SIFT算法对步骤1中Kinect设备采集的RGB-D影像进行特征提取，并利用RANSAC算子对提取的特征中异常特征匹配点进行剔除；

步骤3，对步骤2中已经剔除异常特征匹配点的SIFT特征进行归并；

步骤4，采用SIFT算法对步骤1中LiDAR设备采集的LiDAR设备扫描的影像进行特征提取，并与步骤3中已归并的Kinect设备提取的SIFT特征进行粗匹配，获取转换矩阵；

步骤5，将步骤4中完成粗匹配的LiDAR影像与Kinect的RGB-D影像进行精细匹配，获取精细的转换矩阵；

步骤6，将步骤5中完成精细匹配的LiDAR影像与Kinect扫描RGB-D影像的部分缺失数据进行融合，得到完整的扫描影像。

这里需要解释的是，影像就是图像，模型包含三维坐标信息，这里主要是指点云模型。在lidar和kinect数据采集过程中，不仅包括影像数据（RGB图像和深度信息）也包括点云数据（一系列点云可以生成点云模型））

在上述的基于Kinect的室内LiDAR缺失数据填补方法，所述的步骤3中，由于相邻关键帧获取的影像，存在较多的重叠部分，因此基于步骤2获取的SIFT特征同样存在重复性；通过特征提取和特征映射，SIFT特征点在点云数据中有一一对应的点（x，y，z），即三维映射点，并且三维映射点是从体元模型中得到的，因此处于统一的坐标系下，则若SIFT特征相同，则其对应的三维映射点的坐标则接近或相同，采用三维映射点进行特征归并，即通过临近点聚类的方法实现SIFT特征的归并，具体描述如下：

给定一个多维空间Rk，Rk中的一个向量是一个样本点，这些样本点的有限集合称为样本集，给定样本集E，和一个样本点s’，s'的最近邻就是任一样本点s∈E满足Nearest(E，s'，s)，其中Nearest为如下定义：

$\mathrm{Nearest}(E,s^{\′},s)\⇔\∀s^{\′\′}\∈E|s^{\′}-s|\≤|s^{\′}-s^{\′\′}|$

上式中距离度量是欧式距离，即

$|s^{\′}-s|=\sqrt{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{(s_i-s_i^{\′})}^2}$

其中s_i是向量s的第i个维度。

在上述的基于Kinect的室内LiDAR缺失数据填补方法，所述的步骤4中，进一步包括以下子步骤：

步骤4.1，分别从配准的数据集中选取三对点，并获取这三对点对应于源点云数据集S和目标点云数据集T中的三维坐标；

步骤4.2，对于步骤1中的三个点对，进行变换矩阵计算，得到变换矩阵H；

步骤4.3，计算在该变换矩阵H_i下的inlier个数，若大于设定的阀值δ，则利用最小二乘计算所有的inlier并更新模型参数；若小于设定的阀值，则进行下一次迭代；

步骤4.4，迭代K次后，找到含“Inlier”个数最多的H_f，将其作为最终的变换矩阵。

在上述的基于Kinect的室内LiDAR缺失数据填补方法，所述的步骤6中，进一步包括以下子步骤：

步骤6.1，针对Kinect扫描的数据构建体元模型：定义一个三维体,N*M*Q大小，并将该三维体划分为L*P*O个大小的体元，其中，N、M、Q、L、P、O均为正整数，（体元的划分是可以自由定义的，但为了更高效的数据组织，通常划分为等分体元。）初始时每个体元不包含任何数据信息并对体元赋予初值。

步骤6.2，将LiDAR模型嵌入至Kinect体元模型：由于LiDAR设备扫描的数据量大，若构建单独的体元模型严重影响数据处理效率，因此将LiDAR模型嵌入已构建的Kinect体元模型，由于在步骤5中，LiDAR影像与Kinect影像已精细匹配，在匹配的点对中选取LiDAR模型的点并添加至Kinect体元模型中。

步骤6.2，对体元进行赋值：由于LiDAR数据与Kinect数据归化到统一坐标系下，此时，将分别获取的深度数据存放入体元模型中，并相应地更新每个体元保存的数据信息。

步骤6.3，深度数据融合：执行完上述步骤后，同一体元存在多个深度数据，受到物体表面情况和传感器影响，导致误差不同，因此需对深度数据进行融合处理。，具体方法是：

步骤A，首先对每个顶点进行权重分析，权重范围为0-1，权重大小依赖于顶点的法向量与光线夹角，夹角越大，权重越小，同时，对于边界处具有更小权重，对于非顶点权重，采取线性内插方法计算权重值：

步骤B，然后根据上述权重融合深度数据。函数D(x)作为融合后的深度值，通过{d_i(x)|i＝0,…,n}，其中，d_i(x)为每个模型的深度值，以及对应的权重信息{w_i(x)|i＝0,…,n}，其中，w_i(x)为每个模型的权重值，通过下式获取：

$D\left(x\right)=\frac{\mathrm{\Σ}{w}_i\left(x\right)d_i\left(x\right)}{\mathrm{\Σ}{w}_i\left(x\right)}$

W_i(x)＝∑w_i(x)

因此，本发明具有如下优点：充分发挥新型体感设备Kinect价格低廉，同时获取场景深度与影像信息，每秒30帧速率输出、可获取大量深度信息、可保持采集信息完整性等特点，实现对局部数据的采集工作。

附图说明

图1是本发明中体元到物体表面的距离。

图2是本发明中带有权重的数据。

图3是将图2中带有权重的数据进行融合后的结果。

图4是本发明中进行关键帧提取的示意图。

图5是图4中稀疏化的树形示意图。

图6是本发明中特征归并的示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

首先，介绍一下本发明涉及到的理论基础：

1.1、RGB-D数据

RGB-D数据，其实就是带有色彩信息的点云数据，这里将其称之为RGB-D数据，主要用以说明Kinect在获取深度信息时同步获取了颜色影像，并且两份数据之间可以一一映射，这对于重建具有照片级真实感的三维模型具有重要意义。不同的设备记录的方式可能不一样，不过大致可分为两类，一类记录的是一个距离值的标量，另一类记录的是该点的三维坐标值。Kinect扫描所获取的深度图像是一个距离值的标量，如公式（1）所示。

R(i,j)＝{r_i,j|0≤i≤row-1,0≤j≤col-1}            (1)

用Kinect获取的深度图像的行列数分别是480、640。具体的，深度图像上的每一个像素值，由于受传感器的能力所限只能处于某一阈值内，对Kinect而言，其探测深度最远可以达到7米，但探测效果最好集中在1.2米到3.5米之间。实际应用中Kinect深度设备所记录的数字在0~2047范围内，实际应用中需要将该深度数值换算成实际距离，如公式（2）所示。

Real Distance＝1.0/(raw_depth*-0.0030711016+3.3309495161)(2)

1.2、ICP算法

点云配准算法中，应用最为广泛的是Besl与Chen提出的ICP算法[21,30]。该方法不仅适用于点云数据，对于其他曲面数据也适用。其过程可分为两步，第一步确立对应点集，第二步根据对应点集确立点云间的坐标变换矩阵。然后迭代以上两步，直至误差函数满足精度要求为止，可见ICP算法的本质是基于最小二乘的最优匹配方法。假设从两组点云数据中采样得到的点集是P₁和P₂，变换矩阵记为T=[R|t]，则ICP算法收敛的最终结果是使误差函数最小，如公式（3）所示。

$E(T,P_1,P_2)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\left|\right|p_1^i-T\·p_2^i\left|\right|}^2---\left(3\right)$

其中确立对应点集为ICP算法的关键，决定了算法的收敛速度与最终的拼接精度。ICP算法的主要步骤为（1）对原始点云数据采样（2）确定初始对应点集（3）去除错误对应点对（4）坐标变换求解。

1.3、体元融合

所谓体元或者体素（Voxel），其核心思想是将二维或者三维空间细分成连续的小块，在三维空间中这些细分的区域则称之为体元（Voxels）。在融合多视深度影像重建真实世界的三维模型时，为将真实世界映射到计算机空间中，首先预定义一个三维体（3D Volume），假设3m×3m×3m的大小，而后将该三维体被划分成规整的小块，即体元，假设512×512×512大小，初始时每个体元中都不包含任何数据信息，通过相机位置追踪以后，将每一帧数据都归化到同一坐标系下，此时，就可以将新获取的深度数据放入该体元模型中，并相应地更新每个体元所保存的数据信息。

将两组点云数据配准后，可以把这两组点云数据很好地拼接到一起，此时可以采用表面拼接的方法重建完整的物体表面。为解决表面拼接中存在的问题，可使用隐函数法重建完整的物体表面。体元重建的中心思想是使用一个连续的隐式函数D(x)来表示每一个采样点，该函数中每一个点x都带有权重信息和距离信息（Weighted Signed Distance），从体素x沿视线观察方向P与物体表面相交，这一段距离就是距离函数d_i(x)需要记录的值，如图1所示。

可见，通过计算有向距离函数（Signed Distance Function，SDF）得到的距离值可正可负，正则意味着沿射线方向上该体元位于重建表面之前，负则位于重建表面之后，而正负相交处则为重建物体真正的表面，也就是说D(x)＝0就是重建出的物体表面。随着数据不断进入，此时需要更新每个体元所记录的值，而我们知道从不同方向对同一区域采集其深度数据时，受物体表面情况和传感器性能影响，其误差不同，因此数据融合的时候应对其加权求平均，如果权重设置不当，很可能使重建出的表面出现“褶皱”，如图2以及图3所示。

利用体元技术，通过深度数据的融合可以重建出高精度的三维模型，其中D(x)＝0处即为重建出的物体表面，也就是说通过上述方法重建出的实际是物体的表面模型，可以看成是2.5维的。因此，在众多体元数据中，实际上仅有小部分体元数据记录了有用的表面信息，当完成一个场景的扫描后，只需要保存体数据中D(x)＝0的部分即可，如此可以减小数据量，提高数据处理效率，并且可用于后文的模型拼接中。

下面介绍一下本发明的具体实施例：

步骤1，Kinect扫描过程的关键帧提取，获取较稀疏的扫描数据。针对LiDAR设备在进行单点扫描过程中缺失的区域，利用Kinect设备进行扫描。由于Kinect设备以30帧/秒的速度进行数据采集，且相邻帧之间的重复区域较多，因此通过关键帧提取的方法，在保证缺失场景数据完整性的前提下，获取局部有效扫描数据，减少后期数据处理时间。本发明通过直接计算相机的角度偏转量和平移量以决定关键帧的添加。

步骤2，基于Kinect的RGB影像的特征提取。由于RGB影像与点云数据已经过配准，因此将RGB影像上提取得到的特征点映射到点云数据上就可作为点云数据的特征。其中，RGB影像通过SIFT算子实现特征提取。然而，将SIFT特征映射到点云数据上时需要注意，点云数据中存在大量无效数据，因此映射时需要对数据的有效性进行判断。一般来说无效数据出现在两种情况下，一是深度影像的可视范围与颜色影像的可视范围不同，颜色影像上存在的区域在深度影像上很可能无法接收到深度信息；二是SIFT特征处于物体的边缘，而我们知道点云数据在边缘处保持不好。于此同时，获取SIFT特征主要为了获取刚性变换矩阵，因此无需保存过多SIFT特征。

步骤3，对步骤二中的特征进行归并。由于相邻关键帧获取的影像，存在较多的重叠部分，因此基于步骤二获取的SIFT特征同样存在重复性。通过特征提取和特征映射，SIFT特征点在点云数据中有一一对应的点（x，y，z），为后续叙述方便我们称之为三维映射点。三维映射点是从体元模型中得到的，因此处于统一的坐标系下。如果SIFT特征相同，则其对应的三维映射点的坐标应该十分接近，如图6所示。利用这一特性，可以利用三维映射点进行特征归并。本发明通过临近点聚类的方法实现SIFT特征的归并。具体描述如下：

给定一个多维空间Rk，Rk中的一个向量是一个样本点，这些样本点的有限集合称为样本集，给定样本集E，和一个样本点s’，s'的最近邻就是任一样本点s∈E满足Nearest(E，s'，s)，Nearest如下定义：

$\mathrm{Nearest}(E,s^{\′},s)\⇔\∀s^{\′\′}\∈E|s^{\′}-s|\≤|s^{\′}-s^{\′\′}|---\left(4\right)$

上面的公式中距离度量是欧式距离，即

$|s^{\′}-s|=\sqrt{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{(s_i-s_i^{\′})}^2}---\left(5\right)$

其中s_i是向量s的第i个维度。

步骤4，LiDAR影像的特征提取，与Kinect设备的特征粗匹配，获取转换矩阵。与步骤二相同，LiDAR影像也采用SIFT算子实现特征提取。对于LiDAR设备与Kinect设备获取的特征，采用RANSAC算法实现粗匹配，主要包括以下步骤：

步骤4.1，分别从配准的数据集中选取三对点，并获取这三对点对应于源点云数据集S和目标点云数据集T中的三维坐标。

步骤4.2，对于上述三个点对，进行变换矩阵计算，得到变换矩阵H。

步骤4.3，计算在该变换矩阵H_i下的“inlier”个数，若大于设定的阀值δ，则利用最小二乘计算所有的inlier并更新模型参数；若小于设定的阀值，则进行下一次迭代。

步骤4.4，迭代K次后，找到含“Inlier”个数最多的H_f，将其作为最终的变换矩阵。

步骤5，LiDAR影像与Kinect的RGB-D影像进行精细匹配。通过RANSAC算法可以计算得到比较可靠的变换矩阵，但是利用改变换矩阵只能实现两组点云数据间的粗匹配，此时若用变换矩阵匹配两组点云数据不能得到完美的拼接效果，因此要在粗匹配基础上使用ICP算法实现点云数据间的精匹配。但传统的ICP算法要求一幅深度影像中的任意点在另一幅影像中能找到相应地匹配点，而本发明中LiDAR影像与Kinect深度影像只存在部分区域重叠，因此采用传统ICP算法进行精细匹配存在不足。本发明针对上述问题，对ICP进行了两点改进，包括去掉距离相隔远的匹配点与去掉在mesh（面片）边界的点对，即在边界处的所有匹配点将被剔除。基于改进的ICP匹配可以计算得到一个新的矩阵,将该矩阵应用于两组点云数据之上就可以实现数据的精确拼接。

步骤6，LiDAR模型与Kinect扫描的缺失部分模型融合，主要包括构建体元，深度数据融合两个步骤，具体如下。

步骤6.1，针对Kinect扫描的数据构建体元模型。定义一个三维体（3DVolume）,3m×3m×3m大小，并将该三维体划分为512×512×512个大小的体元，初始时每个体元不包含任何数据信息并对体元赋予初值。

步骤6.2，将LiDAR模型嵌入至Kinect体元模型。由于LiDAR设备扫描的数据量大，若构建单独的体元模型严重影响数据处理效率，因此将LiDAR模型嵌入已构建的Kinect体元模型。在步骤5中，LiDAR影像与Kinect影像已精细匹配，在匹配的点对中选取LiDAR模型的点并添加至Kinect体元模型中。

步骤6.3，对体元进行赋值。由于LiDAR数据与Kinect数据归化到统一坐标系下，此时，将分别获取的深度数据存放入体元模型中，并相应地更新每个体元保存的数据信息。

步骤6.4，深度数据融合。执行完上述步骤后，同一体元存在多个深度数据，受到物体表面情况和传感器影响，导致误差不同，因此需对深度数据进行融合处理。

步骤A,首先对每个顶点进行权重分析。权重范围为0-1，权重大小依赖于顶点的法向量与光线夹角，夹角越大，权重越小。同时，对于边界处具有更小权重。对于非顶点权重，采取线性内插方法计算权重值，如图1所示。

步骤B,然后根据上述权重融合深度数据。函数D(x)作为融合后的深度值，通过{d_i(x)|i＝0,…,n}（其中，d_i(x)为每个模型的深度值）和对应的权重信息{w_i(x)|i＝0,…,n}（其中，w_i(x)为每个模型的权重值）通过公式（6）（7）计算。

$D\left(x\right)=\frac{\mathrm{\Σ}{w}_i\left(x\right)d_i\left(x\right)}{\mathrm{\Σ}{w}_i\left(x\right)}---\left(6\right)$

W_i(x)＝∑w_i(x)                     (7)

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于Kinect的室内LiDAR缺失数据填补方法，其特征在于，包括以下步骤：

步骤1，针对室内场景采用LiDAR设备在进行单点扫描，获取扫描数据，即获取LiDAR设备扫描的影像；针对LiDAR设备过程中缺失的区域，采用Kinect设备再次进行扫描，并提取扫描过程中的关键帧，获取稀疏的扫描数据；即获取稀疏的RGB-D影像；

步骤2，采用SIFT算法对步骤1中Kinect设备采集的RGB-D影像进行特征提取，并利用RANSAC算子对提取的特征中异常特征匹配点进行剔除；

步骤3，对步骤2中已经剔除异常特征匹配点的SIFT特征进行归并；

步骤4，采用SIFT算法对步骤1中LiDAR设备采集的LiDAR设备扫描的影像进行特征提取，并与步骤3中已归并的Kinect设备提取的SIFT特征进行粗匹配，获取转换矩阵；

步骤5，将步骤4中完成粗匹配的LiDAR影像与Kinect的RGB-D影像进行精细匹配，获取精细的转换矩阵；

步骤6，将步骤5中完成精细匹配的LiDAR模型与Kinect扫描RGB-D影像的部分缺失数据进行融合，得到完整的扫描影像。

2.根据权利要求1所述的基于Kinect的室内LiDAR缺失数据填补方法，其特征在于，所述的步骤3中，由于相邻关键帧获取的影像，存在较多的重叠部分，因此基于步骤2获取的SIFT特征同样存在重复性；通过特征提取和特征映射，SIFT特征点在点云数据中有一一对应的点（x，y，z），即三维映射点，并且三维映射点是从体元模型中得到的，因此处于统一的 坐标系下，则若SIFT特征相同，则其对应的三维映射点的坐标则接近或相同，采用三维映射点进行特征归并，即通过临近点聚类的方法实现SIFT特征的归并，具体描述如下：

给定一个多维空间Rk，Rk中的一个向量是一个样本点，这些样本点的有限集合

称为样本集，给定样本集E，和一个样本点s'，s'的最近邻就是任一样本点s∈E满足Nearest(E，s'，s)，其中Nearest为如下定义：

上式中距离度量是欧式距离，即

其中s_i是向量s的第i个维度。

3.根据权利要求1所述的基于Kinect的室内LiDAR缺失数据填补方法，其特征在于，所述的步骤4中，进一步包括以下子步骤：

步骤4.1，分别从配准的数据集中选取三对点，并获取这三对点对应于源点云数据集S和目标点云数据集T中的三维坐标；

步骤4.2，对于步骤1中的三个点对，进行变换矩阵计算，得到变换矩阵H；

步骤4.3，计算在该变换矩阵H_i下的inlier个数，若大于设定的阀值δ，则利用最小二乘计算所有的inlier并更新模型参数；若小于设定的阀值，则进行下一次迭代；

步骤4.4，迭代K次后，找到含“Inlier”个数最多的H_f，将其作为最终的变换矩阵。 

4.根据权利要求1所述的基于Kinect的室内LiDAR缺失数据填补方法，其特征在于，所述的步骤6中，进一步包括以下子步骤：

步骤6.1，针对Kinect扫描的数据构建体元模型：定义一个三维体,N*M*Q大小，并将该三维体划分为L*P*O个大小的体元，其中，N、M、Q、L、P、O均为正整数，初始时每个体元不包含任何数据信息并对体元赋予初值。

步骤6.2，将LiDAR模型嵌入至Kinect体元模型：由于LiDAR设备扫描的数据量大，若构建单独的体元模型严重影响数据处理效率，因此将LiDAR模型嵌入已构建的Kinect体元模型，由于在步骤5中，LiDAR影像与Kinect影像已精细匹配，在匹配的点对中选取LiDAR模型的点并添加至Kinect体元模型中。

步骤6.2，对体元进行赋值：由于LiDAR数据与Kinect数据归化到统一坐标系下，此时，将分别获取的深度数据存放入体元模型中，并相应地更新每个体元保存的数据信息。

步骤6.3，深度数据融合：执行完上述步骤后，同一体元存在多个深度数据，受到物体表面情况和传感器影响，导致误差不同，因此需对深度数据进行融合处理。，具体方法是：

步骤A，首先对每个顶点进行权重分析，权重范围为0-1，权重大小依赖于顶点的法向量与光线夹角，夹角越大，权重越小，同时，对于边界处具有更小权重，对于非顶点权重，采取线性内插方法计算权重值：

步骤B，然后根据上述权重融合深度数据。函数D(x)作为融合后的深度值，通过{d_i(x)|i＝0,…,n}，其中，d_i(x)为每个模型的深度值，以及对应的权重信息{w_i(x)|i＝0,…,n}，其中，w_i(x)为每个模型的权重值，通过下式获取： 

W_i(x)＝∑w_i(x) 。

Images