CN107103626A

CN107103626A - 一种基于智能手机的场景重建方法

Info

Publication number: CN107103626A
Application number: CN201710173832.7A
Authority: CN
Inventors: 朱尊杰; 颜成钢; 徐枫; 龚冰剑; 黄海亮
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2017-02-17
Filing date: 2017-03-22
Publication date: 2017-08-29

Abstract

本发明公开了一种基于智能手机的场景重建方法。本方法为：1)计算智能手机上彩色相机的内部相机参数矩阵；2)将深度相机连接到该智能手机上并固定，计算该深度相机对应的内部相机参数矩阵及其缩放因子；3)计算该彩色相机与该深度相机相对应的外部参数矩阵；4)用智能手机上的该彩色相机、深度相机拍摄场景的全景视频，再将该视频转换为图像序列；然后通过得到的外部参数矩阵和内部参数矩阵将图像序列合并为RGB‑D四通道序列；5)计算该RGB‑D中相邻两帧对应的变换矩阵；6)通过RGB‑D与变换矩阵建立场景三维空间点云集，然后通过仿射变换将该点云集显示于智能手机的显示屏上。本发明具有更好的便携性和可塑性。

Description

一种基于智能手机的场景重建方法

技术领域

本发明属于计算机视觉领域，尤其针对场景三维重建，具体涉及一种基于智能手机的场景重建方法。

背景技术

场景重建作为虚拟现实研究的一个重要领域，室内环境的虚拟实现近年来引起了研究者的浓厚兴趣。室内环境的虚拟漫游有着很强的应用背景，比如，虚拟的办公室、博物馆、洞窟等已应用于远程办公、教育、娱乐和旅游等行业。基于图像的场景重建技术采用彩色相机和深度相机同时获取场景中的颜色信息和深度信息，同传统三维扫描设备相比，基于图像的场景重建技术所诞生的系统具有价格低廉、结构小巧、使用方便，且能实时捕获物体表面的深度与彩色信息等优点。

一些传统的三维重构方法是存在局限性的，比如算法的精度会受到光照、物体遮挡等因素的影响。而在采用深度相机之后，人们就可以在室内条件下获得比过去更为准确可靠的深度信息。这样，研究人员就不必花费大量精力在深度计算方面，而能够着重于利用RGB-D(彩色及深度)图像解决物体的识别、场景的分类等更高层的问题，从而在某种程度上加快研究的进程。

发明内容

本发明主要考虑现有的基于RGB-D的场景重建系统有体积相对较大难以随身携带，成本高难以普及等缺点，如目前市面上的昂贵的kinect等大体积的设备能满足重建，但却不能满足便携的要求。同时要满足目前市面上虚拟现实头戴显示器的要求，设备就必须达到体积小，便于携带等功能。

本发明考虑到虚拟现实头戴显示器需要装配智能手机，同时智能手机上有彩色相机，因此，采用了智能手机上彩色相机结合体积小的基于结构光的深度相机structuresensor的方式，并针对该方式设计出了一种基于IOS(苹果公司开发的移动操作系统)的场景重建系统。

场景三维重建系统主要分为两大阶段：

相机标定与校准阶段和相机定位及三维重建阶段。相机标定与配准阶段：本发明需要设计APP调用智能手机的相机，并将深度相机连接到智能手机上获取深度信息，对两个相机进行标定，得到他们的内参与外参，计算出两个相机的空间相对位置关系，之后通过算法将两个图像序列合并成一个包含RGB-D四通道的图像序列。相机定位及三维重建阶段：该阶段本发明需要对RGB-D图像序列进行进一步的优化处理，本发明设计采用图像修补算法对每帧图像进行补洞填充，并设计针对本发明的去噪算法来滤除因光强不均，特殊材料光反射等造成的噪声。再将优化后的图像序列进行特征点的提取，并通过ORB算法进行特征描述，然后通过所得到的相邻帧的特征信息进行配准，得到相机的姿态变换矩阵，建立三维空间点云(X,Y,Z,R,G,B)并显示场景的三维图像。

本发明将所有的算法与步骤如调用摄像头，调用深度相机，校准相机内参与外参，彩色相机与深度相机配准算法，三维点云建立等，都集成在一个APP中，同时简化了其操作达到了快速有效，简单易行，并将结果直接显示在手机显示屏中。

本发明具体按照以下步骤实施：

步骤1、在智能手机中安装相机调用模块，通过相机调用模块调用智能手机上的彩色相机，用彩色相机从各个设定角度拍摄棋盘格，利用棋盘格上设定的多个坐标的特征点，计算智能手机上彩色相机的内部相机参数矩阵：

其中，f_x＝f/dx,f_y＝f/dy分别是彩色相机坐标x轴和y轴上的归一化焦距；f是彩色相机的焦距，dx和dy分别表示彩色相机平面x轴和y轴上单位像素的尺寸大小。c_x和c_y则表示光学中心，即彩色相机光轴与图像平面的交点，通常位于图像中心处，故其值被取为相机分辨率的一半。

步骤2、将深度相机structure sensor连接到智能手机上并固定，通过相机调用模块调用该深度相机，通过深度相机从各个角度对棋盘格进行拍摄，计算得到深度相机对应的内部相机参数矩阵T’，矩阵形式同公式(1)，此外，深度相机还需要另外计算一个缩放因子s，该缩放因子s为深度相机所得到的相平面上各像素点的数值与实际空间中实际距离的比例值。

下式为深度相机所对应的相机坐标系到空间坐标系的转换公式：

其中，(u,v)分别为二维平面即二维图片上各个像素点位置的横纵坐标，在拍摄得到二维图片后，设图片左上角为原点即可确定图片各像素点的坐标，(x,y,z)为图片中各像素点所对应的三维空间坐标。

步骤3、通过彩色相机和深度相机同时拍摄棋盘格，得到两个相机拍摄空间中同一点所得的平面坐标，利用公式(2)将其转换为空间坐标，并利用公式(4)进行配准，得到两个相机相对应的外部参数矩阵，即公式(3)。由于空间中某一点对应到两个相机平面中时，其在两个相机坐标系中的坐标位置是不同的，因此需通过该外部参数矩阵，即利用公式(4)将其配准到相同的坐标上，使得在相同的坐标中，本发明能得到场景中该点的颜色信息和距离信息。

外部参数矩阵形式如下：

其中，R是大小为3×3的旋转矩阵，t是大小为3×1的平移向量。本发明可通过将深度相机得到的空间点坐标乘以旋转矩阵R进行旋转，再加上平移向量t，变换到对应的彩色相机所得到的空间点坐标位置。

彩色相机与深度相机所对应的空间点坐标转换公式如下：

其中，(X_c，Y_c，Z_c)为通过彩色相机转换得到的空间点坐标，(X_D，Y_D，Z_D)为通过深度相机转换得到的空间点坐标。

步骤4、用智能手机上的彩色相机和深度相机拍摄场景的全景视频，再将视频转换为图像序列即深度图像序列和彩色图像序列，并通过所得到的外部参数矩阵和内部参数矩阵将两种图像序列合并，即将RGB三通道的彩色图像序列与单通道的深度图像序列合并为RGB-D四通道序列，得到合并后的图像序列{F₁,F₂,F₃,F₄,…}。

步骤5、由于合并后的图像序列中的图片并不是每一个像素都能有RGB-D信息，于是需要通过图像修复算法(AlexandruTelea.An Image Inpainting Technique Based onthe Fast Marching Method[J].Journal of Graphics Tools,2004,9(1):23-34.)对图像序列进行修补，同时利用去噪算法来滤除因光强不均，特殊材料光反射等造成的噪声，提高场景重建的精度。

步骤6、利用特征点匹配的图像处理方法匹配图像序列{F₁,F₂,F₃,F₄,…}中的相邻两帧，得到对应的变换矩阵M_i

其中，E_i是大小为3×3的旋转矩阵，g_i是大小为3×1的平移向量。图像序列{F₁,F₂,F₃,F₄,…}中相邻两帧图像中，前一帧图像的像素点坐标乘以旋转矩阵E_i后再加上平移向量g_i就能变换到对应的后一帧图像的像素点坐标位置。

步骤7、由于步骤6中计算所得的M_i存在累积误差，因此需要对所有变换矩阵M_i进行全局优化，得到最优的E_i与g_i的集合，使通过变化矩阵M_i计算得到的图像与真实图像的误差总和最小，设置图像序列{F₁,F₂,F₃,F₄,…}的变换矩阵优化模型为：

其中，p_i和q_i是相邻两帧的图像数据，都包含RGB-D信息，都是以三维矩阵形式进行存储，具体的大小视相机分辨率而定，同时p_i为后一帧图片数据，q_i为前一帧图片数据；N为视频的总帧数。

步骤8、通过得到的图像序列与变换矩阵建立场景三维空间点云集，设置场景三维点云数学模型为：

通过智能手机上安装的显示模块，显示公式7所计算出的场景三维空间点云集，该点云集中的每个点都包含(X,Y,Z,R,G,B)等6种信息，再通过仿射变换将该点云集显示于智能手机的显示屏上。

本发明方法具有的优点及有益结果为：

1.本发明利用手机自带的彩色相机，结合深度相机的方式所搭建的场景重建系统能直接放入目前市面上的虚拟现实头戴显示器中，通过系统将现实场景显示在虚拟世界中，解决目前VR领域无法进行虚拟与现实场景有效交互的弊端。

2.本发明以手机为平台搭建场景重建系统，使得整个系统简单轻便，十分便于携带；除此之外，实现场景重建技术的成本也降低了很多只需要另行购买一个深度相机即可。

3.本发明的其中一个难点是手机彩色相机与深度相机的标定与配准，本发明设计了自动的标定与配准算法并将该算法编写入APP中，能十分简单便捷得进行两个相机之间的配准过程，同时该APP集成了本发明的所有步骤，且操作简单，极大地降低了用户的上手难度，使得本发明更容易被大众接受和普及。

4.随着计算机技术广泛应用于生产生活的方方面面，高效建立物体三维几何模型的需求更加旺盛，三维重建技术成为学术界研究热点。本项目由于使用便于携带的智能手机作为核心处理单元，可以通过在现已有的智能手机设备上实现场景的三维重建，在多个行业具有广泛的应用前景，且能快速便捷地实现场景的三维重建，较之已有的三维重建系统，本发明具有更好的便携性和可塑性。

附图说明

图1是本发明所开发的基于IOS的系统状态流程图；

图2是本发明的相机标定与校准阶段算法流程图；

图3是本发明的相机定位及三维重建阶段流程图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明提出的基于智能手机的场景重建方法，按照以下步骤实施。

步骤1、设计智能手机APP调用智能手机上的彩色相机，将深度相机structuresensor连接到智能手机上并固定，并设计函数去启动该深度相机，以及传输深度相机上得到的深度信息到手机端。编写特定函数来捕获特定时间点上的彩色相机上的RGB信息，以及深度相机上的深度信息。在图1中，从0状态到状态1测试智能手机摄像头，即彩色相机的性能得到其分辨率。连接上深度相机后，从状态1到达状态2，并测试深度相机的性能得到其分辨率。

步骤2、在图1中，从状态2到状态3，将深度相机的模式切换为红外模式，并同步刷新RGB图像和红外图像，使两者能在同一时间输出数据到手机终端使所获数据的时间统一。从状态3到状态4，通过棋盘格对齐RGB与红外图像，即对齐彩色相机和深度相机所获取的图像，对齐采用了非错切仿射变换。对齐图像的目的是使分辨率不同的两个相机输出统一分辨率的图像。对齐完成后回到状态3。

步骤3、从状态3到状态5，在同步刷新RGB和红外图像之后，用彩色相机从各个角度自动拍摄特定的棋盘格，并利用棋盘格上的特定坐标的特征点自动计算智能手机上彩色相机的内部相机参数矩阵：

其中f_x＝f/dx,f_y＝f/dy分别是相机坐标x轴和y轴上的归一化焦距；f是相机的焦距，dx和dy分别表示相机平面x轴和y轴上单位像素的尺寸大小。c_x和c_y则表示光学中心，即相机光轴与图像平面的交点，通常位于图像中心处，故c_x和c_y值被取为相机分辨率的一半。

步骤4、同样在状态5时，当计算完成彩色相机内部参数矩阵后，APP将自动切换为深度相机的内参矩阵计算模式，通过深度相机对应的棋盘格自动拍摄并计算得到深度相机对应的内部相机参数矩阵，矩阵形式同公式(1)，此外，深度相机另有一个缩放因子s，该参数为深度相机所得到的相平面上各像素点的数值与实际空间中实际距离的比例值。

步骤5、标定完成后，从状态5回到状态3，深度相机从红外模式切换成深度模式，并从状态3回到状态2。开始对彩色相机和深度相机进行配准，计算两个相机相对应的外部参数矩阵。把空间中某一点对应到两个相机平面中时，其在两个相机坐标系中的坐标位置是不同的，通过该外部参数矩阵，本发明可以将其配准到相同的坐标上，使得在相同的坐标中，本发明能得到现实场景中某一点的颜色信息和距离信息。

外部参数矩阵形式如下：

其中R是大小为3×3的旋转矩阵，t是大小为3×1的平移向量。

彩色相机与深度相机所对应的的空间点坐标转换公式如下：

其中(X_c，Y_c，Z_c)为通过彩色相机转换得到的空间点坐标，(X_D，Y_D，Z_D)为通过深度相机转换得到的空间点坐标。

步骤6、在完成外参的计算后，状态2启动场景重建模式，用智能手机上的彩色相机和深度相机拍摄场景的全景视频，再将视频转换为图像序列即深度图像序列和彩色图像序列，并通过所得到的外部参数矩阵和内部参数矩阵将两种图像序列合并，得到合并后的图像序列{F₁,F₂,F₃,F₄,…}。

步骤7、由于合并后的图像序列中的图片并不是每一个像素都能有RGB-D信息，于是需要通过FMM图像修复算法对图像序列进行修补，同时利用高斯低通滤波去噪算法来滤除噪声，提高场景重建的精度。

步骤8、利用特征点匹配的图像处理方法计算所得图像序列相邻帧之间的变换矩阵

特征点匹配过程利用了ORB算法进行每一帧图像的特征点检测与描述，并利用FLANN与RANSAC算法进行特征点匹配的优化。之后对所有变换矩阵M_i进行全局优化，设置RGB-D图像序列的变换矩阵优化模型为：

其中p_i和q_i是相邻两帧的图像数据，都包含RGB-D信息，都是以三维矩阵形式进行存储，具体的大小视相机分辨率而定，同时p_i为后一帧图片数据，q_i为前一帧图片数据，；N为视频的总体帧数。E_i是大小为3×3的矩阵，g_i是大小为3×1的向量。

步骤9、通过得到的RGB-D图像序列以及图像序列每一帧所对应的变换矩阵建立场景三维空间点云集，设置场景三维点云数学模型为：

APP定义上式所计算出的场景三维空间点云集，该点云中的每个点都包含(X,Y,Z,R,G,B)等6维信息，即空间中某点的三维坐标与颜色信息。最后APP将该点云显示于智能手机的显示屏上，展现场景的三维模型，用户可以通过滑动触摸屏转动视角观看场景的每一个角落。

Claims

1.一种基于智能手机的场景重建方法，其特征在于包括如下步骤：

其中，f_x＝f/dx,f_y＝f/dy分别是彩色相机坐标x轴和y轴上的归一化焦距；f是彩色相机的焦距，dx和dy分别表示彩色相机平面x轴和y轴上单位像素的尺寸大小；c_x和c_y则表示光学中心，即彩色相机光轴与图像平面的交点，通常位于图像中心处，故其值被取为相机分辨率的一半；

步骤2、将深度相机structure sensor连接到智能手机上并固定，通过相机调用模块调用该深度相机，通过深度相机从各个角度对棋盘格进行拍摄，计算得到深度相机对应的内部相机参数矩阵T’，矩阵形式同公式(1)，此外，深度相机还需要另外计算一个缩放因子s，该缩放因子s为深度相机所得到的相平面上各像素点的数值与实际空间中实际距离的比例值；

其中，(u,v)分别为二维平面即二维图片上各个像素点位置的横纵坐标，在拍摄得到二维图片后，设图片左上角为原点即可确定图片各像素点的坐标，(x,y,z)为图片中各像素点所对应的三维空间坐标；

步骤3、通过彩色相机和深度相机同时拍摄棋盘格，得到两个相机拍摄空间中同一点所得的平面坐标，利用公式(2)将其转换为空间坐标，并利用公式(4)进行配准，得到两个相机相对应的外部参数矩阵，即公式(3)；由于空间中某一点对应到两个相机平面中时，其在两个相机坐标系中的坐标位置是不同的，因此需通过该外部参数矩阵，即利用公式(4)将其配准到相同的坐标上，使得在相同的坐标中，本发明能得到场景中该点的颜色信息和距离信息；

外部参数矩阵形式如下：

其中，R是大小为3×3的旋转矩阵，t是大小为3×1的平移向量；本发明可通过将深度相机得到的空间点坐标乘以旋转矩阵R进行旋转，再加上平移向量t，变换到对应的彩色相机所得到的空间点坐标位置；

彩色相机与深度相机所对应的空间点坐标转换公式如下：

其中，(X_c，Y_c，Z_c)为通过彩色相机转换得到的空间点坐标，(X_D，Y_D，Z_D)为通过深度相机转换得到的空间点坐标；

步骤4、用智能手机上的彩色相机和深度相机拍摄场景的全景视频，再将视频转换为图像序列即深度图像序列和彩色图像序列，并通过所得到的外部参数矩阵和内部参数矩阵将两种图像序列合并，即将RGB三通道的彩色图像序列与单通道的深度图像序列合并为RGB-D四通道序列，得到合并后的图像序列{F₁,F₂,F₃,F₄,…}；

步骤5、由于合并后的图像序列中的图片并不是每一个像素都能有RGB-D信息，于是需要通过图像修复算法对图像序列进行修补，同时利用去噪算法来滤除噪声，提高场景重建的精度；

其中，E_i是大小为3×3的旋转矩阵，g_i是大小为3×1的平移向量；图像序列{F₁,F₂,F₃,F₄,…}中相邻两帧图像中，前一帧图像的像素点坐标乘以旋转矩阵E_i后再加上平移向量g_i就能变换到对应的后一帧图像的像素点坐标位置；

<mrow> <msub> <mi>min</mi> <mrow> <msub> <mi>E</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>g</mi> <mi>i</mi> </msub> </mrow> </msub> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <mo>|</mo> <mo>|</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>-</mo> <mrow> <mo>(</mo> <msub> <mi>E</mi> <mi>i</mi> </msub> <msub> <mi>q</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>g</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

其中，p_i和q_i是相邻两帧的图像数据，都包含RGB-D信息，都是以三维矩阵形式进行存储，具体的大小视相机分辨率而定，同时p_i为后一帧图片数据，q_i为前一帧图片数据；N为视频的总帧数；

通过智能手机上安装的显示模块，显示公式7所计算出的场景三维空间点云集，该点云集中的每个点都包含(X,Y,Z,R,G,B)6种信息，再通过仿射变换将该点云集显示于智能手机的显示屏上。