CN106408664B - 一种基于三维扫描装置的三维模型曲面重建方法 - Google Patents

Abstract

本发明涉及一种基于三维扫描装置的三维模型曲面重建方法，包括以下步骤：1)利用三维扫描装置以均匀的拍摄时间间隔拍摄多组位图照片；2)将拍摄的位图照片传输给计算机；3)一组位图照片到达计算机后内存后，计算机对位图照片进行甄别；4)计算得到点云后，利用该组照片中的那张全照明的位图照片对这幅点云进行坐标对应上色处理，将上色处理后的点云放在三维环境中；5)依次将后续点云与前一幅点云进行拼接，最后得到整个扫描部位的点云群；6)将整个扫描部位的点云群进行精确配准，形成一个完整的、每个点包含有颜色信息的部位点云，再进行网格化及平滑处理，得到一个完整的部位的三维曲面。7)对三维曲面进行颜色渲染。

Description

一种基于三维扫描装置的三维模型曲面重建方法

技术领域

本发明涉及一种基于三维扫描装置的三维模型曲面重建方法，属于三维扫描成像技术领域。

背景技术

近年来，三维扫描技术在很多领域得到了广泛应用，尤其在医学成像领域做出了突出的贡献。例如，过去牙科患者口内拓制的牙齿石膏印模和X射线照相技术，被现如今的三维可见光扫描技术所取代。口腔内三维扫描技术避免了印模材料的消耗、交叉感染、模型易破损且不易保存、精度低以及将患者暴露于大量射线之下等缺点，显著提高了患者在检查过程中的舒适程度，减少了患者的时间消耗，其应用越来越广泛。在牙科学中，记录表面颜色的能力在许多应用中也是有用的，例如用户可以区分组织的类型或检测现有的修复物，进行牙冠外观比色以确定新牙冠的颜色。

以US009066772为代表的一系列美国专利公开了一种广泛使用的、采用结构光三维重建原理的口腔内牙冠三维扫描仪，即由结构光发生器照明，图像传感器拍摄一组二维照片，传送给GPU，按三角原理进行三维重建得到一幅点云，将相关的点云配准在一起，形成一个部位的点云，如上颌或下颌，再经过网格化和曲面化，形成一个部位的曲面三维模型，也就是电子牙模，成为牙科CAD编辑的基础。其图像传感器一般采用CCD面阵图像传感器；照明器件采用单色激光管、单色LED或组合LED，发出单色光或彩色光；结构光发生器采用LCoS；一般采用可换的、可消毒的取像嘴，其中包括一个内加热的反射镜。

欧洲专利WO2010145669针对不同颜色(一般是蓝、绿和红)的照明拍摄若干顺序的图像，组合在一起以形成合成彩色图像。该方法需要改变光源颜色的装置，如颜色过滤器。此外，在手持使用中，扫描器将在照明序列变换的时间内相对于被扫描物体发生移动，降低了合成彩色图像的精度。

美国专利US7698068和US8102538也描述了一种口内扫描器，其用一个或多个图像传感器记录几何形状数据和表面纹理数据。然而，在颜色和几何形状记录之间分别有微小延迟。US7698068需要不同颜色的顺序照明以形成合成图像，而US8102538提到白光作为照明，但是白光来自第二照明源或颜色由第二图像传感器记录，第一组用于记录几何形状。

欧洲专利WO2012083967公开了一种扫描器，其用两个独立的照相机记录几何形状数据和纹理数据。第一照相机基于多个图像的聚焦扫描具有较浅的景深，第二照相机从单个图像提供颜色纹理信息具有较大景深。

上述扫描装置对模型的颜色或采用单色显示，或采用伪彩色显示，照片和模型的保真度不好，不能产生好的视频引导效果。

发明内容

针对上述问题，本发明的目的是提供一种能够形成逼真曲面模型且保真度好的基于三维扫描装置的三维模型曲面重建方法。

为实现上述目的，本发明采用以下技术方案：一种基于三维扫描装置的三维模型曲面重建方法，包括以下步骤：1）利用三维扫描装置以均匀的拍摄时间间隔拍摄多组位图照片，每一组位图照片包括一帧或多帧顺序排列的、具有照明图案的位图照片，该组中的其中一帧为全色、全照明的位图照片，其余为部分照明的位图照片；2）将拍摄的位图照片传输给计算机；3）一组位图照片到达计算机内存后，计算机对位图照片进行甄别：如果只有一张全照明的位图照片，则将其发送给视频窗口进行显示；如果是多张照片，则将那张全照明的位图照片发送给视频窗口进行显示，其余的部分照明的位图照片传输给GPU，GPU按照光结构算法将其换算成一幅点云，同时建立一个三维局部直角坐标系，三维局部直角坐标系与三维扫描装置中的面阵传感器中像素的平面直角坐标系满足如下的对应关系：三维局部直角坐标系的X1轴和Y1轴与平面直角坐标系的X2轴和Y2轴分别平行，三维局部直角坐标系的Z1轴通过平面直角坐标系的坐标系原点并指向面阵传感器；4）计算得到点云后，利用该组照片中的那张全照明的位图照片对这幅点云进行坐标对应上色处理，将上色处理后的点云放在三维环境中；5）将第一幅点云读入三维环境中，即将其三维局部直角坐标系与世界坐标系重合；然后依次将后续点云读入三维环境中，即将后续点云的三维局部直角坐标系与前一点云的三维局部直角坐标系重合且各坐标点进行转动和平移处理，同时利用计算机中的CPU或GPU对后续点云与前一点云在世界坐标系中进行拼接，并计算出每一个点云的三维局部直角坐标系在世界坐标系中的位置；最后得到整个扫描部位的点云群；6）将整个扫描部位的点云群进行精确配准，形成一个完整的、每个点包含有颜色信息的部位点云，再进行网格化及平滑处理，得到一个完整的部位的三维曲面。7）对三维曲面进行颜色渲染。

所述步骤1）中，每一组位图照片的第一帧照片为全照明照片。

所述步骤1）中，在一个拍摄时间间隔中只拍摄一组位图照片；当到达拍摄时间间隔起点时刻时，如果有结构光拍摄指令存在，就开始拍摄完整的一组位图照片，即逐一拍摄其中的每一帧，如果没有结构光拍摄指令存在，则只拍摄一帧全照明照片。

所述步骤4）中，利用全照明的位图照片对点云进行坐标对应上色的过程如下：点云中的一个点经过线性计算，可得到其在面阵图像传感器的平面直角坐标系中的对应像素，用像素的颜色或以像素为中心的多边形或圆形区域的颜色平均值作为点的颜色值。

所述步骤7）中，对三维曲面进行颜色渲染的过程如下：内表面渲染成一种颜色，外表面按照如下的三维渲染方法进行渲染：沿部位点云中的一个点，做所生成曲面的法线，如果法线与曲面有交点，则渲染该点，即在以法线与曲面交点为中心的一小片多边形或圆形的区域中，渲染该点的颜色；如没有交点，则将该点废弃；如此处理该曲面所对应的部位点云中的每个点，还可以进行各点颜色的过渡处理，完成该曲面的渲染，形成逼真的曲面模型。

本发明由于采取以上技术方案，其具有以下优点：本发明能够精确、快速地实现被扫描部位的三维曲面模型的重建，并且具有较高的保真度。

附图说明

图1是本发明拍摄时间间隔的分配示意图；

图2是本发明三维局部坐标系定义及点云上色示意图；

图3是本发明曲面渲染示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明提出了一种基于三维扫描装置的三维模型曲面重建方法，包括以下步骤：

1）如图1所示，利用三维扫描装置以均匀的拍摄时间间隔101拍摄多组位图照片104，例如可以每秒钟分成30个拍摄时间间隔，每一组位图照片104包括一帧或多帧特定顺序的、特定照明图案的位图照片，该组中的其中一帧为全色、全照明的位图照片，其余为部分照明的位图照片，最佳实施例是让第一帧照片为全照明照片。

具体地，一组位图照片104的拍摄总时间103远小于拍摄间时间间隔101，在一个拍摄时间间隔101中只拍摄一组位图照片。当到达拍摄时间间隔起点时刻时，如果有结构光拍摄指令102存在，就开始拍摄完整的一组位图照片，即逐一拍摄其中的每一帧，如果没有结构光拍摄指令102存在，则只拍摄一帧全照明照片。

2）将拍摄的位图照片传输给计算机。

3）一组位图照片到达计算机后内存后，计算机对位图照片进行甄别：如果只有一张全照明的位图照片，则将其发送给视频窗口进行显示，从而形成一个等间隔的照片流，形成稳定的彩色视频输出；如果是多张照片，则将那张全照明的位图照片发送给视频窗口进行显示，其余的部分照明的位图照片传输给GPU（图形处理器），GPU按照光结构算法将其换算成一幅点云202（如图2所示），同时建立一个三维局部直角坐标系203，三维局部直角坐标系203与三维扫描装置中的面阵传感器201中像素的平面直角坐标系204满足如下的对应关系：三维局部直角坐标系203的X1轴和Y1轴与平面直角坐标系204的X2轴和Y2轴分别平行，三维局部直角坐标系203的Z1轴通过平面直角坐标系204的坐标系原点O2点并指向被拍摄物体的外面及面阵传感器201。

4）计算得到点云后，利用该组照片中的那张全照明的位图照片对这幅点云202进行坐标对应上色处理，即点云202中的一个点207经过线性计算，可得到其在平面直角坐标系204中的对应像素206，用像素206的颜色或以像素206为中心的多边形或圆形区域的颜色平均值作为点207的颜色值，如此可确定点云202中每个点的颜色信息，然后准备放入配准拼接所需的三维环境中。

5）将第一幅点云读入三维环境中，即将其三维局部直角坐标系与世界坐标系重合；将第二幅点云读入三维环境中，是将第二幅点云的局部座标系与第一幅点云的局部座标系重合，各点座标进行转动和平移处理；因第二组位图照片与第一组位图照片会有一定范围的重合，利用计算机中的CPU或GPU对第二幅点云与第一幅点云在世界座标系中进行拼接，从而形成一块较大的点云群，同时计算出第二幅点云的局部坐标系在世界坐标系中的位置；此时在三维显示窗口中，窗口中心轴线与第二幅点云的三维局部直角坐标系203的Z轴重合，Z轴的正方向朝向使用者，方便使用者观察；将第三幅点云读入三维环境中，是将第三幅点云的局部座标系与第二幅点云的局部座标系重合，各点座标进行转动和平移处理；第三组位图照片与第二组位图照片也有一定范围的重合，利用计算机中的CPU或GPU对第三幅点云与第二幅点云进行拼接，从而形成一块更大的点云群，同时计算出第三幅点云的局部坐标系在世界坐标系中的位置，此时在三维显示窗口中，窗口中心轴线与第三幅点云的三维局部直角坐标系的Z轴重合，Z轴的正方向朝向使用者。以此类推，将第四幅点云、第五幅点云等逐一配准拼接，最后得到的点云群就是三维扫描装置所扫描的整个部位的点云群。

6）将整个部位的点云群进行一次精确配准，形成一个完整的、每个点包含有颜色信息的部位点云，再进行优化、网格化、平滑处理，得到一个完整的部位的三维曲面。

7）将三维曲面的内表面渲染成一种颜色，外表面按照如下的三维渲染方法进行渲染（如图3所示）：沿部位点云301中的一个点302，做所生成曲面的法线303，如果法线与曲面有交点304，则渲染该点，即以法线与曲面交点为中心的一小片多边形或圆形的区域305中，渲染该点的颜色；如没有交点，则将该点废弃。上述一小片多边形或圆形的区域305的大小能保证各个点所对应的区域有重合即可。如此处理该曲面所对应的部位点云中的每个点，还可以进行各点颜色的过渡处理，完成该曲面的渲染，形成逼真的曲面模型。

上述各实施例仅用于对本发明的目的、技术方案和有益效果进行了进一步详细说明，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于三维扫描装置的三维模型曲面重建方法，包括以下步骤：

1) 利用三维扫描装置以均匀的拍摄时间间隔拍摄多组位图照片，每一组位图照片包括一帧或多帧顺序排列的、具有照明图案的位图照片，该组中的其中一帧为全色、全照明的位图照片，其余为部分照明的位图照片；

2) 将拍摄的位图照片传输给计算机；

3) 一组位图照片到达计算机的内存后，计算机对位图照片进行甄别：如果只有一张全照明的位图照片，则将其发送给视频窗口进行显示；如果是多张照片，则将那张全照明的位图照片发送给视频窗口进行显示，其余的部分照明的位图照片传输给GPU，GPU按照光结构算法将其换算成一幅点云，同时建立一个三维局部直角坐标系，三维局部直角坐标系与三维扫描装置中的面阵传感器中像素的平面直角坐标系满足如下的对应关系：三维局部直角坐标系的X1轴和Y1轴与平面直角坐标系的X2轴和Y2轴分别平行，三维局部直角坐标系的Z1轴通过平面直角坐标系的坐标系原点并指向面阵传感器；

4) 计算得到点云后，利用该组照片中的那张全照明的位图照片对这幅点云进行坐标对应上色处理，然后准备放入配准拼接所需的三维环境中；

5) 将第一幅点云读入三维环境中，即将其三维局部直角坐标系与世界坐标系重合；然后依次将后续点云读入三维环境中，即将后续点云的三维局部直角坐标系与前一点云的三维局部直角坐标系重合且各坐标点进行转动和平移处理，同时利用计算机中的CPU或GPU对后续点云与前一点云在世界坐标系中进行拼接，并计算出每一个点云的三维局部直角坐标系在世界坐标系中的位置；最后得到整个扫描部位的点云群；

6) 将整个扫描部位的点云群进行精确配准，形成一个完整的、每个点包含有颜色信息的部位点云，再进行网格化及平滑处理，得到一个完整的部位的三维曲面；

7) 对三维曲面进行颜色渲染。

2.如权利要求1所述的一种基于三维扫描装置的三维模型曲面重建方法，其特征在于：所述步骤1）中，每一组位图照片的第一帧照片为全照明照片。

3.如权利要求1所述的一种基于三维扫描装置的三维模型曲面重建方法，其特征在于：所述步骤1）中，在一个拍摄时间间隔中只拍摄一组位图照片；当到达拍摄时间间隔起点时刻时，如果有结构光拍摄指令存在，就开始拍摄完整的一组位图照片，即逐一拍摄其中的每一帧，如果没有结构光拍摄指令存在，则只拍摄一帧全照明照片。

4.如权利要求1所述的一种基于三维扫描装置的三维模型曲面重建方法，其特征在于：所述步骤4）中，利用全照明的位图照片对点云进行坐标对应上色的过程如下：点云中的一个点经过线性计算，可得到其在平面直角坐标系中的对应像素，用像素的颜色或以像素为中心的多边形或圆形区域的颜色平均值作为点的颜色值。

5.如权利要求1所述的一种基于三维扫描装置的三维模型曲面重建方法，其特征在于：所述步骤7）中，对三维曲面进行颜色渲染的过程如下：内表面渲染成一种颜色，外表面按照如下的三维渲染方法进行渲染：沿部位点云中的一个点，做所生成曲面的法线，如果法线与曲面有交点，则渲染该点，即在以法线与曲面交点为中心的一小片多边形或圆形的区域中，渲染该点的颜色；如没有交点，则将该点废弃；如此处理该曲面所对应的部位点云中的每个点，还可以进行各点颜色的过渡处理，完成该曲面的渲染，形成逼真的曲面模型。

Images