CN106910238A - 基于大倾角近景影像的彩色纹理重建方法 - Google Patents

Abstract

本发明提供一种基于大倾角近景影像的彩色纹理重建方法，其包括，步骤一，获得待重建的目标物点云数据，选取四个控制点并获得所述控制点的三维点云坐标；步骤二，在所述影响照片的像空间坐标系中获得所述像点的像空间坐标；步骤三，利用所述控制点的距离值D_i除以所述像点的距离值d_i的平均值作为比例尺因子m，并计算所述像素中心的外方位线元素X_s、Y_s和Y_s值；步骤四，利获得表示将三维点云坐标系和像空间坐标系对应关系的旋转矩阵R和平移向量；步骤五，确定每个所述点云数据的颜色信息；完成所述目标物的彩色纹理重建。本方法的基于多余控制点的三角锥结合传统后方交会的方法适用于任何倾角近景影像纹理贴图，精度高于传统后方交会解法，迭代次数较少。

Description

基于大倾角近景影像的彩色纹理重建方法

技术领域

本发明属于纹理重建领域，特别涉及一种基于大倾角近景影像的彩色纹理重建方法。

背景技术

纹理映射技术是一种从二维影像中提取正确的色彩信息赋予点云或者三角网模型的技术，在数字城市建模、古建筑遗产保护以及人脸识别等行业中得到了广泛引用，而如何将二维纹理信息准确地映射到三维模型表面一直以来是一个挑战性的问题。

CCD数码相机所获取的近景影像只有二维的像素坐标信息，而陆地激光扫描(STL)获取的三角网(点云)是三维坐标信息。纹理贴图需要通过三维坐标反算影像上的像素坐标并提取对应的像素值赋予点云或者三角网1。那么如何确定二维坐标和三维坐标之间的转换关系就成为纹理贴图的关键性问题(Samuel R.，2001)。

相片在像空间辅助坐标系下的坐标和点云在物方坐标系(世界坐标系)下的坐标之间的转换关系可以用一个旋转矩阵和三个平移量表示，旋转矩阵可以用三个旋转角度确定。这三个平移量和三个旋转角度称为外方位元素。纹理贴图的关键就在于如何精确地测定外方位元素。在古建筑遗产保护中，近景影像和航空影像有着本质的不同，通常拍摄倾角较大，物体表面信息比较复杂，这就使得外方位元素不能用传统后方交会方法确定(杨立君，等，2012)。

王秀鸽等，Otero J等(王秀鸽，等，1998；Otero J，et al，2015)提出了直接线性变换(DLT)解法，能克服近景摄影测量带来的大角度问题，但解算的内外方位元素精度不高，结果极容易受控制点影响，且选取控制点数量过多(6个以上)。

Hartley和Pateraki MN等均提到一种直接相机变换的方法，通过奇异值分解求解12个非线性变换参数，由此确定两套坐标之间的转换关系(Hartley，et al，2003；PaterakiM N，et al，2001)。该方法可以克服近景影像大倾角问题，但为了使得参数更加精确必须选取6个以上控制点。

Al-Manasir K，Fraser C S和Cabrelles M等提出在建筑物周围架设多个摄站，通过具有一定重叠度的影像获取准确的外方位元素初值(A1-Manasir K，2006；Cabrelles M，et al，2009)，这种方法不适用于仅有单张大倾角影像的情况。

Habib等使用一种利用改进的Hough变换以及共线方程确定单张航空影像外方位元素的方法(Habib，et al，2001)，但并没有证明该方法同样适用于大倾角影像。

姚吉利将罗德里格矩阵引入三维坐标转换中，推导了任意倾角的七参数模型计算公式(姚吉利，2006)，但该方法将比例因子当作固定值求解，忽略了大倾角近景摄影测量中每一点的比例因子各不相同的情况。

Chen等首先用DLT解法获取航空影像外方位元素初值，然后再用单像空间后方交会和多像空间后方交会确定外方位元素的精确解(Chen et al，2010)，但是没有证明该方法适用于大倾角近景影像。

Liu Y等利用DLT解法制作基于多张影像获取人体模型的点云，证明了DLT解法适用于近景影像(Liu Y，et al，2010)，但是该方法采用控制点数过多(33个)，当控制点数减少的时候，所求外方位元素精度不高且稳定性不强，受控制点分布影响较大。

Werner等提出，首先检测二维影像和三维模型中的线特征，然后通过对这些线特征进行匹配完成单张近景影像纹理映射(Werner，et al，2002)，但当近景影像无法提取到众多的线特征(如壁画，不规则的房顶等)时，这种方法将不再适用。

官云兰等提出一种有多余控制点的角锥体影像外方位元素初值确定方法，文章中没有说明该方法仍然适用于大倾角近景影像的纹理贴图(官云兰，等，2007)。通过该方法所获取的旋转矩阵R并非正交阵，因此无法获取准确的外方位角元素。

因此，如何在基于大倾角近景影像的前提下，快速完成彩色纹理重建是我们亟待解决的技术问题。

发明内容

本发明的一个目的是解决至少上述问题或缺陷，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种基于大倾角近景影像的彩色纹理重建方法，本方法在已知拍摄焦距f和像素比例因子(mm/像素)的情况下可以求得外方位元素的精确值和每一个控制点的比例尺m。这种方法适用于任何倾角近景影像的纹理映射，计算过程中没有出现迭代不收敛的情况，不需要人为给定内外方位元素初值，所需选取控制点较少(4个)，收敛性以及精度高于传统后方交会方法。用该方法进行纹理可视化的效果较好。

为了实现根据本发明的这些目的和其它优点，提供一种基于大倾角近景影像的彩色纹理重建方法，包括

步骤一，获得待重建的目标物点云数据，并在所述点云数据中选取四个控制点并获得所述控制点的三维点云坐标(X_i，Y_i，Z_i)；计算每两个所述控制点的距离值D_i

步骤二，以一摄影中心S拍摄所述目标物的影像照片，在所述影像照片上确定与四个所述控制点相对应的四个像点；在所述影响照片的像空间坐标系中获得所述像点的像空间坐标(x，y，-f)；计算每两个所述像点的距离值d_i

步骤三，利用所述控制点的距离值D_i除以所述像点的距离值d_i的平均值作为比例尺因子m，并按照下述公式计算所述像素中心的外方位线元素X_S、Y_S和Y_S值；

步骤四，利用所述像素中心的外方位线元素X_S、Y_S和Y_S值获得表示将三维点云坐标系和像空间坐标系对应关系的旋转矩阵R和平移向量；

步骤五，根据所述旋转矩阵R和所述平移向量，将所有点云数据与所述影像照片上的像点建立对应关系，确定每个所述点云数据的颜色信息；将所述彩色信息按照一一对应关系赋予所述目标物的点云数据，完成所述目标物的彩色纹理重建。

优选的是，所述的基于大倾角近景影像的彩色纹理重建方法中，所述比例尺因子m的计算公式为：

其中，D_i为每两个所述控制点的距离值；d_i为每两个所述像点的距离值；n＝6。

优选的是，所述的基于大倾角近景影像的彩色纹理重建方法中，所述步骤四中获得所述旋转矩阵的具体过程为：

4.1利用四个所述控制点的三维点云坐标(X_i，Y_i，Z_i)和所述像素中心的外方位线元素X_S、Y_S和Y_S值计算所述像素中心与每个所述控制点之间的距离值S_i；其中，所述距离值S_i的计算公式为：

4.2根据每个所述像素中心与每个所述控制点之间的距离值S_i，按照直接解法获得所述影像照片在所述物方坐标系中的空间坐标(ω，κ)，

4.3利用所述空间坐标(ω，κ)，获得旋转矩阵的外方角元素的初始值；

4.4将每个所述像素中心与每个所述控制点之间的距离值S_i和所述初始值带入下述公式中，获得所述旋转矩阵R；

优选的是，所述的基于大倾角近景影像的彩色纹理重建方法中，所述步骤四中按照下述公式获得所述平移向量；

优选的是，所述的基于大倾角近景影像的彩色纹理重建方法中，所述步骤二中包括将把每一个以左上角为原点的相片控制点坐标转化到以相片中心为原点的坐标，其转化公式为：

本发明的有益效果如下：在已知拍摄焦距f和像素比例因子的情况下可以求得外方位元素的精确值和每一个控制点的比例尺m。这种方法适用于任何倾角近景影像的纹理映射，计算过程中没有出现迭代不收敛的情况，不需要人为给定内外方位元素初值，所需选取控制点较少(4个)，收敛性以及精度高于传统后方交会方法。用该方法进行纹理可视化的效果较好。

具体实施方式

下面对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明公开了一种基于大倾角近景影像的彩色纹理重建方法，该方法至少包括：

步骤一，获得待重建的目标物点云数据，并在所述点云数据中选取四个控制点并获得所述控制点的三维点云坐标(X_i，Y_i，Z_i)；计算每两个所述控制点的距离值D_i

步骤二，以一摄影中心S拍摄所述目标物的影像照片，在所述影像照片上确定与四个所述控制点相对应的四个像点；在所述影响照片的像空间坐标系中获得所述像点的像空间坐标(x，y，-f)；计算每两个所述像点的距离值d_i

S为摄影中心，A、B、C、D分别为物方点坐标，在近景摄影测量大多数情况下，这几个像点坐标分布不在同一个平面上。a、b、c、d为像空间平面上的像点坐标。一般取相片左上角为(0，0)，相片右下角为(width，height)，则每一个像点坐标可以表示为(oldX，oldY)。

当已知CCD数字照相机的拍摄时刻焦距f以及像素比例因子Xpixel(mm/像素)、Ypicxel(mm/像素)的时候，利用式把每一个以左上角为原点的相片控制点坐标转化到以相片中心为原点的坐标。求得每一个像点在像空间坐标系下的坐标(内定向)：

物方任意两个摄影中心可以构成一个三角形，以ΔABS为例，可以根据余弦定理列出如下方程：

将其线性化得到：

对应的误差方程为

其中：

需要知道摄影中心到物方控制点的初始距离以及两个物方控制点和摄影中心形成的角度cos∠ASB。其中和可以通过如下方法求得

其中，为摄影中心到像点的距离。

步骤三，利用所述控制点的距离值D_i除以所述像点的距离值d_i的平均值作为比例尺因子m，并按照下述公式计算所述像素中心的外方位线元素X_S、Y_S和Y_S值；

其中，D_i为两个物方控制点之间的距离，d_i为对应的两个像点坐标的距离，n为所使用的距离的个数，n＝6。

步骤四，利用所述像素中心的外方位线元素X_S、Y_S和Y_S值获得表示将三维点云坐标系和像空间坐标系对应关系的旋转矩阵R和平移向量；

4.1利用四个所述控制点的三维点云坐标(X_i，Y_i，Z_i)和所述像素中心的外方位线元素X_S、Y_S和Y_S值计算所述像素中心与每个所述控制点之间的距离值S_i；其中，所述距离值S_i的计算公式为：

假设控制点坐标没有误差，那么将式(5-14)用泰勒级数线性化展开为

其中

则可以根据式列出误差方程为

当有n个地面控制点时，就可以列出几个形如公式的误差方程，写成矩阵的形式为

V_n×1＝B_n×3X_3×1-L_n×1

其中

X＝(B^TB)^-1(B^TL)

同样地，由于泰勒级数展开的时候略去了高次项，因此求出改正数之后加到所给定的外方位线元素初值上并再次利用式列出误差方程迭代求解外方位线元素的精确解。

对于外方位线元素的初值可以用式求得

其中，m为比例尺因子，由式已经求解出来了，至此，完成了外方位元素的初值的求解。

根据间接平差理论，可以求得的外方位元素精度：

单位权中误差为：

外方位线元素中误差为

4.2根据每个所述像素中心与每个所述控制点之间的距离值S_i，按照直接解法获得所述影像照片在所述物方坐标系中的空间坐标(ω，κ)；

4.3利用所述空间坐标(ω，κ)，获得旋转矩阵的外方角元素的初始值；

4.4将每个所述像素中心与每个所述控制点之间的距离值S_i和所述初始值带入下述公式中，获得所述旋转矩阵R；

在解算了摄影中心S物方坐标系下的精确坐标(X_S，Y_S，Z_S)和摄影中心S到每个物方点的距离Si之后，就可以借助已知点，按照直接解法解算每张相片在物方坐标系下的方位(ω，κ)，即确定光束的方位矩阵：

若物方点A的构像为a，则有

等式两边同时除以S_a可得

如果把a_i、b_i、c_i(i＝1，2，3，4)近似地看作独立的未知数，则物方有三个以上的控制点就可以解求它们，例如针对于本书的四个控制点的情况，则解算a₁、b₁、c₁的n个误差方程为：

写成矩阵形式为：

V＝AX-L

其中X＝(a₁ b₁ c₁)^T＝(A^TA)^-1A^TL

随后就可以通过旋转矩阵R求得外方角元素的初始值：

步骤五，根据所述旋转矩阵R和所述平移向量，将所有点云数据与所述影像照片上的像点建立对应关系，确定每个所述点云数据的颜色信息；将所述彩色信息按照一一对应关系赋予所述目标物的点云数据，完成所述目标物的彩色纹理重建。

尽管本发明的实施例已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (5)

1.基于大倾角近景影像的彩色纹理重建方法，其特征在于，包括：

步骤一，获得待重建的目标物点云数据，并在所述点云数据中选取四个控制点并获得所述控制点的三维点云坐标(X_i，Y_i，Z_i)；计算每两个所述控制点的距离值D_i

步骤二，以一摄影中心S拍摄所述目标物的影像照片，在所述影像照片上确定与四个所述控制点相对应的四个像点；在所述影响照片的像空间坐标系中获得所述像点的像空间坐标(x，y，-f)；计算每两个所述像点的距离值d_i

步骤三，利用所述控制点的距离值D_i除以所述像点的距离值d_i的平均值作为比例尺因子m，并按照下述公式计算所述像素中心的外方位线元素X_s、Y_s和Y_s值；

$\left\{\begin{array}{c}{X}_S=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{X}_i\\ Y_S=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{Y}_i\\ Z_S=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{Z}_i+mf\end{array}\right.$

步骤四，利用所述像素中心的外方位线元素X_s、Y_s和Y_s值获得表示将三维点云坐标系和像空间坐标系对应关系的旋转矩阵R和平移向量；

步骤五，根据所述旋转矩阵R和所述平移向量，将所有点云数据与所述影像照片上的像点建立对应关系，确定每个所述点云数据的颜色信息；将所述彩色信息按照一一对应关系赋予所述目标物的点云数据，完成所述目标物的彩色纹理重建。

2.如权利要求1所述的基于大倾角近景影像的彩色纹理重建方法，其特征在于，所述比例尺因子m的计算公式为：

$m=\frac{{\Σ}_{i=1}^n\left(\frac{D_i}{d_i}\right)}{n}$

其中，D_i为每两个所述控制点的距离值；d_i为每两个所述像点的距离值；n＝6。

3.如权利要求2所述的基于大倾角近景影像的彩色纹理重建方法，其特征在于，所述步骤四中获得所述旋转矩阵的具体过程为：

4.1利用四个所述控制点的三维点云坐标(X_i，Y_i，Z_i)和所述像素中心的外方位线元素X_s、Y_s和Y_s值计算所述像素中心与每个所述控制点之间的距离值S_i；其中，所述距离值S_i的计算公式为：

$S_i^2={(X_i-X_S)}^2+{(Y_i-Y_S)}^2+{(Z_i-Z_S)}^2;$

4.2根据每个所述像素中心与每个所述控制点之间的距离值S_i，按照直接解法获得所述影像照片在所述物方坐标系中的空间坐标

4.3利用所述空间坐标获得旋转矩阵的外方角元素的初始值；

4.4将每个所述像素中心与每个所述控制点之间的距离值S_i和所述初始值带入下述公式中，获得所述旋转矩阵R；

$\left(\begin{array}{c}X-X_s\\ Y-Y_s\\ Z-Z_s\end{array}\right)=\mathrm{\λ}R\left(\begin{array}{c}x\\ y\\ -f\end{array}\right).$

4.如权利要求3所述的基于大倾角近景影像的彩色纹理重建方法，其特征在于，所述步骤四中按照下述公式获得所述平移向量；

$\left\{\begin{array}{c}{X}_s^0=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{X}_i\\ Y_s^0=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{Y}_i\\ Z_s^0=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{Z}_i+mf\end{array}\right..$

5.如权利要求4所述的基于大倾角近景影像的彩色纹理重建方法，其特征在于，所述步骤二中包括将把每一个以左上角为原点的相片控制点坐标转化到以相片中心为原点的坐标，其转化公式为：

$\left\{\begin{array}{c}X=(oldX-width/2)\×Xpixel\\ Y=(height/2-oldY)\×Ypixel\end{array}\right..$