CN117456075A - 三维模型的纹理影像融合方法、装置、计算机设备及介质 - Google Patents

Abstract

本申请提供了一种三维模型的纹理影像融合方法，根据所述待处理实景三维模型包含的瓦片模型和对应的相邻瓦片模型计算得到的颜色控制点对，以及所述瓦片几何顶点对应的邻接顶点构建的能量方程，计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值；利用所述瓦片几何顶点投影到对应瓦片纹理面上得到的投影后的三角形中所有像素点的重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到的像素点目标颜色值，结合所述瓦片模型中的初始瓦片纹理影像得到目标瓦片纹理影像，由此再得到调整后得到目标实景三维模型。本发明可高效地消除大规模三维模型的瓦片间的局部颜色差异问题，提升实景三维模型的可视化效果。

Description

三维模型的纹理影像融合方法、装置、计算机设备及介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种三维模型的纹理影像融合方法、装置、计算机设备及计算机可读存储介质。

背景技术

相比较于传统二维地图，三维实景模型信息更为丰富，用户感受更为直接，地图从二维向三维的转变也是未来的发展趋势。

基于影像的三维模型重建通常包含两大部分：1)几何模型重建；2)纹理重建。在几何模型重建过程中，通常通过空三、密集匹配等技术，生成场景的三维网格几何模型，通常称为“白模”。“白模”可表示场景的几何信息，但没有纹理信息。因此，为了生成实景三维模型，还需进行纹理重建。在纹理重建过程中，利用影像位姿信息，将纹理影像映射至“白模”上，从而得到带纹理的实景三维模型，这一过程也被称为纹理重建。

由于目标场景通常覆盖范围较大(如整个城市区域)，影像数量众多，受限于计算机计算和存储资源，难以一次性对大规模场景进行三维几何和纹理重建。在实际重建过程中，通常首先将大的场景分为数量众多且覆盖范围较小的“瓦片”区域(如100m100m，该范围可根据实际情况动态调整)，然后对每个“瓦片”区域单独进行几何和纹理重建。

在纹理重建中，由于影像拍摄时间、拍摄角度、拍摄传感器等拍摄条件并不一致，影像间通常存在一定的颜色差异。利用现有全局匀色等方法，可以消除影像间的全局颜色差异，但是影像间不可避免地会残留一定的颜色差异。从而导致三维模型相邻“瓦片”间存在一定的颜色差异，降低了整个场景三维模型的视觉效果。

发明内容

本申请提供了一种三维模型的纹理影像融合方法、装置、计算机设备及计算机可读存储介质，以解决现有三维模型相邻瓦片之间存在颜色差异的技术问题。

第一方面，本申请实施方式提供了一种三维模型的纹理影像融合方法，所述三维模型的纹理影像融合方法包括：

获取待处理实景三维模型，所述待处理实景三维模型包含至少一个瓦片模型，所述瓦片模型包括瓦片几何顶点、瓦片几何面、瓦片纹理顶点、瓦片纹理面及初始瓦片纹理影像；

利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程；

利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值；

将所述瓦片模型中的瓦片几何顶点投影到对应瓦片纹理面上，得到投影后的三角形，获取所述三角形中所有像素点的重心坐标值，并利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值；

利用所述像素点目标颜色值和所述瓦片模型中的初始瓦片纹理影像得到目标瓦片纹理影像；

利用所有所述瓦片模型的目标瓦片纹理影像，调整后得到目标实景三维模型。

进一步地，所述能量方程包括R通道能量方程、G通道能量方程及B通道能量方程，所述利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值，包括：

利用所述R通道能量方程、所述G通道能量方程及所述B通道能量方程分别进行计算得到R通道灰度变化值、G通道灰度变化值及B通道灰度变化值；

利用所述R通道灰度变化值、所述G通道灰度变化值及所述B通道灰度变化值，计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值。

进一步地，所述利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程，包括：

获取所述瓦片模型中的瓦片几何面，基于所述瓦片几何面对应的瓦片几何顶点和所述相邻瓦片模型，计算得到瓦片邻接几何面，并利用所述瓦片几何面和所述瓦片邻接几何面，得到所述瓦片几何面的重叠区域；

获取所述瓦片几何面的重叠区域的点，作为控制点，并利用所述控制点和所述控制点对应的纹理顶点得到控制点颜色值；

利用所述控制点和所述瓦片模型对应的邻接瓦片计算得到投影点，并利用所述投影点和所述投影点对应的纹理顶点得到投影点颜色值；

利用所述控制点和所述控制点对应的投影点组成颜色控制点对；

根据所述颜色控制点对、所述控制点颜色值、所述投影点颜色值得到能量方程数据项；

获取所述瓦片邻接几何面的邻接几何顶点，作为所述瓦片几何顶点的相邻顶点，利用所述瓦片几何顶点的相邻顶点得到能量方程平滑约束项；

基于所述能量方程数据项以及所述能量方程平滑约束项，构建能量方程。

进一步地，所述利用所述控制点和所述瓦片模型对应的邻接瓦片计算得到投影点，并利用所述投影点和所述投影点对应的纹理顶点得到投影点颜色值，包括：

利用所述控制点计算得到控制点法向量，利用所述控制点法向量向所述邻接瓦片延伸预设距离得到一个或多个几何交点，并将一个或多个所述几何交点作为所述投影点；

利用所有所述投影点和所有所述投影点对应的纹理顶点，分别计算各个投影点的初始颜色值，并计算各个所述初始颜色值的平均值，作为所述投影点颜色值。

所述利用所述控制点和所述控制点对应的纹理顶点得到控制点颜色值，包括：

利用所述瓦片几何面，获得每一个所述控制点对应的纹理顶点集，并将所述纹理顶点集的坐标转化成纹理影像坐标；

利用双线性内插法和所述纹理影像坐标，得到所述纹理顶点集的颜色值，并计算所述纹理顶点集的颜色值的平均值，作为所述控制点颜色值。

进一步地，所述瓦片几何面和所述瓦片纹理面一一对应且数量相等。

进一步地，所述利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值，包括：

获取所述三角形的最小包围矩形，并判断所述最小包围矩形中的像素点是否在所述三角形中；

若所述最小包围矩形中的像素点在所述三角形中，则获取所述最小包围矩形中的像素点的二维坐标；

利用所述二维坐标计算得到所述最小包围矩形中的像素点的重心坐标值，并利用所述最小包围矩形中的像素点的重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到所述最小包围矩形中的每个像素点的像素颜色调整值；

根据所述最小包围矩形中的每个像素点的像素颜色调整值，计算得到像素点目标颜色值。

第二方面，本申请还提供了一种三维模型的纹理影像融合装置，其特征在于，所述三维模型的纹理影像融合装置包括：

数据获取模块，用于获取待处理实景三维模型，所述待处理实景三维模型包含至少一个瓦片模型，所述瓦片模型包括瓦片几何顶点、瓦片几何面、瓦片纹理顶点、瓦片纹理面及初始瓦片纹理影像；

方程构建模块，用于利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程；

顶点调整模块，用于利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值；

像素调整模块，用于将所述瓦片模型中的瓦片几何顶点投影到对应瓦片纹理面上，得到投影后的三角形，获取所述三角形中所有像素点的重心坐标值，并利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值；

瓦片纹理模块，用于利用所述像素点目标颜色值和所述瓦片模型中的初始瓦片纹理影像得到目标瓦片纹理影像；

融合计算模块，用于利用所有所述瓦片模型的目标瓦片纹理影像，调整后得到目标实景三维模型。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上所述的三维模型的纹理影像融合方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的三维模型的纹理影像融合方法。

相比于现有技术，本申请提供的一种三维模型的纹理影像融合方法，通过获取待处理实景三维模型，所述待处理实景三维模型包含至少一个瓦片模型，所述瓦片模型包括瓦片几何顶点、瓦片几何面、瓦片纹理顶点、瓦片纹理面及初始瓦片纹理影像；利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程；利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值；将所述瓦片模型中的瓦片几何顶点投影到对应瓦片纹理面上，得到投影后的三角形，获取所述三角形中所有像素点的重心坐标值，并利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值；利用所述像素点目标颜色值和所述瓦片模型中的初始瓦片纹理影像得到目标瓦片纹理影像；利用所有所述瓦片模型的目标瓦片纹理影像，调整后得到目标实景三维模型。通过上述方式，本发明可高效地消除大规模三维模型“瓦片”间的局部颜色差异问题，提升实景三维模型的可视化效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施方式技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施方式提供的三维模型的纹理影像融合方法流程示意图；

图2为本申请实施方式提供的三维模型的纹理影像融合模型的示意性框图；

图3为本申请实施方式提供的一种计算机设备的结构示意性框图。

具体实施方式

下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

应当理解，为了便于清楚描述本申请实施方式的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在纹理重建中，由于影像拍摄时间、拍摄角度、拍摄传感器等拍摄条件并不一致，影像间通常存在一定的颜色差异。利用现有全局匀色等方法，可以消除影像间的全局颜色差异，但是影像间不可避免地会残留一定的颜色差异。从而导致三维模型相邻“瓦片”间存在一定的颜色差异，影响整个场景三维模型的视觉效果。然而，由于每个“瓦片”均独立地进行几何重建，在相邻“瓦片”重叠区域内，几何网格模型并不一致，难以直接获得颜色对应点，加剧了“瓦片”间颜色差异消除的难度。此外，在实际大规模场景中，“瓦片”数量众多，计算量大，如何在保证结果最优的同时，解绑“瓦片”纹理间颜色的关联性，使得每个“瓦片”可独立处理，也是一个难点问题。

为了解决上述问题，本申请提供了一种三维模型的纹理影像融合方法，可消除大规模“瓦片”间的颜色差异，避免“瓦片”间颜色拼接缝的出现，并高效地消除大规模三维模型“瓦片”间的局部颜色差异问题，提升实景三维模型的可视化效果。

参阅图1，图1为本申请实施方式提供的三维模型的纹理影像融合方法流程示意图，包括步骤S101-S106。

步骤S101、获取待处理实景三维模型，所述待处理实景三维模型包含至少一个瓦片模型，所述瓦片模型包括瓦片几何顶点、瓦片几何面、瓦片纹理顶点、瓦片纹理面及初始瓦片纹理影像。

本实施例中，所述瓦片几何面和所述瓦片纹理面一一对应且数量相等。该“所述瓦片模型W_i主要包括：1)瓦片几何顶点2)瓦片纹理顶点 3)瓦片几何面4)瓦片纹理面组成。v_k＝(x_k,y_k,z_k)为顶点在三维空间中的几何坐标，K1为W_i中顶点的个数。t_k＝(u_k,v_k)为顶点在对应纹理影像中的UV坐标，用于记录面对应的纹理信息，K2为纹理顶点的个数。在实际情况中，K2≥K1。为一个三角面，代表面三个顶点在v中的编号，M为三角面的个数。 为纹理空间中的三角面，代表纹理面三个顶点在中的编号。其中，和中包含的面个数一致，且一一对应，也即一个几何空间中的几何三角面对应着一个纹理空间中的纹理三角面。由于大规模场景中“瓦片”个数庞大，难以一次性处理所有“瓦片”，因此逐个对“瓦片”进行处理。

步骤S102、利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程；

本实施例中，对瓦片模型W_i中的每一个几何三角面找到其一一对应的纹理三角面根据该瓦片几何顶点的纹理坐标将三角面投影至二维纹理影像空间中，用T_m表达投影后的二维三角形，用(ΔC_m1,ΔC_m2,ΔC_m3）表达三角形三个顶点对应的颜色修改值。

可以理解的是，本实施例中需要预先进行“瓦片”邻接关系构建。为所有的“瓦片”实景三维模型构建邻接关系，便于后续的纹理影像融合。假设“瓦片”模型个数为N，所有的“瓦片”模型记为由于实景三维模型有地理坐标，同时“瓦片”也是按照格网进行划分的，基于上述信息可直接构建“瓦片”间的邻接关系。对于每一个“瓦片”W_i，令N（W_i）表示其所有的邻接“瓦片”。如果W_j∈N（W_i)，则代表W_j是W_i的一个邻接“瓦片”。

进一步地，步骤S102包括：

利用所述R通道能量方程、所述G通道能量方程及所述B通道能量方程分别进行计算得到R通道灰度变化值、G通道灰度变化值及B通道灰度变化值；

利用所述R通道灰度变化值、所述G通道灰度变化值及所述B通道灰度变化值，计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值。

本实施例中，对于每个顶点v_k，其对应的颜色调整值为ΔC_k＝(Δr_k,Δg_k,Δb_k)。其中Δr_k，Δg_k和Δb_k分别为RGB三个通道的灰度变化值。值得注意的是，在本实施例中，将逐个通道列能量方程，求解每个顶点在每个通道的灰度变化值。为不失一般性和避免累赘，在本实施例中，以R通道为例，进行能量方程的构建说明，能量方程定义如下：

其中，为数据项，为平滑项。定义如下：

其中，||·||²表示L2范数。(r'_b-r_b)表示获取的颜色控制点对间的颜色差异。在本发明中，希望控制点最终颜色调整值为颜色差异的一半，另外一半颜色差异在相邻“瓦片”调整时消除。

其中，平滑项定义如下：

其中为v_k的所有邻接顶点，v_m为其中的一个邻接顶点。该方程约束相邻顶点间的颜色调整值保持一致，尽量避免颜色调整值的剧变，从而避免“鬼影”的出现。

利用该R通道灰度变化值、该G通道灰度变化值及该B通道灰度变化值，计算得到所述三角形顶点的颜色调整值ΔC_k＝(Δr_k,Δg_k,Δb_k)。其中Δr_k，Δg_k和Δb_k分别为RGB三个通道的灰度变化值。

进一步地，所述利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程，包括：

获取所述瓦片模型中的瓦片几何面，基于所述瓦片几何面对应的瓦片几何顶点和所述相邻瓦片模型，计算得到瓦片邻接几何面，并利用所述瓦片几何面和所述瓦片邻接几何面，得到所述瓦片几何面的重叠区域；

获取所述瓦片几何面的重叠区域的点，作为控制点，并利用所述控制点和所述控制点对应的纹理顶点得到控制点颜色值；

利用所述控制点和所述瓦片模型对应的邻接瓦片计算得到投影点，并利用所述投影点和所述投影点对应的纹理顶点得到投影点颜色值；

利用所述控制点和所述控制点对应的投影点组成颜色控制点对；

根据所述颜色控制点对、所述控制点颜色值、所述投影点颜色值得到能量方程数据项；

获取所述瓦片邻接几何面的邻接几何顶点，作为所述瓦片几何顶点的相邻顶点，利用所述瓦片几何顶点的相邻顶点得到能量方程平滑约束项；

基于所述能量方程数据项以及所述能量方程平滑约束项，构建能量方程。本实施例中，假设当前瓦片模型为W_i，为了消除W_i和周边所有“瓦片”间的颜色差异，需要获取颜色控制点，从而约束纹理影像间的融合过程。由于每个“瓦片”均是独立进行几何重建的，虽然相邻“瓦片”具有一定的重叠区域，但其重叠区域并不一致，颜色控制点并不能直接获取。

步骤2.1，获取W_i中的控制点。控制点可以是重叠区域中的任一点，既包括边缘边上的点，也包括非边缘边上的点。对于W_i中的任一几何面假设其构成的三个顶点为(v₁,v₂,v₃)。一个面由三条边组成，分别为e_1,2＝(v₁,v₂)，e_2,1＝(v₂,v₃)和e_3,1＝(v₃,v₁)。对于W_i中的任一边e_k1,k2，计算其邻接的几何面。令N(e_k1,k2)为边e_k1,k2邻接的几何面的个数。如果N(e_k1,k2)≥2，则该边为内部边；如果N(e_k1,k2)＝1，则该边为边缘边。边缘边对应的两个顶点v_k1和v_k2则为边缘点。在本实施例中，将边缘点作为W_i中的控制点，用进行表达。

步骤2.2，获取W_i中控制点对应的颜色值。对于每一个控制点v_b，通过几何面和纹理面的一一对应关系，获得v_b对应的纹理顶点集由于的个数可能大于1，对于这种情况，求取所有纹理顶点平均颜色值作为顶点v_b对应的颜色值。通过步骤2.2，则可以获得每个控制点在当前“瓦片”W_i上对应的颜色值，记为(r_b,g_b,b_b)。

步骤2.3，获取控制点在邻接“瓦片”W_j上的投影点。假设当前邻接“瓦片”为对于每个控制点v_b，直接沿其法向量的方向和反方向延伸同样的距离d。由于W_i和W_j重叠区域差别较少，所以延伸的距离可设置为较小的值，d＝0.5。然后，计算延伸的直线和W_j中几何面的交点，也即投影点，记为v'_b，同时获得该投影点所在的几何平面通过该步骤，对W_i中的每个控制点，可以获得其在W_j中的对应点。

步骤2.4，获取控制点在“瓦片”W_j上投影点的颜色值。

根据投影点的纹理坐标t'_b，可以采用和步骤2.2中同样的方式，获取投影点在邻接“瓦片”W_j上的颜色值。

步骤2.5，对中的每一个W_i的邻接“瓦片”，都执行步骤2.3到步骤2.4。对每个控制点则可获取其在邻接“瓦片”上对应的颜色值。在实际情况中，某些控制点v_b可以投影至多个邻接“瓦片”上，则会对应着多个投影点和多个颜色值。直接对多个颜色值求平均，作为v_b对应的投影点最终颜色值。记每个v_b对应的投影点的颜色值为(r'_b,g'_b,b'_b)。

获取了“瓦片”W_i中所有的颜色控制点。为了调整“瓦片”W_i的纹理值，需要计算每个顶点的颜色调整值。在本实施例中，将在颜色控制点的约束下，同时考虑顶点间颜色变化的平滑性，构建能量方程(即能量函数)，求解每个顶点颜色的最优变化值。

具体地，能量函数主要分为两部分：1)数据项，主要为消除控制点的颜色差异，保证“瓦片”边缘处不存在颜色差异，从而尽量消除颜色拼接缝；2)平滑性，主要用于保证相邻的顶点颜色调整值平滑变化，从而避免“鬼影”等现象的出现，保证调整后“瓦片”模型视觉效果和谐。在整个能量方程中，未知数为W_i中所有顶点的颜色变化值对于每个顶点v_k，其对应的颜色调整值为ΔC_k＝(Δr_k,Δg_k,Δb_k)。其中Δr_k，Δg_k和Δb_k分别为RGB三个通道的灰度变化值。值得注意的是，在本发明中，将逐个通道列能量方程，求解每个顶点在每个通道的灰度变化值。

该能量函数为凸函数，可以转换为线性方程，可直接采用最小二乘进行求解，优化求解每个顶点的颜色变化量。

进一步地，所述利用所述控制点和所述瓦片模型对应的邻接瓦片计算得到投影点，并利用所述投影点和所述投影点对应的纹理顶点得到投影点颜色值，包括：

利用所述控制点计算得到控制点法向量，利用所述控制点法向量向所述邻接瓦片延伸预设距离得到一个或多个几何交点，并将一个或多个所述几何交点作为所述投影点；

利用所有所述投影点和所有所述投影点对应的纹理顶点，分别计算各个投影点的初始颜色值，并计算各个所述初始颜色值的平均值，作为所述投影点颜色值。

本实施例中，首先进行“瓦片”属性计算。假设当前“瓦片”模型为W_i，为进行后续颜色拼接缝消除，需要计算“瓦片”中每个几何顶点的法向量，获取每个顶点的邻接顶点。

步骤1)，计算几何面的法向量。为计算顶点的法向量，首先需要计算每个面的法向量。对于“瓦片”W_i中的每个几何面根据编号可获取其对应的三个几何顶点，用(v_m1,v_m2,v_m3)表示。计算两个向量如下： 则的法向量计算如下：其中代表向量间叉乘，norm(·)表示归一化操作。

步骤2)，计算几何顶点的法向量。对每一个几何顶点v_k，找到所有包含该顶点的平面假设为其中的一个平面，则v_k法向量计算公式如下：

其中w_m为加权权重。在面中，其包含三个顶点，为不失一般性，假设v_k为中的第一个顶点。则w_m本质为v_k对应面的两条边的夹角大小。

步骤3)，构建几何顶点间邻接关系。对每一个几何顶点v_k及所有包含该顶点的平面v_k的邻接顶点则为中所有的其它顶点。根据上述原则，可为每个顶点v_k找到其所有相邻的顶点，记为获取控制点在邻接“瓦片”W_j上的投影点。假设当前邻接“瓦片”为对于每个控制点v_b，直接沿其法向量的方向和反方向延伸同样的距离d。由于W_i和W_j重叠区域差别较少，所以延伸的距离可设置为较小的值，d＝0.5。然后，计算延伸的直线和W_j中几何面的交点，也即投影点，记为v'_b，同时获得该投影点所在的几何平面通过该步骤，对W_i中的每个控制点，可以获得其在W_j中的对应点。

步骤4)，获取控制点在“瓦片”W_j上投影点的颜色值。对控制点v_b，其投影点为v'_b，对应的投影面为在实际情况中，v'_b处于面内部。因此，需要内插v'_b的纹理坐标，从而获取v'_b的颜色值。假设中三个几何顶点分别为(v'_b1,v'_b2,v'_b3)，其对应的三个纹理顶点分别为(t'_b1,t'_b2,t'_b3)。则v'_b对应的纹理顶点坐标t'_b计算公式如下：

t’_b＝w₁t’_b1+w₂t’_b2+w₃t’_b3

其中w₁，w₂和w₃分别为对应的权重，且w₁+w₂+w₃＝1.0。三个权重系数计算方式如下：

其中A(·)表示计算由三个点组成的三角形的面积，如A(v'_b1,v'_b2,v'_b3)代表由(v'_b1,v'_b2,v'_b3)这三个点组成的三角形的面积。三个权重系数w₁，w₂和w₃本质为顶点v'_b在三角形中重心坐标系下的坐标值。

根据计算的纹理坐标t'_b，可以采用和步骤2.2中同样的方式，获取投影点在邻接“瓦片”W_j上的颜色值。

进一步地，所述利用所述控制点和所述控制点对应的纹理顶点得到控制点颜色值，包括：

利用所述瓦片几何面，获得每一个所述控制点对应的纹理顶点集，并将所述纹理顶点集的坐标转化成纹理影像坐标；

利用双线性内插法和所述纹理影像坐标，得到所述纹理顶点集的颜色值，并计算所述纹理顶点集的颜色值的平均值，作为所述控制点颜色值。

本实施例中，对于每一个控制点v_b，通过几何面和纹理面的一一对应关系，可以获得v_b对应的纹理顶点集在实际情况中，纹理顶点集个数假设为v_b对应的一个纹理顶点，t_k＝(u_k,v_k)是已经归一化了纹理坐标，需要将其转换为纹理影像的坐标，转换公式如下：

其中，Cols和Rows为“瓦片”对应的纹理影像的宽和高，和为转换后的纹理影像中的坐标。由于为浮点数坐标，因此需要采用双线性内插获取t_k对应的颜色值，并令(r_k,g_k,b_k)分别为RGB三个通道的灰度值。由于的个数可能大于1，对于这种情况，求取所有纹理顶点平均颜色值作为顶点v_b对应的颜色值。即可获得每个控制点在当前“瓦片”W_i上对应的颜色值，记为(r_b,g_b,b_b)。

步骤S103、利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值；

步骤S104、将所述瓦片模型中的瓦片几何顶点投影到对应瓦片纹理面上，得到投影后的三角形，获取所述三角形中所有像素点的重心坐标值，并利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值；

进一步地，所述利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值，包括：

获取所述三角形的最小包围矩形，并判断所述最小包围矩形中的像素点是否在所述三角形中；

若所述最小包围矩形中的像素点在所述三角形中，则获取所述最小包围矩形中的像素点的二维坐标；

利用所述二维坐标计算得到所述最小包围矩形中的像素点的重心坐标值，并利用所述最小包围矩形中的像素点的重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到所述最小包围矩形中的每个像素点的像素颜色调整值；

根据所述最小包围矩形中的每个像素点的像素颜色调整值，计算得到像素点目标颜色值。

本实施例中，进一步进行纹理影像修改。在上述步骤中，计算了“瓦片”W_i中每一个顶点v_k对应的调整颜色值ΔC_k＝(Δr_k,Δg_k,Δb_k)。然而，顶点是离散的，纹理影像是连续的。因此，还需要计算纹理影像中每一个像素的颜色调整值，从而修改纹理影像。

针对每一个三角形T_m，找到其最小包围矩形。然后，遍历最小包围矩形中的每个像素。用p_x,y表达一个像素，其中(x,y)为像素的二维坐标。如果像素p_x,y在T_m之外，则不处理该像素。如果p_x,y位于T_m之内，则首先计算p_x,y在三角形T_m中的重心坐标。将重心坐标的值作为权重，对(ΔC_m1,ΔC_m2,ΔC_m3)进行加权求和，计算得到p_x,y的颜色调整值ΔC_p。令I(p_x,y)表示p_x,y点原始的颜色值，则调整后颜色值I'(p_x,y)＝I(p_x,y)+ΔC_p。遍历“瓦片”中的每一个三角面，逐步调整每个三角面对应的纹理影像区域，得到调整后的纹理影像，替代原始纹理影像。

步骤S105、利用所述像素点目标颜色值和所述瓦片模型中的初始瓦片纹理影像得到目标瓦片纹理影像；

本实施例中，遍历“瓦片”模型中的每一个三角面，利用每一个三角面中的该目标像素点颜色值逐步调整每个三角面对应的初始瓦片纹理影像，得到调整后的纹理影像，即目标瓦片纹理影像。

步骤S106、利用所有所述瓦片模型的目标瓦片纹理影像，调整后得到目标实景三维模型。

本实施例中，经对所有的“瓦片”实景三维模型修改每个“瓦片”模型对应的纹理影像之后，对所有瓦片模型的目标纹理影像进行调整后，即可得到目标实景三维模型。由于每次仅处理一个“瓦片”，本发明所需计算资源较少，故适用于处理大规模“瓦片”模型。

本实施例提供了一种三维模型的纹理影像融合方法，通过获取待处理实景三维模型，所述待处理实景三维模型包含至少一个瓦片模型，所述瓦片模型包括瓦片几何顶点、瓦片几何面、瓦片纹理顶点、瓦片纹理面及初始瓦片纹理影像；利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程；利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值；将所述瓦片模型中的瓦片几何顶点投影到对应瓦片纹理面上，得到投影后的三角形，获取所述三角形中所有像素点的重心坐标值，并利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值；利用所述像素点目标颜色值和所述瓦片模型中的初始瓦片纹理影像得到目标瓦片纹理影像；利用所有所述瓦片模型的目标瓦片纹理影像，调整后得到目标实景三维模型。通过上述方式，本发明可高效地消除大规模三维模型“瓦片”间的局部颜色差异问题，提升实景三维模型的可视化效果。

请参阅图2，图2是本申请的实施例提供一种三维模型的纹理影像融合装置的示意性框图。

如图所示，该三维模型的纹理影像融合装置包括：

数据获取模块10，用于获取待处理实景三维模型，所述待处理实景三维模型包含至少一个瓦片模型，所述瓦片模型包括瓦片几何顶点、瓦片几何面、瓦片纹理顶点、瓦片纹理面及初始瓦片纹理影像；

方程构建模块20，用于利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程；

顶点调整模块30，用于利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值；

像素调整模块40，用于将所述瓦片模型中的瓦片几何顶点投影到对应瓦片纹理面上，得到投影后的三角形，获取所述三角形中所有像素点的重心坐标值，并利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值；

瓦片纹理模块50，用于利用所述像素点目标颜色值和所述瓦片模型中的初始瓦片纹理影像得到目标瓦片纹理影像；

融合计算模块60，用于利用所有所述瓦片模型的目标瓦片纹理影像，调整后得到目标实景三维模型。

进一步地，所述能量方程包括R通道能量方程、G通道能量方程及B通道能量方程，所述方程构建模块20包括：

顶点调整单元，用于利用所述R通道能量方程、所述G通道能量方程及所述B通道能量方程分别进行计算得到R通道灰度变化值、G通道灰度变化值及B通道灰度变化值；利用所述R通道灰度变化值、所述G通道灰度变化值及所述B通道灰度变化值，计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值。

方程构建单元，用于获取所述瓦片模型中的瓦片几何面，基于所述瓦片几何面对应的瓦片几何顶点和所述相邻瓦片模型，计算得到瓦片邻接几何面，并利用所述瓦片几何面和所述瓦片邻接几何面，得到所述瓦片几何面的重叠区域；获取所述瓦片几何面的重叠区域的点，作为控制点，并利用所述控制点和所述控制点对应的纹理顶点得到控制点颜色值；利用所述控制点和所述瓦片模型对应的邻接瓦片计算得到投影点，并利用所述投影点和所述投影点对应的纹理顶点得到投影点颜色值；利用所述控制点和所述控制点对应的投影点组成颜色控制点对；根据所述颜色控制点对、所述控制点颜色值、所述投影点颜色值得到能量方程数据项；获取所述瓦片邻接几何面的邻接几何顶点，作为所述瓦片几何顶点的相邻顶点，利用所述瓦片几何顶点的相邻顶点得到能量方程平滑约束项；基于所述能量方程数据项以及所述能量方程平滑约束项，构建能量方程。

投影点调整单元，用于利用所述控制点计算得到控制点法向量，利用所述控制点法向量向所述邻接瓦片延伸预设距离得到一个或多个几何交点，并将一个或多个所述几何交点作为所述投影点；利用所有所述投影点和所有所述投影点对应的纹理顶点，分别计算各个投影点的初始颜色值，并计算各个所述初始颜色值的平均值，作为所述投影点颜色值。

控制点调整单元，用于利用所述瓦片几何面，获得每一个所述控制点对应的纹理顶点集，并将所述纹理顶点集的坐标转化成纹理影像坐标；利用双线性内插法和所述纹理影像坐标，得到所述纹理顶点集的颜色值，并计算所述纹理顶点集的颜色值的平均值，作为所述控制点颜色值。

进一步地，像素调整模块30包括：

像素颜色单元，用于获取所述三角形的最小包围矩形，并判断所述最小包围矩形中的像素点是否在所述三角形中；若所述最小包围矩形中的像素点在所述三角形中，则获取所述最小包围矩形中的像素点的二维坐标；利用所述二维坐标计算得到所述最小包围矩形中的像素点的重心坐标值，并利用所述最小包围矩形中的像素点的重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到所述最小包围矩形中的每个像素点的像素颜色调整值；根据所述最小包围矩形中的每个像素点的像素颜色调整值，计算得到像素点目标颜色值。

请参阅图3，图3是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。

参阅图3，该计算机设备包括通过模型总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作模型和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种三维模型的纹理影像融合方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种三维模型的纹理影像融合方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项三维模型的纹理影像融合方法。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种三维模型的纹理影像融合方法，其特征在于，所述三维模型的纹理影像融合方法包括：

获取待处理实景三维模型，所述待处理实景三维模型包含至少一个瓦片模型，所述瓦片模型包括瓦片几何顶点、瓦片几何面、瓦片纹理顶点、瓦片纹理面及初始瓦片纹理影像；

利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程；

利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值；

将所述瓦片模型中的瓦片几何顶点投影到对应瓦片纹理面上，得到投影后的三角形，获取所述三角形中所有像素点的重心坐标值，并利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值；

利用所述像素点目标颜色值和所述瓦片模型中的初始瓦片纹理影像得到目标瓦片纹理影像；

利用所有所述瓦片模型的目标瓦片纹理影像，调整后得到目标实景三维模型。

2.根据权利要求1所述的三维模型的纹理影像融合方法，其特征在于，所述能量方程包括R通道能量方程、G通道能量方程及B通道能量方程，所述利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值，包括：

利用所述R通道能量方程、所述G通道能量方程及所述B通道能量方程分别进行计算得到R通道灰度变化值、G通道灰度变化值及B通道灰度变化值；

利用所述R通道灰度变化值、所述G通道灰度变化值及所述B通道灰度变化值，计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值。

3.根据权利要求1所述的三维模型的纹理影像融合方法，其特征在于，所述利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程，包括：

获取所述瓦片模型中的瓦片几何面，基于所述瓦片几何面对应的瓦片几何顶点和所述相邻瓦片模型，计算得到瓦片邻接几何面，并利用所述瓦片几何面和所述瓦片邻接几何面，得到所述瓦片几何面的重叠区域；

获取所述瓦片几何面的重叠区域的点，作为控制点，并利用所述控制点和所述控制点对应的纹理顶点得到控制点颜色值；

利用所述控制点和所述瓦片模型对应的邻接瓦片计算得到投影点，并利用所述投影点和所述投影点对应的纹理顶点得到投影点颜色值；

利用所述控制点和所述控制点对应的投影点组成颜色控制点对；

根据所述颜色控制点对、所述控制点颜色值、所述投影点颜色值得到能量方程数据项；

获取所述瓦片邻接几何面的邻接几何顶点，作为所述瓦片几何顶点的相邻顶点，利用所述瓦片几何顶点的相邻顶点得到能量方程平滑约束项；

基于所述能量方程数据项以及所述能量方程平滑约束项，构建能量方程。

4.根据权利要求3所述的三维模型的纹理影像融合方法，其特征在于，所述利用所述控制点和所述瓦片模型对应的邻接瓦片计算得到投影点，并利用所述投影点和所述投影点对应的纹理顶点得到投影点颜色值，包括：

利用所述控制点计算得到控制点法向量，利用所述控制点法向量向所述邻接瓦片延伸预设距离得到一个或多个几何交点，并将一个或多个所述几何交点作为所述投影点；

利用所有所述投影点和所有所述投影点对应的纹理顶点，分别计算各个投影点的初始颜色值，并计算各个所述初始颜色值的平均值，作为所述投影点颜色值。

5.根据权利要求3所述的三维模型的纹理影像融合方法，其特征在于，所述利用所述控制点和所述控制点对应的纹理顶点得到控制点颜色值，包括：

利用所述瓦片几何面，获得每一个所述控制点对应的纹理顶点集，并将所述纹理顶点集的坐标转化成纹理影像坐标；

利用双线性内插法和所述纹理影像坐标，得到所述纹理顶点集的颜色值，并计算所述纹理顶点集的颜色值的平均值，作为所述控制点颜色值。

6.根据权利要求1所述的三维模型的纹理影像融合方法，其特征在于，所述瓦片几何面和所述瓦片纹理面一一对应且数量相等。

7.根据权利要求1所述的三维模型的纹理影像融合方法，其特征在于，所述利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值，包括：

获取所述三角形的最小包围矩形，并判断所述最小包围矩形中的像素点是否在所述三角形中；

若所述最小包围矩形中的像素点在所述三角形中，则获取所述最小包围矩形中的像素点的二维坐标；

利用所述二维坐标计算得到所述最小包围矩形中的像素点的重心坐标值，并利用所述最小包围矩形中的像素点的重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到所述最小包围矩形中的每个像素点的像素颜色调整值；

根据所述最小包围矩形中的每个像素点的像素颜色调整值，计算得到像素点目标颜色值。

8.一种三维模型的纹理影像融合装置，其特征在于，所述三维模型的纹理影像融合装置包括：

数据获取模块，用于获取待处理实景三维模型，所述待处理实景三维模型包含至少一个瓦片模型，所述瓦片模型包括瓦片几何顶点、瓦片几何面、瓦片纹理顶点、瓦片纹理面及初始瓦片纹理影像；

方程构建模块，用于利用所述瓦片模型和所述瓦片模型对应的相邻瓦片模型计算得到颜色控制点对，根据所述颜色控制点对和所述瓦片几何顶点对应的邻接顶点构建能量方程；

顶点调整模块，用于利用所述能量方程计算得到所有瓦片模型中的瓦片几何顶点的颜色调整值；

像素调整模块，用于将所述瓦片模型中的瓦片几何顶点投影到对应瓦片纹理面上，得到投影后的三角形，获取所述三角形中所有像素点的重心坐标值，并利用所述重心坐标值和所述三角形顶点对应瓦片几何顶点的颜色调整值，计算得到像素点目标颜色值；

瓦片纹理模块，用于利用所述像素点目标颜色值和所述瓦片模型中的初始瓦片纹理影像得到目标瓦片纹理影像；

融合计算模块，用于利用所有所述瓦片模型的目标瓦片纹理影像，调整后得到目标实景三维模型。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的三维模型的纹理影像融合方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的三维模型的纹理影像融合方法。