CN104935911A - 一种高动态范围图像合成的方法及装置 - Google Patents

Abstract

本发明实施例提供了一种高动态范围图像合成的方法及装置，涉及图像处理领域，用以改善高动态范围图像的质量。所述方法，包括：获取第一图像与第二图像；对所述第一图像与所述第二图像进行双目立体匹配，得到视差图；根据视差图与第一图像，合成与第二图像有相同视角的虚拟视图；根据第二图像得到第二灰度图像，并根据虚拟视图得到虚拟视图灰度图像；根据第二灰度图像及虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图；根据高动态范围灰度图、第二灰度图像、虚拟视图灰度图像、第二图像以及虚拟视图，得到高动态范围图像。本发明实施例适用于高动态范围图像合成的场景。

Description

一种高动态范围图像合成的方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种高动态范围图像合成的方法及装置。

背景技术

高动态范围图像是通过调节相机的曝光时间，对同一个场景进行多次不同曝光时间的拍摄，并通过图像合成技术，把多幅不同曝光时间的图像进行融合获取的图像。其中，长时间曝光的图像有清晰的暗区域的细节，短时间曝光的图像有清晰的亮区域的细节。相比普通的图像，高动态范围图像可以提供更多的动态范围和图像细节，能够更好的反映真实环境。

现有的高动态范围图像合成技术主要分为两类：第一类是单相机高动态范围图像合成；第二类是多相机高动态范围图像合成。

在多相机高动态范围图像合成技术中，首先多个相机利用不同曝光时间对同一物体同时拍摄获得多个图像，然后从所述多个图像中选取两个图像，接着，根据所述两个图像的对应点之间的关系，获取所述两个图像的视差图，进而，根据所述视差图及所述两张照片，将两张图像中的一个图像合成到另一图像的视角的虚拟图像，最后，根据所述虚拟图像与所述另一视角的图像获得最终的高动态范围图像。

在实现上述多相机高动态范围图像合成的过程中，发明人发现现有技术中至少存在如下问题：由于在曝光比较大的情况下，获取视差图时对过暗及过亮区域的深度提取不够准确，会对最终的高动态范围图像带来噪声，并且由于现有技术中在进行虚拟图像合成时，只利用了当前图像的邻域信息进行插值进而导致了高动态范围图像存在色差，进一步影响了高动态范围图像的质量。

发明内容

本发明的实施例提供一种高动态范围图像合成的方法及装置，用以改善高动态范围图像的质量。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供了一种高动态范围图像合成的方法，包括：获取第一图像与第二图像；所述第一图像与所述第二图像是采用不同曝光度对同一物体同时拍摄得到的；对所述第一图像与所述第二图像进行双目立体匹配，得到视差图；根据所述视差图与所述第一图像，合成与所述第二图像有相同视角的虚拟视图；根据所述第二图像得到第二灰度图像，并根据所述虚拟视图得到虚拟视图灰度图像；根据所述第二灰度图像及所述虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图；根据所述高动态范围灰度图、所述第二灰度图像、所述虚拟视图灰度图像、所述第二图像以及所述虚拟视图，得到高动态范围图像。

在第一方面的第一种可能的实现方式中，所述方法还包括：在所述根据所述视差图与所述第一图像，合成与所述第二图像有相同视角的虚拟视图时，将所述虚拟视图中的遮挡区域的像素标记为孔洞像素；所述遮挡区域是所述第一图像与所述第二图像对同一物体拍摄的角度不同产生的区域；或者，在所述根据所述视差图与所述第一图像，合成与所述第二图像有相同视角的虚拟视图之后，在所述根据所述第二图像得到第二灰度图像，并根据所述虚拟视图得到虚拟视图灰度图像之前，所述方法还包括：将所述虚拟视图中的噪声像素或所述遮挡区域标记为孔洞像素；所述噪声像素是由所述视差图中视差值计算错误的像素产生的；所述根据所述虚拟视图得到虚拟视图灰度图像包括：根据标记有孔洞像素的虚拟视图得到标记有孔洞像素的虚拟视图灰度图像；所述根据所述第二灰度图像及所述虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图包括：根据所述第二灰度图像及所述标记有孔洞像素的虚拟视图灰度图像，通过高动态范围合成算法，得到标记有孔洞像素的高动态范围灰度图；所述根据所述高动态范围灰度图、所述第二灰度图像、所述虚拟视图灰度图像、所述第二图像以及所述虚拟视图，得到高动态范围图像包括：根据所述标记有孔洞像素的高动态范围灰度图、所述第二灰度图像、所述标记有孔洞像素的虚拟视图灰度图像、所述第二图像以及所述标记有孔洞像素的虚拟视图，得到标记有孔洞像素的高动态范围图像；在所述根据所述高动态范围灰度图、所述第二图像及所述虚拟视图灰度图像，得到高动态范围图像之后，所述方法还包括：在所述第二图像中，确定所述标记有孔洞像素的高动态范围图像中每个孔洞像素对应的第一像素；获取所述高动态范围图像中每个孔洞像素的相邻像素，与所述第一像素的相邻像素间的相似系数；并根据所述相似性系数及所述第一像素，得到所述高动态范围图像中每个孔洞像素的像素值。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述对所述第一图像与所述第二图像进行双目立体匹配，得到视差图包括：获取所述第一图像的每个像素的候选视差值集合；其中，所述候选视差值集合中包含至少两个候选视差值；根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)；其中，p表示像素p，是与所述候选视差值集合对应的所述第一图像的像素；所述d_i表示像素p的第i个候选视差值，i=1，……,k；所述k为像素p的候选视差值集合中候选视差值的总数；根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，获取所述第一图像中每一像素的视差值；将所述第一图像中的每个像素的视差值进行组合获取所述视差图。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)包括：根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；其中，所述第一拟合参数a的值与第二拟合参数b的值为使所述匹配能量E_d(p,d_i)为最小值时对应的值；所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；所述第一像素块Ω_p表示所述第一图像中包含所述像素p的一个像素块；所述像素q是与所述像素p相邻的属于所述第一像素块Ω_p中的像素；所述I₁(q)表示像素q的像素值；所述I₂(q-d_i)表示所述像素q对应的所述第二图像中的像素q-d_i的像素值；所述w_c(p,q,d_i)表示像素权重值；所述w_s(p,q,d_i)表示距离权重值；所述w_d(p,q,d_i)表示视差权重值。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

结合第一方面的第二种可能的实现方式，在第一方面的第五种可能的实现方式中，所述根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)包括：根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；

其中，所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；所述I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

所述I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

所述I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

所述调整角度θ是预先设定大于0°且小于90°的值。

结合第一方面的第二至第五任一种可能的实现方式，在第一方面的第六种可能的实现方式中，所述根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值包括：根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使所述像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的所述第一图像中每一个像素的候选视差值确定为每一个像素的视差值；其中，所述I表示所述第一图像；所述第二像素块N_p表示所述第一图像中包含所述像素p的一个像素块；所述V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；所述d_j表示像素q的第j个候选视差值，j=1,……,m；所述m为像素q的候选视差值集合中候选视差值的总数；所述平滑系数λ是预先设定的值；所述相邻像素视差之差最大值V_max是预先设定的值。

结合第一方面或第一方面的第一至第六任一种可能的实现方式，在第一方面的第七种可能的实现方式中，所述根据所述高动态范围灰度图、所述第二灰度图像、所述虚拟视图灰度图像、所述第二图像以及所述虚拟视图，获取高动态范围图像包括：依次利用公式

$I^{\mathrm{red}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{red}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{red}}\left(e\right),$

$I^{\mathrm{green}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{green}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{green}}\left(e\right)$ 及

$I^{\mathrm{blue}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{blue}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{blue}}\left(e\right),$

求得所述高动态范围图像中每个像素的红色分量值I^red(e)、绿色分量值I^green(e)及蓝色分量值I^blue(e)；其中，所述e表示所述高动态范围图像中的像素e；所述I^grey(e)表示在所述高动态范围灰度图中与所述像素e对应的像素的像素值，表示在所述第二灰度图像中与所述像素e对应的像素的像素值，表示在所述虚拟视图灰度图像中与所述像素e对应的像素的像素值；所述所述及所述分别表示在所述第二图像中与所述像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；所述所述及所述分别表示在所述虚拟视图中与所述像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；根据所述高动态范围图像中的每个像素的红色分量值、绿色分量值及蓝色分量值，获取所述高动态范围图像中的每个像素的像素值；将所述高动态范围图像中的每个像素的像素值组合获取所述高动态范围图像。

结合第一方面的第一至第七任一种可能的实现方式，在第一方面的第八种可能的实现方式中，所述将所述虚拟视图中的噪声像素标记为孔洞像素包括：在所述第二图像中，确定出至少两个第二像素；所述第二像素是指像素值相同的像素；根据所述第二图像中的所述至少两个第二像素，得到所述虚拟视图中的至少两个标记像素；所述虚拟视图中的至少两个标记像素是在所述虚拟视图中，与所述第二图像中的所述至少两个第二像素分别对应的像素；获取所述虚拟视图中的至少两个标记像素的平均像素值；依次确定所述虚拟视图中的至少两个标记像素中每一个标记像素的像素值与所述平均像素值之间的差值是否大于所述噪声门限值；若所述标记像素的像素值与所述平均像素值之间的差值大于所述噪声门限值，则将所述标记像素确定为噪声像素，并将所述噪声像素标记为孔洞像素。

结合第一方面的第一至第八任一种可能的实现方式，在第一方面的第九种可能的实现方式中，对于根据所述高动态范围图像中任一孔洞像素r的相似系数及所述第一像素，得到所述孔洞像素r的像素值包括：根据公式得到所述孔洞像素r的像素值；其中，所述I(r)表示所述孔洞像素r的像素值；所述I₂(r)表示在所述第二图像中与所述孔洞像素r对应的像素的像素值；所述a_n表示所述孔洞像素r的相似系数；所述n=0,1，……N；所述N为预先设定的值。

结合第一方面的第九种可能的实现方式，在第一方面的第十种可能的实现方式中，对于获取所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数包括：根据公式

$\begin{array}{c}[a_0,a_1,......,a_N]=\\ \arg \min {\mathrm{\Σ}}_{s\∈{\mathrm{\Ψ}}_r}\exp [-\mathrm{\γ}{(r-s)}^2]\×{[I\left(s\right)-\underset{n=.0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2\end{array}$

得到所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数；其中，所述s表示所述高动态范围图像中所述像素r的邻域Ψ_r中的一个像素；所述I(s)表示所述像素s的像素值；所述I₂(s)表示在所述第二图像中与所述像素s对应的像素的像素值；所述r-s表示所述像素r与所述像素s间的距离；所述γ是预先设定的，表示所述像素r与所述像素s间的距离的权重系数。

结合第一方面的第九种可能的实现方式，在第一方面的第十一种可能的实现方式中，对于获取所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数包括：根据公式

$\begin{array}{c}[a_0,a_1,.......,a_N]=\\ \arg \min {\mathrm{\ρ}}_1{\mathrm{\Σ}}_{s\∈{\mathrm{\Φ}}_r}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2+{\mathrm{\ρ}}_2{\mathrm{\Σ}}_{s\∈A}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n^{\text{'}}{I_2}^n\left(s\right)]}^2\end{array}$

得到所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数；其中，第一比例系数ρ₁与第二比例系数ρ₂是预先设定的值；所述s表示所述高动态范围图像中所述像素r的邻域Φ_r中的一个像素；所述A表示所述高动态范围图像；所述a′_n表示在第一次计算孔洞像素的像素值时获取的相似系数。

结合第一方面的第九种可能的实现方式，在第一方面的第十二种可能的实现方式中，对于获取所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数包括：确定所述孔洞像素r是否有第一孔洞像素；所述第一孔洞像素是所述孔洞像素r的相邻孔洞像素中已得到像素值的孔洞像素；若确定有所述第一孔洞像素，则将所述第一孔洞像素的相似系数作为所述孔洞像素r的相似系数。

第二方面，本发明实施例提供了一种合成视差图的方法，包括：获取第一图像与第二图像；所述第一图像与所述第二图像是对同一物体同时拍摄得到的；获取所述第一图像的每个像素的候选视差值集合；其中，所述候选视差值集合中包含至少两个候选视差值；根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)；其中，p表示像素p，是与所述候选视差值集合对应的所述第一图像的像素；所述d_i表示像素p的第i个候选视差值，i=1，……,k；所述k为像素p的候选视差值集合中候选视差值的总数；根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值；将所述第一图像中的每个像素的视差值进行组合获取所述视差图。

在第二方面的第一种可能的实现方式中，所述根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)包括：根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；其中，所述第一拟合参数a的值与第二拟合参数b的值为使所述匹配能量E_d(p,d_i)为最小值时对应的值；所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；所述第一像素块Ω_p表示所述第一图像中包含所述像素p的一个像素块；所述像素q是与所述像素p相邻的属于所述第一像素块Ω_p中的像素；所述I₁(q)表示像素q的像素值；所述I₂(q-d_i)表示所述像素q对应的所述第二图像中的像素q-d_i的像素值；所述w_c(p,q,d_i)表示像素权重值；所述w_s(p,q,d_i)表示距离权重值；所述w_d(p,q,d_i)表示视差权重值。

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

结合第二方面，在第二方面的第三种可能的实现方式中，所述根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)包括：根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；

其中，所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

所述I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

所述I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

所述I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

所述调整角度θ是预先设定大于0°且小于90°的值。

结合第二方面或第二方面的第一至第三任一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值包括：根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使所述像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的所述第一图像中每一个像素的候选视差值确定为每一个像素的视差值；其中，所述I表示所述第一图像；所述第二像素块N_p表示所述第一图像中包含所述像素p的一个像素块；所述V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；所述d_j表示像素q的第j个候选视差值，j=1,……,m；所述m为像素q的候选视差值集合中候选视差值的总数；所述平滑系数λ是预先设定的值；所述相邻像素视差之差最大值V_max是预先设定的值。

第三方面，本发明实施例提供了一种高动态范围图像合成设备，包括：获取单元，用于获取第一图像与第二图像；所述第一图像与所述第二图像是采用不同曝光度对同一物体同时拍摄得到的；视差处理单元，用于对所述获取单元获取的所述第一图像与所述第二图像进行双目立体匹配，得到视差图；虚拟视图合成单元，用于根据所述视差处理单元得到的所述视差图与所述获取单元获取的所述第一图像，合成与所述第二图像有相同视角的虚拟视图；灰度提取单元，用于根据所述获取单元获取的所述第二图像得到第二灰度图像，并根据所述虚拟视图单元合成的所述虚拟视图得到虚拟视图灰度图像；高动态范围融合单元，用于根据所述灰度提取单元得到的所述第二灰度图像及所述虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图；颜色插值单元，用于根据所述高动态范围灰度图、所述第二灰度图像、所述虚拟视图灰度图像、所述第二图像以及所述虚拟视图，得到高动态范围图像。

在第三方面的第一种可能的实现方式中，还包括：孔洞像素处理单元：所述孔洞像素处理单元，用于将所述虚拟视图中的噪声像素或所述遮挡区域标记为孔洞像素；所述遮挡区域是所述第一图像与所述第二图像对同一物体拍摄的角度不同产生的区域；所述噪声像素是由所述视差图中视差值计算错误的像素产生的；所述灰度提取单元，具体用于根据标记有孔洞像素的虚拟视图得到标记有孔洞像素的虚拟视图灰度图像；所述高动态范围融合单元，具体用于根据所述第二灰度图像及所述标记有孔洞像素的虚拟视图灰度图像，通过高动态范围合成算法，得到标记有孔洞像素的高动态范围灰度图；所述颜色插值单元，具体用于根据所述标记有孔洞像素的高动态范围灰度图、所述第二灰度图像、所述标记有孔洞像素的虚拟视图灰度图像、所述第二图像以及所述标记有孔洞像素的虚拟视图，得到标记有孔洞像素的高动态范围图像；所述孔洞像素处理单元，还用于在所述第二图像中，确定所述标记有孔洞像素的高动态范围图像中每个孔洞像素对应的第一像素；所述孔洞像素处理单元，还用于获取所述高动态范围图像中每个孔洞像素的相邻像素，与所述第一像素的相邻像素间的相似系数；并根据所述相似性系数及所述第一像素，得到所述高动态范围图像中每个孔洞像素的像素值。

结合第三方面或第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，所述视差处理单元包括：获取模块、计算模块、确定模块、组合模块；所述获取模块，用于获取所述第一图像的每个像素的候选视差值集合；其中，所述候选视差值集合中包含至少两个候选视差值；所述计算模块，用于根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量；其中，p表示像素p，是与所述候选视差值集合对应的所述第一图像的像素；所述表示像素p的第i个候选视差值，i=1，……,k；所述k为像素p的候选视差值集合中候选视差值的总数；所述确定模块，用于根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量，得到所述第一图像中每一像素的视差值；所述组合模块，用于将所述第一图像中的每个像素的视差值进行组合得到所述视差图。

结合第三方面的第二种可能的实现方式，在第三方面的第三种可能的实现方式中，所述计算模块，具体用于根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；其中，所述第一拟合参数a的值与第二拟合参数b的值为使所述匹配能量E_d(p,d_i)为最小值时对应的值；所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；所述第一像素块Ω_p表示所述第一图像中包含所述像素p的一个像素块；所述像素q是与所述像素p相邻的属于所述第一像素块Ω_p中的像素；所述I₁(q)表示像素q的像素值；所述I₂(q-d_i)表示所述像素q对应的所述第二图像中的像素q-d_i的像素值；所述w_c(p,q,d_i)表示像素权重值；所述w_s(p,q,d_i)表示距离权重值；所述w_d(p,q,d_i)表示视差权重值。

结合第三方面的第三种可能的实现方式，在第三方面的第四种可能的实现方式中，所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

结合第三方面的第二种可能的实现方式，在第三方面的第五种可能的实现方式中，所述计算模块，具体用于根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；

其中，所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

所述I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

所述I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

所述I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

所述调整角度θ是预先设定大于0°且小于90°的值。

结合第三方面的第二至第五任一种可能的实现方式，在第三方面的第六种可能的实现方式中，所述确定模块，具体用于根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使所述像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的所述第一图像中每一个像素的候选视差值确定为每一个像素的视差值；其中，所述I表示所述第一图像；所述第二像素块N_p表示所述第一图像中包含所述像素p的一个像素块；所述V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；所述d_j表示像素q的第j个候选视差值，j=1,……,m；所述m为像素q的候选视差值集合中候选视差值的总数；所述平滑系数λ是预先设定的值；所述相邻像素视差之差最大值V_max是预先设定的值。

结合第三方面或第三方面的第一至第六任一种可能的实现方式，在第三方面的第七种可能的实现方式中，所述颜色插值单元，具体用于依次利用公式

$I^{\mathrm{red}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{red}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{red}}\left(e\right),$

$I^{\mathrm{green}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{green}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{green}}\left(e\right)$ 及

$I^{\mathrm{blue}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{blue}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{blue}}\left(e\right),$

求得所述高动态范围图像中每个像素的红色分量值I^red(e)、绿色分量值I^green(e)及蓝色分量值I^blue(e)；其中所述e表示所述高动态范围图像中的像素e；所述I^grey(e)表示在所述高动态范围灰度图中与像素e对应的像素的像素值，表示在所述第二灰度图像中与所述像素e对应的像素的像素值，表示在所述虚拟视图灰度图像中与所述像素e对应的像素的像素值；所述所述及所述分别表示在所述第二图像中与像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；所述所述及所述分别表示在所述虚拟视图中与所述像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；所述颜色插值单元，具体用于根据所述高动态范围图像中的每个像素的红色分量值、绿色分量值及蓝色分量值，获取所述高动态范围图像中的每个像素的像素值；所述颜色插值单元，具体用于将所述高动态范围图像中的每个像素的像素值组合获取所述高动态范围图像。

结合第三方面的第一至七任一种可能的实现方式，在第三方面的第八种可能的实现方式中，所述孔洞像素处理单元，具体用于在所述第二图像中，确定出至少两个第二像素；所述第二像素是指像素值相同的像素；所述孔洞像素处理单元，具体用于根据所述第二图像中的所述至少两个第二像素，得到所述虚拟视图中的至少两个标记像素；所述虚拟视图中的至少两个标记像素是在所述虚拟视图中，与所述第二图像中的所述至少两个第二像素分别对应的像素；所述孔洞像素处理单元，具体用于获取所述虚拟视图中的至少两个标记像素的平均像素值；所述孔洞像素处理单元，具体用于依次确定所述虚拟视图中的至少两个标记像素中每一个标记像素的像素值与所述平均像素值之间的差值是否大于所述噪声门限值；所述噪声门限值是预先设定的用于判断噪声的值；所述孔洞像素处理单元，具体用于在所述标记像素的像素值与所述平均像素值之间的差值大于所述噪声门限值的情况下，将所述标记像素确定为噪声像素，并将所述噪声像素标记为孔洞像素。

结合第三方面的第一至八任一种可能的实现方式，在第三方面的第九种可能的实现方式中，所述孔洞像素处理单元，具体用于根据公式得到所述孔洞像素r的像素值；其中，所述I(r)表示所述孔洞像素r的像素值；所述I₂(r)表示在所述第二图像中与所述孔洞像素r对应的像素的像素值；所述a_n表示所述孔洞像素r的相似系数；所述n=0,1，……N；所述N为预先设定的值。

结合第三方面的第九种可能的实现方式，在第三方面的第十种可能的实现方式中，所述孔洞像素处理单元，具体用于根据公式

$\begin{array}{c}[a_0,a_1,......,a_N]=\\ \arg \min {\mathrm{\Σ}}_{s\∈{\mathrm{\Ψ}}_r}\exp [-\mathrm{\γ}{(r-s)}^2]\×{[I\left(s\right)-\underset{n=.0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2\end{array}$

得到所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数；其中，所述s表示所述高动态范围图像中所述像素r的邻域Ψ_r中的一个像素；所述I(s)表示所述像素s的像素值；所述I₂(s)表示在所述第二图像中与所述像素s对应的像素的像素值；所述r-s表示所述像素r与所述像素s间的距离；所述γ是预先设定的，表示所述像素r与所述像素s间的距离的权重系数。

结合第三方面的第九种可能的实现方式，在第三方面的第十一种可能的实现方式中，所述孔洞像素处理单元，具体用于根据公式

$\begin{array}{c}[a_0,a_1,.......,a_N]=\\ \arg \min {\mathrm{\ρ}}_1{\mathrm{\Σ}}_{s\∈{\mathrm{\Φ}}_r}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2+{\mathrm{\ρ}}_2{\mathrm{\Σ}}_{s\∈A}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n^{\text{'}}{I_2}^n\left(s\right)]}^2\end{array}$

得到所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数；其中，第一比例系数ρ₁与第二比例系数ρ₂是预先设定的值；所述s表示所述高动态范围图像中所述像素r的邻域Φ_r中的一个像素；所述A表示所述高动态范围图像；所述a′_n表示在第一次计算孔洞像素的像素值时获取的相似系数。

结合第三方面的第九种可能的实现方式，在第三方面的第十二种可能的实现方式中，所述孔洞像素处理单元，具体用于确定所述孔洞像素r是否有第一孔洞像素；所述第一孔洞像素是所述孔洞像素r的相邻孔洞像素中已得到像素值的孔洞像素；所述孔洞像素处理单元，具体用于在确定有所述第一孔洞像素的情况下，将所述第一孔洞像素的相似系数作为所述孔洞像素r的相似系数。

第四方面，本发明实施例提供了一种设备，包括：获取单元，用于获取第一图像与第二图像；所述第一图像与所述第二图像是对同一物体同时拍摄得到的；所述获取单元，还用于获取所述第一图像的每个像素的候选视差值集合；其中，所述候选视差值集合中包含至少两个候选视差值；计算单元，用于根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)；其中，p表示像素p，是与所述候选视差值集合对应的所述第一图像的像素；所述d_i表示像素p的第i个候选视差值，i=1，……,k；所述k为像素p的候选视差值集合中候选视差值的总数；所述确定单元，用于根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值；处理单元，用于将所述第一图像中的每个像素的视差值进行组合获取所述视差图。

在第四方面的第一种可能的实现中，所述计算单元，具体用于根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；其中，所述第一拟合参数a的值与第二拟合参数b的值为使所述匹配能量E_d(p,d_i)为最小值时对应的值；所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；所述第一像素块Ω_p表示所述第一图像中包含所述像素p的一个像素块；所述像素q是与所述像素p相邻的属于所述第一像素块Ω_p中的像素；所述I₁(q)表示像素q的像素值；所述I₂(q-d_i)表示所述像素q对应的所述第二图像中的像素q-d_i的像素值；所述w_c(p,q,d_i)表示像素权重值；所述w_s(p,q,d_i)表示距离权重值；所述w_d(p,q,d_i)表示视差权重值。

结合第四方面的第一种可能的实现方式，在第四方面的第二种可能的实现方式中，所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

结合第四方面，在第四方面的第三种可能的实现方式中，所述计算单元，具体用于根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；

其中，所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

所述I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

所述I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

所述I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

所述调整角度θ是预先设定大于0°且小于90°的值。

结合第四方面或第四方面的第一至三任一种可能的实现方式，在第四方面的第四种可能的实现方式中，所述确定单元，具体用于根据公式 $E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使所述像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的所述第一图像中每一个像素的候选视差值确定为每一个像素的视差值；其中，所述I表示所述第一图像；所述第二像素块N_p表示所述第一图像中包含所述像素p的一个像素块；所述V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；所述d_j表示像素q的第j个候选视差值，j=1,……,m；所述m为像素q的候选视差值集合中候选视差值的总数；所述平滑系数λ是预先设定的值；所述相邻像素视差之差最大值V_max是预先设定的值。

本发明实施例提供的一种高动态范围图像合成的方法及装置，获取曝光度不同的第一图像与第二图像，然后对所述第一图像与所述第二图像进行双目立体匹配，得到视差图，接着根据所述视差图与所述第一图像，合成与所述第二图像有相同视角的虚拟视图，继而根据所述第二图像获取第二灰度图像，并根据所述虚拟视图获取虚拟视图灰度图像，并根据所述第二灰度图像及所述虚拟视图灰度图像，通过高动态范围合成算法，获取高动态范围灰度图，最终根据所述高动态范围灰度图、所述第二灰度图像、所述虚拟视图灰度图像、所述第二图像以及所述虚拟视图，获取高动态范围图像，这样，由于在进行虚拟视图合成时考虑了相邻像素之间的关系，从而提高了高动态范围图像的质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种高动态范围图像合成的方法的流程示意图；

图2为本发明实施例提供的一种映射曲线示意图；

图3为本发明实施例提供的一种坐标系旋转示意图；

图4为本发明实施例提供的一种不同立体匹配算法的错误率示意图；

图5为本发明实施例提供的另一种高动态范围图像合成的方法的流程示意图；

图6为本发明实施例提供的一种确定噪声像素的示意图；

图7为本发明实施例提供的一种合成视差图的方法的流程示意图；

图8为本发明实施例提供的一种高动态范围图像合成设备的功能示意图；

图9为图8所示的高动态范围图像合成设备的视差处理单元的功能示意图；

图10为本发明实施例提供的另一种高动态范围图像合成设备的功能示意图；

图11为本发明实施例提供的一种设备的功能示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种高动态范围图像合成的方法，如图1所示，包括：

101、获取第一图像与第二图像。

其中，第一图像与第二图像是采用不同曝光度对同一物体同时拍摄得到的。

需要说明的是，第一图像与第二图像间有重叠区域。

需要说明的是，第一图像和第二图像是经过矫正后的图像，第一图像与第二图像之间只有水平方向或者垂直方向的位移。

需要说明的是，对于第一图像与第二图像间的曝光度的大小，可以是第一图像的曝光度大于第二图像是的曝光度，也可以是第二图像的曝光度大于第一图像的曝光度。对于第一图像与第二图像将曝光度具体的大小，本发明对此不做限制。

102、对所述第一图像与所述第二图像进行双目立体匹配，得到视差图。

需要说明的是，双目立体匹配就是从两个视角观察同一物体的图像中，匹配出对应的像素，从而计算出视差并获得物体三维信息的过程。

具体的，对第一图像与第二图像进行双目立体匹配得到视差图的方法，可以用现有技术中任一种获取两幅图像的视差图的方法，例如WSAD（Weighted Sum of Absolute Differences，加权绝对差值和算法）、ANCC（Adaptive Normalized Cross-Correlation,自适应归一化互相关算法）等，还可以是本发明提出的方法。

本发明提出的双目立体匹配算法具体如下所示，包括：

S1、获取第一图像的每个像素的候选视差值集合。

其中，候选视差值集合中包含至少两个候选视差值。

需要说明的是，候选视差值对应三维空间中的深度。由于深度有一定的范围，因此候选视差值也有一定的范围。这个范围中的每一个值均为视差候选值，这些候选视差值共同组成一个像素的候选视差值集合。

需要说明的是，第一图像中每一个像素的候选视差值集合中的候选视差值可以相同，也可以不相同。本发明对此不做限制。

S2、根据第一图像的每个像素、与第一图像的每个像素对应的第二图像中的像素、及第一图像的每个像素的候选视差值集合，得到第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)。

其中，p表示像素p，是与候选视差值集合对应的第一图像的像素。d_i表示像素p的第i个候选视差值，i=1，……,k。k为像素p的候选视差值集合中候选视差值的总数。

需要说明的是，由于每一个像素的候选视差值集合中包含至少两个候选视差值，所以，k≥2。

进一步的，本发明提出了两种计算匹配能量E_d(p,d_i)的方法，如下所示：

第一种方法：根据像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)。

其中，第一拟合参数a的值与第二拟合参数b的值为使匹配能量E_d(p,d_i)为最小值时对应的值。w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)。第一像素块Ω_p表示第一图像中包含像素p的一个像素块。像素q是与像素p相邻的属于第一像素块Ω_p中的像素。I₁(q)表示像素q的像素值。I₂(q-d_i)表示像素q对应的第二图像中的像素q-d_i的像素值。w_c(p,q,d_i)表示像素权重值；w_s(p,q,d_i)表示距离权重值；w_d(p,q,d_i)表示视差权重值。

进一步的，像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，I₁(p)表示像素p的像素值；I₂(p-d_i)表示像素p对应的第二图像中的像素p-d_i的像素值；第一权重系数β₁、第二权重系数β₂、第三权重系数β₃及第四权重系数β₄是预先设定的值。

需要说明的是，将像素权重值w_c(p,q,d_i)、距离权重值w_s(p,q,d_i)以及视差权重值w_d(p,q,d_i)的计算公式代入，获取w(p,q,d_i)=exp[-(β₂+β₃)×(p-q)²-(β₁+β₄)×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]。可以根据经验将β₂+β₃的值设为0.040，β₁+β₄的值设为0.033。

需要说明的是，第一像素块Ω_p表示第一图像中包含像素p的一个像素块。第一像素块可以是以像素p的3邻域，还可以是以像素p的4邻域，第一像素块可以是以像素p为中心，也可以不以像素p为中心，对于第一像素块的具体大小与像素p在第一像素块中的具体位置，本发明不做限制。

需要说明的是，第一像素块包含的区域越大，也就是像素q的取值越多，计算出的结果与实际的结果相差越小。

需要说明的是，当两幅图片已经被拍摄后，两幅图像中相对应点的像素值间的关系有对应关系，在这里假设用一个平滑的映射函数表示通过一幅图像中任意一个像素值求相对应的另一幅图像中像素的像素值之间的关系。本发明实施例中选取直线方程I₁(f)=a×I₂(g)+b表示该应设函数。其中，I₂(j)表示第二图像中的任意一个像素j的像素值，I₁(f)表示第一图像中与第二图像中像素j对应的像素f的像素值，a和b是随着像素位置变化而变化的拟合参数。也就是说，对于不同的像素来说，第一拟合参数a与第二拟合参数b也是不同的。

需要说明的是，由于根据上述公式计算时需要确定第二图像中每一个像素对应的第二图像中的匹配点，为了便于计算可以用f-d表示第一图像中任一像素f在第二图形中对应的像素，此时，d表示第一图像中任一像素f的相对于第二图像的响应像素间的视差值。需要说明的是，由于此时第一图像中的像素与第二图像中与其对应的相应像素之间的时间视差值未知，所以用候选视差值近似表示实际视差值。

需要说明的是，在此为第一图像中的每一个像素设定了多个候选视差值，每一个像素的候选视差值集合组成该像素的候选视差值集合，然后选取出该像素的候选视差值集合中候选视差值与实际视差值相差最小的候选视差值，作为计算出的该像素的视差值。也就是说，本发明实施例中计算得出的像素的视差值不是该像素的实际视差值，而是该像素的候选视差值集合中与实际视差值近似的一个值。

需要说明的是，本发明实施例中用

像素值权重

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]，

表示第一图像中的像素p与像素q的颜色越接近，像素值权重越大；

距离权重

w_s(p,q,d_i)=exp[-β₂×(p-q)²]，

表示第一图像中的像素p与像素q的实际距离越接近，距离权重越大；

视差值权重

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]，

表示第一图像中的像素p与像素q的视差值越接近，视差值权重越大。

需要说明的是，如图2所示，图中表示对于过亮区域和过暗区域中，对于同一个位置，第一图像中的一个像素对应第二图像中的一个像素，将第二图像中的像素值作为横轴，第一图像中的像素值作为纵轴，并将位于同一位置的像素的像素值映射到图中，就得到图3下半部分中点阵，并对点阵所形成的映射曲线做两条切线,n和m。从图中可以看出当切线的斜率较大的时候，映射曲线更容易被噪声影响。为了降低这种影响，可以将图2中的坐标系逆时针旋转0-90°，得到图3，在图2坐标系里切线n是一条斜率为tanα的直线。由于坐标系逆时针旋转了θ，切线n在新坐标系中的斜率减小为tan(α-θ)。

示例性的，如果切线n在原先的坐标轴中斜率过大，比如α≈90°。假设新坐标轴旋转了45°，则切线n在新坐标轴的斜率大大减小，变为tan(α-45°)≈1。

进一步的，在第一种方法上优化得到第二种方法：

根据像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)。

其中，w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

调整角度θ是预先设定大于0°且小于90°的值。

需要说明的是，由于调整角度θ是大于0°且小于90°的值，所以cosθ与sinθ的值介于0到1之间。

需要说明的是，

像素值权重w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]，

表示第一图像中的像素p与像素q的颜色越接近，像素值权重越大；

距离权重

w_s(p,q,d_i)=exp[-β₂×(p-q)²]，

表示第一图像中的像素p与像素q的实际距离越接近，距离权重越大；

视差值权重

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]，

表示第一图像中的像素p与像素q的视差值越接近，视差值权重越大。

S3、根据第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到第一图像中每一像素的视差值。

进一步的，根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}E(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的第一图像中每一个像素的候选视差值确定为每一个像素的视差值。

其中，I表示第一图像；第二像素块N_p表示第一图像中包含像素p的一个像素块；V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；d_j表示像素q的第j个候选视差值，j=1,……,m；m为像素q的候选视差值集合中候选视差值的总数；平滑系数λ是预先设定的值；相邻像素视差之差最大值V_max是预先设定的值。

需要说明的是，候选能量包含了两个方面，第一方面是第一图像中每一个像素的匹配能量之和，第二个方面是第一图像中每一个像素平滑能量V_p,q(d_i,d_j)之和。

需要说明的是，第二像素块N_p可以与第一像素块相同，也可以与第一像素块不同，本发明对此不做限制。

需要说明的是，公式min(x,y)表示取x和y中较小值的函数。min(|d_i-d_j|,V_max)表示取值为第一图像中像素p的候选视差值d_i与像素q的候选视差值间的差值和预设的相邻像素间的时差最大值中较小的值。其中，Vmax为一个预先定义的一个截断值，目的是防止平滑能量过大，从而影响前景与背景边缘的视差的准确赋值。

需要说明的是，候选能量越小表示第一图像中与第二图像的相似性越大。也就是说，第一图像中的像素和第二图像中匹配的越好。

需要说明的是，本步骤中确定出的第一图像的每个像素的视差值是将第一图像中的每一个像素的候选视差值组合，求出的候选能量为最小值时，对应的第一图像中的每一个像素的候选视差值为该像素的视差值。从该像素的候选视差值集合中选择出的与实际视差值最接近的候选视差值。也就是说，假设第一图像中的像素有N个，且每一像素的候选视差值有M个，那么算出的候选能量值共有M^N个，从M^N个候选能量中选出最小值，此时，对应的各个像素的候选视差值为最终求出的各个像素的视差值。

进一步的，为了简化计算，可以用现有graph cuts（图像分割）方法快速求出第一图像中每一像素的候选视差值，此时并不需要遍历每一个像素的所有候选视差值。

S4、将第一图像中的每个像素的视差值进行组合获取视差图。

需要说明的是，视差图就是第一图像中每一个像素的视差值按照原像素的排列顺序进行排列获取的图像。

需要说明的是，分别在第一图像与第二图像的曝光度比值为16:1，在第一图像与第二图像的曝光度比值为4:1，以及在第一图像与第二图像的曝光度相同的情况下，将本发明实施例中提出的第一种方法、第二种方法和现有的WSAD算法和ANCC算法的错误率进行了比较。图4显示了对比结果。从图中可以看出在第一图像与第二图像的曝光度比值特别大，为16:1时，WSAD和ANCC算法都有很大的错误率，而本实施例提出的第一种方法和第二种方法的结果则十分准确。在其他两个曝光度比值的情况下，本实施例提出的第一种方法和第二种方法始终优于WSAD以及ANCC的结果。

需要说明的是，虽然本发明实施例中提出的第一种方法、第二种方法在计算视差图是的错误率已大大降低，但是仍然会有一小部分的像素计算出的视差值与实际视差值相差较大，所以将这些像素当做视差图中视差值计算错误的像素。

103、根据视差图与第一图像，合成与第二图像有相同视角的虚拟视图。

需要说明的是，在已知第一图像、第二图像与第一图像与第二图像间的视差图的情况下可以合成任意角度的虚拟视图。本发明实施例中，为了后续图像处理方法的简便，利用视差图与第一图像合成了与第二图像具有相同视角的虚拟视图。

需要说明的是，可以利用现有技术通过第一图像与视差图合成与第二图像具有相同视角的虚拟视图。

具体的，本发明实施例中的第一图像与第二图像之间只有水平或者垂直方向上的位移。当第一图像与第二图像之间只有水平方向的位移时，可以利用公式求得虚拟视图中每一像素的像素值。其中，I₁(x,y)表示第一图像中横坐标为x，纵坐标为y的像素的像素值，d表示第一图像中横坐标为x，纵坐标为y的像素的视差值，虚拟视图中与该像素对应的像素的像素值为第一图像中该像素沿水平方向位移为视差值d平移后的像素对应的像素值。当第一图像与第二图像之间只有垂直方向的位移时，可以利用公式求得虚拟视图中每一像素的像素值。其中，I₁(x,y)表示第一图像中横坐标为x，纵坐标为y的像素的像素值，d表示第一图像中横坐标为x，纵坐标为y的像素的视差值，虚拟视图中与该像素对应的像素的像素值为第一图像中该像素沿垂直方向位移为视差值d平移后的像素对应的像素值。

104、根据第二图像得到第二灰度图像，并根据虚拟视图得到虚拟视图灰度图像。

需要说明的是，可以利用现有技术中根据一个图像的彩色图像获取该图像的灰度图像的方法获取第二灰度图像与虚拟视图灰度图像。

需要说明的是，可以根据公式Grey=R*0.299+G*0.587+B*0.114求得彩色图像的灰度图像，也可以根据公式Grey=(R+G+B）/3求得彩色图像的灰度图像，还可以是现有技术中通过彩色图像获取灰度图像的其他方法，本发明在此不作限制。

其中，R表示彩色图像中任一像素的红色分量，G表示该像素的绿色分量，B表示该像素的蓝色分量，Grey表示灰度图中与该像素对应位置的像素的灰度。

105、根据第二灰度图像及虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图。

需要说明的是，所述高动态范围合成算法是指对多幅图片进行融合，得到高动态范围图像的算法。

需要说明的是，此步骤中，可以利用现有单相机高动态范围图像合成方法或者多相机高动态范围图像合成方法对第二灰度图像与虚拟视图灰度图像进行融合获取高动态范围灰度图。

需要说明的是，现有技术中是将需要合成的图像的红色、绿色以及蓝色分别进行处理，本发明实施例在利用现有技术计算高动态范围灰度图时，只需要将将需要合成的图像的灰度进行处理即可。

106、根据高动态范围灰度图、第二灰度图像、虚拟视图灰度图像、第二图像以及虚拟视图，得到高动态范围图像。

需要说明的是，由于上一步骤中获取的高动态范围灰度图不包含红色、绿色以及蓝色的相关信息，所以本步骤是利用有色彩的第二图像与虚拟视图，确定高动态范围灰度图中的每一个像素的红色分量值、绿色分量值以及蓝色分量值。

具体的，此步骤包括：

T1、依次利用公式

$I^{\mathrm{red}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{red}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{red}}\left(e\right),$

$I^{\mathrm{green}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{green}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{green}}\left(e\right)$ 及

$I^{\mathrm{blue}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{blue}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{blue}}\left(e\right),$

求得高动态范围图像中每个像素的红色分量值I^red(e)、绿色分量值I^green(e)及蓝色分量值I^blue(e)。

其中，e表示高动态范围图像中的像素e；I^grey(e)表示在高动态范围灰度图中与像素e对应的像素的像素值，表示在第二灰度图像中与像素e对应的像素的像素值，表示在虚拟视图灰度图像中与像素e对应的像素的像素值；及分别表示在第二图像中与像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；及分别表示在虚拟视图中与像素e对应的像素的红色分量值、绿色分量值及蓝色分量值。

需要说明的是，η(e)表示一个权重系数，用来调整在合成高动态范围图像时，利用第二图像的颜色与虚拟视图的颜色的比例。η(e)是通过第二灰度图像、虚拟视图灰度图像与高动态范围灰度图上相应像素之间的关系计算得出的值。

需要说明的是，需要是针对高动态范围图像中的每一个像素计算出各自的η(e)，进而计算出每一个像素的红色分量值I^red(e)、绿色分量值I^gree(e)及蓝色分量值I^blue(e)。

T2、根据高动态范围图像中的每个像素的红色分量值、绿色分量值及蓝色分量值，得到高动态范围图像中的每个像素的像素值；

需要说明的是，根据每个像素的红色分量值、绿色分量值及蓝色分量值，获取高动态范围图像中的每个像素的像素值，与现有技术中已知一个像素的红色分量值、绿色分量值及蓝色分量值，获取该像素的像素值的方法相同，本发明在此不再赘述。

T3、将高动态范围图像中的每个像素的像素值组合得到高动态范围图像。

需要说明的是，高动态范围图像是由多个像素按照排列组合而形成的，每一个像素可以用像素值表达。

本发明实施例提供的一种高动态范围图像合成的方法，首先获取曝光度不同的第一图像与第二图像，然后对第一图像与第二图像进行双目立体匹配，得到视差图，接着根据视差图与第一图像，合成与第二图像有相同视角的虚拟视图，继而根据第二图像获取第二灰度图像，并根据虚拟视图获取虚拟视图灰度图像，并根据第二灰度图像及虚拟视图灰度图像，通过高动态范围合成算法，获取高动态范围灰度图，最终根据高动态范围灰度图、第二灰度图像、虚拟视图灰度图像、第二图像以及虚拟视图，获取高动态范围图像，这样，由于在进行虚拟视图合成时考虑了相邻像素之间的关系，因此提高了高动态范围图像的质量。

本发明实施例提供的一种高动态范围图像合成的方法，如图5所示,包括：

501、获取第一图像与第二图像。

其中，第一图像与第二图像是采用不同曝光度对同一物体同时拍摄得到的。

具体的，可参考步骤101，在此不再赘述。

502、根据第一图像与第二图像，通过双目立体匹配算法，获取视差图。

具体的，可参考步骤102，在此不再赘述。

需要说明的是，将遮挡区域的像素标记为孔洞像素的时机可以是在合成虚拟视图时，也可以是合成虚拟视图之后。确定噪声像素时根据将遮挡区域的像素标记为孔洞像素的时机不同，执行不同的步骤。若在合成虚拟视图的同时将遮挡区域的像素标记为孔洞像素，则执行步骤503a-504a以及步骤505-509；若在合成虚拟视图之后确定噪声像素时将遮挡区域的像素标记为孔洞像素，则执行步骤503b-504b以及步骤505-509。

503a、根据视差图与第一图像，合成与第二图像有相同视角的虚拟视图，并将虚拟视图中的遮挡区域的像素标记为孔洞像素。

其中，所述遮挡区域是所述第一图像与所述第二图像对同一物体拍摄的角度不同产生的区域。

需要说明的是，根据视差图与第一图像，合成与第二图像有相同视角的虚拟视图与步骤103相同，在此不再赘述。

需要说明的是，由于第一图像与第二图像的视角不同，所以在将第一图像映射到与第二图像有相同视角的虚拟视图时，不能将第一图像中的像素一一对应到第二图像的像素上，这些没有对应像素的区域映射到虚拟图像中形成了遮挡区域。

需要说明的是，将遮挡区域标记为孔洞像素的方法，可以是在虚拟视图中将噪声区域对应位置的像素的像素值全部设置为一个固定的数，如1或者0；还可以是用与虚拟视图大小相同的图像，将遮挡区域对应的位置的像素值设置为0，非遮挡区域对应的位置的像素值设置为1；还可以现有技术中标记像素的其他方法，本发明对此不做限制。

503b、根据视差图与第一图像，合成与第二图像有相同视角的虚拟视图。

具体的，可参考步骤103，在此不再赘述。

504a、将虚拟视图中的噪声像素标记为孔洞像素。

其中，所述噪声像素是由所述视差图中视差值计算错误的像素产生的。

需要说明的是，由于在计算一个像素的视差值是从候选视差值集合中选取出一个候选视差值，作为该像素的视差值，所以可能计算出的视差值会存在一定误差，当某像素的误差超过一定限度时，我们就将该像素确定为所述视差图中视差值计算错误的像素。然后在根据视差图与第一图像，合成与第二图像有相同视角的虚拟视图时，由于所述视差图中有视差值计算错误的像，所以合成的虚拟视图中会产生噪声，在此将这些噪声对应的像素定义为噪声像素。

需要说明的是，第二图像中的像素的像素值和虚拟视图中与其对应的像素的像素值之间大致存在相应的规律。比如，当第二图像中某像素的像素值在第二图像的所有像素的像素值中较小时，那么虚拟图像中与其对应的像素的像素值在虚拟图像的所有像素的像素值中也较小；当第二图像中某像素的像素值在第二图像的所有像素的像素值中较大时，那么虚拟图像中与其对应的像素的像素值在虚拟图像的所有像素的像素值中也较大。本发明实施例就是利用这种规律，将不符合此规律的像素标记为噪声像素。

示例性的，如图6所示，虚拟视图中包含了噪声像素，对于同一个位置，虚拟视图中的一个像素对应第二图像中的一个像素，将第二图像中的像素值作为横轴，虚拟视图中的像素值作为纵轴，并将靓图中位于同一位置的像素的像素值映射到图中，就得到图6右边坐标轴中的点阵。从中可以观察到，大部分的点形成了一个平滑的递增曲线，这个曲线，少量的点离映射曲线较远，这些点即为噪声。在我们的算法中，我们首先利用所有的点，估计出映射曲线，然后计算每一个点到映射曲线的距离，如果距离较大，则将该点在虚拟视图中对应的像素确定为噪声像素。

具体的，选定噪声像素与标记噪声像素的方法可参考以下步骤：

Q1、在第二图像中，确定出至少两个第二像素。

其中，第二像素是指像素值相同的像素。

具体的，将第二图像的所有像素按照像素值，将具有相同像素值的像素分为一组，被分为同一组中的所有像素叫做第二像素。

需要说明的是，当某一像素的像素值在第二图像中的所有像素中是唯一时，也就是说，第二图像中没有与该像素的像素值相同的像素时，对其不做处理。

Q2、根据第二图像中的至少两个第二像素，得到虚拟视图中的至少两个标记像素。

其中，虚拟视图中的至少两个标记像素是在虚拟视图中，与第二图像中的至少两个第二像素分别对应的像素。

具体的，在虚拟视图中依次找到第二图像中具有相同像素值的像素对应的像素。

Q3、获取虚拟视图中的至少两个标记像素的平均像素值。

具体的，首先获取至少两个标记像素中每一像素的像素值，然后将岁至少两个标记像素中每一像素的像素值求和，并除以标记像素的个数，求得至少两个标记像素的平均像素值。

Q4、依次确定虚拟视图中的至少两个标记像素中每一个标记像素的像素值与平均像素值之间的差值是否大于噪声门限值。

需要说明的是，若一个标记像素的像素值与其对应的平均像素值之间的差值大于预先设定的噪声门限值时，则将该像素确定为噪声像素；若一个标记像素的像素值与其对应的平均像素值之间的差值不大于预先设定的噪声门限值时，则确定该像素不是噪声像素。

Q5、若标记像素的像素值与平均像素值之间的差值大于噪声门限值，则将标记像素确定为噪声像素，并将噪声像素标记为孔洞像素。

需要说明的是，标记遮挡区域的方法与标记噪声像素的方法可以相同，也可以不同，本发明对此不作限制。

504b、将虚拟视图中的噪声像素和遮挡区域标记为孔洞像素。

具体的，标记遮挡区域的方法，可参考步骤503a中标记遮挡区域的方法，在此不再赘述。

具体的，确定并标记噪声像素的方法，可参考步骤504a中确定并标记噪声像素的方法，在此不再赘述。

505、根据第二图像得到第二灰度图像，并根据标记有孔洞像素的虚拟视图得到标记有孔洞像素的虚拟视图灰度图像。

具体的，对于非孔洞像素的处理方法，可参考步骤104中根据第二图像得到第二灰度图像，并根据虚拟视图得到虚拟视图灰度图像，在此不再赘述。

需要说明的是，对于标记有孔洞像素的虚拟视图中的孔洞像素，在虚拟视图灰度图像中直接将与其对应的像素标记为孔洞像素。

506、根据第二灰度图像及标记有孔洞像素的虚拟视图灰度图像，通过高动态范围合成算法，得到标记有孔洞像素的高动态范围灰度图。

具体的，对于非孔洞像素的处理方法，可参考步骤105中根据第二灰度图像及虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图，在此不再赘述。

需要说明的是，对于标记有孔洞像素的虚拟视图灰度图像中的孔洞像素，在高动态范围灰度图中直接将与其对应的像素标记为孔洞像素。

507、根据标记有孔洞像素的高动态范围灰度图、第二灰度图像、标记有孔洞像素的虚拟视图灰度图像、第二图像以及标记有孔洞像素的虚拟视图，得到标记有孔洞像素的高动态范围图像。

具体的，对于非孔洞像素的处理方法，可参考步骤106中根据高动态范围灰度图、第二灰度图像、虚拟视图灰度图像、第二图像以及虚拟视图，得到高动态范围图像，在此不再赘述。

需要说明的是，由于标记有孔洞像素的高动态范围灰度图中的孔洞像素是是根据标记有孔洞像素的虚拟视图灰度图像中的孔洞像素获取的，同时标记有孔洞像素的虚拟视图灰度图像中的孔洞像素是根据标记有孔洞像素的虚拟视图获取的，所以标记有孔洞像素的高动态范围灰度图中的孔洞像素、标记有孔洞像素的虚拟视图灰度图像中的孔洞像素与标记有孔洞像素的虚拟视图中的孔洞像素的位置是相同的。

需要说明的是，由于标记有孔洞像素的高动态范围灰度图、标记有孔洞像素的虚拟视图灰度图像与标记有孔洞像素的虚拟视图中的孔洞像素的位置是相同的，所以可以选择这三幅图像中的任意图像作为标准，在高动态范围图像中直接将与该图像中的孔洞像素对应的像素标记为孔洞像素。

508、在第二图像中，确定标记有孔洞像素的高动态范围图像每个孔洞像素对应的第一像素。

具体的，对于标记有孔洞像素的高动态范围图像中的孔洞像素，在第二图像中直接将与其对应的像素标记为孔洞像素。

需要说明的是，标记有孔洞像素的高动态范围图像中每一个孔洞像素在第二图像中都有与其对应的第一像素。

509、获取高动态范围图像中每个孔洞像素的相邻像素，与第一像素的相邻像素间的相似系数，并根据相似性系数及第一像素，得到高动态范围图像中的至少一个孔洞像素中每个孔洞像素的像素值。

需要说明的是，本实施例中利用高动态范围图像中孔洞像素的相邻像素和第二图像中对应的第一像素的相邻像素之间相似关系，作为该孔洞像素与它的第一像素间的相似关系，然后利用这个相似关系与第一像素的像素值，最终获得孔洞像素的像素值。

需要说明的是，相似关系具体可以用相似系数表示。

进一步的，对于得到高动态范围图像中任一个孔洞像素r的相邻像素，与第一像素的相邻像素间的相似系数，可以有以下三种方法。

第一种方法：

根据公式

$\begin{array}{c}[a_0,a_1,......,a_N]=\\ \arg \min {\mathrm{\Σ}}_{s\∈{\mathrm{\Ψ}}_r}\exp [-\mathrm{\γ}{(r-s)}^2]\×{[I\left(s\right)-\underset{n=.0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2\end{array}$

得到高动态范围图像中任一个孔洞像素r的相邻像素，与第一像素的相邻像素间的相似系数。

其中，s表示高动态范围图像中像素r的邻域Ψ_r中的一个像素；I(s)表示像素s的像素值；I₂(s)表示在第二图像中与像素s对应的像素的像素值；r-s表示像素r与像素s间的距离；γ是预先设定的，表示像素r与像素s间的距离的权重系数。

需要说明的是，像素r的邻域Ψ_r可以是以像素r为中心的区域，也可以不是以像素r为中心的区域。对于邻域Ψ_r与像素r的具体关系，本发明不做限制。

需要说明的是，公式x=arg minF(x)，表示x的取值为使F(x)取最小值时对应的x的值。

需要说明的是，此时，对于高动态范围图像中的每一个孔洞像素，都需要计算一次相似系数。也就是说，对于高动态范围图像中的每一个孔洞像素的相似系数都不相同。

第二种方法：

根据公式

$\begin{array}{c}[a_0,a_1,.......,a_N]=\\ \arg \min {\mathrm{\ρ}}_1{\mathrm{\Σ}}_{s\∈{\mathrm{\Φ}}_r}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2+{\mathrm{\ρ}}_2{\mathrm{\Σ}}_{s\∈A}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n^{\text{'}}{I_2}^n\left(s\right)]}^2\end{array}$

得到高动态范围图像中任一个孔洞像素r的相邻像素，与第一像素的相邻像素间的相似系数。

其中，第一比例系数ρ₁与第二比例系数ρ₂是预先设定的值；s表示高动态范围图像中像素r的邻域Φ_r中的一个像素；A表示高动态范围图像；a′_n表示在第一次计算孔洞像素的像素值时获取的相似系数。

需要说明的是，像素块Φ_r是比像素块Ψ_r更小的一个区域。

需要说明的是，像素r的邻域Φ_r可以是以像素r为中心的区域，也可以不是以像素r为中心的区域。对于邻域Φ_r与像素r的具体关系，本发明不做限制。

需要说明的是，a′_n是在计算第一个孔洞像素时，综合了高动态范围图像中的每个像素的像素值确定出的值，为了简化计算，可以将计算第一个孔洞像素时确定出的a′_n进行存储，在计算之后的孔洞像素的像素值时可以直接利用该值。

需要说明的是，可以把上述公式

$\begin{array}{c}[a_0,a_1,.......,a_N]=\\ \arg \min {\mathrm{\ρ}}_1{\mathrm{\Σ}}_{s\∈{\mathrm{\Φ}}_r}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2+{\mathrm{\ρ}}_2{\mathrm{\Σ}}_{s\∈A}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n^{\text{'}}{I_2}^n\left(s\right)]}^2\end{array}$

求导，变量是AN=[a₀,a₁,.……,a_N]，将其他的参数进行整合，就可以获取(C1+C2)*AN=(B1+B2).其中，C1,B1与公式前半段的系数相关，因此与像素s相关；C2，B2与公式后半段相关。但是，公式后半段中的系数与像素s没有关系，因此C2与B2与p不相关。在计算不同的p时，C2，B2是一样的，不需要重复计算,所以说将计算第一个孔洞像素时确定出的a′_n在之后的计算中是可以复用的，不需要重新计算。

需要说明的是，第一比例系数ρ₁是大于第二比例系数ρ₂的值。例如，可以将第一比例系数ρ₁的值设定为1，而第二比例系数ρ₂得知设定为0.001。

第三种方法：

首先，确定孔洞像素r是否有第一孔洞像素。

其中，第一孔洞像素是孔洞像素r的相邻孔洞像素中已得到像素值的孔洞像素。

其次，若确定有第一孔洞像素，则将第一孔洞像素的相似系数作为孔洞像素r的相似系数。

需要说明的是，第三种方法是利用一个孔洞像素周围已经计算出像素值的孔洞像素的相似系数，作为该孔洞像素的相似系数，以简化计算相似系数的步骤。

需要说明的是，可以将第一种方法或第二种方法与第三种方法结合起来计算高动态范围图像中每一孔洞像素的相似系数。

进一步的，对于根据高动态范围图像中的至少一个孔洞像素中任一孔洞像素r的相似系数及第一像素，得到孔洞像素r的像素值包括：根据公式得到孔洞像素r的像素值。

其中，I(r)表示孔洞像素r的像素值；I₂(r)表示在第二图像中与孔洞像素r对应的像素的像素值；a_n表示孔洞像素r的相似系数；n=0,1，……N；N为预先设定的值。

需要说明的是，发明实施例中两图像中对应像素表示在两图像中具有相同位置的像素。

需要说明的是，N的值设定的越大，计算出的结果越精确，但同时计算复杂程度相应增加。

本发明实施例提供的一种高动态范围图像合成的方法，首先获取曝光度不同的第一图像与第二图像，然后对第一图像与第二图像进行双目立体匹配，得到视差图，接着根据视差图与第一图像，合成与第二图像有相同视角的虚拟视图，继而根据第二图像获取第二灰度图像，并根据虚拟视图获取虚拟视图灰度图像，并根据第二灰度图像及虚拟视图灰度图像，通过高动态范围合成算法，获取高动态范围灰度图，最终根据高动态范围灰度图、第二灰度图像、虚拟视图灰度图像、第二图像以及虚拟视图，获取高动态范围图像，在整个获取高动态范围图像的过程中，将遮挡区域和对画面影响较大的噪声像素标记为孔洞像素，最后通过孔洞像素的相邻像素与第二图像中与孔洞像素对应的像素的相邻像素之间的关系，估计出该孔洞像素与第二图像中与其对应的像素间的关系，进而求出孔洞像素的像素值。这样，由于在进行虚拟视图合成时考虑了相邻像素之间的关系，并且对遮挡区域及噪声像素做了进一步的处理，从而提高了高动态范围图像的质量。

本发明实施例提供了一种合成视差图的方法，如图7所示，包括：

701、获取第一图像与第二图像。

其中，第一图像与第二图像是对同一物体同时拍摄得到的。

具体的，可参考步骤101，在此不再赘述。

702、获取第一图像的每个像素的候选视差值集合。

其中，候选视差值集合中包含至少两个候选视差值。

具体的，可参考步骤102中的S1，在此不再赘述。

703、根据第一图像的每个像素、与第一图像的每个像素对应的第二图像中的像素、及第一图像的每个像素的候选视差值集合，得到第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)。

其中，p表示像素p，是与候选视差值集合对应的第一图像的像素；d_i表示像素p的第i个候选视差值，i=1，……,k；k为像素p的候选视差值集合中候选视差值的总数。

需要说明的是，由于每一个像素的候选视差值集合中包含至少两个候选视差值，所以，k≥2。

进一步的，本发明提出了两种计算匹配能量E(p,d_i)的方法，如下所示：

第一种方法：根据像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)。

其中，第一拟合参数a的值与第二拟合参数b的值为使匹配能量E_d(p,d_i)为最小值时对应的值；w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；第一像素块Ω_p表示第一图像中包含像素p的一个像素块；像素q是与像素p相邻的属于第一像素块Ω_p中的像素；I₁(q)表示像素q的像素值；I₂(q-d_i)表示像素q对应的第二图像中的像素q-d_i的像素值；w_c(p,q,d_i)表示像素权重值；w_s(p,q,d_i)表示距离权重值；w_d(p,q,d_i)表示视差权重值。

进一步的，所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

具体的，可参考步骤102中的S2的第一种方法，在此不再赘述。

第二种方法：根据像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E(p,d_i)。

其中，w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

调整角度θ是预先设定大于0°且小于90°的值。

具体的，可参考步骤102中的S2的第二种方法，在此不再赘述。

704、根据第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到第一图像中每一像素的视差值。

进一步的，根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}E(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的第一图像中每一个像素的候选视差值确定为每一个像素的视差值。

其中，I表示第一图像；第二像素块N_p表示第一图像中包含像素p的一个像素块；V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；d_j表示像素q的第j个候选视差值，j=1,……,m；m为像素q的候选视差值集合中候选视差值的总数；平滑系数λ是预先设定的值；相邻像素视差之差最大值V_max是预先设定的值。

具体的，可参考步骤102中的S3，在此不再赘述。

705、将第一图像中的每个像素的视差值进行组合获取视差图。

具体的，可参考步骤102中的S4，在此不再赘述。

本发明实施例提供了一种合成视差图的方法，获取第一图像与第二图像，并获取第一图像的每个像素的候选视差值集合，然后根据第一图像的每个像素、与第一图像的每个像素对应的第二图像中的像素、及第一图像的每个像素的候选视差值集合，获取第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E(p,d_i)，接着根据第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，获取第一图像中每一像素的视差值，最后将第一图像中的每个像素的视差值进行组合获取视差图，这样，由于在计算每一个像素的视差值时，使得最终求出的视差值与视差值间的误差大幅减小，从而提高了高动态范围图像的质量。

如图8所示，其为本发明实施例所提供的一种高动态范围图像合成设备的功能示意图。参考图8所示，该高动态范围图像合成设备包括：获取单元801、视差处理单元802、虚拟视图合成单元803、灰度提取单元804、高动态范围融合单元805以及颜色插值单元806。

获取单元801，用于获取第一图像与第二图像。

其中，第一图像与第二图像是采用不同曝光度对同一物体同时拍摄得到的。

视差处理单元802，用于对所述获取单元801获取的所述第一图像与所述第二图像进行双目立体匹配，得到视差图。

进一步的，如图9所示，所述视差处理单元802包括：获取模块8021、计算模块8022、确定模块8023、组合模块8024。

获取模块8021，用于获取第一图像的每个像素的候选视差值集合。

其中，候选视差值集合中包含至少两个候选视差值。

计算模块8022，用于根据第一图像的每个像素、与第一图像的每个像素对应的第二图像中的像素、及第一图像的每个像素的候选视差值集合，得到第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)。

其中，p表示像素p，是与候选视差值集合对应的第一图像的像素。d_i表示像素p的第i个候选视差值，i=1，……,k。k为像素p的候选视差值集合中候选视差值的总数。

具体的，计算模块8022获取第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)有以下两种方法：

第一种方法，计算模块8022，具体用于根据像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)。

其中，所述第一拟合参数a的值与第二拟合参数b的值为使所述匹配能量E_d(p,d_i)为最小值时对应的值；所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；所述第一像素块Ω_p表示所述第一图像中包含所述像素p的一个像素块；所述像素q是与所述像素p相邻的属于所述第一像素块Ω_p中的像素；所述I₁(q)表示像素q的像素值；所述I₂(q-d_i)表示所述像素q对应的所述第二图像中的像素q-d_i的像素值；所述w_c(p,q,d_i)表示像素权重值；所述w_s(p,q,d_i)表示距离权重值；所述w_d(p,q,d_i)表示视差权重值。

进一步的，所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i）|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

第二种方法，计算模块8022，具体用于根据像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)。

其中，w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|′₂(p-d_i)-I′₂(q-d_i)|]获得；

I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

调整角度θ是预先设定大于0°且小于90°的值。

确定模块8023，用于根据第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到第一图像中每一像素的视差值。

具体的，确定模块8023，具体用于根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的第一图像中每一个像素的候选视差值确定为每一个像素的视差值。

其中，I表示第一图像；第二像素块N_p表示第一图像中包含像素p的一个像素块；V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；d_j表示像素q的第j个候选视差值，j=1,……,m；m为像素q的候选视差值集合中候选视差值的总数；平滑系数λ是预先设定的值；相邻像素视差之差最大值V_max是预先设定的值。

组合模块8024，用于将第一图像中的每个像素的视差值进行组合得到视差图。

虚拟视图合成单元803，用于所述视差处理单元802得到的所述视差图与所述获取单元801获取的所述第一图像，合成与第二图像有相同视角的虚拟视图。

灰度提取单元804，用于根据所述获取单元801获取的第二图像得到第二灰度图像，并根据所述虚拟视图单元803合成的虚拟视图得到虚拟视图灰度图像。

进一步的，灰度提取单元804，具体用于根据标记有孔洞像素的虚拟视图获取标记有孔洞像素的虚拟视图灰度图像。

高动态范围融合单元805，用于根据所述灰度提取单元804得到的第二灰度图像及虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图。

进一步的，高动态范围融合单元805，具体用于根据第二灰度图像及标记有孔洞像素的虚拟视图灰度图像，通过高动态范围合成算法，得到标记有孔洞像素的高动态范围灰度图。

颜色插值单元806，用于根据高动态范围灰度图、第二灰度图像、虚拟视图灰度图像、第二图像以及虚拟视图，得到高动态范围图像。

进一步的，颜色插值单元806，具体用于依次利用公式

$I^{\mathrm{red}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{red}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{red}}\left(e\right),$

$I^{\mathrm{green}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{green}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{green}}\left(e\right)$ 及

$I^{\mathrm{blue}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{blue}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{blue}}\left(e\right),$

求得高动态范围图像中每个像素的红色分量值I^red(e)、绿色分量值I^green(e)及蓝色分量值I^blue(e)。

其中，e表示高动态范围图像中的像素e；I^grey(e)表示在高动态范围灰度图中与像素e对应的像素的像素值，表示在第二灰度图像中与像素e对应的像素的像素值，表示在虚拟视图灰度图像中与像素e对应的像素的像素值；及分别表示在第二图像中与像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；及分别表示在虚拟视图中与像素e对应的像素的红色分量值、绿色分量值及蓝色分量值。

颜色插值单元806，具体用于根据高动态范围图像中的每个像素的红色分量值、绿色分量值及蓝色分量值，获取高动态范围图像中的每个像素的像素值。

颜色插值单元806，具体用于将高动态范围图像中的每个像素的像素值组合获取高动态范围图像。

进一步的，颜色插值单元806，具体用于根据标记有孔洞像素的高动态范围灰度图、第二灰度图像、标记有孔洞像素的虚拟视图灰度图像、第二图像以及标记有孔洞像素的虚拟视图，得到标记有孔洞像素的高动态范围图像。

进一步的，如图10所示，所述高动态范围图像合成设备还包括：孔洞像素处理单元807。

孔洞像素处理单元807，用于将所述虚拟视图中的噪声像素或所述遮挡区域标记为孔洞像素。

其中，所述遮挡区域是所述第一图像与所述第二图像对同一物体拍摄的角度不同产生的区域；所述噪声像素是由所述视差图中视差值计算错误的像素产生的。

具体的，孔洞像素处理单元807，具体用于在第二图像中，确定出至少两个第二像素。

其中，第二像素是指像素值相同的像素。

孔洞像素处理单元807，具体用于根据第二图像中的至少两个第二像素，得到虚拟视图中的至少两个标记像素。

其中，虚拟视图中的至少两个标记像素是在虚拟视图中，与第二图像中的至少两个第二像素分别对应的像素。

孔洞像素处理单元807，具体用于获取虚拟视图中的至少两个标记像素的平均像素值。

孔洞像素处理单元807，具体用于依次确定虚拟视图中的至少两个标记像素中每一个标记像素的像素值与平均像素值之间的差值是否大于噪声门限值。

其中，噪声门限值是预先设定的用于判断噪声的值。

孔洞像素处理单元807，具体用于在标记像素的像素值与平均像素值之间的差值大于噪声门限值的情况下，将标记像素确定为噪声像素，并将噪声像素标记为孔洞像素。

孔洞像素处理单元807，还用于在第二图像中，确定标记有孔洞像素的高动态范围图像中每个孔洞像素对应的第一像素。

孔洞像素处理单元807，还用于获取高动态范围图像中每个孔洞像素的相邻像素，与第一像素的相邻像素间的相似系数；并根据相似性系数及第一像素，得到高动态范围图像中的至少一个孔洞像素中每个孔洞像素的像素值。

具体的，孔洞像素处理单元807获取高动态范围图像中每个孔洞像素的相邻像素，与第一像素的相邻像素间的相似系数可以有以下三种方法：

第一种方法，孔洞像素处理单元807，具体用于根据公式

$\begin{array}{c}[a_0,a_1,......,a_N]=\\ \arg \min {\mathrm{\Σ}}_{s\∈{\mathrm{\Ψ}}_r}\exp [-\mathrm{\γ}{(r-s)}^2]\×{[I\left(s\right)-\underset{n=.0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2\end{array}$

得到高动态范围图像中任一个孔洞像素r的相邻像素，与第一像素的相邻像素间的相似系数。

其中，s表示高动态范围图像中像素r的邻域Ψ_r中的一个像素；I(s)表示像素s的像素值；I₂(s)表示在第二图像中与像素s对应的像素的像素值；r-s表示像素r与像素s间的距离；γ是预先设定的，表示像素r与像素s间的距离的权重系数。

第二种方法，孔洞像素处理单元807，具体用于根据公式

[a₀,a₁,.……,a_N]=

$\begin{array}{c}\arg \min {\mathrm{\ρ}}_1{\mathrm{\Σ}}_{s\∈{\mathrm{\Φ}}_r}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2+{\mathrm{\ρ}}_2{\mathrm{\Σ}}_{s\∈A}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n^{\text{'}}{I_2}^n\left(s\right)]}^2\end{array}$

得到高动态范围图像中任一个孔洞像素r的相邻像素，与第一像素的相邻像素间的相似系数。

其中，第一比例系数ρ₁与第二比例系数ρ₂是预先设定的值；s表示高动态范围图像中像素r的邻域Φ_r中的一个像素；A表示高动态范围图像；a′_n表示在第一次计算孔洞像素的像素值时获取的相似系数。

第三种方法，孔洞像素处理单元807，具体用于确定孔洞像素r是否有第一孔洞像素；在确定有第一孔洞像素的情况下，将第一孔洞像素的相似系数作为孔洞像素r的相似系数。

其中，第一孔洞像素是孔洞像素r的相邻孔洞像素中已得到像素值的孔洞像素。

具体的，孔洞像素处理单元807，具体用于根据公式得到孔洞像素r的像素值。

其中，I(r)表示孔洞像素r的像素值；I₂(r)表示在第二图像中与孔洞像素r对应的像素的像素值；a_n表示孔洞像素r的相似系数；n=0,1，……N；N为预先设定的值。

本发明实施例提供的一种高动态范围图像合成设备，首先获取曝光度不同的第一图像与第二图像，然后对第一图像与第二图像进行双目立体匹配，得到视差图，接着根据视差图与第一图像，合成与第二图像有相同视角的虚拟视图，继而根据第二图像获取第二灰度图像，并根据虚拟视图获取虚拟视图灰度图像，并根据第二灰度图像及虚拟视图灰度图像，通过高动态范围合成算法，获取高动态范围灰度图，最终根据高动态范围灰度图、第二灰度图像、虚拟视图灰度图像、第二图像以及虚拟视图，获取高动态范围图像，在整个获取高动态范围图像的过程中，将遮挡区域和对画面影响较大的噪声像素标记为孔洞像素，最后通过孔洞像素的相邻像素与第二图像中与孔洞像素对应的像素的相邻像素之间的关系，估计出该孔洞像素与第二图像中与其对应的像素间的关系，进而求出孔洞像素的像素值。这样，由于在进行虚拟视图合成时考虑了相邻像素之间的关系，并且对遮挡区域及噪声像素做了进一步的处理，因此提高了高动态范围图像的质量。

如图11所示，其为本发明实施例所提供的一种设备的功能示意图。参考图11所示，该设备包括：获取单元1101、计算单元1102、确定单元1103以及处理单元1104。

获取单元1101，用于获取第一图像与第二图像.

其中，第一图像与第二图像是对同一物体同时拍摄得到的；

获取单元1101，还用于获取第一图像的每个像素的候选视差值集合.

其中，候选视差值集合中包含至少两个候选视差值。

计算单元1102，用于根据第一图像的每个像素、与第一图像的每个像素对应的第二图像中的像素、及第一图像的每个像素的候选视差值集合，得到第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)。

其中，p表示像素p，是与候选视差值集合对应的第一图像的像素；d_i表示像素p的第i个候选视差值，i=1，……,k；k为像素p的候选视差值集合中候选视差值的总数。

进一步的，计算单元1102得到第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E(p,d_i)有以下两种方法：

第一种方法，计算单元1102，具体用于根据像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)。

其中，第一拟合参数a的值与第二拟合参数b的值为使匹配能量E_d(p,d_i)为最小值时对应的值；w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；第一像素块Ω_p表示第一图像中包含像素p的一个像素块；像素q是与像素p相邻的属于第一像素块Ω_p中的像素；I₁(q)表示像素q的像素值；I₂(q-d_i)表示像素q对应的第二图像中的像素q-d_i的像素值；w_c(p,q,d_i)表示像素权重值；w_s(p,q,d_i)表示距离权重值；w_d(p,q,d_i)表示视差权重值。

进一步的，像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i）|]获得；

距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，I₁(p)表示像素p的像素值；I₂(p-d_i)表示像素p对应的第二图像中的像素p-d_i的像素值；第一权重系数β₁、第二权重系数β₂、第三权重系数β₃及第四权重系数β₄是预先设定的值。

第二种方法，计算单元1102，具体用于根据像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)。

其中，w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

调整角度θ是预先设定大于0°且小于90°的值。

确定单元1104，用于根据第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到第一图像中每一像素的视差值。

进一步的，确定单元1104，具体用于根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的第一图像中每一个像素的候选视差值确定为每一个像素的视差值。

其中，I表示第一图像；第二像素块N_p表示第一图像中包含像素p的一个像素块；V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；d_j表示像素q的第j个候选视差值，j=1,……,m；m为像素q的候选视差值集合中候选视差值的总数；平滑系数λ是预先设定的值；相邻像素视差之差最大值V_max是预先设定的值。

处理单元1105，用于将第一图像中的每个像素的视差值进行组合得到视差图。

本发明实施例提供了一种设备，获取第一图像与第二图像，并获取第一图像的每个像素的候选视差值集合，然后根据第一图像的每个像素、与第一图像的每个像素对应的第二图像中的像素、及第一图像的每个像素的候选视差值集合，获取第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E(p,d_i)，接着根据第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，获取第一图像中每一像素的视差值，最后将第一图像中的每个像素的视差值进行组合获取视差图，这样，由于在计算每一个像素的视差值时，使得最终求出的视差值与视差值间的误差大幅减小，从而提高了高动态范围图像的质量。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (36)

1.一种高动态范围图像合成的方法，其特征在于，包括：

获取第一图像与第二图像；所述第一图像与所述第二图像是采用不同曝光度对同一物体同时拍摄得到的；

对所述第一图像与所述第二图像进行双目立体匹配，得到视差图；

根据所述视差图与所述第一图像，合成与所述第二图像有相同视角的虚拟视图；

根据所述第二图像得到第二灰度图像，并根据所述虚拟视图得到虚拟视图灰度图像；

根据所述第二灰度图像及所述虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图；

根据所述高动态范围灰度图、所述第二灰度图像、所述虚拟视图灰度图像、所述第二图像以及所述虚拟视图，得到高动态范围图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述根据所述视差图与所述第一图像，合成与所述第二图像有相同视角的虚拟视图时，将所述虚拟视图中的遮挡区域的像素标记为孔洞像素；所述遮挡区域是所述第一图像与所述第二图像对同一物体拍摄的角度不同产生的区域；或者，

在所述根据所述视差图与所述第一图像，合成与所述第二图像有相同视角的虚拟视图之后，在所述根据所述第二图像得到第二灰度图像，并根据所述虚拟视图得到虚拟视图灰度图像之前，所述方法还包括：将所述虚拟视图中的噪声像素或所述遮挡区域标记为孔洞像素；所述噪声像素是由所述视差图中视差值计算错误的像素产生的；

所述根据所述虚拟视图得到虚拟视图灰度图像包括：

根据标记有孔洞像素的虚拟视图得到标记有孔洞像素的虚拟视图灰度图像；

所述根据所述第二灰度图像及所述虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图包括：

根据所述第二灰度图像及所述标记有孔洞像素的虚拟视图灰度图像，通过高动态范围合成算法，得到标记有孔洞像素的高动态范围灰度图；

所述根据所述高动态范围灰度图、所述第二灰度图像、所述虚拟视图灰度图像、所述第二图像以及所述虚拟视图，得到高动态范围图像包括：

根据所述标记有孔洞像素的高动态范围灰度图、所述第二灰度图像、所述标记有孔洞像素的虚拟视图灰度图像、所述第二图像以及所述标记有孔洞像素的虚拟视图，得到标记有孔洞像素的高动态范围图像；

在所述根据所述高动态范围灰度图、所述第二图像及所述虚拟视图灰度图像，得到高动态范围图像之后，所述方法还包括：

在所述第二图像中，确定所述标记有孔洞像素的高动态范围图像中每个孔洞像素对应的第一像素；

获取所述高动态范围图像中每个孔洞像素的相邻像素，与所述第一像素的相邻像素间的相似系数；并根据所述相似性系数及所述第一像素，得到所述高动态范围图像中每个孔洞像素的像素值。

3.根据权利要求1或2所述的方法，其特征在于，

所述对所述第一图像与所述第二图像进行双目立体匹配，得到视差图包括：

获取所述第一图像的每个像素的候选视差值集合；其中，所述候选视差值集合中包含至少两个候选视差值；

根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)；其中，p表示像素p，是与所述候选视差值集合对应的所述第一图像的像素；所述d_i表示像素p的第i个候选视差值，i=1，……,k；所述k为像素p的候选视差值集合中候选视差值的总数；

根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值；

将所述第一图像中的每个像素的视差值进行组合得到所述视差图。

4.根据权利要求3所述的方法，其特征在于，

所述根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)包括：

根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；其中，所述第一拟合参数a的值与第二拟合参数b的值为使所述匹配能量E_d(p,d_i)为最小值时对应的值；所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；所述第一像素块Ω_p表示所述第一图像中包含所述像素p的一个像素块；所述像素q是与所述像素p相邻的属于所述第一像素块Ω_p中的像素；所述I₁(q)表示像素q的像素值；所述I₂(q-d_i)表示所述像素q对应的所述第二图像中的像素q-d_i的像素值；所述w_c(p,q,d_i)表示像素权重值；所述w_s(p,q,d_i)表示距离权重值；所述w_d(p,q,d_i)表示视差权重值。

5.根据权利要求4所述的方法，其特征在于，

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

6.根据权利要求3所述的方法，其特征在于，

所述根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)包括：

根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；

其中，所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

所述I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

所述I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

所述I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

所述调整角度θ是预先设定大于0°且小于90°的值。

7.根据权利要求3-6任一项所述的方法，其特征在于，

所述根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值包括：

根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使所述像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的所述第一图像中每一个像素的候选视差值确定为每一个像素的视差值；其中，所述I表示所述第一图像；所述第二像素块N_p表示所述第一图像中包含所述像素p的一个像素块；所述V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；所述d_j表示像素q的第j个候选视差值，j=1,……,m；所述m为像素q的候选视差值集合中候选视差值的总数；所述平滑系数λ是预先设定的值；所述相邻像素视差之差最大值V_max是预先设定的值。

8.根据权利要求1-7任一项所述的方法，其特征在于，

所述根据所述高动态范围灰度图、所述第二灰度图像、所述虚拟视图灰度图像、所述第二图像以及所述虚拟视图，得到高动态范围图像包括：

依次利用公式

$I^{\mathrm{red}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{red}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{red}}\left(e\right),$

$I^{\mathrm{green}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{green}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{green}}\left(e\right)$ 及

$I^{\mathrm{blue}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{blue}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{blue}}\left(e\right),$

求得所述高动态范围图像中每个像素的红色分量值I^red(e)、绿色分量值I^green(e)及蓝色分量值I^blue(e)；其中，所述e表示所述高动态范围图像中的像素e；所述I^grey(e)表示在所述高动态范围灰度图中与所述像素e对应的像素的像素值，表示在所述第二灰度图像中与所述像素e对应的像素的像素值，表示在所述虚拟视图灰度图像中与所述像素e对应的像素的像素值；所述所述及所述分别表示在所述第二图像中与所述像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；所述所述及所述分别表示在所述虚拟视图中与所述像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；

根据所述高动态范围图像中的每个像素的红色分量值、绿色分量值及蓝色分量值，得到所述高动态范围图像中的每个像素的像素值；

将所述高动态范围图像中的每个像素的像素值组合得到所述高动态范围图像。

9.根据权利要求2-8任一项所述的方法，其特征在于，

所述将所述虚拟视图中的噪声像素标记为孔洞像素包括：

在所述第二图像中，确定出至少两个第二像素；所述第二像素是指像素值相同的像素；

根据所述第二图像中的所述至少两个第二像素，得到所述虚拟视图中的至少两个标记像素；所述虚拟视图中的至少两个标记像素是在所述虚拟视图中，与所述第二图像中的所述至少两个第二像素分别对应的像素；

获取述虚拟视图中的至少两个标记像素的平均像素值；

依次确定所述虚拟视图中的至少两个标记像素中每一个标记像素的像素值与所述平均像素值之间的差值是否大于所述噪声门限值；

若所述标记像素的像素值与所述平均像素值之间的差值大于所述噪声门限值，则将所述标记像素确定为噪声像素，并将所述噪声像素标记为孔洞像素。

10.根据权利要求2-9任一项所述的方法，其特征在于，

对于根据所述高动态范围图像中任一孔洞像素r的相似系数及所述第一像素，得到所述孔洞像素r的像素值包括：

根据公式得到所述孔洞像素r的像素值；其中，所述I(r)表示所述孔洞像素r的像素值；所述I₂(r)表示在所述第二图像中与所述孔洞像素r对应的像素的像素值；所述a_n表示所述孔洞像素r的相似系数；所述n=0,1，……N；所述N为预先设定的值。

11.根据权利要求10所述的方法，其特征在于，

对于获取所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数包括：

根据公式

$\begin{array}{c}[a_0,a_1,......,a_N]=\\ \arg \min {\mathrm{\Σ}}_{s\∈{\mathrm{\Ψ}}_r}\exp [-\mathrm{\γ}{(r-s)}^2]\×{[I\left(s\right)-\underset{n=.0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2\end{array}$

得到所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数；其中，所述s表示所述高动态范围图像中所述像素r的邻域Ψ_r中的一个像素；所述I(s)表示所述像素s的像素值；所述I₂(s)表示在所述第二图像中与所述像素s对应的像素的像素值；所述r-s表示所述像素r与所述像素s间的距离；所述γ是预先设定的，表示所述像素r与所述像素s间的距离的权重系数。

12.根据权利要求10所述的方法，其特征在于，

对于获取所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数包括：

根据公式

$\begin{array}{c}[a_0,a_1,.......,a_N]=\\ \arg \min {\mathrm{\ρ}}_1{\mathrm{\Σ}}_{s\∈{\mathrm{\Φ}}_r}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2+{\mathrm{\ρ}}_2{\mathrm{\Σ}}_{s\∈A}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n^{\text{'}}{I_2}^n\left(s\right)]}^2\end{array}$

得到所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数；其中，第一比例系数ρ₁与第二比例系数ρ₂是预先设定的值；所述s表示所述高动态范围图像中所述像素r的邻域Φ_r中的一个像素；所述A表示所述高动态范围图像；所述a′_n表示在第一次计算孔洞像素的像素值时得到的相似系数。

13.根据权利要求10所述的方法，其特征在于，

对于获取所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数包括：

确定所述孔洞像素r是否有第一孔洞像素；所述第一孔洞像素是所述孔洞像素r的相邻孔洞像素中已得到像素值的孔洞像素；

若确定有所述第一孔洞像素，则将所述第一孔洞像素的相似系数作为所述孔洞像素r的相似系数。

14.一种合成视差图的方法，其特征在于，包括：

获取第一图像与第二图像；所述第一图像与所述第二图像是对同一物体同时拍摄得到的；

获取所述第一图像的每个像素的候选视差值集合；其中，所述候选视差值集合中包含至少两个候选视差值；

根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)；其中，p表示像素p，是与所述候选视差值集合对应的所述第一图像的像素；所述d_i表示所述像素p的第i个候选视差值，i=1，……,k；所述k为所述像素p的候选视差值集合中候选视差值的总数；

根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值；

将所述第一图像中的每个像素的视差值进行组合得到所述视差图。

15.根据权利要求14所述的方法，其特征在于，

所述根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)包括：

根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；其中，所述第一拟合参数a的值与第二拟合参数b的值为使所述匹配能量E_d(p,d_i)为最小值时对应的值；所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；所述第一像素块Ω_p表示所述第一图像中包含所述像素p的一个像素块；所述像素q是与所述像素p相邻的属于所述第一像素块Ω_p中的像素；所述I₁(q)表示像素q的像素值；所述I₂(q-d_i)表示所述像素q对应的所述第二图像中的像素q-d_i的像素值；所述w_c(p,q,d_i)表示像素权重值；所述w_s(p,q,d_i)表示距离权重值；所述w_d(p,q,d_i)表示视差权重值。

16.根据权利要求15所述的方法，其特征在于，

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

17.根据权利要求14所述的方法，其特征在于，

所述根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)包括：

根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；

其中，所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

所述I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

所述I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

所述I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

所述调整角度θ是预先设定大于0°且小于90°的值。

18.根据权利要求14-17任一项所述的方法，其特征在于，

所述根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值包括：

根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使所述像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的所述第一图像中每一个像素的候选视差值确定为每一个像素的视差值；其中，所述I表示所述第一图像；所述第二像素块N_p表示所述第一图像中包含所述像素p的一个像素块；所述V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；所述d_j表示像素q的第j个候选视差值，j=1,……,m；所述m为像素q的候选视差值集合中候选视差值的总数；所述平滑系数λ是预先设定的值；所述相邻像素视差之差最大值V_max是预先设定的值。

19.一种高动态范围图像合成设备，其特征在于，包括：

获取单元，用于获取第一图像与第二图像；所述第一图像与所述第二图像是采用不同曝光度对同一物体同时拍摄得到的；

视差处理单元，用于对所述获取单元获取的所述第一图像与所述第二图像进行双目立体匹配，得到视差图；

虚拟视图合成单元，用于根据所述视差处理单元得到的所述视差图与所述获取单元获取的所述第一图像，合成与所述第二图像有相同视角的虚拟视图；

灰度提取单元，用于根据所述获取单元获取的所述第二图像得到第二灰度图像，并根据所述虚拟视图单元合成的所述虚拟视图得到虚拟视图灰度图像；

高动态范围融合单元，用于根据所述灰度提取单元得到的所述第二灰度图像及所述虚拟视图灰度图像，通过高动态范围合成算法，得到高动态范围灰度图；

颜色插值单元，用于根据所述高动态范围灰度图、所述第二灰度图像、所述虚拟视图灰度图像、所述第二图像以及所述虚拟视图，得到高动态范围图像。

20.根据权利要求19所述的设备，其特征在于，还包括：孔洞像素处理单元：

所述孔洞像素处理单元，用于将所述虚拟视图中的噪声像素和/或所述遮挡区域标记为孔洞像素；所述遮挡区域是所述第一图像与所述第二图像对同一物体拍摄的角度不同产生的区域；所述噪声像素是由所述视差图中视差值计算错误的像素产生的；

所述灰度提取单元，具体用于根据标记有孔洞像素的虚拟视图得到标记有孔洞像素的虚拟视图灰度图像；

所述高动态范围融合单元，具体用于根据所述第二灰度图像及所述标记有孔洞像素的虚拟视图灰度图像，通过高动态范围合成算法，得到标记有孔洞像素的高动态范围灰度图；

所述颜色插值单元，具体用于根据所述标记有孔洞像素的高动态范围灰度图、所述第二灰度图像、所述标记有孔洞像素的虚拟视图灰度图像、所述第二图像以及所述标记有孔洞像素的虚拟视图，得到标记有孔洞像素的高动态范围图像；

所述孔洞像素处理单元，还用于在所述第二图像中，确定所述标记有孔洞像素的高动态范围图像中每个孔洞像素对应的第一像素；

所述孔洞像素处理单元，还用于获取所述高动态范围图像中每个孔洞像素的相邻像素，与所述第一像素的相邻像素间的相似系数；并根据所述相似性系数及所述第一像素，得到所述高动态范围图像中每个孔洞像素的像素值。

21.根据权利要求19或20所述的设备，其特征在于，所述视差处理单元包括：获取模块、计算模块、确定模块、组合模块；

所述获取模块，用于获取所述第一图像的每个像素的候选视差值集合；其中，所述候选视差值集合中包含至少两个候选视差值；

所述计算模块，用于根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)；其中，p表示像素p，是与所述候选视差值集合对应的所述第一图像的像素；所述d_i表示像素p的第i个候选视差值，i=1，……,k；所述k为像素p的候选视差值集合中候选视差值的总数；

所述确定模块，用于根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值；

所述组合模块，用于将所述第一图像中的每个像素的视差值进行组合得到所述视差图。

22.根据权利要求21所述的设备，其特征在于，

所述计算模块，具体用于根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；其中，所述第一拟合参数a的值与第二拟合参数b的值为使所述匹配能量E_d(p,d_i)为最小值时对应的值；所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；所述第一像素块Ω_p表示所述第一图像中包含所述像素p的一个像素块；所述像素q是与所述像素p相邻的属于所述第一像素块Ω_p中的像素；所述I₁(q)表示像素q的像素值；所述I₂(q-d_i)表示所述像素q对应的所述第二图像中的像素q-d_i的像素值；所述w_c(p,q,d_i)表示像素权重值；所述w_s(p,q,d_i)表示距离权重值；所述w_d(p,q,d_i)表示视差权重值。

23.根据权利要求22所述的设备，其特征在于，

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

24.根据权利要求21所述的设备，其特征在于，

所述计算模块，具体用于根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；

其中，所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

所述I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

所述I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

所述I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

所述调整角度θ是预先设定大于0°且小于90°的值。

25.根据权利要求21-24任一项所述的设备，其特征在于，

所述确定模块，具体用于根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使所述像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的所述第一图像中每一个像素的候选视差值确定为每一个像素的视差值；其中，所述I表示所述第一图像；所述第二像素块N_p表示所述第一图像中包含所述像素p的一个像素块；所述V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；所述d_j表示像素q的第j个候选视差值，j=1,……,m；所述m为像素q的候选视差值集合中候选视差值的总数；所述平滑系数λ是预先设定的值；所述相邻像素视差之差最大值V_max是预先设定的值。

26.根据权利要求19-25任一项所述的设备，其特征在于，

所述颜色插值单元，具体用于依次利用公式

$I^{\mathrm{red}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{red}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{red}}\left(e\right),$

$I^{\mathrm{green}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{green}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{green}}\left(e\right)$ 及

$I^{\mathrm{blue}}\left(e\right)=\mathrm{\η}\left(e\right)I_2^{\mathrm{blue}}\left(e\right)+[1-\mathrm{\η}\left(e\right)]\×I_3^{\mathrm{blue}}\left(e\right),$

求得所述高动态范围图像中每个像素的红色分量值I^red(e)、绿色分量值I^green(e)及蓝色分量值I^blue(e)；其中，所述e表示所述高动态范围图像中的像素e；所述I^grey(e)表示在所述高动态范围灰度图中与所述像素e对应的像素的像素值，表示在所述第二灰度图像中与所述像素e对应的像素的像素值，表示在所述虚拟视图灰度图像中与所述像素e对应的像素的像素值；所述所述及所述分别表示在所述第二图像中与像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；所述所述及所述分别表示在所述虚拟视图中与所述像素e对应的像素的红色分量值、绿色分量值及蓝色分量值；

所述颜色插值单元，具体用于根据所述高动态范围图像中的每个像素的红色分量值、绿色分量值及蓝色分量值，得到所述高动态范围图像中的每个像素的像素值；

所述颜色插值单元，具体用于将所述高动态范围图像中的每个像素的像素值组合得到所述高动态范围图像。

27.根据权利要求20-26任一项所述的设备，其特征在于，

所述孔洞像素处理单元，具体用于在所述第二图像中，确定出至少两个第二像素；所述第二像素是指像素值相同的像素；

所述孔洞像素处理单元，具体用于根据所述第二图像中的所述至少两个第二像素，得到所述虚拟视图中的至少两个标记像素；所述虚拟视图中的至少两个标记像素是在所述虚拟视图中，与所述第二图像中的所述至少两个第二像素分别对应的像素；

所述孔洞像素处理单元，具体用于获取所述虚拟视图中的至少两个标记像素的平均像素值；

所述孔洞像素处理单元，具体用于依次确定所述虚拟视图中的至少两个标记像素中每一个标记像素的像素值与所述平均像素值之间的差值是否大于所述噪声门限值；

所述孔洞像素处理单元，具体用于在所述标记像素的像素值与所述平均像素值之间的差值大于所述噪声门限值的情况下，将所述标记像素确定为噪声像素，并将所述噪声像素标记为孔洞像素。

28.根据权利要求20-27任一项所述的设备，其特征在于，

所述孔洞像素处理单元，具体用于根据公式得到所述孔洞像素r的像素值；其中，所述I(r)表示所述孔洞像素r的像素值；所述I₂(r)表示在所述第二图像中与所述孔洞像素r对应的像素的像素值；所述a_n表示所述孔洞像素r的相似系数；所述n=0,1，……N；所述N为预先设定的值。

29.根据权利要求28所述的设备，其特征在于，

所述孔洞像素处理单元，具体用于根据公式

$\begin{array}{c}[a_0,a_1,......,a_N]=\\ \arg \min {\mathrm{\Σ}}_{s\∈{\mathrm{\Ψ}}_r}\exp [-\mathrm{\γ}{(r-s)}^2]\×{[I\left(s\right)-\underset{n=.0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2\end{array}$

得到所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数；其中，所述s表示所述高动态范围图像中所述像素r的邻域Ψ_r中的一个像素；所述I(s)表示所述像素s的像素值；所述I₂(s)表示在所述第二图像中与所述像素s对应的像素的像素值；所述r-s表示所述像素r与所述像素s间的距离；所述γ是预先设定的，表示所述像素r与所述像素s间的距离的权重系数。

30.根据权利要求28所述的设备，其特征在于，

所述孔洞像素处理单元，具体用于根据公式

$\begin{array}{c}[a_0,a_1,.......,a_N]=\\ \arg \min {\mathrm{\ρ}}_1{\mathrm{\Σ}}_{s\∈{\mathrm{\Φ}}_r}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n{I_2}^n\left(s\right)]}^2+{\mathrm{\ρ}}_2{\mathrm{\Σ}}_{s\∈A}{[I\left(s\right)-\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_n^{\text{'}}{I_2}^n\left(s\right)]}^2\end{array}$

得到所述高动态范围图像中任一个孔洞像素r的相邻像素，与所述第一像素的相邻像素间的相似系数；其中，第一比例系数ρ₁与第二比例系数ρ₂是预先设定的值；所述s表示所述高动态范围图像中所述像素r的邻域Φ_r中的一个像素；所述A表示所述高动态范围图像；所述a′_n表示在第一次计算孔洞像素的像素值时得到的相似系数。

31.根据权利要求28所述的设备，其特征在于，

所述孔洞像素处理单元，具体用于确定所述孔洞像素r是否有第一孔洞像素；所述第一孔洞像素是所述孔洞像素r的相邻孔洞像素中已得到像素值的孔洞像素；

所述孔洞像素处理单元，具体用于在确定有所述第一孔洞像素的情况下，将所述第一孔洞像素的相似系数作为所述孔洞像素r的相似系数。

32.一种设备，其特征在于，包括：

获取单元，用于获取第一图像与第二图像；所述第一图像与所述第二图像是对同一物体同时拍摄得到的；

所述获取单元，还用于获取所述第一图像的每个像素的候选视差值集合；其中，所述候选视差值集合中包含至少两个候选视差值；

计算单元，用于根据所述第一图像的每个像素、与所述第一图像的每个像素对应的所述第二图像中的像素、及所述第一图像的每个像素的候选视差值集合，得到所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)；其中，p表示像素p，是与所述候选视差值集合对应的所述第一图像的像素；所述d_i表示所述像素p的第i个候选视差值，i=1，……,k；所述k为所述像素p的候选视差值集合中候选视差值的总数；

确定单元，用于根据所述第一图像的每个像素的候选视差值集合中的每一个候选视差值的匹配能量E_d(p,d_i)，得到所述第一图像中每一像素的视差值；

处理单元，用于将所述第一图像中的每个像素的视差值进行组合得到所述视差图。

33.根据权利要求32所述的设备，其特征在于，

所述计算单元，具体用于根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1\left(q\right)-a\×I_2(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；其中，所述第一拟合参数a的值与第二拟合参数b的值为使所述匹配能量E_d(p,d_i)为最小值时对应的值；所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；所述第一像素块Ω_p表示所述第一图像中包含所述像素p的一个像素块；所述像素q是与所述像素p相邻的属于所述第一像素块Ω_p中的像素；所述I₁(q)表示像素q的像素值；所述I₂(q-d_i)表示所述像素q对应的所述第二图像中的像素q-d_i的像素值；所述w_c(p,q,d_i)表示像素权重值；所述w_s(p,q,d_i)表示距离权重值；所述w_d(p,q,d_i)表示视差权重值。

34.根据权利要求33所述的设备，其特征在于，

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I₁(p)-I₁(q)|×|I₂(p-d_i)-I₂(q-d_i)|]获得；

其中，所述I₁(p)表示所述像素p的像素值；所述I₂(p-d_i)表示所述像素p对应的所述第二图像中的像素p-d_i的像素值；所述第一权重系数β₁、所述第二权重系数β₂、所述第三权重系数β₃及所述第四权重系数β₄是预先设定的值。

35.根据权利要求32所述的设备，其特征在于，

所述计算单元，具体用于根据所述像素p的候选视差集合中的每一个候选视差值，利用公式

$E_d(p,d_i)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)\×{[I_1^{\text{'}}\left(q\right)-a\×I_2^{\text{'}}(q-d_i)-b]}^2}{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ω}}_p}w(p,q,d_i)}$

求得所述像素p对于候选视差值集合中的每一个候选视差值d_i的匹配能量E_d(p,d_i)；

其中，所述w(p,q,d_i)=w_c(p,q,d_i)w_s(p,q,d_i)w_d(p,q,d_i)；

所述像素权重值w_c(p,q,d_i)可以根据公式

w_c(p,q,d_i)=exp[-β₁×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述距离权重值w_s(p,q,d_i)可以根据公式

w_s(p,q,d_i)=exp[-β₂×(p-q)²]获得；

所述视差权重值w_d(p,q,d_i)可以根据公式

w_d(p,q,d_i)=exp[-β₃×(p-q)²-β₄×|I′₁(p)-I′₁(q)|×|I′₂(p-d_i)-I′₂(q-d_i)|]获得；

所述I′₁(p)=I₁(p)cosθ-I₂(p-d_i)sinθ；

所述I′₂(p-d_i)=I₁(p)sinθ-I₂(p-d_i)cosθ；

所述I′₁(q)=I₁(q)cosθ-I₂(q-d_i)sinθ；

所述I′₂(q-d_i)=I₁(q)sinθ-I₂(q-d_i)cosθ；

所述调整角度θ是预先设定大于0°且小于90°的值。

36.根据权利要求32-35任一项所述的设备，其特征在于，

所述确定单元，具体用于根据公式

$E\left(d_i\right)={\mathrm{\Σ}}_{p\∈I}{E}_d(p,d_i)+{\mathrm{\Σ}}_{p\∈I}{\mathrm{\Σ}}_{q\∈N_p}{V}_{p,q}(d_i,d_j),$

求出将使所述像素p候选视差值集合中的每一个候选视差值d_i的候选能量E(d_i)为最小值时，对应的所述第一图像中每一个像素的候选视差值确定为每一个像素的视差值；其中，所述I表示所述第一图像；所述第二像素块N_p表示所述第一图像中包含所述像素p的一个像素块；所述V_p,q(d_i,d_j)=λ×min(|d_i-d_j|,V_max)；所述d_j表示像素q的第j个候选视差值，j=1,……,m；所述m为像素q的候选视差值集合中候选视差值的总数；所述平滑系数λ是预先设定的值；所述相邻像素视差之差最大值V_max是预先设定的值。