CN102521814B - 基于多聚焦融合和图像拼接的无线传感网络图像融合方法 - Google Patents

Abstract

本发明公开了基于多聚焦融合和图像拼接的无线传感网络图像融合方法。该方法在图像采集节点首先进行多聚焦图像采集，调用基于方向区域能量的多聚焦图像融合算法进行多聚焦图像融合，通过自适应梯度门限值判定方法选取聚焦图像传给拼接处理节点，在拼接处理节点对不同采集节点或同一采集节点的不同方向得到的多聚焦图像进行图像拼接，获得一幅具有多方位多聚焦的融合图像，再对其进行传输。本发明结合多聚焦图像融合技术以及图像拼接技术，对需要传输的大量图像数据进行了有效融合，减少了传感网络数据传输量和传输能耗，同时让用户获得更直接更丰富的信息，采用自适应梯度门限值判定方法选取拼接素材，减小了聚焦模糊图像对融合结果的不利影响。

Description

基于多聚焦融合和图像拼接的无线传感网络图像融合方法

技术领域

本发明涉及无线传感网络的数据融合技术，特别是涉及基于多聚焦融合和图像拼接的无线传感网络图像融合方法。

背景技术

无线传感网络中的数据融合技术(data aggregation or data fusion)是对传感器采集的数据或信息进行处理，组合出更符合用户需求且更有效的数据的过程。数据融合需要对节点进行高效管理，以节省网络能耗，延长网络寿命；同时处理冗余数据，降低网络的数据传输量，避免数据传输冲突，减小环境噪声以及传感器间干扰对数据的影响，提高收集效率，让用户能够获得最真实、最直接、最丰富的信息。

图像融合是指综合两个或以上源图像的信息，提取每幅图像里信息量较丰富的、受噪声干扰较小的部分进行融合，从而获得对同一场景更准确、更全面、更可靠的图像描述过程。图像融合属于多传感器数据融合中的一个重要的分支，在自动识别、计算机视觉、军事安全监测、智能机器人、遥感图像、医学图像鉴别等领域有广泛的应用。

多聚焦图像融合是指当摄像机拍摄与镜头距离不同的多个目标时，常常分别聚焦到各个目标多次拍摄而得到多幅图像，再通过利用图像融合技术，对不同焦距的图像进行处理，提取各图像的清晰信息，抛弃或者选择性保留冗余信息，综合成一幅信息量最丰富、清晰度最高的融合图像的过程。多聚焦图像融合有效地提高传感器图像信息的利用率和系统对目标探测识别的可靠性，更有利于肉眼的感知以及计算机的智能处理，减少了传感器的传输能耗，大大增强了传感器节点的生存年限。多聚焦图像融合在交通管理监测、数码相机、目标识别等领域已经被人们广泛的利用起来。

图像拼接是指对同一场景的不同方向采集到的图像进行合并连接，得到一幅高分辨率图像的过程。随着信息技术和微电子技术的快速发展，很多领域都需要高分辨的图像，如医学领域、卫星遥感，同时数码摄像机的普及使得普通大众也可以方便地拍摄图像，但是要获得高分辨图像，如果借助广角相机或全景相机来获得，不仅价格昂贵、使用不便，获得的图像分辨率有限，而且在图像边缘会出现扭曲变形。通过采用图像拼接技术，可以以极少的代价轻松获得高分辨率、无缝、完整的图像。

多聚焦图像融合技术以及图像拼接融合技术均只能融合场景的单一方面信息，比如多聚焦图像融合只是将图像的聚焦信息进行融合，图像拼接只是把场景的方向信息进行融合，目前两种融合技术的研究热点仅停留在各自融合算法的改进上，并没有将两种技术结合研究。

发明内容

针对现有图像传感网络图像融合研究单一的问题，本发明在对多聚焦图像融合技术以及图像拼接融合技术各自融合算法进行改进研究的基础上，充分结合了两种融合技术获取不同图像信息的特点，提供了一种有效可行的基于多聚焦融合和图像拼接的无线传感网络图像融合方法。

本发明的目的通过如下技术方案实现：

基于多聚焦融合和图像拼接的无线传感网络图像融合方法，其实现包括如下步骤：

步骤(1)布置多个图像采集节点或者一个能够调整角度的图像采集节点，对不同方向的场景分别进行两次以上不同聚焦图像采集，以获得不同聚焦点的图像信息；

步骤(2)每个采集节点对采集到的不同聚焦源图像进行多聚焦图像融合，得到各采集方向上的一幅多聚焦融合图像，多聚焦融合过程直接在采集节点进行或另外设立节点进行，融合算法采用基于方向区域能量的多聚焦融合算法；

步骤(3)处理多聚焦融合的节点对本节点处理得到的多聚焦融合图像和本节点获取的聚焦源图像计算梯度值，再根据自适应梯度门限值判定方法选取合适的聚焦图像，并把选定的聚焦图像传送到拼接处理节点；所述的自适应梯度门限值判定方法具体描述为：

比较本节点采集的聚焦源图像梯度值，选取梯度值最大的聚焦源图像的梯度值乘以经验系数值w作为自适应梯度门限值，w根据经验情况通常选取在1.1到1.3之间；若多聚焦融合图像梯度值比自适应梯度门限值高，选用多聚焦融合图像作为下一步拼接的素材；若多聚焦融合图像梯度值比自适应梯度门限值低，则判定为采集的聚焦源图像中有图像只含有无用的聚焦信息，会影响融合图像质量，故选用采集的源图像中梯度值最大的一幅作为拼接素材，此举目的在于剔除聚焦模糊图像对融合图像的不利影响，选取含有最多有用信息并且最清晰的聚焦图像作为下一步的拼接素材；

步骤(4)拼接处理节点对各采集方向的多聚焦图像进行基于尺度不变特征的图像拼接技术的拼接处理，从而得到一幅具有多方向多聚焦点信息的融合图像；

步骤(5)最后将融合图像通过无线传感网络传送到目标节点。

上述融合方法中，步骤(2)所述的一种改进的基于方向区域能量的多聚焦融合算法通过如下步骤实现：

(2.1)对采集到的多聚焦源图像分别进行RGB(红绿蓝)三通道图像提取，并对三通道图像进行L层小波变换，L表示小波分解层数；

(2.2)对相同通道的小波变换图像低频子带按照同样大小(m×n，m表示行数，n表示列数)的局部区域计算出区域特征，取归一化后的区域梯度值作为各自区域中心系数的融合权值进行加权，得出对应的融合系数；

所述区域梯度值 $\stackrel{\‾}{G}=\frac{1}{(m-1)(n-1)}\×\underset{i=1}{\overset{m-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n-1}{\mathrm{\Σ}}}\sqrt{\frac{{(f(i,j)-f(i+1,j))}^2+{(f(i,j)-f(i,j+1))}^2}{2}},$

f(i，j)为第i行第j列点上的系数值，i表示该点所在的行数，j表示该点所在的列数；

(2.3)对相同通道和层数的小波变换图像高频子带系数，根据各方向的方向区域模版，计算方向区域能量值，对应方向区域模版的中心点系数根据方向区域能量值最大原则选取融合系数；

子带的方向区域能量k代表任一高频子带，A代表对应的方向区域模版，即水平方向子带只计算区域中心点水平方向系数的能量，垂直方向子带只计算区域中心点垂直方向系数的能量，对角方向子带只计算区域中心点对角线方向系数的能量；

(2.4)对各通道融合后的小波系数进行逆小波变换，得到各通道上的融合图像，进行RGB还原，最终得到彩色多聚焦融合图像。

上述融合方法中，步骤(4)所述的基于尺度不变特征的图像拼接融合算法通过如下步骤实现：

(4.1)提取尺度不变特征(SIFT特征)，SIFT特征的提取主要包括如下步骤：

(4.1.1)检测尺度空间极值

利用不同尺度的高斯核 $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-(x^2+y^2)/2{\mathrm{\σ}}^2)$ (x表示第x行，y表示第y列，σ是尺度因子)对待拼接图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，利用高斯差值(Difference of Gaussian，DoG)方程与图像卷积求出尺度空间极值，以D(x，y，σ)表示，即用固定系数k相乘的相邻的两个尺度的差值计算：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)，其中*表示在x和y方向上的卷积，(x，y)代表图像I上第x行第y列的点，σ是尺度因子。

(4.1.2)剔除弱特征点和边界点

上一步骤中产生的候选极值点并不都是稳定的特征点，使用泰勒级数将尺度空间方程D(x，y，σ)展开 $D\left(X\right)=D+\frac{{\&PartialD;D}^T}{\&PartialD;X}X+\frac{1}{2}{X}^T\frac{{\&PartialD;}^{2}D}{{\&PartialD;X}^2}X,$ 其中X＝(x，y，σ)^T(代表在x行y列σ尺度上的点)，求导并使方程等于零可得到极值联立得到 $D\left(\tilde{X}\right)=D+\frac{1}{2}\frac{{\&PartialD;D}^T}{\&PartialD;X}\tilde{X},$ 其中为导数为O的点，如果 $\left(\right|D\left(\tilde{X}\right)|<0.03)$ 则丢弃该点，这样便可以去除低对比度的点；

(4.1.3)求取特征方向

利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，从而使算子具备旋转不变性。(x，y)处的梯度值和方向分别为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝tan^-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

m(x，y)代表在x行y列点上的梯度值，θ(x，y)代表(x，y)坐标于x轴的夹角，L(x，y)代表(x，y)上的系数值；

(4.1.4)生成特征描述符

在每4×4的图像小块上计算8个方向(上、下、左、右、左上、左下、右上、右下)的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点，每个种子点有8个方向向量信息，形成SIFT特征向量，即特征描述符；

(4.2)特征匹配

实施例采用基于K-D树(K表示空间的维数，D表示维)的最近邻方法进行匹配，K-D树是多维二叉检索树扩展，K-D树在每一层把节点划分为左右树节点相等的两个部分，树顶节点按某一维进行划分，然后对树顶节点其左右子节点再分别划分，如此递归至划分完所有的节点。以此找出与待匹配特征点具有最小欧氏距离的特征点，即最近邻特征点，以及与待匹配特征点的欧氏距离稍大于最近邻欧氏距离的特征点，即次近邻特征点，通过最邻近与次邻近欧氏距离的比值来确定匹配特征对；

(4.3)全局匹配

为了获得平滑的拼接图像，还需进一步将所有待拼接图像变换到图像序列中的同一个参考平面上，进行全局匹配，将所有图像映射到同一模型上，通过计算每一副图像在该模型上的投影参数，比如图像的焦距，水平视角，偏移量，左右摇动量，倾斜量和相机光心偏移，对拼接图像进行参考平面映射；

(4.4)图像融合

对图像进行局部特征匹配以及全局匹配以后，就可以根据图像匹配状况对图像进行图像拼接融合，另外考虑到待拼接图像曝光度不一致和渐晕现象，对图像进行曝光补偿和渐晕校正。

与现有技术相比，本发明具有如下优点和有益效果：

(1)减少网络数据传输量：本发明充分结合多聚焦图像融合技术以及图像拼接融合技术，尽最大可能把需要传输的图像信息进行融合再传输，极大减少了传感网络的数据传输量。

(2)获取更丰富的图像信息：本发明充分结合多聚焦图像融合技术以及图像拼接融合技术，在减少网络数据传输量同时，把采集图像的多聚焦信息以及方向信息同时获取到一幅图像，让用户还原到更直接更真实丰富的场景信息。

附图说明

图1是实施方式中采用多采集节点进行图像采集的无线传感网络拓扑结构。

图2是实施方式中采用单采集节点进行图像采集的无线传感网络拓扑结构。

图3是实施例图像融合方法总流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但本发明要求保护的范围并不局限于实施方式表述的范围。

本发明可以采用多采集节点进行图像采集(如图1)，也可以采用单采集节点进行图像采集，本实施例采用单采集节点进行图像采集，采集节点摄像头可旋转调整角度，通过旋转可采集360度环回各方向的图像，然后对图像进行融合操作。实施例实现的功能为，融合出一幅360度环回全景具有多聚焦信息的图像，并可以连接无线网络进行融合图像传输，其应用于无线传感网络的拓扑结构如图2所示。

实施例为图像采集以及融合处理设计了一套操作处理平台，可实现对摄像头进行操作、图像采集、多聚焦图像融合、图像拼接以及无线传输功能。主要包括操作控制按钮部分，以及图像采集、拼接图像展示、多聚焦融合展示、无线传输四大模块。图3为实施例图像融合方法总流程图，下面对实施例中如何实现图像融合进行详细描述：

步骤(1)采集节点摄像头在一个方向上进行前后两次聚焦，分别采集具有近、远聚焦信息的两幅源图像(实际应用可根据场景景深状况以及节点处理能力进行更多次的聚焦采集，即场景景深差距大，且节点处理能力强，可进行3次或更多的聚焦采集)，对两幅源图像使用基于方向区域能量的多聚焦图像融合算法进行融合，得到此方向上的多聚焦融合图像；

步骤(2)处理多聚焦融合的节点对本节点处理得到的多聚焦融合图像和本节点获取的聚焦源图像计算梯度值，再根据自适应梯度门限值判定方法选取合适的聚焦图像，并把选定的聚焦图像传送到拼接处理节点；所述的自适应梯度门限值判定方法具体描述为：

比较本节点采集的聚焦源图像梯度值，选取梯度值最大的聚焦源图像的梯度值乘以经验系数值w作为自适应梯度门限值，w根据经验情况通常选取在1.1到1.3之间，本实施例选取w为1.2；若多聚焦融合图像梯度值比自适应梯度门限值高，选用多聚焦融合图像作为下一步拼接的素材；若多聚焦融合图像梯度值比自适应梯度门限值低，则判定为采集的聚焦源图像中有图像只含有无用的聚焦信息，会影响融合图像质量，故选用采集的源图像中梯度值最大的一幅作为拼接素材，此举目的在于剔除聚焦模糊图像对融合图像的不利影响，选取含有最多有用信息并且最清晰的聚焦图像作为下一步的拼接素材；

步骤(3)调用摄像头控制命令，令摄像头旋转可设定的角度，本实例默认旋转角度为20度，然后重复步骤(1)和步骤(2)，对此方向进行多聚焦图像采集和融合，再旋转20度，执行步骤(1)和步骤(2)，如此重复进行，直到对360度全景都进行了图像采集和多聚焦融合处理，得到全景多聚焦拼接源图像素材；

步骤(4)对获得的各方向的多聚焦融合图像采用基于尺度不变特征的图像拼接算法进行图像拼接融合，得到一幅360度环回全景且具有多聚焦信息的融合图像；

步骤(5)最后融合图像可在无线传输模块通过无线网络传送到目标节点。

上述融合方法中，步骤(1)中所述的多聚焦图像融合处理可以在多聚焦融合模块中单独进行和展示。实施例实现的一种改进的基于方向区域能量的多聚焦自动融合算法通过如下步骤实现：

(1.1)摄像头首先在聚焦点远处采集一幅后聚焦图像，采集完毕后摄像头向近处聚焦，聚焦时间可自定义，本实施例自动聚焦时间默认为0.9秒，聚焦完毕采集一幅前聚焦图像；

(1.2)对采集到的两幅前后聚焦源图像分别进行RGB(红绿蓝)三通道图像提取，并对三通道图像进行5层小波变换；

(1.3)对相同通道的小波变换图像低频子带按照3×3的局部区域计算出区域特征，取归一化后的区域梯度值作为各自区域中心系数的融合权值进行加权，得出对应的融合系数；

本实例区域梯度 $\stackrel{\&OverBar;}{G}=\frac{1}{4}\&times;\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{2}{\mathrm{\&Sigma;}}}\sqrt{\frac{{(f(i,j)-f(i+1,j))}^2+{(f(i,j)-f(i,j+1))}^2}{2}},$ f(i，j)为第i行第j列点上的系数值，i表示该点所在的行数，j表示该点所在的列数；

(1.4)对相同通道和层数的小波变换图像高频子带系数，根据各方向的方向区域模版，计算方向区域能量值，对应方向区域模版的中心点系数根据方向区域能量值最大原则选取；

第k个子带的方向区域能量A代表对应的方向区域模版，即水平方向子带只计算区域中心点水平方向系数的能量，垂直方向子带只计算区域中心点垂直方向系数的能量，对角方向子带只计算区域中心点对角线方向系数的能量，本实例采用3×3的局部区域；

(1.5)对各通道融合后的小波系数进行5层逆小波变换，得到各通道上的融合图像，进行RGB还原，最终得到彩色多聚焦融合图像。

网络数据传输量分析：节点采集的图像分辨率为352*288，无损bmp图像大小为297kB，如果需要传输两幅源图像以获取场景的多聚焦信息，需要传输数据量为594KB，而融合图像分辨率与源图像一样，bmp图像大小仍为297KB，但已经包括两幅源图像所含的场景多聚焦信息，并且更加直观，节省50％网络传输量；若采集图像经过jpeg压缩，源图像大小分别为31.8KB和29.5KB，融合图像大小为40.1KB，节省35％以上的网络传输量。

上述融合方法中，步骤(4)所述的基于尺度不变特征的图像拼接融合算法通过如下步骤实现：

(4.1)提取尺度不变特征(SIFT特征)，SIFT特征的提取主要包括如下步骤：

(4.1.1)检测尺度空间极值

利用不同尺度的高斯核 $G(x,y,\mathrm{\&sigma;})=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}\exp (-(x^2+y^2)/2{\mathrm{\&sigma;}}^2)$ (x表示第x行，y表示第y列，σ是尺度因子)对待拼接图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，利用高斯差值(Difference of Gaussian，DoG)方程与图像卷积求出尺度空间极值，以D(x，y，σ)表示，即用固定系数k相乘的相邻的两个尺度的差值计算：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)，其中*表示在x和y方向上的卷积，(x，y)代表图像I上第x行第y列的点，σ是尺度因子；

(4.1.2)剔除弱特征点和边界点

上一步骤中产生的候选极值点并不都是稳定的特征点，使用泰勒级数将尺度空间方程D(x，y，σ)展开 $D\left(X\right)=D+\frac{{\&PartialD;D}^T}{\&PartialD;X}X+\frac{1}{2}{X}^T\frac{{\&PartialD;}^{2}D}{{\&PartialD;X}^2}X,$ 其中X＝(x，y，σ)^T(代表在x行y列σ尺度上的点)，求导并使方程等于零可得到极值联立得到 $D\left(\tilde{X}\right)=D+\frac{1}{2}\frac{{\&PartialD;D}^T}{\&PartialD;X}\tilde{X},$ 其中为导数为0的点。如果 $\left(\right|D\left(\tilde{X}\right)|<0.03)$ 则丢弃该点，这样便可以去除低对比度的点；

(4.1.3)求取特征方向

利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，从而使算子具备旋转不变性。(x，y)处的梯度值和方向分别为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝tan^-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

m(x，y)代表在x行y列点上的梯度值，θ(x，y)代表(x，y)坐标于x轴的夹角，L(x，y)代表(x，y)上的系数值；

(4.1.4)生成特征描述符

在每4×4的图像小块上计算8个方向(上、下、左、右、左上、左下、右上、右下)的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点，每个种子点有8个方向向量信息，形成SIFT特征向量，即特征描述符；

(4.2)特征匹配

实施例采用基于K-D树(K表示空间的维数，D表示维)的最近邻方法进行匹配，K-D树是多维二叉检索树扩展，K-D树在每一层把节点划分为左右树节点相等的两个部分，树顶节点按某一维进行划分，然后对树顶节点其左右子节点再分别划分，如此递归至划分完所有的节点。以此找出与待匹配特征点具有最小欧氏距离的特征点，即最近邻特征点，以及与待匹配特征点的欧氏距离稍大于最近邻欧氏距离的特征点，即次近邻特征点，通过最邻近与次邻近欧氏距离的比值来确定匹配特征对；

(4.3)全局匹配

为了获得平滑的拼接图像，还需进一步将所有待拼接图像变换到图像序列中的同一个参考平面上，进行全局匹配，将所有图像映射到同一模型上，通过计算每一副图像在该模型上的投影参数，比如图像的焦距，水平视角，偏移量，左右摇动量，倾斜量和相机光心偏移，对拼接图像进行球面模型映射：

偏移量(Yaw)：图像间的镜头旋转角度差异，是相机沿垂直轴(z)旋转导致的，在图像上表现为水平姿态上的改变，若偏移量为α，对应的图像旋转矩阵为：

$R_z\left(\mathrm{\&alpha;}\right)=\left(\begin{array}{ccc}\cos \mathrm{\&alpha;}& -\sin \mathrm{\&alpha;}& 0\\ \sin a& \cos a& 0\\ 0& 0& 1\end{array}\right)$

左右摇动量(Roll)：相机沿水平轴(x)旋转导致的图像差异，在图像中表现为图像在平面内的左、右旋转，若左右摇动量Roll为β，对应的图像旋转矩阵为：

$R_y\left(\mathrm{\&beta;}\right)=\left(\begin{array}{ccc}\cos \mathrm{\&beta;}& 0& \sin \mathrm{\&beta;}\\ 0& 1& 0\\ -\sin \mathrm{\&beta;}& 0& \cos \mathrm{\&beta;}\end{array}\right)$

倾斜量(Pitch)：相机沿其前后轴(x)旋转导致的图像差异，在图像中表现为图像向纸内、纸外旋转，若倾斜量为γ，图像的旋转矩阵为：

$R_x\left(\mathrm{\&gamma;}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\&gamma;}& -\sin \mathrm{\&gamma;}\\ 0& \sin \mathrm{\&gamma;}& \cos \mathrm{\&gamma;}\end{array}\right)$

设P(x，y，1)为图像中的像素点，点P在球面模型上的投影坐标为(X，Y，Z)，则它们满足如下关系式：

$P=\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_c& 0& c_x\\ 0& f_c& c_y\\ 0& 0& 1\end{array}\right]R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$

其中R为旋转矩阵，f_c为摄像头的焦距，在平面与球面的映射关系中，焦距可通过下式估算：

$f_c=\frac{\mathrm{width}}{2\&times;\tan (\mathrm{hfov}/2)}$

其中width为图像的宽度，hfov为图像的水平视角，普通的窄角摄像头hfov为51-65，R为图像旋转矩阵：

$R=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\&gamma;}& -\sin \mathrm{\&gamma;}\\ 0& \sin \mathrm{\&gamma;}& \cos \mathrm{\&gamma;}\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\&beta;}& 0& \sin \mathrm{\&beta;}\\ 0& 1& 0\\ -\sin \mathrm{\&beta;}& 0& \cos \mathrm{\&beta;}\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\&alpha;}& -\sin \mathrm{\&alpha;}& 0\\ \sin a& \cos a& 0\\ 0& 0& 1\end{array}\right)$

然后采用Levenberg-marquardt优化算法求取hfov，yaw，pitch，roll，cx，cy等参数；

(4.4)图像融合

对图像进行局部特征匹配以及全局匹配以后，就可以根据图像匹配状况对图像进行图像拼接融合，另外考虑到待拼接图像曝光度不一致和渐晕现象，对图像进行曝光补偿和渐晕校正。

网络数据传输量分析：经过360度环回旋转采集到的拼接源图像共19张，每张图片均已经过jpeg压缩，总大小为604KB，而拼接后图像大小仅为164KB，节省网络传输量达72.85％。

系统总数据传输量分析：假定每个方向采集到的远近聚焦源图像均包含有用的聚焦信息，若用户需要获得全景图像的所有有用信息，则需要需要采集38张源图像进行传输，即使每张图像均经过jpeg压缩，平均每张图像大小为30KB，传输38张图像需要的数据量是1140KB，但经过本发明提出的基于基于多聚焦融合和图像拼接的无线传感网络图像融合方法对源图像进行多聚焦融合和拼接处理后，融合图像大小仅为164KB，且包含了所有源图像的有用信息，更直观地还原了全景图像，节省网络传输量最大可达85.61％。当然，实际场景中并不一定所有聚焦信息都有用，因此不一定38张图片均为用户需要获得的图像信息，但节省的网络数据传输量至少为只经过拼接处理的72.85％，即本实施例中网络数据传输量节省比例为72.85％——85.61％。

Claims (1)

1.基于多聚焦融合和图像拼接的无线传感网络图像融合方法，其特征在于包括

如下步骤：

步骤（1）布置多个图像采集节点或者一个能够调整角度的图像采集节点，对不同方向的场景分别进行两次以上不同聚焦图像采集，以获得不同聚焦点的源图像信息；

步骤（2）每个采集节点对采集到的不同聚焦点的源图像进行多聚焦图像融合，得到各采集方向上的一幅彩色多聚焦融合图像，多聚焦融合过程直接在采集节点进行或另外设立节点进行，融合算法采用一种改进的基于方向区域能量的多聚焦融合算法，包括如下步骤：

（2.1）对采集到的不同聚焦点的源图像分别进行红绿蓝三通道图像提取，并对三通道图像分别进行小波变换；

（2.2）对相同通道的小波变换图像低频子带按照同样大小的局部区域计算出各区域特征，取归一化后的区域梯度值作为各区域中心系数的融合权值进行加权，得出对应的融合系数；

（2.3）对相同通道和层数的小波变换图像高频子带系数，根据各方向的方向区域模版，计算方向区域能量值，对应方向区域模版的中心点系数根据方向区域能量值最大原则选取；

（2.4）对各通道融合后的小波系数进行逆小波变换，得到各通道上的融合图像，进行红绿蓝还原，最终得到彩色多聚焦融合图像；

步骤（3）处理多聚焦融合的节点对本节点处理得到的彩色多聚焦融合图像和本节点获取的不同聚焦点的源图像计算梯度值，再根据自适应梯度门限值判定方法选取合适的聚焦点的源图像，并把选定的该合适的聚焦点的源图像传送到拼接处理节点；所述的自适应梯度门限值判定方法具体描述为：

比较本节点采集的不同聚焦点的源图像的梯度值，选取梯度值最大的聚焦点源图像的梯度值乘以经验系数值作为自适应梯度门限值；若彩色多聚焦融合图像梯度值比自适应梯度门限值高，选用彩色多聚焦融合图像作为下一步拼接的素材；若彩色多聚焦融合图像梯度值比自适应梯度门限值低，则选用采集的不同聚焦点的源图像中梯度值最大的一幅作为拼接素材；                             

步骤（4）拼接处理节点对步骤（3）中各采集方向获取到的拼接素材进行基于尺度不变特征的图像拼接技术的拼接处理，从而得到一幅具有多方向多聚焦点信息的融合图像；所采用的图像拼接算法为基于尺度不变特征的图像拼接算法，包括如下步骤：

（4.1）对待拼接图像提取尺度不变特征SIFT特征

SIFT特征的提取主要包括如下步骤：（4.1.1）利用高斯差分DOG图像提取DOG空间极值；（4.1.2）剔除弱特征点和边界点；（4.1.3）利用特征点邻域像素的梯度方向分布特性求取特征方向；（4.1.4）计算SIFT特征向量生成特征描述符；

（4.2）采用基于K-D树的最近邻方法进行特征匹配，K表示空间的维数，D表示维；

（4.3）把所有待拼接图像变换到同一参考平面上，对待拼接图像进行全局匹配；

（4.4）根据所述特征匹配和全局匹配的结果进行图像拼接融合，并对图像进行曝光补偿和渐晕校正                                                 

步骤（5）最后将融合图像通过无线传感网络传送到目标节点。