CN108830804B - 基于线扩展函数标准差的虚实融合模糊一致性处理方法 - Google Patents

Abstract

本发明涉及一种基于线扩展函数LSF标准差的虚实融合模糊一致性处理方法，其通过电缆将摄像机与计算机进行连接，真实场景中包含着ARToolkit中的Hiro方形黑白标识卡；其特征在于：首先获取融合场景中与虚拟物体处于相近或相同深度位置上的真实物体区域，然后估计该区域边缘的LSF标准差，并结合该标准差与图像退化模型对虚拟物体进行模糊化处理，最后生成虚实物体间具有模糊一致性的融合场景。

Description

基于线扩展函数标准差的虚实融合模糊一致性处理方法

技术领域

本发明涉及一种基于线扩展函数(line spread function,LSF)标准差的虚实融合模糊一致性处理方法，属于计算机视觉技术领域。

背景技术

在增强现实(Augmented Reality，AR)系统中，摄像机获取场景图像时会由于外界环境以及人为等因素造成图像失真现象的模糊。虚拟物体在融合场景中始终保持清晰，与经过自然渲染的真实场景融合会出现明显的拼接现象，使场景缺乏沉浸感，甚至会引起用户眼睛不适应、疲劳等现象。因此在AR系统中对虚拟物体加入景深效果使其与场景中真实物体具有相同的模糊效果，可以提高系统的真实感和沉浸感，增强用户在融合场景中的深度感知。

图像模糊根据形成原因可以分为两种：运动模糊与散焦模糊。其中运动模糊是因为拍摄场景时拍摄对象与摄像机之间发生相对移动或者摄像机抖动，因此拍摄图像上会出现多个物体影像重叠现象，也就是图像模糊。而散焦模糊产生的原因一般是相机的聚焦不准确或者拍摄对象在焦距范围之外。

针对散焦模糊，P.Kán和H.Kaufman提出了一种基于物理的路径跟踪算法，结合相机透镜成像原理与基于差分渲染的光线路径算法实时绘制出具有复杂全局照明效果以及景深效果的融合场景，大大提高了AR系统融合场景图像的质量。Rompapas D C等人在H.Kaufmann的研究基础上通过测量用户眼睛的焦距和瞳孔大小来实现虚拟图像与真实场景之间的模糊一致性，并通过实时测量用户眼睛状态来调整相应的虚拟图像。Chen Y等人就是根据虚拟物体的深度分为三层，在每一层采用不同半径的高斯模糊核对虚拟物体进行模糊，并提出了一种改进的高斯模糊算法来模拟景深渲染，并结合分层渲染方法实现了AR场景中虚拟物体与真实物体之间的模糊一致性。赵东阳等计算摄像机容许的弥散圈的直径及其前后景深值，然后通过计算机标定得到的转换矩阵求出摄像机拍摄物体所允许的清晰范围以及AR系统融合场景中虚拟物体各个像素点的景深值，接着根据像素景深值以及场景中近、远剪切面的弥散圆直径值计算出模糊因子。在模糊处理方面，先对场景进行了均值与亮度预模糊处理，接着使用混合功能将模糊化之前的清晰场景与模糊化之后的场景融合生成更加真实的场景图。

针对运动模糊，严玉若结合Randon变换与Canny算子计算出真实物体运动模糊退化模型的PSF参数，并结合多次渲染实现了虚拟物体与真实物体间相同的运动模糊效果。

发明内容

为了提高AR融合场景的真实性与沉浸感，本发明的目的在于提供一种基于线扩展函数LSF标准差的虚实融合模糊一致性处理方法，其首先获取融合场景中与虚拟物体处于相近或相同深度位置上的真实物体区域，然后估计该区域边缘的LSF标准差，并结合该标准差与图像退化模型对虚拟物体进行模糊化处理，最后生成虚实物体间具有模糊一致性的融合场景。

本发明的技术方案是这样实现的：一种基于线扩展函数LSF标准差的虚实融合模糊一致性处理方法，通过电缆将摄像机与计算机进行连接，真实场景中包含着ARToolkit中的Hiro方形黑白标识卡；其特征在于具体的步骤如下：

步骤1、使用摄像机拍摄真实场景，获得真实场景图像并用I₁表示。

步骤2、利用matlab的rgb2gray函数将I₁灰度化得到真实场景灰度图像I₂，并根据公式

G_x(f(x,y))＝(f(x+1,y)-f(x-1,y))/2

计算I₂在水平方向上的梯度G_x，其中(x,y)为图像I₂中x行y列的像素,f为图像I₂中的像素灰度值，f(x+1,y)-f(x-1,y)为(x,y)像素的左右邻点的灰度差值，得到真实场景梯度图像I₃；

步骤4、根据sobel算子的y方向模板[1 2 1；0 0 0；-1 -2 -1]提取I₂在垂直方向的边缘，设置边缘的长度阈值为L个像素，获得大于长度阈值L的边缘的个数N，每条边缘我们用E_j表示，设有j＝1,2…N；

步骤5、针对边缘E_j，选取合适的矩形感兴趣区域R_j，R_j的高为边缘E_j的长度并且边缘E_j为该包含区域R的中心线，利用plot函数绘制在I₃的感兴趣区域R中每一行的梯度曲线；

步骤6、将感兴趣区域R_j中所有梯度曲线进行均值拟合，得到曲线S_j，当曲线S_j只有一个波峰时，判断该曲线是否属于正态分布，如果满足正态分布曲线则进行下一步；当S有两个波峰时，则判断其波峰值是否相等，若不相等则认为曲线S不是高斯型曲线，则舍弃该边缘直线E_j；得到满足正态分布的曲线所对应的边缘直线的个数记为M，且1<＝j<＝M<＝N；

步骤7、根据公式

计算满足正态分布的曲线S_j的标准差，其中q′_j,max为曲线S的波峰值，q′_j为曲线S上每个坐标的y值；

步骤8、根据公式

计算出第一数字图像I₁中所有符合高斯型曲线边缘梯度曲线的标准差均值；

步骤9、在散焦模糊PSF退化模型中，PSF是点光源经过相机光圈发生散焦、衍射、散射等变化形成一个扩大像素的数学过程描述，由于高斯型PSF的圆周对称性可以将PSF简化为一维的LSF，它是形成模糊图像上的一条直线或者边缘的数学过程描述。因此将由步骤8计算边缘直线的标准差均值作为图像I₁的LSF标准差σ；

步骤10、高斯模糊的半径r为近似于3σ的奇数值，在边长为r的正方形Rect中画一个半径为r/2的内接圆C，计算内接圆C在正方形Rect中每个边长为1的小正方形内占的面积，得到一个r*r的面积矩阵a_r；

步骤11、结合标准差σ与公式

计算r*r的高斯模板中每个系数的值，其中k＝r/2，x∈[0,2k],y∈[0,2k]，将模板左上角归一化为1，即模板中每个系数除以g(1,1)，得到高斯模板矩阵g_r；

步骤12、根据公式h＝g_r*a_r求出相应的矩阵h_r，其中a_r为步骤10中得到的面积矩阵，g_r为步骤11中得到的高斯模板矩阵，并将矩阵h_r进行归一化处理使该矩阵内的值在[0,1]之间以及矩阵内的所有元素之和等于1，得到最后的权重矩阵H_r；

步骤13、在以某个像素P为中心的r*r邻域内取每个像素的颜色值组成r*r的颜色矩阵C_r。利用公式P_r＝C_r*H_r计算得到矩阵P_r，取矩阵P_r内所有元素值的和作为像素P的颜色值；

步骤14、利用ARToolkit的simple程序将I₁进行二值化处理，将得到的二值化图像进行边缘检测、连通域分析以及筛选处理，提取出矩形区域作为标识卡候选区域Area_i，其中i＝0,1,2…n；接着根据标识卡对候选区域Area_i进行标识卡模板匹配值计算，若候选区域Area_i具有最高匹配值而且匹配值大于提前设定阈值，则认为Area_i是检测到的标识卡区域A_m，然后系统会存储标识卡区域A_m的相关信息，比如面积、识别号码、方向、匹配值、四个顶点的坐标值及其四条边的直线方程表达式，首先通过提取出标识卡四个角点的坐标，结合摄像机内参P与世界坐标系上标识卡相对应角点的三维坐标(X_m,Y_m,Z_m)计算出摄像机相对于标识卡的位置，也就是由旋转矩阵和平移矩阵组成的转换矩阵T_cm，利用转换矩阵T_cm将虚拟物体叠加注册在I₁上，得到融合场景图像并用I₄表示；

步骤15、针对I₄中虚拟物体的每个像素的R，G，B三个通道分别做步骤13中的运算，根据计算得到每个像素的颜色值重新绘制I₄得到第三数字图像I₅最终实现虚实物体间的模糊一致性；

利用以上步骤实现了基于LSF标准差的虚实融合模糊一致性处理方法。

本发明的积极效果是其首先获取融合场景中与虚拟物体处于相近或相同深度位置上的真实物体区域，然后估计该区域边缘的LSF标准差，并结合该标准差与图像退化模型对虚拟物体进行模糊化处理，最后生成虚实物体间具有模糊一致性的融合场景。

附图说明

图1为本发明的结构示意图，其中计算机1，相机2，真实场景3。

具体实施方式

下面结合附图和实施例对本发明做进一步的描述：如图1所示，一种基于线扩展函数LSF标准差的虚实融合模糊一致性处理方法，通过电缆将摄像机2与计算机1进行连接，真实场景3中包含着ARToolkit中的Hiro方形黑白标识卡4；其特征在于具体的步骤如下：

步骤1、使用摄像机2拍摄真实场景3，获得真实场景图像并用I₁表示。

步骤2、利用matlab的rgb2gray函数将I₁灰度化得到真实场景灰度图像I₂，并根据公式

G_x(f(x,y))＝(f(x+1,y)-f(x-1,y))/2

计算I₂在水平方向上的梯度G_x，其中(x,y)为图像I₂中x行y列的像素,f为图像I₂中的像素灰度值，f(x+1,y)-f(x-1,y)为(x,y)像素的左右邻点的灰度差值，得到真实场景梯度图像I₃。

步骤4、根据sobel算子的y方向模板[1 2 1；0 0 0；-1 -2 -1]提取I₂在垂直方向的边缘，设置边缘的长度阈值为L个像素，获得大于长度阈值L的边缘的个数N，每条边缘我们用E_j表示，设有j＝1,2…N。实验中L＝10，N＝31，每条边缘的长度如下：

步骤5、针对边缘E_j，选取合适的矩形感兴趣区域R_j，R_j的高为边缘E_j的长度并且边缘E_j为该包含区域R的中心线，利用plot函数绘制在I₃的感兴趣区域R中每一行的梯度曲线。例如，当j＝1时，选取合适的矩形感兴趣区域R₁R₁的高为边缘E₁的长度并且边缘E₁为该包含区域R₁的中心线，利用plot函数绘制在I₃的感兴趣区域R₁中每一行的梯度曲线；当j＝2…N时与j＝1类似。

步骤6、将感兴趣区域R_j中所有梯度曲线进行均值拟合，得到曲线S_j，当曲线S_j只有一个波峰时，判断该曲线是否属于正态分布，如果满足正态分布曲线则进行下一步；当S有两个波峰时，判断其波峰值是否相等，若不相等则认为曲线S不是高斯型曲线，则舍弃该边缘直线E_j；得到满足正态分布的曲线所对应的边缘直线的个数记为M＝26，且1<＝j<＝M<＝N。

步骤7、根据公式

计算满足正态分布的曲线S_j的标准差，其中q′_j,max为曲线S的波峰值，q′_j为曲线S上每个坐标的y值。例如，边缘E_j对应曲线S_j的标准差σ_j如下所示：

序号M	标准差σ<sub>j</sub>	序号M	标准差σ<sub>j</sub>	序号M	标准差σ<sub>j</sub>	序号M	标准差σ<sub>j</sub>
								1	1.1940	8	1.3211	15	1.3182	22	1.3172
2	1.1923	9	1.2796	16	1.2251	23	1.3666
								3	1.2363	10	1.3403	17	1.3352	24	1.3453
4	1.2494	11	1.2836	18	1.0105	25	1.3160
								5	1.2031	12	1.3522	19	1.3545	26	1.3734
6	1.2810	13	1.3354	20	1.2726
								7	1.3182	14	1.2772	21	1.3422

步骤8、根据公式

计算出第一数字图像I₁中所有符合高斯型曲线边缘梯度曲线的标准差，

步骤9、在散焦模糊PSF退化模型中，PSF是点光源经过相机光圈发生散焦、衍射、散射等变化形成一个扩大像素的数学过程描述，由于高斯型PSF的圆周对称性可以将PSF简化为一维的LSF，它是形成模糊图像上的一条直线或者边缘的数学过程描述。因此将由步骤8计算边缘直线的标准差均值作为图像I₁的LSF标准差σ。

步骤10、高斯模糊的半径r为近似于3σ的奇数值，在边长为r的正方形Rect中画一个半径为r/2的内接圆C，计算内接圆C在正方形Rect中每个边长为1的小正方形内占的面积，得到一个r*r的面积矩阵a_r。例如，当r＝3时，

步骤11、结合标准差σ与公式

计算r*r的高斯模板中每个系数的值，其中k＝r/2，x∈[0,2k],y∈[0,2k]，将模板左上角归一化为1，即模板中每个系数除以g(1,1)，得到高斯模板矩阵g_r。例如，当r＝3时，

步骤12、根据公式h＝g_r*a_r求出相应的矩阵h_r，其中a_r为步骤10中得到的面积矩阵，g_r为步骤11中得到的高斯模板矩阵，并将矩阵h_r进行归一化处理使该矩阵内的值在[0,1]之间以及矩阵内的所有元素之和等于1，得到最后的权重矩阵H_r。例如，当r＝3时，

步骤13、在以某个像素P为中心的r*r邻域内取每个像素的颜色值组成r*r的颜色矩阵C_r。利用公式P_r＝C_r*H_r计算得到矩阵P_r，取矩阵P_r内所有元素值的和作为像素P的颜色值。

步骤14、利用ARToolkit的simple程序将I₁进行二值化处理，将得到的二值化图像进行边缘检测、连通域分析以及筛选处理，提取出矩形区域作为标识卡候选区域Area_i，其中i＝0,1,2…n；接着根据标识卡4对候选区域Area_i进行标识卡模板匹配值计算，若候选区域Area_i具有最高匹配值而且匹配值大于提前设定阈值，则认为Area_i是检测到的标识卡区域A_m。然后系统会存储标识卡区域A_m的相关信息，比如面积、识别号码、方向、匹配值、四个顶点的坐标值及其四条边的直线方程表达式。首先通过提取出标识卡四个角点的坐标，结合摄像机内参P与世界坐标系上标识卡相对应角点的三维坐标(X_m,Y_m,Z_m)计算出摄像机相对于标识卡的位置，也就是由旋转矩阵和平移矩阵组成的转换矩阵T_cm，利用转换矩阵T_cm将虚拟物体叠加注册在I₁上，得到融合场景图像并用I₄表示。

步骤15、针对I₄中虚拟物体的每个像素的R，G，B三个通道分别做步骤13中的运算，根据计算得到每个像素的颜色值重新绘制I₄得到第三数字图像I₅最终实现虚实物体间的模糊一致性。

利用以上步骤实现了基于LSF标准差的虚实融合模糊一致性处理方法。

Claims (1)

1.一种基于线扩展函数LSF标准差的虚实融合模糊一致性处理方法，通过电缆将摄像机与计算机进行连接，真实场景中包含着ARToolkit中的Hiro方形黑白标识卡；其特征在于具体的步骤如下：

步骤1、使用摄像机拍摄真实场景，获得真实场景图像并用I₁表示；

步骤2、利用matlab的rgb2gray函数将I₁灰度化得到真实场景灰度图像I₂，并根据公式

G_x(f(x,y))＝(f(x+1,y)-f(x-1,y))/2

计算I₂在水平方向上的梯度G_x，其中(x,y)为图像I₂中x行y列的像素,f为图像I₂中的像素灰度值，f(x+1,y)-f(x-1,y)为(x,y)像素的左右邻点的灰度差值，得到真实场景梯度图像I₃；

步骤4、根据sobel算子的y方向模板[1 2 1；0 0 0；-1 -2 -1]提取I₂在垂直方向的边缘，设置边缘的长度阈值为L个像素，获得大于长度阈值L的边缘的个数N，每条边缘我们用E_j表示，设有j＝1,2…N；

步骤5、针对边缘E_j，选取合适的矩形感兴趣区域R_j，R_j的高为边缘E_j的长度并且边缘E_j为该包含区域R的中心线，利用plot函数绘制在I₃的感兴趣区域R中每一行的梯度曲线；

步骤6、将感兴趣区域R_j中所有梯度曲线进行均值拟合，得到曲线S_j，当曲线S_j只有一个波峰时，判断该曲线是否属于正态分布，如果满足正态分布曲线则进行下一步；当S有两个波峰时，则判断其波峰值是否相等，若不相等则认为曲线S不是高斯型曲线，则舍弃该边缘直线E_j；得到满足正态分布的曲线所对应的边缘直线的个数记为M，且1<＝j<＝M<＝N；

步骤7、根据公式

计算满足正态分布的曲线S_j的标准差，其中q′_j,max为曲线S的波峰值，q′_j为曲线S上每个坐标的y值；

步骤8、根据公式

计算出第一数字图像I₁中所有符合高斯型曲线边缘梯度曲线的标准差均值；

步骤9、在散焦模糊PSF退化模型中，PSF是点光源经过相机光圈发生散焦、衍射、散射等变化形成一个扩大像素的数学过程描述，由于高斯型PSF的圆周对称性可以将PSF简化为一维的LSF，它是形成模糊图像上的一条直线或者边缘的数学过程描述， 因此将由步骤8计算边缘直线的标准差均值作为图像I₁的LSF标准差σ；

步骤10、高斯模糊的半径r为近似于3σ的奇数值，在边长为r的正方形Rect中画一个半径为r/2的内接圆C，计算内接圆C在正方形Rect中每个边长为1的小正方形内占的面积，得到一个r*r的面积矩阵a_r；

步骤11、结合标准差σ与公式

计算r*r的高斯模板中每个系数的值，其中k＝r/2，x∈[0,2k],y∈[0,2k]，将模板左上角归一化为1，即模板中每个系数除以g(1,1)，得到高斯模板矩阵g_r；

步骤12、根据公式h＝g_r*a_r求出相应的矩阵h_r，其中a_r为步骤10中得到的面积矩阵，g_r为步骤11中得到的高斯模板矩阵，并将矩阵h_r进行归一化处理使该矩阵内的值在[0,1]之间以及矩阵内的所有元素之和等于1，得到最后的权重矩阵H_r；

步骤13、在以某个像素P为中心的r*r邻域内取每个像素的颜色值组成r*r的颜色矩阵C_r， 利用公式P_r＝C_r*H_r计算得到矩阵P_r，取矩阵P_r内所有元素值的和作为像素P的颜色值；

步骤14、利用ARToolkit的simple程序将I₁进行二值化处理，将得到的二值化图像进行边缘检测、连通域分析以及筛选处理，提取出矩形区域作为标识卡候选区域Area_i，其中i＝0,1,2…n；接着根据标识卡对候选区域Area_i进行标识卡模板匹配值计算，若候选区域Area_i具有最高匹配值而且匹配值大于提前设定阈值，则认为Area_i是检测到的标识卡区域A_m，然后系统会存储标识卡区域A_m的相关信息，比如面积、识别号码、方向、匹配值、四个顶点的坐标值及其四条边的直线方程表达式，首先通过提取出标识卡四个角点的坐标，结合摄像机内参P与世界坐标系上标识卡相对应角点的三维坐标(X_m,Y_m,Z_m)计算出摄像机相对于标识卡的位置，也就是由旋转矩阵和平移矩阵组成的转换矩阵T_cm，利用转换矩阵T_cm将虚拟物体叠加注册在I₁上，得到融合场景图像并用I₄表示；

步骤15、针对I₄中虚拟物体的每个像素的R，G，B三个通道分别做步骤13中的运算，根据计算得到每个像素的颜色值重新绘制I₄得到第三数字图像I₅最终实现虚实物体间的模糊一致性；

利用以上步骤实现了基于LSF标准差的虚实融合模糊一致性处理方法。

Images