CN103426005A - 微表情自动识别的建库视频自动切段方法 - Google Patents

Abstract

微表情自动识别的建库视频自动切段方法，它将建库视频转化为反映视觉内容特征的单帧图像，并与相邻帧之间的反映视觉内容的特征进行度量，获取帧与帧之间的视觉相似性信息，从而实现对建库视频中非微表情的剔除和微表情视频的自动切段。本发明所述方法包括如下步骤：步骤一：把建库视频分解为连续的单帧图像；步骤二：对每帧图像的人脸位置进行标定；步骤三：对每帧图像的眼睛和鼻子的位置进行标定；步骤四：根据获取的眼睛和鼻子的位置对图像进行裁剪，只保留脸部区域；步骤五：选取一张无表情的图像作为模板，逐帧与模板进行比较，剔除非微表情的图像；步骤六：对剩余的微表情图像采用基于内容的切段算法对视频进行切段。

Description

微表情自动识别的建库视频自动切段方法

技术领域

本发明涉及微表情自动识别的建库视频自动切段方法，属于图像处理、模式识别、视频检索的技术领域。

背景技术

微表情是一种持续时间极短，自发的且不易被人察觉的表情，因为微表情是自发的，不受意识的控制，直接反映了人内心真实的情感，且不易伪造，所以使得微表情的识别在心理医学工程领域、临床领域、司法领域等有着十分广阔的应用前景。

目前针对微表情的科学研究主要集中在微表情数据库的建立、微表情的快速检测以及识别等方面，微表情数据库的建立对于微表情自动识别的科学研究有至关重要的意义，因为目前限制微表情自动识别研究发展的一个很重要的因素是缺少测试资源，缺少一个具有一定数量和质量的微表情数据库。在建库时，录制的视频往往比较长，研究人员一般都是手动切开微表情视频序列形成子段。

发明内容

针对现有技术的不足，本发明提供一种微表情自动识别的建库视频自动切段方法。该方法利用基于内容的切段方法对建库视频进行非微表情剔除和微表情视频的自动切段，具体说是将建库视频转化为反映视觉内容特征的单帧图像，并与相邻帧图像之间的反映视觉内容的特征进行度量，获取帧与帧之间的视觉相似性信息，从而实现对建库视频中非微表情的剔除和微表情视频的自动切段。本发明能够快速有效地实现微表情视频的自动切段。

本发明采用如下技术方案：

微表情自动识别的建库视频自动切段方法，包括如下步骤：

步骤一：把建库视频分解为连续的单帧图像；

步骤二：对每帧图像的人脸位置进行标定；

步骤三：对每帧图像中人脸上的眼睛和鼻子的位置进行标定；

步骤四：根据步骤三中获取的眼睛和鼻子的位置对图像进行裁剪，只保留每帧图像的脸部区域；以减少复杂背景的干扰；

步骤五：选取一张同一个人的无表情的图像作为模板，逐帧与模板进行比较，剔除非微表情的图像；

步骤六：对步骤五中剩余的微表情图像，采用基于内容的切段方法对视频进行切段。

根据本发明优选的，所述步骤二中对人脸位置的标定方法，是采用现有Adaboost算法训练好的人脸分类器，确定人脸在每帧图像中的位置。

根据本发明优选的，所述步骤三中眼睛和鼻子的位置标定方法，包括步骤如下：

1)采用现有Adaboost算法训练好的眼睛分类器和鼻子分类器在步骤二中得到的图像的脸部区域搜索；

2)把得到的眼睛区域提取出来，得到瞳孔的坐标位置和瞳孔区域的大小；因为在眼睛区域中，瞳孔的灰度值普遍很低，利用这一特点，对眼睛区域利用水平和垂直方向的积分投影的方法，即可得到瞳孔的坐标位置和瞳孔区域的大小。

根据本发明优选的，所述步骤四中裁剪的方法是：

根据前述步骤三中获取的鼻子和眼睛瞳孔的位置坐标以及比例关系，以鼻子为中心，以两眼之间的距离的2倍为宽，以鼻子到两眼之间连线的垂直距离的5倍为高，画出一个矩形区域，按照此矩形区域对原图像进行裁剪。

根据本发明优选的，所述步骤五中剔除非微表情图像的方法：

选取一张无表情的图像作为模板，对上述步骤四中裁剪出来的图像逐个比较其与模板图像的灰度直方图的差异，如果帧间的灰度直方图差异小于根据图像内容自动选取的阈值时，则把该帧图像认为是非微表情图像，并剔除掉；如果帧间差异大于根据图像内容自动选取的阈值，则把该帧图像认为是微表情图像；

上述根据图像内容自动选取阈值的方法为：

假设D_i为第i帧图像与无表情模板图像的灰度直方图的差值，α为自适应系数，其中0≤α≤1，设置常数c是为了防止帧间差值几乎为零时而无法自动选取阈值，当满足下式时，则把该帧图像认为是非微表情图像

$D_i+c\≤\mathrm{\α}\underset{q=i-3}{\overset{i-1}{\mathrm{\Σ}}}\frac{D_q+c}{3}$

其中，D_q为第q帧图像与无表情模板图像的灰度直方图的差值；

当

时，则把该帧图像认为是微表情图像。

根据本发明优选的，所述步骤六中基于内容的切段方法为：

是通过对图像纹理特征的描述和比较，对相邻帧图像的相关性进行度量，取得一个描述帧间差距的量，寻找帧间差距的局部最大值点所对应的帧图像，即为切段点；

帧图像纹理特征的提取，采用二维Haar小波变换方法，是对帧图像进行2层小波变换，以小波变换的7个小波系数组成一个特征向量，作为帧图像的纹理特征表述方式；根据帧图像描述纹理特征的特征向量计算出相邻帧之间特征向量的欧氏距离，作为度量帧间差值的量，找出帧间差值取局部最大值点，以对应帧作为切段点，即从中提取出微表情视频的独立子段，实现建库视频的自动切段，具体步骤如下：

（1）采用二维Haar小波变换方法对帧图像进行2层小波变换，假设j为采用小波变换对图像分解的级数，则第j级二维图像小波系数由第j-1级的小波系数的加权和表示，其中h（）为低通分解滤波器，g（）为高通分解滤波器，第j级图像的像素点的行和列用m,n来表示，第j-1级图像像素点的行和列用k，l来表示；

低频子图像的小波系数

$W_{m,n}^{\left(j\right)}=\underset{l,k}{\mathrm{\Σ}}h(k-2m)h(l-2n)W_{k,l}^{(j-1)}$

水平高频子图像的小波系数

$W_{m,n}^{(j,h)}=\underset{l,k}{\mathrm{\Σ}}h(k-2m)g(l-2n)W_{k,l}^{(j-1)}$

垂直高频子图像的小波系数

$W_{m,n}^{(j,v)}=\underset{l.k}{\mathrm{\Σ}}g(k-2m)h(l-2n)W_{k,l}^{(j-1)}$

对角高频子图像的小波系数

$W_{m,n}^{(j,D)}=\underset{l.k}{\mathrm{\Σ}}g(k-2m)g(l-2n)W_{k,l}^{(j-1)}$

对图像进行2层Haar小波变换有7个小波系数，把这7个小波系数组合成一个特征向量

$\stackrel{\→}{T_i}=(W_{m,n}^{(j,D)},W_{m,n}^{(j,h)},W_{m,n}^{(j,v)},W_{m,n}^{(j+1,D)},W_{m,n}^{(j+1,h)},W_{m,n}^{(j+1,v)},W_{m,n}^{(j+1)})$

其中，上角标j和j+1分别表示第j级和第j+1级，D表示对角高频标识，h表示水平高频标识，v表示垂直高频标识；

（2）计算帧间特征向量的欧氏距离C_i，

$C_i=|{\stackrel{\→}{T}}_i-{\stackrel{\→}{T}}_{i-1}|$

其中，

分别表示第i帧和第i-1帧的由Haar小波系数组成的特征向量；

（3）对帧间特征向量的欧氏距离取大于平均值的局部最大值，而且局部最大值要求大于前后3帧的距离值，以上述局部最大值对应的帧作为切段点，即从中提取出微表情的独立子段，从而实现对建库视频的自动切段。

本发明的有益效果：

本发明将建库视频转化为反映视觉内容特征的单帧图像，并与相邻帧之间的反映视觉内容的特征进行比较，获取帧与帧之间的视觉相似性信息，从而实现对建库视频中非微表情的剔除和微表情视频的自动切段。本发明在微表情自动识别的建库视频切段中表现出色，快速可靠。所以在建立微表情数据库时需要使用高速摄像机把人在一段时间内的脸部表情变化信息保存下来，再采用信息处理技术从中自动提取出微表情独立子段，即建库视频自动切段，以便日后对微表情进行训练和分类测试使用。

附图说明

图1为本发明的流程图；

图2为建库视频分解后的连续的帧图像；

图3为单帧图像的瞳孔和鼻子定位的结果；

图4为裁剪后的帧图像；

图5为非微表情帧图像；

图6为微表情帧图像；

图7为二维离散小波变换示意图（其中h为低通分解滤波器，g为高通分解滤波器）；

图8为微表情帧图像的2层小波变换结果；

图9为图8对应的小波系数表示；

图10为帧间特征向量的欧氏距离，图中画小圆圈的尖峰点代表切段点，中间横线表示帧间特征向量欧氏距离的平均值；

图11为自动切段之后的帧图像（图中画矩形框的图像表示视频切段的切段点）。

具体实施方式

下面结合说明书附图和实施例对本发明进一步说明，但不限于此。

实施例、

如图1-11所示。

微表情自动识别的建库视频自动切段方法，包括如下步骤：

步骤一：把建库视频分解为连续的单帧图像；如图2所示；

步骤二：对每帧图像的人脸位置进行标定；

步骤三：对每帧图像中人脸上的眼睛和鼻子的位置进行标定；

步骤四：根据步骤三中获取的眼睛和鼻子的位置对图像进行裁剪，只保留每帧图像的脸部区域；

步骤五：选取一张同一个人的无表情的图像作为模板，逐帧与模板进行比较，剔除非微表情的图像；

步骤六：对步骤五中剩余的微表情图像，采用基于内容的切段方法对视频进行切段。

所述步骤二中对人脸位置的标定方法，是采用现有Adaboost算法训练好的人脸分类器，确定人脸在每帧图像中的位置。

所述步骤三中眼睛和鼻子的位置标定方法，包括步骤如下：

1)采用现有Adaboost算法训练好的眼睛分类器和鼻子分类器在步骤二中得到的图像的脸部区域搜索；

2)把得到的眼睛区域提取出来，得到瞳孔的坐标位置和瞳孔区域的大小；因为在眼睛区域中，瞳孔的灰度值普遍很低，利用这一特点，对眼睛区域利用水平和垂直方向的积分投影的方法，即可得到瞳孔的坐标位置和瞳孔区域的大小。如图3所示。

所述步骤四中裁剪的方法是：

根据前述步骤三中获取的鼻子和眼睛瞳孔的位置坐标以及比例关系，以鼻子为中心，以两眼之间的距离的2倍为宽，以鼻子到两眼之间连线的垂直距离的5倍为高，画出一个矩形区域，按照此矩形区域对原图像进行裁剪。如图4所示。

所述步骤五中剔除非微表情图像的方法：

选取一张无表情的图像作为模板，对上述步骤四中裁剪出来的图像逐个比较其与模板图像的灰度直方图的差异，如果帧间的灰度直方图差异小于根据图像内容自动选取的阈值时，则把该帧图像认为是非微表情图像，并剔除掉；如果帧间差异大于根据图像内容自动选取的阈值，则把该帧图像认为是微表情图像；

上述根据图像内容自动选取阈值的方法为：

假设D_i为第i帧图像与无表情模板图像的灰度直方图的差值，α为自适应系数，其中0≤α≤1，设置常数c是为了防止帧间差值几乎为零时而无法自动选取阈值，当满足下式时，则把该帧图像认为是非微表情图像

$D_i+c\≤\mathrm{\α}\underset{q=i-3}{\overset{i-1}{\mathrm{\Σ}}}\frac{D_q+c}{3}$

其中，D_q为第q帧图像与无表情模板图像的灰度直方图的差值；

当时，则把该帧图像认为是微表情图像。

如图5所示为分离出来的非微表情的图像，如图6所示为分离出来的微表情的图像。

所述步骤六中基于内容的切段方法为：

是通过对图像纹理特征的描述和比较，对相邻帧图像的相关性进行度量，取得一个描述帧间差距的量，寻找帧间差距的局部最大值点所对应的帧图像，即为切段点；

帧图像纹理特征的提取，采用二维Haar小波变换方法，是对帧图像进行2层小波变换，以小波变换的7个小波系数组成一个特征向量，作为帧图像的纹理特征表述方式；根据帧图像描述纹理特征的特征向量计算出相邻帧之间特征向量的欧氏距离，作为度量帧间差值的量，找出帧间差值取局部最大值点，以对应帧作为切段点，即从中提取出微表情视频的独立子段，实现建库视频的自动切段，具体步骤如下：

（1）采用二维Haar小波变换方法对帧图像进行2层小波变换，假设j为采用小波变换对图像分解的级数，则第j级二维图像小波系数由第j-1级的小波系数的加权和表示，其中h（）为低通分解滤波器，g（）为高通分解滤波器，第j级图像的像素点的行和列用m,n来表示，第j-1级图像像素点的行和列用k，l来表示；

低频子图像的小波系数

$W_{m,n}^{\left(j\right)}=\underset{l,k}{\mathrm{\Σ}}h(k-2m)h(l-2n)W_{k,l}^{(j-1)}$

水平高频子图像的小波系数

$W_{m,n}^{(j,h)}=\underset{l,k}{\mathrm{\Σ}}h(k-2m)g(l-2n)W_{k,l}^{(j-1)}$

垂直高频子图像的小波系数

$W_{m,n}^{(j,v)}=\underset{l.k}{\mathrm{\Σ}}g(k-2m)h(l-2n)W_{k,l}^{(j-1)}$

对角高频子图像的小波系数

$W_{m,n}^{(j,D)}=\underset{l.k}{\mathrm{\Σ}}g(k-2m)g(l-2n)W_{k,l}^{(j-1)}$

如图7所示为二维离散小波变换示意图，图8为选取了一张微表情的2层Haar小波变换结果，图9为图8对应的小波系数表示。

对图像进行2层Haar小波变换有7个小波系数，把这7个小波系数组合成一个特征向量

$\stackrel{\→}{T_i}=(W_{m,n}^{(j,D)},W_{m,n}^{(j,h)},W_{m,n}^{(j,v)},W_{m,n}^{(j+1,D)},W_{m,n}^{(j+1,h)},W_{m,n}^{(j+1,v)},W_{m,n}^{(j+1)})$

其中，上角标j和j+1分别表示第j级和第j+1级，D表示对角高频标识，h表示水平高频标识，v表示垂直高频标识；

（2）计算帧间特征向量的欧氏距离C_i，帧间特征向量的欧氏距离如图10所示：

$C_i=|{\stackrel{\→}{T}}_i-{\stackrel{\→}{T}}_{i-1}|$

其中，

和

分别表示第i帧和第i-1帧的由Haar小波系数组成的特征向量；

（3）对帧间特征向量的欧氏距离取大于平均值的局部最大值，而且局部最大值要求大于前后3帧的距离值，如图10中所示，画小圆圈的尖峰点表示欧氏距离取得局部最大值的点，得到切段点帧图像的序号为：5,12,16,20,27,31,35,39,45,53,59,63,71,77,82,86。以这些帧作为切段点，即可从中提取出微表情的独立子段，从而实现对建库视频的自动切段。如图11所示，画方框的帧图像表示微表情独立子段的切段点。

Claims (6)

1.微表情自动识别的建库视频自动切段方法，包括如下步骤：

步骤一：把建库视频分解为连续的单帧图像；

步骤二：对每帧图像的人脸位置进行标定；

步骤三：对每帧图像中人脸上的眼睛和鼻子的位置进行标定；

步骤四：根据步骤三中获取的眼睛和鼻子的位置对图像进行裁剪，只保留每帧图像的脸部区域；

步骤五：选取一张同一个人的无表情的图像作为模板，逐帧与模板进行比较，剔除非微表情的图像；

步骤六：对步骤五中剩余的微表情图像，采用基于内容的切段方法对视频进行切段。

2.根据权利要求1所述的微表情自动识别的建库视频自动切段方法，其特征在于，所述步骤二中对人脸位置的标定方法，是采用现有Adaboost算法训练好的人脸分类器，确定人脸在每帧图像中的位置。

3.根据权利要求1所述的微表情自动识别的建库视频自动切段方法，其特征在于，所述步骤三中眼睛和鼻子的位置标定方法，包括步骤如下：

1)采用现有Adaboost算法训练好的眼睛分类器和鼻子分类器在步骤二中得到的图像的脸部区域搜索；

2)把得到的眼睛区域提取出来，得到瞳孔的坐标位置和瞳孔区域的大小；因为在眼睛区域中，瞳孔的灰度值普遍很低，利用这一特点，对眼睛区域利用水平和垂直方向的积分投影的方法，即可得到瞳孔的坐标位置和瞳孔区域的大小。

4.根据权利要求1所述的微表情自动识别的建库视频自动切段方法，其特征在于，所述步骤四中裁剪的方法是：

根据前述步骤三中获取的鼻子和眼睛瞳孔的位置坐标以及比例关系，以鼻子为中心，以两眼之间的距离的2倍为宽，以鼻子到两眼之间连线的垂直距离的5倍为高，画出一个矩形区域，按照此矩形区域对原图像进行裁剪。

5.根据权利要求1所述的微表情自动识别的建库视频自动切段方法，其特征在于，所述步骤五中剔除非微表情图像的方法：

选取一张无表情的图像作为模板，对上述步骤四中裁剪出来的图像逐个比较其与模板图像的灰度直方图的差异，如果帧间的灰度直方图差异小于根据图像内容自动选取的阈值时，则把该帧图像认为是非微表情图像，并剔除掉；如果帧间差异大于根据图像内容自动选取的阈值，则把该帧图像认为是微表情图像；

上述根据图像内容自动选取阈值的方法为：

假设D_i为第i帧图像与无表情模板图像的灰度直方图的差值，α为自适应系数，其中0≤α≤1，设置常数c是为了防止帧间差值几乎为零时而无法自动选取阈值，当满足下式时，则把该帧图像认为是非微表情图像

$D_i+c\≤\mathrm{\α}\underset{q=i-3}{\overset{i-1}{\mathrm{\Σ}}}\frac{D_q+c}{3}$

其中，D_q为第q帧图像与无表情模板图像的灰度直方图的差值；

当时，则把该帧图像认为是微表情图像。

6.根据权利要求1所述的微表情自动识别的建库视频自动切段方法，其特征在于，所述步骤六中基于内容的切段方法为：

是通过对图像纹理特征的描述和比较，对相邻帧图像的相关性进行度量，取得一个描述帧间差距的量，寻找帧间差距的局部最大值点所对应的帧图像，即为切段点；

帧图像纹理特征的提取，采用二维Haar小波变换方法，是对帧图像进行2层小波变换，以小波变换的7个小波系数组成一个特征向量，作为帧图像的纹理特征表述方式；根据帧图像描述纹理特征的特征向量计算出相邻帧之间特征向量的欧氏距离，作为度量帧间差值的量，找出帧间差值取局部最大值点，以对应帧作为切段点，即从中提取出微表情视频的独立子段，实现建库视频的自动切段，具体步骤如下：

（1）采用二维Haar小波变换方法对帧图像进行2层小波变换，假设j为采用小波变换对图像分解的级数，则第j级二维图像小波系数由第j-1级的小波系数的加权和表示，其中h（）为低通分解滤波器，g（）为高通分解滤波器，第j级图像的像素点的行和列用m,n来表示，第j-1级图像像素点的行和列用k，l来表示；

低频子图像的小波系数

$W_{m,n}^{\left(j\right)}=\underset{l,k}{\mathrm{\Σ}}h(k-2m)h(l-2n)W_{k,l}^{(j-1)}$

水平高频子图像的小波系数

$W_{m,n}^{(j,h)}=\underset{l,k}{\mathrm{\Σ}}h(k-2m)g(l-2n)W_{k,l}^{(j-1)}$

垂直高频子图像的小波系数

$W_{m,n}^{(j,v)}=\underset{l.k}{\mathrm{\Σ}}g(k-2m)h(l-2n)W_{k,l}^{(j-1)}$

对角高频子图像的小波系数

$W_{m,n}^{(j,D)}=\underset{l.k}{\mathrm{\Σ}}g(k-2m)g(l-2n)W_{k,l}^{(j-1)}$

对图像进行2层Haar小波变换有7个小波系数，把这7个小波系数组合成一个特征向量

$\stackrel{\→}{T_i}=(W_{m,n}^{(j,D)},W_{m,n}^{(j,h)},W_{m,n}^{(j,v)},W_{m,n}^{(j+1,D)},W_{m,n}^{(j+1,h)},W_{m,n}^{(j+1,v)},W_{m,n}^{(j+1)})$

其中，上角标j和j+1分别表示第j级和第j+1级，D表示对角高频标识，h表示水平高频标识，v表示垂直高频标识；

（2）计算帧间特征向量的欧氏距离C_i，

$C_i=|{\stackrel{\→}{T}}_i-{\stackrel{\→}{T}}_{i-1}|$

其中，

和

分别表示第i帧和第i-1帧的由Haar小波系数组成的特征向量；

（3）对帧间特征向量的欧氏距离取大于平均值的局部最大值，而且局部最大值要求大于前后3帧的距离值，以上述局部最大值对应的帧作为切段点，即从中提取出微表情的独立子段，从而实现对建库视频的自动切段。

Images