CN102054291A

CN102054291A - 一种基于单幅人脸图像实现三维人脸重建的方法及其装置

Info

Publication number: CN102054291A
Application number: CN2009101127795A
Authority: CN
Inventors: 林志扬; 刘祥南; 吴鸿伟; 赵庸
Original assignee: Xiamen Meiya Pico Information Co Ltd
Current assignee: Xiamen Meiya Pico Information Co Ltd
Priority date: 2009-11-04
Filing date: 2009-11-04
Publication date: 2011-05-11

Abstract

本发明公开了一种基于单幅人脸图像实现三维人脸重建的方法及其装置，包括利用人脸结构先验知识对人脸图像进行姿态识别，结合人脸面貌测量与射影几何，估计出人脸平面的旋转方向及角度，从而设置三维人脸的旋转角度；采用人工神经网络对人脸图像上的二维特征点的深度进行估计，取得各特征点的三维坐标；采用Dirichlet自由变形算法实现对通用三维人脸模型向特定模型转变；采用二维图像提取的特征点进行对三维人脸模型映射；从而实现了由单幅人脸图像来构造出真实三维模型，有效地提高了三维建模精度，缩短了三维建模时间和降低了三维建模成本。

Description

一种基于单幅人脸图像实现三维人脸重建的方法及其装置

技术领域

本发明涉及数字图像处理、机器视觉及人工智能等技术领域，特别是涉及一种基于单幅人脸图像实现三维人脸重建的方法及其装置。

背景技术

目前的基于图像的人脸建模的方法主要分成两种：一种是基于多张图片或正交图片的形状的重建方法，另一种就是基于单幅图像的三维人脸建模的方法。

传统的基于多张相片的形状重建方法一般采用硬件(如三维扫描仪等专用设备)来进行获取人脸的三维信息，虽然理论基础比较成熟，但是其实现成本及实施方法都比较困难；而采用正交图片进行重建的方法，由于正面图像与侧面图像正交，可以从图像中取出相应特征点的三维坐标，然后进行三维人脸模型拟合，再加上纹理就可以重建一个三维人脸模型，但这种方法一般需要手工交互来确定人脸特征点的位置，而且其两个图像一定是要正交才行，这在实际操作中，同样也是比较困难的。

基于单幅图像的三维人脸建模方法，简化了人工操作并实现建模的自动化。如果没有其它条件下，只凭单张图像来进行三维重建是不可能的。Blanz等人提出三维变形模型克服了这个问题，采用三维人脸库作为先验知识对人脸模型进行约束条件，成功地实现基于单张图像的三维人脸自动建模。但是，该方法用了200个扫描获得的三维人脸模型，通过线性组合，结合旋转角度、光照等22个参数，经过迭代优化算法，才能获得目标模型，其所花费的时间太长。

而且，这些从单张图像进行三维人脸建模的方法并没有考虑如何从一张图像上进行获取人脸的角度及特征点的深度，只是利用二维图像的特征点坐标，从而影响了三维建模的精度。

发明内容

本发明的目的在于克服现有技术之不足，提供一种基于单幅人脸图像实现三维人脸重建的方法及其装置，是根据人脸姿态的四个特征点来实现姿态角度估计，以已有的大量人脸特征点距离及纹理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并进而构造出真实三维模型，从而达到了有效提高三维建模精度，缩短三维建模时间和降低三维建模成本的目的。

本发明解决其技术问题所采用的技术方案是：一种基于单幅人脸图像实现三维人脸重建的方法，包括：

输入单幅人脸图像的步骤；

进行姿态估计处理的步骤；该步骤是以人脸姿态中两个内眼角与两个鼻翼点的坐标为四个特征点来实现姿态角度估计；采用双灭点估计出人脸在X、Y、Z轴上的旋转角度；

进行特征点深度估计处理的步骤；该步骤是根据已有的大量人脸特征点距离及纹理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知的二维坐标与其深度估计值组合得到估计三维坐标值；

进行三维建模处理的步骤；该步骤是将得到的三维人脸X、Y、Z轴上的旋转角度与人脸特征点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行变形；

进行纹理映射处理的步骤；该步骤是将单幅正向人脸图像进行投影到三维模型上；对于正面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；

构造真实三维模型的步骤。

所述的进行姿态估计处理的步骤，包括：

面部姿态特征点抽取的步骤；该步骤是将输入的正向人脸图像采用主动形状模型(ASM)来定位人脸特征；所定位的人脸特征包括人脸姿态中的两个内眼角与两个鼻翼点的坐标共四个特征点；

计算四边形双灭点的步骤；该步骤是根据四个人脸特征点来计算其双灭点；

计算X、Y、Z轴的旋转角度的步骤。

所述的进行特征点深度估计处理的步骤，包括：

面部图像特征点抽取的步骤；该步骤是采用主动形状模型(ASM)来定位人脸特征；

光照纹理信息抽取的步骤；

训练神经网络的步骤；

估算各特征点深度(Z)并获取各点三维坐标的步骤。

所述的进行三维建模处理的步骤，包括：

创建中性人脸模型的步骤；

中性人脸姿态调整的步骤；

人脸变形算法的步骤；

生成人脸特定模型的步骤。

所述的进行纹理映射处理的步骤，包括：

纹理映射的步骤；该步骤是将得到的人脸模型与正向人脸图像进行粘贴处理；

双线性插值处理的步骤；

构造出三维模型的步骤。

一种基于单幅人脸图像实现三维人脸重建的装置，包括：

一输入装置，用来输入人脸图像；

一姿态估计处理装置，用来以人脸姿态中两个内眼角与两个鼻翼点的坐标为四个特征点来实现姿态角度估计，并采用双灭点估计出人脸在X、Y、Z轴上的旋转角度；

一特征点深度估计处理装置，用来根据已有的大量人脸特征点距离及纹理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知的二维坐标与其深度估计值组合得到估计三维坐标值；

一三维建模处理装置，用来将得到的三维人脸X、Y、Z轴上的旋转角度与人脸特征点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行变形；

一纹理映射处理装置，用来将单幅正向人脸图像进行投影到三维模型上，对于正面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；

一构造真实三维模型装置，用来构造出真实三维模型；

输入装置的输出接至姿态估计处理装置的输入；姿态估计处理装置的输出接至特征点深度估计处理装置的输入；特征点深度估计处理装置的输出接至三维建模处理装置的输入；三维建模处理装置的输出接至纹理映射装置的输入；纹理映射装置的输出接至构造真实三维模型装置。

本发明的有益效果是，由于采用了人脸结构先验知识对人脸图像进行姿态识别，结合人脸面貌测量与射影几何，估计出人脸平面的旋转方向及角度，从而设置三维人脸的旋转角度；采用人工神经网络对人脸图像上的二维特征点的深度进行估计，取得各特征点的三维坐标；采用Dirichlet自由变形算法实现对通用三维人脸模型向特定模型转变；采用二维图像提取的特征点进行对三维人脸模型映射；从而实现了由单幅人脸图像来构造出真实三维模型，有效地提高了三维建模精度，缩短了三维建模时间和降低了三维建模成本。

以下结合附图及实施例对本发明作进一步详细说明；但本发明的一种基于单幅人脸图像实现三维人脸重建的方法及其装置不局限于实施例。

附图说明

图1是本发明方法的主流程图；

图2是本发明方法的姿态估计处理的流程图；

图3是本发明方法的特征点深度估计处理的流程图；

图4是本发明方法的三维建模处理的流程图；

图5是本发明方法的纹理映射处理的流程图；

图6是本发明方法的人脸姿态特征点的示意图；

图7是本发明方法的空间坐标系与人脸姿态特征点的示意图；

图8是本发明方法的像平面中眼角点直线的斜率的示意图；

图9是本发明装置的结构框图。

具体实施方式

参见图1所示，本发明的一种基于单幅人脸图像实现三维人脸重建的方法，包括：

输入单幅人脸图像的步骤；如图1中的框101所示；

进行姿态估计处理的步骤；该步骤是以人脸姿态中两个内眼角与两个鼻翼点的坐标为四个特征点来实现姿态角度估计；采用双灭点估计出人脸在X、Y、Z轴上的旋转角度；如图1中的框102所示；

进行特征点深度估计处理的步骤；该步骤是根据已有的大量人脸特征点距离及纹理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知的二维坐标与其深度估计值组合得到估计三维坐标值；如图1中的框103所示；

进行三维建模处理的步骤；该步骤是将得到的三维人脸X、Y、Z轴上的旋转角度与人脸特征点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行变形；如图1中的框104所示；

进行纹理映射处理的步骤；该步骤是将单幅正向人脸图像进行投影到三维模型上；对于正面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；双线性插值是通过对纹理中的相邻像素进行处理来平滑掉屏幕输出像素间的锯齿的，使用双线性插值会使屏幕输出的图像显得更平滑；如图1中的框105所示；构造真实三维模型的步骤；如图1中的框106所示。

如图2所示，本发明的方法中，其中，所述的进行姿态估计处理的步骤，包括：

面部姿态特征点抽取的步骤；该步骤是将输入的正向人脸图像采用主动形状模型(ASM)来定位人脸特征；所定位的人脸特征包括人脸姿态中的两个内眼角与两个鼻翼点的坐标共四个特征点；如图2中的框201所示；

计算四边形双灭点的步骤；该步骤是根据四个人脸特征点来计算其双灭点；如图2中的框202所示；

计算X、Y、Z轴的旋转角度的步骤；如图2中的框203所示。

步骤201中，将系统输入的正向人脸图像采用主动形状模型(ASM)来定位人脸特征，必要时可进行人工手动调整。

所定位的人脸特征共有四个点，两个内眼角与两个鼻翼点的坐标，如图6所示，这四个点不易受到人脸表情变化(如笑、哭等)的干扰与化装(如眼镜等)的干扰，具有很强的抗干扰性和稳定性。在空间中，两个内眼角的连线与两个鼻翼点的连线平行，内眼角与鼻翼点的左右两条连线也相互平行，这四个点所组成的四边形具有长方形的特性。

四点在空间坐标系的关系图如图7所示。在空间坐标系O-XYZ中，O为原点，E1、E2为空间中人脸两个内眼角点，N1、N2为空间中人脸两个鼻翼点。F为照相机成像平面。e1、e2为人脸两个内眼角点在像平面上的投影，n3、n2为人脸两个鼻翼点在像平面上的投影。

由于E1、E2、N1、N2的连线具有长方形的特性，所以E1、E2的连线与N1、N2的连线互相并行，并不会产生灭点，E1、N1的连线与E2、N2的连线也同样不会产生灭点。如果F平面与空间E1、E2、N1、N2并非平行，则e1、e2连线与n2、n3连线将产生灭点M1，e1、n3连线与e2、n2连线也将产生灭点M2。

步骤202中，在步骤201中得到四个人脸特征点，开始计算其灭点M1、M2。

设这两条直线为y＝ax+b，y＝cx+d

有ax+b＝cx+d

(a-c)x＝d-b

x＝(d-b)/(a-c)

再把x代入y＝ax+b，y＝cx+d得

y＝a*(d-b)/(a-c)+b或y＝c*(d-b)/(a-c)+d

所以交点坐标为[(d-b)/(a-c)，a*(d-b)/(a-c)+b]或[(d-b)/(a-c)，c*(d-b)/(a-c)+d]。

步骤203中，根据两个灭点坐标，来估计空间人脸的三维旋转姿态。

设向量E＝{i1，j1，k1}代表E1、E2连线的方向向量，由于N1、N2连线与E1、E2平行，N1、N2的方向向量也为E，M1的三维坐标为{x1，y1，z1}。

利用射影几何知识可求得M1三维坐标为：

\{\begin{matrix} x 1 = f \times i 1 \div k 1 \\ y 1 = f \times j 1 \div k 1 \\ z 1 = f \end{matrix}

E方向向量为{x1×k1÷f，y1×k1÷f，k1} (1)

同理设N ＝{i2、j2、k2}为E1、N1连线的方向向量。

可得M2三维坐标为：

\{\begin{matrix} x 2 = f \times i 2 \div k 2 \\ y 2 = f \times j 2 \div k 2 \\ z 2 = f \end{matrix}

N方向向量为{x2×k2÷f，y2×k2÷f，k2} (2)

算出正向人脸的法线可以确定人脸在三维空间的旋转姿态。

正向人脸平面，可以设E1、E2、N2、N1为正向人脸中的四个点。由这四个点所组成的平面为正向平面。

由于E与N方向向量互相垂直，并同在正向平面中，可得人脸正向平面的法线：F＝E×N。

结合(1)、(2)可得：

F＝{y1-y2，x2-x1，(x1*y2-x2*y1)/f}

由于E与N方向向量互相垂直，其内积{x1×k1÷f，y1×k1÷f，k1}·{x2×k2÷f，y2×k2÷f，k2}为零。

经整理可得：

F = {y 1 - y 2, x 2 - x 1, \frac{x 1 y 2 - x 2 y 1}{\sqrt{- (x 1 x 2 + y 1 y 2)}}}

从步骤202中，可以得到灭点M1(x1，x2)、M2(y1，y2)的坐标值。

由法线F可得三维旋转角度α、β、γ，分别对应X、Y、Z轴的旋转角度。

\{\begin{matrix} α = arctag [\frac{(x 2 - x 1) \times \sqrt{- (x 1 x 2 + y 1 y 2)}}{x 1 y 2 - x 2 y 1}] \\ β = arctag [\frac{(y 1 - y 2) \times \sqrt{- (x 1 x 2 + y 1 y 2)}}{x 1 y 2 - x 2 y 1}] \\ γ = arctag [K] \end{matrix}

K为像平面中眼角点e1e2直线的斜率，如图8所示。

K＝(y2-y1)/(x2-x1)。

如图3所示，本发明的方法中，其中，所述的进行特征点深度估计处理的步骤，包括：

面部图像特征点抽取的步骤；该步骤是采用主动形状模型(ASM)来定位人脸特征；如图3中的框301所示；

光照纹理信息抽取的步骤；如图3中的框302所示；

训练神经网络的步骤；如图3中的框303所示；

估算各特征点深度(Z)并获取各点三维坐标的步骤；如图3中的框304所示。

步骤301中，采用主动形状模型(ASM)来定位人脸特征，必要时可进行人工手动调整。

将所有定位的人脸特征点的二维坐标记录下来，并计算出各点的欧氏距离(Euclidean distance)，并把人脸中最长距离，即额头特征点到下巴特征点设置为L。

步骤302中，将系统输入的正向人脸图像进行纹理信息抽取。

其中纹理的提取过程如下所示：

把彩色图片按照YCrCb的三个颜色空间分成Y(亮度)、Cr(色度r)、Cb(色度b)三维矢量，并根据该象素点的周边象素的YCrCb颜色分量计算该点的矢量，算出其点的上下左右等方向的相差值，如果颜色无变化，则其值为0。

设置当前点为point，它的Y(亮度)矢量对应于如下结构中的Y4；

Y0	Y1	Y2
			Y3	Y4	Y5
Y6	Y7	Y8

Cr(色度r)矢量对应于如下结构中的Cr4；

Cr0	Cr1	Cr2
			Cr3	Cr4	Cr5
Cr6	Cr7	Cr8

Cb(色度b)矢量对应于如下结构中的Cb4；

Cb0	Cb1	Cb2
			Cb3	Cb4	Cb5
Cb6	Cb7	Cb8

然后进行如下计算；

水平划分计算：y0＝((Y0+Y1+Y2)-(Y6+Y7+Y8)/3

垂直划分计算：y1＝((Y0+Y3+Y6)-(Y2+Y5+Y8))/3

右对角划分计算：y2＝((Y0+Y1+Y3)-(Y5+Y7+Y8))/3

左对角划分计算：y3＝((Y1+Y2+Y5)-(Y3+Y6+Y7)/3

以其的水平、垂直、右对角、左对角的最大值为该点的值。

point.Y＝max(y0，y1，y2，y3)；

同理可推算出point.Cr与point.Cb的值。

将生成的YCrCb纹理生成灰度(Gray)图。

将步骤301中取出的各个特征点坐标，计算各个特征点之间的灰度值。即在纹理灰度中，每两特征点坐标之间的灰度值总和。

步骤303是将三维人脸各个特征点的先验知识用来训练成各个特征点的神经网络。

三维人脸各个特征点的先验知识包含以下信息。

各个特征点之间的距离/L(额头特征点到下巴特征点距离)；

各个特征点之间的纹理灰度值/L(额头特征点到下巴特征点距离)；

设：

Eu＝Eij(i，j∈M，i≠j)

Gu＝Gij(i，j∈M，i≠j)

M为当前人脸特征点集合，L为额头特征点到下巴特征点距离，Eij为在二维图像中两个点之间的欧氏距离/L，Gij为在二维图像中两个点之间的纹理灰度值/L。

要生成额头特征点的神经网络，则先进行收集关于额头特征点Eu、Gu与额头特征点的深度作为训练值，采用BP神经网络算法进行训练，得到其网络权值。

采用各个特征点的距离与纹理信息，是基于两个方面考虑：

1)、人脸是一个球面，其各个点的深度与其分布的位置相关；

2)、各个点之间由于深度位置不同所受到的光照效果也是不同。

根据已有的三维人脸先验知识，可训练出各个特征点的神经网络。

步骤304中，将已得到的当前正向人脸图像中各特征点的欧氏距离、纹理灰度值与L，进行神经网络计算，可得到各个特征点的估计深度值Z。并上已知的X、Y二维坐标，可得各点三维坐标值。

如图4所示，本发明的方法中，其中，所述的进行三维建模处理的步骤，包括：

创建中性人脸模型的步骤；即根据三维人脸的先验知识创建中性人脸模型；如图4中的框401所示；

中性人脸姿态调整的步骤；将步骤203得到的X、Y、Z来对中性人脸模型进行旋转；如图4中的框402所示；

人脸变形算法的步骤；首先将各个特征点按步骤304得到的各点的三维坐标进行调整，然后采用Dirichlet自由变形算法进行对其它三维坐标进行调整；相比其它的自由变形方法，它有更大的灵活性，能够任意设置控制点；如图4中的框403所示；

生成人脸特定模型的步骤；将中性人脸模型生成特定人脸模型，进行保存；如图4中的框404所示。

如图5所示，本发明的方法中，其中，所述的进行纹理映射处理的步骤，包括：

纹理映射的步骤；该步骤是将得到的人脸模型与正向人脸图像进行粘贴处理；即，把对应的纹理信息按比例粘贴到模型上；如图5中的框501所示；

双线性插值处理的步骤；对于由于正面图像不够而需要进行纹理插值的，进行双线性插值；如图5中的框502所示；双线性插值是通过对纹理中的相邻像素进行处理来平滑掉屏幕输出像素间的锯齿的；使用双线性插值会使屏幕输出的图像显得更平滑；

构造出三维模型的步骤；将粘贴纹理后的三维模型输出；如图5中的框503所示。

参见图9所示，本发明的一种基于单幅人脸图像实现三维人脸重建的装置，包括：

一输入装置61，用来输入人脸图像；

一姿态估计处理装置62，用来以人脸姿态中两个内眼角与两个鼻翼点的坐标为四个特征点来实现姿态角度估计，并采用双灭点估计出入脸在X、Y、Z轴上的旋转角度；

一特征点深度估计处理装置63，用来根据已有的大量人脸特征点距离及纹理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知的二维坐标与其深度估计值组合得到估计三维坐标值；

一三维建模处理装置64，用来将得到的三维人脸X、Y、Z轴上的旋转角度与人脸特征点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行变形；

一纹理映射处理装置65，用来将单幅正向人脸图像进行投影到三维模型上，对于正面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；

一构造真实三维模型装置66，用来构造出真实三维模型；

输入装置61的输出接至姿态估计处理装置62的输入；姿态估计处理装置62的输出接至特征点深度估计处理装置63的输入；特征点深度估计处理装置63的输出接至三维建模处理装置64的输入；三维建模处理装置64的输出接至纹理映射装置65的输入；纹理映射装置65的输出接至构造真实三维模型装置66。

上述实施例仅用来进一步说明本发明的一种基于单幅人脸图像实现三维人脸重建的方法及其装置，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围。

Claims

1.一种基于单幅人脸图像实现三维人脸重建的方法，其特征在于：包括：