基于轻量装置的时变光场的动态人脸高光材质提取算法
技术领域
本发明涉及人脸动态PBR材质重建领域,尤其涉及一种基于轻量级装置的时序变化光场的动态人脸高光材质提取算法。
背景技术
在AR(增强显示)、VR(虚拟现实)、元宇宙、虚拟拍摄等领域都对人体的三维重建有大量需求,人脸尤其是重点。目前常用的方法是使用多视角相机拍摄,利用相机阵列来实现人脸的三维信息采集。除了三维信息之外,人脸的皮肤外观信息也是采集的对象。人脸的皮肤外观按照反射属性的不同分为漫反射和高光两种,漫反射代表人脸的肤色,属于低频信号;高光则体现人脸毛孔级别的细节,属于高频信号,高光是体现高真实感人脸的关键要素。如果只需要获取皮肤的漫反射数据,采集装置一般使用光源均匀、明亮的拍摄环境。如果要采集高频的高光数据,采集装置需要用时序变化的光源对人脸进行拍摄,这类装置的代表是以球面梯度偏振光为代表的Light Stage系列。Light Stage需要搭建一个球形采集装置,其上分布数百个光源,拍摄人脸在4种不同模式的光照下的影响,再以光度立体技术提取人脸物理反射材质。然而扩展到动态领域,Light Stage装置因不同光照模式之间差异较大,不利于动态场景的时序关联。
因此,本领域的技术人员致力于开发一种基于轻量级装置的时序变化光场的动态人脸高光材质提取算法,要求:a.光照模式尽量少且尽量均匀照亮人脸,以此适应动态场景;b.算法和装置要高度耦合,充分考虑人脸皮肤反射模型本身特性;c.装置设计以轻量级,降低硬件成本、搭建和维护难度。
发明内容
为克服上述问题,本发明提供一种基于轻量级装置的时序变化光场的动态人脸高光材质提取算法,配合轻量级装置的时序变化光场,在充分分析人脸皮肤反射模型参数的基础上,以尽可能少的光源模式和尽可能均质的环境光,做到动态皮肤材质高光分量的提取,同时不影响时序关联。
本发明的第一个方面提供一种基于轻量级装置的时序变化光场的动态人脸高光材质提取算法,包括以下步骤:
(1)根据开源的人脸皮肤反射参数统计数据库Merl/ETH Skin,人脸高光以Torrance-Sparrow模型表达,其粗糙度参数均值为0.3031,标准差为0.0891,即这个参数在不同人之间差异非常小,可以视为常数,因此将高光部分的变化完全体现在法向bumpnormal这一变量上;
(2)将皮肤的Torrance-Sparrow模型转为Rusinkiewicz Half-vector参数化表达方式,其中,Half-vector是相机视线和方向光的中间角;在确定Half-vector且以此为Z轴的情况下,人脸的反射系数随着高度角的增大而减少,与方位角无关;
(3)转换参数化表达后,获取三种不同Half-vector下高光的分量强度,通过查询固定Half-vector和粗糙度的与计算的反射模型参数,获知法向与Half-vector的夹角;通过至少三个与不同Half-vector的夹角,解出法向;
(4)获取法向后,再带入Torrance-sparrow模型计算其高光的反射强度。
进一步,所述步骤1中,根据开源的人脸皮肤反射参数统计数据库Merl/ETH Skin,人脸高光以Torrance-Sparrow模型表达如下:
其中,f是反射系数,ρs是高光分量的权重,G是几何衰减因子,D是微表面分布因子,Fr是菲涅尔因子;G、D、Fr的计算公式如下:
其中,m是粗糙度,δ是表面法向N与Half-vector H之间的夹角,R0是人脸高光材质在垂直入射时的光强反射率。
进一步,所述步骤2中,根据Rusinkiewicz Half-vector的参数化方式,将上述Torrance-Sparrow反射模型进行转换;对于搭建好的装置,方向光方向ωi和相机视线法向ωo是已知的,θd是H与ωi的夹角,因此θd是已知的;
θh是法向与H的夹角,是ωi在与h垂直的平面上的投影角度;θh和这两个参数取值范围如下:
进一步,所述θh和这两个参数取值范围并不是能完全遍历的,需要去掉与法向N夹角超过90°的组合。
进一步,所述步骤3中,通过预先固定粗糙度参数和θd,对于每一个高光量测,都可以在对应Rusinkiewicz Half-vector参数化的Torrance-Sparrow反射模型中找到其对应的,相应地找到其与H的高度角,找到三个相对不同H的高度角,联立以下方程,计算出人脸的法向参数:
其中,L每一行是归一化后的方向光的方向,n是待求法向,s是通过上述查表获知的法向与Half-vector的内积。
进一步,所述步骤4中,将已知的法向代入Torrance-Sparrow反射模型,拟合高光强度参数ρs。
本发明的第二个方面提供一种基于轻量级装置的时序变化光场的动态人脸高光材质提取算法的人脸采集装置,包括相机阵列、侧面相机、正面相机、柔光箱、侧面方向光源、正面方向光源和光源;
所述相机阵列包括多行多列呈阵列排布的多个记录人脸不同角度的相机,相机阵列俯视呈半圆形分布,距离人脸一米;相机阵列覆盖人脸左耳至右耳范围内的正面部分;相机阵列在垂直方向上分为四层,覆盖人脸脖子、下巴到额头的范围;
所述柔光箱围绕设置在相机阵列后侧,柔光箱内设置有多个光源,多个光源形成均匀的环境光照;所述相机阵列和方向光源置于柔光箱之前,距离人脸一米;
所述侧面方向光源在人脸两侧各设置三台,三台侧面方向光源在垂直方向上间隔设置,以覆盖侧面人脸的高度;正面方向光源在人脸正面设置有两台,两台正面方向光源在垂直方向上间隔设置,覆盖正面人脸的高度;
所述侧面相机在人脸两侧各设置三台,三台侧面相机在垂直方向间隔设置;其中,三台侧面相机中位于最上方和最下方的两台相机与三台侧面方向光源中位于最上方和最下方的方向光源在同一位置;三台侧面相机中位于中间的一台侧面相机与三台侧面方向光源中位于中间的方向光源相对设置,所有侧面相机与侧面方向光源形成一个菱形;
所述正面相机在人脸正面设置有三台,三台正面相机在垂直方向和水平方向间隔设置,与采集人脸距离1m,从正视图看三台正面相机形成一个三角形分布,使得拍摄图像足够覆盖人脸正面区域。
进一步,所述三台侧面方向光源在垂直方向上间隔20~30cm设置,三台侧面方向光源中,位于最上方的侧面方向光源和位于最下方的侧面方向光源无水平距离,位于中间的侧面方向光源位于相机阵列边缘,并与位于最上方的侧面方向光源和位于最下方的侧面方向光源有15~20cm的水平距离。
进一步,两台正面方向光源指向采集人脸,垂直方向上的相对高度不少于20cm;正面方向光源的放置位置避免直射人眼区域,以减少采集过程中的不适感。
本发明的有益效果是:所需相机数量和光源数量较其他解决方案要少,是一种轻量级的解决方案;设计的光照模式可以做到不影响时序上的均匀光照,而仅仅对代表细节、高频信号的高光分量产生影响,做到以往需要大型昂贵的Light Stage装置才能完成的效果;充分利用人脸皮肤材质的反射模型的,提取的法向具有物理依据;不超过三个光照模式就能实现高光参数的提取,时间间隔少,适合人脸动态场景。
附图说明
图1本发明中侧面相机与侧面方向光源的摆放示意图。
图2本发明中正面相机与正面方向光源的摆放示意图。
图3是以θd=50°为例,Rusinkiewicz Half-vector参数化的Torrance-Sparrow可视化图。
图4本发明的算法流程图。
图5是本发明光场阵列的实施例3,三个方框组成的三组光源组间独立,组内依次开合。
图6是发明人脸采集装置输入图像序列的获取流程图。
具体实施方式
下面将结合附图对本发明专利的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,如出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,如出现术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,如出现术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例一
参照附图4,基于轻量级装置的时序变化光场的动态人脸高光材质提取算法,包括以下步骤:
(1)根据开源的人脸皮肤反射参数统计数据库Merl/ETH Skin,人脸高光以Torrance-Sparrow模表达如下:
其中,f是反射系数,ρs是高光分量的权重,G是几何衰减因子,D是微表面分布因子,Fr是菲涅尔因子;G、D、Fr的计算公式如下:
其中,m是粗糙度,δ是表面法向N与Half-vector H之间的夹角,R0是人脸高光材质在垂直入射时的光强反射率。
(2)根据Rusinkiewicz Half-vector的参数化方式,将上述Torrance-Sparrow反射模型进行转换。对于搭建好的装置,方向光方向ωi和相机视线法向ωo是已知的,因此θd(H与ωi的夹角)是已知的,那么剩下的参数,就变成了θh(法向与H的夹角),以及ωi在与h垂直的平面上的投影角度这两个参数取值范围如下:
以上范围并不是能完全遍历的,还需要去掉一部分与法向N夹角超过90°的组合,此即图3下方弓形无数值的黑色区域。
以θd=50°为例,Rusinkiewicz Half-vector参数化的Torrance-Sparrow可视化为图3,垂直方向代表θh,水平方向为下方的圆弧表示取值范围超出了可见范围,不计算反射参数。根据各向同性的性质,反射系数强度只与θh有关,与无关。
(3)根据Merl/ETH Skin数据库的统计性参数,0.3031,标准差为0.0891,即这个参数在不同人之间差异非常小,可以视为常数,因此可以首先将高光部分的变化完全体现在法向(bump normal)上。通过预先固定粗糙度参数和θd,对于每一个高光量测,都可以在对应Rusinkiewicz Half-vector参数化的Torrance-Sparrow反射模型中找到其对应的,相应地找到其与H的高度角,只要能找到三个相对不同H的高度角,就可以联立以下方程,计算出人脸的法向参数:
其中,L每一行是归一化后的方向光的方向,n是待求法向,s是通过上述查表获知的法向与Half-vector的内积。
(4)将已知的法向代入Torrance-Sparrow反射模型,拟合高光强度参数ρs。
基于轻量级装置的时序变化光场的动态人脸材质提取算法,该算法与硬件耦合,输入来自人脸采集装置的多视角多光照的高光图像序列,输出人脸的法向(Bump Normal)图层和高光强度。
实施例二
参照附图1-2,实施基于轻量级装置的时序变化光场的动态人脸高光材质提取算法的人脸采集装置。根据算法原理,该人脸采集装置需要:a.尽量保证有三个相机用于捕捉同一时刻的高光,且相机与光源的Halfvector需要不共线;b.方向光分布需要能覆盖完整人脸,因为人脸有一定的起伏,因此在局部区域可能需要不止一个光源,但尽量让光源数目不超过三个,适应动态场景;c.为了营造相对均匀的环境光照,需要一个较方向光低亮度的均匀环境光照,该装置具体实施方式如下:
(1)采集装置俯视呈半圆形分布,距离人脸约一米;相机覆盖左右耳范围内的正面部分;相机阵列在垂直方向上分为四层,完成覆盖人脸脖子、下巴到额头的范围。
(2)装置用柔光箱包围,部分光源置于柔光箱之后,形成均匀的环境光照;相机和方向光源置于柔光箱之前,距离人脸约一米;在人脸两侧各放置三台作为方向光的光源,覆盖侧面人脸的高度,三台光源在垂直方向上间隔约30cm,上下两台无水平距离,中间的光源位于装置边缘,与上下有约20cm的水平距离。正面部分有上下两台方向光,覆盖正面人脸的高度,高度相差约80cm。
(3)侧面各布置三台侧面相机,其中上下两台侧面相机与上下两个侧面方向光源在同一位置,中间侧面相机与中间侧面方向光源相对,所有侧面相机和侧面方向光源形成一个菱形;正面放置三台正面相机,其一位于人脸正前方1m,高度约20cm;剩下两台正面相机位于左右两侧,水平距离约50cm,其余与人脸鼻子处于同一高度,其二低于鼻子约20cm。
实施例三
参照附图5,如实施例二所述的人脸采集装置,其采集的输入图像序列是这样获取的:
步骤一:两个侧面上中下光源依次开关,相机同步拍摄;
步骤二:正面上下光源依次开关,相机同步拍摄;
步骤三:环境光强度以增强、减弱依次调整,相机同步拍摄;
以上步骤相互独立,不分先后。
本发明算法输入的多视角多光照图像序列采集自轻量级的人脸采集装置。该装置关键的时序变化光场设计是在充分分析人脸物理反射(PBR,physics-based reflection)模型的的基础上,与算法紧密结合而设计的。装置只需要一个均匀的环境光和若干方向光,就能实现动态的人脸PBR材质提取。与其他人脸材质提取方向相比,本发明可以做到:a.时序变化的光照模式数量少,整体呈现均匀光照有利于时序关联;局部呈现方向性,有利于提取PBR材质的高光分量;c.算法充分利用人脸皮肤反射模型的统计性参数为先验条件,从而设计光源与相机的相对位置和光照模式,高效还原人脸所需的PBR高光参数;c.该装置需要的光场搭建简单,成本较低。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。