CN1942899A - 脸图像制作装置和方法 - Google Patents

Abstract

本发明的脸图像制作装置(100)，制作将第一脸图像制作用的脸部件配置在了依据第二脸图像中的各脸部件的位置的位置上的第一脸图像，具有：接收第二脸图像的输入，从第二脸图像提取各脸部件，算出第二脸图像中的各脸部件的位置的位置算出物理特征提取部(103)；存储着参照脸图像中的各脸部件的参照位置的脸特征存储部(104)；存储第一脸图像制作用的各脸部件的第一脸图像中的默认位置的绘画规则存储部(106)；基于算出的第二脸图像中的各脸部件的位置与参照脸图像中的各脸部件的位置的比较结果和关于特定的脸部件的组的，默认位置间的距离与参照位置间的距离的比较结果，决定配置第一脸图像制作用的各脸部件的位置的似脸绘合成部(108)。

Description

脸图像制作装置和方法

                            技术领域

本发明涉及基于输入的脸图像制作根据该脸图像的新的脸图像的技术，尤其是有关用于使构成制作的脸图像的各脸部件的配置依据输入的脸图像中的各脸部件的配置的技术。

                            背景技术

以前，在脸图像制作装置中，取得对象者的脸的图像数据，基于取得的图像数据所示出的脸的特征，从脸图像制作装置中预先记录着的示出脸的各部位的图例的脸部件中，选择脸部件制作脸图像。

专利文献1中公开了一种基于从对象者取得的脸图像，制作改变了表情和画风格的脸图像的技术。

这样，由于能够从1个输入图像制作图像和表情不同的多个脸图像，因此，用户能够享受制作富有变化的各种各样的脸图像。

但是，在专利文献1中公开的技术中有下述问题，在脸图像制作装置中，在每次重新附加表情和画风格不同的脸图像的脸部件时，加在该脸部件的设定中，为了在该脸图像中使其反映输入图像中示出的脸部件的配置，都需要设定复杂的脸部件配置规则，设定操作很麻烦。

因此，本发明的目的在于提供一种不设定复杂的脸部件配置规则，能进行基于输入的脸图像的脸部件的配置制作脸图像的脸图像制作装置和方法。

专利文献1：日本特开平10-240919号公报

                            发明内容

为了解决上述已有的课题，本发明是一种脸图像制作装置，制作将第一脸图像制作用的脸部件配置在了依据第二脸图像中的各脸部件的位置的位置上的第一脸图像；

具有：接收部，接收第二脸图像的输入；位置算出部，从输入的第二脸图像提取各脸部件，算出第二脸图像中的各脸部件的位置；参照位置存储部，存储着参照脸图像中的各脸部件的参照位置；默认位置存储部，存储第一脸图像制作用的各脸部件的第一脸图像中的默认位置；配置决定部，基于算出的第二脸图像中的各脸部件的位置与参照脸图像中的各脸部件的位置的比较结果和关于特定的脸部件的组的，默认位置间的距离与参照位置间的距离的比较结果，决定配置第一脸图像制作用的各脸部件的位置。

并且，本发明是一种脸图像制作方法，在制作将第一脸图像制作用的脸部件配置在了依据第二脸图像中的各脸部件的位置的位置上的第一脸图像的脸图像制作装置中使用，上述脸图像制作装置具有：存储着参照脸图像中的各脸部件的参照位置的参照位置存储部，存储第一脸图像制作用的各脸部件和该第一脸图像中的默认位置的默认位置存储部；上述脸图像制作方法包括：接收第二脸图像的输入的接收步骤，从输入的第二脸图像提取各脸部件，算出第二脸图像中的各脸部件的位置的位置算出步骤，基于算出的第二脸图像中的各脸部件的位置与参照脸图像中的各脸部件的位置的比较结果，和关于特定的脸部件的组的，默认位置间的距离与参照位置间的距离的比较结果，决定配置第一脸图像制作用的各脸部件的位置的配置决定步骤。

并且，本发明的一种程序，使制作将第一脸图像制作用的脸部件配置在了依据第二脸图像中的各脸部件的位置的位置上的第一脸图像的脸图像制作装置执行脸图像制作处理；上述脸图像制作装置具有：存储着参照脸图像中的各脸部件的参照位置的参照位置存储部，存储第一脸图像制作用的各脸部件和该第一脸图像中的默认位置的默认位置存储部；上述脸图像制作处理也可包括：接收第二脸图像的输入的接收步骤；从输入的第二脸图像提取各脸部件，算出第二脸图像中的各脸部件的位置的位置算出步骤；基于算出的第二脸图像中的各脸部件的位置与参照脸图像中的各脸部件的位置的比较结果和关于特定的脸部件的组的，默认位置间的距离与参照位置间的距离的比较结果，决定配置第一脸图像制作用的各脸部件的位置的配置决定步骤。

再有，本发明的一种计算机可读取的记录媒体，其记录了这样的程序，使制作将第一脸图像制作用的脸部件配置在了依据第二脸图像中的各脸部件的位置的位置上的第一脸图像的脸图像制作装置，执行脸图像制作处理；上述脸图像制作装置具有：存储着参照脸图像中的各脸部件的参照位置的参照位置存储部，存储第一脸图像制作用的各脸部件和该第一脸图像中的默认位置的默认位置存储部；上述脸图像制作处理包括：接收第二脸图像的输入的接收步骤；从输入的第二脸图像提取各脸部件，算出第二脸图像中的各脸部件的位置的位置算出步骤，基于算出的第二脸图像中的各脸部件的位置与参照脸图像中的各脸部件的位置的比较结果，和关于特定的脸部件的组的，默认位置间的距离与参照位置间的距离的比较结果，决定配置第一脸图像制作用的各脸部件的位置的配置决定步骤。

通过具有上述结构，由于仅预先设定第一脸图像制作用的各脸部件的默认位置，就能够制作反映了输入的第二脸图像的配置的第一脸图像，因此，不设定复杂的脸部件配置规则，而能够容易地制作基于输入的脸图像中的脸部件的配置的脸图像。

在此，上述配置决定部具有：变更参数决定部，决定关于各脸部件算出的第二脸图像中的各脸部件的位置和关于该脸部件的参照位置之间的水平方向的距离，作为水平方向的变更参数，决定关于各脸部件中的某一个和除此以外的各脸部件的组的上述位置间的垂直方向的距离的，对于关于该组的参照位置间的垂直方向的距离的比，作为垂直方向的变更参数；默认位置变更部，该部分决定将各脸部件的默认位置分别向水平方向和垂直方向移动了如下距离，作为配置第一脸图像制作用的各脸部件的位置，所述向水平方向移动的距离相当于在关于该脸部件决定的水平方向的参数上，乘以对基于各脸部件的默认位置特定的外接矩形的宽度的，基于各脸部件的参照位置特定的外接矩形的宽度的比的值，向垂直方向移动后，使得上述各组中的默认位置间的垂直方向的距离被变更为相当于在乘以了关于该组决定的垂直方向的变更参数的值的距离。

这样，使输入的第二脸图像中的各脸部件的位置关系能够利用运算反映在第一脸图像中的各脸部件的位置关系上，因此，能够制作更正确地反映了输入的脸图像中的各脸部件的位置关系的脸图像。

在此，上述默认位置存储部存储多个表现形态的第一图像制作用的各脸部件和其默认位置，上述接收部多次接收表情不同的对象者的脸图像的输入，上述图像制作装置具有：从输入的上述各脸图像提取构成各脸图像的脸部件的物理特征量的提取部；将收到的脸图像内的一个作为第二脸图像，基于构成第二脸图像的脸部件的物理特征量和除了第二脸图像以外的收到的构成各脸图像的脸部件的物理特征量的比较结果，特定第一脸图像制作用的脸部件的表现形态的表现形态特定部，上述配置决定部对特定后的表现形态的第一图像制作用的各脸部件，决定进行配置的位置。

这样，由于在输入的脸图像中，通过使表情变化，自动地制作与表情相应的表现形态的脸图像，因此，用户能够通过拍摄输入改变了表情的脸图像，来享受制作各种各样的表现形态的脸图像。

在此，上述脸图像制作装置由脸图像输入装置和脸图像绘画装置构成。上述脸图像输入装置具有：上述接收部；上述位置算出部；上述参照位置存储部；上述变更参数决定部；向上述脸图像绘画装置发送决定后的水平方向和垂直方向的变更参数的发送部；接收从上述脸图像绘画装置发送的第一脸图像的接收部。上述脸图像绘画装置具有：接收被决定了的水平方向和垂直方向的变更参数的接收部；上述默认位置存储部；上述默认位置变更部；制作在由上述默认位置变更部决定了的位置上配置了第一脸图像制作用的各脸部件的第一脸图像的脸图像制作装置；将制成的第一脸图像发送给上述脸图像输入装置的发送部。

这样，由于能够让脸图像绘画装置进行要很多存储容量的脸图像绘画处理，因此，通过使存储容量有限的便携式机器具有脸图像输入装置的功能，即便在便携式机器中也能够制作各种各样表现形态的脸图像。

                        附图说明

图1是示出脸图像制作装置100的结构的功能方框图。

图2是示出关于各脸部件提取的物理特征量的图表。

图3是用影像表示了关于从脸图像数据提取的各脸部件的物理特征量的图。

图4是示出配置变更量与中心坐标的关系的图。

图5示出绘画规则存储部106中存储着的绘画规则的具体例。

图6是示出了似脸绘画像中的似脸绘用脸部件的水平方向和垂直方向配置的决定方法的图。

图7是示出脸图像制作装置100进行的似脸绘制作处理的工作的流程图。

图8是示出脸特征提取部103进行的特征信息决定处理的工作的流程图。

图9是示出似脸绘合成部108进行的似脸绘绘画处理的工作的流程图。

图10是示出脸图像制作装置200的结构的功能方框图。

图11是示出脸图像制作装置200进行的似脸绘制作处理的工作的流程图。

图12是示出脸图像制作装置200进行的表现形态选择处理的工作的流程图。

图13是示出脸图像制作装置200进行的似脸绘绘画处理的工作的流程图。

图14示出脸图像制作装置结构的变形例。

图15是示出似脸绘条件输入装置301进行的似脸绘制作条件发送处理的工作的流程图。

图16是示出似脸绘条件输入装置301进行的个人特征信息决定处理的工作的流程图。

图17是示出似脸绘绘画装置302进行的似脸绘绘画处理的工作的流程图。

图18是示出脸特征存储部104的结构的功能方框图。

图19示出关于脸部件A的脸部件分类表的具体例。

图20示出关于各脸部件的表示基准位置的中心坐标的具体例。

                        具体实施方式

(实施方式1)

<结构>

以下，对本实施方式涉及的脸图像制作装置100进行说明。

图1是示出脸图像制作装置100的结构的功能方框图。脸图像制作装置100由图像输入部101、物理特征提取部102、脸特征提取部103、脸特征存储部104、表现形态输入部105、绘画规则存储部106、绘画规则读出部107、似脸绘合成部108和图像输出部109构成。

在此，所谓“似脸绘”是指依据构成从图像输入部101输入的对象者的脸图像的各脸部件在该脸图像中的配置进行合成的脸图像的绘画。

脸图像制作装置100由CPU、ROM、RAM、硬盘设备、CD驱动器、软磁盘和存储卡等可拆式媒体、照相机、键盘、鼠标、监视器等构成，在ROM或上述硬盘设备中存储计算机程序，上述CPU按照上述计算机程序进行工作，这样上述装置实现其功能。关于后述的实施方式2中的脸图像制作装置200也同样。

(图像输入部101)

由录像机和数字照相机等能摄像被摄体的装置构成，取入对象者的脸图像，将取入的脸图像变换为脸图像数据后输出到物理特征提取部102中。

(物理特征提取部102)

图像处理由图像输入部101输入的脸图像数据后，提取各脸部件，关于提取的各脸部件算出物理特征量，输出到脸特征提取部103中。具体来说，提取脸图像数据中包含的各脸部件的图像数据，基于提取的图像数据，检测眉、眼、鼻、口、脸轮廓的各脸部件的上下端和左右端，关于提取的各脸部件，将边上含有的矩形(以下称作“部件外接矩形”)的宽、高、倾斜度和部件外接矩形的中心坐标作为物理特征量，算出上下端左右端的各点，输出到脸特征提取部103中。

再有，关于提取的头发的脸部件，取得构成头发区域的各像素的像素数据作为物理特征量，输出到脸特征提取部103中。

在此，关于脸部件的提取和检测方法，可以使用例如专利文献(日本特开平10-255017)中公开的方法。

图2是示出关于各脸部件提取的物理特征量的图表，图3是用影像表示了关于从脸图像数据提取的各脸部件的物理特征量的图。

图3的1～7示出各脸部件的部件外接矩形，8示出头发区域的像素，11、21、33、42、51、61、73示出各脸部件的上端，31、44、53、63、71示出各脸部件的下端，12、32、43、52、62、74示出各脸部件的左端，22、34、41、54、64、72示出各脸部件的右端，13示出脸部件(左眉)的右端与下端重合，23示出脸部件(右眉)的左端与下端重合。

在此，所谓“部件外接矩形的宽”是指部件外接矩形的底边的长度，所谓“部件外接矩形的高”是指部件外接矩形的纵向的边的长度，所谓“部件外接矩形的倾斜度”是指以脸部件的右端为起点，以左端为终点的直线(例如，图3的连结13和12的直线)，和平行于以右端为起点的该部件外接矩形的底边的直线(平行于从图3的13向12侧的底边的直线)所构成的角度，在脸部件是右眉和右眼的情况下，上述是指交替了左端和右端的情况下的上述角度。

在此，以连结右端和左端的直线对于平行于上述底边的直线呈顺时针方向的情况下的上述角度为正的角度，以呈逆时针方向的情况下的上述角度为负的角度。

再有，所谓“中心坐标”是指各脸部件的部件外接矩形的中心点(对角线的交点)的坐标。

(脸特征存储部104)

图18是示出脸特征存储部104的结构的功能方框图。

脸特征存储部104由个人特征信息存储部1041、脸部件分类表存储部1042、脸部件基准位置存储部1043构成。

(个人特征信息存储部1041)

存储着个人特征信息。

在此，所谓“个人特征信息”是指包括各脸部件的分类和配置变更量的信息，所述配置变更量基于有关各脸部件的物理特征量和脸部件基准位置存储部1043中存储着的，有关后述的各脸部件的基准位置，由脸特征提取部103算出来。

所谓“配置变更量”由水平方向的配置变更量和垂直方向的配置变更量构成。

所谓“水平方向的配置变更量”是指关于各脸部件算出的中心坐标的X坐标值(水平方向的坐标值)与示出与该脸部件相对应的脸部件(例如眼)的基准位置的中心坐标的X坐标值的差分。在如“眼”、“眉”之类这样的脸部件有多个的情况下，关于各X坐标值(例如左眼与右眼的X坐标值)的平均值算出差分。

所谓“垂直方向的配置变更量”是指基准点(例如眉的中心坐标)的Y坐标值(垂直方向的坐标值)与关于各脸部件(例如眼)算出的中心坐标的Y坐标值的差分的，对于基准点的Y坐标值和示出与该脸部件相对应的脸部件(例如眼)的基准位置的中心坐标的Y坐标值的差分的比。在如“眼”、“眉”之类这样的脸部件有多个的情况下，关于各Y坐标值的平均值算出差分和比。

在此，所谓“基准点”是指位于成算出对象的脸部件的中心坐标周围的某个脸部件的中心坐标。

图4是示出配置变更量与中心坐标的关系的图。图4(a)是表示示出各脸部件的基准位置的中心坐标的影像图。图4(a)的A、A’示出眉的基准位置的中心坐标，B、B’示出眼的基准位置的中心坐标，C示出鼻的基准位置的中心坐标，D示出口的基准位置的中心坐标。

图4(b)是示出关于各脸部件算出的中心坐标的影像图。图4(b)的a、a’表示出眉的中心坐标，b、b’示出眼的中心坐标，c示出鼻的中心坐标，d示出口的中心坐标。

图4(c)是基于图4(a)和图4(b)中示出的中心坐标，关于各脸部件算出的水平方向的配置变更量的具体例。

图4(d)是基于图4(a)和图4(b)中示出的中心坐标，关于各脸部件算出的垂直方向的配置变更量的具体例。图4(d)的括弧示出成为基准点的脸部件名。

(脸部件分类表存储部1042)

存储着关于各脸部件的脸部件分类表。

在此，所谓“脸部件分类表”是指示出算出的物理特征量与脸部件的分类的对应关系的表，具体来说，是指基于倾斜度和对于部件外接矩形宽度的高度之比(以下称作“宽高比”)的对应关系，用于决定提取的脸部件的分类的表，按照决定的分类，选择后述的似脸绘用脸部件。

再有，在脸部件是头发的情况下，通过将头发区域中的各像素的像素数据的分布图形与规定的多种头发的头发区域中的像素数据的分布图形相比较，来决定分类。

图19示出关于脸部件A的脸部件分类表的具体例。

(脸部件基准位置存储部1043)

存储着示出从标准人的脸图像数据中提取的各脸部件的基准位置的中心坐标。各脸部件基准位置，例如，图像处理多个标准人的脸图像数据，基于各人的脸图像数据，算出各脸部件的位置，对每个脸部件可平均求出算出的位置。

图20示出关于各脸部件的示出基准位置的中心坐标的具体例。图20的各中心坐标与示出在图4(a)的影像图中表示的各脸部件的基准位置的中心坐标相对应。

(脸特征提取部103)

基于从物理特征提取部102输入的物理特征量，决定提取的各脸部件的分类，进一步决定水平方向和垂直方向的配置变更量。

具体来说，从提取的各脸部件的部件外接矩形的宽和高算出宽高比，基于提取的各脸部件的倾斜度和关于该脸部件算出的宽高比，从有关该的脸部件的脸部件分类表决定该脸部件的分类，进一步基于提取的各脸部件的中心坐标和示出与该脸部件相对应的脸部件的基准位置的中心坐标，关于该脸部件决定水平方向和垂直方向的配置变更量，将决定后的各脸部件的分类和配置变更量作为个人特征信息记录在脸特征存储部104中。

(表现形态输入部105)

从用户接收似脸绘的表现形态的指定，输出到绘画规则读出部107中。

在此，所谓“表现形态”是指似脸绘的种类，例如是指动物风格的似脸绘、漫画的卡通风格的似脸绘、各表情的似脸绘(例如，生气脸的似脸绘、笑脸的似脸绘、哭脸的似脸绘、困惑脸的似脸绘)等，通过指定表现形态，特定似脸绘的种类，指定绘画规则存储部106中存储着的后述的绘画规则。

各绘画规则与似脸绘的种类相对应。

(绘画规则存储部106)

存储着对每种似脸绘的种类设置的绘画规则。

在此，所谓“绘画规则”是指包括似脸绘的各脸部件的图像数据群(包括脸部件的大小信息(宽、高))和似脸绘用脸部件基准位置信息的信息，所述似脸绘用脸部件基准位置信息表示示出各脸部件的似脸绘图像中的基准位置的中心坐标(在脸部件是脸轮廓的情况下，其中心坐标加之其外接矩形的宽和高)。

各绘画规则关于各脸部件，相应其分类，包括多个脸部件的图像数据群。与在脸部件分类表中使用的分类基准同样地，基于倾斜度与似脸绘用脸部件的部件外接矩形的宽高比的对应关系来决定在此的分类，分配着符合决定后的分类的似脸绘用脸部件的图像数据。

这样，就能够从各绘画规则中包含的多个脸部件的图像数据群中，选择与由脸特征提取部103决定的各脸部件的分类相对应的脸部件的图像数据。

图5示出绘画规则存储部106中存储着的绘画规则的具体例。图5的501示出绘画规则，502示出似脸绘用脸部件基准位置信息，503示出关于各脸部件的图像数据群。

再有，图5的5031示出脸部件属于眼的各分类中的图像数据群，图5的5032示出脸部件属于眉的各分类的图像数据群。

(绘画规则读出部107)

一从表现形态输入部105指定表现形态，特定绘画规则，就从绘画规则存储部106读出特定后的绘画规则，输出到似脸绘合成部108中。

(似脸绘合成部108)

由脸部件配置计算部110、似脸绘用脸部件选择部111、似脸绘用脸部件配置部112构成。

(脸部件配置计算部110)

决定似脸绘图像中的似脸绘用脸部件的水平方向和垂直方向的配置。首先关于水平方向的配置的决定方法进行说明。

脸部件配置计算部110取得示出在脸部件基准位置存储部1043中存储着的各脸部件的基准位置的中心坐标，基于取得的中心坐标的坐标值，分别特定位于正交坐标上的右端、左端、上端、下端的脸部件的中心坐标，算出边中含有特定后的各中心坐标的矩形(以下称作“中心坐标外接矩形A”)的宽(W1)。

接着，脸部件配置计算部110取得绘画规则存储部106中存储着的，特定后的绘画规则中包含的似脸绘用脸部件基准位置信息，与上述同样地，基于似脸绘用脸部件基准位置信息所示出的各中心坐标的坐标值，分别特定位于正交坐标上的右端、左端、上端、下端上的似脸绘用脸部件的中心坐标，算出边中含有特定后的各中心坐标的矩形(以下称作“中心坐标外接矩形B”)的宽(W2)。

图6(b)的603示出中心坐标外接矩形A的具体例，604示出中心坐标外接矩形B的具体例，603和604中包含的各黑色圆表示各中心坐标外接矩形中包含的各脸部件的中心坐标。

接着，脸部件配置计算部110取得脸特征存储部1041中存储着的水平方向的配置变更量，对取得的各脸部件的水平方向的配置变更量乘以算出的W2对于W1的比(W2/W1)，算出坐标值的水平方向的变更量，将示出与该脸部件相对应的似脸绘用脸部件的基准位置的中心坐标的X坐标值仅用算出的变更量部分进行变更(加法或减法)，决定将该似脸绘用脸部件配置在似脸绘图像中时的中心坐标的X坐标值。

图6(b)的606示出作为物理特征量算出的脸部件的中心坐标，605表示示出关于该中心坐标成为水平方向的配置变更量的算出对象的基准位置的中心坐标，d示出两者的中心坐标间的水平方向的配置变更量，607表示示出构成似脸绘图像的脸部件的基准位置的中心坐标，608表示示出决定后的该脸部件的配置的中心坐标，d’示出坐标值的水平方向的变更量，609示出d’的计算式。

图6(c)示出关于各似脸绘用脸部件的d’的计算式。再有，下面各序号分别表示下述情况时的水平方向的配置变更量，d1表示脸部件是眉时，d2表示脸部件是眼时，d3表示脸部件是鼻时，d4表示脸部件是口时。

再有，在605～608示出的各中心坐标中，为了方便说明，垂直方向的坐标值相同。

下面，关于垂直方向的配置的决定方法进行说明。

脸部件配置计算部110取得关于脸特征存储部104中存储着的各脸部件算出的垂直方向的配置变更量和绘画规则存储部106中存储着的，特定后的绘画规则中包含的似脸绘用脸部件基准位置信息，对取得的垂直方向的各配置变更量乘以成为该配置变更量的算出对象的示出相当于基准点的似脸绘制作用脸部件的基准位置的中心坐标(例如，在眼的中心坐标是成为算出对象的基准点的情况下，似脸绘用脸部件就是眼的中心坐标，以下称作“基准中心坐标”)的Y坐标值与成为该配置变更量的算出对象的示出相当于脸部件的似脸绘用脸部件的基准位置的中心坐标的Y坐标值的差分(以下称作“垂直方向差分”)，算出各似脸绘用脸部件的Y坐标值的变更量，决定关于该似脸绘用脸部件已变更了从基准中心坐标的Y坐标值算出的变更量部分的Y坐标值，作为将该似脸绘用脸部件配置在似脸绘图像中时的中心坐标的Y坐标值。

图6(a)的601表示在将似脸绘用脸部件是眉的中心坐标作为基准坐标的情况下的、与示出周边的各似脸绘用脸部件的基准位置的中心坐标的垂直方向差分。具体来说，α表示眉眼间的垂直方向差分，β表示眉鼻间的垂直方向差分，γ表示眉口间的垂直方向差分。该情况下，以眼为基准中心坐标时的眼鼻间的垂直方向差分可以用(β-α)表示，以鼻为基准中心坐标时的鼻口间的垂直方向差分可以用(γ-β)表示。

再有，图6(a)的602表示关于各似脸绘用脸部件算出的Y坐标值的变更量。具体来说，α’表示似脸绘用脸部件是眼时的Y坐标值的变更量，β’表示似脸绘用脸部件是鼻时的Y坐标值的变更量，γ’表示似脸绘用脸部件是口时的Y坐标值的变更量。

利用以下示出的各式算出α’、β’、γ’。

[数1]α’＝α(眉眼间的垂直方向的配置变更量)

[数2]β’＝β(眉鼻间的垂直方向的配置变更量)

[数3]γ’＝γ(眉口间的垂直方向的配置变更量)

[数4]β’-α’＝(β-α)×(眼鼻间的垂直方向的配置变更量)

[数5]γ’-β’＝(γ-β)×(鼻口间的垂直方向的配置变更量)

在此，由于α’由[数1]和[数4]这2个式子算出得到2个α’，因此，通过算出其平均值来算出α’。具体来说，从以下示出的[数6]算出α’。

[数6]α’＝1/2{α(眉眼间的垂直方向的配置变更量)+β’-(β-α)×(眼鼻间的垂直方向的配置变更量)}

再有，也可以不依靠[数6]，从[数1]或[数4]的某一个算出α’。

再有，关于β’也同样，由于从[数2]、[数4]、[数5]这3个式子算出得到3个β’，因此，通过算出其平均值算出β’。具体来说，从以下示出的[数7]算出β’。

[数7]β’＝1/3{β(眉鼻间的垂直方向的配置变更量)+α’+(β-α)×(眼鼻间的垂直方向的配置变更量)}+γ’-(γ-β)(鼻口间的垂直方向的配置变更量)}

再有，也可以不依靠[数7]，从[数2]、[数4]、[数5]的某一个算出β’。

再有，关于γ’也同样，由于从[数3]和[数5]这2个式子算出得到2个γ’，因此，通过算出其平均值算出γ’。具体来说，从以下示出的[数8]算出γ’。

[数8]γ’＝1/2{γ(眉口间的垂直方向的配置变更量)+β’+(γ-β)×(鼻口间的垂直方向的配置变更量)}

再有，也可以不依靠[数8]，从[数3]或[数5]的某一个算出γ’。

(似脸绘用脸部件选择部111)

读出有关脸特征存储部104中存储着的各脸部件决定的分类，从有关绘画规则读出部107输入的绘画规则中包含的各似脸绘用脸部件的图像数据群，选择属于与读出的各分类相对应的分类中的似脸绘用脸部件的图像数据。

(似脸绘用脸部件配置部112)

关于各似脸绘用脸部件，基于选择的图像数据和决定后的中心坐标，合成在决定后的中心坐标上配置了各似脸绘用脸部件的似脸绘图像后，输出到图像输出部109中。

(图像输出部109)

将从似脸绘合成部108输入的似脸绘图像输出到外部显示装置(无图示)中，使其显示似脸绘图像。

<工作>

(似脸绘制作处理)

下面，关于脸图像制作装置100所进行的似脸绘制作处理的工作进行说明。图7是示出上述工作的流程图。

从图像输入部101一输入对象者的脸图像的脸图像数据(步骤S701)，物理特征提取部102就图像处理输入的脸图像数据，提取各脸部件的物理特征量(步骤S702)，输出到脸特征提取部102中。

接着，表现形态输入部105从用户接收似脸绘的表现形态的指定(步骤S703)，输出到绘画规则读出部107中。

接着，脸特征提取部103进行后述的个人特征信息决定处理(步骤S704)，然后，绘画规则读出部107和似脸绘合成部108进行后述的似脸绘绘画处理(步骤S705)。

(个人特征信息决定处理)

下面，对有关脸特征提取部103进行的个人特征信息决定处理的工作进行说明。图8是示出上述工作的流程图。

脸特征提取部103基于由物理特征提取部102提取的各脸部件的物理特征量，决定被提取的各脸部件的分类(步骤S801)，从提取的物理特征量中取得各脸部件的中心坐标，比较该中心坐标和示出有关与该脸部件相对应的脸部件的基准位置的中心坐标(步骤S802)，关于该脸部件，决定水平方向和垂直方向的配置变更量(步骤S803、步骤S804)，在脸特征存储部104中记录决定后的各脸部件的分类和水平方向及垂直方向的配置变更量，作为个人特征信息(步骤S805)。

(似脸绘绘画处理)

下面，关于似脸绘合成部108进行的似脸绘绘画处理的工作进行说明。图9是示出上述工作的流程图。

绘画规则读出部107从表现形态输入部105一输入指定的表现形态，就从绘画规则存储部106读出与输入的表现形态相对应的绘画规则(步骤S901)，输出到似脸绘合成部108中。

似脸绘合成部108分别读出脸特征存储部104中存储着的示出各脸部件的基准位置的中心坐标、关于各脸部件决定的分类、水平方向和垂直方向的配置变更量(步骤S902)，关于各似脸绘用脸部件，从读出的绘画规则中包含的分类后的该似脸绘用脸部件的图像数据中，选择属于与读出的各分类相对应的分类的似脸绘用脸部件的图像数据(步骤S903)，基于读出的绘画规则中包含的各似脸绘用脸部件的中心坐标、示出各脸部件的基准位置的中心坐标、水平方向和垂直方向的配置变更量，决定配置各似脸绘用脸部件的中心坐标(步骤S904)，关于各似脸绘用脸部件，基于选择后的图像数据和决定后的中心坐标，合成在决定后的中心坐标上配置了各似脸绘用脸部件的似脸绘图像，输出到图像输出部109中(步骤S905)。

接着，绘画规则读出部107判定是否从表现形态输入部105具有表现形态的再输入(步骤S906)，当存在的情况下(步骤S906)，转移到步骤S901的处理。

(实施方式2)

以下，关于本实施方式涉及的脸图像制作装置200进行说明。

图10是示出脸图像制作装置200的结构的功能方框图。脸图像制作装置200由图像输入部101、物理特征提取部102、脸特征提取部103、脸特征存储部104、表现形态选择部205、绘画规则存储部106、绘画规则读出部107、似脸绘合成部108、图像输出部109构成。

在上述结构中，关于与实施方式1中的脸图像制作装置100相同的结构要素，标记相同的符号，以下，以与脸图像制作装置100不同点为中心进行说明，关于相同的结构要素，省略说明。

(表现形态选择部205)

关于从对象者的表情不同的多个脸图像中提取的各脸部件的物理特征量，算出表情间的差，通过将算出的差与预先保存的各阈值(阈值1～4、阈值1＞阈值4＞阈值2＞阈值3)相比较，进行选择表现形态的处理。

具体来说，根据有关从最初输入的对象者的脸图像提取的眼的脸部件的部件外接矩形的宽(w0)和高(h0)算出宽高比(h0/w0)，再取得关于口的脸部件的部件外接矩形的宽(w’0)，之后，每输入一次表情不同的脸图像，就基于从输入的脸图像提取的物理特征量，同样地算出眼的宽高比(设定为h1/w1)，然后取得口的部件外接矩形的宽(设为w’1)，关于宽高比及口的部件外接矩形的宽，算出与最初的差分(h1/w1-h0/w0、W’1-w’0)，基于与保存着的阈值的比较结果，决定应该选择的表现形态。

<工作>

(似脸绘制作处理)

下面，对脸图像制作装置200进行的似脸绘制作处理的工作进行说明。图11是示出上述工作的流程图。

如图11所示，脸图像制作装置200进行的似脸绘制作处理的工作与图7中示出的脸图像制作装置100进行的似脸绘制作处理的工作的不同点在于，不是从用户接收表现形态的输入，而是通过进行后述的表现形态选择处理，选择表现形态。

(表现形态选择处理)

下面，对脸图像制作装置200进行的表现形态选择处理的工作进行说明。图12是示出上述工作的流程图。

在此，为了方便说明，图12的流程图表示了已经从图像输入部101输入最初的对象者的脸图像，利用物理特征提取部102，从该脸图像提取物理特征量，利用表现形态选择部205算出眼的脸部件的宽高比，取得了口的脸部件的部件外接矩形的宽度后的工作。

从图像输入部101一有对象者的脸图像的再输入(步骤S1201)，物理特征提取部102就从再输入的脸图像提取各脸部件的物理特征量(步骤S1202)，输出到表现形态选择部205中。

表现形态选择部205从输入的物理特征量算出再输入的脸图像的眼的脸部件的宽高比(h1/w1)，再取得口的脸部件的部件外接矩形的宽(w’1)，算出与最初输入的脸图像的眼的脸部件的宽高比(h0/w0)及口的脸部件的部件外接矩形的宽(w’0)的各自的差(h1/w1-h0/w0)、(w’1-w’0)(步骤S1203)，在算出的宽高比的差大于0的情况下(步骤S1204：Y)，进一步判定是否大于保存着的阈值1(步骤S1205)，在大的情况下(步骤S1205：Y)，决定表现形态为“吃惊”(步骤S1206)，在不大于的情况下(S1205：N)，判定算出的宽度的差是否大于阈值4(步骤S1211)，在大的情况下(步骤S1211：Y)，决定表现形态为“困惑”(步骤S1212)。在步骤S1204的判定是否定的情况下(步骤S1204：N)，表现形态选择部205判定宽高比的差是否小于保存着的阈值2(步骤S1207)，在小的情况下(步骤S1207：Y)，进一步判定宽高比的差是否小于阈值3(步骤S1208)，在小的情况下(步骤S1208：Y)，决定表现形态为“悲伤”(步骤S1209)，在不小的情况下(步骤S1208：N)，决定表现形态为“高兴”(步骤S1210)。

在步骤S1207、步骤S1211的判定分别是否定的情况下，表现形态选择部205决定表现形态为“标准”(步骤S1213)。

(似脸绘绘画处理)

下面，对脸图像制作装置200进行的似脸绘绘画处理的工作进行说明。图13是示出上述工作的流程图。

绘画规则读出部107从绘画规则存储部106读出与由表现形态选择部205决定的表现形态相对应的绘画规则(步骤S1301)，输出到似脸绘合成部108中。步骤S1302～步骤S1305的处理与图9的步骤S902～步骤S905的处理相同，故省略说明。

在进行了步骤S1305后，图像输入部101判定是否有对象者的图像的再输入(步骤S1306)，在有的情况下(步骤S1306：Y)，重复复图12中示出的表现形态选择处理(步骤S1307)。

<补充>

以上对本发明的实施方式1、2进行了说明，但本发明不限于这些实施方式。

(1)例如，在实施方式1和2中，从1个脸图像制作装置输入的对象者的脸图像提取物理特征量，基于提取的物理特征量，合成了似脸绘图像，但也可以另外的装置分别进行物理特征量提取过程和似脸绘合成过程。

具体来说，如图14所示，其结构也可以将脸图像制作装置分离为似脸绘条件输入装置301和似脸绘绘画装置302。所述似脸绘条件输入装置301由图像输入部101、物理特征提取部102、脸特征提取部103、表现形态输入部105(或者表现形态选择部205)、通信部309、脸部件分类表存储部1042、脸部件基准位置存储部1043构成；所述似脸绘绘画装置302由通信部310、绘画规则存储部106、个人特征信息存储部1041、绘画规则读出部107、似脸绘合成部108、图像输出部109构成。条件发送装置301通过通信部309向似脸绘绘画装置302发送脸特征提取部103决定的个人特征信息和从表现形态输入部105输出的用户指定的表现形态，似脸绘绘画装置302基于发送的个人特征信息和表现形态，合成似脸绘图像，也可将合成的似脸绘图像发送到似脸绘条件输入装置中。

图15示出似脸绘条件输入装置301进行的似脸绘制作条件发送处理的工作的流程图。图15的步骤S1501～步骤S1504的处理与图7的步骤S701～步骤S704的处理相同。在步骤S1504的处理后，通信部309将由步骤S1504的处理决定的分类、配置变更量和从表现形态输入部105输出的用户指定的表现形态发送给似脸绘绘画装置302(步骤S1505)。

图16是示出似脸绘条件输入装置301进行的个人特征信息决定处理的工作的流程图。

图16的步骤S1601～步骤S1604的处理与图8的步骤S801～步骤S804相同。

图17是示出似脸绘绘画装置302进行的似脸绘绘画处理的流程图。图17的步骤S1704～步骤S1706的处理与图9的步骤S902～步骤S904的处理相同。

在步骤S1701中，通信部310从似脸绘条件输入装置301接收决定后的个人特征信息和用户指定的表现形态，将接收到的个人特征信息记录在脸特征存储部104中(步骤S1702)。

接着，似脸绘绘画装置302通过绘画规则读出部107，从绘画规则存储部106读出与接收到的表现形态相对应的绘画规则(步骤S1703)，其后，进行步骤S1704～步骤S1706的处理。

似脸绘绘画装置302通过似脸绘合成部108，对于各似脸绘用脸部件，基于选择的图像数据和决定的中心坐标，合成在决定后的中心坐标上配置了各似脸绘用脸部件的似脸绘图像，将合成后的似脸绘图像发送到似脸绘条件输入装置301中(步骤S1707)，从似脸绘条件输入装置301判定是否有表现形态的再输入(步骤S1708)，在有的情况下(步骤S1708：Y)，转移到步骤S1703的处理。

(2)在(1)中，也可以不在似脸绘条件输入装置301中设置表现形态输入部105，而设置表现形态选择部205，不在表现形态输入部105进行表现形态的输出，而由表现形态选择部205进行表现形态的输出。

(3)将脸图像制作装置分离为多个装置的结构也可以是(1)中示出的结构以外的其他结构。例如，也可以将绘画规则存储部106和绘画规则读出部107构成为一个装置，将图像输入部101、物理特征提取部102、脸特征提取部103、脸特征存储部104、表现形态输入部105、似脸绘合成部108、图像输出部109构成为另一个装置，与(1)同样地通过通信部进行数据的收发。

并且，也可以将图像输入部101、物理特征提取部102和脸特征提取部103构成为一个装置，将脸特征存储部104、表现形态输入部105、绘画规则存储部106、绘画规则读出部107、似脸绘合成部108、图像输出部109构成为一个装置，与(1)同样地通过通信部进行数据的收发。

并且，也可以分别构成为包括图像输入部101、物理特征提取部102和脸特征提取部103的装置、包括表现形态选择部205的装置、包括绘画规则存储部106、脸特征存储部104、绘画规则读出部107、似脸绘合成部108、图像输出部109的装置，与(1)同样地通过通信部在各装置之间进行数据的收发。

(4)并且，在实施方式2中，表现形态选择部205将从最初输入的脸图像提取的物理特征量作为差分算出对象的物理特征量，算出该物理特征量和从其后输入的多个脸图像提取的物理特征量的差分，但也可以将从除了最初以外的输入脸图像提取的物理特征量作为差分算出对象的物理特征量，算出与从其他输入脸图像提取的物理特征量的差分，通过将算出的差与预先保存的各阈值相比较，来进行选择表现形态的处理，再有，关于差分算出对象的物理特征量，进行图11的步骤S1104中示出的个人脸特征信息决定处理。

本发明能够利用作基于输入的脸图像制作基于该脸图像的新的脸图像的技术。

Claims (7)

1.一种脸图像制作装置，其特征在于，作成这样的第一脸图像，将第一脸图像制作用的脸部件配置在依据第二脸图像中的各脸部件的位置的位置上；

上述脸图像制作装置具有：

接收部，接收第二脸图像的输入，

位置算出部，从输入的第二脸图像提取各脸部件，算出第二脸图像中的各脸部件的位置，

参照位置存储部，存储着参照脸图像中的各脸部件的参照位置，

默认位置存储部，存储第一脸图像制作用的各脸部件的第一脸图像中的默认位置，

配置决定部，基于算出的第二脸图像中的各脸部件的位置与参照脸图像中的各脸部件的位置的比较结果和关于特定的脸部件的组的，默认位置间的距离与参照位置间的距离的比较结果，决定配置第一脸图像制作用的各脸部件的位置。

2.如权利要求1所述的脸图像制作装置，其特征在于，

上述配置决定部具有：

变更参数决定部，决定关于各脸部件算出的第二脸图像中的各脸部件的位置与关于该脸部件的参照位置之间的水平方向的距离，作为水平方向的变更参数，决定关于各脸部件中的某一个与除此以外的各脸部件的组的上述位置间的垂直方向的距离的，对于关于该组的参照位置间的垂直方向的距离的比，作为垂直方向的变更参数；

默认位置变更部，该部分决定将各脸部件的默认位置分别向水平方向和垂直方向移动了如下距离，作为配置第一脸图像制作用的各脸部件的位置，所述向水平方向移动的距离相当于在关于该脸部件决定的水平方向的参数上，乘以对基于各脸部件的默认位置特定的外接矩形的宽度的，基于各脸部件的参照位置特定的外接矩形的宽度的比的值，向垂直方向移动后，使得上述各组中的默认位置间的垂直方向的距离被变更为相当于在乘以了关于该组决定的垂直方向的变更参数的值的距离。

3.如权利要求1或2所述的脸图像制作装置，其特征在于，

上述默认位置存储部存储多个表现形态的第一图像制作用的各脸部件及其默认位置，

上述接收部多次接收表情不同的对象者的脸图像的输入；

上述图像制作装置具有：

从输入的上述各脸图像提取构成各脸图像的脸部件的物理特征量的提取部，

将收到的脸图像内的一个作为第二脸图像，基于构成第二脸图像的脸部件的物理特征量与构成除了第二脸图像以外收到的各脸图像的脸部件的物理特征量的比较结果，特定第一脸图像制作用的脸部件的表现形态的表现形态特定部；

上述配置决定部对于特定后的表现形态的第一图像制作用的各脸部件，决定进行配置的位置。

4.如权利要求2或3所述的脸图像制作装置，其特征在于，

上述脸图像制作装置由脸图像输入装置和脸图像绘画装置构成；

上述脸图像输入装置具有：

上述接收部，

上述位置算出部，

上述参照位置存储部，

上述变更参数决定部，

向上述脸图像绘画装置发送决定的水平方向和垂直方向的变更参数的发送部，

接收从上述脸图像绘画装置发送的第一脸图像的接收部；

上述脸图像绘画装置具有：

接收所决定的水平方向和垂直方向的变更参数的接收部，

上述默认位置存储部，

上述默认位置变更部，

制作在由上述默认位置变更部决定了的位置上配置了第一脸图像制作用的各脸部件的第一脸图像的脸图像制作部，

将制成的第一脸图像发送给上述脸图像输入装置的发送部。

5.一种脸图像制作方法，其特征在于，在制作将第一脸图像制作用的脸部件配置在依据第二脸图像中的各脸部件的位置的位置上的第一脸图像的脸图像制作装置中使用；

上述脸图像制作装置具有：

存储着参照脸图像中的各脸部件的参照位置的参照位置存储部，

存储第一脸图像制作用的各脸部件和该第一脸图像中的默认位置的默认位置存储部；

上述脸图像制作方法包括：

接收第二脸图像的输入的接收步骤，

从输入的第二脸图像提取各脸部件，算出第二脸图像中的各脸部件的位置的位置算出步骤，

基于算出的第二脸图像中的各脸部件的位置与参照脸图像中的各脸部件的位置的比较结果和关于特定的脸部件的组的，默认位置间的距离与参照位置间的距离的比较结果，决定配置第一脸图像制作用的各脸部件的位置的配置决定步骤。

6.一种程序，其特征在于，在制作将第一脸图像制作用的脸部件配置在依据第二脸图像中的各脸部件位置的位置上的第一脸图像的脸图像制作装置上执行脸图像制作处理；

上述脸图像制作装置具有：

存储着参照脸图像中的各脸部件的参照位置的参照位置存储部，

存储第一脸图像制作用的各脸部件和该第一脸图像中的默认位置的默认位置存储部；

上述脸图像制作处理包括：

接收第二脸图像的输入的接收步骤，

从输入的第二脸图像提取各脸部件，算出第二脸图像中的各脸部件的位置的位置算出步骤，

基于算出的第二脸图像中的各脸部件的位置与参照脸图像中的各脸部件的位置的比较结果和关于特定的脸部件的组的，默认位置间的距离与参照位置间的距离的比较结果，决定配置第一脸图像制作用的各脸部件的位置的配置决定步骤。

7.一种计算机可读取的记录媒体，记录了这样的程序，在使作成将第一脸图像制作用的脸部件，配置在依据第二脸图像中的各脸部件的位置的位置上的第一脸图像的脸图像制作装置上，执行脸图像制作处理；其特征在于，

上述脸图像制作装置具有：

存储着参照脸图像中的各脸部件的参照位置的参照位置存储部，

存储第一脸图像制作用的各脸部件和其第一脸图像中的默认位置的默认位置存储部；

上述脸图像制作处理包括：

接收第二脸图像的输入的接收步骤，

从输入的第二脸图像提取各脸部件，算出第二脸图像中的各脸部件的位置的位置算出步骤，

基于算出的第二脸图像中的各脸部件的位置与参照脸图像中的各脸部件的位置的比较结果和关于特定的脸部件的组的，默认位置间的距离与参照位置间的距离的比较结果，决定配置第一脸图像制作用的各脸部件的位置的配置决定步骤。

Images