HK1145111B - 图像选择装置、图像选择方法 - Google Patents

Description

图像选择装置、图像选择方法

技术领域

本发明涉及一种从多个图像中选择任意的图像的图像选择装置、图像选择方法。

背景技术

以往，周知一种数码相机，具有连续摄影从而生成多个图像数据的功能。近年来随着可以连续拍摄的张数的增加，由用户自己进行的选择操作变得非常麻烦。作为消除这种麻烦的方法，周知选择全体人员睁开眼睛的集体照的图像处理系统(例如，参照专利文献1)。

[专利文献1]特开2007-88594号公报

但是，仅由集体照中是否全体人员睁开眼睛的判定进行选择的情况下，有可能出现所选择的照片为零。

发明内容

因此，本发明的课题是提供一种能够恰当并且简便地进行图像的选择的图像选择装置、图像选择方法。

根据本发明的一个方面提供一种图像选择装置，具有：取得单元，其取得将一个人以上的人作为被摄体进行连续摄像而生成的多个摄像图像；脸检测单元，其检测由所述取得单元所取得的所述多个摄像图像中含有的人脸(human faces)；眼睛检测单元，从由所述脸检测单元检测出的所述人脸检测眼睛；眨眼检测单元，检测由所述眼睛检测单元检测出的所述各个眼睛的眨眼程度(blink degrees)；评价单元，基于由所述眨眼检测单元检测出的所述眨眼程度，评价所述人脸的状态(status)；以及指定单元，基于由所述评价单元作出的所述评价，从由所述取得单元取得的所述多个摄像图像中指定(select)记录在记录介质中的至少一幅摄像图像。

根据本发明另一个方面提供一种图像选择方法，其特征在于，包含：取得将一个人以上的人作为被摄体进行连续摄像而生成的多个摄像图像的步骤；进行脸检测处理的步骤，所述脸检测处理检测所述多个摄像图像中含有的人脸；进行眼睛检测处理的步骤，所述眼睛检测处理从由所述脸检测处理检测出的所述人脸检测眼睛；进行眨眼检测处理的步骤，所述眨眼检测处理检测由所述眼睛检测处理检测出的所述眼睛各自的眨眼程度；基于由所述眨眼检测处理检测出的所述眨眼程度，评价所述人脸的状态的步骤；以及，基于所述评价，从所述多个摄像图像中指定记录在记录介质中的至少一幅摄像图像的步骤。

附图说明

图1是表示应用本发明的一实施方式的摄像装置的概略结构的框图。

图2是表示由图1的摄像装置进行的图像选择处理中的动作的一例的流程图。

图3是表示图2的图像选择处理的后续的流程图。

图4是表示涉及图2的图像选择处理中的眨眼检测处理的动作的一例的流程图。

图5是示意地表示图4的眨眼检测处理中的被摄体的眼睛的图像部分的图。

图6是表示变形例的摄像装置的概略结构的框图。

图7是表示由图6的摄像装置进行的图像选择处理中的动作的一例的流程图。

具体实施方式

图1是表示应用本发明的一实施方式的摄像装置100的概略结构的框图。

本实施方式的摄像装置100，从由连续摄影而生成的多个图像帧检测人的脸，计算检测出的人脸的眼睛的眨眼评价值，并基于计算出的眨眼评价值对人脸的状态进行评价，基于该人脸的状态的评价从多个图像帧中指定存储于记录介质13中的一幅摄像图像。

具体而言，如图1所示，摄像装置100具有：镜头部1、电子摄像部2、摄像控制部3、图像数据生成部4、图像存储器5、脸检测部6、眼睛检测部7、笑脸检测部8、眨眼检测部9、抖动检测部10、图像指定部11、显影部12、记录介质13、显示控制部14、显示部15、操作输入部16、CPU17。

另外，摄像控制部3、脸检测部6、眼睛检测部7、笑脸检测部8、眨眼检测部9、抖动检测部10、图像指定部11、显影部12、CPU17，例如作为定制LSI 1A进行设计。

镜头部1由多个透镜构成，具有变焦透镜和聚焦透镜等。

另外，虽然省略了图示，但是镜头部1可以具有在被摄体的摄像时使变焦透镜在光轴方向移动的变焦驱动部、以及使聚焦透镜在光轴方向移动的对焦驱动部等。

电子摄像部2例如由CCD(Charge Coupled Device：电荷耦合装置)或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)等的图像传感器构成，将透过了镜头部1的各种透镜的光学像转换为二维的图像信号。

摄像控制部3中，虽然图示省略但是具有定时发生器、驱动器等。并且，摄像控制部3由定时发生器、驱动器对电子摄像部2进行扫描驱动，每规定周期由电子摄像部2将光学像转换为二维图像信号，从该电子摄像部2的摄像区域以1画面为单位逐次读出图像帧并输出至图像数据生成部4。

另外，摄像控制部3，进行AF(自动对焦处理)、AE(自动曝光处理)、AWB(自动白平衡处理)等对被摄体进行摄像时的条件的调整控制。

这样构成的摄像镜头1、电子摄像部2以及摄像控制部3，作为摄像单元，对被摄体以规定的帧率(例如，3fps或10fps)连续摄像从而逐次生成并取得多个(例如20张)图像帧。

图像数据生成部4，对从电子摄像部2传输的图像帧的模拟值信号以RGB的各颜色分量分别进行适当增益调整之后，由采样保持电路(省略图示)进行采样保持并由A/D转换器(省略图示)转换为数字数据从而生成RAW图像数据。另外，图像数据生成部4在水平以及垂直方向都以规定倍率对RAW图像数据的亮度信号进行降低处理，从而生成低清晰度的降低亮度图像数据。

RAW图像数据以及降低亮度图像数据，经由并未图示的DMA控制器，DMA传输至作为缓冲存储器使用的图像存储器5。

图像存储器5，例如由DRAM等构成，暂时存储由脸检测部6、眼睛检测部7、笑脸检测部8、眨眼检测部9、抖动检测部10、图像指定部11、CPU17等进行处理的数据等。

脸检测部6，利用规定的脸检测方法从多个图像帧的各降低亮度图像数据中检测人脸。具体而言，脸检测部6基于暂时存储在图像存储器5中的降低亮度图像数据从各图像帧检测脸图像区域，将检测出的脸图像区域内的图像信息作为脸轮廓(face frame)信息而生成。此外，由于脸检测处理是公知的技术，因此在此省略其详细说明。

另外，对于脸检测处理中没有检测到脸的图像帧，以前后的图像帧之中、最近检测出脸的脸图像区域的坐标为基础在没有检测到脸的图像帧中设定脸轮廓信息。

也就是说，由于连续摄影中摄像间隔是极短的时间，因此从任意一幅图像帧检测到脸时，可以认为在其前后的图像帧中也存在人脸，利用检测出脸的图像帧的脸图像区域的坐标(例如，矩形框的四角的坐标)，在没有检测出脸的图像帧中也设定脸轮廓信息。

眼睛检测部7基于由脸检测部7生成的各图像帧的脸轮廓信息检测人脸的眼睛。具体而言，眼睛检测部7基于各图像帧的脸轮廓信息检测各图像帧的所有人的左右两眼，并计算其中心坐标。另外，由于眼睛检测处理是公知的技术，因此在此省略其详细说明。

在此，眼睛检测部7构成眼睛检测单元，该眼睛检测单元从脸检测部6检测出的人脸中检测出眼睛。

另外，眼睛检测部7具有可靠性计算部7a、有效性判定部7b。

可靠性计算部7a，作为可靠性计算单元，计算由眼睛检测部7进行的眼睛检测中的检测可靠性。具体而言，可靠性计算部7a例如计算如下的检测可靠性，该检测可靠性在脸检测轮廓不合适时或脸朝向侧面时等被以降低可靠性的方式调整。

有效性判定部7b作为有效性判定单元，根据由可靠性计算部7a计算出的检测可靠性是否比规定阈值高，来判定检测出眼睛的脸的有效性。再有，有效性判定部7b在检测可靠性为规定阈值以下时，通过使该眼睛检测中的脸为NG判定，从而设定为眼睛检测无效的脸，在之后的眨眼检测处理(后面叙述)或笑脸检测处理(后面叙述)中也不利用。另一方面，有效性判定部7b在检测可靠性比规定阈值大时，通过使该眼睛检测中的脸为OK判定从而设定为眼睛检测有效的脸，在之后的眨眼检测处理或笑脸检测处理中利用。

笑脸检测部8基于由眼睛检测部7检测出的眼睛位置信息，对该检测出眼睛的脸的微笑程度进行检测。具体而言，笑脸检测部8对由连续摄影而生成的全部的图像帧的降低亮度图像数据，基于由有效性判定部7b判定为有效的人脸的左右双眼的坐标信息，在降低亮度图像内寻找嘴的位置，根据嘴角的上扬程度计算微笑值。

在此，笑脸检测部8构成笑脸检测单元，该笑脸检测单元基于由眼睛检测部7检测出的眼睛的位置信息，对该检测出眼睛的脸的微笑值(微笑程度)进行检测。

眨眼检测部9检测由眼睛检测部7检测出的眼睛的眨眼程度。具体而言，眨眼检测部9对由连续摄影而生成的全部图像帧的降低亮度图像数据，基于由有效性判定部7b判定为有效的人脸的眼睛的左右双眼的坐标信息，在降低亮度图像上设定眨眼检测窗口W(参照图5(a))，对该窗口内的各柱C(参照图5(b))计算评价值，将最小的评价值的补数作为眨眼评价值计算出来。也就是说，眨眼检测部9将由眼睛检测部7检测出的眼睛的睁开程度作为眨眼评价值进行计算。由此，作为眨眼评价值，其值越大表示眼睛睁开得越大。

另外，对于眨眼检测处理的具体的处理内容将在后面进行叙述(参照图4)。

在此，眨眼检测部9构成眨眼检测单元，该眨眼检测单元对由眼睛检测部7检测出的眼睛的眨眼评价值(眨眼程度)进行检测。

此外，眨眼检测部9具有平滑部9a，该平滑部9a在相邻图像之间对检测出的眨眼评价值进行平滑处理。具体而言，平滑部9a在连续摄影时的摄像帧率为规定值(例如，10fps)以上时，在相邻的前后图像帧的眨眼评价值之间对检测出的各图像帧的眨眼评价值进行加法平均，从而进行平滑。也就是说，在摄像帧率(连续摄像速度)为规定值以上时，由于在相邻的图像帧之间相关性高，因此在眼睛全部睁开的图像帧与全部闭眼的图像帧中间存在眼睛一部分睁开的图像帧时，即使该图像帧的眨眼评价值的值有少许偏差也能够容易地取得中间值。

在此，平滑部9a构成平滑单元，该平滑单元在摄像帧率为规定值以上时，在相邻图像间对检测出的眨眼评价值(眨眼程度)进行平滑。

另外，眨眼检测部9具有眨眼修正部9b，该眨眼修正部9b根据由笑脸检测部8检测出的微笑值对检测出的眨眼评价值进行修正。具体而言，眨眼修正部9b判定微笑值是否比规定阈值低，该判定的结果，即判定为微笑值为规定阈值以上时，以如下公式增加眨眼评价值。

眨眼评价值+＝k*(微笑值-阈值)

在此，k为规定常数。

也就是说，由于一般情况下人脸在微笑时眼睛多会迷起来，因此微笑值为规定阈值以上时，以半睁开的眼睛评价为全睁开的程度的方式，将眨眼评价值修正为更加适当的值。

在此，眨眼修正部9b构成眨眼修正单元，该眨眼修正单元根据由笑脸检测部8检测出的微笑值，对检测出的眨眼评价值(眨眼程度)进行修正。

另外，眨眼检测部9具有阈值计算部9c，该阈值计算部9c基于检测出的每个人的眨眼程度，计算相应人的眼睛是否睁开的判定中的阈值。

在此，由于眨眼评价值对眼睛大小、睫毛浓密等的个人特性的依赖性较大，因此阈值计算部9c对每个人设定眨眼判定用的阈值。另外，因为设定为可以正确区别睁眼的状态较难，所以阈值计算部9c对每个人将从上位起位于一定比例的眨眼评价值作为临时阈值Th1而设定，若为该临时阈值Th1以上则判断眨眼判定OK。

另外，眨眼判定用的阈值，虽然优选以将眼睛半睁开的状态不判断为眨眼判定OK的方式而尽量设定得大，但是若将其增大从而将阈值设定得过于严格，则如集体照这种的摄影人数较多的情况下，有可能选择不出判定全体人员都睁开眼睛的图像。因此，阈值计算部9c以根据摄影人数改变阈值的方式进行设定。例如，以保留眼睛检测出的图像帧之中、规定比例(例如比例为N)的图像帧的方式，将对于每个人位于N^(1/人数)的比例的上位评价值作为临时阈值Th1进行设定。具体而言，例如对于作为被摄体有3人进入视场内的连续图像，要由眨眼检测进行选择从而最后保留全体的20％的图像时，每个人为0.2^(1/3)≈0.58，即，所设定的临时阈值Th1，将从上位起位于大约60％的眨眼评价值作为判断为眨眼判定OK。

再有，阈值对于对象人的眨眼评价值的最大值过近时或者过远时，由于考虑到作为阈值是不合适的，因此阈值计算部9c将眨眼评价值的最大值作为基准，通过由规定的指定值，根据下面的公式进行临时阈值Th1的上限值以及下限值的限幅处理，从而计算判定用的真阈值Th2。

If(Th1＞Bmax-Ofst1)Th2＝Bmax-Ofst1；

else if(Th 1＜Bmax+Ofst2)Th2＝Bmax+Ofst2；

else Th2＝Th1；

在此，Bmax是每个人的眨眼评价值的最大值，Ofst1是上限限幅偏移量，Ofst2是下限限幅偏移量，Th1是眨眼判定用的临时阈值，Th2是眨眼判定用的真阈值。

这样，阈值计算部9c构成阈值计算单元，该阈值计算单元基于检测出的每个人的眨眼评价值(眨眼程度)，计算判定相应人的眼睛是否睁开的真阈值Th2。

另外，眨眼检测部9具有眨眼判定部9d，该眨眼判定部9d对由连续摄影而生成的多个图像帧的降低亮度图像数据，判定各个人的眼睛是否睁开。具体而言，眨眼判定部9d对由阈值计算部9c计算出的眨眼判定用的真阈值Th2与各图像帧的各个人的眨眼评价值进行比较，判定该眨眼评价值是否为真阈值Th2以上，该判定结果判定为眨眼评价值为真阈值Th2以上时，判断为眨眼判定OK(睁眼)；另一方面，判定眨眼评价值比真阈值Th2小时，判断为眨眼判定NG(闭眼)。

在此，眨眼判定部9d构成眨眼判定单元，该眨眼判定单元基于由阈值计算部9c计算出的眨眼判定用的真阈值Th2，对由连续摄影而生成的多个图像帧判定各个人的眼睛是否睁开。

抖动检测部10对由连续摄影而生成的多个图像帧的每一个，检测对相邻图像帧的抖动评价值(抖动量)。具体而言，抖动检测部10在从由连续摄影而生成的多个图像帧的降低亮度图像数据中通过脸检测处理没有检测出人脸时、或虽然从某图像帧检测出人脸但眼睛检测有效的脸数为0时，将各图像帧块分割为规定区域，对每个块在与相邻图像帧的同一位置的块之间计算差分，并将全部块中的最大的设定为该图像帧的抖动评价值。

在此，抖动检测部10构成抖动检测单元，该抖动检测单元10在由脸检测部6没有检测出人脸时，对由连续摄影而生成的多个图像帧的每一个，检测对于相邻图像帧的抖动评价值(抖动量)。

图像指定部11基于由眨眼检测部9计算出的眨眼评价值对人脸的状态进行评价，基于该评价值从由连续摄影而生成多个RAW图像数据中指定记录于记录介质13的一幅摄像图像。具体而言，图像指定部11具有图像判定部11a，该图像判定部11a在连续摄影的多个图像帧的降低亮度图像数据之中判定闭眼的脸数。

图像判定部11a作为第1图像判定部，基于眨眼判定部9d中的判定结果，在由连续摄影而生成的多个图像帧的降低亮度图像数据之中判定闭眼的脸数最少的图像帧是否存在多个(第1判定处理)。另外，图像判定部11a作为第2图像判定单元，在第1判定处理中判定闭眼的脸数最少的图像帧存在多个的情况下，判定该闭眼的脸数是否为0(第2判定处理)。

再有，图像指定部11根据图像判定部11a的判定结果指定记录于记录介质13的一幅摄影图像。也就是说，图像指定部11在第1判定处理中判定闭眼的脸数最少的图像帧不是多个的情况下，将该图像帧中的RAW图像数据指定为记录在记录介质13中的一幅摄像图像。

另外，图像指定部11在第2判定处理中判定闭眼的脸数是0时，在多个闭眼的脸数最少的图像帧中，基于由眨眼检测部9检测出的每个人的眨眼评价值指定该眨眼评价值最高的一幅图像帧，并将该图像帧中的RAW图像数据指定为记录在记录介质13中的一幅摄像图像。另一方面，图像指定部11在第2判定处理中判定为闭眼的脸数不为0时，在多个闭眼的脸数最少的图像帧之中，基于由笑脸检测部8检测出的微笑值指定该微笑值最高的一幅图像帧，并将该图像帧中的RAW图像数据指定为记录在记录介质13中的一幅摄像图像。

另外，图像指定部11，在脸检测部6从全部的图像帧没有检测出人脸时、或虽然从某图像帧检测出人脸但是眼睛检测有效的脸数为0时，将由抖动检测部10检测出的抖动评价值最小的图像帧中的RAW图像数据指定为记录在记录介质13的一幅摄像图像。

这样，图像指定部11构成评价单元，该评价单元基于由眨眼检测部9计算出的眨眼评价值(眨眼程度)评价人脸的状态。另外，图像指定部11构成指定单元，该指定单元基于人脸状态的评价从由连续摄影而生成的多个RAW数据之中指定记录在记录介质13的至少一幅摄像图像。

显影部12，在对由图像指定部11指定的RAW图像数据，由色彩处理电路(图示省略)进行了包括像素插值处理以及γ修正处理等的色彩处理之后，生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。

记录介质13例如由非易失性存储器(闪存)等构成，存储由显影部12的JPEG压缩部(图示省略)编码得到的摄像图像的记录用的图像数据。

显示控制部14进行控制，将暂时存储于图像存储器5的显示用的图像数据读出并显示在显示部15。

具体而言，显示控制部15具有VRAM、VRAM控制器、数字视频编码器等。并且，数字视频编码器将在CPU17的控制下由图像存储器5读出并存储在VRAM(图示省略)的亮度信号Y以及色差信号Cb、Cr，经由VRAM控制器从VRAM定期地读出，以这些数据为基础产生视频信号并输出至显示部15。

显示部15例如是液晶显示装置，基于来自显示控制部14的视频信号将由电子摄像部2所拍摄的图像等显示为显示画面。具体而言，显示部15基于在摄像模式中由摄像镜头1、电子摄像部2以及摄像控制部3对被摄体实施摄像而生成的多个图像帧，显示实时取景图像，或显示作为真实摄像图像而拍摄的记录取景(recording-view)。

操作输入部16用于进行该摄像装置100的规定操作。具体而言，操作输入部16具有涉及被摄体摄影指示的快门按钮16a、涉及摄影模式的选择指示的模式按钮16b、涉及调焦量的调整指示的调焦按钮(图示省略)等，根据这些按钮的操作将规定的操作信号输出至CPU17。

CPU17控制摄像装置100的各部。具体而言，CPU17按照摄像装置100用的各种处理程序(图示省略)进行各种的控制动作。

接下来，参照图2～图5对由摄像装置100进行的图像选择方法中的图像选择处理进行说明。

图2以及图3是表示图像选择处理中的动作的一例的流程图。另外，图4是表示涉及图像选择处理中的眨眼检测处理的动作的一例的流程图。再有，图5(a)是示意地表示眨眼检测窗口W与被摄体的左右双眼的图像部分，图5(b)是放大了眨眼检测窗口W而示意地表示的图。

图像选择处理，是基于由用户对操作输入部16的模式按钮16b实施的规定操作，从显示于菜单画面中的多个摄像模式之中选择并指示图像自动选择模式时实行的处理。

如图2所示，首先，CPU17，在基于用户对操作输入部16的快门按钮16a实施的规定操作而输入连续摄像指示后，使摄像控制部3调整聚焦透镜的聚焦位置和曝光条件(快门速度、光圈、放大率等)和白色平衡等的摄像条件，由电子摄像部2对被摄体的光学像以规定的摄像帧率(例如10fps)进行连续拍摄规定张数(例如20张)的连续摄影(步骤S1)。然后，CPU17使图像数据生成部4生成从电子摄像部2传送的被摄体的各图像帧的RAW图像数据以及降低亮度图像数据，并将这些的图像数据暂时存储在图像存储器5中(步骤S2)。

然后，CPU17，使脸检测部6从各图像帧的降低亮度图像数据利用规定的脸检测方法检测人脸，并将检测出的脸图像区域内的图像信息作为脸轮廓信息生成(步骤S3)。

接下来，CPU17判定在脸检测处理中检测出的脸的数目是否为0，即判定是否从全部的图像帧没有检测出脸(步骤S4)。在此，若判定为检测出脸的数目不是0(步骤S4：否)，则CPU17基于从各图像帧检测出的脸轮廓信息进行对各人脸分配个人ID的处理(步骤S5)。在此，个人ID的分配以如下方式进行，即：在各相邻的图像帧的脸轮廓信息，若各脸轮廓的中心距离对于任意的脸轮廓的大小(例如，宽度或长度)为规定比例(例如50％左右)以内，则判定其脸轮廓为同一人。在此，CPU17对在脸检测处理中没有检测出脸的图像帧，通过取得在前后的图像帧之中、最近检测出的脸图像区域，并以该脸图像区域的坐标为基础在没有检测出脸的图像帧中设定脸轮廓信息，从而对全部的图像帧设定个人ID。

接下来，CPU17使眼睛检测部7基于由脸检测部6生成的各图像帧的脸轮廓信息，检测人的左右双眼从而计算其中心坐标，并且使眼睛检测部7的可靠性计算部7a计算该眼睛检测中检测可靠性(步骤S6)。

然后，CPU17使眼睛检测部7的有效性判定部7b进行如下的动作，即：根据由可靠性计算部7a计算出的检测可靠性是否比规定阈值高，来判定检测出该可靠性下的眼睛的脸的有效性(步骤S7)。具体而言，有效性判定部7b，在检测可靠性为规定阈值以下时，使该眼睛检测中的脸为NG判定，设定为眼睛检测无效的脸；另一方面，检测可靠性比规定阈值大时，使该眼睛检测中的脸为OK判定，设定为眼睛检测有效的脸。

接下来，CPU17基于有效性判定部7b的判定结果，判定眼睛检测为有效的脸数(眼睛检测有效脸数)是否为0(步骤S8)。

在此，若判定为眼睛检测有效的脸数为0(步骤S8：是)，则CPU17使抖动检测部10进行抖动检测处理，将多个图像帧的各自块分割为规定的区域，对各个块计算出与相邻的图像帧的同一位置的块的差分值，并将全部块中其差分值最大的作为该图像帧的评价值(步骤S9)。另外，在步骤S4中若判定脸检测数为0(步骤S4：是)，则CPU17使处理转移至步骤S9，使抖动检测部10进行抖动检测处理。

之后，CPU17使图像指定部11指定由抖动检测部10检测出的抖动评价值最小的图像帧中的RAW图像数据(步骤S10)，然后，使显影部12进行由图像指定部11所指定的RAW图像数据的显影处理，并以JPEG格式对该图像数据进行编码并存储在记录介质13中(步骤S11)。

另一方面，若在步骤S8中判定眼睛检测有效的脸数不为0(步骤S8：否)，则CPU17使眨眼检测部9实施眨眼检测处理(步骤S12)。

在此，参照图4、图5(a)以及图5(b)对眨眼检测处理进行详细说明。

如图4所示，眨眼检测处理9基于由有效性判定部7b判定为有效的人脸的左右双眼的坐标信息计算每个人的左右双眼的平均距离De(步骤S31)。

接下来，眨眼检测部9基于全部图像帧的降低亮度图像数据，在各降低亮度图像数据上设定眨眼检测窗口W(参照图5(a))(步骤S32)。在此，眨眼检测窗口W的大小Wlen，根据下式以对双眼平均距离De成为规定比例的方式乘以系数Wratio从而决定。

Wlen＝De*Wratio

此外，眨眼检测窗口W的中心位置，设定为由眼睛检测得到的双眼的坐标值。

接下来，眨眼检测部9对各柱C(参照图5(b))计算评价值(步骤S33)，该柱C是将设定的眨眼检测窗口W在左右方向(X轴方向)以规定间隔进行分割而得到的。具体而言，眨眼检测部9对于各柱C，以亮度从低到高的顺序对上下方向(Y方向)的像素值进行分类，将对从上位起一定比例的像素值进行平均得到的值作为各柱C的评价值而计算出来。由此，即使眨眼导致黑眼球区域减少、或由光的反射在靠近黑眼球的中央的位置出现白色区域、由脸的抖动导致黑眼球区域模糊，由于在黑眼球的上下方向长的部分评价值提高，因此能够取得最长部分的黑眼球的值。

然后，眨眼检测部9从全部的柱C的评价值中指定最小的评价值之后(步骤S34)，以眼睛睁开时评价值高的方式将该最小评价值的补数作为眨眼评价值计算出来(步骤S35)。

接下来，眨眼评价值9判定连续摄影时的摄像帧率是否为规定值(例如10fps)以上(步骤S36)。在此，若判定摄像帧率为规定值以上(步骤S36：是)，则眨眼检测部9的平滑部9a在相邻的前后图像帧的眨眼评价值之间对各图像帧的眨眼评价值进行加法平均从而进行平滑处理(步骤S37)。由此，在眼睛全部睁开的图像帧与全部闭眼的图像帧的中间，存在眼睛部分睁开的图像帧时，即使该图像帧的眨眼评价值存在少许偏差也能够容易地取得中间值。

另一方面，在摄像帧率比规定值小时(步骤S36：否)，则由于在相邻的图像帧之间空着时间从而相关性较低，因此并不进行平滑处理，将步骤S36中计算出的眨眼评价值作为最终的评价值。

由此，眨眼检测处理结束。

如图3所示，CPU17使笑脸检测部8基于人脸的左右双眼的坐标信息，在降低亮度图像内寻找嘴的位置，并根据嘴角上扬的程度计算微笑值(步骤S13)。

接下来，CPU17使眨眼检测部9的眨眼修正部9b进行如下的动作，即：判定由笑脸检测部8检测出的微笑值是否为规定阈值以上，在其判定结果判定为微笑值为规定阈值以上时，按照下面的公式增加眨眼评价值，从而修正该眨眼评价值(步骤S14)。

眨眼评价值+＝k*(微笑值-阈值)

在此，k为规定常数。

接下来，CPU17使眨眼检测部9的阈值计算部9c对于每个人将从上位起位于一定比例的眨眼评价值设定为临时阈值Th1(步骤S15)。具体而言，阈值计算部9c，以根据摄影人数改变阈值的方式进行设定，例如，以在检测出眼睛的图像帧之中，保留规定比例(例如比例为N)的图像帧的方式，将对每个人位于N^(1/人数)的比例的上位评价值设定为临时阈值Th1。

接下来，阈值计算部9c将眨眼评价值的最大值作为基准，通过由规定的指定值根据下面的公式进行临时阈值Th1的上限值以及下限值的限幅处理，从而计算出判定用的真阈值Th2。(步骤S16)

If(Th1＞Bmax-Ofst1)Th2＝Bmax-Ofst1；

else if(Th1＜Bmax+Ofst2)Th2＝Bmax+Ofst2；

else Th2＝Th1；

在此，Bmax是每个人的眨眼评价值的最大值，Ofst1是上限限幅偏移量，Ofst2是下限限幅偏移量，Th1是眨眼判定用的临时阈值，Th2是眨眼判定用的真阈值。

接下来，CPU17使眨眼检测部9的眨眼判定部9d进行如下动作，即：对由阈值计算部9c计算出的眨眼判定用的真阈值Th2与各图像帧的每个人的眨眼评价值进行比较，判定该眨眼评价值是否为真阈值Th2以上(步骤S17)。通过该判定，判定眨眼评价值为真阈值Th2以上时，判断为眨眼判定OK(睁眼)，另一方面，在判定眨眼评价值比真阈值Th2小时，判断为眨眼判定NG(闭眼)。

然后，CPU17使图像指定部11在由连续摄影而生成的多个图像帧的降低亮度图像数据中指定闭眼的脸数最少的图像帧(步骤S18)。

接下来，CPU17使图像指定部11的图像判定部11a判定闭眼的脸数最少的图像帧是否存在多个(步骤S19)。在此，判定闭眼的脸数最少的图像帧不是多个(步骤S19：否)，则CPU17使图像指定部11将该图像帧中的RAW图像数据指定为记录在记录介质13中的一幅摄像图像(步骤S20)。

之后，CPU17使处理转移至步骤S11(参照图2)，使显影部12进行显影处理，该显影处理是由图像指定部11指定的闭眼的脸数最少的图像帧中的RAW图像数据的显影处理，并以JPEG格式对该图像数据进行编码保存在记录介质13中(步骤S11)。

另一方面，若在步骤S19中判定闭眼的脸数最少的图像帧存在多个(步骤S19：是)，则CPU17使图像判定部11a判定该闭眼的脸数是否为0(步骤S21)。

在此，若判定闭眼的脸数为0(步骤S21：是)，则CPU17使图像指定部11进行如下的动作，即：在多个闭眼的脸数最少的图像帧之中，基于由眨眼检测部9检测出的每个人的眨眼评价值，指定该眨眼评价值最高的图像帧，并将该图像帧中的RAW图像数据指定为记录在记录介质13中的摄像图像(步骤S22)。

之后，CPU17使处理转移至步骤S11(参照图2)，使显影部12进行显影处理，该显影处理是由图像指定部11指定的眨眼评价值最高的RAW图像数据的显影处理，并以JPEG格式对该图像数据进行编码后保存在记录介质13中(步骤S11)。

另外，若在步骤S21中判定闭眼的脸数不为0(步骤S21：否)，则CPU17使图像指定部11在多个闭眼的脸数最少的图像帧中，基于由笑脸检测部8检测出的微笑值，指定该微笑值最高的一幅图像帧，并将该图像帧中的RAW图像数据指定为记录在记录介质13中的一幅摄像图像(步骤S23)。

之后，CPU17使处理转移至步骤S11(参照图2)，使显影部12进行显影处理，该显影处理是由图像指定部11指定的微笑值最高的RAW图像数据的显影处理，并以JPEG格式对该图像数据进行编码后保存在记录介质13中(步骤S11)。

如上所述，根据本实施方式的摄像装置100，脸检测部6从由连续摄影而生成的多个图像帧检测人脸，眼睛检测部7从检测出的人脸检测眼睛，眨眼检测部9计算所检测出的眼睛的眨眼评价值，图像指定部11基于眨眼评价值评价人脸的状态，并基于该人脸的状态的评价从多个图像帧中指定记录在记录介质13的一幅摄像图像。

具体而言，基于由脸检测部6生成的脸轮廓信息由眼睛检测部7对每个人检测人脸的眼睛，图像指定部11对每个人判断人脸的状态，所述人脸是眼睛的检测可靠性比规定阈值高并且判定检测出眼睛的脸为有效的人脸。再有，由眨眼检测部9对每个人检测眼睛的眨眼评价值，图像指定部11，根据修正之后的眨眼评价值对每个人判断人脸的状态，该修正根据基于眼睛的位置信息检测出的该脸的微笑值实施。

由此，综合地对每个人判断眨眼程度或微笑程度等的人脸的状态，从而能够恰当地选择记录在记录介质13中的图像，即使增加可以连续拍摄的张数也能够简单地进行一幅图像的选择。

另外，由于在眨眼检测处理中，基于每个人的眨眼评价值计算出判定该人的眼睛是否睁开时的真阈值Th2，并基于该眨眼判定用的真阈值Th2对多个图像帧判定每个人的眼睛是否睁开，因此根据考虑到因人而异的眼睛大小、宽窄、眼睛睁开的难易等而检测出的眨眼评价值设定眨眼判定用的真阈值Th2，能够基于该真阈值Th2对多个图像帧恰当地判定每个人的眼睛是否睁开。

再有，在多个图像帧中判定闭眼的脸数最少的图像帧是否为多个，并且在判定为闭眼的脸数最少的图像帧不是多个即只是一张的情况下，由于图像指定部11将该图像帧中的RAW图像数据指定为记录在记录介质13中的一幅摄像图像，因此能够可靠地选择所有人都没有闭眼的图像。

另外，在判定为闭眼的脸数最少的图像帧存在多个的情况下，判定该闭眼的脸数是否为0，并且判定闭眼的脸数是0的情况下，图像指定部11在多个闭眼的脸数最少的图像帧之中，基于由眨眼检测部9检测出的每个人眨眼评价值指定该眨眼评价值最高的一幅图像帧，并将该图像帧中的RAW图像数据指定为记录在记录介质13中的一幅摄像图像，因此能够可靠地选择眨眼评价值最高的图像。另一方面，判定闭眼的脸数不为0时，由于图像指定部11在多个闭眼的脸数最少的图像帧中，基于由笑脸检测部8检测出的微笑值指定该微笑值最高的一幅图像帧，并将该图像帧中的RAW图像数据作为记录在记录介质13中的一幅摄像图像而进行指定，因此即使存在闭眼的人时也能够可靠地选择微笑值最高的图像。

再有，在没有从全部的图像帧由脸检测部6检测出人脸时、或者虽然从任意的图像帧检测出人脸但是眼睛检测有效的脸数为0时，由于图像指定部11将由抖动检测部10检测出的抖动评价值最小的图像帧中的RAW图像数据指定为记录在记录介质13中的一幅摄像图像，因此能够可靠地选择抖动量最小的图像。

由此，不仅对眨眼程度或微笑程度等的人脸的状态进行判断，而且也对被摄体晃动或手抖动而引起的图像抖动等进行综合判断，从而能够恰当并且简单地进行记录在记录介质13中的图像的选择。

下面，对摄像装置100的变形例进行说明。

(变形例)

该变形例的摄像装置100对眼睛检测有效的各图像帧检测出对于相邻图像的抖动量，根据各图像帧的抖动量比规定值小的摄像图像的数目是否为多个，进行眨眼检测处理，或者将抖动量最小的图像帧指定为记录在记录介质13的一幅摄像图像。

图6是表示变形的摄像装置100的概略结构的框图。

如图6所示，该变形例的摄像装置100的抖动检测部10具有抖动修正部10a，该抖动修正部10a根据对于脸的位置的抖动的位置来修正检测出的各图像帧的抖动量。

具体而言，抖动检测部10在从任意的图像帧检测出了人脸但是眼睛检测有效的脸数为0时，对各图像帧在与相邻的图像帧的同一位置的块之间计算差分值，将其差分值在全部块中最大的作为该图像帧的抖动评价值(抖动量)，而此时抖动修正部10a以如下的方式进行修正，即：该差分值最大的块的位置随着远离脸所在的块的位置其抖动评价值降低。

在此，抖动修正部10a构成抖动修正单元，该抖动修正单元根据相对于脸的位置的抖动位置，来修正由抖动检测部10检测出的各图像帧的抖动评价值(抖动量)。

另外，图像指定部11的图像判定部11a，作为第3图像判定单元，在从任意的图像检测出人脸但是眼睛检测有效的脸数为0的情况下，判定各图像帧的抖动评价值比规定的抖动检测阈值小的图像帧是否存在多个。

然后，图像指定部11，判定抖动评价值比规定的抖动检测阈值小的图像帧不是多个时，将由抖动检测部10检测出的抖动评价值最小的图像帧中的RAW图像数据，指定为记录在记录介质13中的一幅摄像图像。

下面，参照图7对由变形例的摄像装置100进行的图像选择处理进行说明。

图7是表示图像选择处理中的动作的一例的流程图。另外，图7的眨眼检测处理(步骤S12)以后的处理与表示图3所示的图像选择处理的后续的流程图中所示的处理相同，省略其详细的说明。

如图7所示，CPU17与上述实施方式同样，若基于用户对操作输入部16的快门按钮16a的规定操作输入连续摄像指示，则使摄像控制部3调整规定的摄像条件，由电子摄像部2进行以规定的摄像帧率对被摄体的光学像连续拍摄规定张数的连续摄影(步骤S1)。然后，CPU17与上述实施方式同样，使图像数据生成部4生成从电子摄像部2传送的被摄体的各图像帧的RAW图像数据以及降低亮度图像数据，并将这些的图像数据暂时存储在图像存储器5中(步骤S2)。

然后，CPU17与上述实施方式同样，使脸检测部6从各图像帧的降低亮度图像数据检测人脸，并将检测出的脸图像区域内的图像信息作为脸轮廓信息生成(步骤S3)。

接下来，CPU17与上述实施方式同样，判定在脸检测处理中检测出的脸的数目是否为0(步骤S4)。在此，若判定检测出脸的数目不是0(步骤S4：否)，则CPU17与上述实施方式同样，基于从各图像帧检测出的脸轮廓信息对各人脸分配个人ID之后(步骤S5)，使眼睛检测部7基于由脸检测部6生成的各图像帧的脸轮廓信息，检测人的左右双眼从而计算其中心坐标(步骤S6)。

然后，CPU17与上述实施方式同样，使眼睛检测部7的有效性判定部7b判定检测出眼睛的脸的有效性之后(步骤S7)，基于有效性判定部7b的判定结果，判定眼睛检测有效的脸数(眼睛检测有效脸数)是否为0(步骤S8)。

若在步骤S8中判定眼睛检测有效的脸数不是0(步骤S8：否)，则CPU17使抖动检测部10进行抖动检测处理，即：将涉及眼睛检测有效的脸的各图像帧块分割为规定的区域，对每个块在与相邻的图像帧的同一位置的块之间计算差分值，将其差分值在全部块中最大的作为该图像帧的评价值(步骤S41)。此时，抖动检测部10的抖动修正部10a以如下方式进行修正，即：随着差分值最大的块的位置远离脸所在的块的位置，抖动评价值变低。

接下来，CPU17使图像指定部11基于规定抖动检测阈值判别各图像帧的抖动评价值比抖动检测阈值小的图像帧之后(步骤S42)，判定比该规定的抖动检测阈值小的图像帧是否存在多个(步骤S43)。

在此，若判定比规定抖动检测阈值小的图像帧不是多个(步骤S43：NO)，则CPU17与上述实施方式同样，使处理转移至步骤S10，使图像指定部11指定由抖动检测部10检测出的抖动评价值最小的图像帧中的RAW图像数据(步骤S10)。之后，CPU17与上述实施方式同样，使显影部12进行由图像指定部11指定的RAW图像数据的显影处理，并以JPEG格式对该图像数据进行编码后保存在记录介质13中(步骤S11)。

另一方面，若判定抖动评价值比规定的抖动检测阈值小的图像帧存在多个(步骤S43：是)，则CPU17与上述实施方式同样，使眨眼检测部9实行眨眼检测处理(步骤S12)。

另外，眨眼检测处理以后的处理与上述实施方式是同样的，省略其详细说明。

因而，根据该变形例的摄像装置100，判定各图像帧的抖动评价值比规定的抖动检测阈值小的图像帧的数目是否为多个，并且判定了抖动评价值比规定的抖动检测阈值小的图像帧存在多个时，由于进行眨眼检测处理，因此能够对被摄体抖动或手抖动的较小的图像帧，对每个人综合地判断眨眼程度或微笑程度等的人脸的状态，能够恰当地进行记录在记录介质13中的图像的选择。

另外，判定抖动评价值比规定的抖动检测阈值小的图像帧的数目不是多个时，由于将由抖动检测部10检测出的抖动评价值最小的图像帧中的RAW图像数据作为记录在记录介质13中的一幅摄像图像而进行指定，因此能够可靠地选择抖动量最小的图像。

再有，由于在抖动检测处理中，以随着差分值最大的块的位置远离脸所在的块的位置抖动评价值降低的方式进行修正，因此能够考虑了产生抖动的位置相对于脸的位置的距离，来进行之后的抖动评价值比规定的抖动检测阈值小的图像帧的数目是否为多个的判定。

也就是说，即便是少许产生了抖动的图像帧，在产生该抖动的位置离脸部较远时，能够在某种程度上无视而进行眨眼检测处理，能够从更多的图像帧中恰当地进行记录在记录介质13中的图像的选择。

另外，在上述实施方式中，虽然在图像选择处理中指定任意一幅的图像数据，但是并不限于此，例如根据眨眼程度、微笑程度、抖动程度等对连续摄影中的图像帧进行评价之后，以评价的从高到低重新排序，从而可以由用户来确定进而指定所希望的图像帧。

再有，可以以评价的从高到低对全部的图像帧中的图像数据进行重新排序，并存储在记录介质13中。

再有，可以在图像再现时进行上述的图像选择处理。也就是说，可以根据眨眼程度、微笑程度、抖动程度等对记录在记录介质13中的连续摄影中的图像帧进行评价，之后重新记录在记录介质13中。此外，也可以以评价的从高到低对图像帧进行重新排列，并空出规定间隔进行再现显示。

另外，也可以从实时取景图像进行脸检测处理，从而根据该脸的状态来调整连拍的张数。具体而言，在被摄体的连续摄影时，以如下方式进行设定，即：可以在快门按钮16a半按压的状态下进行脸检测处理，并根据检测出脸的人数增加连拍张数。也就是说，由于作为被摄体而进行摄影的人数越多，则全部眼睛睁开的概率越低，因此通过增加连拍张数能够可靠地进行全部人员睁开眼睛的图像的指定。

再有，在被摄体的连续摄影时，可以在快门按钮16a的半按压状态下进行脸检测处理，追踪检测出脸的脸运动从而根据脸的动作的大小增加连拍张数。也就是说，由于脸的运动越大，从而脸的被摄体抖动或脸朝向正面的概率越低，因此通过增加连拍张数，能够可靠地进行被摄体抖动的防止或脸朝向正面的图像的指定。

再有，图像存储器5作为取得单元可以具有环形缓冲器(图示省略)，该环形缓冲器能够暂时存储规定张数的图像帧，暂时存储由电子摄像部2生成的多个图像帧、在眨眼检测处理中判定全部人员的眼睛都睁开时，自动地按下快门。由此，能够可靠地进行全部人员睁开眼睛的图像的取得。

另外，在上述实施方式中的笑脸检测处理中，与人脸的微笑程度一起，对评价项目补充脸占据图像整体的大小或脸的位置(例如，处于图像整体的中央或处于端部)等，根据该项目对微笑值进行修正。

再有，记录介质13作为人物注册单元可以具有人物注册数据库(图示省略)，利用该数据库进行脸检测处理或人员ID的分配。再有，在脸检测处理中检测出人物注册数据库中注册的人物时，可以优先于其他人而考虑该人物的脸部的状态从而进行图像选择处理。也就是说，脸检测部6检测出的脸是在人物注册数据库中注册过的人物时，图像指定部11可以对涉及该脸的评价值进行修正。例如，分别使该人物的眨眼检测处理或微笑检测处理的判定用的阈值更加严格并且通过放宽其他人的阈值，能够指定至少该人物的眼睛睁开而且微笑的图像。

另外，在人员ID的分配时，从任意一幅的图像帧检测出脸的情况下，可以将检测出的脸轮廓信息作为模板(template)从其他的图像帧进行脸检测处理。由此，能够可靠地从全部的图像帧检测出人脸，能够提高之后的眼睛检测处理、笑脸检测处理、眨眼检测处理的精度。

再有，在进行脸检测处理以及眼睛检测处理时，从任意一幅的图像帧检测人脸的左右双眼，将该眼睛的周边部的区域作为模板在相邻图像之间进行模板匹配并成功时，可以跳过脸检测处理与眼睛检测处理的动作。

另外，在图像选择处理中，没有发现全部人员的眼睛睁开的图像时，可以指定评价最高的图像，并且对于该图像的闭眼的人员，从其他眼睛睁开的图像帧剪切眼睛周边部，将该眼睛周边部合成在评价最高的图像。

另外，摄像装置100的结构在上述实施方式中示例的仅是一例，并不限于此。也就是说，虽然作为图像选择装置示例了摄像装置100，但是并不限于此。例如，可以是连续摄影在与该摄像装置100不同的摄像装置中进行，仅记录从该摄像装置传送的图像数据、仅实行图像选择处理的图像选择装置。

此外，在上述实施方式中，构成为在CPU17的控制下通过驱动电子摄像部、摄像控制部3、脸检测部6、眼睛检测部7、眨眼检测部9、图像指定部11来实现作为取得单元、脸检测单元、眼睛检测单元、眨眼检测单元、评价单元、指定单元的功能，但是也并不限于此，也可以构成为由CPU17通过实行规定的程序等来实现。

也就是说，在存储程序的程序存储器(图示省略)中，预先存储包括取得处理子程序(routine)、脸检测处理子程序、评价处理子程序、指定处理子程序的程序。并且，可以由取得处理子程序使CPU17取得通过对被摄体进行连续摄像而生成的多个摄像图像。另外，可以由脸检测处理子程序使CPU17从由连续摄影而生成的多个摄像图像检测人脸。再有，可以由眼睛检测处理子程序使CPU17从脸检测处理中检测出的人脸检测眼睛。再有，可以由眨眼检测处理子程序使CPU17检测在眼睛检测处理中检测出的眼睛的眨眼程度。再有，可以由评价处理子程序使CPU17基于眨眼检测处理中检测出的眨眼程度评价人脸的状态。再有，可以由指定处理子程序使CPU17基于人脸状态的评价，从完成取得的多个摄像图像中指定记录在记录介质13中的至少一幅的摄像图像。

Claims (18)

1.一种图像选择装置，其特征在于，具有：

取得单元，其取得将一个人以上的人作为被摄体进行连续摄像而生成的多个摄像图像；

脸检测单元，其检测由所述取得单元所取得的所述多个摄像图像中含有的人脸；

眼睛检测单元，从由所述脸检测单元检测出的所述人脸检测眼睛；

眨眼检测单元，检测由所述眼睛检测单元检测出的各个所述眼睛的眨眼程度；以及

指定单元，从由所述取得单元取得的所述多个摄像图像中，指定由所述眨眼检测单元检测出的所述眨眼程度比其他摄像图像的眨眼程度高的摄像图像，

所述眨眼程度越高表示眼睛睁开得越大。

2.根据权利要求1所述的图像选择装置，其特征在于，还具备评价单元，基于由所述眨眼检测单元检测出的所述眨眼程度，评价所述人脸的状态；

所述指定单元，根据由所述评价单元评价的所述人脸的状态，从由所述取得单元取得的所述多个摄像图像中，指定由所述眨眼检测单元检测出的所述眨眼程度比其他摄像图像的眨眼程度高的摄像图像。

3.根据权利要求1所述的图像选择装置，其特征在于，

还具有：阈值计算单元，其基于由所述眨眼检测单元检测出的每个人的所述眨眼程度，计算用于判定每个人的所述眼睛是否睁开的阈值；以及

眨眼判定单元，其基于由所述阈值计算单元计算出的阈值，对由所述取得单元所取得的所述多个摄像图像判定每个人的所述眼睛是否睁开。

4.根据权利要求3所述的图像选择装置，其特征在于，

还具有第1图像判定单元，其基于所述眨眼判定单元作出的判定结果，判定由所述取得单元所取得的多个摄像图像中闭眼的脸数最少的摄像图像是否存在多个，

所述指定单元，在由所述第1图像判定单元判定为闭眼的脸数最少的摄像图像不是多个时，指定该摄像图像。

5.根据权利要求4所述的图像选择装置，其特征在于，

还具有第2图像判定单元，其在由所述第1图像判定单元判定为闭眼的脸数最少的摄像图像存在多个时，判定该闭眼的脸数是否为0，

所述指定单元，在由所述第2图像判定单元判定为闭眼的脸数为0时，基于由所述眨眼检测单元检测出的每个人的眨眼程度，指定所述摄像图像。

6.根据权利要求1所述的图像选择装置，其特征在于，

还具有：笑脸检测单元，其基于由所述眼睛检测单元检测出的眼睛的位置信息，对检测出该眼睛的脸的微笑程度进行检测；以及

眨眼修正单元，其根据由该笑脸检测单元检测出的微笑程度，修正由所述眨眼检测单元检测出的眨眼程度，

所述指定单元，根据由所述眨眼修正单元进行了修正的眨眼程度判断人脸的状态。

7.根据权利要求4所述的图像选择装置，其特征在于，

还具有：笑脸检测单元，其基于由所述眼睛检测单元检测出的眼睛的位置信息，对检测出该眼睛的脸的微笑程度进行检测；以及

第2图像判定单元，在由所述第1图像判定单元判定为闭眼的脸数最少的摄像图像存在多个时，判定该闭眼的脸数是否为0，

所述指定单元，在由所述第2图像判定单元判定为闭眼的脸数不为0时，基于由所述笑脸检测单元检测出的微笑程度，指定所述摄像图像。

8.根据权利要求1所述的图像选择装置，其特征在于，

还具有：可靠性计算单元，其计算由所述眼睛检测单元进行的眼睛检测的可靠性；以及

有效性判定单元，根据由该可靠性计算单元计算出的可靠性是否为规定阈值以下，判定检测出涉及该可靠性的眼睛的脸的有效性，

所述指定单元，判断由所述有效性判定单元判定为有效的人脸的状态。

9.根据权利要求1所述的图像选择装置，其特征在于，

还具有平滑单元，所述平滑单元在摄像帧率为规定值以上时，对由所述眨眼检测单元检测出的眨眼程度在相邻图像间进行平滑处理，

所述指定单元，根据由所述平滑单元进行了平滑处理的眨眼程度判断人脸的状态。

10.根据权利要求8所述的图像选择装置，其特征在于，

还具有：抖动检测单元，其对由所述取得单元所取得的多个摄像图像之中、由所述有效性判定单元判定为脸部有效的各摄像图像，检测相对于相邻图像的抖动量；以及

第3图像判定单元，其判定由该抖动检测单元检测出的各摄像图像的抖动量比规定值小的摄像图像的数目是否为多个，

所述眨眼检测单元，在由所述第3图像判定单元判定为抖动量比规定值小的摄像图像存在多个时，检测由所述眼睛检测单元检测出的眼睛的眨眼程度。

11.根据权利要求10所述的图像选择装置，其特征在于，

还具有抖动修正单元，其根据相对于脸的位置的抖动的位置，对由所述抖动检测单元检测出的各摄像图像的抖动量进行修正，

所述指定单元，其基于由所述抖动修正单元进行了修正的各摄像图像的抖动量，指定抖动量比规定值小的摄像图像。

12.根据权利要求10所述的图像选择装置，其特征在于，

所述指定单元，在由所述第3图像判定单元判定为抖动量比规定值小的摄像图像的数目不是多个时，指定抖动量最小的摄像图像指定。

13.根据权利要求2所述的图像选择装置，其特征在于，

基于由所述评价单元作出的评价，对由所述取得单元所取得的多个摄像图像进行重新排序。

14.根据权利要求1所述的图像选择装置，其特征在于，

所述取得单元包括环形缓冲器，所述环形缓冲器能够暂时存储规定数目的图像帧。

15.根据权利要求2所述的图像选择装置，其特征在于，

还具有人物注册单元，所述人物注册单元让用户进行人物的注册，

在所述脸检测单元检测出的脸是所述人物注册单元中注册过的人物时，所述评价单元修正涉及该脸的评价值。

16.根据权利要求1所述的图像选择装置，其特征在于，

还具有摄像单元，所述摄像单元进行所述摄像图像的摄像，

根据所述脸检测单元检测出的脸，设定所述摄像单元连续进行摄像的图像的数目。

17.根据权利要求1所述的图像选择装置，其特征在于，

还具有抖动检测单元，所述抖动检测单元在由所述脸检测单元没有检测出人脸时，对由所述取得单元所取得的多个摄像图像，分别检测相对于相邻图像的抖动量，

所述指定单元，指定由所述抖动检测单元检测出的抖动量最小的摄像图像。

18.一种图像选择方法，其特征在于，包含：

取得将一个人以上的人作为被摄体进行连续摄像而生成的多个摄像图像的步骤；

进行脸检测处理的步骤，所述脸检测处理检测所述多个摄像图像中含有的人脸；

进行眼睛检测处理的步骤，所述眼睛检测处理从由所述脸检测处理检测出的所述人脸检测眼睛；

进行眨眼检测处理的步骤，所述眨眼检测处理检测由所述眼睛检测处理检测出的所述眼睛各自的眨眼程度；以及，

从所述多个摄像图像中，指定由所述眨眼检测处理检测出的所述眨眼程度比其他摄像图像的眨眼程度高的摄像图像的步骤，

所述眨眼程度越高表示眼睛睁开得越大。