WO2008013050A1

WO2008013050A1 - Image processing method, image processing program, and image processing device

Info

Publication number: WO2008013050A1
Application number: PCT/JP2007/063670
Authority: WO
Inventors: Akihiko Utsugi
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-07-25
Filing date: 2007-07-09
Publication date: 2008-01-31
Anticipated expiration: 2009-01-25
Also published as: US8040389B2; JP4692632B2; JPWO2008013050A1; US20090303336A1; EP2045775A4; EP2045775A1

Description

画像処理方法、画像処理プログラム、および画像処理装置技術分野

[0001] 本発明は、画像処理方法、画像処理プログラム、および画像処理装置に関する。

背景技術

[0002] 次のような画像処理方法が知られて!/、る。この画像処理方法では、撮影された画像の中から人物の顔を検出するために、肌色を有する画像領域を顔候補領域として検出し、検出された顔候補領域に対して顔判定処理を行う (特許文献 1参照)。

[0003] 特許文献 1 :特開 2000— 48184号公報

発明の開示

発明が解決しょうとする課題

[0004] し力しながら、従来の方法においては、被写体を照明する光の色温度が低い場合や背景に木製の壁などがある場合には、画像の大半が肌色領域として検出されてしまヽ、人物の顔を含まな、画像領域も顔候補領域として誤検出してしまう可能性があつた o

課題を解決するための手段

[0005] 本発明の第 1の態様によると、画像処理方法は、入力画像情報に基づいて色差画像情報を生成し、色差画像情報で構成される被判定画像内において、対象物を判定するための判定対象領域を設定し、判定対象領域および判定対象領域の周囲に設定した複数の周辺領域のそれぞれの色差画像情報に基づ、て、各領域の色差平均値を算出し、判定対象領域における色差平均値が示す色情報が、対象物に関してあらかじめ定められた特徴色の情報であるかを評価し、判定対象領域における色差平均値と周辺領域の色差平均値との差分に基づ!/、て、判定対象領域と周辺領域とが分離された領域であるかを評価し、特徴色の情報である力否かの評価結果および分離された領域であるか否かの評価結果に基づ！/ヽて、判定対象領域が対象物を含むか否かを判定する。

本発明の第 2の態様によると、第 1の態様の画像処理方法において、対象物は人物の顔であることが好ま、。

本発明の第 3の態様によると、第 2の態様の画像処理方法において、対象物の特徴色の情報は、前記人物の顔の肌色であることが好ま、。

本発明の第 4の態様によると、第 1〜第 3のいずれかの態様の画像処理方法において、判定対象領域における色差画像情報に基づいて、当該領域における色差の分散を評価し、特徴色の情報であるか否かの評価結果、分離された領域であるか否かの評価結果、および色差の分散の評価結果に基づいて、判定対象領域が対象物を含か否かを判定することが好まし!/、。

本発明の第 5の態様によると、第 1〜第 4のいずれかの態様の画像処理方法において、色差画像情報を積分して積分画像情報を生成し、積分画像情報に基づいて色差平均値を算出することが好ましい。

本発明の第 6の態様によると、第 1〜第 5のいずれかの態様の画像処理方法において、被判定画像内において、対象物の特徴色の情報に対応する色情報を有する領域の割合を算出し、算出された領域の割合が大きいほど、分離された領域であるか否かの評価結果を重視して判定を行うことが好ましい。

本発明の第 7の態様によると、第 1〜第 6のいずれかの態様の画像処理方法において、あら力じめ取得した特徴色のサンプルの色差値のばらつきを最小にする第 1の色空間座標軸、および第 1の色空間座標軸に対して直交する第 2の色空間座標軸のそれぞれに対して、判定対象領域における色差平均値を射影し、それぞれの射影値を変換して得られた評価値に基づ、て、判定対象領域における色差平均値が示す色情報が対象物の特徴色の情報であるかを評価することが好ましい。

本発明の第 8の態様によると、第 1〜第 7のいずれかの態様の画像処理方法において、入力画像に基づいて第 1の色差画素値を生成し、あら力じめ取得した特徴色のサンプルの色差値のばらつきを最小にする第 1の色空間座標軸、および第 1の色空間座標軸に対して直交する第 2の色空間座標軸のそれぞれに対して、第 1の色差画素値を射影した値を第 2の色差画素値として算出し、

第 2の色差画像値で構成される色差画像情報に対して判定対象領域を設定することが好ましい。本発明の第 9の態様によると、画像処理プログラムは、第 1〜第 8のいずれかの態様の画像処理方法における処理をコンピュータに実行させる。

本発明の第 10の態様によると、画像処理装置は、画像を入力する画像入力部と、第 9の態様の画像処理プログラムを実行して、画像入力部から入力された入力画像に対して画像処理を実行する実行部とを備える。

本発明の第 11の態様によると、第 10の態様の画像処理装置において、実行部は、入力画像情報に基づ、て色差画像情報を生成する色差画像情報生成部と、色差画像情報で構成される被判定画像内において、対象物を判定するための判定対象領域を設定する判定対象領域設定部と、判定対象領域および判定対象領域の周囲に設定した複数の周辺領域のそれぞれの色差画像情報に基づ、て、各領域の色差平均値を算出する色差平均値算出部と、判定対象領域における色差平均値が示す色情報が、対象物に関してあらかじめ定められた特徴色の情報であるかを評価する特徴色評価部と、判定対象領域における色差平均値と周辺領域の前記色差平均値との差分に基づ!ヽて、判定対象領域と周辺領域とが分離された領域であるかを評価する分離領域評価部と、特徴色の情報であるか否かの評価結果および分離された領域であるか否かの評価結果に基づ、て、判定対象領域が対象物を含むか否かを判定する判定部とを含むことが好ま U、。

本発明の第 12の態様によると、カメラは、被写体像を撮像して画像情報を取得する画像取得部と、第 10または第 11の態様の画像処理装置とを備え、画像入力部は、画像取得部で取得した画像情報を入力する。

発明の効果

[0006] 本発明によれば、判定対象領域が対象物を含む領域である力否力を精度高く判定することができる。

図面の簡単な説明

[0007] [図 1]画像処理装置の一実施の形態の構成を示すブロック図。

[図 2]制御装置 103が有する各部によって実行される処理の流れを示す図。

[図 3]第 1の実施の形態における顔候補判定処理の流れを示す図。

[図 4]顔候補判定対象領域および周辺領域の設定例を示す図。 [図 5]肌色評価値 Esを算出する際に用いるパラメータの設定方法を示す図。

[図 6]第 2の実施の形態における顔候補判定処理の流れを示す図。

[図 7]第 3の実施の形態における顔候補判定処理の流れを示す図。

[図 8]プログラムをパーソナルコンピュータに提供する様子を示す図。

発明を実施するための最良の形態

[0008] 一第 1の実施の形態一

図 1は、第 1の実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置 100は、例えばパソコンであり、入力装置 101と、外部インターフェース 102と、制御装置 103と、 HDD (ノヽードディスクドライブ） 104と、モニタ 105とを備えている。

[0009] 入力装置 101は、キーボードやマウスなど、使用者によって操作される種々の入力部材を含んでいる。外部インターフェース 102は、後述する画像処理対象の画像をデジタルカメラなどの外部機器力取り込むためのインターフェースであり、例えば U SBインターフェースや無線 LANインターフェースが用いられる。制御装置 103は、 C PU、メモリ、およびその他の周辺回路で構成され、後述する色空間変換部 103aと、色差画像縮小部 103bと、輝度画像縮小部 103cと、色差画像顔候補検出部 103dと、顔判定部 103eとを有している。

[0010] HDD104は、外部インターフェース 102を介して取り込んだ画像データや画像処理部 103aによって実行される画像処理プログラムなど種々のデータが記録される。モニタ 105は、画像処理装置 100を操作するための操作画面や HDD 104に記録されている画像などを表示する。なお、 HDD104へのデータの記録、およびモニタ 10 5への表示は、制御装置 103によって制御される。

[0011] 次に、制御装置 103が有する 103a〜103eの各部による処理について説明する。

これらの各部による処理によって、 HDD104に記憶されている任意の画像や外部ィンターフェース 102を介して取り込まれた画像内における人物の顔が含まれる領域を特定する。このとき、従来行われていたように、画像内から肌色の領域を顔候補領域として検出する場合には、人物の顔の背景が木製の壁である場合など、背景の色が肌色に類似する場合には、人物の顔と背景とを正確に分離することができず、画像内から正確に顔候補領域を検出することが困難であった。また、画像撮影時のホワイトバランスが適正でな、場合には、画像内の人物の顔が肌色とは異なる可能性があり、この場合にも画像内力も正確に顔候補領域を検出することが困難であった。

[0012] そこで本実施の形態では、従来の肌色による顔候補検出方法では検出することが困難であった顔候補領域を精度高く検出する方法について説明する。以下、図 2を用いて 103a〜103eの各部による処理について説明する。

[0013] 制御装置 103が HDD104や外部インターフェース 102から処理対象の画像データを読み込むことによって、色空間変換部 103aに画像が入力される。色空間変換部 103aは、入力された画像 (入力画像)を色変換して色差画像と輝度画像とを生成する。なお、ここでは色空間変換部 103aは、入力画像を Lab表色系に変換して色差画像と輝度画像とを生成する例について説明するが、これに限定されず、その他 YCb Crなどの表色系に変換してもよい。色空間変換部 103aによって生成された色差画像は色差画像縮小部 103bへ出力され、輝度画像は輝度画像縮小部 103cへ出力される。

[0014] 輝度画像縮小部 103cは、入力された輝度画像をそれぞれ縮小倍率を異にして、複数の縮小輝度画像を生成する。例えば、 0〜31までの整数 nに対して縮小倍率 k を次式（1)で与え、異なる縮小倍率で縮小した 32通りの縮小倍率 kで縮小された縮小輝度画像を生成する。

k=0. 9ⁿ · · · (1)

なお、縮小方法としては、例えば公知の Cubic変倍や線形変倍を用いればよい。このようにして異なる縮小倍率で縮小された複数の縮小輝度画像は、顔判定部 103e へ出力される。

[0015] 色差画像縮小部 103bは、入力された色差画像をそれぞれ縮小倍率を異にして、複数の縮小色差画像を生成する。縮小倍率 kは、輝度画像縮小部 103cによる処理の場合と同一とし、式（1)によって 32通りの縮小倍率 kで縮小された縮小色差画像を生成する。なお、縮小方法は、輝度画像縮小部 103cによる処理よりも簡易な方法でよぐ例えば-アレストネイバ一法を用いればよい。このようにして異なる縮小倍率で縮小された複数の縮小色差画像は、色差画像顔候補検出部 103dへ出力される。 [0016] 色差画像顔候補検出部 103dは、色差画像縮小部 103bから入力された複数の縮小色差画像のそれぞれに対して、後述する顔候補判定処理を実行して、各縮小色差画像内で人物の顔を含んで、る可能性が高、領域を顔候補領域として抽出する。その結果、複数の縮小色差画像のうち、少なくとも 1つの縮小色差画像から顔候補領域が抽出された場合には、その縮小色差画像の縮小倍率 kと、その縮小倍率 kで縮小された縮小色差画像内における顔候補領域の座標値 (X Υ との対を顔判定部 103eへ出力する。なお、抽出される顔候補領域の大きさは、後述するように 19 X 19画素であるものとする。

[0017] 顔判定部 103eは、色差画像顔候補検出部 103bから入力された縮小倍率 kと同じ縮小倍率 kで輝度画像縮小部 103cによって生成された縮小輝度画像を読み込む。そして、色差画像顔候補検出部 103bから入力された座標値 (Χ ΥΊに基づいて、顔候補領域から最終的に顔画像であるか否かを特定する。顔判定部 103eは、公知の顔判定処理を行って、顔候補領域内に人物の顔が含まれているか否かを判定する。なお、顔判定処理としては、例えばニューラルネットワーク、 SVM、または AdaBo ostなどの公知の方法を用いればよぐ縮小輝度画像内の 19 X 19画素の大きさの顔候補領域に対してこれらの方法で顔判定処理を行えばょ、。この顔判定部 103eによる処理をさらに行うことで、色差画像顔候補検出部 103dで抽出された顔候補領域を再評価し、高、精度で人物の顔が含まれる領域を特定することができる。

[0018] 顔判定部 103eは、縮小輝度画像内の顔候補領域内に人物の顔が含まれると判定した場合には、縮小画像に対する人物の顔の大きさ、すなわち顔候補領域のサイズ S' = 19,縮小画像内における顔候補領域の座標値 (X ΥΊ、および縮小倍率 kに基づいて、処理対象の画像 (入力画像）に対する人物の顔の大きさ S、および入力画像における顔候補領域の座標値 (X, Y)を算出する。具体的には、次式 (2)〜(4)により算出する。

S = S'/k · · · (2)

X=XVk · · · (3)

Y=YVk · · · (4)

これによつて、入力画像内における人物の顔が含まれる領域を特定することができる。

[0019] 次に、色差画像顔候補検出部 103dによって実行される顔候補判定処理について、図 3を用いて説明する。色差画像顔候補検出部 103dは、顔候補判定対象領域設定部 3a、色差平均値算出部 3b、肌色評価部 3c、分離評価部 3d、および顔候補判定部 3eの各部の工程に分割することができ、ここでは、これら各部ごとに処理の内容を説明する。

[0020] 色差画像縮小部 103bから出力された複数の縮小色差画像は、顔候補判定対象領域設定部 3aへ入力される。顔候補判定対象領域設定部 3aは、各縮小色差画像のそれぞれに対して顔候補判定対象領域を設定する。顔候補判定対象領域は、縮小色差画像上の様々な位置に設定され、例えば、隣接する顔候補判定対象領域の間隔が 2画素程度となるように格子点上に設定される。また、各顔候補判定対象領域の大きさは、上述したように 19 X 19画素程度とする。

[0021] 顔候補判定対象領域設定部 3aは、さらに、設定した顔候補判定対象領域の上下左右に周辺領域を設定する。周辺領域を設定した場合の具体例を図 4に示す。この図 4に示すように、顔候補判定対象領域 4aの右側に周辺領域 4b、下側に周辺領域 4c、左側に周辺領域 4d、上側に周辺領域 4eをそれぞれ設定する。ここで、各周辺領域の大きさは、周辺領域 4bおよび 4dは横 6画素 X縦 19画素とし、周辺領域 4cおよび 4eは横 19画素 X縦 6画素とする。

[0022] 色差平均値算出部 3bは、設定した各顔候補判定対象領域内の色差の平均値 (a

* , b * )、周辺領域 4b内の色差の平均値（a * , b * )、周辺領域 4c内の色差の平均値（a * , b * )、周辺領域 4d内の色差の平均値（a * , b * )、および周辺領域 4

2 2 3 3

e内の色差の平均値 (a * , b * )をそれぞれ算出する。なお、顔候補判定処理の前

4 4

処理として、色差画像の積分画像を作成しておくことにより、色差平均値の算出を高速に行えるようになる。

[0023] すなわち、色差画像 C (X, y)の積分画像 I (x, y)は、次式（5)で定義される。

[数 1] 【数 1】

i(_X,y ∑∑c(i ) …

そして、 4点 (x, y)、 (x+w, y)、 (x, y + h)、 (x+w, y + h)を頂点とする長方形領域内で色差画像 C(x, y)を積分した Csumは、次式 (6)により算出される。

[数 2]

【数 2】

Csum = l(x + w,y + h)- l(x -\,y + h)- l{x + w,y -\)+ I[x-\,y -\) … (6) つまり、 4点の画素値の加減算を行うだけで積分が求まるので、高速な演算が可能となる。そして、長方形領域の積算値 Csumをその領域の画素数で割ると平均値が求 3；る。

肌色評価部 3cは、顔候補判定対象領域 4b内の色差の平均値 (a * , b * )を次式（ 7)および (8)に代入し、さらに次式 (9)によって肌色評価値 Esを算出する。この肌色評価値 Esは、顔候補判定対象領域 4b内の色差の平均値 (a*, b*)がどれくらい肌色に近いかを示す指標であり、その値が大きいほど色差の平均値 (a*, b*)がより肌色に近いことを示す。

[数 3]

【数 3】

画

【数 4】

[数 5]

Λ

[0025] ここで、 a 、 a 、a 、b 、e 、e 、e 、e の各パラメータは、次のようにして算出す

X y m m xa xb ya yb

る。まず、顔画像のサンプルをたくさん集め、各画像の顔領域の色差の平均値 (a_n, b )を算出する。この（a , b )の分布を図示すると、例えば図 5の斜線で示す領域 5aのようになる。そして、この（a , b )の平均を (a , b )として算出する。また、（a , b )の n n m m n n ばらつきが最小となる方向に Cy軸を設定し、それに直交する方向に Cx軸を設定する。そして、 Cx軸方向と Cy軸方向の単位ベクトルをそれぞれ、（e , e ) , (e , e )

xa xb ya yb とする。

[0026] さらに、各画像の顔領域の色差平均値 (a_n, b_n)を Cx軸方向と Cy軸方向に射影した値の標準偏差をそれぞれ求め、その標準偏差を 3割程度増加させた値を σ およびびとして算出する。これによつて、例えば、 σ = 16、 σ = 8、 a = 12、 b = 20、 ( y x y m m e , e ) = (0. 48, 0. 87)、（e , e ) = (— 0. 87, 0. 49)力 S設定される。なお、図 xa xb ya yb

5を用いて各パラメータを算出する代わりに主成分分析などのその他の手法を用いてちょい。

[0027] 分離評価部 3dは、顔候補判定対象領域 4aの色差の平均値 (a * , b * )、および周辺領域 4b〜4eのそれぞれの色差の平均値（a * , b * )〜（a * , b * )に基づいて

1 1 4 4

、分離評価値 Edを次式（10)〜（14)により算出する。なお、分離評価値 Edは、顔候補判定対象領域 4aと周辺領域 4b〜4eのそれぞれとの色差の平均値の差がどの程度であるかを示す指標であり、その値が大きいほど顔候補判定対象領域 4aと周辺領域 4b〜4eのそれぞれとの色差の平均値の差が大きいことを示す。

[数 6]

【数 6】

Edl + Ed2 + Ed3 + Ed4

Ed■■ (10)

4

[数 7]

【数 7】

[数 8] 【数 8】

( ία*-α₂*)²+(6*-¾*)^: (12)

Ed2 = 1一 exp

ひ

[数 9]

【数 9】 =1- exp| '(13)

σ

[数 10]

【数

ここで、式（11)〜（14)において、 σ は、例えば 5程度に設定すればよい。

d

[0028] 顔候補判定部 3eは、肌色評価値 Esと分離評価値 Edとに基づヽて、顔候補判定対象領域 4aが人物の顔を含む領域、すなわち顔候補であるか否かを判定する。顔候補判定部 3eは、例えば肌色評価値 Esと分離評価値 Edが次式（15)を満たすときに顔候補判定対象領域が顔候補であると判定し、その顔候補判定対象領域を顔候補領域として検出する。なお、次式（15)において、 thは例えば 0.6程度とする。

0.5XEd+0.5XEs>th …（15)

[0029] これにより、画像撮影時のホワイトバランスが適正でない場合や背景が肌色に類似する色である場合など、従来の手法では画像内から正確に顔候補領域を検出することができなかった場合でも、顔候補領域を正確に検出することができる。式（15)による具体的な判定例を以下の (A)〜 (E)に示す。

[0030] (A)顔候補判定対象領域が人物の顔画像上に設定され、ホワイトバランスが適正かつ背景が肌色ではな、場合

この場合には、肌色評価値 Esも分離評価値 Edも大きな値となり、式（15)によって当該顔候補判定対象領域は顔候補と判定される。

[0031] (B)顔候補判定対象領域が人物の顔画像上に設定され、ホワイトバランスが適正だ 1S 背景が肌色に類似する場合

この場合には、肌色評価値 Esは大きな値になる。また、背景が肌色に類似していても顔候補判定対象領域と全く同じ色ではない。このため、分離評価値 Edはある程度大きな値となる。よって、式（15)によって当該顔候補判定対象領域は顔候補と判定される。

[0032] (C)顔候補判定対象領域が人物の顔画像上に設定され、背景が肌色ではないが、ホワイトバランスが不適切である場合

この場合には、肌色評価値 Esが小さい値となる可能性がある。しかし、分離評価部 Edは大きな値となり、式（15)によって当該顔候補判定対象領域は顔候補と判定される。

[0033] (D)顔候補判定対象領域が肌色に類似する壁面上に設定されて!ヽる場合

この場合には、肌色評価値 Esは大きな値となる力分離評価値 Edはほぼ 0に近い値になるため、式（15)によって当該顔候補判定対象領域は顔候補ではないと判定される。

[0034] (E)顔候補判定対象領域が肌色ではな！ヽ物体上に設定されて！ヽる場合

この場合には、肌色評価値 Esはほぼ 0に近い値になり、仮に分離評価値が大きな値になっても式（15)によって当該顔候補判定対象領域は顔候補ではないと判定される。

[0035] 顔候補判定部 3eは、顔候補領域を検出した場合には、上述したように、顔候補領域を検出した縮小色差画像の縮小倍率 kと、その縮小倍率 kで縮小された縮小色差画像内における顔候補領域の座標値 (X Υ との対を顔判定部 103eへ出力する

[0036] 以上説明した第 1の実施の形態によれば、以下のような作用効果を得ることができる。

(1)肌色評価値 Esと分離評価値 Edを算出し、これらの評価値に基づいて顔候補判定対象領域が顔候補である力否かを判定するようにした。これによつて、顔候補判定対象領域内の肌色らしさと周辺領域との色差の差とに基づいて、周知の顔検出方法では見分け難力つた画像力人物の顔を含む顔候補領域を検出することができる。 [0037] (2)すなわち、画像撮影時のホワイトバランスが適正でない場合や背景が肌色である場合など、従来の手法によれば画像内から正確に顔候補領域を検出することができなかった場合でも、本実施の形態における発明によれば、顔候補領域を正確に検出することができる。

[0038] (3)肌色評価値 Esと分離評価値 Edとを算出し、これらの評価値が式（15)を満たすか否かによって顔候補判定対象領域が顔候補である力否かを判定するようにしたので、簡易な構成で顔候補領域を検出することができ、回路規模や処理時間を節約することがでさる。

[0039] 一第 2の実施の形態一

上述した第 1の実施の形態では、色差画像顔候補検出部 103dは、縮小色差画像上に設定した顔候補判定対象領域 4aに対して肌色評価値 Esおよび分離評価値 Ed を算出し、これらの評価値に基づいて顔候補領域を検出する場合について説明した。この場合、例えば顔候補判定対象領域 4a内に赤い花と緑の葉があるような場合には、顔候補判定対象領域 4aの色差平均が肌色に等しくなり、顔候補判定対象領域 4 a内に人物の顔が含まれていないにも関わらず、当該顔候補判定対象領域 4aを顔候補領域として誤検出してしまう可能性がある。

[0040] そこで、第 2の実施の形態では、色差画像顔候補検出部 103dは、肌色評価値 Es と分離評価値 Edとに加えて、さらに顔候補判定対象領域 4aの色差の分散を加味して縮小色差画像から顔候補領域を検出する。なお、図 1に示したブロック図、図 2に示したフロー図、図 4に示した顔候補判定対象領域および周辺領域の設定例を示す図、および図 5に示した肌色評価値 Esを算出する際に用いるパラメータの設定方法を示す図については、第 1の実施の形態と同様のため説明を省略する。

[0041] 図 6は、第 2の実施の形態における色差画像顔候補検出部 103dによって実行される顔候補判定処理の流れを示す図である。第 2の実施の形態では、色差画像顔候補検出部 103dは、顔候補判定対象領域設定部 3a、色差平均値算出部 3b、肌色評価部 3c、分離評価部 3d、顔候補判定部 3e、色差分散値算出部 6a、および分散評価部 6bの各部の工程に分割することができる。なお、顔候補判定対象領域設定部 3a、色差平均値算出部 3b、肌色評価部 3c、分離評価部 3dの各部における処理については、第 1の実施の形態と同じため説明を省略する。

[0042] 色差分散値算出部 6aは、顔候補判定対象領域 4aにおける色差の分散 (色差分散値)を算出する。そして、算出した色差分散値をそれぞれ σ σ ²として、次式（16) a b

により分散評価値 Ebを算出する。この分散評価値 Ebは、顔候補判定対象領域 4a内の色差分散値の大きさを評価するための指標であり、その値が大きいほど顔候補判定対象領域 4a内の色差分散値が小さいことを示す。

[数 11]

【数 1 1】

ここで、 Dの値は例えば 10とする。

[0043] なお、顔候補判定処理の前処理として、色差画像の積分画像と色差画像の画素値の二乗の積分画像を作成しておくことにより、色差分散値の算出を高速に行うことができる。

[0044] 顔候補判定部 3eは、肌色評価値 Es、分離評価値 Ed、および分散評価値 Ebに基づいて、顔候補判定対象領域が人物の顔を含む領域、すなわち顔候補であるか否かを判定する。顔候補判定部 3eは、例えば肌色評価値 Es、分離評価値 Ed、および分散評価値 Ebが次式 ( 17)を満たすときに顔候補判定対象領域が顔候補であると判定し、その顔候補判定対象領域を顔候補領域として検出する。なお、次式（17)において、 thは例えば 0. 6程度とする。

0. 4 X Ed+ 0. 4 X Es + 0. 2 X Eb >th · · · ( 17)

[0045] このように、肌色評価値 Es、分離評価値 Edだけでなく分散評価値 Ebも加味して顔候補を判定することによって、顔候補判定対象領域 4a内に人物の顔が含まれていないにも関わらず顔候補判定対象領域 4aの色差平均が肌色に等しくなる場合でも、分散評価値 Ebは小さな値となることから、式（17)によって、このような顔候補判定対象領域 4aは顔候補ではないと判定することができる。

[0046] 顔候補判定部 3eは、顔候補領域を検出した場合には、上述したように、顔候補領域を検出した縮小色差画像の縮小倍率 kと、その縮小倍率 kで縮小された縮小色差画像内における顔候補領域の座標値 (X Υ との対を顔判定部 103eへ出力する

[0047] 以上説明した第 2の実施の形態によれば、第 1の実施の形態における作用効果にカロえて、以下のような効果を得ることができる。すなわち、肌色評価値 Es、分離評価値 Edに加えて分散評価値 Ebも加味して顔候補領域を検出するようにしたため、顔候補判定対象領域 4a内に人物の顔が含まれていないにも関わらず顔候補判定対象領域 4aの色差平均が肌色に等しくなる場合には、当該顔候補判定対象領域 4aは顔候補ではないと判定することができ、さらに精度高く顔候補領域を検出することができる。

[0048] 一第 3の実施の形態一

第 1および第 2の実施の形態で上述した肌色評価値 Esは、被写体を照明する光の色温度が低、場合や背景に木製の壁などがある場合など、画像の大半が肌色領域として検出されるような場合には、その信頼度が低くなる可能性がある。よって、第 3 の実施の形態では、このような場合に分離評価値 Edを肌色評価値 Esよりも重視して顔候補を判定するようにして、顔候補の判定精度を向上させる。

[0049] なお、図 1に示したブロック図、図 2に示したフロー図、図 4に示した顔候補判定対象領域および周辺領域の設定例を示す図、および図 5に示した肌色評価値 Esを算出する際に用いるパラメータの設定方法を示す図については、第 1の実施の形態と同様のため説明を省略する。

[0050] 図 7は、第 3の実施の形態における色差画像顔候補検出部 103dによって実行される顔候補判定処理の流れを示す図である。第 2の実施の形態では、色差画像顔候補検出部 103dは、係数算出部 7a、顔候補判定対象領域設定部 3a、色差平均値算出部 3b、肌色評価部 3c、分離評価部 3d、および顔候補判定部 3eの各部の工程に分割することができる。なお、顔候補判定対象領域設定部 3a、色差平均値算出部 3b、肌色評価部 3c、分離評価部 3dの各部における処理については、第 1および第 2の実施の形態と同じため説明を省略する。

[0051] 係数算出部 7aは、縮小色差画像内における肌色に類似する色の割合を求め、その算出結果に応じて分離評価値 Edの重視度を示す係数 kを算出する。具体的には、まず、縮小色差画像を数百個程度の複数画素からなるブロックに分割し、それぞれのブロックで色差の平均値を求める。そして、色差の平均値が肌色に類似するブロックをカウントし、縮小色差画像内の全ブロックに対する肌色に類似するブロックの割合 Pを算出する。

[0052] ここで、各ブロックが肌色に類似するか否かは、例えば、各ブロックの色差平均値を式（7)〜（9)に代入して肌色評価値 Esを算出し、肌色評価値 Esが 0. 4以上のブロックを肌色に類似するブロックと判定する。また、異なる縮小倍率で縮小された縮小色差画像のうち、いずれか 1枚について肌色に類似するブロックの割合 pを算出し、その他の縮小色差画像にも同じ値を適用するようにしてもよい。係数算出部 7aは、このようにして算出した pを用いて、次式（18)により、分離評価値 Edの重視度を示す係数 kを算出する。

k=0. 5+p/2 · · · (18)

[0053] 顔候補判定部 3eは、肌色評価値 Es、分離評価値 Ed、および分離評価値 Edの重視度を示す係数 kに基づヽて、顔候補判定対象領域が顔候補であるか否かを判定する。顔候補判定部 3eは、例えば肌色評価値 Es、分離評価値 Ed、および分離評価値 Edの重視度を示す係数 kが次式 ( 19)を満たすときに顔候補判定対象領域が顔候補であると判定し、その顔候補判定対象領域を顔候補領域として検出する。なお、次式（19)において、 thは例えば 0. 6程度とする。

kX Ed+ (l -k) X Es >th · · · (19)

[0054] このように、分離評価値 Edの重視度を示す係数 kを用いて肌色評価値 Esおよび分離評価値 Edを重み付けして顔候補を判定することによって、被写体を照明する光の色温度が低、場合や背景に木製の壁などがある場合など、画像の大半が肌色領域として検出されるような場合でも、顔候補の判定精度を向上させることができる。

[0055] 顔候補判定部 3eは、顔候補領域を検出した場合には、上述したように、顔候補領域を検出した縮小色差画像の縮小倍率 kと、その縮小倍率 kで縮小された縮小色差画像内における顔候補領域の座標値 (X Υ との対を顔判定部 103eへ出力する

[0056] 以上説明した第 3の実施の形態によれば、分離評価値 Edの重視度を示す係数 kを用いて肌色評価値 Esおよび分離評価値 Edを重み付けして顔候補を判定するよう〖こした。これによつて、第 1および第 2の実施の形態の作用効果に加えて、画像の広い範囲が肌色に類似するような場合には、分離評価値 Edを肌色評価値 Esよりも重視して顔候補を判定することができ、顔候補判定処理の精度をさらに向上することができるという効果を得ることができる。

[0057] 一第 4の実施の形態一

第 1〜第 3の実施の形態では、色空間変換部 103aは、入力された画像を色変換して色差画像と輝度画像とを生成し、それぞれの画像を色差画像縮小部 103bと輝度画像縮小部 103cへ出力する例について説明した。これに対して第 4の実施の形態では、色空間変換部 103aは、入力された画像を色変換して色差画像と輝度画像とを生成した後、色差画像については、さらに色差画像顔候補検出部 103dによる肌色評価に適した色空間に変換して力も色差画像縮小部 103bへ出力する例について説明する。

[0058] なお、図 1に示したブロック図、図 2に示したフロー図、図 3に示した顔候補判定処理の流れを示すフロー図、図 4に示した顔候補判定対象領域および周辺領域の設定例を示す図、および図 5に示した肌色評価値 Esを算出する際に用いるパラメータの設定方法を示す図については、第 1の実施の形態と同様のため説明を省略する。また、図 2において、色空間変換部 103aおよび色差画像顔候補検出部 103d以外の各部による処理は、第 1〜第 3の実施の形態と同じため説明を省略し、相違点を中心に説明する。

[0059] 色空間変換部 103aは、入力画像の画素値を Lab表色系に変換した後、画素ごとの色差 (a, b)を次式（20)および（21)に代入してさらに変換し、第二の色差 (Cx, C y)を生成する。

[数 12]

【数 12】

cx = ^exa (a - a_m ) + e_xb {b - b_m) - - - (20)

[数 13] 【数 13】

そして、色空間変換部 103aは、算出した第二の色差 (Cx, Cy)を画素値とする色差画像を色差画像縮小部 103bへ出力する。

[0060] 色差画像顔候補検出部 103dによって実行される顔候補判定処理を図 3を用いて説明する。なお、第 4の実施の形態では、色差画像顔候補検出部 103dが有する顔候補判定対象領域設定部 3a、および顔候補判定部 3eにおける処理については、第 1の実施の形態と同じため説明を省略する。

[0061] 色差平均値算出部 3bは、顔候補判定対象領域 4aの第二の色差の平均値 (Cx * , Cy*)、周辺領域 4b内の第二の色差の平均値（Cx *, Cv *)、周辺領域 4c内の第二の色差の平均値（Cx *, Cv *)、周辺領域 4d内の第二の色差の平均値（C

2 2

X *, Cy *)、および周辺領域 4e内の第二の色差の平均値（Cx *, Cy *)をそ

3 3 4 4 れぞれ算出する。

[0062] 肌色評価部 3cは、顔候補判定対象領域 4aの第二の色差の平均値 (Cx*, Cy*) を次式（22)に代入して、肌色評価値 Esを算出する。なお、次式（22)における各パラメータの値は第 1の実施の形態と同様に設定すればよい。

[数 14]

【数 14】

C *² c *²

£, - exp し y

'(22)

2σ 2σ ノ

[0063] 分離評価部 3dは、顔候補判定対象領域 4aの第二の色差の平均値 (Cx * , Cy * ) 、および周辺領域 4b〜4eのそれぞれの第二の色差の平均値（Cx *, Cy *)〜（C x *, Cy *)に基づいて、分離評価値 Edを次式（23)〜（27)により算出する。

4 4

[数 15]

【数 15】

， Edl + Ed2 + Ed3 + Ed4 、

Ed = -"(23)

4

[数 16] 【数 1

[数 17]

【数 17】

[数 18]

【数 1

[数 19]

【数 1

ここで、式（23)〜（27)において、 σ は、例えば 5程度に設定すればよい。

d

[0064] 以上説明した第 4の実施の形態によれば、色空間変換部 103aにおいて、色差画像を肌色評価に適した色空間に変換するようにしたので、色差画像顔候補検出部 1 03dにおいて肌色評価値 Esを算出する際の計算量を削減することができる。

[0065] 一変形例一

なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。 (1)上述した第 2、第 3、および第 4の実施の形態における顔候補判定処理は、それぞれ第 1の実施の形態を変形した場合について説明した。し力しながら、第 2、第 3、および第 4の実施の形態をそれぞれ組み合わせて顔候補判定処理を行うようにしてちょい。

[0066] (2)上述した第 1〜第 4の実施の形態では、画像処理装置 100としてパソコンを用いる例について説明した。しかしこれに限定されず、画像処理装置 100をデジタルカメラに搭載し、デジタルカメラで撮影した画像内から人物の顔領域を判定するようにしてもよい。

[0067] (3)上述した第 1〜第 4の実施の形態では、肌色評価値 Esによって肌色らしさを評価し、画像内に存在する人物の顔を判定する例について説明した。すなわち、判定の対象物を人物の顔とし、その人物の顔の特徴的な色 (特徴色)である肌色を肌色評価値 Esによって評価する例について説明した。し力しながら、特徴的な色を有するその他の対象物を判定する場合にも本発明は適用可能である。すなわち、画像処理装置 100は、入力画像に基づいて色差画像を生成する色差画像生成工程と、色差画像に対して対象物を判定するための判定対象領域を設定する領域設定工程と、判定対象領域および判定対象領域の周囲に設定した複数の周辺領域のそれぞれにおいて、各領域の色差平均値を算出する色差平均値算出工程と、判定対象領域における色差平均値が対象物に関してあら力じめ定められた特徴色であるかを評価する色評価工程と、判定対象領域における色差平均値と周辺領域の色差平均値との差分に基づ!ヽて、判定対象領域と周辺領域とが分離された領域であるかを評価する分離評価工程と、色評価工程による評価結果および分離評価工程による評価結果に基づ!/ヽて、判定対象領域が対象物を含む領域であるカゝ否かを判定する判定工程とを備えるようにし、画像内におけるその対象物の特徴色を肌色評価値 Esと等価な指標を用いて評価して、画像内に存在する対象物を判定するようにしてもょヽ。

[0068] (4)また、パーソナルコンピュータなどに適用する場合、上述した制御に関するプログラムは、 CD— ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図 8はその様子を示す図である。パーソナルコンピュータ 400は、 CD— ROM404を介してプログラムの提供を受ける。また、パーソナルコンピュータ 4 00は通信回線 401との接続機能を有する。コンピュータ 402は上記プログラムを提供するサーバーコンピュータであり、ハードディスク 403などの記録媒体にこれらのプログラムを格納する。通信回線 401は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ 402はハードディスク 403を使用してプログラムを読み出し、通信回線 401を介してプログラムをパーソナルコンピュータ 400に送信する。すなわち、プログラムをデータ信号として搬送波に embodyして、通信回線 401を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

[0069] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

[0070] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。

日本国特許出願 2006年第 202313号（2006年 7月 25日出願）

Claims

請求の範囲

[1] 入力画像情報に基づ、て色差画像情報を生成し、

前記色差画像情報で構成される被判定画像内にお!ヽて、対象物を判定するための判定対象領域を設定し、

前記判定対象領域および前記判定対象領域の周囲に設定した複数の周辺領域のそれぞれの前記色差画像情報に基づいて、各領域の色差平均値を算出し、前記判定対象領域における前記色差平均値が示す色情報が、前記対象物に関してあら力じめ定められた特徴色の情報であるかを評価し、

前記判定対象領域における前記色差平均値と前記周辺領域の前記色差平均値との差分に基づ!/、て、前記判定対象領域と前記周辺領域とが分離された領域であるかを評価し、

前記特徴色の情報である力否かの評価結果および前記分離された領域であるか否かの評価結果に基づ!/、て、前記判定対象領域が前記対象物を含むか否かを判定する画像処理方法。

[2] 請求項 1に記載の画像処理方法において、

前記対象物は、人物の顔である画像処理方法。

[3] 請求項 2に記載の画像処理方法において、

前記対象物の特徴色の情報は、前記人物の顔の肌色を表す色情報である画像処理方法。

[4] 請求項 1〜3のいずれか一項に記載の画像処理方法において、

前記判定対象領域における色差画像情報に基づいて、当該領域における色差の分散を評価し、

前記特徴色の情報である力否かの評価結果、前記分離された領域であるか否かの評価結果、および前記色差の分散の評価結果に基づいて、前記判定対象領域が前記対象物を含むか否かを判定する画像処理方法。

[5] 請求項 1〜4のいずれか一項に記載の画像処理方法において、

前記色差画像情報を積分して積分画像情報を生成し、前記積分画像情報に基づいて前記色差平均値を算出する画像処理方法。

[6] 請求項 1〜5のいずれか一項に記載の画像処理方法において、

前記被判定画像内において、前記対象物の特徴色の情報に対応する色情報を有する領域の割合を算出し、

算出された前記領域の割合が大きいほど、前記分離された領域である力否かの評価結果を重視して判定を行う画像処理方法。

[7] 請求項 1〜6のいずれか一項に記載の画像処理方法において、

あら力じめ取得した前記特徴色のサンプルの色差値のばらつきを最小にする第 1 の色空間座標軸、および前記第 1の色空間座標軸に対して直交する第 2の色空間座標軸のそれぞれに対して、前記判定対象領域における前記色差平均値を射影し、それぞれの射影値を変換して得られた評価値に基づ、て、前記判定対象領域における前記色差平均値が示す色情報が前記対象物の特徴色の情報であるかを評価する画像処理方法。

[8] 請求項 1〜7のいずれか一項に記載の画像処理方法において、

入力画像に基づいて第 1の色差画素値を生成し、あらかじめ取得した前記特徴色のサンプルの色差値のばらつきを最小にする第 1の色空間座標軸、および前記第 1 の色空間座標軸に対して直交する第 2の色空間座標軸のそれぞれに対して、前記第 1の色差画素値を射影した値を第 2の色差画素値として算出し、

前記第 2の色差画像値で構成される色差画像情報に対して前記判定対象領域を設定する画像処理方法。

[9] 請求項 1〜8のいずれか一項に記載の画像処理方法における処理をコンピュータに実行させるための画像処理プログラム。

[10] 画像情報を入力する画像入力部と、

請求項 9に記載の画像処理プログラムを実行して、前記画像入力部から入力された入力画像情報に対して画像処理を実行する実行部とを備える画像処理装置。

[11] 請求項 10に記載の画像処理装置において、

前記実行部は、

前記入力画像情報に基づいて色差画像情報を生成する色差画像情報生成部と、前記色差画像情報で構成される被判定画像内にお!ヽて、対象物を判定するための判定対象領域を設定する判定対象領域設定部と、

前記判定対象領域および前記判定対象領域の周囲に設定した複数の周辺領域のそれぞれの前記色差画像情報に基づいて、各領域の色差平均値を算出する色差平均値算出部と、

前記判定対象領域における前記色差平均値が示す色情報が、前記対象物に関してあらかじめ定められた特徴色の情報であるかを評価する特徴色評価部と、前記判定対象領域における前記色差平均値と前記周辺領域の前記色差平均値との差分に基づ!、て、前記判定対象領域と前記周辺領域とが分離された領域であるかを評価する分離領域評価部と、

前記特徴色の情報である力否かの評価結果および前記分離された領域であるか否かの評価結果に基づ!/、て、前記判定対象領域が前記対象物を含むか否かを判定する判定部とを含むことを特徴とする画像処理装置。

被写体像を撮像して画像情報を取得する画像取得部と、

請求項 10または 11に記載の画像処理装置とを備えたカメラであって、

前記画像入力部は、前記画像取得部で取得した画像情報を入力することを特徴とするカメラ。