JP2016009203A - 皺検出装置および皺検出方法 - Google Patents

Abstract

【課題】肌に光沢が生じている場合であっても、高精度な皺検出を行うことができる皺検出装置を提供すること。
【解決手段】皺検出装置１００は、画像に含まれる肌の皺領域を検出する装置であって、画像を取得する画像取得部１２０と、取得された画像を平滑化してアンシャープ画像を生成し、生成されたアンシャープ画像に基づいて、画像のエッジを強調した画像であるエッジ強調画像を生成する、エッジ強調処理を行うエッジ強調処理部２２０と、生成されたエッジ強調画像に対してエッジ検出処理を行うことにより、皺領域を検出する皺検出処理部２３０と、を有し、エッジ強調処理は、画像における輝度が高い部分の影響を抑制して、エッジ強調画像を生成する処理である。
【選択図】図１

Description

本発明は、画像に含まれる肌の皺領域を検出する皺検出装置および皺検出方法に関する。

顔を撮影した画像から肌の皺領域を検出することが、従来行われている。ここで、皺領域とは、画像に映し出された、皺の部分の線状の画像領域である。

しかしながら、照明の影響等によって、皺領域が検出されなかったり、皺ではない部分が皺領域として検出されてしまうことがある。そこで、画像からの皺領域の検出（以下「皺検出」という）の精度を向上させる技術が、例えば特許文献１に記載されている。

特許文献１に記載の技術（以下「従来技術」という）は、いわゆるアンシャープマスキング技術を応用したものである。アンシャープマスキング技術では、画像と、当該画像を平滑化した画像であるアンシャープ画像との差分を示す差分画像を生成し、生成された差分画像を、基の画像と合成する。かかる処理により得られる画像は、基の画像のエッジが強調されたエッジ強調画像となる。従来技術は、２種類の範囲についての画素値の平均値を比較することにより、画像の各部の画素値の平坦性を判別し、判別された平坦性に応じて、上記合成を行う際の差分画像の影響の度合いを変化させる。

エッジ強調画像に対してエッジ検出フィルタを適用し、画像の各部分の勾配値を閾値と比較することにより、エッジが強い領域を検出することができる。ここで、勾配値とは、画像における画素値の変化の度合いを示す値である。したがって、肌を撮影した画像に従来技術を適用することにより、皺のない平坦な肌領域において、シミ等の皺以外の要素が皺領域として誤って検出されてしまう可能性を低減して、皺検出を行うことができる。

特開平１１−６６３００号公報 特開２０１１−８６４３号公報 特開２０１１−１１５４６０号公報 特開平６−７６０６２号公報

しかしながら、従来技術では、光が肌に当たることにより肌の表面に光沢が生じている場合、皺以外の要素が皺領域として検出されてしまうこと（以下「誤検出」という）が発生し得る。光沢に起因して肌に生じるコントラストの強さが、皺に起因して生じるコントラストの強さに近いレベルになることがあるためである。

そこで、勾配値の閾値を高く（厳しく）設定することが考えられる。ところが、閾値が高いほど、実際に存在する皺が検出されないこと（以下「検出漏れ」という）の可能性が高くなる。

したがって、肌に光沢が生じている場合であっても、誤検出および検出漏れの両方を低減して、高精度な皺検出を実現できることが望まれる。

本発明の目的は、肌に光沢が生じている場合であっても、高精度な皺検出を行うことができる皺検出装置および皺検出方法を提供することである。

本開示の皺検出装置は、画像に含まれる肌の皺領域を検出する皺検出装置であって、前記画像を取得する画像取得部と、取得された前記画像を平滑化してアンシャープ画像を生成し、生成された前記アンシャープ画像に基づいて、前記画像のエッジを強調した画像であるエッジ強調画像を生成する、エッジ強調処理を行うエッジ強調処理部と、生成された前記エッジ強調画像に対してエッジ検出処理を行うことにより、前記皺領域を検出する皺検出処理部と、を有し、前記エッジ強調処理は、前記画像における輝度が高い部分の影響を抑制して、前記エッジ強調画像を生成する処理である。

本開示の皺検出方法は、画像に含まれる肌の皺領域を検出する皺検出方法であって、前記画像を取得するステップと、取得された前記画像を平滑化してアンシャープ画像を生成し、生成された前記アンシャープ画像に基づいて、前記画像のエッジを強調した画像であるエッジ強調画像を生成する、エッジ強調処理を行うステップと、生成された前記エッジ強調画像に対してエッジ検出処理を行うことにより、前記皺領域を検出するステップと、を有し、前記エッジ強調処理は、前記画像における輝度が高い部分の影響を抑制して、前記エッジ強調画像を生成する処理である。

本開示によれば、肌に光沢が生じている場合であっても、高精度な皺検出を行うことができる。

本発明の実施の形態１に係る皺検出装置の構成の一例を示すブロック図 本発明の実施の形態２に係る皺検出装置の構成の一例を示すブロック図 本実施の形態２における肌状態検出部の構成の一例を示すブロック図 本実施の形態２に係る皺検出装置の動作の一例を示すフローチャート 従来のアンシャープマスキングによる皺検出の様子を示す図 本実施の形態２に係る皺検出装置による皺検出の様子を示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

＜皺検出装置の構成＞
まず、本実施の形態に係る皺検出装置の構成について説明する。

図１は、本実施の形態に係る皺検出装置の構成の一例を示すブロック図である。

図１において、皺検出装置１００は、画像に含まれる肌の皺領域を検出する装置であり、画像取得部１２０、エッジ強調処理部２２０、および皺検出処理部２３０を有する。

画像取得部１２０は、画像を取得する。

エッジ強調処理部２２０は、取得された画像を平滑化してアンシャープ画像を生成し、生成されたアンシャープ画像に基づいて、画像のエッジを強調した画像であるエッジ強調画像を生成する、エッジ強調処理を行う。但し、エッジ強調処理は、画像における輝度が高い部分の影響を抑制して、エッジ強調画像を生成する処理である。

皺検出処理部２３０は、生成されたエッジ強調画像に対してエッジ検出処理を行うことにより、皺領域を検出する。

皺検出装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、皺検出装置１００の上記各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような皺検出装置１００は、輝度が高い部分の影響を抑制することにより、肌の表面に生じる光沢（以下、単に「光沢」という）に起因して生じるコントラストを低減したエッジ強調画像を生成することができる。これにより、皺検出装置１００は、エッジ強調画像における、光沢に起因して生じるコントラストを、皺に起因して生じるコントラストに対して相対的に強めることができる。したがって、皺検出装置１００は、肌に光沢が生じている場合であっても、高精度な皺検出を行うことができる。

（実施の形態２）
本発明の実施の形態２は、本発明を、顔の肌の皺領域を検出してユーザに提示する装置に適用した場合の、具体的態様の一例である。

図２は、本実施の形態に係る皺検出装置１００の構成の一例を示すブロック図である。

図２において、皺検出装置１００は、撮影部１１０、画像取得部１２０、顔部品取得部１３０、肌状態検出部１４０、画像生成部１５０、および表示部１６０を有する。

撮影部１１０は、例えば、レンズおよびカラー撮像素子を含むスチルカメラであり、ユーザの顔の画像を撮影する。そして、撮影部１１０は、撮影された画像を、画像取得部１２０へ出力する。撮影部１１０の動作は、例えば、画像取得部１２０により制御される。

画像取得部１２０は、入力された画像を、輝度調整等の必要な画質処理を行って、顔部品取得部１３０および画像生成部１５０のそれぞれへ出力する。かかる画質処理としては、後述のエッジ強調処理およびエッジ検出処理の内容に適した処理が採用される。なお、以下の説明において、画像取得部１２０から出力される画像は、「撮影画像」という。

なお、撮影画像は、画像取得部１２０あるいは他の装置部において、左右方向に反転されてもよい。

顔部品取得部１３０は、撮影画像から、撮影画像における顔部品の位置を検出する。ここで、顔部品とは、目、鼻、頬等、顔を構成する各部であり、例えば、目頭等、顔の特徴点の位置によって定義することができる。顔部品取得部１３０は、例えば、パターンマッチング等の公知の画像特徴点検出手法を用いて、撮影画像から顔の特徴点を抽出することにより、顔部品の位置の検出を行う。そして、顔部品取得部１３０は、撮影画像と、検出された各顔部品の位置を示す顔部品位置情報とを、肌状態検出部１４０へ出力する。

肌状態検出部１４０は、撮影画像における皺領域を検出する。そして、肌状態検出部１４０は、検出した皺領域を示す皺領域情報を、画像生成部１５０へ出力する。

図３は、肌状態検出部１４０の構成の一例を示すブロック図である。

図３において、肌状態検出部１４０は、検出領域決定部２１０、エッジ強調処理部２２０、皺検出処理部２３０、およびシミ検出部２４０を有する。

検出領域決定部２１０は、顔部品取得部１３０から入力された顔部品位置情報に基づいて、皺検出の対象となる検出領域を決定する。例えば、検出領域決定部２１０は、両目および鼻の位置等から、左目の下瞼から左頬までの領域と、右目の下瞼から右頬までの領域とを、検出領域として決定する。かかる領域は、一般的に、皺ができやすい領域である。そして、検出領域決定部２１０は、撮影画像と、決定された検出領域を示す検出領域情報とを、エッジ強調処理部２２０およびシミ検出部２４０へ出力する。

なお、検出領域決定部２１０は、睫毛、髪の毛、眼鏡の縁等が占める領域を、画像領域から除外することが望ましい。例えば、睫毛領域の除去は、特許文献２あるいは特許文献３に記載の技術等、公知の画像処理技術を用いることにより、行うことができる。

エッジ強調処理部２２０は、撮影画像を平滑化して、アンシャープ画像を生成する。エッジ強調処理部２２０は、生成されたアンシャープ画像に基づいて、撮影画像のエッジを強調した画像であるエッジ強調画像を生成する、エッジ強調処理を行う。但し、エッジ強調処理は、撮影画像における輝度が高い部分の影響を抑制して、エッジ強調画像を生成する処理である。エッジ強調処理部２２０は、グレースケール算出部２２１、平滑化処理部２２２、最小値算出部２２３、および差分算出部２２４を有する。

グレースケール算出部２２１は、入力された撮影画像（例えば、図６の撮影画像３０１）に対して、公知のグレースケール変換処理を行うことにより、色情報を含まないグレースケール画像（例えば、図６のグレースケール画像３０２）を生成する。グレースケール画像は、つまり、撮影画像の各画素の輝度のみを画素値として含む画像である。そして、グレースケール算出部２２１は、撮影画像と、検出領域情報と、生成されたグレースケール画像とを、平滑化処理部２２２へ出力する。

平滑化処理部２２２は、入力されたグレースケール画像に対して、移動平均フィルタやガウシアンフィルタ等を用いた公知の平滑化処理を行うことにより、エッジが不鮮明なアンシャープ画像（例えば、図６のアンシャープ画像３０３）を生成する。そして、平滑化処理部２２２は、グレースケール画像と、検出領域情報と、生成されたアンシャープ画像とを、最小値算出部２２３へ出力する。

なお、平滑化処理部２２２は、特許文献４に開示されているように、ガウシアンフィルタの平滑化の強度（平滑化強度）を異ならせて２つのアンシャープ画像を生成してもよい。そして、平滑化処理部２２２は、生成した２つの平滑化画像を、上記のグレースケール画像とアンシャープ画像の代わりに最小値算出部２２３に出力するようにしてもよい。アンシャープ画像は、グレースケール画像の細かなノイズ成分が平滑化されたものである。したがって、この場合、後述するエッジ強調処理の結果が良好になる。

最小値算出部２２３は、入力されたグレースケール画像および入力されたアンシャープ画像を、これらの画像における輝度が高い部分の影響を抑制した状態で合成して、高輝度抑制画像（例えば、図６の高輝度抑制画像３１０ａ）を生成する。

より具体的には、最小値算出部２２３は、グレースケール画像の各画素の輝度と、アンシャープ画像における対応する画素の輝度と、のうち、輝度が最小値となる画素の画素値を、高輝度抑制画像の対応する画素の画素値（輝度値）とする。なお、最小値算出部２２３は、少なくとも、入力された検出領域情報が示す検出領域の各画素に対応して、高輝度抑制画像の画素値を決定する。そして、最小値算出部２２３は、グレースケール画像と、アンシャープ画像と、検出領域情報と、生成された高輝度抑制画像とを、差分算出部２２４へ出力する。

なお、上述の２つのアンシャープ画像が入力される場合、最小値算出部２２３は、これらの２つのアンシャープ画像において対応する画素間で最小の輝度となる画素の画素値を、高輝度抑制画像の対応する画素の画素値とする。

差分算出部２２４は、入力された高輝度抑制画像と入力されたアンシャープ画像との間の差分を示す差分画像（例えば、図６の差分画像３１１ａ）を生成する。すなわち、差分算出部２２４は、高輝度抑制画像の各画素の輝度値から、アンシャープ画像における対応する画素の輝度値を差し引いた値を、差分画像における対応する画素の輝度値とする。更に、差分算出部２２４は、入力されたグレースケール画像と、生成された差分画像とを合成して、エッジ強調画像（例えば、図６のエッジ強調画像３１２ａ）を生成する。そして、差分算出部２２４は、検出領域情報と、生成されたエッジ強調画像とを、皺検出処理部２３０へ出力する。

なお、上述の２つのアンシャープ画像から高輝度抑制画像が生成される場合、差分算出部２２４は、高輝度抑制画像と平滑化の強度の高いアンシャープ画像との間の差分を示す差分画像を生成する。そして、差分算出部２２４は、入力されたグレースケール画像と、この差分画像とを合成して、エッジ強調画像を生成する。

また、最小値算出部２２３および差分算出部２２４は、必ずしも、高輝度抑制画像および差分画像を生成しなくてもよい。すなわち、最小値算出部２２３および差分算出部２２４は、上記した輝度が最小値となる画素の画素値と、アンシャープ画像の画素の画素値と、の間の差分を算出し、算出された差分とグレースケール画像の画素の画素値とを合成した値を算出すればよい。そして、最小値算出部２２３および差分算出部２２４は、算出された値を、基の撮影画像の画素の位置と対応付けて、皺検出処理部２３０へ出力すればよい。

皺検出処理部２３０は、例えば、ガボールフィルタ、ラプラシアンフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ等を用いた公知のエッジ検出処理により、エッジ強調画像の各部分の勾配値を算出する。そして、皺検出処理部２３０は、算出した勾配値を、所定の閾値と比較することにより、グレースケール画像から（つまり、撮影画像から）皺領域を検出する。ここで、勾配値とは、画像における画素値の変化の度合いを示す値であり、より強いエッジ部分においてより高くなる値である。

すなわち、皺検出処理部２３０は、公知のエッジ検出処理を行う。画素値の変化の度合いが高いほど勾配値が高くなる場合、勾配値が閾値以上となる領域が、皺領域として検出される。なお、皺検出処理部２３０は、少なくとも、入力された検出領域情報が示す検出領域について、皺領域の検出を行う。

なお、所定の閾値は、固定値でもよいし、検出される皺領域の量やユーザ指定の値に応じて変化する値であってもよい。そして、皺検出処理部２３０は、検出した皺領域を示す皺領域情報を、画像生成部１５０（図２参照）へ出力する。

シミ検出部２４０は、入力された撮影画像から、撮影画像に含まれる肌のシミ領域を検出する。例えば、シミ検出部２４０は、撮影画像のうち、少なくとも、入力された領域位置情報が示す各領域に対して、ＲＧＢの各チャネルの信号を用いて、値が閾値以下である画素を抽出する処理を行うことにより、かかるシミ領域検出を行う。そして、シミ検出部２４０は、検出されたシミ領域を示すシミ領域情報を、画像生成部１５０へ出力する。

図２の画像生成部１５０は、入力された皺領域情報に基づいて、撮影画像における皺領域を示す皺画像を生成し、生成された皺画像を撮影画像に重畳した皺強調画像（例えば、図６の皺強調画像３１３ａ）を生成する。皺画像は、例えば、皺領域を所定の色で塗り潰した、皺の線の位置を示す画像である。そして、画像生成部１５０は、生成された皺強調画像を、表示部１６０へ出力する。

なお、画像生成部１５０は、皺領域情報が示す複数の皺領域の一部のみを、皺画像の生成の対象としてもよい。例えば、画像生成部１５０は、連続する領域の面積が大きいものから順に、皺領域情報が示す全皺領域の面積の１０％の範囲内に入る皺領域のみを、皺画像の生成の対象としてもよい。また、皺強調画像は、画像生成部１５０あるいは後段の表示部１６０において、左右方向に反転されてもよい。また、画像生成部１５０は、シミ領域情報に基づいて、撮影画像におけるシミ領域を示すシミ画像を生成し、生成された皺画像を皺強調画像に含めてもよい。

表示部１６０は、例えばタッチパネル付き液晶ディスプレイを含み、入力された皺強調画像を表示する。

また、皺検出装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、皺検出装置１００の上記各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような構成を有する皺検出装置１００は、輝度が高い部分の影響を抑制してエッジ強調画像を生成し、かかるエッジ強調画像を用いて皺検出を行うことができる。

＜皺検出装置の動作＞
次に、皺検出装置１００の動作について説明する。

図４は、皺検出装置１００の動作の一例を示すフローチャートである。

ステップＳ１１００において、画像取得部１２０は、撮影部１１０を用いて、ユーザの顔の撮影画像を取得する。

ステップＳ１２００において、顔部品取得部１３０は、撮影画像から、各顔部品の位置を検出する。

ステップＳ１３００において、検出領域決定部２１０は、顔部品の位置に基づいて、検出領域を決定する。検出領域は、上述の通り、例えば、左目の下瞼から左頬までの領域と、右目の下瞼から右頬までの領域である。

ステップＳ１４００において、グレースケール算出部２２１は、撮影画像からグレースケール画像を生成する。

ステップＳ１５００において、平滑化処理部２２２は、グレースケール画像からアンシャープ画像（平滑化画像）を生成する。

なお、平滑化処理部２２２は、上述の２つのアンシャープ画像を生成してもよい。

ステップＳ１６００において、最小値算出部２２３は、グレースケール画像の画素の輝度と、アンシャープ画像の対応する画素の輝度とから、最小値を選択して、高輝度抑制画像を生成する。

なお、ステップ１５００において２つのアンシャープ画像が生成された場合、最小値算出部２２３は、２つのアンシャープ画像の対応する画素の輝度のうち、最小の値を選択して高輝度抑制画像の対応する画素の輝度値とする。

ステップＳ１７００において、差分算出部２２４は、高輝度抑制画像とグレースケール画像との差分画像を生成し、更に差分画像とグレースケール画像とを合成して、エッジ強調画像を生成する。

なお、ステップ１５００において２つのアンシャープ画像が生成された場合、差分算出部２２４は高輝度抑制画像と、２つのアンシャープ画像のうち平滑化の強度の高い方のアンシャープ画像との間で差分画像を生成し、この差分画像とグレースケール画像とを合成して、エッジ強調画像を生成する。

ステップＳ１８００において、皺検出処理部２３０は、エッジ強調画像に対するエッジ検出処理、および、各部分の勾配値の閾値との比較により、基の撮影画像における皺領域を判定する。また、シミ検出部２４０は、シミ領域を検出する。

そして、ステップＳ１９００において、画像生成部１５０は、皺強調画像を生成し、表示部１６０を用いて、皺強調画像を表示する。

以上のような動作により、皺検出装置１００は、グレースケール画像における輝度が高い部分の影響を抑制して、エッジ強調画像を生成し、かかるエッジ強調画像を用いて皺領域を検出し、検出結果をユーザに提示することができる。

＜従来のアンシャープマスキングとの比較＞
ここで、本実施の形態に係る皺検出装置１００による皺検出と、従来のアンシャープマスキングによる皺検出との差異を、実験結果を参照して説明する。

図５は、実験における、従来のアンシャープマスキングによる皺検出の様子を示す図である。また、図６は、実験における、皺検出装置１００による皺検出の様子を示す図である。

また、図５および図６に示すように、従来のアンシャープマスキングおよび皺検出装置１００のいずれにおいても、撮影画像３０１から、グレースケール画像３０２およびアンシャープ画像３０３が生成される。

従来のアンシャープマスキングでは、グレースケール画像３０２とアンシャープ画像３０３との間の輝度の差分を表す差分画像３１１が、生成される。差分画像３１１の各部の画素値Ｄは、グレースケール画像３０２の輝度値を記号Ｂ、アンシャープ画像３０３の輝度値を記号Ｃで表すと、例えば、以下の式（１）で表される。
Ｄ ＝ Ｂ−Ｃ ・・・（１）

そして、従来のアンシャープマスキングでは、グレースケール画像３０２と差分画像３１１とが合成されて、エッジ強調画像３１２が生成される。エッジ強調画像３１２の各部の輝度値Ｅは、例えば、以下の式（２）で表される。ここで、ｋは、合成の際の重み付けに相当する係数である。
Ｅ ＝ Ｂ＋ｋＤ ・・・（２）

従来のアンシャープマスキングにおける差分画像３１１は、グレースケール画像３０２の輝度の影響をそのまま受ける。例えば、差分画像３１１のうち、グレースケール画像３０２で肌の光沢に起因するコントラストが生じていた領域に対応する領域３２１は、高い値（図中、白色で示す）となる。

その結果、エッジ強調画像３１２には、肌の光沢に起因する強いエッジが残ることになり、これらに起因する誤検出を防ぐためには、勾配値の閾値を高く設定する必要がある。しかしながら、この場合、検出漏れが生じ易くなり、皺強調画像３１３において表示される皺領域３２２の量は少なくなる。

一方、本実施の形態に係る皺検出装置１００では、グレースケール画像３０２の輝度と、アンシャープ画像３０３の輝度と間の最小値を、高輝度抑制画像３１０ａの画素値として算出する。高輝度抑制画像３１０ａの各部の画素値Ｘａは、例えば、以下の式（３）で表される。
Ｘａ ＝ ｍｉｎ{Ｂ,Ｃ} ・・・（３）

高輝度の部分と低輝度の部分とが細かく入り混じった領域（以下「コントラスト領域」という）における高輝度の部分は、平滑化により、より低い輝度に変換される。したがって、このような高輝度の部分については、アンシャープ画像３０３の画素値が用いられる。一方、コントラスト領域における低輝度の部分は、平滑化により、より高い輝度に変換される。したがって、このような低輝度の部分については、グレースケール画像３０２の画素値が用いられる。

そして、皺検出装置１００では、高輝度抑制画像３１０ａとアンシャープ画像３０３との間の輝度の差分を表す差分画像３１１ａが、生成される。差分画像３１１ａの各部の画素値Ｄａは、例えば、以下の式（４）で表される。
Ｄａ ＝ Ｘａ−Ｃ ・・・（４）

上述の通り、高輝度抑制画像３１０ａでは、高輝度の部分にアンシャープ画像３０３の画素値が用いられ、低輝度の部分にグレースケール画像３０２の画素値が用いられる。したがって、差分画像３１１ａの各画素の画素値は、高輝度の部分においてゼロとなり、低輝度の部分においてグレースケール画像３０２とアンシャープ画像３０３との差分となる。つまり、本実施の形態の差分画像３１１ａの各画素の画素値は、低輝度の部分については、従来の差分画像３１１と同様となり、高輝度の部分については、エッジが全くない場合と同様となる。

したがって、例えば、差分画像３１１ａのうち、グレースケール画像３０２で肌の光沢に起因するコントラストが生じていた領域に対応する領域３２１ａの画素値は、従来の差分画像３１１（図５参照）に比べて、より低い値（図中、白色で示す）となる。

そして、皺検出装置１００では、グレースケール画像３０２と差分画像３１１ａとが合成されて、エッジ強調画像３１２ａが生成される。エッジ強調画像３１２ａの各部の輝度値Ｅａは、例えば、以下の式（５）で表される。
Ｅａ ＝ Ｂ＋ｋＤａ ・・・（５）

なお、図６に示すエッジ強調画像３１２ａでは、図５に示す従来のエッジ強調画像３１２に比べて、グレースケール画像３０２における皺に相当する低輝度の部分が、より強調されている。これは、差分画像３１１ａに対して、値が大きい方から上位１０％程度の画素に対して、値の強調を行ったためである。この処理は、例えば、差分算出部２２４において行われる。

図５に示す従来のエッジ強調画像３１２では、差分画像３１１において、グレースケール画像３０２で肌の光沢に起因するコントラストが生じていた領域に対応する画素値が大きいため、光沢部分のコントラストが強調されてしまっている。これに対し、上記処理が行われたエッジ強調画像３１２ａでは、差分画像３１１ａのうち、グレースケール画像３０２で皺に相当する低輝度の画素が主に強調され、皺領域のコントラストが強調されることになる。

その結果、エッジ強調画像３１２には、肌の光沢に起因する強いエッジがほとんど含まれなくなり、勾配値の閾値を高く設定する必要がなくなる。したがって、皺強調画像３１３ａにおいて表示される皺領域３２２ａの量は、従来のアンシャープマスキングによる皺強調画像３１３において表示される皺領域３２２（図５参照）に比べて多くなる。

このように、本実施の形態に係る皺検出装置１００が、従来のアンシャープマスキングに比べて、光沢に起因する誤検出を防ぎつつ、検出漏れを低減するものであることが、かかる実験によっても確認することができた。

＜本実施の形態の効果＞
以上説明したように、本実施の形態に係る皺検出装置１００は、輝度が高い部分の影響を抑制することにより、光沢に起因して生じるコントラストを低減したエッジ強調画像を生成することができる。

これにより、皺検出装置１００は、エッジ強調画像における、光沢に起因して生じるコントラストを、皺に起因して生じるコントラストに対して相対的に強めることができる。したがって、皺検出装置１００は、肌に光沢が生じている場合であっても、高精度な皺検出を行うことができる。すなわち、人が肉眼で肌の皺の有無を認識するときと同様の基準で、皺を検出することが可能となる。

また、本実施の形態に係る皺検出装置１００は、肌に光沢が生じている場合であっても、高精度な皺検出を行うことができるので、例えば、フラッシュを焚いて撮影した画像からであっても、高精度な皺検出を行うことができる。

＜高輝度部分の影響を抑制する他の手法＞
なお、画像における輝度が高い部分の影響を抑制して、エッジ強調画像を生成する手法は、上述の例に限定されない。

例えば、平滑化処理部２２２は、グレースケール画像のうち、肌の光沢がより強い画像領域に対して、より低い強度で平滑化（正規化）を行って、アンシャープ画像を生成してもよい。

この場合、差分算出部２２４は、このアンシャープ画像を用いて、従来のアンシャープマスキングと同様の処理をしてもよい。すなわち、差分算出部２２４は、グレースケール画像の画素の画素値とアンシャープ画像の対応する画素の画素値との間の差分と、グレースケール画像の画素の画素値とを合成した値を、エッジ強調画像の対応する画素の画素値とする。

より低い強度で平滑化を行った部分では、例えば、グレースケール画像とアンシャープ画像との輝度の差分がより小さくなる。したがって、上述の処理により、輝度の高い領域では、エッジを弱めることができ、誤って皺として検出される危険を低くすることができる。したがって、このような構成によっても、光沢の影響を抑制して高精度な皺検出を行うことができる。なお、この場合、皺検出装置１００は、最小値算出部２２３を備える必要がない。

なお、上述の２つのアンシャープ画像が生成される場合、平滑化処理部２２２は、平滑化の強度の低いアンシャープ画像のうち、肌の光沢がより強い画像領域に対して、より低い強度で平滑化（正規化）を行って当該アンシャープ画像を生成してもよい。そして、差分算出部２２４は、これら２つのアンシャープ画像の対応する画素の画素値との差分と、グレースケール画像の画素の画素値とを合成した値を、エッジ強調画像の対応する画素の画素値としてもよい。

また、上述のように平滑化の強度を適応的に変化させる場合、皺検出装置１００は、肌における光沢の強さの分布（以下「光沢分布」という）に関する情報を取得する、光沢情報取得部を備える必要がある。但し、光沢分布に関する情報の内容、かかる情報の取得の仕方、およびかかる情報からの光沢分布の取得の仕方としては、様々なものが挙げられる。

光沢分布を示す情報としては、例えば、顔部品の位置、肌の３次元形状、肌に対する光源の位置、ユーザにより指定された領域、画像と肌の直交偏光画像との差分、肌の油分量の分布、および前記肌の水分量の分布が挙げられる。

例えば、顔の肌を照らす光源は、通常、顔の上方に位置する。このため、頬や額等の凸となっている顔部分は、他の顔部分に比べて、光沢が強くなり易い。

そこで、エッジ強調処理部２２０は、例えば、顔部品の位置に基づいて、このような凸となっている顔領域を、肌の光沢がより強い画像領域として決定する。この場合、エッジ強調処理部２２０は、顔の複数の特徴点と、凸となっている顔領域との位置関係を定義した領域テーブルを、予め格納し、かかる領域テーブルを参照して、肌の光沢がより強い画像領域を推定する。

また、皺検出装置１００が、撮影画像から肌の３次元形状を取得する３次元形状取得部を有している場合、エッジ強調処理部２２０は、取得された３次元形状に基づいて光沢分布を推定してもよい。あるいは、エッジ強調処理部２２０は、一般的な顔の３次元形状モデルを予め格納し、かかるモデルに基づいて光沢分布を推定してもよい。例えば、エッジ強調処理部２２０は、鼻先や頬等の凸形状の部分については、光沢の強さのレベルが他の部分よりも高いと推定する。

また、皺検出装置１００が、肌に対する光源の位置を示す光源情報を取得する光源情報取得部を有している場合、検出領域決定部２１０は、取得された光源情報に基づいて光沢分布を推定してもよい。例えば、検出領域決定部２１０は、光源が顔の上側にある場合、額や頬の上部等の、肌面が上に向いている部分については、光沢の強さのレベルが他の部分よりも高いと推定する。

また、肌を通常の光で照らした状態で撮影したときの通常画像と、肌を偏光で照らした状態で、直交偏光フィルタを用いて撮影したときの画像（直交偏光画像）との差分は、光沢が強い部分ほど大きくなる。

そこで、光沢情報取得部は、例えば、通常画像と直交偏光画像との両方を取得する照明装置および撮影装置を備え、取得した通常画像と直交偏光画像との差分を算出してもよい。この場合、エッジ強調処理部２２０は、算出された差分がより大きい部分を、肌の光沢がより強い画像領域として決定する。

また、例えば、肌の油分量や水分量がより高い部分では、肌の光沢が強くなり易い。また、通常、額や鼻は、肌の油分量や水分量が他の部分に比べて高い。

そこで、エッジ強調処理部２２０は、例えば、顔部品の位置に基づいて、このような肌の油分量や水分量が高い顔領域を、肌の光沢がより強い画像領域として決定する。この場合、エッジ強調処理部２２０は、顔の複数の特徴点と、肌の油分量や水分量が高い顔領域との位置関係を定義した領域テーブルを、予め格納し、かかる領域テーブルを参照して、肌の光沢がより強い画像領域を推定する。

また、検出領域決定部２１０は、撮影画像をタッチパネル付きディスプレイに表示し、ユーザから、肌の光沢がより強い部分を指定する操作を受け付けてもよい。

また、上記皺検出装置において、エッジ強調処理部２２０は、撮影画像、アンシャープ画像、グレースケール画像、および差分画像、のうち少なくとも１つに対して、輝度値が所定の閾値を超える画素の輝度値を閾値の値に修正する処理を行ってもよい。

この場合、差分算出部２２４は、従来のアンシャープマスキングと同様の処理をする。すなわち、差分算出部２２４は、グレースケール画像の画素の画素値とアンシャープ画像の対応する画素の画素値との間の差分と、グレースケール画像の画素の画素値とを合成した値を、エッジ強調画像の対応する画素の画素値とする。あるいは、上述の２つのアンシャープ画像が生成される場合、差分算出部２２４は、これら２つのアンシャープ画像の対応する画素の画素値の差分と、グレースケール画像の画素の画素値とを合成した値を、エッジ強調画像の対応する画素の画素値とする。

撮影画像、アンシャープ画像、グレースケール画像、あるいは差分画像の輝度値を修正する上記処理は、言い換えると、輝度が高い領域について、エッジ強調画像に影響する値に対するクリッピングを行う処理である。したがって、このような構成によっても、光沢の影響を抑制して高精度な皺検出を行うことができる。なお、この場合、皺検出装置１００は、最小値算出部２２３を備える必要がない。

＜本実施の形態の他の変形例＞
また、皺検出装置１００は、光沢が強い領域を検出するために、上述のエッジ強調処理において、画像における輝度が低い部分の影響を抑制して、エッジ強調画像を生成してもよい。

この場合、エッジ強調処理部２２０は、グレースケール画像の画素およびアンシャープ画像の対応する画素のうち輝度が最大値となる画素の画素値と、アンシャープ画像の画素の画素値と、の間の差分を算出する。そして、エッジ強調処理部２２０は、算出された差分とグレースケール画像の画素の画素値とを合成した値を、エッジ強調画像の対応する画素の画素値とする。

この場合、エッジ強調画像の各部の画素値Ｙａは、例えば、以下の式（６）で表される。
Ｙａ ＝ ｍａｘ{Ｂ,Ｃ} ・・・（６）

また、以上説明した実施の形態では、検出対象を肌の皺としたが、検出対象は、壁の傷、金属材料の表面のクラック、布の皺等、線状の溝の形状を有する他の状態であってもよい。

＜本開示のまとめ＞
本開示の皺検出装置は、画像に含まれる肌の皺領域を検出する皺検出装置であって、前記画像を取得する画像取得部と、取得された前記画像を平滑化してアンシャープ画像を生成し、生成された前記アンシャープ画像に基づいて、前記画像のエッジを強調した画像であるエッジ強調画像を生成する、エッジ強調処理を行うエッジ強調処理部と、生成された前記エッジ強調画像に対してエッジ検出処理を行うことにより、前記皺領域を検出する皺検出処理部と、を有し、前記エッジ強調処理は、前記画像における輝度が高い部分の影響を抑制して、前記エッジ強調画像を生成する処理である。

なお、上記皺検出装置において、前記エッジ強調処理は、前記画像の画素および前記アンシャープ画像の対応する画素のうち輝度が最小値となる画素の画素値と、前記アンシャープ画像の前記画素の画素値と、の間の差分を算出し、算出された前記差分と前記画像の前記画素の画素値とを合成した値を、前記エッジ強調画像の対応する画素の画素値とする処理を含んでもよい。

また、上記皺検出装置において、前記エッジ強調処理は、前記画像を異なる平滑化強度で平滑化した２つの前記アンシャープ画像を生成し、前記２つのアンシャープ画像の対応する画素のうち輝度が最小値となる画素の画素値と、前記２つのアンシャープ画像のうち前記平滑化強度が高い方の前記アンシャープ画像の対応する画素の画素値と、の間の差分を算出し、算出された前記差分と前記画像の前記画素の画素値とを合成した値を、前記エッジ強調画像の対応する画素の画素値とする処理を含んでもよい。

また、上記皺検出装置において、前記エッジ強調処理は、前記画像のうち、前記肌の光沢がより強い画像領域に対して、より低い強度で平滑化を行い、前記画像の画素の画素値と前記アンシャープ画像の対応する画素の画素値との間の差分を算出し、算出された前記差分と前記画像の前記画素の画素値とを合成した値を、前記エッジ強調画像の対応する画素の画素値とする処理を含んでもよい。

また、上記皺検出装置において、前記エッジ強調処理は、前記画像を異なる平滑化強度で平滑化した２つの前記アンシャープ画像を生成し、前記２つのアンシャープ画像のうち平滑化強度の低いアンシャープ画像の光沢がより強い画像領域に対して、より低い強度で平滑化を行い、前記２つのアンシャープ画像の対応する画素の画素値との間の差分を算出し、算出された前記差分と前記画像の前記画素の画素値とを合成した値を、前記エッジ強調画像の対応する画素の画素値とする処理を含んでもよい。

また、上記皺検出装置は、前記肌における光沢の強さの分布に関する情報を取得する光沢情報取得部、を有し、前記エッジ強調処理部は、取得された前記情報に基づいて、前記肌の光沢がより強い画像領域を決定し、前記画像のうち、前記肌の光沢がより強い画像領域に対して、より低い強度で平滑化を行い、前記情報は、顔部品の位置、前記肌の３次元形状、前記肌に対する光源の位置、ユーザにより指定された領域、前記画像と前記肌の直交偏光画像との差分、前記肌の油分量の分布、および前記肌の水分量の分布、のうち少なくとも１つを示す情報であってもよい。

また、上記皺検出装置において、前記エッジ強調処理は、前記画像と前記アンシャープ画像との間の差分を示す差分画像を生成し、前記画像と生成された前記差分画像とを合成して前記エッジ強調画像を生成する処理を含み、前記画像、前記アンシャープ画像、および前記差分画像のうち少なくとも１つに対して、輝度値が所定の閾値を超える画素の輝度値を前記閾値の値に修正してもよい。

また、上記皺検出装置において、前記エッジ強調処理は、前記画像を異なる平滑化強度で平滑化した２つの前記アンシャープ画像を生成し、前記２つのアンシャープ画像の間の差分を示す差分画像を生成し、前記画像と生成された前記差分画像とを合成して前記エッジ強調画像を生成する処理を含み、前記画像、前記２つのアンシャープ画像、および前記差分画像のうち少なくとも１つに対して、輝度値が所定の閾値を超える画素の輝度値を前記閾値の値に修正してもよい。

また、上記皺検出装置は、前記画像における前記皺領域を示す皺画像を生成し、生成された前記皺画像を前記画像に重畳した皺強調画像を生成する画像生成部と、前記皺強調画像を表示する表示部と、を有してもよい。

本開示の皺検出方法は、画像に含まれる肌の皺領域を検出する皺検出方法であって、前記画像を取得するステップと、取得された前記画像を平滑化してアンシャープ画像を生成し、生成された前記アンシャープ画像に基づいて、前記画像のエッジを強調した画像であるエッジ強調画像を生成する、エッジ強調処理を行うステップと、生成された前記エッジ強調画像に対してエッジ検出処理を行うことにより、前記皺領域を検出するステップと、を有し、前記エッジ強調処理は、前記画像における輝度が高い部分の影響を抑制して、前記エッジ強調画像を生成する処理である。

本発明は、肌に光沢が生じている場合であっても、高精度な皺検出を行うことができる皺検出装置および皺検出方法として有用である。

１００ 皺検出装置
１１０ 撮影部
１２０ 画像取得部
１３０ 顔部品取得部
１４０ 肌状態検出部
１５０ 画像生成部
１６０ 表示部
２１０ 検出領域決定部
２２０ エッジ強調処理部
２２１ グレースケール算出部
２２２ 平滑化処理部
２２３ 最小値算出部
２２４ 差分算出部
２３０ 皺検出処理部
２４０ シミ検出部

Claims (10)

1. 画像に含まれる肌の皺領域を検出する皺検出装置であって、
   前記画像を取得する画像取得部と、
   取得された前記画像を平滑化してアンシャープ画像を生成し、生成された前記アンシャープ画像に基づいて、前記画像のエッジを強調した画像であるエッジ強調画像を生成する、エッジ強調処理を行うエッジ強調処理部と、
   生成された前記エッジ強調画像に対してエッジ検出処理を行うことにより、前記皺領域を検出する皺検出処理部と、を有し、
   前記エッジ強調処理は、
   前記画像における輝度が高い部分の影響を抑制して、前記エッジ強調画像を生成する処理である、
   皺検出装置。
2. 前記エッジ強調処理は、
   前記画像の画素および前記アンシャープ画像の対応する画素のうち輝度が最小値となる画素の画素値と、前記アンシャープ画像の前記画素の画素値と、の間の差分を算出し、算出された前記差分と前記画像の前記画素の画素値とを合成した値を、前記エッジ強調画像の対応する画素の画素値とする処理を含む、
   請求項１に記載の皺検出装置。
3. 前記エッジ強調処理は、
   前記画像を異なる平滑化強度で平滑化した２つの前記アンシャープ画像を生成し、前記２つのアンシャープ画像の対応する画素のうち輝度が最小値となる画素の画素値と、前記２つのアンシャープ画像のうち前記平滑化強度が高い方の前記アンシャープ画像の対応する画素の画素値と、の間の差分を算出し、算出された前記差分と前記画像の前記画素の画素値とを合成した値を、前記エッジ強調画像の対応する画素の画素値とする処理を含む、
   請求項１に記載の皺検出装置。
4. 前記エッジ強調処理は、
   前記画像のうち、前記肌の光沢がより強い画像領域に対して、より低い強度で平滑化を行い、前記画像の画素の画素値と前記アンシャープ画像の対応する画素の画素値との間の差分を算出し、算出された前記差分と前記画像の前記画素の画素値とを合成した値を、前記エッジ強調画像の対応する画素の画素値とする処理を含む、
   請求項１に記載の皺検出装置。
5. 前記エッジ強調処理は、
   前記画像を異なる平滑化強度で平滑化した２つの前記アンシャープ画像を生成し、前記２つのアンシャープ画像のうち平滑化強度の低いアンシャープ画像の光沢がより強い画像領域に対して、より低い強度で平滑化を行い、前記２つのアンシャープ画像の対応する画素の画素値との間の差分を算出し、算出された前記差分と前記画像の前記画素の画素値とを合成した値を、前記エッジ強調画像の対応する画素の画素値とする処理を含む、
   請求項１に記載の皺検出装置。
6. 前記肌における光沢の強さの分布に関する情報を取得する光沢情報取得部、を有し、
   前記エッジ強調処理部は、
   取得された前記情報に基づいて、前記肌の光沢がより強い画像領域を決定し、前記画像のうち、前記肌の光沢がより強い画像領域に対して、より低い強度で平滑化を行い、
   前記情報は、顔部品の位置、前記肌の３次元形状、前記肌に対する光源の位置、ユーザにより指定された領域、前記画像と前記肌の直交偏光画像との差分、前記肌の油分量の分布、および前記肌の水分量の分布、のうち少なくとも１つを示す情報である、
   請求項１に記載の皺検出装置。
7. 前記エッジ強調処理は、
   前記画像と前記アンシャープ画像との間の差分を示す差分画像を生成し、前記画像と生成された前記差分画像とを合成して前記エッジ強調画像を生成する処理を含み、前記画像、前記アンシャープ画像、および前記差分画像のうち少なくとも１つに対して、輝度値が所定の閾値を超える画素の輝度値を前記閾値の値に修正する、
   請求項１に記載の皺検出装置。
8. 前記エッジ強調処理は、
   前記画像を異なる平滑化強度で平滑化した２つの前記アンシャープ画像を生成し、前記２つのアンシャープ画像の間の差分を示す差分画像を生成し、前記画像と生成された前記差分画像とを合成して前記エッジ強調画像を生成する処理を含み、前記画像、前記２つのアンシャープ画像、および前記差分画像のうち少なくとも１つに対して、輝度値が所定の閾値を超える画素の輝度値を前記閾値の値に修正する、
   請求項１に記載の皺検出装置。
9. 前記画像における前記皺領域を示す皺画像を生成し、生成された前記皺画像を前記画像に重畳した皺強調画像を生成する画像生成部と、
   前記皺強調画像を表示する表示部と、を有する、
   請求項１に記載の皺検出装置。
10. 画像に含まれる肌の皺領域を検出する皺検出方法であって、
    前記画像を取得するステップと、
    取得された前記画像を平滑化してアンシャープ画像を生成し、生成された前記アンシャープ画像に基づいて、前記画像のエッジを強調した画像であるエッジ強調画像を生成する、エッジ強調処理を行うステップと、
    生成された前記エッジ強調画像に対してエッジ検出処理を行うことにより、前記皺領域を検出するステップと、を有し、
    前記エッジ強調処理は、
    前記画像における輝度が高い部分の影響を抑制して、前記エッジ強調画像を生成する処理である、
    皺検出方法。