JP2013188341A - 画像処理装置と画像処理方法およびプログラム - Google Patents

Abstract

【課題】肌画像から肌のキメ構造を考慮して体毛の除去を行う。
【解決手段】体毛検出部２０は、肌を含む処理対象画像の色変換を行い、色変換後の処理対象画像から生成した色分布情報に基づき体毛画素と肌画素を区分する第１閾値を決定して色変換画像と比較し、体毛に相当する体毛領域を検出する。体毛除去部３０のキメ構造推定部は、皮丘画素と皮溝画素を区分する第２閾値を決定し、体毛領域の注目画素を基準とした判定領域内における肌画素が皮丘画素と皮溝画素のいずれであるか第２閾値を用いて判定を行い肌のキメの構造を推定する。キメ構造推定部は、判定領域内における皮丘画素と皮溝画素の割合に応じて、注目画素が皮丘画素と皮溝画素のいずれであるか推定する。体毛除去部３０の補間部は、検出された体毛領域を推定したキメの構造に応じて補間する。
【選択図】 図１

Description

この技術は、画像処理装置と画像処理方法およびプログラムに関し、肌を含む処理対象画像から肌のキメ構造を考慮して体毛を除去する。

従来、肌画像から体毛領域を検出することが行われている。例えば、特許文献１では、濃淡画像の最頻値を閾値として最頻値以上は肌、最頻値未満は体毛と判定している。

特開２０１０−８２２４５号公報

ところで、人の肌や体毛の色は人種によって大きく変わる。したがって、濃淡画像の最頻値を閾値として体毛の判定を行う場合、濃淡画像の作り方によっては体毛の検出がうまくいかないことが想定される。また、肌のキメの解析等を行う場合、肌画像に体毛が含まれていないことが望ましい。しかし、体毛検出を行い肌画像から体毛を除去すると、体毛部分でキメの状態が示されていない画像となってしまう。

そこで、この技術では、肌を含む処理対象画像から肌のキメ構造を考慮して体毛の除去を行うことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、肌を含む処理対象画像から体毛に相当する体毛領域を検出する体毛検出部と、前記処理対象画像における肌のキメの構造を推定するキメ構造推定部と、前記体毛検出部で検出した体毛領域を、前記キメ構造推定部で推定されたキメの構造に基づいて補間する補間部とを備える画像処理装置にある。

この技術においては、肌を含む処理対象画像から体毛に相当する体毛領域を体毛検出部で検出する。体毛検出部は、例えば体毛領域と他の領域との色分離が容易な色変換係数を決定して、この色変換係数を用いて処理対象画像の色変換を行い、色変換後の処理対象画像から色分布情報を生成する。色変換係数は、体毛領域の検出における誤りの少ない係数を用いる。体毛検出部は、色分布情報に基づき体毛画素と肌画素を区分するための第１閾値を決定して、色変換後の処理対処画像の各画素値を第１閾値と比較して体毛領域の検出を行い、体毛分布情報を生成する。色変換係数と第１閾値は、例えば名種毎に決定する。また、検出された体毛領域に対しては、体毛除去をより確実に行うことができるように領域拡張を行う。

キメ構造推定部は、処理対象画像における肌のキメの構造を推定する。キメ構造推定部は、例えば皮丘画素と皮溝画素を区分するための第２閾値を決定し、体毛領域の注目画素を基準とした判定領域内における肌画素が皮丘画素と皮溝画素のいずれであるか第２閾値を用いて判定し、判定領域内における皮丘画素と皮溝画素の割合に応じて、注目画素が皮丘画素と皮溝画素のいずれであるか推定する。また、キメ構造推定部は、体毛領域の注目画素を基準とした判定領域内に肌画素が含まれていない場合、判定領域のサイズを拡大する。第２閾値は、処理対象画像における肌画素の輝度分布から皮丘画素分布と皮溝分布を推定して、推定結果に基づいて決定する。

補間部は、体毛検出部で検出した体毛領域を、キメ構造推定部で推定されたキメの構造に基づいて補間する。補間部は、注目画素が皮丘画素と推定された場合、注目画素の近傍領域における皮丘画素を用いて注目画素の補間を行い、注目画素が皮溝画素と推定された場合、近傍領域における皮溝画素を用いて注目画素の補間を行う。また、補間部は、注目画素の位置における体毛幅に応じて近傍領域の領域サイズを設定する。体毛幅は、例えば注目画素の位置における体毛主要方向を判別して、体毛主要方向に対する直交方向の体毛領域サイズを体毛幅とする。体毛領域サイズは、例えば注目画素を基準とした方向判定領域内における注目画素と連続する体毛画素の画素数に基づいて判別する。

この技術の第２の側面は、肌を含む処理対象画像から体毛に相当する体毛領域を検出する工程と、前記処理対象画像における肌のキメの構造を推定する工程と、前記検出した体毛領域を、前記推定したキメの構造に基づいて補間する工程とを含む画像処理方法にある。

この技術の第３の側面は、肌を含む処理対象画像の画像処理をコンピュータで実行させるプログラムであって、前記処理対象画像から体毛に相当する体毛領域を検出する手順と、前記処理対象画像における肌のキメの構造を推定する手順と、前記検出した体毛領域を、前記推定したキメの構造に基づいて補間する手順とを前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、肌を含む処理対象画像から体毛に相当する体毛領域が検出される。また、処理対象画像における肌のキメの構造が推定される。検出した体毛領域は、推定したキメの構造に基づいて補間される。このため、肌画像から肌のキメ構造を考慮して体毛の除去を行うことができるようになる。

画像処理装置の構成を示す図である。 体毛検出部の構成を示す図である。 体毛検出部の動作を示すフローチャートである。 最小のエラー率を説明するための図である。 累積ヒストグラムを例示した図である。 体毛除去部の構成を示す図である。 キメ構造判定閾値決定部の構成を示す図である。 体毛除去部の動作を示すフローチャートである。 体毛領域以外の画素についての輝度のヒストグラムを例示した図である。 皮丘／皮溝判定情報の生成動作を示すフローチャートである。 推定情報の生成を説明するための図である。 補間処理を示すフローチャートである。 補間処理を説明するための図である。 補間処理を説明するための図である。 体毛除去部の構成を示す図である。 領域サイズ設定部の構成を示す図である。 体毛除去部の動作を示すフローチャートである。 領域サイズの設定動作を示すフローチャートである。 体毛幅の算出を説明するための図である。 体毛幅と領域サイズの関係を示す図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理システムの構成
２．第１の実施の形態
２−１．体毛検出部の構成
２−２．体毛検出部の動作
２−３．体毛除去部の構成
２−４．体毛除去部の動作
３．第２の実施の形態
３−１．体毛検出部の構成および動作
３−２．体毛除去部の構成
３−３．体毛除去部の動作
４．他の実施の形態

＜１．画像処理システムの構成＞
図１は、本技術の画像処理装置の構成を示している。画像処理装置１０は、撮像装置で撮影された肌画像や画像記録装置等に記憶されている肌画像から肌のキメ構造を考慮して体毛の除去を行う。

例えば、撮像装置は、肌の表皮を撮影して得られた肌画像を画像処理装置１０に出力する。撮像装置は、特定の種類の撮像装置に限定されるものではなく、任意の撮像装置を採用することができる。撮像装置は、肌のキメの状態を認識できる程度の撮影が可能なマクロレンズを備えている。なお、撮像装置は、フォーカス調整機能、被写体に照明光を照射可能な光源、フォーカス位置を固定にして毎回撮影できるように、レンズの先に肌に密着させるアタッチメント等を備えることが望ましい。また、撮像装置は画像処理装置１０と一体に構成されていてもよく、別個に構成されていてもよい。

画像処理装置１０は、体毛検出部２０と体毛除去部３０を有している。体毛検出部２０は、肌を含む処理対象画像から体毛に相当する体毛領域を検出して検出結果を体毛除去部３０に出力する。例えば、体毛検出部２０は、体毛領域示すマップを生成して、検出結果として体毛除去部３０に出力する。体毛除去部３０は、キメ構造を保持した状態で処理対象画像から体毛除去部３０で検出された体毛を除去する。体毛除去部３０は、キメ構造想定部と補間部を有している。体毛除去部３０は、処理対象画像における肌のキメの構造をキメ構造想定部で推定する。また、体毛除去部３０は、体毛検出部２０で検出した体毛領域を、キメ構造推定部で推定されたキメの構造に基づき補間部で補間する。

＜２．第１の実施の形態＞
［２−１．体毛検出部の構成］
図２は体毛検出部の構成を示している。体毛検出部２０は、色変換係数決定部２１、色変換部２２、色分布情報生成部２３、閾値決定部２４、２値化部２５、領域拡張部２６を含むように構成されている。

色変換係数決定部２１は、体毛検出のエラー率が最小となるように色変換係数を決定する。色変換係数決定部２１は、決定した色変換係数を色変換部２２に出力する。

色変換部２２は、色変換係数決定部２１で決定した色変換係数を用いて処理対象画像の色変換を行うことで、肌の色と体毛の色の区分が容易とされた色変換画像を生成して色分布情報生成部２３に出力する。

色分布情報生成部２３は、色変換画像から肌の色と体毛の色の分布状況を示す色分布情報を生成する。色分布情報生成部２３は、色変換画像の画素値を用いて、例えばヒストグラムや累積ヒストグラムを色分布情報として生成する。

閾値決定部２４は、色分布情報生成部２３で生成された色分布情報に基づき、色変換画像を肌の色の画素と体毛の色の画素に区分するための体毛判別閾値（第１閾値）を決定する。色変換画像の画素値を用いてヒストグラムや累積ヒストグラムを生成する場合、肌の色と体毛の色で頻度が高くなる。また、色変換画像では、肌の色と体毛の色の区分が容易となるように色変換が行われている。したがって、ヒストグラムや累積ヒストグラムから、色変換画像を肌の色の画素と体毛の色の画素に区分するための体毛判別閾値を容易かつ適切に決定できる。閾値決定部２４は、決定した体毛判別閾値を２値化部２５に出力する。

２値化部２５は、閾値決定部２４から供給された体毛判別閾値を用いて色変換画像の２値化処理を行う。２値化部２５は、色変換画像の各画素値と体毛判別閾値を比較して、例えば画素値が体毛判別閾値以下の画素を体毛画素、画素値が体毛判別閾値よりも大きい画素を肌画素とする。すなわち、２値化部２５は、体毛検出部２０に入力された処理対象画像の各画素が、肌画素と体毛画素のいずれであるか示した体毛マップ（２値マップ）を生成する。

領域拡張部２６は、２値化部２５で生成された体毛マップに対して領域拡張処理を行う。領域拡張部２６は、体毛画素と判別した領域を拡張する処理、すなわち処理対象画像における体毛幅が例えば所定幅となるように拡張する処理を行い、体毛除去部３０で処理対象画像から体毛をより確実に除去できるようにする。

［２−２．体毛検出部の動作］
次に、体毛検出部２０の動作について説明する。なお、以下の説明では、画像処理装置１０で処理する処理対象画像が、例えばＲＧＢカラーフィルタを備えた撮像装置で生成された３原色の画像とする。

体毛検出部２０は、肌を含む処理対象画像から体毛に相当する体毛領域を検出する。体毛検出部２０は、例えば体毛検出のエラー率が最小となるように決定した色変換係数で色変換を行うことにより色変換画像を生成して、この色変換画像の各画素が肌画素と体毛画素のいずれであるか示した体毛マップを、体毛領域の検出結果として生成する。

図３は体毛検出部の動作を示すフローチャートである。ステップＳＴ１で体毛検出部２０は色変換係数を決定する。体毛検出部２０の色変換係数決定部２１は、体毛検出のエラー率が最小となるように色変換係数を決定してステップＳＴ２に進む。

ここで、処理対象画像の３原色画像データを「Ｒ，Ｇ，Ｂ」としたとき、各色に対する重み付けを行い、色変換後の画像データ「Ｃｏｌｏｒ_ｉ」を式（１）に示す値とする。
Ｃｏｌｏｒ_ｉ＝α_ｉ ^Ｒ×Ｒ＋α_ｉ ^Ｇ×Ｇ＋α_ｉ ^Ｂ×Ｂ ・・・（１）

なお、式（１）において、「α_ｉ ^Ｒ」は赤画像データに対する重み、「α_ｉ ^Ｇ」は緑画像データに対する重み、「α_ｉ ^Ｂ」は青画像データに対する重みであり、式（２）の条件を満たすように設定する。
α_ｉ ^Ｒ＋α_ｉ ^Ｇ＋α_ｉ ^Ｂ＝１ ・・・（２）

したがって、色変換係数決定部２１は、体毛検出のエラー率が最小となるように変換係数、すなわち重み「α_ｉ ^Ｒ」，「α_ｉ ^Ｇ」を決定する。

体毛検出のエラー率は、例えば被験者の肌画像から予め正解データを作成する。次に、重み「α_ｉ ^Ｒ」，「α_ｉ ^Ｇ」を変化させて体毛検出を行い、体毛検出結果と正解データの相違からエラー率を算出する。エラー率としては、例えばＦＡＲ(=False Acceptance Rate)とＦＲＲ(=False Rejection Rate)を算出する。また、図４に示すようにＦＡＲとＦＲＲが等しくなるときの値ＥＥＲ(=Equal Error Rate)を最小のエラー率として、このときの重み「α_ｉ ^Ｒ」，「α_ｉ ^Ｇ」を、体毛検出のエラー率が最小となる色変換係数とする。さらに、肌の色や体毛の色は人種によって異なる。したがって、例えば変数「ｉ」で人種を示すようにして、人種毎に体毛検出のエラー率が最小となる色変換係数を決定する。

ステップＳＴ２で体毛検出部２０は、色変換を行う。体毛検出部２０の色変換部２２は、決定された色変換係数を用いて色変換を行いステップＳＴ３に進む。色変換部２２は、決定された色変換係数を用いて式（３）の演算を行い、色変換画像の画像データ「Ｃｏｌｏｒ_ｉ」を算出する。
Ｃｏｌｏｒ_ｉ＝α_ｉ ^Ｒ×Ｒ＋α_ｉ ^Ｇ×Ｇ＋(１−α_ｉ ^Ｒ−α_ｉ ^Ｇ)×Ｂ ・・・（３）

ステップＳＴ３で体毛検出部２０は、色分布情報の生成を行う。体毛検出部２０の色分布情報生成部２３は、色変換画像の画像データ「Ｃｏｌｏｒ_ｉ」の分布を示す色分布情報、例えば累積ヒストグラムを生成してステップＳＴ４に進む。図５は、累積ヒストグラムを例示している。例えば、色変換によって、体毛の色が色変換によってほぼ「Ｃｏｌｏｒ_ｉ-h」の色に変換される場合、体毛を示す画素の頻度は一点鎖線で示すような分布となる。また、肌の色が色変換によってほぼ「Ｃｏｌｏｒ_ｉ-s」の色に変換される場合、肌を示す画素の頻度は点線で示すような分布となる。したがって、累積ヒストグラムは、体毛を示す画素の分布に肌を示す画素の分布を加算した実線で示す分布となる。

ステップＳＴ４で体毛検出部２０は、体毛判別閾値を決定する。体毛検出部２０の閾値決定部２４は、色分布情報に基づき、肌の色の画素と体毛の色の画素を区別するための体毛判別閾値（第１閾値）を決定してステップＳＴ５に進む。

色変換画像を用いてヒストグラムや累積ヒストグラムを生成する場合、肌の色と体毛の色で頻度が高くなる。また、色変換画像では、肌の色と体毛の色の区分が容易となるように色変換が行われている。したがって、ヒストグラムや累積ヒストグラムから、色変換画像を肌の色の画素と体毛の色の画素に区分するための体毛判別閾値を容易かつ適切に決定できる。

例えば重み「α_ｉ ^Ｒ」，「α_ｉ ^Ｇ」を変化させて体毛検出のエラー率が最小となるときの値を用いる。また、このときの閾値を「ｔｈ_ｉ」、閾値「ｔｈ_ｉ」における累積ヒストグラム上での頻度を「ｆ（th_ｉ）」、全累積頻度を「ｆ（all_i）」とすると、ヒストグラムの頻度の割合ＴｈＲａｔｉｏ_ｉは、式（４）として表すことができる。したがって、閾値決定部２４は、累積ヒストグラムにおいて累積頻度が割合ＴｈＲａｔｉｏ_ｉとなるときの画像データ「Ｃｏｌｏｒ_ｉ」を体毛判別閾値Ｍthに決定する。

ステップＳＴ５で体毛検出部２０は、２値化処理を行う。体毛検出部２０の２値化部２５は、体毛判別閾値Ｍthと色変換画像の各画素の画素値を比較して、体毛マップ（２値マップ）を生成してステップＳＴ６に進む。２値化部２５は、例えば式（５）に示すように２値化を行い体毛マップを生成する。例えば２値化部２５は、画素位置（Ｘ，Ｙ）のデータＣｏｌｏｒ（Ｘ，Ｙ）が体毛判別閾値Ｍth以下である場合には体毛マップにおける画素位置Ｍａｐ（Ｘ，Ｙ）の画素値を「２５５」、体毛判別閾値Ｍthよりも大きい場合には画素値を「０」とする。このようにして、２値化部２５は、処理対象画像における体毛画素の分布を示す体毛マップを生成する。

ステップＳＴ６で体毛検出部２０は、体毛領域の拡張を行う。体毛検出部２０の領域拡張部２６は、体毛マップに対して体毛画素と判別した領域を拡張する処理、すなわち処理対象画像における体毛幅が所定幅となるように拡張する処理を行い、より確実に体毛を除去できるようにする。

なお、上述の体毛検出部２０では、ＲＧＢの３原色の画像データを用いて体毛検出を行う場合について説明した、本技術はこれに限定されるものではない。例えばＲＧＢ色分布から体毛と肌の分離が容易となるような色空間軸を求め、この色空間軸で体毛と肌の色を定義して体毛検出を行うようにすることも可能である。

［２−３．体毛除去部の構成］
体毛除去部３０は、キメ構造を保持した状態で処理対象画像から体毛除去部３０で検出された体毛を除去する。

図６は、体毛除去部の構成を示している。体毛除去部３０は、キメ構造推定部３１と補間部３２を含むように構成されている。また、キメ構造推定部３１は、キメ構造判定閾値決定部３１１、推定処理部３１２を含むように構成されている。

キメ構造推定部３１のキメ構造判定閾値決定部３１１は、体毛領域以外の領域の画素を皮丘画素と皮溝画素に区分するためのキメ構造判定閾値（第２閾値）を決定する。図７は、キメ構造判定閾値決定部３１１の構成を示している。キメ構造判定閾値決定部３１１は、キメ色分布情報生成部３１１１とキメ色分布解析部３１１２を含むように構成されている。

キメ色分布情報生成部３１１１は、処理対象画像と体毛マップに基づき、体毛領域以外の画素からキメ色分布情報、例えば体毛領域以外の画素である肌画素から輝度のヒストグラムを作成する。

キメ色分布解析部３１１２は、キメ色分布情報生成部３１１１で生成されたキメ色分布情報から皮丘画素の分布と皮溝画素の分布を推定して、推定結果から皮丘画素と皮溝画素を区分するためのキメ構造判定閾値を決定する。キメ色分布解析部３１１２は、キメ構造判定閾値を推定処理部３１２に出力する。

推定処理部３１２は、キメ構造判定閾値決定部３１１で決定されたキメ構造判定閾値を用いて、体毛領域を除く処理対象画像の画素が皮丘画素と皮溝画素のいずれであるか判定する。さらに、判定結果を利用して、体毛領域内の注目画素が皮丘画素と皮溝画素のいずれに属するか推定情報を生成する。推定処理部３１２は、推定情報を補間部３２に出力する。

補間部３２は、キメ構造推定部３１から供給された推定情報に基づき、体毛領域の画素補間に用いる画素を切り替えて、キメ構造を考慮した補間を行い、体毛を除去した画像領域でもキメ構造が保持されるようにする。

［２−４．体毛除去部の動作］
図８は、体毛除去部の動作を示すフローチャートである。ステップＳＴ１１で体毛除去部３０は、キメ構造判定閾値を算出する。体毛除去部３０のキメ構造推定部３１は、処理対象画像と体毛マップに基づき、体毛領域以外の画素に対してキメ色分布情報例えば輝度のヒストグラムを作成する。次に、キメ構造推定部３１は、キメ色分布情報から皮丘画素とそれ以外の皮溝画素の分布を推定して、推定結果に基づき、体毛領域以外の領域の画素を皮丘画素と皮溝画素に区分するためのキメ構造判定閾値（第２閾値）を決定してステップＳＴ１２に進む。

ここで、皮丘画素は皮溝画素に比べて明るい画素となる。したがって、体毛領域以外の画素についての輝度のヒストグラムは、例えば図９に示すように、理想的には明るい皮丘画素の分布（点線で示す）と暗い皮溝画素の分布（一点鎖線で示す）が合成された分布（実線で示す）となる。キメ構造推定部３１は、合成後の分布を示すキメ色分布情報から皮丘画素の分布と皮溝画素の分布を推定する。例えば、図９に示す合成後の１次元分布に対してＧＭＭ（Gaussian Mixture Model）近似を行うことで２クラス（皮丘を示すクラスと皮溝を示すクラス）に分類し、その境界をキメ構造判定閾値ybin_thとする。また、合成後の分布から、皮丘画素の分布のピーク位置と皮溝画素の分布のピーク位置を推定して、皮丘画素のピーク位置と皮溝画素のピーク位置との中間位置をキメ構造判定閾値ybin_thとしてもよい。また、一方のピーク位置から他方のピーク位置方向に所定量離れた位置をキメ構造判定閾値ybin_thとしてもよい。

ステップＳＴ１２で体毛除去部３０は、キメ構造の推定を行う。体毛除去部３０のキメ構造推定部３１は、キメ構造判定閾値と体毛領域以外の画素の画素値を比較して、画素値がキメ構造判定閾値よりも大きい画素は皮丘画素、画素値がキメ構造判定閾値以下の画素は皮溝画素と判定する。さらに、キメ構造推定部３１は、体毛領域以外の画素の判定結果を利用して、体毛領域内の注目画素が皮丘画素と皮溝画素のいずれに属するか推定情報を生成する。

図１０は、推定情報の生成動作を示すフローチャートである。ステップＳＴ２１でキメ構造推定部３１は、推定を行う体毛領域内の画素（注目画素）を基準として判定領域を設定する。また、キメ構造推定部３１は、判定領域を初期サイズとしてステップＳＴ２２に進む。

ステップＳＴ２２でキメ構造推定部３１は、判定領域における体毛画素の画素数ｎ_Ｈを算出してステップＳＴ２３に進む。

ステップＳＴ２３でキメ構造推定部３１は、判定領域内において肌画素の画素数ｎ_Ｓを算出してステップＳＴ２４に進む。例えば判定領域の初期サイズが３×３画素である場合、注目画素を除く他の領域が８画素であることから式（６）に基づき画素数ｎ_Ｓを算出できる。
ｎ_Ｓ＝８−ｎ_Ｈ ・・・（６）

ステップＳＴ２４でキメ構造推定部３１は、画素数ｎ_Ｓが「０」よりも大きいか判別する。キメ構造推定部３１は、画素数ｎ_Ｓが「０」である場合にステップＳＴ２５に進み、画素数ｎ_Ｓが「０」より大きい場合にステップＳＴ２６に進む。

ステップＳＴ２５でキメ構造推定部３１は、判定領域内に肌画素が含まれていないことから判定領域を拡張する。キメ構造推定部３１は、注目画素を基準として判定領域の拡張を行いステップＳＴ２２に戻る。例えば、キメ構造推定部３１は、注目画素を基準として上下左右に判定領域をそれぞれ１画素分だけ拡張して、判定領域を通常サイズとする。

ステップＳＴ２６でキメ構造推定部３１は、皮丘画素の画素数ｎ_Ｓｒを算出する。キメ構造推定部３１は、判定領域内における皮丘画素の画素数ｎ_Ｓｒを算出してステップＳＴ２７に進む。

ステップＳＴ２７でキメ構造推定部３１は、皮丘割合Ｒａｔｉｏ_Ｓｒを算出する。キメ構造推定部３１は、式（７）の演算を行い、判定領域内における皮丘画素の割合を示す皮丘割合Ｒａｔｉｏ_Ｓｒを推定情報とする。

このように推定情報の生成を行うと、例えば図１１の（Ａ）に示すように、判定領域を初期サイズ（３×３画素）としたときの画素数ｎ_Ｓが「０」よりも大きい場合、初期サイズの判定領域内の画素に基づいて推定情報が生成される。また、図１１の（Ｂ）に示すように、判定領域を初期サイズとしたときの画素数ｎ_Ｓが「０」である場合、通常サイズ（５×５画素）の判定領域内の画素に基づいて推定情報が生成される。

このようにしてキメ構造推定部３１は推定情報を生成して図８のステップＳＴ１３に進む。

ステップＳＴ１３で補間部３２は、キメ構造を考慮した補間処理を行う。補間部３２は、生成された推定情報に基づき、皮丘画素または皮溝画像を用いて補間処理を行う。

図１２は補間処理を示すフローチャートである。ステップＳＴ３１で補間部３２は、推定情報である皮丘割合Ｒａｔｉｏ_Ｓｒが「０．５」より大きいか判別する。補間部３２は、皮丘割合Ｒａｔｉｏ_Ｓｒが「０．５」より大きい場合にステップＳＴ３２に進む。また、補間部３２は、皮丘割合Ｒａｔｉｏ_Ｓｒが「０．５」以下である場合にステップＳＴ３３に進む。

ステップＳＴ３２で補間部３２は、皮丘画素を用いて注目画素を補間する。補間部３２は、式（８）の演算処理を行い、注目画素を基準として設定した近傍領域内の皮丘画素の画素値に基づき注目画素の画素値を算出する。なお、式（８）において、「ｎ」は近傍領域内における皮丘画素のＩＤを示している。また、「Ｉ’」は補間後の画素値、「Ｉ_Ｓｒ(n)」は皮丘画素の画素値、「Ｗ_Ｓｒ(n)」は皮丘画素の重みである。なお、皮丘画素の重み「Ｗ_Ｓｒ(n)」は式（９）から算出される値とする。

ステップＳＴ３３で補間部３２は、皮溝画素を用いて注目画素を補間する。補間部３２は、式（１０）の演算処理を行い、注目画素を基準として設定した近傍領域内の皮溝画素の画素値に基づき注目画素の画素値を算出する。なお、式（１０）において、「ｎ」は近傍領域内における皮溝画素のＩＤを示している。また、「Ｉ’」は補間後の画素値、「Ｉ_Ｓｖ(n)」は皮溝画素の画素値、「Ｗ_Ｓｖ(n)」は皮溝画素の重みである。なお、皮溝画素の重み「Ｗ_Ｓｖ(n)」は式（１１）から算出される値とする。

このような処理を行うと、例えば図１３の（Ａ）に示すように、初期サイズ（３×３画素）の判定領域において皮溝画素の割合が多い場合、図１３の（Ｂ）に示すように、近傍領域内の皮溝画素の画素値を用いて注目画素の補間が行われる。また、例えば図１４の（Ａ）に示すように、通常サイズ（５×５画素）の判定領域において皮溝画素の割合が多い場合、図１４の（Ｂ）に示すように、近傍領域内の皮溝画素の画素値を用いて注目画素の補間が行われる。したがって、体毛画素の領域に対してキメ構造を考慮した補間処理が行われて、体毛を除去した画像領域でもキメ構造が示されるようになる。

＜３．第２の実施の形態＞
ところで、第１の実施の形態では、予め領域サイズが決定されている判定領域や近傍領域内の画素を用いて推定情報の生成や補間処理を行う場合について説明した。しかし、領域サイズが予め決定されている場合、例えば体毛が太く領域内の画素が全て体毛画素となってしまうと、上述のように推定情報の生成や注目画素の補間を行うことができないおそれがある。そこで、第２の実施の形態では、体毛幅に応じて領域サイズを設定して推定情報の生成や注目画素の補間を行う場合について説明する。

［３−１．体毛検出部の構成および動作］
第２の実施の形態において、体毛検出部２０は、第１の実施の形態と同様に構成されている。すなわち、体毛検出部２０は、図２に示すように、色変換係数決定部２１、色変換部２２、色分布情報生成部２３、閾値決定部２４、２値化部２５、領域拡張部２６を含むように構成されている。

色変換係数決定部２１は、体毛検出のエラー率が最小となるように色変換係数を決定する。色変換係数決定部２１は、決定した色変換係数を色変換部２２に出力する。

色変換部２２は、色変換係数決定部２１で決定した色変換係数を用いて処理対象画像の色変換を行うことで、肌の色と体毛の色の区分が容易とされた色変換画像を生成して色分布情報生成部２３に出力する。

色分布情報生成部２３は、色変換画像から肌の色と体毛の色の分布状況を示す色分布情報を生成する。色分布情報生成部２３は、色変換画像の画素値を用いて、例えばヒストグラムや累積ヒストグラムを色分布情報として生成する。

閾値決定部２４は、色分布情報生成部２３で生成された色分布情報に基づき、色変換画像を肌の色の画素と体毛の色の画素に区分するための体毛判別閾値（第１閾値）を決定する。閾値決定部２４は、決定した体毛判別閾値を２値化部２５に出力する。

２値化部２５は、閾値決定部２４から供給された体毛判別閾値を用いて色変換画像の２値化処理を行う。２値化部２５は、色変換画像の各画素値と体毛判別閾値を比較して、処理対象画像の各画素が、肌画素と体毛画素のいずれであるか示した体毛マップを生成する。

領域拡張部２６は、２値化部２５で生成された体毛マップに対して領域拡張処理を行う。領域拡張部２６は、体毛画素と判別した領域を拡張する処理、すなわち処理対象画像における体毛幅が例えば所定幅となるように拡張する処理を行い、体毛除去部３０で処理対象画像から体毛をより確実に除去できるようにする。

このように構成された体毛検出部２０は、図３に示す処理を行い体毛画素領域を判別する。すなわち、ステップＳＴ１で体毛検出部２０は、色変換係数を決定してステップＳＴ２に進む。ステップＳＴ２で体毛検出部２０は、色変換を行いステップＳＴ３に進む。ステップＳＴ３で体毛検出部２０は、色分布情報の生成を行いステップＳＴ４に進む。ステップＳＴ４で体毛検出部２０は、体毛判別閾値を決定してステップＳＴ５に進む。ステップＳＴ５で体毛検出部２０は、２値化処理を行いステップＳＴ６に進む。ステップＳＴ６で体毛検出部２０は、体毛領域の拡張を行う。このようにして、体毛検出部２０は、処理対象画像から体毛に相当する体毛領域を検出する。

［３−２．体毛除去部の構成］
第２の実施の形態における体毛除去部３０は、体毛検出部２０で求めた体毛マップを用いて、処理対象画像から体毛画像を除去する。また、体毛除去部３０は、処理対象画像における体毛幅に応じて領域サイズを調整して、推定情報の生成や肌のキメ構造を考慮した補間処理を行う。

図１５は、第２の実施の形態の体毛除去部の構成を示している。体毛除去部３０は、キメ構造推定部３１と補間部３２を含むように構成されている。また、キメ構造推定部３１は、領域サイズ設定部３１０、キメ構造判定閾値決定部３１１、推定処理部３１２を含むように構成されている。

図１６は、領域サイズ設定部の構成を示している。領域サイズ設定部３１０は、主要方向判定部３１０１、体毛幅算出部３１０２、サイズ決定部３１０３を含むように構成されている。

主要方向判定部３１０１は、体毛検出部２０で生成された体毛マップまたは処理対象画像におけるエッジ方向の分析を行い、分析結果が示すエッジ方向を体毛の主要方向と判定する。主要方向判定部３１０１は、体毛の主要方向の判定結果を体毛幅算出部３１０２に出力する。

体毛幅算出部３１０２は、主要方向判定部３１０１で判定された体毛の主要方向に対して直交する方向を処理対象画像における体毛幅とする。体毛幅算出部３１０２は、算出した体毛幅を示す情報をサイズ決定部３１０３に出力する。

サイズ決定部３１０３は、体毛幅算出部３１０２で算出された体毛幅に応じて、推定情報を生成するための判別領域や、画素補間で画素値が用いられる近傍領域の領域サイズを決定する。

図１５のキメ構造判定閾値決定部３１１は、第１の実施の形態と同様な構成で同様な動作を行い、体毛領域以外の領域の画素を皮丘画素と皮溝画素に区分するためのキメ構造判定閾値（第２閾値）を決定する。

推定処理部３１２は、キメ構造判定閾値決定部３１１で決定されたキメ構造判定閾値を用いて、体毛領域を除く処理対象画像の画素が皮丘画素と皮溝画素のいずれであるか判定する。さらに、サイズ決定部３１０３で決定された領域サイズの判定領域における皮丘画素と皮溝画素の判定結果を利用して、体毛領域内の注目画素が皮丘画素と皮溝画素のいずれに属するか推定情報を生成する。推定処理部３１２は、推定情報を補間部３２に出力する。

補間部３２は、キメ構造推定部３１から供給された推定情報に基づき、サイズ決定部３１０３で決定された領域サイズの近傍領域内から、体毛領域の画素補間に用いる画素を選択的に用いて補間を行う。このように、推定情報に基づき、近傍領域内から体毛領域の画素補間に用いる画素を選択的に用いて補間を行うことで、体毛を除去した画像領域でもキメ構造が保持されるようにする。

［３−３．体毛除去部の動作］
図１７は、体毛除去部の動作を示すフローチャートである。ステップＳＴ４１で体毛除去部３０は、領域サイズの設定を行う。体毛除去部３０のキメ構造推定部３１は、体毛幅を検出して、検出結果に応じて領域サイズを設定する。

図１８は、領域サイズの設定動作を示すフローチャートである。ステップＳＴ５１でキメ構造推定部３１は、主要方向の判定を行う。キメ構造推定部３１は、体毛画像のエッジ方向を分析して、分析結果が示すエッジ方向を体毛の主要方向と判定してステップＳＴ５２に進む。

エッジ方向の分析は、例えば水平方向のエッジを検出するフィルタ、垂直方向のエッジを検出するフィルタ、斜め方向のエッジを検出するフィルタなど、異なる方向のエッジを検出する複数のフィルタを設けて、フィルタ出力が最も大きいフィルタで検出されたエッジの方向を主要方向と判定する。また、エッジ方向の分析は、他の既知の方法を用いて行うようにしてもよい。

ステップＳＴ５２でキメ構造推定部３１は、体毛幅の算出を行う。キメ構造推定部３１は、ステップＳＴ５１で判定された体毛の主要方向に対して直交する方向を処理対象画像における体毛幅とする。

図１９は、体毛幅の算出を説明するための図である。図１９の（Ａ）は、主要方向（一点鎖線で示す）が水平方向（ｘ方向）に対して４５度の傾きを生じている場合、図１９の（Ｂ）は、主要方向（一点鎖線で示す）が水平方向に対して９０度の傾きを生じている場合を例示している。ここで、主要方向に直交する方向（＝体毛の径方向に相当）のベクトル（幅方向ベクトル）Ｖは、式（１２）または式（１３）に基づいて算出できる。

なお、「ｄｘ」は注目画素を起点にして水平方向に体毛画素が何画素分だけ続いているかを示している。「ｄｙ」は注目画素を起点にして垂直方向（ｙ方向）に体毛画素が何画素分だけ続いているかを示している。

例えば図１９の（Ａ）の場合は、「ｄｘ＝２，ｄｙ＝２」となる。「θ」は、水平方向と幅方向ベクトルＶの方向との方向差を示す角度である。体毛幅Ｄは、例えば式（１４）に基づいて算出する。なお「αx」は、式（１５）から得られる値とする。

したがって、図１９の（Ａ）の場合、「ｄｘ＝２，ｄｙ＝２、αｘ＝０．５、θ＝π／４」であることから、「Ｄ＝√２」となる。

また、図１９の（Ｂ）の場合、体毛画素が垂直方向に連続していることから「ｄｙ＝∞」として体毛幅Ｄを算出する。すなわち「ｄｘ＝２，ｄｙ＝∞、αｘ≒１、θ＝０」であることから、「Ｄ＝２」となる。

このようにしてキメ構造推定部３１は、体毛主要方向に対する直交方向の体毛領域サイズを体毛幅と算出してステップＳＴ５３に進む。また、体毛領域サイズは注目画素を基準とした方向判定領域内における注目画素と連続する体毛画素の画素数に基づいて判別できる。

ステップＳＴ５３でキメ構造推定部３１は、領域サイズを設定する。キメ構造推定部３１は、ステップＳＴ５２で算出された体毛幅に応じて、推定情報を生成するための判別領域や、画素補間で画素値が用いられる近傍領域の領域サイズを決定する。

図２０は、体毛幅と領域サイズの関係を示している。キメ構造推定部３１は、体毛幅Ｄに対しては、上限閾値Ｄ_th_maxと下限閾値Ｄ_th_minを予め設定しておく。また、キメ構造推定部３１は、上限閾値Ｄ_th_maxにおける領域サイズとして最大領域サイズＢＳ_maxと、下限閾値Ｄ_th_minにおける領域サイズとして最小領域サイズＢＳ_minを設定しておく。

キメ構造推定部３１は、体毛幅Ｄが上限閾値Ｄ_th_maxと下限閾値Ｄ_th_minの範囲内である場合に、体毛幅Ｄが広くなるに伴い領域サイズを広くする。領域サイズは、例えば注目画素が領域の中心位置となるように奇数画素数のサイズとする。したがって、領域の拡大は偶数画素分単位で行う。なお、キメ構造推定部３１は、体毛幅Ｄが上限閾値Ｄ_th_max以上の場合には最大領域サイズＢＳ_max、体毛幅Ｄが下限閾値Ｄ_th_min以下の場合には、最小領域サイズＢＳ_minとする。

このようにしてキメ構造推定部３１は、領域サイズを設定して図１７のステップＳＴ４２に進む。

ステップＳＴ４２で体毛除去部３０はキメ構造判定閾値を決定する。体毛除去部３０のキメ構造推定部３１は、上述のステップＳＴ１１と同様な処理を行う。すなわち、キメ構造推定部３１は、処理対象画像と体毛マップに基づき、体毛領域以外の画素に対してキメ色分布情報を作成する。次に、キメ構造推定部３１は、キメ色分布情報から皮丘画素とそれ以外の皮溝画素の分布を推定して、推定結果に基づき体毛領域以外の領域の画素を皮丘画素と皮溝画素に区分するためのキメ構造判定閾値（第２閾値）を決定してステップＳＴ４３に進む。

ステップＳＴ４３で体毛除去部３０は、キメ構造の推定を行う。体毛除去部３０のキメ構造推定部３１は、ステップＳＴ４２で決定されたキメ構造判定閾値と体毛領域以外の画素の画素値を比較して、画素値がキメ構造判定閾値よりも大きい画素は皮丘画素、画素値がキメ構造判定閾値以下の画素は皮溝画素と判定する。さらに、キメ構造推定部３１は、体毛領域以外の画素の判定結果を利用して、体毛領域内の注目画素が皮丘画素と皮溝画素のいずれに属するか推定情報を生成する。ここで、ステップＳＴ５３で設定された領域サイズがｂｓ(D)×ｂｓ(D)画素である場合、領域内の注目画素を除いた画素数は「ｂｓ(D)×ｂｓ(D)−１」となる。また、この領域内の体毛画素の画素数を「ｎ_Ｈ(D)」、肌画素の画素数を「ｎ_Ｓ(D)」とすると、式（１６）の関係となる。
ｎ_Ｓ(D)＝ｂｓ(D)×ｂｓ(D)−１−ｎ_Ｈ(D) ・・・（１６）

肌画素の画素数「ｎ_Ｓ(D)」のうち、肌画素における皮丘画素の画素数を「ｎ_Ｓｒ(D)」、皮溝画素の画素数を「ｎ_Ｓｖ(D)」とすると、皮丘割合Ｒａｔｉｏ_Ｓｒ(D)は、式（１７）で算出される。

このようにして、キメ構造推定部３１は、領域内における皮丘割合Ｒａｔｉｏ_Ｓｒ(D)を算出して、算出した皮丘割合Ｒａｔｉｏ_Ｓｒ(D)を推定情報としてステップＳＴ４４に進む。

ステップＳＴ４４で補間部３２は、補間処理を行う。補間部３２は、注目画素からの距離に応じた補間を行う。具体的には、推定情報に基づき補間に利用する画素を切り替える。

補間部３２は、第１の実施の形態と同様に、皮丘割合Ｒａｔｉｏ_Ｓｒ（Ｄ）が「０．５」より大きい場合、注目画素を基準として設定した近傍領域内の皮丘画素の画素値に基づき注目画素の画素値を算出する。また、補間部３２は、皮丘割合Ｒａｔｉｏ_Ｓｒ（Ｄ）が「０．５」以下である場合、近傍領域内の皮溝画素の画素値に基づき注目画素の画素値を算出する。

補間部３２は、近傍領域内の皮丘画素に基づいて注目画素の補間を行う場合、式（１８）の演算処理を行い、皮丘画素の画素値から注目画素の画素値を算出する。なお、式（１８）において、「ｎ」は近傍領域内における皮丘画素のＩＤを示している。また、「Ｉ’」は補間後の画素値、「Ｉ_Ｓｒ」は皮丘画素の画素値、「Ｗ_Ｓｒ(n,D)」は皮丘画素の重みである。

皮丘画素の重み「Ｗ_Ｓｒ(n,D)」は式（１９）から算出する。

また、式（１９）において、「ｄ_Ｓｒ(n)」は式（２０）から算出する。なお（ｘ_Ｓｒ(n)，ｙ_Ｓｒ(n)）は、近傍領域の皮丘画素の位置、（ｘp，ｙp）は注目画素の位置を示している。

補間部３２は、近傍領域内の皮溝画素に基づいて注目画素の補間を行う場合、式（２１）の演算処理を行い、皮溝画素の画素値から注目画素の画素値を算出する。なお、式（２１）において、「ｎ」は近傍領域内における皮溝画素のＩＤを示している。また、「Ｉ’」は補間後の画素値、「Ｉ_Ｓｖ」は皮溝画素の画素値、「Ｗ_Ｓｖ(n,D)」は皮溝画素の重みである。

なお、式（２１）において、「Ｗ_Ｓｖ(n,D)」は式（２２）から算出する。

また、式（２２）において、「ｄ_Ｓｖ(n)」は式（２３）から算出する。なお（ｘ_Ｓｖ(n)，ｙ_Ｓｖ(n)）は、近傍領域の皮溝画素の位置、（ｘp，ｙp）は注目画素の位置を示している。

このように、補間を行うと、注目画素に近い画素ほど重みが大きくなり、注目画素から遠い画素ほど重みが小さくなる。したがって、距離に応じた補間が行われて、キメ構造をより正しく考慮した補間処理を行うことができる。

＜４．他の実施の形態＞
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 肌を含む処理対象画像から体毛に相当する体毛領域を検出する体毛検出部と、
前記処理対象画像における肌のキメの構造を推定するキメ構造推定部と、
前記体毛検出部で検出した体毛領域を、前記キメ構造推定部で推定されたキメの構造に基づいて補間する補間部と
を備える画像処理装置。
（２） 前記体毛検出部は、前記処理対象画像の色分布情報を生成して、該色分布情報に基づき体毛画素と肌画素を区分するための第１閾値を決定して、前記処理対処画像の各画素値を前記第１閾値と比較して前記体毛領域の検出を行う（１）に記載の画像処理装置。
（３） 前記体毛検出部は、前記体毛領域と他の領域との色分離が容易な色変換係数を決定して、該色変換係数を用いて前記処理対象画像の色変換を行い、該色変換後の処理対象画像から前記色分布情報を生成し、前記色変換後の処理対処画像の各画素値を前記第１閾値と比較する（２）に記載の画像処理装置。
（４） 前記体毛検出部は、前記色変換係数として前記体毛領域の検出における誤りの少ない係数を生成する（３）に記載の画像処理装置。
（５） 前記体毛検出部は、人種毎に前記色変換係数と前記第１閾値を決定する（３）または（４）に記載の画像処理装置。
（６） 前記体毛検出部は、前記処理対象画像の各画素値と前記第１閾値の比較結果に基づき前記処理対象画像を二値化して体毛分布情報を生成する（２）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記体毛検出部は、検出された前記体毛領域に対して領域拡張を行う（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記キメ構造推定部は、皮丘画素と皮溝画素を区分するための第２閾値を決定し、前記体毛領域の注目画素を基準とした判定領域内における肌画素が皮丘画素と皮溝画素のいずれであるか前記第２閾値を用いて判定し、前記判定領域内における皮丘画素と皮溝画素の割合に応じて、前記注目画素が皮丘画素と皮溝画素のいずれであるか推定する（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記キメ構造推定部は、前記処理対象画像における肌画素の輝度分布から皮丘画素分布と皮溝分布を推定して、推定結果に基づいて前記第２閾値を決定する（８）に記載の画像処理装置。
（１０） 前記キメ構造推定部は、体毛領域の注目画素を基準とした判定領域内に肌画素が含まれていない場合、前記判定領域のサイズを拡大する（８）または（９）に記載の画像処理装置。
（１１） 前記補間部は、前記注目画素が皮丘画素と推定された場合、前記注目画素の近傍領域における皮丘画素を用いて前記注目画素の補間を行い、前記注目画素が皮溝画素と推定された場合、前記近傍領域における皮溝画素を用いて前記注目画素の補間を行う（８）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記補間部は、前記注目画素の位置における体毛幅に応じて前記近傍領域の領域サイズを設定する（１１）に記載の画像処理装置。
（１３） 前記補間部は、前記注目画素の位置における体毛主要方向を判別し、該体毛主要方向に対する直交方向の体毛領域サイズを前記体毛幅とする（１２）に記載の画像処理装置。
（１４） 前記補間部は、前記注目画素を基準とした方向判定領域内における前記注目画素と連続する体毛画素の画素数に基づいて前記体毛領域サイズを判別する（１３）に記載の画像処理装置。

本技術の画像処理装置と画像処理方法およびプログラムでは、肌を含む処理対象画像から体毛に相当する体毛領域が検出される。また、処理対象画像における肌のキメの構造が推定される。さらに、検出した体毛領域は、推定したキメの構造に基づいて補間される。このため、肌画像から肌のキメ構造を考慮して体毛の除去を行うことができるようになる。したがって、肌の状態を確認するための美容機器や医療機器等に適用できる。

１０・・・画像処理装置、２０・・・体毛検出部、２１・・・色変換係数決定部、２２・・・色変換部、２３・・・色分布情報生成部、２４・・・閾値決定部、２５・・・２値化部、２６・・・領域拡張部、３０・・・体毛除去部、３１・・・キメ構造推定部、３２・・・補間部、３１０・・・領域サイズ設定部、３１１・・・キメ構造判定閾値決定部、３１２・・・推定処理部、３１０１・・・主要方向判定部、３１０２・・・体毛幅算出部、３１０３・・・サイズ決定部、３１１１・・・キメ色分布情報生成部、３１１２・・・キメ色分布解析部

Claims (16)

1. 肌を含む処理対象画像から体毛に相当する体毛領域を検出する体毛検出部と、
   前記処理対象画像における肌のキメの構造を推定するキメ構造推定部と、
   前記体毛検出部で検出した体毛領域を、前記キメ構造推定部で推定されたキメの構造に基づいて補間する補間部と
   を備える画像処理装置。
2. 前記体毛検出部は、前記処理対象画像の色分布情報を生成して、該色分布情報に基づき体毛画素と肌画素を区分するための第１閾値を決定して、前記処理対処画像の各画素値を前記第１閾値と比較して前記体毛領域の検出を行う請求項１記載の画像処理装置。
3. 前記体毛検出部は、前記体毛領域と他の領域との色分離が容易な色変換係数を決定して、該色変換係数を用いて前記処理対象画像の色変換を行い、該色変換後の処理対象画像から前記色分布情報を生成し、前記色変換後の処理対処画像の各画素値を前記第１閾値と比較する請求項２記載の画像処理装置。
4. 前記体毛検出部は、前記色変換係数として前記体毛領域の検出における誤りの少ない係数を生成する請求項３記載の画像処理装置。
5. 前記体毛検出部は、人種毎に前記色変換係数と前記第１閾値を決定する請求項３記載の画像処理装置。
6. 前記体毛検出部は、前記処理対象画像の各画素値と前記第１閾値の比較結果に基づき前記処理対象画像を二値化して体毛分布情報を生成する請求項２記載の画像処理装置。
7. 前記体毛検出部は、検出された前記体毛領域に対して領域拡張を行う請求項１記載の画像処理装置。
8. 前記キメ構造推定部は、皮丘画素と皮溝画素を区分するための第２閾値を決定し、前記体毛領域の注目画素を基準とした判定領域内における肌画素が皮丘画素と皮溝画素のいずれであるか前記第２閾値を用いて判定し、前記判定領域内における皮丘画素と皮溝画素の割合に応じて、前記注目画素が皮丘画素と皮溝画素のいずれであるか推定する請求項１記載の画像処理装置。
9. 前記キメ構造推定部は、前記処理対象画像における肌画素の輝度分布から皮丘画素分布と皮溝分布を推定して、推定結果に基づいて前記第２閾値を決定する請求項８記載の画像処理装置。
10. 前記キメ構造推定部は、体毛領域の注目画素を基準とした判定領域内に肌画素が含まれていない場合、前記判定領域のサイズを拡大する請求項８記載の画像処理装置。
11. 前記補間部は、前記注目画素が皮丘画素と推定された場合、前記注目画素の近傍領域における皮丘画素を用いて前記注目画素の補間を行い、前記注目画素が皮溝画素と推定された場合、前記近傍領域における皮溝画素を用いて前記注目画素の補間を行う請求項８記載の画像処理装置。
12. 前記補間部は、前記注目画素の位置における体毛幅に応じて前記近傍領域の領域サイズを設定する請求項１１記載の画像処理装置。
13. 前記補間部は、前記注目画素の位置における体毛主要方向を判別し、該体毛主要方向に対する直交方向の体毛領域サイズを前記体毛幅とする請求項１２記載の画像処理装置。
14. 前記補間部は、前記注目画素を基準とした方向判定領域内における前記注目画素と連続する体毛画素の画素数に基づいて前記体毛領域サイズを判別する請求項１３記載の画像処理装置。
15. 肌を含む処理対象画像から体毛に相当する体毛領域を検出する工程と、
    前記処理対象画像における肌のキメの構造を推定する工程と、
    前記検出した体毛領域を、前記推定したキメの構造に基づいて補間する工程と
    を含む画像処理方法。
16. 肌を含む処理対象画像の画像処理をコンピュータで実行させるプログラムであって、
    前記処理対象画像から体毛に相当する体毛領域を検出する手順と、
    前記処理対象画像における肌のキメの構造を推定する手順と、
    前記検出した体毛領域を、前記推定したキメの構造に基づいて補間する手順と
    を前記コンピュータで実行させるプログラム。

Images