JP2014178146A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】紫外線照明のような特殊な照明を利用することなく、塗布物の塗りむらを適切に判別できるようにする。
【解決手段】実施形態によれば、取得部と、演算部と、画像生成部とを具備する画像処理装置が提供される。取得部は、同一のセンサカメラ特性をもつ撮像機器によって撮像された、被写体の反射特性データの演算に使用する第１の画像と、前記被写体に塗布された塗布物の塗布量を示す塗布量データの演算に使用する第２の画像とを取得する。演算部は、前記第１の画像を用いて前記被写体の反射特性データを演算し、前記第２の画像と、塗布物の吸収特性データと、前記反射特性データとに基づいて、前記塗布物の塗布量データを演算する。画像生成部は、前記第２の画像と前記塗布量データとに基づいて、画像を生成する。
【選択図】図１

Description

本発明の実施形態は、被写体に塗布された塗布物の塗布量を同被写体の画像データに基づいて推定する画像処理方法および装置に関する。

例えば女性の顔に塗布された日焼け止め剤や化粧品の塗りむらを確認するために、ビデオカメラやデジタルカメラで撮影された女性利用者の動画像や静止画像のデータを画像処理する場合、撮影時における被写体への紫外線照明により、塗りむらを強調することができる。

特開２０１２−１５２３８９号公報

紫外線照明のような特殊な照明を利用することなく、塗布物の塗りむらを適切に判別できるようにすることが望ましい。

実施形態によれば、取得部と、演算部と、画像生成部とを具備する画像処理装置が提供される。取得部は、同一のセンサカメラ特性をもつ撮像機器によって撮像された、被写体の反射特性データの演算に使用する第１の画像と、前記被写体に塗布された塗布物の塗布量を示す塗布量データの演算に使用する第２の画像とを取得する。演算部は、前記第１の画像を用いて前記被写体の反射特性データを演算し、前記第２の画像と、塗布物の吸収特性データと、前記反射特性データとに基づいて、前記塗布物の塗布量データを演算する。画像生成部は、前記第２の画像と前記塗布量データとに基づいて、画像を生成する。

第１の実施形態に係る画像処理装置のブロック図 第１の実施形態に係る画像処理装置の動作を示すフローチャート 被写体領域画像と塗布領域画像を個別に撮影する例を示す図 被写体領域画像と塗布領域画像を同時に撮影する例を示す図 入力画像、尤度画像、参照画像を示す図 第１の実施形態の別の例に係る画像処理装置のブロック図 第２の実施形態に係る画像処理装置のブロック図 第２の実施形態に係る画像処理装置の動作を示すフローチャート

以下、本発明の実施形態について図面を参照しながら説明する。ここで、互いに同じ構成には共通の符号を付して、重複説明は省略する。

［第１の実施形態］
図１は本実施形態の画像処理装置１を示すブロック図である。画像処理装置１は、撮像部１１、処理部１２、表示部１３を有する。処理部１２は、モード選択部１２１、参照領域算出部１２２、特性演算部１２３、塗布量演算部１２４、画像生成部１２５を有する。

画像処理装置１は、任意の被写体が写る入力画像を撮影して、被写体に塗布された任意の塗布物の塗布量を提示する表示画像を表示する。被写体は、例えば人肌、髪、布および紙などであり、塗布物は、例えば日焼け止めクリーム、化粧下地クリーム、ファンデーションおよび保湿クリームに代表される肌に塗布する化粧品全般、ヘアカラー剤に代表される染料剤などである。

撮像部１１は、モード選択部１２１で選択された撮影モードに応じて入力画像を撮影し、該入力画像をモード選択部１２１および画像生成部１２５に送信する。撮像部１１は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを用いたセンサカメラを含む。センサカメラのフィルタがＲ，Ｇ，Ｂフィルタに代表される原色系フィルタである場合、センサカメラから得られる各Ｒ，Ｇ，Ｂ信号に対して逆γ補正した信号を入力画像とすればよい。また、センサカメラのフィルタがＣ，Ｍ，Ｙ，Ｋフィルタに代表される補色系フィルタである場合、センサカメラから得られる各Ｃ，Ｍ，Ｙ，Ｋ信号を逆γ補正した信号やＣ，Ｍ，Ｙ，Ｋ信号を所定の変換方式を用いてＲ，Ｇ，Ｂ信号に変換した後に、逆γ補正した信号を入力画像とすればよい。

尚、入力する信号はＲ，Ｇ，Ｂ信号やＣ，Ｍ，Ｙ，Ｋ信号に限定したものではなく、Ｙ，Ｕ，Ｖ信号などの様々な映像信号形式を用いることができる。例えば、Ｙ，Ｕ，Ｖ信号が入力された場合、所定の変換方式を用いてＲ，Ｇ，Ｂ信号に変換した後に、逆γ補正を施すことで入力画像を取得することができる。センサカメラの映像形式が未知の場合には、各入力信号に対して逆γ補正した信号を入力画像とすればよい。

また、予め塗布物体の吸収特性が既知である場合、塗布物体の吸収特性に合わせて撮像部１１のセンサカメラに任意領域の波長の光のみ通過させるバンドパスフィルタを設置することが望ましい。例えば、塗布物体が日焼け止め剤の場合、紫外線を通過し可視光を吸収する吸収フィルタを設置することが望ましい。

モード選択部１２１は、特性データを演算する特性演算モードと、塗布量データを演算する塗布量演算モードの２つの撮影モードを有し、撮影モードが特性演算モードのときには入力画像を参照領域算出部１２２に送信し、塗布量演算モードのときには入力画像を塗布量演算部１２４に送信する。

参照領域算出部１２２は、入力画像から参照画像を算出して特性演算部１２３に送信する。参照画像は、当該被写体において塗布物が未塗布である被写体領域の画像と、当該被写体において塗布物が塗布された塗布領域の画像である。

特性演算部１２３は、参照画像から被写体の反射特性データと塗布物の吸収特性データを示す特性データを演算し、該特性データを塗布量演算部１２４に送信する。

塗布量演算部１２４は、被写体に塗布された塗布物の塗布量を示す塗布量データを入力画像と特性データとに基づいて演算し、該塗布量データを画像生成部１２５に送信する。

画像生成部１２５は、利用者に塗布量を提示する表示画像を入力画像と塗布量データとに基づいて生成し、該表示画像を表示部１３に送信する。

表示部１３は、表示画像を利用者に提示する。

次に、画像処理装置１の動作の詳細について説明する。図２は、画像処理装置１の動作を示すフローチャートである。

Ｓ２０１では、モード選択部１２１により撮影モードが選択される。撮影モードとしては、被写体の反射特性データと塗布物の吸収特性データを演算する特性演算モードと、これら特性データを利用して被写体に塗布された塗布物の量を演算する塗布量演算モードとがある。

撮影モードは、利用者に選択させても良いし、画像処理装置１が自動で選択しても良い。自動選択の場合、例えば初回使用時には撮影モードとして特性演算モードが選択され、２回目以降の使用時には撮影モードとして塗布量演算モードが選択される。また、現在時刻と特性データの算出時刻から撮影モードを自動選択してもよい。この場合、画像処理装置１により特性データが演算されてから一定時間が経過した時点で特性演算モードが選択され、それ以外は塗布量演算モードが選択される。選択された撮影モードは、撮像部１１に伝えられる。

Ｓ２０２では、Ｓ２０１で選択された撮影モードに応じて撮像部１１により入力画像が撮影される。特性演算モードの場合、当該被写体において、塗布物の塗布のない被写体領域が含まれる入力画像と、当該被写体において、塗布物が塗布された塗布領域が含まれる入力画像とが撮影される。入力画像については、被写体領域画像と塗布領域画像を個別に撮影しても良いし、これら２つの領域を含む１枚の入力画像を一度に撮影しても良い。個別に撮影する場合の撮影例を図３に示し、２領域を含む画像を撮影する場合の撮影例を図４に示す。

図３は、利用者が撮影機器３０１を右手に持ちながら被写体３００に向けて入力画像を撮影する状況を示している。撮影機器３０１は、画像処理装置１に相当し、その背面には撮像部１１（センサカメラ）を有する。撮影時には、表示画面に枠３０３を表示し、撮影対象をこの枠３０３に合わせるよう利用者に促すインストラクション３０２を表示することが好ましい。塗布物の塗布のない被写体領域を撮影するとき（例えば１回目）は、「枠内に肌を撮影してください。」と表示する。塗布物が塗布された塗布領域を撮影するとき（例えば２回目）は、「枠内に日焼け止め塗布領域を撮影してください。」と表示する。尚、ボタン３０４を通じた指示によって利用者が枠３０３のサイズを変更できることが好ましい。また、枠３０３の表示によるインストラクションの他に、撮影方法の説明を表示したり、撮影を補助する記号またはイラストを表示したり、音声誘導などによるインストラクションを利用者に与えてもよい。

図４のように被写体領域および塗布領域を含む入力画像を一度に撮影する場合、利用者はインストラクション３０５に従い、塗布物の塗布のない被写体領域と塗布物が塗布された塗布領域とが、それぞれ指定領域３０６，３０７に含まれるように撮影が行われる。この時の撮影タイミングは利用者が手動で決定しても良いし、撮影タイミングを自動的に決定しても良い。撮影タイミングを自動で決定する場合、上記２つの指定領域３０６，３０７内の画素信号を所定のクラスタリング手法で分類し、これら２領域に含まれる信号が最も分離されるタイミングを撮影タイミングとして入力画像を取得すればよい。例えばＫ−ＮＮ法やＷａｒｄ法、Ｋ−Ｍｅａｎｓ法などのクラスタリング手法を用いて、各領域の画素信号を任意数の画素集合に分類することができる。

塗布量演算モードの場合、当該被写体において塗布物の塗布量やむらを確認したい領域が撮影される。

特性演算モードおよび塗布量演算モードのいずれの場合においても、撮像部１１により撮影された入力画像は、モード選択部１２１に送信される。

Ｓ２０３では、撮影モードに応じて入力画像の送信先が決定される。特性演算モードの場合には、入力画像がモード選択部１２１から参照領域算出部１２２に送信される。塗布量演算モードの場合には、入力画像がモード選択部１２１から塗布量演算部１２４に送信される。

Ｓ２０４では、参照領域算出部１２２により、入力画像に含まれる被写体領域と塗布領域から参照画像が算出される。算出された参照画像は特性演算部１２３に送信される。参照画像は、当該被写体において最も塗布物の塗布量が少ない領域である被写体領域画像と、当該被写体における塗布領域内で最も塗布量が多い領域である塗布領域画像である。

被写体領域から被写体領域画像を算出し、塗布領域から塗布領域画像を算出する手法としては、各領域の中心の任意サイズの矩形領域をトリミングする方法と、既存のクラスタリング手法で各領域の画素信号を分類する方法とがある。

後者の手法では、例えばＫ−ＮＮ法やＷａｒｄ法、Ｋ−Ｍｅａｎｓ法などのクラスタリング手法を用いて各領域の画素信号を任意数の画素集合に分類する。この分類された複数の画素集合のなかで、被写体領域と塗布領域の各領域に占める割合の最も多い画素集合に分類された画素信号を多く含むように領域を決定すればよい。

具体的には、分類された画素集合が各領域に占める割合を被写体領域画像らしさの尤度、塗布領域画像らしさの尤度とする。これら尤度を領域内の各画素に付加し、各領域について尤度が最大となる画像領域を算出することで被写体領域画像と塗布領域画像を算出することができる。また、各領域の画素信号を分類した時に、各領域で最も支配的な画素集合の平均画素やメディアン画素を中心に画像領域を選択することで被写体領域画像と塗布領域画像を算出してもよい。

図５に、入力画像に含まれる塗布領域と被写体領域から尤度を算出して、参照画像を算出する例を示す。図５（ａ）は入力画像、図５（ｂ）は尤度画像、図５（ｃ）は参照画像である。図５（ａ）の入力画像の左半分は塗布領域、右半分は被写体領域である。図５（ｂ）の尤度画像は、塗布領域画像らしさの尤度を示す画像であり、画像の輝度が尤度を示す。画像の輝度が明るい画素は、塗布物が塗布されたと分類された画素であり、輝度が暗い画素は、塗布物の塗布のない画素に分類された画素である。図５（ｃ）によれば、参照画像として塗布領域から塗布領域画像が算出され、被写体領域から被写体領域画像が算出されていることがわかる。上述したように、塗布領域画像は、塗布領域内で最も塗布量が多い領域に相当する画像、被写体領域画像は最も塗布物の塗布量が少ない領域に相当する画像である。

Ｓ２０５では、Ｓ２０４で演算された参照画像に基づいて特性演算部１２３により特性データが演算される。特性データは、被写体の反射特性データと塗布物の吸収特性データである。特性データは塗布量演算部１２４に送信される。

まず、特性演算部１２３は、被写体領域画像から反射特性データを演算する。被写体領域画像の画素位置ｘｙの信号のベクトルを

とし、被写体の反射特性データをベクトルＯ＝［Ｏ_Ｒ，Ｏ_Ｇ，Ｏ_Ｂ］^ｔとし、画素位置ｘｙの拡散反射係数をα^ｘｙとすると、ベクトルＹ_ｒ０ ^ｘｙは次式（１）として記述することができる。

ここで、ベクトルＯの絶対値は１である。また、反射特性データのベクトルＯは、撮像部１１のセンサカメラの特性によって変化するため、同一の被写体を撮影してもセンサ特性により変化することが知られている。

式（１）を満たす最適な反射特性データのベクトルＯを求めるには、次式（２）すなわち、

を満たす反射特性データのベクトルＯを求めればよい。式（２）は、例えば勾配降下法やＮｅｗｔｏｎ法などの非線形計画法の所定のアルゴリズムや最小二乗法で求めることができる。ここで、Ｎは被写体領域画像の画素数である。

続いて、特性演算部１２３は、塗布領域画像と、被写体領域画像から求めた被写体の反射特性データとに基づいて、塗布物の吸収特性データを演算する。塗布領域画像の画素位置ｘｙの信号を

とし、被写体領域画像から求めた被写体の反射特性データをベクトルＯ＝［Ｏ_Ｒ，Ｏ_Ｇ，Ｏ_Ｂ］^ｔとし、画素位置ｘｙの拡散反射係数をα^ｘｙとし、塗布物の吸収特性データを
ベクトルＡ＝［Ａ_Ｒ，Ａ_Ｇ，Ａ_Ｂ］^ｔとし、画素位置ｘｙの塗布量をβ^ｘｙとすると、ベクトルＹ_ｒ１ ^ｘｙは次式（３）として記述することができる。

ここで、ベクトルＡの絶対値は１である。また、吸収特性データのベクトルＡは、撮像部１１のセンサカメラの特性によって変化するため、同一の塗布物であってもセンサ特性により吸収特性データのベクトルＡは変化することが知られている。

式（３）を満たす最適な吸収特性データのベクトルＡとして、式（３）を変換した次式（４）すなわち、

を満たす最適な吸収特性データのベクトルＡを求めればよい。式（４）を満たす最適な吸収特性データのベクトルＡを求めるには、次式（５）すなわち、

を満たす吸収特性データのベクトルＡを求めればよい。式（５）は式（２）の最適解の算出方法と同様の手法から求めることができる。

以上のように、入力画像から特性データを演算により求めることができる。特性データは再び特性演算モードが選択されるまで特性演算部１２３に保持される。

尚、被写体領域画像と塗布領域画像に含まれる画素信号全体から反射特性データのベクトルＯと、吸収特性データのベクトルＡとを求める方法を述べたが、被写体領域画像の平均値のベクトルＹ_ｒ０ ^ａｖｅと、塗布領域画像の平均値ベクトルＹ_ｒ１ ^ａｖｅとから、反射特性データのベクトルと吸収特性データのベクトルＡとを求めても良い。この場合、式（２）および式（５）の代わりに次式（６）すなわち、

および次式（７）すなわち、

を解くことで反射特性データのベクトルＯと、吸収特性データのベクトルＡとを得ることができる。

尚、図６に示すように特性演算部１２３に新たに記憶部１２６を追加し、算出された反射特性データを利用者や照明の種類、塗布物の種類に応じて記憶部１２６に複数パターン保持し、用途に応じて適切な反射特性データを記憶部１２６から読み出して使い分ける機能を追加してもよい。

また、特性データは予め任意の初期値を有し、特性演算モードが一度も選択されずに塗布量演算モードが選択された場合に、特性演算部１２３は予め設定された特性データを塗布量演算部１２４に送信する。

また、吸収特性データのベクトルＡの演算時に、塗布量β^ｘｙの最大値β_ＭＡＸや、平均値β_ＡＶＥを求めてもよい。この場合、β_ＭＡＸや、平均値β_ＡＶＥは画像生成部１２５に送信され、塗布物が塗布されている量の閾値として利用される。

Ｓ２０６〜Ｓ２０８は、撮影モードとして塗布量演算モードが選択された場合の入力画像に対する処理を示している。Ｓ２０６では、Ｓ２０２で撮影された入力画像と、Ｓ２０５で求められた特性データとから、塗布量演算部１２４により塗布量データが演算される。塗布量データは、入力画像に写る被写体の各画素位置について、塗布物が塗布された量を示すデータである。求められた塗布量データは画像生成部１２５に送信される。

入力画像の画素位置ｘｙの信号のベクトル

は、Ｓ２０５で求めた反射特性データのベクトルＯ＝［Ｏ_Ｒ，Ｏ_Ｇ，Ｏ_Ｂ］^ｔと、吸収特性データのベクトルＡ＝［Ａ_Ｒ，Ａ_Ｇ，Ａ_Ｂ］^ｔと、画素位置ｘｙの拡散反射係数α^ｘｙと、塗布量β^ｘｙとを用いて、次式（８）として記述することができる。

式（８）を満たす最適なα^ｘｙ、β^ｘｙを求めることで入力画像の各画素位置における塗布量を求めることができる。式（８）を満たす最適なα^ｘｙ、β^ｘｙを求めるには、式（８）を変換した次式（９）すなわち、

を満たす最適なα^ｘｙ、β^ｘｙを求めればよい。

式（９）は、次式（１０）すなわち、

を満たす最適解を算出することで求めることができる。式（１０）の最適解の算出方法はＳ２０５と同様の手法を用いればよい。

以上により、入力画像の画素信号のベクトルＹ_ｉｎ ^ｘｙを、被写体の反射特性データのベクトルＯと、拡散反射係数α^ｘｙと、塗布物の吸収特性データのベクトルＡと、塗布量β^ｘｙとに分離することができる。これより、センサ特性の影響を受ける反射特性のベクトルＯや、吸収特性データのベクトルＡや、照明による陰影変化の影響を受ける拡散反射係数α^ｘｙによらず、塗布物の塗布量β^ｘｙを算出することができる。さらに、同様の処理を入力画像の全ての画素で実施することで塗布量データを求めることができる。

なお、被写体領域画像と塗布領域画像が同一の画像から取得された場合や、被写体領域画像と塗布領域画像が異なる画像から取得された場合であっても、画像を撮影した照明の環境に大きな変化が無ければ、拡散反射係数α^ｘｙと塗布物の塗布量β^ｘｙの分離の性能が良い。

Ｓ２０７では、Ｓ２０２で撮影された入力画像と、Ｓ２０６で求められた塗布量データとから、画像生成部１２５により表示画像が生成される。生成された表示画像は表示部１３に送信され、利用者に塗布量が提示されることになる。

塗布量データは、入力画像における各画素位置の塗布量を示す濃度画像である。表示画像の生成方法としては、例えば塗布量データを直接利用する方法や、入力画像に塗布量データを重畳する方法を用いればよい。さらに、生成された表示画像に対し明度変換やコントラスト変換、ヒストグラム補正、トーンカーブ補正および閾値処理などの画像処理を施すことにより、塗布量が強調された画像を得て、これを表示画像に用いてもよい。閾値処理に使用する閾値は、予め設定した値を使用してもよいし、利用者が手動で変更した値を使用してもよい。

さらに、Ｓ２０５で参照画像から塗布量の最大値β_ＭＡＸや、平均値β_ＡＶＥを算出した場合、β_ＭＡＸや、β_ＡＶＥを用いて算出した値を閾値として、塗布量演算モードで撮影された画像の各画素位置の塗布量が閾値を下回る画像領域を強調して利用者に提示しても良い。

以上の方法の他に、入力画像全体や任意領域の塗布量データの平均スコアから、スコアに応じた濃淡画像やカラー画像やスコアを生成し、表示画像に用いてもよい。

Ｓ２０８では、Ｓ２０７で生成された表示画像が表示部１２により表示される。表示部１３は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。

以上説明した実施形態に係る画像処理装置および方法によれば、まず第１の画像を取得し、第１の画像を用いて被写体の反射特性データを含む特性データを算出する。なお、１枚の第１の画像から被写体の反射特性データだけでなく塗布物の吸収特性データを取得しても良いし、１枚の画像から被写体の反射特性データを取得し、別の画像から塗布物の吸収特性データを取得しても良い。そして、第１の画像を撮像した撮像機器と同一のセンサカメラ特性を持つ撮像機器から撮像された第２の画像について、第１の画像から算出した特性データを用いて塗布量を算出する。このように、第１の画像と第２の画像を同一のセンサカメラ特性を持つ撮像機器から取得することで、センサカメラの特性と照明による陰影の変化によらず、塗布量データを算出することができる。なお、同一のセンサカメラ特性を持つ撮像機器で第１の画像と第２の画像を取得することは、同一の撮像機器で第１の画像と第２の画像を取得することを含む。

従来技術のように、紫外線照明などの特殊な照明装置を用いて塗布物の塗りむらを強調し、その画像を取得して塗布量を算出しようとしても、画像を取得するカメラの特性が考慮されておらず、さらに陰影と塗りむらの判別が困難である。

しかしながら、本実施形態によれば、カメラの特性の影響を受けずに利用者の肌に塗布された日焼け止め剤の塗布量を確認することができる。さらに、入力画像の信号変化から日焼け止め剤の塗布による信号変化と照明による陰影による信号変化を分離することができるために、塗布量データは陰影の影響を受けない。そのため、陰影による変化に左右されず利用者はすばやく日焼け止め剤の塗りむらを確認することができる。また、紫外線照明などの特殊な照明装置を用いる必要もない。

［第２の実施形態］
第２の実施形態は、撮影モードが第１の実施形態とは異なる。本実施形態においては、撮影モードとして、被写体の反射特性データを演算する反射特性演算モードと、１枚の画像から塗布物の吸収特性データを演算した後に塗布量データを演算する吸収特性演算モードと、塗布量演算モードとを有する。

第２の実施形態の画像処理装置は、まず反射特性演算モードにおいて第１の画像を取得して、被写体の反射特性データを演算する。そして、第１の画像を撮像した撮像機器と同一のセンサカメラ特性を持つ撮像機器で撮像された第２の画像を取得する。本実施形態の画像処理装置は、第２の画像から塗布物の吸収特性データを演算し、吸収特性データを演算した第２の画像から塗布物の塗布量を演算する。そして、第１および第２の画像を撮像した撮像機器と同一のセンサカメラ特性を持つ撮像機器で撮像された第３の画像を取得したときに、塗布量演算モードとし、第２の画像から算出された吸収特性データを用いて塗布物の塗布量を演算する。

なお、塗布物の塗布量を演算する場合に、吸収特性演算モードを選択するか、塗布量演算モードを選択するかは、例えば、第１の画像が撮像された時刻と塗布量を演算する時刻との差を用いて判断することができる。第１の画像が撮像された時刻と塗布量を演算する時刻との差が所定の時間以内であれば塗布量演算モードとし、所定の時間を超えるならば吸収特性演算モードとすることができる。また、例えば動画を撮像する場合には、動画の１フレームから所定のフレームは吸収特性演算モードとし、以降のフレームは塗布量演算モードとしても良い。さらに、吸収特性演算モードで複数の第２の画像から吸収特性を演算した場合に、複数の第２の画像から演算した吸収特性の平均値を塗布量演算モードで使用する吸収特性としても良い。

図７は、本実施形態の画像処理装置６を示す図である。画像処理装置６は、図１の画像処理装置１と比較して、撮像部６１および処理部６２におけるモード選択部６２１、参照領域算出部６２２の処理内容が異なる。画像処理装置６は、任意の被写体が写る入力画像を撮影して、被写体に塗布された任意の塗布物の塗布量を提示する表示画像を表示する。

撮像部６１は、モード選択部６２１で選択された撮影モードに応じて入力画像を撮影し、モード選択部６２１および画像生成部１２５に送信する。

モード選択部６２１は、反射特性データを演算する反射特性演算モードと、吸収特性データを演算した後に塗布量データを演算する吸収特性演算モードと塗布量データを演算する塗布量演算モードの３つの撮影モードを有し、撮影モードに応じて入力画像を送信する。反射特性演算モードでは入力画像を参照領域算出部６２２に送信する。吸収特性演算モードでは、入力画像を参照領域算出部６２２および塗布量演算部１２４に送信する。塗布量演算モードでは入力画像を塗布量演算部１２４に送信する。

参照領域算出部６２２は、入力画像から参照画像を算出する。参照画像は被写体に塗布物が未塗布である被写体領域と被写体に塗布物が塗布された塗布領域の画像である。算出された参照画像は特性演算部１２３に送信される。

次に、画像処理装置６の動作の詳細について説明する。図８は、画像処理装置３の動作を示すフローチャートである。Ｓ２０６〜Ｓ２０８は図２の説明と重複するため省略する。

Ｓ７０１では、モード選択部６２１により撮影モードが選択される。撮影モードとして、被写体の反射特性データを演算する反射特性演算モードと、塗布物の吸収特性データを演算した後に塗布量データを演算する吸収特性演算モードと、被写体に塗布された塗布物の量を演算する塗布量演算モードがある。撮影モードは、利用者に選択させても良いし、例えば初回使用時に反射特性演算モードを選択し、それ以外は吸収特性演算モードか塗布量演算モードを選択するようにさせてもよい。選択された撮影モードは撮像部６１に送信される。

Ｓ７０２では、Ｓ７０１で選択された撮影モードに応じて撮像部６１により入力画像が撮影される。反射特性演算モードの場合、被写体において塗布物の塗布のない領域が写る被写体領域画像が撮影される。撮影時は、第１の実施形態と同様に、撮影画面に所定の枠を表示し、撮影する入力画像の指定領域に塗布物の塗布のない領域が含まれるように撮影する旨のインストラクションを利用者に与えることが望ましい。反射特性演算モード以外のモードの場合、被写体において塗布物の塗布量やむらを確認したい領域が入力画像として写る。撮影した入力画像はモード選択部６２１に送信される。

Ｓ７０３およびＳ７０４では、撮影モードに応じて入力画像の送信先がモード選択部６２１により選択される。Ｓ７０３では、反射特性演算モードの場合には、入力画像がモード選択部６２１から参照領域算出部６２２に送信される。それ以外のモードの場合には、Ｓ７０４に進む。

Ｓ７０４において、吸収特性演算モードの場合には、入力画像がモード選択部６２１から参照領域算出部６２２および塗布量演算部１２４に送信される。

Ｓ７０５では、参照領域算出部６２２により、入力画像に含まれる被写体領域から被写体領域画像が算出される。被写体領域画像の算出方法は、Ｓ２０４と同様である。

Ｓ７０６では、Ｓ７０５で算出された被写体画像から、特性演算部１２３により被写体の反射特性データが演算される。求められた反射特性データは塗布量演算部１２４に送信される。被写体領域画像から反射特性データを演算する方法はＳ２０５と同様である。

Ｓ７０７では、参照領域算出部６２２により、入力画像から塗布領域画像が算出される。算出された塗布領域画像は特性演算部１２３に送信される。塗布領域画像を算出する手法として、例えば、入力画像の画素信号を既存のクラスタリング手法で分類する手法を用いればよい。画素信号を任意数の画素集合に分類し、この分類された画素集合のなかで入力画像に占める割合の最も多い画素集合に分類された画素信号を多く含むように領域を決定すればよい。分類された画素集合が入力画像に占める割合を塗布領域画像らしさの尤度として入力画像の各画素に付加し、尤度が最大となる画像領域を算出することで塗布領域画像を算出することができる。

また、入力画像の画素信号と、Ｓ７０５で算出された被写体領域画像の画素信号とを合わせた画素信号をクラスタリングすることで塗布領域画像を算出してもよい。この場合、被写体領域画像と同じ画素集合に分類された画素の尤度を低下させるように塗布領域画像らしさの尤度を算出すればよい。

Ｓ７０８では、Ｓ７０７で算出された塗布領域画像とＳ７０６で算出された反射特性データとを用いて、特性演算部１２３により塗布物の吸収特性データが演算される。吸収特性データの演算方法はＳ２０５と同様である。求められた吸収特性データは塗布量演算部１２４に送信される。

尚、特性データは予め任意の初期値を有する。反射特性演算モードが一度も選択されずに他のモードが選択された場合、特性演算部１２３は予め設定された反射特性データを塗布量演算部１２４に送信する。また、吸収特性演算モードが選択させずに塗布量演算モードが選択された場合、特性演算部１２３は予め設定された吸収特性データを塗布量演算部１２４に送信する。

本実施形態の画像処理装置によれば、第１の実施形態と同様の効果を奏するのみならず、被写体に塗布物を塗布した領域の画像を事前に撮影することなく、被写体に塗布された塗布物の塗布量や塗布むらを利用者に提示することができる。

上記の各実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現可能である。実行されるプログラムは、上述した各機能を含むモジュール構成としてもよい。プログラムはインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ＲＯＭ等に予め組み込んで提供してもよい。

また、上記の各実施形態の画像処理装置は、撮像部と表示部を有するとして説明したが、撮像部と表示部を有さない形態も考えられる。例えば、反射特性を演算するための画像と塗布物の塗布量を演算するための画像が、同一のセンサカメラ特性をもつ機器で撮像されていれば、有線または無線で接続された撮像機器から画像を取得しても良いし、外部の記憶装置に記憶された画像を取得しても良い。また、画像生成部で生成した画像を、外部の表示装置に送信し、外部の表示装置がその画像を表示しても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像処理装置
１１…撮像部
１２…処理部
１３…表示部
１２１…モード選択部
１２２…参照領域算出部
１２３…特性演算部
１２４…塗布量演算部
１２５…画像生成部
１２６…記憶部

Claims (14)

1. 同一のセンサカメラ特性をもつ撮像機器によって撮像された、被写体の反射特性データの演算に使用する第１の画像と、前記被写体に塗布された塗布物の塗布量を示す塗布量データの演算に使用する第２の画像とを取得する取得部と、
   前記第１の画像を用いて前記被写体の反射特性データを演算し、前記第２の画像と、塗布物の吸収特性データと、前記反射特性データとに基づいて、前記塗布物の塗布量データを演算する演算部と、
   前記第２の画像と前記塗布量データとに基づいて、画像を生成する画像生成部と、
   を具備することを特徴とする画像処理装置。
2. 前記第１の画像から被写体に前記塗布物が未塗布である被写体領域を取得する参照領域算出部をさらに有し、
   前記演算部は、前記被写体領域から前記被写体の反射特性データを演算することを特徴とする請求項１に記載の装置。
3. 前記参照領域算出部は、前記第１の画像から塗布物が塗布された塗布領域をさらに取得し、
   前記演算部は、前記塗布領域と前記被写体の反射特性データとを用いて前記塗布物の吸収特性データを演算することを特徴とする請求項２に記載の装置。
4. 前記第２の画像から塗布物が塗布された塗布領域を取得する参照領域算出部をさらに有し、
   前記演算部は、前記塗布領域と前記被写体の反射特性データとを用いて前記塗布物の吸収特性データを演算することを特徴とする請求項１に記載の装置。
5. 前記取得部は、前記第１の画像および前記第２の画像を撮像した撮像機器と同一のセンサカメラ特性をもつ撮像機器によって撮像された第３の画像をさらに取得し、
   前記演算部は、前記第３の画像と前記被写体の反射特性データとを用いて前記塗布物の吸収特性データを演算することを特徴とする請求項１に記載の装置。
6. 任意の波長領域を吸収するフィルタを有する撮像部をさらに有し、
   前記取得部は、前記撮像部から第１の画像および第２の画像を取得することを特徴とする請求項１乃至５のいずれかに記載の装置。
7. 前記撮像部の前記フィルタは、前記第１の画像と前記第２の画像を撮像するときに、同一の構成をもつことを特徴とする請求項５に記載の装置。
8. 前記第１の画像または第２の画像の撮像時において、前記第１の画像または第２の画像の指定領域に前記被写体領域または前記塗布領域が含まれるように前記被写体の撮影方法を誘導するための手段をさらに具備する請求項１乃至７のいずれかに記載の装置。
9. 前記第１の画像の第１の指定領域に前記被写体領域が含まれ、前記第１の画像の第２の指定領域に前記塗布領域が含まれるように前記被写体の撮影方法を誘導するための手段をさらに具備し、
   前記参照領域算出部は、前記第１および第２の指定領域内の画素信号を分類した結果に基づいて前記被写体領域および前記塗布領域を算出する請求項３に記載の装置。
10. 前記参照領域算出部は、
    前記第１の画像の画素信号をクラスタリングすることにより画素集合を算出し、前記画素集合が前記第１の画像に占める割合から算出される尤度を前記第１の画像の各画素に付加し、前記尤度が最も大きくなる領域を前記被写体領域または前記塗布領域として算出する請求項３に記載の装置。
11. 前記反射特性データは、前記被写体の反射特性を示す行列データであり、前記行列データの各成分は前記第１の画像の画素信号の各波長信号から算出される請求項１乃至１０のいずれかに記載の装置。
12. 前記吸収特性データは、前記塗布物の吸収特性を示す行列データであり、
    前記反射特性データと前記塗布領域の画素の各波長信号の信号比を分解することで、前記行列データの各成分が算出される請求項３乃至５のいずれかに記載の装置。
13. 利用者や照明の種類、塗布物の種類を含む用途に応じて、前記反射特性データの複数のパターンを記憶する記憶部をさらに具備する請求項１乃至１２のいずれかに記載の装置。
14. 第１の画像を取得するステップと、
    前記第１の画像を用いて前記被写体の反射特性データを演算するステップと、
    前記第１の画像を撮影した撮像機器と同一のセンサカメラ特性を有する撮像機器によって撮像された第２の画像を取得するステップと、
    前記被写体の反射特性データと、前記第２の画像と、塗布物の吸収特性データとに基づいて、前記被写体に塗布された前記塗布物の塗布量データを演算するステップと、
    前記第２の画像と前記塗布量データとに基づいて表示画像を生成するステップと、
    を具備する画像処理方法。

Images