JP7011694B2 - 画像処理装置およびその制御方法、プログラム - Google Patents

Description

本発明は、画像処理装置およびその制御方法、プログラムに関する。

従来、写真撮影では、撮影時に補助照明やレフ板を用いて被写体に生じる光と影の領域を調節することにより、被写体の印象を所望のものに変化させることができる。一方、撮影後に、画像処理によって被写体の顔領域に陰影成分を付加することにより、被写体に生じる光と影の領域を調節する技術が知られている（特許文献１）。この技術を用いれば、絵画的な印象深い画像や立体感を強調した画像を得ることができる。

特開２０１２－１０５０１６号公報

しかしながら、特許文献１で開示された技術は、所定の方向からの光によって顔領域に生じる２次元状の陰影パターンを予め保持し、選択された陰影パターンを、撮影画像内の人物の輪郭や目鼻の位置に合わせて当てはめるものである。したがって、陰影の状態が所定の方向からの陰影パターンに限られ、個々の被写体の形状に応じた自然な陰影状態を得ることは困難である。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、個々の被写体の形状に応じた、所望の陰影状態を有する画像を生成することが可能な画像処理装置およびその制御方法、プログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、被写体を含んだ画像を取得する第１の取得手段と、前記被写体の表面の顔領域の法線情報を取得する第２の取得手段と、前記画像に仮想的な光である仮想光の効果を付与するための仮想光源のパラメータを設定する設定手段と、前記法線情報及び前記仮想光源のパラメータに基づき、前記画像に仮想的な光である仮想光の効果として陰影を付与する処理手段と、前記顔領域の向きまたは姿勢に応じて、前記第２の取得手段により取得された法線情報を補正する補正手段と、を有し、前記処理手段は、前記補正手段により補正された法線情報を用いて、前記仮想光の効果を付与する、ことを特徴とする。

本発明によれば、個々の被写体の形状に応じた、所望の陰影状態を有する画像を生成することが可能になる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１に係る画像処理部の機能構成例を示すブロック図 実施形態１に係るリライティング処理部の機能構成例を示すブロック図 実施形態１に係るリライティングによる反射成分を説明する図 実施形態１に係る照明モードを説明する図 実施形態１のリライティングパラメータの決定処理に係る一連の動作を示すフローチャート 実施形態１に係る法線の補正例を説明する図 実施形態１に係る法線の補正特性を説明する図 実施形態１に係る、仮想光源の方向と法線の方向のなす角の補正特性、及び反射光量の補正特性を説明する図 実施形態１に係る、仮想光源の方向と法線の方向のなす角のヒストグラムを説明する図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、画像を撮影して被写体の陰影状態を変更可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、撮像が可能なデジタルカメラに限らず、撮影された画像を取得して被写体の陰影状態を変更可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、車載機器や監視システム、医療機器などが含まれてよい。

（デジタルカメラ１００の構成）
図１は、本実施形態の画像処理装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

撮影光学系１０１はズームレンズ、フォーカスレンズ等のレンズ群を含む。シャッター１０２は絞り機能を備え、所定の時間の間、撮像部１０３に含まれる撮像素子を露光する。撮像部１０３は、光電変換素子を有する画素が複数、２次元状に配列された撮像素子を有し、撮影光学系１０１により結像された被写体光学像を電気信号に変換して画像信号を出力する。撮像素子はＣＣＤやＣＭＯＳイメージセンサ等であってよい。Ａ／Ｄ変換部１０４は、アナログ信号をデジタル信号（画像データ）に変換する回路である。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力される画像データに対し、所定の各種画像処理を行う。メモリ制御部１０７は、制御回路を含み、後述するリライティング処理部１１４や顔検出部１１３等からの画像メモリ１０６に対する入出力を制御する。

Ｄ／Ａ変換部１０８は、メモリ制御部１０７から読み出されたデジタル信号をアナログ信号に変換する回路であり、変換したアナログ信号を表示部１０９に出力する。表示部１０９はＬＣＤ等の表示装置を含み、撮影された画像データやデジタルカメラ１００を操作するためのＧＵＩを表示する。コーデック部１１０は、処理回路又は処理モジュールを含み、画像データを圧縮符号化すると共に、圧縮された画像データを復号する。

Ｉ／Ｆ１１１は、記録媒体１１２とのインタフェースを構成し、記録媒体との間の画像データの書き込みや読み込みを制御する。記録媒体１１２は、例えばメモリカードやハードディスク等の不揮発性の記録媒体を含み、撮影された画像データを記録する。

顔検出部１１３は、処理回路又は処理モジュールを含み、撮影された画像データを入力して画像内の人物の顔領域を検出する。リライティング処理部１１４は、撮影された画像データを入力して、後述するリライティング処理を行う。

システム制御部５０は、例えば、ＣＰＵ（又はＭＰＵ）を含み、不揮発性メモリ１２１に記憶されたプログラムをシステムメモリ１２２に展開、実行してデジタルカメラ１００の各部を制御したり、各部の間で行われるデータ転送を制御したりする。また、システム制御部５０は、ユーザからの操作を受け付ける操作部１２０からの操作信号に応じて、デジタルカメラ１００の各部を制御する。

操作部１２０は、例えば、電源ボタン、静止画記録ボタン、動画記録開始、停止を指示するボタンなどの撮影に関連する各種操作を入力するスイッチ類を含む。また、操作部１２０は、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を有し、ユーザによりこれらのキーやボタンが操作されるとシステム制御部５０に操作信号を送信する。

不揮発性メモリ１２１は、プログラムやパラメータなどを格納する、例えばＥＥＰＲＯＭなどの不揮発性メモリである。システムメモリ１２２は、揮発性メモリを含み、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を一時的に記憶する。光源装置１２３は、例えばストロボを含む光を発生させる光源装置である。測距センサ１２４は、被写体とデジタルカメラ１００との距離を測定するセンサを含み、上述した撮像素子の各画素に対応する被写体距離情報を２次元の距離マップ画像を生成して出力する。

次に、デジタルカメラ１００において被写体を撮影する際の、基本的な動作について説明する。まず、撮像部１０３は、撮影光学系１０１及びシャッター１０２を介して入射した光線を光電変換し、アナログ画像信号としてＡ／Ｄ変換部１０４へ出力する。Ａ／Ｄ変換部１０４は、撮像部１０３から入力された画像信号をデジタル画像信号（画像データ）に変換して画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から入力された画像データ、又は、メモリ制御部１０７から入力された画像データに対して、所定の画像処理、例えばホワイトバランスなどの色変換処理、ガンマ処理、輪郭強調処理などを行う。また、画像処理部１０５では、顔検出部１１３による顔検出処理の結果や撮像した画像データを用いて、所定の評価値を算出する。そして、システム制御部５０は得られた評価値に基づいて露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などが実現される。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に格納される。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを記憶する。また、表示部１０９は、ＬＣＤ等の表示装置に、Ｄ／Ａ変換部１０８からの得られるアナログ信号に応じた表示を行う。コーデック部１１０は、画像メモリ１０６に記憶された画像データをＪＰＥＧ、ＭＰＥＧなどの規格に基づきそれぞれ圧縮符号化する。システム制御部５０は符号化された画像データをＩ／Ｆ１１１を介して記録媒体１１２に記録する。

（画像処理部１０５の構成）
次に、図２を参照して、画像処理部１０５の機能構成例について詳細に説明する。

画像処理部１０５に入力された画像データは同時化処理部２００に入力される。同時化処理部２００は、入力されたベイヤーＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ、Ｇ、Ｂをそれぞれ生成する。

ＷＢ増幅部２０１は、システム制御部５０により算出されるホワイトバランスゲイン値に基づき、ＲＧＢの各色信号にゲインをかけ、ホワイトバランスを調整する。ＷＢ増幅部２０１が出力したＲＧＢ信号は、輝度色信号生成部２０２に入力される。輝度色信号生成部２０２は、ＲＧＢ信号から輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０３へ、色信号ＲＧＢを色変換処理部２０５へそれぞれ出力する。

輪郭強調処理部２０３は、輝度信号Ｙに対して輪郭強調処理を行って、輪郭（エッジともいう）の強調された画像データを輝度ガンマ処理部２０４へ出力する。輝度ガンマ処理部２０４は、輪郭の強調された輝度信号Ｙに対してガンマ補正を行って、輝度信号Ｙを例えば表示部１０９の表示特性に合わせて変換する。輝度ガンマ処理部２０４は、変換後の輝度信号Ｙを、画像処理部１０５の出力輝度信号として出力する。

色変換処理部２０５は、ＲＧＢ信号に対するマトリクス演算などにより、所望のカラーバランスへ変換する。色ガンマ処理部２０６では、ＲＧＢの色信号に対してガンマ補正を行って、色信号を例えば表示部１０９の表示特性に合わせて変換する。色ガンマ処理部２０６は、変換後のＲＧＢの色信号を色差信号生成部２０７に出力する。色差信号生成部２０７では、ＲＧＢの色信号から色差信号Ｒ－Ｙ、Ｂ－Ｙ信号を生成して、画像処理部１０５の出力色差信号として出力する。出力された画像信号Ｙ、Ｒ－Ｙ、Ｂ－Ｙ信号は、画像メモリ１０６を介してコーデック部１１０に入力され、圧縮符号化されて記録媒体１１２に記録される。

また、色変換処理部２０５から出力されたＲＧＢの色信号は、評価値取得部２０８にも入力される。評価値取得部２０８は、環境光源によって被写体に生じた陰影の状態を解析するための情報を算出する。評価値取得部２０８は、例えば被写体の平均輝度情報および顔領域の輝度ヒストグラム情報を陰影情報として算出し、算出された評価値は画像処理部１０５から出力される。

（リライティング処理部１１４の構成及び動作）
更に、図３を参照して、リライティング処理部１１４の構成及びその具体的な動作について説明する。なお、操作部１２０に対するユーザ操作によりリライティング処理が選択された場合、リライティング処理部１１４は、画像処理部１０５から出力された画像データに対して、後述する照明モードに応じた、仮想光源を用いたリライティング処理を行う。

ＲＧＢ信号変換部３０１は、画像メモリ１０６から読み出された輝度・色差信号（Ｙ、Ｂ－Ｙ、Ｒ－Ｙ）をＲＧＢ信号に変換して、デガンマ処理部３０２へ出力する。デガンマ処理部３０２は、画像処理部１０５の輝度ガンマ処理部２０４及び色ガンマ処理部２０６により適用されたガンマ特性と逆の特性を適用した演算（デガンマ処理）を行ってリニア信号に変換する。デガンマ処理部３０２は、リニア信号に変換したＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）を、反射成分算出部３０９およびゲイン処理部３０３に出力する。

ゲイン処理部３０３は、入力したＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）の各成分に式１に従うゲイン（１／Ｓ）を乗算したＲＧＢ信号（Ｒｇ、Ｇｇ、Ｂｇ）を出力する。

Ｒｇ ＝ Ｒｔ ／ Ｓ
Ｇｇ ＝ Ｇｔ ／ Ｓ （式１）
Ｂｇ ＝ Ｂｔ ／ Ｓ
但し、ＳはＳ＞１であり、１／Ｓは入力信号の明るさを低下させるゲインである。

法線算出部３０７は、測距センサ１２４から取得した被写体距離情報（すなわち撮影画像の画素単位で得られる２次元の距離情報）から法線マップを算出する。なお、本実施形態に係る法線マップの算出には公知の方法を用いることができるため算出方法についての詳細な説明は省略するが、本実施形態における法線マップの概略について図４を参照して説明する。

図４は、撮影された画像上の水平座標と被写体の存在する３次元の座標との関係を示している。本実施形態では、被写体距離情報を用いることにより、画像上の水平方向の差分ΔＨに対する、距離（奥行き）Ｄの差分ΔＤが得られる。このため、法線算出部３０７は、この差分ΔＨに対する距離の差分ΔＤに基づいて、被写体４０１の表面形状の勾配を算出することができる。そして、算出した勾配に対する法線を求めることにより、被写体の表面形状における法線Ｎを算出することができる。法線算出部３０７は、同様の処理により撮影画像の各画素に対応する法線を算出し、算出した法線を法線マップとして法線補正部３０８へ出力する。

法線補正部３０８は、後述する照明モードに応じた陰影状態に近づけるため、法線マップに含まれる法線Ｎを、システム制御部５０から取得した法線補正特性に基づいて補正する（法線補正処理ともいう）。そして、補正した法線マップを反射成分算出部３０９へ出力する。なお、システム制御部５０から取得する法線補正特性、及び法線補正処理については後述する。

反射成分算出部３０９は、仮想光源と被写体の距離Ｋ、法線Ｎ、仮想光源パラメータ（仮想光源の位置及び強度）に基づいて、仮想光源から出射した光線の、被写体表面における反射成分を算出する。この反射成分は、撮影画像における座標位置ごとに算出することができる。例えば、各座標位置における反射成分は、光源と被写体との距離Ｋの二乗に反比例し、被写体の法線ベクトルＮと光源の方向ベクトルＬの内積に比例するものとして算出される。

再び図４を参照して、上述の光線の反射成分の算出例について説明する。図４に示す例では、仮想光源４０２が被写体４０１に対して距離Ｋ１だけ離れた位置に設定されている。また、方向Ｌ１で仮想光源４０２から出射された光線は、撮影画像の水平画素位置Ｈ１（垂直画素位置は説明の簡略化のため省略）の被写体表面で反射する。水平画素位置Ｈ１における光線の反射成分は、カメラ座標Ｈ１における法線Ｎ１と仮想光源の方向ベクトルＬ１の内積に比例し、仮想光源４０２と被写体位置の距離Ｋ１に反比例する値となる。すなわち、仮想光源による光線の反射成分（Ｒａ、Ｇａ、Ｂａ）は式２のようになる。

Ｒａ ＝ α × （－Ｌ・Ｎ）／Ｋ＾２ × Ｒｗ × Ｒｔ
Ｇａ ＝ α × （－Ｌ・Ｎ）／Ｋ＾２ × １ × Ｇｔ （式２）
Ｂａ ＝ α × （－Ｌ・Ｎ）／Ｋ＾２ × Ｂｗ × Ｂｔ

ここで、αは仮想光源の強度、Ｌは仮想光源の３次元方向ベクトル、Ｎは被写体表面の３次元の法線ベクトル、Ｋは仮想光源と被写体の距離である。また、Ｒｔ、Ｇｔ、Ｂｔは、デガンマ処理部３０２から出力されたＲＧＢ信号であり、Ｒｗ、Ｂｗは仮想光源の色を制御するパラメータである。

反射成分算出部３０９は、式２に従って算出した仮想光源による光線の反射成分（Ｒａ、Ｇａ、Ｂａ）を仮想光源付加処理部３０４へ出力する。そして、仮想光源付加処理部３０４は、ゲイン処理部３０３により出力されたＲＧＢ信号（Ｒｇ、Ｇｇ、Ｂｇ）に含まれる被写体領域に対して、式３に従って仮想光源による光線の反射成分（Ｒａ、Ｇａ、Ｂａ）を付加する。

Ｒｏｕｔ ＝ Ｒｇ ＋ Ｒａ
Ｇｏｕｔ ＝ Ｇｇ ＋ Ｇａ （式３）
Ｂｏｕｔ ＝ Ｂｇ ＋ Ｂａ

仮想光源付加処理部３０４は、仮想光源による反射成分を付加した画像信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）をガンマ処理部３０５に出力する。ガンマ処理部３０５は、表示部１０９の出力特性と整合させるため、ＲＧＢの入力信号に対してガンマ補正を行う。輝度色差信号変換部３０６は、ＲＧＢ信号から輝度・色差信号に変換して変換後の信号を出力する。

（リライティングパラメータの決定処理に係る一連の動作）
次に、図５及び図６を参照して、リライティングパラメータの決定処理に係る一連の動作を説明する。本実施形態におけるリライティングパラメータは、法線補正部３０８が用いる法線の補正特性と、反射成分算出部３０９が用いる仮想光源パラメータ（仮想光源の位置及び強度）とを表す。リライティングパラメータの決定処理は、リライティング処理部１１４によるリライティング処理に必要となるパラメータを決定し、リライティング処理部１１４に提供するための処理である。

なお、システム制御部５０は、本処理に先だって、ユーザによる処理対象の画像データの指定と照明モードの設定とを受け付ける。照明モードは、被写体に対する照明のあて方を選択可能であり、例えばユーザが操作部１２０に含まれるメニュー表示（不図示）において、予め定められた複数の照明モードからいずれかを選択することにより設定される。照明モードには、例えば、１）マニュアル照明モード、２）小顔照明モード、３）スプリット照明モード、４）レンブラント照明モードの４つのモードが含まれる。

図５（Ｂ）～（Ｄ）は、各照明モードによって生じる陰影状態の例を示しており、図５（Ａ）は、他のモードの例との比較のためにリライティング処理を行っていない場合（すなわち処理対象の入力画像データ）の例を示している。図５（Ｂ）は、「小顔照明モード」に設定してリライティング処理を行った場合の画像例である。小顔照明モードでは、被写体の上側に仮想光源を設定して上側から被写体に光をあてて、顔の輪郭の周辺にやや強い陰影を付加するモードである。小顔照明モードでは、被写体の顔を小顔に見せる効果を与えることができる。

図５（Ｃ）は、「スプリット照明モード」に設定してリライティング処理を行った場合の画像例である。スプリット照明モードは、被写体の真横に仮想光源を設定して横から被写体に光をあてるモードである。このモードでは、ダイナミックな陰影効果を与えることができる。

図５（Ｄ）は、「レンブラント照明モード」に設定してリライティング処理を行った場合の画像例である。レンブラント照明モードは、被写体に対して斜め４５度の位置に仮想光源を設定して斜め方向から被写体に光をあてるモードである。このモードでは、顔の立体感を強調した効果を与えることができる。

なお、上述したマニュアル照明モードは、他のモードによらずユーザが操作部１２０を介して仮想光源の位置を設定し、任意に照明を設定可能なモードである。

システム制御部５０は、操作部１２０を介して上述した照明モードが設定されると、照明モードに応じた陰影状態を実現するために、図６に示すリライティングパラメータの決定処理を実行する。なお、本処理はシステム制御部５０が不揮発性メモリ１２１に記憶されたプログラムをシステムメモリ１２２の作業用領域に展開し、実行することにより実現される。

Ｓ６０１では、システム制御部５０は、設定された照明モードがマニュアル照明モードであるか否かを判定する。システム制御部５０は、操作部１２０から通知された照明モードに関する操作情報がマニュアル照明モードを示していない場合、設定された照明モードがマニュアル照明モードでないと判定する。この場合、システム制御部５０は処理をＳ６０２に進める。一方、照明モードに関する操作情報がマニュアル照明モードを示す場合、設定された照明モードがマニュアル照明モードであると判定して、処理をＳ６０７に進める。

Ｓ６０２では、システム制御部５０は、顔検出部１１３を用いて顔検出処理を行い、検出した顔領域を取得する。顔検出部１１３は、処理対象の画像データに対して顔検出処理を実行して画像中の顔領域を特定する。なお、本実施形態に係る顔検出処理は、画像内の顔領域を特定できればどのようなものでもよく、公知の顔検出技術を用いることができるため詳細な説明は省略する。

Ｓ６０３では、システム制御部５０は、画像処理部１０５から出力される評価値を用いて、画像データにおける環境光の状態を解析する。具体的に、システム制御部５０は、まず、取得した顔領域に対応した画像の評価値（評価値取得部２０８により生成された微小ブロック単位の輝度平均値）を取得する。そして、取得した輝度の分布に基づいて所定の数で分割した顔領域のどの領域が明るいか（或いは左右どちらが明るいか）を判定することにより、顔領域の中心と顔領域の明るい領域との関係から環境光の方向を特定する。例えば顔領域を３×３の領域に分割した際に中心の右側の領域が明るいと判定した場合、環境光が右側からあたっているものとして特定する。

Ｓ６０４では、システム制御部５０は、Ｓ６０３で得られた環境光の方向と照明モードとに応じて、リライティングに用いる仮想光源の位置を決定する。例えば、照明モードが「スプリット照明モード」や「レンブラント照明モード」である場合、システム制御部５０は、環境光と同じ方向から仮想光源をあてるようにその方向を決定する。照明モードが「小顔照明モード」である場合、環境光の方向とは無関係に被写体の上側に仮想光源の方向を決定する。システム制御部５０は、例えば、被写体距離情報から得られる被写体の３次元位置と、撮影モードごとに予め定めた仮想光源の距離と、上記仮想光源の方向とに基づいて、仮想光源の位置を決定する。

Ｓ６０５では、システム制御部５０は、設定された照明モードに応じて法線補正特性を決定する。法線補正特性は、（法線補正処理において）法線補正部３０８がどのような法線をどれだけ補正するかを示す情報（すなわち所定の法線の成分に対する法線の補正量を示す情報）である。換言すれば、法線補正特性は、所定の被写体表面における、仮想光源による光線の反射成分の補正量を示す。

具体的な法線補正特性の例を説明する前に、法線補正処理の具体例について、図７を参照して説明する。図７は、被写体と仮想光源の位置関係を示しており、７０１は人物被写体、７０２はリライティングで用いる仮想光源を示している。また、Ｌ７０３は被写体から光源へのベクトル、Ｎ７０４は法線ベクトルを示している。仮想光源の光が反射する強度は、上述の通り光源ベクトルＬ７０３と法線ベクトルＮ７０４のなす角θによって決定される。光源ベクトルＬ７０３と法線ベクトルＮ７０４のなす角θが小さいほど、被写体で反射する光の強さが強くなり、θが大きいほど光の反射は弱くなる。

法線補正部３０８は、照明モードにより定義された所望の陰影状態となるように法線ベクトルＮ７０４（すなわち法線マップに含まれる法線）を補正する。例えば、照明モードが小顔照明モードである場合、図５（Ｂ）のように顔の輪郭に陰影を強く付けた陰影状態にするため、被写体の輪郭部の法線ベクトルを補正して輪郭部により強い陰影を付ける。

図７の例では、法線補正処理により、法線ベクトルＮ７０４が補正法線ベクトルＮ７０５に補正される。すなわち、システム制御部５０は、被写体７０１よりも小さい（小顔の）被写体７０６を仮定して、法線ベクトルＮ７０４を、小顔被写体７０６の法線ベクトル（つまり補正法線ベクトルＮ７０５）となるように補正する。これは、実際の被写体よりも小顔の被写体に生じる陰影を実際の被写体７０１に付けることを意味する。このように、法線補正処理では、光源ベクトルＬ７０３と補正法線ベクトルＮ７０５のなす角θを実際より変更して輪郭の陰影を変更することができる。

法線補正部３０８は、上述した法線ベクトルの補正を法線補正特性に基づいて行う。本実施形態における法線補正特性は、例えば図８（Ａ）～（Ｄ）のようになる。図８の（Ａ）は小顔照明モードの際の法線補正特性であり、横軸は入力画像の法線（入力）を、縦軸は補正後の法線（出力）をそれぞれ示している。小顔照明モードの場合は、顔の輪郭部分に陰影を付加するため、入力画像の法線ベクトル（ｘ、ｙ、ｚ）のｘ軸成分に対して、所定の位置における補正後のｘ軸成分を相対的に大きく（ｘ軸のマイナス側ではマイナス側に大きく）する。これにより図７の補正法線ベクトルＮ７０５に示すような補正効果を得ることができる。

図８（Ｂ）は被写体に向かって右横から照明をあてるスプリット照明モードの場合の補正特性を示している。光源が強くあたる被写体の右側（ｘ軸のプラス側）では法線を補正しないが、被写体の左側（ｘ軸のマイナス側）では陰影が強く生じるように法線を補正する。

また、図８（Ｃ）及び（Ｄ）は斜め４５度から照明をあてるレンブラント照明モードの場合の補正特性を示している。（Ｃ）は法線のｘ軸成分を、（Ｄ）は法線のｙ軸成分の補正特性をそれぞれ示している。スプリット照明モードと同様に、光が強くあたるｘ軸のプラス側では法線を補正しないが、陰影が強く生じるｘ軸のマイナス側では法線を補正する。レンブラント照明モードの場合、斜めから照明をあてるため、ｘ、ｙそれぞれの法線を補正し、より陰影が付きやすくする。

一方、Ｓ６０７では、システム制御部５０は、操作部１２０に対するユーザ操作により仮想光源位置や強さを決定する。

Ｓ６０６では、システム制御部５０は、決定したリライティングパラメータをリライティング処理部１１４に設定する。より具体的に、システム制御部５０は、Ｓ６０５で決定した法線補正特性をリライティング処理部１１４に出力して内部の法線補正部３０８に使用させる。また、システム制御部５０は、Ｓ６０４で決定した仮想光源の位置と、例えば照明モードごとに予め定められた仮想光源の強度とを、リライティング処理部１１４に出力して内部の反射成分算出部３０９に使用させる。そして、リライティング処理部１１４へのリライティングパラメータの設定を終了すると、本処理に係る一連の動作を終了する。

なお、本実施形態では、照明モードを設定し、照明モードごとに定義された陰影状態になるように被写体の法線を補正するようにした。しかし、照明モード以外によって陰影状態を設定するようにしてもよい。例えば、ユーザが所望とする陰影状態を直接入力するようにしてもよい。また、ユーザ操作によって「陰影の強度」が設定された場合、システム制御部５０は、陰影の強度が高くなればなるほど法線の補正量を大きくするように法線補正特性を決定してもよい。

さらに、照明モードでなく、ユーザ操作によって「被写体の形状」が指定された場合、指定された被写体の形状に基づき、陰影状態を定義するようにしてもよい。ここでの被写体の形状とは、実際の被写体の形状は変化させずに、陰影の付け方を変えることで被写体の形状が変わったように見せる見た目の形状を指している。前述の“小顔”も被写体の形状の１つである。つまり、ユーザによって被写体の形状が指定された場合、システム制御部５０は、その形状に見えるような陰影状態を決定し、その陰影状態に近づくように法線補正特性を決定する。

さらに、上記実施形態に加えて、被写体の向きや姿勢によって、目標とする陰影状態を定義するようにしてもよい。例えば顔や体が斜めを向いている場合、より陰影感を出すために法線の補正量を上げるなどの構成をとることができる。

また、本実施形態では、照明モードに応じて法線ベクトルを補正するようにしたが、法線ベクトルを直接補正する以外の構成にしてもよい。例えば、図７に示した法線ベクトルＮと、光源ベクトルＬのなす角θを、法線ベクトルの代わりに補正する方法を取ることも可能である。例えば、図９（Ａ）は、当該なす角θの補正特性を示している。図９（Ａ）では、なす角θがある閾値ＴＨを越えたあたりから、その変化率が大きくなるような補正特性である。このように、法線を直接補正するのではなく角度情報を補正することで、特性の制御がより容易となる場合がある。

さらに、法線ベクトルＮと光源ベクトルＬのなす角θを補正するのではなく、なす角θに対する反射光量の特性を変更してもよい。図９（Ｂ）は法線ベクトルＮと光源ベクトルＬのなす角θに対する、仮想光源の反射光量特性を示した図である。この反射光量特性を補正することによっても、陰影感を制御することが可能である。例えば、図９（Ｂ）に示す反射光量特性から、図９（Ｃ）に示す反射光量特性に補正する。これにより、法線ベクトルＮと、光源ベクトルＬのなす角θが小さい段階から光の反射光量が急激に低下するため、陰影感を強く付けることが可能である。また、図９（Ｃ）のようになす角θに対する反射特性を直接制御することで、例えば陰影の勾配や濃さの制御が容易となる。

また、本実施形態では、１つの照明モードに対して１つの陰影状態が対応付けられており、常に法線補正特性（図８）を用いた法線補正処理を行う場合を例に説明した。しかし、照明モードに対して、適応的に法線補正処理を適用する構成をとってもよい。例えば、システム制御部５０は、被写体の顔領域の法線Ｎと光源ベクトルＬのなす角θのヒストグラムを取得し、この分布に応じて法線補正処理を制御してもよい。図１０に法線Ｎと光源ベクトルＬのなす角θのヒストグラム例を示す。図１０（Ａ）は、なす角θが高い値から低い値まで分布している被写体を示している。なす角θが高い値から低い値まで分布している場合、リライティングによって自然な陰影のグラデーションが付く。一方、図１０（Ｂ）は、なす角θが低い値に度数が集中している被写体を示している。なす角θが低い値に度数が集中するケースには、被写体そのものがあまり凹凸の少ない顔立ちである場合や、法線の推定精度が荒く、なす角θが高くなるような急な角度の情報が取得しにくい場合がある。一般に、なす角θが図１０（Ｂ）のように所定の範囲に分布する場合、目的とする照明モードの陰影感をつけることが困難である。そのため、システム制御部５０は、（図１０（Ｂ）のように）なす角θの分布が偏っているか否かを判定し、なす角θの分布が偏っている（Ｂ）の場合にのみ、前述した法線の補正を行う構成にしてもよい。これにより、法線の検出精度が低い場合や、顔の凹凸が少ない人物を被写体とする場合であってもメリハリのきいた陰影感のある画像を得ることが可能になる。

さらに、照明モードに応じた法線補正特性に限らず、陰影感の決定に影響する情報であれば、どのような情報に基づいて法線を補正してもかまわない。例えば、ユーザが陰影を付ける領域、陰影の濃さ、陰影の勾配などにより所望の陰影感を予め指定し、その陰影感の画像が出力できるように法線を補正するようにしてもよい。

また、本実施形態では、主被写体が人物である場合を例に説明したが、主被写体を人物に限定するものではなく、動物などの他の被写体にも適用可能である。さらに、本実施形態では、陰影を付ける際に元の撮影画像を１／Ｓ倍してゲインを落としてから、リライティングによる反射成分を加算する例を説明した。画像信号と反射成分とを加算できればどのような構成であってもかまわない。例えば、仮想光源の反射量が少ない領域（陰影領域）に対して、輝度成分を減算するようにしてもよい。

以上説明したように、本実施形態では、予め定められた照明モードに応じて法線補正特性を決定すると共に、当該法線補正特性に基づいて被写体の表面形状における法線を補正して、当該表面形状における仮想光源の反射成分を求めるようにした。これにより、単に仮想光源の光線を被写体の表面形状にあてるリライティングを行う場合と比べて、所望の陰影状態を強調したリライティングが可能になる。換言すれば、個々の被写体の形状に応じた、所望の陰影状態を有する画像を生成することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０…システム制御部、１１４…リライティング処理部、３０４…仮想光源付加処理部、３０７…法線算出部、３０８…法線補正部、３０９…反射成分算出部

Claims (6)

1. 被写体を含んだ画像を取得する第１の取得手段と、
   前記被写体の表面の顔領域の法線情報を取得する第２の取得手段と、
   前記画像に仮想的な光である仮想光の効果を付与するための仮想光源のパラメータを設定する設定手段と、
   前記法線情報及び前記仮想光源のパラメータに基づき、前記画像に仮想的な光である仮想光の効果として陰影を付与する処理手段と、
   前記顔領域の向きまたは姿勢に応じて、前記第２の取得手段により取得された法線情報を補正する補正手段と、を有し、
   前記処理手段は、前記補正手段により補正された法線情報を用いて、前記仮想光の効果を付与することを特徴とする画像処理装置。
2. 前記処理手段は、前記顔領域の向きまたは姿勢に応じて、前記第２の取得手段により取得された法線情報を変化させた場合に対応する前記仮想光の効果として、より陰影を強める効果を付与することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の取得手段は、撮像手段であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像の被写体距離情報を取得する第３の取得手段をさらに有し、
   前記第２の取得手段は、前記被写体距離情報に基づき前記法線情報を取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 被写体を含んだ画像を取得する第１の取得工程と、
   前記被写体の表面の顔領域の法線情報を取得する第２の取得工程と、
   前記画像に仮想的な光である仮想光の効果を付与するための仮想光源のパラメータを設定する設定工程と、
   前記法線情報に基づき、前記画像に仮想的な光である仮想光の効果として陰影を付与する処理工程と、
   前記顔領域の向きまたは姿勢に応じて、前記第２の取得工程において取得された法線情報を補正する補正工程と、を有し、
   前記処理工程では、前記補正工程において補正された法線情報を用いて、前記仮想光の効果を付与することを特徴とする画像処理装置の制御方法。
6. コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるプログラム。

Images