JP2009071454A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 顔検出結果に応じて、より安定したホワイトバランス補正を行うこと。
【解決手段】 画像の画像信号を処理する画像処理装置であって、ホワイトバランス（ＷＢ）補正手段（１０３）と、顔領域を検出する顔検出部（１１４）と、画像を複数画素ずつ分割したブロックの内、白色ブロックの画像信号に基づいて、第１のＷＢ補正値を算出する第１の算出手段（１０３）と、顔領域が検出された場合に、該顔領域に含まれるブロックの画像信号を第１のＷＢ補正値でＷＢ補正した肌色平均値の内、肌色領域内及び肌色補正対象領域内にある肌色平均値を加算し、得られた合計画像信号が肌色補正対象領域内にある場合に、合計画像信号が肌色領域内に入るように画像信号を補正する、第２のＷＢ補正値を算出する第２の算出手段（１０３）とを有し、ＷＢ補正手段は、第２のＷＢ補正値が算出された場合に、該第２のＷＢ補正値を用いてＷＢ補正を行う。
【選択図】 図１

Description

本発明は画像処理装置及び方法、及び撮像装置に関し、更に詳しくは、顔検出結果を用いて画像処理を行う画像処理装置及び方法、及び撮像装置に関する。

デジタルカメラ等に用いられている従来のホワイトバランスゲイン算出回路の動作を説明する。まず図８に示すように、予め画面を、複数画素ずつ任意の複数のブロック（ｍ個）に分割する。そして、各ブロック（１〜ｍ）毎に、画素値を各色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出する。そして、例えば以下の式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …（１）
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号

そして、予め様々な光源下で白色被写体を撮影し、色評価値を算出する。これにより、予め設定された図９に示すような白検出範囲３０１に、各ブロック毎に算出された色評価値が含まれる場合、そのブロックは白であると判定する。そして、同様にして白と判定されたブロックの画素値を積分する。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたもので、図９におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり光源が蛍光灯であることを示している。

そして、積分された画素値（sumR、sumG、sumB）より、以下の式（２）を用いてホワイトバランス係数（WBCo_R、WBCo_G、WBCo_B）を算出する。
WBCo_R = sumY × 1024 / sumR
WBCo_G = sumY × 1024 / sumG …（２）
WBCo_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4

しかし、従来のホワイトバランス係数算出方法では、以下のような問題があった。即ち、太陽光のような光源下において、白の色評価値は図９の領域Ａ付近に分布し、肌色の分布は領域Ｂ付近に分布する。太陽光源下における肌色の色評価値は低色光源下における白点の色評価値とほぼ同等の領域に分布する。従って、画角に白色が少なくかつ、図１０のように人がアップで撮影された場合、画面の色評価値は図９の領域Ｂに分布するため、肌色を低色温度下の白色と誤判別し、人の肌を白色に補正してしまうという問題があった。また、人の肌を示す領域付近に分布する有彩色が画角一面にあるときは、その有彩色を白と誤判別して肌を白色に補正してしまう場合もあった。

この問題に対する従来の対処法として被写体照度が明るい場合は外光と判断して、白検出範囲を狭めて肌色を白と誤判別しないような工夫を行っていた。

しかし、一般の蛍光灯類には、白色が領域Ｃ付近となる光源や領域Ｃより下方にも分布する光源も存在し、そういった光源に対応するためには、白検出範囲を拡大しなければならない。だが、低照度の高色温度蛍光灯や中色温度蛍光灯類での肌色分布は黒体放射軸の下方向（領域Ｃ）付近に分布するケースがあり、白検出範囲を拡大することで肌色を白と誤判別してしまい、肌色が褪色するようなケースがあった。

そこで、特許文献１記載の方法では、顔検出を行い、顔が検出された場合は顔の肌色を抽出し、基準の肌と比較しその結果を基にホワイトバランス補正を行うという提案がなされている。

米国特許第６９７５７５９号

しかしながら、上述した従来のホワイトバランス補正値算出方法においては、顔検出回路において顔を誤認識した場合が考慮されていない。そのため顔検出回路において顔ではない領域を顔と誤検出した場合にも、その顔ではない領域を適正な肌色にするように動作するため、結果として所望なホワイトバランス補正値を得ることができないことがあるという欠点があった。

また、処理速度等の撮像装置のパフォーマンスによっては、撮影時に顔検出ができない場合がある。そのような撮像装置において、撮影準備段階で顔が検出されていても、撮影時に被写体の位置がずれてしまうようなケースが生じることがあるが、そのような場合についても考慮されていない。つまり撮影準備時に正しく顔を検出した場合であっても、結果としてホワイトバランス補正精度が低くなることがあるという欠点があった。図１１はＳＷ１までに顔検出を行い、ＳＷ２（本撮影）直前で被写体の位置がずれた場合を示した例である。ＳＷ１直前に得られた顔検出結果を利用することにより、ＳＷ２時（本撮影時）に正しい顔色評価値を取得できなくなり、ホワイトバランス補正精度が低くなってしまう。

本発明は上記問題点を鑑みてなされたものであり、撮像を行って得られた画像の画像信号を処理する本発明の画像処理装置は、前記画像信号にホワイトバランス補正を行うホワイトバランス補正手段と、前記画像から顔領域を検出する顔検出手段と、前記画像を複数画素ずつ分割したブロックの内、白色を表す色信号領域内にあるブロックの画像信号に基づいて、前記ホワイトバランス補正に用いる第１のホワイトバランス補正値を算出する第１の算出手段と、前記顔検出手段により顔領域が検出された場合に、該顔領域に含まれるブロックの画像信号を前記第１のホワイトバランス補正値によりホワイトバランス補正した補正画像信号の内、肌色を表す第１の色信号領域内及び該第１の色信号領域の周辺領域である第２の色信号領域内にある補正画像信号を抽出して加算し、該加算して得られた合計画像信号が前記第２の色信号領域内にある場合に、前記合計画像信号が前記第１の色信号領域内に入るように前記画像信号を補正する、第２のホワイトバランス補正値を算出する第２の算出手段とを有し、前記ホワイトバランス補正手段は、前記第２のホワイトバランス補正値が算出された場合に、前記第２のホワイトバランス補正値を用いてホワイトバランス補正を行う。

また、本発明の撮像装置は、撮像して得られた画像の画像信号を出力する撮像手段と、上記画像処理装置とを含む。

また、撮像を行って得られた画像の画像信号を処理する本発明の画像処理方法は、前記画像から顔領域を検出する顔検出工程と、前記画像を複数画素ずつに分割したブロックの内、白色を表す色信号領域内にあるブロックの画像信号に基づいて、前記ホワイトバランス補正に用いる第１のホワイトバランス補正値を算出する第１の算出工程と、前記顔検出工程で顔領域が検出された場合に、該顔領域に含まれるブロックの画像信号を前記第１のホワイトバランス補正値によりホワイトバランス補正した補正画像信号の内、肌色を表す第１の色信号領域内及び該第１の色信号領域の周辺領域である第２の色信号領域内にある補正画像信号を抽出して加算し、該加算して得られた合計画像信号が前記第２の色信号領域内にある場合に、前記合計画像信号が前記第１の色信号領域内に入るように前記画像信号を補正する、第２のホワイトバランス補正値を算出する第２の算出工程と、前記画像信号に前記第１または第２のホワイトバランス補正値を用いてホワイトバランス補正を行うホワイトバランス補正工程とを有し、前記ホワイトバランス補正工程では、前記第２のホワイトバランス補正値が算出された場合に、前記第２のホワイトバランス補正値を用いてホワイトバランス補正を行う。

本発明によれば、顔検出結果に応じて、より安定したホワイトバランス補正を行うことができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、画像処理装置の一例として、本発明の実施の形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。

図１において、１０１はＣＣＤやＣＭＯＳ等から成る固体撮像素子であり、その表面は、例えばベイヤー配列のＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。１０２はメモリで、撮像素子１０１から得られた画像信号を一旦記憶する。

１１４は顔検出部であり、メモリ１０２に記憶された画像信号から、顔領域を検出する。なお、顔領域を検出する技術としては様々な手法が提案されており、顔の位置およびサイズ情報を取得できればどのような手法を用いてもよく、本願発明は、顔検出の手法により制限されるものではない。例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる（例えば、特開平１０−２３２９３４号公報、特開２０００−４８１８４号公報を参照）。他に、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔検出する方法等や、テンプレートマッチング等を組み合わせた方法などがある。

ここで、顔検出の手法として、パターン認識の一つであるテンプレートマッチングについて説明する。パターン認識とは、観測されたパターンをあらかじめ定められた概念（クラス）の一つに対応させる処理である。図２は、パターン認識処理のフローチャートであり、顔検出部１１４によって実行される。

先ず、メモリ１０２から画像データを読み出して前処理し（ステップＳ１）、前処理された画像データから特徴的部分のパターンを抽出する（ステップＳ２）。そして、抽出されたパターンをテンプレート（標準パターン）に対応させる（テンプレートマッチング）。例えば、図３に示すように特徴的部分のパターン６３が抽出された場合、テンプレート６１の中心点６２を取得したパターン６３のある座標点（ｉ，ｊ）に置く。そして、中心点６２のパターン６３における位置をずらしながら、テンプレート６１とパターン６３との重なり部分の類似度を計算して行き、類似度が最大になる位置を決定する。パターン６３を例えば目や耳等の形状を含むテンプレート６１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。

このようにして、認識パターンを取得して（ステップＳ３）、取得した認識パターンを出力し（ステップＳ４）、パターン認識処理を終了する。

図１の説明に戻る。ＣＰＵ１１５では、顔検出部１１４から送られた信号に基づいて、顔が検出されていれば、顔が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算し、また顔に合焦するようにフォーカスレンズの駆動量を計算する。一方、顔が検出されていなければ、ＣＰＵ１１５は画像全体が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算すると共に、予め設定された合焦領域内にある被写体に合焦するようなフォーカスレンズの駆動量を計算する。ＣＰＵ１１５で計算された露出値（Ｔｖ、Ａｖ）及びフォーカスレンズの駆動量は制御回路１１３に送られ、各値に基づいて不図示のレンズや絞り、シャッター、撮像素子１０１がそれぞれ制御される。

１０３はホワイトバランス（ＷＢ）制御部であり、メモリ１０２に記憶された画像信号及び顔検出部１１４から得られる顔情報に基づいてＷＢ補正値を算出する。そして、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してホワイトバランス補正（ＷＢ補正）を行う。即ち、ＷＢ制御部１０３は、ホワイトバランス補正手段と、第１の算出手段及び第２の算出手段とに対応する。なお、このＷＢ制御部１０３で用いられるＷＢ補正値の算出方法については、詳細に後述する。

１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色変換マトリックス（ＭＴＸ）回路である。１０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路、１０６はＬＰＦ回路１０５で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Chroma Supress）回路である。

一方、ＷＢ制御部１０３によりＷＢ補正された画像信号は輝度信号（Ｙ）生成回路１１１にも出力されて輝度信号Ｙが生成され、生成された輝度信号Ｙに対してエッジ強調回路１１２にてエッジ強調処理が施される。

ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ補正回路１０８にて階調補正が施される。その後、色輝度変換回路１０９にてＹＵＶ信号に変換され、更に圧縮回路１１０にて例えばＪＰＥＧ圧縮されて、外部記録媒体または内部記録媒体に画像信号として記録される。

次に、本実施の形態におけるＷＢ補正値の算出方法について図４を参照して説明する。本実施の形態におけるＷＢ補正値の算出方法は、顔検出結果に応じて顔領域が最適となるようなＷＢ補正値を得ることができるようにするものである。なお、顔検出処理は図４に示す処理が行われる直前に、得られた画像信号に基づいて、例えば図２及び図３を参照して上述した方法により顔検出部１１４により行われ、顔検出結果がすでに得られているものとする。また、ここで行われるＷＢ補正値の算出は、ＣＰＵ１１５が行うように構成しても、ＷＢ制御部１０３が行うように構成しても、更には、ＷＢ補正値算出用の専用の構成を追加するようにしても、何れでも構わない。

先ず、ステップＳ１１において、メモリ１０２に記憶された画像信号から白画素の検出を行って第１のホワイトバランス補正値（第１のＷＢ補正値）を算出する。ここで、第１のＷＢ補正値の算出方法について、図５を参照して詳しく説明する。

まず、メモリ１０２に記憶された画像信号を読み出し、その画面を図８のような任意のm個のブロックに分割する（ステップＳ１０１）。そして、各ブロック（１〜ｍ）毎に、画素値を各色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する（ステップＳ１０２）。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …（１）
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号

次に、ステップＳ１０２で算出したｉ番目のブロックの色評価値（Cx[i]、Cy[i]）が、図９に示す予め設定した白検出範囲３０１に含まれるかどうかを判断する（ステップＳ１０３）。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。図９におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり光源が蛍光灯であることを示している。

算出した色評価値（Cx[i]、Cy[i]）がこの白検出範囲３０１に含まれる場合には（ステップＳ１０３でＹＥＳ）そのブロックが白色であると判断する。そして、そのブロックの色平均値（R[i]、G[i]、B[i]）を積算していき（ステップＳ１０４）、含まれない場合には加算せずにステップＳ１０５に進む。このステップＳ１０３及びステップＳ１０４の処理は、式（３）により表すことができる。

ここで、式（３）において、色評価値（Cx[i]、Cy[i]）が白検出範囲３０１に含まれる場合はSw[i]を１に、含まれない場合にはSw[i]を０とする。このようにして、ステップＳ１０３の判断により色平均値（R[i]、G[i]、B[i]）の加算を行うか、行わないかの処理を実質的に行っている。
ステップＳ１０５では、全てのブロックについて上記処理を行ったかどうかを判断し、未処理のブロックがあればステップＳ１０２に戻って上記処理を繰り返し、全てのブロックの処理が終了していればステップＳ１０６に進む。

ステップＳ１０６では、得られた色評価値の積分値（sumR、sumG、sumB）から、以下の式（４）を用いて、第１のＷＢ補正値（WBCo1_R、WBCo1_Ｇ、WBCo1_Ｂ）を算出する。
WBCo1_R = sumY × 1024 / sumR
WBCo1_G = sumY × 1024 / sumG …（４）
WBCo1_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4

上述したようにして第１のＷＢ補正値を算出すると、ステップＳ１２において顔が検出されているかどうかを判断する。顔が検出されていなければ、ステップＳ１１で算出した第１のＷＢ補正値をＷＢ制御部１０３でＷＢ処理に使用するＷＢ補正値と決定して（ステップＳ２０）、処理を終了する。

顔が検出されていれば、ステップＳ１３において顔領域のブロックを取得し、そのブロックの内の１つのブロックについて、第１のＷＢ補正値を算出するためにステップＳ１０２で求めた色平均値（R[i]、G[i]、B[i]）を取得する（ステップＳ１４）。

次に、ステップＳ１４で取得した色平均値にステップＳ１１で求めた第１のＷＢ補正値をそれぞれ乗じて、肌色平均値（顔領域の色平均値を第１のＷＢ補正値によりＷＢ補正した値、補正画像信号）を求める。そして、この肌色平均値が肌色領域（図６の領域（Ａ））、肌色補正対象領域（図６の領域（Ｂ））、肌色補正対象外領域（図６の領域（Ｃ））のいずれにあるのかを判定する（ステップＳ１５）。なお、肌色領域（Ａ）は第１の色信号領域に対応し、肌色補正対象領域（Ｂ）は、第１の色信号領域の周辺領域である第２の色信号領域に対応する。図６の肌色領域（Ａ）内（第１の色信号領域内）もしくは肌色補正対象領域（Ｂ）内（第２の色信号領域内）にある場合、肌色平均値をそれまでに算出された肌色平均値の合計に加算する（ステップＳ１６）。また、肌色補正対象外領域（Ｃ）にあれば、そのブロックの肌色平均値は加算せずに、そのままステップＳ１７に進む。なお、図６に示す肌色領域（Ａ）及び肌色補正対象領域（Ｂ）は、例えば、太陽光などの白色光下で予め肌色を複数撮影し、統計的な手法を用いて設定することができる。

例えば、顔を誤検出した場合（図６（ｂ）に示すような場合）や被写体が完全にずれた場合には、ブロックの肌評価値が図６の肌色補正対象外領域（Ｃ）に分布する場合が多い。顔領域がずれた場合（図６（ｃ）に示すような場合）は顔領域の肌評価値は図６の肌色領域（Ａ）または肌色補正対象領域（Ｂ）に分布することが多い。このように、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）にあるブロックのみを抽出して、ＷＢ演算処理に反映させる。なお、ステップＳ１５の判断により肌色補正対象外領域（Ｃ）にある肌色評価値を除外するのではなく、重み付けによる加重加算を行ってもよい。その際には、肌色補正対象外領域（Ｃ）にある肌色評価値にかける重みを、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）にある肌色評価値にかける重みに対して低く設定しておく。

上述した処理を取得したブロック数分（ステップＳ１７でＹＥＳとなるまで）行ってから、ステップＳ１８に進む。ステップＳ１８では、ステップＳ１６で加算して得られた肌色平均値の合計（合計画像信号）が肌色補正対象領域（Ｂ）内にあるかどうかを判断する。

図６の肌色領域（Ａ）に入っている場合は（ステップＳ１８でＮＯ）、第１のＷＢ補正値により肌色が適正にＷＢ補正されたと判断できるため、第１のＷＢ補正値を使用すると決定する（ステップＳ２０）。肌色補正対象領域（Ｂ）内にある場合は（ステップＳ１８でＹＥＳ）、第１のＷＢ補正値により補正された肌色が適正にＷＢ補正されなかったと判断できる。従って、肌色領域方向に移動するような第２のホワイトバランス補正値（第２のＷＢ補正値）を算出する（ステップＳ１９）。また、肌色補正対象領域外（Ｃ）にある場合は（ステップＳ１８でＮＯ）、検出された肌色評価値が人の肌を表していないと判断し、第１のＷＢ補正値を使用する（ステップＳ２０）。

図７にステップＳ１９で行う第２のＷＢ補正値算出の概念を示す。図７は、ある光源下において肌色が白色と誤認識され、第１のＷＢ補正値が算出された場合を想定している。第１のＷＢ補正値が適正なＷＢ補正値より低色温度方向に位置しているために、第１のＷＢ補正後の肌色が寒色方向に推移している。この場合、肌色評価値は適正な肌色を示す領域よりも寒色方向に位置しているため、ホワイトバランス補正値としてＲゲインを第１のＷＢ補正値よりも大きくかけることにより、適正肌色に補正することが可能になる。

上記の通り、本実施の形態によれば、顔を誤認識した場合や撮影時の被写体ずれによる誤補正、過補正を低減することができるため、顔検出結果に応じて、より安定したホワイトバランス補正を行うことが可能になる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の実施の形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。 テンプレートマッチングによるパターン認識処理を説明するフローチャートである。 テンプレートマッチングの概念を説明する図である。 本発明の実施の形態におけるＷＢ補正値の算出方法を示すフローチャートである。 本発明の実施の形態における第１のＷＢ補正値の算出処理を示すフローチャートである。 本発明の実施の形態における肌色補正の判断方法を説明する図である。 本発明の実施の形態における第２のＷＢ補正値算出の概念図である。 画面を任意の複数ブロックに分割した例を示す図である。 白検出範囲を示す図である。 被写体として顔のアップを撮影した例を示す図である。 従来のホワイトバランス補正方法で起こる問題の一例を説明した図である。

符号の説明

１０１ 撮像素子
１０２ メモリ
１０３ ホワイトバランス制御部
１０４ 色変換マトリックス回路
１０５ ローパスフィルタ回路
１０６ ＣＳＵＰ回路
１０７ ＲＧＢ変換回路
１０８ ガンマ補正回路
１０９ 色輝度変換回路
１１０ 圧縮回路
１１１ 輝度信号生成回路
１１２ エッジ強調回路
１１３ 制御回路
１１４ 顔検出部
１１５ ＣＰＵ

Claims (8)

1. 撮像を行って得られた画像の画像信号を処理する画像処理装置であって、
   前記画像信号にホワイトバランス補正を行うホワイトバランス補正手段と、
   前記画像から顔領域を検出する顔検出手段と、
   前記画像を複数画素ずつ分割したブロックの内、白色を表す色信号領域内にあるブロックの画像信号に基づいて、前記ホワイトバランス補正に用いる第１のホワイトバランス補正値を算出する第１の算出手段と、
   前記顔検出手段により顔領域が検出された場合に、該顔領域に含まれるブロックの画像信号を前記第１のホワイトバランス補正値によりホワイトバランス補正した補正画像信号の内、肌色を表す第１の色信号領域内及び該第１の色信号領域の周辺領域である第２の色信号領域内にある補正画像信号を加算し、該加算して得られた合計画像信号が前記第２の色信号領域内にある場合に、前記合計画像信号が前記第１の色信号領域内に入るように前記画像信号を補正する、第２のホワイトバランス補正値を算出する第２の算出手段とを有し、
   前記ホワイトバランス補正手段は、前記第２のホワイトバランス補正値が算出された場合に、前記第２のホワイトバランス補正値を用いてホワイトバランス補正を行うことを特徴とする画像処理装置。
2. 前記第２の算出手段は、前記第１及び第２の色信号領域の何れにも含まれない補正画像信号を更に加算すると共に、前記第１の色信号領域に含まれる補正画像信号と、前記第２の色信号領域に含まれる補正画像信号と、前記第１及び第２の色信号領域の何れにも含まれない補正画像信号にそれぞれ異なる重み付けをして加算し、
   前記第１及び第２の色信号領域の何れにも含まれない補正画像信号の重みは、前記第１及び第２の色信号領域に含まれる補正画像信号の重みよりも低いことを特徴とする請求項１の画像処理装置。
3. 前記ホワイトバランス補正手段は、前記第２のホワイトバランス補正値が算出されなかった場合に、前記第１のホワイトバランス補正値を用いてホワイトバランス補正を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１及び第２の算出手段は、前記顔検出手段により処理される画像より後に撮像して得られた画像の画像信号を用いて、前記第１及び第２のホワイトバランス補正値を算出する処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 撮像して得られた画像の画像信号を出力する撮像手段と、
   請求項１乃至４のいずれか１項に記載の画像処理装置と
   を備えたことを特徴とする撮像装置。
6. 撮像を行って得られた画像の画像信号を処理する画像処理方法であって、
   前記画像から顔領域を検出する顔検出工程と、
   前記画像を複数画素ずつに分割したブロックの内、白色を表す色信号領域内にあるブロックの画像信号に基づいて、前記ホワイトバランス補正に用いる第１のホワイトバランス補正値を算出する第１の算出工程と、
   前記顔検出工程で顔領域が検出された場合に、該顔領域に含まれるブロックの画像信号を前記第１のホワイトバランス補正値によりホワイトバランス補正した補正画像信号の内、肌色を表す第１の色信号領域内及び該第１の色信号領域の周辺領域である第２の色信号領域内にある補正画像信号を加算し、該加算して得られた合計画像信号が前記第２の色信号領域内にある場合に、前記合計画像信号が前記第１の色信号領域内に入るように前記画像信号を補正する、第２のホワイトバランス補正値を算出する第２の算出工程と、
   前記画像信号に前記第１または第２のホワイトバランス補正値を用いてホワイトバランス補正を行うホワイトバランス補正工程とを有し、
   前記ホワイトバランス補正工程では、前記第２のホワイトバランス補正値が算出された場合に、前記第２のホワイトバランス補正値を用いてホワイトバランス補正を行うことを特徴とする画像処理方法。
7. コンピュータに、請求項６に記載の画像処理方法の各工程を実行させるためのプログラム。
8. 請求項７に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images