JP2008108024A - 画像処理装置および撮像装置 - Google Patents

Abstract

【課題】暗いときや逆光時の日陰における人物など低照度の条件下にあっても高い顔領域検出精度をもつ画像処理装置を提供する。
【解決手段】入力されてくる画像データをメモリ１８に格納するメモリ制御部２と、メモリ制御部２を介してメモリ１８から読み出された画像データに対して表示処理用にリサイズおよびゲイン調整を行い、さらに、メモリ制御部２を介してメモリ１８から読み出された画像データに対して顔領域検出用にリサイズおよびゲイン調整を行うゲイン調整処理部５と、ゲイン調整処理部５によって顔領域検出用にゲイン調整された画像データに基づいて顔領域検出を行う顔領域検出処理部６とを備える。表示に最適なゲイン調整とは独立したかたちで、顔領域検出において任意に最適なゲイン調整を可能とする。
【選択図】図１

Description

本発明は、デジタルカメラや携帯電話やパソコンなどに搭載される画像処理装置にかかわり、特には、人物を撮影するときや再生するときに行う顔領域検出処理の精度を向上させるための技術に関する。

近年、フィルムも現像も不要なデジタルスチルカメラは活況を呈し、携帯電話もカメラ搭載型が主流を占め、高速化と高画質化の技術向上には目覚ましいものがある。人物の写真撮影においては、人物の動きや手振れに強力に対応でき、自動合焦時と撮影時とで構図を変更することなく撮影できることが重要である。現状では、画面内にある人物の顔領域を検出して焦点を合わせ、顔領域に最適な露出で撮影する図６に示すような撮影装置が提案されている（例えば特許文献１参照）。

Ａ／Ｄ変換された画像データを第１の画像データとして記憶する一方、画像データに所定の処理を施して第２の画像データとして記憶し、第２の画像データから顔領域を検出する。その間にＡ／Ｄ変換された画像データに基づいて画像の表示を行う。顔領域の検出が完了すると、第１の画像データのうちの顔領域に対応する部分のデータから必要な情報を抽出してオートフォーカス、自動露出、ホワイトバランスの処理を行う。この場合、撮影シーケンスの中で顔領域検出用の画像データから顔領域検出を行うので、オートフォーカス、自動露出、ホワイトバランスの処理を人物の動きに対して素早く追随させることができる。
特開２００５−３１８５５４号公報（第１３−１６頁、第１−６図）

しかし、上記従来の撮像装置では、顔領域検出が高速に行えるものの、暗いときや逆光時の日陰における人物など低照度の条件下にある被写体の場合に、低照度に起因するコントラストの低さのために顔領域検出の精度が下がり、検出が不安定となる。その場合には、オートフォーカス、自動露出、ホワイトバランスの処理が不安定になり、シャッターチャンスを逃すという課題がある。

本発明は、このような事情に鑑みて創作したものであり、低照度の条件下にあっても高い顔領域検出精度をもつ画像処理装置を提供することを目的としている。

本発明による画像処理装置は、
入力されてくる画像データをメモリに格納するメモリ制御部と、
前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して表示処理用にゲイン調整を行い、さらに、前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して顔領域検出用にゲイン調整を行うゲイン調整処理部と、
前記ゲイン調整処理部によって前記顔領域検出用にゲイン調整された画像データに基づいて顔領域検出を行う顔領域検出処理部とを備えたものである。

この構成においては、ゲイン調整処理部は、２つの機能を有している。１つは、メモリから読み出された画像データに対して表示処理用にゲイン調整を行う処理である。もう１つは、メモリから読み出された画像データに対して顔領域検出用にゲイン調整を行う処理である。顔領域検出におけるゲイン調整は、表示処理のゲイン調整から独立している。すなわち、表示に最適なゲイン調整とは独立したかたちで、顔領域検出において任意に最適なゲイン調整を可能としている。したがって、暗いときや逆光時の日陰における人物など低照度の条件下にあっても、その低照度状態に適したゲイン調整を行うことによりコントラストを増大させ、顔領域の検出を高精度に行うことが可能となる。

上記の構成の画像処理装置において、前記ゲイン調整処理部は、前記表示処理用と顔領域検出用とに互いに異なる縮小率で縮小リサイズを行う機能を併せ有し、縮小リサイズに伴うフィルタ処理で広がったデータレンジを利用して前記顔領域検出用の縮小リサイズの画像データに対してデジタルゲインを付加するという態様がある。縮小リサイズはデータを間引くことからデータレンジが広がるが、顔領域検出用に縮小リサイズ処理を行う場合に、この広がったデータレンジを利用してリサイズ後の画像データにデジタルゲインを付加することにより、低照度部の輝度レベルの持ち上げを簡単に実現することが可能である。

また上記の画像データに対するデジタルゲインの付加において、顔情報が存在する領域でデータレンジに重み付けをして非線形な特性でゲインを付加するという態様がある。縮小リサイズで広がったデータレンジを利用してリサイズ後の画像データにデジタルゲインを付加し画像データのダイナミックレンジを入力のダイナミックレンジとほぼ同等にするに当たり、ガンマ特性や折れ線ニー特性のような非線形特性の基でゲイン調整を行えば、低照度部の輝度レベルの持ち上げを効果的に行うことが可能となる。その結果、コントラストの増大をより的確なものとし、顔領域の検出精度をさらに高めることが可能となる。

また上記構成の画像処理装置において、前記ゲイン調整処理部は、前記表示処理用と顔領域検出用とに互いに異なる縮小率で縮小リサイズを行う機能を併せ有し、前記顔領域検出用の縮小リサイズの画像データに対して前記顔領域検出処理部に対する入力の前処理において単純にゲインを付加するという態様もある。あるいは、前記顔領域検出用の縮小リサイズの画像データに対するゲインの付加において、顔情報が存在する領域でデータレンジに重み付けをして非線形な特性でゲインを付加するのでもよい。

また、本発明による画像処理装置は、
入力されてくる画像データをメモリに格納するメモリ制御部と、
前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して表示処理用に縮小リサイズを行うとともにゲイン調整を行う第１のリサイズ・ゲイン調整処理部と、
前記第１のリサイズ・ゲイン調整処理部による表示処理用のゲイン調整縮小リサイズの画像データに対して顔領域検出用に縮小リサイズを行うとともにゲイン調整を行う第２のリサイズ・ゲイン調整処理部と、
前記第２のリサイズ・ゲイン調整処理部による前記顔領域検出用のゲイン調整縮小リサイズの画像データを格納する顔領域検出用メモリと、
前記顔領域検出用メモリから読み出された前記顔領域検出用のゲイン調整縮小リサイズの画像データに基づいて顔領域検出を行う顔領域検出処理部とを備えたものである。

この構成によれば、メモリ制御部を介してメモリから読み出された画像データに対して表示処理用に縮小リサイズおよびゲインを最適化する処理とは別に、表示処理用のゲイン調整縮小リサイズの画像データに対して顔領域検出用に縮小リサイズおよびゲインを最適化する処理を行う。つまり、顔領域検出用の最適化処理では、表示処理の最適化で得られた画像データを利用する。この場合も、上記と同様に、暗いときや逆光時の日陰における人物など低照度の条件下にあっても、その低照度状態に適したゲイン調整を行うことによりコントラストを増大させ、顔領域の検出を高精度に行うことが可能となる。

本発明による撮像装置は、上記いずれかの画像処理装置が搭載されているものである。

本発明によれば、メモリ制御部を介してメモリから読み出された画像データに対して表示処理用に縮小リサイズおよびゲインを最適化する処理とは別に、メモリ制御部を介してメモリから読み出された画像データに対して顔領域検出用に縮小リサイズおよびゲインを最適化する処理を行うように構成しているので、暗いときや逆光時の日陰における人物など低照度の条件下にあっても顔領域の検出を高精度に行うことができる。その結果として、人物撮影時のオートフォーカス、自動露出またはホワイトバランスを安定的に動作させることが可能となる。

以下、本発明にかかわる画像処理装置の実施の形態を図面を用いて詳細に説明する。

（実施の形態１）
図１は本発明の実施の形態１における画像処理装置の構成を示すブロック図、図２は撮像装置の構成を示すブロック図である。

まず図２に基づいて撮像装置を説明する。図２において、１１は撮影レンズを含むレンズユニット、１２は２次元のイメージセンサ、１３はイメージセンサ１２の駆動パルスを発生するタイミングジェネレータ（ＴＧ）、１４はイメージセンサ１２から出力される撮像映像信号のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路、１５はアナログの映像信号をデジタルの画像データに変換するＡ／Ｄ変換器（ＡＤＣ）、１６は所定のプログラムが実行されることによって各種の処理（顔領域検出を含む）を実行するＤＳＰ（デジタル信号処理回路）、１７は制御プログラムにより撮像装置の全体のシステム動作を制御するＣＰＵ（マイクロコンピュータ）、１８は画像データおよび各種データを保存するメモリ、１９は表示装置、２０は記録媒体である。本発明の実施の形態における画像処理装置はＤＳＰ１６内に実装される。

次に、上記のように構成された撮像装置の動作について説明する。

まず代表的な撮像記録動作として、撮像光がレンズユニット１１におけるレンズを介してイメージセンサ１２に入射すると、被写体像はフォトダイオードなどにより電気信号に変換され、タイミングジェネレータ１３からの駆動パルスに同期する垂直駆動および水平駆動により、アナログ連続信号である撮像映像信号がイメージセンサ１２から出力される。イメージセンサ１２から出力された撮像映像信号は、ＣＤＳ／ＡＧＣ回路１４のサンプルホールド回路（ＣＤＳ）によって１／ｆノイズが適切に低減された後、自動ゲインコントロールされ、Ａ／Ｄ変換器１５に入力されて、デジタルの画像データに変換される。得られた画像データはＤＳＰ１６に入力され、メモリ１８を介して、輝度信号処理、色分離、カラーマトリクス処理、データ圧縮処理、リサイズ処理、顔領域検出処理などの各種の処理が行われる。生成された画像データは表示装置１９に表示されるとともに、記録操作によって記録媒体２０に記録される。

記録データを再生する場合は、記録媒体２０から画像データを読み出し、圧縮データの場合は伸張処理を行い、表示サイズにリサイズした後、表示装置１９に出力する。

ＤＳＰ１６の詳細を示す図１において、１はＤＳＰ１６に取り込まれた画像データに対して黒レベル調整、ゲイン調整などの前処理を行う前処理部、２は各処理部とメモリ１８との間で画像データの書き込み・読み出しを制御するメモリ制御部、３はメモリ制御部２を介してメモリ１８から読み出された画像データに対して輝度信号処理、色信号処理を行い、輝度データと色差データ（またはＲＧＢデータ）としてメモリ１８に書き戻す画像データ処理部、４は輝度データと色差データの圧縮とその逆動作としての伸張を行う圧縮伸張処理部である。５はメモリ制御部２を介してメモリ１８から読み出された元画像データ（輝度データと色差データ（またはＲＧＢデータ））に対して水平垂直方向のリサイズ処理とゲイン調整を行い、処理後の画像データをメモリ１８に書き戻すリサイズ・ゲイン調整処理部である。このリサイズ・ゲイン調整処理部５は、メモリ１８から読み出された画像データに対して表示処理用にゲイン調整を行う処理と、これとは別に、メモリ１８から読み出された画像データに対して顔領域検出用にゲイン調整を行う処理との２つの機能を有している。リサイズ・ゲイン調整処理部５のゲイン調整については、表示のための通常のリサイズ処理では線形のゲイン調整を行い、顔領域検出用のリサイズ処理では低照度部持ち上げのためのガンマ特性や折れ線ニー特性のような非線形のゲイン調整を行うようになっている。すなわち、表示に最適なゲイン調整とは独立したかたちで、顔領域検出において任意に最適なゲイン調整を可能とし、暗いときや逆光時の日陰における人物など低照度の条件下にあっても、その低照度状態に適したゲイン調整が行えるようになっている。６は顔領域検出用に生成された低照度部輝度レベル持ち上げの画像データから顔領域検出を行う顔領域検出処理部、７はメモリ制御部２から受け取った表示処理用の画像データを表示装置１９に転送する表示処理部である。

次に、上記のように構成された本実施の形態の画像処理装置の動作を説明する。

ＤＳＰ１６に取り込まれた画像データは、前処理部１の前処理によって黒レベル調整、ゲイン調整などの前処理がなされ、次いで、メモリ制御部２を介してメモリ１８に書き込まれる。画像データ処理部３は、メモリ１８に書き込まれた画像データをメモリ制御部２を介して読み出し、輝度信号処理、色信号処理を行い、輝度データと色差データ（またはＲＧＢデータ）としてメモリ制御部２を介してメモリ１８に書き戻す。

リサイズ・ゲイン調整処理部５は、メモリ制御部２を介してメモリ１８から元画像データを読み出し、水平と垂直方向にリサイズ処理し、顔領域検出用に画像データを生成する場合には低照度部の輝度レベルを持ち上げる非線形のゲイン調整を行い、得られた結果のリサイズ・ゲイン調整済みの画像データをメモリ１８に書き戻す。

リサイズ・ゲイン調整処理部５が顔領域検出用の画像データを生成する場合、注目画素と周辺の画素に係数を掛けて足し合わせるローパスフィルタ処理を行った後、データを間引く処理となるので、デジタルのデータレンジが入力データよりも広がる。通常のリサイズ処理では、入力のダイナミックレンジと等しくなるように負の係数を掛ける。その結果、縮小リサイズしても明るさが等しくなる。これに対して、顔領域検出用にリサイズ処理を行う場合には、前記の広がったデータレンジに対して、低照度部の輝度レベルを持ち上げる非線形特性でゲイン調整を行って、画像データのダイナミックレンジを入力のダイナミックレンジとほぼ同等にする。具体的には、図３（ａ）に示すようなガンマ特性や図３（ｂ）に示すような折れ線ニー特性の基でゲイン調整を行い、低照度部の輝度レベルを持ち上げる。

そして、顔領域検出処理部６は、メモリ１８からメモリ制御部２を介して顔領域検出用のリサイズ・ゲイン調整済みの画像データを読み出し、顔の位置、大きさ、傾きなどの情報を検出する。そして、このようにして得られた情報に基づいて、撮影時のオートフォーカス、自動露出、ホワイトバランスの処理を行う。

リサイズ・ゲイン調整処理部５は、また、表示処理用に画像データを生成する場合には通常のリサイズ処理を実施する。すなわち、画像データの全面に対して、表示処理に最適なサイズとなるように水平・垂直ともにリサイズ処理を実施し、線形のゲイン調整を行い、得られた表示処理用の画像データを表示処理部７に出力する。

人物画像に対する画像処理の具体例を図４を用いて説明する。

図４（ａ）に示す元の画像は、低照度の条件下の人物画像となっている。この場合、顔領域の輝度レベルが小さく、顔領域を検出するための画像データのコントラストが低い。もし、このままの状態で顔領域検出を行えば、検出の精度が低すぎて不安定になる。

表示処理用の画像データは、人が見て自然なレベルとなるように制御する必要がある。そこで、図４（ｂ）のように、ゲイン調整が線形の通常のリサイズ処理を行う。顔部分のコントラストのみが強調されるような補正はしない。

一方、顔領域検出用の画像データの生成においては、図４（ｃ）のように、顔領域のデータレンジが広くなるように非線形処理を行う。この際、極端にゲインアップするとＳ／Ｎ比が低下する傾向があるが、顔領域検出の基本アルゴリズムはノイズを含む高周波成分を除去するため、検出精度が上がり、低照度状態であってもコントラスト増大に伴って顔領域検出を安定的に行うことができる。

以上のように本実施の形態によれば、表示処理用のリサイズ・ゲイン調整の最適化とは別に、顔領域検出用にリサイズ・ゲイン調整を最適化することにより、入力のダイナミックレンジを確保しつつ、低照度部のゲインアップを行うので、顔領域の検出精度を向上させ、撮影時のオートフォーカス、自動露出、ホワイトバランスを安定的に動作させることができる。

（実施の形態２）
図５は本発明の実施の形態２における画像処理装置の構成を示すブロック図である。図５において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、検出用の入力画像データとして、表示処理用にリサイズ処理したデータを使うことである。図５において、５ａはメモリ制御部２を介してメモリ１８から読み出された画像データに対して表示処理用に縮小リサイズを行うとともにゲイン調整を行う第１のリサイズ・ゲイン調整処理部である。８はメモリ制御部２から表示処理部７に送出される表示処理用の画像データを入力として、顔領域検出用に縮小リサイズを行うとともにゲイン調整を行う第２のリサイズ・ゲイン調整処理部である。９は第２のリサイズ・ゲイン調整処理部８による顔領域検出用のゲイン調整縮小リサイズの画像データを格納する顔領域検出用メモリである。本実施の形態においては、顔領域検出処理部６は、顔領域検出用メモリ９から読み出された顔領域検出用のゲイン調整縮小リサイズの画像データに基づいて顔領域検出を行うようになっている。

上記と同様に顔領域検出の基本アルゴリズムはノイズを含む高周波成分を除去する。コントラストを増大させるために表示処理用の画像データをゲインアップしても、画像のＳ／Ｎ比の低下は進まない。よって、コントラスト増大に伴って顔領域検出の精度が上がり、低照度状態であっても顔領域検出を安定的に行うことができるようになる。

なお、顔領域検出の入力データのゲインアップを行うに当たっては、上記の実施の形態では縮小リサイズ時のローパスフィルタ出力を使用するとしているが、顔領域検出処理前での単純なゲインアップ処理としてもよい。

本発明の画像処理装置は、デジタルカメラや携帯電話において、低照度の条件下での顔領域検出の精度に優れ、オートフォーカス、自動露出、ホワイトバランスを安定的に動作させて高品質な人物写真を撮影する上で有用である。

本発明の実施の形態１における画像処理装置の構成を示すブロック図 本発明の実施の形態における撮像装置の構成を示すブロック図 本発明の実施の形態における入力画像に対する非線形ゲイン特性であるガンマ特性、折れ線ニー特性を示す図 本発明の実施の形態における人物画像に対する画像処理の具体例を説明する図 本発明の実施の形態２における画像処理装置の構成を示すブロック図 従来の技術における撮像装置の構成を示すブロック図

符号の説明

１ 前処理部
２ メモリ制御部
３ 画像データ処理部
４ 圧縮伸張処理部
５ リサイズ・ゲイン調整処理部
５ａ 第１のリサイズ・ゲイン調整処理部
６ 顔領域検出処理部
７ 表示処理部
８ 第２のリサイズ・ゲイン調整処理部
９ 顔領域検出用メモリ
１１ レンズユニット
１２ イメージセンサ
１３ タイミングジェネレータ
１４ ＣＤＳ／ＡＧＣ回路
１５ Ａ／Ｄ変換器
１６ ＤＳＰ（デジタル信号処理回路）
１７ ＣＰＵ
１８ メモリ
１９ 表示装置
２０ 記録媒体

Claims (7)

1. 入力されてくる画像データをメモリに格納するメモリ制御部と、
   前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して表示処理用にゲイン調整を行い、さらに、前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して顔領域検出用にゲイン調整を行うゲイン調整処理部と、
   前記ゲイン調整処理部によって前記顔領域検出用にゲイン調整された画像データに基づいて顔領域検出を行う顔領域検出処理部とを備えた画像処理装置。
2. 前記ゲイン調整処理部は、前記表示処理用と顔領域検出用とに互いに異なる縮小率で縮小リサイズを行う機能を併せ有し、縮小リサイズに伴うフィルタ処理で広がったデータレンジを利用して前記顔領域検出用の縮小リサイズの画像データに対してデジタルゲインを付加する請求項１に記載の画像処理装置。
3. 前記ゲイン調整処理部は、前記画像データに対するデジタルゲインの付加において、顔情報が存在する領域でデータレンジに重み付けをして非線形な特性でゲインを付加する請求項２に記載の画像処理装置。
4. 前記ゲイン調整処理部は、前記表示処理用と顔領域検出用とに互いに異なる縮小率で縮小リサイズを行う機能を併せ有し、前記顔領域検出用の縮小リサイズの画像データに対して前記顔領域検出処理部に対する入力の前処理において単純にゲインを付加する請求項１に記載の画像処理装置。
5. 前記顔領域検出用の縮小リサイズの画像データに対するゲインの付加において、顔情報が存在する領域でデータレンジに重み付けをして非線形な特性でゲインを付加する請求項４に記載の画像処理装置。
6. 入力されてくる画像データをメモリに格納するメモリ制御部と、
   前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して表示処理用に縮小リサイズを行うとともにゲイン調整を行う第１のリサイズ・ゲイン調整処理部と、
   前記第１のリサイズ・ゲイン調整処理部による表示処理用のゲイン調整縮小リサイズの画像データに対して顔領域検出用に縮小リサイズを行うとともにゲイン調整を行う第２のリサイズ・ゲイン調整処理部と、
   前記第２のリサイズ・ゲイン調整処理部による前記顔領域検出用のゲイン調整縮小リサイズの画像データを格納する顔領域検出用メモリと、
   前記顔領域検出用メモリから読み出された前記顔領域検出用のゲイン調整縮小リサイズの画像データに基づいて顔領域検出を行う顔領域検出処理部とを備えた画像処理装置。
7. 請求項１から請求項６までのいずれかに記載の画像処理装置が搭載されている撮像装置。

Images