JP5826001B2 - 画像処理装置、及びその制御方法 - Google Patents

Description

本発明は、画像処理装置、及びその制御方法に関する。

従来、画像の輪郭（エッジ）を検出し、輪郭の特徴に応じて輪郭強調処理を行う画像処理装置があった。また、画像中の被写体の種類を判別し、判別した被写体の種類に応じた画像処理を行う画像処理装置が知られている。

例えば、特許文献１には入力信号の輝度レベルに応じて輪郭強調の強度を制御する画像処理装置が開示されている。特許文献１では、輝度レベルの低い映像信号部分については輪郭強調の強度を弱くし、輝度レベルの高い映像信号部分については輪郭強調の強度を強くしている。また、特許文献２には、画像が風景画像であるかテキスト画像であるかを判定し、テキスト画像である場合には、輪郭強調の強度を強くする制御を行う画像処理装置が開示されている。

特開２０００−５９６５１号公報 特開２００２−１９０９８４号公報

しかしながら、特許文献１に開示された技術では、補正すべき輪郭の輝度だけに基づき輪郭強調の強度が制御される。そのため、輪郭部分がどのような被写体であっても輝度が同じであれば同じ強度で輪郭強調が行われる。その結果、被写体によっては、輪郭強調が強すぎる場合や、逆に輪郭強調が不十分な場合が発生し、被写体に対して十分に適応的な処理ができないという問題があった。

また、特許文献２に開示された技術では、輝度分布に従って画像の種類（テキスト画像であるか風景画像であるか）を判定している。しかしながら、特許文献２は、テキスト画像と風景画像の判別以外の判別（例えば、建築物のような人工物と花や風景のような自然物の判別）に適した判別技術を開示していない。仮に特許文献２の技術を人工物と自然物の判別に利用しようとしても、人工物と自然物とでは輝度分布に関して明確な特徴差が得られないため、高精度での判別が困難である。従って、例えば建築物と自然物とで輪郭強調の強度を変化させることが困難である。

本発明はこのような状況に鑑みてなされたものであり、画像に含まれる被写体の種類を高精度で判定可能な技術を提供することを目的とする。

上記課題を解決するために、第１の本発明は、画像データを取得する取得手段と、前記画像データに含まれる輪郭部分を表す輪郭信号を生成する生成手段と、前記画像データを分割して得られる複数の分割領域それぞれについて、前記輪郭信号に基づいて代表輪郭方向を検出する検出手段と、前記代表輪郭方向の検出結果に基づいて、前記画像データに含まれる被写体の種類を判定する判定手段と、前記被写体の種類に対応する補正方式に従って前記画像データを補正する補正手段と、を有し、前記検出手段は、処理対象とする分割領域において生成された輪郭信号が、特定方向の輪郭を示す輪郭信号に偏っている場合に、前記特定方向を前記処理対象とする分割領域の代表輪郭方向として検出し、前記判定手段は、前記代表輪郭方向の方向ごとの前記代表輪郭方向が検出された分割領域の数、同一の代表輪郭方向が検出された分割領域が前記代表輪郭方向に基づく方向に並んでいる度合い、および、前記代表輪郭方向が検出された前記分割領域の数のうちの少なくとも１つに基づき、前記被写体の種類を判定することを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、画像に含まれる被写体の種類を高精度で判定することが可能となる。

第１の実施形態に係るデジタルカメラ１００の構成例を示すブロック図 画像処理部１０５の詳細を示す図 輪郭強調処理部２０６における輪郭強調処理の一例を示す図 （ａ）入力信号の例を示す図、（ｂ）フィルタの例を示す図、（ｃ）垂直ＢＰＦ２２１の例を示す図、（ｄ）水平ＢＰＦ２２２の例を示す図、（ｅ）右上ＢＰＦ２２３の例を示す図、（ｆ）右下ＢＰＦ２２４の例を示す図 （ａ）第１の実施形態に係る、信号分割部２５０における画像の分割例を示す図、（ｂ）第２の実施形態に係る、ズームがテレ寄り、もしくは、フォーカスの焦点距離が所定の閾値よりも短い場合の信号分割部２５０における画像の分割例を示す図、（ｃ）第２の実施形態に係る、ズームがワイド寄りの場合の信号分割部２５０における画像の分割例を示す図 （ａ）第１の実施形態に係る、被写体の種類の判定処理、及び被写体の種類に応じた画像補正処理の概要を示すフローチャート、（ｂ）図６（ａ）のＳ６０２の処理の詳細を示すフローチャート 図６（ｂ）のＳ６１１の処理の詳細を示すフローチャート ブロックの分類を例示する図 （ａ）被写体、及びブロック分割の様子を示す図、（ｂ）図９（ａ）に対応する各ブロックの代表輪郭方向（輪郭部分）を線で示した図、（ｃ）輪郭方向連結度を例示する図 輪郭に関する各種の特徴を軸にとったときの被写体別の分布を示す図 各種類の被写体に対応する画像補正処理のパラメータの例を示す図 第１の実施形態の変形例に係る、図６（ａ）のＳ６０３の処理の詳細を示すフローチャート ブロックのグループ化（ラベリング）を説明する図 第２の実施形態に係る、図６（ａ）のＳ６０２の処理の詳細を示すフローチャート 第２の実施形態に係る、デジタルカメラ１００の傾きに応じた輪郭方向の補正の概念図 第３の実施形態に係る、図６（ｂ）のＳ６１１の処理の詳細を示すフローチャート 第４の実施形態に係る、図６（ａ）のＳ６０３の処理の詳細を示すフローチャート 第４の実施形態に係る、顔の背景に建築物が存在するか否かを判定する処理の概念図

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
以下、図１乃至図１１を参照して、本発明の画像処理装置をデジタルカメラに適用した実施形態について説明する。図１は、第１の実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。

図１において、１０１はズームレンズ及びフォーカスレンズを含むレンズ群、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。１０４はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０５はＡ／Ｄ変換器１０４から出力される画像データに対し、γ処理や色補正処理、輪郭強調処理、ノイズ除去（リダクション）処理などの各種の画像補正処理を行う画像処理部である。１０６は画像メモリ、１０７は画像メモリ１０６を制御するメモリ制御部、１０８は入力デジタル信号をアナログ信号に変換するＤ／Ａ変換器、１０９はＬＣＤ等の表示部、１１０は画像データを圧縮符号化・復号化するコーデック部である。

１８０はメモリカードやハードディスク等の記録媒体、１１１は記録媒体１８０とのインタフェース（Ｉ／Ｆ）、５０はデジタルカメラ１００のシステム全体を制御するシステム制御部である。

１２０は各種の動作指示を入力するための操作部、１２１は電源スイッチ、１２２は電源制御部、１２３は電源である。電源制御部１２２は、電池検出回路、ＤＣ−ＤＣコンバータ、及び通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、及び電池残量の検出を行う。また、電源制御部１２２は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１８０を含むデジタルカメラ１００の各部へ供給する。

１２４は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。１２５はデジタルカメラ１００の傾き及び加速度を検出するジャイロ・加速度センサである。１２６は各種制御に用いる時間や、内蔵された時計の時間を計測するシステムタイマ、１２７はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２４から読みだしたプログラム等を展開するシステムメモリである。

次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本動作について説明する。撮像部１０３は、レンズ群１０１及びシャッター１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換して画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、ホワイトバランス処理などの色変換処理、及び、後述するγ処理、輪郭強調処理、及びノイズリダクション処理などを行う。また、画像処理部１０５では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御及び測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１０５では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている表示用の画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示デバイス上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に記録された画像データをＭＰＥＧなどの規格に基づき圧縮符号化する。システム制御部５０は、符号化された画像データを、Ｉ／Ｆ１１１を介して記録媒体１８０に格納する。

以上が、被写体撮影時の基本動作である。また、上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２４に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートの処理を実行するためのプログラムのことである。この際、システム制御部５０は、システム制御部５０の動作用の定数、変数、及び不揮発性メモリ１２４から読み出したプログラム等を、システムメモリ１２７に展開する。

次に、図２を参照して、画像処理部１０５の詳細について説明する。図２において、２００は輝度・色信号生成部、２０１はＷＢ増幅部、２０２は色γ処理部、２０３は色差信号生成部、２０４は色補正部、２３０はノイズ除去部である。２０５は輝度γ処理部、２０６は輪郭強調処理部である。輪郭強調処理部２０６において、２０７はバンドパスフィルタ（ＢＰＦ）、２０８はコアリング部、２０９はゲイン処理部、２１０はクリップ処理部、２１１は加算処理部である。２２０は方向別輪郭信号生成部であり、その中で、２２１は垂直方向のＢＰＦ、２２２は水平方向のＢＰＦ、２２３は斜め（右上）方向のＢＰＦ、２２４は斜め（右下）方向のＢＰＦである。２５０は信号分割部である。

次に、画像処理部１０５における処理について説明する。図１のＡ／Ｄ変換器１０４又はメモリ制御部１０７から入力された画像データが画像処理部１０５に入力される。画像処理部１０５に入力された画像データは輝度・色信号生成部２００に入力される。輝度・色信号生成部２００は入力された画像データから輝度信号Ｙ及び色信号Ｒ，Ｇ，Ｂを生成する。色信号Ｒ，Ｇ，ＢはＷＢ増幅部２０１へ、輝度信号Ｙは輝度γ処理部２０５及び方向別輪郭信号生成部２２０へ出力される。

ＷＢ増幅部２０１は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、色信号Ｒ，Ｇ，Ｂにゲインを印加し、ホワイトバランスを調整する。色γ処理部２０２では、色信号Ｒ，Ｇ，Ｂにガンマ補正を行う。色差信号生成部２０３では、色信号Ｒ，Ｇ，Ｂから色差信号Ｒ−Ｙ，Ｂ−Ｙを生成して色補正部２０４に出力する。そして、色補正部２０４は、色差信号Ｒ−Ｙ，Ｂ−Ｙに対してゲインを印加するなどし、色相や彩度を調整する。色補正部２０４は補正後の色差信号Ｒ−Ｙ，Ｂ−Ｙをノイズ除去部２３０及び信号分割部２５０へ出力する。

一方、輝度γ処理部２０５は、輝度信号Ｙに対してガンマ補正を行い、輪郭強調処理部２０６へ出力する。図３は、輪郭強調処理部２０６における輪郭強調処理の一例を示す図である。図３（ａ）は輪郭強調処理部２０６に入力された輝度信号（水平信号）の一部分を示している。

ＢＰＦ２０７は特定の周波数帯域を抽出するバンドパスフィルタである。入力された元信号（図３（ａ））に対してバンドパスフィルタ処理を行うことで、図３（ｂ）のような輪郭信号が得られる。ＢＰＦ２０７からの出力信号はコアリング処理部２０８へ出力される。コアリング処理部２０８は、図３（ｇ）に示すように入力部分の微小部分をクリップする処理を行う。その結果、入力信号は、図３（ｃ）のような形状になる。コアリング処理部２０８からの出力信号はゲイン処理部２０９に入力される。ゲイン処理部２０９は、入力信号に対してゲインを印加する。図３（ｃ）の信号にゲインを印加した信号が図３（ｄ）である。ゲイン処理部２０９からの出力信号はクリップ処理部２１０に入力される。クリップ処理部２１０は入力信号に対して、所定のリミットレベルよりも高い（もしくは低い）信号をリミットレベルにクリップする。クリップ処理の一例を図３（ｅ）に示す。クリップ処理部２１０からの出力信号は加算部２１１に出力される。加算部では、元信号（図３（ａ））とクリップ処理部２１０から出力された輪郭信号（図３（ｅ））とを加算することで、輪郭が強調された輝度信号（図３（ｆ））を生成する。輪郭強調処理部２０６は、上記のようにして輪郭強調した輝度信号Ｙをノイズ除去部２３０及び信号分割部２５０へ出力する。なお、上記では、水平方向の輪郭強調のみについて説明したが、垂直方向についても同様の輪郭強調処理が行われる。

次に、ノイズ除去部２３０の処理について説明する。ノイズ除去部２３０では空間ノイズリダクション処理を行う。具体的には、εフィルタによる処理を行う。εフィルタは、処理対象の注目画素と周辺の画素との差分値を局所情報として用いる。この差分値がε値よりも小さい場合はローパスフィルタをかける。εフィルタは一次元信号で表現すると、

となる。ここで、ｘ（ｎ）は画素位置ｎの画素値、ｘ’（ｎ）はεフィルタ後の画素値である。また、ｆ（ｘ）は

である。ただし、ａ_ｋはローパスフィルタのフィルタ係数であり、総和が１となるように設計する。

ノイズ除去部２３０は、上記のようにしてノイズ除去処理を行った輝度信号Ｙ及び色差信号Ｒ−Ｙ，Ｂ−Ｙを、メモリ制御部１０７を介して、画像メモリ１０６へ出力する。

次に、方向別輪郭信号生成部２２０の処理について説明する。方向別輪郭信号生成部２２０は、入力された輝度信号Ｙに対して４種類のＢＰＦを並列に適用し、ＢＰＦ通過後の４種類の画像信号（輪郭信号）を信号分割部２５０へ出力する。方向別輪郭信号生成部２２０では、各輪郭方向の３×３画素の輪郭検出フィルタ（ＢＰＦ）を用いて、輝度信号Ｙから水平方向、垂直方向、右上方向、及び右下方向の輪郭成分（輪郭信号）を抽出する。

図４を参照して輪郭検出フィルタ（ＢＰＦ２２１乃至２２４）について説明する。図４（ａ）は、入力信号ｆ（ｉ，ｊ）を示し、図４（ｂ）は、入力信号ｆ（ｉ，ｊ）に対して適用するフィルタを示す。フィルタ処理によって生成される出力信号ｆ’（ｉ，ｊ）は下記の式によって算出される。

上式においてフィルタの係数を変更することで、各方向の輪郭成分を抽出することが可能である。図４（ｃ）〜（ｆ）は、各方向の輪郭検出のためのフィルタ係数例を示している。図４（ｃ）は、垂直ＢＰＦ２２１で用いる垂直輪郭（横線）検出フィルタの例、図４（ｄ）は、水平ＢＰＦ２２２で用いる水平輪郭（縦線）検出フィルタの例である。また、図４（ｅ）は右上ＢＰＦ２２３で用いる斜め（右下線）検出フィルタの例、図４（ｆ）は右下ＢＰＦ２２４で用いる斜め（右上線）検出フィルタの例である。

上述のようにして、方向別輪郭信号生成部２２０は、画像に含まれる各方向の輪郭部分を表す画像信号（輪郭信号）を生成し、信号分割部２５０に出力する。

信号分割部２５０は、入力画像信号を図５（ａ）に示すような複数の分割領域（８×８ブロック）に分割し、ブロック毎に信号の演算を行う。本実施形態では、信号分割部２５０には、輝度信号Ｙ、色差信号Ｒ−Ｙ，Ｂ−Ｙ、及び方向別輪郭信号生成部２２０からの輪郭信号が入力される。信号分割部２５０は、輝度信号Ｙ及び色差信号Ｒ−Ｙ，Ｂ−Ｙからブロック毎の平均値を算出する。信号分割部２５０はまた、方向別輪郭信号生成部２２０から出力された輪郭信号からブロック毎の合計値を算出する。ブロックに含まれる輪郭成分が多いほど合計値が大きくなるため、合計値はブロックに含まれる輪郭成分の量の指標として利用可能である。方向別輪郭信号生成部２２０からは４つの方向に関する輪郭信号が出力されるため、合計値も４つの方向についてそれぞれ算出される。信号分割部２５０で算出されたデータはシステムメモリ１２７に蓄積される。

以上、画像処理部１０５の詳細について説明した。次に、図６（ａ）、図６（ｂ）、及び図７のフローチャートを参照して、第１の実施形態に係る、被写体の種類の判定処理、及び被写体の種類に応じた画像補正処理について説明する。デジタルカメラ１００の電源がオンになり撮像の準備ができると、図６（ａ）のフローチャートの処理が開始する。

Ｓ６０２で、システム制御部５０は、入力画像に含まれる被写体の種類を判定する。本実施形態では、システム制御部５０は、被写体が建築物であるか自然物（例えば、花や風景など）であるかを識別する。図６（ｂ）を参照して、Ｓ６０２の処理の詳細について説明する。

Ｓ６１０で、画像処理部１０５は、上述の方法で、垂直、水平、右上、及び右下の４方向それぞれについて入力画像から輪郭信号を生成し、ブロック毎に各方向の輪郭信号の合計値を算出し、システムメモリ１２７に格納する。システム制御部５０は、こうして算出された方向毎・ブロック毎の輪郭信号の合計値をシステムメモリ１２７から取得する。

Ｓ６１１で、システム制御部５０は、Ｓ６１０で取得した輪郭信号の合計値に基づき、８×８ブロックを輪郭の特徴に従って分類し、各ブロックについて代表輪郭方向を検出する。代表輪郭方向とは、ブロックに含まれる輪郭部分全体に関する代表的な方向であり、輪郭部分全体の方向が所定度合い以上に特定方向に偏っている場合に、この特定方向が代表輪郭方向として検出される。従って、輪郭部分全体の方向に顕著な偏りが存在しない場合や、輪郭部分がそれほど多く含まれない場合（輪郭信号の合計値が小さい場合）には、代表輪郭方向は検出されない。図７を参照して、Ｓ６１１の処理の詳細について説明する。

Ｓ７０１で、システム制御部５０は、８×８ブロックの１つ１つに対するループ処理を開始する。

Ｓ７０２で、システム制御部５０は、処理対象ブロックの４方向（垂直、水平、右上、右下）それぞれの輪郭信号の合計値の少なくとも１つが閾値ＴＨ１よりも大きいか否かを判定する。ＴＨ１よりも大きい場合、処理はＳ７０３に進み、そうでない場合、処理はＳ７０９に進む。

Ｓ７０３で、システム制御部５０は、処理対象ブロックの４方向（垂直、水平、右上、右下）それぞれの輪郭信号の合計値の少なくとも２つが閾値ＴＨ２（ただし、ＴＨ２＞ＴＨ１）より大きいか否かを判定する。ＴＨ２よりも大きい場合、処理はＳ７０７に進み、そうでない場合、処理はＳ７０４に進む。

Ｓ７０４で、システム制御部５０は、処理対象ブロックの４方向（垂直、水平、右上、右下）それぞれの輪郭信号の合計値の中から最大値を検出する。この最大値をＥ１とする。

Ｓ７０５で、システム制御部５０は、Ｓ７０４で検出した最大値の方向に対して直行する方向の輪郭信号の合計値を取得する。この合計値をＥ２とする。例えば、最大値の方向が水平方向である場合（即ち、水平方向（縦線）の輪郭が顕著な場合）、直行する方向は垂直方向（横線の方向）となる。同様に、最大値の方向が右上方向である場合（即ち、右上方向（右下線）の輪郭が顕著な場合）、直行する方向は右下方向（右上線の方向）となる。

Ｓ７０６で、システム制御部５０は、最大値の方向の輪郭強度が直交する方向の輪郭強度と比べて十分に強いか否かを判定する。具体的には、例えば、システム制御部５０は、Ｅ１＞ｋ＊Ｅ２（ｋ＞１）であるか否かを判定する。Ｅ１＞ｋ＊Ｅ２である場合、処理はＳ７０８に進み、そうでない場合、処理はＳ７０７に進む。

Ｓ７０７で、システム制御部５０は、処理対象ブロックを「方向なしブロック（複雑ブロック）」に分類する。方向なしブロックとは、ブロック内に多くの輪郭信号を含むが、輪郭信号が特定方向に偏っていないブロックである。方向なしブロックにおいては、代表輪郭方向は検出されない。図８は、ブロックの分類を例示する図である。ブロック８０１のように様々な方向の輪郭信号を含むブロックや、ブロック８０２のように直交する２方向の輪郭信号を含むブロックは、方向なしブロックに分類される。

Ｓ７０８で、システム制御部５０は、処理対象ブロックを「輪郭ブロック」に分類し、更に、Ｓ７０４で検出した最大値の方向を代表輪郭方向として検出する。システム制御部５０は、検出した代表輪郭方向をシステムメモリ１２７に記録する。「輪郭ブロック」は、図８のブロック８０３のように、特定方向にのみ明確な輪郭部分を持つブロックである。

Ｓ７０９で、システム制御部５０は、処理対象ブロックを「輪郭なしブロック」に分類する。輪郭なしブロックは、図８のブロック８０４及び８０５のように、輪郭部分を持たない平坦なブロックである。輪郭なしブロックにおいても、代表輪郭方向は検出されない。

以上のように、８×８ブロックの１つ１つに対して、ブロックの分類、及び代表輪郭方向の検出を行う。また、前述のように、「輪郭ブロック」については、システム制御部５０は検出した代表輪郭方向をシステムメモリ１２７に記録しておく。

図６（ｂ）に戻り、Ｓ６１２で、システム制御部５０は、８×８ブロックの１つ１つに対するループ処理を開始する。

Ｓ６１３で、システム制御部５０は、処理対象ブロックが「輪郭ブロック」（代表輪郭方向が検出されたブロック）であるか否かを判定する。「輪郭ブロック」である場合、処理はＳ６１４に進み、そうでない場合（「方向なしブロック」又は「輪郭なしブロック」の場合）、処理はＳ６１２に戻って次の処理対象ブロックが選択される。

Ｓ６１４で、システム制御部５０は、所定方向（ここでは、水平方向）の輪郭（即ち、縦線の輪郭）の輪郭方向連結度を算出する。図９を参照して、輪郭方向連結度の算出について詳細に説明する。

図９（ａ）は、被写体、及びブロック分割の様子を示す図である。ここでは、ブロック９０１の輪郭方向連結度を算出する場合について説明する。縦線のブロックの輪郭方向連結度を算出するには、まず、システム制御部５０は、処理対象ブロックの代表輪郭方向が水平方向（縦線）であるか否かを判定する。水平方向（縦線）である場合、システム制御部５０は、代表輪郭方向と直交する方向（即ち、そのブロックの上下の方向）に、代表輪郭方向が水平方向（縦線）であるブロックが連続して並んでいる数をカウントし、カウントした数を輪郭方向連結度とする。図９（ｂ）は、図９（ａ）に対応する各ブロックの代表輪郭方向（輪郭部分）を線で示した図である（この線は、代表輪郭方向に直交する方向の線である）。ここで、処理対象であるブロック９０１の輪郭方向連結度を算出する場合、システム制御部５０は、ブロック９０１に隣接した上下のブロックに関して水平方向（縦線）の代表輪郭方向を持つブロックが幾つ連続して並んでいるかをカウントする。ブロック９０１の例では、上に１つ、下に２の合計３つのブロックが連続して並んでいるので、ブロック９０１の輪郭方向連結度は３である。同様に、全てのブロックに対して水平方向（縦線）の輪郭方向連結度を算出すると、図９（ｃ）のようになる。また、システム制御部５０は最終的に、輪郭方向連結度の合計値を算出する。この合計値は、所定方向（ここでは、水平方向）の代表輪郭方向が検出されたブロックが入力画像においてこの代表輪郭方向に直交する方向（ここでは、垂直方向）に連続して並んでいる度合いを示す指標となる。

Ｓ６１５で、システム制御部５０は、処理対象ブロックの代表輪郭方向のカウンタをインクリメントする（なお、Ｓ６１２以前に、各方向のカウンタは０に初期化される）。この処理により、最終的には、代表輪郭方向毎のブロック数が得られる。

以上のように、８×８ブロックの１つ１つに対して、「輪郭ブロック」であるか否かの判定が行われ、「輪郭ブロック」である場合、輪郭方向連結度の算出、及び代表輪郭方向毎のブロック数のカウントが行われる。

その後、Ｓ６１６で、システム制御部５０は、代表輪郭方向の方向別の度数分布（即ち、Ｓ６１５でカウントした代表輪郭方向毎のブロック数）、輪郭方向連結度の合計値、及び検出された代表輪郭方向の数（即ち、「輪郭ブロック」の数）のうちの少なくとも１つに基づき、被写体の種類を判定する。これらの情報（輪郭に関する特徴）の具体的な組み合わせは、判定対象の被写体の種類や、求める判定精度などに応じて、適宜変更可能である。ここでは一例として、図１０を参照して、被写体が建築物であるか自然物であるかを判定する場合について説明する。

図１０（ａ）（ｂ）は、輪郭に関する各種の特徴を軸にとったときの被写体別の分布を示す図である。本実施形態では、建築物と自然物（花又は風景）との識別を行うため、建築物、花、及び風景の分布を示している。図１０（ａ）は、横軸に水平垂直方向の代表輪郭方向を持つブロックの数を、縦軸に斜め方向（右上右下方向）の代表輪郭方向を持つブロックの数を示す。また、図１０（ｂ）は、横軸に水平方向（縦線）の輪郭方向連結度を、縦軸に「輪郭ブロック」の割合（又は数）を示す。

システム制御部５０は、Ｓ６１４で算出した輪郭方向連結度の合計値と、Ｓ６１５でカウントした代表輪郭方向毎のブロック数とに基づき、入力画像に含まれる被写体が図１０のグラフのどの位置に存在するかを判断する（代表輪郭方向毎のブロック数は、適宜加算される）。例えば、ある被写体が、図１０（ａ）の特徴点１００１、図１０（ｂ）の特徴点１００２の位置に存在する場合を考える。

次に、図１０（ａ）に関して、２種類の被写体（建築物とそれ以外）を分離する所定の軸Ａ１と、軸Ａ１に垂直な軸Ｘ１について考え、被写体の特徴点１００１をＸ１軸に投影した点を算出し、これをＸ１ｐとする。図１０（ｂ）に関しても同様に被写体の種類を分離する所定の軸Ａ２と軸Ａ３に対して垂直な軸Ｘ２、軸Ｘ３について考える。特徴点１００２も同様に軸Ｘ２、軸Ｘ３上に投影した点がＸ２ｐ、Ｘ３ｐである。

以上のように求めたＸ１ｐ、Ｘ２ｐ、Ｘ３ｐの値から下記の式に基づき評価値を算出する。
評価値＝αＸ１ｐ＋βＸ２ｐ＋γＸ３ｐ
ここで、α、β、γは予め設定しておいた重み係数である。

システム制御部５０は、評価値が所定の閾値以上である場合に被写体の種類が「建築物」であると判定し、そうでない場合に被写体の種類が「自然物」であると判定する。

以上、図６（ｂ）の処理（図６（ａ）のＳ６０２の処理）について説明した。図６（ａ）に戻り、Ｓ６０３で、画像処理部１０５はシステム制御部５０の制御に従い、被写体の種類に応じた画像補正処理（被写体の種類に対応する補正方式に従う画像補正処理）を行う。具体的には、例えば、システム制御部５０は、輪郭強調処理部２０６及びノイズ除去部２３０のパラメータを、被写体の種類に対応する値に設定する。輪郭強調処理部２０６及びノイズ除去部２３０は、設定されたパラメータに従って輪郭強調処理及びノイズ除去処理を実行する。図１１（ａ）を参照して、各種類の被写体に対応する画像補正処理のパラメータの例について説明する。

被写体の種類が「建築物」である場合、輪郭を強めに強調した方が画質が向上すると考えられる。そこで、図１１（ａ）に示すように、輪郭検出の中心周波数を中域〜低域に設定する。これは、図２のＢＰＦ２０７のパラメータ（係数）を変更することにより行われる。また、コアリング処理部２０８におけるコアリングの範囲を広くする。即ち、図３（ｇ）において入力値をクリップする範囲を広げる。また、ゲイン処理部２０９を制御し、輪郭強調のゲインを強めにする。更に、ノイズ除去部２３０におけるε値を大きくする。

一方、被写体の種類が「自然物」である場合、輪郭を強調しすぎると不自然に見えるため、輪郭をあまり強く強調しない方がよい。また、自然物は細かいディティールの再現が重要であるため、ノイズ除去やコアリングで細部の情報をあまり落とさない方がよい。そこで、ＢＰＦ２０７のパラメータを変更することにより、輪郭検出の中心周波数を中域〜高域とする。また、コアリング処理部２０８のコアリングの範囲を狭くし、ゲイン処理部２０９のゲインを弱めに設定する。また、ノイズ除去部２３０において、ε値を小さくする。

以上、図６（ａ）のＳ６０３における処理（被写体の種類に応じた画像補正処理）について説明した。次に、Ｓ６０４で、システム制御部５０は、処理を終了すべきか否かを判定する。例えば、デジタルカメラ１００の電源がオフにされた場合などに、処理を終了すべきであると判定される。処理を終了しない場合、処理はＳ６０１に戻り、同様の処理が繰り返される。

以上説明したように、第１の実施形態では、デジタルカメラ１００は、画像を複数のブロックに分割し、ブロック毎に代表輪郭方向を検出し、検出結果（度数分布、輪郭方向連結度、代表輪郭方向の検出数など）に基づいて被写体の種類を判定する。また、デジタルカメラ１００は、被写体の種類に対応する補正方式に従って画像補正処理を実行する。

このようにブロック単位で代表輪郭方向を検出することで、被写体のノイズや細部の模様に影響を受けにくく、被写体の輪郭に関する特徴を検出可能である。これにより、画像に含まれる被写体の種類を高精度で判定することが可能となる。その結果、被写体の種類に適した輪郭強調処理やノイズ除去処理などの画像補正処理を実行可能となる。また、ブロック単位で代表輪郭方向を検出するため、画素単位で輪郭の検出を行うよりも演算負荷が低減される。

なお、本実施形態では、被写体の種類に応じた画像補正処理の例として、輪郭強調処理部２０６及びノイズ除去部２３０における処理を挙げたが、画像補正処理はこれらに限定されない。例えば、被写体の種類に応じて輝度γ処理や色補正処理を変更してもよい。この場合、「建築物」については、システム制御部５０は、輝度γ処理部２０５を制御してコントラストが強くなるように輝度γ処理を実行する。また、「自然物」については、システム制御部５０は、色補正部２０４を制御して、彩度を高くするように色補正処理を実行する。

また、本実施形態では、ノイズ除去部２３０の処理として空間フィルタであるεフィルタを用いる処理のみを説明したが、ノイズ除去の方法はこれに限定されない。例えば、時間方向のローパス処理を行う時間フィルタを用いてもよく、この場合、被写体の種類に応じて時間フィルタのパラメータを変更してもよい。

また、本実施形態では、「建築物」と「自然物」を識別する例について述べたが、ブロック単位で代表輪郭方向を検出し、度数分布、輪郭方向連結度、及び代表輪郭方向の検出数などを利用して被写体の種類を判定するのであれば、どのような種類の被写体を判定対象としてもよい。

また、本実施形態では、被写体の種類を「建築物」か「自然物」かの２値で択一的に判定していたが、必ずしも２値での判定である必要はない。例えば、図１０の例で算出した評価値が高くなるほど、「建築物」の可能性が高いため、評価値が高くなるにつれて画像補正処理のパラメータを建築物寄りに設定し、評価値が低くなるにつれてパラメータを自然物寄りに設定してもよい。

また、本実施形態では、ブロックの分類（輪郭を持つか否か）を処理対象ブロックの方向別の輪郭信号の合計値に基づいて決定したが、ブロックの分類方法をこれに限定するものではない。例えば、輪郭信号に加えて、輝度信号及び色信号を用いてブロックを分類する方法をとってもよい。この場合、輝度が所定の閾値よりも低い場合や高い場合に輪郭ブロックと判定しないように制御する。また、色信号を用いて輪郭ブロックか否かの判定や代表輪郭方向の検出を行ってもよい。この場合、ブロック内の色相・彩度の平均値が所定の条件を満たす場合は、輪郭ブロックと判定しないように制御する（もしくは、代表輪郭方向の判定条件を変化させる）。具体的には、彩度の高い緑色信号を多く持つブロックは、建築物の輪郭である可能性は低いため輪郭ブロックと判定しないようにする。もしくは、輪郭ブロックと判定した場合であっても、水平垂直の輪郭を持つブロックと判定する閾値を変更することで、水平垂直の方向を持つと判定しにくくする。これにより、被写体の種類の判定精度をより高くすることが可能となる。

また、処理対象ブロックを周辺ブロックと比較し、周辺ブロックに対して輪郭信号の合計値が大きい時に輪郭ブロックと判定してもよい。このとき、輪郭方向と同じ方向の隣接ブロックと輪郭信号の合計値を比較する。例えば、水平方向（縦線）の輪郭ブロックを検出する場合は、同じ方向（水平方向）である左右の隣接ブロックと輪郭信号の合計値を比較し、左右のブロックとの輪郭信号の合計値の差分値の大きい方が所定の閾値以上であれば輪郭ブロックであると判定する。

（変形例）
第１の実施形態では、被写体の種類に応じて画像の補正方式が変化するものの、画像全体に対して同一のパラメータを用いた補正が行われた。しかしながら、画像中の領域毎に、領域の特徴に応じたパラメータを用いた補正が行われてもよい。以下、図１１（ｂ）、図１２、及び図１３を参照して、このような場合について説明する。

図１２は、第１の実施形態の変形例に係る、図６（ａ）のＳ６０３の処理の詳細を示すフローチャートである。

Ｓ１２００で、システム制御部５０は、Ｓ６０２で判定された被写体の種類が「建築物」であるか否かを判定する。「建築物」である場合、処理はＳ１２０１に進み、そうでない場合、処理はＳ１２１１に進む。

Ｓ１２０１乃至Ｓ１２１０は、被写体が「建築物」であると判定された場合に実行され、建築物の位置及び特徴（ビルのように平坦部分の多い建築物なのか、教会などのように模様の多い建築物なのか）が判定される。具体的には、Ｓ１２０１で、システム制御部５０は、８×８ブロックに対して、ブロック間の類似度に基づいてラベリングを行うことにより、グループ化を行う。図１３を参照して、ラベリングの詳細について説明する。

図１３（ａ）は、撮影した被写体画像をブロックに分割した画像である。システム制御部５０は、これらのブロックに対して、図１３（ｂ）に示す探索範囲をラスタスキャンしながらラベリング処理を行う。図１３（ｂ）において、ブロック１３０１は処理対象ブロックであり、処理対象ブロックの左上、上、右上、左を参照ブロック（斜線部）とする。
システム制御部５０は、処理対象ブロックと参照ブロックの輝度及び色を比較し、輝度及び色が最も近い参照ブロックのラベルと同じラベルを処理対象ブロックに付与する。例えば、図１３（ｃ）において、処理対象ブロック１３０２の左上ブロックにはラベル「２」、上、右上、左ブロックにはラベル「３」が付与されている。この時、輝度及び色が処理対象ブロック１３０２に最も近い参照ブロックが左上ブロックであった場合、システム制御部５０は、処理対象ブロック１３０２にラベル「２」を付与する。ただし、参照ブロックが存在しない、もしくは、全ての参照ブロックと処理対象ブロックとの差が所定値を超える場合は、システム制御部５０は、新たなラベルを処理対象ブロックに付与する。

このように、システム制御部５０は、全てのブロックに対して類似する領域毎にラベルを付与する。図１３（ａ）の被写体の全てのブロックに対してラベルを付与した例が図１３（ｄ）である。このようなラベリングを通じて、グループ内の各ブロック間（分割領域間）の類似度が所定度合い以上となるように、８×８ブロックのグループ化が行われる。なお、探索範囲は図１３（ｂ）に示すものに限定されない。図１３（ｄ）においてはグループ内の各ブロックは連続して並んでいるが、探索範囲の設定によっては、離れた場所に存在するブロック同士が同一のグループに所属する場合もある。

図１２に戻り、Ｓ１２０２で、システム制御部５０は、Ｓ１２０１で付与したラベルの１つ１つに対するループ処理を開始する（図１３（ｄ）に示す例の場合、ラベル「０」〜「３」が逐次処理される）。

Ｓ１２０３で、システム制御部５０は、処理対象ラベルのグループの大きさ（グループ内のブロック数）が所定の閾値以上であるか否かを判定する。所定の閾値以上ある場合、処理はＳ１２０４に進み、そうでない場合、処理はＳ１２０９に進む。

Ｓ１２０４で、システム制御部５０は、処理対象ラベルのグループ内の全ての「輪郭ブロック」に対する、水平垂直方向（縦横線）の代表輪郭方向を持つブロックの割合を算出する。システム制御部５０はまた、処理対象ラベルのグループ内の全ブロックに対する「輪郭なしブロック」（図７のＳ７０２及びＳ７０９から理解できるように、輪郭信号が所定量以下のブロック）の割合を算出する。

Ｓ１２０５で、システム制御部５０は、Ｓ１２０４で算出した、水平垂直方向（縦横線）の代表輪郭方向を持つブロックの割合が閾値以上であるか否かを判定する。閾値以上である場合、処理はＳ１２０６に進み、そうでない場合、処理はＳ１２０９に進む。

Ｓ１２０６で、システム制御部５０は、Ｓ１２０４で算出した「輪郭なしブロック」の割合が閾値以上であるか否かを判定する。閾値以上である場合、処理はＳ１２０７に進み、そうでない場合、処理はＳ１２０８に進む。

Ｓ１２０７で、システム制御部５０は、処理対象ラベルに対して平坦建築物フラグを関連付ける。このフラグは、処理対象ラベルのグループ内の被写体がビルのような平坦な面を多く持つ建築物であることを示す。

Ｓ１２０８で、システム制御部５０は、処理対象ラベルに対して複雑建築物フラグを関連付ける。このフラグは、処理対象ラベルのグループ内の被写体が教会のような複雑な模様の面を多く持つ建築物であることを示す。

Ｓ１２０９で、システム制御部５０は、処理対象ラベルに対して非建築物ラベルを関連付ける。

Ｓ１２１０で、画像処理部１０５はシステム制御部５０の制御に従い、グループ毎に、グループ内の被写体の種類に応じた画像補正処理（グループ内の被写体の種類に対応する補正方式に従う画像補正処理）を行う。図１１（ｂ）を参照して、Ｓ１２１０の処理を具体的に説明する。図１１（ｂ）は、図１１（ａ）と同様に、被写体の種類とそれに応じた輪郭強調処理及びノイズ除去処理のパラメータの例を示す。また、図１１（ｂ）は、図１１（ａ）とは異なり、被写体の種類が「建築物」である場合は、グループ内の被写体の種類毎に、パラメータが規定されている。

図１１（ｂ）の例では、グループ内の被写体が平坦建築物である場合は、図１１（ａ）における「建築物」の場合と同じパラメータが使用される。他方、複雑建築物の場合、輪郭検出の中心周波数が低域〜中域に設定される。また、コアリングの範囲を狭くし、ゲインを中間にし、ノイズ除去処理のε値を小さくする。これにより、教会などの複雑な模様を持つ建築物に対しては、細部の情報が失われることを抑えつつ輪郭強調処理及びノイズ除去処理実行することが可能となる。更に、非建築物領域については、被写体が「自然物」である場合と同じパラメータが設定される。

図１２に戻り、Ｓ１２１１では、画像処理部１０５はシステム制御部５０の制御に従い、「自然物」に対応する画像補正処理を実行する。この処理は、第１の実施形態のＳ６０３において被写体が「自然物」である場合と同様である。

以上、グループ毎に、グループ内の被写体の種類に応じた画像補正処理が行われる場合について説明した。本変形例では、ブロック単位のグループ毎に画像処理パラメータを設定する場合を例に説明したが、ブロック単位で画像処理パラメータを切り替えると、グループの境界に画像処理パラメータの違いに起因する段差が見える可能性もある。そのため、グループの境界では２つのパラメータの中間値を用いるなど、段差を低減する処理を加えてもよい。

［第２の実施形態］
以下、図１４及び図１５を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、概ね第１の実施形態と同じ被写体の種類の判定処理が行われるが、画像の撮像時のデジタルカメラ１００の状態（ズーム、フォーカス、姿勢など）も加味した判定処理が行われる。第２の実施形態におけるデジタルカメラ１００の構成及び基本動作は、第１の実施形態で説明したものと同様であるため、詳細な説明は省略する（図１及び図２参照）。

第２の実施形態においては、図６（ａ）のＳ６０２の処理の詳細が第１の実施形態と異なり、図６（ｂ）の代わりに図１４の処理が実行される。図１４において、図６（ｂ）と同様の処理が行われるブロックには同一の符号を付し、説明を省略する。

Ｓ１４０１で、システム制御部５０は、レンズ群１０１から現在のズーム及びフォーカスの状態を示す情報を取得し、システムメモリ１２７に保存する。

Ｓ１４０２で、システム制御部５０は、ジャイロ・加速度センサ１２５の出力からカメラの傾き情報を生成し、システムメモリ１２７に保存する。

Ｓ１４０３で、システム制御部５０は、Ｓ１４０１で取得したズーム情報及びフォーカス情報に基づき、信号分割部２５０（図２参照）におけるブロックの分割サイズ及び数を変更する。具体的には、システム制御部５０は、ズームがテレ寄り（ズーム倍率が大きい）、もしくは、フォーカスの焦点距離が所定の閾値よりも短い場合には、ブロックサイズを大きくし、ズームがワイド寄りの場合には、ブロックサイズを小さくする。即ち、フォーカスの焦点距離が所定の閾値よりも短い場合には、ズーム倍率に関わらず、ブロックサイズは所定の大きさ以上になる。この例を図５（ｂ）及び図５（ｃ）に示す。図５（ｂ）は、ズームがテレ端寄り、もしくは、フォーカスの焦点距離が所定の閾値よりも短い場合のブロック分割を示している（この例では８×８ブロック）。一方、図５（ｃ）は、ズームがワイド寄りの場合のブロック分割を示している（この例では、１６×１６ブロック）。この場合は、ブロックサイズを小さくするとともに画面全体から情報を取得するため、ブロック数も多くなる。このように制御することで、１つのブロックに対する、被写体の形状などに関する情報量が、ズームによって大きく変動することを防ぐことが可能である。

Ｓ１４０５で、システム制御部５０は、Ｓ１４０２で生成した傾き情報を用いて、輪郭の方向を補正する。具体的には、システム制御部５０は、デジタルカメラ１００が所定の閾値以上傾いている場合に輪郭方向を補正する。図１５（ａ）は、デジタルカメラ１００が閾値（例えば３０度）以上傾いた状態で撮影された画像を示している。ここでは、傾きの方向に応じて、輪郭の方向が補正される。

図１５（ｂ）は補正前の輪郭方向を示し、図１５（ｃ）は補正後の輪郭方向を示す。即ち、システム制御部５０は、水平輪郭（縦線）１５０１ａとして出力された輪郭信号を右下輪郭１５０１ｂとみなし、右上輪郭１５０２ａとして出力された輪郭信号を水平輪郭（縦線）１５０２ｂと見なすように補正する。同様に、システム制御部５０は、垂直輪郭（横線）１５０３ａとして出力された輪郭信号を右上輪郭１５０３ｂとみなし、右下輪郭１５０４ａとして出力された輪郭信号を垂直輪郭（横線）１５０４ｂと見なすように補正する。このように、傾きに合わせて方向情報のみが補正される。

Ｓ１４０６の処理は図６（ｂ）のＳ６１４と同様であるが、Ｓ１４０５で傾きの補正が行われた場合は、若干異なる処理が行われる。例えば、図１５（ｃ）のように輪郭方向を補正した場合は、水平輪郭（縦線）が斜めに連結するため、斜め方向に輪郭方向連結度の算出が行われる。換言すると、輪郭方向連結度の算出の際には、対象の代表輪郭方向（ここでは、水平方向）に直交する方向への連結が評価されるが、輪郭方向の補正に応じて、この「直交する方向」も補正される。

Ｓ１４０７の処理は図６（ｂ）のＳ６１６と同様であるが、被写体が「建築物」であるか「自然物」であるかを識別する閾値（図１０のＡ１〜Ａ３）が、フォーカス情報に基づき変更される。具体的には、フォーカスが所定の距離よりも近距離に合焦している場合は、「建築物」と判定しにくくするように閾値（図１０のＡ１〜Ａ３）が変更される。例えば、軸Ａ２を上側へシフトし、軸Ａ３を右側にシフトする処理が行われる。

以上説明したように、第２の実施形態では、デジタルカメラ１００は、画像の撮像時のズームや傾きなどの状態も加味して、被写体の種類を判定する処理を行う。これにより、画像だけから被写体の種類を判定する場合よりも、判定精度を高くすることが可能となる。

なお、本実施形態では、本発明の画像処理装置をデジタルカメラ１００に適用した場合について説明したが、画像処理を行う装置であれば、撮像系を持っていない装置にも本実施形態を適用可能である。その場合、ズームなどのカメラ情報を画像データに予め付加しておき、それに基づき画像処理装置で処理を行う。

また、本実施形態では、ズーム、フォーカスの状態によって制御する信号分割のブロック分割数（サイズ）が２種類の例について説明したが、ブロックの分割数を２種類に限定するものではない。ズームの特性に応じて、多段階でブロックのサイズや分割数を制御する構成をとることも可能である。

［第３の実施形態］
以下、図１６を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、デジタルカメラ１００及び被写体の時間的な動きの特性を用いて被写体の種類の判定を行っている点が第１の実施形態と異なる。第３の実施形態におけるデジタルカメラ１００の構成及び基本動作は、第１の実施形態で説明したものと同様であるため、詳細な説明は省略する（図１及び図２参照）。

第３の実施形態においては、図６（ｂ）のＳ６１１の処理の詳細が第１の実施形態と異なり、図７の代わりに図１６の処理が実行される。図１６において、図７と同様の処理が行われるブロックには同一の符号を付し、説明を省略する。

Ｓ１６０１で、システム制御部５０は、処理対象ブロックに関して、フレーム差分値を算出する。具体的には、システム制御部５０は、後述するＳ１６０５で保存される、時間的に前の画像信号（第２画像を表す第２画像データ）の同一位置のブロック画像との画素差分値を算出し、ブロック内での画素差分値の合計値を算出する。

Ｓ１６０２で、システム制御部５０は、ジャイロ・加速度センサ１２５の出力からデジタルカメラ１００の加速度を取得する。そして、システム制御部５０は、加速度が所定の閾値ＴＨ３以上の場合に、デジタルカメラ１００が動いていると判定する。デジタルカメラ１００が動いていると判定された場合、処理はＳ７０２に進み、そうでない場合、処理はＳ１６０３に進む。

Ｓ１６０３で、システム制御部５０は、Ｓ１６０１で算出したフレーム差分値の合計値が閾値ＴＨ４より大きいか否かを判定する。合計値が閾値ＴＨ４より大きい場合、処理はＳ１６０４に進み、そうでない場合、処理はＳ７０２に進む。

Ｓ１６０４で、システム制御部５０は、処理対象ブロックが非建築物ブロックであると判定する。これは、デジタルカメラ１００の動きがないにも関わらず動いている領域は、建築物ではないと考えられるためである。換言すると、動いている領域は、人物領域や、風に揺れている植物など自然物の領域であると考えられる。この場合、代表輪郭方向は検出されない。

Ｓ１６０５で、システム制御部５０は、現在処理している画像を画像メモリ１０６に記録する。これは、Ｓ１６０１で、フレーム差分値を算出する際に利用される。

以上、動き情報に基づくブロックの分類処理（代表輪郭方向の検出処理）について説明した。これ以外の処理は、第１の実施形態で図６（ａ）（ｂ）を参照して説明した処理と同様であるためここでの説明は省略する。

本実施形態では、第１の実施形態に対して、時間的に動いている被写体の領域のブロックは輪郭ブロックとはみなさない処理を加えた。これにより、より精度よく所望の被写体の輪郭のみを検出することができ、被写体の種類の判定精度が高くなる。

なお、本実施形態では、建築物と自然物を識別する場合を例に説明したが、被写体の動きによって、識別に利用する領域を限定するものであれば、どのような被写体の識別に利用してもかまわない。

また、本実施形態では、被写体の動き情報を被写体の種類の判定処理にのみ利用したが、動きに基づき画像処理部１０５の画像補正処理のパラメータを変更してもよい。例えば、被写体を自然物と判断した場合に、動いている領域は、静止している領域よりも輪郭強調処理のゲインを強くする、中心周波数を低くする、などの変更を加えてもよい。これにより、動きによって高周波数情報が失われている被写体に対して高周波成分の輪郭強調処理を行うことで不自然に輪郭を強調してしまうことを避けることが可能となる。

［第４の実施形態］
以下、図１７及び図１８を参照して、本発明の第４の実施形態について説明する。第４の実施形態では、概ね第１の実施形態と同じ画像補正処理が行われるが、人物と被写体との位置関係も加味した画像補正処理が行われる。第４の実施形態におけるデジタルカメラ１００の構成及び基本動作は、第１の実施形態で説明したものと同様であるため、詳細な説明は省略する（図１及び図２参照）。

第４の実施形態においては、図６（ａ）のＳ６０３の処理の詳細が第１の実施形態と異なり、図１７の処理が実行される。Ｓ１７０１で、システム制御部５０は、図１２のＳ１２０１〜Ｓ１２０９と同様の処理により、ブロックをグループ化（ラベリング）し、グループ内の被写体の種類を判定する。

Ｓ１７０２で、システム制御部５０は、画像中から人物の顔を検出する。顔検出処理は、既存のどのような方法を用いても構わない。例えば、画像中の指定領域の特徴量と顔の特徴量とのパターンマッチングを行い、マッチング度合いが所定の閾値以上のものを顔と判定する。

Ｓ１７０３で、システム制御部５０は、Ｓ１７０２において顔が検出されたか否かを判定する。検出された場合、処理はＳ１７０４に進み、そうでない場合、処理はＳ１７０７に進む。

Ｓ１７０４で、システム制御部５０は、Ｓ６０２（図６（ａ））で判定された被写体の種類が「建築物」であるか否かを判定する。「建築物」である場合、処理はＳ１７０５に進み、そうでない場合、処理はＳ１７０７に進む。

Ｓ１７０５で、システム制御部５０は、検出された顔の背景に建築物が存在するか否かを判定する（背景判定）。この処理について、図１８を参照して説明する。図１８（ａ）は、撮影した画像を示し、図１８（ｂ）は、図１８（ａ）に対応するラベリングの例を示す。ここで、ラベル「１」には、ラベリング処理により、建築物領域のフラグ（Ｓ１２０７又はＳ１２０８における平坦建物フラグ又は複雑建物フラグ）が関連付けられている。また、ラベル「２」の領域は、Ｓ１７０２において顔が検出された領域である。本ステップでは、システム制御部５０は、顔領域を含むブロックに対して、建築物領域のラベルを含むブロックが隣接しているか否かを判定する。図１８（ｂ）の例では、ラベル「２」のブロックと建ラベル「１」のブロックとが隣接しているため、顔の背景に建築物存在すると判定される。一方、図１８（ｃ）は、図１８（ａ）と同様に撮影した画像を示し、図１８（ｄ）は、図１８（ｃ）に対応するラベリングの例を示す。ラベル「１」は建築物領域に対応し、ラベル「２」は顔領域に対応する。図１８（ｄ）の場合、ラベル「１」のブロックはラベル「２」のブロックに隣接していないので、顔の背景に建築物が存在しないと判定される。このような判定処理により顔の背景に建築物が存在すると判定された場合、処理はＳ１７０６に進み、そうでない場合、処理はＳ１７０７に進む。

Ｓ１７０６で、画像処理部１０５はシステム制御部５０の制御に従い、背景建築物用の画像補正処理を実行する。背景建築物用の画像補正処理においては、概ね、図１１（ａ）に示した被写体の種類に応じたパラメータが利用される。但し、輪郭強調処理部２０６におけるゲインが弱めに設定される。

一方、Ｓ１７０７では、画像処理部１０５はシステム制御部５０の制御に従い、第１の実施形態と同様、図１１（ａ）に示したパラメータで画像補正処理を実行する。

以上、本実施形態では、デジタルカメラ１００は、顔を検出し、顔の背景に建築物が含まれるか否かによって画像補正処理のパラメータを変更した。これにより、背景の被写体（この場合、建築物）の輪郭が強調されすぎて、顔よりも強調されてしまうことを防ぐことが可能となる。

なお、本実施形態では、背景建築物用の画像補正処理として、輪郭強調処理のゲインだけを変更する例について述べたが、変更するするパラメータをこれに限定するものではない。例えば、顔の背景に建築物が存在する場合は、ノイズ除去処理のε値を大きくするなど、どのようなパラメータを変更しても構わない。

また、上記制御に加えて、カメラ情報を用いてパラメータを変更する構成をとることも可能である。例えば、レンズ群１０１が背景をぼかすような状態（絞り開放など）に設定されている場合には、顔以外の輪郭強調処理をオフにし、ノイズ除去を強くするなどの処理を行ってもよい。これにより、背景をぼかしているにも関わらず、輪郭を強調してしまい、不自然な画像を生成してしまうことを避けることが可能となる。また、本実施形態では建築物を例に説明してきたが、テーブルや、家具、等、建築物と類似な輪郭の特徴を有する人工物の被写体であれば、本発明を同様に適用可能である。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 画像データを取得する取得手段と、
   前記画像データに含まれる輪郭部分を表す輪郭信号を生成する生成手段と、
   前記画像データを分割して得られる複数の分割領域それぞれについて、前記輪郭信号に基づいて代表輪郭方向を検出する検出手段と、
   前記代表輪郭方向の検出結果に基づいて、前記画像データに含まれる被写体の種類を判定する判定手段と、
   前記被写体の種類に対応する補正方式に従って前記画像データを補正する補正手段と、を有し、
   前記検出手段は、処理対象とする分割領域において生成された輪郭信号が、特定方向の輪郭を示す輪郭信号に偏っている場合に、前記特定方向を前記処理対象とする分割領域の代表輪郭方向として検出し、
   前記判定手段は、前記代表輪郭方向の方向ごとの前記代表輪郭方向が検出された分割領域の数、同一の代表輪郭方向が検出された分割領域が前記代表輪郭方向に基づく方向に並んでいる度合い、および、前記代表輪郭方向が検出された前記分割領域の数のうちの少なくとも１つに基づき、前記被写体の種類を判定することを特徴とする画像処理装置。
2. 前記被写体の種類が建築物であると判定された場合、
   前記判定手段は、
   グループ内の各分割領域間の類似度が所定度合い以上となるように、前記複数の分割領域を複数のグループに分類し、
   当該複数のグループのそれぞれについて、グループ内の分割領域の数、グループ内で前記代表輪郭方向が検出された全ての分割領域に対する所定方向の代表輪郭方向が検出された分割領域の割合、及びグループ内の全ての分割領域に対する前記輪郭信号が所定量以下の分割領域の割合に基づき、グループ内の被写体の種類を判定し、
   前記補正手段は、前記複数のグループそれぞれについて、前記グループ内の被写体の種類に対応する補正方式に従ってグループ内の各分割領域を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記画像データを撮像した撮像装置の当該撮像の時のズーム情報を更に取得し、
   前記検出手段は、前記ズーム情報が示すズーム倍率が大きいほど前記複数の分割領域それぞれの大きさを大きくし、前記ズーム情報が示すズーム倍率が小さいほど前記複数の分割領域それぞれの大きさを小さくすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得手段は、前記画像データを撮像した撮像装置の当該撮像の時のフォーカス情報を更に取得し、
   前記検出手段は、前記フォーカス情報が示す焦点距離が所定の閾値よりも短い場合、前記ズーム倍率に関わらず、前記複数の分割領域それぞれの大きさを所定の大きさ以上にすることを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段は、前記画像データを撮像した撮像装置の当該撮像の時の傾き情報を更に取得し、
   前記検出手段は、前記傾き情報が示す傾きに応じて、検出される前記代表輪郭方向を補正することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記取得手段は、前記画像データよりも時間的に前に撮像された第２画像データを更に取得し、
   前記検出手段は、前記第２画像データにおいて対応する分割領域との差分が閾値より大きい前記画像データの前記分割領域については、前記代表輪郭方向を検出しないことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像データに含まれる顔を検出する顔検出手段と、
   前記検出された顔の背景に人工物が存在するか否かを判定する背景判定手段と、を更に備え、
   前記補正手段は、前記検出された顔の背景に人工物が存在する場合と存在しない場合とで異なる補正方式に従って前記画像データを補正することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記補正手段による前記補正は、輪郭強調又はノイズ除去を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 画像処理装置の制御方法であって、
   画像データを取得する取得工程と、
   前記画像データに含まれる輪郭部分を表す輪郭信号を生成する生成工程と、
   前記画像データを分割して得られる複数の分割領域それぞれについて、前記輪郭信号に基づいて代表輪郭方向を検出する検出工程と、
   前記代表輪郭方向の検出結果に基づいて、前記画像データに含まれる被写体の種類を判定する判定工程と、
   前記被写体の種類に対応する補正方式に従って前記画像データを補正する補正工程と、を有し、
   前記検出工程では、処理対象とする分割領域において生成された輪郭信号が、特定方向の輪郭を示す輪郭信号に偏っている場合に、前記特定方向を前記処理対象とする分割領域の代表輪郭方向として検出し、
   前記判定工程では、前記代表輪郭方向の方向ごとの前記代表輪郭方向が検出された分割領域の数、同一の代表輪郭方向が検出された分割領域が前記代表輪郭方向に基づく方向に並んでいる度合い、および、前記代表輪郭方向が検出された前記分割領域の数のうちの少なくとも１つに基づき、前記被写体の種類を判定することを特徴とする制御方法。
10. コンピュータに、請求項９に記載の制御方法の各工程を実行させるためのプログラム。

Images