JP2009267518A - 画像処理装置及び画像処理方法並びに撮像装置 - Google Patents

Abstract

【課題】容易にホワイトバランスの調整を行うことを可能とする画像処理装置や画像処理方法、及び画像処理装置を備える撮像装置を提供すること。
【解決手段】本発明のホワイトバランス調整部６１は、画像データのホワイトバランスの調整を行うホワイトバランスを調整部６１ａと、ホワイトバランスの調整部６１ａによる調整の効果が認識され易い領域を注目領域として検出する注目領域検出部６１ｂと、注目領域以外の領域を処理することによって注目領域を強調する強調処理部６１ｃと、を備える。これにより、ホワイトバランスを調整する際に注目すべき領域がユーザに容易に認識される。
【選択図】図２

Description

本発明は、デジタルビデオカメラに代表される撮像装置や、撮像装置などに搭載される画像処理装置及びその画像処理方法に関するものである。

近年、デジタルスチルカメラやデジタルビデオカメラのようなデジタル方式の撮像装置が広く普及している。このような撮像装置には、ユーザを補助する機能として、焦点や露出などを自動的に制御する機能を備えるものがある。

さらに、照明の色温度に応じて撮像される画像データ全体の色調を調整する、所謂ホワイトバランス調整機能を備えるものがある。このホワイトバランスが調整されていない場合、画像データは全体的に赤や青などの色味がかかったものとなり、撮像した画像データにおいて被写体を正確に表現することが困難となる。そのため、照明の色温度を自動的に検出するとともに、最適なホワイトバランスを選択して調整するオートホワイトバランス機能を備える撮像装置がある。

このオートホワイトバランス機能を利用する場合、背景や被写体の色や照明の光の入射角度などによっては、最適なホワイトバランスが選択されずに色味がかかってしまう場合がある。このような場合、ユーザ自身がホワイトバランスを判断して調整する必要が生じるが、不慣れなユーザの場合、ホワイトバランスの調整方法がわからないという問題が生じる。特に、予め設定されているホワイトバランス固定モード（例えば、白熱灯モード、曇りモード、晴天日陰モードなど、以下、ＷＢ固定モードとする）から選択する場合であっても、不慣れなユーザにとってはモード毎による差異がわかりにいため、選択すべきモードが不明となってしまう。

そこで、画像データ全体におけるＲ（赤）Ｇ（緑）Ｂ（青）各色のそれぞれのヒストグラムと、注目領域におけるＲＧＢのヒストグラムとを併せて表示することで客観的な値として表現し、これに基づいてユーザにホワイトバランスの調整を行わせるホワイトバランス処理装置が特許文献１に開示されている。
特開２００４−１７２８１７号公報

しかしながら、客観的な値として表現することができたとしても、このような値から画像データの状態を即座に想起することは不慣れなユーザにとっては困難である。そのため、場合によっては所望の画像データを得ることができないという問題が生じる。さらに、注目領域として選定する領域によっては、ホワイトバランスの調整の効果がほとんど認識できないなどの問題が生じるため、ホワイトバランス調整機能を最大限生かしきれない問題が生じる。

そこで、本発明は、容易にホワイトバランスの調整を行うことを可能とする画像処理装置や画像処理方法及び画像処理装置を備える撮像装置を提供することを目的とする。

上記目的を達成するために、本発明における画像処理装置は、入力される画像データの色調を調整して出力する色調調整部を備える画像処理装置において、前記色調調整部より出力される画像データから注目領域を検出する注目領域検出部と、前記色調調整部によって色調が調整された画像データにおける前記注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する強調処理部と、を備えることを特徴とする。

また、上記構成の画像処理装置において、前記注目領域検出部が、前記色調調整部から出力される画像データの中から所定の色であると判定される領域を検出し、前記注目領域とすることとしても構わない。このように構成することによって、例えばユーザが特に調整したいと考える色の領域を注目領域とすることが可能となる。そのため、ユーザが色調調整の効果を認識し易くなり、最適な色調調整方法を設定することが容易となる。

また、上記構成の画像処理装置において、前記注目領域検出部が、前記色調調整部から出力される画像データの中から無彩色であると判定される領域を検出し、前記注目領域とすることとしても構わない。

このように構成することによって、色調調整による色味が最も認識されやすい無彩色の領域を注目領域とすることが可能となる。そのため、ユーザが色調調整の効果を認識し易くなり、最適な色調調整方法を設定することが容易となる。

また、上記構成の画像処理装置において、前記注目領域検出部が、前記色調調整部から出力される画像データの中から所定の値以上の輝度を有すると判定される領域を検出し、前記注目領域とすることとしても構わない。このように構成することによって、色調調整による効果を大きく受ける輝度が高い領域を注目領域とすることが可能となる。そのため、ユーザが色調調整の効果を認識し易くなり、最適な色調調整方法を設定することが容易となる。

また、上記構成の画像処理装置において、前記注目領域検出部が、前記色調調整部から出力される画像データに含まれる割合が所定の値以上である特定の信号を有する領域を検出し、前記注目領域とすることとしても構わない。このように構成することによって、画像データ中に多く含まれており、画像データ全体の色味に与える影響が大きい領域を注目領域とすることが可能となる。そのため、ユーザが色調調整の効果を認識し易くなり、最適な色調調整方法を設定することが容易となる。

また、上記構成の画像処理装置において、前記注目領域検出部が、前記色調調整部から出力される画像データの中から、前記色調調整部による色調の調整による信号の変動量が所定の値以上である領域を検出し、注目領域とすることとしても構わない。また、前記注目領域検出部が、前記色調調整部が画像データの色調の調整を行うために画像データに含まれる各信号に積算する色調調整係数に基づいて、前記注目領域を検出することとしても構わない。特に、前記注目領域検出部が、前記色調調整係数に基づいて前記注目領域の検出に用いる信号の種類を決定することとしても構わない。このように構成することによって、色調調整の効果が大きい領域を注目領域とすることが可能となる。そのため、ユーザが色調調整の効果を認識し易くなり、最適な色調調整方法を設定することが容易となる。

また、上記構成の画像処理装置において、前記注目領域検出部が、前記色調調整部から出力される画像データの中から、所定の被写体を示す領域を検出し、注目領域とすることとしても構わない。このように構成することによって、ユーザが特に撮像したいと考える特定の被写体が含まれる領域を注目領域とすることが可能となる。そのため、特定の被写体の色調を所望のものに調整する最適な色調調整方法を設定することが容易となる。

また、上記構成の画像処理装置において、前記特定の被写体が、画像データ中で最も明瞭に表示されているものであっても構わないし、最も彩度が高いものであっても構わない。さらに、不特定の人物の顔であっても構わないし、特定の人物の顔であっても構わない。

また、上記構成の画像処理装置において、前記注目領域検出部が、画像データの所定の微小単位領域毎に前記注目領域の一部に該当するか否かを判定するとともに、該当すると判定された前記所定の微小単位領域を少なくとも１つ含む大領域を形成する領域セグメンテーションを行い、前記大領域を前記注目領域として検出することとしても構わない。

このような構成とすることによって、注目領域が点在してユーザが注目領域を認識し難くなることを抑制することができる。また、上記構成の画像処理装置において、前記微小領域が画素であっても構わないし、前記画像データをｎ分割して得られるエリアの一つであるとしても構わない。

また、上記構成の画像処理装置において、前記強調処理部が、前記注目領域以外の領域の輝度を減少させる処理を前記画像処理として行うこととしても構わない。

このような構成とすることによって、注目領域以外の領域が暗くなるため、ユーザが容易に注目領域を認識することができるようになる。また、輝度を減少させる程度を少なくすることで、画像データ全体の構図を認識することが可能となる。また、輝度を減少させる程度を大きくして注目領域以外を認識し難いものとすると、注目領域をユーザに認識させやすくすることができる。

また、上記構成の画像処理装置において、前記注目領域以外の領域にハッチングをかけても構わない。このような構成にすることによって、注目領域をユーザに認識させやすくすることができるとともに、注目領域以外の色をハッチングの隙間から確認させることができるようになる。

また、上記構成の画像処理装置において、前記注目領域に含まれる色に関する信号を検出して、前記注目領域以外の領域に表示処理する処理を、前記画像処理として行うこととしても構わない。このような構成とすることによって、ユーザにどの色の領域を認識すべきであるか通知することができる。また、注目領域の色を表示するだけであるため、画像データ全体の色味を損なうことがない。したがって、画像データ全体の色味についてユーザに認識させることが可能となる。

また、上記構成の画像処理装置において、前記注目領域以外の領域を線画表示処理する処理を、前記画像処理として行うこととしても構わない。このように構成すると、線画表示した部分は濃度変化などがない非現実的なものとなるが、輪郭線で表されることとなる。したがって、線画表示としても形状を把握することは可能であり、画像データ全体の構図についてユーザに認識させることが可能となる。

また、上記構成の画像処理装置において、前記色調調整部が、入力される画像データに対して複数の異なる色調調整方法で色調の調整を行った複数の画像データをそれぞれ出力し、前記注目領域検出部が、前記色調調整部から出力される複数の画像データのそれぞれから前記注目領域をそれぞれ検出し、前記強調処理部が、前記色調調整部によって色調が調整されたそれぞれの画像データにおけるそれぞれの前記注目領域以外の領域に前記画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された複数の画像データをそれぞれ作成するとともに、前記注目領域が強調された複数の画像データのそれぞれを含む一つの表示用の画像データを作成することとしても構わない。

このように構成することによって、複数の異なる色調調整方法で色調が調整された画像データを同時に表示することが可能となる。そのため、色調調整方法の効果の差異が微妙なものであったとしても、ユーザに容易に認識させることが可能となる。

また、上記構成の画像処理装置において、入力される画像データから画像データ作成時の照明の色温度を推定し、推定された色温度に適した色調調整方法である最適色調調整方法を決定する自動色調調整方法決定部をさらに備え、前記最適色調調整方法が、前記色調調整部で用いられる前記複数の異なる色調調整方法の一つになるとともに、前記最適色調調整方法が適する色温度に適する順に色調調整方法が選択され、前記複数の異なる色調調整方法として用いられることとしても構わない。このように構成すると、最適色調調整方法（オートホワイトバランス）と、最適色調調整方法と調整方法が近い（適する色温度が近い）色調調整方法と、によってそれぞれ色調が調整された複数の画像データを、同時に表示することが可能となる。そのため、ユーザは予め自動的に絞られた複数の色調調整方法から、最適な色調調整方法を選択することとなる。したがって、ユーザが色調調整方法を選択する時間及び労力を軽減することができる。

また、上記構成の画像処理装置において、前記色調調整部から出力される複数の画像データから前記注目領域検出部が検出する複数の前記注目領域が、それぞれの画像データにおける略等しい位置の領域であることとしても構わない。

このように構成することによって、複数の画像データの同じ領域に基づいて、色調調整方法の比較を行うことができるようになる。そのため、より色調調整方法の違いをユーザに認識させやすくなり、色調調整方法の選択を容易にすることができるようになる。

また、上記構成の画像処理装置において、前記色調調整部が複数の画像データを出力する際に用いる前記複数の異なる色調調整方法のそれぞれに優先度が設定され、前記注目領域検出部が、当該優先度が最も大きい前記色調調整方法によって色調が調整された画像データから検出される前記注目領域を優先注目領域として設定し、他の前記色調調整方法により色調が調整された他の画像データにおける前記優先注目領域と略等しい位置の領域を、他の画像データのそれぞれにおける前記注目領域として検出することとしても構わない。

このように構成することによって、所望の（優先度が高く設定された）色調調整方法によって調整された画像データから検出される注目領域を優先注目領域とするとともに、他の色調調整方法によって調整される画像データの注目領域を優先注目領域と同じ領域に設定し、これらを同時に表示することが可能となる。そのため、ユーザが選択したいと考える色調調整方法や画像データに適した色調調整方法などを優先した表示を行うことが可能になるとともに、これに基づいてユーザに色調調整方法を選択させることが可能となる。

また、上記構成の画像処理装置において、前記優先度が最も大きく設定される前記色調調整方法が、前記最適色調調整方法であることとしても構わない。このように構成することによって、最適色調調整方法（オートホワイトバランス）によって調整された画像データから検出される注目領域が、優先注目領域となる。そのため、注目領域としてあまりに不適となる領域が検出されることを抑制することが可能となる。なお、前記注目領域検出部が検出した注目領域の大きさに基づいて上記の優先度が設定されることとしても構わないし、ユーザによって色調調整方法の優先度が設定されることとしても構わない。

また、上記構成の画像処理装置において、前記表示用の画像データが、複数の画像データにおける強調された前記注目領域と、その近傍の領域の画像データのみを含むこととしても構わない。このような構成とすることで、より注目領域を認識させやすくすることが可能となる。特に、表示する領域を限定することで縮小が不要となったり、縮小する程度が小さいものとなったりするため、注目領域が認識しにくくなることを抑制することができる。

また、本発明における撮像装置は、画像データを作成する撮像部と、当該撮像部から出力される画像データに画像処理を施す画像処理機能を備える撮像装置において、前記画像処理機能を実現する画像処理部として、上記の画像処理装置を備え、前記画像処理部によって、画像データの色調が調整されるとともに注目領域が強調された画像データが作成されることを特徴とする。

また、上記構成の撮像装置において、前記画像処理部により前記注目領域が強調された画像データを表示する表示部をさらに備えることとしても構わない。このような構成とすることによって、撮像時に画像処理部による色調調整の効果を確認し、色調調整を行うことが可能となる。

また、本発明における画像処理方法は、入力される画像データの色調を調整する第１ステップと、当該第１ステップによって色調が調整された画像データから注目領域を検出する第２ステップと、前記第１ステップによって色調が調整された画像データの、前記第２ステップによって検出された注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する第３ステップと、を備えることを特徴とする。

本発明の構成とすることによって、注目領域以外の領域に画像処理を施して注目領域を強調する画像処理が行われるため、色調調整部によって調整された効果を画像処理によって害することなくユーザに対して表示することが可能となる。また、注目領域を強調する構成であるため、ユーザが注目領域に集中しやすくなる。したがって、色調調整の効果がユーザに認識されやすくなり、ユーザが最適な色調調整方法を選択することが容易となる。

本発明における撮像装置の実施形態について、図面を参照して説明する。また、撮像装置として、デジタルスチルカメラやデジタルビデオカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。なお、動画像データ及び静止画像データのどちらも画像データとして説明する。

（撮像装置の基本構成）
まず、撮像装置の基本構成について、図１に基づいて説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像データが作成される。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号の画像データをデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換するマイク５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号の画像データをＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像データに各種画像処理を施す画像処理部６と、マイク５から出力されるアナログ信号の音声データをデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像データに対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像データと音声処理部７からの音声データとに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化されたデータを記録する外部メモリ１９と、画像データを外部メモリ１９に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１９から読み出した圧縮符号化されたデータを伸長して復号する伸長処理部１０と、を備える。

また、撮像装置１は、伸長処理部１０で復号された画像データをディスプレイなどの表示装置（不図示）で表示するためにアナログ信号に変換する画像出力回路部１１と、伸長処理部１０で復号された音声データをスピーカなどの再生装置（不図示）で再生するためにアナログ信号に変換する音声出力回路部１２と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１３と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、撮像を開始するボタンや画像の補正条件を選択するボタン等のユーザからの指示が入力される操作部１５と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１６と、ＣＰＵ１３と各部との間でデータのやりとりを行うためのバス回線１７と、メモリ１４と各部との間でデータのやりとりを行うためのバス回線１８と、を備える。

また、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

また、画像処理部６は、入力される画像データのホワイトバランスを調整するホワイトバランス調整処理部６１を備える。なお、ホワイトバランス調整処理部６１の構成及び動作の詳細については、後述する。

なお、外部メモリ１９は画像データや音声データなどを記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１９として使用することができる。また、外部メモリ１９を撮像装置１から着脱自在としても構わない。

（撮像装置の基本動作）
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像データを取得する。そして、イメージセンサ２は、ＴＧ部１６から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ４に画像データを出力する。

そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像データは、画像処理部６に入力される。画像処理部６では、画像データがＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１４はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像データを一時的に保持する。

画像処理部６は、画像処理の一つとしてホワイトバランスの調整を行う。このとき、ホワイトバランス調整処理部６１が、設定されているホワイトバランスの調整パラメータに基づいてホワイトバランスの調整を行う。例えば、調整パラメータに基づいて画像データ全体における青または赤の色味のバランスが調整される。ここで、調整パラメータは、設定されているＷＢ固定モードに基づいて決定されたり、ユーザによって決定されたりすることで設定される。

また、オートホワイトバランスモードが選択されている場合、ホワイトバランス調整部６１は入力される画像データに基づいて光源の推定を行うとともに、最適な調整パラメータ（例えば、最適なＷＢ固定モード）を選択して決定する。なお、別途カラーメーターなどのセンサを設け、当該センサの値に応じて調整パラメータが設定されることとしても構わない。

また、このとき画像処理部６に入力される画像データに基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

動画を記録する場合であれば、画像データだけでなく音声データも記録される。マイク５において電気信号に変換されて出力される音声データは音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像データと、音声処理部７から出力される音声データと、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像データと音声データとは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像データ及び音声データはドライバ部９を介して外部メモリ１９に記録される。

一方、静止画や音声のみを記録する場合であれば、画像データまたは音声データが圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１９に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる画像処理を異なるものとしても構わない。

外部メモリ１９に記録された圧縮後の画像データ及び音声データは、ユーザの指示に基づいて伸張処理部１０に読み出される。伸張処理部１０では、圧縮された画像データ及び音声データを伸張し、画像データを画像出力回路部１１、音声データを音声出力回路部１２にそれぞれ出力する。そして、画像出力回路部１１や音声出力回路部１２において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像データの記録を行わずに、表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像データを圧縮せずに画像出力回路部１１に出力することとしても構わない。また、動画の画像データを記録する際に、圧縮処理部８で圧縮して外部メモリ１９に記録するのと並行して、画像出力回路部１１を介して表示装置などに画像データを出力することとしても構わない。

（ホワイトバランス調整処理部）
次に、図１に示す撮像装置１におけるホワイトバランス調整処理部６１の構成及び動作について、図２を用いて説明する。図２は、本発明の実施形態における撮像装置のホワイトバランス調整処理部の構成を示すブロック図である。

図２に示すように、ホワイトバランス調整処理部６１には、入力される画像データに対して調整パラメータに基づいたホワイトバランスの調整を行うホワイトバランス調整部６１ａと、ホワイトバランス調整部６１ａから出力される画像データに対して検出パラメータに基づいた注目領域の検出を行う注目領域検出部６１ｂと、注目領域検出部６１ｂから出力される画像データに対して強調処理パラメータに基づいた強調処理を行う強調処理部６１ｃと、を備える。

調整パラメータや検出パラメータ、強調処理パラメータなどの各種パラメータは、予め設定されていたり、自動的に決定されたりする他に、ユーザによっても決定される。ユーザによって決定される場合、ユーザの指示が図１の操作部１５を介して撮像装置１に入力されるとともに、ＣＰＵ１３によって制御されることによってホワイトバランス調整処理部６１に入力される。このようにして、ユーザによってホワイトバランスの調整方法や、注目領域の検出方法、強調処理方法が変更される。

また、記録用の画像データとしては、ホワイトバランス調整部６１ａから出力される画像データが用いられる。また、撮像前に行われるプレビュー時などにおいて最適な調整パラメータを設定しようとする際に、注目領域検出部６１ｂ及び強調処理部６１ｃによって処理された表示画像データが用いられ、表示装置などにおいて表示される。

また、以下において、ホワイトバランス調整部６１ａ、注目領域検出部６１ｂ及び強調処理部６１ｃの各部の動作例について説明する。

＜＜ホワイトバランス調整部＞＞
まず、ホワイトバランス調整部６１ａの動作例について説明する。ホワイトバランス調整部６１ａは、上述したように入力される画像データのホワイトバランスを調整するものである。具体的には、以下の式（Ｉ）に示すような処理となる。ここで、ホワイトバランス調整部６１ａに入力される信号はＲＧＢの信号であるものとする。

Ｒ_new＝Ｇａｉｎ_R×Ｒ_org
Ｇ_new＝Ｇａｉｎ_G×Ｇ_org
Ｂ_new＝Ｇａｉｎ_B×Ｂ_org … （Ｉ）

式（Ｉ）のＲ_new、Ｇ_new、Ｂ_newはそれぞれホワイトバランス調整後の画素のＲＧＢの各信号であり、Ｒ_org、Ｇ_org、Ｂ_orgはそれぞれホワイトバランス調整前の画素のＲＧＢの各信号である。また、Ｇａｉｎ_R、Ｇａｉｎ_G、Ｇａｉｎ_Bはそれぞれホワイトバランスを調整するために各信号に積算される調整係数であり、調整パラメータに基づいて値が決定される。

例えば、ＷＢ固定モードの１つである白熱灯モードとなるように調整パラメータが設定されれば、青味がかるようにＧａｉｎ_Bがより大きく設定される。逆に、晴天日陰モードとなるように調整パラメータが設定されれば、赤味がかかるようにＧａｉｎ_Rが大きく設定される。一方、ホワイトバランス調整前の信号を出力する場合、Ｇａｉｎ_R＝Ｇａｉｎ_G＝Ｇａｉｎ_B＝１に設定される。なお、ＷＢ固定モードだけでなく、ユーザの指示に基づいて調整パラメータが設定され、Ｇａｉｎ_R、Ｇａｉｎ_G、Ｇａｉｎ_Bのそれぞれの値が個別に設定されることとしても構わない。

また、上述した例ではＲＧＢの信号に対するものであるが、ＲＧＢの信号を変換したＹＵＶの信号に対して行うこととしても構わない。この場合も同様として、それぞれの信号に対する調整係数が設定されることとしても構わない。

＜＜注目領域検出部＞＞
＜１．白色または灰色領域検出＞
次に、注目領域検出部６１ｂについて説明する。まず、白色または灰色などの無彩色の領域を注目領域とするように検出パラメータが設定されている場合の、注目領域検出部６１ｂの動作について説明する。

本例では、白色または灰色の領域であることを検出するために画素のＲＧＢの信号の値を用いる。具体的には、Ｒと、Ｇと、Ｂと、のそれぞれの信号の値が略等しければ、その画素が白色や灰色に近い色を表していると判定することができる。そのため、例えば以下の式（ＩＩ）及び（ＩＩＩ）に基づいて、各画素の信号の差分値に基づいた判定を行う。

差分値_RGB＝｜Ｒ_new−Ｇ_new｜＋｜Ｇ_new−Ｂ_new｜＋｜Ｂ_new−Ｒ_new｜…（ＩＩ）
差分値_RGB＜閾値_{DIFF_MAX} …（ＩＩＩ）

式（ＩＩ）におけるＲ_new、Ｇ_new、Ｂ_newは、式（Ｉ）におけるＲ_new、Ｇ_new、Ｂ_newと同様のものである。即ち、ホワイトバランス調整部６１ａから出力されるホワイトバランス調整後の画像データの信号である。また、式（ＩＩ）及び（ＩＩＩ）において、差分値_RGBは各画素におけるそれぞれの信号の差分の絶対値和であり、この和が小さい画素は白色や灰色などの無彩色を表すこととなる。

また、差分値_RGBは０と略等しい値となる場合に無彩色に近い色を表すこととなるが、実際にはノイズなどの影響によって値が変動する。そのため、式（ＩＩ）に示すように、差分値_RGBが閾値_{DIFF_MAX}よりも小さい場合に画素が無彩色を表していると判定する。この閾値_{DIFF_MAX}はある一定の値であっても構わないが、状況に応じて変動する値としても構わない。

さらに、上式（ＩＩ）及び（ＩＩＩ）に加え、以下の式（ＩＶ）を満たす場合に画素が白色を表していると判定しても構わない。
Ｒ_new＋Ｇ_new＋Ｂ_new＞閾値_{DIFF_MIN} … （ＩＶ）

式（ＩＶ）は、ある画素におけるＲ_new、Ｇ_new、Ｂ_newのそれぞれの信号の値を合計したものが、閾値_{DIFF_MIN}より大きければ、その画素が白色または灰色であると判定するものである。そのため、式（ＩＩ）及び（ＩＩＩ）と、式（ＩＶ）と、を満たす場合、その画素は白または灰色を表すこととなる。即ち、式（ＩＶ）によって、黒色である場合（Ｒ、Ｇ、Ｂそれぞれの値が等しくかつ小さい場合）を排除することができる。

以上の構成とすることにより、各画素が表す色が、白色または灰色などの無彩色であるか否かを容易に検出することが可能となる。また、詳細については後述するが、この検出結果に基づいて白色や灰色の画素が集合した領域が検出され、注目領域としてユーザに表示される。そのため、ユーザが白または灰色などの無彩色の領域に対して容易に注目できるようになる。したがって、無彩色の領域にかかる色味と実物の色とを比較して、ホワイトバランスが適切であるか否かを容易に判断することが可能となり、不慣れなユーザであったとしても、容易にホワイトバランス調整の効果を認識することが可能となる。

さらに、式（ＩＩ）及び（ＩＩＩ）を満たす領域が検出されるか否かによって、現在ホワイトバランス調整部６１ａに入力されている調整パラメータが適切であるか否かをある程度判定することができる。具体的には、白色または灰色が、白色または灰色として正しく表現されていれば注目領域検出部６１ｂによって検出されるため、検出の有無に基づいて正しく表現されているか否かを判定することができる。なお、このような判定を行う場合において、閾値_{DIFF_MAX}を小さくして厳しく判定することとしても構わない。

また、上記の例ではＲＧＢの信号に対して無彩色を表示する画素を検出することとしたが、ＹＵＶの信号に基づいて検出することも可能である。この場合は、色差信号であるＵ及びＶが０に近い値であれば無彩色であると判定することができる。例えば、Ｕ、ＶやＵ、Ｖの和がある閾値より小さい場合に無彩色であると判定しても構わない。さらに、輝度信号であるＹが所定の閾値より大きい場合に白または灰色であると判定しても構わない。

＜２．高輝度領域検出＞
次に、高輝度領域を検出するように検出パラメータが設定される場合について説明する。このとき、注目領域検出部６１ｂは高輝度領域を検出することとなる。

式（Ｉ）に示すように、ホワイトバランスはそれぞれの調整係数Ｇａｉｎ_R、Ｇａｉｎ_G、Ｇａｉｎ_Bを画素の各信号であるＲ_org、Ｇ_org、Ｂ_orgに積算することによって行われる。即ち、調整前の信号Ｒ_org、Ｇ_org、Ｂ_orgが大きいほどホワイトバランスの影響を受ける。また、調整後の信号Ｒ_new、Ｇ_new、Ｂ_newが大きいほど、ホワイトバランスの影響を大きく受けた可能性が高いものとなる。

そのため本例では、調整前及び調整後のどちらの信号でも、両方の加重加算値などに基づいた信号でも構わないが、信号が所定の閾値より大きい画素を高輝度である画素として判定する。なお、ホワイトバランスの調整前の信号を利用する場合、調整前の信号が注目領域検出部６１ｂに入力されるように構成しても構わない。

また、判定を行う際に、ＲＧＢのどれか一つの信号に対して判定を行うこととしても構わないし、ＲＧＢの平均値や加重加算値を用いて判定しても構わない。例えば、ＲＧＢの信号を加重加算して、輝度信号Ｙに相当する値を得ることによって判定しても構わない。また、所定の閾値とはある一定の値であっても構わないし、画像データ全体の輝度の平均値など画像データ毎に変動する値として設定し、相対的に高輝度の画素を検出することとしても構わない。

以上の構成とすることにより、高輝度である画素を検出することが可能となる。また、この検出結果に基づいて高輝度である画素が集合した領域が検出され、注目領域としてユーザに表示される。そのため、ＷＢ固定モードなどのホワイトバランスの調整方法の差異による微妙な差異が強調される領域である高輝度領域に対して、ユーザが容易に注目できるようになる。したがって、不慣れなユーザであったとしても、ホワイトバランスの調整時における微妙な差異を認識しやすくなり、容易にホワイトバランスの調整を行うことが可能となる。

また、上記の例ではＲＧＢの信号に基づいて高輝度である画素を検出する場合について示したが、ＹＵＶの信号に基づいて検出することも可能である。例えば、輝度信号Ｙが所定の閾値より大きい画素が高輝度であると判定することとしても構わない。

＜３．頻出画素値領域検出＞
次に、頻出画素値領域を検出するように検出パラメータが設定される場合について説明する。このとき、注目領域検出部６１ｂは頻出画素値領域を検出することとなる。

本例では、まず、図３に示すように、入力される画像データの画素のＲＧＢの信号を３次元ヒストグラムに表すことによって最頻出の画素値を検出する。図３は、最頻出画素値の検出結果の一例を示すヒストグラムである。図３の縦方向の軸はＢの信号を示し、横方向の軸はＲの信号を示し、奥行き方向の軸がＧの信号を示している。

そして、各画素の画素値をＲＧＢの信号に基づいてプロットし、得られるヒストグラムから最頻出の画素値、即ち、ヒストグラムにおいて画素値が集中している領域を検出する。このとき、例えば画素値の平均値や分散値などに基づいて、統計的な処理を行うことによって最頻出である画素値を検出する。図３に示す例では、領域Ａが最頻出の画素値であると判定され、領域Ａに含まれる画素が最頻出の画素値を有する画素であると判定されているものとする。

以上の構成とすることにより、最頻出の画素値を有する画素を検出することが可能となる。また、この検出結果に基づいて最頻出の画素値を有する画素が集合した領域が検出され、注目領域としてユーザに表示される。そのため、ホワイトバランスを変化させた際に画像データ全体に対して最も影響を及ぼす最頻出画素値領域に、ユーザが容易に注目できるようになる。したがって、不慣れなユーザであったとしても、ホワイトバランスの調整時における画像データ全体の変化を認識しやすくなり、容易にホワイトバランスの調整を行うことが可能となる。

なお、上述した２．高輝度領域検出と同様であり、ホワイトバランス調整前の画像データに基づいて検出を行っても構わないし、ホワイトバランス調整後の画像データに基づいて検出を行っても構わない。

また、図３では最頻出の画素値の検出に一定の幅を有する領域Ａを用いる場合について示したが、領域Ａが一つの値を有する点であっても構わない。また、値のばらつき具合（分散値など）によって幅が可変となるものでも構わない。また、図３では領域が一つとなる（最頻出である領域Ａのみとなる）場合について示したが、最頻出の領域を含む複数の領域を検出することとしても構わない。

また、上記の例ではＲＧＢの信号に基づいて最頻出の画素値を有する画素を検出することとしたが、ＹＵＶの信号に基づいて検出することも可能である。この場合、上述した図３に示す例と同様に、ＹＵＶのそれぞれの信号の値による３次元ヒストグラムを作成し、最頻出の領域を検出することとしても構わない。

＜４．指定色領域検出＞
次に、指定色領域を検出するように検出パラメータが設定される場合について説明する。このとき、検出パラメータには検出すべき指定色に関する情報が含まれており、注目領域検出部６１ｂはこの検出パラメータに基づいて指定色領域を検出する。本例ではユーザが白色や灰色以外の領域を指定した場合について説明する。なお、白色や灰色を指定する場合、上述の１．白色または灰色領域検出と同様の検出方法で検出することとしても構わない。

本例では、ユーザが検出する領域を選択する、または、ユーザが検出色を選択することによって指定色が決定され、検出パラメータが決定される。そして、このとき決定された指定色に近い色を有する領域を注目領域検出部６１ｂが検出する。

例えば、ＲＧＢの各信号の値が所定の比率に近い画素を検出することによって、指定色を表す画素を検出する。他の方法としては、ＲＧＢの信号をＹＵＶの信号に変換するとともに、色差信号Ｕ、Ｖの値が所定の比率である画素を検出する方法がある。このとき、所定の輝度値以下の画素、即ち黒色を表す画素を検出対象から除外することとしても構わない。この除外方法については、式（ＩＶ）と同様の式で判定しても構わないし、輝度信号Ｙに基づいて判定しても構わない。

また、ＲＧＢやＹＵＶの信号から、ＨＳＢ（Hue、Saturation、Brightness）やＨＳＶ（Hue、Saturation、Value）、ＨＳＬ（Hue、Saturation、Lightness）などの形式に変換し、色相信号Ｈに基づいて画素が表す色を判定することとしても構わない。例えば、ＨＳＢ等の信号に基づいて判定する場合、色相が角度で表現されるため所定の角度内の信号を検出することとしても構わない。また、上述した場合と同様に、輝度を表す信号（Ｂ、Ｖ、Ｌ）が所定の値以下の画素を検出対象から除外しても構わない。

以上の構成とすることにより、ユーザが指定した色を表示する画素を検出することが可能となる。また、この検出結果に基づいて指定色を表す画素が集合した領域が検出され、注目領域としてユーザに表示される。そのため、画像データ中で特に表現したい指示色の領域に対して、ユーザが容易に注目できるようになる。したがって、ホワイトバランスの調整による指定色の変化がユーザに認識されやすくなり、ホワイトバランスの調整を容易に行うことが可能となる。

なお、ユーザが指定可能な色は１色に限らない。例えば、複数色を指定して、それぞれの色を表す画素の領域を検出することとしても構わない。

また、上述した例ではユーザが指定色の決定を行うこととしているが、ユーザが不慣れでありどの色を指定すべきかわからない場合に備え、ユーザの指示に応じてどの色を指定すべきか提案したり検出したりする構成としても構わない。具体的には、白色や灰色の領域を検出した結果、検出された領域が非常に小さいと認識される場合に、次に検出すべき色をユーザに提案したり、自動的に検出すべき色の領域を検出したりしても構わない。また、このとき提案及び検出する色は、上述した３．の頻出画素値の色であっても構わないし、後述する５．の容易認識色であっても構わない。また、複数色を提案及び検出しても構わない。さらに、黄色と青色のような、足して白になる色（２色であれば、ある色とその色の補色）を提案及び検出しても構わない。

＜５．容易認識色領域検出＞
次に、容易認識色領域を検出するように検出パラメータが設定される場合について説明する。このとき、検出パラメータにはホワイトバランス調整部６１ａに入力される調整パラメータに関する情報が含まれており、これに基づいて注目領域検出部６１ｂが容易認識色領域を検出することとなる。

本例では、特にＷＢ固定モードを利用する場合について説明する。ＷＢ固定モードでは、式（Ｉ）の調整係数Ｇａｉｎ_R、Ｇａｉｎ_G、Ｇａｉｎ_Bが所定の値に決定され、これに基づいて上述したようにホワイトバランスの調整が行われる。そのため、ＷＢ固定モード毎にホワイトバランスの調整の効果が容易に認識できる色が異なるものとなる。

例えば、種々のＷＢ固定モードの中から白熱灯モードが選択された場合について説明する。白熱灯モードでは、被写体が白熱灯に照らされて赤味を帯びることを抑制するために、画像データ全体に青味をかける補正を行う。即ち、Ｇａｉｎ_R及びＧａｉｎ_GよりもＧａｉｎ_Bが大きく設定される。これにより、画像データ全体が青味を帯びるように補正される。すると、補正前から青系の色を表示する部分では変化が認識し難くなる。

そこで、青色があまり含まれない色（黄色などの補色や、補色に近い色である赤色や緑色などの色）の領域を検出することとする。また、晴天日陰モードであればＧａｉｎ_Rが大きく設定されるため、青緑色や緑色または青色の領域を検出することとする。

以上の構成とすることにより、ホワイトバランスの調整による効果が容易に認識できる色を表示する画素を検出することが可能となる。また、この検出結果に基づいて指定色を表す画素が集合した領域が検出され、注目領域としてユーザに表示される。そのため、画像データ中でホワイトバランスの調整による効果が容易に認識できる色の領域に対して、ユーザが容易に注目できるようになる。したがって、不慣れなユーザであったとしても、ホワイトバランスの調整による効果が認識されやすくなり、ホワイトバランスの調整を容易に行うことが可能となる。

なお、ＷＢ固定モードに限らず、ユーザが任意に調整係数を設定するような場合であっても本例を適用することが可能である。この場合でも同様であり、調整係数が大きい色を含まない色を表す画素を検出することとする。また、上記の例ではＲＧＢの信号に基づいて容易認識色を表す画素を検出する場合について示したが、ＹＵＶの信号に基づいて検出することとしても構わない。特に色差信号Ｕ、Ｖの調整係数に基づいて上述した方法と同様の方法で行っても構わない。

＜６．主要被写体領域検出＞
次に、主要被写体領域を検出するように検出パラメータが設定される場合について説明する。このとき、検出パラメータには検出すべき被写体の情報が含まれており、注目領域検出部６１ｂはこの検出パラメータに基づいて主要被写体領域を検出することとする。

〔６．１ パラメータ最適対象領域検出〕
本例では、フォーカスや露出が最適となる部分を注目領域として検出する。フォーカスが最適となる領域を検出する場合、例えば、フォーカスが最適となる領域は近接する画素間において明瞭な差が生じることを利用し、隣接する画素の輝度信号（例えば、ＲＧＢの各値を加算した値や、加重加算した値、輝度信号Ｙに相当する値など）を連続的な値とした場合の高周波成分が大きい領域を検出することによって最適領域を検出することができる。また、露出の最適部分を検出する場合、例えば、上記の輝度信号が所定の値に近い領域を検出することによって最適領域を検出することができる。

なお、フォーカスや露出を最適化処理する処理部が、最適化を行った際の画像データの対象エリアに関する情報を検出パラメータに含ませて注目領域検出部６１ｂに通知することとしても構わない。また、ＹＵＶの信号に基づいて上記の検出を行うこととしても構わない。

〔６．２ 撮像モードに基づいた特定領域検出〕
本例では、例えば撮像モード（ポートレートモード、フラワーモードなど）に基づいて、注目領域検出部６１ｂが、対象物であると判定される特定の領域を画像データから検出して注目領域とする。この場合、設定されている撮像モードに関する情報が、検出パラメータに含まれることとなる。

例えば、選択されている撮像モードがポートレートモードであれば顔の検出を行う。顔の検出には、肌の色を用いて検出する方法や所定の幾何学的配置を有する領域を検出する方法などがある。なお、顔の検出には既存のどのような方法を用いることとしても構わないが、具体例について図４を用いて説明する。図４は、顔の検出方法について説明する図であり、縮小して階層化した画像データを示す模式図である。

本例では、注目領域検出部６１ｂが画像データと重みテーブルとを比較することで顔を検出する。重みテーブルとは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。このAdaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。

図４に示すように、まず入力される画像データ３０から、例えば縮小率を０．８として縮小画像データ３１〜３５が作成されて階層化される。また、各画像データ３０〜３５において判定を行う判定領域４０の大きさは、どの画像データ３０〜３５においても同じである。そして、図中の矢印で示すように、各画像データ上で判定領域４０を左から右に移動させて水平方向の走査を行う。また、この水平走査を上方から下方に向かって行うことで、画像データ全体が走査される。このとき、判定領域４０とマッチングする顔画像の検出が行われる。ここで、画像データ３０の他に複数の縮小画像データ３１〜３５を生成することで、１種類の重みテーブルを用いて大きさが異なる顔を検出することを可能としている。また、走査順はこれに限られるものではなく、どのような順番で行っても構わない。

マッチングは、粗い判定から順次細かい判定に移行する複数の判定ステップから成る。そして、ある判定ステップにおいて顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域４０には顔は存在しないものと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域４０に顔が存在すると判定し、判定領域を走査して次の判定領域４０での判定に移行する。以上のように、人物の顔を検出することができる。また、検出した顔を含む領域を注目領域として検出する。

また、他の例としてフラワーモードが選択されている場合について説明する。この場合は、彩度が高い領域の検出を行う。彩度の高い領域の検出方法として、例えばＨＳＢ等の信号に変換して検出を行う方法がある。この場合、彩度を示すＳの信号の値が所定の値より大きい画素を対象物として認識することとしても構わない。また、輝度を示すＢの信号と組み合わせて判定し、彩度及び輝度が十分大きい領域を注目領域として検出することとしても構わない。

〔６．３ 特定物体領域検出〕
本例では、ユーザが特に検出したい特定物体の情報に基づいて、画像データから特定物体が含まれる領域を検出して注目領域とする。この場合、検出する特定物体の情報が検出パラメータに含まれることとなる。ここでは一例として、特定物体が特定の人物の顔である場合について説明する。

特定の人物の顔を検出する場合、例えば事前に登録された特定の人物の顔のデータを用いて検出する。登録された特定の人物の顔を検出する方法としては、例えば主成分分析を用いることができる。主成分分析とは、多変量で表されるデータの統計から一次結合で表現される新たな変量を構成し、互いに無相関な主成分に要約する方法である。この場合、特定の人物の顔の画像データに基づいて画素値と固有ベクトルを算出し、さらに主成分スコア及び写像を導出する。そして、例えば６．２の顔検出方法によって判定された各人物の顔についての写像と、特定の人物の顔についての写像とを比較して最も近い値を持つ人物の顔を同一の人物の顔と認識する。このような方法により、特定の物体を検出することができる。

なお、特定物体は上述したような人物の顔だけでなく、所定の物体（例えば、車や建物など）であっても構わない。また、検出候補を表示して、ユーザに正しい対象を選択させることとしても構わない。

以上の構成とすることにより、主要な被写体が含まれる領域を検出することが可能となる。また、この検出結果に基づいて主要な被写体が含まれる領域が検出され、注目領域としてユーザに表示される。そのため、画像データ内で明瞭となっている対象や撮像したいと考えている特定の対象について、ユーザが容易に注目できるようになる。したがって、特にホワイトバランスの調整が必要な箇所が認識されやすくなり、ホワイトバランスの調整を容易に行うことが可能となる。

＜７．その他変形例など＞
上述の検出方法では、物体そのものを検出する以外は原則的に画素単位の検出を行うこととしている。しかしながら、検出をエリア単位に行うこととしても構わない。例えば、オートフォーカスやオートホワイトバランスを行う際などに用いられる画像データの分割エリア毎に検出を行うこととしても構わない。ここで、分割エリアとは、画像データ全体をｎ分割（例えば１６×１６の２５６のエリアに分割）した場合の各エリアを指す。上述したオートフォーカスなどは、この中の例えば中央部の８×８のエリアの信号が利用されて行われる。

分割エリアを用いる場合、それぞれのエリアにおいて注目領域とするか否かを判定する。判定基準として、例えば、注目領域として検出される画素の有無、特に、被検出画素の数や、被検出画素がまとまって存在する領域がエリア内に占める割合などを用いても構わない。

また、画素を検出する際に、被検出画素で囲まれた非検出画素を被検出画素とみなしても構わない。特に、多数の被検出画素に数画素程度の非検出画素が囲まれている場合、誤判定である確率が高いため、このような場合にのみ非検出画素を被検出画素とみなしても構わない。このように構成することによって、誤判定により検出領域が虫食い状態となることを防ぐことができる。

また、検出した画素毎に領域セグメンテーションを行っても構わない。領域セグメンテーションの方法としては、例えば、関係を切断するエネルギーが最小である場合を求めることにより分離する、所謂グラフカットなどの手法がある。グラフカットを用いる場合、画素をノードとするとともに、それぞれのノードとエッジ（ｔ−ｌｉｎｋ）により接続される二つのノードであるソースとシンクを定義する。また、隣接するノードはエッジ（ｎ−ｌｉｎｋ）により接続されており、このエッジを切断するエッジコストは隣接する画素が有する輝度などの値によって定められる。そして、ソースとシンクとを分離するために切断するｎ−ｌｉｎｋのエネルギーが最小となるように切断することによって、領域化がなされる。ここで、ｔ−ｌｉｎｋのエッジコストは上述した注目領域検出動作おいて検出するパラメータに応じて定められる。

また、他の方法を用いて領域セグメンテーションを行うこととしても構わない。例えば、ある被検出画素から出発して同様に検出された近傍の画素を取り込んで領域形成を試みる所謂領域拡張法など、種々の方法を用いて注目領域を決定することとしても構わない。また、上述した分割エリア毎に注目領域か否かを決定した後に、領域セグメンテーションを行うこととしても構わない。

また、物体検出を行って注目領域を検出する場合は、検出された領域をそのまま注目領域としても構わないし、分割エリアを用いて注目領域を表しても構わない。

以上のように、注目領域をある程度まとまった領域として設定することによって、後述する強調処理部６１ｃにおいて強調処理を行って注目領域を表示する場合に、極小さい注目領域が無数に点在することを抑制することができる。そのため、ユーザに注目領域を認識させやすくすることが可能となり、さらにホワイトバランスの調整の効果をユーザに認識させ易くすることが可能となる。

なお、以上の１．白色または灰色領域検出、２．高輝度領域検出、３．頻出画素値領域検出、４．指定色領域検出、５．容易認識色領域検出、６．主要被写体領域検出は、それぞれ並列に記載しているが、組み合わせて用いることも可能である。例えば、高輝度領域かつ指定色領域である領域を検出したり、主要被写体領域中における白色または灰色領域や容易認識色領域を検出したりしても構わない。これらの組み合わせは一例に過ぎず、１．〜６．までをどのように組み合わせても構わない。

また、それぞれの検出方法に優先順位を設けても構わない。例えば、ホワイトバランスが調整しやすい白や灰色の領域が検出できない場合に、高輝度領域や頻出画素値領域、容易認識色領域の検出を試みることとしても構わない。また、主要被写体領域を検出できない場合に、被写体の色を指定して指定色領域として検出するなど、優先順位の設定方法はどのようなものであっても構わない。

また、不慣れなユーザに対する効果について中心的に述べたが、本発明はある程度熟練したユーザにおいても効果を発揮するものである。例えば、ホワイトバランスをあえてずらし、赤味や青味を若干かけて照明の特有の効果を引き出す場合などにおいても効果を発揮することができる。この場合、ホワイトバランスの調整の効果が認識しやすい注目すべき領域がユーザに表示されるため、ホワイトバランスの調整の効果を容易に認識することが可能となる。したがって、ホワイトバランスの調整を確実に行うことが可能となる。

＜＜強調処理部＞＞
次に、強調処理部６１ｃによって行われる強調処理について説明する。「強調処理」とは、上述した注目領域検出部６１ｂによって検出された注目領域を強調して表示するための処理である。特に、本発明の各実施例の説明においては、注目領域以外の領域に対して画像処理を施すことによって、注目領域を目立たせる処理を「強調処理」として表現する。注目領域検出部６１ｂは、検出された注目領域の画像データ中の位置などに関する情報を強調処理部６１ｃに与える。強調処理部６１ｃは得られた注目領域の情報と、どのような強調処理を施すかを示した強調処理パラメータと、に基づいて強調処理を行う。

以下において、強調処理について具体例を用いて説明する。注目領域の検出方法については上述したように複数あるが、以下では、白色または灰色領域が検出される場合を例に挙げて説明する。また、処理対象となる画像データの具体例を図５に示す。図５は、強調処理部の処理対象となる画像データを表示した画面の模式図である。

図５は、表示装置などの画面Ｐに画像データを表示した場合を示しており、強調処理を施す前の画像データを画面Ｐに表示した場合について示している。この画像データは、上面ＳＴが白色となるステージＳの上に人形Ｄを置いたものを撮像することによって得られたものである。ここで、画像データ内において白色となる部分がステージＳの上面ＳＴのみであり、背景等は白色ではないものとする。なお、説明の便宜上、図面Ｐ中ステージＳの上面ＳＴに「白色」の文字を付しているが、画像データ及び画面Ｐには実際に付されていないものとする。また、以下では特別に説明しない限り、この画像データに種々の強調処理を施すことで表示画像データを得て、表示することとする。

＜１．減光表示処理＞
まず、強調処理として減光表示処理を行う場合について図６を用いて説明する。図６は、減光表示処理された画像データを表示した画面の模式図である。図６に示すように、画面Ｐでは、白色であり注目領域であるステージＳの上面ＳＴ以外の領域が減光されて表示される。このとき、減光表示処理を行うように強調処理パラメータが設定され、強調処理部６ｃが注目領域以外を減光表示処理する。

本例では、強調処理部６１ｃが、入力される画像データの注目領域以外の画素の信号を小さくする処理を行う。例えば、ＲＧＢの各信号の値を小さくすることによって行われる。このとき、ＹＵＶの信号に変換した場合のＹの信号が小さくなるようにＲＧＢの信号を低減させる比率を設定しても構わないし、これまでの処理をＹＵＶの信号で行うとともにＹの信号を低減させることとしても構わない。

このように注目領域以外の領域が暗くなるように処理を行って表示することで、ユーザが注目領域に注目し易くなる。また、注目領域以外の領域が減光表示されるとしても、何が表示されているかを確認できる程度であるため、全体的な構図についても確認することができる。

なお、注目領域以外の領域に含まれる画素の全ての信号が低減されなかったとしても、注目領域以外の領域が暗くなれば本例の効果が得られる。そのため、色を変化させることなく輝度のみを変化させても構わないし、輝度の低下に応じて色が若干変化することとしても構わない。

＜２．ゼブラ表示処理＞
次に、強調処理としてゼブラ表示処理を行う場合について図７を用いて説明する。図７は、ゼブラ表示処理された画像データを表示した画面の模式図である。図７に示すように、画面Ｐでは、白色であり注目領域であるステージＳの上面ＳＴ以外の領域にハッチングＨがかけられて表示される。このとき、ゼブラ表示処理を行うように強調処理パラメータが設定され、強調処理部６ｃが注目領域以外をゼブラ表示処理する。

本例では、強調処理部６１ｃが、入力される画像データの注目領域以外の領域において、ハッチングＨをかける処理を行う。例えば、画像データ内のハッチングＨをかける位置の画素のＲＧＢの値をそれぞれ０に近い値にして黒い線を表示するなどの方法がある。ＹＵＶの信号でも同様であり、Ｙの値を０に近い値にして黒い線を表示する。

このようにゼブラ表示処理を行うことによって、注目領域がユーザに認識され易くなる。また、ハッチングＨの隙間から注目領域以外を確認することが可能となる。そのため、注目領域の色味だけでなく画像データ全体の状態についても確認することができる。

なお、画面Ｐ中のハッチングＨをかける位置が予め決定されているとともに、ハッチングＨをかける予定の位置と注目領域とが重なる場合に、その領域にハッチングＨをかけないこととしても構わない。また、上述した例ではハッチングＨの線の色を黒としたが、他の色としても構わないし、ユーザが設定可能な構成としても構わない。このように表示することによって、色による対比も行われさらに注目領域が認識され易くなる。また、ハッチングＨの線が半透明になるように、ハッチングＨをかける位置の画素の信号の値を変化させても構わない。

また、上述した例とは逆に、注目領域にハッチングＨをかけても構わない。このように表示することによって、注目領域の位置が即座に認識されるようになる。また、このように表示する場合でも、ハッチングＨの隙間から注目領域の色味を確認することができるため、ホワイトバランスの調整を容易に行うことができる。

＜３．注目領域限定表示処理＞
次に、強調処理として注目領域限定表示処理を行う場合について図８を用いて説明する。図８は、注目領域限定表示処理された画像データを表示した画面の模式図である。図８に示すように、画面Ｐでは、白色であり注目領域であるステージＳの上面ＳＴ以外の領域が認識し難くなる程度にまで補正されている。このとき、注目領域限定表示処理を行うように強調処理パラメータが設定され、強調処理部６ｃが注目領域以外を注目領域限定表示処理する。

本例では、強調処理部６１ｃが、入力される画像データの注目領域以外の領域における画素の信号を画像データが認識し難くなるまで補正する処理を行う。例えば、上述した１．減光表示処理と同様に、画素のＲＧＢの各信号の値を小さくすることによって行われる。このとき、１．減光表示処理において説明したように、ＹＵＶの信号に変換した場合のＹの信号が小さくなるようにＲＧＢの信号を低減させる比率を設定しても構わないし、これまでの処理をＹＵＶの信号で行うとともにＹの信号を低減させることとしても構わない。

ただし、本例では注目領域以外の領域がほぼ認識できなくなるまで、画素の信号の補正を行う。このように補正を行うことで、注目領域のみが容易に認識されるようになり、よりユーザを注目領域に集中させることができる。

なお、本例では注目領域以外が黒くなるように補正しているが、補正する色は他の色であっても構わない。ただし、注目領域の色と異なる色であり、注目領域が認識されやすい色で補正することとすると好ましい。

＜４．注目領域主要色表示処理＞
次に、強調処理として注目領域主要色表示処理を行う場合について図９を用いて説明する。図９は、注目領域主要色表示処理された画像データを表示した画面の模式図である。図９に示すように、画面Ｐの一部に、注目領域であるステージＳの上面ＳＴの主要色である白色のブロックＢが表示される。このとき、注目領域主要色表示処理を行うように強調処理パラメータが設定され、強調処理部６ｃがブロックＢの表示を行う。

本例では、強調処理部６１ｃが、入力される画像データの注目領域の色を注目領域以外の領域の一部に表示する。このとき、注目領域の一部をコピーしてブロックＢ内に表示しても構わないし、注目領域内の画素の信号を平均化して表示することとしても構わない。さらに、注目領域における色相の信号のみをブロックＢに表示することとしても構わない。なお、説明の便宜上、ブロックＢ内にステージＳの上面ＳＴと同様に「白色」の文字を付したが、実際の画面Ｐには文字が付されていないものとする。

このような構成とすることによって、ユーザが注目領域と注目領域以外とを容易に判別できるようになる。また、注目領域以外を見えにくくする補正を画像データ全体に対して行わないため、ホワイトバランスの調整による画像データ全体の色味についても確認することが可能となる。

なお、注目領域が例えば人の顔などの特定対象物である場合は、注目領域のコピーや注目領域を縮小した画像をブロックＢ内に表示することとしても構わない。また、複数の色の領域をそれぞれ検出する場合は、ブロックＢを複数表示しても構わないし、ブロックＢを複数の領域に分けて複数の色を表示しても構わない。

＜５．線画表示処理＞
次に、強調処理として線画表示処理を行う場合について図１０を用いて説明する。図１０（ａ）は、線画表示処理を行う前の画像データを示す模式図であり、図１０（ｂ）は、線画表示処理された画像データを表示した画面の模式図である。なお、図１０では、線画表示による強調処理の効果を説明しやすくするために、図５〜図９で用いた画像データ例とは異なる画像データに対して強調処理を行った場合について示している。また、本例における注目領域は、画像データ中央の白色の領域とする。なお、説明の便宜上、注目領域に「白色」の文字を付しているが、画像データ及び画面Ｐには実際に付されていないものとする。

本例では、強調処理部６１ｃが、入力される図１０（ａ）の画像データの注目領域以外の領域を線画処理する。線画処理とは、画像データの画素が変動する輪郭部分を強調して単純化する処理である。例えば、輪郭強調用の画像処理フィルタであるソーベルフィルタやラプラシアンフィルタを用いることができる。そして、線画処理を行うことによって表示画像データを得て、表示を行うことによって図１０（ｂ）に示す画像が画面Ｐに表示される。

注目領域以外の領域に線画処理を施すと、おおよその形状は認識可能であるが、形状以外の情報（例えば、色や輝度のグラデーション）がほぼ認識不能となる。すると、注目領域以外は非現実的な画像となり、注目領域のみが現実的な画像を示すものとなる。

このような構成とすることによって、ユーザが現実的な画像である注目領域を認識しやすくなる。また、注目領域以外の領域では輪郭などが認識されるため、画像データ全体の構図などを確認することが可能となる。

なお、注目領域以外の領域をグレースケールに変換（例えば、画素の信号を輝度信号であるＹに相当する信号のみとするなど）した後で、線画処理を行っても構わない。このように表示することで、さらに注目領域が認識されやすくなる。

＜６．複数表示＞
上述の例は、一つの調整パラメータによってホワイトバランスが調整された画像データから、一つの検出パラメータによって検出を行い、一つの強調処理パラメータで強調処理した画像データを示す場合のものである。しかしながら、本発明はこれに限られるものではない。例えば、以下に説明するように、複数の調整パラメータ、複数の検出パラメータ、複数の強調処理パラメータを用いるなどして、複数の画像データを同時に表示することとしても構わない。

〔６．１ 調整パラメータ可変表示〕
複数の画像データを同時に表示する場合の具体例について、図１１を用いて説明する。図１１は、複数のホワイトバランスの調整方法を実行して同時に表示する場合の画面の模式図である。図１１に示す例では、一つの画面Ｐに４つの画像データが表示されることとする。これらの画像データは、それぞれ異なるＷＢ固定モードの調整パラメータによってホワイトバランスが調整されている。本例では、晴天モード（左上）、白熱灯モード（右上）、オートホワイトバランスによって選択された蛍光灯モード（左下）、曇りモード（右下）がそれぞれ選択されている。

また、ホワイトバランスが調整されたそれぞれの画像データは、一つの検出パラメータ（白色または灰色領域検出）に基づいて注目領域の検出が行われ、一つの強調処理パラメータ（減光表示処理）に基づいて強調処理されて表示されている。

このように表示することによって、どのＷＢ固定モードの調整方法が最良であるかが、それぞれの調整方法による画像データの表示を比較することによって認識することができる。特に、それぞれの調整方法による差異が微妙なものであったとしても、並べて比較することによって認識され易くすることができる。

なお、例えば４つある選択候補の中の一つにオートホワイトバランスモードを入れ、それによって選択されたＷＢ固定モードの照明と近い色温度である照明に対応するＷＢ固定モードを、残り３つの候補として自動的に選択しても構わない。このような自動選択を行うことで、多数存在するＷＢ固定モードの候補の中からある程度の絞り込みを行うことが可能となる。そのため、不慣れなユーザであってもホワイトバランスの調整にかかる時間や労力を低減することが可能となる。また、予めユーザによって、表示する複数のＷＢ固定モードを選択可能な構成としても構わない。

〔６．２ 注目領域近傍表示〕
また、一つの画面Ｐに複数の画像データを表示する場合に、図１１のように画像全体を縮小して表示しても構わないが、図１２に示すように注目領域近傍のみを表示することとしても構わない。図１２は、複数のホワイトバランスの調整方法を実行するとともに注目領域近傍のみを同時に表示する場合の画面の模式図である。なお、調整パラメータ、検出パラメータ及び強調処理パラメータの設定は図１１と同様のものとする。

図１２のように注目領域近傍のみ表示することによって、注目領域どうしの比較がさらに容易となる。また、注目領域が縮小されることによって、ユーザが注目領域を認識し難くなることを抑制することができる。したがって、ホワイトバランスの調整の効果をより認識させ易くすることが可能となる。

〔６．３ 注目領域相違時の表示〕
また、複数表示をする際に、全てのＷＢ固定モードにおいて同じ注目領域が検出されるとは限らない。例えば、色味がかけられるために画像データ内で検出される領域が変わってしまったり、設定されている検出方法では検出不能となったために優先順位が次である検出方法で注目領域が検出されたりする場合に、このような問題が生じる。

この問題が発生した場合の一例を図１３に示す。図１３は、複数のホワイトバランスの調整方法を実行するとともに注目領域が異なる場合の画面の模式図である。なお、調整パラメータ、検出パラメータ及び強調処理パラメータの設定は図１１と同様のものとする。また、上述した優先順位が次である検出方法とは、例えば注目領域検出部の７．において説明したような優先順位に基づいたものであり、検出不能である場合に次に選択される検出方法を示している。

図１３では、左上の晴天モード及び左下の蛍光灯モードでは、注目領域がどちらもステージＳの上面ＳＴとなる。一方、右上の白熱灯モードでは人形Ｄの上着が注目領域として検出され、右下の曇りモードではステージＳの前面が注目領域として検出されている。

例えこのように別々の領域が検出されたとしても、複数の画像データ毎に最もホワイトバランスの調整の効果が認識し易い領域が検出されているため、それぞれの注目領域と実物とを比較することによって、一度にそれぞれのＷＢ固定モードの候補の比較及び検討を行うことができる。また、指定した領域が正しく検出されているか否かを調べることで、複数あるＷＢ固定モードの選択枝からある程度絞り込むことも可能となる。しかしながら、場合によっては同様の領域（略等しい領域。等しい領域（同一領域）を含む）で比較した方が比較し易い場合がある。そのため、以下の例のように注目領域を同様の領域とする構成としても構わない。

注目領域を同様の領域とする場合、例えばオートホワイトバランスモードによって調整された画像データにおいて白色または灰色と判定された領域の位置を基準とし、他のホワイトバランス調整モードで調整された画像データにおいても、この基準の位置と同様の位置となる領域を注目領域として検出することとしても構わない。このように注目領域を設定し、表示することによって、同様の領域に基づいてホワイトバランスの調整の効果を比較することが可能となる。

なお、オートホワイトバランスモードが、表示を行う複数のＷＢ固定モードの中に含まれていない場合などにおいて、ユーザが選択したＷＢ固定モードによる注目領域を優先させ、全ての画像データにおいてその注目領域が強調処理されて表示されることとしても構わない。また、複数の画像データから注目領域を検出せずに、オートホワイトバランスモードや優先されるＷＢ固定モードによる調整を行った画像データのみから注目領域を検出することとしても構わない。このように検出することによって、検出時間を短縮化することが可能となる。

また、検出パラメータに上述した優先順位を設けておらず、検出不能であることをユーザに通知するように設定している場合にも、この注目領域の設定方法を利用することができる。即ち、検出不能であっても、いずれかの画像データで検出されている領域に基づいて注目領域を設定することができる。

また、別の注目領域の設定方法として、最も大きい領域が検出されたものの注目領域と同様の領域を、それぞれの注目領域として設定することとしても構わない。このように注目領域を設定することによって、注目領域が小さすぎて認識できないという問題が発生することを抑制することができる。そして、以上に示したような方法によって各画像データにおける注目領域を統一すると、図１１や図１２に示したような画面Ｐとなる。

＜７．その他変形例など＞
以上の１．減光表示処理、２．ゼブラ表示処理、３．注目領域限定表示処理、４．注目領域主要色表示処理、５．線画表示処理、６．複数表示は、それぞれ並列に記載しているが、組み合わせて用いることも可能である。例えば、減光表示処理を行うとともに注目領域主要色表示処理を行うこととしても構わないし、減光表示処理を行うとともにゼブラ表示処理を行うこととしても構わない。なお、この組み合わせは一例に過ぎず、１．〜６．までをどのように組み合わせても構わない。

また、上述した例では、ＷＢ固定モードを利用してホワイトバランスを調整する場合について示しているが、ユーザによって調整パラメータが任意に設定されることとしても構わない。また、６．複数表示を行う場合において、強調処理パラメータを可変としても構わない。例えば、調整パラメータと検出パラメータを一つに固定するとともに強調処理パラメータを変動させて、様々な強調処理を行った画像をユーザに表示しても構わない。このように表示することで、ユーザに、最も認識しやすい表示方法を選択させることができる。

（変形例）
以上の図５〜図１３に示した例では、一つの画像データに対して一つの注目領域が検出された場合について示しているが、一つの画像データに対して複数の注目領域が検出されることとしても構わない。また、複数の注目領域が検出される場合、全ての注目領域を強調処理することとしても構わないし、例えば所定の大きさ以下の注目領域を無視するなどして、強調処理される注目領域の数を減らしても構わない。

また、本発明は動画または静止画の撮像を行う場合に利用可能である。どちらの画像データを記録する場合であっても、例えば、記録前のプレビュー時におけるホワイトバランスの調整時において利用可能である。また、図５〜図１３に示した画面に表示される画像データは静止画であっても動画であっても構わない。

また、本実施形態における撮像装置１について、画像処理部６（ホワイトバランス調整処理部６１（ホワイトバランス調整部６１ａ、注目領域検出部６１ｂ、強調処理部６１ｃ）を含む）、音声処理部７、圧縮処理部８、伸張処理部１０などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１及び図２のホワイトバランス調整処理部６１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１やホワイトバランス調整処理部６１を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明における撮像装置の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、デジタルビデオカメラに代表される撮像装置や撮像装置などに搭載される画像処理装置、画像処理方法に関するものである。特に画像データに基づいてホワイトバランスの調整を行う画像処理装置に利用すると好適である。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態における撮像装置のホワイトバランス調整処理部の構成を示すブロック図である。 は、最頻出画素値の検出結果の一例を示すヒストグラムである。 は、縮小して階層化した画像データを示す模式図である。 は、強調処理部の処理対象となる画像データを表示した画面の模式図である。 は、減光表示処理された画像データを表示した画面の模式図である。 は、ゼブラ表示処理された画像データを表示した画面の模式図である。 は、注目領域限定表示処理された画像データを表示した画面の模式図である。 は、注目領域主要色表示処理された画像データを表示した画面の模式図である。 は、線画表示処理を行う前後の画像データ及び画面を示す模式図である。 は、複数のホワイトバランスの調整方法を実行して同時に表示する場合の画面の模式図である。 は、複数のホワイトバランスの調整方法を実行するとともに注目領域近傍のみを同時に表示する場合の画面の模式図である。 は、複数のホワイトバランスの調整方法を実行するとともに注目領域が異なる場合の画面の模式図である。

符号の説明

１ 撮像装置
２ イメージセンサ
３ レンズ部
４ ＡＦＥ
５ マイク
６ 画像処理部
６１ ホワイトバランス調整処理部
６１ａ ホワイトバランス調整部
６１ｂ 注目領域検出部
６１ｃ 強調処理部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 伸張処理部
１１ 画像出力回路部
１２ 音声出力回路部
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６ ＴＧ部
１７ バス
１８ バス
１９ 外部メモリ
３０ 画像データ
３１〜３５ 縮小画像データ
４０ 判定領域
Ｂ ブロック
Ｄ 人形
Ｈ ハッチング
Ｓ ステージ
ＳＴ 上面
Ｐ 画面

Claims (9)

1. 入力される画像データの色調を調整して出力する色調調整部を備える画像処理装置において、
   前記色調調整部より出力される画像データから注目領域を検出する注目領域検出部と、
   前記色調調整部によって色調が調整された画像データにおける前記注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する強調処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記注目領域検出部が、前記色調調整部から出力される画像データの中から無彩色であると判定される領域を検出し、前記注目領域とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記注目領域検出部が、画像データの所定の微小単位領域毎に前記注目領域の一部に該当するか否かを判定するとともに、該当すると判定された前記所定の微小単位領域を少なくとも１つ含む大領域を形成する領域セグメンテーションを行い、前記大領域を前記注目領域として検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記強調処理部が、前記注目領域以外の領域の輝度を減少させる処理を前記画像処理として行うことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記色調調整部が、入力される画像データに対して複数の異なる色調調整方法で色調の調整を行った複数の画像データをそれぞれ出力し、
   前記注目領域検出部が、前記色調調整部から出力される複数の画像データのそれぞれから前記注目領域をそれぞれ検出し、
   前記強調処理部が、
   前記色調調整部によって色調が調整されたそれぞれの画像データにおけるそれぞれの前記注目領域以外の領域に前記画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された複数の画像データをそれぞれ作成するとともに、前記注目領域が強調された複数の画像データのそれぞれを含む一つの表示用の画像データを作成することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 前記色調調整部から出力される複数の画像データから前記注目領域検出部が検出する複数の前記注目領域が、それぞれの画像データにおける略等しい位置の領域であることを特徴とする請求項５に記載の画像処理装置。
7. 前記色調調整部が複数の画像データを出力する際に用いる前記複数の異なる色調調整方法のそれぞれに、優先度が設定され、
   前記注目領域検出部が、
   当該優先度が最も大きい前記色調調整方法によって色調が調整された画像データから検出される前記注目領域を優先注目領域として設定し、
   他の前記色調調整方法により色調が調整された他の画像データにおける前記優先注目領域と略等しい位置の領域を、他の画像データのそれぞれにおける前記注目領域として検出することを特徴とする請求項６に記載の画像処理装置。
8. 画像データを作成する撮像部と、当該撮像部から出力される画像データに画像処理を施す画像処理機能を備える撮像装置において、
   前記画像処理機能を実現する画像処理部として、請求項１〜請求項７のいずれかに記載の画像処理装置を備え、前記画像処理部によって、画像データの色調が調整されるとともに注目領域が強調された画像データが作成されることを特徴とする撮像装置。
9. 入力される画像データの色調を調整する第１ステップと、
   当該第１ステップによって色調が調整された画像データから注目領域を検出する第２ステップと、
   前記第１ステップによって色調が調整された画像データの、前記第２ステップによって検出された注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する第３ステップと、
   を備えることを特徴とする画像処理方法。