JP4003037B2

JP4003037B2 - ホワイトバランス調整装置、ホワイトバランス調整プログラム、ホワイトバランス調整方法およびディジタルカメラ

Info

Publication number: JP4003037B2
Application number: JP2001272282A
Authority: JP
Inventors: 政信白川; 耕平籬
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-09-07
Filing date: 2001-09-07
Publication date: 2007-11-07
Anticipated expiration: 2021-09-07
Also published as: JP2003087816A

Description

【０００１】
【発明の属する技術分野】
本発明は、ホワイトバランス調整装置、ホワイトバランス調整プログラム、ホワイトバランス調整方法およびディジタルカメラに関する。
【０００２】
【従来の技術】
人間の目は色順応によって色成分を調整しており、光源が変化しても白い物体を白と認識することができる。しかし、ディジタルカメラ等の画像機器においてその撮像素子自体には色順応の機能が存在しないため、従来からオートホワイトバランスなどと呼ばれる技術によって色のバランスを調整している。例えば、カラー画像データがＲ（レッド），Ｇ（グリーン），Ｂ（ブルー）の３成分から構成されるときに、３成分それぞれの階調値を画像全体で積算し、それぞれの積算比率がＲ：Ｇ：Ｂ＝１：１：１になるように、各色成分の階調値に補正をかけている。
【０００３】
【発明が解決しようとする課題】
上述した従来のディジタルカメラにおいては、被写体の色成分総てを加算すると無彩色になると言う仮説に基づいて、画像全体の平均的な色がグレーになるように補正をしているので、画像内に特定色の大きな部位があったり、分光分布が特定色に偏った光源下での撮像画像であったりすると、これらの特定色の影響によってホワイトバランス調整が失敗するカラーフェリアが生じてしまう。
本発明は、上記課題にかんがみてなされたもので、画像内の特定色や特定色に偏った光源に影響されることなくホワイトバランス調整を実施可能なホワイトバランス調整装置、ホワイトバランス調整プログラム、ホワイトバランス調整方法およびディジタルカメラの提供を目的とする。
【０００４】
【課題を解決するための手段】
上記目的を達成するため、画像を複数部位から構成される複数の参照領域に分割する画像分割手段と、同画像分割手段によって分割された参照領域であって他の参照領域と比較して領域内の色成分分布の偏りが少ない所定領域についての色成分分布情報を取得する色成分分布情報取得手段と、同取得した色成分分布情報に基づいて上記画像の色成分を補正してホワイトバランスを制御するホワイトバランス制御手段とを具備する構成としてもよい。上記構成においては、画像を複数部位から構成される複数の参照領域に分割し、この参照領域のいずれか又は組み合わせについての色成分分布情報を取得し、この色成分分布情報に基づいて画像の色成分を補正してホワイトバランスを制御する。ここで色成分分布情報取得手段は、他の参照領域と比較して領域内の色成分分布の偏りが少ない領域について色成分分布情報を取得する。
【０００５】
すなわち、色成分分布の偏りが少ない領域の色成分に基づいてホワイトバランスを調整しており、画像全体の色成分に基づいて全体のバランスを整えるわけではない。従って、画像に単色の大きな部位が存在してもこの部位を除外可能であり、この単色部位に大きな影響を受けることが無くカラーフェリアを防止することができる。ここで、色成分分布の偏りが少ない領域は、他の参照領域と比較してのものであり、絶対的に色成分の偏在が少ない領域すなわち、無彩色の領域を選択肢その色成分分布情報を取得するというわけではない。また、参照領域は連続した領域である必要はなく、画像全体から抽出した複数部位から構成されていればよい。例えば、画像全体からまんべんなく複数部位を抽出しても良いし、輝度が所定範囲内にあるものを抽出しても良く、種々の指標に基づいて抽出した部位にて参照領域を構成可能である。所定の色としては、画像が３色の色成分で構成されるとき、そのいずれかの色成分であっても良いし、その組み合わせによって表現される所定の色であっても良い。
【０００６】
また、画像が第１色成分〜第３色成分で表現されるときに、基準となる第１色成分に対して他の第２色成分および第３色成分が画像内の他の領域と比較して比較的均等に分布している領域の色成分分布情報を取得する色成分分布情報取得手段と、同取得した色成分分布情報に基づいて上記画像の色成分を補正してホワイトバランスを制御するホワイトバランス制御手段とを具備する構成としてもよい。
【０００７】
上記構成においては、画像が第１色成分〜第３色成分で表現されており、ホワイトバランスの制御にあたり、第１色成分を基準とする。そして、基準となる第１色成分に対して他の第２色成分および第３色成分が画像内の他の領域と比較して比較的均等に分布している領域について色成分分布情報を取得し、この領域の色成分分布情報に基づいて画像の色成分を補正する。
【０００８】
すなわち、第２色成分と第３色成分が基準の第１色成分に対して偏った分布となっていない領域の色成分分布情報に基づいてホワイトバランスを調整するので、特定色の存在に大きな影響を受けることが無くカラーフェリアを防止することができる。ここで、第１色成分〜第３色成分としてはＲＧＢ成分やＣＭＹ成分等種々の色成分で実現可能であるが、人間の錐体が感じる色分布に近いＲＧＢ成分であると好ましい。また、輝度成分の大部分を占めるＧ成分を基準色とすることが好ましい。
【０００９】
本発明は、画像の輝度成分を取得する輝度成分取得手段と、上記画像において当該輝度成分が所定の帯域内にある部位の画像の色成分分布情報を取得する色成分分布情報取得手段と、同取得した色成分分布情報に基づいて上記画像の色成分を補正してホワイトバランスを制御するホワイトバランス制御手段とを具備する構成としてある。
【００１０】
上記構成においては、輝度成分取得手段にて画像の輝度成分を取得し、色成分分布情報取得手段では当該輝度成分が所定の帯域内にある部位の画像の色成分分布情報を取得する。そして、ホワイトバランス制御手段は、上記取得した色成分分布情報に基づいて上記画像の色成分を補正してホワイトバランスを制御する。
【００１１】
すなわち、輝度成分が所定の帯域内にある部位の画像についての色成分分布情報を使用しているので、画像全体の大きな特定色に大きな影響を受けることが無くカラーフェリアを防止することができる。尚、上述の総ての発明においては、色成分分布情報を取得するので、ディジタル画像データを扱う画像機器について適用すると処理が容易となって好ましいが、むろんテレビジョン等アナログデータを扱う画像機器について本発明を適用することもできる。
【００１２】
ここで、輝度成分取得手段は画像の輝度成分を取得することができればよく、種々の構成を採用可能である。その構成例として請求項２にかかる発明では、上記輝度成分取得手段は、ドットマトリクス状の画像データを所定区画に分割するとともに各区画毎の色成分の平均値を上記輝度成分として取得する構成としてある。すなわち、近年の画像機器においては数百万画素等非常に多くの画素データを扱うことができ、このような画像機器においてドットマトリクス状の画像データの総てについて輝度成分を参照し、総てについての色成分分布情報を処理するには、非常に多くの計算時間を要し、また非常に多くのバッファメモリを必要とする。
【００１３】
そこで、全体のホワイトバランスを調整可能である限りにおいて参照するデータを間引くと好適であり、本発明においては画像データを所定区画に分割して区画毎の色成分の平均値を取得している。また、画像データに輝度成分としてのデータが含まれる場合にはそのデータを使用すればよいが、色成分のデータからなる場合には、一般に、当該色成分データから輝度成分を算出することができる。輝度成分を算出するための式としても種々のものがあるが、本発明のように色成分の平均値を算出するのであれば、その計算は非常に単純であり容易に実行可能である。むろん、輝度成分としては例えば、ＲＧＢ成分に基づいてＹ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ等として算出すること等も可能である。
【００１４】
さらに、輝度成分取得手段においては、ホワイトバランス調整のために参照する画素を帯域毎に抽出するための指標を与えることができればよく、そのための構成として本発明では、上記輝度成分取得手段は、画像の輝度成分をヒストグラム化するとともに所定の輝度範囲に帯域分割する構成としてある。すなわち、輝度成分をヒストグラム化すると、輝度成分のレベル毎、例えば階調値毎の分布を把握することができ、輝度成分の分布が分かれば容易に帯域分割をすることができる。例えば、各帯域内に存在する画素数をほぼ等しくなるように帯域分割すること等が可能になる。
【００１５】
色成分分布情報としては、ホワイトバランスを調整するための指針となる種々の情報を取得することができ、その一例として本発明は、上記色成分分布情報取得手段は、上記分割した帯域毎に上記画像の色成分毎の分布比を取得する構成としてある。すなわち、画像に特定の色成分が多く含まれるときにホワイトバランスがずれやすいことから、当該色成分毎に分布比を取得すれば各色成分の分布比を比較しやすくなり、ホワイトバランスを容易に調整することができる。
【００１６】
ここで、色成分分布情報は、所定の参照領域について取得したり、基準の第１色成分に対して第２色成分と第３色成分が比較的均等に分布している領域について取得したり、所定の帯域毎に取得するなどすれば、画像全体の特定色に大きく影響を受けることが無くカラーフェリアを防止することができる。また、この場合も色成分としてはＲＧＢ成分やＣＭＹ成分等種々の色成分を採用可能であるが、人間の錐体が感じる色分布に近いＲＧＢ成分であると好ましい。さらに、分布比は色成分の分布を反映した比であれば良く、種々の態様を採用可能である。例えば、各色成分毎の階調値やレベルの積分値でもよいし平均値でも良い。また、色成分分布についての比であれば良く、いずれの色成分が分母あるいは分子になっても良い。
【００１７】
さらに、請求項３にかかる発明は、上記色成分分布情報取得手段は、上記画像が第１色成分〜第３色成分で表現されるときに、分布比として第１色成分について「１」を取得し、第２色成分について第１色成分の分布と第２色成分の分布との比を取得し、第３色成分について第１色成分の分布と第３色成分の分布との比を取得する構成としてある。
【００１８】
すなわち、分布比としてホワイトバランスの調整に使用可能な色成分分布情報を取得すると好適であり、第１色成分の分布と第２色成分の分との比を取得すれば、第１色成分を基準とした第２色成分の相対的な分布を把握することができ、同時に第２色成分の相対的な補正量を把握することができる。第３色成分についても同様であり、第１色成分の分布と第３色成分の分との比を取得すれば、第１色成分を基準とした第３色成分の相対的な分布を把握することができる。
【００１９】
従って、画像全体における第１色成分のそれぞれについて「１」，第２色成分のそれぞれについて「第１色成分の分布と第２色成分の分布との比」，第３色成分のそれぞれについて「第１色成分の分布と第３色成分の分布との比」を乗じると色成分の分布の偏りを減じるような調整、すなわちホワイトバランスの調整を行うことができる。
【００２０】
さらに、本発明は、上記ホワイトバランス制御手段は、少なくとも２以上の輝度帯域について上記分布比を平均化する構成としてある。すなわち、画像全体についての色成分分布情報を参照せずに、所定の参照領域や色成分の分布比が均等な領域や輝度成分が所定帯域内にある部位についての色成分分布情報を参照してホワイトバランスを制御するに当たり、どのように色成分分布情報を取得するのかを示す指針は様々なものを採用可能である。その一例として、少なくとも２以上の輝度帯域について分布比を平均化すれば、輝度レンジ全体についての色成分分布のずれを補償することができ、さらにこの分布比を色成分毎の係数にするなどして補正量を決定すれば、色成分分布のずれを補償しつつホワイトバランス制御を行うことができる。
【００２１】
より具体的な例としては、画像機器の色域のずれを補償することが挙げられる。すなわち、画像機器の色域をＬｕｖ空間で考えたときには一般にＬ軸に対して略軸対象であるが、高輝度部位と低輝度部位では逆方向に色域が広がっている。従って、高輝度部位と低輝度部位とでの色成分分布比を平均化すれば、輝度軸に沿った色域のずれを補償することができる。また、分布比の平均化は一回だけで済ませる必要はなく、多くの領域について分布比を平均化し、最も好ましい平均値を採用して色成分毎の補正量を決定する構成にすることも可能である。
【００２２】
さらに、平均化する際の具体的な構成例として請求項４にかかる発明では、上記ホワイトバランス制御手段は、上記ヒストグラムをＮ個の帯域に分割したときに、帯域ｉの分布比と帯域Ｎ＋１−ｉの分布比とを平均化する構成としてある。すなわち、輝度帯域をＮ分割（Ｎは正の整数）して輝度の階調値やレベルが小さい方から帯域番号ｉ（ｉは正の整数）を付与したときに、帯域ｉの分布比と帯域Ｎ＋１−ｉの分布比とを平均化すれば、輝度帯域の両端の２帯域について平均化し、輝度帯域の両端からそれぞれ２番目の２帯域について平均化するようにして順次帯域を平均化することができ、画像機器の色域について色域が上記Ｌ軸に対して略逆側にずれた部位について色成分分布比が平均化され、色域のずれを補償することができる。
【００２３】
上述したように色成分分布比を色成分毎の係数として画像全体の色成分の補正量を決定すれば、色成分分布のずれを補償しつつホワイトバランス制御を行うことができる。ホワイトバランスを制御するに当たり好ましい色成分分布比を取得するために好適な構成の一例として本発明では、上記ホワイトバランス制御手段は、上記分布比を平均化した値で１に近い値をホワイトバランス補正のための係数として取得する構成としてある。
【００２４】
すなわち、分布比はホワイトバランスを調整するための係数となるが、上記分割された帯域を考えるなどして複数の分布比を算出したときに、分布比が１から非常に遠い値となっているものを上記係数としてしまうと、任意の画像データの係数として乗ぜられたときに、非常に大きくカラーバランスを変化させてしまう。従って、カラーフェリアを招く可能性が非常に大きい。そこで、分布比が１に近いものを採用することとして係数による補正量を抑えることにすれば、カラーフェリアになることはほとんど無い。
【００２５】
また、分布比が１に近いものを選択することは、補正量が小さいものを選択することと等価であるが、補正量が小さいと言ってもホワイトバランスの調整としては十分機能し、好ましい係数となることが多い。具体的には、最も１に近いものを取得すれば最も好ましい係数となることが多いが、むろん、最も１に近いことは必須ではなく、２番目に近いものであっても良いし、所定のしきい値を超えない範囲で１に近いものを取得するなど種々の構成を採用可能である。さらに、上述のように平均化された分布比であっても１に近いものを取得するのが好適である。
【００２６】
さらに、本発明は、上記ホワイトバランス制御手段は、上記画像を形成するドットマトリクス状の画像データの各色成分に上記係数を乗じることによってホワイトバランスを制御する構成としてある。すなわち、上述のように上記分布比はホワイトバランスを調整するための係数となるので、画像がドットマトリクス状の画像データで表現されているときに、当該画像データの各色成分に上記係数を乗じると容易にホワイトバランスを制御することができる。また、非常に高い確立でカラーフェリアの発生を防止可能である。
【００２７】
ところで、このようなホワイトバランス調整装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例としてホワイトバランス調整装置のソフトウェアとなる場合に対応させ、上記ホワイトバランス調整装置をコンピュータで実施させる各機能に対応した構成としてもよい。請求項２〜請求項４に対応させたプログラムとしても有効であることは言うまでもない。
【００２８】
むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、上記媒体ではないが供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００２９】
また、このようなホワイトバランス調整プログラムはかかる制御に従って処理を進めていく上でその根底にはその手順に発明が存在するということは当然であり、方法としても適用可能であることは容易に理解できる。このため、請求項５にかかる発明は、上記ホワイトバランス調整装置が実施するホワイトバランス調整方法に対応した構成としてある。すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。むろん、上記請求項２〜請求項４に対応させた方法としても有効である。さらに、本発明を具体的な装置に適用することも可能であり、請求項６のようにホワイトバランス調整を実行可能な各手段を搭載したディジタルカメラとしても本発明を実現可能である。
【００３０】
【発明の効果】
以上説明したように、単色部位に大きな影響を受けることが無くカラーフェリアを防止可能なホワイトバランス調整装置、ホワイトバランス調整プログラムおよびホワイトバランス調整方法を提供することができる。
また、特定色の存在に大きな影響を受けることが無くカラーフェリアを防止することが可能なホワイトバランス調整装置、ホワイトバランス調整プログラムおよびホワイトバランス調整方法を提供することができる。
【００３１】
さらに、請求項１，請求項５，請求項６にかかる発明においては、画像全体の大きな特定色に大きな影響を受けることが無くカラーフェリアを防止することが可能なホワイトバランス調整装置、ホワイトバランス調整方法およびディジタルカメラを提供することができる。
さらに、請求項２にかかる発明によれば、リソースを低減することができる。
【００３２】
さらに、請求項１にかかる発明によれば、輝度成分を容易に帯域分割をすることができる。
さらに、請求項１にかかる発明によれば、画像の各色成分の分布比を比較することにより、容易にホワイトバランスを調整することができる。
さらに、請求項３にかかる発明によれば、ホワイトバランスの調整に直接的に使用可能な色成分分布情報を取得することができる。
さらに、請求項１にかかる発明によれば、輝度レンジ全体についての色成分分布のずれを補償しつつホワイトバランス調整可能になる。
【００３３】
さらに、請求項４にかかる発明によれば、容易に色域のずれを補償することができる。
さらに、請求項１にかかる発明によれば、カラーフェリアの発生率を非常に低くしながらホワイトバランス調整可能になる。
さらに、請求項１にかかる発明によれば、係数の乗算により容易にホワイトバランスを制御可能になる。
【００３４】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ディジタルスチルカメラの概略構成：
（２）画像処理の概略：
（３）ホワイトバランス測定及び制御のための構成：
（４）ホワイトバランス測定及び制御処理：
（４−１）輝度成分取得処理：
（４−２）色成分分布情報取得処理：
（４−３）ホワイトバランス制御処理：
（４−３−１）光源種別に対応した補正：
【００３５】
（１）ディジタルスチルカメラの概略構成：
図１は、本発明のホワイトバランス制御が適用されるディジタルスチルカメラの概略構成をブロック図により示している。
ディジタルスチルカメラ１０は、光学部２０と、ＣＰＵ３２を核とする制御部３０とから構成されている。光学部２０は、光学レンズ系２１と、オートフォーカス機構２２と、測距部２３と、オートフォーカスコントローラ２４とを備え、オートフォーカスコントローラ２４がコントローラ２５からの制御信号に基づいて測距部２３にて被写体までの距離を測定しつつオートフォーカス機構２２にて光学レンズ系２１を駆動してピントを合わせる。光学レンズ系２１にて被写体像を結像するのは撮像素子としてのＣＣＤ２６の撮像面であり、本ＣＣＤ２６は１８００×１２００画素を有する単板で構成されている。単板で構成しているため、２×２画素について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成してある。なお、シャッターについては電子シャッターとともにメカニカルシャッターを備えているが、メカニカルシャッターについては図示を省略している。
【００３６】
この他、光学部２０にはストロボ２７も備えられており、コントローラ２５からの駆動信号に応じて所定光量および所定回数の発光を行う。これにより、赤目防止であるとかスローシンクといった撮影を実現している。なお、ＣＣＤ２６が出力するアナログ量の電気信号を増幅するオートゲインコントローラ（ＡＧＣ）２８が備えられ、増幅後のアナログ電気信号をディジタル値に変換して出力するＡ／Ｄコンバータ２９が備えられている。むろん、以上の光学部２０については、ディジタルスチルカメラ１０としての一般的な構成の一例に過ぎず、各種の変更が可能であることはいうまでもない。例えば、光学レンズ系２１にはズームレンズを備えることもできるし、あるいは固定焦点としてオートフォーカスの機能を備えない廉価なものであっても良い。
【００３７】
また、制御部３０はバス３１を備えており、当該バス３１にＣＰＵ３２とＲＯＭ３３とＲＡＭ３４と上記Ａ／Ｄコンバータ２９が接続されている。ＣＰＵ３２はＲＯＭ３３に書き込まれたファームウェアを実行して光学部２０の制御や画像処理の演算等を実行するものであり、その際にＲＡＭ３４は画像データを保存する画像エリア３４ａとして機能したり演算処理のためのワークエリア３４ｂとして機能したりする。ＣＰＵ３２が光学部２０を制御する際には、コントローラ２５に対して制御信号を出力し、同コントローラ２５が各構成回路などに対する適宜制御信号を生成して出力する。
【００３８】
制御部３０はマンマシンインターフェイスとしての機能も有しており、操作ボタンなどを配置した操作パネル３５と、撮影画像や操作指示などを表示するＬＣＤパネル３６を備えており、ＣＰＵ３２は操作パネル３５の操作を監視し、適宜、操作を受けつつ対応する制御を実行する。また、ＬＣＤパネル３６への表示はＲＡＭ３４に割り当てられたビデオＲＡＭエリア３４ｃに対してＣＰＵ３２が所定のデータを書き込むことにより、ＬＣＤパネル３６に備えられたディスプレイコントローラが適宜同データを読み込んで表示を行う。そして、撮影され、所定の画像処理を経て生成される画像データはＩ／Ｏ３７ａを介して外部メモリであるフラッシュメモリカード３７ｂに書き込まれ、また、必要に応じて同フラッシュメモリカード３７ｂから読み出される。
【００３９】
制御部３０の構成もこの種のディジタルスチルカメラ１０の典型例であって、各種の変更が可能である。例えば、外部メモリの種類については適宜他の種類のものに置き換えることは容易であるし、さらには着脱可能なメモリとのインターフェイスを備えなくてもＵＳＢインターフェイスを介してコンピュータに画像データを出力するようにしてもよい。表示部としてのＬＣＤパネル３６に付随して他のＬＣＤ表示器を備えてもよいし、ＣＰＵ３２については制御対象が異なる複数のＣＰＵを備えても良い。
【００４０】
光学部２０で撮像された画像はＣＣＤ２６からアナログ電気信号として出力された後、ＡＧＣ２８を経てＡ／Ｄコンバータ２９にてディジタルデータに変換され、さらにバス３１を介してＲＡＭ３４の画像エリア３４ａに記録される。そして、ＣＰＵ３２が所定の画像処理を実行することによりＪＰＥＧ画像データに変換されて上述したフラッシュメモリカード３７ｂに書き込まれることになる。
【００４１】
（２）画像処理の概略：
図２は、この画像処理の主要な流れを示している。細部においては後述するような具体的な処理が実行されるものの、概略的にはこの流れに従って処理を進めている。まず、この概略について説明する。ステップＳ１０２では、欠陥画素補間を実行する。およそ２００万画素を有するＣＣＤ２６には欠陥画素は避けられず、所定の基準値以下のものであれば良品として供給される。このため、良品の範囲内での欠陥画素については同色画素だけを基準とした５×５画素のメヂアンフィルタを使用して補う。すなわち、欠陥画素がシアンの画素であるとすると、この欠陥画素の周囲に位置する５×５のシアン画素の出力値を順番に並べ、中央値を欠陥画素の値とする。なお、欠陥画素自体は光学部２０において既に検出されている。
【００４２】
次のステップＳ１０４ではホワイトバランスの測定を行う。撮影時の光源の種類、およびＣＣＤ２６とカラーフィルタとの組合せによっては、ホワイトバランスがずれることがあり、本実施形態においては、各撮影ごとにステップＳ１０４にてホワイトバランスを測定し、その結果を反映させてずれを少なくするようにステップＳ１１０にてホワイトバランスの制御をする。ホワイトバランスを測定するときには間引き処理で選択した１１３×７５画素の画像データを利用し、ＲＧＢ表色系においてＧ成分を基準としたＲ成分の偏りとＢ成分の偏りを測定する。なお、本ＣＣＤ２６は補色系のカラーフィルタを備えており、補色系であることを踏まえて制御をしている。
【００４３】
本実施形態では三種類の画像を生成する。一つ目は確認画像であり、二つ目はサムネール画像であり、三つ目は主画像である。確認画像は撮影後速やかにＬＣＤパネル３６に表示するための画像であり、７２０×２４０画素の画像データで構成される。サムネール画像は主画像とともに画像データとして記録されるものであり１６０×１２０画素の画像データで構成される。主画像は操作者の選択によって三つのサイズを選択可能であり、Ｅ−ｍａｉｌ画像という７２０×４８０画素か、Ｐｒｉｎｔ画像という１８００×１２００画素か、Ｈｙｐｉｃｔ２という高解像度化した２１６０×１４４０画素かのいずれかである。
【００４４】
図２において、ステップＳ１０６〜ステップＳ１１４は破線で囲む表示をしてあり、すくなくともこれらの処理は生成される三種類の画像ごとに実施される。ステップＳ１０６ではデータ補間を実施する。ＣＣＤ２６は単板で構成され、２００万画素を有しているものの全画素のそれぞれで色情報が完結しているわけではない。すなわち、ある画素についてはシアンの情報だけ、ある画素についてはマゼンタの情報だけ、ある画素についてはイエローの情報だけ、ある画素についてはグリーンの情報だけとなっている。このデータをモザイクデータと呼ぶ。データ補間では各画素に対して不足する他の色の情報を補うことにより、各画素ごとに色情報を完結させるための処理である。不足する情報は注目画素に隣接して取り囲む８画素に含まれる色情報の平均値である。例えば、シアン画素（Ｃ１）の周囲にはイエローの画素が二個（Ｙ１，Ｙ２）、マゼンタの画素が二個（Ｍ１，Ｍ２）、グリーンの画素が四個（Ｇ１〜Ｇ４）存在する。
【００４５】
従って、このシアン画素の色情報（Ｃ，Ｍ，Ｙ，Ｇ）については、
Ｃ＝Ｃ１
Ｍ＝（Ｍ１＋Ｍ２）／２
Ｙ＝（Ｙ１＋Ｙ２）／２
Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４
として計算する。
【００４６】
ステップＳ１０８では、表色系を変えてＲＧＢ画像データに変換する。変換のための一般式も存在するが、実際には単純な一般式を利用するのではなく、チューニングを施したルックアップテーブルを利用したり行列式を利用したりして変換を行う。ＲＧＢ画像データに変換後、ステップＳ１１０では、上述したようにＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくする制御を実行する。次のステップＳ１１２ではトーンカーブ補正を行う。トーンカーブ補正はいわゆるγ補正とも呼ばれ、このときに各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズの低減や階調性の保持のためにγカーブ自体についての調整も行っている。トーンカーブ補正自体はルックアップテーブルを利用しており、予めチューニングして作成した１０ビット→８ビットのルックアップテーブルを参照して変換する。
【００４７】
この後、ＪＰＥＧ画像圧縮技術を利用するため、ＲＧＢ表色系からＹＵＶ表色系へと色変換する。なお、輝度とイエローを区別するため、以後において輝度はＹｍと表示し、また、後述するようにモザイクカラーデータから直接導き出す輝度を単純輝度Ｙｓとして表示することにする。ＲＧＢ表色系からＹＵＶ表色系への色変換は一般式あるいは行列式を利用して変換する。
なお、モザイクカラーデータからＹＵＶ表色系への変換の一般式は、
Ｙｓ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ）
Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ）
Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ
となっているが、実際には上述したようなチューニングやホワイトバランスの制御が実施され、この通りの対応関係を採用しているわけではない。
【００４８】
ステップＳ１１６とステップＳ１１８は主画像の作成の際にのみ実施される処理である。ノイズ除去は色成分としてＵＶ成分についてのみいわゆるローパスフィルタを適用する演算を行なう。すなわち、色変化が急峻すぎるものについては押さえ気味に作用する。また、エッジ強調は輝度成分についてのみ当該輝度成分に基づくエッジ量から非線形関数値（例えばコアリング関数値）を算出し、同非線形関数値を元の輝度成分に加重して演算している。従って、隣接する画素間で輝度値が変化する場合にそのエッジ量を算出し、当該エッジ量の絶対値が大きければその変化量を大きく輝度値に反映させるし、同絶対値が小さければ元輝度値はほぼ元のままの値となる。
【００４９】
以上が画像処理の概略であるが、上記手順は実際の演算処理において複数の処理を同時に行うなどすることにより、演算処理時間の短縮を図ることも行なう。撮影は上述した三種類の画像ごとに上述した画像処理を実行し、最終的にはサムネール画像を含んだ主画像のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに書き込むことによって完了する。この他にも、本ディジタルスチルカメラではフラッシュメモリカード３７ｂから画像データを読み込んでＬＣＤパネル３６に表示したり、データの削除や各種の設定を実行可能であるが、これについては一般的な技術を適用可能であるので説明を省略する。
【００５０】
（３）ホワイトバランス測定及び制御のための構成：
以下、上記画像処理のステップＳ１０４におけるホワイトバランスの測定と当該測定結果を反映したホワイトバランス制御について詳細に説明する。図３は、上記図１に示す構成にて実現されるホワイトバランスの測定系及び制御系を示すブロック図である。同図における輝度成分取得モジュール３３ａと色成分分布情報取得モジュール３３ｂとホワイトバランス制御モジュール３３ｃとはＲＯＭ３３に予め記録されたプログラムモジュールを上記ＣＰＵ３２が適宜読み出すことにより実行される。また、各モジュールは上記ＲＡＭ３４の画像エリア３４ａおよびワークエリア３４ｂに記録されたデータを適宜使用し、必要に応じて中間データを書き込んでホワイトバランスを制御するためのマトリクスを決定する。ホワイトバランスの制御は画像データにこのマトリクスを乗じることによって実現される。
【００５１】
輝度成分取得モジュール３３ａは、画像エリア３４ａに記録されたＣＣＤのＲａｗデータを取得して輝度成分を取得する。ここで、輝度成分取得モジュール３３ａは、演算量を低下させるための間引き処理やＧＭＹＣのＲａｗデータをＲＧＢＹｓデータに変換する処理、ヒストグラム処理と同ヒストグラムの帯域分割処理を行っており、それぞれの処理にて生成され、適宜使用される間引き済データ３４ｂ１，ＲＧＢＹｓデータ３４ｂ２，ヒストグラムデータ３４ｂ３，帯域データ３４ｂ４は上記ＲＡＭ３４のワークエリア３４ｂに記録される。それぞれの処理は後に詳述する。尚、原色系のフィルタを搭載したディジタルスチルカメラであればＧＭＹＣデータからＲＧＢデータへの変換は不要であるが、ＣＣＤのＲＧＢデータをｓＲＧＢデータの特性に近似させるような補正処理が必要である。
【００５２】
色成分分布情報取得モジュール３３ｂは、上記分割された帯域であってホワイトバランスを調整するための指標として好適な帯域内の色成分分布情報としてＲＧＢ色成分の積分データ３４ｂ５とその比である分布比データ３４ｂ６を取得する。ホワイトバランス制御モジュール３３ｃは得られた分布比データ３４ｂ６から、ホワイトバランス調整に使用するための係数であってＧ成分に対してＲ成分を相対的に補正するための補正係数Ｒ’_ｃ，およびＧ成分に対してＢ成分を相対的に補正するための補正係数Ｂ’_ｃ（３４ｂ７）を求める。そして、この補正係数を生理的三原色による表色空間での係数に変換するとともに当該表色空間内で補正を施して補正係数Ｒ_ｃ，Ｂ_ｃを算出し、当該補正係数に基づいて最終的なホワイトバランス制御マトリクス３４ｂ９を算出する。
【００５３】
尚、上記ＲＯＭ３３にはＥｓｔｅｖｅｚ−Ｈｕｎｔ−Ｐｏｉｎｔｅｒの式などの順応変換式に基づいて、ｓＲＧＢ座標系のＲＧＢ色成分を生理的三原色のＲＧＢ色成分に変換する変換マトリクスＡ（３３ｄ１）と当該変換の逆変換を実施する逆変換マトリクスＡ^−１（３３ｄ２）が記録されており、上記ホワイトバランス制御モジュール３３ｃにて使用される。以上のようにして作成された上記ホワイトバランス制御マトリクス３４ｂ９と上記画像エリア３４ａ内のＣＣＤＲａｗデータをＲＧＢ色成分に変換したものとを乗じると、当該画像のホワイトバランスを制御することができる。
【００５４】
本実施形態においては、ホワイトバランスの補正係数を２段階で求めている。すなわち、第１段階として一旦補正係数Ｒ’_ｃ，Ｂ’_ｃを求めた後、さらに第２段階として補正係数Ｒ_ｃ，Ｂ_ｃを求めている。このようにして補正係数を２段階で求めていることによって、画像内の大きな単色部位に影響を受けてホワイトバランス制御が失敗したり、特定の光源であるときにホワイトバランス制御が失敗するような、カラーフェリア等を防止することができるが、上記段階のそれぞれは単独で実施されてもホワイトバランス制御として機能するし、別手法のホワイトバランス制御に対してそれぞれの段階を付加してホワイトバランスを制御する構成としても良い。例えば、第１段階で算出された補正係数Ｒ’_ｃ，Ｂ’_ｃを使用してホワイトバランス制御マトリクス３４ｂ８を算出するような構成であってもホワイトバランス調整装置として機能する。
【００５５】
（４）ホワイトバランス測定及び制御処理：
以下、上記構成においてホワイトバランスの測定及び制御のために実施される処理を詳細に説明する。図４，図５はホワイトバランス測定及び制御を示すフローチャートである。図４は上記第１段階に該当し、図５は第２段階及び最終的なホワイトバランス制御マトリクス３４ｂ９を算出する段階に相当する。また、図４のステップＳ２００〜Ｓ２２０が上記輝度成分取得モジュール３３ａの処理に該当し、図４のステップＳ２２５〜Ｓ２５０が上記色成分分布情報取得モジュール３３ｂの処理に該当し、図４，図５のステップＳ２５０〜ステップＳ２７５およびステップＳ１１０が上記ホワイトバランス制御モジュール３３ｃの処理に該当する。ここでは、各モジュール毎の処理に分けつつ一連の処理を説明する。
【００５６】
（４−１）輝度成分取得処理：
輝度成分取得モジュール３３ａがステップＳ２００にて上記画像エリア３４ａ内のＣＣＤＲａｗデータを取得すると、ステップＳ２０５においては当該ＣＣＤＲａｗデータに対して間引き処理を実施する。すなわち、ＣＣＤＲａｗデータは上述のように１８００×１２００画素を有するデータであり、全画素について以後の処理を実行すると非常に時間がかかり、また、ＲＡＭ３４に必要とされる空き記憶容量も非常に大きなものとなることから、以下のようにして画素を間引いている。
【００５７】
図６は、この間引き処理を説明するための説明図である。同図右側の四角はＣＣＤＲａｗデータの模式図であり、１８００×１２００画素のＧＭＹＣモザイクデータである。本実施形態においては、このモザイクデータの１／１６の大きさの画像データを使用することにしており、まず、図におけるモザイクデータ左上の１６×１６画素群（Ｇｒ１）を取得する。画素群Ｇｒ１内にはＧＭＹＣの各色成分データが６４個ずつ含まれており、各色成分毎に６４個のデータの階調値平均を取る。そして、これらの平均を一画素分の色成分データ｜Ｇ｜_１，｜Ｍ｜_１，｜Ｙ｜_１，｜Ｃ｜_１とする。
【００５８】
以降は同様にして逐次上記ＣＣＤＲａｗデータから１６×１６画素の画素群を取得して平均化する処理を行う。この結果、上記ＣＣＤＲａｗデータは１／１６の大きさすなわち１１３×７５画素の階調値データとなる。この階調値データは間引き済データ３４ｂ１として上記ワークエリア３４ｂに記憶される。むろん、この間引き処理においてその圧縮率１／１６は必須の値ではなく、上記ＲＡＭ３４や処理負担等に応じて適宜変更することが可能である。また、上述のように平均化するとＣＣＤＲａｗデータの総ての情報を加味することができて好適であるものの、ＣＣＤＲａｗデータの縦横１６画素につき各色１画素残すように間引くなど、他にも種々の手法を採用可能である。
【００５９】
本実施形態においては、ＲＧＢ空間でホワイトバランスの調整を考えており、上記ステップＳ２０５にて間引き処理を行った後の間引き済データ３４ｂ１はステップＳ２１０にてＲＧＢ成分および単純輝度Ｙｓに変換される。ＧＭＹＣ成分からＲＧＢ成分への変換は、上記ステップＳ１０８における変換式と同様の変換式を使用しており、この変換式では上述のようにチューニングが施されていることにより、高精度に色変換を行うことができる。図７は、ステップＳ２１０における変換後の画素データ（ＲＧＢＹｓデータ３４ｂ２）を示している。変換後の画素データは、同図に示すように１１３×７５画素であるとともに各画素についてＲＧＢＹｓの４成分の階調値データから構成されている。
【００６０】
輝度成分取得モジュール３３ａはこの時点で画素の輝度成分を取得しているが、本実施形態では後の処理のため、ステップＳ２１５において各画素の単純輝度Ｙｓを各階調値についてヒストグラム化してヒストグラムデータ３４ｂ３を生成する。図８は、このヒストグラムの一例を示すグラフである。同図においては、階調値ピッチが細かいため連続的な曲線として示しているが、実際のヒストグラムは離散的な値である。尚、以下のヒストグラムのグラフでも同様に曲線として示しているが実際は離散的な値である。
【００６１】
ステップＳ２１５にてヒストグラムを作成すると、ステップＳ２２０にて当該ヒストグラムを１０個の輝度帯域に分割する。図９は、同ステップＳ２２０における帯域分割の様子を説明する説明図である。同図上部の表は帯域を決定していく作業を示しており、下部のグラフは帯域が分割されたヒストグラムを示している。帯域を分割する際には、上部の表に示すように単純輝度Ｙｓの階調値が「０」のものからヒストグラムを積算し、積算値が８４７（約１１３×７５／１０）を超えた段階で次の帯域に移って積算を繰り返す。
【００６２】
このような積算を１０個の帯域について繰り返すと、各帯域に属する画素数がほぼ等しくなる。すなわち、図９のグラフに示す各帯域の面積はほぼ等しい。帯域分割された後のデータは、いずれの画素がいずれの帯域に属するか判別可能な帯域データ３４ｂ４として上記ワークエリア３４ｂに記憶される。ここで、ヒストグラムは離散的な値であるため、各帯域に属する画素数が厳密に等しくなるとは限らないが、後述の色成分分布情報取得モジュール３３ｂによって分布比の算出プロセスが存在するので画素数の厳密性は問題とならない。積算値が上記８４７を超えた段階で、その階調値の画素については一方の帯域のみに含まれるとしても良いし双方に含まれるとしても良い。また、この帯域分割においては、後にホワイトバランス調整のために使用して好適な輝度帯域を特定することができればよく、分割数が１０個であることが必須ではないし、分割の手法は上述のものに限られない。
【００６３】
（４−２）色成分分布情報取得処理：
色成分分布情報取得モジュール３３ｂは、上記帯域データ３４ｂ４に基づいてホワイトバランス制御に好ましい帯域から色分布情報を取得する。このために、まずステップＳ２２５にて上記分割された帯域毎に同一帯域内に属する画素のＲＧＢ成分をそれぞれ積分し、ＲＧＢ積分データ３４ｂ５として上記ワークエリア３４ｂに記憶する。ステップＳ２３０では、分布比として各帯域毎に「Ｇ成分の積分値／Ｒ成分の積分値」と「Ｇ成分の積分値／Ｂ成分の積分値」とを求め、分布比データ３４ｂ６として上記ワークエリア３４ｂに記憶する。図１０は積分値と分布比とを算出する様子を説明する説明図である。上記帯域データ３４ｂ４ではいずれの画素がいずれの帯域に属するか判別可能であるため、同図に示すように各帯域に属する画素のＲＧＢ成分を容易に知ることができる。
【００６４】
このＲＧＢ成分値から、積分値は以下の式（１）にて算出し、
【数１】

分布比は以下の式（２）にて算出する。
【数２】

ここで、Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊは各色成分毎の階調値であり、「ｉ」は帯域の番号に該当し「ｊ」は画素を区別するための便宜的な番号である。また、Ｉｒｉ，Ｉｇｉ，Ｉｂｉは各帯域毎、各成分毎の積分値であり、ＲｉｃとＢｉｃは各帯域毎の分布比である。
【００６５】
ここで、上記積分値は色成分の階調値の積算値であることから、各帯域毎にどれほどの値の階調値がどれほど分布しているかを反映した値となっている。また、この積分値を使用して分布比を算出することは帯域毎の色成分毎の平均階調値を使用して分布比を算出することと等価である。帯域毎の色成分毎の平均階調値は、帯域内に属する画素の所定色成分の階調値を足し合わせ、画素数で除したものであり、色成分毎の画素数は各帯域で同数であるところ、分布比にした場合には分母と分子で画素数が相殺されて結局分布比に寄与するのは階調値を足し合わせた成分のみとなるからである。
【００６６】
この分布比Ｒｉｃは「帯域毎のＧ成分の平均値／帯域毎のＲ成分の平均値」，分布比Ｂｉｃは「帯域毎のＧ成分の平均値／帯域毎のＢ成分の平均値」であり、この分布比はホワイトバランスを調整する性質を持った係数となる。すなわち、ある画素のＲＧＢ色成分それぞれがその画素の属する帯域の各色成分の平均階調値と等しい場合、分布比ＲｉｃとＲ成分の階調値とを乗じると分母が相殺してＧ成分の平均値と等しくなり、分布比ＢｉｃとＢ成分の階調値とを乗じても分母が相殺してＧ成分の平均値と等しくなる。従って、当該画素の全色成分が等しくなり無彩色になる。
【００６７】
このように、分布比Ｒｉｃと分布比Ｂｉｃとはそれぞれ画素のＲ成分とＢ成分とに作用し、その帯域のＧ成分の平均値を基準としつつ当該基準に近づけるようにＲ成分とＢ成分とを相対的に変化させるので、ホワイトバランスを調整するための係数であると言える。従って、上記ステップＳ２３０まででは、帯域毎のホワイトバランス補正係数を算出したと言える。本発明においては、所定帯域の分布比を参照して画像全体のホワイトバランスを調整するとともに、画像内容や光源等の差異にかかわらずより好ましい結果を得るための補正を加えている。
【００６８】
ステップＳ２３０にて分布比データを取得すると、上記色成分分布情報取得モジュール３３ｂはステップＳ２３５にて以下の式（３）に従って分布比の組みの平均値Ｒ’_ｎｃ，Ｂ’_ｎｃを算出する。
【数３】

ここで、ｎは帯域の組番号であり「１〜５」の整数である。
【００６９】
図１１は、組みの平均値Ｒ’_ｎｃについて２つの帯域を組みにする様子を説明する説明図である。同図に示す上部のグラフは上述のようにして１０個の帯域に分割されたヒストグラムを示している。上記式（３）においては、ｎ番目の帯域と（１１−ｎ）番目の帯域についての平均を算出していることから、同図に示すように両端の帯域（１番目と１０番目）が組みとなり、両端から２番目の帯域（２番目と９番目）が組みとなるようにして順次組み合わせられる。Ｂ’_ｎｃについての組み合わせの考え方も同様である。
【００７０】
図１２は、分布比を組みにして平均化する際の考え方を説明する説明図であり、同図はＹＵＶ色空間のＵ−Ｙ平面に写像されたＲＧＢ色空間の色域を示す。同図において、ＲＧＢ色空間の色域は、高輝度領域で負のＵ方向に偏り、低輝度領域で正のＵ方向に偏っている。Ｖ−Ｙ平面に写像した場合も同様で、高輝度領域で負のＶ方向に偏り、低輝度領域で正のＶ方向に偏ることとなる。すなわち、高輝度領域と低輝度領域とで逆の性質を有しており、この性質を上記分布比で考えると高輝度領域と低輝度領域とで大きな差が発生することとなるが、両者を平均すればその差を相殺することができ、色域形状に起因する分布比の偏りを除去した当該分布比を評価することができる。尚、この偏りを除去するように分布比を平均化する考え方は、ＲＧＢ色空間とＹＵＶ色空間との関係から発生したものであり、多くの画像機器についてのホワイトバランス調整にて採用することができる。
【００７１】
ステップ２３５にて分布比の組みの平均値が算出されると、ステップＳ２４０にてＲ’_ｎｃが「１」より小さいか否かを判別し、同ステップＳ２４０にてＲ’_ｎｃが「１」より小さいと判別されたときにはステップＳ２４５にてＲ’_ｎｃに対して当該Ｒ’_ｎｃの逆数を代入する。このステップＳ２４０，ステップＳ２４５の判別処理は、ステップＳ２４０での判別結果にかかわらず、組み番号１〜５の総てについて、また、Ｂ’_ｎｃについても同様に独立に実行される。ここでの処理はＲ’_ｎｃとＢ’_ｎｃとの総てについて、「１」より小さければ「１」より大きな数に変換する処理をしているものであり、次の評価関数ｅ_ｎによる判別のための変換であるとともに、評価関数による判別後は元の値に戻される。
【００７２】
（４−３）ホワイトバランス制御処理：
ステップＳ２５０では、評価関数ｅ_ｎに対して、各組のＲ’_ｎｃとＢ’_ｎｃとを代入し、上記ホワイトバランス制御モジュール３３ｃは当該評価関数ｅ_ｎが最小となる組み番号ｎのＲ’_ｎｃとＢ’_ｎｃとの値を第１段階のホワイトバランス補正係数Ｒ’_ｃおよびＢ’_ｃとして決定する。この第１段階のホワイトバランス補正係数も上述の分布比と同様の性質を有しており、上記図３に示すホワイトバランス制御マトリクス３４ｂ８の所定成分となり得る係数である。すなわち、画像内の任意の画素のＲＧＢ成分を成分とする行列にホワイトバランス制御マトリクス３４ｂ８を乗じると、その画像のホワイトバランスを制御することができる。
【００７３】
ここで、評価関数が最小のものを選択する処理は、Ｒ’_ｎｃとＢ’_ｎｃとのそれぞれと「１」との差が最小のものを選択している処理であり、補正量が最も小さいものを選択していることになる。すなわち、ホワイトバランス調整においてはカラーフェリアを防止することが重要であり、補正量の大きなものをホワイトバランス補正係数としてしまうと大きな補正によってカラーフェリアが発生することが多いが、補正量が小さいものを選択しておけば、カラーフェリアの発生確率を非常に小さくすることができる。また、補正量が小さいものを選択しているとともに、他の領域と比較して色成分分布の偏りが少ない領域を選択していると言うこともできる。この場合、上記輝度成分取得モジュール３３ａが上記画像分割手段に該当するし、色成分分布情報取得モジュール３３ｂにて評価関数が最小となるものを選択する処理が上記色成分分布の偏りが少ない領域を選択することに該当する。さらに、評価関数が最小となるものを選択する処理は、Ｇ成分に対してＲ成分およびＢ成分が他の領域と比較して比較的均等に分布している領域を選択している処理であると言うこともできる。
【００７４】
本出願人は、上述の処理によって決定されたホワイトバランス補正係数が非常に効果的にホワイトバランス調整可能であることを確認しているが、ここでは、カラーフェリアを防止することができればよく、評価関数が２番目に「１」に近いものを選択する構成にするなど適宜変更可能である。このとき、例えば、所定の値域内であれば２番目，３番目に「１」に近いものを選択するようにするなどの工夫を施せばカラーフェリアを防止可能である。また、本発明においては、画像の一部の輝度帯域に属するデータに基づいてホワイトバランス補正係数を算出しており、上述のように補正量の小さいものを選択しているため、上述の従来例のように画像全体のＲＧＢ積分値を反映させるホワイトバランス調整と比較して、非常にカラーフェリアが発生しにくい。
【００７５】
（４−３−１）光源種別に対応した補正：
上述のように第１段階のホワイトバランス補正係数でホワイトバランス制御を行うことも可能であるが、本実施形態においてはより見た目に近づけるために、さらに図５のステップＳ２５５以降の処理を実行している。ステップＳ２５５では、Ｇ成分の階調値「１２８」（中央値）を基準としたホワイトバランス補正係数となるように以下の式にて上記第１段階のホワイトバランス補正係数Ｒ’_ｃおよびＢ’_ｃを変換する。
Ｒ＝128／Ｒ’_ｃ，Ｇ＝128，Ｂ＝128／Ｂ’_ｃ
【００７６】
ステップＳ２６０では、当該変換後の係数ＲＧＢを以下の式（４）に従ってＥｓｔｅｖｅｚ−Ｈｕｎｔ−Ｐｏｉｎｔｅｒの式にて生理的三原色の空間Ｒ’Ｇ’Ｂ’に変換する。
【数４】

【００７７】
ここで、マトリクスＡは上記ＲＯＭ３３に記憶されたマトリクスであり、ｓＲＧＢ座標を生理的三原色のＲＧＢ座標に変換する。また、マトリクスＡはマトリクスＢとマトリクスＣとを乗じて生成されたものであり、それぞれのマトリクスは上述した値であるとともにマトリクスＢはｓＲＧＢ座標をＸＹＺ座標に変換する変換マトリクスであり、マトリクスＣはＸＹＺ座標を生理的三原色のＲＧＢ座標に変換するマトリクスである。尚、上記式において斜体の文字はマトリクスを示している。ステップＳ２６０にて生理的三原色の空間データＲ’Ｇ’Ｂ’が得られると、ステップＳ２６５にて以下の式に従って最終的なホワイトバランス補正係数Ｒｃ，Ｂｃを決定する。
Ｒｃ＝Ｇ’／Ｒ’，Ｂｃ＝Ｇ’／Ｂ’
【００７８】
これらステップＳ２５５〜Ｓ２６５の処理は、ｓＲＧＢ座標を一旦生理的三原色のＲ’Ｇ’Ｂ’座標に変換し、当該変換後の空間でホワイトバランス補正係数を補正（ステップＳ２６５）していることに該当する。この処理によって人間の見た目に応じた良好なホワイトバランスに近づけることができ、光源種に依存しないホワイトバランス制御を実施することができる。図１３，図１４は生理的三原色に変換してホワイトバランス補正係数を補正する様子を説明する説明図である。
【００７９】
図１３はｓＲＧＢの理想光源（ＣＩＥ標準の光源Ｄ６５）の分光分布を示す図であり、図１４は生理的三原色についての分光分布を示す図である。図において横軸は波長（ｎｍ）であり、縦軸は分光分布の相対値である。尚、図１３，図１４において４５０ｎｍ付近にピークがあるカーブはＢ成分、５４０ｎｍ付近にピークがあるカーブはＧ成分の分光分布であり、図１３の６１０ｎｍ付近，図１４の５８０ｎｍ付近にピークがあるカーブはＲ成分の分光分布である。上記ホワイトバランス補正係数はＲ成分とＢ成分とに対してそれぞれ乗ぜられるので、ホワイトバランス補正係数による調整は、上記図１３，１４における分光分布に対してはＢ成分とＲ成分のカーブを拡大したり縮小したりするように作用する。
【００８０】
図１４に示す分光分布は生理的三原色についての分布であることから、人間の色の感じ方はこの分布に非常に近く、この分布となるＲＧＢ空間でホワイトバランス補正係数の補正を行うと、人間の色の感じ方に非常に近い形でホワイトバランスを制御することができる。具体的には、図１３に示す分光分布においてはＲ成分のピーク波長およびピーク強度が図１４に示す分光分布のＲ成分のピーク波長およびピーク強度より大きい。従って、上記ステップＳ２６０における変換を実施せずにホワイトバランスの調整をしようとすると、Ｒ成分に対する補正が相対的に大きくなり、Ｒ成分を強調しすぎたり、弱めすぎたりしてしまう。そこで、上記ステップＳ２６０における変換を実施した後にホワイトバランス補正係数を補正することにより、より見た目に近い赤となるようにホワイトバランスを調整可能である。むろん、青に関しても同様で見た目に近い青となる。従って、白熱灯かでの撮影画像等であっても適切なホワイトバランスとなるよう調整されるようにホワイトバランス補正係数を決定可能である。
【００８１】
ステップＳ２６５にて最終的なホワイトバランス補正係数Ｒｃ，Ｂｃを決定したら、ステップＳ２７０において当該ホワイトバランス補正係数Ｒｃ，Ｂｃを１行１列目および３行３列目の成分とし、２行２列目の成分を「１」とし、他の成分を「０」としたマトリクスの左から上記逆変換マトリクスＡ^−１を乗じ、右から上記マトリクスＡを乗じてホワイトバランス制御マトリクスＷ（３４ｂ９）を生成し、ステップＳ２７５にて当該ホワイトバランス制御マトリクスＷを上記ＲＡＭ３４のワークエリア３４ｂに保存する。
【００８２】
尚、逆変換マトリクスＡ^−１は以下の式（５）にて表現される。
【数５】

上記式においても斜体の文字はマトリクスを示している。
【００８３】
このホワイトバランス制御マトリクスＷの算出／保存までがホワイトバランスの測定に該当し、ディジタルスチルカメラ１０の処理としてはこの後図２に示すフローチャートに戻ってステップＳ１０６以降の処理を実行する。そして、ステップＳ１１０においてＣＣＤＲａｗデータをｓＲＧＢデータに変換した画像データに対してホワイトバランス制御マトリクスＷを乗じることによって個々の撮像画像のホワイトバランスを制御する。
【００８４】
すなわち、ホワイトバランス制御マトリクスＷは、ｓＲＧＢ座標で表現されたカラー画像データの画像についてホワイトバランスを調整するように作用するマトリクスであり、入力および出力データはｓＲＧＢデータである。上記ホワイトバランス補正係数はｓＲＧＢに対する補正係数ではないため、上記マトリクスＡ等による空間の変換を行って入出力データがｓＲＧＢデータになるようにしてある。図１５は、かかるホワイトバランス制御マトリクスＷによる演算を説明するための説明図であり、上部のマトリクス演算式において右辺のＲＧＢは入力ｓＲＧＢデータであり、左辺のＲ’’Ｇ’’Ｂ’’は出力ｓＲＧＢデータである。また、本実施形態の実際の処理においてホワイトバランス制御マトリクスＷは３個の３×３の行列を予め計算して得られる１個の３×３の行列であるが、ここでは便宜上３個のマトリクスに分けて説明する。
【００８５】
図１５においてマトリクス演算式の下方には３個のマトリクスによる各演算段階を示している。上述のように入力データ▲１▼はｓＲＧＢデータである。マトリクスＡはｓＲＧＢ座標系のＲＧＢ色成分を生理的三原色のＲＧＢ色成分に変換するマトリクスであるので、当該入力データ▲１▼にマトリクスＡを乗じると、▲２▼に示すように生理的三原色のＲＧＢ色成分に変換される。この変換結果に対して上記ホワイトバランス補正係数Ｒｃ，Ｂｃを成分として含むマトリクスを乗じると、▲３▼に示すように生理的三原色のＲＧＢ色成分にてホワイトバランスが調整される。この調整後のＲＧＢデータに逆変換マトリクスＡ^−１を乗じると、▲４▼に示したようにホワイトバランス調整後の画像データがｓＲＧＢデータに変換される。従って、ディジタルスチルカメラの画像処理過程においてｓＲＧＢデータに１個の３×３の行列であるホワイトバランス制御マトリクスＷを乗じるとホワイトバランスが調整される。
【００８６】
以上説明したように、本発明においては画像の輝度成分を取得して帯域分割し、所定の帯域内にある画像の色成分分布情報に基づいてホワイトバランスを調整するためのホワイトバランス補正係数を算出する。従って、画像内の特定色や特定色に偏った光源に影響されることなくホワイトバランス調整を実施可能となる。
【図面の簡単な説明】
【図１】ディジタルスチルカメラの概略構成を示すブロック図である。
【図２】画像処理の主要な流れを示すフローチャートである。
【図３】ホワイトバランスの測定系及び制御系を示すブロック図である。
【図４】ホワイトバランス測定及び制御を示すフローチャートである。
【図５】ホワイトバランス測定及び制御を示すフローチャートである。
【図６】間引き処理を説明するための説明図である。
【図７】ＲＧＢＹｓ変換後の画素データを示す図である。
【図８】ヒストグラムの一例を示すグラフである。
【図９】帯域分割の様子を説明する説明図である。
【図１０】積分値と分布比とを算出する様子を説明する説明図である。
【図１１】２つの帯域を組みにする様子を説明する説明図である。
【図１２】分布比を組みにして平均化する際の考え方を説明する説明図である。
【図１３】ｓＲＧＢの理想光源の分光分布を示す図である。
【図１４】生理的三原色についての分光分布を示す図である。
【図１５】ホワイトバランス制御マトリクスによる演算を説明するための説明図である。
【符号の説明】
１０…ディジタルスチルカメラ
２０…光学部
２１…光学レンズ系
２２…オートフォーカス機構
２３…測距部
２４…オートフォーカスコントローラ
２５…コントローラ
２６…ＣＣＤ
２７…ストロボ
２８…オートゲインコントローラ（ＡＧＣ）
２９…Ａ／Ｄコンバータ
３０…制御部
３１…バス
３２…ＣＰＵ
３３…ＲＯＭ
３３ａ…輝度成分取得モジュール
３３ｂ…色成分分布情報取得モジュール
３３ｃ…ホワイトバランス制御モジュール
３３ｄ１…変換マトリクスＡ
３３ｄ２…逆変換マトリクスＡ^−１
３４…ＲＡＭ
３４ａ…画像エリア
３４ｂ…ワークエリア
３４ｂ１…間引き済データ
３４ｂ２…ＲＧＢＹｓデータ
３４ｂ３…ヒストグラムデータ
３４ｂ４…帯域データ
３４ｂ５…ＲＧＢ積分データ
３４ｂ６…分布比データ
３４ｂ７…補正係数Ｒ’_ｃ，Ｂ’_ｃ
３４ｂ８…ホワイトバランス制御マトリクス
３４ｂ９…ホワイトバランス制御マトリクス
３４ｃ…ビデオＲＡＭエリア
３５…操作パネル
３６…ＬＣＤパネル
３７ａ…Ｉ／Ｏ

Claims

画像の輝度成分を取得し、輝度成分をヒストグラム化するとともに所定の輝度範囲に帯域分割する輝度成分取得手段と、
上記分割した帯域毎に、上記画像の色成分毎の分布比を取得する色成分分布情報取得手段と、
少なくとも２以上の帯域の分布比を平均化するとともに、平均化した値で１に近い値をホワイトバランス補正のための係数とし、当該係数を上記画像の各色成分に乗じることによってホワイトバランスを制御するホワイトバランス制御手段とを具備することを特徴とするホワイトバランス調整装置。
上記輝度成分取得手段は、ドットマトリクス状の画像データを所定区画に分割するとともに各区画毎の色成分の平均値を上記輝度成分として取得することを特徴とする上記請求項１に記載のホワイトバランス調整装置。
上記色成分分布情報取得手段は、上記画像が第１色成分〜第３色成分で表現されるときに、分布比として第１色成分について「１」を取得し、第２色成分について第１色成分の分布と第２色成分の分布との比を取得し、第３色成分について第１色成分の分布と第３色成分の分布との比を取得することを特徴とする上記請求項１または請求項２のいずれかに記載のホワイトバランス調整装置。
上記ホワイトバランス制御手段は、上記ヒストグラムをＮ個の帯域に分割したときに、帯域ｉの分布比と帯域Ｎ＋１−ｉの分布比とを平均化することを特徴とする上記請求項１〜請求項３のいずれかに記載のホワイトバランス調整装置。
画像の輝度成分を取得し、輝度成分をヒストグラム化するとともに所定の輝度範囲に帯域分割する輝度成分取得工程と、
上記分割した帯域毎に、上記画像の色成分毎の分布比を取得する色成分分布情報取得工程と、
少なくとも２以上の帯域の分布比を平均化するとともに、平均化した値で１に近い値をホワイトバランス補正のための係数とし、当該係数を上記画像の各色成分に乗じることによってホワイトバランスを制御するホワイトバランス制御工程とを具備することを特徴とするホワイトバランス調整方法。
ＣＣＤ素子にて撮像された画像を所定の要素色の階調値で表現したドットマトリクス状のカラー画像データを取得するカラー画像データ取得手段と、
このカラー画像データを所定区画に分割するとともに各区画毎の色成分の平均値を輝度成分とし、当該輝度成分をヒストグラム化するとともに所定の輝度範囲に帯域をＮ分割して取得する輝度成分取得手段と、
上記輝度成分の帯域毎に上記カラー画像データの色成分毎の分布比を取得し、帯域ｉの分布比と帯域Ｎ＋１−ｉの分布比とを平均化する色成分分布情報取得手段と、
同平均化された分布比で１に近い値をホワイトバランス補正のための係数として取得し、上記カラー画像データにおいて補正対象となる色成分に上記係数を乗じることによってホワイトバランスを制御することを特徴とするディジタルカメラ。