JP4487342B2

JP4487342B2 - Digital camera

Info

Publication number: JP4487342B2
Application number: JP27511899A
Authority: JP
Inventors: 秀雄宝珠山
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1999-09-28
Filing date: 1999-09-28
Publication date: 2010-06-23
Anticipated expiration: 2019-09-28
Also published as: JP2001103508A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体を撮像して電子的な画像データとして記録するデジタルカメラに関する。
【０００２】
【従来の技術】
撮影レンズを通過した被写体像を撮像して画像データを出力するＣＣＤのような撮像装置と、撮像装置から出力される画像データに対する増幅利得を調整してホワイトバランス調整やγ補正などの画像処理を施す画像処理回路とを備えるデジタルカメラが知られている。画像処理回路では、撮像装置から出力される画像データに基づいて、あらかじめ定めたアルゴリズムによりホワイトバランス調整用のＲゲインやＢゲイン、あるいはγ補正用の階調カーブなどのパラメータを算出して画像処理が行われる。
【０００３】
【発明が解決しようとする課題】
上述した従来のデジタルカメラでは、撮像された主要被写体および背景などの色彩情報を平均して無彩色とするようにホワイトバランス調整係数を算出し、算出された調整係数を用いて画像データに対するホワイトバランス調整が行われる。このようなカメラで人物を撮影するとき、被写界に占める顔などの肌色部分の割合が小さい場合は、主として肌色以外の色彩情報からホワイトバランス調整値が算出されるので、ホワイトバランス調整係数が肌色部分に対して調整不良を生じやすく、色落ちおよび色かぶり画像が発生するおそれがある。
【０００４】
本発明の目的は、撮影シーンを解析してホワイトバランス調整を行い、色落ち、色かぶり現象を十分に抑制できるようにしたデジタルカメラを提供することにある。
【０００５】
【課題を解決するための手段】
本発明によるデジタルカメラは、撮影レンズを通過する被写体像を撮像して画像データを出力する撮影用撮像装置と、撮影レンズに対して撮影用撮像装置と共役な位置に配設され、被写体像を受光してシーン解析用画像データを出力する解析用撮像装置と、シーン解析用画像データに基づいて撮影画面を第１の分割数に分割した複数の領域についてそれぞれ無彩色を判定する無彩色判定部と、シーン解析用画像データに基づいて撮影画面を第１の分割数より大きい第２の分割数で分割した複数の領域についてそれぞれ特定色を判定する特定色判定部と、無彩色が判定された領域および特定色が判定された領域の少なくとも一方に対応するシーン解析用画像データに基づいて撮影用撮像装置から出力される画像データに対するホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、を備えることを特徴とする。
【０００７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１に示すように、この実施の形態による一眼レフデジタルスチルカメラは、カメラ本体７０と、カメラ本体７０に着脱されるファインダ装置８０と、レンズ９１と絞り９２を内蔵してカメラ本体７０に着脱される交換ズームレンズ９０とを備える。被写体光は交換ズームレンズ９０を通ってカメラ本体７０に入射し、レリーズ前は点線で示す位置にあるクイックリターンミラー７１でファインダ装置８０に導かれてファインダマット８１に結像するとともに、焦点検出装置３６にも結像する。ファインダーマット８１に結像する被写体光はさらにペンタプリズム８２で接眼レンズ８３に導かれる。また、被写体光はレリーズ前に、プリズム８４と結像レンズ８５を通ってシーン解析用撮像装置８６に入射して被写体像を結像する。レリーズ後はクイックリターンミラー７１が実線で示す位置に回動し、被写体光はシャッタ７２を介して撮影用撮像装置７３上に結像する。シーン解析用撮像装置８６は、撮影レンズ９１に対して撮影用撮像装置７３と共役な位置に配設される。
【０００８】
図２は本発明によるデジタルカメラの一実施の形態の回路を示すブロック図である。ＣＰＵ２１にはレリーズボタンに連動する半押しスイッチ２２と全押しスイッチ２３から半押し信号と全押し信号がそれぞれ入力される。半押しスイッチ２２が操作されて半押し信号が入力されると、ＣＰＵ２１からの指令により焦点検出装置３６が交換ズームレンズ９０の焦点調節状態を検出し、交換ズームレンズ９０に入射する被写体光が撮影用撮像装置７３上で結像するようにレンズ駆動装置３７がレンズ９１を合焦位置へ駆動する。ＣＰＵ２１にはレンズ情報入力部３８を介して交換ズームレンズ９０の絞り値などのレンズ情報が入力される。ＣＰＵ２１は、タイミングジェネレータ２４とドライバ２５を介して撮影用撮像装置７３のＣＣＤ２６を駆動制御する。そして、タイミングジェネレータ２４によりアナログ処理回路２７とＡ／Ｄ変換回路２８の動作タイミングが制御される。
【０００９】
半押しスイッチ２２のオン操作に引続いて全押しスイッチ２３がオン操作されるとクイックリターンミラー７１が上方に回動し、交換ズームレンズ９０からの被写体光はＣＣＤ２６の受光面上で結像し、ＣＣＤ２６には被写体像の明るさに応じた信号電荷が蓄積される。ＣＣＤ２６に蓄積された信号電荷はドライバ２５により掃き出され、ＡＧＣ回路やＣＤＳ回路などを含むアナログ信号処理回路２７に入力される。アナログ信号処理回路２７でアナログ画像信号に対してゲインコントロール、雑音除去等のアナログ処理が施された後、Ａ／Ｄ変換回路２８によってデジタル信号に変換される。デジタル変換された信号は、たとえば、ＡＳＩＣとして構成される画像処理回路２９に導かれ、そこで後述するホワイトバランス調整、輪郭補償、ガンマ補正等の画像前処理が行われる。
【００１０】
画像前処理が行なわれた画像データに対してはさらに、ＪＰＥＧ圧縮のためのフォーマット処理（画像後処理）が行なわれ、フォーマット処理後の画像データが一時的にバッファメモリ３０に格納される。
【００１１】
バッファメモリ３０に格納された画像データは、表示画像作成回路３１により表示用の画像データに処理され、ＬＣＤ等の外部モニタ３２に撮影結果として表示される。また、バッファメモリ３０に記憶された画像データは、圧縮回路３３によりＪＰＥＧ方式で所定の比率にデータ圧縮を受け、フラッシュメモリなどの記録媒体（メモリカード）３４に記録される。
【００１２】
図３は上述したように動作するデジタルカメラにおける画像処理回路２９の詳細を示すブロック図である。図３はＣＣＤ２６からの画像データに対してラインごとに信号処理するライン処理回路１００であり、上述した画像前処理を行う。このライン処理回路１００は、Ａ／Ｄ変換回路２８から出力される１２ビットのＲ、Ｇ、Ｂ信号に対して後述する各種の信号処理を行なうものであり、デジタルクランプ回路１０１と、ゲイン設定回路１０２と、ゲイン調整回路１０３と、黒レベル回路１０４と、γ補正回路１０５とを有する。
【００１３】
Ａ／Ｄ変換回路２８から出力される１２ビットのＲ，Ｇ，Ｂ信号は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、欠陥のある画素（そのアドレスがあらかじめ特定されてレジスタにセットされている）からのデータを補正したのちデジタルクランプ回路１０１に入力される。デジタルクランプ回路１０１は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、オプティカルブラックとして使用する複数の画素データの加重平均をそのラインの各画素データから減算する。
【００１４】
ゲイン設定回路１０２はＲ、Ｇ、Ｂ各色の画素データに対する調整用ゲインを設定する。調整用ゲインの設定は、ＣＣＤ２６から出力される各色の画素データごとにゲインを与え、与えられたゲインにより各色の出力レベルが所定のレベルとなるように設定される。ＣＣＤ２６のばらつきによりＣＣＤ２６から出力される画素データの出力レベルが異なる場合でも、調整用ゲインが設定されることににより、ゲイン調整回路１０３に入力される画像データレベルがＣＣＤ２６の器差にかかわらず所定のレベルに補正される。ゲイン調整回路１０３は入力されたＲ、Ｂ各色の画素データに対し、後述するシーン検出処理回路３５で算出され、ＣＰＵ２１内のメモリに記憶されているＲゲインとＢゲインのホワイトバランス調整用ゲインを読出してＲ，Ｂ信号にかけ合わせることにより、ホワイトバランス調整を行う。
【００１５】
黒レベル回路１０４は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、あらかじめ決定されてＣＰＵ２１のレジスタに格納されている値をＲ，Ｇ，Ｂ信号に対して加算する。γ補正回路１０５は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、階調ルックアップテーブルを用いてγ補正を行なう。
【００１６】
−ホワイトバランス検出−
図２のシーン検出処理回路３５で行われるホワイトバランス検出処理について詳細に説明する。シーン検出処理回路３５は、シーン解析用撮像装置８６と、シーン解析用撮像装置８６からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路３５Ｂと、変換されたデジタル信号に基づいてホワイトバランス調整係数を生成するＣＰＵ３５Ｃとを含む。ＣＰＵ３５Ｃはシーン解析用撮像装置８６で撮像されたデジタルデータにより撮影されるシーンを解析してホワイトバランスを検出してホワイトバランス調整用ゲインを決定する。ここで、シーン解析とは、たとえば撮影シーンのＲＧＢ信号の分布状態等に関する解析を意味する。
【００１７】
シーン解析用撮像装置８６は、たとえば図４に示すように横２４列×縦２０行に分割された４８０個の画素を有する１枚の２次元ＣＣＤである。撮像装置８６の表面には図５に示すように、４８０画素に対応して横２４列×縦２０行の４８０ブロックに分割されたＲＧＢカラーフィルタ８６１が配設されている。４８０ブロックのＲＧＢフィルタを図５に示すように、それぞれが横６列×縦５行のフィルタ素子を有するように１６個の中領域ブロックＭ１１，Ｍ１２……Ｍ４３，Ｍ４４にグルーピングして第１のシーン解析に利用する。また、４８０ブロックのＲＧＢフィルタを図６に示すように、それぞれが横３列×縦４行のフィルタ素子を有するように４０個の小領域ブロックＳ１１，Ｓ１２……Ｓ５７，Ｓ５８にグルーピングして第２のシーン解析に利用する。
【００１８】
第１のシーン解析では、撮像装置８６から出力された画像データにおいて、図５に示されるように分割された１６個の各ブロックごとに色相を持たない色、いわゆる無彩色の検出が行われる。被写界を１６個程度の中領域ブロックに分割する場合、１つのブロックには被写体の複数の色が存在する可能性が強くなる。そこで、第１のシーン解析は各ブロック内に存在するＲＧＢ色データを平均することにより、複数の色が存在する場合に平均値が無彩色となることを利用して、Ｒ、Ｇ、Ｂ色のデータを平均して無彩色の検出を行う。分割された１６個の各ブロックＭｍｎには、Ｒ、Ｇ、Ｂの各色についてそれぞれ１０個ずつのデータが存在するので、次式(１)〜(３)を用いて各ブロックＭｍｎごとに各色データの平均値Ｒ_M(m,n)、Ｇ_M(m,n)およびＢ_M(m,n)を算出する。
【数１】

ただし、Ｒ_M(m,n)は中領域ブロックＭｍｎに属する１０個のＲデータの平均値、Ｇ_M(m,n)は中領域ブロックＭｍｎに属する１０個のＧデータの平均値、Ｂ_M(m,n)は中領域ブロックＭｍｎに属する１０個のＢデータの平均値である。
【００１９】
合計１６個のブロックごとに算出されたＲ、Ｇ、Ｂ色のデータの平均値を用いて、JISZ8725「光源の分布温度及び色温度・相関色温度の測定方法」にしたがってＲＧＢ３原色のデータをTC-Duv座標のデータに変換する。TC-Duv座標上に変換後の１６個のデータの色温度(TC)をプロットしたとき、Duv軸の値がたとえば±１０以内となるデータは無彩色と判定し、±１０を超えるデータは無彩色でないと判定する。第１のシーン解析の結果、１６個のデータの色温度の中で無彩色と判定されるデータが存在する場合は、このデータの色温度を図７のように定められている色温度(TC)−ホワイトバランス調整用ゲインの関係に当てはめて、Ｒデータに対するホワイトバランス調整用Ｒゲイン、およびＢデータに対するホワイトバランス調整用Ｂゲインを決定する。
【００２０】
図７に定められているＲゲインおよびＢゲインの値は、TC-Duv座標にプロットされたデータのDuv軸の値を０とするように、すなわち、無彩色と判定されたデータをより無彩色に近づけるようにあらかじめ実測により決定し、色温度(TC)の関数として表した値である。これらＲゲインおよびＢゲインの値はルックアップテーブルとしてＣＰＵ３５Ｃの記憶領域に格納されており、色温度に対応して読出される。
【００２１】
なお、１６個のブロックのデータのうち無彩色と判定されたデータが複数存在する場合は、無彩色と判定されたすべてのデータの色温度の平均値を算出し、算出された色温度の平均値を図７の色温度(TC)−ホワイトバランス調整用ゲインの関係に当てはめてＲゲインおよびＢゲインを決定する。もし、１６個のブロックのデータのうち無彩色と判定されるデータが１つも存在しない場合は、第１のシーン解析によるホワイトバランス調整係数の設定をしない。
【００２２】
第２のシーン解析では、撮像装置８６から出力された画像データにおいて、図６に示されるように分割された４０個の各ブロックごとに所定の色、たとえば肌色の検出が行われる。被写界を４０個程度の小領域ブロックに分割する場合、１つのブロックに存在する被写体の色が１色である可能性が強くなる。そこで、第２のシーン解析は各ブロックに存在する特定の色を検出する。とくに、この実施の形態では人の顔の色、すなわち肌色を検出する。分割された各ブロックＳｉｊには、Ｒ、Ｇ、Ｂの各色についてそれぞれ４個ずつのデータが存在するので、次式(４)〜(６)を用いて各ブロックＳｉｊごとに各色データの平均値Ｒ_S(i,j)、Ｇ_S(i,j)およびＢ_S(i,j)を算出する。
【数２】

ただし、Ｒ_S(i,j)は小領域ブロックＳｉｊに属する４個のＲデータの平均値、Ｇ_S(i,j)は小領域ブロックＳｉｊに属する４個のＧデータの平均値、Ｂ_S(i,j)は小領域ブロックＳｉｊに属する４個のＢデータの平均値である。
【００２３】
合計４０個のブロックごとに算出されたＲ、Ｇ、Ｂ色データの平均値を用いて、ＲデータとＧデータの比、およびＢデータとＧデータの比を算出して図８に示すようなR/G-B/G座標のデータに変換する。Ｒ／Ｇは上式(４)÷上式(５)で算出され、Ｂ／Ｇは上式(６)÷上式(５)で算出される。図８はR/G-B/G座標で示される色温度曲線を示す図である。図８において、色温度が４５００Ｋを下回る左下部分の色温度が低く、上部になるほど色温度が高くなり、最上部で色温度が６５００Ｋを超えることを示している。図８で一点鎖線で囲まれた領域８１は、第２のシーン解析で検出する肌色領域である。なお、図８の色温度曲線はルックアップテーブルとしてＣＰＵ３５Ｃの記憶領域に格納されており、Ｒ／ＧおよびＢ／Ｇに対応して色温度値が読出される。
【００２４】
上述したように４０個のブロックごとに算出されたＲ、Ｇ、Ｂ色データの平均値の比：Ｒ／ＧおよびＢ／Ｇに基づいて４０個のデータをR/G-B/G座標上にプロットしたとき、領域８１内となるデータは肌色と判定し、領域８１から外れるデータは肌色でないと判定する。第２のシーン解析の結果、４０個のデータから肌色と判定されるデータが存在する場合は、肌色と検出された領域の周囲にも肌色が検出されるかどうかの集合判定が行われる。たとえば、図６において小分割領域Ｓ２５で肌色が検出されると、図９に示すように領域Ｓ１４〜Ｓ１６、領域Ｓ２４、領域Ｓ２６、および領域Ｓ３４〜Ｓ３６の計８つの領域で肌色判定が行われる。領域Ｓ２５の周囲８つの領域のうち、たとえば３つ以上の領域で肌色が検出されると、領域Ｓ２５のデータは肌色データとして保存される。一方、周囲８つの領域において肌色が検出された領域が２つ以下の場合には、領域Ｓ２５のデータは孤立データと見なされて肌色データとして保存されない。
【００２５】
肌色データを保存したＳ２５のような領域が複数存在する場合は、上述したようにその領域Ｓｉｊごとに図８の色温度曲線により求められた色温度の平均値が算出される。算出された色温度の平均値を図７の色温度(TC)−ホワイトバランス調整用ゲインの関係に当てはめて、Ｒデータに対するホワイトバランス調整用Ｒゲイン、およびＢデータに対するホワイトバランス調整用Ｂゲインを決定する。肌色データを保存したＳ２５のような領域が１つだけ存在する場合は、その領域において求められた色温度をそのまま図７に適用してホワイトバランス調整用のＲゲインおよびＢゲインを決定する。もし、４０個のブロックのうち肌色データを保存した領域が１つも存在しない場合は、第２のシーン解析によるホワイトバランス調整係数の設定をしない。
【００２６】
上述した第１のシーン解析および第２のシーン解析でホワイトバランス調整係数が決定されなかった場合、デフォルト値としてＣＰＵ３５Ｃ内のメモリに記録されている色温度の値５５００Ｋが読出される。この５５００Ｋを図７に適用することにより、デフォルト値としてのホワイトバランス調整係数ＲゲインおよびＢゲインが決定される。
【００２７】
上述したように決定されたゲイン調整値ＲゲインとＢゲインは、ホワイトバランス調整値としてＣＰＵ２１のレジスタに一旦格納される。上述したゲイン調整回路１０３において、ゲイン調整回路１０３に入力されたＲ、Ｂ各色の画素データに対してホワイトバランス調整が行われるとき、上記ＣＰＵ２１内に格納されたＲゲインとＢゲインが読出されてＲ，Ｂ信号にそれぞれかけ合わされる。
【００２８】
以上のホワイトバランス検出処理を図１０のフローチャートを参照して説明する。ホワイトバランス検出処理は、デジタルスチルカメラの電源がオンされている間に所定の間隔で繰り返し行われる。ステップＳ１１において、シーン解析用撮像装置８６で信号電荷が蓄積され、蓄積された電荷が掃き出されてＡ／Ｄ変換回路３５Ｂでデジタルデータに変換された後、ＣＰＵ３５Ｃに取り込まれる。ステップＳ１２において、ＣＰＵ３５Ｃに取り込まれたデータが１６個の中領域ブロックに分割され、分割されたブロックごとに存在するＲ、Ｇ、Ｂ各色のデータの平均値がそれぞれ算出される。ステップＳ１３では１６組のＲＧＢデータがTC-Duv座標のデータに座標変換され、ステップＳ１４で座標変換後のデータから無彩色データの検出が行われる。
【００２９】
ステップＳ１５において、検出された無彩色データがあるか否かが判定され、２つ以上の無彩色データがあると判定された場合(ステップＳ１５のＹ(２つ以上))はステップＳ１６へ進み、検出された無彩色データの色温度(TC)の平均値を算出してステップＳ１７へ進む。ステップＳ１５において１つの無彩色データがあると判定された場合(ステップＳ１５のＹ(１つ))は、この無彩色データの色温度(TC)をもってステップＳ１７へ進む。以上のステップＳ１２〜ステップＳ１５が第１のシーン解析処理である。
【００３０】
一方、ステップＳ１５において検出された無彩色データがないと否定判定された場合(ステップＳ１５のＮ)は、ステップＳ１９以降の第２のシーン解析が行われる。ステップＳ１９において、ステップＳ１１でＣＰＵ３５Ｃに取り込まれたデータが４０個の小領域ブロックに分割され、分割されたブロックごとに存在するＲ、Ｇ、Ｂ各色のデータの平均値がそれぞれ算出される。ステップＳ２０では４０組のＲＧＢデータがR/G-B/G座標のデータに座標変換され、ステップＳ２１で座標変換後のデータから肌色データの検出が行われる。
【００３１】
ステップＳ２２では、肌色データが検出された小領域ブロックの周囲８つの小領域ブロックにおいて、所定数以上の肌色が検出された場合のみ肌色データとしてみなす集合判定処理が行われる。集合判定処理の結果、肌色データとしてみなされた肌色データがあるか否かがステップＳ２３で判定され、２つ以上の肌色データがあると判定された場合(ステップＳ２３のＹ(２つ以上))はステップＳ２４へ進み、検出された肌色データより算出した色温度(TC)の平均値を算出してステップＳ１７へ進む。ステップＳ２３において１つの肌色データがあると判定された場合(ステップＳ２３のＹ(１つ))は、この肌色データの色温度(TC)をもってステップＳ１７へ進む。ステップＳ２３で肌色データがないと判定された場合(ステップＳ２３のＮ)はステップＳ２５へ進み、デフォルト値としてＣＰＵ３５Ｃに記憶されている色温度の値５５００Ｋを読出してステップＳ１７へ進む。
【００３２】
ステップＳ１７において、色温度(TC)に基づいてＣＰＵ３５Ｃの記憶領域に格納されているルックアップテーブルからホワイトバランス調整用のＲゲインおよびＢゲインが読出される。読出されたＲゲイン、Ｂゲインの値がステップＳ１８でＣＰＵ２１内に格納されることにより、図１０の処理が終了する。
【００３３】
このように構成されたデジタルスチルカメラの動作について説明する。図１１は半押しスイッチで起動されるプログラムを示すフローチャートである。半押しスイッチ２２が操作されるとステップＳ３１において撮影ズームレンズ９０の焦点検出動作と被写体の輝度を検出する測光動作が行われる。焦点検出装置３６により焦点調節状態が検出されると、検出された焦点調節状態に基づいてレンズ駆動装置３７がレンズ９１を合焦位置へ駆動する。被写体の輝度検出はシーン解析用撮像装置８６から出力されたデータを用いてＣＰＵ３５Ｃで行われる。ＣＰＵ３５Ｃが検出した輝度データをＣＰＵ２１に出力すると、ＣＰＵ２１は輝度データおよびレンズ情報入力部３８から送出されたズームレンズ９０の絞り値に基づいて露出演算を行う。
【００３４】
ステップＳ３２において、上述したようにＣＰＵ２１のレジスタ内に格納されているホワイトバランス調整用のＲゲイン、Ｂゲイン値が読出される。ステップＳ３３において全押しスイッチ２３が操作されたと判断されると、クイックリターンミラーが跳ね上がり、撮影シーケンスが開始される。ステップＳ３４では、ＣＣＤ２６の各画素が受光信号を蓄積し、蓄積終了後、全画素の蓄積電荷が順次読出される。ステップＳ３５において、読出された画像データはアナログ信号処理回路２７で処理された後、Ａ／Ｄ変換回路２８でデジタル画像データに変換され、画像処理回路２９に入力される。次にステップＳ３６に進み、上述したホワイトバランス調整、γ階調補正、ＪＰＥＧフォーマット化処理などが画像処理回路２９で行なわれる。画像処理が終了するとステップＳ３７に進み、画像処理後の画像データをいったんバッファメモリ３０に記憶する。ステップＳ３８において、バッファメモリ３０から画像データを読込んでＪＰＥＧ圧縮回路３３でデータを圧縮する。ステップＳ３９では、圧縮した画像データをメモリカード３４に記憶して処理を終了する。
【００３５】
上記の説明では、自然光の下で撮影する場合を想定して説明したが、たとえば、蛍光灯の下で撮影する場合はホワイトバランス調整用ゲインを調整する必要が生じる。一般に、自然光の下で撮影したときより蛍光灯の下で撮影したときの方が、撮影されたＲＧＢデータの色温度が高くなる。この色温度差は図７のＲゲインおよびＢゲインの値を所定量補正することで補正される。そこで、ＲゲインおよびＢゲインの値を格納したルックアップテーブルを自然光の下での撮影用と蛍光灯の下での撮影用に２組用意し、撮影時の撮影光に応じて切換えて読出すようにする。
【００３６】
この実施の形態の特徴についてまとめる。
（１）ステップＳ１２〜ステップＳ１５の第１のシーン解析では被写界を１６個の中領域に分割し、分割された領域ごとにＲＧＢの各色データの平均を求め、TC-Duv座標上のデータに変換して無彩色データを検出するようにした。この結果、１つの中領域ブロックに被写体の複数の色が存在する可能性が強くなるので、ブロック内のＲＧＢ色データを平均することにより無彩色の検出を行いやすくする効果がある。また、分割された領域数が多いとTC-Duv座標への変換処理時の演算量が多くなるが、１６領域とすることでＣＰＵの負担を軽減することができ、処理時間を短縮する効果が得られる。
（２）第１のシーン解析で検出された無彩色データの色温度の平均値を算出し、算出された色温度の平均値に応じてホワイトバランス調整用のＲゲインおよびＢゲインを決定するようにしたので、全画面に対して平均的なホワイトバランス調整が行われて、被写体の色を再現することが可能になる。
【００３７】
（３）ステップＳ１９〜ステップＳ２３の第２のシーン解析では被写界を４０個の小領域に分割し、分割された領域ごとにＲＧＢの各色データの平均を求め、R/G-B/G座標上のデータに変換して肌色データを検出するようにした。さらに検出された肌色データに集合判定処理を施して、周囲のデータのうち所定数以上のデータが肌色である場合に改めて肌色データとみなすようにした。この結果、１つの小領域ブロックの被写体は１色である可能性が強くなるので、ブロックに存在する特定の色の検出を行いやすくする効果がある。
（４）第２のシーン解析で肌色データとみなされたデータの色温度の平均値を算出し、算出された色温度の平均値に応じてホワイトバランス調整用のＲゲインおよびＢゲインを決定するようにしたので、被写界の肌色部分に対して最適なホワイトバランス調整が行われる。したがって、たとえば、緑色を背景にして人物を撮影する場合など、背景の色に関係なく人の肌色を再現することが可能になる。
【００３８】
（５）シーン解析用撮像装置８６はファインダー装置８０内に配設されるようにしたので、全押しスイッチ２３の操作によりミラー７１がミラーアップされる前にシーン解析用撮像装置８６でシーン解析用データを撮像し、ホワイトバランス調整用ゲインを決定してＣＰＵ２１内に格納しておくことが可能になる。したがって、全押しスイッチ２３の操作により行われるステップＳ３４からの撮影シーケンスにおいてホワイトバランス調整用ゲインを決定する必要がないから、撮影ケンスでシーン解析用データが撮像される場合に比べて撮影処理時間を短縮することができる。
（６）シーン解析用撮像装置８６は、シーン解析用データの撮像と被写体の輝度検出の両方に兼用されるようにしたので、兼用しない場合に比べて実装スペースを小さくすることができる上に、コストを低減する効果が得られる。
【００３９】
以上の説明では、第１のシーン解析で被写界を１６個の中領域に分割し、第２のシーン解析で被写界を４０個の小領域に分割するようにしたが、これらの分割数は説明した通りでなくてもよい。また、等分となるように方形に分割するように説明したが、これらは等分割でなくてもよく、必ずしも方形に分割しなくてもよい。さらにまた、シーン解析用撮像装置８６で受光された領域の全域を分割するようにしたが、特定の領域だけを使用するようにしてもよい。
【００４０】
上記説明では、第１のシーン解析で分割された１６の領域による１６組のＲＧＢデータをTC-Duv座標のデータに座標変換し、第２のシーン解析で分割された４０の領域による４０組のＲＧＢデータをR/G-B/G座標のデータに座標変換するようにした。分割数が必ずしも１６および４０でない場合は、分割数が少ない方のデータを用いてTC-Duv座標のデータに座標変換し、分割数が多い方のデータを用いてR/G-B/G座標のデータに座標変換すればよい。また、分割される領域の数によらず、撮影する目的に応じて変換する座標を選択できるようにしてもよい。たとえば、スナップ撮影のように多色の被写体を撮影する場合にTC-Duv座標を選択すれば、全ての色に対して平均的なホワイトバランス調整を行うことができ、ポートレート撮影のように人物を撮影する場合にR/G-B/G座標を選択すれば、肌色などの特定の色に対して最適なホワイトバランス調整を行うことができる。
【００４１】
上述した説明では、第２のシーン解析において肌色を検出してホワイトバランス調整用ゲインを決定するようにしたが、肌色の代わりに、たとえば緑色や無彩色を検出するようにしてもよい。また、人物を撮影する場合は肌色を検出し、風景を撮影する場合は緑色を検出するように、撮影モードに応じて検出する色を切換えるようにすることもできる。たとえば、遠景撮影モードに設定された場合に緑色を検出するようにし、ポートレート撮影モードに設定された場合に肌色を検出するようにすれば、それぞれ検出される色に対して最適なホワイトバランス調整が行われるようになる。さらにまた、肌色や緑色などの複数の色を検出して、集合判定処理により集合判定されたデータの数が最大となる色を採用してホワイトバランス調整用ゲインを決定してもよい。
【００４２】
以上の説明では、第１のシーン解析が行われた結果、無彩色が検出されなかった場合に第２のシーン解析が行われるようにしたが、第１のシーン解析および第２のシーン解析のいずれか一方を選択して行い、選択されたシーン解析により得られた色温度に基づいてホワイトバランス調整ゲインを決定するようにしてもよい。また、両方のシーン解析を行うようにして、両シーン解析により得られた２つの色温度を平均してホワイトバランス調整用ゲインを決定するようにすることもできる。
【００４３】
以上の説明では、一眼レフデジタルスチルカメラについて説明したが、一眼レフでないデジタルカメラにも本発明を適用することができる。この場合、ビームスプリッタやハーフミラーなどを用いて撮影用撮像装置およびシーン解析用撮像装置に被写体像を別々に結像させる。また、上述した説明では、撮影用撮像装置およびシーン解析用撮像装置を別々に設けたが、撮影用撮像装置がシーン解析用撮像装置を兼用するようにしてもよい。この場合には、電源オン時、レリーズボタンの操作にかかわらず液晶モニタなどの表示器に撮影用撮像装置で撮像された被写体像をスルー画像として繰り返し表示するようにし、また、撮影用撮像装置で撮像されたデータを用いて上述したようにホワイトバランス調整用ゲインを決定する。そして、レリーズ操作が行われたときに撮像された被写体画像データに対して、上記のホワイトバランス調整用ゲインによりホワイトバランス調整を行う。
【００４４】
また、上記の説明では色に関する座標系として、TC-Duv座標系およびR/G-B/G座標系を使用したが、色差信号R-YおよびB-Yを用いた座標系を使用して行うようにすることもできる。
【００４６】
【発明の効果】
本発明によれば、主要被写体や背景を含む撮影画面に基づいてホワイトバランスゲインを算出する場合に比べて、色落ちや色かぶり画像の発生を抑えることができる。
【００４７】
（３）請求項６、７の発明では、シーン解析用画像データを色に関する第１の座標系および第２の座標系に変換するようにしたので、たとえば、シーン解析用画像データを色温度および無彩色からの隔たり具合の座標で表したり、Ｒ色成分およびＢ色成分の大きさの座標で表すことができる。したがって、たとえば、ポートレート撮影の場合にゲイン算出手段がシーン解析用画像データから肌色を検出してゲイン調整用ゲインを算出するとき、Ｒ色成分およびＢ色成分の大きさの座標を用いるようにすれば、肌色を検出しやすくなる。
（４）請求項８の発明では、座標変換に用いられるシーン解析用画像データの領域に応じて第１の座標系および第２の座標系を選択するようにした。大きな領域の場合は領域内に被写体の複数の色が存在する可能性が高く、小さな領域の場合は被写体の色が１色となる可能性が高くなる。この関係を用いてゲイン調整を行うことにより、色おち、色かぶり現象を抑制することが可能になる。
（５）請求項９の発明では、請求項８の構成に加えて、被写体に応じて座標変換に用いられるシーン解析用画像データの領域の大きさを変えるようにした。したがって、ポートレート撮影のように、肌色を検出してゲイン調整用ゲインを算出する方がよい場合に小さな領域が用いられるようにすれば、Ｒ色成分およびＢ色成分の大きさの座標が選択されるようになり、肌色を検出しやすくなる。
【図面の簡単な説明】
【図１】一眼レフデジタルスチルカメラの一実施の形態の構成を示す図である。
【図２】一眼レフデジタルスチルカメラの信号処理系統の一実施の形態を示すブロック図である。
【図３】図２に示した信号処理系統のうちライン処理を行なう回路を説明するブロック図である。
【図４】シーン解析用撮像装置の画素配列を示す図である。
【図５】図４の撮像装置上に設けられたカラーフィルタの配列、および中領域分割を示す図である。
【図６】図４の撮像装置の小領域分割を示す図である。
【図７】色温度とホワイトバランス調整用ゲインの関係を示すグラフである。
【図８】 R/G-B/G座標上に表した色温度曲線の図である。
【図９】集合判定を説明する図である。
【図１０】ホワイトバランス検出処理を示すフローチャートである。
【図１１】半押しスイッチで起動されるプログラムを示すフローチャートである。
【符号の説明】
２１…ＣＰＵ、２２…半押しスイッチ、
２３…全押しスイッチ、２６…ＣＣＤ、
２８…Ａ／Ｄ変換回路、２９…画像処理回路、
３３…ＪＰＥＧ圧縮回路、３５…シーン検出処理回路、
３５Ｂ…Ａ／Ｄ変換回路、３５Ｃ…ＣＰＵ、
３６…焦点検出装置、３７…レンズ駆動装置、
３８…レンズ情報入力部、７３…撮影用撮像装置、
８６…シーン解析用撮像装置、９０…交換ズームレンズ、
９１…撮影レンズ、９２…絞り、
１００…ライン処理回路、１０２…ゲイン設定回路、
１０３…ゲイン調整回路、Ｍ１１〜Ｍ４４…16分割された中領域、
Ｓ１１〜Ｓ５８…40分割された小領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital camera that images a subject and records it as electronic image data.
[0002]
[Prior art]
An imaging device such as a CCD that captures the subject image that has passed through the photographic lens and outputs the image data, and image processing such as white balance adjustment and γ correction by adjusting the amplification gain for the image data output from the imaging device A digital camera having an image processing circuit to be applied is known. The image processing circuit calculates parameters such as R gain and B gain for white balance adjustment, or gradation curve for γ correction based on image data output from the imaging device, using a predetermined algorithm. Is done.
[0003]
[Problems to be solved by the invention]
In the conventional digital camera described above, the white balance adjustment coefficient is calculated so that the color information of the captured main subject and background is averaged to be achromatic, and the white balance for the image data is calculated using the calculated adjustment coefficient. Adjustments are made. When shooting a person with such a camera, if the proportion of the skin color part such as the face occupying the scene is small, the white balance adjustment value is calculated mainly from the color information other than the skin color. Adjustment failure tends to occur in the flesh-colored part, and there is a risk of color fading and color cast images.
[0004]
An object of the present invention is to provide a digital camera capable of sufficiently suppressing color loss and color cast phenomenon by analyzing a shooting scene and adjusting white balance.
[0005]
[Means for Solving the Problems]
A digital camera according to the present invention is arranged at a position conjugate with a photographing imaging device for photographing a subject image passing through a photographing lens and outputting image data, and conjugated with the photographing imaging device with respect to the photographing lens. An image pickup device for analysis that receives light and outputs image data for scene analysis, and a shooting screen based on the image data for scene analysis.Each of the plurality of areas divided into the first division numberAn achromatic color determining unit for determining an achromatic color;A specific color determining unit that determines a specific color for each of a plurality of areas obtained by dividing the shooting screen by a second division number larger than the first division number based on the scene analysis image data;Area where achromatic color is determinedAnd / or at least one of the areas where the specific color is determinedAnd a white balance gain calculation unit that calculates a white balance gain for image data output from the imaging device based on scene analysis image data corresponding to.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. As shown in FIG. 1, the single-lens reflex digital still camera according to this embodiment includes a camera body 70, a finder device 80 attached to and detached from the camera body 70, a lens 91 and a diaphragm 92, and is attached to and detached from the camera body 70. The interchangeable zoom lens 90 is provided. Subject light enters the camera body 70 through the interchangeable zoom lens 90, and is guided to the finder device 80 by the quick return mirror 71 located at the position indicated by the dotted line before being released, and forms an image on the finder mat 81, and the focus detection device. An image is also formed on 36. The subject light imaged on the finder mat 81 is further guided to the eyepiece lens 83 by the pentaprism 82. Further, the subject light passes through the prism 84 and the imaging lens 85 and enters the scene analysis imaging device 86 before the release to form a subject image. After the release, the quick return mirror 71 rotates to the position indicated by the solid line, and the subject light forms an image on the photographing imaging device 73 via the shutter 72. The scene analysis imaging device 86 is disposed at a position conjugate with the imaging imaging device 73 with respect to the imaging lens 91.
[0008]
FIG. 2 is a block diagram showing a circuit of an embodiment of a digital camera according to the present invention. The CPU 21 receives a half-press signal and a full-press signal from a half-press switch 22 and a full-press switch 23 that are linked to the release button. When the half-push switch 22 is operated and a half-push signal is input, the focus detection device 36 detects the focus adjustment state of the interchangeable zoom lens 90 according to a command from the CPU 21, and the subject light incident on the interchangeable zoom lens 90 is photographed. The lens driving device 37 drives the lens 91 to the in-focus position so as to form an image on the image pickup device 73. Lens information such as the aperture value of the interchangeable zoom lens 90 is input to the CPU 21 via the lens information input unit 38. The CPU 21 drives and controls the CCD 26 of the photographing imaging device 73 via the timing generator 24 and the driver 25. The timing generator 24 controls the operation timing of the analog processing circuit 27 and the A / D conversion circuit 28.
[0009]
When the full push switch 23 is turned on subsequent to the half push switch 22 being turned on, the quick return mirror 71 is rotated upward, and the subject light from the interchangeable zoom lens 90 is imaged on the light receiving surface of the CCD 26. The CCD 26 stores signal charges corresponding to the brightness of the subject image. The signal charge accumulated in the CCD 26 is swept out by the driver 25 and input to an analog signal processing circuit 27 including an AGC circuit and a CDS circuit. The analog signal processing circuit 27 performs analog processing such as gain control and noise removal on the analog image signal, and then the digital signal is converted by the A / D conversion circuit 28. The digitally converted signal is guided to, for example, an image processing circuit 29 configured as an ASIC, where image preprocessing such as white balance adjustment, contour compensation, and gamma correction described later is performed.
[0010]
The image data that has undergone image preprocessing is further subjected to format processing (image post processing) for JPEG compression, and the image data after the format processing is temporarily stored in the buffer memory 30.
[0011]
The image data stored in the buffer memory 30 is processed into display image data by the display image creation circuit 31 and displayed as a photographing result on an external monitor 32 such as an LCD. The image data stored in the buffer memory 30 is subjected to data compression at a predetermined ratio by the compression circuit 33 using the JPEG method, and is recorded on a recording medium (memory card) 34 such as a flash memory.
[0012]
FIG. 3 is a block diagram showing details of the image processing circuit 29 in the digital camera operating as described above. FIG. 3 shows a line processing circuit 100 that performs signal processing on the image data from the CCD 26 for each line, and performs the above-described image preprocessing. The line processing circuit 100 performs various types of signal processing, which will be described later, on the 12-bit R, G, B signals output from the A / D conversion circuit 28, and includes a digital clamp circuit 101 and a gain setting circuit. 102, a gain adjustment circuit 103, a black level circuit 104, and a γ correction circuit 105.
[0013]
The 12-bit R, G, B signals output from the A / D conversion circuit 28 are point-sequentially line by line with respect to the output of the CCD 26, and defective pixels (the addresses of which are specified in advance and set in the register). Is corrected and then input to the digital clamp circuit 101. The digital clamp circuit 101 subtracts a weighted average of a plurality of pixel data used as optical black from each pixel data of the line in a dot sequential manner for each line with respect to the output of the CCD 26.
[0014]
The gain setting circuit 102 sets adjustment gains for the R, G, and B pixel data. The adjustment gain is set for each pixel data of each color output from the CCD 26, and the output level of each color is set to a predetermined level by the given gain. Even when the output level of the pixel data output from the CCD 26 differs due to variations in the CCD 26, the adjustment gain is set so that the image data level input to the gain adjustment circuit 103 is predetermined regardless of the difference in the CCD 26. It is corrected to the level. The gain adjustment circuit 103 calculates the white balance adjustment gain of the R gain and B gain calculated by the scene detection processing circuit 35 described later and stored in the memory in the CPU 21 for the input R, B pixel data. White balance adjustment is performed by reading and multiplying it with the R and B signals.
[0015]
The black level circuit 104 adds the values determined in advance and stored in the register of the CPU 21 to the R, G, and B signals in a dot sequential manner for each line with respect to the output of the CCD 26. The γ correction circuit 105 performs γ correction on the output of the CCD 26 in a dot-sequential manner for each line using a gradation lookup table.
[0016]
-White balance detection-
The white balance detection process performed by the scene detection processing circuit 35 in FIG. 2 will be described in detail. The scene detection processing circuit 35 includes a scene analysis imaging device 86, an A / D conversion circuit 35B that converts an analog signal from the scene analysis imaging device 86 into a digital signal, and white balance adjustment based on the converted digital signal. CPU35C which produces | generates a coefficient. The CPU 35C analyzes the scene photographed by the digital data imaged by the scene analysis imaging device 86, detects the white balance, and determines the white balance adjustment gain. Here, the scene analysis means, for example, an analysis related to a distribution state of RGB signals of a shooting scene.
[0017]
The scene analysis imaging device 86 is, for example, a single two-dimensional CCD having 480 pixels divided into 24 columns × 20 rows as shown in FIG. As shown in FIG. 5, an RGB color filter 861 divided into 480 blocks of 24 horizontal rows × 20 vertical rows corresponding to 480 pixels is disposed on the surface of the imaging device 86. As shown in FIG. 5, the 480 block RGB filters are grouped into 16 middle area blocks M11, M12... M43, M44 so that each has filter elements of 6 columns × 5 rows. Used for scene analysis. In addition, as shown in FIG. 6, the 480 block RGB filters are grouped into 40 small area blocks S11, S12... S57, S58 so that each has filter elements of 3 horizontal rows × 4 vertical rows. This is used for scene analysis of 2.
[0018]
In the first scene analysis, in the image data output from the imaging device 86, a color having no hue, that is, a so-called achromatic color is detected for each of the 16 blocks divided as shown in FIG. When the object scene is divided into about 16 middle region blocks, there is a strong possibility that a plurality of colors of the subject exist in one block. Therefore, the first scene analysis averages the RGB color data existing in each block, and uses the fact that the average value becomes an achromatic color when there are a plurality of colors. The average data is averaged to detect achromatic colors. In each of the 16 divided blocks Mmn, there are 10 pieces of data for each color of R, G, and B, so that each color data for each block Mmn using the following equations (1) to (3) Average value R_M(m, n), G_M(m, n) and B_MCalculate (m, n).
[Expression 1]

However, R_M(m, n) is an average value of 10 pieces of R data belonging to the middle area block Mmn, G_M(m, n) is an average value of 10 G data belonging to the middle area block Mmn, and B_M(m, n) is an average value of 10 B data belonging to the middle area block Mmn.
[0019]
Using the average value of R, G, B color data calculated for each of the 16 blocks in total, the RGB three primary color data are TC according to JISZ8725 “Measurement method of light source distribution temperature and color temperature / correlated color temperature”. -Convert to Duv coordinate data. When the color temperature (TC) of 16 converted data is plotted on the TC-Duv coordinates, the data whose Duv axis value is within ± 10, for example, is determined to be achromatic, and there is no data exceeding ± 10 It is determined not to be colored. As a result of the first scene analysis, if there is data determined as an achromatic color among the color temperatures of 16 data, the color temperature of this data is determined as shown in FIG. )-White balance adjustment gain for R data and B gain for white balance adjustment for B data are determined by applying the white balance adjustment gain relationship.
[0020]
The values of R gain and B gain defined in FIG. 7 are such that the value of the Duv axis of the data plotted in the TC-Duv coordinates is 0, that is, the data determined to be achromatic is more achromatic. It is a value that is determined in advance by actual measurement so as to be close to and expressed as a function of the color temperature (TC). These R gain and B gain values are stored in the storage area of the CPU 35C as a look-up table, and are read out according to the color temperature.
[0021]
When there are a plurality of data determined to be achromatic color among the data of 16 blocks, the average value of the color temperatures of all the data determined to be achromatic color is calculated, and the average of the calculated color temperatures is calculated. The values are applied to the relationship of color temperature (TC) -white balance adjustment gain in FIG. 7 to determine the R gain and B gain. If there is no data determined to be achromatic among the 16 blocks of data, the white balance adjustment coefficient is not set by the first scene analysis.
[0022]
In the second scene analysis, in the image data output from the imaging device 86, a predetermined color, for example, skin color, is detected for each of the 40 blocks divided as shown in FIG. When the object scene is divided into about 40 small area blocks, there is a strong possibility that the color of the subject existing in one block is one color. Therefore, the second scene analysis detects a specific color existing in each block. In particular, in this embodiment, the color of a human face, that is, the skin color is detected. In each divided block Sij, there are four pieces of data for each color of R, G, and B, so the average value of each color data for each block Sij using the following equations (4) to (6) R_S(i, j), G_S(i, j) and B_SCalculate (i, j).
[Expression 2]

However, R_S(i, j) is an average value of four pieces of R data belonging to the small area block Sij, G_S(i, j) is an average value of four G data belonging to the small area block Sij, and B_S(i, j) is an average value of four B data belonging to the small area block Sij.
[0023]
The ratio of R data to G data and the ratio of B data to G data are calculated using the average values of R, G, B color data calculated for a total of 40 blocks, as shown in FIG. Convert to R / GB / G coordinate data. R / G is calculated by the above equation (4) / the above equation (5), and B / G is calculated by the above equation (6) / the above equation (5). FIG. 8 is a diagram showing a color temperature curve indicated by R / G-B / G coordinates. FIG. 8 shows that the color temperature in the lower left part where the color temperature is lower than 4500K is lower, the color temperature is higher in the upper part, and the color temperature exceeds 6500K in the uppermost part. A region 81 surrounded by a one-dot chain line in FIG. 8 is a skin color region detected by the second scene analysis. The color temperature curve in FIG. 8 is stored as a lookup table in the storage area of the CPU 35C, and color temperature values are read out corresponding to R / G and B / G.
[0024]
Ratio of average values of R, G, B color data calculated for every 40 blocks as described above: 40 data plotted on R / GB / G coordinates based on R / G and B / G In this case, the data in the area 81 is determined to be skin color, and the data outside the area 81 is determined not to be skin color. As a result of the second scene analysis, when there is data that is determined to be skin color from 40 pieces of data, a collective determination is made as to whether or not skin color is also detected around the detected area. For example, when the skin color is detected in the small divided area S25 in FIG. 6, the skin color determination is performed in a total of eight areas, areas S14 to S16, area S24, area S26, and areas S34 to S36, as shown in FIG. . If skin color is detected in, for example, three or more of the eight regions around the region S25, the data in the region S25 is stored as skin color data. On the other hand, when the skin color is detected in two or less areas in the eight surrounding areas, the data in the area S25 is regarded as isolated data and is not stored as skin color data.
[0025]
When there are a plurality of regions such as S25 storing the skin color data, the average value of the color temperatures obtained from the color temperature curve of FIG. 8 is calculated for each region Sij as described above. By applying the average value of the calculated color temperatures to the relationship of color temperature (TC) -white balance adjustment gain in FIG. 7, the R gain for white balance adjustment for R data and the B gain for white balance adjustment for B data are obtained. decide. If there is only one region such as S25 in which the skin color data is stored, the color temperature obtained in that region is applied to FIG. 7 as it is to determine the R gain and B gain for white balance adjustment. If there is no area in which the skin color data is stored among the 40 blocks, the white balance adjustment coefficient is not set by the second scene analysis.
[0026]
When the white balance adjustment coefficient is not determined in the first scene analysis and the second scene analysis described above, the color temperature value 5500K recorded in the memory in the CPU 35C is read as a default value. By applying this 5500K to FIG. 7, the white balance adjustment coefficient R gain and B gain as default values are determined.
[0027]
The gain adjustment values R gain and B gain determined as described above are temporarily stored in the register of the CPU 21 as white balance adjustment values. In the above-described gain adjustment circuit 103, when white balance adjustment is performed on the R and B pixel data input to the gain adjustment circuit 103, the R gain and B gain stored in the CPU 21 are read out. The R and B signals are multiplied.
[0028]
The above white balance detection process will be described with reference to the flowchart of FIG. The white balance detection process is repeatedly performed at predetermined intervals while the power of the digital still camera is turned on. In step S11, signal charges are accumulated in the scene analysis imaging device 86, and the accumulated charges are swept out and converted into digital data by the A / D conversion circuit 35B, and then taken into the CPU 35C. In step S12, the data captured by the CPU 35C is divided into 16 middle area blocks, and the average values of the R, G, and B color data existing for each of the divided blocks are calculated. In step S13, 16 sets of RGB data are coordinate-converted into TC-Duv coordinate data, and achromatic color data is detected from the data after coordinate conversion in step S14.
[0029]
In step S15, it is determined whether or not there is detected achromatic color data. If it is determined that there are two or more achromatic color data (Y in step S15 (two or more)), the process proceeds to step S16. The average value of the color temperature (TC) of the detected achromatic color data is calculated, and the process proceeds to step S17. If it is determined in step S15 that there is one achromatic color data (Y (one) in step S15), the process proceeds to step S17 with the color temperature (TC) of this achromatic color data. Steps S12 to S15 described above are the first scene analysis process.
[0030]
On the other hand, when it is determined that there is no achromatic color data detected in step S15 (N in step S15), the second scene analysis from step S19 is performed. In step S19, the data captured by the CPU 35C in step S11 is divided into 40 small area blocks, and the average values of the R, G, and B color data that exist for each of the divided blocks are calculated. In step S20, 40 sets of RGB data are coordinate-converted into R / G-B / G coordinate data. In step S21, skin color data is detected from the data after coordinate conversion.
[0031]
In step S22, a set determination process is performed in which only a predetermined number of skin colors are detected in the eight small area blocks around the small area block in which the skin color data is detected, as skin color data. As a result of the set determination process, it is determined in step S23 whether there is skin color data regarded as skin color data, and when it is determined that there are two or more skin color data (Y in step S23 (two or more)). The process proceeds to step S24, the average value of the color temperature (TC) calculated from the detected skin color data is calculated, and the process proceeds to step S17. If it is determined in step S23 that there is one skin color data (Y (one) in step S23), the process proceeds to step S17 with the color temperature (TC) of this skin color data. If it is determined in step S23 that there is no skin color data (N in step S23), the process proceeds to step S25, the color temperature value 5500K stored in the CPU 35C is read as a default value, and the process proceeds to step S17.
[0032]
In step S17, the R and B gains for white balance adjustment are read from the lookup table stored in the storage area of the CPU 35C based on the color temperature (TC). The read R gain and B gain values are stored in the CPU 21 in step S18, and the processing of FIG. 10 ends.
[0033]
The operation of the digital still camera configured as described above will be described. FIG. 11 is a flowchart showing a program activated by a half-press switch. When the half-press switch 22 is operated, in step S31, a focus detection operation of the photographing zoom lens 90 and a photometry operation for detecting the luminance of the subject are performed. When the focus adjustment state is detected by the focus detection device 36, the lens driving device 37 drives the lens 91 to the in-focus position based on the detected focus adjustment state. The luminance of the subject is detected by the CPU 35C using the data output from the scene analysis imaging device 86. When the luminance data detected by the CPU 35C is output to the CPU 21, the CPU 21 performs an exposure calculation based on the luminance data and the aperture value of the zoom lens 90 sent from the lens information input unit 38.
[0034]
In step S32, the R gain and B gain values for white balance adjustment stored in the register of the CPU 21 as described above are read. If it is determined in step S33 that the full-press switch 23 has been operated, the quick return mirror jumps up and a shooting sequence is started. In step S34, each pixel of the CCD 26 accumulates the received light signal, and after the accumulation is completed, the accumulated charges of all the pixels are sequentially read out. In step S 35, the read image data is processed by the analog signal processing circuit 27, converted to digital image data by the A / D conversion circuit 28, and input to the image processing circuit 29. In step S 36, the above-described white balance adjustment, γ gradation correction, JPEG format processing, and the like are performed by the image processing circuit 29. When the image processing ends, the process proceeds to step S37, and the image data after the image processing is temporarily stored in the buffer memory 30. In step S38, the image data is read from the buffer memory 30, and the data is compressed by the JPEG compression circuit 33. In step S39, the compressed image data is stored in the memory card 34, and the process ends.
[0035]
In the above description, the case of shooting under natural light has been described. However, for example, when shooting under a fluorescent lamp, it is necessary to adjust the white balance adjustment gain. Generally, the color temperature of the captured RGB data is higher when shooting under fluorescent light than when shooting under natural light. This color temperature difference is corrected by correcting the R gain and B gain values of FIG. 7 by a predetermined amount. Therefore, two sets of look-up tables storing values of R gain and B gain are prepared for photographing under natural light and photographing under a fluorescent lamp, and read out by switching according to the photographing light at the time of photographing. Like that.
[0036]
The features of this embodiment will be summarized.
(1) In the first scene analysis of step S12 to step S15, the object scene is divided into 16 middle regions, the average of each color data of RGB is obtained for each divided region, and the data on the TC-Duv coordinates Achromatic color data was detected by converting to. As a result, since there is a strong possibility that a plurality of colors of the subject exist in one middle area block, there is an effect of facilitating detection of achromatic colors by averaging the RGB color data in the block. In addition, if the number of divided areas is large, the amount of calculation at the time of conversion processing to TC-Duv coordinates increases. However, 16 areas can reduce the burden on the CPU and reduce the processing time. can get.
(2) An average value of the color temperature of the achromatic color data detected in the first scene analysis is calculated, and an R gain and a B gain for white balance adjustment are determined according to the calculated average value of the color temperature. As a result, the average white balance adjustment is performed on the entire screen, and the color of the subject can be reproduced.
[0037]
(3) In the second scene analysis of step S19 to step S23, the object scene is divided into 40 small areas, and the average of each color data of RGB is obtained for each divided area, and on the R / GB / G coordinates. The skin color data was detected by converting the data. Furthermore, a set determination process is performed on the detected skin color data, and when a predetermined number or more of the surrounding data is skin color, it is regarded as skin color data again. As a result, there is a strong possibility that the subject of one small area block has one color, so that it is easy to detect a specific color existing in the block.
(4) The average value of the color temperature of the data regarded as the skin color data in the second scene analysis is calculated, and the R gain and the B gain for white balance adjustment are determined according to the calculated average value of the color temperature. As a result, the optimum white balance adjustment is performed on the skin color portion of the object scene. Therefore, for example, when a person is photographed with a green background, it is possible to reproduce the human skin color regardless of the background color.
[0038]
(5) Since the scene analysis imaging device 86 is arranged in the viewfinder device 80, the scene analysis imaging device 86 performs scene analysis before the mirror 71 is mirrored up by the operation of the full-press switch 23. Data can be imaged and the white balance adjustment gain can be determined and stored in the CPU 21. Therefore, since it is not necessary to determine the white balance adjustment gain in the shooting sequence from step S34 performed by operating the full push switch 23, the shooting processing time is longer than that in the case where the scene analysis data is shot with the shooting sequence. It can be shortened.
(6) Since the scene analysis imaging device 86 is used for both scene analysis data imaging and subject luminance detection, the mounting space can be reduced as compared with the case where the scene analysis data is not shared. The effect of reducing the cost can be obtained.
[0039]
In the above description, the scene is divided into 16 middle areas in the first scene analysis, and the scene is divided into 40 small areas in the second scene analysis. The number need not be as described. Moreover, although it demonstrated as dividing | segmenting into a square so that it might become equal, these may not be equally divided and it does not necessarily need to divide | segment into a rectangle. Furthermore, although the entire area of the area received by the scene analysis imaging device 86 is divided, only a specific area may be used.
[0040]
In the above description, 16 sets of RGB data by 16 areas divided by the first scene analysis are coordinate-converted into TC-Duv coordinate data, and 40 sets by 40 areas divided by the second scene analysis are converted. RGB data was converted to R / GB / G coordinate data. If the number of divisions is not necessarily 16 or 40, the data with the smaller number of divisions is used to convert the data to TC-Duv coordinate data, and the data with the larger number of divisions is used to obtain R / GB / G coordinate data. The coordinates can be converted to. Further, the coordinates to be converted may be selected according to the purpose of photographing, regardless of the number of divided areas. For example, if you take a TC-Duv coordinate when shooting a multi-colored subject such as a snap shot, you can perform an average white balance adjustment for all colors, and a person like a portrait shot. If you select the R / GB / G coordinates when shooting, you can perform optimal white balance adjustment for specific colors such as skin color.
[0041]
In the above description, the skin color is detected and the white balance adjustment gain is determined in the second scene analysis. However, for example, green or an achromatic color may be detected instead of the skin color. In addition, the color to be detected can be switched according to the shooting mode so that the skin color is detected when shooting a person, and the green color is detected when shooting a landscape. For example, if you detect green when set to the distant shooting mode and detect flesh color when set to portrait shooting mode, the optimal white balance adjustment for each detected color Will be done. Furthermore, a white balance adjustment gain may be determined by detecting a plurality of colors such as skin color and green color and adopting a color that maximizes the number of data determined by the set determination processing.
[0042]
In the above description, as a result of performing the first scene analysis, the second scene analysis is performed when no achromatic color is detected. However, the first scene analysis and the second scene analysis are performed. Either one may be selected, and the white balance adjustment gain may be determined based on the color temperature obtained by the selected scene analysis. It is also possible to perform both scene analyzes and determine the white balance adjustment gain by averaging the two color temperatures obtained by the both scene analyses.
[0043]
In the above description, a single-lens reflex digital still camera has been described. However, the present invention can also be applied to a digital camera that is not a single-lens reflex camera. In this case, subject images are separately formed on the imaging device for photographing and the imaging device for scene analysis using a beam splitter, a half mirror, or the like. In the above description, the imaging device for shooting and the imaging device for scene analysis are provided separately. However, the imaging device for shooting may also be used as the imaging device for scene analysis. In this case, when the power is turned on, the subject image captured by the imaging imaging device is repeatedly displayed as a through image on a display device such as a liquid crystal monitor regardless of the operation of the release button. As described above, the white balance adjustment gain is determined using the imaged data. Then, white balance adjustment is performed on the subject image data captured when the release operation is performed, using the white balance adjustment gain.
[0044]
In the above description, the TC-Duv coordinate system and the R / GB / G coordinate system are used as the color coordinate system. However, the coordinate system using the color difference signals RY and BY may be used. it can.
[0046]
【The invention's effect】
According to the present invention, it is possible to suppress the occurrence of color fading and color cast images as compared with the case where the white balance gain is calculated based on the shooting screen including the main subject and the background.
[0047]
(3) In the inventions of

claims

6 and 7, the scene analysis image data is converted into the first coordinate system and the second coordinate system relating to color. It can be expressed by coordinates of the distance from the achromatic color, or by coordinates of the sizes of the R color component and the B color component. Therefore, for example, in the case of portrait photography, when the gain calculation means detects the skin color from the scene analysis image data and calculates the gain adjustment gain, the coordinates of the sizes of the R color component and the B color component are used. This makes it easier to detect the skin color.
(4) In the invention of claim 8, the first coordinate system and the second coordinate system are selected in accordance with the area of the image data for scene analysis used for coordinate conversion. In the case of a large area, there is a high possibility that there are a plurality of colors of the subject in the area, and in the case of a small area, there is a high possibility that the color of the subject will be one color. By performing gain adjustment using this relationship, it is possible to suppress the color drop and the color cast phenomenon.
(5) In the invention of claim 9, in addition to the configuration of claim 8, the size of the area of the image data for scene analysis used for coordinate conversion is changed according to the subject. Therefore, if it is better to detect the skin color and calculate the gain adjustment gain as in portrait photography, the coordinates of the size of the R color component and the B color component can be selected if a small area is used. It becomes easier to detect skin color.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an embodiment of a single-lens reflex digital still camera.
FIG. 2 is a block diagram showing an embodiment of a signal processing system of a single-lens reflex digital still camera.
3 is a block diagram illustrating a circuit that performs line processing in the signal processing system illustrated in FIG. 2;
FIG. 4 is a diagram illustrating a pixel array of an imaging apparatus for scene analysis.
5 is a diagram showing an arrangement of color filters provided on the imaging apparatus of FIG. 4 and middle region division. FIG.
6 is a diagram showing small area division of the imaging apparatus of FIG. 4; FIG.
FIG. 7 is a graph showing the relationship between color temperature and white balance adjustment gain.
FIG. 8 is a diagram of a color temperature curve represented on R / G-B / G coordinates.
FIG. 9 is a diagram illustrating set determination.
FIG. 10 is a flowchart showing white balance detection processing;
FIG. 11 is a flowchart showing a program activated by a half-press switch.
[Explanation of symbols]
21 ... CPU, 22 ... half-press switch,
23 ... Full push switch, 26 ... CCD,
28 ... A / D conversion circuit, 29 ... Image processing circuit,
33 ... JPEG compression circuit, 35 ... Scene detection processing circuit,
35B ... A / D conversion circuit, 35C ... CPU,
36: Focus detection device 37: Lens drive device,
38 ... Lens information input unit, 73 ... Imaging device,
86 ... Image analysis device for scene analysis, 90 ... Interchangeable zoom lens,
91 ... photographic lens, 92 ... aperture,
100: Line processing circuit, 102: Gain setting circuit,
103 ... Gain adjustment circuit, M11 to M44 ... 16 divided middle regions,
S11 to S58 ... 40 divided small areas

Claims

An imaging device for taking an image of a subject passing through the taking lens and outputting image data;
An analysis imaging device disposed at a position conjugate to the imaging imaging device with respect to the imaging lens, receiving the subject image and outputting scene analysis image data;
An achromatic color determining unit that determines an achromatic color for each of a plurality of areas obtained by dividing the shooting screen into the first division number based on the scene analysis image data;
A specific color determination unit that determines a specific color for each of a plurality of areas obtained by dividing the shooting screen by a second division number larger than the first division number based on the scene analysis image data;
Based on the scene analysis image data corresponding to at least one of the region where the achromatic color is determined and the region where the specific color is determined, a white balance gain is calculated for the image data output from the imaging device. A white balance gain calculator,
A digital camera comprising:

The digital camera according to claim 1 , wherein
The digital camera according to claim 1, wherein the specific color determination unit determines the specific color after the achromatic color determination unit determines the achromatic color.

The digital camera according to claim 1 , wherein
The digital camera according to claim 1, wherein the specific color determination unit determines a specific color when an achromatic color is not determined by the achromatic color determination unit.

The digital camera according to claim 3 , wherein
The digital camera according to claim 1, wherein the white balance gain calculation unit sets a predetermined value as a white balance gain when the specific color is not determined by the specific color determination unit.

In the digital camera according to any one of claims 1 to 4 ,
The digital camera according to claim 1, wherein the specific color determination unit determines skin color.

In the digital camera according to any one of claims 1 to 4 ,
The digital camera according to claim 1, wherein the specific color determination unit switches the specific color according to a shooting mode.

The digital camera according to any one of claims 1 to 6 ,
A coordinate conversion unit for converting the image data for scene analysis using the first coordinate system or the second coordinate system for color;
The achromatic color determination unit determines the achromatic color from data after coordinate conversion in the first coordinate system,
The digital camera according to claim 1, wherein the specific color determination unit determines the specific color from data after coordinate conversion is performed in the second coordinate system.

The digital camera according to any one of claim 1 to 7
A digital camera, further comprising: a white balance adjustment unit that adjusts a white balance of the image data output from the imaging apparatus for photographing using a white balance gain calculated by the white balance gain calculation unit.