JP2001112019A

JP2001112019A - オートホワイトバランス装置及び方法

Info

Publication number: JP2001112019A
Application number: JP28299099A
Authority: JP
Inventors: Toshiki Miyano; 俊樹宮野
Original assignee: Eastman Kodak Japan Ltd
Current assignee: Eastman Kodak Japan Ltd
Priority date: 1999-10-04
Filing date: 1999-10-04
Publication date: 2001-04-20
Anticipated expiration: 2019-10-04
Also published as: JP4081213B2

Abstract

(57)【要約】【課題】オートホワイトバランスの挙動の不安定さを
改善する。【解決手段】撮像装置２０の出力画像は、ブロック分
割回路１０２でブロック単位に分割される。代表色計算
回路１０４は、各ブロックごとに、そのブロックの画素
値の平均を計算し、この平均値を輝度・色差表現に変換
する。ブロック信頼度計算回路１１０は、ブロックの色
差成分と、蛍光灯や昼光などの想定光源の典型色差との
距離を求め、この距離からそのブロックが想定光源で照
明されている信頼度を求める。信頼度は、前述の距離に
応じて連続的に変化する関数から求められる。オートホ
ワイトバランス装置１０は、この信頼度に基づき、その
画像のシーンを照明する照明光の色（照明色）を求め、
これを打ち消すようにホワイトバランス調整を行う。ブ
ロックの色差に従って連続的に変化する信頼度を用いる
ので、ホワイトバランスの挙動の不安定さが低減され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子スチルカメラ
やビデオカメラなどに用いられるオートホワイトバラン
ス装置に関する。

【０００２】

【従来の技術】ビデオカメラやデジタルスチルカメラで
は、白い被写体を白く再現するために、オートホワイト
バランス調整が行われている。従来のオートホワイトバ
ランス方式としては、画像全体の平均が無彩色となるよ
うに各画素の信号のＲＧＢ成分（赤、緑、青の三原色成
分）のバランスを調整する方式がよく知られている。し
かしながらこの方式では、有彩色が画像の大部分の領域
を占めている場合、誤ったホワイトバランス調整を行う
ことになりやすいという欠点があった。

【０００３】このような誤ったホワイトバランス調整は
カラーフェイリアと呼ばれる。このカラーフェイリアを
軽減するオートホワイトバランス調整方式として、特開
平５−２９２５３３号公報に示される技術が知られてい
る。この技術では、画像を複数のブロックに分割し、各
ブロックのＲＧＢの平均値を計算し、その平均値が予め
定めた範囲に属しているブロックのみを抽出する。そし
て、抽出したブロック群のＲＧＢの平均値が無彩色にな
るように、ＲＧＢ各成分の調整を行う。

【０００４】ところが、これらの方式は、被写体を照明
する光源が限定されている場合には効果が得られたが、
想定外の光源で照明される場合や複数種類の光源により
同時照明される場合などには十分なホワイトバランス調
整を行うことができなかった。

【０００５】そこで、本出願人は、特開平８−２８９３
１４号公報に開示した改良されたオートホワイトバラン
ス調整装置を提案した。この装置では、画像を複数のブ
ロックに分割し、蛍光灯下で白い対象物を撮影したと判
定されるブロック群、太陽光又はタングステン光下で白
い対象物を撮影したと判定されるブロック群、画像中で
最も明るいブロックに近い色を持つブロック群、をそれ
ぞれ抽出する。そして、それら各ブロック群ごとにＲＧ
Ｂ各成分の平均値を求め、それらを予め定めた規則に従
って混合した値をホワイトバランス調整信号として用い
る。この装置では、画像中で最も明るいブロックに近似
した色のブロック群のＲＧＢの平均値をホワイトバラン
ス信号に反映させることにより、想定外の光源下や複数
種類の光源下でも、適切なホワイトバランス調整を行う
ことができる。

【０００６】

【発明が解決しようとする課題】上記従来方式は、各光
源に対して固定的に定められた領域（光源領域）に対し
て各ブロックの色差の平均値が含まれるか否かという二
値的な弁別の結果を用いているため、撮影シーンの変化
によってホワイトバランスの挙動が不安定になりやすい
と言う問題があった。例えば、ある光源領域に属してい
たあるブロックが、撮影シーンが少し変化しただけで、
その光源領域に属さないものとなる可能性があり、この
ような二値的な急激な変化がホワイトバランスの不安定
さを惹起するおそれがあった。

【０００７】本発明は、この問題を解決するためになさ
れたものであり、安定したホワイトバランス調整を行う
ことができるオートホワイトバランス装置を提供するこ
とを目的とする。

【０００８】

【課題を解決するための手段】本発明に係るオートホワ
イトバランス装置は、ホワイトバランス処理対象の画像
を複数のブロックに分割するブロック分割手段と、分割
された各ブロックごとに、当該ブロック内の画素値に基
づき当該ブロックの代表色を求める代表色算出手段と、
前記各ブロックごとかつ想定する各光源ごとに、当該光
源下での白色物体の色の色差成分と当該ブロックの代表
色の色差成分との距離を求め、これら各距離に基づき前
記各光源が前記各ブロックのシーンを照明している信頼
度を推定するブロック信頼度推定手段と、前記各光源ご
とについて、各ブロックの代表色を当該ブロックについ
ての当該光源の信頼度に従って加重平均することによ
り、当該光源の画像全体に対する寄与成分を推定する光
源寄与成分推定手段と、前記各光源ごとに、当該光源の
各ブロックについての信頼度を前記画像中の全ブロック
にわたって総和することにより、前記画像全体について
の当該光源の信頼度を推定する全体信頼度推定手段と、
前記光源寄与成分推定手段で推定された前記各光源の画
像全体に対する寄与成分を、前記全体信頼度推定手段で
推定された前記各光源の画像全体についての信頼度に従
って加重平均することにより、前記画像全体のシーンを
照明する照明色を推定する照明色推定手段と、推定した
前記照明色を打ち消すよう、前記画像の各画素に対して
ホワイトバランス処理を行うホワイトバランス手段と、
を有する。

【０００９】この装置は、各光領域に対して各ブロック
の色差平均値が含まれるか否かという二値的な弁別の結
果を用いる代わりに、ブロック代表色の色差と各光源の
典型色差との距離から求めた信頼度を用いてホワイトバ
ランス調整を行う。両色差値間の距離は連続な値をと
る。したがって、本発明によるホワイトバランス調整処
理は、ホワイトバランスの挙動を撮影シーンの変化に対
して連続的に追従させることが可能になり、二値的な弁
別結果に基づく調整をしていた従来技術よりも滑らかな
ホワイトバランス調整が行える。

【００１０】本発明の好適な態様に係る装置は、ブロッ
ク信頼度推定手段で推定された各ブロックについての前
記信頼度を、前記ブロックの代表色の輝度成分に応じて
修正する手段を備える。

【００１１】シーンの明るさによりそのシーンの色が照
明の色を反映している度合いは異なる。この態様によれ
ば、そのようなシーンの明るさ、すなわち輝度に応じて
各光源がシーンを照明している信頼度を修正できるの
で、照明色の推定の精度が向上し、この結果ホワイトバ
ランス調整の精度も向上する。

【００１２】この態様において、信頼度の修正を、各光
源ごとに個別に用意した関数を用いて行うようにすれ
ば、各光源の明るさに関する知識を用いて各光源がシー
ンを照明している信頼度を修正することができる。ま
た、修正に用いる関数を、輝度に対して値が連続的に変
化する連続関数とすることにより、滑らかなホワイトバ
ランス調整が可能となる。

【００１３】また、本発明の別の好適な態様では、光源
として、昼間の直射日光と昼間の日陰の光とを区別して
取り扱うことにより、画像に日光が当たっている部分と
日陰の部分の両方が含まれる場合でも、柔軟にホワイト
バランスを制御することができる。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態（以下
実施形態という）について、図面に基づいて説明する。

【００１５】図１は、本実施形態のオートホワイトバラ
ンス装置１０の構成を示す機能ブロック図である。この
オートホワイトバランス装置１０は、典型的には、電子
スチルカメラやビデオカメラなどのカメラ装置に組み込
まれる。このオートホワイトバランス装置１０は、カメ
ラ装置の撮像装置２０から入力された画像信号からホワ
イトバランス調整信号を生成し、この信号を用いて園が
増進号に対してホワイトバランス調整を施して出力す
る。本実施形態では、画像のシーン（場景）を照明する
光源の色（照明色と呼ぶ）を推定し、この推定結果に基
づきホワイトバランス調整を行う。

【００１６】図２は、このオートホワイトバランス装置
が行う処理の手順を示すフローチャートである。

【００１７】以下、図１及び図２を参照して、オートホ
ワイトバランス装置１０の詳細な構成及びその処理内容
を詳しく説明する。

【００１８】撮像装置２０から出力される画像信号は、
ブロック分割回路１０２によってブロック単位に分割さ
れる（Ｓ１０）。図３は、画像のブロック分割の一例を
示す。この例では、１フレームの画像２００は、それぞ
れｍ×ｍ個の画素からなる１６（＝４×４）個の等しい
ブロック２１０に分割される。図３に示したブロック分
割はあくまで一例であり、これ以外の分割法を用いても
もちろんよい。この回路１０２で分割された各ブロック
の画像データは、代表色計算回路１０４、分散係数計算
回路１０６、飽和係数計算回路１０８、光源寄与計算回
路１１４にそれぞれ入力される。

【００１９】代表色計算回路１０４は、各ブロックごと
の画像データに基づき、各ブロックの平均的な色である
代表色を求める（Ｓ１２）。この回路１０４の詳細な処
理内容は以下の通りである。すなわち、代表色計算回路
１０４は、まず１ブロックの全画素の画素値の平均値を
求める。撮像装置２０の画像信号がＲＧＢ（赤、緑、
青）で表されている場合、代表色計算回路１０４は各画
素のＲＧＢ値を、ＲＧＢの各成分ごとに、当該ブロック
の全画素にわたって平均する。この平均（Ｒ，Ｇ，Ｂ）
が当該ブロックの代表色である。次に、代表色計算回路
１０４は、その平均値（Ｒ，Ｇ，Ｂ）を、輝度（Ｌ）及
び２つの色差成分（ｕ，ｖ）の組（Ｌ，ｕ，ｖ）に線形
変換する。この変換は次式で表される。

【００２０】

【数１】なお、変換に用いる変換行列は、撮像装置２０の入力色
特性に依存するものであり、式（１）に示したものはあ
くまでその一例にすぎない。また、画像信号がＲＧＢ以
外の表色系で表されている場合は、その表色系に応じた
変換行列を用いて輝度及び色差成分を求めればよい。ま
た、以上の処理では、ブロックの代表色を求めるに当た
り、ブロックの全画素についての平均を行ったが、この
代わりに、ブロックの画素の中から予め定めたサンプリ
ング規則に従って抽出した画素の平均を用いるようにし
てもよい。

【００２１】このような処理が、１画像を構成する各ブ
ロックごとに対して行われる。求められた各ブロックの
代表色の輝度・色差表現（Ｌ，ｕ，ｖ）はブロック信頼
度計算回路１１０に入力される。以下、ブロックの識別
番号をｉ（ｉ＝１，２，…，ｎ：ｎは画像の総ブロック
数）とし、ｉ番目のブロック（ブロックｉと記す）の代
表色を（Ｌi，ｕi，ｖi）と表現する。

【００２２】以上の代表色計算回路１０４の処理と並行
して、分散係数計算回路１０６及び飽和係数計算回路１
０８が各々の処理を実行する。

【００２３】分散係数計算回路１０６は、各ブロックの
画像データを受け取り、各ブロックごとにその分散係数
Ｃｖを求める。分散係数Ｃｖは、後述するブロック信頼
度の補正のための係数であり、当該ブロックの画素値の
分散に応じて決まる。ブロックｉの分散係数をＣｖiと
表す。分散係数計算回路１０６は、まずブロックの画素
群の中から予め定めた方法で画素をサンプリングし、そ
れらサンプリングした画素群の画素値の分散を求める。
この場合、回路１０６は、例えば、Ｒ，Ｇ，Ｂの各成分
ごとにサンプリングした画素群における分散を求め、こ
れら各成分ごとの分散を例えば平均するなどして全体的
な分散値を求める。そして、分散係数計算回路１０６
は、このようにして求めた分散値に基づき分散係数を求
める。分散係数Ｃｖは、予め用意した関数を用いて求め
る。図４は、この関数の一例のグラフである。図４に示
すように、回路１０６では、分散値が大きくなるほど、
それに対応する分散係数が小さくなるような関数を用い
る。この関数は、例えば回路１０６内にあらかじめ登録
されている。

【００２４】飽和係数計算回路１０８は、各ブロックの
画像データを受け取り、各ブロックごとに、その飽和係
数Ｃｓを求める。飽和係数Ｃｓは、後述するブロック信
頼度の補正のための係数であり、当該ブロックにおける
飽和画素の数に応じて決まる。飽和画素とは、画素値の
１以上の成分（例えばＲ、Ｇ、またはＢ）が、その成分
の上限値（例えば８ビット表現ならば２５５）に達して
いる画素をいう。ブロックｉの飽和係数をＣｓiと表
す。飽和係数計算回路１０８は、まずブロックの中の飽
和画素の数をカウントし、このカウント結果から飽和係
数を求める。飽和係数Ｃｓは、予め用意した関数を用い
て求める。図５は、この関数の一例のグラフである。図
５に示すように、回路１０８では、飽和画素数が大きく
なるほど、それに対応する飽和係数が小さくなるような
関数を用いる。ここで用いる関数は、例えば回路１０８
内にあらかじめ登録されている。

【００２５】分散係数計算回路１０６及び飽和係数計算
回路１０８で求められた分散係数及び飽和係数は、信頼
度修正回路１１２に入力される。

【００２６】代表色計算回路１０４にてブロックの代表
色の輝度・色差表現（Ｌ，ｕ，ｖ）が求められると、次
にブロック信頼度計算回路１１０が、予め想定した各光
源ごとに、その光源がそのブロックを照明している信頼
度（ブロック信頼度と呼ぶ）を求める（Ｓ１４）。ある
ブロックについてのブロック信頼度は、想定した光源ご
とに求められる。以下、このＳ１４の処理を詳しく説明
する。

【００２７】本実施形態では、光源として、太陽光、タ
ングステン光（例えば白熱灯など）、蛍光灯光を想定す
る。これらは、一般ユーザの写真撮影やビデオ撮影にお
ける照明光源として一般的なものである。前述した特開
平８−２８９３１４号公報開示の従来技術では、太陽光
とタングステン光とを一括して扱っていたが、本実施形
態ではこれらを別々に取り扱う。これにより、太陽光と
タングステン光のスペクトルの差をよりよく反映したホ
ワイト処理が可能になる。

【００２８】更に、本実施形態では、太陽光を昼光（昼
間の日なたの光）と日陰光（昼間の日陰の光）とに分け
て取り扱う。日なたと日陰では、同じ太陽光の影響下で
あるといっても、前者は色温度が比較的低く（赤っぽ
い）、後者は色温度が比較的高い（青っぽい）という違
いがある。したがって、両者を一括して取り扱ったので
は、日なた、日陰とも中途半端なホワイトバランスにな
るおそれがあり、更に、日なたの部分と日陰の部分が混
在するシーンで柔軟なホワイトバランスのコントロール
が困難になる。そこで本実施形態では、昼光と日陰光と
を別の光源として区別して取り扱うことにより、そのよ
うな問題を解決している。結局、本実施形態では、昼
光、日陰光、タングステン光、蛍光灯光の４種類の光源
を想定することになる。

【００２９】ブロック信頼度計算回路１１０は、これら
想定した各光源ごとに、その光源下での白色物体の色の
色差成分（以下、その光源の典型色差と呼ぶ）と、ブロ
ックの代表色の色差成分（ｕ，ｖ）との距離Ｄを求め
る。ここで、光源の識別番号をｊ（ｊ＝１，２，…，
ｍ：ｍは想定光源の個数。本実施形態ではｍ＝４）と
し、識別番号ｊの光源を光源ｊと表現する。ここでは、
便宜上光源１を昼光、光源２を日陰光、光源３をタング
ステン光、光源４を蛍光灯光とする。ブロックｉの代表
色の色差成分（ｕi，ｖi）と光源ｊの典型色差（Ｕj，
Ｖj）との距離Ｄijは、例えば次式に従って求める。

【００３０】

【数２】Ｄij=ｄ11*(ｕi−Ｕj)^２+ｄ12*(ｕi−Ｕj)*(ｖi−Ｖj)+ｄ22*(ｖi−Ｖj)^２ …（２）ここで、ｄ11、ｄ12、ｄ22はそれぞれ所定の定数であ
る。各光源ごとに、その特性に合わせてこれら定数ｄ1
1、ｄ12、ｄ22の組を選択することにより、光源特性に
あった適切な距離を定義できる。この場合、それら定数
の値は、各光源ごとに、実験などで予め求め、ブロック
信頼度計算回路１１０又はカメラに設けられた記憶装置
（ＲＯＭなど。図示省略）に記憶しておく。また、距離
の定義には、上記式（２）以外のものを用いることも可
能である。この場合、光源ごとに、その特性に応じた異
なる距離の定義式を用いることも可能である。

【００３１】以上の距離Ｄの計算が、１つのブロックｉ
に対し、全想定光源ｊについて行われる。

【００３２】次にブロック信頼度計算回路１１０は、求
めた距離Ｄijから、ブロックｉが光源ｊにより照明され
ている信頼度Ｒｄijを求める。この信頼度Ｒｄijは、色
差の観点から見た信頼度である。信頼度Ｒｄijは、予め
定めた関数ｆを用いて距離Ｄijから求める。光源の種類
ごとに、距離Ｄと信頼度Ｒｄとの関係が異なるので、こ
の関数ｆは光源ｊごとに個別に用意することが好適であ
る。光源ｊについての信頼度関数をｆjと表すと、ブロ
ックｉが光源ｊにより照明されている信頼度Ｒｄijは次
式により求められる。

【００３３】

【数３】Ｒｄij＝ｆj（Ｄij） …（３）図６に信頼度関数ｆjの一例を示す。図６に示すよう
に、関数ｆjは、距離Ｄijが大きくなるに従って値が減
少する関数である。この関数を距離に関して連続的に変
化する関数とすることにより、二値的な弁別結果をベー
スにしたことによる従来技術の問題を回避できる。各光
源ごとの信頼度関数ｆjは、予め実験等により求め、装
置内に記憶しておく。

【００３４】また、ブロック信頼度計算回路１１０は、
このようにして求めた色差の観点からの信頼度Ｒｄに対
し、輝度の観点からの修正を加える。これは、蛍光灯下
での白い物体の明るさの分布、直射日光（昼光）下での
白い物体の明るさの分布、日陰での白い物体の明るさの
分布、などがそれぞれ異なるためである。したがって、
ブロックｉの輝度（明るさ）Ｌiに応じて、ブロックｉ
が光源ｊにより照明されている可能性を求めることがで
きる。ここでは、この可能性を係数として、前に求めた
色差に基づく信頼度Ｒｄを修正する。

【００３５】このため、ブロック信頼度計算回路１１０
は、各ブロックｉごとに、輝度の観点から見てそのブロ
ックｉが光源ｊで照明されている可能性を示す輝度係数
Ｃｌijを求める。輝度係数Ｃｌijは、光源ｊごとに予め
定められた関数ｇjに、ブロックiの輝度Ｌiを適用する
ことにより求められる。すなわち、

【数４】Ｃｌij＝ｇj（Ｌi） …（４）図７に関数ｇjの一例を示す。関数ｇjは、輝度Ｌiの関
数であり、この例は輝度が大きくなるほど係数Ｃｌは大
きくなるものを示している。これは明るい物ほど光源の
影響を受けている可能性が高いことを考慮したものであ
る。この関数を輝度に関して連続的に変化する関数とす
ることにより、ホワイトバランスに対するブロック輝度
Ｌiの影響を滑らかなものとすることができる。これ
は、ホワイトバランスの挙動の安定化に役立つ。なお、
この輝度係数の特性は、光源ｊごとに異なる。各光源ご
との輝度係数関数ｇjは、予め実験等により求め、装置
内に記憶しておく。

【００３６】そして、ブロック信頼度計算回路１１０
は、色差に基づく信頼度Ｒｄに輝度係数Ｃｌを乗じるこ
とにより、信頼度Ｒijを求める。信頼度Ｒijは、色差及
び輝度の両方の観点から見て、ブロックｉが光源ｊで照
明されている可能性を示す値である。すなわち、信頼度
Ｒijは、

【数５】Ｒij＝Ｃｌij*Ｒｄij …（３）により求められる。

【００３７】ブロック信頼度計算回路１１０は、以上の
処理を画像中の全てのブロックｉに対して、各光源ｊご
とに実行する。求められた信頼度Ｒijの情報は、信頼度
修正回路１１２に入力される。

【００３８】信頼度Ｒijが推定されると、次に信頼度修
正回路１１２が、その信頼度に対して修正を加える（Ｓ
１６）。この回路１１２では、ブロックｉに対する光源
ｊの信頼度Ｒijを、当該ブロックｉについての前述の分
散係数Ｃｖi及び飽和係数Ｃｓiと、当該ブロックｉの画
像全体の中での位置によって決まる位置係数Ｃｐiとに
より信頼度Ｒijを補正する。具体的には、これら係数を
信頼度Ｒijにかけることにより、信頼度を修正する。修
正された信頼度（修正信頼度と呼ぶ）Ｒｍijとすると、

【数６】Ｒｍij＝Ｃｖi*Ｃｌi*Ｃｐi*Ｒij …（６）である。

【００３９】ここで、位置係数Ｃｐiは、ブロックｉが
画像の中央に近いほど大きい値になるように予め定めて
おく。これは、一般に、画像の中央に近いブロックほど
画像の中での重要度が高いと考えられるからである。位
置的に見て重要度の高いブロックに対し高い位置係数を
与えることにより、重要度の高いブロックの色がホワイ
トバランス制御により強く反映されることになる。図８
は、位置係数の設定例を示す図である。この例では、画
像中央部のブロック２１０−１には位置係数として１．
０、画像周縁部のブロック２１０−２には位置係数とし
て０．５が与えられている。これら位置係数は、装置内
に予め記憶されている。

【００４０】また、この修正処理では、分散係数Ｃｖ
i、飽和係数Ｃｓiも考慮している。これには次のような
意義がある。

【００４１】まず、分散係数Ｃｖiは、前述のように、
ブロックｉ内での画素値の分散が大きくなるほどその値
が小さくなるように定められている。したがって、ブロ
ックｉの分散が大きいほど分散係数Ｃｖiは小さくな
り、この結果修正信頼度Ｒｍijの値も小さくなる。この
ような修正を行うのは、ブロックｉの画素値の分散が大
きいほど、そのブロックの代表色（Ｌi，ｕi，ｖi）か
ら求めた信頼度Ｒij自体の信頼性が低いと考えられるた
めである。分散が大きいほどそのブロックの各画素値の
ばらつきが大きいので、その画素値から求めた代表色が
そのブロックの色の傾向（すなわち照明の傾向）を表し
ている可能性が低いと考えられる。したがって、そのよ
うな信頼性の低い代表色から求めた信頼度Ｒijは、信頼
性が低いと考えられるので、その信頼度Ｒijのホワイト
バランスへの影響を小さくするために、分散係数Ｃｖi
の値を小さくする。

【００４２】また、飽和係数Ｃｓiは、前述のように、
ブロックｉ内での飽和画素の数が大きくなるほどその値
が小さくなる。したがって、ブロックｉ内の飽和画素数
が多いほど飽和係数Ｃｓiは小さくなり、この結果信頼
度Ｒijは小さい値に修正されることになる。このような
修正を行うのは、ブロックｉの飽和画素数が大きいほ
ど、そのブロックの代表色（Ｌi，ｕi，ｖi）から求め
た信頼度Ｒij自体の信頼性が低いと考えられるためであ
る。飽和画素は、ＲＧＢ各成分の上限値を超える部分が
カットされている可能性があるので、対象物の正しい色
を表していないおそれがある。したがって、飽和画素が
多いほど、ブロックの代表色がそのブロックの色の傾向
（したがって照明の傾向）を表している可能性が低くな
ると考えられる。そのような信頼性の低い代表色から求
めた信頼度Ｒijは、それ自体信頼性が低いと考えられる
ので、ここでは、その信頼度Ｒijのホワイトバランスへ
の影響を小さくするために、飽和係数Ｃｓiの値を小さ
くするのである。

【００４３】Ｓ１６では、以上の信頼度修正処理が、各
ブロックｉごとに、及び各光源ｊごとに実行される。求
められた修正信頼度Ｒｍijは光源寄与計算回路１１４及
び全体信頼度計算回路１１６に入力される。

【００４４】全ブロックについて修正信頼度Ｒｍijが求
められると、次に、画像のシーン全体についての各光源
ｊの信頼度、及び各光源ｊの画像全体への寄与成分の推
定が行われる（Ｓ１８）。

【００４５】光源ｊの画像全体への信頼度（全体信頼度
と呼ぶ）Ｒｔjは、全体信頼度計算回路１１６により計
算される。回路１１６は、各ブロックｉの修正信頼度Ｒ
ｍijを画像中の全ブロックについて総和することによ
り、全体信頼度Ｒｔijを求める。すなわち、

【数７】Ｒｔj＝ΣＲｍij（ただしΣはｉ＝１〜ｎについての総和） …（７）である。

【００４６】光源寄与成分は、光源寄与計算回路１１６
により求められる。光源ｊの光源寄与成分は、画像全体
の色合いに対して各光源ｊが与えている影響のことであ
り、言い換えれば、その光源ｊがその画像のシーンを照
明することで、その画像に現れると推定される色の傾向
である。光源寄与成分は、輝度及び色差の組で表され
る。ここでは、画像全体に対する光源ｊの寄与成分を
（Ｌｃj，ｕｃj，ｖｃj）と表す。

【００４７】光源寄与計算回路１１６は、各ブロックご
と各光源ごとの修正信頼度Ｒｍij、各ブロックの代表色
（Ｌi，ｕi，ｖi）、及び各光源の全体信頼度Ｒｔjに基
づき、次式に従って光源寄与成分を推定する。

【００４８】

【数８】Ｌｃj＝（ΣＲｍij・Ｌｉ）／Ｒｔj ｕｃj＝（ΣＲｍij・ｕｉ）／Ｒｔj ｖｃj＝（ΣＲｍij・ｖｉ）／Ｒｔj …（８）式（８）において、Σはｉ＝１〜ｎ（ｎは総ブロック
数）についての総和を示す。この計算は、各ブロックｉ
の輝度及び色差を、それぞれ各ブロックｉの修正信頼度
Ｒｍijによって、全ブロックにわたって加重平均する処
理と等価である。

【００４９】このようにして当該画像のシーン全体に対
する各光源ｊの寄与成分が推定されると、次にこの推定
値に対して光源寄与修正回路１１８が修正を加える（Ｓ
２０）。この修正は大きく分けて２段階からなる。

【００５０】第一段階では、各光源ｊの寄与成分を、各
光源ｊごとに予め定められた標準色と加重平均する。光
源ｊの標準色は、光源ｊの照明下でのシーンの標準的な
色（すなわち輝度及び色差の組）であり、これは予めそ
の光源ｊで各種のシーンを撮影し、それら撮影画像の輝
度、色差を集計することで求めておく。各光源ｊの標準
色（Ｌｓj，ｕｓj，ｖｓj）は、装置内に予め記憶して
おく。この第一段階の修正処理は、次式で表される。

【００５１】

【数９】Ｌｍj＝ｗｓj・Ｌｃj＋（１−ｗｓj）・Ｌｓj ｕｍj＝ｗｓj・ｕｃj＋（１−ｗｓj）・ｕｓj ｖｍj＝ｗｓj・ｖｃj＋（１−ｗｓj）・ｖｓj …（９）ここで（Ｌｍj，ｕｍj，ｖｍj）は寄与成分の修正結果
であり、ｗｓj（ただし０≦ｗs≦１）は予め定めた重み
である。この重みｗｓjは、各光源ｊごとに予め実験等
により求めておき、装置内に記憶しておく。

【００５２】第一段階の修正は、光源寄与成分（Ｌｃ
j，ｕｃj，ｖｃj）に含まれる物体色の影響を低減する
ための修正である。画像に現れる色は、光源からの照明
光の色（照明色）と物体それ自体の色（物体色）の両方
から影響を受ける。ホワイトバランスは照明光の色温度
に合わせて白い物が白く見えるように色補正することで
ある。したがって照明光の色が精度よく推定できれば、
精度のよいホワイトバランス調整が行える。しかしなが
ら、実際の画像は、白色以外の物体が数多く含まれたシ
ーンを撮影したものがほとんどであり、画像の色には物
体色の影響が多分に含まれている。光源寄与成分と当該
光源ｊの標準色とを加重平均することで、光源寄与成分
に含まれる物体色の影響を相対的に低減することがで
き、光源寄与成分をより照明の色に近い値に修正でき
る。

【００５３】第二段階では、この第一段階の修正結果
（Ｌｍj，ｕｍj，ｖｍj）に対し、被写体輝度を考慮し
た修正を加える。被写体輝度Ｌｏは、カメラ装置に設け
られた被写体輝度検出装置３０にて検出される。この第
二段階の修正では、修正回路１１８は、まず各光源ｊご
との修正係数Ｃｏjを求める。修正係数Ｃｏjは、光源ｊ
ごとに用意された関数ｈjに、被写体輝度Ｌｏを適用す
ることにより求める。すなわち、

【数１０】Ｃｏj＝ｈj（Ｌｏ） …（１０）である。

【００５４】図９に被写体輝度に基づく修正関数ｈjの
一例を示す。この例では、被写体輝度Ｌｏが大きくなる
につれて修正係数Ｃｏが小さくなっており、被写体輝度
がある値を超えると修正係数が０になっている。これは
光源が蛍光灯である場合の関数ｈjの一例である。撮影
シーンが蛍光灯照明下である場合、シーンが昼間の屋外
である場合に比べて被写体が暗い。被写体輝度が非常に
大きい場合、画像は屋外のシーンを撮影したものである
可能性が高く、蛍光灯照明である可能性は低い。そこ
で、蛍光灯光源の場合、被写体輝度が高くなるにつれて
修正係数Ｃｏが小さい値になるようにしている。タング
ステン光や日陰光のシーンの場合も、昼光シーンに比べ
て被写体輝度が低いと考えられるので、被写体輝度があ
る程度以上高くなると修正係数Ｃｏが小さくなるような
関数ｈjを用いる。これら修正関数ｈjは、実験等により
予め求めておき、装置内に記憶しておく。

【００５５】そして、光源寄与修正回路１１８は、この
ようにして求めた修正係数Ｃｏを第一段階の修正結果
（Ｌｍj，ｕｍj，ｖｍj）に乗じることにより、最終的
な修正結果（Ｌｚj，ｕｚj，ｖｚj）を求める。すなわ
ち、

【数１１】Ｌｚj＝Ｃｏj・Ｌｍj ｕｚj＝Ｃｏj・ｕｍj ｖｚj＝Ｃｏj・ｖｍj …（１１）である。この修正結果（Ｌｚj，ｕｚj，ｖｚj）は、被
写体輝度などのパラメータを考慮して修正された光源寄
与成分となっている。この修正結果は、照明色推定回路
１２０に入力される。

【００５６】照明色推定回路１２０は、光源寄与修正回
路１１８から入力された各光源ｊの光源寄与成分の修正
結果（Ｌｚj，ｕｚj，ｖｚj）と、全体信頼度計算回路
１１６で求められたシーン全体に対する各光源ｊの全体
信頼度Ｒｔjとに基づき、当該画像の撮影シーンを照明
する照明の色（照明色）を推定する（Ｓ２２）。この推
定は、光源寄与成分の修正結果（Ｌｚj，ｕｚj，ｖｚ
j）を、各光源ｊの全体信頼度Ｒｔjを重みとして、想定
する全光源について加重平均することにより行う。すな
わち、照明色を（ＩＬ，Ｉｕ，Ｉｖ）とすると、

【数１２】Ｗj＝Ｒｔj／（ΣＲｔj）ＩＬ＝Σ（Ｗj*Ｌｚj）Ｉｕ＝Σ（Ｗj*ｕｚj）Ｉｖ＝Σ（Ｗj*ｖｚj） …（１２）式（１２）において、Σは全想定光源ｊについての総和
である。

【００５７】すなわち、このＳ２２では、シーンがそれ
ら想定光源ｊで複合的に照明されているとの仮定の下
で、加重平均によりその複合照明の照明色を推定してい
る。この照明色は、その複合照明下での白色物体の色に
対応する。求められた照明色（ＩＬ，Ｉｕ，Ｉｖ）は、
ホワイトバランスゲイン計算回路１２２に入力される。

【００５８】ホワイトバランスゲイン計算回路１２２
は、受け取った照明色（ＩＬ，Ｉｕ，Ｉｖ）の情報に基
づき、ホワイトバランス調整のためのゲイン（Ｒgain，
Ｇgain，Ｂgain）を計算する（Ｓ２４）。この計算は、
以下の式に基づき行われる。

【００５９】

【数１３】

【数１４】ＩMax＝ｍａｘ（ＩＲ，ＩＧ，ＩＢ） …（１４）

【数１５】Ｒgain＝ＩMax／ＩＲＧgain＝ＩMax／ＩＧＢgain＝ＩMax／ＩＢ …（１５）（ＩＲ，ＩＧ，ＩＢ）は、照明色のＲＧＢ表現である。
求められるホワイトバランスゲイン（Ｒgain，Ｇgain，
Ｂgain）は、この色の照明が白色物体で反射されたとき
の色（すなわち（ＩＲ，ＩＧ，ＩＢ）そのもの）をグレ
イ（すなわちＲ＝Ｇ＝Ｂ）に補正する値となる。求めら
れたホワイトバランスゲインは、ホワイトバランス調整
回路１２４に入力される。

【００６０】ホワイトバランス調整回路１２４は、撮像
装置２０から入力された画像の各画素値Ｒ，Ｇ，Ｂに対
し、ホワイトバランスゲイン計算回路１２２で求めたゲ
インＲgain，Ｇgain，Ｂgainをそれぞれ乗じることによ
り、その画像のホワイトバランスを調整する（Ｓ２
６）。したがって、オートホワイトバランス装置１０の
出力端子１２６からは、次式、

【数１６】Ｒout＝Ｒgain*ＲＧout＝Ｇgain*ＧＢout＝Ｂgain*Ｂ …（１６）によって求められた出力（Ｒout，Ｇout，Ｂout）が出
力される。

【００６１】以上、本発明の好適な実施の形態を説明し
た。以上説明したように、本実施形態では、各ブロック
の代表色と各光源の典型色差との距離に基づいて、各ブ
ロックが各光源で照明されている信頼度を推定し、その
信頼度に基づきホワイトバランス調整を行う。信頼度
は、距離に対する連続的な関数から求められるので、各
ブロックが各光源に対応する範囲に含まれるか否かとい
う二値的な弁別結果に基づきホワイトバランス調整を行
っていた従来技術に比べ、ホワイトバランス制御の挙動
が安定するという効果が得られる。

【００６２】また、本実施形態では、色差に基づく信頼
度を、ブロックの代表色の輝度に応じて修正すること
で、想定する各光源がシーンの輝度に与える影響に関す
る知識を折り込んだホワイトバランス制御が可能にな
る。この輝度に応じた修正は、輝度に関する連続的な関
数に従って行うので、ホワイトバランス制御が滑らかに
行われると言う利点もある。

【００６３】また、本実施形態では、ブロック内の画素
値の分散が大きくなるほど信頼度が小さくなるように補
正する機構を設けたので、画素値のばらつきが大きい
（すなわち照明光の色を表している可能性の低い）ブロ
ックがホワイトバランス制御に与える影響を低減するこ
とができる。

【００６４】また、本実施形態では、ブロック内の飽和
画素数が大きくなるほど信頼度が小さくなるように補正
する機構を設けたので、飽和画素数が大きい（すなわち
画素値が正しい色を表していない可能性がある）ブロッ
クがホワイトバランス制御に与える影響を低減すること
ができる。

【００６５】また、本実施形態では、光源と被写体輝度
との関係に関する知識を用い、被写体輝度に応じてホワ
イトバランスを調整する機構を設けたので、より適切な
ホワイトバランス制御を行うことができる。

【００６６】なお、以上の実施形態では、ブロックの代
表色の色差から求めた信頼度を、代表色の輝度や、ブロ
ック内の画素値の分散、ブロック内の飽和画素数、ブロ
ックの画像内での位置、などに応じて修正したが、この
ような修正をまったく施さない信頼度を用いてホワイト
バランス制御を行っても、従来技術に対してある程度の
改善効果が得られる。この色差に基づく信頼度に対し
て、上記各項目についての修正を行うことにより、改善
度合いが向上する。そして、より多くの項目に関して修
正を行うほど、ホワイトバランス制御の精度が高くな
る。

【図面の簡単な説明】

【図１】実施形態のオートホワイトバランス装置の構
成を示す図である。

【図２】実施形態のオートホワイトバランス装置の処
理手順を示す図である。

【図３】ブロック分割の一例を示す図である。

【図４】分散係数を求めるための関数の一例を示す図
である。

【図５】飽和係数を求めるための関数の一例を示す図
である。

【図６】ブロック信頼度を求めるための関数の一例を
示す図である。

【図７】輝度係数を求めるための関数の一例を示す図
である。

【図８】位置係数の設定例を示す図である。

【図９】被写体輝度に基づく修正係数を求めるための
関数の一例を示す図である。

【符号の説明】

１０オートホワイトバランス装置、２０撮像装置、
３０被写体輝度検出装置、１０２ブロック分割回
路、１０４代表色計算回路、１０６分散係数計算回
路、１０８飽和係数計算回路、１１０ブロック信頼
度計算回路、１１２信頼度修正回路、１１４光源寄
与計算回路、１１６全体信頼度計算回路、１１８光
源寄与修正回路、１２０照明色推定回路、１２２ホ
ワイトバランスゲイン計算回路、１２４ホワイトバラ
ンス調整回路。

Claims

【特許請求の範囲】

【請求項１】ホワイトバランス処理対象の画像を複数
のブロックに分割するブロック分割手段と、分割された各ブロックごとに、当該ブロック内の画素値
に基づき当該ブロックの代表色を求める代表色算出手段
と、前記各ブロックごとかつ想定する各光源ごとに、当該光
源下での白色物体の色の色差成分と当該ブロックの代表
色の色差成分との距離を求め、これら各距離に基づき前
記各光源が前記各ブロックのシーンを照明している信頼
度を推定するブロック信頼度推定手段と、前記各光源ごとについて、各ブロックの代表色を当該ブ
ロックについての当該光源の信頼度に従って加重平均す
ることにより、当該光源の画像全体に対する寄与成分を
推定する光源寄与成分推定手段と、前記各光源ごとに、当該光源の各ブロックについての信
頼度を前記画像中の全ブロックにわたって総和すること
により、前記画像全体についての当該光源の信頼度を推
定する全体信頼度推定手段と、前記光源寄与成分推定手段で推定された前記各光源の画
像全体に対する寄与成分を、前記全体信頼度推定手段で
推定された前記各光源の画像全体についての信頼度に従
って加重平均することにより、前記画像全体のシーンを
照明する照明色を推定する照明色推定手段と、推定した前記照明色を打ち消すよう、前記画像の各画素
に対してホワイトバランス処理を行うホワイトバランス
手段と、を有するオートホワイトバランス装置。
【請求項２】請求項１記載の装置であって、前記ブロック信頼度推定手段は、前記距離が大きくなる
につれて単調に減少する連続関数を用いて前記信頼度を
推定することを特徴とする装置。
【請求項３】請求項２記載の装置であって、前記信頼度を求めるために用いる前記連続関数は、前記
各光源ごとに個別に用意されることを特徴とする装置。
【請求項４】請求項１記載の装置であって、さらに、前記各ブロックごとに、そのブロックの前記画像内での
位置に応じて定められる係数により、前記ブロック信頼
度推定手段で推定された前記信頼度を修正する手段を有
することを特徴とする装置。
【請求項５】請求項１記載の装置であって、前記各光源ごとについて、前記ブロック信頼度推定手段
で推定された各ブロックについての前記信頼度を、前記
ブロックの代表色の輝度成分に応じて修正する手段を有
することを特徴とする装置。
【請求項６】請求項５記載の装置であって、前記各ブロックについての前記信頼度を修正する手段
は、前記各光源ごとに個別に用意した連続関数を用いて
修正を行うことを特徴とする装置。
【請求項７】請求項１記載の装置であって、さらに、前記ブロックからサンプリングした画素の画素値の分散
を求める手段と、前記ブロック信頼度推定手段で推定された信頼度を、前
記画素値の分散が大きいほど値が小さくなる所定の関数
に従って修正する手段と、を有する装置。
【請求項８】請求項１記載の装置であって、さらに、前記ブロックに含まれる飽和画素の数をカウントする手
段と、前記ブロック信頼度推定手段で推定された信頼度を、前
記飽和画素の数が大きいほど値が小さくなる所定の関数
に従って修正する手段と、を有する装置。
【請求項９】請求項１記載の装置であって、被写体の輝度を検出する被写体輝度検出手段と、検出した被写体の輝度に応じて、前記光源寄与成分推定
手段で推定された前記各光源ごとの寄与成分を修正する
修正手段と、を更に含み、前記照明色推定手段は、前記修正手段による前記寄与成
分の修正結果に基づき、前記照明色を推定することを特
徴とする装置。
【請求項１０】請求項１記載の装置であって、前記各光源ごとに、前記光源寄与成分推定手段で推定さ
れた前記各光源ごとの寄与成分を、当該光源について予
め用意されている標準色により修正する第二の修正手段
を更に含み、前記照明色推定手段は、前記第二の修正手段による前記
寄与成分の修正結果に基づき前記照明色を推定すること
を特徴とする装置。
【請求項１１】請求項１記載の装置であって、前記想定する各光源には、昼間の日光と昼間の日陰とが
含まれることを特徴とする装置。
【請求項１２】ホワイトバランス処理対象の画像の各
画素値から当該画像の代表色を求める代表色算出手段
と、想定する各光源ごとについて、その光源下での白色物体
の色の色差成分と前記画像の代表色の色差成分との距離
を求め、これら各距離に基づき前記各光源がその画像の
シーンを照明している信頼度を推定する信頼度推定手段
と、前記画像の代表色と前記各光源ごとの信頼度とに基づ
き、前記画像のシーンを照明する照明の色を推定する照
明色推定手段と、前記照明色を打ち消すよう、前記画像の各画素に対して
ホワイトバランス処理を行うホワイトバランス手段と、を有するオートホワイトバランス装置。
【請求項１３】請求項１２記載の装置であって、前記各光源ごとについて、前記信頼度推定手段で推定さ
れた信頼度を前記画像の代表色の輝度成分に応じて修正
する手段を更に有し、前記照明色推定手段は修正された
信頼度を用いて照明色を推定することを特徴とする装
置。
【請求項１４】請求項１３記載の装置であって、前記信頼度を修正する手段は、前記各光源ごとに個別に
用意した連続関数を用いて修正を行うことを特徴とする
装置。
【請求項１５】撮影された画像に対してオートホワイ
トバランス調整を行う方法であって、（ａ）ホワイトバランス処理対象の画像を複数のブロッ
クに分割し、（ｂ）分割された各ブロックごとに、当該ブロック内の
画素値に基づき当該ブロックの代表色を算出し、（ｃ）前記各ブロックごとかつ想定する各光源ごとに、
当該光源下での白色物体の色の色差成分と当該ブロック
の代表色の色差成分との距離を求め、これら各距離に基
づき前記各光源が前記各ブロックのシーンを照明してい
る信頼度を推定し、（ｄ）前記各光源ごとについて、各ブロックの代表色を
当該ブロックについての当該光源の信頼度に従って加重
平均することにより、当該光源の画像全体に対する寄与
成分を推定し、（ｅ）前記各光源ごとに、当該光源の各ブロックについ
ての信頼度を前記画像中の全ブロックにわたって総和す
ることにより、前記画像全体についての当該光源の信頼
度を推定し、（ｆ）推定された前記各光源の画像全体に対する寄与成
分を、推定された前記各光源の画像全体についての信頼
度に従って加重平均することにより、前記画像全体のシ
ーンを照明する照明色を推定し、（ｇ）推定した前記照明色を打ち消すよう、前記画像の
各画素に対してホワイトバランス処理を行う、ことを特徴とする方法。
【請求項１６】請求項１５記載の方法であって、（ｃ１）前記各光源ごとについて、前記ステップ（ｃ）
で推定された前記各ブロックについての前記信頼度を、
当該ブロックの代表色の輝度成分に応じて修正し、ステップ（ｄ）以降の各ステップでは、前記ステップ
（ｃ１）で修正された前記信頼度に基づき処理を行うこ
とを特徴とする方法。
【請求項１７】請求項１６記載の方法であって、前記ステップ（ｃ１）では、前記各光源ごとに個別に用
意した連続関数を用いて修正を行うことを特徴とする方
法。
【請求項１８】請求項１６記載の方法であって、前記想定する各光源には、昼間の日光と昼間の日陰とが
含まれることを特徴とする方法。