JP2010063065A - 画像入力装置 - Google Patents

Abstract

【課題】照明光の光量が低い環境下においても、高精度なホワイトバランス補正を行う。
【解決手段】露光制御部６は、撮像素子３により撮像された輝度画像成分ＤＷを用いて被写体の明るさを示す明るさ値を算出する。ＷＢ補正値算出部５３は、明るさ値が所定の基準値を下回った場合、所定の人工光源の光を白く再現するために予め定められた係数ξ，η，ζをＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇとして設定する。ＷＢ補正部４６は、ＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇを、色信号ｄＲ，ｄＧ，ｄＢに乗じ、色信号ｄＲ´，ｄＧ´，ｄＢ´を算出し、色信号ｄＲ，ｄＧ，ｄＢをＷＢ補正する。
【選択図】図４

Description

本発明は、撮像素子により撮像された画像を画像処理する画像入力装置に関するものである。

近年、カラー画像データを撮像することができる撮像センサが搭載された自動車が知られている。また、本発明に関連する先行技術として、特許文献１には、Ｒ，Ｇ，Ｂのフィルタを備える画素により撮像された画像からＲ，Ｇ，Ｂの色成分からなる可視画像データを抽出する可視画像抽出手段１２０と、Ｉｒのフィルタを備える画素により撮像された画像から赤外画像データを抽出する赤外画像抽出手段１３０と、可視画像データをＨＳＶ変換して第１の輝度情報を抽出し、かつ赤外画像データから第２の輝度情報を抽出する輝度情報抽出手段１４０と、第１の輝度情報を重み係数ｗ１で重み付け、第２の輝度情報を重み係数ｗ２（ｗ１＋ｗ２＝１）で重み付け、疑似カラー画像を生成する疑似カラー画像生成手段１７０とを備え、晴天の日ではｗ１＝１とし、夜間の暗がりではｗ１＝０とし、その中間的な状況下では１＞ｗ１＞０とするカラー画像再生装置が開示されている。
特開２００７−１８４８０５号公報

ところで、昼間においては、可視光の光量が十分あるため、ホワイトバランス補正を行うための色情報が十分存在する。一方、夜間においては、人口光がほとんどであり、看板などの彩度の高い照明も多いため、撮像センサは、ホワイトバランス補正を行うために適した白色光を受光することが困難となり、夜間において精度の良いホワイトバランス補正を行うことが困難となる。

特に、撮像センサを自動車に搭載した場合、夜間において外部に人口光が無い状況も多く発生し、この場合、自動車のヘッドライトの光のみが照明光となり、撮像センサは、被写体から充分な光量の光を受光することができず、精度の良いホワイトバランス補正を行うことが困難となる。

更に、特許文献１には、夜間において、高精度なホワイトバランス補正を行うことに関しての記載が全くない。

本発明の目的は、照明光の光量が低い環境下においても、高精度なホワイトバランス補正を行うことができる画像入力装置を提供することである。

（１）本発明の一局面の画像入力装置は、撮像素子と、前記撮像素子により撮像された画像データから色信号を生成する色信号生成部と、被写体の明るさを検出する明るさ検出部と、前記検出部により検出された被写体の明るさが所定の基準値を下回った場合、所定の人工光源の光を白く再現するために予め定められた係数を用いて前記色信号をホワイトバランス補正するホワイトバランス補正部とを備えることを特徴とする。

この構成によれば、被写体の明るさが所定の基準値を下回った場合、所定の人工光源の光を白く再現するために予め定められた係数を用いて色信号がホワイトバランス補正される。そのため、ホワイトバランス補正を行ううえで充分な光量の白色光を得ることができない環境下であっても、高精度なホワイトバランス補正を行うことができる。

（２）前記人工光源は、自動車のヘッドライトであることが好ましい。

この構成によれば、画像入力装置を自動車に搭載した場合に、夜間において高精度なホワイトバランス補正を行うことができる。

（３）前記明るさ検出部は、被写体の明るさを検出し、検出した明るさに応じた前記撮像素子の露光時間を設定する露光制御部により構成されていることが好ましい。

この構成によれば、被写体の明るさを検出するためのセンサを別途設けなくても、明るさを検出することができる。

（４）前記撮像素子は、赤外フィルタを備える画素と、フィルタを備えない画素と、カラーフィルタを備える画素とにより構成されていることが好ましい。

この構成によれば、赤外画像成分を撮像することができると共にカラー画像成分を撮像することができる。

（５）前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、前記第４の画素は、フィルタを備えないことが好ましい。

この構成によれば、全画素が赤外波長領域に感度を有しているため、Ｓ／Ｎ比の高い赤外画像成分を得ることができる。

（６）前記ホワイトバランス補正部は、前記明るさ検出部により検出された明るさが前記基準値を上回る場合、前記撮像素子により撮像された画像データを基に、ホワイトバランス補正値を算出し、前記ホワイトバランス補正値を基に、前記画像データをホワイトバランス補正することが好ましい。

この構成によれば、昼間においても高精度なホワイトバランス補正を行うことができる。

本発明によれば、照明光の光量が低い環境下においても、高精度なホワイトバランス補正を行うことができる。

以下、本発明の実施の形態による画像入力装置１について説明する。図１は、本発明の実施の形態による画像入力装置１のブロック図を示している。図１に示すように画像入力装置１は、レンズ２、撮像素子３、画像処理部４、制御部５、及び露光制御部６を備えている。ここで、画像入力装置１は、例えば自動車に搭載され、自動車の周囲の被写体を撮像する。

レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。

撮像素子３は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子３を駆動する駆動回路とを含み、光量に応じたレベルを有する画像データを生成する。ここで、撮像素子３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。

そして、本実施の形態において、撮像素子３は、カラーフィルタを備える画素により可視カラー画像成分を撮像し、赤外フィルタを備える画素により赤外画像成分ＤＢｌｋを撮像し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分ＤＢｌｋとを含む輝度画像成分ＤＷを撮像する。

画像処理部４は、画像信号に演算を行う演算回路及び画像信号を格納するメモリ等を含み、撮像素子３から出力された画像データをＡ／Ｄ変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。

制御部５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、撮像素子３及び画像処理部４を制御する制御信号を出力する。

図２は、撮像素子３の画素の配列を示す図である。図２に示すように撮像素子３は、可視波長領域と赤外波長領域とを有感度波長帯域とするｙｅ画素（第１の画素の一例）、Ｒ画素（第２の画素の一例）、Ｂｌｋ画素（第３の画素の一例）、及びＷ画素（第４の画素の一例）とを含む単位画素部３１がマトリックス状に配列されている。

図２の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第２１列にＢｌｋ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にｙｅ画素が配列されるというように、Ｒ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素は千鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素を千鳥状に配列してもよい。

ｙｅ画素はｙｅフィルタ（第１のカラーフィルタの一例）を備えているため、ｙｅの可視カラー画像成分（以下、「ｙｅ画像成分」と呼ぶ。）を撮像し、Ｒ画素はＲフィルタ（第２のカラーフィルタの一例）を備えているため、Ｒの可視カラー画像成分（以下、「Ｒ画像成分」と呼ぶ）を撮像し、Ｂｌｋ画素はＢｌｋフィルタ（赤外フィルタの一例）を備えているため、赤外画像成分ＤＢｌｋを撮像し、Ｗ画素はフィルタを備えていないため、可視輝度画像成分と赤外画像成分ＤＢｌｋとを含む輝度画像成分ＤＷを撮像する。

図３は、ｙｅ，Ｒ，Ｂｌｋフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図３では、４００ｎｍ〜６４０ｎｍが可視波長領域とされ、６４０ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。

図３に示すように、ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、ｙｅフィルタは主にイエローの光と赤外光とを透過する。

Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。

Ｂｌｋフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。

図１に戻り、露光制御部６は、被写体の明るさに応じて撮像素子３の露光時間を制御する。ここで、露光制御部６は、撮像素子３により撮像された輝度画像成分ＤＷを用いて被写体の明るさを検出し、被写体が明るいほど露光時間が短く、被写体が暗いほど露光時間が長くなるように、露光時間を設定する。具体的には、露光制御部６は、撮像素子３で撮像された１フレームの画像データ内の所定行×所定列の画素からなる局所領域において、Ｗ画素の画素値、すなわち輝度画像成分ＤＷの画素値の合計を被写体の明るさを示す明るさ値として算出する。露光制御部６は、明るさ値と撮像素子３の露光時間との関係を定めるルックアップテーブル又は関数を予め記憶している。そして、露光制御部６は、このルックアップテーブル又は関数を用いて明るさ値に対応する露光時間を決定する。

図４は、画像処理部４と制御部５と露光制御部６とのブロック図を示している。画像処理部４は、評価部４１、露出補正部４２、色補間部４３、色信号生成部４４、評価値算出部４５、ＷＢ（ホワイトバランス）補正部４６、色信号合成部４７、及び色空間変換部４８を備えている。制御部５は、係数決定部５１、露出補正値算出部５２、及びＷＢ補正値算出部５３を備えている。

評価部４１は、輝度画像成分ＤＷにおける赤外画像成分ＤＢｌｋの大きさを評価する。具体的には、評価部４１は、撮像素子３で撮像された１フレームの画像データ内の所定行×所定列の画素からなる局所領域において、Ｗ画素の画素値、すなわち輝度画像成分ＤＷの画素値を加算して評価値ｅＤＷを算出し、かつＢｌｋ画素の画素値、すなわち赤外画像成分ＤＢｌｋの画素値を加算して評価値ｅＤＢｌｋを算出し、評価値ｅＤＷから評価値ｅＤＢｌｋを減じた値を評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）として算出する。そして、評価部４１は算出した評価値ｅによって輝度画像成分ＤＷにおける赤外画像成分ＤＢｌｋの大きさを評価する。なお、評価値ｅが大きくなるにつれて可視光に対する赤外光の強度が小さくなる。

また、評価部４１は、評価値ｅとしてｅＤＷ−ｅＤＢｌｋを採用したが、輝度画像成分ＤＷにおける赤外画像成分ＤＢｌｋの大きさを示す値であれば、どのような値を採用してもよく、例えば、ｅＤＢｌｋ／ｅＤＷを評価値ｅとして採用してもよい。

係数決定部５１は、評価値ｅが大きくなるにつれて増大する予め定められた特性を有する重み係数ｋと、評価値ｅが大きくなるにつれて減少する予め定められた特性を有する重み係数ｋｗとを、評価部４１により算出された評価値ｅを用いて決定する。

図５は、重み係数ｋ，ｋｗの特性を示すグラフであり、縦軸が重み係数ｋ，ｋｗを示し横軸が評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）を示している。図５に示すように重み係数ｋは評価値ｅが増大するにつれて例えば線形に増大する特性を有し、重み係数ｋｗは評価値ｅが増大するにつれて例えば線形に減少する特性を有していることが分かる。

なお、図５において、重み係数ｋ，ｋｗの特性を示す直線の傾きは実験的に得られた値が採用されている。具体的には、重み係数ｋ，ｋｗはｋ＋ｋｗ＝１の関係を有しており、重み係数ｋ，ｋｗの特性を示す直線の傾きは、評価値ｅが予め定められた評価値ｅの最大値を示すときにｋ＝１、ｋｗ＝０となり、評価値ｅが予め定められた評価値ｅの最小値を示すときにｋ＝０、ｋｗ＝１となるような値を有している。

露出補正値算出部５２は、係数決定部５１により決定された重み係数ｋ，ｋｗを次式に代入することで輝度評価値ｅｄＹを算出し、輝度評価値ｅｄＹを所定の値で除すことで露出補正値Ｈ１を算出し、露出補正部４２に出力する。ここで、所定の値としては、上述の局所領域におけるＤＢｌｋ画素とＤＷ画素との総画素数を採用することができる。

ｅｄＹ＝ｋｗ×ｅＤＷ＋ｋ×（ｅＤＷ−ｅＤＢｌｋ）
露出補正部４２は、露出補正値Ｈ１を、撮像素子３により撮像されたｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷのそれぞれの各画素に乗ずることで、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを露出補正する。

色補間部４３は、千鳥状に配列されたＲ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素の欠落画素を補間するために、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、輝度画像成分ＤＷ、及びｙｅ画像成分Ｄｙｅのそれぞれに補間処理を施し、撮像素子３の画素数と同一画素数からなるＲ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、輝度画像成分ＤＷ、及びｙｅ画像成分Ｄｙｅを生成する。ここで、補間処理としては、例えば線形補間処理を採用することができる。

色信号生成部４４は、色補間部４３により補間処理が施されたｙｅ画像成分Ｄｙｅと、Ｒ画像成分ＤＲと、赤外画像成分ＤＢｌｋと、輝度画像成分ＤＷとを式（１）により合成して、各画素のＲ（赤），Ｇ（緑），Ｂ（青）の色信号ｄＲ，ｄＧ，ｄＢを生成する。

ｄＲ＝ＤＲ−ＤＢｌｋ
ｄＧ＝Ｄｙｅ−ＤＲ （１）
ｄＢ＝ＤＷ−Ｄｙｅ
評価値算出部４５は、上述した局所領域において、各画素の色信号ｄＲ，ｄＧ，ｄＢの値を加算し、色信号ｄＲの加算値Ｒａｖｅと、色信号ｄＧの加算値Ｇａｖｅと、色信号ｄＢの加算値Ｂａｖｅとを算出し、制御部５に出力する。

ＷＢ補正値算出部５３は、露光制御部６により算出された明るさ値が所定の基準値を下回った場合、所定の人工光源の光を白く再現するために予め定められた係数ξ，η，ζをＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇとして設定する。

ここで、人工光源としては、自動車のヘッドライトを想定している。また、係数ξ，η，ζは、ヘッドライトが基準となる白色が塗布された白色板を照射したときの反射光が基準となる白色となるように色信号ｄＲ，ｄＧ，ｄＢのレベルを調整することができる予め定められた値が採用され、実験によって予め算出された値が採用される。

なお、人工光源としては、自動車のヘッドライトに限定されず、夜間に照明光として用いられる種々の人工光源（例えば、蛍光灯）を採用することができ、この場合、係数ξ，η，ζの値を人工光源に適した値にすればよい。

また、明るさ値の基準値としては、明るさ値が夜間であることを示す予め定められた値を採用することができる。

一方、ＷＢ補正値算出部５３は、露光制御部６により算出された明るさ値が所定の基準値以上の場合、加算値Ｒａｖｅと、加算値Ｇａｖｅと、加算値Ｂａｖｅとから式（２）により得られる値をＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇとして設定する。

Ｒｇ＝Ｇａｖｅ÷Ｒａｖｅ
Ｇｇ＝Ｇａｖｅ÷Ｇａｖｅ （２）
Ｂｇ＝Ｇａｖｅ÷Ｂａｖｅ
すなわち、ＷＢ補正値算出部５３は、夜間の場合はＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇを係数ξ，η，ζによる固定値とし、昼間の場合はＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇを画像データに応じて変動させる。

なお、式（２）では、色信号ｄＧを基準としてＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇが算出されているが、これに限定されず、色信号ｄＲ又は色信号ｄＢを基準としてＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇを算出してもよい。

ＷＢ補正部４６は、式（３）に示すようにＷＢ補正値算出部５３により設定されたＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇを、色信号生成部４４により生成された各画素の色信号ｄＲ，ｄＧ，ｄＢに乗じ、色信号ｄＲ´，ｄＧ´，ｄＢ´を算出し、色信号ｄＲ，ｄＧ，ｄＢをＷＢ補正する。

ｄＲ´＝Ｒｇ×ｄＲ
ｄＧ´＝Ｇｇ×ｄＧ （３）
ｄＢ´＝Ｂｇ×ｄＢ
色信号合成部４７は、式（４）に示すように、係数決定部５１により決定された重み係数ｋにより色信号ｄＲ´，ｄＧ´，ｄＢ´を重み付け、色補間部４３により補間された赤外画像成分ＤＢｌｋを、係数決定部５１により決定された重み係数ｋｗを用いて重み付け、重み付けした色信号ｄＲ´，ｄＧ´，ｄＢ´のそれぞれと、重み付けした赤外画像成分ＤＢｌｋとを合成して、各画素の合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖを生成する。

Ｒｗａｖ＝ｋ・ｄＲ´＋ｋｗ・ＤＢｌｋ
Ｇｗａｖ＝ｋ・ｄＧ´＋ｋｗ・ＤＢｌｋ （４）
Ｂｗａｖ＝ｋ・ｄＢ´＋ｋｗ・ＤＢｌｋ
ここで、重み係数ｋは評価値ｅが大きいほど大きな値とされ、重み係数ｋｗは評価値ｅが大きいほど小さな値とされる。

そのため、晴天等の明るいシーンでは、合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖにおいて、可視輝度画像成分を表す色信号ｄＲ´，ｄＧ´，ｄＢ´の占める割合が大きくなり、人が目視しているシーンと同等の画像を得ることができる。

一方、暗がり等の暗いシーンでは、合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖにおいて、赤外画像成分ＤＢｌｋの占める割合が大きくなり、赤外波長領域の輝度信号を多く用いてＳ／Ｎ比のよい色信号を得ることができる。

色空間変換部４８は、式（５）に示すように、合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖを用いて、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒを生成する。

ここで、色差信号Ｃｂは青の色差信号を示し、色差信号Ｃｒは赤の色差信号を示す。

Ｙ＝０．３Ｒｗａｖ＋０．５９Ｇｗａｖ＋０．１１Ｂｗａｖ
Ｃｂ＝Ｂｗａｖ−Ｙ （５）
Ｃｒ＝Ｒｗａｖ−Ｙ
次に、画像入力装置１の動作について説明する。まず、制御部５は、撮像素子３に１フレームの画像データを撮像させる。ここで、撮像素子３は、ｙｅ画素によりｙｅ画像成分Ｄｙｅを撮像し、Ｒ画素によりＲ画像成分ＤＲを撮像し、Ｂｌｋ画素により赤外画像成分ＤＢｌｋを撮像し、Ｗ画素により輝度画像成分ＤＷを撮像する。なお、画像入力装置１が動画像を撮像する場合、制御部５は、１／３０ｓ、１／６０ｓ等のフレームレートで撮像素子３に画像を撮像させればよい。また、画像入力装置１が静止画像を撮像する場合、制御部５は、ユーザによりレリースボタンが押されたときに、撮像素子３に画像を撮像させればよい。

ここで、制御部５は、撮像素子３に被写体を撮像させるに先立って、露光制御部６に輝度画像成分から明るさ値を算出させ、この明るさ値から撮像素子３の露光時間を算出させる。

そして、撮像素子３は、露光制御部６により算出された露光時間で露光して１フレームの画像データを撮像する。

次に、評価部４１は、局所領域における輝度画像成分ＤＷの画素値を加算して評価値ｅＤＷを算出し、局所領域における赤外画像成分ＤＢｌｋの画素値を加算して評価値ｅＤＢｌｋを算出し、評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）を算出する。

次に、係数決定部５１は、評価値ｅから重み係数ｋ，ｋｗを決定する。次に、露出補正値算出部５２は、重み係数ｋ，ｋｗから露出補正値Ｈ１を算出する。

次に、露出補正部４２は、露出補正値Ｈ１を、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷのそれぞれの各画素に乗ずることで、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを露出補正する。

次に、色補間部４３は、露出補正されたｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを補間処理する。

次に、色信号生成部４４は、式（１）により色信号ｄＲ，ｄＧ，ｄＢを生成する。次に、評価値算出部４５は、加算値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。次に、ＷＢ補正値算出部５３は、露光制御部６により算出された明るさ値が基準値を下回る場合、係数ξ，η，ζをＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇとして算出する。一方、ＷＢ補正値算出部５３は、露光制御部６により算出された明るさ値が基準値以上の場合、式（２）を用いてＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇを算出する。

次に、ＷＢ補正部４６は、ＷＢ補正値算出部５３で算出されたＷＢ補正値Ｒｇ，Ｇｇ，Ｂｇを用いて各画素の色信号ｄＲ，ｄＧ，ｄＢをＷＢ補正し、色信号ｄＲ´，ｄＧ´，ｄＢ´を生成する。

次に、色信号合成部４７は、式（４）を用いて、合成色信号Ｒｗａｖ，Ｇｗａｖ，Ｂｗａｖを生成する。次に、色空間変換部４８は、式（５）を用いて、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒを生成する。

このように、画像入力装置１によれば、露光制御部６により算出された明るさ値が所定の基準値を下回った場合、所定の人工光源の光を白く再現するために予め定められた係数ξ，η，ζを用いて色信号ｄＲ，ｄＧ，ｄＢがＷＢ補正される。そのため、ＷＢ補正を行ううえで充分な光量の白色光を得ることができない夜間であっても、高精度なＷＢ補正を行うことができる。

本発明の実施の形態による画像入力装置１のブロック図を示している。 撮像素子の画素の配列を示す図である。 ｙｅ，Ｒ，Ｂｌｋフィルタの分光透過特性を示した図である。 画像処理部と制御部と露光制御部とのブロック図を示している。 重み係数ｋ，ｋｗの特性を示すグラフである。

符号の説明

１ 画像入力装置
３ 撮像素子
４ 画像処理部
５ 制御部
６ 露光制御部
４４ 色信号生成部
４５評価値算出部
４６ ＷＢ補正部
４７ 色空間変換部
５１ 係数決定部
５２ 露出補正値算出部
５３ ＷＢ補正値算出部

Claims (6)

1. 撮像素子と、
   前記撮像素子により撮像された画像データから色信号を生成する色信号生成部と、
   被写体の明るさを検出する明るさ検出部と、
   前記検出部により検出された被写体の明るさが所定の基準値を下回った場合、所定の人工光源の光を白く再現するために予め定められた係数を用いて前記色信号をホワイトバランス補正するホワイトバランス補正部とを備えることを特徴とする画像入力装置。
2. 前記人工光源は、自動車のヘッドライトであることを特徴とする請求項１記載の画像入力装置。
3. 前記明るさ検出部は、被写体の明るさを検出し、検出した明るさに応じた前記撮像素子の露光時間を設定する露光制御部により構成されていることを特徴とする請求項１又は２記載の画像入力装置。
4. 前記撮像素子は、赤外フィルタを備える画素と、フィルタを備えない画素と、カラーフィルタを備える画素とにより構成されていることを特徴とする請求項１〜３のいずれかに記載の画像入力装置。
5. 前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、
   前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、
   前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、
   前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、
   前記第４の画素は、フィルタを備えないことを特徴とする請求項４記載の画像入力装置。
6. 前記ホワイトバランス補正部は、前記明るさ検出部により検出された明るさが前記基準値を上回る場合、前記撮像素子により撮像された画像データを基に、ホワイトバランス補正値を算出し、前記ホワイトバランス補正値を基に、前記画像データをホワイトバランス補正することを特徴とする請求項１〜５のいずれかに記載の画像入力装置。
   

Images