JP5308375B2 - 信号処理装置、固体撮像装置、電子情報機器、信号処理方法、制御プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理装置および信号処理方法、この信号処理装置および信号処理方法が用いられ、被写体からの画像光を光電変換して撮像するＣＣＤ型固体撮像装置およびＣＭＯＳ型固体撮像装置などの固体撮像装置、特に、人間の視覚に対応するようにカラーフィルタによって光を波長に分離してカラー画像信号を得る固体撮像装置、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器、その信号処理方法の各ステップをコンピュータに実行させるための処理手順が記述された制御プログラムおよび、この制御プログラムが格納されたコンピュータ読み取り可能な記憶媒体に関する。

この種の従来の固体撮像装置では、撮像対象が暗いとき、信号出力が低下するため、相対的にノイズが目立つようになる。そこで、撮像対象が暗くても十分にＳ／Ｎを得るためには画素の高感度化やノイズの低減が必須の技術となる。

一方、カラー固体撮像装置においては高い色再現性も重要である。しかし、人間の目と固体撮像装置の画素では各波長に対する感度が異なるため、人間の目と画素の出力のずれを調整して、高い色再現性を実現している。この色調整の主な技術として、ホワイトバランスやカラーマトリックスの各処理があるが、波長に対する感度を調整する主な技術は出力信号に対してカラーマトリックス処理を掛けることである。

例えば、ＲＧＢ信号を出力する固体撮像装置ならば、カラーマトリックス処理により固体撮像装置のＲＧＢ撮像信号（センサ出力）は以下の式（１）のように３行３列行列式が掛け合わされて変換され、表示装置や複写装置などのための表示用のＲＧＢ信号になる。

カラーマトリックス処理は、通常、上記式（１）のように、Ｒ表示、Ｇ表示およびＢ表示からなる表示信号が、Ｒ撮像、Ｇ撮像およびＢ撮像からなるセンサ出力のＲＧＢ撮像信号に３行３列行列式を掛け合わせることで与えられる。

Ｍ_Ｒ→Ｒのように同じ色へ加算されるものを対角成分、Ｍ_Ｒ→Ｇのように異なる色へ加算されるものを非対角成分といい、対角成分は１以上で、通常、非対角成分のほとんどが負の値を持つ。

以下、ＲＧＢ信号を出力する固体撮像装置で説明するが、ＲＧＢ信号の補色を撮像する固体撮像装置にも適用することができる。

図９は、従来の型固体撮像装置の画像処理動作を模式的に示すフローチャートである。

図９に示すように、撮像センサからの撮像信号をＡ／Ｄ変換処理（ステップＳ１０１）した後に、黒レベル、ホワイトバランス、色補間およびノイズ除去など各種信号処理（ステップＳ１０２）を行う。さらに、カラーマトリックス処理（ステップＳ１０３）した後に、コントラスト強調およびγ補正処理などの信号処理（ステップＳ１０４）を行う。

このように、従来は、画像の出力信号全体に同一のカラーマトリックス処理を掛けているだけであった。

人間は暗くなると色を感じることが困難になり、色が抜けたように見えている。しかし、このような明るさのとき、人間には色が抜けて見えているにもかかわらず、明所視と同じカラーマトリックスで同じ色を付けることにより、色再現性が下がるだけではなく、無理に付けた色によって、ノイズを増大させていた。

色再現性を保つためには、カラーマトリックスの非対角成分を適切に調整する必要がある。このとき、カラーマトリックスは光源や対象物の明るさによって使い分けると、色再現性を高めることができることが知られている。このことが例えば特許文献１に記載されている。

図１０は、特許文献１に開示されている従来のＣＣＤ型固体撮像装置の画像処理回路における構成例を示すブロック図である。

図１０に示すように、従来のＣＣＤ型固体撮像装置１００の画像処理回路１０１において、撮像センサから読み出された１フレーム分のアナログ画素信号（ＣＣＤ入力）は、初段信号処理回路１０２に入力される。初段信号処理回路１０２にはプリアンプ、帯域制限用ビデオフィルタなどが設けられており、入力されるアナログ画素信号はサンプルホールドされて、増幅処理などの所定の信号処理が行なわれる。

初段信号処理回路１０２において信号処理が施されたアナログ画素信号は、アナログ／デジタル（Ａ／Ｄ）変換器１０３によりデジタル画素信号に変換され、色分離回路１０４に入力される。この色分離回路１０４において、補色のカラーチップフィルタの各色成分を有するデジタル画素信号に対して、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分からなるＲＧＢ信号への色分離処理が行われる。このＲＧＢ信号は、色分離回路１０４からカラーマトリックス回路１０５へ入力される。

このカラーマトリックス回路１０５において、色分離回路１０４で分離されたＲＧＢ信号には所定のマトリックス係数を掛け合わせる演算処理が行われ、適切なカラーバランスを有するＲＧＢ信号に変換される。カラーマトリックス回路１０５による演算処理が施されたＲＧＢ信号は、画像メモリ１０６に格納される。

この画像メモリ１０６に格納されたＲＧＢ信号は、適宜読み出されて、後段信号処理回路１０７に入力される。この後段信号処理回路１０７はカラーバランスアンプを有している。このカラーバランスアンプにより、システムコントローラから入力されるホワイトバランスデータに基づいて、ＲＧＢ信号の色バランスが変更される。さらに、後段信号処理回路１０７では、色バランスが変更されたＲＧＢ信号に、クランプ、γ補正、輪郭強調、キャラクタインポーズなどの画像処理が施される。後段信号処理回路１０７により画像処理が施されたＲＧＢ信号は、デジタル／アナログ（Ｄ／Ａ）変換器１０８においてアナログ信号に変換される。アナログ化されたＲＧＢ信号は、ケーブルドライバやエンコーダを有する出力制御部１０９におけるビデオ信号化処理を経てＴＶモニタに送られる。これにより、カラーＣＣＤにより撮像された被観察体の映像がＴＶモニタのディスプレイ上に再現される。

また、画像メモリ１０６に格納されたＲＧＢ信号は調光コントロール部１１０にも出力される。調光コントロール部１１０において、ＲＧＢ信号から輝度信号が生成される。さらに、この輝度信号に基づいて、照明光の光量調節に用いられる調光制御信号Ｉが演算される。この調光制御信号Ｉは、ＣＣＤイメージセンサの撮像面のうちＴＶモニタのディスプレイ上に再現される有効領域を構成する全画素の輝度信号の平均値と、有効領域のうち中央領域を構成する画素の輝度信号のうちのピーク値を算出し、それぞれに重み付けすることにより求められる。

この調光コントロール部１１０で算出された調光制御信号Ｉは調光部１１１に出力される。調光部１１１では、調光制御信号Ｉに基づいて上述の絞りを駆動して絞りを通過する光量を調整する。その結果、光源部から射出され、ライトガイドの入射端面に入射する白色光の光量が調節される。これにより、ＴＶモニタのディスプレイ上に再現される被観察体の画像が最適な輝度となる。また、調光制御信号Ｉはシステムコントローラ１１２にも出力され、後述するカラーマトリクス係数の変更処理に用いられる。

このように、調光コントロール部１１０からの調光制御信号Ｉがシステムコントローラ１１２に取得されて、カラーマトリックス係数が被観察体像の輝度に応じて選択される。これを図１１を用いて説明する。

図１１は、図１０のシステムコントローラ１１２による色変換調整の処理手順を示すフローチャートである。

図１１に示すように、まず、カラーマトリックス回路１０５でデフォルトのカラーマトリックス係数を用いて色変換が行われ、この変換後の映像信号に基づいて調光コントロール部１１０で調光制御信号Ｉが演算される。調光コントロール部１１０で演算された調光制御信号Ｉが入力され（ステップＳ１）、その後、ステップＳ２の処理に進み、調光制御信号Ｉを所定の閾値と比較する。この閾値は、調光制御信号Ｉが閾値以上であれば被観察体像は通常より明るく、ＴＶモニタのディスプレイに再現される画像が高輝度となると判断しても問題ないレベルに設定される。例えば、後述の理由により被観察体像がハレーションを起こさない限界の高輝度値を閾値と定める。

ステップＳ２の処理で調光制御信号Ｉが閾値より小さいとき、即ち、被観察体像が高輝度ではないとき、ステップＳ３の処理へと進む。ステップＳ３では、第１のカラーマトリックス係数が選択される。一方、ステップＳ２の処理で調光制御信号Ｉが閾値より大きいとき、即ち、被観察体像が高輝度のとき、ステップＳ４の処理に進む。ステップＳ４では、第２のカラーマトリックス係数が選択される。第１および第２のカラーマトリックス係数αは、次の式（２）で示される行列の少なくとも１つの要素（例えば要素ａ２１）の値が互いに異なっている。即ち、第１のカラーマトリックス係数を標準の色合い（正常の色合い）に対応したものとし、閾値において変化した被観察体像の色合いを標準の色合いに是正するように、第１のカラーマトリックス係数と少なくとも１つの要素の値が異なった第２のカラーマトリックス係数が定められる。具体的な第２のカラーマトリックス係数の定め方は後述する。

ステップＳ３またはＳ４でカラーマトリックス係数が選択されたらステップＳ５に進み、選択されたカラーマトリックス係数αを用いた上述の式（３）による演算処理実行を指示する制御命令がカラーマトリックス回路１０５に出力される。

カラーマトリックス回路１０５において、ＲＧＢ信号の変換処理は式（３）に基づいて行われる。この式（３）において、Ｒ’は色分離後の赤色、Ｇ’は色分離後の緑色、Ｂ’は色分離後の青色であり、Ｒは色変換後の赤色、Ｇは色変換後の緑色、Ｂは色変換後の青色である。また、αはカラーマトリックス係数であり、前述の式（２）で表されるように、３行×３列の要素からなる行列である。

特開２００４−１９４９９３号公報

特許文献１に開示されている上記従来の固体撮像装置では、光源や対象物の明るさの変化によって変化する調光制御信号Ｉによって、光源や対象物の明るさが暗くなった場合にカラーマトリックスを変化させて色再現性を高めているものの、この場合も、１枚の画像の出力信号全体に同一のカラーマトリックス処理を掛けており、画像の明るい部分を検出してカラーマトリックスを掛けると、色再現性は上がるものの、画像の暗い部分では色落ちがなく人間の視覚に合わず、画像の暗い部分のノイズが増大してしまうという問題があった。

カラーマトリックスの非対角成分の値が負に向かって大きくなるとノイズを増幅させる原因となる。しかし、ノイズを増幅しないようにカラーマトリックスの非対角成分の値を正に向かって大きくすると、色が抜けて色再現性が下がるという問題があった。

本発明は、上記従来の問題を解決するもので、人の視覚に合わせるように色再現性を高めつつ、ノイズを減してＳ／Ｎを改善することができる信号処理装置および信号処理方法、この信号処理装置および信号処理方法が用いられ、被写体画像光を光電変換して撮像する固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器、その信号処理方法の各ステップをコンピュータに実行させるための処理手順が記述された制御プログラムおよび、この制御プログラムが格納されたコンピュータ読み取り可能な記憶媒体を提供することを目的とする。

本発明の信号処理装置は、複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理装置において、該画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて該画素信号を色調整処理するカラーマトリックス手段を有し、画像の明所視画素に対して所定の明所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、該画像の暗所視画素に対して該カラーマトリックス手段を起動させて暗所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、該暗所視用のカラーマトリックスの少なくとも一色の非対角要素が正になり、該一色の対角要素も１以下のものを少なくとも一つ含むものであり、そのことにより上記目的が達成される。

さらに、好ましくは、本発明の信号処理装置におけるカラーマトリックス手段は、前記画素の明るさを検出し、検出した明るさと所定の閾値を比較する光量比較手段と、検出した明るさの該所定の閾値からの低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように該カラーマトリックスを作成するカラーマトリックス作成手段と、作成したカラーマトリックスを、該画素毎、複数の画素毎および複数の画素からサンプリングした一または複数の画素毎のうちのいずれかの出力画素信号に掛け合わせて色調整するカラー化手段とを有する。

さらに、好ましくは、本発明の信号処理装置における光量比較手段は、前記画素信号に基づいて前記画素の明るさを信号量として検出する光量検出部と、検出した信号量と所定の閾値を比較する光量比較部とを有する。

さらに、好ましくは、本発明の信号処理装置における光量検出部は、前記画素毎、前記複数の画素毎または前記複数の画素からサンプリングした一または複数の画素毎の信号量を検出する。

さらに、好ましくは、本発明の信号処理装置における光量検出部は、前記画素毎、前記複数の画素毎または前記複数の画素からサンプリングした一または複数の画素毎のうち、１色以上の色を限定した画素の画素信号から信号量を検出する。

さらに、好ましくは、本発明の信号処理装置における１色以上の色は、緑（Ｇ）および青（Ｂ）のうちの少なくともいずれかである。

さらに、好ましくは、本発明の信号処理装置における光量比較手段は、前記画素の明るさを信号量として専用に検出する専用光量検出部と、該専用光量検出部で専用に検出した信号量と所定の閾値を比較する光量比較部とを有する。

さらに、好ましくは、本発明の信号処理装置における光量検出部で、前記明るさとして、被写体照度が３０ルックスまたは１００ルックス以上かまたは、信号量が５カンデラまたは３０カンデラ以上のときに前記光量比較部が前記明所視であると設定し、該被写体照度が３０ルックスまたは１００ルックスを下回るかまたは、該信号量が５カンデラまたは３０カンデラを下回るときに前記光量比較部が前記暗所視であると設定する。

さらに、好ましくは、本発明の信号処理装置における光量検出部は、前記画素の明るさを信号量として輝度信号から検出し、該輝度信号を、前記画素の色に応じて重み付けをした後に、異なる色で足し合わせるかまたは、異なる色で平均値を取ることにより求める。

さらに、好ましくは、本発明の信号処理装置における光量検出部は、前記明所視の場合には、輝度信号Ｙ１＝０．３Ｒ＋０．６Ｇ＋０．１Ｂを用いて前記信号量を求め、また、前記暗所視の場合には、輝度信号Ｙ２＝０．５Ｇ＋０．５Ｂを用いて該信号量を求める。

さらに、好ましくは、本発明の信号処理装置におけるカラーマトリックス手段の前段に、前記画素信号のアナログ信号をデジタル信号に変換するＡＤ変換回路をさらに有している。

さらに、好ましくは、本発明の信号処理装置におけるＡＤ変換回路と前記カラーマトリックス手段との間に、該ＡＤ変換回路からの画素信号からノイズを除去するノイズ除去手段が設けられ、該ノイズ除去手段は、前記光量比較手段と前記カラー化手段にノイズ除去後の画素信号を出力する。

さらに、好ましくは、本発明の信号処理装置における暗所視時のカラーマトリックスが前記明所視用のカラーマトリックスに対して青と緑の出力画素信号にかかる係数を増加し、赤の出力画素信号にかかる係数を減少させる。

さらに、好ましくは、本発明の信号処理装置における光源の種類に応じて前記明所視用および前記暗所視用のカラーマトリックスを２種類以上用いる。

さらに、好ましくは、本発明の信号処理装置におけるカラーマトリックス作成手段は、前記光量比較手段が、前記信号量を閾値よりも低いと判定した場合に前記カラーマトリックスの非対角成分が増加するように前記暗所視用のカラーマトリックスを作成する第１カラーマトリックス作成部と、該光量比較手段が、該信号量を該閾値以上と判定した場合に前記明所視用のカラーマトリックスを作成する第２カラーマトリックス作成部とを有する。

さらに、好ましくは、本発明の信号処理装置におけるカラーマトリックス手段が、前記カラーマトリックスの非対角成分の増加として、該非対角成分を正に向かって大きくする。

さらに、好ましくは、本発明の信号処理装置におけるカラーマトリックス作成手段は、前記カラーマトリックスの各成分をそれぞれ関数ｆ（ｘ）とし、ｘに前記明るさの値を代入することにより該カラーマトリックスを作成する。

さらに、好ましくは、本発明の信号処理装置におけるカラーマトリックス作成手段は、前記明所視用のカラーマトリックスと前記暗所視用のカラーマトリックスを元に前記明るさに応じた重み付けにより該カラーマトリックスを作成する。

さらに、好ましくは、本発明の信号処理装置における重み付けは、前記明るさに対して次式のように線形的に変化する。

カラーマトリックス＝（１−ｘ）（暗所用のカラーマトリックス）＋ｘ（明所視用のカラーマトリックス）
さらに、好ましくは、本発明の信号処理装置における重み付けは、前記明るさに対して次式のように指数関数ｅ^ｘで変化する。

カラーマトリックス＝（１−ｅ^ｘ）（暗所視用のカラーマトリックス）＋ｅ^ｘ（明所視用のカラーマトリックス）
さらに、好ましくは、本発明の信号処理装置における重み付けは、前記明るさの対数値に対する出力が前記明所視用のカラーマトリックスと前記暗所視用のカラーマトリックスで異なる次式のシグモイド関数で変化する。

カラーマトリックス＝１／｛１＋ｅｘｐ（ｘ）｝（暗所視用のカラーマトリックス）＋１／｛１＋ｅｘｐ（−ｘ）｝（明所視用のカラーマトリックス）
さらに、好ましくは、本発明の信号処理装置におけるカラーマトリックス作成手段は、前記カラーマトリックスが前記明所視と前記暗所視で変化する隣接３画素の両端画素信号値の平均値を取って間の画素信号値を求めることにより、前記カラーマトリックスを連続的に増加または減少するように変える。

さらに、好ましくは、本発明の信号処理装置におけるカラーマトリックス作成手段は、前記明所視時に用いる所定のカラーマトリックスを予め記録する記録手段が設けられ、該明所視時に該記録手段内のカラーマトリックスを用いて処理を実施する。

さらに、好ましくは、本発明の信号処理装置におけるカラーマトリックス作成手段は、暗所視時に用いる一または明るさに応じた複数のカラーマトリックスを前記記録手段に予め記録しておき、該暗所視時のカラーマトリックスを該記録手段から読み出してカラーマトリックスを設定する。

さらに、好ましくは、本発明の信号処理装置における暗所視と強制的に判定させるスイッチ手段が外部に設けられている。

さらに、好ましくは、本発明の信号処理装置において、前記検出した画素の明るさに応じたカラーマトリックスは、該画素の明るさに応じた明所視用と暗所視用のカラーマトリックスである。

さらに、好ましくは、本発明の信号処理装置における暗所視用のカラーマトリックスは、一または、前記画素の明るさに応じた複数である。

本発明の固体撮像装置は、撮像対象からの画像光を光電変換して撮像する複数の受光部が前記複数の画素として配設され、本発明の上記信号処理装置を用いてカラーマトリックス処理をして色調整処理するものであり、そのことにより上記目的が達成される。

本発明の電子情報機器は、本発明の上記固体撮像装置を画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。

本発明の信号処理方法は、複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理方法において、カラーマトリックス手段が、該画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて該画素信号を色調整処理するカラーマトリックスステップを有し、画像の明所視画素に対して所定の明所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、該画像の暗所視画素に対して該カラーマトリックス手段を起動させて暗所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、該暗所視用のカラーマトリックスの少なくとも一色の非対角要素が正になり、該一色の対角要素も１以下のものを少なくとも一つ含むものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の信号処理方法において、前記カラーマトリックスステップは、光量比較手段が、前記画素の明るさを検出し、検出した明るさと所定の閾値を比較する光量比較ステップと、カラーマトリックス作成手段が、検出した明るさの該所定の閾値からの低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように該カラーマトリックスを作成するカラーマトリックス作成ステップと、カラー化手段が、作成したカラーマトリックスを、該画素毎、複数の画素毎および複数の画素からサンプリングした一または複数の画素毎のうちのいずれかの出力画素信号に掛け合わせて色調整するカラー化ステップとを有する。

本発明の制御プログラムは、本発明の上記信号処理方法の各ステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。

本発明の記録媒体は、本発明の上記制御プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用を説明する。

本発明においては、複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理装置において、画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて画素信号を色調整処理するカラーマトリックス手段を有している。画像の明所視画素に対して所定の明所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、画像の暗所視画素に対してカラーマトリックス手段を起動させて暗所視用のカラーマトリックスを用いてカラーマトリックス処理を行っている。

これによって、画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて該画素信号を色調整処理するカラーマトリックス手段が設けられて、１枚の画像である撮像対象の各場所（各画素位置）の明るさに応じて最適なカラーマトリックスを用いるので、人の視覚に合わせるように色再現性を高めつつ、ノイズを減してＳ／Ｎが改善される。

以上により、本発明によれば、１枚の画像である撮像対象の各場所（各画素位置）の明るさに応じて最適なカラーマトリックスを用いるため、人の視覚に合わせるように色再現性を高めつつ、ノイズを減してＳ／Ｎを改善することができる。

本発明の実施形態１における固体撮像装置の要部構成例を示すブロック図である。 図１の固体撮像装置１の動作を説明するためのフローチャートである。 本発明の実施形態２における固体撮像装置の要部構成例を示すブロック図である。 図３の固体撮像装置の動作を説明するためのフローチャートである。 図４のカラーマトリックス手段の変形例を示すブロック図である。 本発明の実施形態３における固体撮像装置の要部構成例を示すブロック図である。 図６の固体撮像装置の動作を説明するためのフローチャートである。 本発明の実施形態４として、本発明の実施形態１〜３の固体撮像装置のいずれかを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。 従来の型固体撮像装置の画像処理動作を模式的に示すフローチャートである。 特許文献１に開示されている従来のＣＣＤ型固体撮像装置の画像処理回路における構成例を示すブロック図である。 図１０のシステムコントローラによる色変換調整の処理手順を示すフローチャートである。

以下に、本発明の信号処理装置を固体撮像装置に適用した場合の実施形態１〜３および、この固体撮像装置の実施形態１〜３のいずれかを画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器の実施形態４について図面を参照しながら詳細に説明する。

（実施形態１）
図１は、本発明の実施形態１における固体撮像装置の要部構成例を示すブロック図である。

図１において、本実施形態１の固体撮像装置１は、撮像対象（１枚の画像）からの画像光を光電変換して撮像する複数の受光部が複数の画素部として配設された固体撮像素子（図示せず）からの撮像信号（複数の各画素にそれぞれ対応した画素信号）を所定のアナログ信号処理をした画素信号をＡ／Ｄ変換するＡ／Ｄ変換回路２と、撮像対象の各画面位置の明るさに応じたカラーマトリックスを用いて色調整するカラーマトリックス手段３と、カラーマトリックス手段３からの出力信号をカラーマトリックス処理以外の各種信号処理をする信号処理回路４とを有している。このカラーマトリックス手段３により本実施形態１の信号処理装置が構成されている。

カラーマトリックス手段３は、撮像対象からの画像光を光電変換して撮像する複数の受光部が複数の画素部として配設された固体撮像素子（図示せず）からの撮像信号に対して所定のアナログ信号処理をした画素信号から撮像対象の画素毎の明るさを信号量として検出し、検出した信号量と所定の閾値を比較する光量比較手段３１と、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加する（非対角成分を正に向かって大きくする）ようにカラーマトリックスを作成するカラーマトリックス作成手段３２と、作成したカラーマトリックスを、Ａ／Ｄ変換回路２からの画素毎の出力信号に順次掛け合わせて１枚の画像の各画素毎の色調整を行うカラー化手段としてのカラー化回路３３とを有している。

光量比較手段３１は、受光部からの撮像信号（画素信号）に基づいて撮像対象の明るさ（画素の明るさ）を信号量として検出する光量検出部３１１と、検出した信号量と所定の閾値を比較する光量比較部３１２とを有している。

光量検出部３１１は、画素毎の信号量を検出するが、この他、複数の画素毎出会っても良いし複数の画素からサンプリングした一または複数の画素毎の信号量を検出するようにしてもよい。この場合、１色以上の色を限定した画素の画素信号から信号量を検出する。１色以上の色は、暗所視であるから赤（Ｒ）が抜けて緑（Ｇ）および青（Ｂ）のうちの少なくともいずれかであればよい。これによって、より人間の目の感覚に近づけることができる。

光量検出部３１１において、明るさとして、被写体照度が３０ルックスまたは１００ルックス以上かまたは、信号量が５カンデラまたは３０カンデラ以上のときに光量比較部３１２が明所視であると設定し、被写体照度が３０ルックスまたは１００ルックスを下回るかまたは、信号量が５カンデラまたは３０カンデラを下回るときに光量比較部３１２が暗所視であると設定する。

光量検出部３１１は、画素の明るさ（または撮像対象の各位置の明るさ）を信号量として輝度信号から検出し、この輝度信号を、画素（または受光部）の色に応じて重み付けをした後に、異なる色で足し合わせるかまたは、異なる色で平均値を取ることにより求める。即ち、明所視の場合には、輝度信号Ｙ１＝０．３Ｒ＋０．６Ｇ＋０．１Ｂを用いて信号量を求め、また、暗所視の場合には、輝度信号Ｙ２＝０．５Ｇ＋０．５Ｂを用いて信号量を求める。

上記構成により、本実施形態１の固体撮像装置１の動作について説明する。

図２は、図１の固体撮像装置１の動作を説明するためのフローチャートである。

図２に示すように、まず、撮像対象（１枚の画像）からの画像光を光電変換して撮像する複数の受光部が複数の画素部として配設された固体撮像素子（図示せず）からの撮像信号を所定のアナログ信号処理をした画素信号を、Ａ／Ｄ変換回路２がＡ／Ｄ変換してデジタル画素信号を出力する（ステップＳ１１）。

次に、光量検出部３１１が、各受光部からの撮像信号がＡ／Ｄ変換されたデジタル画素信号（画素信号）に基づいて撮像対象の明るさを信号量として検出し、光量比較部３１２が、検出した信号量と所定の閾値を比較する（ステップＳ１２）。

その後、カラーマトリックス作成手段３２が、光量比較部３１２の比較結果として、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するようにカラーマトリックスを作成する（ステップＳ１３）。

続いて、カラーマトリックス作成手段３２が作成したカラーマトリックスを、カラー化回路３３が、Ａ／Ｄ変換回路２からの画素毎の出力信号に順次掛け合わせて１枚の画像の各画素部毎の色調整を行う（ステップＳ１４）。

この場合、カラーマトリックス手段３は、画像の明所視画素（ステップＳ１２でＮＯ）に対しては所定の明所視用のカラーマトリックスを用いてステップＳ１４にてカラーマトリックス処理を行い、画像の暗所視画素（ステップＳ１２でＹＥＳ）に対してはカラーマトリックス手段３におけるカラーマトリックス作成手段３２を起動させて暗所視用のカラーマトリックスを作成し、これを用いてステップＳ１４にてカラーマトリックス処理を行う。つまり、画像の明所視画素（ステップＳ１２でＮＯ）の場合には明所視用のカラーマトリックスが固定的にカラーマトリックス作成手段３２内の記憶手段に記憶されており、これを読み出してステップＳ１４にてカラーマトリックス処理を行う。また、画像の暗所視画素（ステップＳ１２でＹＥＳ）の場合には、ステップＳ１３において、カラーマトリックス作成手段３２で、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように暗所視用のカラーマトリックスを作成する。

さらに、信号処理回路４が、カラーマトリックス処理以外の信号処理として、カラー化回路３３からの出力画像信号を、黒レベル、ホワイトバランス、色補間、ノイズ除去、コントラスト強調およびγ補正などの各種信号処理を行う（ステップＳ１５）。信号処理回路４から出力されるカラー画像信号は、表示用に所定信号処理された後に表示手段としてのモニタの画面上に表示されたり、記録用に所定信号処理（例えば圧縮信号処理など）された後に記録手段としてのメモリに記録されるようになっている。なお、この信号処理回路４による信号処理はＡ／Ｄ変換回路２とカラー化回路３３との間に設けられてもよい。

本実施形態１のカラーマトリックス手段３を前述のようにハードウェアではなく、ソフトウェアで構成することもできる。

本実施形態１の信号処理方法は、カラーマトリックス手段３が、画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて画素信号を色調整処理するカラーマトリックスステップを有している。このカラーマトリックスステップは、光量比較手段３１が、画素の明るさを検出し、検出した明るさと所定の閾値を比較する光量比較ステップと、カラーマトリックス作成手段３２が、検出した明るさの所定の閾値からの低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するようにカラーマトリックスを作成するカラーマトリックス作成ステップと、カラー化手段３３が、作成したカラーマトリックスを、画素毎、複数の画素毎および複数の画素からサンプリングした一または複数の画素毎のうちのいずれかの出力画素信号に掛け合わせて色調整する。

これを達成するための構成としては、本実施形態１の固体撮像装置１は、全体の制御を行う制御手段としてのＣＰＵ（中央演算処理装置）と、ＣＰＵに対して入力指令を行うためのキーボードやマウス、さらには通信ネットワーク（例えばインターネットやイントラネット）を介して受信入力する入力装置などの操作部と、表示画面上に、初期画面、選択場面、ＣＰＵによる制御結果画面および操作入力画面などを表示する表示部と、制御プログラムおよびそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体としてのＲＯＭ４と、起動時に制御プログラムおよびそのデータなどが読み出されて、ＣＰＵによる制御毎にデータを読み出し・記憶するワークメモリとして働く記憶部としてのＲＡＭとを有している。

可読記録媒体としてのＲＯＭとしては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この制御プログラムおよびそのデータなどがＲＯＭに記憶されるが、この制御プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ４にダウンロードされてもよい。

ここで、本発明の原理および固体撮像装置１の具体的な動作について更に詳細に説明する。

人間の目は対象物への照度が約３０ｌｕｘ（３０ルックス）または１００ｌｕｘ（１００ルックス；３０ルックスから照度範囲を広げている）よりも暗くなると徐々に色を感じる能力が低下する。これは人の目が明所視から暗所視へ切り替わっているためである。暗所視で活動する桿体は視界に対して分布しており、明るさを感じるが色を感じることができない細胞であり、明所視で活動する赤、緑、青の錐体から比率を変えながら移り変わる。したがって、桿体が活動する暗いところでは徐々に色が抜けて見える。

１枚の画像において、明るい場所で色再現性の高いカラーマトリックスに色調整すると、暗い場所では人間が見えている光景と固体撮像装置１からの出力の乖離が大きくなる。しかし、これまでは、１枚の画像の明るいところと暗いところで、カラーマトリックスを変更することが行われていない。そこで、本発明では、画素毎に明るさを検出する手段（光量検出部３１１）を設け、カラーマトリックスを暗い場所に最適になるような色調整をしている。

上記式（１）の対角成分を以下の式（４）のように負の値を持つＡを加え、非対角成分を正の値を持つＥを加えることにより色を抜くことができる。

カラーマトリックス作成手段３２では、暗所視において、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加する（非対角成分を正に向かって大きくする）ようにカラーマトリックスを作成している。

ここで、通常、Ａ，Ｅを加える前後で横一行のカラーマトリックスの合計は変わらない。
例えば一番上の行なら以下の式（５）が成立する。

また、適切にホワイトバランスがとられていれば横一行のカラーマトリックスの合計は１となる。

例えば一番上の行なら以下の式（６）が成立する。

暗いところでは人間の目の色を感じる能力が低下するので、対角成分のＡとそれと同じ行の非対角成分のＥに上記処理を施した方が人間の目の特性に近くなる。これによって、カラーマトリックスの非対角要素を増加させることができ、ノイズを低減することができる。ここで、非対角成分は、通常、ほとんどが負の値を持つが、正の値になるように色調整することも可能であり、ノイズを低減する効果を更に高めることができる。

さらに、人間の目は暗所視に変わるにつれて感度を感じる波長のピーク位置も５５０ｎｍ付近から５００ｎｍ付近にシフトし、特に赤の感度が低下することが知られている。

そこで、上記式（１）でＲ表示を例に説明すると、１行目トップのＭ_Ｒ→Ｒの正の値を０に向かってに小さくし、１行目の次と更に次のＭ_Ｇ→ＲとＭ_Ｂ→Ｒを負の値から正に向かって大きくしていく。同様に、Ｍ_Ｒ→Ｇ とＭ_Ｒ→Ｂを小さくし、Ｍ_Ｇ→Ｇ，Ｍ_Ｂ→ＧとＭ_Ｇ→Ｂ，Ｍ_Ｂ→Ｂを大きくすると桿体と錐体の感度波長のピークのずれを表現できる上に、通常、ノイズを低減する効果がある。

今、暗所視と明所視の中間の明るさ（薄明視；照度が例えば３０ルックスから１００ルックス；明るさが３段階の中間）にいると仮定する。１枚の画像の対象物の一部が明るく、また別の一部が暗いものを見ると、人間の目は明るいところの色は分かるが、同時に見ている暗いところの色は分かりにくいことがある。そこで、画素毎または複数の画素毎に対応する対象物の明るさによってカラーマトリクスを変えていくことにより、ノイズの目立つ暗いところを高い色再現性でかつノイズを低減することができ、明るい場所は鮮明な色合を維持できる。

以上の技術的思想を元に、以下、その動作について詳細に説明する。

まず、撮像対象（１枚の画像）からの画像光を光電変換して撮像する複数の受光部が複数の画素部として配設された固体撮像素子からの撮像信号を所定のアナログ信号処理をした信号を、Ａ／Ｄ変換回路２がＡ／Ｄ変換してデジタル画像信号を出力する（ステップＳ１１）。

次に、光量検出部３１１が、各受光部からの撮像信号に基づいて撮像対象の明るさまたは輝度を信号量として検出し、光量比較部３１２が、検出した信号量と所定の閾値を比較する（ステップＳ１２）。

光量検出部３１１が適切に撮像対象の明るさまたは輝度を検出する。画素部毎の出力信号のレベルからの明るさまたは輝度の推定が最も簡易的な方法である。明るさまたは輝度の算出方法は、各画素部の色毎に適当な重み付けをして足し合わせる方法や、単に平均をとる方法などが考えられる。

光量比較部３１２は、例えば閾値を明るさ３０ルックスとして撮像対象の明るさと比較して、撮像対象の明るさが３０ルックス以上で明所視と判断し、撮像対象の明るさが３０ルックスよりも低い場合に暗所視と判断する。なお、閾値を明るさ３０ルックスの代わりに明るさ５０ルックスや１００ルックスとしてもよい。この撮像対象の明るさは、１色以上の色（例えばＧまたはＢ、ＧおよびＢなど）を限定した画素部毎の出力信号のレベルから求めることができる。

撮像対象の輝度への変換は、３０ルックス以上の明所視の輝度信号Ｙ１や、３０ルックスよりも低い暗所視の輝度信号Ｙ２から計算する方法が一般的によく知られているため、これらを用いる。即ち、輝度信号を、画素部の色に応じて重み付けをした後に、異なる色で足し合わせるかまたは、異なる色で平均値をとることにより求めることができる。

明所視の輝度信号Ｙ１＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ
暗所視の輝度信号Ｙ２＝０．５Ｇ＋０．５Ｂ
これらによって、人間は明るさを感じるとされている。暗所視の場合には赤（Ｒ）が消えて緑（Ｇ）と青（Ｂ）の平均値になる。

次に、上記の方法で算出された明るさ（信号量）を用いてカラーマトリックスを求める。

基本的には３行３列のマトリックスのそれぞれの項（例えばαＬ）を関数（ｆ（Ｌ）；Ｌは変数）で表すと、以下の式（７）となる。

この場合、カラーマトリックス作成手段３２は、カラーマトリックスの各成分をそれぞれ関数ｆ（Ｌ）とし、Ｌに明るさの値を代入することによりカラーマトリックスを作成する。

関数ｆ（Ｌ）に明るさＬを代入して求める上記式（７）は、Ｍ_ａ→ｂ（Ｌ）は、Ｌを変数とする関数で表わされている。なお、以降で単純な処理のものを例示するが、ここに書かれているものだけにとどまらない。

また、３行３列のマトリックスのそれぞれの項を対数の関数ｆ（ｉｏｇＬ）で表すと、以下の式（８）となる。これによって、明るさを対数にして求めることができる。

次にＭの関数として、補間により求める方法を例示する。明所視と暗所視でリミットとなる３行３列のマトリックスを決めておき、例えば、明所視を以下の式（９）とし、暗所視を以下の式（１０）とする。

上記式（７）に当てはめると、以下の式（１１）となる。

上記式（８）にあてはめるには、式（１１）の（Ｌ）を（ｌｏｇＬ）に書き直せばよい。

また、通常は、α＝１−βとなる。

α，βの関数としては線形やシグモイド関数、もしくはこれに類似した性質をもつ関数などがあるが、ここでは特に限定しない。

即ち、カラーマトリックス作成手段３２において、明所視用のカラーマトリックスと暗所視用のカラーマトリックスを元に明るさに応じた重み付けによりカラーマトリックスを作成することができる。

その重み付けは、明るさに対して次式のように線形的に変化する。

カラーマトリックス＝（１−ｘ）（暗所用のカラーマトリックス）＋ｘ（明所視用のカラーマトリックス）
また、重み付けは、明るさに対して次式のように指数関数ｅ^ｘで変化するようにしてもよい。

カラーマトリックス＝（１−ｅ^ｘ）（暗所視用のカラーマトリックス）＋ｅ^ｘ（明所視用のカラーマトリックス）
さらに、重み付けは、明るさの対数値に対する出力が明所視用のカラーマトリックスと暗所視用のカラーマトリックスで異なる次式のようなシグモイド関数で変化するようにすることもできる。

カラーマトリックス＝１／｛１＋ｅｘｐ（ｘ）｝（暗所視用のカラーマトリックス）＋１／｛１＋ｅｘｐ（−ｘ）｝（明所視用のカラーマトリックス）
その一例として、シグモイド関数を以下の式（１２）に示す。ここでａは適当な数である。

また、カラーマトリックス作成手段３２において、カラーマトリックスの一部、若しくは全部をあらかじめ計算し、これを記録手段（メモリ）に保存しておき、明るさを変数にして読み出すという方法がある。

予めマトリックスを計算しておくと、カラーマトリックスは離散的になるため、精度に応じて細分化することがよい。

即ち、カラーマトリックス作成手段３２は、明所視時に用いる所定のカラーマトリックスを予め記録する記録手段が設けられ、明所視時に記録手段内のカラーマトリックスを用いて処理を実施するように構成することもできる。

また、カラーマトリックス作成手段３２として、暗所視時に用いる一または明るさに応じた複数のカラーマトリックスを記録手段に予め記録しておき、暗所視時のカラーマトリックスを記録手段から読み出してカラーマトリックスを設定するようにしてもよい。

また、カラーマトリックスの値だが、対角要素を減少させ、非対角要素を増加させると、少なくともＲＧＢの対角要素が１以下になることもあり、非対角要素が０以上になることもある。

暗所視用のカラーマトリックスの少なくとも一色の非対角要素が正になり、一色の対角要素も１以下のものを少なくとも一つ含んでいてもよい。

暗所視時のカラーマトリックスが明所視用のカラーマトリックスに対して青と緑の出力画素信号にかかる係数を増加し、赤の出力画素信号にかかる係数を減少させる。

このように、暗所視はＢとＧの感度が高くなるので、上記式（１）において、Ｍ_Ｒ→ＲとＭ_Ｒ→ＧとＭ_Ｒ→Ｂは減少させ、Ｍ_Ｇ→ＲとＭ_Ｇ→ＧとＭ_Ｇ→Ｂ、Ｍ_Ｂ→ＲとＭ_Ｂ→ＧとＭ_Ｂ→Ｂを増加させることで、人の目に近い特性にすることができる。

また、光源によってカラーマトリックスの算出式またはカラーマトリックスのセットを変えたほうがより色再現性を高めることができる。

人の目は暗所視に順応するために時間を必要とする。たまたま固体撮像装置１の撮像対象が全体に暗いということで、暗所視のカラーマトリックスを用いることは望ましくないこともある。そこで、暗所視になる暗さを確認し、本発明による機能（暗所視時にカラーマトリックスの非対角成分が増加するように該カラーマトリックスを作成すること）を強制的に働かせるようにできた方が望ましい。暗所視と強制的に判定させる手動可能なスイッチ手段が外部に設けられていればよい。

また、暗所視と強制的に判定させるスイッチ手段が外部に設けられていれば、明るいところで黒を撮像するときに、明所視のカラーマトリックスを用いると、黒のノイズが増幅されて綺麗に撮像できないのに対して、暗所視のカラーマトリックスを用いると、黒が綺麗に撮像できて表示することができる。

光源の明るさ、照度を測定する若しくは推定する機能を持たせ、これがある明るさ（閾値）を下回っているときに暗所視と判定して、本発明による機能（暗所視時にカラーマトリックスの非対角成分が増加するように該カラーマトリックスを作成すること）を働かさせる。例えば人の視覚は３０ｌｘ（ルックス；照度）付近もしくはそれ以下で暗所視に切り替わるため、暗所視判定の閾値を、３０ｌｘ以下またはそれよも高い１００ｌｘ以下としてもよい。人間の視覚には人により異なり、また感じ方も異なるので、上記の例示には従う必要はなく、基準は裁量で判断すればよい。

撮像対象の輝度（信号量）を用いる方法がある。これがある明るさを下回っているときに本発明による機能（暗所視時にカラーマトリックスの非対角成分が増加するようにカラーマトリックスを作成すること）を働かさせる。例えば人の視覚は５ｃｄ（カンデラ）付近もしくはそれ以下で暗所視に切り替わるため、暗所視判定の閾値を、５ｃｄ以下または３０ｃｄ以下としてもよい。同様に、上記の例示には従う必要はなく、基準は裁量で判断すればよい。

以上により、本実施形態１によれば、１枚の画像である撮像対象の各場所（各画素位置）の明るさに応じて最適なカラーマトリックスを用いることができるため、明るい場所の色再現性を高めることができると共に、暗い場所でもノイズを抑え、人間の視覚に近い色味を効果的に出すことができる。また、本発明はわずかな処理の追加で実施できるので、わずかなコストでノイズを大幅に低減させることができる。

なお、輝度や照度を測定することは一般に困難であるため、シャッター時間やゲインなど固体撮像装置１の設定値からフィードバックをかけるなど、シャッター時間やゲインなどの設定によって本発明（暗所視時にカラーマトリックスの非対角成分が増加するようにカラーマトリックスを作成すること）を機能させるようにしてもよい。その際に、全体的な信号量や、部分的な信号量（画素毎の信号量）も合わせて考慮してもよい。また、レンズの設定など、特に絞りの設定などから本発明（暗所視時にカラーマトリックスの非対角成分が増加するようにカラーマトリックスを作成すること）を機能させるようにしてもよい。また、人間が判断して明るさを入力できるようにすることも可能である。これは、前述したように、暗所視と強制的に判定させる手動可能なスイッチ手段が外部に設けられていればよい。

通常、固体撮像装置１は、シャッター時間に対する信号量をモニタしておき、ゲインなどを調整しているが、そのとき、シャッター時間とゲインの設定と照度との関係を調べておき、ある明るさから、本発明の回路（カラーマトリックス手段３）を起動するようにする。

なお、本実施形態１では、画素毎の出力信号はＲＧＢの出力信号で説明したが、これに限らず、ＲＧＢの補色を出力信号にする固体撮像装置にも適用することができ、また、白画素を含むものなどもあり、色の組み合わせは限定されない。

また、本実施形態１では、特に説明しなかったが、明るさを求めるために使用する画素の色はＲＧＢの３画素部または４画素部の信号を用いる方法と、ＲＧＢの１色以上で適当に色を限定する方法、例えば緑（Ｇ）のみや緑（Ｇ）と青（Ｂ）のみなどという方法もある。

さらに、本実施形態１では、明るさを計算する領域は１画素毎に行ったが、これに限らず、３画素毎に行ってもよく、４画素毎など複数の画素毎に行ってもよい。また、明るさの計算として、任意の複数画素領域をまとめた、１枚の画像を構成する所定小領域の明るさを導出するようにしてもよい。または、複数画素の中から抜き取る方法で任意の複数画素領域の明るさを導出するようにしてもよい。または、これらを組み合わせる方法も可能である。

まずは全体の明るさを把握したのち、カラーマトリックス計算の領域で明るさを算出するなど２段以上の領域設定をすることも可能である。

また、カラーマトリックスが１枚の画像の位置（画素毎）によって変わることにより、色合に不連続性が生じると不自然になることもあるので、明るさの検出結果が連続的になるように補正することもよい。

カラーマトリックス作成手段３２は、カラーマトリックスが明所視と暗所視で変化する隣接３画素の両端画素信号値の平均値を取って間の画素信号値を求めることにより、カラーマトリックスを連続的に増加または減少するように変えてカラーマトリックスを作成する。

また、上記した通り、暗所視と明所視で明るさの人間の感じ方、例えば波長依存性などが変わる。そこで、暗所視と明所視の２段の他に、明所視を２段以上の３段や４段など複数段で求めてもよい。

（実施形態２）
上記実施形態１では、ノイズ除去を含む信号処理をカラーマトリックス処理後に行ったが、本実施形態２では、ノイズ除去処理をカラーマトリックス処理前に行う場合について説明する。

図３は、本発明の実施形態２における固体撮像装置の要部構成例を示すブロック図である。なお、図３では、図１の構成部材と同一の作用効果を奏する構成部材には同一の部材番号を付して説明する。上記実施形態１との主な違いは、ノイズ除去回路５がカラーマトリックス手段３の前段に設けられている点である。

図３において、本実施形態２の固体撮像装置１Ａは、撮像対象からの画像光を光電変換して撮像する複数の受光部が複数の画素部として配設された固体撮像素子（図示せず）からの撮像信号に対して所定のアナログ信号処理をした画素信号を入力してＡ／Ｄ変換するＡ／Ｄ変換回路２と、Ａ／Ｄ変換回路２からのデジタル画素信号からノイズを除去するノイズ除去手段としてのノイズ除去回路５と、ノイズ除去回路５からのノイズ除去後の画素信号に対して、撮像対象の各画面位置の明るさに応じたカラーマトリックスを用いて色調整するカラーマトリックス手段３と、カラーマトリックス手段３からの出力信号をカラーマトリックス処理およびノイズ除去処理以外の各種信号処理をする信号処理回路４Ａとを有している。これらのノイズ除去回路５およびカラーマトリックス手段３により本実施形態２の信号処理装置が構成されている。

カラーマトリックス手段３は、ノイズ除去回路５からのノイズ除去後の画素信号に対して、上記実施形態１の場合と同様に、画素毎の明るさを信号量として検出し、検出した信号量と所定の閾値を比較する光量比較手段３１と、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加する（非対角成分を正に向かって大きくする）ようにカラーマトリックスを作成するカラーマトリックス作成手段３２と、作成したカラーマトリックスを、ノイズ除去回路５からのノイズ除去後の画素毎の出力画素信号に順次掛け合わせて１枚の画像の各画素毎の色調整を行うカラー化手段としてのカラー化回路３３とを有している。

光量比較手段３１は、上記実施形態１の場合と同様に、受光部からの撮像信号（画素信号）に基づいて撮像対象の明るさ（画素の明るさ）を信号量として検出する光量検出部３１１と、検出した信号量と所定の閾値を比較する光量比較部３１２とを有している。

本実施形態２の信号処理装置を用いた固体撮像装置１Ａにおいて、ＡＤ変換回路２とカラーマトリックス手段３との間に、ＡＤ変換回路２からの画素信号からノイズを除去するノイズ除去回路５が設けられ、ノイズ除去回路５は、光量比較手段３１とカラー化手段３３にノイズ除去後の画素信号を出力するものである。

上記構成により、以下、その動作について説明する。

図４は、図３の固体撮像装置１Ａの動作を説明するためのフローチャートである。

図４に示すように、まず、撮像対象（１枚の画像）からの画像光を光電変換して撮像する複数の受光部が複数の画素部として配設された固体撮像素子（図示せず）からの撮像信号を所定のアナログ信号処理をした画素信号を、Ａ／Ｄ変換回路２がＡ／Ｄ変換してデジタル画素信号を出力する（ステップＳ２１）。

次に、ノイズ除去回路５が、Ａ／Ｄ変換回路２からのデジタル画素信号からノイズを除去する（ステップＳ２２）。これによって、光量検出部３１１における明るさの検出精度を上げることができる。

さらに、光量検出部３１１が、ノイズ除去後の画素信号に基づいて撮像対象の明るさを信号量として正確に検出し、光量比較部３１２が、検出した信号量と所定の閾値を比較する（ステップＳ２３）。

その後、カラーマトリックス作成手段３２が、光量比較部３１２の比較結果として、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するようにカラーマトリックスを作成する（ステップＳ２４）。

続いて、カラーマトリックス作成手段３２が作成したカラーマトリックスを、カラー化回路３３が、ノイズ除去回路５からの画素毎の出力信号に順次掛け合わせて１枚の画像の各画素部毎の色調整を行う（ステップＳ２５）。

この場合、カラーマトリックス手段３は、画像の明所視画素（ステップＳ２３でＮＯ）に対しては所定の明所視用のカラーマトリックスを用いてステップＳ２５にてカラーマトリックス処理を行い、画像の暗所視画素（ステップＳ２３でＹＥＳ）に対してはカラーマトリックス手段３におけるカラーマトリックス作成手段３２を起動させて暗所視用のカラーマトリックスを作成し（ステップＳ２４）、これを用いてステップＳ２５にてカラーマトリックス処理を行う。つまり、画像の明所視画素（ステップＳ２３でＮＯ）の場合には明所視用のカラーマトリックスが固定的にカラーマトリックス作成手段３２内の記憶手段に記憶されており、これを読み出してステップＳ２５にてカラーマトリックス処理を行う。また、画像の暗所視画素（ステップＳ２３でＹＥＳ）の場合には、ステップＳ２４において、カラーマトリックス作成手段３２で、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように暗所視用のカラーマトリックスを作成する。

さらに、信号処理回路４Ａが、カラーマトリックス処理およびノイズ除去処理以外の信号処理として、カラー化回路３３からの出力画像信号を、黒レベル、ホワイトバランス、色補間、コントラスト強調およびγ補正などの各種信号処理を行う（ステップＳ２６）。信号処理回路４Ａから出力されるカラー画像信号は、表示用に所定信号処理された後に表示手段としてのモニタの画面上に表示されたり、記録用に所定信号処理（例えば圧縮信号処理など）された後に記録手段としてのメモリに記録される。

ここで、例えば４画素毎の出力信号に対して、ノイズ除去回路５として例えばメディアンなどのノイズフィルタによりノイズを除去し、Ｒ，Ｇ，Ｂのベイヤー配列の画素を仮定して、４画素毎に輝度信号を計算する場合について説明する。

輝度信号は対数をとり説明のためにＸとおくことにする。

照度０．１ｌｘに対応するＸのとき、次の式（１３）のようにマトリックスを、

とし、
照度１００ｌｘに対応するＸのとき、次の式（１４）のようにマトリックスを、

となるように該Ｘに対して線形式で内挿してカラーマトリックスを導出する。

また、Ｘの対応する照度が上記範囲外にあるとき、０．１ｌｘ以下は式（１３）、１００ｌｘ以上は式（１４）にする。

これにより求めたカラーマトリックスを輝度の計算の元になった出力信号に掛け合わせ、ＲＧＢ信号を得る。これにより、暗時でも色再現性が高くノイズの少ない画像を得ることができる。

以上により、本実施形態２によれば、カラーマトリックス算出前にノイズなどの偽信号をできるだけ除去することにより、明るさの検出精度を上げることができる。

なお、上記実施形態１でも説明したが、カラーマトリックス作成手段３２において、カラーマトリックスの一部、若しくは全部を予め計算し、これを記録手段（メモリ）に保存しておき、明るさを変数にしてテーブルから読み出すという方法がある。

即ち、カラーマトリックス作成手段は、明所視時に用いる所定のカラーマトリックスを予め記録する記録手段が設けられ、明所視時に記録手段内のカラーマトリックスを用いて処理を実施するように構成することができる。これを図５を用いて説明する。この図５は、上記実施形態１、２の他に、後述する実施形態３にも適用することができる。

図５は、図４のカラーマトリックス手段３の変形例を示すブロック図である。

図５に示すように、カラーマトリックス手段３Ａは、ノイズ除去回路５からのノイズが除去された画素信号に基づいて撮像対象（または画素）の明るさを検出する光量比較手段３１と、光量比較手段３１で検出した明るさが閾値よりも低い場合にカラーマトリックスの非対角成分が増加する暗所視用のカラーマトリックスが記録手段に記録された第１カラーマトリックス作成手段としての第１カラーマトリックス作成部３２１と、光量比較手段３１で検出した明るさが閾値以上の場合に明所視用のカラーマトリックスが記録手段に記録された第２カラーマトリックス作成手段としての第２カラーマトリックス作成部３２２と、第１カラーマトリックス作成部３２１または第２カラーマトリックス作成部３２２が選択されて記録手段から読み出されたカラーマトリックスを、ノイズ除去回路５からの画素信号に順次掛け合わせて色調整するカラー化手段としてのカラー化回路３３と、カラー化回路３３からの画素信号を各種信号処理する第２信号処理回路４Ｂとを有している。

なお、上記実施形態１，２では、特に説明しなかったが、光源の種類に応じて前記明所視用および前記暗所視用のカラーマトリックスを少なくとも２種類用いることができる。光源の種類として室外では太陽光があり、室内では電球および蛍光灯などがある。これらの光源の違いによっても、よりよい表示のためにカラーマトリックスを変えることができる。

なお、適切に撮像対象の明るさを検出する場合、上記実施形態１、２では、画素毎の出力信号のレベルからの明るさを求めたが、これに限らず、別途明るさを測る専用の固体撮像素子などを用意するようにしてもよい。これを次の実施形態３で説明する。

（実施形態３）
上記実施形態１，２では、光量検出部３１１が、受光部からの画素信号に基づいて画素の明るさを信号量として検出する場合を中心に説明したが、本実施形態３では、画素信号ではなく、これとは別途明るさを測る専用手段を用意した場合について説明する。

図６は、本発明の実施形態３における固体撮像装置の要部構成例を示すブロック図である。

図６において、本実施形態３の固体撮像装置１Ｂは、撮像対象からの画像光を光電変換して撮像する複数の受光部が複数の画素部として配設された固体撮像素子（図示せず）からの撮像信号を所定のアナログ信号処理をした画素信号をＡ／Ｄ変換するＡ／Ｄ変換回路２と、Ａ／Ｄ変換回路２からのデジタル画素信号から、黒レベル、ホワイトバランス、色補間およびノイズ除去などの各種信号処理を行う第１信号処理回路５Ｂと、第１信号処理回路５Ｂからの信号処理後の画素信号に対して、撮像対象の各画面位置の明るさに応じたカラーマトリックスを用いて色調整するカラーマトリックス手段３Ｂと、カラーマトリックス手段３Ｂからの出力信号をカラーマトリックス処理およびノイズ除去処理などの処理以外の各種信号処理をする第２信号処理回路４Ｂとを有している。これらの第１信号処理回路５Ｂおよびカラーマトリックス手段３Ｂにより本実施形態３の信号処理装置が構成されている。

カラーマトリックス手段３Ｂは、第１信号処理回路５Ｂからの信号処理後の画素信号に対して、画像の所定位置の明るさを信号量として検出し、検出した信号量と所定の閾値を比較する光量比較手段３１Ｂと、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加する（非対角成分を正に向かって大きくする）ように暗所視用のカラーマトリックスを作成するカラーマトリックス作成手段３２と、作成したカラーマトリックスを、第１信号処理回路５Ｂからの画素信号に順次掛け合わせて１枚の画像の複数の画素毎の色調整を行うカラー化手段としてのカラー化回路３３とを有している。

光量比較手段３１Ｂは、別途明るさを測る専用手段（測光用の固体撮像素子）が設けられ、画素の明るさを信号量として専用に検出する専用の光量検出部３１１Ｂと、専用の光量検出部３１１Ｂで専用に検出した信号量と所定の閾値を比較する光量比較部３１２とを有している。

上記構成により、以下、その動作について説明する。

図７は、図６の固体撮像装置１Ｂの動作を説明するためのフローチャートである。

図７に示すように、まず、撮像対象（１枚の画像）からの画像光を光電変換して撮像する複数の受光部が複数の画素部として配設された固体撮像素子（図示せず）からの撮像信号を所定のアナログ信号処理をした画素信号を、Ａ／Ｄ変換回路２がＡ／Ｄ変換してデジタル画素信号を出力する（ステップＳ３１）。

次に、第１信号処理回路５Ｂが、Ａ／Ｄ変換回路２からのデジタル画素信号に対して、黒レベル、ホワイトバランス、色補間およびノイズ除去などの各種信号処理を行う（ステップＳ３２）。このノイズ除去処理によって、光量検出部３１１Ｂにおける明るさの検出精度を上げることができる。

さらに、光量検出部３１１Ｂが、別途明るさを測る専用手段（測光用の固体撮像素子）からの信号に基づいて撮像対象の明るさを信号量として検出し、光量比較部３１２が、検出した信号量と所定の閾値を比較する（ステップＳ３３）。

その後、カラーマトリックス作成手段３２が、光量比較部３１２の比較結果として、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するようにカラーマトリックスを作成する（ステップＳ３４）。

続いて、カラーマトリックス作成手段３２が作成したカラーマトリックスを、カラー化回路３３が、第１信号処理回路５Ｂからの複数の画素毎の出力画素信号に順次掛け合わせて１枚の画像の各画素毎の色調整を行う（ステップＳ３５）。

この場合、カラーマトリックス手段３Ｂは、画像の明所視画素（ステップＳ３３でＮＯ）に対しては所定の明所視用のカラーマトリックスを用いてステップＳ３５にてカラーマトリックス処理を行い、画像の暗所視画素（ステップＳ３３でＹＥＳ）に対してはカラーマトリックス手段３Ｂにおけるカラーマトリックス作成手段３２を起動させて暗所視用のカラーマトリックスを作成し（ステップＳ３４）、これを用いてステップＳ３５にてカラーマトリックス処理を行う。つまり、画像の明所視画素（ステップＳ３３でＮＯ）の場合には明所視用のカラーマトリックスが固定的にカラーマトリックス作成手段３２内の記憶手段に記憶されており、これを読み出してステップＳ３５にてカラーマトリックス処理を行う。また、画像の暗所視画素（ステップＳ３３でＹＥＳ）の場合には、ステップＳ３４において、カラーマトリックス作成手段３２で、検出した信号量の低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように暗所視用のカラーマトリックスを作成する。

さらに、信号処理回路４Ｂが、カラーマトリックス処理およびノイズ除去処理などの処理以外の信号処理として、カラー化回路３３からの出力画像信号を、コントラスト強調およびγ補正などの各種信号処理を行う（ステップＳ３６）。信号処理回路４Ｂから出力されるカラー画像信号は、表示用に所定信号処理が為された後に表示手段としてのモニタの画面上に表示されたり、記録用に所定信号処理（例えば圧縮信号処理など）が為された後に記録手段としてのメモリに記録される。

以上により、本実施形態１によれば、光量検出部３１１Ｂによる画素の明るさの検出をより容易かつ正確に行うことができる。

なお、上記実施形態１でも述べたが、画素毎に輝度や照度を測定することは一般に困難であるため、シャッター時間やゲインなど固体撮像装置１の設定値からフィードバックをかけるなど、シャッター時間やゲインなどの設定によって本発明（暗所視時にカラーマトリックスの非対角成分が増加するようにカラーマトリックスを作成すること）を機能させるようにしてもよい。その際に、全体的な信号量や、部分的な信号量（画素毎の信号量）も合わせて考慮してもよい。また、レンズの設定など、特にレンズの絞りの設定などから本発明（暗所視時にカラーマトリックスの非対角成分が増加するようにカラーマトリックスを作成すること）を機能させるようにしてもよい。また、人間が判断して明るさを入力できるようにすることも可能である。これは、前述したように、暗所視と強制的に判定させる手動可能なスイッチ手段（図示せず）が外部に設けられていればよい。

通常、固体撮像装置１は、シャッター時間に対する信号量をモニタしておき、ゲインなどを調整しているが、そのとき、シャッター時間とゲインの設定と照度との関係を調べておき、ある明るさから、本発明の回路（カラーマトリックス手段３Ｂ）を起動するようにする。

即ち、図６に示すように、カラーマトリックス手段３Ｃの光量比較手段３１Ｃは、画素の明るさを、画素の明るさによって変化するシャッター時間に基づいて検出する光量検出部３１１Ｃと、検出したシャッター時間と所定の閾値を比較する光量比較部３１２とを有している。

光量検出部３１１Ｃは、シャッタ時間をモニタし、シャッタ時間が閾値として所定時間長さ以上であるとき暗所視と判定し、シャッタ時間が閾値として該所定時間長さを下回るとき光量比較部３１２が明所視と判定する。

カラーマトリックス作成手段３２は、光量比較手段３１２が、シャッタ時間を閾値以上と判定した場合にカラーマトリックスの非対角成分が増加するように暗所視用のカラーマトリックスを作成し、シャッタ時間が閾値を下回ると光量比較手段３１２が判定した場合に明所視用のカラーマトリックスを作成する。

この場合も、図７のステップＳ３３において、光量検出部３１１Ｃが、シャッタ時間に基づいて撮像対象の明るさを検出し、光量比較部３１２が、検出した明るさと所定の閾値を比較する。後は上記と同様に動作する。以上によって、明るさ検出にシャッタ時間を用いる固体撮像装置１Ｃが構成される。

次に、図６に示すように、カラーマトリックス手段３Ｄの光量比較手段３１Ｄは、画素の明るさを、画素の明るさによって変化するゲイン値に基づいて検出する光量検出部３１１Ｄと、検出したゲイン値と所定の閾値を比較する光量比較部３１２とを有している。

光量検出部３１１Ｄは、ゲイン値をモニタし、ゲイン値が閾値として所定倍率以上のとき光量比較部３１２が暗所視と判定し、ゲイン値が閾値として所定倍率を下回るとき光量比較部３１２が明所視と判定する。

カラーマトリックス作成手段３２は、光量比較手段３１２がゲイン値を閾値以上と判定した場合にカラーマトリックスの非対角成分が増加するように暗所視用のカラーマトリックスを作成し、ゲイン値が閾値を下回ると光量比較手段３１２が判定した場合に明所視用のカラーマトリックスを作成する。

この場合も、図７のステップＳ３３において、光量検出部３１１Ｄが、ゲイン値に基づいて撮像対象の明るさを検出し、光量比較部３１２が、検出した明るさと所定の閾値を比較する。後は上記と同様に動作する。以上によって、明るさ検出にゲイン値を用いる固体撮像装置１Ｄが構成される。

次に、図６に示すように、カラーマトリックス手段３Ｅの光量比較手段３１Ｅは、画素の明るさを、レンズの絞りに基づいて検出する光量検出部３１１Ｅと、検出したレンズの絞りと所定の閾値を比較する光量比較部３１２とを有している。

光量検出部３１１Ｅは、レンズの絞りをモニタし、レンズの絞りが閾値として所定値以上のとき光量比較部３１２が暗所視と判定し、レンズの絞りが閾値として所定値を下回るとき光量比較部３１２が明所視と判定する。

カラーマトリックス作成手段３２は、光量比較手段３１２が、レンズの絞りを閾値以上と判定した場合にカラーマトリックスの非対角成分が増加するように暗所視用のカラーマトリックスを作成し、レンズの絞りが閾値を下回ると光量比較手段３１２が判定した場合に明所視用のカラーマトリックスを作成する。

この場合も、図７のステップＳ３３において、光量検出部３１１Ｅが、レンズの絞り（Ｆ値）に基づいて撮像対象の明るさを検出し、光量比較部３１２が、検出した明るさと所定の閾値を比較する。後は上記と同様に動作する。以上によって、明るさ検出にレンズの絞り値（Ｆ値）を用いる固体撮像装置１Ｅが構成される。

いずれにせよ、前述したように、画素の明るさ検出の項目として、信号量、シャッタ時間、ゲイン値およびレンズの絞り値（Ｆ値）のいずれかを用いることができるが、これに限らず、明るさ検出に、信号量、シャッタ時間、ゲイン値およびレンズの絞り値（Ｆ値）のうちの複数項目を用いても良く、信号量、シャッタ時間、ゲイン値およびレンズの絞り値（Ｆ値）の全てを用いてもよい。

（実施形態４）
図８は、本発明の実施形態４として、本発明の実施形態１〜３の固体撮像装置のいずれかを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。

図８において、本実施形態４の電子情報機器９０は、上記実施形態１〜３の固体撮像装置１、１Ａ、１Ｂ、１Ｃ、１Ｄまたは１Ｅと、この固体撮像装置１、１Ａ、１Ｂ、１Ｃ、１Ｄまたは１Ｅからのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部９１と、この固体撮像装置１、１Ａ、１Ｂ、１Ｃ、１Ｄまたは１Ｅからのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示手段９２と、この固体撮像装置１、１Ａ、１Ｂ、１Ｃ、１Ｄまたは１Ｅからのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信手段９３と、この固体撮像装置１、１Ａ、１Ｂ、１Ｃ、１Ｄまたは１Ｅからのカラー画像信号を印刷用に所定の印刷信号処理をした後に印刷処理可能とするプリンタなどの画像出力手段９４とを有している。なお、この電子情報機器９０として、これに限らず、固体撮像装置１、１Ａ、１Ｂ、１Ｃ、１Ｄまたは１Ｅの他に、メモリ部９１と、表示手段９２と、通信手段９３と、プリンタなどの画像出力手段９４とのうちの少なくともいずれかを有していてもよい。

この電子情報機器９０としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置および携帯端末装置（ＰＤＡ）などの画像入力デバイスを有した電子機器が考えられる。

したがって、本実施形態４によれば、この固体撮像装置１、１Ａ、１Ｂ、１Ｃ、１Ｄまたは１Ｅからのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力手段９４により良好にプリントアウト（印刷）したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部９１に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。

以上のように、本発明の好ましい実施形態１〜４を用いて本発明を例示してきたが、本発明は、この実施形態１〜４に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜４の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理装置および信号処理方法、この信号処理装置および信号処理方法が用いられ、被写体からの画像光を光電変換して撮像するＣＣＤ型固体撮像装置およびＣＭＯＳ型固体撮像装置などの固体撮像装置、特に、人間の視覚に対応するようにカラーフィルタによって光を波長に分離してカラー画像信号を得る固体撮像装置、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器、その信号処理方法の各ステップをコンピュータに実行させるための処理手順が記述された制御プログラムおよび、この制御プログラムが格納されたコンピュータ読み取り可能な記憶媒体の分野において、画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて該画素信号を色調整処理するカラーマトリックス手段３が設けられて、１枚の画像である撮像対象の各場所（各画素位置）の明るさに応じて最適なカラーマトリックスを用いることができるため、明るい場所の色再現性を高めることができると共に、暗い場所でもノイズを抑え、人間の視覚に近い色味を効果的に出すことができる。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ 固体撮像装置
２ Ａ／Ｄ変換回路
３、３Ａ、３Ｂ、３Ｃ、３Ｄ、３Ｅ カラーマトリックス手段
３１、３１Ｂ、３１Ｃ、３１Ｄ、３１Ｅ 光量比較手段
３１１、３１１Ｂ、３１１Ｃ、３１１Ｄ、３１１Ｅ 光量検出部
３１２ 光量比較部
３２ カラーマトリックス作成手段
３２１ 第１カラーマトリックス作成手段
３２２ 第２カラーマトリックス作成手段
３３ カラー化回路
４ 信号処理回路
４Ｂ 第２信号処理回路
５ ノイズ除去回路
５Ｂ 第１信号処理回路
９１ メモリ部
９２ 表示手段
９３ 通信手段
９４ 画像出力手段

Claims (30)

1. 複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理装置において、
   該画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて該画素信号を色調整処理するカラーマトリックス手段を有し、
   画像の明所視画素に対して所定の明所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、該画像の暗所視画素に対して該カラーマトリックス手段を起動させて暗所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、
   該暗所視用のカラーマトリックスの少なくとも一色の非対角要素が正になり、該一色の対角要素も１以下のものを少なくとも一つ含み、
   該カラーマトリックス手段は、該画素の明るさを検出し、検出した明るさと所定の閾値を比較する光量比較手段と、検出した明るさの該所定の閾値からの低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように該カラーマトリックスを作成するカラーマトリックス作成手段と、作成したカラーマトリックスを、該画素毎、複数の画素毎および複数の画素からサンプリングした一または複数の画素毎のうちのいずれかの出力画素信号に掛け合わせて色調整するカラー化手段とを有し、
   該カラーマトリックス作成手段は、該明所視用のカラーマトリックスと該暗所視用のカラーマトリックスを元に該明るさに応じた重み付けにより該カラーマトリックスを作成するものであり、
   該重み付けは、カラーマトリックス＝（１−ｘ）（暗所用のカラーマトリックス）＋ｘ（明所視用のカラーマトリックス）の式のように該明るさに対して線形的に変化する信号処理装置。
2. 複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理装置において、
   該画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて該画素信号を色調整処理するカラーマトリックス手段を有し、
   画像の明所視画素に対して所定の明所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、該画像の暗所視画素に対して該カラーマトリックス手段を起動させて暗所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、
   該暗所視用のカラーマトリックスの少なくとも一色の非対角要素が正になり、該一色の対角要素も１以下のものを少なくとも一つ含み、
   該カラーマトリックス手段は、該画素の明るさを検出し、検出した明るさと所定の閾値を比較する光量比較手段と、検出した明るさの該所定の閾値からの低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように該カラーマトリックスを作成するカラーマトリックス作成手段と、作成したカラーマトリックスを、該画素毎、複数の画素毎および複数の画素からサンプリングした一または複数の画素毎のうちのいずれかの出力画素信号に掛け合わせて色調整するカラー化手段とを有し、
   該カラーマトリックス作成手段は、該明所視用のカラーマトリックスと該暗所視用のカラーマトリックスを元に該明るさに応じた重み付けにより該カラーマトリックスを作成するものであり、
   該重み付けは、カラーマトリックス＝（１−ｅ^ｘ）（暗所視用のカラーマトリックス）＋ｅ^ｘ（明所視用のカラーマトリックス）の式のように該明るさに対して指数関数ｅ^ｘで変化する信号処理装置。
   信号処理装置。
3. 複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理装置において、
   該画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて該画素信号を色調整処理するカラーマトリックス手段を有し、
   画像の明所視画素に対して所定の明所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、該画像の暗所視画素に対して該カラーマトリックス手段を起動させて暗所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、
   該暗所視用のカラーマトリックスの少なくとも一色の非対角要素が正になり、該一色の対角要素も１以下のものを少なくとも一つ含み、
   該カラーマトリックス手段は、該画素の明るさを検出し、検出した明るさと所定の閾値を比較する光量比較手段と、検出した明るさの該所定の閾値からの低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように該カラーマトリックスを作成するカラーマトリックス作成手段と、作成したカラーマトリックスを、該画素毎、複数の画素毎および複数の画素からサンプリングした一または複数の画素毎のうちのいずれかの出力画素信号に掛け合わせて色調整するカラー化手段とを有し、
   該カラーマトリックス作成手段は、該明所視用のカラーマトリックスと該暗所視用のカラーマトリックスを元に該明るさに応じた重み付けにより該カラーマトリックスを作成するものであり、
   該重み付けは、カラーマトリックス＝１／｛１＋ｅｘｐ（ｘ）｝（暗所視用のカラーマトリックス）＋１／｛１＋ｅｘｐ（−ｘ）｝（明所視用のカラーマトリックス）の式のように、該明るさの対数値に対する出力が該明所視用のカラーマトリックスと該暗所視用のカラーマトリックスで異なる当該式のシグモイド関数で変化する信号処理装置。
4. 複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理装置において、
   該画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて該画素信号を色調整処理するカラーマトリックス手段を有し、
   画像の明所視画素に対して所定の明所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、該画像の暗所視画素に対して該カラーマトリックス手段を起動させて暗所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、
   該暗所視用のカラーマトリックスの少なくとも一色の非対角要素が正になり、該一色の対角要素も１以下のものを少なくとも一つ含み、
   該カラーマトリックス手段は、該画素の明るさを検出し、検出した明るさと所定の閾値を比較する光量比較手段と、検出した明るさの該所定の閾値からの低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように該カラーマトリックスを作成するカラーマトリックス作成手段と、作成したカラーマトリックスを、該画素毎、複数の画素毎および複数の画素からサンプリングした一または複数の画素毎のうちのいずれかの出力画素信号に掛け合わせて色調整するカラー化手段とを有し、
   該カラーマトリックス作成手段は、該明所視用のカラーマトリックスと該暗所視用のカラーマトリックスを元に該明るさに応じた重み付けにより該カラーマトリックスを作成するものであり、
   該カラーマトリックス作成手段は、該カラーマトリックスが該明所視と該暗所視で変化する隣接３画素の両端画素信号値の平均値を取って間の画素信号値を求めることにより、該カラーマトリックスを連続的に増加または減少するように変える信号処理装置。
5. 請求項１〜４のいずれかに記載の信号処理装置において、前記光量比較手段は、前記画素信号に基づいて前記画素の明るさを信号量として検出する光量検出部と、検出した信号量と所定の閾値を比較する光量比較部とを有する信号処理装置。
6. 請求項５に記載の信号処理装置において、前記光量検出部は、前記画素毎、前記複数の画素毎または前記複数の画素からサンプリングした一または複数の画素毎の信号量を検出する信号処理装置。
7. 請求項６に記載の信号処理装置において、前記光量検出部は、前記画素毎、前記複数の画素毎または前記複数の画素からサンプリングした一または複数の画素毎のうち、１色以上の色を限定した画素の画素信号から信号量を検出する信号処理装置。
8. 請求項７に記載の信号処理装置において、前記１色以上の色は、緑（Ｇ）および青（Ｂ）のうちの少なくともいずれかである信号処理装置。
9. 請求項１〜４のいずれかに記載の信号処理装置において、前記光量比較手段は、前記画素の明るさを信号量として専用に検出する専用光量検出部と、該専用光量検出部で専用に検出した信号量と所定の閾値を比較する光量比較部とを有する信号処理装置。
10. 請求項６または９に記載の信号処理装置において、前記光量検出部で、前記明るさとして、被写体照度が３０ルックスまたは１００ルックス以上かまたは、信号量が５カンデラまたは３０カンデラ以上のときに前記光量比較部が前記明所視であると設定し、該被写体照度が３０ルックスまたは１００ルックスを下回るかまたは、該信号量が５カンデラまたは３０カンデラを下回るときに前記光量比較部が前記暗所視であると設定する信号処理装置。
11. 請求項５または９に記載の信号処理装置において、前記光量検出部は、前記画素の明るさを信号量として輝度信号から検出し、該輝度信号を、前記画素の色に応じて重み付けをした後に、異なる色で足し合わせるかまたは、異なる色で平均値を取ることにより求める信号処理装置。
12. 請求項１１に記載の信号処理装置において、前記光量検出部は、前記明所視の場合には、輝度信号Ｙ１＝０．３Ｒ＋０．６Ｇ＋０．１Ｂを用いて前記信号量を求め、また、前記暗所視の場合には、輝度信号Ｙ２＝０．５Ｇ＋０．５Ｂを用いて該信号量を求める信号処理装置。
13. 請求項１〜４のいずれかに記載の信号処理装置において、前記カラーマトリックス手段の前段に、前記画素信号のアナログ信号をデジタル信号に変換するＡＤ変換回路をさらに有している信号処理装置。
14. 請求項１３に記載の信号処理装置において、前記ＡＤ変換回路と前記カラーマトリックス手段との間に、該ＡＤ変換回路からの画素信号からノイズを除去するノイズ除去手段が設けられ、該ノイズ除去手段は、前記光量比較手段と前記カラー化手段にノイズ除去後の画素信号を出力する信号処理装置。
15. 請求項１〜４のいずれかに記載の信号処理装置において、前記暗所視時のカラーマトリックスが前記明所視用のカラーマトリックスに対して青と緑の出力画素信号にかかる係数を増加し、赤の出力画素信号にかかる係数を減少させる信号処理装置。
16. 請求項１〜４のいずれかに記載の信号処理装置において、光源の種類に応じて前記明所視用および前記暗所視用のカラーマトリックスを２種類以上用いる信号処理装置。
17. 請求項５または９に記載の信号処理装置において、前記カラーマトリックス作成手段は、
    前記光量比較手段が、前記信号量を閾値よりも低いと判定した場合に前記カラーマトリックスの非対角成分が増加するように前記暗所視用のカラーマトリックスを作成する第１カラーマトリックス作成部と、該光量比較手段が、該信号量を該閾値以上と判定した場合に前記明所視用のカラーマトリックスを作成する第２カラーマトリックス作成部とを有する信号処理装置。
18. 請求項１〜４および１７のいずれかに記載の信号処理装置において、前記カラーマトリックス手段が、前記カラーマトリックスの非対角成分の増加として、該非対角成分を正に向かって大きくする信号処理装置。
19. 請求項１〜４のいずれかに記載の信号処理装置において、前記カラーマトリックス作成手段は、
    前記カラーマトリックスの各成分をそれぞれ関数ｆ（ｘ）とし、ｘに前記明るさの値を代入することにより該カラーマトリックスを作成する信号処理装置。
20. 請求項１〜４のいずれかに記載の信号処理装置において、前記カラーマトリックス作成手段は、
    前記明所視時に用いる所定のカラーマトリックスを予め記録する記録手段が設けられ、該明所視時に該記録手段内のカラーマトリックスを用いて処理を実施する信号処理装置。
21. 請求項１〜４のいずれかに記載の信号処理装置において、前記カラーマトリックス作成手段は、
    暗所視時に用いる一または明るさに応じた複数のカラーマトリックスを記録手段に予め記録しておき、該暗所視時のカラーマトリックスを該記録手段から読み出してカラーマトリックスを設定する信号処理装置。
22. 請求項１〜４のいずれかに記載の信号処理装置において、前記暗所視と強制的に判定させるスイッチ手段が外部に設けられている信号処理装置。
23. 請求項１〜４のいずれかに記載の信号処理装置において、前記検出した画素の明るさに応じたカラーマトリックスは、該画素の明るさに応じた明所視用と暗所視用のカラーマトリックスである信号処理装置。
24. 請求項２３に記載の信号処理装置において、前記暗所視用のカラーマトリックスは、一または、前記画素の明るさに応じた複数である信号処理装置。
25. 撮像対象からの画像光を光電変換して撮像する複数の受光部が前記複数の画素として配設され、請求項１〜２４のいずれかに記載の信号処理装置を用いてカラーマトリックス処理をして色調整処理する固体撮像装置。
26. 請求項２５に記載の固体撮像装置を画像入力デバイスとして撮像部に用いた電子情報機器。
27. 請求項１〜２４のいずれかに記載の信号処理装置を用いて複数の各画素にそれぞれ対応した画素信号を信号処理する信号処理方法において、
    カラーマトリックス手段が、該画素の明るさを検出し、検出した画素の明るさに応じたカラーマトリックスを用いて該画素信号を色調整処理するカラーマトリックスステップを有し、
    画像の明所視画素に対して所定の明所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、該画像の暗所視画素に対して該カラーマトリックス手段を起動させて暗所視用のカラーマトリックスを用いてカラーマトリックス処理を行い、
    該暗所視用のカラーマトリックスの少なくとも一色の非対角要素が正になり、該一色の対角要素も１以下のものを少なくとも一つ含む信号処理方法。
28. 請求項２７に記載の信号処理方法において、前記カラーマトリックスステップは、
    光量比較手段が、前記画素の明るさを検出し、検出した明るさと所定の閾値を比較する光量比較ステップと、
    カラーマトリックス作成手段が、検出した明るさの該所定の閾値からの低下に応じて少なくとも一箇所のカラーマトリックスの非対角成分が増加するように該カラーマトリックスを作成するカラーマトリックス作成ステップと、
    カラー化手段が、作成したカラーマトリックスを、該画素毎、複数の画素毎および複数の画素からサンプリングした一または複数の画素毎のうちのいずれかの出力画素信号に掛け合わせて色調整するカラー化ステップとを有する信号処理方法。
29. 請求項２７または２８に記載の信号処理方法の各ステップをコンピュータに実行させるための処理手順が記述された制御プログラム。
30. 請求項２９に記載の制御プログラムが格納されたコンピュータ読み取り可能な記憶媒体。

Images