JP2000316169A - カラー撮像素子及びカラー撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 周期的色コーディング配列に伴う色モアレの
発生等の問題を本質的に解決し、同時に孤立的画素欠陥
が存在しても解像度の劣化を実質的に生じさせず、小型
低コストで高解像度のカラー撮像が可能で、且つ撮像ダ
イナミックレンジを飛躍的に向上させることができるカ
ラー撮像素子及びカラー撮像装置を提供する。 【解決手段】 色コーディング配列が任意の着目画素が
該着目画素の色を含む６色の画素と該着目画素の４辺又
は４角のいずれかにおいて隣接する配列制限条件を満た
す６色ランダム配列とし、該６色ランダム配列を構成す
る６色を１つの色に関してそれぞれ２つの感度を有する
３原色としたＣＣＤ撮像素子４と、ランダム色コーディ
ング配列に基づく色分離処理を行うディジタルプロセス
回路７と、ランダム色コーディング配列に関する配列デ
ータを記憶するマスクＲＯＭ又はＥＥＰＲＯＭ17からな
る記憶手段とを備えてカラー撮像装置を構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、色モアレの発生
を防止できるようにしたカラー撮像素子及びそのカラー
撮像素子を用いたカラー撮像装置に関する。

【０００２】

【従来の技術】一般に、撮像管及び固体撮像素子に代表
される撮像素子は、撮像装置に広く用いられている。特
に、単管又は単板（Single Sensor)カラー撮像装置に使
用されるカラー撮像素子は、１つの撮像素子でカラー撮
像装置を構成できるため、色分離プリズムが不要でレン
ズの小型化が可能であり、またレジストレーションに代
表される多板式の各種調整の必要がなく、更に消費電力
が小さいなど多くの特徴を有し、カラー撮像装置の小型
化・消電力化に多くの貢献を果しており、特に固体撮像
素子であるカラーＣＣＤ撮像素子を用いた単板カラーカ
メラは、撮像装置の主流となっている。

【０００３】上記カラー撮像素子は、いずれも一つの受
光面で色情報を得るため、ストライプフィルタ又はモザ
イクフィルタなどと称される色フィルタを用いて、受光
平面内で色変調（色コーディング）を行っている。すな
わち、例えばＲＧＢ３色のフィルタを所定の規則的配列
で各光電変換素子（画素）上に張り付けることで、各画
素毎に異なる分光感度を持たせている。従って、被写体
撮像によって得られた映像信号には、このフィルタ配列
にしたがった点順次の色情報が含まれているから、上記
所定の配列にしたがって各色フィルタに対応した信号毎
に分離して、その分離した信号を取り出すことにより色
情報が取り出せる。輝度信号（Ｙ信号）を得るためには
ＲＧＢ情報が全て必要であるから、１画素の輝度情報を
得るためには最低３画素（ＲＧＢ各１画素ずつ）を必要
とし、輝度解像度は犠牲になるものの一つの撮像素子で
カラー撮像を行うことができるようになっている。

【０００４】上記フィルタ配列には、ＲＧＢストライ
プ、ベイヤ型ＲＧＢモザイク（各種あり）などの３原色
フィルタ、ＹｅＭｇＣｙストライプ、ＹｅＭｇＣｙＷ４
色モザイク、ＹｅＭｇＣｙＧ４色モザイクなどの補色フ
ィルタ等、多種多様の色コーディングパターンが提案さ
れて実用化されている。

【０００５】

【発明が解決しようとする課題】本発明は、上記カラー
撮像素子の電気的構成（撮像管か固体撮像素子か、ある
いはＣＣＤか他のタイプかなど）や色コーディングの種
類（原色か補色か、あるいは３色か４色かなど）につい
ては、関わりなく有する本質的問題点を指摘し、その解
決手段を示すものであるから、以下の説明においては特
にことわらないない限り、その一例についてのみ取り上
げ、説明を行うこととする。

【０００６】上記従来の色コーディング配列の中、ＲＧ
Ｂベイヤ配列の一例を図５の（Ａ），（Ｂ）に基づいて
説明する。ＲＧＢベイヤ配列は、図５の（Ａ）に示す２
×２の４画素を基本配列とし、この基本配列を図５の
（Ｂ）に示すように順次並べて平面を埋めつくすように
配列するものであって、ＲＧＢの各色への画素数の配分
比率を１：２：１として、輝度信号に対する寄与の大き
いＧの密度を高めることで輝度解像度を高くした点に特
徴があるものである。また、垂直及び水平の２方向に等
方的に配置しているので、ストライプフィルタと異なり
等方的な解像度が得られるようになっている。なお、図
５の（Ｂ）は任意の８×８＝64画素に関して例示してい
る。

【０００７】しかしながら、ベイヤ配列においては上記
のように規則的な配列を用いているため、その配列によ
る空間サンプリングに基づいた偽解像、いわゆる色モア
レの発生を伴うという大きな問題を有していた。すなわ
ち、本来色のない白黒被写体において上記配列周期と同
じ周期の輝度変化（白黒パターン）を有する周期的被写
体が存在した場合、例えば１水平ラインとしてＲＧ行に
着目しＲで白、Ｇで黒であったとすると、輝度変化のな
い赤い被写体から得られる信号と同等の信号が出力され
るため、本来は存在しない色出力を生じてしまう。この
ような縞模様状の繰り返しパターンによって生じた偽色
信号すなわち色モアレは、いわゆる周波数折り返し（エ
リアジング）によって低周波域に生ずるため、後段の色
帯域抑圧を含めた電気的フィルタ処理等によっても取り
除くことができない。

【０００８】このため、従来の単板カラー撮像装置は、
画質確保のためには光学系に水晶などの光学ローパスフ
ィルタを必須としており、これが小型化や低コスト化の
大きな制約となるばかりか、それでもなお残存する色モ
アレによる画質劣化は避けられなかった。

【０００９】一方この問題とは別に、従来の撮像装置に
おいては被写体に対する撮像ダイナミックレンジ（輝度
再現域）の確保については特別な考慮がなされておら
ず、輝度分布が高輝度から低輝度まで輝度レンジの大き
な被写体の撮影に際しては、白飛びや黒潰れを生じやす
いという問題点があった。

【００１０】この問題点に関して詳述すれば、撮像レン
ジは単純に撮像素子だけでは決まらず、それを使用した
撮像装置の信号処理も含めた全体で決まるが、少なくと
も高輝度側は撮像素子の飽和レベルが限界になり、低輝
度側は撮像装置に組み込まれた状態での撮像素子出力の
ノイズレベルが限界になるから、少なくともそれを超え
た撮像レンジを得ることはできない。従来、一般的な撮
像素子を用いて撮像装置を構成した場合の撮像素子の光
電変換特性は、例えば図６で模式的に示されるようなも
のであった。

【００１１】図６において、横軸は入射光量を、縦軸は
信号レベルをそれぞれ対数的に示している。また、図中
ＵＬは高輝度側限界レベルを、ＬＬは低輝度側限界レベ
ルをそれぞれ示しており、ＵＬは撮像素子の飽和レベル
にほぼ対応するレベルであり、一方ＬＬについてはノイ
ズレベルＮＬそのものではなく、ノイズと共存しても鑑
賞に堪える所定の限界Ｓ／Ｎ比を有する信号レベルとし
て定まる。そしてＵＬとＬＬの間が有効輝度域となり、
これらの（対数軸上での）差：Ｒange＝ＵＬ−ＬＬが撮
像ダイナミックレンジとなる。

【００１２】この撮像ダイナミックレンジは、撮像装置
の設計製造によって異なるが、多くの場合５〜６ＥＶ
（30〜36dB）程度であり、更なる改善が望まれていた。
しかしながら、撮像素子の飽和レベルやノイズレベルの
改善には限界があり、実現が困難であるという問題があ
った。

【００１３】本発明は、従来のカラー撮像装置における
上記周期的色コーディング配列に伴う問題を本質的に解
決すると共に撮像ダイナミックレンジを改善するために
なされたもので、周期的な輝度変化をもつ被写体でも色
モアレを発生させず、また撮像ダイナミックレンジを飛
躍的に向上させることができ、小型低コストで高画質な
カラー撮像の可能な撮像装置を提供すること、及びそれ
を可能とするカラー撮像素子を提供することを目的とす
る。請求項毎の目的を述べると、請求項１に係る発明
は、規則性を有しないランダムな色コーディング配列に
よる被写体撮像を行うことを可能とし、且つ全撮像領域
に亘って所定値以上の高解像度を確保すると共に画質性
能や機能を向上させると共に、孤立的画素欠陥が存在し
ても解像度の劣化を実質的に生じさせないようにしたカ
ラー撮像素子を提供することを目的とする。請求項２に
係る発明は、撮像ダイナミックレンジを飛躍的に向上さ
せることの可能なカラー撮像素子を提供することを目的
とする。請求項３に係る発明は、請求項１又は２に係る
カラー撮像素子を用いて、該撮像素子のランダム色コー
ディング配列情報に基づく色分離を行えるようにしたカ
ラー撮像装置を提供することを目的とする。請求項４に
係る発明は、ランダム色コーディング配列情報に基づく
色分離を容易に且つ確実に行うことができるカラー撮像
装置を提供することを目的とする。請求項５に係る発明
は、低コストで大量製造することができるランダム色コ
ーディング配列データを記憶する手段を備えたカラー撮
像装置を提供することを目的とする。請求項６に係る発
明は、色コーディング配列の異なるカラー撮像素子の色
分離処理にも容易に対応することが可能なカラー撮像装
置を提供することを目的とする。

【００１４】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１に係る発明は、光電変換素子からなる画素
を複数個配列してなる画素群を有するカラー撮像素子で
あって、該カラー撮像素子の色コーディング配列は、任
意の着目画素が該着目画素の色を含む６色の画素と該着
目画素の４辺又は４角のいずれかにおいて隣接する配列
制限条件を満たす６色ランダム配列としてカラー撮像素
子を構成するものである。このように構成したカラー撮
像素子においては、周期性を有しないランダムな色コー
ディング配列で被写体を撮像することができ、したがっ
て周期的な輝度変化をもつ被写体でも色モアレの発生を
防止することができる。そして、任意の着目画素が該着
目画素の色を含む６色の画素と該着目画素の４辺又は４
角のいずれかにおいて隣接するという配列制限条件を満
たす６色ランダム配列としているため、ランダムであり
ながらも全ての撮像領域に亘って所定値以上の高解像度
を確保すると共に、画質性能や機能を向上させることが
でき、同時に孤立的画素欠陥が存在しても解像度の劣化
を実質的に阻止することができる。

【００１５】請求項２に係る発明は、請求項１に係るカ
ラー撮像素子において、前記６色ランダム配列を構成す
る６色は、１つの色（相対分光感度特性）に関してそれ
ぞれ２つの感度（絶対感度特性）を有する３原色である
ことを特徴とするものである。このように６色ランダム
配列における６色を、２つの感度を有する３原色で構成
することにより、撮像ダイナミックレンジを飛躍的に向
上させることができる。

【００１６】請求項３に係る発明は、前記請求項１又は
２に係るカラー撮像素子を備え、該カラー撮像素子の出
力信号に対して該カラー撮像素子のランダム色コーディ
ング配列に基づく色分離処理を行う色分離手段を設けて
カラー撮像装置を構成するものである。このように構成
することにより、色モアレを発生させず所定値以上の高
解像度を備えると共に画質性能や機能を向上させること
ができ、同時に孤立的画素欠陥が存在しても解像度の劣
化を実質的に生じさせず、且つ撮像ダイナミックレンジ
を飛躍的に向上させることが可能なカラー撮像素子の色
コーディング配列情報に基づく色分離を、確実に行うこ
とができるカラー撮像装置を実現することができる。

【００１７】請求項４に係る発明は、請求項３に係るカ
ラー撮像装置において、前記色分離手段で色分離処理を
行うための、前記カラー撮像素子のランダム色コーディ
ング配列に関する配列データを記憶する記憶手段を備え
ていることを特徴とするものである。このようにカラー
撮像素子の色コーディング配列データを記憶する記憶手
段を備えることにより、ランダム色コーディング配列情
報に基づく色分離を容易に且つ確実に行うことができ
る。

【００１８】請求項５に係る発明は、請求項４に係るカ
ラー撮像装置において、前記記憶手段をマスクＲＯＭで
構成することを特徴とするものである。このように色コ
ーディング配列データの記憶手段としてマスクＲＯＭを
用いることにより、記憶手段をひいてはカラー撮像装置
を低コストで大量製造することが可能となる。

【００１９】請求項６に係る発明は、請求項４に係るカ
ラー撮像装置において、前記記憶手段をＥＥＰＲＯＭで
構成することを特徴とするものである。このように色コ
ーディング配列データの記憶手段としてＥＥＰＲＯＭを
用いることにより、色コーディング配列の異なるカラー
撮像素子の色分離処理にも容易に対応することが可能と
なる。

【００２０】

【発明の実施の形態】次に実施の形態について説明す
る。図１は、本発明に係るカラー撮像素子を用いたカラ
ー撮像装置（ディジタルカメラ）の実施の形態を示すブ
ロック構成図である。図１において、１はレンズ系、２
はレンズ駆動機構、３は露出制御機構、４はＣＣＤ撮像
素子、５はＣＣＤドライバ、６はＡ／Ｄ変換器を含むプ
リプロセス回路、７はディジタルプロセス回路で、ハー
ドとしてメモリを含み、全てのディジタルプロセス処理
を行うものである。８はメモリカードインターフェー
ス、９はメモリカード、10はＬＣＤ画像表示系、11は主
たる構成としてマイコンを含むシステムコントローラ、
12は操作スイッチ系、13は操作表示系、14はストロボ、
15はレンズドライバ、16は露出制御ドライバ、17はＥＥ
ＰＲＯＭである。

【００２１】図１に示した実施の形態においてカラー撮
像素子として用いているＣＣＤ撮像素子４のランダム配
列の色フィルタ配列例を図２に示す。このＣＣＤ撮像素
子の画素数は、任意ではあるが仮に 100万画素程度を想
定しており、図２においては、中央部分の８×８＝64画
素に対応するフィルタ配列だけを表示している。以下の
説明では、このようなランダム配列を得るための手順を
具体的に説明するものであり、図示はあくまでもこの理
解を助けるためのものであり、この程度の領域の図示で
充分理解されるであろう。（また、ランダム配列が本発
明の本質であるから、全領域のパターンを例示すること
は無意味且つ不可能でもある。）図２において、ＬＲは
Light Red ，ＤＲはDark Red，ＬＧはLight Green ，Ｄ
ＧはDarkGreen，ＬＢはLight Blue，ＤＢはDark Blue
をそれぞれ表し、それぞれ上記従来のベイヤ配列の撮像
素子のＲ，Ｇ，Ｂ各フィルタと同じ色（相対分光透過
率）のフィルタであるが、ＬＸはＸフィルタの２倍の透
過率、ＤＸはＸフィルタの１／２の透過率を有してい
る。（但しＸは、Ｒ，Ｇ，Ｂのいずれかを表すものとす
る。以下同じ。）このような色フィルタコーディング
を、以下では２濃度ＲＧＢ６色（省略して２濃度ＲＧＢ
又はＲＧＢ６色という）ランダムコーディングと称す
る。

【００２２】次に、このようなコーディングを得るため
の手順例について説明する。このコーディングはランダ
ムコーディングであるから、各画素の色フィルタを決定
するために、２濃度ＲＧＢの６色にそれぞれ１面ずつを
割り当てたサイコロを使用してもよいのは勿論である
が、その煩雑さを減じるため表計算ソフトウェア等を用
いて、全画素配列に相当する表配列を準備する。そし
て、配列の各セルに数式ＭＯＤ（ＲＮＤ／６）（但し、
ＲＮＤは適当な桁数の乱数関数、ＭＯＤ（ｎ／ｄ）はｎ
をｄで除した剰余関数）を割り当てて得られた数値に対
して、例えば０→ＬＲ，１→ＬＧ，２→ＬＢ，３→Ｄ
Ｒ，４→ＤＧ，５→ＤＢを適用すればよい。

【００２３】このようにして得られた配列は、統計学的
には通常は特に大きな偏りは持たないが、ただ１回の試
行によって得たものは確率的に低いとはいえ、極端に色
による画素数の多寡があったり、大面積にわたる特定色
の集中があったりする可能性を有している。あるいは、
従来例のような周期性を有したパターンになる可能性も
極めて低いが０ではない。従って、上記手法によって数
回の試行を行い複数の配列サンプルを得た上で、実写に
よる撮像試験（現実にはシミュレーションを用いるのが
好適）を行って、評価結果のよいものを採用することが
望ましい。

【００２４】しかしながら、このような試行的なやり方
は、最終的な配列選択に際しては避けられないものであ
るとしても、設計当初から全て試行のみによることは、
一般的には設計効率を著しく低下させるものであって好
ましくない。あるいは試行によって得られた配列を評価
するに当たっても、良い撮像画質を得るためには、必須
となるような配列自体に要求される客観的な要件といっ
たものがあるはずで（極端な例として、全てが一つの色
の画素のみになってはならないことは自明である）、こ
のような条件を具体的に見出し、これを制限条件（判定
基準）として採用することが極めて有効である。

【００２５】具体的には、本実施の形態におけるＣＣＤ
撮像素子の２濃度ＲＧＢ６色ランダム配列は、任意の着
目画素が該着目画素のフィルタの色（自己の色）を含む
６色の画素と該着目画素の４辺又は４角のいずれかにお
いて隣接するということを制約条件として採用してい
る。すなわち、仮に着目画素のフィルタの色（自己の
色）がＬＲであったとすれば、その上下左右及び斜め四
方の隣接８画素のうちにＬＲ，ＬＧ，ＬＢ，ＤＲ，Ｄ
Ｇ，ＤＢが少なくとも１画素ずつは含まれているという
条件である。この条件は、後述の色分離処理における最
近接画素情報による補完が、必ず上下左右及び斜め四方
のいずれかの隣接画素によってなされることを保証する
ものであって、その結果として一定値以上の高解像度の
確保を保証するものである。なお且つ、仮に画素欠陥
（但し孤立的なものを想定している）が生じても着目画
素のフィルタの色（自己の色）が上下左右斜め四方の隣
接８画素のうちに必ず存在しているから、これによって
その欠陥を補完すれば、解像度の劣化が事実生じないも
のである。図２の例において、周辺各１列の画素は見か
け上上記条件を満たしていないものもあるが、これは図
示されてない更に外側の画素の存在によって条件を満た
しているものである。このような事情から、撮像素子の
光電変換面は、有効画像領域よりも４周それぞれにつき
１〜数行（列）の余裕を見て、いわゆる捨て画素領域
（画像信号生成に関与するが、有効画像領域ではない領
域）を設けてある。

【００２６】なお、このような制約条件を満たす配列
は、上記完全にランダムな配列を試行により多数用意
し、それを上記条件で検定することによっても、あるい
は例えば表計算等のソフトウェア処理による配列生成に
当たって、予め制約条件を課した上で生成することによ
っても、いずれでも得ることができる。

【００２７】さて、このようなランダムカラーフィルタ
配列を備えたＣＣＤ撮像素子４を用いたカラー撮像装置
（ディジタルカメラ）においては、従来のカメラと同様
に信号を読み出して処理し、撮像画像をメモリカード９
に記録、あるいはＬＣＤ画像表示系10に表示する。従来
と異なる動作は色分離処理であるが、その処理は、ディ
ジタルプロセス回路７がシステムコントローラ11の制御
下において行うようになっている。無論、色分離処理と
は、基本的には対応色信号の存在しない画素（例えば従
来のＲＧＢフィルタ撮像素子を用いたＢ信号生成処理に
おけるＲフィルタ画素など）に対する近隣画素情報等を
用いた信号補完処理であって、この点に関しては従来と
何等変わるところはない。しかしながら従来の色分離
が、ＣＣＤ撮像素子の規則的色コーディングに対応し
て、順列に基づいた規則的サンプリングを行いホールド
回路等を用いた単純な補完や、更に必要に応じて画素間
の加算減算等を行っていた（具体的な処理についてはア
ナグロ処理、ディジタル処理、混成処理等多種にわた
る）のに対して、本発明において適用するランダムコー
ディングは規則性がないので、このような処理はできな
い。そこで、使用するＣＣＤ撮像素子の各画素に関して
のフィルタコーディングデータ（上記図２に相当する全
画素のフィルタテーブル）を参照して、色分離処理を行
う。このコーディングデータはＥＥＰＲＯＭ17に記憶さ
れており、使用するＣＣＤ撮像素子の色コーディングが
異なる場合にも対応できるようになっている。

【００２８】これとは別に従来の処理と大きく異なる点
は、言うまでもなくＲ，Ｇ，Ｂ各色に感度の異なる２種
類の画素が存在していることであって、撮像素子から読
み出される画素情報信号の光電変換特性は、Ｒ，Ｇ，Ｂ
の各色間の感度の違いをさておけば、Ｒ，Ｇ，Ｂのいず
れかである着目する色Ｘ（ＬＸ，ＤＸ）については、図
３に示すようなものとなっている。すなわち、従来の色
Ｘの特性をＬＸ，ＤＸの各フィルタ透過率の違いに相当
する分だけ左右に平行移動させたものになっている。
（図３の基準感度線Ａは従来の色Ｘの有効輝度域の光電
変換特性に対応する補助線である。）

【００２９】そして、本実施の形態に係るカラー撮像装
置における色信号の生成処理は従来のものとは異なり、
各色Ｘに対応するＸ信号はＬＸ画素情報とＤＸ画素情報
との２種の画素情報から生成される。具体的な各Ｘ信号
の生成処理は以下のようにして行われる。但し、Ｙ画素
とはＬＸ，ＤＸ以外の４種の画素（例えばＸ＝Ｇの時、
ＬＲ，ＤＲ，ＬＢ，ＤＢのいずれか）を示す。

【００３０】ＬＸ画素： （１）自己（着目画素）の画素情報信号がＵＬ（ＬＸ）
より小さい値の時→自己の画素情報信号の値の１／２の
値をＸ信号値とする。 （２）自己の画素情報信号がＵＬ（ＬＸ）以上の時→自
己に隣接するＤＸ画素（少なくとも１つ存在する）の画
素情報信号の値を判定した結果によって、（２−Ａ）そ
れがＬＬ（ＤＸ）より大きくＵＬ（ＤＸ）より小さい時
→そのＤＸ画素の値（複数ある場合はその代表値）の２
倍の値をＸ信号値とする。 （２−Ｂ）その全てがＬＬ（ＤＸ）以下又はＵＬ（Ｄ
Ｘ）以上の時→自己の画素情報信号の値の１／２の値を
Ｘ信号値とする。

【００３１】ＤＸ画素： （１）自己の画素情報信号がＬＬ（ＤＸ）より大きい値
の時→自己の画素情報信号の値の２倍の値をＸ信号値と
する。 （２）自己の画素情報信号がＬＬ（ＤＸ）以下の時→自
己に隣接するＬＸ画素（少なくとも１つ存在する）の画
素情報信号の値を判定した結果によって、（２−Ａ）そ
れがＬＬ（ＬＸ）より大きくＵＬ（ＬＸ）より小さい時
→そのＬＸ画素の値（複数ある場合はその代表値）の１
／２の値をＸ信号値とする。 （２−Ｂ）その全てがＬＬ（ＬＸ）以下又はＵＬ（Ｌ
Ｘ）以上の時→自己の画素情報信号の値の２倍の値をＸ
信号値とする。

【００３２】Ｙ画素：自己に隣接するＸ画素（ＬＸ画素
又はＤＸ画素：これは少なくとも２つ存在する）の出力
するＸ信号値（但し、上記条件（１）を満足するものを
優先し、これが複数ある場合はその代表値）を自己のＸ
信号値とする。なお、上記複数の値から「代表値」を得
ることに関しては、選択法（例えば必ず下より上且つ右
より左を選択する。解像度が高い。）あるいは補間法
（平均値を算出する。擬似信号の発生レベルが小さ
い。）のいずれを用いてもよい。

【００３３】上記のような色分離処理の結果得られた色
信号は、全画素に関する同時化されたＲＧＢ３原色信号
として、従来のＲＧＢ３原色信号と同様に後段の回路で
処理され、最終的にメモリカード９に記録、あるいはＬ
ＣＤ画像表示系10に表示される。なお、この後段の回路
における処理は、その必要に応じて適宜使用されるそれ
自体は公知の、例えば色バランス処理、マトリクス演算
による輝度−色差信号への変換あるいはその逆変換処
理、帯域制限等による偽色除去あるいは低減処理、γ変
換に代表される各種非線型処理、各種情報圧縮処理、等
々である。

【００３４】上記Ｘ信号生成処理において、条件（１）
とは要するにＬＸ，ＤＸ画素それぞれについて「所定の
撮像レンジ（有効輝度域）に収まっている場合は、その
画素の情報をそのまま使用する」ということであり、そ
の際各画素が従来技術におけるＸ相当の「基準となる感
度に対して有している感度差を所定の係数を乗じて（す
なわちディジタルゲイン調節を行って）補償」している
ものである。したがって、ＬＸ，ＤＸ共通のレンジ内の
被写体に関しては、ＬＸ，ＤＸが個別のＸ画素として機
能した高解像度のＸ（ＲＧＢ）信号が得られる。

【００３５】これに対して条件（２−Ａ）は、「自己の
画素情報信号がレンジを逸脱している場合、隣接の他方
のＸが逸脱していない場合はそれで補完する」ことを意
味している。すなわち、どちらか一方の画素のレンジで
のみカバーされる高輝度や低輝度の被写体部分」に関し
ては、画素密度が半分になった状態でのＸ信号が得られ
ることになるが、この場合の補完は必ず隣接画素によっ
て行われる。したがって、Ｙ画素における補完の条件と
同じであり、解像度の劣化は極めて小さい。

【００３６】この場合、従来のＸを基準にとると、ＬＸ
は２倍、ＤＸは１／２の感度であるから、それぞれ低輝
度側、高輝度側に１ＥＶ（６dB）ずつ撮像レンジがシフ
トしたことになり、合わせて２ＥＶ（12dB）撮像レンジ
が拡大したことになる。従来の撮像素子を用いた場合
に、ダイナミックレンジ：Ｒange＝６ＥＶ（36dB）が限
界であったとすれば、本実施の形態によって８ＥＶ（48
dB）の広ダイナミックレンジの撮像装置を得ることがで
きる。

【００３７】上記のような色信号の生成処理によって得
られる総合特性を図４に示す。この総合特性は、上記デ
ィジタルゲイン調節によって、ＬＸ，ＤＸの２つの特性
が上下に平行移動して一つに重なった特性となってい
る。ＥＵＬ，ＥＬＬ等はそれぞれ拡大された高輝度、低
輝度の限界レベルである。

【００３８】なお、この場合、上記共通レンジ（より高
解像度の得られるレンジ）は４ＥＶあるが、上記のとお
り解像度劣化の影響は小さいから、上記フィルタ透過率
及びゲイン調節の係数を変えて共通レンジがほぼ０にな
るように設定したものを変形例として挙げておく。この
変形例によれば、12ＥＶ（72dB）の飛躍的に広い撮像ダ
イナミックレンジを得ることが可能になる。

【００３９】上記のようにＲＧＢ各信号のダイナミック
レンジが拡大するから、被写体撮像に関して直接的に効
果を発揮し、輝度再現域並びに色再現域が飛躍的に拡大
すると共に、低輝度部でのＳ／Ｎ向上の結果、視覚的な
色忠実度も向上する。

【００４０】一方条件（２−Ｂ）は、「ＬＧ，ＤＧいず
れの撮像レンジも逸脱している場合は、本来の画素の情
報をそのまま（ゲイン調節は行い）使用する」ことを意
味している。したがって、拡大された総合レンジをも逸
脱する被写体（例えば解像度チャートのような完全な白
黒パターン）に対しては、再び画素密度が高い状態での
撮像が可能になっている。

【００４１】そして、この際撮像によって生じる偽色に
関して考察すると、白黒のナイフエッジや孤立的な白点
（線）等の被写体に関しては、当然ながら平面的なカラ
ーコーディングの影響で従来のコーディングと同様に偽
色を生じる。しかしながら、これらはいずれも孤立的に
発生する（偽の）色点や色線であって、その主要エネル
ギーは高周波域に分布しているから、従来公知の電気的
フィルタ処理等の手法で除去あるいは低減することが可
能である。そして、従来最大の問題であった縞模様状の
繰り返しパターンの撮像に関しては、コーディングがラ
ンダムであるため、少なくとも低周波に折返った低域の
偽色（色モアレ）は発生せず、本実施の形態においては
上記除去あるいは低減可能な孤立的な偽色の発生にとど
まるものである。従って本実施の形態においては、従来
この種のディジタルカメラにおいて必須であった光学ロ
ーパスフィルタを使用していないにも関わらず、視覚的
に問題となる偽色がほとんど発生せず高画質が得られ
る。

【００４２】しかも、色分離処理における最近接画素情
報による補完が、必ず上下左右又は斜め四方のいずれか
の隣接画素によってなされるから、画素のぼけの最大値
すなわちＰＳＦ（点像分布関数）の幅の最大値は、上記
共通レンジを逸脱している領域を含めても、少なくとも
水平垂直方向に関しては３画素にとどまり、「従来のベ
イヤ配列で色分離の際の補完に１画素でなく周辺画素の
平均値を用いた場合」と比較して、Ｇ情報で同程度、Ｒ
Ｂ情報に関しては２倍程度の解像度を確保することがで
きる。また、孤立画素欠陥が存在した場合の補完を考え
ると、ベイヤ配列の場合はＰＳＦの幅を最大５画素まで
許容せざるを得ないのに対して、本実施の形態ではＰＳ
Ｆの最大幅は変化しない。しかも、これは純粋な画素サ
ンプリングによる効果のみの比較であるが、更に光学ロ
ーパスフィルタを使用していないから、これによるレス
ポンスの低下がなく、従来解像不可能であった周波数領
域にまで解像度を拡大することが可能になる。

【００４３】以上本発明について上記実施の形態に基づ
いて説明を行ったが、上記実施の形態には様々な変形例
が考えられる。まず、上記実施の形態では、コーディン
グデータはＥＥＰＲＯＭ17に記憶されており、使用する
ＣＣＤ撮像素子のコーディングが異なる場合にも対応で
きるようになっていたものを示した。ＣＣＤ撮像素子は
量産ばらつきに起因して１個毎に異なる画素欠陥データ
等を必要とするから、このためのメモリを兼用する上か
らも、ＥＥＰＲＯＭを用いることは利点となり得るが、
一方通常一つの撮像装置本体に対して適用される撮像素
子は一種（量産ばらつきを除けば同一）であり、特にカ
ラーコーディングを変える必要もないから、コーディン
グデータ自身は全て同じデータを用いることができる。
この点に着目すれば、上記ＥＥＰＲＯＭはマスクＲＯＭ
に置き換えることが可能である。マスクＲＯＭに置き換
えた場合、より低コストに構成することができる。そし
てまた、いずれの態様の場合も、システムコントローラ
11の有するマイクロコンピュータのプログラム格納メモ
リと兼用することが可能であることは言うまでもない。

【００４４】また、上記実施の形態において示した「ラ
ンダムコーディングを得るための手順」は、あくまでも
一例に過ぎず、ランダムコーディング自体は任意の方法
によって得ることができる。すなわち、当該カラーコー
ディング配列が、従来公知であった規則的配列とは異な
り、光電変換素子配列の少なくとも数画素〜数十画素以
上の所定の領域に着目したときに顕著な規則的（周期
的）構造を有しておらず、その結果として従来の規則的
配列によって生じる縞模様状の繰り返しパターン入力に
対する低域偽色の発生が低減したならば、その配列は本
発明におけるランダム色コーディング配列となる。

【００４５】また、上記実施の形態において、各ＬＸフ
ィルタの透過率は従来のＸフィルタの２倍として説明を
行ったが、従来のＸフィルタのピーク波長における透過
率が50％以上の場合はこれは実現不可能である。この問
題に対する解決を示すために、仮想的に従来のＸフィル
タのピーク波長透過率が 100％であった場合を想定し
て、変形例を挙げておく。すなわちＬＸフィルタを従来
のＸフィルタと同じ透過率とし、ＤＸフィルタを１／４
の透過率とする例である。（ゲイン補正の数値も対応し
て変えることはいうまでもない。以下の例でも同じ。）
この場合、Ｘ信号の撮像レンジは高輝度側にのみ２ＥＶ
拡大することになる。なお、上記実施の形態とこの変形
例に従って、各Ｘフィルタのピーク波長透過率に関し
て、これら２つの例の中間の値は勿論任意の値に対して
も、本発明を自明的に容易に適用することができる。ま
た上記実施の形態及びその変形例では、各Ｘ（ＲＧＢ）
フィルタに対してＬ及びＤの相対的透過率設定は同じ値
としたものを示したが、ＲＧＢ毎に異なる値を用いても
よいことは明らかで、任意の値に対しても本発明を自明
的に容易に適用することができる。

【００４６】また、上記実施の形態あるいは変形例にお
ける透過率等の数字は、あくまでも一例であり、必要に
応じて任意に変更し得ることは言うまでもない。

【００４７】更にまた、上記実施の形態あるいは変形例
では６色ランダムコーディングとして２濃度ＲＧＢ６色
ランダムコーディングを用いたものを示したが、例えば
減色混合の３原色であるＹｅＭｇＣｙ（通称：補色）フ
ィルタを用いた２濃度ＹｅＭｇＣｙ３原色ランダムコー
ディングでもよい。また、ＲＧＢ３原色フィルタに色再
現改善用のｎＧ（狭帯域緑フィルタ）、高感度用のＷ
（フィルタなし）、赤外域撮像用ＩＲ（可視光カットフ
ィルタ）を加えた６色を用いて高画質多機能の同時実現
を図ることもできる。すなわち、任意の６色コーディン
グに応用することができる。更にいわゆる光学的なフィ
ルタを使用せず、撮像素子自体の素子構造で分光特性を
異ならしめ、色コーディングを施したものであってもよ
い。

【００４８】

【発明の効果】以上実施の形態に基づいて説明したよう
に、本発明によれば周期的色コーディング配列に伴う問
題を本質的に解決し、周期的な輝度変化をもった被写体
でも色モアレを発生させず、また撮像ダイナミックレン
ジを飛躍的に向上させることができる小型低コストで高
画質なカラー撮像の可能なカラー撮像素子及びカラー撮
像装置を得ることができ、特に請求項１に係る発明によ
れば、周期性を有しないランダムな色コーディング配列
による被写体撮像を行うことを可能とし、しかも任意の
着目画素が該着目画素の色を含む６色の画素と該着目画
素の４辺又は４角のいずれかにおいて隣接するという配
列制限条件を満たす６色ランダム配列としているので、
色モアレを発生させず且つ全撮像領域に亘って所定値以
上の高解像度を確保すると共に画質性能や機能を向上さ
せることができ、同時に孤立的画素欠陥が存在しても解
像度の劣化を実質的に生じさせないカラー撮像素子を実
現することができる。また請求項２に係る発明によれ
ば、６色ランダム配列における６色を２つの感度を有す
る３原色で構成しているので、撮像ダイナミックレンジ
を飛躍的に向上させることができる。また請求項３に係
る発明によれば、色モアレを発生させず所定値以上の高
解像度を備えると共に画質性能や機能を向上させること
ができ、同時に孤立的画素欠陥が存在しても解像度の劣
化を実質的に生じさせず、且つ撮像ダイナミックレンジ
を飛躍的に向上させることが可能なカラー撮像素子の、
色コーディング配列情報に基づく色分離を確実に行うこ
とができるカラー撮像装置を実現することができる。ま
た請求項４に係る発明によれば、カラー撮像素子のラン
ダム色コーディング配列データを記憶する記憶手段を備
えているので、ランダム色コーディング配列情報に基づ
く色分離を容易に且つ確実に行うことができる。また請
求項５に係る発明によれば、色コーディング配列データ
の記憶手段としてマスクＲＯＭを用いているので、記憶
手段をひいてはカラー撮像装置を低コストで大量製造す
ることが可能となる。また請求項６に係る発明によれ
ば、色コーディング配列データの記憶手段としてＥＥＰ
ＲＯＭを用いているので、色コーディング配列の異なる
カラー撮像素子の色分離処理にも容易に対応することが
可能となる。

【図面の簡単な説明】

【図１】本発明に係るカラー撮像素子及びカラー撮像装
置の実施の形態を示すブロック構成図である。

【図２】図１に示した実施の形態におけるＣＣＤ撮像素
子のランダム色フィルタ配列の一例を示す図である。

【図３】本発明の実施の形態におけるＣＣＤ撮像素子か
ら読み出される画素情報信号の光電変換特性を示す図で
ある。

【図４】本発明の実施の形態における色信号の生成処理
によって得られる総合特性を示す図である。

【図５】ＲＧＢベイヤ配列の基本配列と全体配列の一例
を示す図である。

【図６】一般的な撮像素子の光電変換特性を示す図であ
る。

【符号の説明】

１ レンズ系 ２ レンズ駆動機構 ３ 露出制御機構 ４ ＣＣＤ撮像素子 ５ ＣＣＤドライバ ６ プリプロセス回路 ７ ディジタルプロセス回路 ８ メモリカードインターフェース ９ メモリカード 10 ＬＣＤ画像表示系 11 システムコントローラ 12 操作スイッチ系 13 操作表示系 14 ストロボ 15 レンズドライバ 16 露出制御ドライバ 17 ＥＥＰＲＯＭ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 光電変換素子からなる画素を複数個配列
   してなる画素群を有するカラー撮像素子であって、該カ
   ラー撮像素子の色コーディング配列は、任意の着目画素
   が該着目画素の色を含む６色の画素と該着目画素の４辺
   又は４角のいずれかにおいて隣接する配列制限条件を満
   たす６色ランダム配列であることを特徴とするカラー撮
   像素子。
2. 【請求項２】 前記６色ランダム配列を構成する６色
   は、１つの色に関してそれぞれ２つの感度を有する３原
   色であることを特徴とする請求項１に係るカラー撮像素
   子。
3. 【請求項３】 前記請求項１又は２に係るカラー撮像素
   子を備え、該カラー撮像素子の出力信号に対して該カラ
   ー撮像素子のランダム色コーディング配列に基づく色分
   離処理を行う色分離手段を有していることを特徴とする
   カラー撮像装置。
4. 【請求項４】 前記色分離手段で色分離処理を行うため
   の、前記カラー撮像素子のランダム色コーディング配列
   に関する配列データを記憶する記憶手段を備えているこ
   とを特徴とする請求項３に係るカラー撮像装置。
5. 【請求項５】 前記記憶手段は、マスクＲＯＭで構成さ
   れていることを特徴とする請求項４に係るカラー撮像装
   置。
6. 【請求項６】 前記記憶手段は、ＥＥＰＲＯＭで構成さ
   れているこを特徴とする請求項４に係るカラー撮像装
   置。