JP2015060121A - カラーフィルタアレイおよび固体撮像素子 - Google Patents

Abstract

【課題】画素間のクロストークによる色再現性の低下を抑制する。
【解決手段】実施形態のカラーフィルタアレイは、複数色のカラーフィルタを含むカラーフィルタアレイである。実施形態によるカラーフィルタアレイは、それぞれの色のカラーフィルタが、マイクロレンズアレイに含まれる複数のマイクロレンズであって、それぞれ複数の画素に光を照射する複数のマイクロレンズのうち何れかに対応して配置される。
【選択図】図８

Description

本発明は、カラーフィルタアレイおよび固体撮像素子に関する。

被写体からの光を、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージャといった撮像素子により受光して、光電変換により画素毎の信号として出力して画像を得る固体撮像素子が知られている。このような固体撮像素子を用いてカラー画像を得るためには、撮像素子の受光面に対し、画素毎にＲ（赤色）、Ｇ（緑色）およびＢ（青色）各色のカラーフィルタを設け、画素毎に、ＲＧＢ各色の信号を出力することが一般的である。

一方、撮像光学系の構造として、マイクロレンズアレイを画素上方に配置し、各マイクロレンズ下部には複数の画素を配置し、メインレンズの像をさらにマイクロレンズアレイを用いて画素上に結像する構造が提案されている。この構造により、画素ブロック単位で視差を有する画像群を取得することが可能であり、この視差により、被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。この、メインレンズの像をさらにマイクロレンズアレイを用いて結像する光学構成を、リフォーカス光学系と呼ぶ。

T. Georgiev and A. Lumsdaine, COMPUTER GRAPHICS forum, Volume 29 (2010), number 6 pp. 1955-1968, "Reducing Plenoptic Camera Artifacts"

撮像素子により撮像された画像の画質を悪化させる要因の一つに、画素に入射した光が隣接する画素内に進入するクロストークが挙げられる。例えば、一般的な撮像素子に用いられる、画素毎のカラーフィルタがＧ、Ｂ、Ｇ、Ｂ、…の行とＲ、Ｇ、Ｒ、Ｇ、…の行とが繰り返し配置されるベイヤ配列のカラーフィルタについて考える。このベイヤ配列においてクロストークが生じた場合、各画素において異なる色成分の光を誤検出する混色が生じてしまい、撮像された画像の色再現性が低下してしまう。

上述したリフォーカス光学系においては、メインレンズからの光は、各マイクロレンズを通り、各マイクロレンズの位置に応じた入射角を以って撮像素子の受光面に受光される。したがって、リフォーカス光学系においても、上述した画素間でのクロストークが発生するおそれがある。

本発明が解決しようとする課題は、画素間のクロストークによる色再現性の低下を抑制できるカラーフィルタアレイおよび固体撮像素子を提供することにある。

実施形態のカラーフィルタアレイは、複数色のカラーフィルタを備え、複数色のカラーフィルタが１色のカラーフィルタ毎に、それぞれ複数画素に光を照射する複数のマイクロレンズを含むマイクロレンズアレイの複数のマイクロレンズのうち何れかに対応して配置される。

図１は、実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。 図２は、実施形態に適用可能な光学系の一例の構成を示す図である。 図３は、実施形態に係るＲＡＷ画像の例を模式的に示す図である。 図４は、実施形態に適用可能な光学系の別の例の構成を示す図である。 図５は、実施形態に係るリフォーカス処理を説明するための図である。 図６は、ベイヤ配列のカラーフィルタアレイの例を示す図である。 図７は、既知の構成による撮像素子の一例の構成を示す図である。 図８は、実施形態に係る光学系の一例の構成を示す図である。 図９−１は、実施形態による撮像素子の一例の構成を示す図である。 図９−２は、実施形態による撮像素子の他の例の構成を示す図である。 図１０は、実施形態に係るカラーフィルタの形状の例を示す図である。 図１１は、実施形態に係る、画像処理部の処理を説明するための図である。 図１２は、実施形態に係る最小繰り返し単位を説明するための図である。 図１３は、実施形態に係る最小再構成倍率を説明するための図である。 図１４は、距離精度におけるカラーフィルタの配列の方向依存性を説明するための図である。 図１５は、実施形態に係るカラーフィルタの配列を説明するための図である。 図１６は、実施形態に係る、各カラーフィルタの位置関係を説明するための図である。 図１７は、実施形態に係るカラーフィルタ配列の具体例を示す図である。 図１８は、実施形態に係るカラーフィルタ配列の具体例を示す図である。 図１９は、実施形態に係るカラーフィルタ配列の具体例を示す図である。

以下、実施形態に係るカラーフィルタアレイおよび固体撮像素子について説明する。図１は、実施形態に適用可能な撮像装置の一例の構成を示す。図１において、撮像装置１は、レンズユニットとしてのカメラモジュール１０と、ＩＳＰ(Image Signal Processor)２０とを有する。

カメラモジュール１０は、メインレンズ１１を含む結像光学系と、マイクロレンズアレイ１２および撮像素子１３を含む固体撮像素子と、撮像部１４と、信号処理部１５とを有する。結像光学系は、１以上のレンズを含み、被写体からの光をマイクロレンズアレイ１２および撮像素子１３に導く。結像光学系に含まれるレンズのうち、最も撮像素子１３側のレンズをメインレンズ１１とする。

撮像素子１３は、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージャを用い、それぞれ受光した光を光電変換により電気信号に変換して出力する複数の画素からなる画素アレイを含む。

マイクロレンズアレイ１２は、所定の規則で配列された複数のマイクロレンズ１２０、１２０、…を含む。マイクロレンズアレイ１２は、メインレンズ１１によって結像面に結像する光線群を、各マイクロレンズ１２０、１２０、…に対応する撮像素子１３上の複数の画素を含む画素ブロックに対して縮小最結像させる。

なお、図１では省略されているが、マイクロレンズアレイ１２の撮像素子１３側またはメインレンズ１１側には、実施形態に係るカラーフィルタアレイが設けられる。カラーフィルタアレイは、例えばＲ（赤色）、Ｇ（緑色）およびＢ（青色）の三原色をそれぞれ分離する複数のカラーフィルタを含み、１色のカラーフィルタが１のマイクロレンズ１２０に対応するように構成される。

なお、カメラモジュール１０は、例えばメインレンズ１１を含む撮像光学系と、その他の部分とを分離して構成し、メインレンズ１１を交換可能とすることができる。これに限らず、カメラモジュール１０は、メインレンズ１１を含む撮像光学系とマイクロレンズアレイ１２とを１の筐体に収めたユニットとして構成することも可能である。この場合には、撮像光学系とマイクロレンズアレイ１２とを含むユニットが交換可能とされる。

撮像部１４は、撮像素子１３の各画素を駆動するための駆動回路を含む。駆動回路は、例えば駆動する画素を垂直方向に、水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、これら垂直選択回路および水平選択回路を各種パルスにて駆動するタイミングジェネレータとを含む。撮像部１４は、垂直選択回路および水平選択回路で選択された画素から、受光した光を光電変換した電荷を読み出し、読み出した電荷を電気信号に変換して出力する。

信号処理部１５は、撮像部１４から出力されたアナログ信号による電気信号に対してゲイン調整処理、ノイズ除去処理および増幅処理などを施す。また、信号処理部１５は、Ａ／Ｄ変換回路を有し、これら各処理を施された信号をディジタル信号に変換し、ＲＡＷ画像の画像信号として出力する。

ＩＳＰ２０は、カメラモジュールＩ／Ｆ２１と、メモリ２２と、画像処理部２３と、出力Ｉ／Ｆ２４とを有する。カメラモジュールＩ／Ｆ２１は、カメラモジュール１０に対する信号のインターフェイスである。カメラモジュール１０の信号処理部１５から出力されたＲＡＷ画像の画像信号（以下、ＲＡＷ画像と呼ぶ）は、カメラモジュールＩ／Ｆ２１を介して、例えばフレームメモリであるメモリ２２に格納される。

画像処理部２３は、メモリ２２に格納されたＲＡＷ画像のうち、マイクロレンズアレイ１２およびカラーフィルタアレイを通った光に基づくＲＡＷ画像に基づき、後述するようにして、各マイクロレンズに対応する領域の画像を拡大し、位置をずらして重ね合わせるリフォーカス処理を行うことにより、再構成したリフォーカス画像を得る。このリフォーカス画像は、出力Ｉ／Ｆ２４から出力され、図示されない表示デバイスに表示したり、外部の記憶媒体に記憶したりする。

なお、メモリ２２に格納されたＲＡＷ画像を外部の記憶媒体に記憶させることもできる。この場合には、外部の記憶媒体から読み出したＲＡＷ画像を、例えばカメラモジュールＩ／Ｆ２１を介してメモリ２２に格納し、画像処理部２３でリフォーカス処理を行うことで、所望のタイミングでリフォーカス画像を得ることができる。

（実施形態に適用可能な光学系）
次に、実施形態に適用可能な光学系について説明する。ここで、光学系は、メインレンズ１１、マイクロレンズアレイ１２および撮像素子１３を含む。図２は、実施形態に適用可能な光学系の一例の構成を示す。図２において、距離Ａは、メインレンズ１１と被写体との間の距離、距離Ｂは、メインレンズ１１による結像距離をそれぞれ示す。また、距離Ｃは、メインレンズ１１の結像面とマイクロレンズアレイ１２の各マイクロレンズとの間の最短距離、距離Ｄは、マイクロレンズアレイ１２と撮像素子１３との間の距離をそれぞれ示す。メインレンズ１１は、焦点距離ｆを有し、各マイクロレンズ１２０、１２０、…は、焦点距離ｇを有する。以下、説明のため、光軸に対して被写体側を前方、撮像素子１３側を後方と定義する。

光学系内において、マイクロレンズアレイ１２は、メインレンズ１１からの光線を各マイクロレンズ１２０、１２０、…により各視点の像として撮像素子１３上に結像させる。なお、図示は省略するが、各マイクロレンズ１２０、１２０、…に対して、ＲＧＢ各色のうち１色のカラーフィルタがそれぞれ設けられる。

図３は、実施形態に係る、メインレンズ１１による結像面を撮像素子１３の後方側に位置させた場合の、撮像素子１３の出力に基づくＲＡＷ画像の例を模式的に示す。マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…により撮像素子１３の受光面に結像されたマイクロレンズ像３０、３０、…がマイクロレンズの配列に対応して配置された画像３００が、ＲＡＷ画像として信号処理部１５から出力される。図３によれば、同一の被写体（例えば数字の「３」）が、各マイクロレンズ１２０、１２０、…の配列に応じて、各マイクロレンズ像３０において所定量ずつずれて撮像されていることが分かる。

ここで、各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…は、撮像素子１３上に重なり無く結像されることが望ましい。また、図３では、マイクロレンズアレイ１２において各マイクロレンズ１２０、１２０、…が六方格子の格子点上に配置された六方配列とされているが、各マイクロレンズ１２０、１２０、…の配列は、この例に限定されず、他の配列でもよい。例えば、各マイクロレンズ１２０、１２０、…は、正方格子上に配置されていてもよい。

なお、図２の例では、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されている。これはこの例に限定されず、例えば図４に例示されるように、マイクロレンズアレイ１２がメインレンズ１１の結像面より前方に設置されていてもよい。以下では、光学系は、図２に示す、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されているものとする。

次に、リフォーカス画像作成の原理について、上述した図２を参照しながら説明する。図２において、距離Ｂ＋距離Ｃを距離Ｅとする。距離Ｅは、メインレンズ１１の位置が固定であれば、定数となる。ここでは、距離Ｅおよび距離Ｄがそれぞれ定数であるものとして説明する。

メインレンズ１１において、被写体までの距離Ａと、被写体からの光が結像する距離Ｂと、焦点距離ｆとの間には、レンズの公式に従い式（１）に示す関係が成り立つ。同様に、マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…についても、レンズの公式に従い式（２）に示す関係が成り立つ。

メインレンズ１１と被写体との間の距離Ａが変化した場合、式（１）のレンズの公式における距離Ｂの値が変化する。光学系の位置関係から、上述したように距離Ｂ＋距離Ｃ＝距離Ｅであり、距離Ｅが固定であるため、距離Ｂの変化に伴い距離Ｃの値も変化する。各マイクロレンズ１２０、１２０、…について、上述の式（２）のレンズの公式を用いると、距離Ｃの変化に伴って、さらに距離Ｄの値も変化することが分かる。

この結果、各マイクロレンズ１２０、１２０、…を通って結像する像は、メインレンズ１１の仮想イメージである結像面を倍率Ｎ（Ｎ＝Ｄ／Ｃ）に縮小した画像が得られる。この倍率Ｎは、次式（３）のように表すことができる。

式（３）により、各マイクロレンズ１２０、１２０、…による撮像素子１３上の像の縮小率は、メインレンズ１１から被写体までの距離Ａに依存することが分かる。したがって、元の２次元画像を再構成するためには、図５（ａ）に示される、例えば各マイクロレンズ１２０、１２０、…による、それぞれ中心座標が座標３１₁、３１₂および３１₃であるマイクロレンズ像３０₁、３０₂および３０₃を、図５（ｂ）に示すようにそれぞれ倍率１／Ｎで拡大して拡大マイクロレンズ像３０₁’、３０₂’および３０₃’を作成する。そして、各拡大マイクロレンズ像３０₁’、３０₂’および３０₃’の重ね合わせ合成を行うことで、距離Ａにピントが合った再構成画像を得ることができる。

重ね合わせ時には、距離Ａ以外の部分については各拡大マイクロレンズ像３０₁’、３０₂’および３０₃’がずれながら重なることになり、ぼけの様な効果を得ることができる。このように撮影したマイクロレンズ像から任意の位置にピントを合わせる処理をリフォーカス処理と呼ぶ。

（実施形態に係るカラーフィルタアレイ）
次に、実施形態に係るカラーフィルタアレイについて説明する。先ず、既知のカラーフィルタアレイについて、図６および図７を用いて説明する。図６は、一般的に用いられるベイヤ配列のカラーフィルタアレイ７０の例を示す。ベイヤ配列のカラーフィルタアレイ７０においては、図６に示されるように、ＲＧＢ各色のカラーフィルタが、Ｇ色、Ｂ色、Ｇ色、Ｂ色、…の繰り返しからなる行と、Ｒ色、Ｇ色、Ｒ色、Ｇ色、…の繰り返しからなる行とが交互に並べられたマトリクスとして構成される。

図７は、既知の構成による撮像素子１３の一例の構成を、断面で示す。図７の例では、撮像素子１３の各画素１３０₁、１３０₂および１３０₃に対して、ベイヤ配列のカラーフィルタアレイ７０におけるＧ色のカラーフィルタ７００₁と、Ｂ色のカラーフィルタ７００₂と、Ｇ色のカラーフィルタ７００₃とがそれぞれ設けられている。なお、この例では、各カラーフィルタ７００₁、７００₂および７００₃に対して、画素毎にレンズ１３２₁、１３２₂および１３２₃が設けられている。

図２などで示したように、メインレンズ１１からの光をマイクロレンズアレイ１２を通して撮像素子１３に照射させる光学系を用いる場合、メインレンズ１１の光軸から撮像素子１３の外側に向かうに連れ、撮像素子１３に対する入射角が大きくなる。したがって、図７に例示されるように、例えばＢ色のカラーフィルタ７００₂を通って画素１３０₂に対して斜めに入射される光が、隣接する画素１３０₃にも入射されてしまう可能性がある。

この場合、画素１３０₃には、画素１３０₂からのＢ色のカラーフィルタ７００₂を通った光が斜めから入射されると共に、画素１３０₃に設けられるＧ色のカラーフィルタ７００₃を通った光が直接的に入射される。これにより、画素１３０₃において画素間クロストークが発生して、撮像画像の色再現性が低下してしまうおそれがある。

図８は、実施形態に係る光学系の一例の構成を示す。なお、図８に示される構成は、上述した図４の構成と対応し、図４と共通する部分には同一の符号を付して、詳細な説明を省略する。

実施形態では、光学系に対して、各マイクロレンズ１２０₁、１２０₂、…に対応して、それぞれ１色の各カラーフィルタ４００₁、４００₂、…を備えるカラーフィルタアレイ４０を設ける。図８の例では、例えばＲ色のカラーフィルタ４００₁がマイクロレンズ１２０₁に対して設けられ、Ｇ色のカラーフィルタ４００₂がマイクロレンズ１２０₂に対して設けられる。さらに、Ｒ色のカラーフィルタ４００₃がマイクロレンズ１２０₃に対して設けられ、以下同様に、それぞれＧ色、Ｒ色のカラーフィルタ４００₄および４００₅が、各マイクロレンズ１２０₄および１２０₅に対して設けられる。

図９−１は、実施形態による撮像素子１３の一例の構成を、断面で示す。なお、図９−１において、上述した図７と共通する部分には同一の符号を付して、詳細な説明を省略する。実施形態においては、図９−１に例示されるように、１のマイクロレンズ１２０に対して、カラーフィルタアレイ４０に含まれる各カラーフィルタのうち１色（例えばＧ色）のカラーフィルタ４００が対応される。したがって、当該マイクロレンズ１２０からの光を受光する複数の画素１３０₁、１３０₂および１３０₃は、全て同一の色のカラーフィルタ４００を通った同一色（例えばＧ色）の光を受光することになる。

この場合においても、例えば画素１３０₂に対して所定の入射角で以って斜めに入射された光が、隣接する画素１３０₃にも入射され、画素１３０₃において画素間クロストークが発生する。しかしながら、この場合、画素１３０₃に直接的に入射される光は、隣接する画素１３０₂から斜めに入射される光と同一のカラーフィルタ４００を通った光なので、画素間クロストークによる色再現性の低下が避けられる。

なお、図９−１では、カラーフィルタアレイ４０がマイクロレンズアレイ１２に対して隣接して設けられるように説明したが、これはこの例に限定されない。例えば、マイクロレンズアレイ１２とカラーフィルタアレイ４０とは、分離して設けられてもよい。また、図９−１の例では、メインレンズ１１側にマイクロレンズアレイ１２が設けられ、カラーフィルタアレイ４０が撮像素子１３側に設けられているが、マイクロレンズアレイ１２を撮像素子１３側に設け、カラーフィルタアレイ４０をメインレンズ１１側に設けてもよい。

さらに、図９−１の例では、マイクロレンズ１２０の単位でのみ、カラーフィルタ４００が配置されているが、これはこの例に限定されない。例えば、図９−２に例示されるように、各画素１３０₁、１３０₂および１３０₃に画素単位で設けられる画素上カラーフィルタ１３３を組み合わせてもよい。こうすることで、他のマイクロレンズからの入射光を抑制して色再現性をより向上させることが可能である。

図１０は、実施形態に係るカラーフィルタアレイ４０に含まれる各カラーフィルタ４００の形状の例を示す。図１０（ａ）は、各カラーフィルタ４００、４００、…の形状が円形の場合の例である。また、図１０（ｂ）は、各カラーフィルタ４００、４００、…の形状が六角形の場合の例である。このように、各カラーフィルタ４００、４００、…の形状は、各カラーフィルタ４００、４００、…を六方配列で配置した場合に各マイクロレンズ１２０、１２０、…を覆うことができる形状であればよい。

カラーフィルタアレイ４０およびマイクロレンズアレイ１２を通った光が撮像素子１３に照射されて得られるマイクロレンズ像３０は、図１１（ａ）に例示されるように、ＲＧＢ各色による単色のマイクロレンズ像３０_R、３０_Gおよび３０_Bとなる。画像処理部２３は、このマイクロレンズ像３０_R、３０_Gおよび３０_Bを含むＲＡＷ画像に対して、図５で説明したように、各マイクロレンズ像３０_R、３０_Gおよび３０_Bを拡大して重ね合わせることで、リフォーカス処理を行う。

すなわち、図１１（ｂ）に例示されるように、画像処理部２３は、各マイクロレンズ像３０_R、３０_Gおよび３０_Bを拡大して各拡大マイクロレンズ像５０_R、５０_Gおよび５０_Bを生成する。これら各拡大マイクロレンズ像５０_R、５０_Gおよび５０_Bが重ね合わされた重ね合わせ領域５０_RGBは、ＲＧＢ各色を含むカラー画像となる。画像処理部２３は、この重ね合わせ領域５０_RGBに対して一般的なカラー画像処理を施すことにより、カラーの２次元再構成画像を得ることができる。

（カラーフィルタの配列）
次に、カラーフィルタアレイ４０に含まれる各色のカラーフィルタの配列について説明する。カラーフィルタアレイ４０に含まれる各色のカラーフィルタ４００の配列は幾通りもあるため、配列を分類する。以下では、カラーフィルタアレイ４０におけるカラーフィルタの配列を、最小繰り返し単位で表すものとする。

図１２を用いて、実施形態に係る最小繰り返し単位について説明する。図１２および以下の同様の図において、ＲＧＢ各色のカラーフィルタ４００Ｒ、４００Ｇおよび４００Ｂを、斜線の有無および斜線の種類で区別している。図１２は、カラーフィルタアレイ４０におけるＲＧＢ各色の色成分比が１：２：１である場合の例であり、枠線で囲まれた領域６０が最小繰り返し単位となる。すなわち、図１２に示される配列は、領域６０における配列を隙間無く敷き詰めた配列となっている。

六方配列のカラーフィルタアレイ４０における各カラーフィルタ４００Ｒ、４００Ｇおよび４００Ｂの配列では、最小再構成倍率と距離精度とが重要になる。最小再構成倍率は、各色のマイクロレンズ像３０_R、３０_Gおよび３０_Bをある拡大倍率で拡大した拡大マイクロレンズ像５０_R、５０_Gおよび５０_Bが重ね合わされた再構成画像において、最小繰り返し単位である領域６０に含まれる全ての画素でカラー画像を構成する全ての色成分（例えばＲＧＢ各色の色成分）が存在する、最も小さい拡大倍率をいう。すなわち、各色のマイクロレンズ像３０_R、３０_Gおよび３０_Bを最小再構成倍率以上の拡大倍率で拡大することで、領域６０に含まれる全ての画素でＲＧＢ各色を含んだカラー画像を得ることができる。

図１３を用いて、実施形態に係る最小再構成倍率についてより具体的に説明する。図１３（ａ）は、カラーフィルタアレイ４０におけるＲＧＢ各色の色成分比が１：２：１である配列の例を示す。図１３（ａ）に示される最小繰り返し単位である領域６０の四隅のＲ色のカラーフィルタ４００Ｒ₁〜４００Ｒ₄に注目し、これらカラーフィルタ４００Ｒ₁〜４００Ｒ₄による各マイクロレンズ像を最小再構成倍率にて拡大した拡大マイクロレンズ像５０Ｒ₁〜５０Ｒ₄の例を、図１３（ｂ）に示す。

図１３（ｂ）の例では、四隅の、Ｒ色による拡大マイクロレンズ像５０Ｒ₁〜５０Ｒ₄が領域６０内を全て覆っており、当該領域６０内がＲＧＢ各色の成分により覆われることが分かる。ここで、再構成画像の解像度は、最小再構成倍率の二乗に反比例して低下するため、最小再構成倍率が小さいほど、解像度の高い再構成画像を得ることができる。

次に、距離精度について説明する。式（３）にて既に説明したように、図２において距離Ａの値が変化すると、その変化に伴い距離Ｂ、ＣおよびＤの値も変化するため、マイクロレンズ像の縮小倍率Ｎも変化することになる。

ここで、式（３）を距離Ａについて整理すると、次式（４）が得られる。この式（４）から、マイクロレンズ１２０による像の縮小倍率Ｎを画像マッチングなどにより算出し、且つ、距離ＤおよびＥ、ならびに、焦点距離ｆが既知であれば、式（４）から距離Ａの値を算出することが可能である。

なお、図４に示される光学系の場合は、距離Ｅ＋距離Ｃ＝距離Ｂであり、さらに、マイクロレンズ１２０に関するレンズの公式は、次式（５）で表される。したがって、この場合の距離Ａと縮小倍率Ｎとの関係は、次式（６）で表すことができる。

縮小倍率Ｎは、マイクロレンズ１２０間のマイクロレンズ像３０のずれ量を値Δ’、マイクロレンズ１２０間の中心間距離を値Ｌとすると、光線の幾何的関係から、次式（７）で表される。したがって、縮小倍率Ｎを求めるためには、画像処理部２３は、ＳＡＤ(Sum of Absolute Difference)やＳＳＤ(Sum of Squared Difference)といった評価関数を用いて、各マイクロレンズ像３０に対する画像マッチング処理を行って、マイクロレンズ１２０間のずれ量Δ’を求めればよい。

実施形態に係るカラーフィルタアレイ４０を用いる場合、画像処理部２３は、同色のカラーフィルタによるマイクロレンズ像３０同士で画像マッチングを行うことになる。このとき、カラーフィルタアレイ４０における各色のカラーフィルタの配列によっては、被写体までの距離や画像のエッジ方向により、画像マッチングにより得られるずれ量Δ’における距離精度に大きな誤差が生じてしまう場合がある。

この距離精度における誤差を抑制するためには、カラーフィルタアレイ４０における各色のカラーフィルタの配列が、以下に説明する第１および第２の条件を共に満たしている必要がある。

第１の条件について説明する。例えば、カラーフィルタアレイ４０において、あるカラーフィルタの近傍に同色のカラーフィルタが存在してない場合について考える。この場合、上述したように、各マイクロレンズ像３０間のずれ量Δ’は、被写体までの距離Ａに依存しているため、被写体が互いに近傍のマイクロレンズ１２０間のみでしか結像していない場合は、近傍に同色のカラーフィルタが無いと、距離計測ができないことになる。したがって、各カラーフィルタは、近傍に同色のカラーフィルタが存在している必要がある。これを、第１の条件とする。

なお、この場合、近傍は、上述した、カラーフィルタ配列の最小繰り返し単位の領域６０の範囲内であるものとする。

第２の条件について説明する。第２の条件は、距離精度におけるカラーフィルタの配列の方向依存性に関する条件である。図１４は、あるカラーフィルタの近傍に存在する同色のカラーフィルタが、１軸方向にしか存在しない配列の例を示す。すなわち、この図１４の例では、ＲＧＢ各色のカラーフィルタ４００Ｒ、４００Ｇおよび４００Ｂが、色毎に直線上に配列されている。

この配列の場合、被写体画像のエッジといった輝度値の変化部分が、同色のカラーフィルタが配列される軸の方向と平行である場合に、画像マッチングの精度が低下してしまうおそれがある。すなわち、画像処理部２３は、画像マッチング処理を、同色の各カラーフィルタを通って得られた各マイクロレンズ像３０を用いて行う。そのため、例えば同色のカラーフィルタが配列される軸の方向と平行に画像のエッジが存在する場合、当該軸方向に互いに隣接するマイクロレンズ像３０は、略同じ画像となる可能性がある。この場合、画像マッチングによる距離計測が困難となる。

このように、同色のカラーフィルタが１軸方向に並んでいる場合、被写体のエッジの方向に距離精度が依存する方向依存性が生じてしまうことになる。したがって、画像マッチングにおけるエッジ方向に対する距離精度の方向依存性を低減するために、同色のカラーフィルタが複数の軸方向に存在するように、カラーフィルタアレイ４０における各カラーフィルタの配列を決めることが望ましい。これを第２の条件とする。

すなわち、図１５（ａ）に例示される配列では、カラーフィルタ４００₁₀と、当該カラーフィルタ４００₁₀と同色のカラーフィルタ４００₁₁および４００₁₂とが、１の軸上に並んでおり、これらカラーフィルタ４００₁₀、４００₁₁および４００₁₂は、第２の条件を満たしていない。この場合、上述したように、これらカラーフィルタ４００₁₀、４００₁₁および４００₁₂による各マイクロレンズ像３０において、被写体のエッジの方向に距離精度が依存する方向依存性が生じてしまう可能性がある。

一方、図１５（ｂ）に例示される配列では、カラーフィルタ４００₁₀と、カラーフィルタ４００₁₀と同色の各カラーフィルタ４００₁₁および４００₁₂とが、１軸上に並んでいない。すなわち、図１５（ｂ）の例では、カラーフィルタ４００₁₀と同色の各カラーフィルタ４００₁₁および４００₁₂は、カラーフィルタ４００₁₀および４００₁₁を結ぶ第１の軸と、カラーフィルタ４００₁₀および４００₁₂を結ぶ第２の軸との２軸を有し、第２の条件を満たしている。したがって、図１５（ｂ）の配列は、上述した図１５（ａ）の配列と比較して、被写体のエッジ方向に対する距離精度の方向依存性が小さく、より望ましい配列である。

ここで、六方配列のカラーフィルタアレイ４０における各色カラーフィルタの配列の周期性を考慮する。この場合、第２の条件すなわち異なる軸方向に同色のカラーフィルタが存在することは、１のカラーフィルタの近傍の、当該１のカラーフィルタと同色のカラーフィルタが、当該１のカラーフィルタに対して点対称の位置に存在しない、という条件に換言できる。

これは、すなわち、六方配列のカラーフィルタアレイ４０における望ましいカラーフィルタ配列の条件として、注目するカラーフィルタに対して隣接する６のカラーフィルタにおいて、少なくとも１の色について、同色のカラーフィルタが非点対称に配置されている配列である、という第３の条件に纏めることができる。

図１６を用いて、実施形態に係る、各カラーフィルタの位置関係についてより具体的に説明する。なお、図１６では、説明のため、２のカラーフィルタを介在させた範囲までを近傍と見做している。

図１６において、カラーフィルタ４００₂₀〜４００₂₅は、互いに同色であるものとする。カラーフィルタ４００₂₀を中心と考え、カラーフィルタ４００₂₁および４００₂₂は、カラーフィルタ４００₂₀に対して点対称の位置にあって第３の条件を満たしていない。この場合、画像マッチングの計算は、カラーフィルタ４００₂₁、４００₂₀および４００₂₂を結ぶ１軸方向で行われるため、被写体のエッジ方向に対する距離精度の方向依存性が高くなり、好ましくない。

一方、カラーフィルタ４００₂₃および４００₂₄は、カラーフィルタ４００₂₀に対して点対称の位置に無く、第３の条件を満たしている。したがって、カラーフィルタ４００₂₀および４００₂₃を結ぶ軸方向と、カラーフィルタ４００₂₀および４００₂₄を結ぶ軸方向との２軸方向で、画像マッチングの計算が可能とされ、被写体のエッジ方向に対する距離精度の方向依存性を抑制できる。

（実施形態に係るカラーフィルタ配列の具体例）
次に、上述の第１および第３の条件を纏めた条件を満たし、且つ、最小再構成倍率が比較的小さいカラーフィルタ配列の具体的な例について、図１７〜図１９を用いて説明する。

図１７は、ＲＧＢ各色成分の比が１：１：１であるカラーフィルタアレイ４０Ａの例を示す。最小繰り返し単位の領域６０Ａは、この例では、２のＲ色のカラーフィルタの一部と、それぞれ１のＧ色およびＢ色のカラーフィルタの一部とを含んで構成される。このカラーフィルタアレイ４０Ａは、最小再構成倍率１／Ｎ＝２．０となる。

図１７（ａ）に示されるように、カラーフィルタアレイ４０Ａの配列は、例えば、１のＢ色のカラーフィルタ４００Ｂ₁と、１のＧ色のカラーフィルタ４００Ｇ₁と、１のＲ色のカラーフィルタ４００Ｒ₁とを直線上に順次隣接して並べた組を繰り返し配置する。また、当該組を、該直線に隣接して１．５フィルタ分ずらして、例えばカラーフィルタ４００Ｂ₁に対して１．５フィルタ分ずらしたカラーフィルタ４００Ｂ₁’の位置を基準として繰り返して配置することで構成できる。

このカラーフィルタアレイ４０Ａの配列は、図１７（ｂ）に示されるように、例えばＧ色のカラーフィルタ４００Ｇ₀に注目した場合、隣接する各カラーフィルタは、Ｂ色とＲ色とが交互に並び、カラーフィルタ４００Ｇ₀に対して同色のカラーフィルタが非点対称となる。したがって、第３の条件を満たしている。また、ＲＧＢ各色のカラーフィルタは、領域６０Ａをずらしていくことで、同色の２のカラーフィルタが領域６０Ａ内に掛かることが分かり、第１の条件を満たしている。

図１８は、ＲＧＢ各色成分の比が１：２：１であるカラーフィルタアレイ４０Ｂの例を示す。最小繰り返し単位の領域６０Ｂは、この例では、４のＲ色のカラーフィルタの一部と、３のＧ色のカラーフィルタの一部と、Ｂ色のカラーフィルタとを含んで構成される。このカラーフィルタアレイ４０Ｂは、最小再構成倍率１／Ｎ＝２．６となる。

図１８（ａ）に示されるように、カラーフィルタアレイ４０Ｂの配列は、例えば、１のＲ色のカラーフィルタ４００Ｒ₂と、２のＧ色のカラーフィルタ４００Ｇ₂₁および４００Ｇ₂₂と、１のＢ色のカラーフィルタ４００Ｂ₂とを直線上に順次隣接して並べた組を繰り返し配置する。また、当該組を、該直線に隣接して１．５フィルタ分ずらして、例えばカラーフィルタ４００Ｒ₂に対して１．５フィルタ分ずらしたカラーフィルタ４００Ｒ₂’の位置を基準として繰り返して配置することで構成できる。

このカラーフィルタアレイ４０Ｂの配列は、図１８（ｂ）に示されるように、例えばＧ色のカラーフィルタ４００Ｇ₀に注目した場合、隣接する各カラーフィルタは、点線の矢印で示されるように、Ｂ色のカラーフィルタが１軸に並び点対称となる。一方、他のＧ色およびＲ色のカラーフィルタは、非点対称となる。したがって、第３の条件を満たしている。また、ＲＧＢ各色のカラーフィルタは、領域６０Ｂを例えば１フィルタ分上にずらすことで、同色の２以上のカラーフィルタが領域６０Ｂ内に掛かることが分かり、第１の条件を満たしている。

図１９は、ＲＧＢ各色成分の比が１：３：１であるカラーフィルタアレイ４０Ｃの例を示す。最小繰り返し単位の領域６０Ｃは、この例では、１のＲ色のカラーフィルタと、６のＧ色のカラーフィルタの一部と、２のＢ色のカラーフィルタの一部とを含んで構成される。このカラーフィルタアレイ４０Ｃは、最小再構成倍率１／Ｎ＝２．８となる。

図１９（ａ）に示されるように、カラーフィルタアレイ４０Ｃの配列は、例えば、１のＲ色のカラーフィルタ４００Ｒ₃と、３のＧ色のカラーフィルタ４００Ｇ₃₁、４００Ｇ₃₂および４００Ｇ₃₃と、１のＢ色のカラーフィルタ４００Ｂ₃とを直線上に順次隣接して並べた組を繰り返し配置する。また、当該組を、該直線に隣接して１．５フィルタ分ずらして、例えばカラーフィルタ４００Ｒ₃に対して１．５フィルタ分ずらしたカラーフィルタ４００Ｒ₃’の位置を基準として繰り返して配置することで構成できる。

このカラーフィルタアレイ４０Ｃの配列は、図１９（ｂ）に示されるように、例えばＲ色のカラーフィルタ４００Ｒ₀に注目した場合、隣接する各カラーフィルタは、点線の矢印で示されるように、１組のＧ色のカラーフィルタ４００が１軸に並び点対称となる。一方、Ｂ色のカラーフィルタは、非点対称となる。したがって、第３の条件を満たしている。また、ＲＧＢ各色のカラーフィルタは、領域６０Ｃを例えば１フィルタ分上にずらすことで、同色の２以上のカラーフィルタが領域６０Ｃ内に掛かることが分かり、第１の条件を満たしている。

このように、図１７〜図１９に示した配列のカラーフィルタアレイ４０Ａ〜４０Ｃを用いることで、リフォーカス処理において解像度の高い再構成画像を得ることができ、また、被写体のエッジの方向に距離精度が依存する方向依存性を抑制することができる。

（カラーフィルタアレイの他の例）
上述では、カラーフィルタアレイ４０として、ＲＧＢの３色のカラーフィルタ４００を用いた例について説明したが、実施形態に適用可能なカラーフィルタアレイの構成は、この例に限定されない。例えば、Ｃ(Cyan)、Ｍ(Magenta)およびＹ(Yellow)各色による補色フィルタを組み合わせたカラーフィルタアレイを用いてもよい。

さらに、ＲＧＢ各色のカラーフィルタを用いる例において、Ｇ色のカラーフィルタの領域をカラーフィルタの無い領域または無色のフィルタ領域としてもよい（以下、白色成分領域と呼ぶ）。この場合、白色成分領域を通る光は、ＲＧＢ各色を含む白色光となる。画像処理部２３は、リフォーカス処理による再構成画像の形成時に、図１１（ｂ）で示した重ね合わせ領域５０_RGBにおいて、白色成分領域の再構成画像の各画素の輝度値から、Ｒ成分の再構成画像（拡大マイクロレンズ像５０_R）の輝度値と、Ｂ成分の再構成画像（拡大マイクロレンズ像５０_B）の輝度値との和を差し引くことで、Ｇ成分の再構成画像を生成することができる。白色成分領域と置き換えるカラーフィルタは、Ｇ色のカラーフィルタに限定されず、領域とＲ色およびＢ色の何れのカラーフィルタであってもよい。

なお、上述では、カラーフィルタアレイ４０がＲＧＢの３色のカラーフィルタ４００を含むように説明したが、これはこの例に限定されない。例えば、限定的な色しか存在しない環境であれば、Ｒ色のカラーフィルタとＧ色のカラーフィルタとの２色のカラーフィルタでカラーフィルタアレイを構成してもよい。また、４色以上のカラーフィルタを用いてカラーフィルタアレイを構成してもよい。この場合には、より色分別の精度を向上させることができる。

なお、本発明は上述した各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ 撮像装置
１０ カメラモジュール
１１ メインレンズ
１２ マイクロレンズアレイ
１３ 撮像素子
２３ 画像処理部
３０，３０₁，３０₂，３０₃ マイクロレンズ像
４０，４０Ａ，４０Ｂ，４０Ｃ カラーフィルタアレイ
６０，６０Ａ，６０Ｂ，６０Ｃ 領域
１２０，１２０₁，１２０₂，１２０₃，１２０₄，１２０₅ マイクロレンズ
４００，４００₁，４００₂，４００₃，４００₄，４００₅，４００₁₀，４００₁₁，４００₁₂，４００₂₀，４００₂₁，４００₂₂，４００₂₃，４００₂₄，４００₂₅，４００Ｒ，４００Ｒ₀，４００Ｒ₁，４００Ｒ₂，４００Ｒ₂’，４００Ｒ₃，４００Ｒ₃’，４００Ｒ_4，４００Ｂ，４００Ｂ₁，４００Ｂ₁’，４００Ｂ₂，４００Ｂ₃，４００Ｇ₀，４００Ｇ₁，４００Ｇ₂₁，４００Ｇ₂₂，４００Ｇ₃₁，４００Ｇ₃₂，４００Ｇ₃₃ カラーフィルタ

実施形態のカラーフィルタアレイは、複数色のカラーフィルタを含むカラーフィルタアレイである。実施形態によるカラーフィルタアレイは、それぞれの色のカラーフィルタが、マイクロレンズアレイに含まれる複数のマイクロレンズであって、それぞれ複数の画素に光を照射する複数のマイクロレンズのうち何れかに対応して配置される。

Claims (12)

1. 複数色のカラーフィルタを備え、
   前記複数色のカラーフィルタが１色のカラーフィルタ毎に、それぞれ複数画素に光を照射する複数のマイクロレンズを含むマイクロレンズアレイの該複数のマイクロレンズのうち何れかに対応して配置される
   ことを特徴とするカラーフィルタアレイ。
2. 前記複数色のカラーフィルタは、
   １のカラーフィルタに隣接して配置されるカラーフィルタのうち、少なくとも１色の２のカラーフィルタが該１のカラーフィルタに対して非点対称に配置される
   ことを特徴とする請求項１に記載のカラーフィルタアレイ。
3. 前記複数色のカラーフィルタは、
   第１のカラーフィルタの近傍に、該第１のカラーフィルタと同色の少なくとも１の第２のカラーフィルタが配置される
   ことを特徴とする請求項１に記載のカラーフィルタアレイ。
4. 前記複数色のカラーフィルタは、
   互いに隣接し且つ直線上に２色以上のカラーフィルタが並ぶ配置を含む
   ことを特徴とする請求項１に記載のカラーフィルタアレイ。
5. 前記複数色のカラーフィルタは、六方格子状に配置され、
   １の第１色のカラーフィルタと、１の第２色のカラーフィルタと、１の第３色のカラーフィルタとが直線上に順次隣接して並ぶ組が該直線上に繰り返し配置されると共に、該組が該直線と隣接して１．５フィルタ分ずらして繰り返し配置される
   ことを特徴とする請求項１に記載のカラーフィルタアレイ。
6. 前記複数色のカラーフィルタは、六方格子状に配置され、
   １の第１色のカラーフィルタと、２の第２色のカラーフィルタと、１の第１色のカラーフィルタとが直線上に順次隣接して並ぶ組が該直線上に繰り返し配置されると共に、該組が該直線と隣接して１．５フィルタ分ずらして繰り返し配置される
   ことを特徴とする請求項１に記載のカラーフィルタアレイ。
7. 前記複数色のカラーフィルタは、六方格子状に配置され、
   １の第１色のカラーフィルタと、３の第２色のカラーフィルタと、１の第３色のカラーフィルタとが直線上に順次隣接して並ぶ組が該直線上に繰り返し配置されると共に、該組が該直線と隣接して１．５フィルタ分ずらして繰り返し配置される
   ことを特徴とする請求項１に記載のカラーフィルタアレイ。
8. 前記複数色のカラーフィルタは、
   ２色以上のカラーフィルタを含む
   ことを特徴とする請求項１に記載のカラーフィルタアレイ。
9. 前記複数色のカラーフィルタは、
   カラーフィルタが無い領域を含む
   ことを特徴とする請求項１に記載のカラーフィルタアレイ。
10. 前記複数色のカラーフィルタは、
    各カラーフィルタの形状が円形である
    ことを特徴とする請求項１に記載のカラーフィルタアレイ。
11. 前記複数色のカラーフィルタは、六方格子状に配置され、
    各カラーフィルタの形状が六角形である
    ことを特徴とする請求項１に記載のカラーフィルタアレイ。
12. カラーフィルタアレイと、
    マイクロレンズアレイと、
    前記カラーフィルタアレイおよび前記マイクロレンズアレイを通って光が照射される撮像素子と
    を備え、
    前記カラーフィルタアレイは、
    複数色のカラーフィルタを備え、
    前記複数色のカラーフィルタが１色のカラーフィルタ毎に、それぞれ複数画素に光を照射する複数のマイクロレンズを含む前記マイクロレンズアレイの該複数のマイクロレンズのうち何れかに対応して配置される
    ことを特徴とする固体撮像素子。