JP5607265B2 - 撮像装置、撮像装置の制御方法、及び制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、及び制御プログラムに係り、特に、カラー撮像素子を備えた撮像装置、撮像装置の制御方法、及び制御プログラムに関する。

カラー撮像素子で広く用いられている色配列である原色系ベイヤー配列（例えば特許文献１〜３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置している。

特開２００２−１３５７９３号公報 特許第３９６０９６５号公報 特開２００４−２６６３６９号公報

ところで、カラー撮像素子としては、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等が用いられる。このうちＣＭＯＳ等のＭＯＳ型のイメージセンサでは、フォトダイオード毎にスイッチが設けられ、走査ライン毎、走査ライン上の複数の画素毎、及び１画素毎の何れか毎に順次シャッタパルスを印加してフォトダイオードに蓄積された電荷の掃き出しを行なう、所謂ローリングシャッタ方式により電荷の掃き出しを動画撮影等の場合に行う。

具体的には、１画面内の全画素に対して一斉にリセットを行うのではなく、走査ライン毎、走査ライン上の複数の画素毎、及び１画素毎の何れか毎に順次リセットを行って露光を開始し、撮像信号の読み出しを実行する。このローリングシャッタ方式の場合、例えば走査ライン毎にリセット、露光、読み出しを繰り返す。

また、ＭＯＳ型のイメージセンサでは、装置の高精細化のために、複数の画素で１つのアンプ等を共有する場合がある。この場合、共有画素内の１つの画素しか読み出すことはできない。これは、例えば垂直方向に画像データを間引いて読み出す場合において、垂直方向における共有画素内で複数のライン画像データを読み出そうとすると、共有画素内において最初に読み出すライン上の画素のリセット、露光、読み出しが終了してから、共有画素内において次に読み出すライン上の画素のリセット、露光、読み出しを行わなければならず、露光タイミングに大きな差が生じ、画像に偽色が生じる等の画質に悪影響を及ぼす場合がある。

従来では、例えば２×２画素で一つのアンプを共有するのが一般的であるが、従来のベイヤー配列の場合、カラーフィルタ配列の繰り返しの最小単位である基本配列パターンが２×２画素であり、アンプの共有画素のサイズと基本配列パターンの画素のサイズが一致する。ベイヤー配列では、Ｒ，Ｇ，Ｂの画素信号を得るために、Ｇ画素とＲ画素からなるライン及びＧ画素とＢ画素からなるラインを交互に読み出すための最小の周期の間引き読出しは、３ライン毎に１ライン分の画像データの読み出す垂直方向１／３間引きである。この場合、共有画素内で複数のライン画像を読み出すことはなく、上記のような問題は生じない。

尚、仮に２ライン毎に１ライン分の画像データの読み出す場合（垂直方向１／２間引き）であっても、共有画素内で複数のライン画像を読み出すことはなく、上記のような問題は生じない。

一方、基本配列パターンが３×３以上の場合には、アンプ等を共有するサイズは、以下の理由により本来は基本配列パターンのサイズに合わせた方が好ましい。

共有アンプを基準にした画素の相対位置に応じて、下地のレイアウトの違い等に因り感度がばらつくため、同じ領域内の同色の画素間でも信号量に差が生じてしまう。そこで、複数の画素でアンプ等の回路素子を共有する構造に起因した信号量のばらつきと、更に撮像素子のカラーフィルタの色配列に起因した混色などの信号量のばらつきとの両方を補正するため、基本配列パターンの繰り返し周期（Ｎ×Ｍ）とアンプ共有構造の繰り返し周期（Ｋ×Ｌ）との最小公倍数に相当する数（ＮＫ×ＭＬ）の補正係数を予め記憶しておき、その中から各画素ごとに適切な補正係数を選択し、その選択した補正係数を各画素の信号量に掛けるようにすることが考えられる。しかしながら、カラーフィルタが２×２のベイヤー配列であってアンプ共有構造も２×２の４画素正方配列である場合には４個の補正係数で済むが、例えばカラーフィルタ配列が３×３配列であったり６×６配列であるような場合には、補正係数の数（ＮＫ×ＭＬ）が膨大になってしまい、補正処理の時間や回路規模が増大してしまう。そのため、補正係数の数を減らすためにアンプの共有構造と基本配列パターンのサイズを合わせた方が好ましい。

しかしながら、基本配列パターンが３×３以上の場合には、ベイヤー配列とはカラーフィルタの配列が異なるため、垂直方向１／２間引きでライン画像データを読み出してもＲ，Ｇ，Ｂの画素信号を取得可能な場合がある。そこで、本来好ましい上記のようなアンプの共有構造と基本配列パターンのサイズを一致させた撮像素子において、所望の解像度を得るために垂直方向１／２間引きでライン画像データを読み出した場合には、共有画素内で複数のライン画像データを読み出すこととなり、上記のような露光タイミングに大きな差が生じる、という問題がある。

本発明は上記問題点を解決するためになされたものであり、複数の画素でアンプを共有する場合において、間引いて画像データを読み出した場合でも、露光タイミングに大きな差が生じるのを防ぐことができる撮像装置、撮像装置の制御方法、及び制御プログラムを提供することを目的とする。

上記課題を解決するため、本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、第１の方向及び第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、共有画素毎に撮像信号を増幅する増幅手段と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子に対して、画素毎、第２の方向に沿った走査ライン毎、及び第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿って配列されている画素のライン画像データを生成するライン画像データ生成手段と、ライン画像データに基づいて画像データを生成する画像データ生成手段と、を備えたことを特徴とする。

この発明によれば、第１の方向及び第２の方向に（Ｋ×Ｌ）画素を共有画素として、共有画素毎に撮像信号を増幅する増幅手段と、第１のフィルタ及び第２のフィルタが第１の方向及び第２の方向に（Ｎ×Ｍ）画素の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた構成において、撮像素子に対して、画素毎、第２の方向に沿った走査ライン毎、及び第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、撮像素子から、第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿ったライン画像データを読み出す。これにより、第１の方向における共有画素内で複数ラインのライン画像データを読み出すことはないため、第１の方向に間引いてライン画像データを読み出した場合でも、露光タイミングに大きな差が生じるのを防ぐことができる。

なお、ライン画像データ生成手段は、第２の方向にＬ画素以上Ｍ画素以下の周期の画素の画素データを生成するようにしてもよい。

この発明によれば、第１の方向だけでなく、第２の方向における共有画素内で第１の方向に沿った複数ラインのライン画像データを生成することはないため、第２の方向に間引いてライン画像データを生成した場合でも、露光タイミングに大きな差が生じるのを防ぐことができる。

また、ライン画像データ生成手段は、撮像素子から複数の画素における画素信号を読み出す設定された周期として、複数の画素のうち第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿って配列されている画素の画素信号を読み出してライン画像データを生成するようにしてもよい。

また、ライン画像データ生成手段は、撮像素子から複数の画素における画素信号を読み出す設定された周期として、複数の画素のうち第２の方向にＬ画素以上Ｍ画素以下の周期で配列されている画素の画素信号を読み出してライン画像データを生成するようにしてもよい。

また、第１のフィルタは、カラーフィルタ内において、第１の方向と、第２の方向と、第１の方向及び第２の方向と交差する第３の方向と、の各ライン内に配置され、第２の色の各色に対応する記第２のフィルタは、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に各々１つ以上配置された構成としてもよい。

この発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ内において、第１の方向〜第３の方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色の各色に対応する第２のフィルタについては、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。

また、カラーフィルタは、第１のフィルタからなる２×２画素に対応する正方配列を含む構成としてもよい。

この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

また、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）である構成としてもよい。

また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されている構成としてもよい。

この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。

また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されていてもよい。

この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

本発明の撮像装置の制御方法は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、第１の方向及び第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、共有画素毎に撮像信号を増幅する増幅手段と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置の制御方法であって、撮像素子に対して、画素毎、第２の方向に沿った走査ライン毎、及び第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿って配列されている画素のライン画像データを生成し、ライン画像データに基づいて画像データを生成することを特徴とする。

本発明の制御プログラムは、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、第１の方向及び第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、共有画素毎に撮像信号を増幅する増幅手段と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータに、撮像素子に対して、画素毎、第２の方向に沿った走査ライン毎、及び第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、撮像素子から、複数の画素における画素信号を設定された周期で読出すステップと、読み出した画素信号から、複数の画素のうち第１の方向にＫ画素以上Ｎ画素以下の周期で第２の方向に沿って配列されている画素のライン画像データを生成するステップと、ライン画像データに基づいて画像データを生成するステップと、を含む処理を実行させることを特徴とする。

本発明によれば、複数の画素でアンプを共有する場合において、間引いて画像データを読み出した場合でも、露光タイミングに大きな差が生じるのを防ぐことができる、という効果を有する。

第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第１実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第１実施形態に係るＣＭＯＳセンサで構成された撮像素子の概略構成図である。 画素共有の構成を示す構成図である。 各走査ラインの露光等のタイミングについて説明するための図である。 垂直方向及び水平方向ともに１／２間引きで読み出す場合について説明するための図である。 従来の各走査ラインの露光等のタイミングについて説明するための図である。 間引き後の画像について説明するための図である。 制御部で実行される処理を示すフローチャートである。 第１実施形態に係る各走査ラインの露光等のタイミングについて説明するための図である。 第１実施形態に係る各走査ラインの露光等のタイミングについて説明するための図である。 第１実施形態に係る間引き後の画像について説明するための図である。 共有画素と読み出す画素との位置関係を示す図である。 共有画素と読み出す画素との位置関係を示す図である。 第２実施形態に係るカラーフィルタの構成図である。 第２実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第２実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第２実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第２実施形態に係る間引き後の画像について説明するための図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)等のＭＯＳ型のイメージセンサで構成された撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。

＜カラーフィルタ配列の特徴＞

第１実施形態のカラーフィルタは、下記の特徴(1)〜(6)を有している。

〔特徴(1)〕

カラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のフィルタが、垂直方向及び水平方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、緑（Ｇ）のフィルタと、赤（Ｒ）及び青（Ｂ）の少なくとも一方の色のフィルタと、が垂直方向及び水平方向に各々配置された基本配列パターンが、繰り返し配置されたものとなっている。

本実施形態に係る図２に示すカラーフィルタは、一例として６×６画素（Ｎ＝Ｍ＝６）に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが垂直方向（第１の方向）及び水平方向（第２の方向）に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化処理（デモザイク処理ともいう。以下同じ）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

〔特徴(2)〕

図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の第１の方向である垂直方向、第２の方向である水平方向、及びカラーフィルタ面内において、第１の方向及び第２の方向と交差する第３の方向、すなわち斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に配置されている。なお、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり、長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の垂直方向、水平方向、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

〔特徴(3)〕

図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。

これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルターを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴(4)〕

図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、図４に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

すなわち、図２に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

いま、図５に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図５に示す配置になっている。

図５に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。

いま、図４又は図５に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。判別された相関方向は、同時化処理等を行う際に利用することができる。

〔特徴(5)〕

図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図３に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

〔特徴(6)〕

図２に示すカラーフィルタ配列を構成する基本配列パターンＰのサイズは、前述したように（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）である。また、詳細は後述するが、１つのアンプで複数の画素を共有する共有画素のサイズは、（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）である。そして、基本配列パターンＰのサイズは、共有画素のサイズよりも大きい。すなわち、Ｎ＞Ｋ，Ｍ＞Ｌを満たす。

撮像素子１４は、前述したように、ＣＭＯＳイメージセンサで構成されている。図６には、ＣＭＯＳイメージセンサで構成された撮像素子１４の概略構成を示した。同図に示すように、撮像素子１４は、半導体基板上に形成された画素アレイ３０、垂直駆動走査回路３２、列信号処理回路３４、水平駆動走査回路３６、信号線３８、及びアンプ４０を含んで構成されている。

画素アレイ３０は、垂直方向及び水平方向の二次元状に配列された複数の画素を含んで構成されている。

垂直駆動走査回路３２は、水平方向に沿った走査ライン上の複数の画素をまとめて選択して駆動する。なお、走査ライン上の画素を１つずつ選択して駆動することも可能である。

列信号処理回路３４は、図示しない複数の信号処理回路で構成されている。この信号処理回路は、水平方向の共有画素毎に設けられる。各信号処理回路は、図示しないＡＤＣ（アナログ−デジタル変換）回路を含んで構成されている。このＡＤＣ回路は、各画素からの画素値に応じた撮像信号をデジタル信号に各々変換する。

水平駆動走査回路３６は、列信号処理回路３４に含まれる複数の信号処理回路の各々に接続された図示しないスイッチと、このスイッチをオンオフ制御する図示しない制御回路とで構成されている。このスイッチがオンされることにより、信号処理回路で処理された撮像信号が信号線３８に出力され、この撮像信号がアンプ４０を介して撮像素子１４の外部に出力される。

なお、垂直駆動走査回路３２、列信号処理回路３４、及び水平駆動走査回路３６は、駆動部２２により制御される。

また、画素アレイ３０は、垂直方向及び水平方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、当該共有画素毎に撮像信号を増幅するアンプを共有画素毎に備えている。

図７には、垂直方向及び水平方向に２×２画素の合計４画素を共有画素として、これら４画素を同一のアンプで増幅する場合の構成を示した。

図７に示すように、画素としてのフォトダイオードＰＤ１〜ＰＤ４のカソードには、各々ＭＯＳトランジスタ等で構成されたスイッチＳＷ１〜ＳＷ４の一端が各々接続されている。そして、スイッチＳＷ１〜ＳＷ４の他端はリセットスイッチＲＳＴ及びアンプＡＰの入力端に接続されており、アンプＡＰの出力端は信号線Ｓに接続されている。信号線Ｓは、列信号処理回路３４の図示しない信号処理回路に接続されている。

スイッチＳＷ１〜ＳＷ４には、垂直駆動走査回路３２から電荷転送制御信号ＶＴ１〜ＶＴ４が各々入力される。垂直駆動走査回路３２は、電荷を読み出したいスイッチをオンすることにより、そのスイッチが接続されたフォトダイオードに蓄積された電荷をアンプＡＰで増幅させて信号線Ｓに出力させる。

本実施形態では、図７に示すように２×２画素毎に１つのアンプＡＰが接続された構成となっているため、スイッチの数を減らすことができ、高精細化が可能となる。なお、画素共有する画素数は、２×２画素に限らず、３×３画素以上でもよいし、垂直方向に共有する画素数と水平方向に共有する画素数とが異なっていても良い。

また、図７に示すようにフォトダイオード毎にスイッチが設けられたＭＯＳ型イメージセンサでは、走査ライン毎、走査ライン上の複数の画素毎、及び１画素毎の何れか毎に順次シャッタパルスを印加してフォトダイオードに蓄積された電荷の掃き出しを行なう所謂ローリングシャッタ方式により電荷の掃き出しを行う。

具体的には、１画面内の全画素に対して一斉にリセットを行うのではなく、走査ライン毎、走査ライン上の複数の画素毎、及び１画素毎の何れか毎に順次リセットを行って露光を開始し、撮像信号の読み出しを実行する。

ローリングシャッタ方式の場合、図８に示すように、例えば走査ライン毎にリセット、露光、読み出しを繰り返す。

従って、例えば垂直方向に画像データを間引いて読み出す場合において、垂直方向における共有画素内で複数のライン画像データを読み出そうとすると、共有画素内において最初に読み出すライン上の画素のリセット、露光、読み出しが終了してから、共有画素内において次に読み出すライン上の画素のリセット、露光、読み出しを行わなければならない。このため、露光タイミングに大きな差が生じ、画像に偽色が生じる等の悪影響を及ぼす。

例えば、図９に示すように、共有画素を３×３画素（図中太線枠で示す）として、垂直方向１／２間引き及び水平方向１／２間引きでライン画像データを読み出す場合について考える。図９に示すように、垂直方向の位置を行、水平方向の位置を列とし、各共有画素内の各画素を画素１〜９とすると、垂直方向１／２間引きの場合は、２行毎に各画素の画素データが読み出される。また、水平方向１／２間引きの場合は、２列毎に各画素の画素データが読み出される。従って、図９のハッチングで示した画素の画素値が読み出される。

ここで、例えば１行１列目の画素１、１行３列目の画素３、３行１列目の画素７、３行３列目の画素９は、３×３画素の共有画素内の画素となっている。共有画素内では、１つのアンプを共有しているため、これら４個の画素の画素データを一度に読み出すことはできない。

従って、図１０に示すように、最初の走査では、１行１列目の画素１、１行７列目の画素１、１行１３列目の画素１、・・・のように、１行目の各画素１のうち、水平方向１／２間引きで読み出される位置の画素１について走査、すなわち、リセット（Ｒ）、露光（１＿露光）、読み取り（取）が行われる。

そして、図１０に示すように、最初の走査のリセットが終了すると、次の走査が開始される。すなわち、１行５列目の画素２、１行１１列目の画素２、１行１７列目の画素２、・・・のように、１行目の各画素２のうち、水平方向１／２間引きで読み出される位置の画素２について、リセット（Ｒ）、露光（２＿露光）、読み取り（取）が行われる。

２回目の走査のリセットが終了すると、次の走査が開始される。すなわち、１行３列目の画素３、１行９列目の画素３、１行１５列目の画素３、・・・のように、１行目の各画素３のうち、水平方向１／２間引きで読み出される位置の画素３について、リセット（Ｒ）、露光（３＿露光）、読み取り（取）が行われる。

以降、図１０に示すように、３行目、５行目も１行目と同様に、３回ずつ走査が行われる。このように、３×３画素を共有画素として、垂直方向及び水平方向ともに１／２間引きで各画素の画素データを読み出すと、垂直方向及び水平方向ともに共有画素内で複数の画素を読み出さなければならないため、１行当たり３回走査しなければならない。これにより、同じ行の画素でも露光タイミングが異なるため、例えば動きの速い被写体を動画撮影したような場合、画素単位で信号量がばらつくことによって同時化処理等の補間処理の精度が悪化し、偽色が発生する場合がある。

特に、図２に示すカラーフィルタの場合、垂直方向１／２間引き及び水平方向１／２間引きで各画素の画素データを読み取った場合、間引き後の画素の配置は図１１に示すような配置となる。この場合、同じ共有画素内の四隅の画素１、３、５、７、９は、Ｇ画素であり、それぞれ露光タイミングが異なる。このため、特に点線領域で示した画素１、３、７、９は、２×２画素で隣接して配置されるため、露光タイミングが異なることによる信号量の段差による悪影響が大きくなる。

そこで、詳細は後述するが、本実施形態では、垂直方向にＫ画素以上の周期で水平方向に沿ったラインのライン画像データを読み出すように撮像素子１４を駆動する。また、このとき、水平方向に沿ったライン上の各画素のうち、水平方向にＬ画素以上の周期の画素のみ読み出す。本実施形態では、共有画素は２×２画素であるので（Ｋ＝Ｌ＝２）、垂直方向に２ライン周期以上の周期で水平方向に沿ったライン画像データを読み出す。これにより、垂直方向における共有画素内で複数の水平方向に沿ったライン画像データを読み出すことはなく、露光タイミングに大きな差が生じるのを防ぐことができる。また、水平方向においても、水平方向にＬ画素以上の周期の画素のみ読み出すので、水平方向における共有画素内で複数の画素の画素データを読み出すことはなく、露光タイミングに大きな差が生じるのを防ぐことができる。

すなわち、本実施形態では、垂直方向及び水平方向のそれぞれにおいて、共有画素内においては１つの画素しか読み出さないため、露光タイミングに大きな差が生じるのを防ぐことができる。

また、本実施形態では、カラーフィルター配列の特徴(2),(3)のうち、少なくともＧフィルタ、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されているため、基本配列パターンのサイズＮ×Ｍ以下の周期で水平方向及び又は垂直方向に沿ったラインのライン画像データを読み出しても、Ｒ，Ｇ，Ｂの各画素信号が得られるため色再現が可能である。

撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画像データとして画像処理部２０に出力する。

画像処理部２０は、撮像処理部１６から出力された画像データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画像データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画像データを生成する。そして、生成したＲ，Ｇ，Ｂの画像データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。

駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。

制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。

撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。

撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画（ライブビュー画像）を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがあるが、撮影モードの種類はこれらに限られるものではない。

次に、本実施形態の作用として、制御部２４で実行される処理について、図１２に示すフローチャートを参照して説明する。

なお、図１２に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。また、以下では、垂直方向において予め定めた周期でライン画像データを読み出す場合、すなわち、垂直方向における予め定めた周期のライン以外のラインを間引いて（除いて）読み出す場合について説明する。また、この場合のライン画像データとは、水平方向に沿って並ぶ画素の画素データの集合である。

まず、ステップ１００では、撮影モードに応じた間引き方法で画像データを読み出すように駆動部２２に指示する。

本実施形態では、垂直方向に２ライン以上の周期で水平方向に沿ったラインのライン画像データを読み出すように撮像素子１４を駆動すると共に、水平方向に沿ったライン上の各画素のうち、水平方向に２画素以上の周期の画素のみ読み出す。すなわち、制御部２４は、垂直方向及び水平方向共に１／２間引きで読み出すように駆動部２２に指示する（本実施形態では、駆動部２２及び制御部２４が、ライン画像データ生成手段に対応する）。

これにより、図１３に示すハッチングで示した画素の画素データが読み出される。すなわち、垂直方向及び水平方向共に２画素周期で画素データが読み出される。

具体的には、図１３に示すように、垂直方向の位置を行、水平方向の位置を列とし、２×２画素（図中太線枠で示す）の各共有画素内の各画素を画素１〜４とすると、最初の走査では、１行１列目の画素１、１行３列目の画素１、１行５列目の画素１、・・・のように、１行目の全ての画素１について、走査が行われる。すなわち、図１４に示すように、１行目の全ての画素１について、リセット（Ｒ）、露光（１＿露光）、読み取り（取）が行われる。

そして、図１４に示すように、最初の走査のリセットが終了すると、次の走査が開始される。すなわち、３行１列目の画素１、３行３列目の画素１、３行５列目の画素１、・・・のように、３行目の全ての画素１について、リセット（Ｒ）、露光（２＿露光）、読み取り（取）が行われる。

２回目の走査のリセットが終了すると、次の走査が開始される。すなわち、５行１列目の画素１、５行３列目の画素１、５行５列目の画素１、・・・のように、５行目の全ての画素１について、リセット（Ｒ）、露光（３＿露光）、読み取り（取）が行われる。

以降、図１４に示すように、５行目、７行目、９行目等も１行目と同様に、１回ずつ走査が行われる。このように、２×２画素を共有画素として、垂直方向及び水平方向ともに１／２間引きで各画素の画素データを読み出しても、垂直方向及び水平方向ともに共有画素の画素数以上の周期で読み出すため、１行当たり１回の走査で済む。

これにより、同じ行の画素は全て露光タイミングが同一となるため、例えば動きの速い被写体を動画撮影したような場合でも、画素単位で信号量がばらつくことがなく、同時化処理等の補間処理の精度が悪化して偽色が発生するのを防ぐことができる。

なお、垂直方向及び水平方向共に１／２間引きで読み出すと、図１５に示すような画像となる。

ステップ１０２では、間引き読み出しされた画像データに対して、撮影モードに応じた画像処理（例えば同時化処理、ＹＣ変換処理、リサイズ処理等）を実行するよう画像処理部２０に指示する（本実施形態では、画像処理部２０及び制御部２４が、画像データ生成手段に対応する）。

なお、制御部２４及び画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

このように、本実施形態では、垂直方向及び水平方向のそれぞれにおいて、共有画素内においては１つの画素しか読み出さないため、１行の走査が１回で済み、同じ行の画素で露光タイミングに差が生じるのを防ぐことができる。従って、例えば動きの速い被写体を動画撮影したような場合でも、画素単位で信号量がばらつくことによって同時化処理等の補間処理の精度が悪化し、偽色が発生するのを防ぐことができる。

なお、本実施形態では、垂直方向にＫ画素以上の周期で水平方向に沿ったラインのライン画像データを読み出すように撮像素子１４を駆動すると共に、水平方向に沿ったライン上の各画素のうち、水平方向にＬ画素以上の周期の画素のみ読み出すように撮像素子１４を駆動する場合について説明したが、垂直方向についてはＫ画素未満の周期で水平方向に沿ったラインのライン画像データを読み出すように撮像素子１４を駆動するようにしてもよい。

すなわち、図１６に示すように、本実施形態では、垂直方向及び水平方向ともに共有画素Ｃ内において１つの画素Ｄしか読み出さない場合について説明したが、図１７に示すように、垂直方向については、共有画素内で複数の画素Ｄを読み出すようにしてもよい。

（第２実施形態）

次に、本発明の第２実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。

図１８には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１８に示すカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されている。

また、図１８に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。

図１９は、図１８に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図１９に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

図２０Ａに示すように、第２実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。

いま、図２０Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図２０Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ３Ｇ４が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。

従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、垂直方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２−Ｇ７｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化処理等を行う際に利用することができる。

また、図１８に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。

図１９に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＢフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

また、図１８に示すカラーフィルタ配列を構成する基本配列パターンＰのサイズは、（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）であり、共有画素のサイズ（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）よりも大きい。すなわち、Ｎ＞Ｋ，Ｍ＞Ｌを満たす。

このように第２実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(3)〜(6)と同じ特徴を有している（特徴(2),(3)に関しては、Ｇフィルタ、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されているという特徴を有している）。

このようなカラーフィルタの場合、第１実施形態と同様に垂直方向及び水平方向ともに１／２間引きで読み出すと、間引き後の画像は図２１に示すような画像となる。

なお、カラーフィルタ配列は、上記各実施形態で説明したものに限られるものではなく、以下のようなカラーフィルタ配列の撮像素子を有する撮像装置にも、本発明は適用できる。

例えば、上記特徴(1)、(2)、(3)、(6)を有するカラーフィルタ配列として、例えば、図２２に示すような基本配列パターンＰが３×３画素のカラーフィルタがある。このカラーフィルタ配列は、３×３画素のうち中心と４隅にＧフィルタが配置され、残りの４画素にＲまたはＢが同数配置された基本配列パターンが繰り返されたものである。また、垂直方向及び水平方向ともに１／２間引きした場合の画像は図２２に示すような画像となる。

また、上記特徴(1)、(2)、(3)、(6)を有するカラーフィルタとして、図２３に示すような基本配列パターンＰが５×５画素のカラーフィルタ配列がある。このカラーフィルタ配列は、５×５画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が５×５画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。また、垂直方向及び水平方向ともに１／２間引きした場合の画像は図２３に示すような画像となる。

その他にも、上記特徴(1)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図２４に示すように基本配列パターンＰが４×４画素のカラーフィルタ配列がある。このカラーフィルタ配列は、４×４画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が４×４画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。

また、図２５に示すように基本配列パターンＰが５×５画素のカラーフィルタ配列がある。

また、図２６に示すように、基本配列パターンＰが６×６画素のカラーフィルタ配列がある。このカラーフィルタ配列は、ＧがＲまたはＢの外周に矩形状に配置された第１サブ配列と、Ｇが中央部に配置された第２サブ配列とがそれぞれ２つずつ水平方向、垂直方向に交互に互いに隣接するように配置された基本配列パターンが繰り返されたものである。この配列においては、特徴(3)において、Ｒ及びＢもカラーフィルター配列の斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に１つ以上配置される特徴も有する。

また、図２７に示すように、基本配列パターンＰが７×７画素のカラーフィルタ配列、図２８に示すように、基本配列パターンＰが８×８画素のカラーフィルタ配列等がある。

なお、同時化処理や動画撮影時の間引き処理等の画像処理の容易さを考慮すると、Ｎ、Ｍは１０以下であることが好ましい。

また、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図２９に示すようなカラーフィルタにも適用できる。また、他の色として白色または透明（Ｗ）フィルタを有するカラーフィルタにも本発明を適用できる。例えば図２９のエメラルドに代えてＷフィルタを配置しても良い。この場合、ＷとＧの組み合わせ、又はＷが輝度信号に最も寄与する第１の色となる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。

また、本実施形態では、垂直方向及び水平方向ともに２画素周期で読み出して画像データを生成する場合について説明したが、全画素分の画素の画素信号を読み出して、垂直方向及び水平方向ともに２画素周期の画素の画素データを選択的に使って（その他の画素の画素データを使わず又は記憶せず）、画像データを生成するようにしても良い。また、全画素分の画素の画素信号を読み出してＲＡＭ等のメモリに一時記憶し、垂直方向及び水平方向ともに２画素周期の画素の画素データを選択的に使って画像データを作成するようにしても良い（この形態の場合、撮像処理部１６又は画像処理部２０がライン画像データ生成手段に対応する）。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
３０ 画素アレイ
３２ 垂直駆動走査回路
３４ 列信号処理回路
３６ 水平駆動走査回路
３８ 信号線
４０ アンプ
ＡＰ アンプ
Ｐ 基本配列パターン
ＰＤ１〜ＰＤ４ フォトダイオード
ＲＳＴ リセットスイッチ
Ｓ 信号線
ＳＷ１〜ＳＷ４ スイッチ

Claims (11)

1. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
   前記第１の方向及び前記第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、当該共有画素毎に撮像信号を増幅する増幅手段と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
   前記撮像素子に対して、前記画素毎、前記第２の方向に沿った走査ライン毎、及び前記第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち前記第１の方向にＫ画素以上Ｎ画素以下の周期で前記第２の方向に沿って配列されている画素のライン画像データを生成するライン画像データ生成手段と、
   前記ライン画像データに基づいて画像データを生成する画像データ生成手段と、
   を備えた撮像装置。
2. 前記ライン画像データ生成手段は、前記第２の方向にＬ画素以上Ｍ画素以下の周期で配列されている画素の画素データを生成する
   請求項１記載の撮像装置。
3. 前記ライン画像データ生成手段は、前記撮像素子から前記複数の画素における画素信号を読み出す前記設定された周期として、前記複数の画素のうち前記第１の方向にＫ画素以上Ｎ画素以下の周期で前記第２の方向に沿って配列されている画素の前記画素信号を読み出して前記ライン画像データを生成する
   請求項１又は請求項２記載の撮像装置。
4. 前記ライン画像データ生成手段は、前記撮像素子から前記複数の画素における画素信号を読み出す前記設定された周期として、前記複数の画素のうち前記第２の方向にＬ画素以上Ｍ画素以下の周期で配列されている画素の前記画素信号を読み出して前記ライン画像データを生成する
   請求項２又は請求項３記載の撮像装置。
5. 前記第１のフィルタは、前記カラーフィルタ内において、前記第１の方向と、前記第２の方向と、前記第１の方向及び前記第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、
   前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内において、前記第１の方向及び前記第２の方向の各ライン内に各々１つ以上配置された
   請求項１〜請求項４の何れか１項に記載の撮像装置。
6. 前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
   請求項１〜請求項５の何れか１項に記載の撮像装置。
7. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
   請求項１〜請求項６の何れか１項に記載の撮像装置。
8. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
   請求項７記載の撮像装置。
9. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
   請求項７記載の撮像装置。
10. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    前記第１の方向及び前記第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、当該共有画素毎に撮像信号を増幅する増幅手段と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    を備えた撮像装置の制御方法であって、
    前記撮像素子に対して、前記画素毎、前記第２の方向に沿った走査ライン毎、及び前記第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、
    前記読み出した画素信号から、前記複数の画素のうち前記第１の方向にＫ画素以上Ｎ画素以下の周期で前記第２の方向に沿って配列されている画素のライン画像データを生成し、
    前記ライン画像データに基づいて画像データを生成する
    撮像装置の制御方法。
11. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    前記第１の方向及び前記第２の方向に（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）を共有画素として、当該共有画素毎に撮像信号を増幅する増幅手段と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ＞Ｋ，Ｍ＞Ｌ）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    を備えた撮像装置を制御するコンピュータに、
    前記撮像素子に対して、前記画素毎、前記第２の方向に沿った走査ライン毎、及び前記第２の方向に沿った走査ライン上の複数の画素毎の何れか毎に順次シャッタパルスを印加することにより電荷の掃き出しを行なうと共に、前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出すステップと、
    前記読み出した画素信号から、前記複数の画素のうち前記第１の方向にＫ画素以上Ｎ画素以下の周期で前記第２の方向に沿って配列されている画素のライン画像データを生成するステップと、
    前記ライン画像データに基づいて画像データを生成するステップと、
    を含む処理を実行させるための制御プログラム。

Images