JP2008141728A - 撮像ユニット - Google Patents

Abstract

【課題】間引き出力させた画像信号のモアレの発生を減小させる。
【解決手段】撮像素子はマトリックス状に配置された画素２６を有す。ベイヤー方式に応じてカラーフィルタで画素２６を覆う。１、２、５、６、９、１０行目の画素２６から画素信号を出力させる。１、５行１列目の画素信号Ｒ１、Ｒ５および５、９行１列目の画素信号Ｒ５、Ｒ９を平均化して平均化画素信号Ｒ１’およびＲ３’を生成する。２、６行２列目の画素信号Ｂ２、Ｂ６および６、１０行２列目の画素信号Ｂ６、Ｂ１０を平均化して平均化画素信号Ｂ２’およびＢ４’を生成する。１行２列目と２行１列目との画素信号Ｇ１、Ｇ２、２行１列目と５行２列目との画素信号Ｇ２、Ｇ５、６行１列目と９行２列目との画素信号Ｇ６、Ｇ９、および９行２列目と１０行１列目との画素信号Ｇ９、Ｇ１０を平均化して平均化画素信号Ｇ１’、Ｇ２’、Ｇ３’、およびＧ４’を生成する。
【選択図】図５

Description

本発明は、フレームレートを確保しつつモアレの発生が少ない画像を撮影する撮像ユニットに関する。

画素数の大きな撮像素子を有し、静止画および動画を撮影可能なデジタルカメラが知られている。このようなデジタルカメラによって動画を撮影するときは、撮像素子から信号を出力させる画素を間引くことが知られている。なお、画素の間引きとは、撮像素子から画像信号を出力させるときに、画像全体の読出し期間中に一部の画素から信号を読出すことである。

出力する画素を間引くことにより、フレームレートの低下が防止されている。すなわち、単一の画素による画素信号の生成と出力とにかかる時間を一定に保ったまま、受光面全体の読出し動作の高速化が図られている。しかし、フレームレートの低下を防ぐために必要な画素の間引きを行なうことにより、実際の情報が欠落するために偽の模様や、モアレが発生する問題が生じていた。

そこで、撮像素子の全画素から信号を出力させ、後段の画像処理において画素加算することにより、間引き出力を行ったときと同じデータサイズの画像信号を得ることが提案されている（特許文献１参照）。画素加算することによりモアレの発生を防ぐことが可能であるが、撮像素子の全画素から信号を出力させる必要があるため撮像素子における出力の速度を高速化することは困難だった。
特開２００３−３３３６１０号公報

したがって、本発明ではフレームレートを確保しながら、モアレなどの発生を防ぐ撮像ユニットの提供を目的とする。

本発明の撮像ユニットは、第１の方向に沿って配列され第１の方向に沿って色の異なるｍ種類（ｍは２以上の整数）のカラーフィルタによって順番に繰返して覆われカラーフィルタを透過する光の受光量に応じた画素信号を生成する画素を有する撮像素子と、第１の方向に沿って並ぶ画素の一部から画素信号を出力させる第１の間引き出力を行なうときには第１の方向に沿って連続して並ぶα×ｍ個（αは自然数）の画素により形成される画素ブロックにおいて別々の種類のカラーフィルタに覆われるｍ個の画素に画素信号を出力させる撮像素子駆動部と、複数の画素ブロックから出力される画素信号を画素を覆うカラーフィルタ毎に分けて平均化する画像信号処理部とを備えることを特徴としている。

さらに、画像信号処理部は第１の方向に沿って連続して並ぶｓ個（ｓは２以上の整数）画素ブロックから出力される画素信号を、画素を覆うカラーフィルタ毎に分けて平均化することが好ましい。

また、撮像素子には複数の種類のカラーフィルタの中で単一の種類の第１のカラーフィルタのみが第１の方向と第１の方向に垂直な第２の方向に沿った市松状に配列され、画像信号処理部は第１の画素ブロックにおける第１のカラーフィルタに覆われる画素から出力される画素信号と第１の画素ブロックの斜方の第２の画素ブロックにおける第１のカラーフィルタに覆われる画素から出力される画素信号とを平均化することが好ましい。

また、画素は第１の方向に垂直な第２の方向に沿って配列され第２の方向に沿って色の異なるｎ種類の（ｎは２以上の整数）カラーフィルタによって順番に繰返し覆われ、撮像素子駆動部は第１、第２の方向に沿って並ぶ画素の一部から画素信号を出力させる第２の間引き出力を行うときには第１の方向に沿って連続して並ぶα×ｍ個（αは自然数）の画素により形成される画素ブロックにおいて別々の種類のカラーフィルタに覆われるｍ個の画素に画素信号と第２の方向に沿ってβ×ｎ＋１個（βは正の整数）おきの画素から画素信号を出力させることが好ましい。

本発明によれば、画素信号を間引き出力させた画素の位置に関わらずにモアレの発生を低減化させることが可能になる。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した撮像ユニットを有するデジタルカメラの内部構成を概略的に示すブロック図である。デジタルカメラ１０は、レンズ１１、撮像素子２０、デジタル信号処理回路１２、システムコントローラ１３、およびタイミングジェネレータ１４などによって構成される。

レンズ１１は、撮像素子２０に光学的に接続される。レンズ１１を透過する被写体の光学像が撮像素子２０の受光面に入射する。撮像素子２０は、例えばＣＭＯＳイメージセンサである。受光面において被写体の光学像が受光されることにより、光学像に対応する画像信号が生成される。

撮像素子２０において生成された画像信号は、Ａ／Ｄコンバータ１５においてアナログ信号からデジタル信号に変換される。デジタル信号に変換された画像信号はデジタル信号処理回路１２に送られる。

デジタル信号処理回路１２に送られた画像信号は、信号処理の作業用メモリであるＤＲＡＭ１６に格納される。ＤＲＡＭ１６に格納された画像信号は、デジタル信号処理回路１２において、所定の信号処理が施される。

なお、撮像素子２０によって、後述するように全画素出力方式または間引き出力方式に応じた画像信号が生成される。間引き出力方式に応じた画像信号には、全画素出力方式に応じた画像信号に対して施される信号処理に加えて、平均化処理が行われる。平均化処理については、後述する。

所定の信号処理が施された画像信号は、モニタ１７に送られる。モニタ１７において、送られた画像信号に対応する画像が表示される。また、所定の信号処理が施された画像信号は、コネクタ（図示せず）を介して接続される外部メモリ１８に格納可能である。

デジタルカメラ１０の各部位は、システムコントローラ１３によって制御される。タイミングジェネレータ１４により撮像素子２０およびシャッタ１９が駆動される。撮像素子２０およびシャッタ１９が駆動されることにより、画像信号を生成させる。

次に撮像素子２０の構成について、図２を用いて説明する。図２は、撮像素子の構成を示すブロック図である。

撮像素子２０はＣＭＯＳ撮像素子であり、撮像部２１、行選択回路２２、列選択回路２３、水平読出し線２４、および列選択トランジスタ２５などによって構成される。撮像部２１と行選択回路２２とが直接接続される。水平読出し線２４は列選択トランジスタ２５を介して撮像部２１と接続される。列選択回路２３と列選択トランジスタ２５とが接続される。

撮像部２１の撮像面には複数の画素２６がマトリックス状に配置される。各画素２６はＲ（ｅｄ）カラーフィルタ、Ｇ（ｒｅｅｎ）カラーフィルタ、およびＢ（ｌｕｅ）カラーフィルタのいずれかのカラーフィルタによって覆われる。カラーフィルタはベイヤー方式に従って配置される。

したがって、行方向にはＲカラーフィルタおよびＧカラーフィルタの２種類のカラーフィルタが交互に繰返し配置される。またはＧカラーフィルタおよびＢカラーフィルタの２種類のカラーフィルタが交互に繰返し配置される。

また、列方向にもＲカラーフィルタおよびＧカラーフィルタの２種類ンカラーフィルタが交互に繰返し配置される。またはＧカラーフィルタおよびＢカラーフィルタが交互に繰返し配置される。

Ｒカラーフィルタに覆われた画素２６は、赤色成分の受光量に応じた画素信号を生成する。Ｇカラーフィルタに覆われた画素２６は、緑色成分の受光量に応じた画素信号を生成する。Ｂカラーフィルタに覆われた画素２６は、青色成分の受光量に応じた画素信号を生成する。被写体像全体の画像信号は複数の画素信号によって構成される。

生成した画素信号の出力は画素２６毎に行われる。出力を行う画素２６は行選択回路２２及び列選択回路２３により直接的あるいは間接的に選択される。

行選択回路２２により読出しを行う画素２６の行が選択される。選択された画素２６から出力される画素信号が、列選択トランジスタ２５に出力される。列選択トランジスタ２５に出力された画素信号は、列選択回路２３に選択され、水平読出し線２４に出力される。

水平読出し線２４に出力された画素信号は、出力部２７およびＡ／Ｄコンバータ１５を介してデジタル信号処理回路１２に送られる。画素信号はデジタル信号処理回路１２において所定の信号処理が行われ、画像信号としてモニタ１７や外部メモリ１８などに送られる。

行選択回路２２および列選択回路２３は、タイミングジェネレータ１４に接続される。タイミングジェネレータ１４により行選択回路２２および列選択回路２３が駆動され、画素信号を出力させる画素２６が選択される。

すべての画素２６から画素信号を出力させる全画素出力方式、列方向の一部の画素２６から画素信号を出力させる第１の間引き出力方式、行方向の一部の画素２６から画素信号を出力させる第２の間引き出力方式、列方向および行方向の一部の画素２６から画素信号を出力させる第３、第４の間引き出力方式のいずれかの方式により、撮像素子２６からの画素信号の出力が行なわれる。

全画素出力方式のとき、最上段から１行目の画素２６が行選択回路２２により選択される。１行目の画素２６の選択により、１行目に配置されたすべての画素２６から画素信号が出力可能になる。

１行目の画素２６が選択されている状態で、左側の１列目の画素２６に接続される列選択トランジスタ２５から２、３、・・・、最後の列であるａ列目の列選択トランジスタ２５が順番に、列選択回路２３により選択される。列選択トランジスタ２５の選択は、列選択トランジスタ２５の導通／非導通により実行される。列選択トランジスタ２５を導通することにより、１行１列目、１行２列目、・・・、１行ａ列目の画素２６の画素信号が順番に出力される。

１行目に配置された画素２６からの画素信号の出力が終わると、１行目の画素２６の選択が解除され、２行目の画素２６が行選択回路２２により選択される。１行目と同様に列選択回路２３による列選択トランジスタ２５の選択により、２行１列目、２行２列目、・・・、２行ａ列目の画素２６の画素信号が順番に出力される。

以後、同様に３行目、・・・、最後の行であるｂ行目の画素２６が選択され、３行目に配置された全画素２６から、・・・、ｂ行目に配置された全画素２６まで順番に画素信号が出力される。

第１の間引き出力方式のとき、列方向に沿って１／２の画素２６から画素信号が出力される。各列において連続して並ぶ４個の画素２６により列画素ブロック２８が形成される（図３参照）。第１の間引き出力方式では、各列画素ブロック２８内における１、２行目の画素２６から画素信号の出力が行なわれる。

例えば、第１の間引き出力方式のとき、撮像部２１の上から１番目の列画素ブロック２８における１行目の画素２６、すなわち全体における１行目の画素２６が行選択回路２２により選択される。１行目の画素２６の選択により、１行目に配置されたすべての画素２６から画素信号が出力可能になる。

１行目の画素２６が選択されている状態で、全画素読出しと同様にすべての列選択トランジスタ２５が順番に選択され、１行１列目、１行２列目、・・・、１行ａ列目の画素２６の画素信号が順番に出力される。

１行目に配置された画素２６からの画素信号の出力が終わると、１行目の画素２６の選択が解除される。次に、１番目の列画素ブロック２８における２行目の画素２６、すなわち全体における２行目の画素２６が行選択回路２２により選択される。１行目と同様にして、２行１列目、２行２列目、・・・、２行ａ列目の画素２６の画素信号が順番に出力される。

以後、２番目の列画素ブロック２８における１、２行目、・・・、ｃ番目の列画素ブロック２８ｃにおける１、２行目の画素２６が選択され、列方向に１／２の間引きを行う第１の間引き出力が実行される。

第２の間引き出力方式のとき、最上段から１行目の画素２６が行選択回路２２により選択される。１行目の画素２６の選択により、１行目に配置されたすべての画素２６から画素信号が出力可能になる。

全画素出力と異なり、行方向に沿って１／２の画素２６から画素信号が出力される。各行において連続して並ぶ４個の画素２６により行画素ブロック２９が形成される（図４参照）。第２の間引き出力方式では、各行画素ブロック２９内における１、２列目の画素２６から画素信号の出力が行なわれる。

例えば、第２の間引き出力方式のとき、１行目の画素２６が選択されている状態で、１番目の行画素ブロック２９における１列目の画素２６、すなわち全体における１列目の画素２６が列選択回路２３により選択される。次に１番目の行画素ブロック２９における２列目の画素２６、すなわち全体における２列目の画素２６が列選択回路２３により選択される。

以後、１行目の画素２６が選択されている状態で、２番目の行画素ブロック２９における１、２列目、・・・、ｄ番目の行画素ブロック２９ｄにおける１、２列目の画素２６が選択され、行方向に１／２の間引きを行なう第２の間引き出力が実行される。

１行目に配置された画素２６からの画素信号の出力が終わると、１行目の画素２６の選択が解除され、２行目の画素２６が選択される。１行目の画素２６の選択と同様に、１番目の行画素ブロック２９の１、２列目、２番目の行画素ブロック２９の１、２列目、・・・、ｄ番目の行画素ブロック２９ｄの１、２列目の列選択トランジスタ２５が順番に選択され、選択された列の画素２６の画素信号が順番に出力される。以後、３行目、・・・、ｂ行目の画素が選択され、行方向に２画素分の画素信号を間引いた第２の間引き出力が実行される。

第３の間引き出力方式では、第１の間引き出力方式における列方向に沿った間引きに加え、行方向に沿っても間引きが行なわれる。第１の間引き出力方式のように撮像部２１の上から１番目の列画素ブロック２８における１行目の画素２６、すなわち全体における１行目の画素２６が行選択回路２２により選択される。１行目の画素２６の選択により、１行目に配置されたすべての画素２６から画素信号が出力可能になる。

第１の間引き出力方式と異なり、１行目の画素２６が選択されている状態で、行方向に２画素分の画素信号が間引かれる。例えば、１列目、４列目、・・・、３×ｅ−２列目（ｅは正の整数）の列選択トランジスタ２５が順番に選択される。列選択トランジスタ２５の選択により、１行１列目、１行４列目、・・・、１行３×ｅ−２列目の画素２６の画素信号が順番に出力される。

１行目に配置された画素２６からの画素信号の出力が終わると、１行目の画素２６の選択が解除される。次には第１の間引き出力方式と同じく１番目の列画素ブロック２８における２行目の画素２６、すなわち全体における２行目の画素２６が行選択回路２２により選択される。１行目と同様にして、２行１列目、２行４列目、・・・、２行３×ｅ−２列目の画素２６の画素信号が順番に出力される。

以後、上から１番目の列画素ブロック２８における１、２行目のときの出力と同様に、２、・・・、ｃ番目の列画素ブロック２８ｃにおける１、２行目の一部の画素２６から画素信号が出力される。このように、行方向に１／３、列方向に１／２の間引きを行なう第３の間引き出力が実行される。

第４の間引き出力方式では、第２の間引き出力方式における行方向に沿った間引きに加え、列方向に沿っても間引きが行なわれる。第２の間引き出力方式のように最上段から１行目の画素２６が行選択回路２２により選択され、１行目に配置されたすべての画素２６から画素信号が出力可能になる。

第２の間引き出力方式と同じく、１行目の各行画素ブロック２９内における１、２列目の画素２６から画素信号の出力が行なわれる。第２の間引き出力方式と異なり、１行目における間引き出力が終わると、列方向に２画素分の画素信号が間引かれる。例えば、４行目、・・・、３×ｆ−２行目（ｆは正の整数）の各行画素ブロック２９内における１、２列目の画素２６から画素信号の出力が行なわれる。このように、行方向に１／２、列方向に１／３の間引きを行なう第４の間引き出力が実行される。

次に、撮像素子２０に第１〜第４の間引き出力方式で画素信号を出力させたときに、デジタル信号処理回路１２において行われる平均化処理について説明する。

先ず、第１の間引き出力方式に対応した第１、第１’の平均化処理について図５、図６を用いて説明する。図５は、第１の間引き出力方式で出力させた画素信号に対して行なわれる第１の平均化処理について説明するための概念図である。図６は、第１の間引き出力方式で出力させた画素信号に対して行なわれる第１’の平均化処理について説明するための概念図である。

図５の左端には、撮像素子２０上において１２行２列に配列された画素２６が表示される。前述のように、第１の間引き出力方式では１、２、５、６、９、１０行目の画素２６において生成される画素信号Ｒ１、Ｇ１、Ｇ２、Ｂ２、Ｒ５、Ｇ５、Ｇ６、Ｂ６、Ｒ９、Ｇ９、Ｇ１０、Ｂ１０が出力される（図５左端太枠および中央部参照）。

第１の間引き出力方式で出力させた画素信号において、同じ色の２つの画素信号が平均化され平均化画素信号が生成される。互いに列方向に最も近い２つの画素２６の画素信号が平均化される。したがって、赤色および青色に相当する平均化画素信号は、間引き出力後に列方向に隣合う２つの画素２６が生成する画素信号の平均化により生成される。

例えば、１、５行目の１列目の画素信号Ｒ１、Ｒ５を平均化することにより１行１列目の平均化画素信号Ｒ１’が生成される（図５右端部参照）。同様に、５、９行目の１列目の画素信号Ｒ５、Ｒ９から３行１列目の平均化画素信号Ｒ３’が生成される。また、２、６行目の２列目の画素信号Ｂ２、Ｂ６から２行２列目の平均化画素信号Ｂ２’が生成される。また、６、１０行目の２列目の画素信号Ｂ６、Ｂ１０から４行２列目の平均化画素信号Ｂ４’が生成される。

また、緑色に相当する平均化画素信号は、間引き出力後に斜方に隣合う２つの画素２６が生成する画素信号の平均化により生成される。例えば、１行２列目と２行１列目の画素信号Ｇ１、Ｇ２から１行２列目の平均化画素信号Ｇ１’が生成される（図５右端部参照）。同様に２行１列目と５行２列目の画素信号Ｇ２、Ｇ５から２行１列目の平均化画素信号Ｇ２’が生成される。また、６行１列目と９行２列目の画素信号Ｇ６、Ｇ９から３行２列目の平均化画素信号Ｇ３’が生成される。また、９行２列目と１０行１列目の画素信号Ｇ９、Ｇ１０から４行１列目の平均化画素信号Ｇ４’が生成される。

なお、緑色に相当する平均化画素信号は、赤色および青色に相当する平均化画素信号と同様に、間引き出力後に列方向に隣合う２つの画素２６が生成する画素信号の平均化によって生成されてもよい。第１’の平均化処理では、緑色に相当する平均化画素信号も列方向に隣合う２つの画素２６が生成する画素信号の平均化によって生成される。

例えば、１、５行目の２列目の画素信号Ｇ１、Ｇ５から１行２列目の平均化画素信号Ｇ１’が生成される（図６右端部参照）。同様に、２、６行目の１列目の画素信号Ｇ２、Ｇ６から２行１列目の平均化画素信号Ｇ２’が生成される。また、５、９行目の２列目の画素信号Ｇ５、Ｇ９から３行２列目の平均化画素信号Ｇ３’が生成される。また、６、１０行目の１列目の画素信号Ｇ６、Ｇ１０から４行１列目の平均化画素信号Ｇ４’が生成される。

次に、第２の間引き出力方式に対応した第２、第２’の平均化処理について図７、図８を用いて説明する。図７は、第２の間引き出力方式で出力させた画素信号に対して行なわれる第２の平均化処理について説明するための概念図である。図８は、第２の間引き出力方式で出力させた画素信号に対して行なわれる第２’の平均化処理について説明するための概念図である。

図７の上端には、撮像素子２０上において２行１２列に配列された画素２６が表示される。前述のように第２の間引き出力方式では、１、２、５、６、９、１０列目の画素２６において生成される画素信号Ｒ１、Ｇ１、Ｇ２、Ｂ２、Ｒ５、Ｇ５、Ｇ６、Ｂ６、Ｒ９、Ｇ９、Ｇ１０、Ｂ１０が出力される（図７上端太枠および中央部参照）。

第２の間引き出力方式で出力させた画素信号において、同じ色の２つの画素信号が平均化され平均化画素信号が生成される。互いに行方向に最も近い２つの画素信号が平均化される。したがって、赤色および青色に相当する平均化画素信号は、間引き出力後に行方向に隣合う２つの画素２６が生成する画素信号の平均化により生成される。

例えば、１行目の１、５列目の画素信号Ｒ１、Ｒ５を平均化することにより１行１列目の平均化画素信号Ｒ１’が生成される（図７下端部参照）。同様に、１行目の５、９列目の画素信号Ｒ５、Ｒ９から１行３列目の平均化画素信号Ｒ３’が生成される。また、２行目の２、６列目の画素信号Ｂ２、Ｂ６から２行２列目の平均化画素信号Ｂ２’が生成される。また、２行目の６、１０列目の画素信号Ｂ６、Ｂ１０から２行４列目の平均化画素信号Ｂ４’が生成される。

また、緑色に相当する平均化画素信号は、間引き出力後に斜方に隣合う２つの画素２６が生成する画素信号の平均化により生成される。例えば、２行１列目と１行２列目の画素信号Ｇ１、Ｇ２から２行１列目の平均化画素信号Ｇ１’が生成される（図７下端部参照）。同様に１行２列目と２行５列目の画素信号Ｇ２、Ｇ５から１行２列目の平均化画素信号Ｇ２’が生成される。また、１行６列目と２行９列目の画素信号Ｇ６、Ｇ９から２行３列目の平均化画素信号Ｇ３’が生成される。また、２行９列目と１行１０列目の画素信号Ｇ９、Ｇ１０から１行４列目の平均化画素信号Ｇ４’が生成される。

なお、緑色に相当する平均化画素信号は、赤色および青色に相当する平均化画素信号と同様に、間引き出力後に行方向に隣合う２つの画素２６が生成する画素信号の平均化によって生成されてもよい。第２’の平均化処理では、緑色に相当する平均化画素信号も行方向に隣合う２つの画素２６が生成する画素信号の平均化によって生成される。

例えば、２行目の１、５列目の画素信号Ｇ１、Ｇ５から２行１列目の平均化画素信号Ｇ１’が生成される（図８下端部参照）。同様に、１行目の２、６列目の画素信号Ｇ２、Ｇ６から１行２列目の平均化画素信号Ｇ２’が生成される。また、２行目の５、９列目の画素信号Ｇ５、Ｇ９から２行３列目の平均化画素信号Ｇ３’が生成される。また、１行目の６、１０列目の画素信号Ｇ６、Ｇ１０から１行４列目の平均化画素信号Ｇ４’が生成される。

次に、第３の間引き出力方式に対応した平均化処理について図９、図１０を用いて説明する。図９は、第３の間引き出力方式で出力させた画素信号に対して行なわれる平均化処理について説明するための第１の概念図である。図１０は、第３の間引き出力方式で出力させた画素信号に対して行なわれる平均化処理について説明するための第２の概念図である。

図９の上端には、撮像素子２０上において１２行１２列に配列された画素２６が表示される。前述のように、第３の間引き出力方式では１行１、４、７、１０列目、２行１、４、７、１０列目、５行１、４、７、１０列目、６行１、４、７、１０列目、９行１、４、７、１０列目、１０行１、４、７、１０列目の画素２６において生成される画素信号Ｒ（１、１）、Ｇ（１、４）、Ｒ（１、７）、Ｇ（１、１０）、Ｇ（２、１）、Ｂ（２、４）、Ｇ（２、７）、Ｂ（２、１０）、Ｒ（５、１）、Ｇ（５、４）、Ｒ（５、７）、Ｇ（５、１０）、Ｇ（６、１）、Ｂ（６、４）、Ｇ（６、７）、Ｂ（６、１０）、Ｒ（９、１）、Ｇ（９、４）、Ｒ（９、７）、Ｇ（９、１０）、Ｇ（１０、１）、Ｂ（１０、４）、Ｇ（１０、７）、Ｂ（１０、１０）が出力される（図９上端太枠および下端部参照）。

第３の間引き出力方式で出力させた画素信号において、第１の平均化処理と同じ平均化処理が行われる。すなわち、赤色および青色に相当する平均化画素信号は、間引き出力後に列方向に隣合う２つの画素２６が生成する画素信号の平均化により生成される。

例えば、１、５行目の１列目の画素信号Ｒ（１、１）、Ｒ（５、１）を平均化することにより１行１列目の平均化画素信号Ｒ（１、１）’が生成される（図１０下端部参照）。同様に、５、９行目の１列目の画素信号Ｒ（５、１）、Ｒ（９、１）から３行１列目の平均化画素信号Ｒ（３、１）’が生成される。また、２、６行目の４列目の画素信号Ｂ（２、４）、Ｂ（６、４）から２行２列目の平均化画素信号Ｂ（２、２）’が生成される。また、６、１０行目の４列目の画素信号Ｂ（６、４）、Ｂ（１０、４）から４行２列目の平均化画素信号Ｂ（４、２）’が生成される。

また、１、５行目の７列目の画素信号Ｒ（１、７）、Ｒ（５、７）を平均化することにより１行３列目の平均化画素信号Ｒ（１、３）’が生成される。同様に、５、９行目の７列目の画素信号Ｒ（５、７）、Ｒ（９、７）から３行３列目の平均化画素信号Ｒ（３、３）’が生成される。また、２、６行目の１０列目の画素信号Ｂ（２、１０）、Ｂ（６、１０）から２行４列目の平均化画素信号Ｂ（２、４）’が生成される。また、６、１０行目の１０列目の画素信号Ｂ（６、１０）、Ｂ（１０、１０）から４行４列目の平均化画素信号Ｂ（４、４）’が生成される。

さらに、１行４列目と２行１列目の画素信号Ｇ（１、４）、Ｇ（２、１）から１行２列目の平均化画素信号Ｇ（１、２）’が生成される（図１０下端部参照）。同様に２行１列目と５行４列目の画素信号Ｇ（２、１）、Ｇ（５、４）から２行１列目の平均化画素信号Ｇ（２、１）’が生成される。また、６行１列目と９行４列目の画素信号Ｇ（６、１）、Ｇ（９、４）から３行２列目の平均化画素信号Ｇ（３、２）’が生成される。また、９行４列目と１０行１列目の画素信号Ｇ（９、４）、Ｇ（１０、１）から４行１列目の平均化画素信号Ｇ（４、１）’が生成される。

また、１行１０列目と２行７列目の画素信号Ｇ（１、１０）、Ｇ（２、７）から１行４列目の平均化画素信号Ｇ（１、４）’が生成される（図１０下端部参照）。同様に２行７列目と５行１０列目の画素信号Ｇ（２、７）、Ｇ（５、１０）から２行３列目の平均化画素信号Ｇ（２、３）’が生成される。また、６行７列目と９行１０列目の画素信号Ｇ（６、７）、Ｇ（９、１０）から３行４列目の平均化画素信号Ｇ（３、４）’が生成される。また、９行１０列目と１０行７列目の画素信号Ｇ（９、１０）、Ｇ（１０、７）から４行３列目の平均化画素信号Ｇ（４、３）’が生成される。

なお、第１’の平均化処理と同様に、緑色に相当する平均化画素信号が列方向に隣合う２つの画素２６が生成する画素信号の平均化により生成されてもよい。

次に、第４の間引き出力方式に対応した平均化処理について図１１、図１２を用いて説明する。図１１は、第４の間引き出力方式で出力させた画素信号に対して行なわれる平均化処理について説明するための第１の概念図である。図１２は、第４の間引き出力方式で出力させた画素信号に対して行なわれる平均化処理について説明するための第２の概念図である。

図１１の上端には、撮像素子２０上において１２行１２列に配列された画素２６が表示される。前述のように、第４の間引き出力方式では１行１、２、５、６、９、１０列目、４行１、２、５、６、９、１０列目、７行１、２、５、６、９、１０列目、１０行１、２、５、６、９、１０列目の画素２６において生成される画素信号Ｒ（１、１）、Ｇ（１、２）、Ｒ（１、５）、Ｇ（１、６）、Ｒ（１、９）、Ｇ（１、１０）、Ｇ（４、１）、Ｂ（４、２）、Ｇ（４、５）、Ｂ（４、６）、Ｇ（４、９）、Ｂ（４、１０）、Ｒ（７、１）、Ｇ（７、２０）、Ｒ（７、５）、Ｇ（７、６）、Ｒ（７、９）、Ｇ（７、１０）、Ｇ（１０、１）、Ｂ（１０、２）、Ｇ（１０、５）、Ｂ（１０、６）、Ｇ（１０、９）、Ｂ（１０、１０）が出力される（図１１上端太枠および下端部参照）。

第４の間引き出力方式で出力させた画素信号において、第２の平均化処理と同じ平均化処理が行われる。すなわち、赤色および青色に相当する平均化画素信号は、間引き出力後に行方向に隣合う２つの画素２６が生成する画素信号の平均化により生成される。

例えば、１行目の１、５列目の画素信号Ｒ（１、１）、Ｒ（１、５）を平均化することにより１行１列目の平均化画素信号Ｒ（１、１）’が生成される（図１２下端部参照）。同様に、１行目の５、９列目の画素信号Ｒ（１、５）、Ｒ（１、９）から１行３列目の平均化画素信号Ｒ（１、３）’が生成される。また、４行目の２、６列目の画素信号Ｂ（４、２）、Ｂ（４、６）から２行２列目の平均化画素信号Ｂ（２、２）’が生成される。また、４行目の６、１０列目の画素信号Ｂ（４、６）、Ｂ（４、１０）から２行４列目の平均化画素信号Ｂ（２、４）’が生成される。

また、７行目の１、５列目の画素信号Ｒ（７、１）、Ｒ（７、５）を平均化することにより３行１列目の平均化画素信号Ｒ（３、１）’が生成される。同様に、７行目の５、９列目の画素信号Ｒ（７、５）、Ｒ（７、９）から３行３列目の平均化画素信号Ｒ（３、３）’が生成される。また、１０行目の２、６列目の画素信号Ｂ（１０、２）、Ｂ（１０、６）から４行２列目の平均化画素信号Ｂ（４、２）’が生成される。また、１０行目の６、１０列目の画素信号Ｂ（１０、６）、Ｂ（１０、１０）から４行４列目の平均化画素信号Ｂ（４、４）’が生成される。

さらに、４行１列目と１行２列目の画素信号Ｇ（４、１）、Ｇ（１、２）から２行１列目の平均化画素信号Ｇ（２、１）’が生成される（図１２下端部参照）。同様に１行２列目と４行５列目の画素信号Ｇ（１、２）、Ｇ（４、５）から１行２列目の平均化画素信号Ｇ（１、２）’が生成される。また、１行６列目と４行９列目の画素信号Ｇ（１、６）、Ｇ（４、９）から２行３列目の平均化画素信号Ｇ（２、３）’が生成される。また、４行９列目と１行１０列目の画素信号Ｇ（４、９）、Ｇ（１、１０）から１行４列目の平均化画素信号Ｇ（１、４）’が生成される。

また、１０行１列目と７行２列目の画素信号Ｇ（１０、１）、Ｇ（７、２）から４行１列目の平均化画素信号Ｇ（４、１）’が生成される（図１２下端部参照）。同様に７行２列目と１０行５列目の画素信号Ｇ（７、２）、Ｇ（１０、５）から３行２列目の平均化画素信号Ｇ（３、２）’が生成される。また、７行６列目と１０行９列目の画素信号Ｇ（７、６）、Ｇ（１０、９）から４行３列目の平均化画素信号Ｇ（４、３）’が生成される。また、１０行９列目と７行１０列目の画素信号Ｇ（１０、９）、Ｇ（７、１０）から３行４列目の平均化画素信号Ｇ（３、４）’が生成される。

なお、第２’の平均化処理と同様に、緑色に相当する平均化画素信号が行方向に隣合う２つの画素２６が生成する画素信号の平均化により生成されてもよい。

以上のような構成の撮像素子駆動装置によれば、一部の画素２６の画素信号を間引いて出力させることが出来る。したがって、１フレームの画像信号の出力の高速化を図ることが可能になる。

また、以下に説明するようにモアレの発生を低減化することも可能となった。従来の間引き出力では、所望の画素数、すなわち表示する画像の画素数と同じ数の画素に画素信号を出力させていた。例えば、所望の画素数が撮像素子の画素数の１／３である場合に、１／３の画素に画素信号を出力させていた。そのため、他の画素の画素信号を用いないため、撮像した画像にモアレが発生することが多かった。

一方、本実施形態のデジタルカメラ１０では、所望の画素数以上の画素から画素信号を出力するように間引き出力させ、所望の画素数となるように平均化処理を行うので、モアレの発生を低減化することが可能である。

また、第３、第４の間引き出力方式のように行方向および列方向の一方には平均化処理を施し、他方の方向には覆うカラーフィルタの種類によらず、列方向および／または行方向に沿った画素同士の間隔が一定となる間引き出力が行なわれる（図９、図１１参照）。それゆえ、出力させる画素２６が均等となるためモアレの発生を低減化させることが可能になる。

なお、本実施形態では、第１〜第４の間引き出力方式のいずれかの方式にしたがって間引き出力可能な構成であるが、第１〜第４の間引き出力方式の少なくとも一つの間引き出力方式にしたがって間引き出力が可能な構成であってもよい。

また、本実施形態では、列方向および行方向に沿って２種類のカラーフィルタにより各画素が順番に繰返し覆われる構成であるが、少なくともいずれかの方向に沿って２以上のｍ種類のカラーフィルタにより各画素が順番に覆われてもよい。

ただし、平均化処理を行う場合は、列画素ブロック２８または行画素ブロック２９において、色の異なるカラーフィルタに覆われた画素２６からのｍ種類の画素信号を出力させる必要がある。

また、第３、第４の間引き出力のように一方の方向に均等な間引きを行なうためには、β×ｍ＋１（βは正の整数）画素おきに画素信号の間引き出力を行なわせる必要がある。

したがって、カラーフィルタの配置は本実施形態のようなベイヤー方式に限られず、他の配列方式によりカラーフィルタが配置されてもよい。さらには、補色フィルタのように列方向と行方向に沿ったカラーフィルタの種類が異なる配置であっても、本実施形態と同様の効果を得ることは可能である。

また、本実施形態において列画素ブロック２８および行画素ブロック２９に含まれる画素数は４であるが、２×α以上（αは正の整数）であればよい。ただし、列方向または行方向においてｍ種類のカラーフィルタが用いられる場合にはα×ｍ以上の画素２６が列画素ブロック２８または行画素ブロック２９に含まれる必要がある。

また、本実施形態において列方向に隣接する２つの列画素ブロック２８または行方向に隣接する２つの行画素ブロック２９から出力される画素信号の平均化が行なわれる構成であるが、連続して並ぶ列画素ブロック２８または行画素ブロック２９から出力される２以上のｓ個の画素信号の平均化が行われてもよい。

また、本実施形態では、撮像素子はＣＭＯＳ撮像素子であるが、ＣＣＤ撮像素子などの他の種類の撮像素子であってもよい。

本発明の一実施形態を適用した撮像素子駆動装置および撮像素子を有するデジタルカメラの内部構成を概略的に示すブロック図である。 撮像素子駆動装置および撮像素子駆動装置に駆動される撮像素子の構成を示すブロック図である。 第１の間引き出力方式において画素信号が出力される画素の位置を示すための概念図である。 第２の間引き出力方式において画素信号が出力される画素の位置を示すための概念図である。 第１の平均化処理について説明するための概念図である。 第１’の平均化処理について説明するための概念図である。 第２の平均化処理について説明するための概念図である。 第２’の平均化処理について説明するための概念図である。 第３の間引き出力方式で出力させた画素信号に対して行なわれる平均化処理について説明するための第１の概念図である。 第３の間引き出力方式で出力させた画素信号に対して行なわれる平均化処理について説明するための第２の概念図である。 第４の間引き出力方式で出力させた画素信号に対して行なわれる平均化処理について説明するための第１の概念図である。 第４の間引き出力方式で出力させた画素信号に対して行なわれる平均化処理について説明するための第２の概念図である。

符号の説明

１０ デジタルカメラ
１３ システムコントローラ
１４ タイミングジェネレータ
２０ 撮像素子
２２ 行選択回路
２３ 列選択回路
２５ 列選択トランジスタ
２６ 画素
２８ 列画素ブロック
２９ 行画素ブロック

Claims (4)

1. 第１の方向に沿って配列され、前記第１の方向に沿って色の異なるｍ種類（ｍは２以上の整数）のカラーフィルタによって順番に繰返して覆われ、前記カラーフィルタを透過する光の受光量に応じた画素信号を生成する画素を有する撮像素子と、
   前記第１の方向に沿って並ぶ画素の一部から前記画素信号を出力させる第１の間引き出力を行なうときには、前記第１の方向に沿って連続して並ぶα×ｍ個（αは自然数）の前記画素により形成される画素ブロックにおいて別々の種類の前記カラーフィルタに覆われるｍ個の前記画素に前記画素信号を出力させる撮像素子駆動部と、
   複数の前記画素ブロックから出力される前記画素信号を、前記画素を覆う前記カラーフィルタ毎に分けて平均化する画像信号処理部とを備える
   ことを特徴とする撮像ユニット。
2. 前記画像信号処理部は、前記第１の方向に沿って連続して並ぶｓ個（ｓは２以上の整数）前記画素ブロックから出力される前記画素信号を、前記画素を覆う前記カラーフィルタ毎に分けて平均化することを特徴とする請求項１に記載の撮像ユニット。
3. 前記撮像素子には、複数の種類の前記カラーフィルタの中で単一の種類の第１のカラーフィルタのみが、前記第１の方向と前記第１の方向に垂直な第２の方向に沿った市松状に配列され、
   前記画像信号処理部は、第１の前記画素ブロックにおける前記第１のカラーフィルタに覆われる前記画素から出力される前記画素信号と前記第１の画素ブロックの斜方の第２の前記画素ブロックにおける前記第１のカラーフィルタに覆われる前記画素から出力される前記画素信号とを平均化する
   ことを特徴とする請求項１または請求項２に記載の撮像ユニット。
4. 前記画素は前記第１の方向に垂直な第２の方向に沿って配列され、前記第２の方向に沿って色の異なるｎ種類の（ｎは２以上の整数）カラーフィルタによって順番に繰返し覆われ、
   前記撮像素子駆動部は、前記第１、第２の方向に沿って並ぶ前記画素の一部から前記画素信号を出力させる第２の間引き出力を行うときには、前記第１の方向に沿って連続して並ぶα×ｍ個（αは自然数）の前記画素により形成される画素ブロックにおいて別々の種類の前記カラーフィルタに覆われるｍ個の前記画素に前記画素信号と、前記第２の方向に沿ってβ×ｎ＋１個（βは正の整数）おきの前記画素から前記画素信号を出力させる
   ことを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像ユニット。

Images