JP2012010170A - 撮像装置、画像処理装置、ならびに、画像処理方法 - Google Patents

Abstract

【課題】輝度モアレを低減する。
【解決手段】撮像素子１０１は、所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する。画素加算部１０２は、撮像素子１０１から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する。画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される。
【選択図】図１

Description

本発明は、輝度モアレを低減することが可能な撮像装置、画像処理装置、ならびに、画像処理方法に関する。

現在、電子デバイス技術の向上により、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子の高密度化が実現されている。このため、このような撮像素子を用いた撮像装置において、デジタル信号処理の負担増加を抑制することが課題となっている。ここで、撮像素子から出力される原画像から単に画素を間引いて減数画像を生成する場合、輝度モアレによる画質劣化が発生する。そこで、輝度モアレを抑制しつつ、デジタル信号処理の負担増加を抑制する技術が望まれている。

例えば、特許文献１には、撮像素子から出力される原画像から、画素密度が原画像の１／（２Ｎ＋１）^２の減数画像（ただし、Ｎは自然数）が生成される撮像装置が開示されている。なお、特許文献１に開示された撮像装置では、減数画像を構成する各画素の生成位置が等間隔となるように、原画像における同色画素の情報が（２Ｎ＋１）^２個加算されて、減数画像を構成する１つの画素の情報が生成される。

特開２００３−２３００５４号公報

しかしながら、特許文献１に開示された撮像装置は、撮像素子から出力される原画像から、画素密度が原画像の１／（２Ｎ＋１）^２の減数画像（ただし、Ｎは自然数）を生成する場合にしか適用できない。種々の画素密度の減数画像を生成する場合にも、輝度モアレを抑制することが可能な撮像装置が望まれている。

本発明は、このような状況に鑑みてなされたものであり、輝度モアレを低減することが可能な撮像装置、画像処理装置、ならびに、画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る撮像装置は、
所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子と、
前記撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成手段と、を備え、
前記画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、
ことを特徴とする。

上記目的を達成するために、本発明の第２の観点に係る撮像装置は、
所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子と、
前記撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する全画素のうち、当該全画素の画素数の１／（Ｍ×Ｎ）個の画素をサンプルして間引くことにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成手段と、を備え、
前記サンプルされる画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、
ことを特徴とする。

上記目的を達成するために、本発明の第３の観点に係る画像処理装置は、
所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成手段、を備え、
前記画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、
ことを特徴とする。

上記目的を達成するために、本発明の第４の観点に係る画像処理方法は、
所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成ステップ、を備え、
前記画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、
ことを特徴とする。

本発明によれば、輝度モアレを低減することが可能な撮像装置、画像処理装置、ならびに、画像処理方法を提供することができる。

本発明の実施形態に係る撮像装置の構成図である。 図１に示す撮像装置の主要部の構成図である。 ベイヤ配列を示す図である。 画素の配置を示す図である。 （Ａ）は、サンプルとなる画素の位置を示す図である。（Ｂ）は、減数画像を模式的に示す図である。 （Ａ）は、サンプルとなる画素の位置を示す図である。（Ｂ）は、減数画像を模式的に示す図である。 各フレーム期間において実行される処理を説明するための図である。 偶数フレームでの加重平均処理を示す図である。 本発明の実施形態に係る撮像装置が実行する画像表示処理を示すフローチャートである。 （Ａ）、（Ｂ）は、サンプルとなる画素の位置を示す図である。 （Ａ）〜（Ｈ）は、サンプルとなる画素の位置を示す図である。

図１は、本実施形態に係る撮像装置１０００の構成図である。撮像装置１０００は、イメージセンサ１００、カラー処理部１０３、画像バッファ１０４、加重平均処理部１０５、動き量検出部１０６、低域通過フィルタ１０７、記録媒体１０８、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１０９を備える。

イメージセンサ１００は、撮影対象から発せられた光をレンズなどの光学系によって撮像素子１０１の受光平面に結像させ、その像の光による明暗を電荷の量に光電変換し、それを順次読み出して電気信号に変換する。イメージセンサ１００は、撮像素子１０１と画素加算部１０２とを備える。

撮像素子１０１は、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの半導体素子である。撮像素子１０１は、撮像対象から発せられた光を、周期配列状に並ぶＲ、Ｇ、Ｂの３色のカラーフィルタを通して受光し、光電変換する。撮像素子１０１は、光電変換により得られた電気信号により表される原画像を画素加算部１０２に供給する。

画素加算部１０２は、撮像素子１０１から供給された原画像に基づいて、減数画像を生成する。画素加算部１０２が実行する処理については、後述する。

カラー処理部１０３は、画素加算部１０２により生成された減数画像にカラー処理を施し、減数画像を、全画素に輝度と色差とに関する情報が存在するカラー処理画像に変換する。カラー処理部１０３は、生成したカラー処理画像を、画像バッファ１０５に記憶させる。

画像バッファ１０４には、カラー処理部１０３により１フレーム分のカラー処理画像が生成される毎に、生成されたカラー処理画像が蓄積される。

加重平均処理部１０５は、画像バッファ１０４に記憶されている１フレーム前のカラー処理画像を構成する画素の画素データ（輝度データ）と、カラー処理部１０３から供給された現フレームのカラー処理画像を構成する画素の画素データと、の加重平均をとることにより、加重平均画像を生成する。加重平均画像を生成する手法の詳細については、後述する。

動き量検出部１０６は、画像バッファ１０４に記憶されている、１つ前のフレームのカラー処理画像と現在のフレームのカラー処理画像とに基づいて、動き量を検出する。

低域通過フィルタ１０７は、加重平均処理部１０５から供給された加重平均画像から高周波成分を除去し、高周波成分が除去された加重平均画像を生成する。なお、カットオフ周波数などのフィルタ特性は、動き量検出部１０６により検出された動き量に基づいて定められる。

記録媒体１０８には、低域通過フィルタ１０７から供給される加重平均画像が記録される。

ＬＣＤ１０９には、低域通過フィルタ１０７から供給される加重平均画像がリアルタイムに表示される。

ここで、撮像装置１０００の主要部の構成について説明する。図２に示すように、主要部２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、フラッシュメモリ２０４、表示制御部２０５、操作部２０６を備える。主要部２００が備える各構成要素は、バス２１０を介して互いに接続される。

ＣＰＵ２０１は、ＲＯＭ２０２に記憶されたプログラムに従って撮像装置１０００全体の動作を制御する。ＣＰＵ２０１は、バスを介して接続された各構成要素と、制御信号やデータのやりとりをする。

ＲＯＭ２０２は、ＣＰＵ２０１により実行されるプログラムや各種のデータを記憶する。

ＲＡＭ２０３は、データやプログラムを一時的に記憶する。ＲＡＭ１３は、ＲＯＭ２０２から読み出されたプログラムやデータなどを一時的に記憶する。

フラッシュメモリ２０４は、ＣＰＵ２０１によって実行される画像処理により生成される画像などを記憶する。

表示制御部２０５は、ＣＰＵ２０１と協働して、画像処理により生成された画像などをＬＣＤ１０９に表示する。

操作部２０６は、キーボード、カーソルキー、テンキー等を備える。操作部２０６は、ユーザからの操作を受け付け、操作信号をＣＰＵ２０１に供給する。

バス２１０は、撮像装置１０００が備える各構成要素間を相互に接続し、各構成要素間のデータの授受を仲立ちする。

なお、カラー処理部１０３、加重平均処理部１０５、動き検出部１０６、低域通過フィルタ１０７は、例えば、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３により構成される。また、画像バッファ１０４は、例えば、ＲＡＭ２０３により構成される。そして、記録媒体１０８は、例えば、フラッシュメモリ２０４により構成される。

ここで、図面を参照して、撮像装置１０００の動作などについて説明する。

まず、図３を参照して、ベイヤ配列について説明する。

撮像素子１０１が備えるカラーフィルタは、図３に示すように、２×２＝４画素を単位配列とする周期配列のカラーパターンで配置される。図３に示す配列を、ベイヤ配列という。図３には、１つの配列単位を構成する４つの画素から構成される画素群を枠で囲んで示している。なお、本実施形態では、１０列×１０行＝１００画素により原画像が構成されているものとして説明する。

一般的なイメージセンサ１００においては、撮像素子１０１から電荷を読み出す際、各撮像素子１０１から、１画素ずつ、そのまま読み出す方法（以下「全画素読み出し」という。）と、画素数を減らして読み出す方法（以下「減数読み出し」という。）と、を選択可能である。

例えば、静止画像を撮像する場合、全画素読み出しを選択することで、高画質な静止画像を撮像することが有効である。一方、モバイル用途など、電力の限られた環境で動画像を撮像する場合、減数読み出しを選択することで、デジタル信号処理の負荷を低く抑えて撮像装置１０００を低消費電力で動作させることが有効である。ここで、減数読み出しの方法として、間引き読み出しと画素加算読み出しとが知られている。間引き読み出しは、あらかじめ定められた画素のみを読み出す方法、つまり、画素を間引いて読み出す方法である。本実施形態では、２×２＝４画素の画素加算読み出しを採用するものとして説明する。

以下、図面を参照して、画素加算読み出しについて説明する。

図４は、各撮像素子１０１によって得られる画素データ（画素情報、輝度データ）を模式的に示している。なお、当該画素データにより、原画像が表される。図４においては、原画像におけるｎ行目ｍ列目の画素の画素データを、Ｘｎｍと表記している。ここで、２×２＝４画素の加算読み出しでは、同色の４画素が加算されて１つの画素データとして出力されるので、原画像の全画素数の１／４の画素数の画素データが読み出される。

ここで、原画像においてサンプルされた画素の斜め方向に隣接する４つの同色の画素の画素データを加算することにより得られる画素データが、当該サンプルされた画素の画素データとして読み出されるものとする。例えば、原画像においてｎ行目ｍ列目の画素がサンプルされ、当該画素に対応する画素データをＡｎｍとすると、Ａｎｍ＝Ｘ（ｎ−１）（ｍ−１）＋Ｘ（ｎ−１）（ｍ＋１）＋Ｘ（ｎ＋１）（ｍ−１）＋Ｘ（ｎ＋１）（ｍ＋１）となる。例えば、Ａ１１＝Ｘ００＋Ｘ０２＋Ｘ２０＋Ｘ２２である。図５（Ａ）にサンプルされる画素の位置を示す。一方、図５（Ｂ）に、サンプルされた画素の間隔を詰めることにより生成される減数画像を示す。

一方、図５（Ａ）に示す位相（以下「位相Ａ」という。）で減数画像を生成する（図５（Ａ）に示す位置の画素をサンプルとして減数画像を生成する）以外に、図６（Ａ）に示す位相（以下「位相Ｂ」という。）で減数画像を生成する（図６（Ａ）に示す位置の画素をサンプルとして減数画像を生成する）ことができる。

なお、図６（Ａ）に示すように画素をサンプルする場合でも、原画像においてｎ行目ｍ列目の画素がサンプルされ、当該画素に対応する画素データをＡｎｍとすると、Ａｎｍ＝Ｘ（ｎ−１）（ｍ−１）＋Ｘ（ｎ−１）（ｍ＋１）＋Ｘ（ｎ＋１）（ｍ−１）＋Ｘ（ｎ＋１）（ｍ＋１）となる。例えば、Ａ３３＝Ｘ２２＋Ｘ２４＋Ｘ４２＋Ｘ４４である。図６（Ｂ）に、図６（Ａ）に示す画素をサンプルとした場合に生成される減数画像を示す。

図５（Ａ）と図６（Ａ）とを比較すると、サンプルされる画素の位置が斜め方向にずれており、ちょうど位相が逆（以下「逆位相」という。）となっている。

ここで、ゾーンプレートチャート（ＣＺＰ）を撮影し、画像をＬＣＤ１０９に表示して画質評価を行うと、画素加算読み出しによって、偽信号が発生し、当該偽信号が輝度モアレとして現れる。具体的には、サンプル位置を図５（Ａ）に示すサンプル位置に設定した場合に得られる減数画像と、サンプル位置を図６（Ａ）に示すサンプル位置に設定した場合に得られる減数画像と、を比較すると、真信号成分は、白黒模様が互いに一致した位置に現れ（同位相）、偽信号成分は、白黒模様が互いに逆転した位置に現れる（逆位相）。

このように、位相Ａと位相Ｂとでは、生成される減数画像上の偽信号成分が現れる位置が逆位相になる。従って、減数画像を生成する際の位相を、偶数フレームと奇数フレームとで逆にし、現在の減数画像に１フレーム前の減数画像を重ね合わせることにより、偽信号成分を減らすことができる。

図７を参照して、撮像装置１０００が各タイミングでどのように加重平均をとるかについて説明する。図７には、各フレーム期間においてイメージセンサ１００から出力されるデータと、各フレーム期間において画像バッファ１０４に書き込まれるデータと、各フレーム期間において画像バッファ１０４から読み込まれるデータと、各フレーム期間において記録媒体１０８に記録されるデータもしくはＬＣＤ１０９に表示されるデータと、を示す。

なお、イメージセンサ１００からの読み出しには、画素加算読み出しが使用され、偶数フレームでは位相Ａ、奇数フレームでは位相Ｂでサンプルされるものとする。イメージセンサ１００からの出力は、画像バッファ１０４に１フレーム分書き込まれて、次のフレーム期間に画像バッファ１０４から読み出される。図７に示すように、加重平均処理によってどのフレームにおいても、位相Ａの画像と位相Ｂの画像が加重平均されて出力される。

フレーム番号が２（以下、「フレーム番号がｔのフレーム」のことを、適宜、「フレームｔ」という。）である場合を例にして、撮像装置１０００の処理を説明する。フレーム２のフレーム期間においては、イメージセンサ１００からＡ（２）が出力され、Ａ（２）が画像バッファ１０４に書き込まれる。また、このフレーム期間においては、フレーム１のフレーム期間において画像バッファ１０４に記録されたＢ（１）が画像バッファ１０４から読み出される。そして、αＡ（２）＋βＢ（１）が、記録媒体１０８に記録、もしくは、ＬＣＤ１０９に表示される。このように、現在のフレームについて得られたデータと、１つ前のフレームについて得られたデータと、のそれぞれに重み付けがされた上で、互いに加算されることにより、輝度モアレが軽減される。

ここで、図８を参照して、偶数フレームにおける画素毎の加重平均の計算方法について説明する。

加重平均は、以下に示す式（１）により計算される。
加重平均画像（ｉ，ｊ）＝α×現在のフレームのカラー処理画像（ｉ，ｊ）＋β×１つ前のフレームのカラー処理画像（ｉ，ｊ）・・・（１）
ｉ：カラー処理画像における横方向の座標
ｊ：カラー処理画像における縦方向の座標
α：現フレームに対する重み
β：前フレームに対する重み

重みの値のとり方は、加重平均をとらない場合（α＝１．０，β＝０．０）、平均値をとる場合（α＝０．５，β＝０．５）、加重平均をとる場合（α＝０．８，β＝０．２）などがある。

加重平均をとらない場合、フレーム毎に位相が逆転するカラー処理画像がそのまま表示・記録される。この場合、目の残像によって位相の違う２枚のカラー処理画像が平均化されて観察されるので、輝度モアレが少ない良好な画質での観察を実現できる。

平均値をとる場合、目の残像を利用せずに、輝度モアレが少ない良好な画質での観察を実現できる。

加重平均をとる場合、例えば、現フレームに偏重する（例えば、α＝０．８，β＝０．２とする）ことで、動きに追従しやすくなる。また、この場合、加重平均をとらない場合と同様に、目の残像を利用して輝度モアレの低減を図ることができる。

なお、図８は、偶数フレームにおける画素ごとの加重平均の計算方法を示している。奇数フレームの場合、αとβの値はそのままで、図８中の各画素値に対する計算式のαとβとを入れ替えた式で計算される。このように、加重平均によって位相Ａの偽信号と位相Ｂの偽信号とが相殺されるので、輝度モアレを低減することができ、ジャギーの少ない良好な画質を得ることができる。

ここで、低域通過フィルタ１０７の役割について説明する。ゾーンプレートチャートを撮像した場合、ナイキスト周波数付近では、偽信号成分の割合が高く、輝度モアレが目立つ。画素加算読み出しでは、加重平均処理が低域通過フィルタの役割をするので、ナイキスト周波数付近に出現する輝度モアレをある程度低減することができるが、十分ではない。そこで、ナイキスト周波数よりやや低い周波数をカットオフ周波数とする低域通過フィルタ１０７を導入し、輝度モアレを低減することが好適である。

また、動画像を撮像する際、撮像対象の動きが大きい場合には、加重平均処理や低域通過フィルタによって加重平均画像がぼやけてしまう。そこで、フレーム間の動き量を領域ごとに検出し、動きが小さい領域では加重平均処理と低域通過フィルタとを弱めることが好適である。動き量の検出は、例えば、動き量検出部１０６が、現フレームのカラー処理画像と前フレームで記録されたカラー処理画像とから、同サイズかつ同位置の領域ごとにＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を計算する。一方、加重平均処理部１０５は、ＳＡＤの値に応じて重みαおよびβを変化させる。例えば、加重平均処理部１０５は、ＳＡＤの値が大きいほど、重みαを増加させるとともに重みβを減少させる。また、低域通過フィルタ１０７は、ＳＡＤの値に応じて遮断周波数を変化させる。例えば、低域通過フィルタ１０７は、ＳＡＤの値が大きいほど、遮断周波数を高く設定する。

次に、図９を参照して、本実施形態に係る撮像装置１０００が実行する画像表示処理について説明する。なお、撮像装置１０００は、動画の撮像中に図９に示す画像表示処理を繰り返して実行する。

まず、ＣＰＵ２０１は、被写体を撮像する（ステップＳ１０１）。例えば、ＣＰＵ２０１は、イメージセンサ１００に動画撮像開始のトリガを与える。一方、撮像素子１０１は、当該トリガに応答して、被写体の撮像を開始し、原画像を構成する全ての画素の画素データを取得する。

ＣＰＵ２０１は、ステップＳ１０１の処理を終了すると、現在のフレームが偶数フレームであるか否かを判別する（ステップＳ１０２）。なお、フレームは、ステップＳ１０１により取得された原画像のことである。

ＣＰＵ２０１は、現在のフレームが偶数フレームであると判別すると（ステップＳ１０２：ＹＥＳ）、偶数フレーム時の画素加算を実行する（ステップＳ１０３）。偶数フレーム時の画素加算は、例えば、図５（Ｂ）に示す位相Ａの減数画像を得るための画素加算である。

一方、ＣＰＵ２０１は、現在のフレームが偶数フレームではないと判別すると（ステップＳ１０２：ＮＯ）、奇数フレーム時の画素加算を実行する（ステップＳ１０４）。奇数フレーム時の画素加算は、例えば、図６（Ｂ）に示す位相Ｂの減数画像を得るための画素加算である。

ＣＰＵ２０１は、ステップＳ１０３もしくはステップＳ１０４の処理を終了すると、カラー処理画像を生成する（ステップＳ１０５）。カラー処理画像は、ステップＳ１０３もしくはステップＳ１０４の処理により得られた減数画像に基づいて生成される画像であって、全画素に輝度と色差とに関する情報が存在する画像である。なお、生成されたカラー処理画像は、例えば、フラッシュメモリ２０４に記憶される。

ＣＰＵ２０１は、ステップＳ１０５の処理を終了すると、動き量を検出する（ステップＳ１０６）。動き量は、カラー処理画像を構成する全画素について、前のフレームと現在のフレームとの輝度の差分をとり、当該差分の総和とすることができる。なお、動き量は、カラー処理画像を構成するブロック毎に求めても良い。本実施形態では、カラー処理画像全体から１つの動き量が求められるものとして説明する。

ＣＰＵ２０１は、ステップＳ１０６の処理を終了すると、ステップＳ１０６において検出された動き量に基づいて、重みを算出する（ステップＳ１０７）。例えば、動き量が大きいほど、重みαを大きな値に設定し、重みβを小さな値に設定する。なお、α＋β＝１とする。

ＣＰＵ２０１は、ステップＳ１０７の処理を終了すると、ステップＳ１０７において算出された重みに基づいて、加重平均画像を生成する（ステップＳ１０８）。なお、加重平均画像は、現在のフレームのカラー処理画像を構成する画素の画素データに重みαを乗じたものに、前のフレームのカラー処理画像を構成する画素の画素データに重みβを乗じたものを加算して得られる画素データを有する画素から構成される画像である。なお、生成された加重平均画像は、例えば、フラッシュメモリ２０４に記憶される。

ＣＰＵ２０１は、ステップＳ１０８の処理を終了すると、ステップＳ１０６において検出された動き量に基づいて、フィルタ係数を設定する（ステップＳ１０９）。例えば、動き量が大きいほど、遮断周波数が高くなるようにフィルタ係数を設定する。

ＣＰＵ２０１は、ステップＳ１０９の処理を終了すると、ステップＳ１０８において設定されたフィルタ係数に基づいて、ステップＳ１０８において生成された加重平均画像に対してフィルタ処理を実行する（ステップＳ１１０）。

ＣＰＵ２０１は、ステップＳ１１０の処理を終了すると、ステップＳ１１０においてフィルタ処理が施された加重平均画像を表示する（ステップＳ１１１）。例えば、加重平均画像は、ＬＣＤ１０９に表示される。

ＣＰＵ２０１は、ステップＳ１１１の処理を終了すると、ステップＳ１０１に処理を戻す。

以上説明したように、本実施形態に係る撮像装置１０００によれば、輝度モアレを低減することができる。

また、本実施形態では、偶数フレームと奇数フレームとでは、逆位相の減数画像が生成される。このため、偽信号が相殺されることにより、輝度モアレが低減される。

また、本実施形態では、低域通過フィルタ１０７により、カラー処理画像の高周波成分が減衰する。このため、高周波成分による輝度モアレを低減することができる。

また、本実施形態では、動き量検出部１０６により検出された動き量に基づいて、低域通過フィルタ１０７のフィルタ特性が設定される。このため、撮像により得られる画像の輝度の変化量に応じた適切なフィルタリングが可能となる。

また、本実施形態では、過去に取得されたフレームのカラー処理画像と、現在のフレームのカラー処理画像と、を画素毎に加重平均をとることにより、加重平均画像が生成される。このため、目の残像を利用せずとも、一枚の加重平均画像において輝度モアレが低減されたものとなる。

また、本実施形態では、動き量検出部１０６により検出された動き量に基づいて、加重平均の重みが設定される。従って、撮像により得られる画像の輝度の変化量に応じた適切な加重平均画像が得られる。

また、本実施形態では、画素ブロックが２×２の４画素から構成される。このように、撮像素子１０１が２×２の４画素を単位配列とする配列パターンを有する場合にも、周期的に配置された適切な画素がサンプルされるため、輝度モアレを低減することができる。

（変形例）
本発明は、上記実施形態に開示したものに限られない。

上記実施形態では、画素加算読み出しにより、原画像から減数画像を生成する例を示した。しかし、画素間引き読み出しにより、原画像から減数画像を生成してもよい。この場合、例えば、図５（Ａ）もしくは図６（Ａ）に示す位置の画素の画素データがサンプルされ、サンプルされた画素データにより構成される減数画像が生成される。このように、画素間引き読み出しにより、原画像から減数画像を生成した場合も、偽信号が相殺されるため、輝度モアレを低減することができる。

上記実施形態では、２×２画素の減数読み出しを例にして本発明の説明をした。しかし、本発明において、Ｍ×Ｎ画素の減数読み出し（ただし、Ｍ，Ｎは自然数）を採用することができる。ここでＭ＝１もしくはＮ＝１のときは、それぞれ縦方向もしくは横方向のみイメージセンサからの出力画素数を減らすことを意味する。Ｍ×Ｎ画素の減数読み出しでは、Ｍ×Ｎ画素から、中央の２×２画素に対応する画素データのみがサンプルされて残り、画素の間隔が詰められて減数画像として出力される。逆位相の減数画像を得る際には、サンプル位置を横にＭ画素、縦にＮ画素ずらす。このようにして互いに逆位相となる減数画像を得て、上記述べた手法を適用することで、Ｍ×Ｎ画素の減数読み出しでも、感度向上効果・デジタル信号処理の負荷低減効果・輝度モアレ低減効果を得ることができる。

例えば、４×２画素（Ｍ＝４、Ｎ＝２）の減数読み出しの場合、サンプル画素の位置は、図１０（Ａ）と図１０（Ｂ）とに示す位置となる。ここで、図１０（Ａ）に示す位相と、図１０（Ｂ）に示す位相とは逆位相となる。なお、間引き読み出しの場合、例えば、Ａ１３＝Ｘ１３、Ａ１４＝Ｘ１４、Ａ２３＝Ｘ２３、Ａ２４＝Ｘ２４となる。一方、加算読み出しの場合、例えば、Ａ１３＝Ｘ００＋Ｘ０２＋Ｘ０４＋Ｘ０６＋Ｘ２０＋Ｘ２２＋Ｘ２４＋Ｘ２６、Ａ１４＝Ｘ０１＋Ｘ０３＋Ｘ０５＋Ｘ０７＋Ｘ２１＋Ｘ２３＋Ｘ２５＋Ｘ２７、Ａ２３＝Ｘ１０＋Ｘ１２＋Ｘ１４＋Ｘ１６＋Ｘ３０＋Ｘ３２＋Ｘ３４＋Ｘ３６、Ａ２４＝Ｘ１１＋Ｘ１３＋Ｘ１５＋Ｘ１７＋Ｘ３１＋Ｘ３３＋Ｘ３５＋Ｘ３７とすることができる。つまり、加算読み出しの場合、サンプル画素近傍の同色の４×２画素（Ｍ×Ｎ画素）の画素データが加算され、加算結果が当該サンプル画素の画素データとして扱われる。このように加算読み出しが実行されると、どの画素の画素データも１度のみ加算に使用されることになる。

また、フレームの切り替えとともに、位相を逆にする（位相を１８０°ずらす）代わりに、フレームの切り替えとともに、所定の角度だけずらすようにしてもよい。また、水平と垂直両方の位相を同時にずらさずに、独立にずらすようにしてもよい。なお、図１０（Ａ）に示す画像を基準として水平・垂直の位相を独立に、９０°ずつ、ずらしていくと、生成される画像は、例えば、図１０（Ａ）に示す画像→図１１（Ｃ）に示す画像→図１１（Ｄ）に示す画像→図１１（Ｅ）に示す画像→図１１（Ｆ）に示す画像→図１０（Ｂ）に示す画像→図１１（Ｇ）に示す画像→図１１（Ｈ）に示す画像というように変化する。ここで水平・垂直の位相を、それぞれφx，φyずらすことを、（φx，φy）と示すと、この場合、水平・垂直の位相は、（０°，０°）→（９０°，０°）→（１８０°，０°）→（２７０°，０°）→（２７０°，１８０°）→（１８０°，１８０°）→（９０°，１８０°）→（０°，１８０°）というように変化している。また、図１０（Ａ）に示す画像を基準として水平・垂直の位相を独立に、１８０°ずつ、ずらしていくと、生成される画像は、例えば、図１０（Ａ）に示す画像→図１１（Ａ）に示す画像→図１０（Ｂ）に示す画像→図１１（Ｂ）に示す画像というように変化する。この場合、水平・垂直の位相は、（０°，０°）→（１８０°，０°）→（１８０°，１８０°）→（０°，１８０°）というように変化している。このように、フレーム番号が増加することに、生成される減数画像の位相が所定の角度ずつ変化することで、輝度モアレを軽減することができる。

なお、本発明に係る撮像装置は、専用のシステムによらず、通常のコンピュータシステムを用いても実現可能である。例えば、コンピュータに、上記動作を実行するためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｋ）などのコンピュータ読み取り可能な記録媒体に記憶して配布し、これをコンピュータシステムにインストールすることにより、上述の処理を実行する撮像装置を構成しても良い。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを記憶しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子と、前記撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成手段と、を備え、前記画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、ことを特徴とする撮像装置。

（付記２）所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子と、前記撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する全画素のうち、当該全画素の画素数の１／（Ｍ×Ｎ）個の画素をサンプルして間引くことにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成手段と、を備え、前記サンプルされる画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、ことを特徴とする撮像装置。

（付記３）前記Ｌは２であり、前記減数画像生成手段は、１つ前のフレームとは逆位相の減数画像を生成する、ことを特徴とする付記１又は２に記載の撮像装置。

（付記４）前記減数画像に基づいて生成されるカラー処理画像の高周波成分を減衰させる低域通過フィルタ手段、をさらに備える、ことを特徴とする付記１乃至３のいずれか１項に記載の撮像装置。

（付記５）現在のフレームについて生成された減数画像と過去のフレームについて生成された減数画像とに基づいて被写体の動き量を検出する動き量検出手段、をさらに備え、前記低域通過フィルタ手段は、前記検出された動き量に基づいて低域通過フィルタのフィルタ特性を設定する、ことを特徴とする付記４に記載の撮像装置。

（付記６）前記減数画像に基づいて生成されるカラー処理画像を記憶する画像バッファ手段と、前記画像バッファ手段に記憶されている最新の（Ｌ−１）回分のカラー処理画像と、現在のフレームについて生成されたカラー処理画像と、を画素毎に加重平均をとることにより、加重平均画像を生成する加重平均画像生成手段と、をさらに備える、ことを特徴とする付記１乃至５のいずれか１項に記載の撮像装置。

（付記７）現在のフレームについて生成された減数画像と過去のフレームについて生成された減数画像とに基づいて被写体の動き量を検出する動き量検出手段、をさらに備え、前記加重平均画像生成手段は、前記検出された動き量に基づいて、前記加重平均の重みを設定する、ことを特徴とする付記６に記載の撮像装置。

（付記８）前記画素ブロックは、２×２の４画素から構成される、ことを特徴とする付記１乃至７のいずれか１項に記載の撮像装置。

（付記９）所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成手段、を備え、前記画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、ことを特徴とする画像処理装置。

（付記１０）所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成ステップ、を備え、前記画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、ことを特徴とする画像処理方法。

１００・・・イメージセンサ、１０１・・・撮像素子、１０２・・・画素加算部、１０３・・・カラー処理部、１０４・・・画像バッファ、１０５・・・加重平均処理部、１０６・・・動き量検出部、１０７・・・低域通過フィルタ、１０８・・・記録媒体、１０９・・・ＬＣＤ、２００・・・主要部、２０１・・・ＣＰＵ、２０２・・・ＲＯＭ、２０３・・・ＲＡＭ、２０４・・・フラッシュメモリ、２０５・・・表示制御部、２０６・・・操作部、２１０・・・バス、１０００・・・撮像装置

Claims (10)

1. 所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子と、
   前記撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成手段と、を備え、
   前記画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、
   ことを特徴とする撮像装置。
2. 所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子と、
   前記撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する全画素のうち、当該全画素の画素数の１／（Ｍ×Ｎ）個の画素をサンプルして間引くことにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成手段と、を備え、
   前記サンプルされる画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、
   ことを特徴とする撮像装置。
3. 前記Ｌは２であり、
   前記減数画像生成手段は、１つ前のフレームとは逆位相の減数画像を生成する、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記減数画像に基づいて生成されるカラー処理画像の高周波成分を減衰させる低域通過フィルタ手段、をさらに備える、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 現在のフレームについて生成された減数画像と過去のフレームについて生成された減数画像とに基づいて被写体の動き量を検出する動き量検出手段、をさらに備え、
   前記低域通過フィルタ手段は、前記検出された動き量に基づいて低域通過フィルタのフィルタ特性を設定する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記減数画像に基づいて生成されるカラー処理画像を記憶する画像バッファ手段と、
   前記画像バッファ手段に記憶されている最新の（Ｌ−１）回分のカラー処理画像と、現在のフレームについて生成されたカラー処理画像と、を画素毎に加重平均をとることにより、加重平均画像を生成する加重平均画像生成手段と、をさらに備える、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 現在のフレームについて生成された減数画像と過去のフレームについて生成された減数画像とに基づいて被写体の動き量を検出する動き量検出手段、をさらに備え、
   前記加重平均画像生成手段は、前記検出された動き量に基づいて、前記加重平均の重みを設定する、
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記画素ブロックは、２×２の４画素から構成される、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成手段、を備え、
   前記画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、
   ことを特徴とする画像処理装置。
10. 所定のサイズの画素ブロックを単位配列とする周期配列のカラーパターンを有する撮像素子から出力される光電変換情報を原画像として、当該原画像を構成する同色のＭ×Ｎ個（ただし、Ｍ，Ｎは自然数）の画素の画素データを加算して１つの画素データを生成することにより、当該原画像の１／（Ｍ×Ｎ）の画素数をもつ減数画像を生成する減数画像生成ステップ、を備え、
    前記画素データが加算されるＭ×Ｎ個の画素は、それぞれ、Ｌ回（ただし、Ｌは２以上の自然数）変更される毎に同じ画素となるように、フレーム毎に変更される、
    ことを特徴とする画像処理方法。

Images