JP7620015B2 - 撮像装置およびその制御方法 - Google Patents

Description

本開示は、撮像装置およびその制御方法に関する。

一般的に、カメラなどの撮像装置において、高画質化や高機能化などの性能向上が求められており、当該撮像装置に搭載される、例えば、ＣＭＯＳなどのイメージセンサでは、様々な工夫がなされている。

例えば、イメージセンサの複数の画素をグループ単位で処理することにより、高ダイナミックレンジ（ＨＤＲ）画像を実現する技術が開示されている（例えば、特許文献１参照）。

米国特許出願公開第２０２１／０３８５３８９号明細書

しかしながら、特許文献１に記載のイメージセンサでは、撮像画像に発生するモアレに関して考慮されておらず、結果的に、撮像画像にモアレが発生してしまう可能性がある。

そこで、本開示は、適切にモアレを除去する撮像装置およびその制御方法を提供することを目的とする。

本開示の一態様に係る撮像装置は、グループ化された複数の画素で構成される単位画素群において、ビニングにより少なくとも１つの画素で構成される第１画素群に基づく第１部分ビニングデータを取得するデータ取得部と、第１部分ビニングデータと、単位画素群のうち第１画素群以外の画素で構成される第２画素群に基づく第２部分ビニングデータとの相互相関に基づいて、単位画素群で構成される領域の映像信号の周波数特性を解析する解析部と、解析結果に基づいて、単位画素群で構成される領域に発生するモアレを除去するモアレ除去部と、を備える。

上記態様において、モアレ除去部は、ローパスフィルタにより映像信号の高周波成分を除去することによりモアレを除去してもよい。

上記態様において、モアレ除去部は、単位画素群の近傍の単位画素群で構成される領域の映像信号に基づいてモアレを除去してもよい。

上記態様において、データ取得部は、単位画素群を構成する全画素に基づく全ビニングデータを取得し、第２部分ビニングデータは、全ビニングデータから第１部分ビニングデータを減算することにより取得されてもよい。

上記態様において、複数の画素に対応して構成される各フォトダイオードは、共通のフローティングディフュージョンに接続されてもよい。

上記態様において、フローティングディフュージョンは、複数の電荷電圧変換ゲインを切り替え可能であり、データ取得部は、複数の電荷電圧変換ゲインのうち低変換ゲインでの第１部分ビニングデータを取得し、解析部は、低変換ゲインでの第１部分ビニングデータと第２部分ビニングデータとの相互相関に基づいて、単位画素群で構成される領域の映像信号の周波数特性を解析し、モアレ除去部は、低変換ゲインでの解析結果に基づいて、単位画素群で構成される領域に発生するモアレを除去してもよい。

上記態様において、複数の画素のそれぞれは、さらに、２つ以上のサブ画素から構成され、データ取得部は、２つ以上のサブ画素において、ビニングにより少なくとも１つ以上のサブ画素で構成される第１サブ画素群に基づく第１サブ部分ビニングデータ、および第１サブ画素群以外のサブ画素で構成される第２サブ画素群に基づく第２サブ部分ビニングデータを取得し、第１サブ部分ビニングデータおよび第２サブ部分ビニングデータは、位相差オートフォーカスに用いられてもよい。

上記態様において、複数の画素のそれぞれは、さらに、２つ以上のサブ画素から構成され、複数の画素のうちのいずれかの画素は、２つ以上のサブ画素のうち少なくとも１つ以上のサブ画素をマスクするマスク画素を含み、データ取得部は、マスク画素を含む画素において、マスク画素以外のサブ画素に基づくサブ部分ビニングデータを取得し、サブ部分ビニングデータは、位相差オートフォーカスに用いられてもよい。

本開示の他の一態様に係る撮像装置は、グループ化された複数の画素で構成される単位画素群において、ビニングにより少なくとも１つの画素で構成される第１画素群に基づく第１部分ビニングデータを取得するデータ取得部と、第１部分ビニングデータと、単位画素群のうち第１画素群以外の画素で構成される第２画素群に基づく第２部分ビニングデータとの相互相関に基づいて、単位画素群で構成される領域の映像信号の周波数特性を解析する解析部と、解析結果に基づいて、単位画素群で構成される領域における高周波成分を復旧しつつ画像を生成する画像生成部と、を備える。

本開示の一態様に係る制御方法は、撮像装置に含まれるプロセッサが実行する制御方法であって、グループ化された複数の画素で構成される単位画素群において、ビニングにより少なくとも１つの画素で構成される第１画素群に基づく第１部分ビニングデータを取得するデータ取得ステップと、第１部分ビニングデータと、単位画素群のうち第１画素群以外の画素で構成される第２画素群に基づく第２部分ビニングデータとの相互相関に基づいて、単位画素群で構成される領域の映像信号の周波数特性を解析する解析ステップと、解析結果に基づいて、単位画素群で構成される領域に発生するモアレを除去するモアレ除去ステップと、を含む。

本開示によれば、適切にモアレを除去する撮像装置およびその制御方法を提供することができる。

本開示の第１実施形態に係るイメージセンサ１０の構成を説明するための模式図である。 本開示の第１実施形態に係るイメージセンサ１０で用いられるビニングを説明するための図である。 本開示の第１実施形態に係るイメージセンサ１０で用いられる部分ビニングを説明するための図である。 本開示の第１実施形態に係る撮像装置１００の各機能とデータフローを説明するためのブロック図である。 ４（２×２）画素におけるビニングの例を説明するための信号フローに関する回路構成を模式的に示す図である。 図５に示された４（２×２）画素の回路構成について、各要素の動作を説明するための図である。 本開示の第１実施形態に係る撮像装置１００が実行する制御方法Ｍ１００の処理の流れを示すフローチャートである。 本開示の第１実施形態に係るイメージセンサ１０で用いられる他の部分ビニング（他の具体例１）を示す図である。 本開示の第１実施形態に係るイメージセンサ１０で用いられる他の部分ビニング（他の具体例２）を示す図である。 本開示の第１実施形態に係るイメージセンサ１０で用いられる他の部分ビニング（他の具体例３）を示す図である。 ４（２×２）画素においてデュアルコンバージョンゲイン、かつ全画素撮像面位相差ＡＦを組み合わせて動作させる例を説明するための信号フローに関する回路構成を模式的に示す図である。 図１１に示された４（２×２）画素の回路構成について、各要素の動作を説明するための図である。 位相差ＡＦ用の信号を取得するために専用の画素が設定されたイメージセンサを示す模式図である。

以下、本開示の好適な実施形態について、添付図面を参照しながら具体的に説明する。なお、以下で説明する各実施形態は、あくまで、本開示を実施するための具体的な一例を挙げるものであって、本開示を限定的に解釈させるものではない。また、説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する場合がある。

＜第１実施形態＞
［イメージセンサについて］
図１は、本開示の第１実施形態に係るイメージセンサ１０の構成を説明するための模式図である。図１に示されるように、イメージセンサ１０は、典型的には、ＣＭＯＳイメージセンサなどであって、制御回路１と、２次元配列された複数の画素群２と、信号線３と、読み出し回路４と、デジタル信号処理部（ＤＳＰ）５とを備える。

なお、ここでは、画素群２は、４（２×２）画素をグループ化することにより、１つの画素群（単位画素群）としているが、これに限定されるものではなく、例えば、３（３×１）画素、８（４×２）画素、９（３×３）画素、および１６（４×４）画素などを単位画素群としてもよい。

制御回路１は、イメージセンサ１０の複数の画素群２を駆動し、当該複数の画素群２に蓄積された光信号に基づくデータを読み出して、イメージセンサ１０の外部に出力するように制御している。

複数の画素群２は、２次元配列されており、制御回路１からの制御信号および当該画素２群自身が生成する制御信号に基づいて、イメージセンサ１０にもたらされる光信号を蓄積し、当該光信号に基づくデータ（電気信号）として読み出される。

読み出し回路４には、信号線３（典型的には、列方向と平行な列信号線）を介して、複数の画素群２から読み出された電気信号が伝送され、当該電気信号は、アナログデジタル変換される。

デジタル信号処理部（ＤＳＰ）５は、読み出し回路４によってアナログデジタル変換されたデジタル信号を処理する。そして、処理されたデジタル信号は、データバスを介して撮像装置が有するプロセッサやメモリなどに伝送される。

なお、ＤＳＰ５は、このような配置構成に限定されるものではなく、例えば、イメージセンサ１０がＤＳＰ５を含まず、後段のプロセッサがＤＳＰを有する構成であってもよい。さらには、画像処理におけるデジタル信号処理の一部を、それぞれイメージセンサ１０のＤＳＰ５および後段のプロセッサなどに含まれるＤＳＰにて処理するような構成であってもよい。換言すれば、本開示におけるＤＳＰの位置は、特定の位置に限定されるものではない。

［ビニングについて］
図２は、本開示の第１実施形態に係るイメージセンサ１０で用いられるビニングを説明するための図である。図２では、一例として、単板式のベイヤー配列の色画素配置において、各色を４（２×２）画素で構成している。

各画素をそれぞれ個別に独立したものとして各画素からのデータを読み込めば、高いサンプリング周波数に基づく解像度の高い映像を取得することができる。一方で、図２に示されたように、ビニングにより４画素を１つの画素群（単位画素群）として当該４画素からのデータを読み込めば、高い信号電子数に基づく高いＳＮＲ、広い画素サイズに基づく高感度、少ない画素数に基づく高いフレームレート、低い読み出しに基づく低消費電力を実現することができる。

すなわち、ビニングに応じて、解像度とそれ以外の性質とがトレードオフの関係にある。具体的には、各画素をそれぞれ個別に独立したものとして全画素からのデータを読み出す場合、当該読み出し時のサンプリング周波数をｆｓとする（全画素読み出しモード：”full readout mode”）。これに対して、ビニングにより４画素を１つ画素群（単位画素群）として当該４画素からのデータを読み出す場合、当該読み出し時のサンプリング周波数はｆｓ／２に低下する（ビニングモード：”binning mode”）。

図３は、本開示の第１実施形態に係るイメージセンサ１０で用いられる部分ビニングを説明するための図である。図３では、一例として、緑色（Ｇ）、赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）で構成されるベイヤー配列を１つのベイヤーユニット（”one bayer unit”）として、当該ベイヤーユニットが行列に配置されている。

なお、ここでは、１つのベイヤーユニット（”one bayer unit”）、Ｇ、Ｒ、Ｂ、Ｇの４つ（２×２）の単位画素群で構成されているが、これに限定されるものではなく、例えば、９つ（３×３）の単位画素群、および１６個（４×４）の単位画素群などで構成されてもよい。

偶数行グループでは、数字の“１”で示されるように、例えば、Ｇで構成される４（２×２）画素の単位画素群うち、左半分の２画素（第１画素群）を部分ビニングしてデータを読み出す（第１部分ビニングデータ）。次に、そのＧで構成される４（２×２）画素を全ビニングしてデータを読み出す（全ビニングデータ）。

奇数行グループでは、数字の“１”で示されるように、例えば、Ｇで構成される４（２×２）画素の単位画素群うち、上半分の２画素（第１画素群）を部分ビニングしてデータを読み出す（第１部分ビニングデータ）。次に、そのＧで構成される４（２×２）画素を全ビニングしてデータを読み出す（全ビニングデータ）。

また、Ｇで構成される４（２×２）画素の単位画素群のうち、右半分および下半分のデータは、全ビニングにて読み出された全ビニングデータから部分ビニングにて読み出された部分ビニングデータの差分に基づいて、生成することができる（第２画素群、第２部分ビニングデータ）。

なお、ここでは、Ｇで構成される４（２×２）画素の単位画素群のうちの一部を例に挙げて具体的に説明したが、その他のＧで構成される４（２×２）画素の単位画素群、Ｒで構成される４（２×２）画素の単位画素群、およびＢで構成される４（２×２）画素の単位画素群についても同様の処理である。

［モアレ除去について］
以下に、イメージセンサ１０から出力される部分ビニングデータおよび全ビニングデータを用いてモアレ（エイリアシング）を除去する処理を説明する。なお、モアレは、画像に発生するノイズの一種であるが、本明細書におけるモアレの除去とは、同類のエイリアシングの除去も含まれ、当然に処理することが可能である。

図４は、本開示の第１実施形態に係る撮像装置１００の各機能とデータフローを説明するためのブロック図である。図４に示されるように、撮像装置１００は、イメージセンサ１０と、データ取得部２０と、解析部３０と、モアレ除去部４０とを備える。なお、ここでは、光学系やメモリなどを図示せず、詳しい説明も省略するが、一般的に撮像装置に備えられている機能や部材は、撮像装置１００にも備えられている。なお、本開示の撮像装置は、デジタルカメラ、およびカメラ機能が搭載されたスマートフォン、タブレット、パソコン等の端末に適用される。

イメージセンサ１０は、上述の図１～図３を用いて説明したイメージセンサであって、図４に示されるように、イメージセンサ１０から、第１部分ビニングデータｐ１および全ビニングデータａ１が読み出されている。

ここで、全ビニングデータａ１、第１部分ビニングデータｐ１および第２部分ビニングデータｐ２は、例えば、上記図３を用いて説明した手順によって読み出され、および生成されるとよい。

具体的には、第１部分ビニングデータｐ１は、グループ化された複数の画素で構成される単位画素群において、ビニングにより少なくとも１つの画素で構成される第１画素群に基づくデータである。第１部分ビニングデータｐ１は、図３では、単位画素群のうち、数字の“１”で示される２画素から読み出されるデータに相当する。

全ビニングデータａ１は、グループ化された複数の画素で構成される単位画素群において、その全画素に基づくデータである。全ビニングデータａ１は、図３では、単位画素群における４（２×２）画素から読み出されるデータに相当する。

そして、全ビニングデータａ１から第１部分ビニングデータｐ１を減算することにより、その差分に基づいて第２部分ビニングデータｐ２が生成されている。

解析部３０は、第１部分ビニングデータｐ１と第２部分ビニングデータｐ２との相互相関に基づいて、当該単位画素群で構成される領域の映像信号の周波数特性を解析する。

例えば、解析部３０は、第１部分ビニングデータｐ１と第２部分ビニングデータｐ２との相互相関を計算し、相互相関が小さい（所定の閾値以下の）場合には、当該単位画素群で構成される領域では高周波成分が多く含まれていると判定する。

さらに、モアレは、周期的に発生する可能性が高く、その特性を考慮して、解析部３０は、イメージセンサ１０において、どの単位画素群で構成される領域にモアレが発生しているかを推定してもよい。

例えば、図３で示した例では、解析部３０は、偶数行グループでは、単位画素群のうち左半分の２画素に基づく第１部分ビニングデータと、右半分の２画素に基づく第２ビニングデータとの相互相関を計算することになる。また、解析部３０は、奇数行グループでは、単位画素群のうち上半分の２画素に基づく第１部分ビニングデータと、下半分の２画素に基づく第２部分ビニングデータとの相互相関を計算することになる。すなわち、解析部３０は、単位画素群において縦方向と横方向とで映像信号の周波数特性を解析しているものの、ビニングのグループ化を縦方向と横方向とで一行毎に交互に設定されている。このため、モアレの発生状況によっては、モアレが発生している全ての領域（単位画素群）を判定できない場合も考えられるが、上述したように、モアレは、周期的（所定の長さおよび周期）に縞模様に発生すると仮定することにより、どの領域（単位画素群）でモアレが発生しているかを推定することができる。

なお、第１部分ビニングデータｐ１と第２部分ビニングデータｐ２との相互相関を計算し、高周波成分が多く含まれていると判定するための閾値は、例えば、レンズやイメージセンサなどを含む撮像装置の種類および性能、被写体や周辺環境、およびその他撮像状況に応じて、予め設定されてもよいし、変更可能であってもよい。また、ＡＩ（Artificial Intelligence）を用いて学習させることにより、適切な閾値を設定するようにしてもよい。さらに、モアレが発生しているかについても、例えば、第１部分ビニングデータｐ１、第２ビニングデータｐ２および全ビニングデータａ１などを教師データとして、ＡＩを用いて判定するようにしてもよい。

このように、解析部３０は、解析方法を特に限定するものではなく、様々な解析方法を用いて、単位画素群で構成される領域の映像信号の周波数特性を解析し、高周波成分が多く含まれる領域およびモアレが発生している領域などを検知すればよい。

モアレ除去部４０は、解析部３０による解析結果に基づいて、単位画素群で構成される領域に発生するモアレを除去する。

例えば、モアレ除去部４０は、高周波成分が多く含まれる領域における映像信号（例えば、当該単位画素群の全ビニングデータａ１）をローパスフィルタにより当該高周波成分を除去してもよい。

また、モアレ除去部４０は、モアレが発生している領域の近傍で、モアレが発生していない領域における映像信号（例えば、他の単位画素群の全ビニングデータａ１）に基づいて、モアレを除去してもよい。ここで、モアレが発生している領域の近傍で、モアレが発生していない領域とは、例えば、モアレが発生している領域の隣接（上下左右、対角線の延長線上の斜め位置）に位置して当該モアレが発生している領域を囲む領域のうち、モアレが発生していない領域である。すなわち、モアレ除去部４０は、モアレが発生している領域については、他の領域の映像信号から補間することにより、モアレのない画像を生成する。

その他、モアレの発生に限らず、解析部３０によって、高周波成分を含み当該高周波成分において処理が必要であると判定された領域（単位画素群）については、高周波成分を適切に復旧させる画像生成部（図示せず）を、モアレ除去部４０に替えて、または加えて備えてもよい。画像生成部は、典型的には、画像処理が必要であると判定された領域（単位画素群）において、その近傍の領域の映像信号から補間することにより、高周波成分を適切に復旧させてもよいし、さらには、ＡＩを用いて高周波成分を適切に復旧させてもよい。

なお、図４に示される例では、データ取得部２０は、全ビニングデータａ１から第１部分ビニングデータｐ１を減算することにより第２部分ビニングデータｐ２を取得し、解析部３０は、第１部分ビニングデータと第２部分ビニングデータｐ２との相互相関とを算出しているが、これに限定されるものではない。例えば、解析部３０は、第１部分ビニングデータｐ１と全ビニングデータａ１とに基づいて、第１部分ビニングデータｐ１と第２部分ビニングデータｐ２との相互相関に基づいて、単位画素群で構成される領域の映像信号の周波数特性を解析してもよい。

データ取得部２０は、イメージセンサ１０から第１部分ビニングデータｐ１と全ビニングデータａ１とを読み出しているが、これに限定されるものではない。例えば、第１部分ビニングデータｐ１と第２部分ビニングデータｐ２とを読み出してもよい。この場合、解析部３０は、イメージセンサ１０から読み出した第１部分ビニングデータｐ１と第２部分ビニングデータｐ２との相互相関に基づいて、当該単位画素群で構成される領域の映像信号の周波数特性を解析すればよい。

また、モアレ除去部４０および／または画像生成部は、解析部３０による解析結果に基づいて、モアレを除去することなどを含めて、高周波成分を多く含む領域について、典型的には、全ビニングデータａ１に基づいて適切な画像を生成するが、第１部分ビニングデータｐ１および第２部分ビニングデータｐ２に基づいて、画像を生成するようにしてもよい。

さらに、モアレ除去部４０および／または画像生成部は、全ビニングデータａ１、または第１部分ビニングデータｐ１および第２部分ビニングデータｐ２をデモザイク処理した後に、適切な画像を生成するようにしてもよい。

［イメージセンサにおける各画素の回路構成について］
イメージセンサとして、単位画素群のビニングの具体的方法について説明する。ここでは、イメージセンサにおける単位画素群に関して、より具体的な構成および動作について詳しく説明する。

図５は、４（２×２）画素におけるビニングの例を説明するための信号フローに関する回路構成を模式的に示す図である。図５に示されるように、４（２×２）画素は、４つのフォトダイオード（ＰＤ１～ＰＤ４）に対応し、それらに繋がるフローティングディフュージョン（ＦＤ）、ソースフォロアアンプ（ＳＦ）、リセットトランジスタ（ＲＥＳ）、転送トランジスタ（ＴＸ１～ＴＸ４）、および選択トランジスタ（ＳＥＬ）から構成されている。

４つのフォトダイオード（ＰＤ１～ＰＤ４）は、共通のフローティングディフュージョン（ＦＤ）に接続されている。ソースフォロアアンプ（ＳＦ）の出力は、選択トランジスタ（ＳＥＬ）を介して複数の画素群が２次元配置された列で共通の出力線（図１の信号線３に相当）に接続され、さらに、ソースフォロアアンプ（ＳＦ）の負荷となる定電流源（Ｉ）、電圧ゲイン変換手段（図示せず）、およびアナログデジタル変換器（ＡＤＣ）が接続される。

そして、アナログデジタル変換器（ＡＤＣ）によって変換されたデジタル信号（データ）は、ラインメモリ１またはラインメモリ２に保持される。

図６は、図５に示された４（２×２）画素の回路構成について、各要素の動作を説明するための図である。

時刻ｔ１において、リセットトランジスタ（ＲＥＳ）および転送トランジスタ（ＴＸ１～ＴＸ４）をＯＮし、フォトダイオード（ＰＤ１～ＰＤ４）をリセットする。

その後、データを蓄積するための所定の蓄積期間経過後に、単位画素群を構成する画素からデータの読み出し処理を開始するが、先ずは、時刻ｔ２において、リセットトランジスタ（ＲＥＳ）をＯＦＦし、選択トランジスタ（ＳＥＬ）をＯＮする。そして、その値を所定の電圧ゲインでアナログデジタル変換し、ラインメモリ１に保持する（ＦＤリセット雑音）。

時刻ｔ３において、部分ビニングのために、転送トランジスタ（ＴＸ１～ＴＸ４）のうち、例えば、転送トランジスタ（ＴＸ１～ＴＸ２）をＯＮすることにより、フォトダイオード（ＰＤ１～ＰＤ２）からの信号をフローティングディフュージョン（ＦＤ）に伝送する。そして、その値を所定の電圧ゲインでアナログデジタル変換し、ラインメモリ２に保持する（部分ビニングデータ）。

時刻ｔ４において、ラインメモリ２に保持されている値からラインメモリ１に保持されている値を減算し、その結果を出力し、後段のイメージシグナルプロセッサ（ＩＳＰ）やフレームメモリに伝送する。これにより、相関二重サンプリングと呼ばれる、フローティングディフュージョン（ＦＤ）のリセット雑音が除去されたデータを取得することができる（雑音除去・部分ビニングデータ）。これは、図４の第１部分ビニングデータｐ１に相当する。

時刻ｔ５において、全ビニングのために、転送トランジスタ（ＴＸ１～ＴＸ４）をＯＮすることにより、フォトダイオード（ＰＤ１～ＰＤ４）からの信号をフローティングディフュージョン（ＦＤ）に伝送する。そして、その値を所定の電圧ゲインでアナログデジタル変換し、ラインメモリ２に保持する（全ビニングデータ）。

なお、ここでは、全ビニングデータのアナログデジタル変換が終了する前に、ラインメモリ２に保持されていた部分ビニングデータの出力が完了しているものとするが、仮に、部分ビニングデータの出力が完了していない場合には、全ビニングデータを保持するための別のラインメモリなどを備えるとよい。

また、全ビニングのフローティングディフュージョン（ＦＤ）のリセット雑音は、ラインメモリ１に保持されているデータを用いることができるため、時刻ｔ６において、ラインメモリ２に保持されている値からラインメモリ１に保持されている値を減算し、その結果を出力する。これにより、フローティングディフュージョン（ＦＤ）のリセット雑音が除去された全ビニングデータを取得することができる（雑音除去・全ビニングデータ）。これは、図４の全ビニングデータａ１に相当する。

このように、イメージセンサ１０の各単位画素群から第１部分ビニングデータｐ１および全ビニングデータａ１が取り出されている。

［制御方法について］
次に、ビニングデータを用いてモアレを除去しつつ画像が生成される制御方法について、詳しく説明する。

図７は、本開示の第１実施形態に係る撮像装置１００が実行する制御方法Ｍ１００の処理の流れを示すフローチャートである。図７に示されるように、制御方法Ｍ１００は、ステップＳ１０～Ｓ５０を含み、各ステップは、撮像装置１００に含まれるプロセッサによって実行される。

ステップＳ１０では、データ取得部２０は、単位画素群のうち第１画素群に基づく第１部分ビニングデータを取得する（データ取得ステップ）。具体例としては、図３および図４に示されたように、データ取得部２０は、イメージセンサ１０から、４（２×２）画素の単位画素群うち、数字の“１”で示される２画素を部分ビニングしてデータを読み出す（第１部分ビニングデータｐ１）。

ステップＳ２０では、解析部３０は、ステップＳ１０で取得された第１部分ビニングデータと、単位画素群のうち第１画素群以外の画素で構成される第２画素群に基づく第２部分ビニングデータとの相互相関に基づいて、当該単位画素群で構成される領域の映像信号の周波数特性を解析する（解析ステップ）。具体例としては、図３および図４に示されたように、データ取得部２０は、イメージセンサ１０から、４（２×２）画素の単位画素群の全画素を全ビニングしてデータを読み出して（全ビニングデータａ１）、第１部分ビニングデータｐ１を減算して第２部分ビニングデータｐ２を取得する。そして、解析部３０は、第１部分ビニングデータｐ１と第２部分ビニングデータｐ２との相互相関を計算し、当該単位画素群で構成される領域の映像信号の周波数特性を解析する。

ステップＳ３０では、解析部３０は、単位画素群で構成される領域について、高周波成分が多く含まれ、高周波成分において処理が必要な処理対象領域か否かを判定する。具体例としては、解析部３０は、ステップＳ２０で計算された第１部分ビニングデータｐ１と第２部分ビニングデータｐ２との相互相関に基づいて、当該単位画素群で構成される領域が高周波成分の処理対象領域か否かを判定する。相互相関が小さい場合には、当該領域は、高周波成分が多く含まれるため、高周波成分の処理対象領域であると判定し（ステップＳ３０のＹｅｓ）、相互相関が大きい場合には、当該領域は、高周波成分の処理対象領域でないと判定する（ステップＳ３０のＮｏ）。

ステップＳ４０（ステップＳ３０のＹｅｓ）では、モアレ除去部４０は、単位画素群で構成される領域に発生するモアレを除去しつつ画像を生成する（モアレ除去ステップ）。具体例としては、モアレ除去部４０は、当該単位画素群で構成される領域について、ローパスフィルタを用いて高周波成分を除去することにより、または他の領域の映像信号から補間することにより、モアレを除去しつつ画像を生成する。

ステップＳ５０（ステップＳ３０のＮｏ）では、画像生成部は、当該単位画素群で構成される領域について、全ビニングデータａ１に基づいて適切な画像を生成する。

以上のように、本開示の第１実施形態に係る撮像装置１００および制御方法Ｍ１００によれば、データ取得部２０は、単位画素群のうち第１画素群に基づく第１部分ビニングデータｐ１を取得し、解析部３０は、第１部分ビニングデータｐ１と第２部分ビニングデータｐ２との相互相関に基づいて、単位画素群で構成される領域の映像信号の周波数特性を解析し、モアレ除去部４０は、解析結果に基づいて、単位画素群で構成される領域に発生するモアレを除去する。その結果、適切にモアレを除去しつつ画像を生成することができる。

［単位画素群のグループ化（部分ビニング）の他の具体例］
本実施形態では、図３に示されたように、４（２×２）画素をグループ化して単位画素群とし、左半分の２画素または上半分の２画素を部分ビニングしてデータを読み出して、第１部分ビニングデータとしていたが、部分ビニングは、これに限定されるものではない。以下に、部分ビニングの他の具体例について説明する。

（他の具体例１）
図８は、本開示の第１実施形態に係るイメージセンサ１０で用いられる他の部分ビニング（他の具体例１）を示す図である。図８に示されるように、図３と同様に、緑色（Ｇ）、赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）で構成されるベイヤーユニットが行列に配置されている。

偶数行グループでは、数字の“１”で示されるように、単位画素群うち、左上および右下の２画素（第１画素群）を部分ビニングしてデータを読み出す（第１部分ビニングデータ）。

奇数行グループでは、数字の“１”で示されるように、単位画素群うち、右上および左下の２画素（第１画素群）を部分ビニングしてデータを読み出す（第１部分ビニングデータ）。

このように、単位画素群うち、対角線上に配置される画素を部分ビニングする。その他は、図３を用いて説明したのと同様の処理である。

（他の具体例２）
図９は、本開示の第１実施形態に係るイメージセンサ１０で用いられる他の部分ビニング（他の具体例２）を示す図である。図９に示されるように、図３と同様に、緑色（Ｇ）、赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）で構成されるベイヤーユニットが行列に配置されている。

偶数行グループおよび奇数行グループでは、数字の“１”で示されるように、単位画素群うち、右上、右下および左下の３画素（第１画素群）を部分ビニングしてデータを読み出す（第１部分ビニングデータ）。

このように、単位画素群（４画素）うち、３画素を部分ビニングする。その他は、図３を用いて説明したのと同様の処理である。

図９の例では、単位画素群うち、非対称となるように複数の画素をグループ化して部分ビニングしている。これにより、解析部３０は、第１部分ビニングデータ（数字の“１”で示される第１画素群）と第２部分ビニングデータ（単位画素群うち第１画素群以外の第２画素群）との相互相関に基づいて、当該単位画素群において、より適切に縦方向と横方向とで映像信号の周波数を解析することができる。すなわち、解析部３０は、当該単位画素群で構成される領域において、高周波成分が多く含まれている、およびモアレが発生していることに関して、より適切に解析することができる。

（他の具体例３）
図１０は、本開示の第１実施形態に係るイメージセンサ１０で用いられる他の部分ビニング（他の具体例３）を示す図である。図１０に示されるように、図３と同様に、緑色（Ｇ）、赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）で構成されるベイヤーユニットが行列に配置されている。

偶数行グループでは、数字の“１”で示されるように、単位画素群うち、左半分の２画素（第１画素群）を部分ビニングしてデータを読み出し（第１部分ビニングデータ）、さらに、右上の画素を第１画素群に加えて、または単独で、部分ビニングしてデータを読み出す（追加部分ビニングデータ）。

奇数行グループでは、数字の“１”で示されるように、単位画素群うち、上半分の２画素（第１画素群）を部分ビニングしてデータを読み出し（第１部分ビニングデータ）、さらに、左下の画素を第１画素群に加えて、または単独で、部分ビニングしてデータを読み出す（追加部分ビニングデータ）。

このように、単位画素群うち、第１画素群を部分ビニングし、さらに、異なる画素群（第１画素群＋別画素または別画素単独）を部分ビニングする。そして、単位画素群を全ビニングして全ビニングデータを読み出す。

図１０の例では、重心の異なる画素群で構成される領域における部分ビニングデータを複数取得するため、全ビニングデータから、これらの部分ビニングデータを減算すれば、複数の第２部分ビニングデータを取得することもできる。解析部３０は、このように取得された種々の組み合わせによる第１部分ビニングデータと第２部分ビニングデータとに基づいて、当該単位画素群で構成される領域において、高周波成分が多く含まれている、およびモアレが発生していることに関して、より適切に解析することができる。

ここで例示したように、部分ビニングには様々な態様があるが、これらに限定されるものではない。単位画素群のうち部分ビニングされる画素は、規則的に設定されてもよく、ランダムに設定されてもよい。解析部３０が、高周波成分が多く含まれている、およびモアレが発生している単位画素群（領域）を適切に解析することができるように、例えば、レンズやイメージセンサなどを含む撮像装置の種類および性能、被写体や周辺環境、およびその他撮像状況に応じて、単位画素群のうち部分ビニングされる画素を設定すればよい。

また、上述したように、１つの単位画素群は、４（２×２）画素で構成されることに限定されず、例えば、３（３×１）画素、８（４×２）画素、９（３×３）画素、および１６（４×４）画素などで構成されてもよいし、１つのベイヤーユニット（”one bayer unit”）も、４つ（２×２）の単位画素群で構成されることに限定されず、例えば、９つ（３×３）の単位画素群、および１６個（４×４）の単位画素群などで構成されてもよい。そのうち、部分ビニングされる画素をどのように設定するかについて、適宜、決定すればよく、ＡＩを用いて決定してもよい。

＜第２実施形態＞
次に、本開示の第２実施形態に係るイメージセンサとして、デュアルコンバージョンゲイン（ＤＣＧ）、かつ全画素撮像面位相差ＡＦ（オートフォーカス）を組み合わせて動作させる具体的方法について説明する。本実施形態に係るイメージセンサの基本的な構成は、第１実施形態に係るイメージセンサ１０の構成と同様であり、画素におけるビニングについても第１実施形態と同様の考え方を利用するものである。ここでは、イメージセンサにおける画素に関して、デュアルコンバージョンゲイン、かつ全画素撮像面位相差ＡＦを組み合わせて動作させる具体的な構成および動作について詳しく説明する。

図１１は、４（２×２）画素においてデュアルコンバージョンゲイン、かつ全画素撮像面位相差ＡＦを組み合わせて動作させる例を説明するための信号フローに関する回路構成を模式的に示す図である。図１１に示されるように、ここでは、図５で示された４つの各フォトダイオード（ＰＤ１～ＰＤ４）は、全画素撮像面位相差ＡＦのために、２つに分割されて、それぞれサブフォトダイオード（ＰＤ１Ｌ・ＰＤ１Ｒ～ＰＤ４Ｌ・ＰＤ４Ｒ）となっており、転送トランジスタ（ＴＸ１～ＴＸ４）は、当該サブフォトダイオードに対応して、転送トランジスタ（ＴＸ１Ｌ・ＴＸ１Ｒ～ＴＸ４Ｌ・ＴＸ４Ｒ）となっている（Ｌ：左、Ｒ：右）。

そして、当該回路には、フローティングディフュージョン（ＦＤ）、ソースフォロアアンプ（ＳＦ）、リセットトランジスタ（ＲＥＳ）、切り替えトランジスタ（Ｘ）、および選択トランジスタ（ＳＥＬ）が配置されている。

さらに、デュアルコンバージョンゲインのために、画素には切り替えトランジスタ（Ｘ）を介して電気的に切り替え可能な追加負荷容量が付加されている。フローティングディフュージョン（ＦＤ）の負荷容量を大きくすることで電荷電圧変換ゲインを小さく設定でき、負荷容量を小さくすることで電荷電圧変換ゲインを大きく設定できる。

図１２は、図１１に示された４（２×２）画素の回路構成について、各要素の動作を説明するための図である。なお、４（２×２）画素の各画素は、それぞれ２つに分割されたサブ画素（Ｌ：左、Ｒ：右）により構成されている。なお、ここでは、各画素は、２つのサブ画素により構成されているが、これに限定されるものではなく、例えば、３つ以上のサブ画素により構成されてもよい。

時刻ｔ１において、リセットトランジスタ（ＲＥＳ）、切り替えトランジスタ（Ｘ）、および転送トランジスタ（ＴＸ１Ｌ・ＴＸ１Ｒ～ＴＸ４Ｌ・ＴＸ４Ｒ）をＯＮし、サブフォトダイオード（ＰＤ１Ｌ・ＰＤ１Ｒ～ＰＤ４Ｌ・ＰＤ４Ｒ）をリセットする。

その後、データを蓄積するための所定の蓄積期間経過後に、単位画素群を構成する画素からデータの読み出し処理を開始するが、先ずは、時刻ｔ２において、リセットトランジスタ（ＲＥＳ）をＯＦＦし、切り替えトランジスタ（Ｘ）および選択トランジスタ（ＳＥＬ）をＯＮする。そして、フローティングディフュージョン（ＦＤ）の電荷電圧変換ゲインを小さくした状態（ＬＣＧ）で、ＦＤリセット雑音をアナログデジタル変換し、ラインメモリ１に保持する（ＬＣＧ・ＦＤリセット雑音）。

時刻ｔ３において、切り替えトランジスタ（Ｘ）をＯＦＦし、フローティングディフュージョン（ＦＤ）の電荷電圧変換ゲインを大きくした状態（ＨＣＧ）で、ＦＤリセット雑音をＡＤ変換し、ラインメモリ２に保持する（ＨＣＧ・ＦＤリセット雑音）。

時刻ｔ４において、転送トランジスタ（ＴＸ１Ｌ）および転送トランジスタ（ＴＸ２Ｌ）をＯＮし、ＨＣＧ状態での撮像面位相差ＡＦ用の左部分ビニングデータを取得してＡＤ変換し、ラインメモリ３に保持する（ＨＣＧ・位相差ＡＦ用Ｌ部分ビニングデータ）。

そして、ラインメモリ３に保持されたＨＣＧ・位相差ＡＦ用Ｌ部分ビニングデータからラインメモリ２に保持されたＨＣＧ・ＦＤリセット雑音を減算することにより、リセット雑音が除去されたＨＣＧ状態での位相差ＡＦ用Ｌ部分ビニングデータを取得することができる（雑音除去・ＨＣＧ・位相差ＡＦ用Ｌ部分ビニングデータ）。

時刻ｔ５において、転送トランジスタ（ＴＸ１Ｌ・ＴＸ１Ｒ）、転送トランジスタ（ＴＸ２Ｌ・ＴＸ２Ｒ）をＯＮし、ＨＣＧ状態での部分ビニングデータを取得してＡＤ変換し、ラインメモリ３に保持する（ＨＣＧ・部分ビニングデータ）。

ラインメモリ３に保持されたＨＣＧ・部分ビニングデータからラインメモリ２に保持されたＨＣＧ・ＦＤリセット雑音を減算することにより、リセット雑音が除去されたＨＣＧ状態での部分ビニングデータを取得することができる（雑音除去・ＨＣＧ・部分ビニングデータ）。

また、雑音除去・ＨＣＧ・部分ビニングデータから雑音除去・ＨＣＧ・位相差ＡＦ用Ｌ部分ビニングデータを減算することにより、雑音除去・ＨＣＧ・位相差ＡＦ用Ｒ部分ビニングデータを取得することができる。

時刻ｔ６において、切り替えトランジスタ（Ｘ）をＯＮし、フローティングディフュージョン（ＦＤ）の電荷電圧変換ゲインを小さくした状態（ＬＣＧ）で、転送トランジスタ（ＴＸ１Ｌ・ＴＸ１Ｒ）および転送トランジスタ（ＴＸ２Ｌ・ＴＸ２Ｒ）をＯＮし、ＬＣＧ状態での部分ビニングデータを取得してＡＤ変換し、ラインメモリ３に保持する（ＬＣＧ・部分ビニングデータ）。

そして、ラインメモリ３に保持されたＬＣＧ・部分ビニングデータからラインメモリ１に保持されたＬＣＧ・ＦＤリセット雑音を減算することにより、リセット雑音が除去されたＬＣＧ状態での部分ビニングデータを取得することができる（雑音除去・ＬＣＧ・部分ビニングデータ）。

時刻ｔ７において、転送トランジスタ（ＴＸ１Ｌ・ＴＸ１Ｒ～ＴＸ４Ｌ・ＴＸ４Ｒ）をＯＮし、ＬＣＧ状態での全ビニングデータを取得してＡＤ変換し、ラインメモリ３に保持する（ＬＣＧ・全ビニングデータ）。

時刻ｔ８において、ラインメモリ３に保持されたＬＣＧ・全ビニングデータからラインメモリ１に保持されたＬＣＧ・ＦＤリセット雑音を減算することにより、リセット雑音が除去されたＬＣＧ状態での全ビニングデータを取得することができる（雑音除去・ＬＣＧ・全ビニングデータ）。

このように、イメージセンサ１０から、ＨＣＧ状態では、位相差ＡＦ用Ｌ部分ビニングデータおよび部分ビニングデータ（第１部分ビニングデータｐ１に相当）が取り出され、ＬＣＧ状態では、部分ビニングデータ（第１部分ビニングデータｐ１に相当）および全ビニングデータ（全ビニングデータａ１に相当）が取り出されている。なお、上述したように、ＨＣＧ状態では、位相差ＡＦ用Ｒ部分ビニングデータは、計算することにより取得することができる。

以上のように、本開示の第２実施形態に係るイメージセンサを搭載する撮像装置および制御方法によれば、ＬＣＧ状態において、部分ビニングデータ（第１部分ビニングデータｐ１に相当）および全ビニングデータ（全ビニングデータａ１に相当）が取り出されるため、本開示の第１実施形態と同様に、適切にモアレを除去しつつ画像を生成することができる。ＬＣＧ状態での高ＳＮＲのデータに対して適切にモアレを除去することにより、精細な画像についてモアレが発生することを抑止することができる。

また、本実施形態では、ＨＣＧ状態では、全ビニングデータが読み出されていないが、ＨＣＧ状態で転送トランジスタ（ＴＸ１Ｌ・ＴＸ１Ｒ～ＴＸ４Ｌ・ＴＸ４Ｒ）をＯＮして、ＨＣＧ状態での全ビニングデータを取得してＡＤ変換すれば、ＨＣＧ・全ビニングデータを取得することも可能である。トランジスタの切り替えやＡＤ変換処理は、撮像装置１００に搭載されるプロセッサに負荷が掛かるため、ここでは、トランジスタの切り替えやＡＤ変換の回数を低減することによって、撮像装置１００に搭載されるプロセッサに掛かる負荷および消費電力の増加を抑制することができている。

また、本実施形態では、ＨＣＧ状態での位相差ＡＦ用部分ビニングデータを取得することができている。位相差ＡＦ用データには高いＳＮＲが求められ、ノイズに強いＨＣＧ状態でのデータを取得できているため非常に効果的である。

なお、本実施形態では、ＬＣＧ状態では、位相差ＡＦ用ビニングデータを取得できていないが、イメージセンサに専用の画素を設定し、当該画素の一部をマスクしたり、（２×１）オンチップマイクロレンズ構造を用いたりすることによって、位相差ＡＦ用の信号を取得するようにしてもよい。

図１３は、位相差ＡＦ用の信号を取得するために専用の画素が設定されたイメージセンサを示す模式図である。図１３に示されるように、イメージセンサにおいて配列されている複数の画素のうち専用の画素を設定し、当該専用の画素は、例えば、左半分（Ｌ領域）または右半分（Ｒ領域）がマスクされている。なお、ここでは、専用の画素を左右に２分割しているが、これに限定されるものではなく、例えば、上下に２分割または３分割以上して、位相差ＡＦに用いられる位相信号を適切に取得できるようにマスクすればよい。

専用の画素では、ＬＣＧ状態において、マスクされていない領域で光学的に位相差信号を取得すれば、ＬＣＧ・位相差ＡＦ用データを取得することができる。

以上説明した各実施形態は、本開示の理解を容易にするためのものであり、本開示を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１…制御回路、２…画素群、３…信号線、４…読み出し回路、５…デジタル信号処理部（ＤＳＰ）、１０…イメージセンサ、２０…データ取得部、３０…解析部、４０…モアレ除去部、１００…撮像装置、Ｍ１００…制御方法、Ｓ１０～Ｓ５０…制御方法Ｍ１００の各ステップ

Claims (12)

1. グループ化された複数の隣接の同色画素で構成される単位画素群において、ビニングにより少なくとも１つの画素で構成される第１画素群に基づく第１部分ビニングデータを取得するデータ取得部と、
   前記第１部分ビニングデータと、前記単位画素群のうち前記第１画素群以外の画素を含む第２画素群に基づく第２部分ビニングデータとの相互相関に基づいて、前記単位画素群で構成される領域の映像信号の周波数特性を解析する解析部と、
   前記解析結果に基づいて、前記単位画素群により構成される領域の映像信号に基づいて生成される画像に発生するモアレを除去するモアレ除去部と、を備える、
   撮像装置。
2. 前記モアレ除去部は、ローパスフィルタにより前記映像信号の高周波成分を除去することにより前記モアレを除去する、
   請求項１に記載の撮像装置。
3. 前記モアレ除去部は、前記単位画素群の近傍の単位画素群で構成されるモアレが発生していない領域の映像信号に基づいて前記モアレを除去する、
   請求項１に記載の撮像装置。
4. 前記データ取得部は、前記単位画素群を構成する全画素に基づく全ビニングデータを取得し、
   前記第２部分ビニングデータは、前記全ビニングデータから前記第１部分ビニングデータを減算することにより取得される、
   請求項１に記載の撮像装置。
5. 前記複数の画素に対応して構成される各フォトダイオードは、共通のフローティングディフュージョンに接続されている、
   請求項１に記載の撮像装置。
6. 前記フローティングディフュージョンは、複数の電荷電圧変換ゲインを切り替え可能であり、
   前記データ取得部は、前記複数の電荷電圧変換ゲインのうち低変換ゲインでの前記第１部分ビニングデータを取得し、
   前記解析部は、前記低変換ゲインでの前記第１部分ビニングデータと前記第２部分ビニングデータとの相互相関に基づいて、前記単位画素群で構成される領域の映像信号の周波数特性を解析し、
   前記モアレ除去部は、前記低変換ゲインでの前記解析結果に基づいて、前記単位画素群で構成される領域に発生するモアレを除去する、
   請求項５に記載の撮像装置。
7. 前記複数の画素のそれぞれは、さらに、２つ以上のサブ画素から構成され、
   前記データ取得部は、前記２つ以上のサブ画素において、ビニングにより少なくとも１つ以上のサブ画素で構成される第１サブ画素群に基づく第１サブ部分ビニングデータ、および前記第１サブ画素群以外のサブ画素で構成される第２サブ画素群に基づく第２サブ部分ビニングデータを取得し、
   前記第１サブ部分ビニングデータおよび前記第２サブ部分ビニングデータは、位相差オートフォーカスに用いられる、
   請求項１に記載の撮像装置。
8. 前記複数の画素のそれぞれは、さらに、２つ以上のサブ画素から構成され、
   前記複数の画素のうちのいずれかの画素は、２つ以上のサブ画素のうち少なくとも１つ以上のサブ画素をマスクするマスク画素を含み、
   前記データ取得部は、前記マスク画素を含む画素において、前記マスク画素以外のサブ画素に基づくサブ部分ビニングデータを取得し、
   前記サブ部分ビニングデータは、位相差オートフォーカスに用いられる、
   請求項１に記載の撮像装置。
9. グループ化された複数の隣接の同色画素で構成される単位画素群において、ビニングにより少なくとも１つの画素で構成される第１画素群に基づく第１部分ビニングデータを取得するデータ取得部と、
   前記第１部分ビニングデータと、前記単位画素群のうち前記第１画素群以外の画素を含む第２画素群に基づく第２部分ビニングデータとの相互相関に基づいて、前記単位画素群で構成される領域の映像信号の周波数特性を解析する解析部と、
   前記解析結果に基づいて、前記単位画素群で構成される領域における高周波成分を復旧しつつ画像を生成する画像生成部と、を備える、
   撮像装置。
10. 前記画像の画素数は、前記第１部分ビニングデータおよび前記第２部分ビニングデータの総和よりも多い、
    請求項９に記載の撮像装置。
11. 撮像装置に含まれるプロセッサが実行する制御方法であって、
    グループ化された複数の隣接の同色画素で構成される単位画素群において、ビニングにより少なくとも１つの画素で構成される第１画素群に基づく第１部分ビニングデータを取得するデータ取得ステップと、
    前記第１部分ビニングデータと、前記単位画素群のうち前記第１画素群以外の画素を含む第２画素群に基づく第２部分ビニングデータとの相互相関に基づいて、前記単位画素群で構成される領域の映像信号の周波数特性を解析する解析ステップと、
    前記解析結果に基づいて、前記単位画素群で構成される領域に発生するモアレを除去するモアレ除去ステップと、を含む、
    制御方法。
12. 請求項１～１０のいずれか一項に記載の撮像装置を搭載する、
    端末。