JP5948167B2 - 撮像装置 - Google Patents

Description

本発明は、複数の受光部を有する光電変換層を複数層使用し、これら光電変換層の各受光部から各々読み出した画像信号を処理する撮像装置に関する。

積層型の画像信号をベイヤー型の画像信号に変換して画像信号処理をした場合、画像信号処理の過程で各画素に対して周辺画素から色情報を補間演算処理する必要があり、補間演算処理をした際に偽色が発生してしまうという問題がある。この補間演算処理に発生する偽色を抑制するために、ローパスフィルタなどを用いると偽色を抑制することが可能となる一方で、解像感が低下してしまうという問題が新たに発生する。

そこで、解像感を残すための画像信号処理に関する発明が特許文献１、特許文献２によって開示されている。

特許文献１は、上下２つの撮像素子から構成される複合撮像素子で上側の撮像素子が検出する電気信号から輝度信号を生成し、下側の撮像素子が検出する電気信号から色信号を生成する。これらの高精度な輝度信号と色信号を合成することで解像感のある画像を取得する発明が開示されている。

特許文献２は、処理中の注目画素に所定の算出方向数及び複数の方向識別番号を設定し、設定された方向識別番号毎に対応する注目画素を含む４つの画素のレベル値の各々に対応する係数を乗算する。その中から、注目画素のレベル値に最も近い代表値を選択し、この代表値を注目画素のレベル値として置き換える。以上のプロセスを全画素に行うことで、解像感の低下を抑えてノイズを除去した画像を取得する発明が開示されている。

特開２０１１−２３８７７３号公報

特許第４０５１１９６号公報

特許文献１に記載された発明は、上側の狭い画素ピッチである撮像素子と下側の広い画素ピッチである撮像素子とを受光面に対し垂直方向に重ね、さらに２つの撮像素子は回路と回路、受光部と受光部とが重なるように配置されている。また、上側の撮像素子と下側の撮像素子の間にカラーフィルタが配置されており、非常に複雑な構造となっている。故に、積層型固体撮像素子に適用することは、当然できない。また、特許文献１に記載された撮像装置は、工場における歩留まりが悪いという課題が発生する。つまり、コストが嵩んでしまうという課題がある。

また、特許文献２に記載の発明を積層型固体撮像素子に適用した場合、特許文献２に記載の発明は、ベイヤー型の画像信号を前提としているため、本発明に用いる積層型固体撮像素子の検出する画像信号（以下、積層型の画像信号とする。）をベイヤー型固体撮像素子の検出する画像信号（以下、ベイヤー型の画像信号とする。）に変換してから適用することとなる。積層型の画像信号からベイヤー型の画像信号に変換した場合、その後の過程の画像処理にて補間演算処理を行う際に偽色やノイズが発生する。また、ベイヤー型の画像信号に変換した際に、画像信号の解像感に占める影響の割合が大きな緑色（Ｇ）の輝度信号が減ってしまう。故に、取得する画像は、解像感の低下した画像となってしまうという課題を要する。

さらに、積層型固体撮像素子特有の課題として、積層型固体撮像素子とベイヤー型固体撮像素子の画素数が同じとした場合、積層型固体撮像素子は、１画素で３色を検出することができるため、積層型の画像信号は、ベイヤー型の画像信号よりデータ量が多くなる。よって、画像信号処理に時間がかかってしまうという課題がある。

加えて、１画素に３受光部が積層配置される積層型固体撮像素子と１画素に１受光部が配置されるベイヤー型固体撮像素子とでは、受光部の配置が異なるため、画素数が同じ撮像素子であっても互いの撮像素子が検出した積層型の画像信号とベイヤー型の画像信号とでは、撮像素子から送られてくる画像信号の出力順も異なる。よって、世の中に多く流通しているベイヤー型の画像信号処理回路を積層型の画像信号処理回路へ流用することができない。故に、積層型の画像信号処理用に画像信号処理回路を製作する必要があるためコストが嵩んでしまうという課題がある。

本発明は、このような状況を鑑みてなされたものであり、積層型の画像信号をベイヤー型の画像信号に変換の際に発生する偽色とノイズを抑制し、データ量を減らしながらも解像感を残した画像を提供する撮像装置を提供することを目的とする。

上記の課題を解決するための第１の発明は、撮像素子であって、１画素に少なくとも３層の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する撮像装置において、積層型の画像信号から輝度信号を生成する輝度信号生成手段と積層型の画像信号を平滑化演算するローパスフィルタ手段と輝度信号から輪郭信号を生成する輪郭信号生成手段と平滑化演算を適用した積層型の画像信号に間引き処理を行うことでベイヤー型の画像信号へ画像信号変換を行う画像信号変換手段とベイヤー型の画像信号から第２輝度信号と色信号とを生成するＹＣｂＣｒ変換手段と輪郭信号と第２輝度信号とを合成する輝度信号合成手段と色信号と輝度信号合成手段にて合成された輝度信号とを合成するＹＣｂＣｒ合成手段とを含むことを特徴とする。

また、上記の課題を解決するための第２の発明は、撮像素子であって、１画素に少なくとも３層の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する撮像装置において、前記積層型の画像信号から輝度信号を生成する輝度信号生成手段と輝度信号から輪郭信号を生成する輪郭信号生成手段と積層型の画像信号をビニング処理し、ビニング処理した画像信号をベイヤー型の画像信号となるよう並び替える画像信号変換手段とベイヤー型の画像信号から第２輝度信号と色信号とを生成するＹＣｂＣｒ変換手段と輪郭信号と第２輝度信号とを合成する輝度信号合成手段と色信号と輝度信号合成手段にて合成された輝度信号とを合成するＹＣｂＣｒ合成手段とを含むことを特徴とする。

本発明は、積層型の画像信号をベイヤー型の画像信号へ変換して画像信号処理を行うのに、従来から用いられる積層型固体撮像素子とベイヤー型の画像信号を処理する画像信号処理回路とを用いることから、歩留まりが悪化するなどして新たなコストが発生するなどのコストが嵩むことがない。

その他にも本発明は、積層型の画像信号からベイヤー型の画像信号へ変換する際に、ベイヤー型の画像信号に変換する前の積層型の画像信号の状態でローパスフィルタを適用することで、取得する画像の偽色やノイズを効果的に抑制することが可能となる。なぜなら、積層型の画像信号は、隣接する画素にも色信号が存在するため、ローパスフィルタを適用しても、本来の色情報とかけ離れたものになる可能性が低いからである。また、ビニング処理も同様である。さらにデータ量に着目すると、ローパスフィルタを適用して間引き処理を行う方法もビニング処理を行う方法もともに色信号は、積層型の色信号からベイヤー型の色信号へと変換することで、データ量を減らすことが可能である。輝度信号も、ローパスフィルタやビニング処理にて高周波成分が除去される前の解像感の高い積層型の輝度信号から新たに輪郭信号を生成し、生成した輪郭信号とベイヤー型の輝度信号とを合成することで、新たな輝度信号を生成する。生成された輝度信号は、データ量を減らしながら、輪郭部分は強調されている。従って、取得する画像は、データ量を減らしながらも解像感を残した画像となる。

その他にも本発明の輝度信号は、補間処理を行わないことで輝度信号に発生する輝度ノイズを防ぐことが可能となる。以上の色信号と輝度信号を用いて生成された画像は、解像感の低下を抑えた画像となる。加えて、輝度信号のデータ量を減らしたことで、画像信号処理に費やす時間を減らすことが可能である。

その他にも本発明は、積層型の画像信号をベイヤー型の画像信号に変換することで、ベイヤー型の画像信号を処理するための画像信号処理回路を用いることが可能となる。よって、積層型の画像信号用に画像信号処理回路を製作しなくて済むため、製作コストを抑えることが可能となる。

本発明に係る画像処理方法を適用した撮像装置の構成を示した構成図である。 本発明の第１の実施例に係る画像処理方法のフローチャートである。 本発明の第２の実施例に係る画像処理方法のフローチャートである。 本発明の第２の実施例のステップ＃２３のビニング処理の概念を説明する概念図である。

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

図１は、本発明に係る画像処理方法を適用した撮像装置の構成を示した構成図である。

１００は、撮像装置である。本実施形態における撮像装置１００は、デジタルカメラであり、被写体を撮影し、撮影した画像データを保存する。撮像装置１００は、光学系２００の交換が可能な構成となっている。

１０１は、積層型固体撮像素子である。積層型固体撮像素子１０１は、光学系２００を通じて検出した光を画像信号に変換するＣＭＯＳやＣＣＤである。

ここで、画像信号について説明する。

積層型固体撮像素子の検出する画像信号を積層型の画像信号とする。ベイヤー型固体撮像素子の検出する画像信号をベイヤー型の画像信号とする。本発明の固体撮像素子は、積層型の撮像素子である。よって、積層型固体撮像素子１０１の検出した画像信号は、積層型の画像信号である。この積層型の画像信号は、画像信号変換部１０２３にて信号処理することで、積層型の画像信号からベイヤー型の画像信号へと変換される。

さらに、画像信号でも、色に関するデータを持った信号を色信号とし、輝度に関するデータを持ったものを輝度信号とする。

本実施例においては、積層型固体撮像素子１０１は、１画素に３層の光電変換層を積層した積層型固体撮像素子を用いている。しかし、積層型固体撮像素子１０１の1画素に積層される光電変換層は、３層に限定したものでなく、４層、５層若しくはそれ以上としても良い。

１０２は、ＦＰＧＡである。ＦＰＧＡ１０２は、内部回路によって、輝度信号生成部１０２１、デジタルローパスフィルタ部１０２２、画像信号変換部１０２３を構成する。ＦＰＧＡ１０２の代わりにＡＳＩＣなどを中間デバイスとして用いることも可能である。

１０３は、ＣＰＵである。ＣＰＵ１０３は、信号処理部１０３１、ＹＣｂＣｒ変換部１０３２、色信号ノイズ除去部１０３３を内部に構成する。具体的には、積層型固体撮像素子１０１が積層型の画像信号を検出し、検出した積層型の画像信号は、ＦＰＧＡ１０２で画像信号処理が適用される。信号処理部１０３１は、ベイヤー型の画像信号へ変換後の画像信号に対して、ガンマ補正、ノイズ除去等の各種画像処理を行い、ＹＣｂＣｒ変換部１０３２は、各種画像処理後のベイヤー型の画像信号をＹＣｂＣｒ変換を行う。色信号ノイズ除去部１０３３は、ＣｂＣｒ信号のノイズ除去を行う。さらには、不図示のＡＥ機構やＡＦ機構などの各種デバイスの制御も行う。

１０４は、ＤＳＰである。ＤＳＰ１０４は、内部にＣＰＵ１０３を有しており輝度信号や色信号に信号処理を施す。ＤＳＰ１０４は、輪郭信号生成部１０４１、輝度信号合成部１０４２、ＹＣｂＣｒ合成部１０４３を内部に構成する。

１０５は、第一ＳＤＲＡＭである。第一ＳＤＲＡＭ１０５は、ＤＳＰ１０４と接続されている。

１０６は、外部記憶装置である。外部記憶装置１０６は、撮影画像を保存するためのメディアである。外部記憶装置１０６の例としては、例えば撮像装置に着脱自在なＳＤメモリカード（登録商標）、マルチメディアカード（登録商標）、ｘＤピクチャカード（登録商標）、スマートメディア（登録商標）、に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光磁気ディスク等、種々の記録媒体を用いることができる。

１０７は、外部表示装置である。外部表示装置１０７は、撮影直後の画像や外部記憶装置１０６から読み出した画像などを表示できる。また、外部表示装置１０７は、カメラの動作モードやホワイトバランス、画像の画素数、感度などマニュアル設定する際の各種のメニュー画面を表示させ、ユーザの操作に応じてマニュアル設定が可能なユーザ・インタフェイス用の画面を表示する。外部表示装置１０７としては、例えば液晶や有機ＥＬなどを用いることができる。

２００は、交換が可能な光学系である。光学系２００は、レンズ光学系の他、不図示のレンズＣＰＵや絞りなどを有している。

次に、以上の構成のうち本発明において特徴的な構成について説明する。

１０２１は、輝度信号生成部である。輝度信号生成部１０２１は、積層型固体撮像素子１０１から送られてきた画像信号から、輝度信号を生成する。なお、輝度信号生成部１０２１は、輝度信号生成手段に該当する。

１０２２は、デジタルローパスフィルタ部である。デジタルローパスフィルタ部１０２２は、積層型固体撮像素子１０１から輝度信号生成部１０２１を経て送られてきた画像信号にデジタルローパスフィルタをかける。これは、後工程で補間処理を行った際に、偽色として現れる画像信号の高周波成分を除くためである。なお、デジタルローパスフィルタ部１０２２は、ローパスフィルタ手段に該当する。

デジタルローパスフィルタ部１０２２に用いられるローパスフィルタは、ガウシアンフィルタを画像信号に適用することにより、画像信号の高周波成分を除去する。本発明のデジタルローパスフィルタには、ガウシアンフィルタの他にも、平滑化フィルタ、エッジが保存されやすく輪郭がぼけにくいメディアンフィルタやイプシロンフィルタなど一般的に知られているフィルタを用いることも可能である。

１０２３は、画像信号変換部である。画像信号変換部１０２３は、積層型の画像信号を変換してベイヤー型の画像信号に変換する。なお、画像信号変換部１０２３は、画像信号変換手段に該当する。

１０３１は、信号処理部である。信号処理部１０３１は、ホワイトバランス補正、デモザイク、ＯＢ減算、ノイズ低減、ガンマ補正、色再現、エッジ強調等の各種画像信号処理を行う。

１０３２は、ＹＣｂＣｒ変換部である。ＹＣｂＣｒ変換部１０３２は、信号処理部１０３１から送られてきた画像信号をＹＣｂＣｒの輝度信号および色信号に変換する。なお、ＹＣｂＣｒ変換部１０３２は、ＹＣｂＣｒ変換手段に該当する。

１０３３は、色信号ノイズ除去部である。色信号ノイズ除去部１０３３は、ＹＣｂＣｒ変換部１０３２にてＲＧＢからＹＣｂＣｒへ変換された画像信号の色信号からノイズを除去する。

１０４１は、輪郭信号生成部である。輪郭信号生成部１０４１は、輝度信号生成部１０２１によって生成された輝度信号から輪郭信号を生成する。輪郭信号の生成方法については、後述する。なお、輪郭信号生成部１０４１は、輪郭信号生成手段に該当する。

１０４２は、輝度信号合成部である。輝度信号合成部１０４２は、輪郭信号生成部１０４１にて処理された輪郭信号とＹＣｂＣｒ変換部１０３２にてＲＧＢからＹＣｂＣｒへ変換された画像信号の輝度信号とを合成する。合成方法については、後述する。なお、輝度信号合成部１０４２は、輝度信号合成手段に該当する。

１０４３は、ＹＣｂＣｒ合成部である。ＹＣｂＣｒ合成部１０４３は、輝度信号合成部１０４２にて生成された輝度信号と色信号ノイズ除去部１０３３にてノイズ除去された色信号とを合成する。なお。ＹＣｂＣｒ合成部１０４３は、ＹＣｂＣｒ合成手段に該当する。

本発明における、輝度信号について使用する文字列について説明する。輝度信号生成部１０２１にて生成される輝度信号を輝度信号（Ｙ）とする。ＹＣｂＣｒ変換部１０３２にてＹＣｂＣｒに変換された画像信号の輝度信号を輝度信号（Ｙ'）とする。最後に、輝度信号合成部１０４２にて輝度信号（Ｙ'）と輪郭信号を合成することで新たに生成される輝度信号を輝度信号（Ｙ"）とする。

次に、本発明における撮像装置の行う画像信号処理について図２のフローチャートを用いて第１の実施例について説明する。

ステップ＃１は、輝度信号生成部１０２１が輝度信号（Ｙ）を生成する。撮影動作が行われると撮影された画像信号が、積層型固体撮像素子１０１より出力され輝度信号生成部１０２１へ送られる。輝度信号生成部１０２１は、送られた画像信号から輝度信号（Ｙ）を生成する。送られてきた画像信号は、デジタルローパスフィルタ部１０２２へ送られる。本発明における撮像素子は、積層型固体撮像素子１０１であることから出力される画像信号は、各画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色それぞれ色信号と輝度信号を持っている。輝度信号生成部１０２１は、各色の信号から輝度信号を生成し、以下の式１を用いて、各画素毎に１つの輝度信号にまとめた新たな輝度信号（Ｙ）を生成する。新たに生成した輝度信号（Ｙ）は輪郭信号生成部１０４１へ送られる。
（式１）Ｙ＝ｋ１×Ｒ＋ｋ２×Ｇ＋ｋ３×Ｂ
（Ｙ：生成された輝度信号、ｋ１，ｋ２，ｋ３：係数）

ステップ＃２は、輪郭信号生成部１０４１が、輝度信号生成部１０２１から送られた輝度信号（Ｙ）から輪郭信号を生成する。輪郭信号の生成方法は、輝度信号生成部１０２１から送られてきた輝度信号（Ｙ）からノイズを除去する。次に、ノイズを除去した輝度信号（Ｙ）から輪郭を検出することで輪郭信号が生成される。輪郭を検出する方法として、ラプラシアンフィルタやソーベルフィルタなどの輪郭検出フィルタを適用して輪郭信号を生成する方法がある。または、アンシャ−プマスクのようにローパスフィルタ適用後の信号と適用前の輝度信号（Ｙ）との差分から輪郭信号を生成しても良い。生成した輪郭信号は、輝度信号合成部１０４２へ送られる。

ステップ＃３は、デジタルローパスフィルタ部１０２２が、輝度信号生成部１０２１から送られてきた画像信号へローパスフィルタを適用する。ローパスフィルタを適用した画像信号は、画像信号変換部１０２３へ送られる。

ステップ＃４は、画像信号変換部１０２３が、積層型固体撮像素子１０１が検出した画像信号を積層型の画像信号からベイヤー型の画像信号へ変換する。変換方法は、間引き読み出しを行う。変換の具体的な方法を説明する。積層型の画像信号は、各画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの色の画像信号が存在する。そこで、奇数行奇数列の画素から赤色（Ｒ）の信号を読み出し、奇数行偶数列の画素から緑色（Ｇ）の信号を読み出し、偶数行奇数列から緑色（Ｇ）の信号を読み出し、偶数行偶数列は青色（Ｂ）の信号を読み出す。以上示した読み出し方を全ての画素について行うことで、積層型固体撮像素子１０１の検出した積層型の画像信号をベイヤー型の画像信号へと変換できる。なお。各画素から読み出すカラーパターンとして、一般的なベイヤーパターンを一例として示したが、このカラーパターンに限らない。

ステップ＃５は、信号処理部１０３１が、画像信号変換部１０２３にてベイヤー型の画像信号へ変換された画像信号へガンマ補正、ノイズ除去等の各種画像信号処理を行う。

ステップ＃６は、ＹＣｂＣｒ変換部１０３２が、信号処理部１０３１にて信号処理された画像信号をＹＣｂＣｒへ変換する。

ステップ＃７は、輝度信号合成部１０４２が、ステップ＃６にてＹＣｂＣｒに変換された画像信号のうち輝度信号（Ｙ'）とステップ＃２にて輪郭信号生成部１０４１にて信号処理された輪郭信号とから新たに輝度信号（Ｙ"）を生成する。

次に、輝度信号（Ｙ"）の生成方法について説明する。

輝度信号合成部にて合成される輝度信号（Ｙ"）は、ＹＣｂＣｒ変換部１０３２にて変換された画像信号の輝度信号（Ｙ'）に輪郭信号生成部１０４１にて生成された輪郭信号を加算することで生成される。

新たに生成された輝度信号（Ｙ"）は、ＹＣｂＣｒ変換部１０３２にて変換された画像信号の輝度信号（Ｙ'）に輪郭信号を加算したので、輪郭など輝度差の生じる部分が強調された輝度信号（Ｙ"）となる。故に、この輝度信号（Ｙ"）を用いた画像は、解像感を残した画像となる。

ステップ＃８は、色信号ノイズ除去部１０３３が、ステップ＃６にてＹＣｂＣｒへ変換された画像信号の色信号に信号処理を施して、ノイズの除去を行う。

ステップ＃９は、ＹＣｂＣｒ合成部１０４３が、ステップ＃７にて生成した輪郭信号（Ｙ"）とステップ＃８にて信号処理を施した色信号とを合成することで、新たな画像信号を生成する。

ステップ＃１０は、ステップ＃９にて生成された画像信号をＳＤＲＡＭ１０５が一時的に保存する。外部表示装置１０７は、ＳＤＲＡＭ１０５から読み出さしプレビュー画像として表示する。外部記憶装置１０６は、ＳＤＲＡＭ１０５から画像信号を読み出し撮影画像として保存する。

以上のステップを行うことで、積層型の画像信号を変換してベイヤー型の画像信号を生成し、画像信号処理の際に発生するパターンノイズを減少させながら解像感を残した画像を記録することが可能となる。

第１の実施例を行うことで、パターンノイズを減少させながら解像感を残した画像を記録することが可能となる理由を述べる。

まず、パターンノイズについて説明する。

積層型固体撮像素子を用いて撮影した積層型の画像信号を単純に間引き処理を行いベイヤー型の画像信号に変換した場合、その後の補間演算処理の際に偽色が発生しやすいことは既に述べた。その他に、輪郭部では隣り合う画素の画像信号値が大きく変化する。故に、補間演算処理をした際に輪郭部には顕著にモザイク状のノイズが発生する。これが、パターンノイズである。

そこで、このパターンノイズを減らすために、本発明は輝度信号を生成した後、デジタルローパスフィルタ部１０２２にて積層型の画像信号へローパスフィルタを適用している。これは、ローパスフィルタを適用することで画像信号値の高周波成分を取り除き、画像信号値の変化を滑らかにして、補間演算処理の際に発生する偽色とパターンノイズの抑制を行うためである。しかし、ローパスフィルタを適用して、画像信号値の変化を滑らかにしたため解像感が低下する。ローパスフィルタを画像信号に適用した結果、輪郭部は、モザイク状のノイズつまりパターンノイズは解消したが、解像感の低下を招いてしまう。

そこで、本発明は、輝度信号（Ｙ'）に輪郭信号を加算することで輪郭部が強調された輝度信号（Ｙ"）を生成し、解像感の低下によって輪郭部がぼやけてしまった画像信号の輝度信号（Ｙ'）を輝度信号（Ｙ"）と入れ替えることで、ぼやけてしまった輪郭部が強調される。結果として、解像感を残した画像を記録することができる。

次に、解像感を残せる理由を述べる。

画像信号処理においてＲＧＢからＹＣｂＣｒへ変換を行って輝度信号を得る。輝度信号は、白黒の明るさ情報しか含まない。しかし、輝度信号のみの画像である輝度信号画像の繊細さが、画像全体の解像感の印象を左右する。よって、解像感のある画像を得るためには、繊細な輝度信号画像が必要となる。

一方、人の目は、緑色（Ｇ）に対する視覚感度が他の色よりもあるとされている。よって、緑色（Ｇ）の輝度信号（Ｙ）は、画像の解像感の印象に占める割合が高いと言える。

本発明に用いる撮像素子は、積層型固体撮像素子であり、検出する画像信号は、積層型の画像信号となる。積層型の画像信号は、各画素に緑色（Ｇ）の受光部を備えていることから、ベイヤー型の画像信号とは異なり各画素から緑色（Ｇ）の輝度信号を取得することが容易である。

よって、より多くの緑色（Ｇ）の輝度信号を用いて生成された新たな輝度信号は、ベイヤー型の画像信号から生成された輝度信号よりも人の目に解像感が高いと感じられることは、言うまでもない。

従って、この輝度信号を用いて生成した輪郭信号も高い解像感を有する。よって、ベイヤー型の画像信号から生成された輝度信号に輪郭信号を加算することで得られる輝度信号は、ベイヤー型の画像信号から生成された輝度信号よりも解像感を残した輝度信号となることは言うまでもない。従って、解像感を残した輝度信号を用いて生成した画像は、解像感を残した画像となることは、言うまでもない。

以上のことから、本発明ではパターンノイズを減少させながら解像感を残した画像を取得することが可能となる。

次に、図３のフローチャートを用いて第２の実施例についても説明する。

第２の実施例は、第１の実施例と異なり、ビニング処理を行う。

ステップ＃２１は、輝度信号生成部１０２１が輝度信号（Ｙ）を生成する。輝度信号（Ｙ）の生成方法は、第１の実施例と同じであるので説明は省略する。積層型固体撮像素子１０１より出力された画像信号は、画像信号変換部１０２３へ送る。

ステップ＃２２は、輪郭信号生成部１０４１が、ステップ＃２１にて輝度信号生成部１０２１が生成した輝度信号（Ｙ）に信号処理を施す。具体的には、輝度信号から低周波成分を除去することで輪郭信号を生成する。生成した輪郭信号は、輝度信号合成部１０４２へ送られる。（第１の実施例のステップ＃２と同じ。）

ステップ＃２３は、画像信号変換部１０２３が、積層型固体撮像素子１０１が検出して、輝度信号生成部１０２１から送られてきた積層型の画像信号をベイヤー型の画像信号へ変換する。変換方法は、ビニング処理を用いて行う。具体的な方法は、２×２のビニング処理を行い隣接する４つの画素から1つの大きな画素を生成する（図４（ａ）→図４（ｂ））。４つの画素から１つの大きな画素を生成する際に、１つの大きな画素は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれが４つの画素を持つ。よって、同色の４つの画素を単純平均したものを、ビニング処理後の各色の色信号とする。これを赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）各色について行う。次に、１つの画素を４つの画素へ戻す（図４（ｂ）→図４（ｃ））。この、１つの大きな画素は、各画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）各色を有しているので、積層型の画像信号となる。そこで、この積層型の画像信号をベイヤー型の画像信号へ変換するために、積層されている各色の画像信号をベイヤー型の画像信号配列へ並び替える。但し、１つの画素には赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれ１つずつ積層されているので、緑色（Ｇ）が不足する。そこで、緑色（Ｇ）は、既に１つある緑色（Ｇ）を複製することで不足分を補う。

ステップ＃２４は、信号処理部１０３１が、画像信号変換部１０２３にてベイヤー型の画像信号へ変換された画像信号へ信号処理を行う。

ステップ＃２５は、ＹＣｂＣｒ変換部１０３２が、信号処理部１０３１にて信号処理された画像信号をＹＣｂＣｒへ変換する。

ステップ＃２６は、輝度信号合成部１０４２が、ステップ＃２５にてＹＣｂＣｒへ変換された画像信号の輝度信号（Ｙ'）とステップ＃２２にて輪郭信号生成部１０４１にて信号処理された輪郭信号とから新たな輝度信号（Ｙ"）を生成する。輝度信号（Ｙ"）の生成方法は第１の実施例と同じであるから省略する。

ステップ＃２７は、色信号ノイズ除去部１０３３が、ステップ＃２５にてＹＣｂＣｒへ変換された画像信号の色信号に信号処理を施して、ノイズ除去を行う。

ステップ＃２８は、ＹＣｂＣｒ合成部１０３２が、ステップ＃２６にて生成した輝度信号（Ｙ"）とステップ＃２７にて信号処理を施した色信号とを合成することで、新たな画像信号を生成する。

ステップ＃２９は、ステップ＃２８にて生成された画像信号をＳＤＲＡＭ１０５が一時的に保存する。外部表示装置１０７は、ＳＤＲＡＭ１０５から画像信号を読み出し、プレビュー画像として表示する。外部記憶装置１０６は、ＳＤＲＡＭ１０５から画像信号を読み出し撮影画像として保存する。

以上のステップを行うことで、パターンノイズを減少させながら解像感を残した画像を記録することが可能となる。

また、本発明の第１の実施例と第２の実施例は、ともに輪郭信号生成部１０４１にて輝度信号（Ｙ）から輪郭信号を生成し、生成した輪郭信号とＹＣｂＣｒ変換部にて生成した輝度信号（Ｙ'）とを輝度信号合成部１０４２にて合成することで新たな輝度信号（Ｙ"）を生成する。

しかし、輪郭信号生成部１０４１にて輪郭信号を生成せずに、輝度信号生成部１０２１にて生成した輝度信号（Ｙ）に信号処理を施した輝度信号とＹＣｂＣｒ変換部１０３２にて生成した輝度信号とを合成することで新たな輝度信号を生成する。

以上の方法で新たに生成した輝度信号と色信号ノイズ除去部１０３３にてノイズ除去を行った色信号とをＹＣｂＣｒ合成部１０４３にて合成する信号処理を行って取得した画像も解像感を残した画像を取得することが可能である。なぜなら、取得した画像の輝度信号は、積層型の画像信号から生成した輝度信号（Ｙ）を基としている。故に、解像感に占める影響の大きな緑色（Ｇ）の輝度がベイヤー型の画像信号と比べて多いので、解像感を残した画像を取得することが可能である。

しかし、この画像を取得するには問題がある。信号処理の適用された輝度信号と色信号とでは、信号処理を行った際に、輝度の明るさなどが輝度信号と色信号とで異なることがある。故に、輝度信号を調整することで色信号と合わせる必要がある。したがって、輝度の明るさなどの調整処理が必要となる。

そこで、本発明では輝度信号を合成するのではなく、輪郭信号を生成し用いることとした。輪郭信号は、輪郭に関するデータしか保持していないために、明るさの調整をする必要がない。従って、輪郭信号を加算する輝度信号（Ｙ'）と合成する色信号とでは、同様の信号処理を適用しているので、明るさを調整する必要がないので、輝度信号（Ｙ'）に輪郭信号を加算しても同様である。つまり、必要な明るさの調整処理を減らすことが可能となる。

また、本発明では、第１の実施例と第２の実施例とでは、画像信号変換部１０２３にて行うプロセスが異なる。

第１の実施例は、積層型固体撮像素子１０１の検出した積層型の画像信号から輝度信号を生成した後、間引き処理を行うことで、積層型の画像信号からベイヤー型の画像信号へ変換している。

一方、第２の実施例は、積層型の画像信号の状態で縦横それぞれ２×２画素を用いてビニング処理を施し、１画素にまとめる。この1画素は、積層型の画像信号であるため、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の情報を持っている。この１画素の持つ赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）を図４（ｃ）に示すようなベイヤー型に配列する。この際、緑色（Ｇ）が１画素分不足するが、もう一方にある緑色（Ｇ）を用いて補足する。以上の手順を行うことで、積層型の画像信号からベイヤー型の画像信号へ変換している。

第２の実施例でビニング処理を入れた理由を述べる。積層型の画像信号にビニング処理を行わないで、積層型の画像信号をベイヤー型に配列することでベイヤー型の画像信号へ変換した場合、積層型の画像信号では、１画素で済んでいた（図４（ｂ））が、ベイヤー型に配列することで、４画素となる（図４（ｃ））。故に、全ての積層型の画像信号をこの方法でベイヤー型の画像信号に変換した場合、縦・横ともに２倍の画素数となり画像信号のデータ量が増える。よって、画像信号処理に要する時間が増えてしまう。そこで、画像信号のデータ量の増加を抑制するために、予め縦・横それぞれ２画素を用いた２×２のビニング処理（図４（ａ）→図４（ｂ））を施しておくことで、ベイヤー型に配列した際の画素数の増加を抑制している（図４（ａ）→図４（ｃ））。つまり、画像信号のデータ量の増加を抑制し、画像信号処理に要する時間も抑制する。

具体的に示すと、画像信号処理を行う前の状態である積層型の画像信号のデータ量は、２（画素）×２（画素）×３（赤色（Ｒ）＋ 緑色（Ｇ）＋ 青色（Ｂ））（色）である。この積層型の画像信号にビニング処理を行うことで、２（画素）×２（画素）×１（赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のいずれか１色）と輪郭信号の２（画素）×２（画素）×１（層）となる。結果、第２の実施例における画像信号のデータ量は、積層型の画像信号の２／３となる。

第１の実施例についても同様である。具体的に示すと、画像信号処理を行う前の状態である積層型の画像信号のデータ量は、第１の実施例と同じである。積層型の画像信号を間引き処理を行うことでベイヤー型の画像信号へ変換を行うので、２（画素）×２（画素）×１（赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のいずれか１色）と輪郭信号の２（画素）×２（画素）×１（層）となる。結果、第２の実施例と同じく、第１の実施例における画像信号のデータ量は、積層型の画像信号の２／３となる。

次に、第１の実施例と第２の実施例との画像信号変換部にて行うプロセスの違いから生じるローパスフィルタの要否の違いを述べる。

第１の実施例は、積層型の画像信号からベイヤー型の画像信号へ変換する際に、間引き処理を行っている。例えば、赤色（Ｒ）を残した画素に注目する。この画素の緑色（Ｇ）と青色（Ｂ）は、変換後のベイヤー型の画像信号に何ら影響を及ぼさない。これは、緑色（Ｇ）を残した画素に対する赤色（Ｒ）と青色（Ｂ）、青色（Ｂ）を残した画素に対する赤色（Ｒ）と緑色（Ｇ）も同様である。従って、変換後のベイヤー型の画像信号の色信号は、元の画素の色信号から間引いただけなので、補間演算処理を行う際には、偽色が発生しやすい。よって、この偽色を抑制するためにローパスフィルタを適用し高周波成分の除去処理を行った。

一方、第２の実施例は、積層型の画像信号からベイヤー型の画像信号へ変換する際に、ビニング処理を行っている。このビニング処理の際に、各色について同色の隣接する４つの画素をまとめて１つの画素を生成する。この時、４つの画素を平均することで１つの画素を生成しているので、ベイヤー型の画像信号に変換した後の各画素は、周辺の画素の持っている色情報の影響を受けている。また、この４つの画素の中に高周波成分を含む１画素が存在していても、ビニング処理を行った際にその他の３画素の影響によって高周波成分は除去されてしまう。よって、補間演算処理する際に発生する偽色は、第１の実施例と第２の実施例とを比べると第２の実施例の方が、少なくなっている。従って、ローパスフィルタを適用する処理を省略することが可能となる。

ベイヤー型固体撮像素子に用いられる光学的ローパスフィルタを適用することで、同様の効果を得る方法もあるが、本発明では、ローパスフィルタを用いる第１実施例では、デジタルローパスフィルタ部１０２２を設けることで、偽色の原因となる画像信号の高周波成分を除去している。これは、光学的ローパスフィルタを適用することで積層型固体撮像素子１０１の検出する光の高周波成分が除去されてしまうため、解像感を失った画像信号となってしまう。従って、この解像感を失った画像信号から生成される輝度信号、輪郭信号ともに本発明の第１の実施例に示すようにデジタルローパスフィルタを用いた場合よりも取得する画像は、解像感を失った画像となる。

以上の実施例においては、レンズ交換式のデジタルカメラを用いたが、レンズ交換式でないデジタルカメラに本発明を用いても問題ないことは言うまでもない。

１００ 撮像装置
１０１ 積層型固体撮像素子
１０２ ＦＰＧＡ
１０２１ 輝度信号生成部
１０２２ デジタルローパスフィルタ部
１０２３ 画像信号変換部
１０３ ＣＰＵ
１０３１ 信号処理部
１０３２ ＹＣｂＣｒ変換部
１０３３ 色信号ノイズ除去部
１０４ ＤＳＰ
１０４１ 輪郭信号生成部
１０４２ 輝度信号合成部
１０４３ ＹＣｂＣｒ合成部
１０６ 外部記憶装置
１０７ 外部表示装置
２００ 光学系

Claims (2)

1. １画素に少なくとも３層の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する撮像装置において、
   前記積層型の画像信号から輝度信号を生成する輝度信号生成手段と、
   前記積層型の画像信号を平滑化演算するローパスフィルタ手段と、
   前記輝度信号から輪郭信号を生成する輪郭信号生成手段と、
   前記平滑化演算を適用した積層型の画像信号に間引き処理を行うことでベイヤー型の画像信号へ画像信号変換を行う画像信号変換手段と、
   前記ベイヤー型の画像信号から第２輝度信号と色信号とを生成するＹＣｂＣｒ変換手段と、
   前記輪郭信号と前記第２輝度信号とを合成する輝度信号合成手段と、
   前記色信号と前記輝度信号合成手段にて合成された輝度信号とを合成するＹＣｂＣｒ合成手段とを含むことを特徴とする撮像装置。
2. １画素に少なくとも３層の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する撮像装置において、
   前記積層型の画像信号から輝度信号を生成する輝度信号生成手段と、
   前記輝度信号から輪郭信号を生成する輪郭信号生成手段と、
   前記積層型の画像信号をビニング処理し、ビニング処理した画像信号をベイヤー型の画像信号となるよう並び替える画像信号変換手段と、
   前記ベイヤー型の画像信号から第２輝度信号と色信号とを生成するＹＣｂＣｒ変換手段と、
   前記輪郭信号と前記第２輝度信号とを合成する輝度信号合成手段と、
   前記色信号と前記輝度信号合成手段にて合成された輝度信号とを合成するＹＣｂＣｒ合成手段とを含むことを特徴とする撮像装置。

Images