JP6065395B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

例えば、動画撮影時や静止画像の高速連写時に、画素の加算間引きにより、相対的に解像度が低い縮小画像を生成する手法が従来から公知である。ここで、縮小画像のサンプリング間隔よりも高い空間周波数成分が元の画像に含まれる場合、加算間引き後の縮小画像にはモアレや偽色が発生する。その対策として、加算間引きの前に加算する画素の範囲を拡大し、間引き読み出し時の折り返し歪みを低減させる技術（例えば特許文献１）も提案されている。

特許３８７７６９５号公報

しかし、従来の技術では、カラーの縮小画像を生成するときに、モアレや偽色の発生を抑制しつつ、解像感の高い画像を得ることがなお困難であった。例えば、特許文献１の場合、モアレや偽色は抑制できるが、縮小画像の解像感はローパスフィルタと同様の効果で低下してしまう。

本発明の一例である撮像装置は、第１の色の光を受光する画素と、第２の色の光を受光する画素と、第３の色の光を受光する画素と、第１の色の光を受光する２つの第１の画素からの信号を加算し、２つの第１の画素の間隔よりも広い間隔を有し、第１の色の光を受光する６つの第２の画素からの信号を加算し、第２の色の光を受光する複数の画素からの信号を加算し、第３の色の光を受光する複数の画素からの信号を加算する回路と、２つの第１の画素からの信号を加算した信号と、６つの第２の画素からの信号を加算した信号との差分より生成した信号により、２つの第１の画素からの信号を加算した信号と、６つの第２の画素からの信号を加算した信号と、第２の色の光を受光する複数の画素からの信号を加算した信号と、第３の色の光を受光する複数の画素からの信号を加算した信号とから生成された画像データに対してエッジ強調処理を行う画像処理部とを備える。

本発明によれば、カラーの縮小画像を生成するときに、モアレや偽色の発生を抑制しつつ、より解像感の高い画像を得ることができる。

電子カメラの構成例を示す図 固体撮像素子の構成例を示す図 図２の画素ＰＸの回路構成例を示す図 実施例１の概要図 固体撮像素子での画素位置と各色画素との対応関係とを示す図 実施例１での固体撮像素子での画素位置と、縮小画像の各色信号のサンプル重心とを示す図 （ａ）〜（ｄ）：実施例１での加算範囲の画素の配置例を示す図 実施例２の概要図 実施例２での固体撮像素子での画素位置と、縮小画像の各色信号のサンプル重心とを示す図 （ａ）〜（ｄ）：実施例２での加算範囲の画素の配置例を示す図 実施例３の概要図 実施例３での固体撮像素子での画素位置と、縮小画像の各色信号のサンプル重心とを示す図 （ａ）〜（ｄ）：実施例３での加算範囲の画素の配置例を示す図 第２実施形態の画像処理装置の構成例を示す図 第２実施形態の画像処理装置の動作例を示す流れ図

＜第１実施形態の説明＞
図１は、撮像装置の一例である第１実施形態の電子カメラの構成例を示す図である。

電子カメラ１は、撮像光学系２と、固体撮像素子３と、画像処理エンジン４と、メモリ５と、記録Ｉ／Ｆ６と、モニタ７と、操作部８とを有している。ここで、固体撮像素子３、メモリ５、記録Ｉ／Ｆ６、モニタ７および操作部８は、それぞれ画像処理エンジン４と接続されている。

撮像光学系２は、例えばズームレンズやフォーカスレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系２を１枚のレンズで図示する。

固体撮像素子３は、撮像光学系２を通過した光束による被写体の結像を撮像するデバイスである。第１実施形態の固体撮像素子３は、シリコン基板上にＣＭＯＳ（相補性金属酸化膜半導体）プロセスを使用して形成されたＸＹアドレス型の固体撮像素子（ＣＭＯＳイメージセンサ）である。なお、固体撮像素子３の構成例については後述する。

ここで、電子カメラ１の撮影モードにおいて、固体撮像素子３は、操作部８の入力に応じて、不揮発性の記憶媒体９への記録を伴う静止画像および動画像の撮影を実行する。また、固体撮像素子３は、撮影待機時にも所定間隔ごとに観測用の画像（スルー画像）を連続的に撮影する。時系列に取得されたスルー画像のデータ（あるいは上記の動画像のデータ）は、モニタ７での動画表示や画像処理エンジン４による各種の演算処理に使用される。

また、第１実施形態の固体撮像素子３は、各画素の電気信号を非加算で読み出す動作モード（通常読出モード）と、複数の画素から電気信号を加算間引きして読み出す動作モード（加算間引き読出モード）を有している。上記の加算間引き読出モードでは、通常読み出しモードで全画素読み出しする場合と比べて、画像のサイズが小さい縮小画像が固体撮像素子３から読み出される。なお、加算間引き読出モードは、例えば、スルー画像の撮影時、動画像の撮影時、あるいは静止画像の高速連写時に選択される。

画像処理エンジン４は、電子カメラ１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン４は、スルー画像の信号を用いて、オートフォーカス（ＡＦ）、自動露出（ＡＥ）の制御を行う。

また、画像処理エンジン４は、画像処理部の一例として、画像データに対して各種の画像処理（例えば、色変換処理、階調変換処理、ホワイトバランス調整処理、ノイズ除去処理、輪郭強調処理など）を施す。

メモリ５は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、メモリ５は、揮発性の記憶媒体であるＳＤＲＡＭである。

記録Ｉ／Ｆ６は、不揮発性の記憶媒体９を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ６は、コネクタに接続された記憶媒体９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体９の一例としてメモリカードを図示する。

モニタ７は、各種の画像を表示する表示デバイスである。例えば、モニタ７は、画像処理エンジン４の制御により、撮影モード下でのスルー画像の動画表示（ビューファインダ表示）を行う。また、操作部８は、画像の撮影指示や各種モードの切り替え指示等をユーザから受け付ける。

次に、図２を参照しつつ、第１実施形態の固体撮像素子３の構成例を説明する。

固体撮像素子３は、画素部１１と、複数の水平制御信号線１２と、垂直走査回路１３と、複数の垂直信号線１４と、信号出力部の一例である信号出力回路１５と、撮像素子制御回路１６とを有している。ここで、撮像素子制御回路１６は、垂直走査回路１３、信号出力回路１５に対して制御信号を供給する。なお、上記の制御信号は、電子カメラ１の画像処理エンジン４から供給されてもよい。上記の場合には、固体撮像素子３から撮像素子制御回路１６を省略することができる。

画素部１１は、入射光を電気信号に変換する複数の画素ＰＸを有している。画素部１１の画素ＰＸは、受光面上で第１方向Ｄ１および第２方向Ｄ２にマトリクス状に配置されている。以下、第１方向Ｄ１および第２方向Ｄ２を、行方向Ｄ１および列方向Ｄ２とも称する。なお、図２では画素ＰＸの配列を簡略化して示すが、実際の固体撮像素子の受光面にはさらに多数の画素が配列されることはいうまでもない。

ここで、各々の画素ＰＸの前面には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列で配置されている。そのため、画素ＰＸは、カラーフィルタでの色分解によって各色に対応する電気信号を出力する。例えば、第１実施形態では、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）のカラーフィルタが２行２列のベイヤ配列にしたがって各画素ＰＸに配置されている。これにより、画素部１１は、撮影時にカラーの画像を取得できる。以下、赤（Ｒ）、緑（Ｇｒ、Ｇｂ）、青（Ｂ）のフィルタを有する画素ＰＸを、それぞれ赤画素（Ｒ）、青画素（Ｂ）、緑画素（Ｇｒ、Ｇｂ）とも称する。

行方向Ｄ１に着目した場合、例えば、画素部１１の奇数行では、赤画素（Ｒ）と、緑画素（Ｇｒ）とが交互に配置されている。また、例えば、画素部１１の偶数行では、緑画素（Ｇｂ）と、青画素（Ｂ）とが交互に配置されている。

列方向Ｄ２に着目した場合、例えば、画素部１１の奇数列では、緑画素（Ｇｂ）と、赤画素（Ｒ）とが交互に配置されている。また、例えば、画素部１１の偶数列では、青画素（Ｂ）と、緑画素（Ｇｒ）とが交互に配置されている。なお、本明細書では、Ｇｒ、Ｇｂのカラーフィルタを総称して緑（Ｇ）のフィルタと称することもあり、緑画素（Ｇｒ、Ｇｂ）を総称して緑画素（Ｇ）と称することもある。

また、画素部１１の各行には、垂直走査回路１３に接続された水平制御信号線１２がそれぞれ配置されている。各々の水平制御信号線１２は、垂直走査回路１３から出力される制御信号（後述の選択信号φＳＥＬ、リセット信号φＲＳＴ、転送信号φＴＸ）を、行方向Ｄ１に並ぶ画素ＰＸにそれぞれ供給する。

また、画素アレイの各列には、垂直信号線１４がそれぞれ配置されている。列方向Ｄ２に配置された複数の画素ＰＸは、列毎に設けられた垂直信号線１４により互いに接続されている。すなわち、画素部１１は、同じ列に配置された複数の画素ＰＸからの電気信号を共通の垂直信号線１４を介して出力する。なお、各々の垂直信号線１４の一端（図２の下側）は信号出力回路１５に接続されている。

ここで、図３を参照しつつ、図２の画素ＰＸの回路構成例を説明する。

画素ＰＸは、フォトダイオードＰＤと、転送トランジスタＴＸと、リセットトランジスタＲＳＴと、増幅トランジスタＡＭＩと、増幅部ＡＭＰと、選択トランジスタＳＥＬと、フローティングディフュージョンＦＤとをそれぞれ有している。

フォトダイオードＰＤは、入射光の光量に応じて光電変換により信号電荷を生成する。転送トランジスタＴＸは、転送信号φＴＸの高レベル期間にオンし、フォトダイオードＰＤに蓄積された信号電荷をフローティングディフュージョンＦＤに転送する。

転送トランジスタＴＸのソースはフォトダイオードＰＤであり、転送トランジスタＴＸのドレインはフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、例えば、半導体基板に不純物を導入して形成された拡散領域である。なお、フローティングディフュージョンＦＤは、増幅トランジスタＡＭＩのゲートと、リセットトランジスタＲＳＴのソースとにそれぞれ接続されている。

リセットトランジスタＲＳＴは、リセット信号φＲＳＴの高レベル期間にオンし、フローティングディフュージョンＦＤを電源電圧ＶＤＤにリセットする。また、増幅トランジスタＡＭＩは、ドレインが電源電圧ＶＤＤに接続され、ゲートがフローティングディフュージョンＦＤにそれぞれ接続され、そのソース電極が出力ノードとして定電流源ＩＳＳに接続される。増幅トランジスタＡＭＩによってソースフォロアが構成されるので、増幅トランジスタＡＭＩのソースには、フローティングディフュージョンＦＤの電位に応じた電圧が生じる。

増幅部ＡＭＰは、加算間引き読出モードで重み付け加算を行うときに、画素ＰＸごとのゲインを調整するための可変ゲインアンプである。増幅部ＡＭＰの入力は、増幅トランジスタＡＭＩのソースに接続されており、増幅部ＡＭＰの出力は、選択トランジスタＳＥＬのドレインに接続されている。

また、選択トランジスタＳＥＬは、選択信号φＳＥＬの高レベル期間にオンし、増幅部ＡＭＰの出力を垂直信号線１４に接続する。

なお、画素ＰＸのリセットトランジスタＲＳＴがオンした状態では、ノイズ成分を含む暗信号が画素ＰＸから垂直信号線１４に読み出される。また、上記のフローティングディフュージョンＦＤに転送された電荷に基づいて、ノイズ成分および受光成分を含む明信号が画素ＰＸから垂直信号線１４に読み出される。

図２に戻って、信号出力回路１５は、画素部１１から画素ＰＸの電気信号を行方向（Ｄ１）に向けて読み出す回路である。信号出力回路１５は、カラムコンデンサ２１と、水平加算部２２と、カラムアンプ２３と、サンプルホールド部２４と、カラムＡＤＣ２５と、水平データバス２６と、データレジスタ２７とを含む。カラムコンデンサ２１は、１本の垂直信号線１４に対してそれぞれ１つずつ設けられている。

水平加算部２２は、隣接する奇数列の垂直信号線１４の間を接続する複数の加算制御スイッチＡＤＤ１と、隣接する偶数列の垂直信号線１４の間を接続する複数の加算制御スイッチＡＤＤ２と、各々の垂直信号線１４に設けられる複数の列スイッチＬＳＷとを有している。加算制御スイッチＡＤＤ１のオン／オフの切り替えにより、奇数列の画素ＰＸの電気信号が行方向（Ｄ１）に加算される。また、加算制御スイッチＡＤＤ２のオン／オフの切り替えにより、偶数列の画素ＰＸの電気信号が行方向（Ｄ１）に加算される。なお、全画素読み出しを行う場合、加算制御スイッチＡＤＤ１、ＡＤＤ２はいずれもオフとなる。

カラムアンプ２３、サンプルホールド部２４およびカラムＡＤＣ２５とは、１本の垂直信号線１４に対してそれぞれ１組ずつ設けられている。上記の各組において、カラムアンプ２３、サンプルホールド部２４およびカラムＡＤＣ２５はそれぞれ直列に接続されている。

カラムアンプ２３は、垂直信号線１４を介して画素ＰＸから出力される電気信号を反転増幅する。サンプルホールド部２４は、入力されたアナログ信号（明信号または暗信号）を所定のタイミングでサンプリングし、サンプリングしたアナログ信号を所定の期間ホールドして後段のカラムＡＤＣ２５に出力する。カラムＡＤＣ２５は、入力された明信号および暗信号をＡ／Ｄ変換する。

水平データバス２６は、信号出力回路１５内に１つのみ設けられる。水平データバス２６は、各々のカラムＡＤＣ２５の出力と接続されており、カラムＡＤＣ２５でＡ／Ｄ変換された後の画像信号をデータレジスタ２７に出力する。データレジスタ２７は、異なる列から読み出した加算間引き後の画像信号を必要に応じて合成する。データレジスタ２７の出力は、画像処理エンジン４に接続されている。

ここで、上記の固体撮像素子３を加算間引き読出モードで動作させる場合の読み出し例を説明する。一例として、画素部１１の４×４画素の注目領域（図２において二点鎖線で示す範囲）を加算間引きで読み出す場合、以下の動作が行われる。なお、上記の注目領域で加算間引きして得た信号値は、縮小画像の１画素の信号値に相当する。以下、縮小画像の１画素を標本点とも称する。

注目領域の４つの赤画素（Ｒ）を加算間引きする場合、注目領域の奇数列の垂直信号線１４に対応する加算制御スイッチＡＤＤ１をオンする。また、上記の垂直信号線１４に対応する列スイッチＬＳＷのうちの１つをオンし、それ以外の列スイッチＬＳＷをオフにする。そして、注目領域の２つの奇数行の選択信号φＳＥＬを同時に高レベルにする。これにより、注目領域内の４つの赤画素の信号はまとめて読み出しされる。

同様に、注目領域の４つの青画素（Ｂ）を加算間引きする場合、注目領域の偶数列の垂直信号線１４に対応する加算制御スイッチＡＤＤ２をオンする。また、上記の垂直信号線１４に対応する列スイッチＬＳＷのうちの１つをオンし、それ以外の列スイッチＬＳＷをオフにする。そして、注目領域の２つの偶数行の選択信号φＳＥＬを同時に高レベルにする。これにより、注目領域内の４つの青画素の信号はまとめて読み出しされる。

注目領域の８つの緑画素（Ｇ）を加算間引きする場合、例えば、４つの緑画素（Ｇｂ）と、４つの緑画素（Ｇｒ）とをそれぞれ別々に加算間引きした後、データレジスタ２７で最終的に両者を合成すればよい。

また、加算間引き読出モードでは、水平加算部２２にて１行ごとの水平加算のみを行い、注目領域の列方向（Ｄ２）の加算はデータレジスタ２７で行ってもよい。なお、上記の注目領域のサイズは一例であり、適宜変更できることはいうまでもない。

また、加算間引き後の画像信号のゲインは、カラムアンプ２３で調整してもよく、画素ＰＸの増幅部ＡＭＰで予め加算前に調整してもよい。なお、縮小画像の各色信号のサンプル重心を揃えるために重み付け加算を行う場合、画素ＰＸの増幅部ＡＭＰでそれぞれゲインを調整する必要がある。

（実施例１）
以下、実施例１として、加算間引き読出モードでの電子カメラ１の動作例を説明する。実施例１では、ＲＧＢのカラーフィルタをベイヤ配列で配置した固体撮像素子３から、Ｒ，Ｇｒ（奇数行のＧ），Ｇｂ（偶数行のＧ），Ｂの４種類の画像信号を加算間引きで読み出す（図４参照）。なお、全画素読み出し時の画像サイズをＷ×Ｈとしたとき、実施例１ではＷ／４×Ｈ／４の画像サイズの縮小画像を読み出すものとする。

図５は、固体撮像素子３での画素位置と各色画素との対応関係とを示す図である。固体撮像素子３の各色画素の座標は、Ｒ（ｉ，ｊ），Ｇ（ｉ＋１，ｊ），Ｇ（ｉ，ｊ＋１），Ｂ（ｉ＋１，ｊ＋１）…のように表記される。なお、実施例１において、縮小画像の標本点（ｘ，ｙ）に対応する信号値は、Ｒ’（ｘ，ｙ），Ｇｒ’（ｘ，ｙ），Ｇｂ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）…のように表記される。

実施例１での固体撮像素子３の加算間引き読み出しは、撮像素子制御回路１６の制御により、以下のように行なわれる。縮小画像の標本点（ｘ，ｙ）に対応する４つの信号値は、いずれも標本点に対応する４×４画素の範囲（加算範囲）に含まれる同色画素の信号を加算平均して生成される。

例えば、読出単位の左上端に位置する基準画素（ｉ，ｊ）＝（ｍ，ｎ）が赤画素である場合、加算範囲の各色画素の配置は図７（ａ）のようになる。このとき、各標本点の信号値（Ｒ'_R（ｘ，ｙ），Ｇｒ'_R（ｘ，ｙ），Ｇｂ'_R（ｘ，ｙ），Ｂ'_R（ｘ，ｙ））は、式（１）で求めることができる。

以上、標本点（ｘ，ｙ）に注目して加算間引き読み出しの例を説明した。なお、他の標本点の加算間引き読み出しは、基準画素の位置をシフトさせて同様の読み出しを行えばよい。一例として、標本点（ｘ＋１，ｙ）に対応する信号値（Ｒ'_R（ｘ＋１，ｙ），Ｇｒ'_R（ｘ＋１，ｙ），Ｇｂ'_R（ｘ＋１，ｙ），Ｂ'_R（ｘ＋１，ｙ））は、基準画素（ｍ，ｎ）＝（ｉ＋４，ｊ）として、上記の式（１）により求めればよい。

なお、本実施例では、カラーフィルタが２×２の周期で配列され、画像の縮小倍率が１／４×１／４であることから、縮小画像の各標本点において加算範囲の基準画素はいずれも同じ色となる。

しかし、縮小倍率が奇数倍（例えば１／３×１／３）の場合、標本点１つごとに基準画素の色が入れ替わる。この場合には、式（１）で加算する画素を適宜調整すればよい。例えば、基準画素がＧｒの場合、加算範囲の各色画素の配置は図７（ｂ）のようになる。基準画素がＧｂの場合、加算範囲の各色画素の配置は図７（ｃ）のようになる。基準画素がＢの場合、加算範囲の各色画素の配置は図７（ｄ）のようになる。

図６は、実施例１での固体撮像素子での画素位置と、縮小画像の各色信号のサンプル重心とを示す図である。図６では、Ｒ信号のサンプル重心を図中に白丸（○）で示す。また、Ｇｒ信号のサンプル重心を図中にバツ（×）で示す。また、Ｇｂ信号のサンプル重心を図中に三角（△）で示す。また、Ｂ信号のサンプル重心を図中に星印（☆）で示す。なお、図６の例は基準画素がいずれも赤画素の場合であり、基準画素の色が異なる場合には図６の各色信号のサンプル重心に入れ替わりが生じる。

次に、各標本点の信号値は、画像処理エンジン４に入力される。そして、画像処理エンジン４は、Ｇｒ画像信号およびＧｂ画像信号を用いて、画像の勾配に応じた色差選択処理を実行する（図４参照）。

ここで、Ｇｒ画像信号およびＧｂ画像信号を区別せずに加算平均して、１つのＧ信号値で読み出す場合を考える。この場合、標本点（ｘ，ｙ）でのＧ信号のサンプル重心は図６の×印と△印との中間（ｉ＋１．５，ｊ＋１．５）となり、同じ標本点のＲ，Ｂ各信号に対してズレが生じる。また、加算範囲内でＲ画素およびＢ画素の分布は３×３の範囲であるが、加算範囲内でＧ画素の分布は４×４の範囲となる。上記のようなサンプル重心のズレや加算する画素の分布の違いは、例えば、合焦に近い状態で高周波信号を多く含む画像を縮小する場合に、弱い偽色となって現れる可能性がある。

一方、実施例１のように、Ｇｒ画像信号およびＧｂ画像信号を分離して読み出した場合、加算範囲内のＧｒ画素およびＧｂ画素の分布は３×３の範囲となり、Ｒ画素およびＢ画素の分布と一致する。また、Ｒ，Ｂ信号のサンプル重心は、被写体の輪廓による画像の勾配方向に応じてＧｒ，Ｇｂ信号のサンプル重心のいずれかと近い値をとることが期待できる。そのため、画像処理エンジン４は、以下の色差選択処理を行うことで偽色の発生を抑制する。

第１に、画像処理エンジン４は、注目する標本点（ｘ，ｙ）における水平方向勾配（ΔＨ）と垂直方向勾配（ΔＶ）を式（２）で求める。

第２に、画像処理エンジン４は、注目する標本点（ｘ，ｙ）で適用するＣｒ’（ｘ，ｙ），Ｃｂ’（ｘ，ｙ）を、上記のΔＨ，ΔＶの大小評価により式（３）で決定する。

上記の式（３）により、画像の勾配を考慮して、偽色の影響を受けにくいと予想される色差Ｃｒ’，Ｃｂ’が選択される。なお、式（３）の「ＴＨＥ＿ＧＲＡＤ」は、勾配の大きさを規定する閾値である。

第３に、画像処理エンジン４は、上記の色差Ｃｒ’，Ｃｂ’を用いて、標本点（ｘ，ｙ）のＲＧＢ値を式（４）で求める。

なお、画像処理エンジン４は、式（４）で求めたＲＧＢ値を用いて、式（５）によりＹＵＶ値への変換を行えばよい。

以上の処理により、縮小画像の標本点（ｘ，ｙ）についてＹＵＶ画像情報が生成される。そして、画像処理エンジン４は、他の標本点にも同様の処理を行い、縮小画像全体のＹＵＶ画像情報を生成する。

その後、画像処理エンジン４は、縮小画像のＹＵＶ画像情報を記録Ｉ／Ｆ６を介して記憶媒体９に記録する。あるいは、画像処理エンジン４は、縮小画像のＹＵＶ画像情報を用いてモニタ７に画像表示をしてもよい。

以下、実施例１の作用効果を述べる。実施例１の構成では、固体撮像素子３からの加算間引読出時に、各標本点においてＲ，Ｇｒ，Ｇｂ，Ｂの４つの画像信号を生成する。
実施例１の場合、縮小画像の各標本点で必要となる色信号は全て揃っているので、縮小画像の補間処理を行う必要がない。そのため、実施例１では、縮小画像の各標本点で充分な解像力を確保できる。また、例えば、合焦に近い状態で高周波信号を多く含む画像を縮小するケースを考えると、ベイヤ配列構造の間引き読み出し画像を色補間して縮小画像を生成する場合と比べ、実施例１の場合には色補間処理に起因する縮小画像でのモアレや偽色の発生が大幅に抑制される。

また、実施例１では、標本点ごとにＧｒ，Ｇｂの画像信号を取得することで、元の画像での緑信号の強度分布が保持される。これにより、適応的な色差選択処理ができるので、偽色をより抑制することができる。

なお、実施例１の場合、１標本点に対して４つの信号値を取得する。そのため、実施例１では、全画素読み出し時の画像サイズ（Ｗ×Ｈ）に対して縮小画像のサイズがＷ／４×Ｈ／４のとき、全画素読み出し時と比較して読出データ量は１／４×１／４×４＝１／４倍となる。

（実施例１の変形例）
上記の実施例１では、各色画素の単純平均で縮小画像の各信号値を求めた。しかし、重み付け加算により縮小画像の各信号値を求めてもよい。一例として、式（１）の代わりに、式（６）のように加重係数を９：３：３：１に設定してもよい。

上記の式（６）の場合には、４つの信号のサンプル重心を一致させることができる。なお、上記の式（６）の場合には、サンプル重心位置は一致するが、加算範囲は1画素分ずれるため実施例１の色差選択処理は有効である。

（実施例２）
次に、図８〜図１０を参照しつつ、実施例２の加算間引き読出モードでの電子カメラ１の動作例を説明する。以下の各実施例での装置構成や動作は、特に断りがないかぎり実施例１と共通であることを前提とする。なお、各実施例での縮小画像のサイズは実施例１と同じである。

実施例２では、固体撮像素子３から、Ｒ，Ｇｈ，Ｇｌ，Ｂの４種類の画像信号を加算間引きで読み出す（図８参照）。Ｇｈは加算範囲における緑色の高周波成分を含む信号であり、Ｇｌは加算範囲における緑色の低周波成分を含む信号である。

一例として、Ｇｈは４×４画素の加算範囲のうち、中央部に位置する２つの緑画素の出力を加算して生成される。また、Ｇｌは４×４画素の加算範囲のうち、周辺部に位置する６つの緑画素の出力を加算して生成される（図１０参照）。Ｇｈで加算される画素のサンプリング間隔は、Ｇｌで加算される画素のサンプリング間隔よりも小さい。そのため、Ｇｈは、Ｇｌと比べて高い空間周波数成分を含む。なお、実施例２において、縮小画像の標本点（ｘ，ｙ）に対応する信号値は、Ｒ’（ｘ，ｙ），Ｇｈ’（ｘ，ｙ），Ｇｌ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）…のように表記される。

実施例２での固体撮像素子３の加算間引き読み出しは、撮像素子制御回路１６の制御により、以下のように行なわれる。

例えば、読出単位の左上端に位置する基準画素（ｉ，ｊ）＝（ｍ，ｎ）が赤画素である場合、加算範囲の各色画素の配置は図１０（ａ）のようになる。このとき、各標本点の信号値（Ｒ'_R（ｘ，ｙ），Ｇｈ'_R（ｘ，ｙ），Ｇｌ'_R（ｘ，ｙ），Ｂ'_R（ｘ，ｙ））は、式（７）で求めることができる。

以上、標本点（ｘ，ｙ）に注目して加算間引き読み出しの例を説明した。なお、他の標本点の加算間引き読み出しは、基準画素の位置をシフトさせて同様の読み出しを行えばよい。一例として、標本点（ｘ＋１，ｙ）に対応する信号値（Ｒ'_R（ｘ＋１，ｙ），Ｇｈ'_R（ｘ＋１，ｙ），Ｇｌ'_R（ｘ＋１，ｙ），Ｂ'_R（ｘ＋１，ｙ））は、基準画素（ｍ，ｎ）＝（ｉ＋４，ｊ）として、上記の式（７）により求めればよい。

なお、本実施例では、カラーフィルタが２×２の周期で配列され、画像の縮小倍率が１／４×１／４であることから、縮小画像の各標本点において加算範囲の基準画素はいずれも同じ色となる。

しかし、縮小倍率が奇数倍（例えば１／３×１／３）の場合、標本点１つごとに基準画素の色が入れ替わる。この場合には、式（７）で加算する画素を適宜調整すればよい。例えば、基準画素がＧｒの場合、加算範囲の各色画素の配置は図１０（ｂ）のようになる。基準画素がＧｂの場合、加算範囲の各色画素の配置は図１０（ｃ）のようになる。基準画素がＢの場合、加算範囲の各色画素の配置は図１０（ｄ）のようになる。

図９は、実施例２での固体撮像素子での画素位置と、縮小画像の各色信号のサンプル重心とを示す図である。実施例２の場合、各色信号のサンプル重心（図中○で示す）はいずれも一致する。

次に、各標本点の信号値は、画像処理エンジン４に入力される。ここで、実施例２の画像処理エンジン４は、ＧｈおよびＧｌの画像信号を用いて縮小画像にエッジ強調処理を施す。

まず、画像処理エンジン４は、式（８）により、ＧｈおよびＧｌの画像信号から標本点のＧの信号値（Ｇ’（ｘ，ｙ））を求める。

上記の式（８）の演算により、縮小画像の標本点のＲＧＢ信号値が揃うこととなる。なお、式（７）および式（８）を合わせて考えると、上記のＧ信号値も、Ｒ，Ｂ信号値と同様に加重係数の比率が９：３：３：１となる。

次に、画像処理エンジン４は、式（９）により、ＧｈおよびＧｌの画像信号の差分から画像の高周波成分（δＧ’）を抽出する。なお、δＧ’には、Ｇｌの加算範囲（５×５）に対してＧｈの加算範囲（３×３）のＧ信号が持つ凹凸が反映される。

そして、画像処理エンジン４は、上記の式（５）によりＲＧＢ値からＹＵＶ値への変換を行う。ここで、輝度信号値Ｙに対してはＧ信号値の寄与が大きいため、標本点での輝度信号値Ｙの凹凸はＧ信号の凹凸で近似できる。そこで、実施例２の画像処理エンジン４は、輝度信号値Ｙに対して、式（１０）に示すようにδＧ’を加算してエッジ強調処理を施す。

ここで、αはエッジ強調の効果を調節するための係数である。αは画像全体で単一の値でもよく、ＹやδＧ'の分布に応じて適応的に変化させてもよい。例えば、Ｙの分布が平坦な箇所や、１画素のみ孤立したδＧ'が存在する箇所ではαの値を小さくし、まとまったδＧ'の分布が見られる箇所ではαの値を大きく設定してもよい。このような適応的な処理により、画像のノイズを強調することなく、縮小画像のエッジ強調処理を行うことができる。

以上の処理により、縮小画像の標本点（ｘ，ｙ）についてＹＵＶ画像情報が生成される。そして、画像処理エンジン４は、他の標本点にも同様の処理を行い、縮小画像全体のＹＵＶ画像情報を生成する。

その後、画像処理エンジン４は、縮小画像のＹＵＶ画像情報を記録Ｉ／Ｆ６を介して記憶媒体９に記録する。あるいは、画像処理エンジン４は、縮小画像のＹＵＶ画像情報を用いてモニタ７に画像表示をしてもよい。

かかる実施例２の構成によっても、縮小画像の標本点レベルでの補間処理を行う必要がないので、縮小画像の各標本点で充分な解像力を確保できるとともに、縮小画像でのモアレや偽色の発生を大幅に抑制できる。また、実施例２の場合、標本点のＧｈ，Ｇｌの画像信号を用いたエッジ強調処理により、縮小画像の解像感をより向上させることができる。

なお、実施例２の場合も、１標本点に対して４つの信号値を取得する。そのため、実施例１では、全画素読み出し時の画像サイズ（Ｗ×Ｈ）に対して縮小画像のサイズがＷ／４×Ｈ／４のとき、全画素読み出し時と比較して読出データ量は１／４×１／４×４＝１／４倍となる。

（実施例３）
次に、図１１〜図１３を参照しつつ、実施例３の加算間引き読出モードでの電子カメラ１の動作例を説明する。

実施例３では、固体撮像素子３から、Ｒ，Ｂの画像信号を加算間引きで読み出すとともに、加算範囲での画素の配置がそれぞれ異なる３種類のＧの信号（Ｇ１，Ｇ２，Ｇ３）が生成される。そして、実施例３では、上記のＧ１，Ｇ２，Ｇ３の各信号を組み合わせて、画像処理エンジン４が色差選択処理およびエッジ強調処理を行う（図１１参照）。

一例として、Ｇ１は４×４画素の加算範囲のうち、中央部に位置する２つの緑画素の出力を加算して生成される。また、Ｇ２，Ｇ３は４×４画素の加算範囲のうち、周辺部に位置する３つの緑画素の出力をそれぞれ加算して生成される。なお、Ｇ２で加算される緑画素は上記の加算範囲内でＬ字状に配列されている。また、Ｇ３で加算される緑画素は、Ｇ２の加算画素の配列と対向するように、上記の加算範囲内で倒立Ｌ字状に配列されている（図１３参照）。なお、実施例３において、縮小画像の標本点（ｘ，ｙ）に対応する信号値は、Ｒ’（ｘ，ｙ），Ｇ１’（ｘ，ｙ），Ｇ２’（ｘ，ｙ），Ｇ３’（ｘ，ｙ），Ｂ’（ｘ，ｙ）…のように表記される。

実施例３での固体撮像素子３の加算間引き読み出しは、撮像素子制御回路１６の制御により、以下のように行なわれる。

例えば、読出単位の左上端に位置する基準画素（ｉ，ｊ）＝（ｍ，ｎ）が赤画素である場合、加算範囲の各色画素の配置は図１３（ａ）のようになる。このとき、各標本点の信号値（Ｒ'_R（ｘ，ｙ），Ｇ１'_R（ｘ，ｙ），Ｇ２'_R（ｘ，ｙ），Ｇ３'_R（ｘ，ｙ），Ｂ'_R（ｘ，ｙ））は、式（１１）で求めることができる。

以上、標本点（ｘ，ｙ）に注目して加算間引き読み出しの例を説明した。なお、他の標本点の加算間引き読み出しは、基準画素の位置をシフトさせて同様の読み出しを行えばよい。一例として、標本点（ｘ＋１，ｙ）に対応する信号値（Ｒ'_R（ｘ＋１，ｙ），Ｇ１'_R（ｘ＋１，ｙ），Ｇ２'_R（ｘ＋１，ｙ），Ｇ３'_R（ｘ＋１，ｙ），Ｂ'_R（ｘ＋１，ｙ））は、基準画素（ｍ，ｎ）＝（ｉ＋４，ｊ）として、上記の式（１１）により求めればよい。

なお、本実施例では、カラーフィルタが２×２の周期で配列され、画像の縮小倍率が１／４×１／４であることから、縮小画像の各標本点において加算範囲の基準画素はいずれも同じ色となる。

しかし、縮小倍率が奇数倍（例えば１／３×１／３）の場合、標本点１つごとに基準画素の色が入れ替わる。この場合には、式（１１）で加算する画素を適宜調整すればよい。例えば、基準画素がＧｒの場合、加算範囲の各色画素の配置は図１３（ｂ）のようになる。基準画素がＧｂの場合、加算範囲の各色画素の配置は図１３（ｃ）のようになる。基準画素がＢの場合、加算範囲の各色画素の配置は図１３（ｄ）のようになる。

図１２は、実施例３での固体撮像素子での画素位置と、縮小画像の各色信号のサンプル重心とを示す図である。図１２では、Ｒ信号のサンプル重心を図中に白丸（○）で示す。また、Ｇ１信号のサンプル重心を図中に黒丸（●）で示す。また、Ｇ２信号のサンプル重心を図中にバツ（×）で示す。また、Ｇ３信号のサンプル重心を図中に三角（△）で示す。また、Ｂ信号のサンプル重心を図中に星印（☆）で示す。なお、図１２の例は基準画素がいずれも赤画素の場合であり、基準画素の色が異なる場合には図１２の各色信号のサンプル重心が変化する。

次に、各標本点の信号値は、画像処理エンジン４に入力される。ここで、実施例３の画像処理エンジン４は、色差選択処理およびエッジ強調処理を行う。

まず、画像処理エンジン４は、式（１２）により、Ｇ１，Ｇ２，Ｇ３信号値からＧｒ，Ｇｂ信号値を求める。

式（１１）と式（１２）の比較により、式（１２）で取得されるＧｒ，Ｇｂ信号値は、それぞれ５画素の単純平均となっていることが分かる。そのため、実施例３のＧｒ，Ｇｂ信号のサンプル重心は、実施例１のＧｒ，Ｇｂ信号のサンプル重心と一致する。

また、実施例３と実施例１では加算画素数が相違するが同じ範囲のＧ信号値を加算している。そのため、実施例３の画像処理エンジン４は、実施例１の式（２）〜式（５）を適用して、色差選択処理を行うとともに、ＹＵＶ画像情報を生成する。

また、画像処理エンジン４は、式（１３）により、Ｇ１，Ｇ２，Ｇ３信号から画像の高周波成分（δＧ’）を抽出できる。

式（１１）と式（１３）の比較により、式（１３）で取得されるδＧ’は、実施例２でＧｈ，Ｇｌ信号値から求めたδＧ’と同一であることが分かる。そのため、実施例３の画像処理エンジン４は、実施例２の式（１０）を適用して、輝度信号値Ｙに対して適応的なエッジ強調処理を施すことができる。

かかる実施例３の構成によれば、実施例１および実施例２と同様の効果を得ることができる。なお、実施例３の場合も、１標本点に対して５つの信号値を取得する。そのため、実施例１では、全画素読み出し時の画像サイズ（Ｗ×Ｈ）に対して縮小画像のサイズがＷ／４×Ｈ／４のとき、全画素読み出し時と比較して読出データ量は１／４×１／４×５＝５／１６倍となる。

＜第２実施形態の説明＞
図１４は、第２実施形態の画像処理装置の構成例を示す図である。第２実施形態の画像処理装置は、処理対象のカラー画像を加算間引きして縮小画像を生成するプログラムがインストールされたパーソナルコンピュータである。

図１４に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。なお、データ読込部３２は、処理対象のカラー画像を取得する取得部として機能する。

記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置３３には、画像処理プログラムが記録される。なお、記憶装置３３には、データ読込部３２から読み込んだ画像のデータや、プログラムで生成された縮小画像のデータを記憶しておくこともできる。

ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、プログラムの実行によって、縮小画像の生成を行う変換部として機能する。

メモリ３５は、プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。

以下、図１５の流れ図を参照しつつ、第２実施形態の画像処理装置の動作例を説明する。

ステップ＃１０１：ＣＰＵ３４は、処理対象のカラー画像のデータを、データ読込部３２から取得する。ここで、カラー画像は、色補間前のＲＡＷ画像であってもよく、色補間後のカラー画像であってもよい。なお、第２実施形態では、電子カメラで撮像されるとともに、ベイヤ配列でＲＧＢの各色がモザイク状に配置された状態のＲＡＷ画像が処理対象である例を説明する。

＃１０１で取得されたカラー画像のデータは、ＣＰＵ３４の制御によって、記憶装置３３またはメモリ３５に記録される。なお、処理対象の画像のデータが予め記憶装置３３に記憶されている場合には、ＣＰＵ３４は＃１０１の処理を省略してもよい。

ステップ＃１０２：ＣＰＵ３４の変換部は、カラー画像を加算間引きして縮小画像のＲＧＢの画像信号を生成する。具体的には、＃１０２の変換部は、上記の実施例１〜実施例３のいずれかの手法で加算間引きを行う。

ステップ＃１０３：ＣＰＵ３４の変換部は、縮小画像のＲＧＢ信号値からＹＵＶの画像情報を生成する。

ここで、＃１０２で実施例１の加算間引きを行った場合、＃１０３の変換部は、実施例１と同様の色差選択処理を実行する。また、＃１０２で実施例２の加算間引きを行った場合、＃１０３の変換部は、実施例２と同様のエッジ強調処理を実行する。また、＃１０２で実施例３の加算間引きを行った場合、＃１０３の変換部は、実施例３と同様の色差選択処理およびエッジ強調処理を実行する。

ステップ＃１０４：ＣＰＵ３４は、＃１０４で生成した縮小画像の画像情報を記憶装置３３に記録する。あるいは、ＣＰＵ３４は縮小画像の画像情報を用いてモニタ３９に画像表示をしてもよい。以上で、図１５の流れ図の説明を終了する。

第２実施形態によれば、電子カメラで撮像したカラー画像から後処理工程で縮小画像を生成するときに、上記の第１実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（補足１）：本発明における画像の縮小倍率は、上記実施形態の例に限定されることなく適宜変更できる。なお、本発明における画像の縮小倍率は、水平方向と垂直方向とが異なる倍率であってもよい。

（補足２）：上記実施形態の加算間引きによっても、要求されるフレームレートに対して画像読み出しの高速化が不十分な場合、縮小画像のビット精度の削減を行って読み出しの高速化を補ってもよい。

（補足３）：縮小倍率が大きいときには、縮小画像のフォーマットに対して固体撮像素子の画素サイズが不足する場合がある。このような場合には、縮小画像に対して超解像処理などの公知のアップコンバート処理を施してもよい。

例えば、実施例３の式（１２）、式（４）により計算されるＧ信号値は撮像素子の４×４画素の範囲に対応するが、読み出されたＧ１信号は撮像素子の２×２画素の範囲のみに対応する。これは高速化のために１／４×１／４の縮小倍率で読み出した画像を、超解像や補間拡大などの処理で２×２倍のアップコンバートを行うときに、その画素サイズに対応する情報が離散的に保持されていることを意味する。このようなサブピクセルの空間分布情報を用いて、アップコンバート画像の解像感を向上させてもよい。

（補足４）：上記実施形態では、撮像装置の一例としての電子カメラを説明した。しかし、本発明の撮像装置は、例えば、第１実施形態の固体撮像素子３のみの構成や、固体撮像素子３と画像処理エンジン４（画像処理部）とをオンチップで一体化したデバイスを含む概念である。

（補足５）：上記実施形態において、固体撮像素子３のカラーフィルタアレイはベイヤ配列に限定されない。例えば、マゼンタ、グリーン、シアンおよびイエローを用いる補色系カラーフィルタアレイの場合や、ベイヤ配列のＧｒまたはＧｂを他の色に置換したカラーフィルタアレイの場合にも本発明を適用できる。

（補足６）：第２実施形態では、画像処理装置の変換部の機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、変換部の機能を、例えばＡＳＩＣでハードウエア的に実現しても勿論かまわない。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１…電子カメラ、２…撮像光学系、３…固体撮像素子、４…画像処理エンジン、５…メモリ、６…記録Ｉ／Ｆ、７…モニタ、８…操作部、９…記憶媒体、１１…画素部、１２…水平制御信号線、１３…垂直走査回路、１４…垂直信号線、１５…信号出力回路、１６…撮像素子制御回路、２１…カラムコンデンサ、２２…水平加算部、２３…カラムアンプ、２４…サンプルホールド部、２５…カラムＡＤＣ、２６…水平データバス、２７…データレジスタ、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ

Claims (3)

1. 第１の色の光を受光する画素と、
   第２の色の光を受光する画素と、
   第３の色の光を受光する画素と、
   前記第１の色の光を受光する２つの第１の画素からの信号を加算し、前記２つの第１の画素の間隔よりも広い間隔を有し、前記第１の色の光を受光する６つの第２の画素からの信号を加算し、前記第２の色の光を受光する複数の画素からの信号を加算し、前記第３の色の光を受光する複数の画素からの信号を加算する回路と、
   前記２つの第１の画素からの信号を加算した信号と、前記６つの第２の画素からの信号を加算した信号との差分より生成した信号により、前記２つの第１の画素からの信号を加算した信号と、前記６つの第２の画素からの信号を加算した信号と、前記第２の色の光を受光する複数の画素からの信号を加算した信号と、前記第３の色の光を受光する複数の画素からの信号を加算した信号とから生成された画像データに対してエッジ強調処理を行う画像処理部と
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   第１の色の光は緑色の光であり、第２の色の光は赤色の光であり、第３の色の光は青色の光である撮像装置。
3. 請求項２に記載の撮像装置において、
   前記複数の画素は、ベイヤー配列により配置されている撮像装置。
   

Images