JP5768193B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラムに関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

主要な被写体に焦点を合わせる合焦制御方法には、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式がある。位相差ＡＦ方式は、コントラストＡＦ方式に比べて合焦位置の検出を高速，高精度に行うことができるため、様々な撮像装置で多く採用されている。

位相差ＡＦ方式により合焦制御を行う撮像装置に搭載される固体撮像素子には、例えば、遮光膜開口が互いに逆方向に偏心した位相差検出用の画素のペアを撮像領域の全面に離散的に設けたものが使用される（特許文献１、２参照）。

この位相差検出用の画素は、遮光膜開口の面積がその他の通常の画素よりも小さくなっているため、その出力信号を撮像画像信号として使用するには不十分なものとなる。そこで、位相差検出用の画素の出力信号を補正する必要が生じる。

特許文献１、２は、位相差検出用の画素の出力信号を、その周りの通常の画素の出力信号を用いて補間生成する補間補正処理と、位相差検出用の画素の出力信号をゲイン増幅して補正するゲイン補正処理とを併用する撮像装置を開示している。

日本国特開２０１２−４７２９号公報 日本国特開２０１０−６２６４０号公報

上述したゲイン補正処理では、位相差検出用の画素の出力信号に乗じるゲイン値を求める必要がある。このゲイン値の生成方法としては、基準画像を撮像して得られる画像信号から事前に生成しておく方法と、ライブビュー画像表示用の撮像によって得られる画像信号からリアルタイムに生成する方法とがある。

しかしながら、上記いずれの方法でも、被写体のパターン、ノイズ、又は混色等によって、位相差検出用の画素の出力信号にはバラツキが生じる。

ゲイン補正処理に用いるゲイン値は、撮影条件毎に、位相差検出用画素毎に個別に生成するのではなく、撮像素子の受光面を分割して得られるブロック毎に代表的な値が生成される。このブロック毎に生成されるゲイン値は近似的なものなので、ゲイン補正処理後の位相差検出用画素の出力と、その位相差検出用画素周辺の撮影用画素の出力とには不自然な差が生じてしまう場合がある。

特に、ライブビュー画像表示用の画像信号からゲイン補正処理に用いるゲイン値を求める場合には、例えば、位相差検出用画素と通常画素の間に明暗の差があることがありえる。つまり、ブロック内のライブビュー画像の画像パターンによってゲイン値が左右されるため、ゲイン値のバラツキが生じる。そして、位相差検出用画素の信号値のゲイン補正処理後の値は、もともとの位相差検出用画素の信号値のバラツキとゲイン値のバラツキの積によってばらつく。このような理由により、ゲイン補正処理後の出力信号値が所望の値からずれる場合がある。つまり、ゲイン補正処理の精度にはバラツキが生じてしまう。

従来は、画像の輝度や色が急激に変化するエッジの近辺でゲイン補正を行っても、ゲイン補正後の出力信号値とその周辺の出力信号値との違いは目立たなかった。

ところが、近年の撮像素子の画素の微細化により、ゲイン補正後の出力信号値と、周辺の出力信号値との違いが目立つようになってきている。特に、裏面照射型の撮像素子では混色の影響が大きく、混色が多いとゲイン値への混色の影響が大きくなるので、ゲイン値のバラツキも大きくなる。

また、これまでは、絞りと撮像素子がそれぞれ小さく、撮像素子に入射する光線角度が緩やかであり、被写体深度も浅くなっていたため、ゲイン値のバラツキによる画質劣化は許容できていた。しかし、撮像素子が大型化し、レンズも絞り開放側になると、光線角度が大きくなり、ゲイン値のバラツキも大きくなる。このため、ゲイン補正後の出力信号値と周辺の出力信号値との違いは許容できなくなってきている。

光学ローパスフィルタ搭載の撮像装置であれば、空間高周波成分がカットされるので上述した画質劣化はある程度目立ちにくくなる。しかし、最近では光学ローパスフィルタレスの撮像装置が提案されており、このような撮像装置においては特に、ゲイン値のバラツキが大きくなってしまう。

本発明は、上記事情に鑑みてなされたものであり、位相差検出用の画素の出力信号の補正精度を向上させて撮像画質を向上させることのできる画像処理装置とこれを備える撮像装置、画像処理方法、画像処理プログラムを提供することを目的とする。

本発明の画像処理装置は、複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理する画像処理装置であって、上記撮像画像信号に含まれる上記位相差検出用画素の出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、上記撮像画像信号に含まれる上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、上記撮像画像信号に含まれる複数の上記位相差検出用画素の出力信号の各々を、上記ゲイン補正処理部と上記補間補正処理部のいずれかによって補正し、上記補正後の上記撮像画像信号を記録媒体に記録する画像処理部と、を備え、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む範囲におけるその撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、上記補正対象の位相差検出用画素の出力信号を上記ゲイン補正処理部によって補正して得られる信号値をＳｃとしたとき、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、上記画像処理部は、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理部によって補正して得た信号を上記記録媒体に記録し、上記第一の値と上記第二の値は、上記補正対象画素の出力信号値と上記ゲイン値とに基づく値である。

本発明の撮像装置は、上記画像処理装置と、上記撮像素子と、を備えるものである。

本発明の画像処理方法は、複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理する画像処理方法であって、上記撮像素子によって撮像して得られる撮像画像信号に含まれる上記位相差検出用画素の出力信号を、その出力信号にゲイン値を乗じて補正するゲイン補正処理と、その位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正し、上記補正後の上記撮像画像信号を記録媒体に記録する画像処理ステップを備え、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む範囲におけるその撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに上記第二の値を加算して得られる値をＴＨ２、上記補正対象の位相差検出用画素の出力信号を上記ゲイン補正処理によって補正して得られる信号値をＳｃとしたとき、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、上記画像処理ステップでは、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理によって補正して得た信号を上記記録媒体に記録し、上記第一の値と上記第二の値は、上記補正対象画素の出力信号値と上記ゲイン値とに基づく値である。

本発明の画像処理プログラムは、複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理するための画像処理プログラムであって、上記撮像素子によって撮像して得られる撮像画像信号に含まれる上記位相差検出用画素の出力信号を、その出力信号にゲイン値を乗じて補正するゲイン補正処理と、その位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正し、上記補正後の上記撮像画像信号を記録媒体に記録する画像処理ステップをコンピュータに実行させるためのプログラムであり、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む範囲におけるその撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、上記補正対象の位相差検出用画素の出力信号を上記ゲイン補正処理によって補正して得られる信号値をＳｃとしたとき、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、上記画像処理ステップでは、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理によって補正して得た信号を上記記録媒体に記録し、上記第一の値と上記第二の値は、上記補正対象画素の出力信号値と上記ゲイン値とに基づく値である。

本発明によれば、位相差検出用の画素の出力信号の補正精度を向上させて撮像画質を向上させることのできる画像処理装置とこれを備える撮像装置、画像処理方法、画像処理プログラムを提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図１に示すデジタルカメラに搭載される固体撮像素子５の概略構成を示す平面模式図 図１に示すデジタルカメラにおけるデジタル信号処理部１７の機能ブロック図 図２に示す固体撮像素子３において位相差検出用画素３１Ｌを中心とする５×５個の画素を抽出した図 図１に示すデジタルカメラにおけるデジタル信号処理部１７の動作を説明するためのフローチャート 図１に示すデジタルカメラにおけるデジタル信号処理部１７の動作を説明するためのフローチャート 図１に示すデジタルカメラにおけるデジタル信号処理部１７の動作を説明するための図 所定範囲の好ましい例を説明するための図 撮像装置としてスマートフォンを説明する図 図９のスマートフォンの内部ブロック図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等のレンズを含む撮影レンズ１及び絞り２を有する撮影光学系と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子３とを備えている。

固体撮像素子３は、複数の撮像用画素と、撮影光学系の異なる瞳領域を通過した一対の光束をそれぞれ受光する２種類の位相差検出用画素とを二次元状に配置した構成になっており、撮影レンズ１により結像される像を受光して撮像画像信号を出力すると共に、上記一対の光束に対応する一対の像信号を出力する。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１に含まれるフォーカスレンズの位置を調整したり、撮影レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子３を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子３の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されるＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、固体撮像素子３によって撮像して得られる撮像画像信号に対し、各種画像処理を行って撮影画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮影画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、固体撮像素子３の位相差検出用画素から出力される対の像信号の位相差に基づいて撮影レンズ１のデフォーカス量を算出する焦点検出部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備えている。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、焦点検出部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子３の概略構成を示す平面模式図である。固体撮像素子３は、画素が二次元状に配置される撮像領域の全面又は一部に、位相差検出用画素が散在して設けられている。図２では、撮像領域のうちの、位相差検出用画素が設けられている部分を拡大した図を示している。

固体撮像素子３は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状（図２の例では正方格子状）に配列された多数の画素（図中の各正方形）を備えている。多数の画素は、行方向Ｘに一定ピッチで並ぶ複数の画素からなる画素行を、列方向Ｙに一定のピッチで並べた配置となっている。多数の画素は、撮像用画素３０と位相差検出用画素３１Ｌと位相差検出用画素３１Ｒとを含んでいる。各画素は光を受光して電荷に変換する光電変換部を含む。

撮像用画素３０は、図１に示す撮影レンズ１の異なる瞳領域を通過した一対の光（例えば撮影レンズ１の主軸に対して左側を通過した光と右側を通過した光）の双方を受光する画素である。

位相差検出用画素３１Ｌは、上記一対の光の一方を受光する画素であり、撮像用画素３０と比較すると、光電変換部の開口（ハッチングを付していない領域）が左側に偏心した構成となっている。

位相差検出用画素３１Ｒは、上記一対の光の他方を受光する画素であり、撮像用画素３０と比較すると、光電変換部の開口（ハッチングを付していない領域）が右側に偏心した構成となっている。

なお、位相差検出用画素の構成は上述したものに限らず、よく知られている構成を採用することができる。また、ここでは、位相差検出用画素３１Ｒ及び位相差検出用画素３１Ｌによって、行方向Ｘに位相差を持つ一対の像信号を検出するものとしたが、遮光膜開口の偏心方向を列方向Ｙにして、列方向Ｙに位相差を持つ一対の像信号を検出するようにしてもよい。

各画素に含まれる光電変換部の上方にはカラーフィルタが搭載されており、このカラーフィルタの配列が固体撮像素子３を構成する多数の画素全体でベイヤー配列となっている。

図２では、赤色（Ｒ）光を透過するカラーフィルタが搭載される画素に“Ｒ”を記している。また、緑色（Ｇ）光を透過するカラーフィルタが搭載される画素に“Ｇ”を記している。更に、青色（Ｂ）光を透過するカラーフィルタが搭載される画素に“Ｂ”を記している。カラーフィルタは４色以上としてもよい。

位相差検出用画素３１Ｌは、図２の上から３番目と９番目の画素行において、緑色（Ｇ）光を透過するカラーフィルタが搭載された画素の位置に３画素おきに配置されている。

位相差検出用画素３１Ｒは、図２の上から４番目と１０番目の画素行において、緑色（Ｇ）光を透過するカラーフィルタが搭載された画素の位置に３画素おきに配置されている。

斜め方向に隣接する位相差検出用画素３１Ｌと位相差検出用画素３１Ｒはペアを構成しており、固体撮像素子３には、このペアが複数設けられた構成となっている。

図１に示す焦点検出部１９は、位相差検出用画素３１Ｌ及び位相差検出用画素３１Ｒから読み出される信号群を用いて、撮影レンズ１の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を算出する。

図１に示すシステム制御部１１は、焦点検出部１９によって算出されたデフォーカス量に基づいて、撮像レンズ１に含まれるフォーカスレンズの位置を制御して焦点調節を行う。

焦点調節が行われた状態で撮影指示がなされると、システム制御部１１は、固体撮像素子３により撮像を行わせ、この撮像によって固体撮像素子３から出力される撮像画像信号（各画素から出力される出力信号の集合）がデジタル信号処理部１７に取り込まれる。

そして、デジタル信号処理部１７は、この撮像画像信号に含まれる位相差検出用画素の出力信号を補正し、補正後の撮像画像信号をメインメモリ１６に記録する。更に、デジタル信号処理部１７は、記録した撮像画像信号を画像処理して、撮像画像データを生成する。画像処理には、デモザイク処理、γ補正処理、ホワイトバランス調整処理等が含まれる。

図３は、図１に示すデジタルカメラにおけるデジタル信号処理部１７の機能ブロック図である。

デジタル信号処理部１７は、ゲイン補正処理部１７１と、補間補正処理部１７２と、画像処理部１７３と、を備える。これらは、デジタル信号処理部１７に含まれるプロセッサがプログラムを実行することで形成される機能ブロックである。

ゲイン補正処理部１７１は、撮像画像信号に含まれる補正対象の位相差検出用画素（以下、補正対象画素という）の出力信号を当該出力信号にゲイン値を乗じて補正するゲイン補正処理を行う。

このゲイン値は、固体撮像素子３により撮像を行って得られる撮像画像信号から求めておくことができる。この撮像画像信号は、デジタルカメラの出荷前の調整工程において基準画像を撮像して得たものであってもよいし、ライブビュー画像表示のための撮像によって得たものであってもよい。

例えば、位相差検出用画素が配置される領域を複数のブロックに分割し、このブロック毎に、そのブロックにある緑色を検出する撮像用画素３０の出力信号の平均値ＡｖＳと、そのブロックにある位相差検出用画素３１Ｌの出力信号の平均値ＡｖＬを算出し、ＡｖＳ／ＡｖＬを、当該ブロックにある位相差検出用画素３１Ｌに対応するゲイン値として算出し、メモリに記憶する。

同様に、ブロック毎に、そのブロックにある緑色を検出する撮像用画素３０の出力信号の平均値ＡｖＳと、そのブロックにある位相差検出用画素３１Ｒの出力信号の平均値ＡｖＲを算出し、ＡｖＳ／ＡｖＲを、当該ブロックにある位相差検出用画素３１Ｒに対応するゲイン値として算出し、メモリに記憶する。

そして、ゲイン補正処理部１７１は、補正対象画素に対応するゲイン値をメモリから読み出し、このゲイン値を、当該補正対象画素の出力信号に乗じてゲイン補正処理を行う。

補間補正処理部１７２は、補正対象画素の出力信号を、当該補正対象画素の周囲にある当該補正対象画素と同一色を検出する撮像用画素３０の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理を行う。

この補間補正処理は、最大最小置換処理と、平均化補正処理（演算補正処理）とを含む。

最大最小置換処理は、固体撮像素子３の受光面において、補正対象画素を中心とする所定範囲であって補正対象画素と同一色を検出する複数の撮像用画素３０を含む範囲、における当該撮像用画素３０の出力信号のうちの最小値Ｓｍｉｎと最大値Ｓｍａｘのいずれかの複製データを、補正対象画素の出力信号と置き換える処理である。

以下では、最大最小置換処理のうち、補正対象画素の出力信号を上記Ｓｍｉｎで置き換える処理を最小置換処理といい、補正対象画素の出力信号を上記Ｓmaxで置き換える処理を最大置換処理という。

平均化補正処理は、補正対象画素の出力信号を、上記所定範囲において補正対象画素の周囲にある当該補正対象画素と同一色を検出する複数の撮像用画素３０の出力信号を用いた演算により生成した信号に置き換える処理である。

例えば、上記所定範囲を、位相差検出用画素を中心とする５行×５列＝２５個の画素を含む範囲とした場合、図４に示す真ん中の位相差検出用画素３１Ｌの出力信号を平均化補正処理によって補正する場合は、この位相差検出用画素３１Ｌの周囲にあるＧ色光を検出する１１個の撮像用画素３０の出力信号の平均値を、この位相差検出用画素３１Ｌの出力信号値と置換する。

画像処理部１７３は、補正対象画素毎に、その出力信号をゲイン補正処理部１７１と補間補正処理部１７２のいずれかによって補正し、全ての補正対象画素についての補正を行った後の撮像画像信号をメインメモリ１６に記録する。そして、記録した撮像画像信号を画像処理して撮像画像データを生成し、記録媒体２１に記録する。なお、画像処理部１７３は、全ての補正対象画素の出力信号を補正した後の撮像画像信号をＲＡＷデータとしてそのまま記録媒体２１に記録してもよい。

図５及び図６は、図３に示した画像処理部１７３が任意の補正対象画素の出力信号を補正するときの動作を説明するためのフローチャートである。

固体撮像素子３により画像記録のための撮像が行われると、固体撮像素子３から出力された撮像画像信号がメインメモリ１６に記憶される。撮像画像信号が記憶されると、画像処理部１７３は、固体撮像素子３における任意の補正対象画素を中心とする所定範囲にある全ての画素の出力信号をメインメモリ１６から取得する。この所定範囲は、補正対象画素とそれに近接する補正対象画素と同色を検出する複数個の撮像用画素が含まれる範囲であればよい。

そして、画像処理部１７３は、取得した出力信号のうちの補正対象画素の出力信号を、ゲイン補正処理部１７１によって補正する（ステップＳ１）。このときゲイン補正処理部１７１によって補正して得られた出力信号値をＳｃとする。

次に、画像処理部１７３は、取得した出力信号における補正対象画素と同色を検出する撮像用画素３０の出力信号のうちの最大値と最小値を抽出する。抽出した最大値をＳｍａｘとし、最小値をＳｍｉｎとする。

そして、画像処理部１７３は、Ｓｍｉｎから予め決められた値ａを減算して判定閾値ＴＨ１を生成し、Ｓｍａｘに上記ａを加算して判定閾値ＴＨ２を生成する（ステップＳ２）。

判定閾値ＴＨ１，ＴＨ２は、ステップＳ１で得た信号値Ｓｃの信頼性を判定するための閾値である。上記所定範囲におけるＳｍｉｎとＳｍａｘから、その所定範囲にある被写体のコントラストが分かる。つまり、ステップＳ１で得られる出力信号値がＳｍｉｎからＳｍａｘの間にあれば、その出力信号値は信頼性が高いと判断することができる。

上述したように、ゲイン補正処理で用いるゲイン値は、１つのブロックにある構造が同じの全ての位相差検出用画素に対して共通の値が用いられることが多い。しかし、ブロック内の位相差検出用画素の出力信号にはバラツキがある。このため、ステップＳ１のゲイン補正処理によって得られた信号値は、このバラツキ分、Ｓｍｉｎより小さくなったり、Ｓｍａｘより大きくなったりすることがある。そこで、ゲイン補正処理後の出力信号値における上記バラツキに起因するゲイン値のバラツキを上記ａとして予め求めておく。このａは、固体撮像素子３のノイズ性能等によって決まるものであり、基準画像を撮像するなどして予め求めることができる。

以下、上記ａの求め方について説明する。

まず、基準画像（緑一色や、灰色一色、黒一色などのベタ画像）を撮影して、ブロック内にある各位相差検出用画素３１Ｒの出力信号とその周辺の撮像用画素３１の出力信号の比からブロック毎にゲイン値を求める。

あるブロックについて求めたゲイン値のバラツキａは、以下の式により求まる。

Ｓ１〜Ｓｎは、ブロック内にある位相差検出用画素３１Ｒの出力信号を示し、Ｇはそのブロックについて生成されたゲイン値を示す。

このようなゲイン値のバラツキａの生成処理を、Ｆ値とＩＳＯ感度をそれぞれ変えた場合も同様に行う。例えば、Ｆ２とＦ４のときのバラツキａを生成しておいて、Ｆ３．５のときのバラツキａは内挿で求める。このようにして求めたＩＳＯ感度とＦ値の組み合わせ毎に、バラツキａを記憶したテーブルを作成する。以上のテーブル作成を、位相差検出用画素３１Ｒとは構造の異なる位相差検出用画素３１Ｌについても同様に行う。

画素混合する場合のバラツキａを求めておいてもよい。例えば４画素混合で３画素が撮像用画素３０で１画素が位相差検出用画素３１Ｒの４画素を混合する場合等、画素混合したあとの信号について同様にゲイン値を求め、このゲイン値からバラツキａを求めておく。

そして、画像処理部１７３は、ステップＳ２において、設定されている撮影条件（Ｆ値、ＩＳＯ感度、画素混合駆動）に対応したバラツキａをＳｍａｘに加算して判定閾値ＴＨ２を生成し、バラツキａをＳｍｉｎから減算して判定閾値ＴＨ１を生成する。

基準画像の代わりに、ライブビュー画像用の撮像画像信号でバラツキａを求めてもよい。このときはその実際の撮影条件（Ｆ値など）でのバラツキ値を取れるので撮影条件に対して正確な値を得ることができる。

ここではブロック毎にゲイン値を求める方法を説明したが、位相差検出用画素毎にゲイン値を求めてもよい。この場合は、上記式においてＳｋに乗じるゲイン値Ｇを、そのＳｋの出力元の位相差検出用画素について生成したゲイン値とすればよい。

また、撮影条件毎のバラツキａの値は、被写体の明るさによって調整してもよい。例えば、あるブロック内の被写体画像が明るい場合はフォトショットノイズが増える。フォトショットノイズは突発的に発生するノイズであるので、基準画像から事前に求めたバラツキａには反映されない。そこで、被写体が明るい場合はバラツキａを大きめに設定することで、フォトショットノイズの影響を考慮した判定閾値を生成することができる。なお、ブロック毎に被写体の明るさを判定してブロック毎にバラツキａを調整してもよいし、全てのブロック全体において被写体の明るさを判定し、その明るさによって、全ブロックのバラツキａを一律に調整してもよい。また、バラツキａは、被写体が暗い場合にバラツキａを小さめに設定するようにしてもよい。

以上の説明では、判定閾値ＴＨ２を求めるためにＳｍａｘに加算するバラツキの値と、判定閾値ＴＨ１を求めるためにＳｍｉｎから減算するバラツキの値を同じ値にしたが、これらの値は異なる値としてもよい。

例えば、被写体が全体的に暗くかつ階調を調整しない場合は、黒傷が見えにくくなるため、出力信号値Ｓｃが大きいときの信頼性は多少上がることになる。したがって、このような場合には、判定閾値ＴＨ２を大きくし、判定閾値ＴＨ１はそのままとすればよい。

逆に、被写体が全体的に明るくかつ階調を調整しない場合は、白傷が見えにくくなるため、出力信号値Ｓｃが小さいときの信頼性は多少上がることになる。したがって、このような場合には、判定閾値ＴＨ１を小さくし、判定閾値ＴＨ２はそのままとすればよい。

ステップＳ１で得られる出力信号値ＳｃがＳｍｉｎからＳｍａｘの範囲外にあったとしても、ＳｃがＳｍｉｎからＴＨ１の範囲にあるときや、ＳｃがＳｍａｘからＴＨ２の範囲にあるときは、補正前の出力信号に含まれるノイズによって、補正後の値がＳｍｉｘからＳｍａｘの範囲外になってしまったと考えられる。このため、このような場合には、その出力信号値Ｓｃは信頼性がそれほど低いものではないと判断することができる。

一方で、ＴＨ１＞Ｓｃのときや、Ｓｃ＞ＴＨ２のときは、ゲイン補正処理前の信号値に何らかの異常があった状態や、ゲイン値自体が適当でないと考えられるため、Ｓｃの信頼性は低いと判断することができる。

このようなことから、画像処理部１７３は、ステップＳ２以降は以下のように処理を行う。

まず、ステップＳ３において、画像処理部１７３は、ステップＳ１で求めた信号値Ｓｃと判定閾値ＴＨ１とを比較する。そして、画像処理部１７３は、Ｓｃ＜ＴＨ１であった場合は図６のステップＳ１３の処理を行い、Ｓｃ≧ＴＨ１であった場合はステップＳ４の処理を行う。

ステップＳ４において、画像処理部１７３は、信号値Ｓｃと判定閾値ＴＨ１とＳｍｉｎとを比較し、ＴＨ１≦Ｓｃ＜ＳｍｉｎであればステップＳ７の処理を行い、Ｓｃ≧ＳｍｉｎであればステップＳ５の処理を行う。

ステップＳ５において、画像処理部１７３は、信号値Ｓｃと判定閾値ＴＨ２とを比較する。そして、画像処理部１７３は、Ｓｃ＞ＴＨ２であった場合は図６のステップＳ１３の処理を行い、Ｓｃ≦ＴＨ２であった場合はステップＳ６の処理を行う。

ステップＳ６において、画像処理部１７３は、信号値Ｓｃと判定閾値ＴＨ２とＳｍａｘとを比較し、Ｓｍａｘ＜Ｓｃ≦ＴＨ２であればステップＳ７の処理を行い、Ｓｃ＜ＳｍａｘであればステップＳ９の処理を行う。

ステップＳ７において、画像処理部１７３は、取得した補正対象画素の出力信号を補間補正処理部１７２により最大最小置換処理によって補正させる。ここで、補正対象画素の出力信号は、ＳｍｉｎとＳｍａｘのうちＳｃに近い側の値に置換する。即ち、ＴＨ１≦Ｓｃ＜Ｓｍｉｎであれば補正対象画素の出力信号をＳｍｉｎに置換し、Ｓｍａｘ＜Ｓｃ≦ＴＨ２であれば補正対象画素の出力信号をＳｍａｘに置換する。

ステップＳ７の後、画像処理部１７３は、メインメモリ１６における補正対象画素の出力信号が記憶されている領域に、ステップＳ７で補正後の信号を上書きして記憶する（ステップＳ８）。

ステップＳ４の判定がＹＥＳのときと、ステップＳ６の判定がＹＥＳのときは、Ｓｃの値が、補正対象画素の出力信号に含まれるノイズレベルのバラツキが原因でＳｍｉｎからＳｍａｘの範囲外になっていると判断できる。このため、ステップＳ７とステップＳ８の代わりに、メインメモリ１６における補正対象画素の出力信号が記憶されている領域に、ステップＳ１で補正後の信号を上書きして記憶するステップを設けてもよい。

ステップＳ７とステップＳ８の処理を行う場合には、補正対象画素の出力信号に含まれるノイズの影響を軽減することができるため、画質向上効果をより高めることができる。

ステップＳ６の判定がＮＯのときに行うステップＳ９において、画像処理部１７３は、取得した補正対象画素の出力信号を補間補正処理部１７２により平均化補正処理によって補正させる。この平均化補正処理によって得られる信号値をＳｂとする。

ステップＳ９の後、画像処理部１７３は、ステップＳ１で求めた信号値ＳｃとステップＳ９で求めた信号値Ｓｂとの差分（符合を無視した絶対値）を算出する。

そして、画像処理部１７３は、この差分が閾値ＴＨ３未満であれば、メインメモリ１６における補正対象画素の出力信号が記憶されている領域に、ステップＳ９で得た信号Ｓｂを上書きして記憶する（ステップＳ１１）。

一方、画像処理部１７３は、この差分が閾値ＴＨ３以上であれば、メインメモリ１６における補正対象画素の出力信号が記憶されている領域に、ステップＳ１で得た信号Ｓｃを上書きして記憶する（ステップＳ１２）。

平均化補正処理とゲイン補正処理とで、補正後の信号値に差がない場合は、ゲイン補正処理よりも平均化補正処理を行った方が、補正後の画像を自然なものとすることができる。一方、ステップＳ６の判定がＮＯのときに、平均化補正処理とゲイン補正処理とで、補正後の信号値に大きな差がある場合は、平均化補正処理によって補正を行ってしまうと、画質が劣化する可能性が高い。

したがって、画質劣化が許容できなくなるときのＳｂとＳｃの差分の臨界値を閾値ＴＨ３として予め決めておき、ステップＳ１０の処理を行うことで、画質向上を図ることができる。もちろん、ステップＳ６の判定がＮＯのときに、ステップＳ９，ステップＳ１０の処理を行わずに、ステップＳ１２の処理を行うようにしてもよい。

図６のステップＳ１３において、画像処理部１７３は、上記所定範囲にある撮像用画素３０の出力信号を用いて、この所定範囲によって撮像された被写体のパターンを判定する。例えば、被写体が高周波パターンと低周波パターンのどちらかの判定、被写体にエッジが含まれるか否かの判定等を行う。

続くステップＳ１４において、画像処理部１７３は、ステップＳ１３で判定した被写体のパターンにしたがって、平均化補正処理の信頼性（補正精度）が高いか否かを判定する。

例えば、被写体が高周波パターン、エッジを含むパターン、シャープなパターン等であった場合には、平均化補正処理を行うと、補正後の出力信号値が大きくなりすぎたり、小さくなりすぎたりする可能性が高い。したがって、このようなパターンの場合には、画像処理部１７３は、平均化補正処理の信頼性が低いと判断して、図５のステップＳ７に移行する。

一方、被写体が低周波パターン、エッジを含まないパターン、ぼけているパターン等であった場合には、補正対象画素の出力信号とその周囲の撮像用画素３０の出力信号とのレベル差はあまりないと言えるため、平均化補正処理による信頼性は高いと判断できる。したがって、このようなパターンの場合には、画像処理部１７３は、平均化補正処理の信頼性が高いと判断して、ステップＳ１７の処理を行う。なお、平均化補正処理の信頼性の判定方法は上述したものには限定されない。

ステップＳ１７において、画像処理部１７３は、取得した補正対象画素の出力信号を補間補正処理部１７２により平均化補正処理によって補正させる。そして、画像処理部１７３は、メインメモリ１６における補正対象画素の出力信号が記憶されている領域に、ステップＳ１７で得た補正後の信号値を上書きして記憶する（ステップＳ１８）。

なお、ステップＳ１３とステップＳ１４の処理を省略し、ステップＳ３の判定がＹＥＳのときと、ステップＳ５の判定がＹＥＳのときには、ステップＳ１７に処理を移行するようにしてもよい。このような場合でも、ゲイン補正処理によって補正を行うよりは画質向上を図ることができる。

以上の動作をまとめたのが図７である。Ｓｃの値が図７中の丸印で示すように、ＴＨ２以下かつＳｍａｘより大きい範囲にあるときは最大置換処理によって補正対象画素の出力信号が補正され、補正後の信号値がメインメモリ１６に記憶される。また、Ｓｃの値がＴＨ１以上かつＳｍｉｎ未満の範囲にあるときは最小置換処理によって補正対象画素の出力信号が補正され、補正後の信号値がメインメモリ１６に記憶される。

また、Ｓｃの値が図７中のバツ印で示すように、ＴＨ２より大きい場合や、ＴＨ１より小さい場合は、所定範囲によって撮像される被写体パターンに応じて、最大値間処理又は最小置換処理と、平均化補正処理とのいずれかが選択され、選択された処理によって補正対象画素の出力信号が補正され、補正後の信号値がメインメモリ１６に記憶される。

また、Ｓｃの値が図７中の三角印で示すように、Ｓｍｉｎ以上Ｓｍａｘ以下の範囲にある場合は、平均化補正処理によって得られる信号値Ｓｂと信号値Ｓｃとの差に応じて、ＳｂとＳｃのいずれかがメインメモリ１６に記憶される。

デジタル信号処理部１７は、図６，７に示した動作を、全ての補正対象画素について行うことで、撮像画像信号における位相差検出用画素の出力信号の補正処理を終了する。この状態でメインメモリ１６に記憶されている撮像画像信号が、位相差検出用画素の出力信号の補正後のデータである。

以上のように、図１に示すデジタルカメラによれば、補正対象画素の出力信号をゲイン補正処理によって補正して得られる信号値Ｓｃの大きさに応じて、ゲイン補正処理部１７１と補間補正処理部１７２のどちらで補正した信号値を最終的にメインメモリ１６に記憶するかを決めることができる。

例えば、ＳｃがＴＨ２を超えたり、ＴＨ１を下回ったりした場合には、メインメモリ１６に記憶される補正後の信号値は、ゲイン補正処理によって補正されたものではなくなるため、補正後の信号値の信頼性を高めることができる。

また、図１に示すデジタルカメラによれば、補正対象画素の出力信号をゲイン補正処理によって補正して得られる信号値Ｓｃの大きさに応じて、ゲイン補正処理部１７１と補間補正処理部１７２のどちらで補正した信号値を最終的にメインメモリ１６に記憶するかを決めるため、欠陥画素の座標データをカメラ内に記憶させておく必要がないし、位相差検出用画素が、使用中になんらかの原因で欠陥画素になった場合にも対応することが可能である。

なお、上記所定範囲は、補正対象画素に対して右方向、左方向、上方向、下方向、斜め右上方向、斜め左下方向、斜め右下方向、斜め左上方向のそれぞれに、その補正対象画素と同一色を検出する撮像用画素３０が存在するような範囲を設定しておくのが好ましい。

図８は、図２に示した固体撮像素子３の部分拡大図である。図８において破線で示した９個の画素を含む範囲を上記所定範囲とした場合を考える。この場合、符号８０で示したような暗い被写体が存在すると、補正対象画素３１Ｌの位置における真の信号値は、暗い被写体に対応するものとなる。

しかし、破線の範囲内で平均化補正処理を行って得られる補正対象画素３１Ｌの信号値は、被写体８０のかかっていない撮像用画素３０（補正対象画素３１Ｌの右上、左上、左下にある３つの撮像用画素３０）の出力信号を用いた演算により得られるものになるため、真の信号値に対する誤差が大きくなる。

また、破線の範囲内で最大最小置換処理を行って得られる補正対象画素３１Ｌの信号値は、被写体８０のかかっていない撮像用画素３０の出力信号のいずれかになるため、真の信号値に対する誤差が大きくなる。

したがって、破線の範囲を上記所定範囲とすると、補間補正処理部１７２による補正誤差が大きくなってしまう。このような補正誤差の増大は、上記所定範囲にかかる被写体８０が、所定範囲内において補正対象画素３１Ｌに至るまでに、補正対象画素３１Ｌと同一色を検出する撮像用画素３０の上を通っていないことによって生じる。

そのため、補正対象画素３１Ｌに被写体８０がかかる場合に、その被写体８０が、所定範囲内において補正対象画素３１Ｌと同じ色を検出する撮像用画素３０にもかかる可能性を高くすれば、上記補正誤差の増大を防ぐことが可能である。

例えば、図８において実線で示した２５個の画素を含む範囲を上記所定範囲とした場合は、補正対象画素３１Ｌに対して、右方向、左方向、上方向、下方向、右上方向、左下方向、右下方向、左上方向のどの方向から伸びてくる被写体８０があったとしても、補間補正処理の補正誤差を小さくすることが可能である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。

例えば、位相差検出用画素と撮像用画素を含む固体撮像素子３の画素配列は、図２に示したものに限らず、他の公知の配列を採用することができる。

また、位相差検出用画素の検出色は緑色としたが、検出色を赤色又は青色にした構成であってもよい。また、固体撮像素子５は、モノクロ撮像用の撮像素子としてもよい。つまり、カラーフィルタは省略してもよい。また、カラーフィルタを搭載する場合は、補色系のカラーフィルタ等、撮像素子で使用されるものであればどれでもよい。

デジタル信号処理部１７が行う図５，６に示した各ステップを、コンピュータに実行させるためのプログラムとして提供することもできる。このようなプログラムは、当該プログラムをコンピュータが読取可能な一時的でない（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録される。

このような「コンピュータ読取可能な記録媒体」は、たとえば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）等の光学媒体や、メモリカード等の磁気記録媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。

次に、撮像装置としてスマートフォンの構成について説明する。

図９は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図９に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１０は、図９に示すスマートフォン２００の構成を示すブロック図である。図１０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図９に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図９に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図９に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、デジタル信号処理部１７が上述した信号補正処理を行うことで、高品質の撮影が可能になる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された画像処理装置は、複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理する画像処理装置であって、上記撮像画像信号に含まれる上記位相差検出用画素の出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、上記撮像画像信号に含まれる上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、上記撮像画像信号に含まれる複数の上記位相差検出用画素の出力信号の各々を、上記ゲイン補正処理部と上記補間補正処理部のいずれかによって補正し、上記補正後の上記撮像画像信号を記録媒体に記録する画像処理部と、を備え、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む範囲におけるその撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、上記補正対象の位相差検出用画素の出力信号を上記ゲイン補正処理部によって補正して得られる信号値をＳｃとしたとき、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、上記画像処理部は、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理部によって補正して得た信号を上記記録媒体に記録し、上記第一の値と上記第二の値は、上記補正対象画素の出力信号値と上記ゲイン値とに基づく値である。

開示された画像処理装置は、上記範囲が、上記補正対象の位相差検出用画素と同一色を検出する上記撮像用画素が、上記補正対象の位相差検出用画素から見て右方向、左方向、上方向、下方向、斜め右上方向、斜め左下方向、斜め左上方向、及び斜め右下方向の各々に少なくとも１つ配置されている範囲であるものを含む。

開示された画像処理装置は、上記補間補正処理が、上記位相差検出用画素の出力信号を上記範囲におけるＳｍｉｎ又はＳｍａｘに置き換える最大最小置換処理と、上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する複数の上記撮像用画素の出力信号を用いた演算により生成した信号に置き換える演算置換処理とを含み、ＴＨ１≦Ｓｃ＜Ｓｍｉｎ、又は、Ｓｍａｘ＜Ｓｃ≦ＴＨ２である場合に、上記画像処理部は、上記補正対象の位相差検出用画素の出力信号を上記最大最小置換処理によって補正して得た信号を上記記録媒体に記録するものである。

開示された画像処理装置は、上記補間補正処理が、上記位相差検出用画素の出力信号を上記範囲におけるＳｍｉｎ又はＳｍａｘに置き換える最大最小置換処理と、上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する複数の上記撮像用画素の出力信号を用いた演算により生成した信号に置き換える演算置換処理とを含み、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、上記画像処理部は、上記範囲内の被写体に応じて上記最大最小置換処理と上記演算置換処理のいずれかを選択し、上記補正対象の位相差検出用画素の出力信号を上記選択した処理にて補正して得た信号を上記記録媒体に記録するものである。

開示された画像処理装置は、上記補間補正処理が、上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する複数の上記撮像用画素の出力信号を用いた演算により生成した信号に置き換える演算置換処理を含み、Ｓｍｉｎ≦Ｓｃ≦Ｓｍａｘである場合、上記画像処理部は、上記演算置換処理によって得られる出力信号値とＳｃとの差が閾値以下であれば、上記補正対象の位相差検出用画素の出力信号を上記演算置換処理によって補正して得た信号を上記記録媒体に記録するものである。

開示された撮像装置は、上記画像処理装置と、上記撮像素子と、を備えるものである。

開示された画像処理方法は、複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理する画像処理方法であって、上記撮像素子によって撮像して得られる撮像画像信号に含まれる上記位相差検出用画素の出力信号を、その出力信号にゲイン値を乗じて補正するゲイン補正処理と、その位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正し、上記補正後の上記撮像画像信号を記録媒体に記録する画像処理ステップを備え、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む範囲におけるその撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、上記補正対象の位相差検出用画素の出力信号を上記ゲイン補正処理によって補正して得られる信号値をＳｃとしたとき、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、上記画像処理ステップでは、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理によって補正して得た信号を上記記録媒体に記録し、上記第一の値と上記第二の値は、上記補正対象画素の出力信号値と上記ゲイン値とに基づく値である。

開示された画像処理プログラムは、複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理するための画像処理プログラムであって、上記撮像素子によって撮像して得られる撮像画像信号に含まれる上記位相差検出用画素の出力信号を、その出力信号にゲイン値を乗じて補正するゲイン補正処理と、その位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正し、上記補正後の上記撮像画像信号を記録媒体に記録する画像処理ステップをコンピュータに実行させるためのプログラムであり、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む範囲におけるその撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、上記補正対象の位相差検出用画素の出力信号を上記ゲイン補正処理によって補正して得られる信号値をＳｃとしたとき、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、上記画像処理ステップでは、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理によって補正して得た信号を上記記録媒体に記録し、上記第一の値と上記第二の値は、上記補正対象画素の出力信号値と上記ゲイン値とに基づく値である。

開示された画像処理装置は、複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理する画像処理装置であって、上記撮像素子によって撮像して得られる撮像画像信号に含まれる上記位相差検出用画素の出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、上記撮像画像信号に含まれる上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、上記複数の位相差検出用画素の各々の出力信号を、上記ゲイン補正処理部と上記補間補正処理部のいずれかによって補正し、上記補正後の上記撮像画像信号を記録媒体に記録する画像処理部と、を備え、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む範囲におけるその撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、上記補正対象の位相差検出用画素の出力信号を上記ゲイン補正処理によって補正して得られる信号値をＳｃとしたとき、ＴＨ１≦Ｓｃ＜Ｓｍｉｎ、又は、Ｓｍａｘ＜Ｓｃ≦ＴＨ２である場合に、上記画像処理部は、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理部によって補正して得た信号を上記記録媒体に記録し、上記第一の値と上記第二の値は、上記補正対象画素の出力信号値と上記ゲイン値とに基づく値であり、上記補間補正処理部が行う上記補間補正処理は、上記位相差検出用画素の出力信号を上記範囲におけるＳｍｉｎ又はＳｍａｘに置き換える処理である。

本発明は、特にデジタルカメラ等に適用して利便性が高く、有効である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１２年１２月１８日出願の日本特許出願（特願２０１２−２７５９４４）に基づくものであり、その内容はここに取り込まれる。

３ 固体撮像素子
１６ メインメモリ
１７ デジタル信号処理部
３０ 撮像用画素
３１Ｒ，３１Ｌ 位相差検出用画素
１７１ ゲイン補正処理部
１７２ 補間補正処理部
１７３ 画像処理部

Claims (9)

1. 複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理する画像処理装置であって、
   前記撮像画像信号に含まれる前記位相差検出用画素の出力信号を当該出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、
   前記撮像画像信号に含まれる前記位相差検出用画素の出力信号を当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、
   前記撮像画像信号に含まれる複数の前記位相差検出用画素の出力信号の各々を、前記ゲイン補正処理部と前記補間補正処理部のいずれかによって補正し、前記補正後の前記撮像画像信号を記録媒体に記録する画像処理部と、を備え、
   補正対象の前記位相差検出用画素とその周囲にある前記補正対象の位相差検出用画素と同一色を検出する複数の前記撮像用画素を含む範囲における当該撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、前記補正対象の位相差検出用画素の出力信号を前記ゲイン補正処理部によって補正して得られる信号値をＳｃとしたとき、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、前記画像処理部は、前記補正対象の位相差検出用画素の出力信号を前記補間補正処理部によって補正して得た信号を前記記録媒体に記録し、
   前記第一の値と前記第二の値は、前記補正対象の位相差検出用画素の出力信号値と前記ゲイン値とに基づく値である画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記範囲は、前記補正対象の位相差検出用画素と同一色を検出する前記撮像用画素が、前記補正対象の位相差検出用画素から見て右方向、左方向、上方向、下方向、斜め右上方向、斜め左下方向、斜め左上方向、及び斜め右下方向の各々に少なくとも１つ配置されている範囲である画像処理装置。
3. 請求項１又は２記載の画像処理装置であって、
   前記補間補正処理は、前記位相差検出用画素の出力信号を前記範囲におけるＳｍｉｎ又はＳｍａｘに置き換える最大最小置換処理と、前記位相差検出用画素の出力信号を当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する複数の前記撮像用画素の出力信号を用いた演算により生成した信号に置き換える演算置換処理とを含み、
   ＴＨ１≦Ｓｃ＜Ｓｍｉｎ、又は、Ｓｍａｘ＜Ｓｃ≦ＴＨ２である場合に、前記画像処理部は、前記補正対象の位相差検出用画素の出力信号を前記最大最小置換処理によって補正して得た信号を前記記録媒体に記録する画像処理装置。
4. 請求項１又は２記載の画像処理装置であって、
   前記補間補正処理は、前記位相差検出用画素の出力信号を前記範囲におけるＳｍｉｎ又はＳｍａｘに置き換える最大最小置換処理と、前記位相差検出用画素の出力信号を当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する複数の前記撮像用画素の出力信号を用いた演算により生成した信号に置き換える演算置換処理とを含み、
   Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、前記画像処理部は、前記範囲内の被写体に応じて前記最大最小置換処理と前記演算置換処理のいずれかを選択し、前記補正対象の位相差検出用画素の出力信号を前記選択した処理にて補正して得た信号を前記記録媒体に記録する画像処理装置。
5. 請求項１又は２記載の画像処理装置であって、
   前記補間補正処理は、前記位相差検出用画素の出力信号を当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する複数の前記撮像用画素の出力信号を用いた演算により生成した信号に置き換える演算置換処理を含み、
   Ｓｍｉｎ≦Ｓｃ≦Ｓｍａｘである場合、前記画像処理部は、前記演算置換処理によって得られる出力信号値とＳｃとの差が閾値以下であれば、前記補正対象の位相差検出用画素の出力信号を前記演算置換処理によって補正して得た信号を前記記録媒体に記録する画像処理装置。
6. 請求項１から５のいずれか１項記載の画像処理装置と、
   前記撮像素子と、を備える撮像装置。
7. 複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理する画像処理方法であって、
   前記撮像素子によって撮像して得られる撮像画像信号に含まれる前記位相差検出用画素の出力信号を、当該出力信号にゲイン値を乗じて補正するゲイン補正処理と、当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正し、前記補正後の前記撮像画像信号を記録媒体に記録する画像処理ステップを備え、
   補正対象の前記位相差検出用画素とその周囲にある前記補正対象の位相差検出用画素と同一色を検出する複数の前記撮像用画素を含む範囲における当該撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、前記補正対象の位相差検出用画素の出力信号を前記ゲイン補正処理によって補正して得られる信号値をＳｃとしたとき、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、前記画像処理ステップでは、前記補正対象の位相差検出用画素の出力信号を前記補間補正処理によって補正して得た信号を前記記録媒体に記録し、
   前記第一の値と前記第二の値は、前記補正対象の位相差検出用画素の出力信号値と前記ゲイン値とに基づく値である画像処理方法。
8. 複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理するための画像処理プログラムであって、
   前記撮像素子によって撮像して得られる撮像画像信号に含まれる前記位相差検出用画素の出力信号を、当該出力信号にゲイン値を乗じて補正するゲイン補正処理と、当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正し、前記補正後の前記撮像画像信号を記録媒体に記録する画像処理ステップをコンピュータに実行させるためのプログラムであり、
   補正対象の前記位相差検出用画素とその周囲にある前記補正対象の位相差検出用画素と同一色を検出する複数の前記撮像用画素を含む範囲における当該撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、前記補正対象の位相差検出用画素の出力信号を前記ゲイン補正処理によって補正して得られる信号値をＳｃとしたとき、Ｓｃ＜ＴＨ１、又は、Ｓｃ＞ＴＨ２である場合に、前記画像処理ステップでは、前記補正対象の位相差検出用画素の出力信号を前記補間補正処理によって補正して得た信号を前記記録媒体に記録し、
   前記第一の値と前記第二の値は、前記補正対象の位相差検出用画素の出力信号値と前記ゲイン値とに基づく値である画像処理プログラム。
9. 複数の撮像用画素及び複数の位相差検出用画素を含む撮像素子から出力される撮像画像信号を処理する画像処理装置であって、
   前記撮像素子によって撮像して得られる撮像画像信号に含まれる前記位相差検出用画素の出力信号を当該出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、
   前記撮像画像信号に含まれる前記位相差検出用画素の出力信号を当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号に基づいて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、
   前記複数の位相差検出用画素の各々の出力信号を、前記ゲイン補正処理部と前記補間補正処理部のいずれかによって補正し、前記補正後の前記撮像画像信号を記録媒体に記録する画像処理部と、を備え、
   補正対象の前記位相差検出用画素とその周囲にある前記補正対象の位相差検出用画素と同一色を検出する複数の前記撮像用画素を含む範囲における当該撮像用画素の出力信号のうちの最小値をＳｍｉｎ、最大値をＳｍａｘ、Ｓｍｉｎから第一の値を減算して得られる値をＴＨ１、Ｓｍａｘに第二の値を加算して得られる値をＴＨ２、前記補正対象の位相差検出用画素の出力信号を前記ゲイン補正処理によって補正して得られる信号値をＳｃとしたとき、ＴＨ１≦Ｓｃ＜Ｓｍｉｎ、又は、Ｓｍａｘ＜Ｓｃ≦ＴＨ２である場合に、前記画像処理部は、前記補正対象の位相差検出用画素の出力信号を前記補間補正処理部によって補正して得た信号を前記記録媒体に記録し、
   前記第一の値と前記第二の値は、前記補正対象の位相差検出用画素の出力信号値と前記ゲイン値とに基づく値であり、
   前記補間補正処理部が行う前記補間補正処理は、前記位相差検出用画素の出力信号を前記範囲におけるＳｍｉｎ又はＳｍａｘに置き換える処理である画像処理装置。

Images