JP2013021481A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】３次元画像表示に適用する画像の生成に利用する２次元画像の補間処理を行う構成を提供する。
【解決手段】各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、第１偏光領域の透過光のみを透過させる第３偏光領域と、第２偏光領域の透過光のみを透過させる第４偏光領域と、第１、第２偏光領域の全透過光を透過させる全透過領域からなる第２偏光手段と、撮像素子と、撮像素子の出力信号に対する信号処理を実行する画像処理部を有する。画像処理部は、撮像素子からの入力画像に対して、反射光の有無や勾配情報を適用した補正処理を実行して２次元画像を生成し、さらに第３偏光領域と第４偏光領域の各透過光に基づいて生成する視差情報を適用して２次元画像の画像変換を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する。
【選択図】図９

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成処理等を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用画像と右眼用画像の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。

撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼用画像と、
右側の撮像装置で撮像し、右眼で観察する右眼用画像と、
のペア画像によって構成される。

左眼用画像と右眼用画像のペアによって構成されるステレオ画像対を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

しかし、これらの２つの異なる視点からの画像を撮影するために、２つのカメラを用いて撮影する場合、２台のカメラの精密な同期制御を必要とし、非常に困難であるし、輻輳角の正確な制御もまた、非常に困難である。

立体撮影を行うためのレンズ系の調整を容易にするために、互いに直交関係となるように偏光させる偏光フィルタを組み合わせることによって、光学系を共通化させる立体撮影装置が、例えば特許文献１（特公平６−０５４９９１号公報）に開示されている。

また、２つのレンズと１つの撮像手段から構成された撮像装置で立体撮影を行う方式について、例えば、特許文献２（特開２００４−３０９８６８号公報）に開示がある。この特許文献２に開示された撮像装置は、ＣＣＤの撮像面に対して所定距離だけ離れた位置に、人間の視差に応じた間隔だけ離間して、（ａ）レンズと水平成分偏光フィルタの組み合わせ構成と、（ｂ）レンズと垂直成分偏光フィルタの組み合わせ構成をそれぞれ設定して、これら（ａ），（ｂ）の２つの組み合わせ構成の各々を利用して左眼画像と右眼画像を取得する構成である。

特公平６−０５４９９１号公報 特開２００４−３０９８６８号公報

ところで、上記の特許文献１（特公平６−０５４９９１号公報）に開示された技術にあっては、２つの偏光フィルタの出力を重ねて光路を一系統とすることによって、レンズ系を共通化させている。
しかしながら、後段で右眼用画像及び左眼用画像を抽出するために更に偏光フィルタを設け、光路自体を再度分けて別々の偏光フィルタに入光させなければならず、レンズ系において光の損失が発生し、また、装置の小型化が困難であるなどの問題がある。

また、上記の特許文献２（特開２００４−３０９８６８号公報）に開示された技術にあっては、レンズおよび偏光フィルタの組合せを２組、必要とし、装置の複雑化、大型化が免れない。

本開示は、例えば上記の問題に鑑みてなされたものであり、１台の撮像装置によって撮影される画像に対する処理を実行して立体画像として観察可能な画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
例えば、３次元画像表示に適用する画像の生成に利用される２次元画像の補間処理を実行する構成を有する画像処理装置、および画像処理方法、並びにプログラムを提供する。

本開示の第１の側面は、
各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
前記第２偏光手段の透過光を入力する撮像素子と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記画像処理部は、
前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、
前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正部と、
前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記第２偏光手段の第３偏光領域と第４偏光領域に対応する画素である偏光領域画素（ＰＬ画素）と偏光領域画素隣接画素（ＰＬ画素隣接画素）の輝度を、前記全透過領域に対応する全透過領域画素（Ｎ画素）の輝度に合わせる輝度補正を実行する輝度補正部と、偏光領域画素（ＰＬ画素）単位で各画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する反射検出部と、偏光領域画素（ＰＬ画素）単位で近傍画素の複数方向の画素値変化率に対応する勾配情報を生成する勾配検出部と、前記反射情報と前記勾配情報に応じて参照画素を選択して、選択参照画素の画素値を適用して、前記偏光領域画素（ＰＬ画素）の画素値補間処理を実行する補間処理部を有する。

さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、補間処理対象となる非偏光領域画素（Ｎ画素）の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある画素を参照画素とした補間処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、補間処理対象となる非偏光領域画素（Ｎ画素）の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある非偏光領域画素（Ｎ画素）を参照画素とした補間処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、補間処理対象となる偏光領域画素（ＰＬ画素）の反射情報が反射ありを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素（Ｎ画素）を参照画素として選択し、選択した参照画素を適用した補間処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、補間処理対象となる偏光領域画素（ＰＬ画素）の反射情報が反射なしを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素（Ｎ画素）または偏光領域画素（ＰＬ画素）を参照画素として選択し、選択した参照画素を適用した補間処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、前記第１偏光手段を光路上から外して撮影した２Ｄモードの撮影画像に対する補間処理に際して、補間処理対象となる偏光領域画素（ＰＬ画素）の反射情報が反射なしを示している場合には、偏光領域画素（ＰＬ画素）の補間処理を行うことなく前記輝度補正部における輝度補正が施された画素値を出力する。

さらに、本開示の画像処理装置の一実施態様において、前記輝度補正部は、輝度補正対象となる偏光領域画素（ＰＬ画素）または偏光領域画素隣接画素（ＰＬ画素隣接画素）の近傍にある全透過領域画素（Ｎ画素）との輝度比率に対応するゲインを算出し、輝度補正対象画素に対して算出ゲインを乗じて輝度補正を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記反射検出部は、前記第２偏光手段の前記第３偏光領域の位置に対応する撮像素子の画素値と、前記第２偏光手段の前記第４偏光領域の位置に対応する撮像素子の画素値との差分を検出して、該差分に基づいて偏光領域画素（ＰＬ画素）の画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記撮像素子からの出力画像を構成する画素単位で、画素属性を示すインデックスを設定し、該インデックスに応じて処理を決定する。

さらに、本開示の画像処理装置の一実施態様において、前記インデックスは、画素位置を示す座標属性と、視点位置を示す視点属性と、画素色を示す色属性を含む。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
前記第２偏光手段の透過光を入力する撮像素子と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記画像処理部が、
前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出処理と、
前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正処理と、
前記視差検出処理において生成した視差情報を適用して、前記画像補正処理において生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成処理を実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
前記第２偏光手段の透過光を入力する撮像素子と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出処理と、
前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正処理と、
前記視差検出処理において生成した視差情報を適用して、前記画像補正処理において生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、３次元画像表示に適用する画像の生成に利用する２次元画像の補間処理を行う構成が提供される。
一例として本開示の画像処理装置は、各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、第１偏光領域の透過光のみを透過させる第３偏光領域と、第２偏光領域の透過光のみを透過させる第４偏光領域と、第１、第２偏光領域の全透過光を透過させる全透過領域からなる第２偏光手段と、撮像素子と、撮像素子の出力信号に対する信号処理を実行する画像処理部を有する。本構成において、画像処理部は、撮像素子からの入力画像に対して、反射光の有無や勾配情報を適用した補正処理を実行して２次元画像を生成し、さらに第３偏光領域と第４偏光領域の各透過光に基づいて生成する視差情報を適用して２次元画像の画像変換を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する。
本構成により、反射光や勾配情報を考慮した補間処理によってエラーの少ない２次元画像の生成が可能となり、高品質な２次元画像をベースとした２Ｄ３Ｄ変換処理によって、より高精度な３次元画像表示ようの左眼用画像と右眼用画像を生成することが可能となる。

本開示の画像処理装置の全体構成について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 第２偏光部の構成例について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 本開示の画像処理装置の画像処理部の構成例について説明する図である。 偏光画素補間処理部の処理例について説明する図である。 撮像装置における２Ｄモードと３Ｄモードとの切り替え構成について説明する図である。 本開示の画像処理装置の画像処理部の構成例について説明する図である。 本開示の画像処理装置の画像処理部の画像補正部の構成例について説明する図である。 画像補正部の実行する処理のシーケンスの一例について説明するフローチャートを示す図である。 画像補正部１００の入力する画像（Ｒａｗ画像）の例と画像の各画素の属性を判別するためのインデックスの設定例を示す図である。 画素属性を示すインデックスの構成について説明する図である。 Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］と、Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］の各インデックスの設定例を説明する図である。 輝度補正部の実行する輝度補正処理の具体例について説明する図である。 勾配検出部の実行する勾配検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 画像補正部の実行する処理のシーケンスの一例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理としての横方向補間処理の具体例について説明する図である。 画像補正部の実行する処理のシーケンスの一例について説明するフローチャートを示す図である。 輝度補正部の実行する輝度補正処理の具体例について説明するフローチャートを示す図である。 輝度補正部の実行する輝度補正処理の具体例について説明する図である。 画像補正部１００の入力する画像（Ｒａｗ画像）の例と画像の各画素の属性を判別するためのインデックスの設定例を示す図である。 画素属性を示すインデックスの構成について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の基本構成と処理例について
２．補間処理の具体的処理例について
２−（１）．２Ｄ画像撮影モードでの撮影画像に対する補間処理例
２−（２）．３Ｄ画像撮影モードでの撮影画像に対する補間処理例１
２−（３）．３Ｄ画像撮影モードでの撮影画像に対する補間処理例２
２−（４）．３Ｄ画像撮影モードでの撮影画像に対する補間処理例３
３．本開示の構成のまとめ

［１．本開示の画像処理装置の基本構成と処理例について］
まず、本開示の画像処理装置の基本構成と処理例について説明する。
図１は、画像処理装置の一例である撮像装置の構成を示している。

図１（Ａ）に示す撮像装置１０の撮影レンズ１１を介して撮影被写体に対応する入射光が入力する。
撮影レンズ１１を介した入射光は、第１偏光部１２、絞り１３、結像レンズ１４、第２偏光部１５を介して撮像素子１６に入力される。

なお、図１（Ａ）は、撮像装置（カメラ）１０を上から見た図、すなわち上面図である。図１（Ａ）の左下に撮像装置１０と撮影者２０の概略図と、ＸＹＺ座標軸を示しているように、図１（Ａ）の撮像装置の構成図は、撮像装置（カメラ）１０を上から見た図である。
図１（Ａ）の中央付近に示す点線縦ライン（Ｘ軸）に示すように、図１（Ａ）の上側が撮影者から見て右（Ｒ）側であり、図１（Ａ）の下側が撮影者から見て左（Ｌ）側となる。

撮像素子１６は、例えばＣＣＤ、ＣＭＯＳ等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部１７に出力する。
画像処理部１７では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部１８に格納する。
画像処理部１７の構成と処理の詳細については後述する。

図１（Ａ）に示す構成において、第１偏光部１２は、図１（Ｂ）に示す構成を有し、第２偏光部１５は、図１（Ｃ）に示す構成を有する。
第１偏光部１２は、図１（Ｂ）に示すように、左右に２分割されており、
左半分の領域に垂直偏光領域１２Ｖ、
右半分の領域に水平偏光領域１２Ｈ、
これらの異なる偏光領域が構成されている。なお、これらの偏光領域は例えば偏光フィルタを用いて構成される。

垂直偏光領域１２Ｖは、垂直方向の偏波光のみを通過させ、垂直偏光領域１２Ｖを通過した光は、垂直方向の偏波光となる。
水平偏光領域１２Ｈは、水平方向の偏波光のみを通過させ、水平偏光領域１２Ｈを通過した光は、水平方向の偏波光となる。

図１（Ｂ）に示す重心点３１は、垂直偏光領域１２Ｖの重心位置である。この垂直偏光領域１２Ｖの透過光は、重心点３１を視点として観察した画像に相当する。
同様に、図１（Ｂ）に示す重心点３２は、水平偏光領域１２Ｈの重心位置である。この水平偏光領域１２Ｈの透過光は、重心点３２を視点として観察した画像に相当する。
すなわち、
垂直偏光領域１２Ｖの重心位置である重心点３１を視点として観察した画像は、左眼からの観察画像である左眼視点画像（Ｌ画像）に対応し、
水平偏光領域１２Ｈの重心位置である重心点３２を視点として観察した画像は、右眼からの観察画像である右眼視点画像（Ｒ画像）に対応する。
このように、第１偏光部１２を透過する画像は、左右の２つの異なる視点画像を、それぞれ垂直偏波光と水平偏波光として透過させることになる。

この２つの異なる視点画像、すなわち、
左眼用画像に相当するＬ画像（垂直偏波光）、
右眼用画像に相当するＲ画像（水平偏波光）、
これらの光は、結像レンズ１４を介して、第２偏光部１５に到達する。
なお、以下の説明において、「右眼用画像」は「右眼画像」、「左眼用画像」は「左眼画像」と簡略化して表記する。

第２偏光部１５は図１（Ｃ）に示す構成を持つ。
第２偏光部１５は、図１（Ｃ）に示すように、
水平偏光領域１５Ｈ、
垂直偏光領域１５Ｖ、
全透過（非偏光）領域１５Ａ、
これらの３種類の領域を上から順に繰り返し設定した構成を有する。

水平偏光領域１５Ｈは、水平方向の偏波光を選択的に透過して撮像素子１６に水平偏波光のみを結像させる。
垂直偏光領域１５Ｖは、垂直方向の偏波光を選択的に透過して撮像素子１６に垂直偏波光のみを結像させる。
全透過（非偏光）領域１５Ａは、水平方向の偏波光も垂直方向の偏波光もすべて透過し、すべつの入射光を撮像素子１６に結像させる。

なお、第２偏光部１５に設定される各偏光領域は、例えばワイヤグリッド偏光子を用いて構成される。微細なワイヤ（例えばＡｌ（アルミ）線）を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。

図２に、第２偏光部１５と、第２偏光部１５の透過光を受光する撮像素子１６を重ねた図を示す。
撮像素子１６は、ＲＧＢ配列（ベイヤー配列）を有する撮像素子を例として示している。

図２に示す構成例は、
第２偏光部１５に設定される垂直偏光領域１５Ｖと、水平偏光領域１５Ｈは、撮像素子の２ライン単位で隣接して設定され、全透過（非偏光）領域１５Ａは１２ライン単位で設定した例である。すなわち、
（ａ）２ラインの垂直偏光領域１５Ｖ、
（ｂ）２ラインの水平偏光領域１５Ｈ、
（ｃ）１２ラインの全透過（非偏光）領域１５Ｖ、
これら（ａ）〜（ｃ）の３種類の領域が、撮像素子１６の縦方向（Ｙ方向）に繰り返し設定される。

水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
垂直偏光領域１５Ｖは、垂直方向の偏波光、すなわち、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）のみを選択的に透過して撮像素子１６に左眼画像（Ｌ画像）を結像させる。
全透過（非偏光）領域１５Ａは、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）と、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）との両画像を透過させる。この画像は、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない通常の単眼カメラで撮影した通常画像と同様の画像となる。

図２に示す構成例は、第２偏光部１５の一構成例であり、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈは、撮像素子の２ライン単位で隣接して設定され、全透過（非偏光）領域１５Ａは１２ライン単位で設定した例である。
第２偏光部１５の構成としては、この他にも様々な構成が可能である。
例えば図３に示すように、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈをそれぞれ矩形領域に設定し、これらを交互に配置した構成も設定可能である。
図４は、図３に示す第２偏光部とＲＧＢ配列の撮像素子１６を重ねて示した図である。

図４に示す例は、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している２行の領域、
１４行の全透過（非偏光）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

本構成においては、
２×２の４画素からなる矩形領域からなる水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
２×２の４画素からなる矩形領域からなる垂直偏光領域１５Ｖは、垂直方向の偏波光、すなわち、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）のみを選択的に透過して撮像素子１６に左眼画像（Ｌ画像）を結像させる。
全透過（非偏光）領域１５Ａは、（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）と、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）との両画像を透過させる。この画像は、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない中心点３３から観察した通常画像と同様の画像となる。

図５は、図１に示す画像処理部１７の詳細構成を説明する図である。
撮像素子１６は、図２〜図４を参照して説明したように、
（ａ）垂直偏光領域、
（ｂ）水平偏光領域、
（ｃ）全透過（非偏光）領域、
これらの３種類の領域に区分され、それぞれの領域対応の信号を画像処理部１７に入力する。
なお、以下の説明において、
撮像素子１６における（ａ）垂直偏光領域と（ｂ）水平偏光領域に対応する画素を、
ＰＬ（Ｐｏｌａｒｉｚｅｄ（＝偏光））画素と呼ぶ。
（ｃ）全透過（非偏光）領域に対応する画素を、
Ｎ（Ｎｏｎ−ｐｏｌａｒｉｚｅｄ（非偏光））画素と呼ぶ。

撮像素子１６の出力は、
ＰＬ画素出力（＝垂直偏光領域と水平偏光領域対応画素の出力）、
Ｎ画素出力（＝全透過（非偏光）領域対応画素の出力）
これらの出力によって構成される。

ここでは、図３、図４を参照して説明した第２偏光部１５と撮像素子１６の組み合わせ構成を持つ撮像素子１６からＰＬ画素出力とＮ画素出力を画像処理部１７に出力した場合の処理例について説明する。
すなわち、撮像素子１６は、図４を参照して説明したように、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域と、１４行の全透過（非偏光）領域１５Ａ、
これらが縦方向（Ｙ方向）に繰り返して配置された構成を持つ。

図５に示す撮像素子１６から出力される画素信号は、画像処理部１７の偏光画素分離部５１において、
偏光領域画素（ＰＬ画素）と、
非偏光領域画素（Ｎ画素）と、
これらの各領域の画素出力の分離処理が実行される。

偏光画素分離部５１の分離処理によって分離されたＮ画素信号（非偏光画素信号）６１は、画像補正部５２に入力される。
画像補正部５２は、Ｎ画素信号（非偏光画素信号）６１から欠落した画素領域、すなわち、ＰＬ画素領域の画素についての画素補間処理を実行する。具体的には、例えば、ＰＬ画素領域の画素値を、上下のＮ画素の画素値を参照して算出して設定する補間処理を実行する。

この画素補間処理によって、画素値の欠落している全てのＰＬ画素領域の画素値を設定して、入力画像と同等の画素数を持つ補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。補間画像（２Ｄ−Ｒａｗ画像）６２は各画素にＲＧＢのいずれかの画素値の設定された画像である。

画像補正部５２の生成する補間画像（２Ｄ−Ｒａｗ画像）６２は、撮像素子１６の構成画素の全ての画素にＮ画素信号（非偏光画素信号）が設定された画像となる。この画像は、図１（Ｂ）に示す第１偏光部１２の中心点３３から観察した画像に相当する１枚の２Ｄ（２次元）Ｒａｗ画像である。

画像補正部５２の生成した補間画像（２Ｄ−Ｒａｗ画像）６２は、デモザイク処理部５３に入力される。
デモザイク処理部５３は、補間画像（２Ｄ−Ｒａｗ画像）６２に対するデモザイク処理、およびその他のカメラ信号処理を行い、通常の２次元画像に変換する。
デモザイク処理は、全ての画素位置に全ての色信号、例えばＲＧＢの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。
デモザイク処理部５３の生成した２Ｄ−ＲＧＢ画像６３は、視差画像生成部５６に入力される。

一方、偏光画素分離部５１の分離処理によって生成されるもう１つの分離信号であるＰＬ画素信号（偏光画素信号）６５は、非偏光領域画素（Ｎ画素）の画素値を持たない、偏光領域画素（ＰＬ画素）の画素値のみからなる画像信号となる。
このＰＬ画素信号（偏光画素信号）６５は、偏光画素補間処理部５４に入力される。

ここで説明する処理例は、図４を参照して説明した２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域と、１４行の全透過（非偏光）領域１５Ａ、これらが縦方向（Ｙ方向）に繰り返して配置された構成である。
従って、偏光画素分離部５１の分離処理によって生成されるＰＬ画素信号（偏光画素信号）６５は、２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域が、縦方向に１４行おきに設定された画像となる。

偏光画素補間処理部５４は、２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域のみを処理対象として選択し、これらのＰＬ画素領域について図６に示す処理を実行する。

すなわち、偏光画素補間処理部５４は、
ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域について、
すべてを垂直偏光領域１５Ｖに対応する画素値を設定した左眼画像信号（垂直偏光画像信号）６６ａ、
すべてを水平偏光領域１５Ｈに対応する画素値を設定した右眼画像信号（水平偏光画像信号）６６ｂ、
これらの各画像を生成する。

なお、図６に示す左眼画像信号（垂直偏光画像信号）６６ａは、ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域の水平偏光画素領域の画素値をリセット（取り除き）、近傍の垂直偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。
同様に、図６に示す右眼画像信号（水平偏光画像信号）６６ｂは、ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域の垂直偏光画素領域の画素値をリセット（取り除き）、近傍の水平偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。

この結果、左眼画像信号（垂直偏光画像信号）６６ａに含まれる画素値の設定された画像は、図１（Ｂ）に示す第１偏光部１２の左側の重心点３１から見た画像、すなわち左眼画像に対応する画像となる。
同様に、右眼画像信号（水平偏光画像信号）６６ｂに含まれる画素値の設定された画像は、図１（Ｂ）に示す第１偏光部１２の右側の重心点３２から見た画像、すなわち右眼画像に対応する画像となる。

このように、偏光画素補間処理部５４は、ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域について、左眼画像、右眼画像のそれぞれ水平方向に欠落している情報を補間して入力画像と同等の水平画素数を持つ、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
を生成する。
偏光画素補間処理部５４の生成したこれらの画像は、視差検出部５５に入力される。

視差検出部５５は、水平画素数が入力画像と同等の画素数を有する図６に示す、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
これらの２つの画像に対して、例えばブロックマッチング処理等を用いて、対応画素を比較し、被写体ずれ量を求めることにより視差情報としての被写体距離を検出する。
すなわち、例えばブロックマッチング処理によって、左眼画像と右眼画像の画素間のずれを検出し、ずれ量に応じた被写体距離を算出する。

視差検出部５５は、例えば各画素対応の被写体距離情報を持つデフスマップ６７を生成して出力する。
なお、デプスマップ６７は、画像の構成画素各々についての被写体距離情報を持つデータである。例えば被写体距離に応じた輝度値を設定した画像として構成される。
具体的には、例えば、
被写体距離が小（カメラに近い）の領域は高輝度、
被写体距離が大（カメラから遠い）の領域は低輝度、
視差検出部５５は、このような画素値設定のなされたデプスマップを生成して、視差画像生成部５６に出力する。

なお、偏光画素補間処理部５４の生成する、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
これらの画像は、図６に示すように、入力画像中のＮ画素（非偏光画素）領域については、画像信号を有していないが、視差検出部５５は、これらの画素値を持たないＮ画素（非偏光画素）領域については、左眼画像信号（垂直偏光画像信号）６６ａに基づく補間画素値を設定した左眼画像と、右眼画像信号（水平偏光画像信号）６６ｂに基づく補間画素値を設定した右眼画像を算出し、これらの画像間のマッチング処理によってすべての画素対応の距離情報を算出する。
なお、画素値補間処理には、例えば線形補間処理等が利用可能である。

視差画像生成部５６は、デモザイク処理部５３から出力される２次元画像である２Ｄ−ＲＧＢ画像６３と、視差検出部５５から出力される視差情報としてのデプスマップ６７を用いて、左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２の２枚の画像を生成する。

すなわち、２Ｄ−ＲＧＢ画像６３に対して、視差情報としてのデプスマップ６７に基づいて被写体距離に応じた視差を設定する画像変換処理を実行して、左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２を生成して出力する。
なお、この視差画像生成部５６において実行する画像変換処理は、１枚の２次元画像（２Ｄ画像）に基づく画像変換により３次元画像表示に適用可能な左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２を生成して出力する処理であり、一般的には例えば２Ｄ３Ｄ変換処理と呼ばれる処理である。

１枚の２次元画像（２Ｄ画像）に基づく対する画像変換により３次元画像表示に適用可能な左眼画像（Ｌ画像）と、右眼画像（Ｒ画像）を生成する２Ｄ３Ｄ変換処理については、様々な処理が提案されており、視差画像生成部５６においては、既存の手法を適用した２Ｄ３Ｄ変換処理を行う。

具体的には、例えば、視差検出部５５から出力される視差情報としてのデプスマップ６７を用いて、２Ｄ−ＲＧＢ画像６３に対して視差に応じた画像シフト処理を実行して左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２の２枚の画像を生成する。
例えば本出願人の先の特許出願である特願２００９−２８３０８０号に記載した構成を適用した２Ｄ３Ｄ変換を実行する構成としてもよい。

このように、視差画像生成部５６は、デモザイク処理部５３から入力する２Ｄ−ＲＧＢ画像６３に対して、視差検出部５５から入力するデプスマップ６７を利用して被写体距離に応じた視差設定を実行する２Ｄ３Ｄ変換処理を実行して３Ｄ画像表示に適用する左眼図像（Ｌ画像）７１、右眼画像（Ｒ画像）７２を生成して画像出力部５７を介して出力する。

上述したように、図５に示す画像処理部１７は、撮像素子１６上に配置した偏光子に応じて取得される異なる視点からの画像、すなわち左眼用、右眼用の画像を取得し、これらの画像に基づしいて視差情報としてのデプスマップを生成する。
さらに、偏光子を配置しない画素によって通常の２次元画像を取得して、これらの情報から画像処理によって３Ｄ画像表示に適用する高精細な左眼用画像と右眼用画像を出力する。

なお、上述の実施例では、図１他を参照して説明した第１偏光部１２が、水平偏光領域を右側に設定し垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。
また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる２つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。
なお、第２偏光部１５は、第１偏光部１２の偏光領域の設定に対応させて、第１偏光部１２に設定した偏光領域と同一の組み合わせを持つ偏光領域を設定することが必要である。

［２．補間処理の具体的処理例について］
先に説明した図５に示す画像処理部１７の画像補正部５２は、偏光画素分離部５１から入力する全透過画素からなるＮ画素（非偏光画素）信号６１を入力し、Ｎ画素（非偏光画素）信号６１に含まれないＰＬ画素（偏光画素）領域の画素値を補間処理によって設定する処理を実行する。

図７に示すように撮像装置１０は、画像の撮影モードを、
２Ｄ画像を撮影する２Ｄモード、
３次元画像の表示に適用可能な左眼用画像と右眼用画像を撮影する３Ｄモード、
これらの各モードの切り替えが可能な構成を持つ。

図７に示すように、
（Ａ）３Ｄモードでは第１偏光部１２が光路上に設定される。
（Ｂ）２Ｄモードでは第１偏光部１２が光路上から除去される。
３Ｄモードで撮影された場合は、前述したように、ＰＬ画素（偏光画素）に以下の画像が撮影される。
垂直偏光画素に左眼用画像（図１（Ｂ）の重心点３１から見た画像）、
水平偏光画素に右眼用画像（図１（Ｂ）の重心点３２から見た画像）、
これらの画像が撮影され、全透過画素であるＮ画素（非偏光画素）には、レンズ中央から見た画像（図１（Ｂ）の中心点３３から見た画像）、
これらの画像が撮影される。

一方、図７（Ｂ）に示す２Ｄモードの設定では、
第１偏光部１２が光路上に存在しないので、第２偏光部１５によって撮像素子１６に対する入射光が制御されるのみとなる。
この場合、ＰＬ画素（偏光画素）としての垂直偏光画素、水平偏光画素、Ｎ画素（非偏光画素）としての全透過画素はいずれも、レンズ中央から見た画像（図１（Ｂ）の中心点３３から見た画像）が撮影される。
しかし、ＰＬ画素（偏光画素）としての垂直偏光画素、水平偏光画素の入射光量は、偏光処理によって、Ｎ画素（非偏光画素）の入射光より少なくなる。すなわち輝度の低下が発生することになる。これは３Ｄモードでの撮影処理においても同様である。

先に図５参照して説明した画像補正部５２は、偏光画素分離部５１から入力する全透過画素からなるＮ画素（非偏光画素）信号６１のみを入力し、Ｎ画素（非偏光画素）信号６１に含まれないＰＬ画素（偏光画素）領域の画素値を補間処理によって設定する処理を実行する処理例として説明した。
以下において説明する実施例では、図８に示すように、画像補正部１００は、偏光画素分離部５１から、全画素信号８１を入力する。
すなわち、
全透過画素からなるＮ画素（非偏光画素）信号
ＰＬ画素（偏光画素）信号、
これらの全信号を入力する。
図８に示す画像補正部１００は、このように撮像素子の生成信号をすべて入力して、補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。

以下、この画像補正部５２の実行する複数の具体的な処理例について順次説明する。以下の各処理態様について、順次説明する。
（１）２Ｄ画像撮影モードでの撮影画像に対する補間処理例
（２）３Ｄ画像撮影モードでの撮影画像に対する補間処理例１
（３）３Ｄ画像撮影モードでの撮影画像に対する補間処理例２
（４）３Ｄ画像撮影モードでの撮影画像に対する補間処理例３

［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］
まず、撮像装置において２次元画像を撮影する２Ｄ画像撮影モードでの撮影画像に対する補間処理例について説明する。

図８に示す画像補正部１００の詳細構成を図９に示す。
図９に示すように画像補正部１００は、輝度補正部１０１、勾配検出部１０２、反射検出部１０３、補間処理部１０４、これらの構成を有する。

画像補正部１００は、前述したように、図８に示す偏光画素分離部５１から、全画素信号８１を入力する。
すなわち、
全透過画素からなるＮ画素（非偏光画素）信号
ＰＬ画素（偏光画素）信号、
これらの全信号を入力する。

画像補正部１００の輝度補正部１０１は、まず、全画素信号８１に含まれるＰＬ画素とＰＬ画素隣接画素の輝度補正を行う。
前述のように、ＰＬ画素（偏光画素）は第２偏光部１５による偏光処理によって入射光量が制限され全透過画素であるＮ画素（非偏光画素）に比較して画素値（輝度）が低下する。
さらに、ＰＬ画素に隣接するＮ画素も、周囲が全てＮ画素であるＮ画素に比較すると輝度が低下する傾向にある。これは、ＰＬ画素に隣接するＮ画素は、隣接画素（ＰＬ画素）からのもれ光が低下する影響と考えられる。
従って、輝度補正部１０１は、全画素信号８１に含まれるＰＬ画素とＰＬ画素隣接画素の輝度補正を行う。例えば、偏光領域画素（ＰＬ画素）と偏光領域画素隣接画素（ＰＬ画素隣接画素）の輝度を、全透過領域に対応する全透過領域画素（Ｎ画素）の輝度に合わせる輝度補正を実行する。
具体的な処理例については後述する。

輝度補正部１０１の生成した輝度補正画像１２１は、勾配検出部１０２、反射検出部１０３、補間処理部１０４に出力される。

勾配検出部１０２は、輝度補正部１０１の生成した輝度補正画像１２１を入力して、補間対象画素であるＰＬ画素各々について、ＰＬ画素の周囲にあるＮ画素領域の画素値に基づいて画素値の勾配方向の検出を行う。
すなわち、偏光領域画素（ＰＬ画素）単位で近傍画素の複数方向の画素値変化率に対応する勾配情報を生成する。エッジ検出と同様の処理である。画素の変化率を以下の４方向の勾配係数として算出する。
横勾配係数：Ｈｇｒａｄ、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これらの勾配係数を算出する。
これらの勾配係数を含む勾配情報１２２は、補間処理部１０４に入力される。

反射検出部１０３は、輝度補正部１０１の生成した輝度補正画像１２１を入力して、ＰＬ画素各々についてに反射光成分が含まれるか否かを判定する。
ＰＬ画素（偏光画素）は、特定の偏波光、本例では垂直偏光または水平偏光を選択的に入射している。
例えば水面やガラスの反射光は、特定方向の偏波光成分が強く表れる。このような反射光が撮影画像に含まれると、ＰＬ画素の水平偏光画素、あるいは垂直偏光画素の画素値の一方が高く他方が低くなるといった偏りが発生することがある。
反射検出部１０３は、このような反射光が撮影画像中に含まれるか否かを判定する。判定処理の具体例については後述する。
反射検出部１０３の検出した反射情報１２３は、補間処理部１０４に入力される。

補間処理部１０４は、
輝度補正部１０１の生成した輝度補正画像１２１、
勾配検出部１０２の生成した勾配情報１２２、
反射検出部１０３の検出した反射情報１２３、
これらの画像と各情報を入力する。
補間処理部１０４は、ＰＬ画素領域の画素値の補正処理としての画素補間処理を実行する。この補間処理に際して、勾配検出部１０２の生成した勾配情報１２２、反射検出部１０３の検出した反射情報１２３を利用して、これらの情報に応じて決定される補間態様で、補間処理を行う。
なお、具体的処理例については後述する。
この補間処理の結果として、図８に示す画像補正部１００の出力である２Ｄ−Ｒａｗ画像６２が生成される。

図１０に、画像補正部１００の実行する処理シーケンスを説明するフローチャートを示す。
各ステップの処理について説明する。
ステップＳ１０１において、２Ｄモード（第１偏光部非設定）として撮影した撮影画像Ｓ（Ｒａｗ画像）を入力する。
次に、ステップＳ１０２において、ＰＬ画素領域とＰＬ画素近接領域の輝度補正処理により、輝度補正画像Ｔを生成する。
この処理は、図９に示す輝度補正部１０１の実行する処理である。

次に、ステップＳ１０３において、輝度補正画像Ｔに基づいて、画像勾配（エッジ方向）を検出する。
この処理は、図９に示す勾配検出部１０２の実行する処理である。

次に、ステップＳ１０４において、輝度補正画像に基づいて、反射光の有無を検出する。
この処理は、図９に示す反射検出部１０３の実行する処理である。
ステップＳ１０５において、反射検出なしと判定された画素（ＰＬ画素）については、そのまますなわち輝度補正された画素値をそのまま出力する。
一方、ステップＳ１０５において、反射検出ありと判定された画素（ＰＬ画素）については、ステップＳ１０６において補正処理、具体的には、近傍のＮ画素を参照画素とした補間処理を行う。

ステップＳ１０６における補間処理は、勾配検出部１０２の生成した勾配情報中、縦方向と右上がり方向と右下がり方向の３方向の勾配情報に応じて参照画素の設定方向を決定して行われる。具体的には勾配の小さい、すなわち画素値変化の少ない特定方向のＮ画素を参照画素として選択し、この特定方向の画素値を利用した補間処理、例えば線形補間処理を実行する。

図１１以下を参照して、画像補正部１００の実行する処理の具体例について説明する。
図１１は、画像補正部１００の入力する画像（Ｒａｗ画像）の例と画像の各画素の属性を判別するためのインデックスの設定例を示す図である。

図１１に示す画像は、先に図４を参照して説明したと同様の構成である。すなわち、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している２行のＰＬ画素（偏光画素）領域、
１４行の全透過画素であるＮ画素（非偏光画素）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

なお、３Ｄモードの設定とした場合には、
垂直偏光領域１５Ｖには左側の視点からの画像である左眼用画像、
水平偏光領域１５Ｈには右側の視点からの画像である右眼用画像が撮影される。
２Ｄモードでは、いずれの偏光領域１５Ｖ，１５ＨにもＮ画素（非偏光画素）領域１５Ａと同様の視点、すなわちレンズ中心を視点とした画像が撮影される。ただし、光量は低下する。

図１１に示すように各画素にはＸ方向のインデックス（Ｘ座標属性）とＹ方向のインデックス（Ｙ座標属性）が設定される。
Ｘ方向インデックス［ｘｉｄｘ（ｘ）］は、０〜３のいずれかが各画素に対応して設定される。
Ｙ方向インデックス［ｙｉｄｘ（ｙ）］は、０〜５のいずれかが各画素に対応して設定される。

例えば、
ｙｉｄｘ（ｙ）＝０，５は、ＰＬ画素と隣接しないＮ画素、
ｙｉｄｘ（ｙ）＝１，４は、ＰＬ画素と隣接するＮ画素、
ｙｉｄｘ（ｙ）＝２，３は、ＰＬ画素、
このように、インデックスの値に基づいて画素の属性が判別される。

画素属性を示すインデックスの構成を図１２に示す。
図１２に示すように、画素属性を示すインデックスには以下の種類がある。
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
（３）視点属性（視点インデックス）［ｅｐ（ｘ，ｙ）］
（４）色属性（色インデックス）［ｃｏｌｏｒ（ｘ，ｙ）］

各属性（インデックス）の値と識別情報との対応関係は以下の通りである。
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
ｘｉｄｘ（ｘ）＝０，１：左眼画素を含む列の左眼画素または非偏光（全透過）画素
ｘｉｎｄｘ（ｘ）＝２，３：右眼画素を含む列の右眼画素または非偏光（全透過）画素

（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
ｙｉｎｄｘ（ｙ）＝０，５：偏光画素（ＰＬ画素）から離間した非偏光（全透過）画素
ｙｉｎｄｘ（ｙ）＝１，４：偏光画素（ＰＬ画素）に隣接した非偏光（全透過）画素
ｙｉｎｄｘ（ｙ）＝２，３：偏光画素（ＰＬ画素）

（３）視点属性（視点インデックス）［ｅｐ（ｘ，ｙ）］
ｅｘ（ｘ，ｙ）＝０：全透過画素（非偏光画素）
ｅｘ（ｘ，ｙ）＝−１：左眼画素（縦偏光画素）
ｅｘ（ｘ，ｙ）＝＋１：右眼画素（横偏光画素）

（４）色属性（色インデックス）［ｃｏｌｏｒ（ｘ，ｙ）］
ｃｏｌｏｒ（ｘ，ｙ）＝０：赤（Ｒ）画素
ｃｏｌｏｒ（ｘ，ｙ）＝１：緑（Ｇ）画素
ｃｏｌｏｒ（ｘ，ｙ）＝２：青（Ｂ）画素

画像補正部１００では、例えば、入力する処理対象画像の画素に対応してこれらのインデックスを設定し、このインデックス情報に基づく処理を実行する。
図１３は、
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
これらの各インデックスの設定例を説明する図である。
基準座標として、例えば画像の左上端の画素を（ｘｂａｓｅ，ｙｂａｓｅ）として設定し、この基準点からの相対位置に基づいて、上記の各いんでっくすの設定を行う例を示している。

画像補正部１００では、入力する処理対象画像の画素に対する処理を実行する際に、画素に設定されたインデックス（属性）を判定して処理態様を決定して、順次処理を実行する。

次に、図９に示す画像補正部１００の各構成部において実行する処理の具体例について図１４以下を参照して説明する。

（輝度補正部１０１の処理の具体例）
まず図１４を参照して、図９に示す輝度補正部１０１の実行する輝度補正処理の具体例について説明する。
この処理は、図１０のフローチャートにおけるステップＳ１０２の処理に対応する。

前述したように、輝度補正部１０１は、図８に示す偏光画素分離部５１から、全画素信号８１を入力する。
すなわち、
全透過画素からなるＮ画素（非偏光画素）信号
ＰＬ画素（偏光画素）信号、
これらの全信号を入力する。

輝度補正部１０１は、全画素信号８１に含まれるＰＬ画素とＰＬ画素隣接画素の輝度補正を行う。前述のように、ＰＬ画素（偏光画素）は第２偏光部１５による偏光処理によって入射光量が制限され全透過画素であるＮ画素（非偏光画素）に比較して画素値（輝度）が低下する。
さらに、ＰＬ画素に隣接するＮ画素も、周囲が全てＮ画素であるＮ画素に比較すると輝度が低下する傾向にある。これは、ＰＬ画素に隣接するＮ画素は、隣接画素（ＰＬ画素）からのもれ光が低下する影響と考えられる。
従って、輝度補正部１０１は、全画素信号８１に含まれるＰＬ画素とＰＬ画素隣接画素の輝度補正を行う。

図１４には、輝度補正部１０１の実行する輝度補正のシーケンスを説明するフローと、輝度補正処理の具体例を説明する図を示している。

フローの各ステップの処理について説明する。
まず、ステップＳ１２１において、輝度補正対象となるＰＬ画素、またはＰＬ画素隣接画素を順次選択する。
図１４の下に示す（参考図）において、輝度補正対象となるＰＬ画素、またはＰＬ画素隣接画素は、
Ｙ座標インデックス：ｙｉｄｘ（ｙ）＝１〜４の各画素である。

ステップＳ１２２以下の処理は、ステップＳ１２１において選択された１つの画素ごとに順次、実行される。

ステップ１２２において、選択画素の同一列の上下にある同一色でかつＰＬ画素に隣接しない全透過（非偏光）画素を参照画素として選択して参照画素の画素値を取得する。
例えば、図１４の（参考図）において、
Ｙ座標インデックス：ｙｉｄｘ（ｙ）＝１〜２の各画素を補正対象画素とした場合、すなわち例えば図１４の補正対象領域１４１に含まれる画素が選択されている場合、参照画素は、図に示す参照画素領域１４２と参照画素領域１４３から選択される。
また、Ｙ座標インデックス：ｙｉｄｘ（ｙ）＝３〜４の各画素を補正対象画素とした場合、すなわち例えば図１４の補正対象領域１５１に含まれる画素が選択されている場合、参照画素は、図に示す参照画素領域１５２と参照画素領域１５３から選択される。
選択画素の同一列の上下にある同一色でかつＰＬ画素に隣接しない全透過（非偏光）画素を上下の参照領域から１つずつ選択して、それぞれの画素値を取得する。

次に、ステップＳ１２３において、上下２つの参照画素の画素値に基づいて、補正対象画素との距離に応じた重みを乗算した重み付き平均値［ＶＶＬｅｒｐ］を算出する。
さらに、ステップＳ１２４において、重み付き平均値［ＶＶＬｅｒｐ］と、補正対象画素の画素値［Ｓ（ｘ，ｙ）］、に基づいて、ゲインＧ（ｘ，ｙ）を算出する。
ゲインは以下の式に従って算出する。
Ｇ（ｘ，ｙ）＝（ＶＶＬｅｒｐ）／（Ｓ（ｘ，ｙ））

最後にステップＳ１２５において、補正対象画素の画素値［Ｓ（ｘ，ｙ）］に、ゲインＧ（ｘ，ｙ）を乗じて輝度補正画素値を算出する。
これらの処理をすべてのＰＬ画素とＰＬ画素隣接画素において実行して、輝度補正を行い、ＰＬ画素とＰＬ画素隣接画素の画素値として設定して、輝度補正画像Ｔを生成する。

（勾配検出部１０２の処理の具体例）
次に、図１５を参照して、図９に示す勾配検出部１０２の実行する勾配検出処理の具体例について説明する。
この処理は、図１０のフローチャートにおけるステップＳ１０３の処理に対応する。

前述したように、勾配検出部１０２は、輝度補正部１０１の生成した輝度補正画像１２１を入力して、補間対象画素であるＰＬ画素各々について、ＰＬ画素の周囲にあるＮ画素領域の画素値に基づいて画素値の勾配方向の検出を行う。エッジ検出と同様の処理である。画素の変化率を以下の４方向の勾配係数として算出する。
横勾配係数：Ｈｇｒａｄ、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これらの勾配係数を算出する。

フローの各ステップの処理について説明する。
まず、ステップＳ１５１において、補間処理の対象となるＰＬ画素から処理対象画素を順次選択する。
次に、選択画素について、ステップＳ１５２の処理を順次実行する。

ステップＳ１５２では、選択画素近傍の上下にある同一色の全透過（非偏光）画素を参照画素として選択して、参照画素の画素値に基づく勾配検出処理を実行する。
具体的には、Ｎ画素領域の参照画素の画素値を利用して以下の各勾配係数を算出する。
横勾配係数：Ｈｇｒａｄ
縦勾配係数：Ｖｇｒａｄ
右上がり斜め勾配係数：Ａｇｒａｄ
右下がり勾配係数：Ｄｇｒａｄ
これらの４方向勾配係数を算出

図１５の下に示す（参考図）には、縦勾配係数：Ｖｇｒａｄの算出例を示している。
選択画素は、ＰＬ画素領域にあるＧ画素１６１であるとする。
ｘｉｄｘ（ｘ）＝３、ｙｉｄｘ（ｙ）＝２のＧ画素１６１である。
この選択画素、Ｇ画素１６１に対する縦勾配係数を算出する場合、例えば以下の処理を行う。
選択画素の左の隣接列であるｘｉｄｘ＝２のＮ画素領域の上下２つのＧ画素に基づいて輝度差を算出する。
選択画素と同じ列のｘｉｄｘ（ｘ）＝３のＮ画素領域の上下２つのＧ画素に基づいて輝度差を算出する。
選択画素の右の隣接列であるｘｉｄｘ＝０のＮ画素領域の上下２つのＧ画素に基づいて輝度差を算出する。
これらの３つの輝度差を算出し、これらを選択画素（Ｇ画素１６１）からの距離に応じた重みを設定して加算して縦方向の勾配係数Ｖｇｒａｄを算出する。

横勾配係数：Ｈｇｒａｄ
縦勾配係数：Ｖｇｒａｄ
右上がり斜め勾配係数：Ａｇｒａｄ
右下がり勾配係数：Ｄｇｒａｄ
これらの勾配係数は、参照画素の組み合わせを、それぞれの方向に応じて変更して求める。

このように、ステップＳ１５２では、選択画素近傍の上下にある同一色の全透過（非偏光）画素を参照画素として選択して、参照画素の画素値に基づく勾配検出処理を実行する。

（反射検出部１０３の処理の具体例）
次に、図１６以下を参照して、図９に示す反射検出部１０３の実行する反射検出処理の具体例について説明する。
この処理は、図１０のフローチャートにおけるステップＳ１０４の処理に対応する。

前述したように、反射検出部１０３は、輝度補正部１０１の生成した輝度補正画像１２１を入力して、ＰＬ画素各々についてに反射光が含まれるか否かを判定する。

フローの各ステップの処理について説明する。
まず、ステップＳ１６１において、補間処理の対象となるＰＬ画素から処理対象画素を順次選択する。
次に、選択画素について、ステップＳ１６２の処理を順次実行する。

ステップＳ１６２では、選択画素の行の横方向の近傍画素（ＰＬ画素）の画素値に基づく反射検出処理を実行する。具体的には、反射検出フィルタの適用処理を行う。

前述したように、ＰＬ画素（偏光画素）は、特定の偏波光、本例では垂直偏光または水平偏光を選択的に入射している。
例えば水面やガラスの反射光は、特定方向の偏波光成分が強く表れる。このような反射光が撮影画像に含まれると、ＰＬ画素の水平偏光画素、あるいは垂直偏光画素の画素値の一方が高く他方が低くなるといった偏りが発生することがある。
図１６（参考図）に示すように、垂直偏光領域と水平偏光領域において、明らかに偏光結果に起因する輝度差（画素値の差）が発生している場合には反射光が含まれると判定することができる。
このような偏光に基づく輝度の偏りの有無を反射検出フィルタを利用して検出する。

具体的な処理について、図１７〜図２０を参照して説明する。
反射検出フィルタを適用した反射検出処理は以下の処理手順に従って実行される。
ａ．パラメータ：Ｈｒｅｆ（ｘ，ｙ）の算出（図１７）
ｂ．パラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）の算出（図１８）
ｃ．パラメータ：ｒｅｆ（ｘ，ｙ）とｎｏｒｅｆ（ｘ，ｙ）の算出（図１９）
ｄ．反射有無判定結果ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）を決定（図２０）

まず、図１７を参照して
ａ．パラメータ：Ｈｒｅｆ（ｘ，ｙ）の算出処理について説明する。
反射検出フィルタとして、図１７に示すような設定の２つのフィルタを利用する。すなわち、ｘ方向にある７つの画素に乗算する係数として以下の係数の設定された２つのフィルタである。
フィルタ０：＋１，−２，−３，＋４，＋３，−２，−１
フィルタ１：−１，−２，＋３，＋４，−３，−２，＋１
このような係数の設定された２種類のフィルタを適用する。

図１７に示すように、パラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する場合、
反射検出処理対象として選択されるＰＬ画素の選択画素が、
ｘｉｄｘ（ｘ）＝０，２の場合には、図１７（ａ１）に示すように、フィルタ１を適用してパラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する。
図１７（ａ１）には選択画素が点線マルで示すＲ画素である場合のフィルタ適用処理を示している。
この場合、Ｒ画素と、左側３画素、右側３画素の各画素値にフィルタ１の各係数を乗算して加算してパラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する。

また、反射検出処理対象として選択されるＰＬ画素の選択画素が、
ｘｉｄｘ（ｘ）＝１，３の場合には、図１７（ａ２）に示すように、フィルタ０を適用してパラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する。
図１７（ａ２）には選択画素が点線マルで示すＧ画素である場合のフィルタ適用処理を示している。
この場合、Ｇ画素と、左側３画素、右側３画素の各画素値にフィルタ０の各係数を乗算して加算してパラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する。

次に、図１８を参照して
ｂ．パラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）の算出処理について説明する。
反射検出フィルタは、図１７を参照して説明したフィルタと同じフィルタを適用する。すなわち、ｘ方向にある７つの画素に乗算する係数として以下の係数の設定された２つのフィルタである。
フィルタ０：＋１，−２，−３，＋４，＋３，−２，−１
フィルタ１：−１，−２，＋３，＋４，−３，−２，＋１
このような係数の設定された２種類のフィルタを適用する。
図１８に示すパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）の算出処理の場合は、図１７を参照して説明したパラメータ：Ｈｒｅｆ（ｘ，ｙ）の算出処理のフィルタ適用態様と逆のフィルタ適用処理を行う。

すなわち、図１８に示すように、パラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する場合、
反射検出処理対象として選択されるＰＬ画素の選択画素が、
ｘｉｄｘ（ｘ）＝０，２の場合には、図１８（ｂ１）に示すように、フィルタ０を適用してパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する。
図１８（ｂ１）には選択画素が点線マルで示すＲ画素である場合のフィルタ適用処理を示している。
この場合、Ｒ画素と、左側３画素、右側３画素の各画素値にフィルタ０の各係数を乗算して加算してパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する。

また、反射検出処理対象として選択されるＰＬ画素の選択画素が、
ｘｉｄｘ（ｘ）＝１，３の場合には、図１８（ｂ２）に示すように、フィルタ１を適用してパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する。
図１８（ｂ２）には選択画素が点線マルで示すＧ画素である場合のフィルタ適用処理を示している。
この場合、Ｇ画素と、左側３画素、右側３画素の各画素値にフィルタ１の各係数を乗算して加算してパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する。

次に、図１９を参照して
ｃ．パラメータ：ｒｅｆ（ｘ，ｙ）とｎｏｒｅｆ（ｘ，ｙ）の算出処理について説明する。

パラメータ：ｒｅｆ（ｘ，ｙ）とｎｏｒｅｆ（ｘ，ｙ）は以下の式によって算出する。
ｙｉｄｘ（ｙ）＝２の場合、
ｒｅｆ（ｘ，ｙ）＝Ｈｒｅｆ（ｘ，ｙ）＋Ｈ（ｒｅｆ（ｘ，ｙ＋１）
ｎｏｒｅｆ（ｘ，ｙ）＝Ｈｎｏｒｅｆ（ｘ，ｙ）＋Ｈｎｏｒｅｆ（ｘ，ｙ＋１）
ｙｉｄｘ（ｙ）＝３の場合、
ｒｅｆ（ｘ，ｙ）＝Ｈｒｅｆ（ｘ，ｙ−１）＋Ｈ（ｒｅｆ（ｘ，ｙ）
ｎｏｒｅｆ（ｘ，ｙ）＝Ｈｎｏｒｅｆ（ｘ，ｙ−１）＋Ｈｎｏｒｅｆ（ｘ，ｙ）

図１９（参考図）には、
ｙｉｄｘ（ｙ）＝２の場合の、
ｒｅｆ（ｘ，ｙ）＝Ｈｒｅｆ（ｘ，ｙ）＋Ｈ（ｒｅｆ（ｘ，ｙ＋１）
上記算出処理例を示している。
ＰＬ行の２つの行におけるＨｒｅｆの値の加算値を算出してｒｅｆ（ｘ，ｙ）を算出する。

次に、図２０を参照して
ｄ．反射有無判定結果：ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）を決定処理について説明する。
反射有無判定結果：ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）は、図１９を参照して説明したパラメータ：ｒｅｆ（ｘ，ｙ）とｎｏｒｅｆ（ｘ，ｙ）に基づく判定処理として実行される。

具体的には、図２０に示すように、
ｒｅｆ（ｘ，ｙ）≦ｎｏｒｅｆ（ｘ，ｙ）
ｒｅｆ（ｘ，ｙ）≦ｎｏｒｅｆ（ｘ，ｙ＋２）
ｒｅｆ（ｘ，ｙ）≦ｒｅｆ（ｘ，ｙ＋２）
ｒｅｆ（ｘ，ｙ）≦ｎｏｒｅｆ（ｘ，ｙ−２）
ｒｅｆ（ｘ，ｙ）≦ｒｅｆ（ｘ，ｙ−２）
これらのいずれかの条件式が成立する場合は、
ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）＝ｆａｌｓｅ、
すなわち反射なしの画素と判定する。

上記の条件式のいずれも成立しない場合は、
ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）＝ｔｒｕｅ、
すなわち反射ありの画素と判定する。

図９に示す反射検出部１０３は、図１７〜図２０を参照して説明した処理をＰＬ画素の各々について実行し、下区ＰＬ画素かせ反射光を含むか否かを判定する。このＰＬ画素対応の反射光の有無情報を図９に示す反射情報１２３として生成して補間処理部１４に出力する。

（補間処理部１０４の処理の具体例）
次に、図２１、図２２を参照して、図９に示す補間処理部１０４の実行する補間処理の具体例について説明する。
この処理は、図１０のフローチャートにおけるステップＳ１０６の処理に対応する。

補間処理部１０４は、図９を参照して説明したように、
輝度補正部１０１の生成した輝度補正画像１２１、
勾配検出部１０２の生成した勾配情報１２２、
反射検出部１０３の検出した反射情報１２３、
これらの画像と各情報を入力する。
補間処理部１０４は、ＰＬ画素領域の画素値の補正処理としての画素補間処理を実行する。この補間処理に際して、勾配検出部１０２の生成した勾配情報１２２、反射検出部１０３の検出した反射情報１２３を利用して、これらの情報に応じて決定される補間態様で、補間処理を行う。
この補間処理の結果として、図８に示す画像補正部１００の出力である２Ｄ−Ｒａｗ画像６２が生成される。

図２１、図２２に、補間処理部１０４の実行する補間処理のシーケンスを説明するフローチャートを示す。
図２１、図２２に示すフローチャートの各ステップの処理について説明する。

補間処理部１０４は、まず、ステップＳ１７１において、補間処理の対象となるＰＬ画素から処理対象画素を順次選択する。
次に、選択画素について、ステップＳ１７２以下の処理を順次実行する。

ステップＳ１７２において、補間処理対象として選択した１つのＰＬ画素に対応する反射情報、すなわち、図９に示す反射検出部１０３の生成した反射情報１２３の解析処理を実行する。

具体的には、補間処理対象として選択した１つのＰＬ画素の画素値に反射光が含まれるか否かを判定する。
ステップＳ１７３において、選択画素に反射光が含まれると判定した場合は、ステップＳ１７４に進む。
ステップＳ１７３において、選択画素に反射光が含まれないと判定した場合は、補間処理を実行することなく処理を終了する。この場合は、この反射光の含まれないＰＬ画素については、輝度補正部１０１において輝度補正されたＰＬ画素が出力されることになる。
一方、ステップＳ１７３において、選択画素に反射光が含まれると判定した場合は、ステップＳ１７４に進み、Ｎ画素を参照画素として適用した補間処理を実行する。

ステップＳ１７４では、補間処理対象として選択した１つのＰＬ画素に対応する勾配情報、すなわち、勾配検出部１０２の生成した勾配情報１２２の解析処理を実行する。具体的には、勾配検出部１０２の生成した勾配情報１２２に含まれる以下の情報、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これらの３つの勾配係数の比較処理を実行する。これらの勾配係数を比較して、相関の高い方向（Ｄｉｒ）を選択する。
なお、勾配係数の高い方向は、画素値の変化率が高い方向である。

補間処理部１０４は、これら３つの勾配係数の比較によって、最も勾配係数の小さい方向を相関の高い方向（Ｄｉｒ）として選択する。
相関の高い方向（Ｄｉｒ）は画素値の変化率が小さい方向である。いわゆるエッジ方向に相当する。

次に、ステップＳ１７５において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これら３つの勾配係数の比較に基づいて、
右上がり斜め勾配係数：Ａｇｒａｄが最小であり、右上斜め方向の相関が最も高いか否かを判定する。

ステップＳ１７５において、右上斜め方向の相関が最も高いと判定した場合は、ステップＳ１７７に進む。
それ以外の場合は、ステップＳ１７６に進む。

ステップＳ１７５において、右上斜め方向の相関が最も高いと判定し、ステップＳ１７７に進むと、ステップＳ１７７において、選択された補間対象画素（ＰＬ画素）について、右上斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右上斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

一方、ステップＳ１７５において、右上斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ１７６に進み、ステップＳ１７６において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これら３つの勾配係数の比較に基づいて、
右下がり斜め勾配係数：Ａｇｒａｄが最小であり、右下斜め方向の相関が最も高いか否かを判定する。

ステップＳ１７６において、右下斜め方向の相関が最も高いと判定した場合は、ステップＳ１７８に進む。
それ以外の場合は、ステップＳ１７９に進む。

ステップＳ１７６において、右上斜め方向の相関が最も高いと判定し、ステップＳ１７８に進むと、ステップＳ１７８において、選択された補間対象画素（ＰＬ画素）について、右下斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右下斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

ステップＳ１７６において、右下斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ１７９に進む。
ステップＳ１７９では、選択された補間対象画素（ＰＬ画素）について、縦方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の縦方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

以上、２Ｄ画像モードでの撮影画像に対する補間処理例について説明した。
この補間処理をまとめると、図８、図９に示す画像補正部１００の実行する処理は以下のようにまとめることができる。
（ａ）ＰＬ画素とＰＬ画素隣接画素を、ＰＬ画素に隣接しないＮ画素と同様の輝度レベルに補正する輝度補正、
（ｂ）補間処理対象となるＰＬ画素各々に対応する勾配情報の検出、
（ｃ）補間処理対象となるＰＬ画素各々に反射光が含まれるか否かの反射情報の検出、
（ｄ）補間処理対象となるＰＬ画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の３方向から選択された相関の高い方向のＮ画素を参照画素とした補間処理を行ったＰＬ画素を出力、
（ｅ）補間処理対象となるＰＬ画素が、反射光を含まない場合は、輝度補正を行ったＰＬ画素を出力、
画像補正部１００は、これらの処理によって補間画像、すなわち図８に示す補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。

［２−（２）３Ｄ画像モードでの撮影画像に対する補間処理例１］
次に、３Ｄ画像撮影モードでの撮影画像に対する補間処理例１について説明する。

先に、図７を参照して説明したように、撮像装置１０は、画像の撮影モードを、
２Ｄ画像を撮影する２Ｄモード、
３次元画像の表示に適用可能な左眼用画像と右眼用画像を撮影する３Ｄモード、
これらの各モードの切り替えが可能な構成を持つ。

図７に示すように、
（Ａ）３Ｄモードでは第１偏光部１２が光路上に設定される。
（Ｂ）２Ｄモードでは第１偏光部１２が光路上から除去される。
３Ｄモードで撮影された場合は、前述したように、ＰＬ画素（偏光画素）に以下の画像が撮影される。
垂直偏光画素に左眼用画像（図１（Ｂ）の重心点３１から見た画像）、
水平偏光画素に右眼用画像（図１（Ｂ）の重心点３２から見た画像）、
これらの画像が撮影され、全透過画素であるＮ画素（非偏光画素）には、レンズ中央から見た画像（図１（Ｂ）の中心点３３から見た画像）、
これらの画像が撮影される。

以下に説明する補間処理例は、３Ｄモードで撮影された画像に対する画像補正部１００において実行する補間処理例である。
なお、本実施例においても、撮像装置の全体構成は、図１に示す構成と同様の構成であり、画像処理部１７の構成は図８に示す構成を持つ。
画像処理部１７の画像補正部１００の構成は、先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において説明した図９に示す構成と同様の構成である。

図９に示すように画像補正部１００は、輝度補正部１０１、勾配検出部１０２、反射検出部１０３、補間処理部１０４、これらの構成を有する。
画像補正部１００は、前述したように、図８に示す偏光画素分離部５１から、全画素信号８１を入力する。
すなわち、
全透過画素からなるＮ画素（非偏光画素）信号
ＰＬ画素（偏光画素）信号、
これらの全信号を入力する。

本実施例において、画像補正部１００の、輝度補正部１０１、勾配検出部１０２、反射検出部１０３、これらの実行する処理は、［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において説明した処理と同様の処理となる。

すなわち、
（ａ）輝度補正部１０１が、ＰＬ画素とＰＬ画素隣接画素を、ＰＬ画素に隣接しないＮ画素と同様の輝度レベルに補正する輝度補正処理を実行する。
（ｂ）勾配検出部１０２が、補間処理対象となるＰＬ画素各々に対応する勾配情報の検出を実行する。
（ｃ）反射検出部１０３が、補間処理対象となるＰＬ画素各々に反射光が含まれるか否かの反射情報の検出を実行する。

ここまでの処理は、先に説明した［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において説明した処理と同様の処理となる。
補間処理部１０４における処理が先に説明した処理（図２０、図２１を参照して説明した処理）とは異なる処理となる。

図２３に、本実施例における画像補正部１００の実行する処理シーケンスを説明するフローチャートを示す。
ステップＳ２０１において、３Ｄモード（第１偏光部設定）として撮影した撮影画像Ｓ（Ｒａｗ画像）を入力する。

以下のステップＳ２０２〜Ｓ２０５の処理は、先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において図１０を参照して説明したステップＳ１０２〜Ｓ１０５の処理と同様の処理となる。
すなわち、
ステップＳ２０２において、ＰＬ画素領域とＰＬ画素近接領域の輝度補正処理により、輝度補正画像Ｔを生成する。
この処理は、図９に示す輝度補正部１０１の実行する処理である。

次に、ステップＳ２０３において、輝度補正画像Ｔに基づいて、画像勾配（エッジ方向）を検出する。
この処理は、図９に示す勾配検出部１０２の実行する処理である。

次に、ステップＳ２０４において、輝度補正画像に基づいて、反射光の有無を検出する。
この処理は、図９に示す反射検出部１０３の実行する処理である。

ステップＳ２０５において、反射検出ありと判定された画素（ＰＬ画素）については、ステップＳ２０６において補正処理、具体的には、近傍のＮ画素を参照画素とした補間処理を行う。
ステップＳ２０６における補間処理は、勾配検出部１０２の生成した勾配情報中、縦方向と右上がり方向と右下がり方向の３方向の勾配情報に応じて参照画素の設定方向を決定して行われる。具体的には勾配の小さい、すなわち画素値変化の少ない特定方向のＮ画素を参照画素として選択し、この特定方向の画素値を利用した補間処理、例えば線形補間処理を実行する。
この処理は、先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において図１０を参照して説明したステップＳ１０６の処理と同様の処理となる。

一方、ステップＳ２０５において、反射検出なしと判定された画素（ＰＬ画素）については、ステップＳ２０７において補正処理、具体的には、近傍のＮ画素を参照画素とした補間処理を行う。
ステップＳ２０７における補間処理は、勾配検出部１０２の生成した勾配情報中、縦方向と右上がり方向と右下がり方向、さらに横方向の４方向の勾配情報に応じて参照画素の設定方向を決定して行われる。具体的には勾配の小さい、すなわち画素値変化の少ない特定方向のＮ画素を参照画素として選択し、この特定方向の画素値を利用した補間処理、例えば線形補間処理を実行する。

先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において図１０を参照して説明した処理では、反射光の検出されないＰＬ画素については補間処理を実行することなく、輝度補正された画素をそのまま出力画素としていた。
しかし、本実施例では、反射光の検出されないＰＬ画素についても勾配情報に従って参照画素を決定して参照画素の画素値を利用した補間処理を実行する。
この点が先の処理例とは異なっている。
すなわち、補間処理部１０４において実行する補間処理態様が異なる。

この補間処理部１０４の実行する補間処理について、図２４〜図２６に示すフローチャートを参照して説明する。
補間処理部１０４は、図９を参照して説明したように、
輝度補正部１０１の生成した輝度補正画像１２１、
勾配検出部１０２の生成した勾配情報１２２、
反射検出部１０３の検出した反射情報１２３、
これらの画像と各情報を入力する。
補間処理部１０４は、ＰＬ画素領域の画素値の補正処理としての画素補間処理を実行する。この補間処理に際して、勾配検出部１０２の生成した勾配情報１２２、反射検出部１０３の検出した反射情報１２３を利用して、これらの情報に応じて決定される補間態様で、補間処理を行う。
この補間処理の結果として、図８に示す画像補正部１００の出力である２Ｄ−Ｒａｗ画像６２が生成される。
図２４〜図２６に示すフローチャートの各ステップの処理について説明する。

補間処理部１０４は、まず、ステップＳ２２１において、補間処理の対象となるＰＬ画素から処理対象画素を順次選択する。
次に、選択画素について、ステップＳ２２２以下の処理を順次実行する。

ステップＳ２２２において、補間処理対象として選択した１つのＰＬ画素に対応する反射情報、すなわち、図９に示す反射検出部１０３の生成した反射情報１２３の解析処理を実行する。

具体的には、補間処理対象として選択した１つのＰＬ画素の画素値に反射光が含まれるか否かを判定する。
ステップＳ２２３において、選択画素に反射光が含まれると判定した場合は、ステップＳ２２４に進む。
ステップＳ２２３において、選択画素に反射光が含まれないと判定した場合は、ステップＳ２４１に進む。

ステップＳ２２４以下の選択画素に反射光が含まれると判定した場合の補間処理は、先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において図２１、図２２を参照して説明した処理と同様の処理となる。
すなわち、ステップＳ２２３において、選択画素に反射光が含まれると判定した場合は、ステップＳ２２４に進み、補間処理対象として選択した１つのＰＬ画素に対応する勾配情報、すなわち、勾配検出部１０２の生成した勾配情報１２２の解析処理を実行する。具体的には、勾配検出部１０２の生成した勾配情報１２２に含まれる以下の情報、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これらの３つの勾配係数の比較処理を実行する。これらの勾配係数を比較して、相関の高い方向（Ｄｉｒ）を選択する。
なお、勾配係数の高い方向は、画素値の変化率が高い方向である。

補間処理部１０４は、これら３つの勾配係数の比較によって、最も勾配係数の小さい方向を相関の高い方向（Ｄｉｒ）として選択する。
相関の高い方向（Ｄｉｒ）は画素値の変化率が小さい方向である。いわゆるエッジ方向に相当する。

次に、ステップＳ２２５において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これら３つの勾配係数の比較に基づいて、
右上がり斜め勾配係数：Ａｇｒａｄが最小であり、右上斜め方向の相関が最も高いか否かを判定する。

ステップＳ２２５において、右上斜め方向の相関が最も高いと判定した場合は、ステップＳ２２７に進む。
それ以外の場合は、ステップＳ２２６に進む。

ステップＳ２２５において、右上斜め方向の相関が最も高いと判定し、ステップＳ２２７に進むと、ステップＳ２２７において、選択された補間対象画素（ＰＬ画素）について、右上斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右上斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

一方、ステップＳ２２５において、右上斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ２２６に進み、ステップＳ２２６において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これら３つの勾配係数の比較に基づいて、
右下がり斜め勾配係数：Ａｇｒａｄが最小であり、右下斜め方向の相関が最も高いか否かを判定する。

ステップＳ２２６において、右下斜め方向の相関が最も高いと判定した場合は、ステップＳ２２８に進む。
それ以外の場合は、ステップＳ２２９に進む。

ステップＳ２２６において、右上斜め方向の相関が最も高いと判定し、ステップＳ２２８に進むと、ステップＳ２２８において、選択された補間対象画素（ＰＬ画素）について、右下斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右下斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

ステップＳ２２６において、右下斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ２２９に進む。
ステップＳ２２９では、選択された補間対象画素（ＰＬ画素）について、縦方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の縦方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

次に、図２４に示すフローのステップＳ２２３において、補間対象画素としてのＰＬ画素に反射光が含まれないと判定し、ステップＳ２４１に進んだ場合の処理について説明する。
なお、この処理は、図２３に示すフローのステップＳ２０７の処理、すなわち、補間対象画素としてのＰＬ画素に反射光が含まれないと判定した場合の補間処理に対応する。

図２４に示すフローのステップＳ２４１では、
補間処理対象として選択した１つのＰＬ画素に対応する勾配情報、すなわち、勾配検出部１０２の生成した勾配情報１２２の解析処理を実行する。具体的には、勾配検出部１０２の生成した勾配情報１２２に含まれる以下の情報、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、さらに、
横勾配係数：Ｈｇｒａｄ、
これらの４つの勾配係数の比較処理を実行する。これらの勾配係数を比較して、相関の高い方向（Ｄｉｒ）を選択する。
なお、勾配係数の高い方向は、画素値の変化率が高い方向である。

補間処理部１０４は、これら４つの勾配係数の比較によって、最も勾配係数の小さい方向を相関の高い方向（Ｄｉｒ）として選択する。
相関の高い方向（Ｄｉｒ）は画素値の変化率が小さい方向である。いわゆるエッジ方向に相当する。

次に、図２６に示すステップＳ２４２において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
横勾配係数：Ｈｇｒａｄ、
これら４つの勾配係数の比較に基づいて、
右上がり斜め勾配係数：Ａｇｒａｄが最小であり、右上斜め方向の相関が最も高いか否かを判定する。

ステップＳ２４２において、右上斜め方向の相関が最も高いと判定した場合は、ステップＳ２５１に進む。
それ以外の場合は、ステップＳ２４３に進む。

ステップＳ２４２において、右上斜め方向の相関が最も高いと判定し、ステップＳ２５１進むと、ステップＳ２５１において、選択された補間対象画素（ＰＬ画素）について、右上斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右上斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

一方、ステップＳ２４２において、右上斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ２４３に進み、ステップＳ２４３において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
横勾配係数：Ｈｇｒａｄ、
これら４つの勾配係数の比較に基づいて、
右下がり斜め勾配係数：Ａｇｒａｄが最小であり、右下斜め方向の相関が最も高いか否かを判定する。

ステップＳ２４３において、右下斜め方向の相関が最も高いと判定した場合は、ステップＳ２５２に進む。
それ以外の場合は、ステップＳ２４４に進む。

ステップＳ２４３において、右上斜め方向の相関が最も高いと判定し、ステップＳ２５２に進むと、ステップＳ２５２において、選択された補間対象画素（ＰＬ画素）について、右下斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右下斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

ステップＳ２４３において、右下斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ２４４に進む。ステップＳ２４４において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
横勾配係数：Ｈｇｒａｄ、
これら４つの勾配係数の比較に基づいて、
縦勾配係数：Ｖｇｒａｄが最小であり、縦向の相関が最も高いか否かを判定する。

ステップＳ２４４において、縦方向の相関が最も高いと判定した場合は、ステップＳ２５３に進む。
それ以外の場合は、ステップＳ２５４に進む。

ステップＳ２４４において、縦方向の相関が最も高いと判定し、ステップＳ２５３に進むと、ステップＳ２５３において、選択された補間対象画素（ＰＬ画素）について、縦方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の縦方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

ステップＳ２４４において、縦方向の相関が最も高いと判定されなかった場合は、ステップＳ２５４に進む。すなわち、横方向の相関が最も高いと判定された場合である。
この場合は、ステップＳ２５４において、選択された補間対象画素（ＰＬ画素）について、横方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色のＰＬ画素となる。

この横方向補間処理の具体例について図２７を参照して説明する。
図２７には、補間対象画素となるＰＬ画素の補間画素値：Ｌｅｒｐ（ｘ，ｙ）を線形補間によって算出する式と、線形補間に適用する線型フィルタの例を示している。
補間対象画素となるＰＬ画素（ｘ，ｙ）の補間画素値：Ｌｅｒｐ（ｘ，ｙ）は、例えば以下の式によって算出する。
Ｌｅｒｐ（ｘ，ｙ）＝（（ｘ＋２，ｙ）＋２（ｘ，ｙ）＋（ｘ−２，ｙ））／４
この式は、補間対象画素の画素値と、補間対象画素の左右にある最近接の同一色の画素の画素値とを、１：２：１の重みを設定して加算して補間画素値を算出する式となっている。
なお、図２７のフィルタ設定例から理解されるように、例えば垂直偏光領域のＧ画素の補間処理に際しては、左右の水平偏光領域のＧ画素の画素値を参照画素として利用する。
すなわち、本処理例では、ＰＬ画素の横方向補間を実行する場合は、左眼用画素の補間に際して、右眼用画素を参照画素とした補間を実行し、右眼用画素の補間に際して左眼用画素を参照画素とした補間処理を実行する構成としている。

なお、この横方向補間が実行されるのは、反射光が含まれず、横方向の画素値の変化率が他の方向より小さい場合であり、横方向の相関が高いと判定される場合である。
反射光が含まれないため、偏光方向の違う画素間での画素値差分が少ないと判断されるため、異なる偏光方向の画素を参照画素として処理を行っても誤った画素値の設定される可能性は少ない。

以上、３Ｄ画像モードでの撮影画像に対する補間処理例１について説明した。
この補間処理をまとめると、図８、図９に示す画像補正部１００の実行する処理は以下のようにまとめることができる。
（ａ）ＰＬ画素とＰＬ画素隣接画素を、ＰＬ画素に隣接しないＮ画素と同様の輝度レベルに補正する輝度補正、
（ｂ）補間処理対象となるＰＬ画素各々に対応する勾配情報の検出、
（ｃ）補間処理対象となるＰＬ画素各々に反射光が含まれるか否かの反射情報の検出、
（ｄ）補間処理対象となるＰＬ画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の３方向から選択された相関の高い方向のＮ画素を参照画素とした補間処理を行ったＰＬ画素を出力、
（ｅ）補間処理対象となるＰＬ画素が、反射光を含まない場合は、輝度補正と、さらに、縦方向、右上方向、右下方向、横方向の４方向から選択された相関の高い方向のＮ画素を参照画素とした補間処理を行ったＰＬ画素を出力、
画像補正部１００は、これらの処理によって補間画像、すなわち図８に示す補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。

［２−（３）３Ｄ画像モードでの撮影画像に対する補間処理例２］
次に、３Ｄ画像撮影モードでの撮影画像に対する補間処理例２について説明する。
以下に説明する例も３Ｄモードで撮影された画像に対して画像補正部１００において実行する補間処理例である。

なお、本実施例においても、撮像装置の全体構成は、図１に示す構成と同様の構成であり、画像処理部１７の構成は図８に示す構成を持つ。
画像処理部１７の画像補正部１００の構成は、図９に示す構成と同様の構成である。

図９に示すように画像補正部１００は、輝度補正部１０１、勾配検出部１０２、反射検出部１０３、補間処理部１０４、これらの構成を有する。
画像補正部１００は、前述したように、図８に示す偏光画素分離部５１から、全画素信号８１を入力する。
すなわち、
全透過画素からなるＮ画素（非偏光画素）信号
ＰＬ画素（偏光画素）信号、
これらの全信号を入力する。

本実施例は、上述の［２−（２）３Ｄ画像モードでの撮影画像に対する補間処理例１］における画像補正部１００の輝度補正部１００の処理のみを変更した実施例である。その他の処理、すなわち、勾配検出部１０２、反射検出部１０３、補間処理部１０４、これらの各構成部の処理は上述の［２−（２）３Ｄ画像モードでの撮影画像に対する補間処理例１］において説明した処理と同様の処理となる。

図２８に、本実施例における画像補正部１００の実行する処理シーケンスを説明するフローチャートを示す。
ステップＳ３０１において、３Ｄモード（第１偏光部設定）として撮影した撮影画像Ｓ（Ｒａｗ画像）を入力する。

ステップＳ３０２において、ＰＬ画素領域とＰＬ画素近接領域の輝度補正処理により、輝度補正画像Ｔを生成する。
本処理例では、この輝度補正処理が先に説明した［２−（２）３Ｄ画像モードでの撮影画像に対する補間処理例１］とは異なる処理となる。
その他の処理、すなわちステップＳ３０３〜３０７の処理は、先に［２−（２）３Ｄ画像モードでの撮影画像に対する補間処理例１］の処理として説明した図２３に示すフローのステップＳ２０３〜Ｓ２０７の処理と同様の処理となる。

本処理例における、ステップＳ３０２の輝度補正処理の詳細について、図２９、図３０を参照して説明する。
図２９に示すフローチャートは、図２８に示すフローのステップＳ３０２の輝度補正処理の詳細シーケンスを説明するフローチャートである。
各ステップの処理について説明する。

図９に示す画像補正部１００の輝度補正部１０１は、まず、ステップＳ３２１において、輝度補正対象とするＰＬ画素またはＰＬ画素隣接画素を１つ選択する。
本処理例においても、輝度補正の対象画素は、前述の処理例と同様、ＰＬ画素とＰＬ画素隣接画素である。

ステップＳ３２２において、輝度補正対象として選択された画素（ｘ，ｙ）の近傍領域から、同一色で、かつ、隣接画素の設定条件が同一の画素を参照画素として選択する。
この画素選択の具体例について図３０を参照して説明する。

図３０には、輝度補正対象画素としてＰＬ画素領域にあるＧ画素３０１を選択した場合の参照画素３１１〜３１６の例を示している。
参照画素３１１〜３１６は、輝度補正対象として選択されたＧ画素３０１と同一色であり、かつ、隣接画素の設定条件が同一の画素である。
すべＧ画素の垂直偏光画素であり、周囲の８画素の設定が同一である画素である。
これらの画素を参照画素として選択する。

次に、ステップＳ３２３において、選択した各参照画素について、上下の２つのＮ画素との画素値の差分（比）に基づくゲイン（ＰＧａｉｎ）を各々算出する。このゲイン（ＰＧａｉｎ）の算出処理は、先に、図１４（参考図）を参照して説明したゲインの算出処理と同様の処理である。

先に図１４を参照して説明した処理では、補間対象画素の１つの画素に対するゲインのみを算出していたが、本処理例では、補間対象画素に加えて、その周囲の同一条件の６つの参照画素の計７つの画素に対応する７つのゲイン（ＰＧａｉｎ）を算出する。

次に、ステップＳ３２４において、ステップＳ３２３で算出した補間対象画素と、その周囲の同一条件の６つの参照画素の計７つの画素に対応する７つのゲイン（ＰＧａｉｎ）から中央値（メディアン値）を算出する。
この中央値を適応的ゲイン（ＡＧａｉｎ）とする。

最後にステップＳ３２５において、補正対象画素の画素値［Ｓ（ｘ，ｙ）］に、適応的ゲインＰＧａｉｎを乗じて輝度補正画素値を算出する。
これらの処理をすべてのＰＬ画素とＰＬ画素隣接画素において実行して、輝度補正を行い、ＰＬ画素とＰＬ画素隣接画素の画素値として設定して、輝度補正画像Ｔを生成する。

本処理例は、このように、ＰＬ画素とＰＬ画素隣接画素の輝度補正にの際して、補正対象画素のみならず、周囲の同一条件の複数の画素を参照して個々の参照画素と周囲のＮ画素の画素値比率（輝度比率）に応じたゲインを求めたうえで、これらの複数のゲインの中央値を最終的に補間画素の輝度補正に適用するゲインとして算出する。
このような処理により、補間画素あるいは補間画素の周囲のＮ画素に何等かのエラーが発生しているような場合にも、このエラーの影響を削減した輝度補正が可能となる。

［２−（４）．３Ｄ画像撮影モードでの撮影画像に対する補間処理例３］
次に、３Ｄ画像撮影モードでの撮影画像に対する補間処理例３について説明する。
上述した３Ｄ画像撮影モードでの撮影画像に対する補間処理例、すなわち、
３Ｄ画像モードでの撮影画像に対する補間処理例１
３Ｄ画像モードでの撮影画像に対する補間処理例２
これらの処理例では、
第２偏光部１５の設定を図１１を参照して説明した領域設定とした場合の撮影画像に対する処理として説明した。

すなわち、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している２行のＰＬ画素（偏光画素）領域、
１４行の全透過画素であるＮ画素（非偏光画素）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

本開示の画像処理装置では、このような設定の偏光領域の設定された画像のみならず、その他の偏光領域が設定された画像に対しても適用可能である。
例えば、偏光領域の設定として、図３１に示す構成としてもよい。

すなわち、
４×４の１６画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している４行のＰＬ画素（偏光画素）領域、
２８行の全透過画素であるＮ画素（非偏光画素）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

例えば図８、図９に示す画像補正部１００は、このような設定の偏光領域を持つ撮影画像に対しても、上述した処理例と同様の処理を適用してＰＬ画素の補間処理を実行することができる。

具体的には、
（ａ）ＰＬ画素とＰＬ画素隣接画素を、ＰＬ画素に隣接しないＮ画素と同様の輝度レベルに補正する輝度補正、
（ｂ）補間処理対象となるＰＬ画素各々に対応する勾配情報の検出、
（ｃ）補間処理対象となるＰＬ画素各々に反射光が含まれるか否かの反射情報の検出、
（ｄ）補間処理対象となるＰＬ画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の３方向から選択された相関の高い方向のＮ画素を参照画素とした補間処理を行ったＰＬ画素を出力、
（ｅ）補間処理対象となるＰＬ画素が、反射光を含まない場合は、輝度補正と、さらに、縦方向、右上方向、右下方向、横方向の４方向から選択された相関の高い方向のＮ画素を参照画素とした補間処理を行ったＰＬ画素を出力、
画像補正部１００は、これらの処理によって補間画像、すなわち図８に示す補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。

ただし、図３１に示すように各画素の属性を判別するためのインデックス（ｘｉｎｄｘ（ｘ），ｙｉｎｄｘ（ｙ））は、偏光領域の設定変更に伴って変更される。
図３２に、画素属性を示すインデックスの設定例を示す。
図３２に示すように、画素属性を示すインデックスには以下の種類がある。
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
（３）視点属性（視点インデックス）［ｅｐ（ｘ，ｙ）］
（４）色属性（色インデックス）［ｃｏｌｏｒ（ｘ，ｙ）］

各属性（インデックス）の値と識別情報との対応関係は以下の通りである。
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
ｘｉｄｘ（ｘ）＝０，１，２，３：左眼画素を含む列の左眼画素または非偏光（全透過）画素
ｘｉｎｄｘ（ｘ）＝４，５，６，７：右眼画素を含む列の右眼画素または非偏光（全透過）画素

（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
ｙｉｎｄｘ（ｙ）＝０，７：偏光画素（ＰＬ画素）から離間した非偏光（全透過）画素
ｙｉｎｄｘ（ｙ）＝１，６：偏光画素（ＰＬ画素）に隣接した非偏光（全透過）画素
ｙｉｎｄｘ（ｙ）＝２，３，４，５：偏光画素（ＰＬ画素）

（３）視点属性（視点インデックス）［ｅｐ（ｘ，ｙ）］
ｅｘ（ｘ，ｙ）＝０：全透過画素（非偏光画素）
ｅｘ（ｘ，ｙ）＝−１：左眼画素（縦偏光画素）
ｅｘ（ｘ，ｙ）＝＋１：右眼画素（横偏光画素）

（４）色属性（色インデックス）［ｃｏｌｏｒ（ｘ，ｙ）］
ｃｏｌｏｒ（ｘ，ｙ）＝０：赤（Ｒ）画素
ｃｏｌｏｒ（ｘ，ｙ）＝１：緑（Ｇ）画素
ｃｏｌｏｒ（ｘ，ｙ）＝２：青（Ｂ）画素

画像補正部１００では、例えば、入力する処理対象画像の画素に対応してこれらのインデックスを設定し、このインデックス情報に基づく処理を実行する。

画像補正部１００は、偏光領域の設定に応じて設定されるインデックスに応じて画素属性を判別して、上記の（ａ）〜（ｅ）の各処理を実行することで、ＰＬ画素とＰＬ画素隣接画素の補間処理を行う。これらの処理は、偏光領域の設定態様を様々な形態に変更しても基本的な処理は同じである。ただし、参照画素の画素位置やフィルタ処理において適用するフィルタは画素配置に応じて適宜、変更することは必要である。

なお、図９に示す画像補正部１００における補間処理部１０４の実行する補間処理では、勾配情報と、反射光の有無に応じて、適用する参照画素の方向を選択する構成としている。

反射光がある場合は、横方向、すなわちＰＬ画素を参照画素として適用することを避け、その他の方向で最も相関の高い方向を参照画素方向として選択する。
反射光がない場合は、横方向も含めて最も相関の高い方向を参照画素方向として選択する。
なお、上記の実施例では、縦方向、横方向、右上がり方向、右下がり方向の４方向を勾配検出方向として設定したが、
例えば、縦方向と横方向のみを勾配検出方向として設定して、反射情報と勾配情報に基づいて、これらの２つの方向から参照方向を選択する構成としてもよい。

［３．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
前記第２偏光手段の透過光を入力する撮像素子と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記画像処理部は、
前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、
前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正部と、
前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置。

（２）前記画像補正部は、前記第２偏光手段の第３偏光領域と第４偏光領域に対応する画素である偏光領域画素（ＰＬ画素）と偏光領域画素隣接画素（ＰＬ画素隣接画素）の輝度を、前記全透過領域に対応する全透過領域画素（Ｎ画素）の輝度に合わせる輝度補正を実行する輝度補正部と、偏光領域画素（ＰＬ画素）単位で各画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する反射検出部と、偏光領域画素（ＰＬ画素）単位で近傍画素の複数方向の画素値変化率に対応する勾配情報を生成する勾配検出部と、前記反射情報と前記勾配情報に応じて参照画素を選択して、選択参照画素の画素値を適用して、前記偏光領域画素（ＰＬ画素）の画素値補間処理を実行する補間処理部を有する前記（１）に記載の画像処理装置。

（３）前記補間処理部は、補間処理対象となる非偏光領域画素（Ｎ画素）の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある画素を参照画素とした補間処理を実行する前記（１）または（２）に記載の画像処理装置。
（４）前記補間処理部は、補間処理対象となる非偏光領域画素（Ｎ画素）の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある非偏光領域画素（Ｎ画素）を参照画素とした補間処理を実行する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記補間処理部は、補間処理対象となる偏光領域画素（ＰＬ画素）の反射情報が反射ありを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素（Ｎ画素）を参照画素として選択し、選択した参照画素を適用した補間処理を実行する前記（１）〜（４）いずれかに記載の画像処理装置。

（６）前記補間処理部は、補間処理対象となる偏光領域画素（ＰＬ画素）の反射情報が反射なしを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素（Ｎ画素）または偏光領域画素（ＰＬ画素）を参照画素として選択し、選択した参照画素を適用した補間処理を実行する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記補間処理部は、前記第１偏光手段を光路上から外して撮影した２Ｄモードの撮影画像に対する補間処理に際して、補間処理対象となる偏光領域画素（ＰＬ画素）の反射情報が反射なしを示している場合には、偏光領域画素（ＰＬ画素）の補間処理を行うことなく前記輝度補正部における輝度補正が施された画素値を出力する前記（１）〜（６）いずれかに記載の画像処理装置。

（８）前記輝度補正部は、輝度補正対象となる偏光領域画素（ＰＬ画素）または偏光領域画素隣接画素（ＰＬ画素隣接画素）の近傍にある全透過領域画素（Ｎ画素）との輝度比率に対応するゲインを算出し、輝度補正対象画素に対して算出ゲインを乗じて輝度補正を実行する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記反射検出部は、前記第２偏光手段の前記第３偏光領域の位置に対応する撮像素子の画素値と、前記第２偏光手段の前記第４偏光領域の位置に対応する撮像素子の画素値との差分を検出して、該差分に基づいて偏光領域画素（ＰＬ画素）の画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する前記（１）〜（８）いずれかに記載の画像処理装置。

（１０）前記画像補正部は、前記撮像素子からの出力画像を構成する画素単位で、画素属性を示すインデックスを設定し、該インデックスに応じて処理を決定する前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記インデックスは、画素位置を示す座標属性と、視点位置を示す視点属性と、画素色を示す色属性を含む前記（１）〜（１０）いずれかに記載の画像処理装置。

さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、３次元画像表示に適用する画像の生成に利用する２次元画像の補間処理を行う構成が提供される。
一例として本開示の画像処理装置は、各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、第１偏光領域の透過光のみを透過させる第３偏光領域と、第２偏光領域の透過光のみを透過させる第４偏光領域と、第１、第２偏光領域の全透過光を透過させる全透過領域からなる第２偏光手段と、撮像素子と、撮像素子の出力信号に対する信号処理を実行する画像処理部を有する。本構成において、画像処理部は、撮像素子からの入力画像に対して、反射光の有無や勾配情報を適用した補正処理を実行して２次元画像を生成し、さらに第３偏光領域と第４偏光領域の各透過光に基づいて生成する視差情報を適用して２次元画像の画像変換を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する。
本構成により、反射光や勾配情報を考慮した補間処理によってエラーの少ない２次元画像の生成が可能となり、高品質な２次元画像をベースとした２Ｄ３Ｄ変換処理によって、より高精度な３次元画像表示ようの左眼用画像と右眼用画像を生成することが可能となる。

１０ 撮像装置
１１ 撮影レンズ
１２ 第１偏光部
１３ 絞り
１４ 結像レンズ
１５ 第２偏光部
１６ 撮像素子
１７ 画像処理部
１８ 記憶部
５１ 偏光画素分離部
５２ 画像補正部
５３ デモザイク処理部
５４ 偏光画素補間処理部
５５ 視差検出部
５６ 視差画像生成部
５７ 画像出力部
６１ Ｎ画素信号（非偏光画素信号）
６２ 補間画像（２Ｄ−Ｒａｗ画像）
６３ ２Ｄ−ＲＧＢ画像
６５ ＰＬ画素信号（偏光画素信号）
６６ 左眼右眼画像信号
６７ デプスマップ
７１ 左眼画像（Ｌ画像）
７２ 右眼画像（Ｒ画像）
１００ 画像補正部
１０１ 輝度補正部
１０２ 勾配検出部
１０３ 反射検出部
１０４ 補間処理部
１２１ 輝度補正画像
１２２ 勾配情報
１２３ 反射情報

Claims (13)

1. 各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
   前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
   前記第２偏光手段の透過光を入力する撮像素子と、
   前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
   前記画像処理部は、
   前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、
   前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正部と、
   前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置。
2. 前記画像補正部は、
   前記第２偏光手段の第３偏光領域と第４偏光領域に対応する画素である偏光領域画素（ＰＬ画素）と偏光領域画素隣接画素（ＰＬ画素隣接画素）の輝度を、前記全透過領域に対応する全透過領域画素（Ｎ画素）の輝度に合わせる輝度補正を実行する輝度補正部と、
   偏光領域画素（ＰＬ画素）単位で各画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する反射検出部と、
   偏光領域画素（ＰＬ画素）単位で近傍画素の複数方向の画素値変化率に対応する勾配情報を生成する勾配検出部と、
   前記反射情報と前記勾配情報に応じて参照画素を選択して、選択参照画素の画素値を適用して、前記偏光領域画素（ＰＬ画素）の画素値補間処理を実行する補間処理部を有する請求項１に記載の画像処理装置。
3. 前記補間処理部は、
   補間処理対象となる非偏光領域画素（Ｎ画素）の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある画素を参照画素とした補間処理を実行する請求項２に記載の画像処理装置。
4. 前記補間処理部は、
   補間処理対象となる非偏光領域画素（Ｎ画素）の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある非偏光領域画素（Ｎ画素）を参照画素とした補間処理を実行する請求項２に記載の画像処理装置。
5. 前記補間処理部は、
   補間処理対象となる偏光領域画素（ＰＬ画素）の反射情報が反射ありを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素（Ｎ画素）を参照画素として選択し、選択した参照画素を適用した補間処理を実行する請求項２に記載の画像処理装置。
6. 前記補間処理部は、
   補間処理対象となる偏光領域画素（ＰＬ画素）の反射情報が反射なしを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素（Ｎ画素）または偏光領域画素（ＰＬ画素）を参照画素として選択し、選択した参照画素を適用した補間処理を実行する請求項２に記載の画像処理装置。
7. 前記補間処理部は、
   前記第１偏光手段を光路上から外して撮影した２Ｄモードの撮影画像に対する補間処理に際して、
   補間処理対象となる偏光領域画素（ＰＬ画素）の反射情報が反射なしを示している場合には、偏光領域画素（ＰＬ画素）の補間処理を行うことなく前記輝度補正部における輝度補正が施された画素値を出力する請求項２に記載の画像処理装置。
8. 前記輝度補正部は、
   輝度補正対象となる偏光領域画素（ＰＬ画素）または偏光領域画素隣接画素（ＰＬ画素隣接画素）の近傍にある全透過領域画素（Ｎ画素）との輝度比率に対応するゲインを算出し、輝度補正対象画素に対して算出ゲインを乗じて輝度補正を実行する請求項２に記載の画像処理装置。
9. 前記反射検出部は、
   前記第２偏光手段の前記第３偏光領域の位置に対応する撮像素子の画素値と、
   前記第２偏光手段の前記第４偏光領域の位置に対応する撮像素子の画素値との差分を検出して、該差分に基づいて偏光領域画素（ＰＬ画素）の画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する請求項２に記載の画像処理装置。
10. 前記画像補正部は、
    前記撮像素子からの出力画像を構成する画素単位で、画素属性を示すインデックスを設定し、該インデックスに応じて処理を決定する請求項１に記載の画像処理装置。
11. 前記インデックスは、
    画素位置を示す座標属性と、視点位置を示す視点属性と、画素色を示す色属性を含む請求項１０に記載の画像処理装置。
12. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、
    各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
    前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
    前記第２偏光手段の透過光を入力する撮像素子と、
    前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
    前記画像処理部が、
    前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出処理と、
    前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正処理と、
    前記視差検出処理において生成した視差情報を適用して、前記画像補正処理において生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成処理を実行する画像処理方法。
13. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、
    各々が異なる視点画像に相当する異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
    前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
    前記第２偏光手段の透過光を入力する撮像素子と、
    前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
    前記プログラムは、前記画像処理部に、
    前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出処理と、
    前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正処理と、
    前記視差検出処理において生成した視差情報を適用して、前記画像補正処理において生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成処理を実行させるプログラム。