JP5982751B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成処理等を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用画像と右眼用画像の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。

撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼用画像と、
右側の撮像装置で撮像し、右眼で観察する右眼用画像と、
のペア画像によって構成される。

左眼用画像と右眼用画像のペアによって構成されるステレオ画像対を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

しかし、これらの２つの異なる視点からの画像を撮影するために、２つのカメラを用いて撮影する場合、２台のカメラの精密な同期制御を必要とし、非常に困難であるし、輻輳角の正確な制御もまた、非常に困難である。

立体撮影を行うためのレンズ系の調整を容易にするために、互いに直交関係となるように偏光させる偏光フィルタを組み合わせることによって、光学系を共通化させる立体撮影装置が、例えば特許文献１（特公平６−０５４９９１号公報）に開示されている。

また、２つのレンズと１つの撮像手段から構成された撮像装置で立体撮影を行う方式について、例えば、特許文献２（特開２００４−３０９８６８号公報）に開示がある。この特許文献２に開示された撮像装置は、ＣＣＤの撮像面に対して所定距離だけ離れた位置に、人間の視差に応じた間隔だけ離間して、（ａ）レンズと水平成分偏光フィルタの組み合わせ構成と、（ｂ）レンズと垂直成分偏光フィルタの組み合わせ構成をそれぞれ設定して、これら（ａ），（ｂ）の２つの組み合わせ構成の各々を利用して左眼画像と右眼画像を取得する構成である。

特公平６−０５４９９１号公報 特開２００４−３０９８６８号公報

ところで、上記の特許文献１（特公平６−０５４９９１号公報）に開示された技術にあっては、２つの偏光フィルタの出力を重ねて光路を一系統とすることによって、レンズ系を共通化させている。
しかしながら、後段で右眼用画像及び左眼用画像を抽出するために更に偏光フィルタを設け、光路自体を再度分けて別々の偏光フィルタに入光させなければならず、レンズ系において光の損失が発生し、また、装置の小型化が困難であるなどの問題がある。

また、上記の特許文献２（特開２００４−３０９８６８号公報）に開示された技術にあっては、レンズおよび偏光フィルタの組合せを２組、必要とし、装置の複雑化、大型化が免れない。

本開示は、例えば上記の問題に鑑みてなされたものであり、１台の撮像装置によって撮影される画像に対する処理を実行して立体画像として観察可能な画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
撮像素子と、
前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記入射光制御部は、
左眼視点画像と右眼視点画像と、中央視点画像の３つの視点画像を取得する入射光制御構成を有し、
前記画像処理部は、
前記左眼視点画像と前記右眼視点画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、
前記撮像素子からの前記中央視点画像に対する補正処理を実行して２次元画像を生成する画像補正部と、
前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記入射光制御部は、各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光部と、前記第１偏光部の透過光を入射する第２偏光部であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光部を有し、前記画像処理部は、前記第２偏光部の前記第３偏光領域の透過光に基づく画像と、前記第２偏光部の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する。

さらに、本開示の画像処理装置の一実施態様において、前記第２偏光部の第３偏光領域および第４偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である。

さらに、本開示の画像処理装置の一実施態様において、前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイを有し、前記画像処理部は、マイクロレンズ配置領域に対応する撮像素子の構成画素からの出力信号から得られる２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズの非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して２次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する。

さらに、本開示の画像処理装置の一実施態様において、前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイと、前記マイクロレンズの配置領域に設定され、撮像素子に対する入射光の一部を遮光する遮光膜を有し、前記画像処理部は、マイクロレンズと遮光膜の配置領域に対応する撮像素子の構成画素からの出力信号から得られる２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズと遮光膜の非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して２次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する。

さらに、本開示の画像処理装置の一実施態様において、前記撮像素子は、被写体距離を反映した視差情報を生成するための２つの異なる視点画像を取得する左右視点画像取得領域と、１つの視点からの撮影画像を生成する中央視点画像取得領域を有する。

さらに、本開示の画像処理装置の一実施態様において、前記左右視点画像取得領域は、１色の画素によって構成され、前記画像処理部は、前記１色の画素によって構成された前記左右視点画像取得領域の出力信号から得られる２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部を有する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記撮像素子の構成画素からの出力信号から得られる２つの異なる視点画像を適用して被写体距離を反映した視差情報として、画像の被写体距離情報を反映したデプスマップを生成し、前記デプスマップを適用した画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記撮像素子から取得する２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの取得画像に対する補正処理を実行して２次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する。

さらに、本開示の画像処理装置の一実施態様において、前記視差画像生成部は、前記画像補正部の生成した２次元画像に対して、前記視差情報を適用した画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の実行する前記２Ｄ３Ｄ変換処理は、前記第１視点画像に対して被写体距離に応じた画像シフト処理を行うことで３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理である。

さらに、本開示の第２の側面は、
撮像素子と、
前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記入射光制御部は、
各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光部と、
前記第１偏光部の透過光を入射する第２偏光部であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域からなる第２偏光部を有し、
前記画像処理部は、
前記第２偏光部の前記第３偏光領域の透過光に基づく画像と、前記第２偏光部の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像の欠損画素領域に画素値を設定する補間処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記第２偏光部の第３偏光領域および第４偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である。

さらに、本開示の第３の側面は、
画像処理装置において、画像処理を実行する画像処理方法であり、
画像処理部が、
撮像素子からの出力信号の分離処理により、異なる視点からの観察画像に対応する複数の視点画像に分離する分離ステップと、
前記分離ステップにおける分離処理により取得した２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出ステップと、
前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正ステップと、
前記視差検出ステップにおいて生成した視差情報を適用して、前記画像補正ステップにおいて生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成ステップと、
を実行する画像処理方法にある。

さらに、本開示の第４の側面は、
画像処理装置において、画像処理を実行させるプログラムであり、
画像処理部に、
撮像素子からの出力信号の分離処理により、異なる視点からの観察画像に対応する複数の視点画像に分離させる分離ステップと、
前記分離ステップにおける分離処理により取得した２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成させる視差検出ステップと、
前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成させる画像補正ステップと、
前記視差検出ステップにおいて生成した視差情報を適用して、前記画像補正ステップにおいて生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成させる視差画像生成ステップと、
を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、１枚の撮影画像に基づいて複数の視点画像を取得して３次元画像表示用の画像を生成することが可能となる。
具体的には、例えば、異なる視点からの観察画像に対応する複数の視点画像を撮像素子に撮影させ、画像処理部において、撮像素子の出力信号を分離して、異なる視点からの観察画像に対応する複数の視点画像を取得し、取得した複数の視点画像に基づいて、３次元画像表示用の左眼用画像と右眼用画像を生成する。画像処理部は、撮像素子から得られる複数視点画像に基づいて視差情報を生成し、生成した視差情報を利用した２Ｄ３Ｄ変換処理によって３次元画像表示用の左眼用画像と右眼用画像を生成する。本構成により、１枚の撮影画像に基づいて複数の視点画像を取得して３次元画像表示用の画像を生成する構成が実現される。

画像処理装置の一実施例の全体構成について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 第２偏光部の構成例について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 第２偏光部の構成例について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 画像処理装置の画像処理部の構成例について説明する図である。 右眼用画像補間処理部の処理例について説明する図である。 画像処理装置の画像処理部の構成例について説明する図である。 左右視点画像補間処理部の処理例について説明する図である。 左右視点画像補間処理部の処理例について説明する図である。 視差検出部の処理例について説明する図である。 視差画像生成部の構成例について説明する図である。 ゲイン制御部の一実施例の構成を示すブロック図である。 ゲイン係数算出部において実行する、ゲイン係数の決定方法の一例を示す図である。 ゲイン制御部における微分信号の振幅値を制御する処理の一例について説明する図である。 非線形変換部において実行する非線形変換処理の一例について説明する図である。 画像合成部において実行する画像合成処理について説明する図である。 画像合成部において実行する画像合成処理について説明する図である。 画像処理装置の一実施例の全体構成について説明する図である。 撮像素子の構成およびマイクロレンズアレイの配置構成と左右視点画像の取得処理について説明する図である。 撮像素子の構成およびマイクロレンズアレイの配置構成と左右視点画像の取得処理について説明する図である。 画像処理装置の一実施例の全体構成について説明する図である。 撮像素子の構成およびマイクロレンズアレイの配置構成と左右視点画像の取得処理について説明する図である。 撮像素子の構成およびマイクロレンズアレイの配置構成と左右視点画像の取得処理について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．画像処理装置の構成と処理の概要について
２．フルグリッド型の第２偏光部の適用構成における画像処理について
３．間引きグリッド型の第２偏光部の適用構成における画像処理について
４．マイクロレンズを利用した複数視点画像の取得構成例について
５．マイクロレンズと遮光膜を利用した複数視点画像の取得構成例について
６．本開示の構成のまとめ

［１．画像処理装置の構成と処理の概要について］
図１以下を参照して本開示の画像処理装置の構成と処理の概要について説明する。図１は、画像処理装置の一例である撮像装置の構成を示している。
図１（Ａ）に示す撮像装置１０において、撮影レンズ１１を介して撮影被写体に対応する入射光が入力する。
撮影レンズ１１を介した入射光は、第１偏光部１２、絞り１３、結像レンズ１４、第２偏光部１５を介して撮像素子１６に入力される。

なお、図１（Ａ）は、撮像装置（カメラ）１０を上から見た図、すなわち上面図である。図１（Ａ）の左下に撮像装置１０と撮影者２０の概略図と、ＸＹＺ座標軸を示しているように、図１（Ａ）の撮像装置の構成図は、撮像装置（カメラ）１０を上から見た図である。
図１（Ａ）の中央付近に示す点線縦ライン（Ｘ軸）に示すように、図１（Ａ）の上側が撮影者から見て右（Ｒ）側であり、図１（Ａ）の下側が撮影者から見て左（Ｌ）側となる。

撮像素子１６は、例えばＣＣＤ、ＣＭＯＳ等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部１７に出力する。
画像処理部１７では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部１８に格納する。
画像処理部１７の構成と処理の詳細については後述する。

図１（Ａ）に示す構成において、第１偏光部１２は、図１（Ｂ）に示す構成を有し、第２偏光部１５は、図１（Ｃ）に示す構成を有する。
第１偏光部１２は、図１（Ｂ）に示すように、左右に２分割されており、
左半分の領域に垂直偏光領域１２Ｖ、
右半分の領域に水平偏光領域１２Ｈ、
これらの異なる偏光領域が構成されている。なお、これらの偏光領域は例えば偏光フィルタを用いて構成される。

垂直偏光領域１２Ｖは、垂直方向の偏波光のみを通過させ、垂直偏光領域１２Ｖを通過した光は、垂直方向の偏波光となる。
水平偏光領域１２Ｈは、水平方向の偏波光のみを通過させ、水平偏光領域１２Ｈを通過した光は、水平方向の偏波光となる。

図１（Ｂ）に示す重心点３１は、垂直偏光領域１２Ｖの重心位置である。この垂直偏光領域１２Ｖの透過光は、重心点３１を視点として観察した画像に相当する。
同様に、図１（Ｂ）に示す重心点３２は、水平偏光領域１２Ｈの重心位置である。この水平偏光領域１２Ｈの透過光は、重心点３２を視点として観察した画像に相当する。
すなわち、
垂直偏光領域１２Ｖの重心位置である重心点３１を視点として観察した画像は、左眼からの観察画像である左眼視点画像（Ｌ画像）に対応し、
水平偏光領域１２Ｈの重心位置である重心点３２を視点として観察した画像は、右眼からの観察画像である右眼視点画像（Ｒ画像）に対応する。
このように、第１偏光部１２を透過する画像は、左右の２つの異なる視点画像を、それぞれ垂直偏波光と水平偏波光として透過させることになる。

この２つの異なる視点画像、すなわち、
左眼用画像に相当するＬ画像（垂直偏波光）、
右眼用画像に相当するＲ画像（水平偏波光）、
これらの光は、結像レンズ１４を介して、第２偏光部１５に到達する。
なお、以下の説明において、「右眼用画像」は「右眼画像」、「左眼用画像」は「左眼画像」と簡略化して表記する場合がある。

第２偏光部１５は図１（Ｃ）に示す構成を持つ。
第２偏光部１５は、図１（Ｃ）に示すように、
水平偏光領域１５Ｈ、
垂直偏光領域１５Ｖ、
全透過（非偏光）領域１５Ａ、
これらの３種類の領域を上から順に繰り返し設定した構成を有する。

水平偏光領域１５Ｈは、水平方向の偏波光を選択的に透過して撮像素子１６に水平偏波光のみを結像させる。
垂直偏光領域１５Ｖは、垂直方向の偏波光を選択的に透過して撮像素子１６に垂直偏波光のみを結像させる。
全透過（非偏光）領域１５Ａは、水平方向の偏波光も垂直方向の偏波光もすべて透過し、すべつの入射光を撮像素子１６に結像させる。

なお、第２偏光部１５に設定される各偏光領域は、例えばワイヤグリッド偏光子を用いて構成される。微細なワイヤ（例えばＡｌ（アルミ）線）を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。

図２に、第２偏光部１５と、第２偏光部１５の透過光を受光する撮像素子１６を重ねた図を示す。
撮像素子１６は、ＲＧＢ配列（ベイヤー配列）を有する撮像素子を例として示している。

図２に示す構成例は、
第２偏光部１５に設定される垂直偏光領域１５Ｖと、水平偏光領域１５Ｈは、撮像素子の２ライン単位で隣接して設定され、全透過（非偏光）領域１５Ａは１２ライン単位で設定した例である。すなわち、
（ａ）２ラインの垂直偏光領域１５Ｖ、
（ｂ）２ラインの水平偏光領域１５Ｈ、
（ｃ）１２ラインの全透過（非偏光）領域１５Ｖ、
これら（ａ）〜（ｃ）の３種類の領域が、撮像素子１６の縦方向（Ｙ方向）に繰り返し設定される。

水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
垂直偏光領域１５Ｖは、垂直方向の偏波光、すなわち、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）のみを選択的に透過して撮像素子１６に左眼画像（Ｌ画像）を結像させる。
全透過（非偏光）領域１５Ａは、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）と、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）との両画像を透過させる。この画像は、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない通常の単眼カメラで撮影した通常画像と同様の画像となる。

図２に示す構成例は、第２偏光部１５の一構成例であり、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈは、撮像素子の２ライン単位で隣接して設定され、全透過（非偏光）領域１５Ａは１２ライン単位で設定した例である。
第２偏光部１５の構成としては、この他にも様々な構成が可能である。
例えば図３に示すように、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈをそれぞれ矩形領域に設定し、これらを交互に配置した構成も設定可能である。
図４は、図３に示す第２偏光部とＲＧＢ配列の撮像素子１６を重ねて示した図である。

図４に示す例は、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している２行の領域、
１４行の全透過（非偏光）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

本構成においては、
２×２の４画素からなる矩形領域からなる水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
２×２の４画素からなる矩形領域からなる垂直偏光領域１５Ｖは、垂直方向の偏波光、すなわち、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）のみを選択的に透過して撮像素子１６に左眼画像（Ｌ画像）を結像させる。
全透過（非偏光）領域１５Ａは、（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）と、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）との両画像を透過させる。この画像は、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない中心点３３から観察した通常画像と同様の画像となる。

さらに、第２偏光部１５の他の構成として例えば図５に示すように、全透過（非偏光）領域を設定せず、水平偏光領域１５Ｈと、垂直偏光領域１５Ｖをそれぞれ１行〜複数行単位で設定し、これらを交互に配置した構成としてもよい。
図６は、図５に示す第２偏光部とＲＧＢ配列の撮像素子１６を重ねて示した図である。

図６に示す例は、
２行の領域を単位として、水平偏光領域１５Ｈと、垂直偏光領域１５Ｖとを設定し、これらを交互に配置している。
すなわち、２行単位の水平偏光領域１５Ｈと垂直偏光領域１５Ｖを縦方向（Ｙ方向）に繰り返して配置した構成である。

本構成においては、
２行の水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
また２行の垂直偏光領域１５Ｖは、垂直方向の偏波光、すなわち、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）のみを選択的に透過して撮像素子１６に左眼画像（Ｌ画像）を結像させる。
本構成では、全透過（非偏光）領域１５Ａが設定されていないので、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像は取得されない。

このように、第２偏光部１５の構成は様々な構成とすることが可能である。この第２偏光部１５の構成に応じて、図１（Ａ）に示す撮像装置１０の画像処理部１７においては、異なる処理が実行される。
以下、第２偏光部１５の構成に応じた複数の画像処理例について説明する。

［２．フルグリッド型の第２偏光部の適用構成における画像処理について］
まず、フルグリッド型の第２偏光部の適用構成における画像処理について説明する。
なお、フルグリッド型の第２偏光部とは、図１（Ａ）に示す撮像素子１６の前面に設定される第２偏光部１５の全てに偏光用のワイヤグリッドが設定された構成である。すなわち、図５、図６を参照して説明した第２偏光部１５を適用した構成である。

撮像素子の全ての画素位置に対して、第２偏光部１５には水平偏光または垂直偏光用のワイヤグリッドが設定されている。このフルグリッド型の第２偏光部を用いた場合、全透過（非偏光）領域は設定されない。
従って、フルグリッド型の第２偏光部を適用した構成では、撮像素子１６には、
左眼用画像（Ｌ画像）と、
右眼用画像（Ｒ画像）、
これらの異なる２つの視点画像のみが撮り込まれる。
図５、図６を参照して説明した構成、すなわち２行単位で水平偏光領域１５Ｈと、垂直偏光領域１５Ｖが設定された構成では、撮像素子１６には、２行単位で、
右眼用画像（Ｒ画像）［＝水平偏光領域１５Ｈの透過画像］
左眼用画像（Ｌ画像）［＝垂直偏光領域１５Ｖの透過画像］
これらの各画像が撮り込まれる。

図１（Ａ）に示す撮像装置１０に、このようなフルグリッド型の第２偏光部１５を適用した構成における画像処理部１７の構成と処理について、図７を参照して説明する。
図７は、図１に示す画像処理部１７の詳細構成を説明する図である。
フルグリッド型の第２偏光部１５を適用した構成では、撮像素子１６には、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）に対応する２つの視点画像のみが撮り込まれる。
なお、以下の説明において、
撮像素子１６における（ａ）垂直偏光領域と（ｂ）水平偏光領域に対応する画素を、
ＰＬ（Ｐｏｌａｒｉｚｅｄ（＝偏光））画素と呼ぶ。
（ｃ）全透過（非偏光）領域に対応する画素を、
Ｎ（Ｎｏｎ−ｐｏｌａｒｉｚｅｄ（非偏光））画素と呼ぶ。

本実施例では、フルグリッド型の第２偏光部１５を適用した構成であり、
撮像素子１６の出力は、
ＰＬ画素出力（＝垂直偏光領域と水平偏光領域対応画素の出力）、
のみによって構成される。

図７に示す撮像素子１６から出力されるＰＬ画素信号は、画像処理部１７の画素分離部５１において、
右眼用画像（Ｒ画像）信号６１［＝水平偏光領域１５Ｈの透過画像信号］
左眼用画像（Ｌ画像）信号６２［＝垂直偏光領域１５Ｖの透過画像信号］
これらの２つの視点画像への分離処理が実行される。
すなわち、図６を参照して説明したように２行単位で、水平偏光領域１５Ｈと垂直変な光領域１５Ｖが設定されている場合、
画素分離部５１は、２行単位で設定された水平偏光領域１５Ｈのみからなる画像信号と、２行単位で設定された垂直偏光領域１５Ｖのみからなる画像信号とに分離する処理を行う。

画素分離部５１の分離処理によって分離された各信号はそれぞれ以下の各補間処理部に入力される。
水平偏光領域１５Ｈの画像信号のみからなる右眼用画像（Ｒ画像）信号６１は、右眼用画像（Ｒ画像）補間処理部５２に入力される。
垂直偏光領域１５Ｖの画像信号のみからなる左眼用画像（Ｌ画像）信号６２は、左眼用画像（Ｌ画像）補間処理部５４に入力される。

右眼用画像（Ｒ画像）補間処理部５２は、画素分離部５１から入力する右眼用画像（Ｒ画像）信号６１に含まれない画素信号、すなわち垂直偏光領域１５Ｖに対応する画素の画素値を、右眼用画像信号が撮り込まれている水平偏光領域１５Ｈの画像信号を用いて補間処理を行い、全ての画素に右眼用画像（Ｒ画像）信号を設定した補間画像６３（２Ｄ−Ｒａｗ（Ｒ）画像）を生成して出力する。

一方、左眼用画像（Ｌ画像）補間処理部５４は、画素分離部５１から入力する左眼用画像（Ｌ画像）信号６２に含まれない画素信号、すなわち水平偏光領域１５Ｈに対応する画素の画素値を、左眼用画像信号が撮り込まれている垂直偏光領域１５Ｖの画像信号を用いて補間処理を行い、全ての画素に左眼用画像（Ｌ画像）信号を設定した補間画像６４（２Ｄ−Ｒａｗ（Ｌ）画像）を生成して出力する。

なお、Ｒａｗ画像とは、画素位置に１つの色情報例えばＲＧＢのいずれか１つのみの色情報が設定された画像である。この色は撮像素子に設定されたカラーフィルタの設定によって決定される色である。
Ｒａｗ画像は後段のデモザイク処理、すなわち各画素位置に全ての画素値（例えばＲＧＢの各画素値）を設定するデモザイク処理によって例えば表示装置に出力可能なカラー画像が生成される。

右眼用画像（Ｒ画像）補間処理部５２の実行する補間処理例について、図８を参照して説明する。図８には、
（ａ）画素分離部５１から入力する右眼用画像（Ｒ画像）信号６１
（ｂ）右眼用画像（Ｒ画像）補間処理部５２の生成する補間画像６３（２Ｄ−Ｒａｗ（Ｒ）画像）
これらの各画像を示している。

図８（ａ）に示すように、画素分離部５１から入力する右眼用画像（Ｒ画像）信号６１は、水平偏光領域１５Ｈの画像信号に対応する右眼用画像信号のみからなり、垂直偏光領域１５Ｖに対応する画素の画素値は設定されていない。
右眼用画像（Ｒ画像）補間処理部５２は、この画素値の設定されていない垂直偏光領域１５Ｖに対応する画素の画素値を補間処理によって設定する。

すなわち、右眼用画像信号が撮り込まれている水平偏光領域１５Ｈの透過画像信号を用いて補間処理を行い、全ての画素に右眼用画像（Ｒ画像）信号を設定した図８（ｂ）に示す補間画像６３（２Ｄ−Ｒａｗ（Ｒ）画像）を生成して出力する。
具体的には、例えば、画素値の設定されない画素領域の画素値を、上下方向にある画素の画素値を適用した線形補間処理を行って算出して設定する。
また、補間処理に際して、画素値の各方向の変化率、すなわちエッジ方向を考慮し、変化率の小さい方向にある画素の画素値の重みを大きく設定する方向選択型の補間処理を行う構成としてもよい。

右眼用画像（Ｒ画像）補間処理部５２の生成する補間画像６３（２Ｄ−Ｒａｗ（Ｒ）画像）は、図１（Ｂ）に示す第１偏光部１２の右半円の重心点３２、すなわち、水平偏光領域１２Ｈの重心位置を視点位置として撮影されたＲａｗ画像、すなわち右視点から見た右眼用画像（Ｒ画像）に対応するＲａｗ画像となる。

一方、図７に示す左眼用画像（Ｌ画像）補間処理部５４は、画素分離部５１から入力する左眼用画像（Ｌ画像）信号６２に含まれない画素信号を、左眼用画像信号が撮り込まれている垂直偏光領域１５Ｖの画像信号を用いて補間処理を行い、全ての画素に左眼用画像（Ｌ画像）信号を設定した補間画像６４（２Ｄ−Ｒａｗ（Ｌ）画像）を生成して出力する。

この補間画像６４（２Ｄ−Ｒａｗ（Ｌ）画像）は、図１（Ｂ）に示す第１偏光部１２の左半円の重心点３１、すなわち、垂直偏光領域１２Ｖの重心位置を視点位置として撮影されたＲａｗ画像、すなわち左視点から見た左眼用画像（Ｌ画像）に対応するＲａｗ画像となる。

これらの２つの補間処理部の補間処理、すなわち、
右眼用画像（Ｒ画像）補間処理部５２の補間処理、
左眼用画像（Ｌ画像）補間処理部５４の補間処理、
これらの補間処理によって、
右眼用画像（Ｒ画像）に対応する補間画像６３（２Ｄ−Ｒａｗ（Ｒ）画像）、
左眼用画像（Ｌ画像）に対応する補間画像６４（２Ｄ−Ｒａｗ（Ｌ）画像）、
これらの２つの視点に対応するＲａｗ画像が生成される。
これらの２つのＲａｗ画像は、撮像素子１６の全ての画素位置に画素値が設定された２Ｄ（２次元）Ｒａｗ画像である。

各補間処理部５２，５４の生成した補間画像（２Ｄ−Ｒａｗ画像）６３，６４は、デモザイク処理部５３，５４に入力される。
右眼用画像（Ｒ画像）補間処理部５２の生成した補間画像６３（２Ｄ−Ｒａｗ（Ｒ）画像）はデモザイク処理部５３に入力される。
左眼用画像（Ｌ画像）補間処理部５４の生成した補間画像６４（２Ｄ−Ｒａｗ（Ｌ）画像）はデモザイク処理部５４に入力される。

デモザイク処理部５３は、右視点から観察した右眼用画像に相当する補間画像（２Ｄ−Ｒａｗ（Ｒ）画像）６３に対するデモザイク処理、およびその他のカメラ信号処理を行い、表示部等に出力可能な右視点からの観察画像に対応する２次元画像を生成する。
前述したように、デモザイク処理は、全ての画素位置に全ての色信号、例えばＲＧＢの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。

一方、デモザイク処理部５４は、左視点から観察した左眼用画像に相当する補間画像（２Ｄ−Ｒａｗ（Ｌ）画像）６４に対するデモザイク処理、およびその他のカメラ信号処理を行い、表示部等に出力可能な左視点からの観察無画像に対応する２次元画像を生成する。

デモザイク処理部５３，５４の生成した２つの異なる視点からの画像は、３次元（３Ｄ）画像表示に適用する以下の２つの異なる視点からの画像、すなわち、
左眼用図像（Ｌ画像）７１、
右眼用画像（Ｒ画像）７２、
として画像出力部５６を介して出力される。

上述したように、図７に示す画像処理部１７は、撮像素子１６上に配置した偏光子に応じて画素単位で取得される異なる視点からの画像、すなわち左眼用、右眼用の画像を取得する。
さらに、これらの画像に基づく補間処理により、
全ての画素位置に左視点からの観察画像に相当する画素値を設定した左眼用画像と、
全ての画素位置に右視点からの観察画像に相当する画素値を設定した右眼用画像と、
を生成する。
これらの処理によって、１枚の撮影画像に基づいて、３Ｄ画像表示に適用する高精細な左眼用画像と右眼用画像を出力する。

なお、上述の実施例では、図１他を参照して説明した第１偏光部１２が、水平偏光領域を右側に設定し垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。
また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる２つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。
なお、第２偏光部１５は、第１偏光部１２の偏光領域の設定に対応させて、第１偏光部１２に設定した偏光領域と同一の組み合わせを持つ偏光領域を設定することが必要である。

［３．間引きグリッド型の第２偏光部の適用構成における画像処理について］
次に、間引きグリッド型の第２偏光部の適用構成における画像処理について説明する。
なお、間引きグリッド型の第２偏光部とは、図１（Ａ）に示す撮像素子１６の前面に設定される第２偏光部１５の一部に偏光用のワイヤグリッドが設定された構成である。すなわち、水平偏光領域１５Ｈと垂直偏光領域１５Ｖを設定するとともに、偏光素子としてのワイヤグリッドを設定しない全透過（非偏光）領域１５Ａを設定した構成である。

具体的には、例えば、図１（Ｃ）、図２を参照して説明したように、行単位で水平偏光領域１５Ｈと垂直偏光領域１５Ｖを設定するとともに、偏光素子としてのワイヤグリッドを設定しない全透過（非偏光）領域１５Ａを設定した構成である。
あるいは、図３、図４を参照して説明したように、矩形領域の水平偏光領域１５Ｈと垂直偏光領域１５Ｖを設定するとともに、偏光素子としてのワイヤグリッドを設定しない全透過（非偏光）領域１５Ａを設定した構成などである。
なお、間引きグリッド型の第２偏光部の構成としては、図１（Ｃ）、図２、図３、図４の構成以外の設定も可能であり、
偏光領域と非偏光領域を有する偏光部を間引きグリッド型の偏光部として定義する。

すなわち、間引きグリッド型の第２偏光部１５は、
（ａ）垂直偏光領域、
（ｂ）水平偏光領域、
（ｃ）全透過（非偏光）領域、
これらの３種類の領域に区分され、それぞれの領域対応の信号を画像処理部１７に入力する。
なお、以下の説明において、
撮像素子１６における（ａ）垂直偏光領域と（ｂ）水平偏光領域に対応する画素を、
ＰＬ（Ｐｏｌａｒｉｚｅｄ（＝偏光））画素と呼ぶ。
（ｃ）全透過（非偏光）領域に対応する画素を、
Ｎ（Ｎｏｎ−ｐｏｌａｒｉｚｅｄ（非偏光））画素と呼ぶ。

撮像素子１６の出力は、
ＰＬ画素出力（＝垂直偏光領域と水平偏光領域対応画素の出力）、
Ｎ画素出力（＝全透過（非偏光）領域対応画素の出力）
これらの出力によって構成される。

ここでは、図３、図４を参照して説明した第２偏光部１５と撮像素子１６の組み合わせ構成を持つ撮像素子１６からＰＬ画素出力とＮ画素出力を画像処理部１７に出力した場合の処理例について説明する。
すなわち、撮像素子１６は、図４を参照して説明したように、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域と、１４行の全透過（非偏光）領域１５Ａ、
これらが縦方向（Ｙ方向）に繰り返して配置された構成を持つ。

図１（Ａ）に示す撮像装置１０に、このような間引きグリッド型の第２偏光部１５を適用した構成における画像処理部１７の構成と処理について、図９を参照して説明する。
図９は、図１に示す画像処理部１７の詳細構成を説明する図である。

本実施例において、図９に示す撮像素子１６から出力される信号には、
２×２の４画素からなる垂直偏光領域１５Ｖの画素信号（＝偏光領域画素（ＰＬ画素）信号）、
２×２の４画素からなる水平偏光領域１５Ｈの画素信号（＝偏光領域画素（ＰＬ画素）信号）、
全透過（非偏光）領域１５Ａの画素信号（＝非偏光領域画素（Ｎ画素）信号）、
これらの３種類の画素信号が含まれる。

撮像素子１６から出力される信号は、画像処理部１７の画素分離部１５１において、
偏光領域画素（ＰＬ画素）と、
非偏光領域画素（Ｎ画素）と、
これらの２つの出力への分離処理が実行される。

画素分離部１５１の分離処理によって分離されたＮ画素信号（非偏光画素信号）１６１は、中央視点画像補間処理部１５２に入力される。
中央視点画像補間処理部１５２は、Ｎ画素信号（非偏光画素信号）１６１から欠落した画素領域、すなわち、ＰＬ画素領域の画素についての画素補間処理を実行する。具体的には、例えば、ＰＬ画素領域の画素値を、上下のＮ画素の画素値を参照して算出して設定する補間処理を実行する。

この画素補間処理によって、画素値の欠落している全てのＰＬ画素領域の画素値を設定して、入力画像と同等の画素数を持つ補間画像（２Ｄ−Ｒａｗ画像）１６２を生成する。補間画像（２Ｄ−Ｒａｗ画像）１６２は各画素にＲＧＢのいずれかの画素値の設定された画像である。

中央視点画像補間処理部１５２の生成する補間画像（２Ｄ−Ｒａｗ画像）１６２は、撮像素子１６の構成画素の全ての画素にＮ画素信号（非偏光画素信号）が設定された画像となる。この画像は、図１（Ｂ）に示す第１偏光部１２の中心点３３から観察した画像に相当する１枚の２Ｄ（２次元）Ｒａｗ画像である。

中央視点画像補間処理部１５２の生成した補間画像（２Ｄ−Ｒａｗ画像）１６２は、デモザイク処理部１５３に入力される。
デモザイク処理部１５３は、補間画像（２Ｄ−Ｒａｗ画像）１６２に対するデモザイク処理、およびその他のカメラ信号処理を行い、通常の２次元画像に変換する。
デモザイク処理は、全ての画素位置に全ての色信号、例えばＲＧＢの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。
デモザイク処理部１５３の生成した２Ｄ−ＲＧＢ画像１６３は、視差画像生成部１５６に入力される。

一方、画素分離部１５１の分離処理によって生成されるもう１つの分離信号であるＰＬ画素信号（偏光画素信号）１６５は、非偏光領域画素（Ｎ画素）の画素値を持たない、偏光領域画素（ＰＬ画素）の画素値のみからなる画像信号となる。
このＰＬ画素信号（偏光画素信号）１６５は、左右視点画像補間処理部１５４に入力される。

ここで説明する処理例は、図４を参照して説明した２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域と、１４行の全透過（非偏光）領域１５Ａ、これらが縦方向（Ｙ方向）に繰り返して配置された構成である。
従って、画素分離部１５１の分離処理によって生成されるＰＬ画素信号（偏光画素信号）１６５は、２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域が、縦方向に１４行おきに設定された画像となる。

左右視点画像補間処理部１５４は、２×２の４画素からなる矩形領域を単位として垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域（ＰＬ画素領域）のみを処理対象として選択し、選択したＰＬ画素を利用して、次段の視差検出部１５５においてデプスマップ１６７を生成するための視差画像、すなわち、
左眼視点から観察した画像に対応する左眼用画像信号（垂直偏光画像信号）、
右眼視点から観察した画像に対応する右眼用画像信号（水平偏光画像信号）、
これらの視差画像１６６を生成する。

左右視点画像補間処理部１５４における視差画像の生成処理例について図１０を参照して説明する。
左右視点画像補間処理部１５４は、図１０に示すように、ＰＬ画素信号（偏光画素信号）１６５に含まれるＰＬ画素領域について、
すべてを垂直偏光領域１５Ｖに対応する画素値を設定した左眼画像信号（垂直偏光画像信号）１６６ａ、
すべてを水平偏光領域１５Ｈに対応する画素値を設定した右眼画像信号（水平偏光画像信号）１６６ｂ、
これらの各画像を生成する。

なお、図１０に示す左眼画像信号（垂直偏光画像信号）１６６ａは、ＰＬ画素信号（偏光画素信号）１６５に含まれるＰＬ画素領域の水平偏光画素領域の画素値をリセット（取り除き）、近傍の垂直偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。
同様に、図１０に示す右眼画像信号（水平偏光画像信号）１６６ｂは、ＰＬ画素信号（偏光画素信号）１６５に含まれるＰＬ画素領域の垂直偏光画素領域の画素値をリセット（取り除き）、近傍の水平偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。

この結果、左眼画像信号（垂直偏光画像信号）１６６ａに含まれる画素値の設定された画像は、図１（Ｂ）に示す第１偏光部１２の左側の重心点３１から見た画像、すなわち左眼画像に対応する画像となる。
同様に、右眼画像信号（水平偏光画像信号）１６６ｂに含まれる画素値の設定された画像は、図１（Ｂ）に示す第１偏光部１２の右側の重心点３２から見た画像、すなわち右眼画像に対応する画像となる。

このように、左右視点画像補間処理部１５４は、ＰＬ画素信号（偏光画素信号）１６５に含まれるＰＬ画素領域について、左眼画像、右眼画像のそれぞれ水平方向に欠落している情報を補間して入力画像と同等の水平画素数を持つ、
左眼画像信号（垂直偏光画像信号）１６６ａ、
右眼画像信号（水平偏光画像信号）１６６ｂ、
を生成する。
左右視点画像補間処理部１５４の生成したこれらの画像は、視差検出部１５５に入力される。

視差検出部１５５は、水平画素数が入力画像と同等の画素数を有する図１０に示す、
左眼画像信号（垂直偏光画像信号）１６６ａ、
右眼画像信号（水平偏光画像信号）１６６ｂ、
これらの２つの画像に対して、例えばブロックマッチング処理等を用いて、対応画素を比較し、被写体ずれ量を求めることにより視差情報としての被写体距離を検出する。
すなわち、例えばブロックマッチング処理によって、左眼画像と右眼画像の画素間のずれを検出し、ずれ量に応じた被写体距離を算出する。

視差検出部１５５は、例えば各画素対応の被写体距離情報を持つデフスマップ１６７を生成して出力する。
なお、デプスマップ１６７は、画像の構成画素各々についての被写体距離情報を持つデータである。例えば被写体距離に応じた輝度値を設定した画像として構成される。
具体的には、例えば、
被写体距離が小（カメラに近い）の領域は高輝度、
被写体距離が大（カメラから遠い）の領域は低輝度、
視差検出部１５５は、このような画素値設定のなされたデプスマップを生成して、視差画像生成部１５６に出力する。

なお、左右視点画像補間処理部１５４の生成する、
左眼画像信号（垂直偏光画像信号）１６６ａ、
右眼画像信号（水平偏光画像信号）１６６ｂ、
これらの画像は、図１０に示すように、入力画像中のＮ画素（非偏光画素）領域については、画像信号を有していないが、視差検出部１５５は、例えばこれらの画素値を持たないＮ画素（非偏光画素）領域については、左眼画像信号（垂直偏光画像信号）１６６ａに基づく補間画素値を設定した左眼画像と、右眼画像信号（水平偏光画像信号）１６６ｂに基づく補間画素値を設定した右眼画像を算出し、これらの画像間のマッチング処理によってすべての画素対応の距離情報を算出する。
なお、画素値補間処理には、例えば線形補間処理等が利用可能である。

なお、左右視点画像補間処理部１５４の生成する視差画像（ＬＲ画像）は、次段の視差検出部１５５においてデプスマップ１６７を生成するために用いられるのみであり、ＰＬ画素領域の視差が得られればよい。
図１０に示す各視点からの画像、すなわち、
左眼画像信号（垂直偏光画像信号）１６６ａ、
右眼画像信号（水平偏光画像信号）１６６ｂ、
これらの画像はＲＧＢの各信号を設定した画像となっているが、画素分離部１５１の出力するＰＬ画素信号（偏光画素信号）１６５に含まれるＧ画素のみを用いて視差画像としてのＬ画像とＲ画像を生成してもよい。

このＧ画素のみを用いた視差画像の生成処理例について図１１を参照して説明する。
Ｇ画素のみを用いた視差画像の生成処理は図１１に示す以下の２つの補間処理ステップからなる。
（ａ）補間処理ステップ１＝偏光領域におけるＧ画素補間処理、
（ｂ）補間処理ステップ２＝水平方向のＧ画素ライン（行）の設定処理、

図１１（ａ）は、
（ａ）補間処理ステップ１＝偏光領域におけるＧ画素補間処理
この処理を示している。
図１１には、左眼画像信号（垂直偏光画像信号）を生成する処理例を示している。すなわち、画素分離部１５１の生成するＰＬ画素信号１６５に含まれる左眼画像信号（垂直偏光画像信号）に基づいて、撮像素子１６の全画素領域に左眼画像信号に対応するＧ画素を設定する処理である。

先に図３、図４を参照して説明したように、
左眼用画像信号である垂直偏光領域１５Ｖと、右眼用画像信号である水平偏光領域１５Ｈは２×２の画素領域として繰り返し設定されている。
図１１（ａ）には、偏光領域の２行のみを示しており、
２×２画素の左眼画像信号に対応する垂直偏光領域１５Ｖと、２×２画素の右眼画像信号に対応する水平偏光領域１５Ｈが交互に設定された画素領域を示している。
まず、右眼用画像に対応する水平偏光領域１５Ｈの画素値を削除して、ここに左眼画像信号に対応する垂直偏光領域１５ＶにあるＧ画素の画素値に基づく補間画素値を設定する。

例えば図１１（ａ）に示す、Ｇ１４、Ｇ２３が補間処理によって生成されるＧ画素である。
例えば、Ｇ１４の画素値Ｇ１４は、同一行の２つの左右にある左眼画像信号に対応する垂直偏光領域１５Ｖにある最近接のＧ画素の画素値（Ｇ１２，Ｇ１６）を用いて以下の式で算出する。
Ｇ１４＝（１／２）（Ｇ１２＋Ｇ１６）
同様に、Ｇ２３の画素値Ｇ２３は、同一行の２つの左右にある垂直偏光領域１５Ｖにある最近接のＧ画素の画素値（Ｇ２１，Ｇ２５）を用いて以下の式で算出する。
Ｇ２３＝（１／２）（Ｇ２１＋Ｇ２５）

このように、左眼用画像の生成時には、右眼用画像に対応する水平偏光領域１５ＨのＧ画素設定位置に、左右の左眼用画像に対応する垂直偏光領域１５ＶのＧ画素値に基づく線形補間処理を行う。
この処理によって、２行の偏光画素領域の各列に左眼用画像に対応する１つのＧ画素の画素値が設定される。

この各列に１つ設定されたＧ画素を１行のラインに設定する処理が図１１（ｂ）に示す処理である。すなわち、
（ｂ）補間処理ステップ２＝水平方向のＧ画素ライン（行）の設定処理、
この補間処理ステップ２である。
図１１（ｂ）には、この補間処理ステップ２の処理例として、２つの手法（手法１、手法２）を示している。

（ｂ１）第１手法は、図１１（ａ）に示すステップ１において設定した各列に１つあるＧ画素値を１つの行に並べる処理である。
なお、偏光領域は２行単位で設定されているが、垂直２行に対して１行のＧ画素ラインとして出力する。

（ｂ２）第２手法は、図１１（ａ）に示すステップ１において設定した各列に１つあるＧ画素値の隣接する２つのＧ画素値を用いて１つの新たなＧ画素値を算出して１行のＧ画素ラインを設定する処理である。
例えば、図１１（ｂ）に示すように、（ｂ２）に示す新たなＧ画素の画素値Ｇ１は、
Ｇ１＝（１／２）（Ｇ２１＋Ｇ１２）
上記式に従って算出する。
同様に、Ｇ２，Ｇ３，Ｇ４・・・を図１１（ａ）に示すステップ１において設定した隣接する２つのＧ画素値を用いて算出する。
これら手法１または手法２のいずれかを行う補間処理ステップ２の実行により、偏光領域に対応する行の画素には、左眼視点画像に対応するＧ画素の設定が完了する。

なお、図１１は、左眼画像信号（垂直偏光画像信号）を生成する処理例を示しているが、右眼画像信号（水平偏光画像信号）の生成処理は、右眼画像信号（水平偏光画像信号）を利用して、垂直偏光領域１５Ｖを補間対象領域とした補間処理を実行すればよい。この補間処理により、偏光領域の各行に右眼視点画像に対応するＧ画素の設定を行うことができる。

このように、左右視点画像補間処理部１５４は、
偏光領域に左眼画像のＧ画素値を設定した補間画像、
偏光領域に右眼画像のＧ画素値を設定した補間画像、
これらの２つの補間画像を生成して視差検出部１５６に提供する構成としてもよい。

視差検出部１５５は、このＧ画素のみからなる視差画像としての２つの補間画像を入力してデプスマップ１６７を生成する。
この処理について、図１２を参照して説明する。

図１１を参照して説明した左右視点画像補間処理部１５４の実行する補間画像生成処理において生成される補間画像は、
偏光領域に左眼画像のＧ画素値を設定した補間画像、
偏光領域に右眼画像のＧ画素値を設定した補間画像、
これらの補間画像である。
視差検出部１５５は、まず、これらの補間画像を適用して偏光領域の各画素に対応する視差を算出して、視差に対応する被写体距離（Ｄ：デプス）を算出する。

次に、この偏光領域のみのデプス情報を用いて、非偏光領域のデプスを推定するデ゜プス補間処理を実行する。図１２は、このデプス情報補間処理例を示す図である。
図１２に示すように、偏光領域に設定されたデプスＤ１，Ｄ２を用いて、非偏光領域の各に画素に対応するデプスを算出して設定する。
図１２の例では、説明を簡単にするために偏光領域が１行、非偏光領域が７行に設定された例を示しており、Ｄ１，Ｄ２がそれぞれ任意の列に対する偏光領域の画素に対応するデプス情報である。
これらは、左右視点画像補間処理部１５４の生成した、
偏光領域に左眼画像のＧ画素値を設定した補間画像、
偏光領域に右眼画像のＧ画素値を設定した補間画像、
これらの補間画像によって算出されるデプス情報である。

視差検出部１５５は、さらに、これらのデプス情報に基づいて、非偏光領域の各画素対応のデプスを推定して設定する。図１２には、任意の列において偏光領域の２つの画素に対応するデプスＤ１，Ｄ２に基づいて算出する同じ列の９つのデプス情報（Ｄ'１〜Ｄ'９）の算出処理例を示している。具体的には、例えば、以下のような算出処理を実行する。
Ｄ'１＝Ｄ１
Ｄ'２＝（７／８）Ｄ１＋（１／８）Ｄ２
Ｄ'３＝（６／８）Ｄ１＋（２／８）Ｄ２
： ：
Ｄ'８＝（１／８）Ｄ１＋（７／８）Ｄ２
Ｄ'９＝Ｄ２
このように、Ｄ１，Ｄ２を用いた拡大処理を行い、Ｄ１，Ｄ２からの距離に応じた重みを設定して各画素のデプスを推定したデプスマップを生成する。
このようにして生成されたデプスマップ１６７が視差画像生成部１５６に提供される。
ここで、図１２の例では簡単のために偏光領域が１行、非偏光領域が７行として拡大処理について説明したが、図１０で説明するように偏光領域が２行である場合、図１１を用いて上述したように、偏光領域に対して１行のデプスマップが生成される。このデプスマップは、偏光領域の２行に対して仮想的に中央の行のデプスマップとなっているため、偏光領域の２行、および非偏光領域のｋ行に対して、図１２での説明と同様にして距離に応じた重みを設定して各画素のデプスを推定したデプスマップを生成する。

上述したように、左右視点画像補間処理部１５４における視差情報算出用の補間画像生成処理、および、視差検出部１５５におけるデプスマップ１６７の生成処理としては様々な処理が適用可能である。

次に、視差画像生成部１５６において実行する処理について説明する。
視差画像生成部１５６は、デモザイク処理部１５３から出力される２次元画像である２Ｄ−ＲＧＢ画像１６３と、視差検出部１５５から出力される視差情報としてのデプスマップ１６７を用いて、左眼画像（Ｌ画像）１７１と、右眼画像（Ｒ画像）１７２の２枚の画像を生成する。

すなわち、２Ｄ−ＲＧＢ画像１６３に対して、視差情報としてのデプスマップ１６７に基づいて被写体距離に応じた視差を設定する画像変換処理を実行して、左眼画像（Ｌ画像）１７１と、右眼画像（Ｒ画像）１７２を生成して出力する。
なお、この視差画像生成部１５６において実行する画像変換処理は、１枚の２次元画像（２Ｄ画像）に基づく画像変換により３次元画像表示に適用可能な左眼画像（Ｌ画像）１７１と、右眼画像（Ｒ画像）１７２を生成して出力する処理であり、一般的には例えば２Ｄ３Ｄ変換処理と呼ばれる処理である。

視差画像生成部１５６において実行する２Ｄ３Ｄ変換処理の一例について、以下説明する。なお、２Ｄ３Ｄ変換処理については、様々な処理が提案されており、視差画像生成部１５６においては、以下に説明する処理に限らず、その他の既存の手法を適用した２Ｄ３Ｄ変換処理を行ってもよい。

視差画像生成部１５６において実行する２Ｄ３Ｄ変換処理の１つの具体例について説明する。
視差画像生成部１５６では、デプスマップ１６７を用いた２Ｄ３Ｄ変換処理により、デモザイク処理部１５３から入力した１つの画像、すなわち、２Ｄ−ＲＧＢ画像１６３から、３次元画像表示に適用する右眼画像と左眼画像を生成する。
視差画像生成部１５６は、デプスマップから得られる画素領域単位の被写体距離情報に応じた視差（シフト量）を設定した右眼画像と左眼画像を生成して画像出力部１５７を介して出力する。

図１３は、視差画像生成部１５６の一実施例の構成を示すブロック図である。
視差画像生成部１５６は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで新たな視点の画像を生成する処理を行う。視差画像生成部１５６は、微分器１８１、ゲイン制御部１８２、非線形変換部１８３、および画像合成部１８４から構成される。

微分器１８１は、視差画像生成部１５６に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号（Ｈ）を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。
なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号（ＲＧＢ等）を処理対象データとして利用してもよい。

ゲイン制御部１８２は、微分器１８１から出力される微分信号（Ｈ）に、予め設定した規則に則った係数（ゲイン係数）を乗じることで、微分信号の振幅値を制御するし、微分信号の補正信号である補正微分信号（Ｈ'）を生成する。

非線形変換部１８３は、ゲイン制御部１８２から出力される補正微分信号（Ｈ'）を非線形的に変換し、視差強調信号（Ｅ'）として画像合成部１８４に出力する。

画像合成部１８４は、例えば処理対象画像としてのビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の補正微分信号（Ｈ'）、または、この補正微分信号を非線形変換して生成した視差強調信号（Ｅ'）を適用して新たな視点の画像を生成する処理を行う。

なお、図１３に点線で示すように、非線形変換部１８３の変換処理を省略し、ゲイン制御部１８２で補正処理した補正微分信号（Ｈ'）を画像合成部１８４に直接入力して、画像合成部１８４が、補正微分信号を適用して新たな視点の画像を生成する構成としてもよい。

次に、ゲイン制御部１８２の実行する処理について説明する。
図１４は、ゲイン制御部１８２の一実施例の構成を示すブロック図である。ゲイン制御部１８２では、入力された微分信号の振幅値を、同じく入力した奥行き情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行き情報は入力微分信号の１画素ごとに、１つの深さの値を有する、所謂デプスマップの形状で入力されるものとして説明していく。視差検出部１５５の生成するデプスマップ１６７から取得される情報である。

ゲイン係数算出部１９１は、入力された各画素に対する奥行き情報を利用して、対応する画素に対するゲイン係数を出力する。
乗算処理部１９２は、入力された微分信号の各画素について、ゲイン係数算出部１９１から出力された各画素に対するゲイン係数を、微分信号（Ｈ）の振幅値に乗じる乗算処理を行い、結果として振幅値がゲイン制御された補正微分信号（Ｈ'）を出力する。

図１５は、ゲイン係数算出部１９１において実行する、ゲイン係数の決定方法の一例を示すものである。横軸が、入力信号であり奥行き情報である。縦軸が、ゲイン係数算出部１９１におけるゲイン係数の出力を示している。
ゲイン係数算出部１９１は、入力された奥行き情報（Ｉｎ）を、予め設定した関数ｆ（ｘ）により変換して、ゲイン係数（Ｏｕｔ）を出力する。
このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。
関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝Ａ×ｘ
（ただしＡは定数）
上記式に示されるような線形一次関数を用いる。Ａは予め設定した定数であり、様々な値に設定可能である。

また、ゲイン係数算出部１９１における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。
奥行き情報は、微分信号の各画素に応じた値を入力し、各画素に応じたゲイン係数を出力するものとする。

図１５は、ゲイン係数算出部の入力値（奥行き情報）と、出力値（ゲイン係数）の対応例を示す図である。図１５には３つの入力値（奥行き情報）とそれに対応する３つの出力値（ゲイン係数）の例を示している。
入力値（奥行き情報）の例は、Ｄ１、Ｄ２、Ｄ３であり、ある３つの画素に対応した奥行きの値を想定する。なお、奥行きとは観察者（ユーザ）あるいはカメラから被写体までの距離に対応する値である。
奥行き（＝被写体距離）はＤ１＜Ｄ２＜Ｄ３の順に、手前から奥へと深く（ユーザまたはカメラから遠く）なっていくものとする。ここで、図１５中、奥行き情報Ｉｎ＝０の位置は生成した画像を３次元表示装置に表示した場合に表示画面上に知覚される点である。
このとき出力値（ゲイン係数）の例は、Ｇ１、Ｇ２、Ｇ３であり、各々は図１５中の関数ｆ（ｘ）に、Ｄ１、Ｄ２、Ｄ３の値を入力することで得られる値である。
この例のように、ゲイン係数算出部１９１は、微分信号の各画素に応じたゲイン係数を出力する。

図１６は、ゲイン制御部１８２における微分信号の振幅値を制御する処理の一例を示している。
図１６には、
（ａ）入力信号
（ｂ）微分信号
（ｃ）奥行き情報
（ｄ）補正後の微分信号
これらの例を示している。

図１６（ａ）は、入力画像信号の一例である。
図１６（ｂ）は、図１６（ａ）の入力画像信号を微分処理した画像である。
図１６（ｃ）は、図１６（ａ）の入力画像信号に対応した奥行き情報であり、画像を３分割した各領域に奥行きの値を与えた簡易なものである。

ここで、図１６（ｃ）の奥行き情報を示す画像信号には、上部から順に図１５において定義した奥行き情報：Ｄ３、Ｄ２、Ｄ１（Ｄ１＜Ｄ２＜Ｄ３）の値が与えられているものとしている。

このとき、図１５において説明した奥行きとゲイン値の関係の通り、図１６（ｂ）の微分信号の各画素に乗じるゲイン値は、画像の上部から順に、
Ｇ３、Ｇ２、Ｇ１（Ｇ１＜Ｇ２＜Ｇ３）
となる。

図１６（ｄ）補正後の微分信号は、図１６（ｃ）の奥行き情報に基づいたゲイン値を、図１６（ｂ）の微分信号の各画素に乗じた処理結果の一例である。
図１６（ｄ）補正後の微分信号においては、画面上部ほど（遠い領域ほど）、大きなゲイン値が乗じられ、画面下部ほど（近い領域ほど）小さなゲイン値が乗じられる。
この結果、画面上部ほど（遠い領域ほど）微分信号の振幅値が大きくなり、画面下部ほど（近い領域ほど）微分信号の振幅は小さくなる。

２Ｄ３Ｄ変換処理を実行する視差画像生成部１５６は、このように距離に応じた振幅の異なる微分信号を用いて新たな視点画像を生成して出力する。

次に、非線形変換部１８３の実行する処理について説明する。非線形変換部１８３は、ゲイン制御部１８２から出力される距離に応じてゲイン制御のなされた補正微分信号（Ｈ'）を非線形的に変換した視差強調信号（Ｅ'）を生成して画像合成部８４に出力する。

図１７は、非線形変換部１８３において実行する非線形変換処理の一例を示している。横軸が、ゲイン制御部１８２から出力される距離に応じてゲイン制御（補正）のなされた微分信号であり（輝度）補正微分信号である。縦軸が、非線形変換部１８３における非線形変換処理後の出力を示している。非線形変換部１８３は、入力された補正微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘ^γ
上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部１８３における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。

画像合成部１８４は、非線形変換部１８３から出力される視差強調信号と、視差画像生成部１５６に入力された２Ｄ画像とを合成して、新たな視点画像を生成する処理を行う。

なお、図１３に点線で示すように、非線形変換部１８３の変換処理を省略し、微分器１８１の生成した微分信号に対してゲイン制御部１８２が距離に応じたゲイン制御を行った補正微分信号（Ｈ'）を画像合成部１８４に直接入力する構成としてもよい。この場合は、画像合成部１８４は、奥行き（被写体距離）に応じてゲイン制御の施された補正微分信号（Ｈ'）を適用して新たな視点の画像を生成する処理を行う。

次に画像合成部１８４の処理について説明する。
画像合成部１８４は、処理対象画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して新たな視点の画像を生成する処理を行う。

図１８と図１９は、画像合成部１８４において実行する画像合成処理の概念を示している。
図１８は、距離が大の画像領域（奥行きが大きい画像領域）
図１９は、距離が小の画像領域（奥行きが小さい画像領域）
これらの各画像領域について、上から順に、
（ａ）入力信号（Ｓ）
（ｂ）微分信号（Ｈ）
（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）
（ｄ）右シフト画像信号
（ｅ）左シフト画像信号
これらの各信号を示している。

図１６の（ｃ）奥行き情報に対応付けて説明すると、例えば、図１８は図１６（ｃ）の画像上部の距離が大（＝Ｄ３）の画像領域（奥行きが大きい画像領域）に対応する処理例である。一方、図１９は図１６（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。

まず、図１８に示す距離が大の画像領域（奥行きが大きい画像領域）における処理例について説明する。
（ａ）入力信号（Ｓ）は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。

（ｂ）微分信号（Ｈ）は、（ａ）入力信号の微分結果である。この微分信号は、図１３に示す視差画像生成部１５６の微分器１８１において生成される信号である。
微分器１８１の生成する微分信号（Ｈ）は、図１８に示すとおり、（ａ）入力信号（Ｓ）の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）補正（ゲイン制御）後の微分信号（Ｈ'）は、図１３に示す視差画像生成部１５６のゲイン制御部１８２において生成する信号であり、図１８（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。なお、図１８に示す例は、距離が大（例えば図１５、図１６（ｃ）のＤ３）の画像領域（奥行きが大きい画像領域）における処理例であり、図１５、図１６を参照して説明したようにより大きなゲイン（Ｇ３）による補正処理が施され、微分信号の振幅はより大きな振幅に補正される。

図１８（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号（Ｈ））であり、図１８（ｃ）に示す実線が距離に応じた補正後の補正微分信号（Ｈ'）である。このように、補正微分信号（Ｈ'）は距離に応じたゲイン制御により、振幅がより大きく補正される。

（ｄ）右シフト画像信号、（ｅ）左シフト画像信号は、図１３に示す画像合成部１８４が生成する信号である。

例えば図９に示す視差画像生成部１５６にデモザイク処理部１５３から入力する２Ｄ画像が、図１８（ａ）に示す入力画像であるとした場合、この入力画像を右シフトすることで、（ｄ）右眼画像信号を生成する。また、この入力画像を左シフトすることで、（ｅ）左眼画像信号を生成する。

具体的には、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部１８３において非線形変換した結果（非線形変換部１８３の出力）である視差強調信号（Ｅ'）とを合成することで、（ｄ）右眼画像信号、または、（ｅ）左眼画像信号を生成する。
図１８（ｄ）に示す通り、大きなゲイン（Ｇ３）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフトが大きい画像信号が生成される。同様に、図１８（ｄ）では、左シフト量が大きい画像信号が生成される。

次に、図１９に示す距離が小の画像領域（奥行きが小さい画像領域）における処理例について説明する。図１９は図１６（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。

（ａ）入力信号と、（ｂ）微分信号は、図１８に示す（ａ）入力信号と、（ｂ）微分信号と同様の信号である。（ｂ）微分信号（Ｈ）は、（ａ）入力信号（Ｓ）の微分結果である。この微分信号は、図１３に示す微分器１８１において生成される信号である。微分器１８１の生成する微分信号は、図１９に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）は、図１３に示すゲイン制御部１８２において生成する信号であり、図１９（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。

図１９に示す例は、距離が小（例えば図１５、図１６（ｃ）のＤ１）の画像領域（奥行きが大きい画像領域）における処理例であり、図１５、図１６を参照して説明したように小さなゲイン（Ｇ１）により微分信号の振幅は小さな振幅に補正される。

図１９（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号）であり、図１９（ｃ）に示す実線が距離に応じた補正後の信号である。このように、距離に応じたゲイン制御により、振幅がより小さく補正される。

（ｄ）右眼画像信号、（ｅ）左眼画像信号は、図１３に示す画像合成部１８４において生成する信号である。画像合成部１８４は、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部１８３において非線形変換した結果（非線形変換部１８３の出力）である視差強調信号（Ｅ'）とを合成して（ｄ）右眼画像信号、または（ｅ）左眼画像信号を生成する。

例えば図９に示す視差画像生成部１５６にデモザイク処理部１５３から入力する２Ｄ画像が、図１９（ａ）に示す入力画像であるとした場合、この入力画像を右シフトすることで、（ｄ）右眼画像信号を生成する。
また、この入力画像を左シフトすることで、（ｅ）左眼画像信号を生成する。
図１９（ｄ）に示す通り、小さなゲイン（Ｇ１）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフト量が小さい画像信号が生成される。同様に、図１８（ｄ）では、左シフト量が小さい画像信号が生成される。

このように、視差画像生成部１５６は、表示画面よりも奥の方向に知覚されるような画像を生成する場合は、
距離＝大の場合は、振幅の大きい補正微分信号
距離＝小の場合は、振幅の小さい補正微分信号、
これらの補正微分信号（図１８、図１９の（ｃ））を生成し、これらの補正微分信号（またはその非線形変換結果である視差強調信号）と（ａ）入力信号との合成処理により、入力画像と異なる視点からの観察画像に相当する（ｄ）右眼画像信号、または（ｅ）左眼画像信号を生成する。

このような（ｄ）右眼画像信号と、（ｅ）左眼画像信号の生成処理の生成処理について、数式を用いて説明する。
図１８、図１９の（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図１８、図１９の（ｂ）に示す微分信号の信号レベルを（Ｈ）とする。
また、ゲイン制御部１８２において行われる微分信号の補正結果としての補正微分信号の信号レベルを（Ｈ'）てとする。
なお、補正微分信号（Ｈ'）の生成の際、（ｂ）微分信号（Ｈ）に乗じるゲイン値（Ｇ）は、奥行き情報（Ｄ）をもとに予め設定された関数などから決定される。

図１８に示す距離が大の場合のゲイン値をＧ３、
図１９に示す距離が小の場合のゲイン値をＧ１、
とする。
図１８、図１９に示す例は、Ｇ３＞１＞Ｇ１の関係を想定している。

図１８、図１９の（ｃ）補正後の微分信号の信号レベルを（Ｈ'）で表現すると、（Ｈ'）は上記ゲイン値Ｇ３、Ｇ１を用いて補正された信号として、以下の式によって示すことができる。
図１８に示す距離が大の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ３×Ｈ
図１９に示す距離が小の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ１×Ｈ
これらの式によって算出された信号が、図１８、図１９の（ｃ）補正後の微分信号の信号レベル（Ｈ'）となる。

図１８（ｃ）に示す距離が大の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が大きくなっている。
一方、図１９（ｃ）に示す距離が小の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が小さくなっている。

これは、図１８（ｃ）、図１９（ｃ）に示す補正後微分信号が異なるゲイン値を乗じて生成されるためである。
すなわち、視差検出部１５５の出力するデプスマップにおける奥行き情報が大（カメラからの距離が遠い）画素については、（ｂ）微分信号に対して大きなゲイン値を乗じて補正されて図１８（ｃ）に示す補正後微分信号が生成される。
一方、視差検出部１５５の出力するデプスマップにおける奥行き情報が小（カメラからの距離が近い）画素については、（ｂ）微分信号に対して小さなゲイン値を乗じて補正されて図１９（ｃ）に示す補正後微分信号が生成される。

図１８（ｃ）、図１９（ｃ）に示す補正後の微分信号は、非線形変換部１８３において、例えば先に図１１を参照して説明した設定で非線形変換処理が施され、視差強調信号（Ｅ'）が生成される。

画像合成部１８４は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｃ）補正後の微分信号（Ｈ'）を非線形変換した視差強調信号（Ｅ'）を入力して、例えば以下の式により右シフト画像信号（Ｒｉｇｈｔ）、または左シフト画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'
これにより得られる信号が、図１８（ｄ）、図１９（ｄ）に実線で示す右シフト画像信号、および、図１８（ｅ）、図１９（ｅ）に示す左シフト画像信号である。

一方、図１８（ｄ），（ｅ）と図１９（ｄ），（ｅ）に点線で示す信号は、（ｃ）補正後の微分信号ではなく、補正前の微分信号、すなわち（ｂ）微分信号（Ｈ）を適用して非線形変換した視差強調信号（Ｅ）を利用して生成した右シフト画像信号、および左シフト画像信号に相当する。すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
である。

図１８、図１９の（ｄ）右シフト画像信号、および、（ｅ）左シフト画像信号に示す実線と点線を比較すると、
図１８に示す距離が大の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部（信号の変化部）が急峻になっており、（ａ）入力信号に比較して信号のシフトが大きくなっている。
一方、図１９に示す距離が小の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部が滑らかになっており、（ａ）入力信号に比較して信号のシフトが小さくなっている。

このように、視差画像生成部１５６は、デモザイク処理部１５３から入力する２Ｄ−ＲＧＢ画像１６３に対して、視差検出部１５５から入力するデプスマップ１６７を利用して被写体距離に応じた視差設定を実行する２Ｄ３Ｄ変換処理を実行して３Ｄ画像表示に適用する左眼図像（Ｌ画像）１７１、右眼画像（Ｒ画像）１７２を生成して画像出力部１５７を介して出力する。

上述したように、図９に示す画像処理部１７は、撮像素子１６上に配置した偏光子に応じて取得される異なる視点からの画像、すなわち左眼用、右眼用の画像を取得し、これらの画像に基づしいて視差情報としてのデプスマップを生成する。
さらに、偏光子を配置しない画素によって通常の２次元画像を取得して、これらの情報から画像処理によって３Ｄ画像表示に適用する高精細な左眼用画像と右眼用画像を出力する。

なお、上述の実施例では、図１他を参照して説明した第１偏光部１２が、水平偏光領域を右側に設定し垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。
また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる２つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。
なお、第２偏光部１５は、第１偏光部１２の偏光領域の設定に対応させて、第１偏光部１２に設定した偏光領域と同一の組み合わせを持つ偏光領域を設定することが必要である。

［４．マイクロレンズを利用した複数視点画像の取得構成例について］
先に説明した構成では、図１に示す第２偏光部１５の偏光領域は、例えばワイヤグリッド偏光子を用いた構成とされる。ワイヤグリッド偏光子は、微細なワイヤ（例えばＡｌ（アルミ）線）を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。

このワイヤ配列方向に応じた偏光特性を用いて、
左視点からの観察画像に対応する左眼用画像、
右視点からの観察画像に対応する右眼用画像、
これらの各画像を取得し、
さらに、ワイヤグリッドを配置しない非偏光領域において、
中央視点からの観察画像を取得する構成としていた。

このワイヤグリッドを用いた構成以外にも、異なる視点からの観察画像を取得する構成が可能である。
例えば撮像素子の前面にマイクロレンズを配置する構成によって異なる視点からの画像を取得することができる。
上述した本開示の画像処理は、マイクロレンズを用いて撮影された画像に対する処理として行うことも可能である。

図２０以下を参照して、マイクロレンズを用いて異なる視点からの観察画像を撮影する構成について説明する。
図２０は、本実施例に係る撮像装置３００の全体構成を示す図である。
図２０に示す撮像装置３００において、先に図１（Ａ）を参照して説明した撮像装置１０と同一の構成については同じ参照符号を付している。

撮影レンズ１１を介して撮影被写体に対応する入射光が入力する。
撮影レンズ１１を介した入射光は、絞り１３、結像レンズ１４、マイクロレンズアレイ３０１を介して撮像素子１６に入力される。

なお、図２０は、撮像装置（カメラ）３００を上から見た図、すなわち上面図である。図２０の左下に撮像装置３００と撮影者２０の概略図と、ＸＹＺ座標軸を示している。
図２０の中央付近に示す点線縦ライン（Ｘ軸）に示すように、図２０の上側が撮影者から見て右（Ｒ）側であり、図２０の下側が撮影者から見て左（Ｌ）側となる。

撮像素子１６は、例えばＣＣＤ、ＣＭＯＳ等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部１７に出力する。
画像処理部１７では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部１８に格納する。
画像処理部１７の構成と処理は、先に図７〜図１９を参照して説明したと同様の構成と処理となる。

この図２０に示す撮像装置３００は、図１を参照して説明した撮像装置１０の構成要素であった第１偏光部１２、第２偏光部１５を用いずにマイクロレンズアレイ３００を配置した点が異なる。
この図２０に示す撮像装置３００は、このマイクロレンズアレイ３００を用いて、異なる視点からの画像を撮り込む。

図２１は、撮像素子１６とマイクロレンズアレイ３００の具体的構成例と、異なる視点からの画像撮影構成について説明する図である。
図２１（ａ）は、ベイヤ（Ｂａｙｅｒ）配列を持つ撮像素子上に設定されるマイクロレンズアレイ３００の構成例を示している。図の左右方向が水平方向、すなわちｘ方向であり、縦方向が垂直方向、すなわちｙ方向である。

マイクロレンズ３１１は、左右視点画像取得領域３１２に並んで配置される。ベイヤ配列の１ユニットに相当する２×２画素に１つのマイクロレンズ３１１が配置される。
マイクロレンズ３１１の配置された領域が、前述の実施例における偏光領域、すなわちワイヤグリッド配置領域と同様、左眼視点からの画像である左眼用画像と、右眼視点からの画像である右眼用画像を取得する領域である。
マイクロレンズの配置されない領域が、前述の実施例における非偏光領域に対応し、中央視点からの通常画像を取得する中央視点画像取得領域３１３となる。

１つのマイクロレンズ３１１は、ベイヤ（Ｂａｙｅｒ）配列の１ユニット、すなわち２×２画素に対応して配置される。この２×２画素の拡大図が図２１（ｂ）に示すマイクロレンズ配置単位平面図である。
ＲＧＧＢの４画素に対して１つのマイクロレンズが配置される。
図２１（ｂ）に示すＲＧＧＢの４画素中、右側のＧ画素とＢ画素が左眼視点からの画像に対応する左眼用画像取得画素３２１となる。また、左側のＲ画素とＧ画素が右眼視点からの画像に対応する右眼用画像取得画素３２２となる。

マイクロレンズを介する入射光の経路を示しているのが図２１（ｃ）に示すマイクロレンズ配置単位断面図である。図２１（ｃ）は図２１（ｂ）に示すＡＢラインの断面構成に対応する。

図２１（ｃ）に示すように、
左眼視点画像は、マイクロレンズ３３１とカラーフィルタ３３２のＢ領域を介して撮像素子１６を構成するＢ画素対応のフォトダイオード３３３に入射する。
一方、右眼視点画像は、マイクロレンズ３３１、とカラーフィルタ３３２のＧ領域を介して撮像素子１６を構成するＧ画素対応のフォトダイオード３３３に入射する。

このように、左側の視点からの画像に対応する左眼用画像は、マイクロレンズの配置された２×２画素の右側の２画素に撮影され、右側の視点からの画像に対応する右眼用画像は、マイクロレンズの配置された２×２画素の左側の２画素に撮影される。

すなわち、図２１（ａ）に示す左右視点画像取得領域３１２では、マイクロレンズ３１１の配置された４画素単位で、右眼用画像と左眼用画像が撮影されることになる。

例えば図９を参照して説明した画像処理部１７の画素分離部１５１は、図２１（ａ）に示す左右視点画像取得領域３１２の画素値情報を左右視点画像補間処理部１５４に出力し、中央視点画像取得領域３１３の画素値情報を中央視点画像補間処理部１５２に出力する。

その後は、前述した処理と同様の処理が実行される。
すなわち、左右視点画像取得領域３１２の画素値情報に基づくデプスマップを生成して、中央視点画像取得領域３１３の画素値情報に基づく補間処理によって生成される２Ｄ−Ｒａｗ画像に対してデプスマップを適用した２Ｄ−３Ｄ変換処理によって３次元画像表示に適用する左眼用画像と右眼用画像を生成する。

なお、左右視点画像補間処理部１５４においては、左右視点画像取得領域３１２のＧ画素のみを用いて先に図１１を参照して説明した処理に従って、各視点からの画像を生成してもよい。
図２１（ｂ）に示すように、マイクロレンズ配置単位には異なる視点からの撮影画像を取得している２つのＧ画素が存在する。これらのＧ画素は、それぞれ右画素、左画素に相当し、水平方向に並んだＧ画素から１ライン分の左右画像を生成することが可能である。

なお、図２１（ｃ）に示すように、マイクロレンズ３３１は、下部に配置されたカラーフィルタ３３２を通して受光部であるフォトダイオード３３３に光を透過させるにあたり、光軸中心に対して偏った方向の光だけが通過するように光学的に設計されている。なお、マイクロレンズによる被写体像の位相検出については、例えば、特開２０１０−２０４２９４などに記載されている。

図２１に示す画素配置は、ベイヤ（Ｂａｙｅｒ）配列上にマイクロレンズアレイを配置することで実現可能であるが、先に図１１を参照して説明した処理に従って、Ｇ画素のみを利用して各視点からの画像を生成する構成では、左右視点画像取得領域３１２にあるＧ画素以外のＢ画素やＲ画素は利用しない。

視差検出に不要なＲ画素とＢ画素が存在することで、にデプスマップの垂直方向の解像度が劣化するという問題も発生させる。これを解決するため、図２２に示すように、左右視点画像取得領域３１２にＧ画素のみを配置した構成とてもよい。

図２２（ａ）に示すように、マイクロレンズ３１１が配置される左右視点画像取得領域３１２をすべてＧ画素とする構成である。この領域のカラーフィルタを緑の波長のみを透過するカラーフィルタとして構成する。

このような構成とすることで、マイクロレンズの配置された２ラインの左右視点画像取得領域３１２には全画素に左眼用画像と右眼用画像のＧ画素値が交互に撮影される。この結果より高精度の左眼用画像と右眼用画像が生成可能となり、精度の高い視差情報を生成することが可能となる。

なお、Ｇ画素の代わりに、赤から青までの全ての可視光波長を透過する白画素（Ｗ画素）を配置する構成として、Ｗ画素に基づく視差画像の生成、デプスマップの生成を行う構成としてもよい。

［５．マイクロレンズと遮光膜を利用した複数視点画像の取得構成例について］
次に、マイクロレンズと遮光膜を利用した複数視点画像の取得構成例について説明する。
図２３は、本実施例に係る撮像装置５００の全体構成を示す図である。
図２３に示す撮像装置５００において、先に図１（Ａ）を参照して説明した撮像装置１０と同一の構成については同し参照符号を付している。

撮影レンズ１１を介して撮影被写体に対応する入射光が入力する。
撮影レンズ１１を介した入射光は、絞り１３、結像レンズ１４、マイクロレンズアレイ５０１、遮光膜５０２を介して撮像素子１６に入力される。

なお、図２３は、撮像装置（カメラ）５００を上から見た図、すなわち上面図である。図２３の左下に撮像装置５００と撮影者２０の概略図と、ＸＹＺ座標軸を示している。
図２３の中央付近に示す点線縦ライン（Ｘ軸）に示すように、図２３の上側が撮影者から見て右（Ｒ）側であり、図２３の下側が撮影者から見て左（Ｌ）側となる。

撮像素子１６は、例えばＣＣＤ、ＣＭＯＳ等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部１７に出力する。
画像処理部１７では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部１８に格納する。
画像処理部１７の構成と処理は、先に図７〜図１９を参照して説明したと同様の構成と処理となる。

この図２３に示す撮像装置５００は、図１を参照して説明した撮像装置１０の構成要素であった第１偏光部１２、第２偏光部１５を用いずにマイクロレンズアレイ５０１と遮光膜５０２を配置した点が異なる。
この図２３に示す撮像装置５００は、このマイクロレンズアレイ５０１と遮光膜５０２を用いて、異なる視点からの画像を撮り込む。

図２４は、撮像素子１６とマイクロレンズアレイ５０１と遮光膜５０２の具体的構成例と、異なる視点からの画像撮影構成について説明する図である。
図２４（ａ）は、ベイヤ（Ｂａｙｅｒ）配列を持つ撮像素子上に設定されるマイクロレンズアレイ５０１と遮光膜５０２の構成例を示している。図の左右方向が水平方向、すなわちｘ方向であり、縦方向が垂直方向、すなわちｙ方向である。

マイクロレンズ５１１は、左右視点画像取得領域５２１に並んで配置される。ベイヤ配列の各画素に１つのマイクロレンズ５１１が配置される。
さらに、遮光膜５１２が、左右視点画像取得領域５２１に配置される。遮光膜５１２は、各画素の一部領域を遮光し、一部領域を透過させる構成とされている。

マイクロレンズ５１１と遮光膜５１２の配置された領域が、前述の実施例における偏光領域、すなわちワイヤグリッド配置領域と同様、左眼視点からの画像である左眼用画像と、右眼視点からの画像である右眼用画像を取得する領域である。
マイクロレンズ５１１と遮光膜５１２の配置されない領域が、前述の実施例における非偏光領域に対応し、中央視点からの通常画像を取得する中央視点画像取得領域５２２となる。

図２４（ｂ）は、左右視点画像取得領域５２１の２×２画素の拡大図である。
各マイクロレンズ５１１は、各画素に対応して配置される。ＲＧＧＢの４画素に対して４つのマイクロレンズが配置される。
図２４（ｂ）に示すＲＧＧＢの４画素中、右側のＧ画素とＢ画素が左眼視点からの画像に対応する左眼用画像取得画素５３１となる。また、左側のＲ画素とＧ画素が右眼視点からの画像に対応する右眼用画像取得画素５３２となる。

マイクロレンズと遮光膜を介する入射光の経路を示しているのが図２４（ｃ）に示す断面図である。図２４（ｃ）は図２４（ｂ）に示すＡＢラインの断面構成に対応する。

図２４（ｃ）に示すように、
左眼視点画像は、マイクロレンズ５４１とカラーフィルタ５４２のＢ領域を通過して、遮光膜５４３による遮光領域以外の透過領域を通過した光のみが撮像素子１６を構成するＢ画素対応のフォトダイオード３３３に入射する。
一方、右眼視点画像は、マイクロレンズ５４１とカラーフィルタ５４２のＧ領域を通過して、遮光膜５４３による遮光領域以外の透過領域を通過した光のみが撮像素子１６を構成するＧ画素対応のフォトダイオード３３３に入射する。

このように、左側の視点からの画像に対応する左眼用画像は、マイクロレンズと遮光膜の配置された左右視点画像取得領域５２１の２×２画素の右側の２画素に撮影され、右側の視点からの画像に対応する右眼用画像は、マイクロレンズと遮光膜の配置された２×２画素の左側の２画素に撮影される。

すなわち、図２４（ａ）に示す左右視点画像取得領域５２１では、マイクロレンズ５１１と遮光膜５１２の配置された４画素単位で、右眼用画像と左眼用画像が撮影されることになる。

例えば図９を参照して説明した画像処理部１７の画素分離部１５１は、図２４（ａ）に示す左右視点画像取得領域５２１の画素値情報を左右視点画像補間処理部１５４に出力し、中央視点画像取得領域５２２の画素値情報を中央視点画像補間処理部１５２に出力する。

その後は、前述した処理と同様の処理が実行される。
すなわち、左右視点画像取得領域５２１の画素値情報に基づくデプスマップを生成して、中央視点画像取得領域５２２の画素値情報に基づく補間処理によって生成される２Ｄ−Ｒａｗ画像に対してデプスマップを適用した２Ｄ−３Ｄ変換処理によって３次元画像表示に適用する左眼用画像と右眼用画像を生成する。

なお、左右視点画像補間処理部１５４においては、左右視点画像取得領域５２１のＧ画素のみを用いて先に図１１を参照して説明した処理に従って、各視点からの画像を生成してもよい。
図２４（ｂ）に示すように、左右視点画像取得領域５２１の２×２画素には、異なる視点からの撮影画像を取得している２つのＧ画素が存在する。これらのＧ画素は、それぞれ右画素、左画素に相当し、水平方向に並んだＧ画素から１ライン分の左右画像を生成することが可能である。

なお、遮光膜による被写体像の位相検出については、例えば、特開２００９−１９２６０５などに記載されている。

図２４に示す画素配置は、ベイヤ（Ｂａｙｅｒ）配列上にマイクロレンズアレイと遮光膜を配置することで実現可能であるが、先に図１１を参照して説明した処理に従って、Ｇ画素のみを利用して各視点からの画像を生成する構成では、左右視点画像取得領域５２１にあるＧ画素以外のＢ画素やＲ画素は利用しない。

視差検出に不要なＲ画素とＢ画素が存在することで、にデプスマップの垂直方向の解像度が劣化するという問題も発生させる。これを解決するため、図２５に示すように、左右視点画像取得領域５２１にＧ画素のみを配置した構成とてもよい。

図２５（ａ）に示すように、マイクロレンズ５１１と遮光膜５１２が配置される左右視点画像取得領域５２１をすべてＧ画素とする構成である。この領域のカラーフィルタを緑の波長のみを透過するカラーフィルタとして構成する。

このような構成とすることで、マイクロレンズの配置された２ラインの左右視点画像取得領域５２１には全画素に左眼用画像と右眼用画像のＧ画素値が交互に撮影される。この結果より高精度の左眼用画像と右眼用画像が生成可能となり、精度の高い視差情報を生成することが可能となる。

なお、Ｇ画素の代わりに、赤から青までの全ての可視光波長を透過する白画素（Ｗ画素）を配置する構成として、Ｗ画素に基づく視差画像の生成、デプスマップの生成を行う構成としてもよい。

［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 撮像素子と、
前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記入射光制御部は、
左眼視点画像と右眼視点画像と、中央視点画像の３つの視点画像を取得する入射光制御構成を有し、
前記画像処理部は、
前記左眼視点画像と前記右眼視点画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、
前記撮像素子からの前記中央視点画像に対する補正処理を実行して２次元画像を生成する画像補正部と、
前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置。

（２）前記入射光制御部は、各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光部と、前記第１偏光部の透過光を入射する第２偏光部であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光部を有し、前記画像処理部は、前記第２偏光部の前記第３偏光領域の透過光に基づく画像と、前記第２偏光部の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して２次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する前記（１）に記載の画像処理装置。

（３）前記第２偏光部の第３偏光領域および第４偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である前記（１）または（２）に記載の画像処理装置。

（４）前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイを有し、前記画像処理部は、マイクロレンズ配置領域に対応する撮像素子の構成画素からの出力信号から得られる２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズの非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して２次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する前記（１）に記載の画像処理装置。

（５）前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイと、前記マイクロレンズの配置領域に設定され、撮像素子に対する入射光の一部を遮光する遮光膜を有し、前記画像処理部は、マイクロレンズと遮光膜の配置領域に対応する撮像素子の構成画素からの出力信号から得られる２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズと遮光膜の非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して２次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する前記（１）に記載の画像処理装置。

（６）前記撮像素子は、被写体距離を反映した視差情報を生成するための２つの異なる視点画像を取得する左右視点画像取得領域と、１つの視点からの撮影画像を生成する中央視点画像取得領域を有する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記左右視点画像取得領域は、１色の画素によって構成され、前記画像処理部は、前記１色の画素によって構成された前記左右視点画像取得領域の出力信号から得られる２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部を有する前記（１）〜（６）いずれかに記載の画像処理装置。

（８）前記画像処理部は、前記撮像素子の構成画素からの出力信号から得られる２つの異なる視点画像を適用して被写体距離を反映した視差情報として、画像の被写体距離情報を反映したデプスマップを生成し、前記デプスマップを適用した画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記画像処理部は、前記撮像素子から取得する２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの取得画像に対する補正処理を実行して２次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する前記（１）〜（８）いずれかに記載の画像処理装置。

（１０）前記視差画像生成部は、前記画像補正部の生成した２次元画像に対して、前記視差情報を適用した画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理を実行する前記（９）に記載の画像処理装置。
（１１）前記画像処理部の実行する前記２Ｄ３Ｄ変換処理は、前記第１視点画像に対して被写体距離に応じた画像シフト処理を行うことで３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理である前記（１０）に記載の画像処理装置。

（１２） 撮像素子と、
前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記入射光制御部は、
各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光部と、
前記第１偏光部の透過光を入射する第２偏光部であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域からなる第２偏光部を有し、
前記画像処理部は、
前記第２偏光部の前記第３偏光領域の透過光に基づく画像と、前記第２偏光部の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像の欠損画素領域に画素値を設定する補間処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。

（１３）前記第２偏光部の第３偏光領域および第４偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である前記（１２）に記載の画像処理装置。

さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、１枚の撮影画像に基づいて複数の視点画像を取得して３次元画像表示用の画像を生成することが可能となる。
具体的には、例えば、異なる視点からの観察画像に対応する複数の視点画像を撮像素子に撮影させ、画像処理部において、撮像素子の出力信号を分離して、異なる視点からの観察画像に対応する複数の視点画像を取得し、取得した複数の視点画像に基づいて、３次元画像表示用の左眼用画像と右眼用画像を生成する。画像処理部は、撮像素子から得られる複数視点画像に基づいて視差情報を生成し、生成した視差情報を利用した２Ｄ３Ｄ変換処理によって３次元画像表示用の左眼用画像と右眼用画像を生成する。本構成により、１枚の撮影画像に基づいて複数の視点画像を取得して３次元画像表示用の画像を生成する構成が実現される。

１０ 撮像装置
１１ 撮影レンズ
１２ 第１偏光部
１３ 絞り
１４ 結像レンズ
１５ 第２偏光部
１６ 撮像素子
１７ 画像処理部
１８ 記憶部
５１ 画素分離部
５２ 右眼用画像（Ｒ画像）補間処理部
５３ 右眼用画像（Ｒ画像）デモザイク処理部
５４ 左眼用画像（Ｌ画像）補間処理部
５５ 左眼用画像（Ｌ画像）デモザイク処理部
５６ 画像出力部
６１ 右眼用画像信号（水平偏光画素信号）
６２ 左眼用画像信号（垂直偏光画素信号）
６３ 補間画像（２Ｄ−Ｒａｗ（Ｒ）画像）
６４ 補間画像（２Ｄ−Ｒａｗ（Ｌ）画像）
７１ 左眼画像（Ｌ画像）
７２ 右眼画像（Ｒ画像）
１５１ 画素分離部
１５２ 中央視点画像補間処理部
１５３ デモザイク処理部
１５４ 左右視点画像補間処理部
１５５ 視差検出部
１５６ 視差画像生成部
１５７ 画像出力部
１６１ Ｎ画素信号（非偏光画素信号）
１６２ 補間画像（２Ｄ−Ｒａｗ画像）
１６３ ２Ｄ−ＲＧＢ画像
１６５ ＰＬ画素信号（偏光画素信号）
１６６ 左眼右眼画像信号
１６７ デプスマップ
１７１ 左眼画像（Ｌ画像）
１７２ 右眼画像（Ｒ画像）
１８１ 微分器
１８２ ゲイン制御部
１８３ 非線形変換部
１８４ 画像合成部
１９１ ゲイン係数算出部
１９２ 乗算処理部
３００ 撮像装置
３０１ マイクロレンズアレイ
３１１ マイクロレンズ
３１２ 左右視点画像取得領域
３１３ 中央視点画像取得領域
３２１ 左眼用画像取得画素
３２２ 右眼用画像取得画素
３３１ マイクロレンズ
３３２ カラーフィルタ
３３３ フォトダイオード
５００ 撮像装置
５０１ マイクロレンズアレイ
５０２ 遮光膜
５１１ マイクロレンズ
５１２ 遮光膜
５２１ 左右視点画像取得領域
５２２ 中央視点画像取得領域
５３１ 左眼用画像取得画素
５３２ 右眼用画像取得画素
５４１ マイクロレンズ
５４２ カラーフィルタ
５４３ 遮光膜
５４４ フォトダイオード

Claims (15)

1. 複数の異なる偏光方向の光を透過させる複数の異なる偏光素子が隣接して構成される偏光領域と、全ての偏光方向の光を透過させる全透過領域からなる偏光部と、
   前記偏光部から出力される光から画像信号を生成する撮像素子であり、
   前記全透過領域の通過光から中央視点画像の画像信号を生成し、前記偏光領域の通過光から複数の異なる視点画像の画像信号を生成する撮像素子と、
   前記撮像素子の出力信号に対する信号処理を実行する画像処理部であり、
   前記中央視点画像に画素値を設定して２次元画像を生成するとともに、前記複数の異なる視点画像を適用して被写体距離を反映した視差情報を生成する画像処理部と、
   を備える画像処理装置。
2. 前記偏光領域は、垂直偏光領域と水平偏光領域からなる請求項１に記載の画像処理装置。
3. 前記偏光領域は、前記撮像素子の所定のライン単位で隣接して構成され、
   前記全透過領域は、前記撮像素子の所定のライン単位で構成される請求項１〜２いずれかに記載の画像処理装置。
4. 前記偏光領域は、前記撮像素子の複数画素からなる矩形領域を単位として構成され、
   前記矩形領域の水平方向の長さは、前記撮像素子の水平方向の長さより短く、
   前記全透過領域は、前記撮像素子の所定のライン単位で構成される請求項１〜３いずれかに記載の画像処理装置。
5. 前記全透過領域は、中央視点画像になる前記光を取得し、
   前記偏光領域は、左眼視点画像になる前記光と右眼視点画像になる前記光を取得する請求項１〜４いずれかに記載の画像処理装置。
6. 前記画像処理装置は、
   更に第２偏光部を有し、
   前記第２偏光部は、各々が異なる偏光を透過させる第１偏光領域と第２偏光領域を有し、
   前記偏光部は、前記第２偏光部の透過光を入射する請求項１〜５いずれかに記載の画像処理装置。
7. 前記偏光部が有する偏光領域は、ワイヤグリッド偏光子によって構成される
   請求項１〜６いずれかに記載の画像処理装置。
8. 前記画像処理部は、前記中央視点画像と前記中央視点画像とは異なる視点画像に分離する画素分離部を有する請求項１〜７いずれかに記載の画像処理装置。
9. 前記画像処理部は、
   前記左眼視点画像と前記右眼視点画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、
   前記撮像素子から入力する前記中央視点画像に画素値を設定する補間処理を実行して２次元画像を生成する画像補正部と、
   前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する請求項５に記載の画像処理装置。
10. 前記撮像素子は、
    被写体距離を反映した視差情報を生成するための２つの異なる視点画像を取得する左右視点画像取得領域と、
    １つの視点からの撮影画像を生成する中央視点画像取得領域を有する請求項１に記載の画像処理装置。
11. 前記画像処理部は、
    前記撮像素子の構成画素からの出力信号から得られる２つの異なる視点画像を適用して被写体距離を反映した視差情報として、画像の被写体距離情報を反映したデプスマップを生成し、
    前記デプスマップを適用した画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する請求項１に記載の画像処理装置。
12. 前記画像処理部は、
    前記撮像素子から取得する２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、
    前記撮像素子からの取得画像の画素値を設定する補間処理を実行して２次元画像を生成する画像補正部と、
    前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する請求項１に記載の画像処理装置。
13. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、
    複数の異なる偏光方向の光を透過させる複数の異なる偏光素子が隣接して構成される偏光領域と、全ての偏光方向の光を透過させる全透過領域からなる偏光部と、
    前記偏光部から出力される光から画像信号を生成する撮像素子であり、
    前記全透過領域の通過光から中央視点画像の画像信号を生成し、前記偏光領域の通過光から複数の異なる視点画像の画像信号を生成する撮像素子と、
    前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
    前記画像処理部は、
    前記中央視点画像に画素値を設定して２次元画像を生成するとともに、前記複数の異なる視点画像を適用して被写体距離を反映した視差情報を生成する画像処理方法。
14. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、
    複数の異なる偏光方向の光を透過させる複数の異なる偏光素子が隣接して構成される偏光領域と、全ての偏光方向の光を透過させる全透過領域からなる偏光部と、
    前記偏光部から出力される光から画像信号を生成する撮像素子であり、
    前記全透過領域の通過光から中央視点画像の画像信号を生成し、前記偏光領域の通過光から複数の異なる視点画像の画像信号を生成する撮像素子と、
    前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
    前記プログラムは、前記画像処理部に、
    前記中央視点画像に画素値を設定して２次元画像を生成するとともに、前記複数の異なる視点画像を適用して被写体距離を反映した視差情報を生成させるプログラム。
15. 画像処理装置において画像処理を実行させるプログラムを格納した記録媒体であり、
    前記画像処理装置は、
    複数の異なる偏光方向の光を透過させる複数の異なる偏光素子が隣接して構成される偏光領域と、全ての偏光方向の光を透過させる全透過領域からなる偏光部と、
    前記偏光部から出力される光から画像信号を生成する撮像素子であり、
    前記全透過領域の通過光から中央視点画像の画像信号を生成し、前記偏光領域の通過光から複数の異なる視点画像の画像信号を生成する撮像素子と、
    前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
    前記記録媒体は、前記画像処理部に、前記中央視点画像に画素値を設定して２次元画像を生成するとともに、前記複数の異なる視点画像を適用して被写体距離を反映した視差情報を生成させるプログラムを格納した記録媒体。