JP2018029279A - 撮像装置と撮像方法 - Google Patents

Abstract

【課題】偏光画像と高解像度非偏光画像を生成できるようにする。【解決手段】撮像部１３では、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とする。偏光方向回転部１１は、撮像部１３の入射面側に設けられて、撮像部１３の入射光の偏光方向を回転させる。制御部は、偏光方向回転部１１と撮像部１３を制御して、撮像部１３の露光期間中に入射光の偏光方向を一定速度で１８０度のｎ（ｎは自然数）倍回転させることで非偏光画像を生成する。あるいは、偏光方向の複数の回転位置で撮像を行うことにより得られた画像を用いて非偏光画像を生成する。また、偏光方向回転部１１で偏光方向の回転を停止させて撮像部１３で撮像を行うことで偏光画像を生成する。【選択図】 図１

Description

この技術は、撮像装置と撮像方法に関し、偏光画像と高解像度非偏光画像を生成できるようにする。

近年、輝度画像だけでは得られない情報例えば偏光情報を取得する提案がなされている。例えば特許文献１では、偏光方向の異なる偏光子を含む複数の単位構造が２次元的に配列され偏光アレイを光感知セルアレイに設けて、各光感知セルに１つの偏光子を透過した光が入射するように構成する。このような構成とすることで、光感知セルアレイから偏光画像を読み出すことが開示されている。また、特許文献２では、偏光画像に基づき法線情報が取得されている。

また、特許文献３では、イメージセンサに第１の感光性領域と偏光子を含めた第２の感光性領域を設けることで、感度を道路の表面から反射された太陽光を選択的に阻止することができ、他の被写体からの光が画像形成されるのを可能にすることが開示されている。

国際公開第２０１２／０１７６００号 特開２０１５−１１４３０７号公報 特表２０１１−５２６１０５号公報

ところで、光感知セルに１つの偏光子を透過した光が入射するように撮像部を構成した場合、無偏光画像を読み出すことができない。また、イメージセンサに第１の感光性領域と偏光子を含めた第２の感光性領域を設けた場合、感光性領域が分割されていることから感光性領域を分割していない場合に比べて撮像画の解像度が低下する。

そこで、この技術では、偏光画像と高解像度非偏光画像を生成できる撮像装置と撮像方法を提供することを目的とする。

この技術の第１の側面は、
入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、
前記撮像部の入射面側に設けられて、前記入射光の偏光方向を回転させる偏光方向回転部と、
前記撮像部と前記偏光方向回転部を制御して、偏光画像または前記偏光画像よりも解像度の高い非偏光画像を生成する制御部と
を有する撮像装置にある。

この発明では、入射光に基づいて画素信号を生成する撮像部の複数の画素が、複数偏光方向の何れかの偏光方向である偏光画素とされており、撮像部の入射面側に偏光方向回転部が設けられて、撮像部に入射される入射光の偏光方向が回転される。制御部は、撮像部と偏光方向回転部を制御して、例えば偏光方向回転部による偏光方向の回転を停止させて偏光画像を生成して、撮像部の露光期間中に入射光の偏光方向を偏光方向回転部によって一定速度で１８０度のｎ（ｎは自然数）倍回転させることで偏光画像よりも解像度の高い非偏光画像を生成する。また、制御部は、偏光方向の複数の回転位置で撮像を行うことにより得られた画像を用いて非偏光画像を生成する。例えば、制御部は、偏光方向回転部の偏光方向が撮像部の偏光画素の偏光方向と等しい位置で撮像を行う。この場合、撮像部で複数回撮像を行うことにより得られた画像を画素毎に合成して非偏光画像を生成する画像信号処理部を設ける。

また、制御部は、非偏光画像を生成する場合に発光部からの照明光の出射を停止させる。さらに、制御部は、発光部を用いた撮像動作では偏光画像を生成する。

偏光方向回転部は、１／２波長板と、この１／２波長板を前記入射光の光軸方向を回転軸として回転させる回転駆動部を有する。また、偏光方向回転部は、偏光方向を回転させる特性を有した液晶素子を用いて構成してもよい。さらに、偏光方向回転部は、着脱可能な構成として、偏光方向回転部が取り外されている場合、および偏光方向回転部で偏光方向の回転を停止している場合、制御部は偏光画像を生成する。

この技術の第２の側面は、
入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、前記撮像部の入射面側に位置する偏光方向回転部を制御部で制御して、偏光画像または前記偏光画像よりも解像度の高い非偏光画像を生成すること
を含む撮像方法にある。

この技術によれば、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、撮像部の入射面側に位置する偏光方向回転部を制御部で制御して、偏光画像または偏光画像よりも解像度の高い非偏光画像を生成できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。

撮像装置の構成を例示した図である。 撮像部の構成を例示した図である。 撮像装置の動作を示すフローチャートである。 撮像設定処理を示すフローチャートである。 割り込み処理を示すフローチャートである。 入射光と偏光方向の回転角と撮像部の入射光の関係、および撮像部における偏光画素の信号強度を説明するための図（１／２波長板の回転角が「θ＝９０°」の場合）である。 入射光と偏光方向の回転角と撮像部の入射光の関係、および撮像部における偏光画素の信号強度を説明するための図（１／２波長板の回転角が「θ＝６７．５°」の場合）である。 入射光と偏光方向の回転角と撮像部の入射光の関係、および撮像部における偏光画素の信号強度を説明するための図（１／２波長板の回転角が「θ＝４５°」の場合）である。 入射光と偏光方向の回転角と撮像部の入射光の関係、および撮像部における偏光画素の信号強度を説明するための図（１／２波長板の回転角が「θ＝２２．５°」の場合）である。 偏光方向を一定速度で１８０度回転させたときの偏光方向が異なる各画素の信号強度を示す図である。 入射光と偏光方向の回転角と撮像部の入射光の関係、および撮像部における偏光画素の信号強度を説明するための図（液晶素子を用いた場合）である。撮像装置の構成を例示した図である。 撮像装置の他の構成を例示した図である。 撮像部の他の構成を例示した図である。 カラーモザイクフィルタと偏光フィルタの組み合わせを例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．撮像装置の動作
２−１．高解像非偏光撮像モードの第１の撮像動作
２−２．高解像非偏光撮像モードの第２の撮像動作
２−３．偏光撮像モードの撮像動作
３．撮像装置の他の構成
４．応用例

＜１．撮像装置の構成＞
図１は、撮像装置の構成を例示している。撮像装置１０は、偏光方向回転部１１、レンズ系ブロック１２、撮像部１３、画像信号処理部１４、表示部１５、画像保存部１６、ユーザインタフェース部１７、制御部２０を有している。また、撮像装置１０には、着脱検出部１８や発光部１９が設けられても良い。

偏光方向回転部１１は、偏光素子１１１と回転駆動部１１２を用いて構成されている。偏光素子１１１は、偏光方向を回転させる機能を有する光学素子であり、例えば１／２波長板または液晶可変偏光板等である。回転駆動部１１２は、制御部２０からの指示に基づき偏光素子１１１を駆動して、撮像部１３に入射される入射光の偏光方向を回転させる。

レンズ系ブロック１２は、フォーカスレンズやズームレンズ、絞り機構等を有している。また、レンズ系ブロック１２には、制御部２０からの指示に基づきレンズや絞り機構を駆動する駆動部を有している。レンズ系ブロック１２は、制御部２０からの指示に基づきフォーカスレンズやズームレンズの位置を制御して、被写体光学像を撮像部１３の露光面に結像させる。レンズ系ブロック１２は、制御部２０からの指示に基づき絞りの開度を制御して入射光（被写体光）の光量を調整する。なお、フォーカスレンズやズームレンズおよび絞りの位置は、ユーザ操作に応じて機械的に移動可能とされていてもよい。

撮像部１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサ等を用いて構成されている。
また、撮像部１３は、イメージセンサの入射面に複数の偏光方向の画素構成である偏光フィルタを設けて、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした構成とされている。図２は撮像部の構成を例示している。撮像部１３は、イメージセンサ１３１の入射面に偏光フィルタ１３２を配置した構成とされており、例えば特許文献２で開示されているように偏光画像から法線情報を取得する場合には、３方向以上の偏光方向の画素構成とされた偏光フィルタが用いられる。図２では、各画素が異なる４種類の偏光方向、例えば偏光方向が「０°，４５°，９０°，１３５°（偏光方向を矢印で示す）」の何れかの画素となる偏光フィルタ１３２をイメージセンサ１３１の入射面に配置した場合を例示している。撮像部１３は、生成した偏光画像の画像信号を画像信号処理部１４へ出力する。なお、偏光方向が「０°」の画素を偏光画素Ｃ１、偏光方向が「４５°」の画素を偏光画素Ｃ２、偏光方向が「９０°」の画素を偏光画素Ｃ３、偏光方向が「１３５°」の画素を偏光画素Ｃ４とする。

画像信号処理部１４は、撮像部１３から出力された画像信号に対して、ノイズ除去処理、ゲイン調整処理、欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理を行う。また、画像信号処理部１４は、偏光方向回転部１１で偏光方向を所定角度間隔で切り替えてブラケット撮像を行い、ブラケット撮像によって得られた偏光画像を用いて画素毎に合成を行い、非偏光画像を生成する。画像信号処理部１４は、処理後の画像信号を表示部１５と画像保存部１６に出力する。なお、画像信号処理部１４は、制御部２０からの制御のもと、撮像装置１０の設定操作や設定状態の確認等を行うためのメニュー表示や撮像時における設定状態等に関する情報表示を行う表示信号を画像信号に重畳して表示部１５等に出力する。

表示部１５は、液晶ディスプレイや、有機ＥＬ（ＥＬ：Electro luminescence）ディスプレイなどにより構成される。表示部１５は、その画面上に撮像画や各種情報を表示させる。例えば、表示部１５は、画像信号処理部１４から出力された画像データに基づき、画面上にスルー画を表示する。また、表示部１５は、画像保存部１６に記録された画像が画像信号処理部１４で再生されたとき再生画像を画面上に表示する。さらに、表示部１５は、メニュー表示や情報表示を行う。

画像保存部１６は、画像信号処理部１４から出力された画像データや、その画像データに関連するメタデータ（例えば、その画像データが取得された日時等）を記憶する。画像保存部１６は、例えば、半導体メモリ、光ディスク、ＨＤ（hard Disc）などにより構成される。画像保存部１６は、撮像装置１０の内部に固定して設けられてもよく、撮像装置１０に対して着脱可能に設けられてもよい。

ユーザインタフェース部１７はシャッターボタンや操作スイッチ、タッチパネル等で構成されている。ユーザインタフェース部１７は、シャッターボタン、種々の操作スイッチ、タッチパネル等に対するユーザ操作に応じた操作信号を生成して制御部２０へ出力する。

また、偏光方向回転部１１が撮像装置１０に対して着脱可能とされている場合、偏光方向回転部１１が撮像装置１０に取り付けられているか否かを検出する着脱検出部１８が設けられている。着脱検出部１８はスイッチやセンサ等を用いて構成されており、偏光方向回転部１１が撮像装置１０に取り付けられているか否かを示す検出信号を生成して制御部２０へ出力する。発光部１９は、ストロボ等を用いて構成されており、制御部２０からの駆動信号に基づいて照明光を出射する。

制御部２０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部１７からの操作信号に基づき、ユーザ操作に応じた動作モードで撮像動作が撮像装置１０で行われるように各部を制御する。

また、制御部２０は、高解像度非偏光撮像を行う動作モードである高解像度非偏光撮像モードが選択された場合、偏光方向回転部１１における偏光素子１１１の偏光方向の回転制御と撮像部１３の駆動制御を行い、各偏光画素で被写体に応じた画素信号を生成させる。また、制御部２０は偏光撮像を行う動作モードである偏光撮像モードが選択された場合、偏光素子１１１の偏光方向を所定の回転位置として撮像部１３で画像信号の生成を行うようにする。さらに、制御部２０は、偏光方向回転部１１が撮像装置１０に対して着脱可能とされており、偏光方向回転部１１が撮像装置１０から取り外されている場合、偏光方向回転部１１の回転制御を行うことができない。したがって、制御部２０は、着脱検出部１８からの検出信号に基づき偏光方向回転部１１が撮像装置１０から取り外されていることを判別した場合、動作モードを偏光撮像モードとする。また、制御部２０は、撮像モードに応じて発光部１９の動作、または、発光部１９の動作に応じて撮像モードの設定を行う。

＜２．撮像装置の動作＞
次に撮像装置の動作について説明する。図３は撮像装置の動作を示すフローチャートである。ステップＳＴ１で制御部は撮像設定処理を行う。図４は撮像設定処理を示すフローチャートである。

ステップＳＴ１１で制御部は撮像モード判定情報を取得する。制御部２０は、撮像モード判定情報として、撮像モードに関するユーザ設定情報、偏光方向回転部１１の着脱状態を示す情報、ストロボ設定情報等を取得してステップＳＴ１２に進む。

ステップＳＴ１２で制御部は撮像モードを高解像度非偏光撮像モードとするか判別する。制御部２０は、取得した撮像モード判別情報に基づき撮像モードを高画質化非偏光撮像モードとするか判別する。制御部２０は、例えば偏光方向回転部１１が撮像装置１０に取り付けられていない場合、偏光方向回転部１１を利用できないことから、この場合には高解像度非偏光撮像モードをユーザが選択できないようにする。また、偏光方向回転部１１で偏光方向を回転中に照明光が出射されると、偏光方向の回転中に被写体輝度が変化してしまう。したがって、制御部２０は、例えば発光部１９を使用する設定とされている場合、高解像度非偏光撮像モードをユーザが選択できないようにする。あるいは、ユーザが高解像度非変更撮像モードを選択している場合には、発光部１９を使用する設定であっても、発光を行わないように制御してもよい。制御部２０は、ユーザが高解像度非偏光撮像モードを選択している場合、撮像モードを高解像度非偏光撮像モードとすると判別してステップＳＴ１３に進む。また、制御部２０は、高解像度非偏光撮像モードを選択していない場合、すなわちユーザが偏光撮像モードを選択している場合はステップＳＴ１５に進む。なお、制御部２０は、高解像度非偏光撮像モードがユーザによって選択されていても、撮像時に照明光が必要で発光部１９の使用が可能である場合は、偏光方向の回転中に照明光が出射されて被写体輝度が変化してしまうことがある。このように被写体輝度が変化すると、後述するように、被写体の輝度に応じた高解像非偏光画像を得ることができない。したがって、このため、発光部１９の使用が必要である場合は、撮像モードを偏光撮像モードとする。

ステップＳＴ１３で制御部は高解像度非偏光撮像モード設定処理を行う。制御部２０は、被写体の輝度等に応じて、撮像部１３の露光時間またはブラケット撮像における撮像間隔等の撮像設定と、偏光方向回転部１１における偏光方向の回転速度設定を行いステップＳＴ１４に進む。

ステップＳＴ１４で制御部は偏光方向回転動作を行う。制御部は偏光方向回転部１１における偏光方向の回転速度がステップＳＴ１３で設定した速度となるように、偏光方向回転部１１を駆動して図３のステップＳＴ２に進む。

ステップＳＴ１５で制御部は偏光撮像モード設定処理を行う。制御部２０は、被写体の輝度やユーザ設定に応じて、露光時間等の撮像設定を行い図３のステップＳＴ２に進む。

ステップＳＴ２で制御部はスルー画表示処理を行う。制御部２０はステップＳＴ１の撮像設定に基づき撮像部１３を制御して画像信号を生成させて表示部１５でスルー画の表示を行いステップＳＴ３に進む。

ステップＳＴ３で制御部は撮像終了であるか判別する。制御部２０は、撮像装置の動作モードが被写体を撮像して記録画を保存する動作モードから他の動作モードに切り替えられていない場合および撮像装置の動作を終了する終了操作が行われていない場合は撮像終了でないと判別してステップＳＴ１に戻る。また、制御部２０は、他の動作モードへの切替操作や終了操作が行われた場合動作を終了する。

制御部は、図３に示すステップＳＴ１からステップＳＴ３までの処理中にシャッター操作が行われた場合、図５に示す割り込み処理を行う。ステップＳＴ２１で制御部は記録画生成処理を行う。制御部２０は、撮像モードが高解像度非偏光撮像モードである場合、高解像度非偏光撮像モード設定処理の撮像設定で撮像部１３を駆動して高解像度非偏光撮像画の画像信号を生成する。また、制御部２０は、撮像モードが偏光撮像モードである場合、偏光撮像モード設定処理の撮像設定で撮像部１３を駆動して偏光撮像画の画像信号を生成する。制御部２０は、高解像度非偏光画像または偏光画像の画像信号を生成してステップＳＴ２２に進む。なお、高解像度非偏光撮像モードの撮像動作については後述する。

ステップＳＴ２２で制御部は画像保存処理を行う。制御部２０はステップＳＴ２１で生成した画像信号を画像信号処理部１４へ出力して種々の処理を行い、処理後の画像信号を画像保存部１６に記憶させて割り込み処理を終了する。

＜２−１．高解像非偏光撮像モードの第１の撮像動作＞
次に撮像装置における高解像非偏光撮像モードの第１の撮像動作について説明する。撮像装置が高解像非偏光撮像モードに設定された場合、撮像装置は、偏光方向回転部１１における偏光素子１１１の偏光方向の回転制御と撮像部１３の駆動制御を行い、各偏光画素で被写体に応じた画素信号を生成させる。

図６〜図９は、偏光素子１１１として１／２波長板１１１ａを用いた場合における入射光と偏光方向の回転角と撮像部の入射光の関係、および撮像部における偏光画素の信号強度を説明するための図である。図６は１／２波長板１１１ａの回転角が「θ＝９０°」、図７は１／２波長板１１１ａの回転角が「θ＝６７．５°」、図８は１／２波長板１１１ａの回転角が「θ＝４５°」、図９は１／２波長板１１１ａの回転角が「θ＝２２．５°」である場合をそれぞれ示している。また、撮像部１３は、２×２画素ブロックが偏光方向０°，４５°，９０°，１３５°の画素で構成された偏光フィルタ１３２をイメージセンサ１３１の入射面に配置した構成とする。

入射光、例えば偏光方向が「０°」である直線偏光成分ＬＡが１／２波長板１１１ａに垂直に入射されたとき、入射光ＬＡの偏光方向に対して１／２波長板１１１ａの光学軸が傾きθを生じると、入射光ＬＡは、１／２波長板１１１ａを透過することで偏光方向が「２θ」回転された入射光ＬＢ（２θ）が撮像部１３に入射される。

例えば、図６の（ａ）に示すように、入射光ＬＡの偏光方向に対して１／２波長板１１１ａの光学軸が傾き「θ＝９０°」であると、入射光ＬＢ（２θ）は、入射光ＬＡの偏光方向を「１８０°」回転させた状態、すなわち入射光ＬＡと偏光方向が等しくなる。したがって、撮像部１３における２×２画素ブロックでは、図６の（ｂ）に示すように偏光方向が「０°」である偏光画素Ｃ１の信号強度は最も大きく「Ｖ3」、偏光方向が「９０°」である偏光画素Ｃ３の信号強度は最も小さく「Ｖ1」となる。また、偏光方向が「４５°」の偏光画素Ｃ２と「１３５°」の偏光画素Ｃ４の信号強度は中間である「Ｖ2」となる。

図７の（ａ）に示すように、入射光ＬＡの偏光方向に対して１／２波長板１１１ａの光学軸が傾き「θ＝６７．５°」であると、入射光ＬＢ（２θ）は、入射光ＬＡの偏光方向を「１３５°」回転させた状態となる。したがって、撮像部１３における２×２画素ブロックでは、図７の（ｂ）に示すように偏光方向が「１３５°」である偏光画素Ｃ４の信号強度は最も大きく「Ｖ3」、偏光方向が「４５°」である偏光画素Ｃ２の信号強度は最も小さく「Ｖ1」となる。また、偏光方向が「０°」の偏光画素Ｃ１，「９０°」の偏光画素Ｃ３の信号強度は中間である「Ｖ2」となる。

図８の（ａ）に示すように、入射光ＬＡの偏光方向に対して１／２波長板１１１ａの光学軸が傾き「θ＝４５°」であると、入射光ＬＢ（２θ）は、入射光ＬＡの偏光方向を「９０°」回転させた状態となる。したがって、撮像部１３における２×２画素ブロックでは、図８の（ｂ）に示すように偏光方向が「９０°」である偏光画素Ｃ３の信号強度は最も大きく「Ｖ3」、偏光方向が「０°」である偏光画素Ｃ１の信号強度は最も小さく「Ｖ1」となる。また、偏光方向が「４５°」の偏光画素Ｃ２，「１３５°」である偏光画素Ｃ４の信号強度は中間である「Ｖ2」となる。

図９の（ａ）に示すように、入射光ＬＡの偏光方向に対して１／２波長板１１１ａの光学軸が傾き「θ＝２２．５°」であると、入射光ＬＢ（２θ）は、入射光ＬＡの偏光方向を「４５°」回転させた状態となる。したがって、撮像部１３における２×２画素ブロックでは、図９の（ｂ）に示すように偏光方向が「４５°」である偏光画素Ｃ２の信号強度は最も大きく「Ｖ3」、偏光方向が「１３５°」の偏光画素Ｃ４の信号強度は最も小さく「Ｖ1」となる。また、偏光方向「０°」の偏光画素Ｃ１，「９０」°の偏光画素Ｃ３の信号強度は中間である「Ｖ2」となる。

また、入射光における他の偏光方向の成分についても同様に、入射光ＬＡの偏光方向に対する１／２波長板１１１ａの光学軸の傾きに応じて、入射光ＬＡの偏光方向が回転されて撮像部１３に入射される。また、撮像部１３では、入射光ＬＢ（２θ）に応じて画素信号が生成される。

したがって、図３のフローチャートにおける高解像度非偏光撮像モード設定処理では、１／２波長板１１１ａを「ｎ／４（ｎは自然数）」回転させて、「ｎ／４（ｎは自然数）」回転期間が露光期間となるように、回転速度と露光期間を設定する。すなわち、露光期間中に偏光方向を一定速度で１８０度のｎ（ｎは自然数）倍だけ回転させることで、図１０に示すように、偏光方向が異なる２×２画素ブロックの各偏光画素では、偏光方向の違いにかかわらず信号強度が一定となる。このため、偏光画素毎に入射光ＬＡに応じた信号レベルを示す高解像度非偏光画像の画像信号を生成できるようになる。

また、「ｎ／４（ｎは自然数）」回転期間を露光期間とする場合に限らず、偏光方向の複数の回転位置で撮像を行うことにより得られた画像を用いて非偏光画像を生成してもよい。この場合、制御部２０は、入射光ＬＡの偏光方向を１／２波長板１１１ａで１８０°のｎ（ｎは自然数）倍だけ回転させる期間中に偏光画素の偏光方向に応じてブラケット撮像を行うように、回転速度とブラケット撮像間隔を設定する。例えば、制御部２０は、１／２波長板１１１ａで回転した偏光方向が撮像部１３の偏光画素の偏光方向と等しい位置で撮像を行う。具体的には、偏光方向を１／２波長板１１１ａで１８０°回転させる期間中に偏光方向が「０°」「４５°」「９０°」「１３５°」となる位置で撮像を行うようにする。このように撮像設定と回転速度設定を行えば、ブラケット撮像で得られた偏光画像を画素毎に合成して、例えば画素毎に画素値の平均化または加算等を行うことで、偏光方向が異なる２×２画素ブロックの各偏光画素では、偏光方向の違いにかかわらず信号強度が一定となる。このため、画素毎に入射光ＬＡに応じた信号レベルを示す高解像度非偏光画像の画像信号を生成できるようになる。また、ブラケット撮像を行うことで、高解像非偏光画像だけでなく偏光画像を同時に取得できる。さらに、１／２波長板１１１ａで回転した偏光方向が撮像部１３の偏光画素の偏光方向と等しいタイミングで撮像を行うことで、偏光画素の信号強度を最大とすることができる。すなわち、感度の高い偏光画像を生成できる。また、１／２波長板１１１ａの回転が停止されており、入射光ＬＡの偏光方向が光学軸に対して平行または垂直である場合（回転が停止されており図６に示すように入射光ＬＡの偏光方向が光学軸に対して垂直である場合）、入射光ＬＡは偏光方向が変化することなく撮像部１３に入射される。また、入射光ＬＡの偏光方向が光学軸に対して例えば「４５°」である場合（回転が停止されており図７に示すように入射光ＬＡの偏光方向が光学軸に対して「４５°」である場合）と、「１３５°」である場合（回転が停止されており図９に示すように入射光ＬＡの偏光方向が光学軸に対して「１３５°」である場合）では、偏光方向が一致する偏光画素は入れ替わっている。したがって、画像信号処理部１４は、１／２波長板１１１ａの回転を停止して撮像を行ったときの画素毎の信号を処理する場合、光学軸に対して偏光方向が垂直または平行の画素で生成された信号は、入射光において偏光方向が垂直または平行の画素の偏光方向と一致する偏光成分を示す信号として、光学軸に対して偏光方向が垂直または平行でない画素で生成された信号は、光学軸と画素の偏光方向との角度差に応じて１／２波長板１１１ａで回転されている入射光における偏光成分を示す信号とする処理に自動的に切り替えるようにする。

また、高解像非偏光撮像モードでは、上述のように、「ｎ／４（ｎは自然数）」回転期間を露光期間、または、入射光ＬＡの偏光方向を１／２波長板１１１ａで１８０°のｎ（ｎは自然数）倍だけ回転させる期間中にブラケット撮像を行う。このため、この期間中に被写体輝度が変化すると、偏光画素間で信号強度のばらつきを生じて、被写体の輝度に応じた高解像非偏光画像を得ることができない。したがって、この期間中に被写体輝度が変化する撮像条件では、撮像モードを偏光撮像モードとする。また、高解像非偏光撮像モードが選択されている場合は、撮像条件に制限を設けるようにしてもよい。例えば、上述したように、発光部１９を用いて撮像を行う場合は高解像非偏光撮像モードを選択できないようにして、高解像非偏光撮像モードが選択されている場合は発光部１９を使用できないようにする。

また、１／２波長板１１１ａを高速で回転する場合は、ｎ／４回転でなくても、回転角度差は誤差として無視することが可能であり、露光期間に合わせて回転速度を精密に制御する仕組みを省くことができる。

このように、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、撮像部の入射面側に設けられて、入射光の偏光方向を回転させる偏光方向回転部を用いて、上述のように撮像部と偏光方向回転部を制御することで、偏光画像だけでなく非偏光画像を生成できる。また、偏光フィルタが例えば図２に示す構成である場合、同一偏光方向の画素は２×２画素毎に１つの画素となることから、同一偏光方向の画素を用いた偏光画像は、垂直方向および水平方向の画素数が半分である画素数の画像となる。しかし、高解像非偏光撮像モードで取得される非偏光画像の画像信号は、画素毎に入射光ＬＡに応じた信号レベルを示しており、偏光画像に比べて垂直方向および水平方向の画素数が２倍となり、偏光画像よりも高解像度の非偏光画像を取得できる。

＜２−２．高解像非偏光撮像モードの第２の撮像動作＞
次に、高解像非偏光撮像モードの第２の撮像動作について説明する。第２の撮像動作では、偏光素子１１１として偏光方向を回転できる特性を有した液晶可変偏光板１１１ｂを用いる。液晶可変偏光板１１１ｂではネマティック液晶を用いて構成されている。

図１１は、偏光素子１１１として液晶可変偏光板１１１ｂを用いた場合における入射光と偏光方向の回転角と撮像部の入射光の関係、および液晶素子の駆動と撮像部における偏光画素の信号強度を説明するための図である。

図１１の（ａ）に示すように、入射光ＬＡは液晶可変偏光板１１１ｂを透過することにより偏光方向が「０°〜１８０°」の範囲で回転されて入射光ＬＢとして撮像部１３に入射される。液晶可変偏光板１１１ｂ回転駆動部１１２からの駆動信号に基づき、図１１の（ｂ）に示すように、時間の経過と共に一定の角速度で偏光方向を「０°」から「１８０°」まで回転させのち、「１８０°」から「０°」まで回転させる。以下同様に偏光方向を回転させる。

制御部２０は、偏光方向が「０°」から「１８０°」となるまでの期間、または偏光方向が「１８０°」から「０°」となるまでの期間を露光期間とする。この場合、図１１の（ｃ）に示すように、偏光方向が異なる２×２画素ブロックの各偏光画素では、偏光方向の違いにかかわらず信号強度が一定となり、画素毎に入射光ＬＡに応じた信号レベルを示す高解像度非偏光画像の画像信号を生成できるようになる。

また、制御部２０は、ブラケット撮像を行い、液晶可変偏光板１１１ｂの偏光方向を偏光画素の偏光方向と等しくして複数回撮像を行ってもよい。例えば液晶可変偏光板１１１ｂの偏光方向を「０°」「４５°」「９０°」「１３５°」として撮像を行うようにする。このように撮像設定と回転速度設定を行えば、ブラケット撮像で得られた偏光画像を画素毎に合成することで、偏光方向が異なる２×２画素ブロックの各偏光画素では、偏光方向の違いにかかわらず信号強度が一定となる。このため、画素毎に入射光ＬＡに応じた信号レベルを示す高解像度非偏光画像の画像信号を生成できるようになる。また、ブラケット撮像を行うことで、高解像非偏光画像だけでなく偏光画像を同時に取得できる。また、液晶可変偏光板１１１ｂの偏光方向が撮像部１３の偏光画素の偏光方向と等しい状態で撮像を行うことで、偏光画素の信号強度を最大とすることができる。すなわち、感度の高い偏光画像を生成できる。

なお、偏光方向を「０°」と「１８０°」との間で変化させる周期を露光期間に対して十分に短くできる場合は、偏光方向を変化させる周期を露光期間の（１／ｎ）に精度良く設定しなくとも、端数分は誤差として無視することが可能である。このため、露光期間に合わせて偏光方向を変化させる駆動信号の周波数を精密に制御する仕組みを省くことができる。

このように、方向偏光方向回転部として液晶可変偏光板を用いても、１／２波長板を用いた場合と同様に、偏光画像だけでなく偏光画像よりも解像度の高い非偏光画像を生成できる。また、偏光方向回転部として液晶可変偏光板を用いることで可動部が不要となることから簡単な構成で高解像非偏光画像を生成できるようになる。

＜２−３．偏光撮像モードの撮像動作＞
偏光撮像モードである場合、制御部２０は偏光素子１１１の偏光方向を回転させることなく、または偏光素子１１１を用いることなく撮像を行う。この場合、撮像部１３における偏光方向が異なる２×２画素ブロックの各画素では、画素毎に画素の偏光方向に関連した入射光ＬＡの偏光成分に応じた信号強度の画素信号が生成される。したがって、偏光方向毎に同一偏光方向の画素信号を用いることで、偏光方向に対応した偏光成分を示す偏光画像を偏光方向毎に生成できる。

＜３．撮像装置の他の構成＞
上述の実施の形態では、偏光方向回転部１１をレンズ系ブロック１２の入射光面側に設けた構成を例示したが、偏光方向回転部１１は撮像部１３の入射光面側の位置であればよい。図１２は撮像装置の他の構成を例示しており、撮像装置１０ａでは、レンズ系ブロック１２と撮像部１３との間に偏光方向回転部１１を設けている。

また、撮像部の構成は、図２に示すように偏光フィルタが１画素毎に偏光角を異なるようにした構成に限らず、複数画素単位で偏光角が異なる構成であってもよい。さらに撮像部にはカラーモザイクフィルタが用いられてもよい。図１３は撮像部の他の構成を例示している。なお、図１３の（ａ）（ｂ）はカラーパターン、図１３の（ｃ）（ｄ）は偏光パターンを例示している。カラーパターンは、図１３の（ａ）に示すように２×２画素を色単位として、色単位の画素ブロックをベイヤー配列とした色配列である。また、図１３の（ｂ）は１画素を色単位として、色配列をベイヤー配列とした場合を示している。偏光パターンは、図１３の（ｃ）に示すように１画素を偏光成分単位として２×２偏光成分単位を異なる４つの偏光方向の偏光成分単位として繰り返した構成してもよい。また、図１３の（ｄ）に示すように２×２画素を偏光成分単位として、２×２偏光成分単位を異なる４つの偏光方向の偏光成分単位として繰り返した構成してもよい。また、図１３では、各画素に偏光フィルタが設けられる場合を例示したが、偏光フィルタのない画素が混在していてもよい。

カラーパターンと偏光パターンは、色成分毎に４つの偏光成分が得られるように組み合わせて用いる。図１４は、カラーモザイクフィルタと偏光フィルタの組み合わせを例示している。

図１４の（ａ）は、カラーモザイクフィルタが図１４の（ａ）の構成であり、図１４の（ｃ）に示す構成の偏光フィルタを用いた場合を示している。この組み合わせは、色成分単位毎に偏光方向毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。図１４の（ｂ）は、カラーモザイクフィルタが図１３の（ａ）の構成であり、図１３の（ｄ）に示す構成の偏光フィルタを用いた場合を示している。この組み合わせでは、カラーモザイクフィルタの色成分単位に対して偏光フィルタの偏光成分単位を左右および上下方向に１画素分だけ位相をずらして用いることで、色成分単位毎に偏光方向毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。

偏光フィルタの偏光成分単位が２×２画素である場合、偏光成分単位毎に得られた偏光成分における隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は１×１画素に比べて少なくなる。また、偏光フィルタがワイヤーグリッド型偏光子である場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなることから、偏光成分単位が２×２画素である場合は１×１画素に比べて透過率が高くなる。したがって、撮像部では、図１４の（ｂ）に示す組み合わせを用いることで、図１４の（ａ）に示す組み合わせを用いた場合に比べて消光比を良くすることができる。また、偏光成分単位が２×２画素である場合、１×１画素に比べて偏光画素の配置の偏りが大きい。したがって、撮像部は、図１４の（ａ）に示す組み合わせを用いることで、図１４の（ｂ）に示す組み合わせを用いた場合に比べて偏光情報の精度を高くできる。

図１４の（ｃ）は、カラーモザイクフィルタが図１３の（ｂ）の構成であり、図１３の（ｄ）に示す構成の偏光パターンを用いた場合を示している。この組み合わせによれば、偏光成分単位毎に色成分毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。さらに、色成分単位が１×１画素であることから、２×２画素に比べて色成分画素の配置の偏りが小さい。したがって、撮像部は、図１４の（ｃ）に示す組み合わせを用いることで、例えば図１４の（ａ）に示す組み合わせを用いた場合に比べて画質を良くすることができる。

＜４．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８、またはこれらの撮像部のいずれかに図１に示す撮像部を用いて、撮像部に偏光方向回転部を設ける構成する。また、図１５に示した応用例の統合制御ユニット７６００に画像信号処理部１４と制御部２０を設ける。このような構成とすれば、偏光画像と偏光画像よりも解像度の高い高解像非偏光画像を生成できるので、取得した偏光画像や高解像非偏光画像を運転支援や運転制御等に利用できる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、
前記撮像部の入射面側に設けられて、前記入射光の偏光方向を回転させる偏光方向回転部と、
前記撮像部と前記偏光方向回転部を制御して、偏光画像または前記偏光画像よりも解像度の高い非偏光画像を生成する制御部と
を有する撮像装置。
（２） 前記制御部は、前記撮像部の露光期間中に前記入射光の偏光方向を一定速度で１８０度のｎ（ｎは自然数）倍回転させることで前記非偏光画像を生成する（１）に記載の撮像装置。
（３） 前記制御部は、前記偏光方向の複数の回転位置で撮像を行うことにより得られた画像を用いて非偏光画像を生成する（１）に記載の撮像装置。
（４） 前記制御部は、前記偏光方向回転部の偏光方向が前記撮像部の偏光画素の偏光方向と等しい位置で撮像を行う（３）に記載の撮像装置。
（５） 前記撮像部で複数回撮像を行うことにより得られた画像を画素毎に合成して前記非偏光画像を生成する画像信号処理部を有する（３）または（４）に記載の撮像装置。
（６） 前記画像信号処理部は、前記偏光方向の回転を停止して前記撮像部で撮像を行う場合、前記偏光方向回転部の光学軸に対して偏光方向が垂直または平行の画素で生成された信号は、前記入射光において偏光方向が前記垂直または平行の画素の偏光方向と一致する偏光成分を示す信号として、前記偏光方向回転部の光学軸に対して偏光方向が垂直または平行でない画素で生成された信号は、前記偏光方向回転部の光学軸と前記画素の偏光方向との角度差に応じて前記偏光方向回転部で回転されている前記入射光の偏光成分を示す信号とする（５）に記載の撮像装置。
（７） 前記制御部は、前記非偏光画像を生成する場合に発光部からの照明光の出射を停止させる（１）乃至（６）のいずれかに記載の撮像装置。
（８） 前記制御部は、発光部を用いた撮像動作では偏光画像を生成する（１）乃至（７）のいずれかに記載の撮像装置。
（９） 前記偏光方向回転部は、１／２波長板と、この１／２波長板を前記入射光の光軸方向を回転軸として回転させる回転駆動部を有する（１）乃至（８）のいずれかに記載の撮像装置。
（１０） 前記偏光方向回転部は、液晶可変波長板と、この液晶可変波長板を駆動して前記入射光の光軸方向を回転軸として回転させる回転駆動部を有する（１）乃至（９）のいずれかに記載の撮像装置。
（１１） 前記偏光方向回転部は着脱可能な構成とする（１）乃至（１０）のいずれかに記載の撮像装置。
（１２） 前記制御部は、前記偏光方向回転部が取り外されている場合、および前記偏光方向回転部で前記偏光方向の回転を停止している場合、偏光画像を生成する（１１）に記載の撮像装置。
（１３） 前記偏光画素の複数の偏光方向は等しい角度間隔を有する（１）乃至（１２）のいずれかに記載の撮像装置。

この技術の撮像装置と撮像方法によれば、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、撮像部の入射面側に位置する偏光方向回転部を制御部で制御して、偏光画像または偏光画像よりも解像度の高い非偏光画像を生成できるようになる。したがって、偏光画像または偏光画像よりも解像度の高い非偏光画像のいずれか一方だけでなく他方の画像も生成できるので、高解像度の非偏光画像と偏光成分情報に基づき種々の制御を行う機器に適している。

１０，１０ａ・・・撮像装置
１１・・・偏光方向回転部
１２・・・レンズ系ブロック
１３・・・撮像部
１４・・・画像信号処理部
１５・・・表示部
１６・・・画像保存部
１７・・・ユーザインタフェース部
１８・・・着脱検出部
１９・・・発光部
２０・・・制御部
１１１・・・偏光素子
１１１ａ・・・１／２波長板
１１１ｂ・・・液晶可変偏光板
１１２・・・回転駆動部
１３１・・・イメージセンサ
１３２・・・偏光フィルタ

Claims (14)

1. 入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、
   前記撮像部の入射面側に設けられて、前記入射光の偏光方向を回転させる偏光方向回転部と、
   前記撮像部と前記偏光方向回転部を制御して、偏光画像または前記偏光画像よりも解像度の高い非偏光画像を生成する制御部と
   を有する撮像装置。
2. 前記制御部は、前記撮像部の露光期間中に前記入射光の偏光方向を１８０度のｎ（ｎは自然数）倍回転させることで前記非偏光画像を生成する
   請求項１に記載の撮像装置。
3. 前記制御部は、前記偏光方向の複数の回転位置で撮像を行うことにより得られた画像を用いて非偏光画像を生成する
   請求項１に記載の撮像装置。
4. 前記制御部は、前記偏光方向回転部の偏光方向が前記撮像部の偏光画素の偏光方向と等しい位置で撮像を行う
   請求項３に記載の撮像装置。
5. 前記撮像部で複数回撮像を行うことにより得られた画像を画素毎に合成して前記非偏光画像を生成する画像信号処理部を有する
   請求項３に記載の撮像装置。
6. 前記画像信号処理部は、前記偏光方向の回転を停止して前記撮像部で撮像を行う場合、前記偏光方向回転部の光学軸に対して偏光方向が垂直または平行の画素で生成された信号は、前記入射光において偏光方向が前記垂直または平行の画素の偏光方向と一致する偏光成分を示す信号として、前記偏光方向回転部の光学軸に対して偏光方向が垂直または平行でない画素で生成された信号は、前記偏光方向回転部の光学軸と前記画素の偏光方向との角度差に応じて前記偏光方向回転部で回転されている前記入射光の偏光成分を示す信号とする
   請求項５に記載の撮像装置。
7. 前記制御部は、前記非偏光画像を生成する場合に発光部からの照明光の出射を停止させる
   請求項１に記載の撮像装置。
8. 前記制御部は、発光部を用いた撮像動作では偏光画像を生成する
   請求項１に記載の撮像装置。
9. 前記偏光方向回転部は、１／２波長板と、この１／２波長板を前記入射光の光軸方向を回転軸として回転させる回転駆動部を有する
   請求項１に記載の撮像装置。
10. 前記偏光方向回転部は、偏光方向を回転させる特性を有した液晶素子を用いて構成する請求項１に記載の撮像装置。
11. 前記偏光方向回転部は着脱可能な構成とする
    請求項１に記載の撮像装置。
12. 前記制御部は、前記偏光方向回転部が取り外されている場合、および前記偏光方向回転部で前記偏光方向の回転を停止している場合、偏光画像を生成する
    請求項１１に記載の撮像装置。
13. 前記偏光画素の複数の偏光方向は等しい角度間隔を有する
    請求項１に記載の撮像装置。
14. 入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、前記撮像部の入射面側に位置する偏光方向回転部を制御部で制御して、偏光画像または前記偏光画像よりも解像度の高い非偏光画像を生成すること
    を含む撮像方法。

Images