JP2008167395A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】簡易な構成で、ライト・フィールド・フォトグラフィー技術に基づく撮像モード及び通常の高解像度の撮像モードの切り替えを行うことが可能な撮像装置を提供する。
【解決手段】撮像装置は、撮像レンズ１１、撮像レンズを通過した光が入射するマイクロレンズアレイ部１２、及びマイクロレンズアレイ部１２から出射された光を受光する撮像素子１３を備えており、マイクロレンズアレイ部１２を構成する各マイクロレンズは、印加される電圧に応じて焦点距離が可変である。
【選択図】 図１

Description

本発明は、撮像装置及び撮像方法に関し、より具体的には、例えば、ライト・フィールド・フォトグラフィー（Light Field Photography）技術に基づく撮像モード、及び、通常の高解像度の撮像モードの２つの撮像モードを切り替えて撮像することを可能とする撮像装置及び撮像方法に関する。

従来から、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像信号に対して、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１及び非特許文献１には、ライト・フィールド・フォトグラフィーと呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、受光素子と、画像処理部とから構成されており、受光素子から得られる撮像信号は、受光素子の受光面における光の強度に加えて、その光の進行方向の情報をも含んでいる。そして、このような撮像信号に基づき、画像処理部において、任意の視点や方向からの観察画像が再構築される。

国際公開第０６／０３９４８６号パンフレット Ren.Ng, et al, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02

ところで、ライト・フィールド・フォトグラフィー技術を利用した撮像装置において、ライト・フィールド・フォトグラフィー技術を用いない通常の高解像度の撮像モード（第１の撮像モードと呼ぶ）と、ライト・フィールド・フォトグラフィー技術に基づく撮像モード（第２の撮像モードと呼ぶ）とを、適宜切り替えて使用することが考えられる。ところが、このように２つの撮像モードを切り替えるには、マイクロレンズアレイを機械的に動かす必要がある。即ち、第１の撮像モードでは、マイクロレンズアレイは不要なので、マイクロレンズアレイを光軸上から移動させて、光軸上から除く必要がある。一方、第２の撮像モードでは、マイクロレンズアレイを光軸上に配置させる必要がある。よって、２つの撮像モードを切り替えて用いることを試みた場合、撮像装置の構成、構造が複雑となり、撮像装置全体が大型化してしまうといった問題がある。

従って、本発明の目的は、簡易な構成、構造で、例えば、ライト・フィールド・フォトグラフィー技術に基づく撮像モード及び通常の高解像度の撮像モードの２つの撮像モードの切り替えを容易に行うことが可能な撮像装置、及び、係る撮像装置を用いた撮像方法を提供することにある。

上記の目的を達成するための本発明の第１の態様に係る撮像装置は、
（Ａ）撮像レンズ、
（Ｂ）撮像レンズを通過した光が入射するマイクロレンズアレイ部、及び、
（Ｃ）マイクロレンズアレイ部から出射された光を受光する撮像素子、
を備えており、
マイクロレンズアレイ部を構成する各マイクロレンズは、印加される電圧に応じて焦点距離が可変であることを特徴とする。

本発明の第１の態様に係る撮像装置にあっては、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、マイクロレンズアレイ部を構成する各マイクロレンズの焦点距離が無限大とされることで、撮像レンズによる像が撮像素子上に結像され、
第２の撮像モードによる撮像時、撮像レンズによる像がマイクロレンズ上に結像され、各マイクロレンズの焦点距離が有限の値とされることで、マイクロレンズ上に結像された撮像レンズによる像が撮像素子上に投影される構成とすることができる。

また、上記の目的を達成するための本発明の第１の態様に係る撮像方法は、本発明の第１の態様に係る撮像装置、即ち、
（Ａ）撮像レンズ、
（Ｂ）撮像レンズを通過した光が入射するマイクロレンズアレイ部、及び、
（Ｃ）マイクロレンズアレイ部から出射された光を受光する撮像素子、
を備えており、
マイクロレンズアレイ部を構成する各マイクロレンズは、印加される電圧に応じて焦点距離が可変である撮像装置を用いた撮像方法であって、
第１の撮像モード及び第２の撮像モードによって撮像され、
第１の撮像モードによる撮像時、マイクロレンズアレイ部を構成する各マイクロレンズの焦点距離を無限大とすることで、撮像レンズによる像を撮像素子上に結像させ、
第２の撮像モードによる撮像時、撮像レンズによる像をマイクロレンズ上に結像させ、各マイクロレンズの焦点距離を有限の値とすることで、マイクロレンズ上に結像された撮像レンズによる像を撮像素子上に投影することを特徴とする。

上記の好ましい構成を含む本発明の第１の態様に係る撮像装置あるいは撮像方法にて用いられる撮像装置（以下、これらを総称して、『本発明の第１の態様に係る撮像装置等』と呼ぶ）にあっては、
（Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、及び、
（Ｅ）マイクロレンズアレイ部に電圧を印加するための電圧供給部、
を更に備えており、
撮像装置においては、第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、電圧供給部からマイクロレンズアレイ部への電圧の印加が停止され、且つ、画像処理部による所定の画像処理が停止され、
第２の撮像モードによる撮像時、電圧供給部からマイクロレンズアレイ部への電圧の印加が行われ、且つ、画像処理部による所定の画像処理が行われる構成とすることができる。尚、このような構成を、便宜上、第１の構成と呼ぶ。

あるいは又、本発明の第１の態様に係る撮像装置等にあっては、
（Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、及び、
（Ｅ）マイクロレンズアレイ部に電圧を印加するための電圧供給部、
を更に備えており、
撮像装置においては、第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、電圧供給部からマイクロレンズアレイ部への電圧の印加が行われ、且つ、画像処理部による所定の画像処理が停止され、
第２の撮像モードによる撮像時、電圧供給部からマイクロレンズアレイ部への電圧の印加が停止され、且つ、画像処理部による所定の画像処理が行われる構成とすることができる。尚、このような構成を、便宜上、第２の構成と呼ぶ。

以上に説明した好ましい各種の構成を含む本発明の第１の態様に係る撮像装置等にあっては、撮像レンズとマイクロレンズアレイ部との間の距離を一定に保ちつつ、マイクロレンズアレイ部と撮像素子との間の距離を変化させる駆動手段を更に備えている構成とすることができる。尚、このような構成を、便宜上、第３の構成と呼ぶ。そして、この第３の構成にあっては、駆動手段は、撮像装置の光軸に沿って撮像素子を移動させる構成とすることができるし、あるいは又、この第３の構成にあっては、駆動手段は、撮像装置の光軸に沿って撮像レンズ及びマイクロレンズアレイ部を移動させる構成とすることができるし、あるいは又、この第３の構成にあっては、
（Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、及び、
（Ｅ）マイクロレンズアレイ部に電圧を印加するための電圧供給部、
を更に備えており、
撮像レンズのＦナンバーとマイクロレンズアレイ部を構成するマイクロレンズのＦナンバーとの間に不整合が生じた場合、電圧供給部からマイクロレンズアレイ部へ印加する電圧が変化させられると共に、駆動手段によってマイクロレンズアレイ部と撮像素子との間の距離が変化させられる構成とすることができる。

更には、以上に説明した好ましい各種の構成を含む本発明の第１の態様に係る撮像装置等にあっては、マイクロレンズアレイ部は、液晶レンズアレイから構成されている構成とすることができる。尚、このような構成を、便宜上、第４の構成と呼ぶ。そして、この第４の構成において、液晶レンズアレイは、
（ａ）第１電極を有する第１基板、
（ｂ）第２電極を有する第２基板、及び、
（ｃ）第１電極と第２電極との間に配置された液晶層、
から構成されており、
第１電極及び第２電極への電圧の印加の有無によって、液晶レンズアレイがレンズとして機能する構成とすることができる。尚、第１電極及び第２電極の内の少なくとも一方の電極は、マイクロレンズを構成するための曲面を有していることが好ましいが、これに限定するものではない。

あるいは又、この第４の構成にあっては、撮像装置の光軸をＺ軸とした３次元ガウス空間を想定し、液晶レンズアレイがレンズとして機能するとき、各マイクロレンズは、Ｘ軸方向及びＹ軸方向において略等しいパワー（光学パワー）を有している構成とすることができる。尚、このような構成を、便宜上、第４Ａの構成と呼ぶ。ここで、Ｘ軸方向及びＹ軸方向において略等しいパワーを有するとは、Ｚ軸と直交する任意の軸を想定し、係る軸とＺ軸とを含む仮想平面を想定したとき、最大パワーが得られる仮想平面に含まれる軸をＸ軸とし、Ｘ軸方向におけるパワーをＰ_X、Ｙ軸方向におけるパワーをＰ_Yとすると、Ｐ_Y＝Ｐ_Xを満足することを意味する。あるいは又、撮像装置の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズとマイクロレンズアレイ部との間には、Ｘ軸方向に偏光した光を出射する偏光板、及び、偏光方向可変素子が、配置されており、液晶レンズアレイがレンズとして機能するとき、各マイクロレンズは、Ｘ軸方向にはパワー（光学パワー）を有さず、Ｙ軸方向にはパワー（光学パワー）を有する構成とすることができる。尚、このような構成を、便宜上、第４Ｂの構成と呼ぶ。この第４Ｂの構成にあっては、液晶レンズアレイは、Ｚ軸を中心として異方的な焦点距離を有するマイクロレンズアレイ部を構成する。即ち、液晶レンズアレイを構成する各液晶レンズは、ＹＺ平面内において有限の焦点距離を有し、ＸＺ平面内において無限大の焦点距離を有するマイクロレンズを構成する。あるいは又、撮像装置の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズとマイクロレンズアレイ部との間には、Ｘ軸方向に偏光した光を出射する偏光板、及び、偏光方向可変素子が、配置されており、液晶レンズアレイがレンズとして機能するとき、各マイクロレンズは、Ｙ軸方向にはパワー（光学パワー）を有さず、Ｘ軸方向にはパワー（光学パワー）を有する構成とすることができる。尚、このような構成を、便宜上、第４Ｃの構成と呼ぶ。この第４Ｃの構成にあっても、液晶レンズアレイは、Ｚ軸を中心として異方的な焦点距離を有するマイクロレンズアレイ部を構成する。即ち、液晶レンズアレイを構成する各液晶レンズは、ＸＺ平面内において有限の焦点距離を有し、ＹＺ平面内において無限大の焦点距離を有するマイクロレンズを構成する。パワー（光学パワー）とは、レンズの屈折力を指し、一般に、レンズの焦点距離の逆数で表される。また、Ｘ軸方向にパワーを有するとは、Ｘ軸方向に偏光した光に対してレンズ効果が及ぼされることを意味し、Ｙ軸方向にパワーを有するとは、Ｙ軸方向に偏光した光に対してレンズ効果が及ぼされることを意味し、Ｘ軸方向にパワーを有さないとは、Ｘ軸方向に偏光した光に対してレンズ効果が及ぼされないことを意味し、Ｙ軸方向にパワーを有さないとは、Ｙ軸方向に偏光した光に対してレンズ効果が及ぼされないことを意味する。

上記の目的を達成するための本発明の第２の態様に係る撮像装置は、
（Ａ）撮像レンズ、
（Ｂ）撮像レンズを通過した光が入射するマイクロレンズアレイ部、及び、
（Ｃ）マイクロレンズアレイ部から出射された光を受光する撮像素子、
を備えた撮像装置であって、
撮像装置の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズとマイクロレンズアレイ部との間には、Ｘ軸方向に偏光した光を出射する偏光板、及び、偏光方向可変素子が、更に配置されており、
マイクロレンズアレイ部は、液晶レンズアレイから構成されており、
マイクロレンズアレイ部を構成する各マイクロレンズは、Ｘ軸方向にはパワーを有さず、Ｙ軸方向にはパワーを有しており、あるいは又、Ｙ軸方向にはパワーを有さず、Ｘ軸方向にはパワーを有していることを特徴とする。

本発明の第２の態様に係る撮像装置にあっては、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、偏光方向可変素子の作動によって、マイクロレンズアレイ部を構成する各マイクロレンズのパワーを有さない方向に偏光された光がマイクロレンズを通過し、撮像レンズによる像が撮像素子上に結像され、
第２の撮像モードによる撮像時、偏光方向可変素子の作動によって、マイクロレンズアレイ部を構成する各マイクロレンズのパワーを有する方向に偏光された光がマイクロレンズに入射され、撮像レンズによる像がマイクロレンズ上に結像され、マイクロレンズ上に結像された撮像レンズによる像がマイクロレンズによって撮像素子に投影される構成とすることができる。

上記の目的を達成するための本発明の第２の態様に係る撮像方法は、本発明の第２の態様に係る撮像装置、即ち、
（Ａ）撮像レンズ、
（Ｂ）撮像レンズを通過した光が入射するマイクロレンズアレイ部、及び、
（Ｃ）マイクロレンズアレイ部から出射された光を受光する撮像素子、
を備えた撮像装置であって、
撮像装置の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズとマイクロレンズアレイ部との間には、Ｘ軸方向に偏光した光を出射する偏光板、及び、偏光方向可変素子が、更に配置されており、
マイクロレンズアレイ部は液晶レンズアレイから構成されており、
マイクロレンズアレイ部を構成する各マイクロレンズは、Ｘ軸方向にはパワーを有さず、Ｙ軸方向にはパワーを有しており、あるいは又、Ｙ軸方向にはパワーを有さず、Ｘ軸方向にはパワーを有している撮像装置を用いた撮像方法であって、
第１の撮像モード及び第２の撮像モードによって撮像され、
第１の撮像モードによる撮像時、偏光方向可変素子の作動によって、マイクロレンズアレイ部を構成する各マイクロレンズのパワーを有さない方向に偏光した光をマイクロレンズを通過させ、撮像レンズによる像を撮像素子上に結像させ、
第２の撮像モードによる撮像時、偏光方向可変素子の作動によって、マイクロレンズアレイ部を構成する各マイクロレンズのパワーを有する方向に偏光された光をマイクロレンズに入射させ、撮像レンズによる像をマイクロレンズ上に結像させ、マイクロレンズ上に結像された撮像レンズによる像をマイクロレンズによって撮像素子に投影することを特徴とする。

上記の好ましい構成を含む本発明の第２の態様に係る撮像装置あるいは撮像方法において用いられる撮像装置（以下、これらを総称して、『本発明の第２の態様に係る撮像装置等』と呼ぶ）にあっては、
（Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、
を更に備えており、
撮像装置においては、第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、画像処理部による所定の画像処理が停止され、
第２の撮像モードによる撮像時、画像処理部による所定の画像処理が行われる構成とすることができる。

以上に説明した好ましい各種の構成を含む本発明の第２の態様に係る撮像装置等にあっては、撮像レンズとマイクロレンズアレイ部との間の距離を一定に保ちつつ、マイクロレンズアレイ部と撮像素子との間の距離を変化させる駆動手段を更に備えている構成とすることができる。そして、この構成にあっては、駆動手段は、撮像装置の光軸に沿って撮像素子を移動させる構成とすることができるし、あるいは又、この構成にあっては、駆動手段は、撮像装置の光軸に沿って撮像レンズ及びマイクロレンズアレイ部を移動させる構成とすることができるし、あるいは又、この構成にあっては、
（Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、
を更に備えており、
撮像レンズのＦナンバーとマイクロレンズアレイ部を構成するマイクロレンズのＦナンバーとの間に不整合が生じた場合、マイクロレンズアレイ部を構成する各マイクロレンズのパワーが変化させられると共に、駆動手段によってマイクロレンズアレイ部と撮像素子との間の距離が変化させられる構成とすることができる。

以上に説明した好ましい各種の構成を含む本発明の第２の態様に係る撮像装置等にあっては、偏光方向可変素子は、液晶素子から構成されている構成とすることができる。具体的には、偏光方向可変素子を構成する液晶素子は、
（ａ’）一対の基板、
（ｂ’）一対の基板のそれぞれに設けられた電極、及び、
（ｃ’）一対の基板のそれぞれに設けられた電極の間に配置された液晶層、
から構成されている構造とすることができる。ここで、一対の基板近傍における液晶分子の配向方向はＸ軸方向と平行であり、他方の基板近傍における液晶分子の配向方向はＹ軸方向と平行である。また、一対の電極のそれぞれは、１枚の電極から構成することができる。ここで、偏光方向可変素子における液晶層を構成する液晶材料として、一般的なツイステッドネマティック効果（ＴＮ効果）を有する液晶材料を挙げることができる。また、偏光板（偏光フィルムあるいは偏光シートを含む）は、周知の構成、構造を有する偏光板とすればよい。

尚、以上に説明した好ましい各種の構成を含む本発明の第２の態様に係る撮像装置等にあっては、液晶レンズアレイは、
（ａ）第１電極を有する第１基板、
（ｂ）第２電極を有する第２基板、及び、
（ｃ）第１電極と第２電極との間に配置された液晶層、
から構成されており、
第１電極及び第２電極への電圧の印加の有無によって、液晶レンズアレイがレンズとして機能する構成とすることができるが、これに限定するものではない。尚、第１電極及び第２電極の内の少なくとも一方の電極は、マイクロレンズを構成するための曲面を有していることが好ましいが、これに限定するものではない。

本発明の第２の態様に係る撮像装置等にあっては、撮像レンズとマイクロレンズアレイ部との間に偏光板及び偏光方向可変素子が配置されているが、撮像レンズ側から、偏光板、及び、偏光方向可変素子の順で配置されていてもよいし、偏光方向可変素子、及び、偏光板の順で配置されていてもよい。

本発明の第１の態様あるいは第２の態様に係る撮像装置等（以下、これらを総称して、単に、本発明の撮像装置等と呼ぶ）における撮像レンズとして、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズを挙げることができる。また、撮像素子（撮像手段）として、２次元マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）やＣＭＯＳセンサー（以下、便宜上、これらを、撮像素子を構成する撮像センサーと呼ぶ）を挙げることができる。マイクロレンズアレイ部は、複数のマイクロレンズが２次元マトリクス状に配列されて成るが、マイクロレンズの数をＰ×Ｑ、複数のＣＣＤやＣＭＯＳセンサーの数をＭ×Ｎとしたとき、例えば、限定するものではないが、Ｐ＝１２Ｍ，Ｑ＝１２Ｎを例示することができる。マイクロレンズの有限の焦点距離とは、具体的には、マイクロレンズの焦点面に撮像素子の撮像面が位置するような値とすればよい。１つのマイクロレンズから出射した光は、係るマイクロレンズに隣接したマイクロレンズに対応する撮像センサーには入射しない構造とすることが望ましい。

本発明の撮像装置等において、駆動手段として、例えば、電気信号を機械的動作に変換させる素子、具体的には、ピエゾ素子、圧電アクチュエータ、バイメタルを挙げることができる。

本発明の撮像装置等において、マイクロレンズアレイ部を液晶レンズアレイから構成する場合、液晶材料として、ネマティック液晶、コレステリック液晶、カイラルネマティック液晶を例示することができる。

本発明の撮像装置等にあっては、マイクロレンズを非球面レンズとすることができるが、これに限定するものではなく、その他、例えば、ゾーンプレート、ホログラフィックレンズ、キノフォームレンズ、バイナリー光学素子で例示される回折レンズとすることもできる。

本発明の第１の態様に係る撮像装置あるいは撮像方法によれば、印加電圧に応じて焦点距離が可変のマイクロレンズアレイ部を備えているが故に、マイクロレンズアレイ部への入射光をそのままの方向にて撮像素子にて結像させる第１の撮像モードと、入射光をマイクロレンズ上に結像させた上、撮像素子にて投影させる第２の撮像モードとの間での撮像モードの切り替えを容易に行うことができる。また、これらの２つの撮像モード間で同じ撮像光学系を用いるので、撮像装置の構成、構造が複雑になることもない。

また、本発明の第２の態様に係る撮像装置あるいは撮像方法によれば、撮像レンズとマイクロレンズアレイ部との間に偏光板及び偏光方向可変素子が配置されているので、マイクロレンズアレイ部への入射光をそのままの方向にて撮像素子にて結像させる第１の撮像モードと、入射光をマイクロレンズ上に結像させた上、撮像素子にて投影させる第２の撮像モードとの間での撮像モードの切り替えを、偏光方向可変素子の作動によって、容易に行うことができる。また、これらの２つの撮像モード間で同じ撮像光学系を用いるので、撮像装置の構成、構造が複雑になることもない。

マイクロレンズアレイ部を液晶レンズアレイから構成するとき、使用する液晶材料にも依るが、液晶レンズの屈折率が入射光の偏光方向に大きく依存する場合がある。無偏光（ランダム偏光）である自然光を対象とした撮像用途においては、所望の屈折力を実現するための液晶材料としてこのような液晶材料を用いると、液晶レンズアレイ単体では、色分散が起こり、その結果、大きな軸上色収差や倍率色収差が発生する懸念がある。そこで、このような現象の発生を回避するためには、例えば、光源として、自然光を用いるのではなく、単色光を用い、しかも、本発明の第１の態様に係る撮像装置等における第４Ｂの構成若しくは第４Ｃの構成、又は、本発明の第２の態様に係る撮像装置等を用いればよい。但し、これらの撮像装置等における光源は、単色光に限定されるものではなく、使用する液晶材料に依っては自然光を用いることもできる。

以下、図面を参照して、実施例に基づき本発明を説明する。

実施例１は、本発明の第１の態様に係る撮像装置及び撮像方法に関する。より具体的には、実施例１の撮像装置は、第１の構成、及び、第４Ａの構成を有する。実施例１の撮像装置１の概念図を図１に示す。

実施例１の撮像装置１は、撮像対象物を撮像して撮像データＤ_outを出力するものであり、
（Ａ）撮像レンズ１１、
（Ｂ）撮像レンズ１１を通過した光が入射するマイクロレンズアレイ部１２、及び、
（Ｃ）マイクロレンズアレイ部１２から出射された光を受光する撮像素子（撮像手段）１３、
を備えている。そして、マイクロレンズアレイ部１２を構成する各マイクロレンズ１２’は、印加される電圧に応じて焦点距離が可変である。

ここで、実施例１の撮像装置１にあっては、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、マイクロレンズアレイ部１２を構成する各マイクロレンズ１２’の焦点距離が無限大とされることで、撮像レンズ１１による像が撮像素子１３上に結像され（図１においては、点線の光線で示す）、
第２の撮像モードによる撮像時、撮像レンズ１１による像がマイクロレンズ１２’上に結像され、各マイクロレンズ１２’の焦点距離が有限の値とされることで、マイクロレンズ１２’上に結像された撮像レンズ１１による像が撮像素子１３上に投影される（図１においては、実線の光線で示す）。

また、実施例１の撮像装置１は、更に、
（Ｄ）撮像素子１３からの信号に対して所定の画像処理を施すための画像処理部１４、及び、
（Ｅ）マイクロレンズアレイ部１２に電圧を印加するための電圧供給部（撮像モード切替部にも相当する）１５、
を備え、
（Ｆ）画像処理部１４及び電圧供給部１５を制御する制御部１７、
を更に備えている。

そして、撮像装置１においては、第１の撮像モード及び第２の撮像モードによって撮像がなされ、第１の撮像モードによる撮像時、電圧供給部１５からマイクロレンズアレイ部１２への電圧の印加が停止され、且つ、画像処理部１４による所定の画像処理が停止され、第２の撮像モードによる撮像時、電圧供給部１５からマイクロレンズアレイ部１２への電圧の印加が行われ、且つ、画像処理部１４による所定の画像処理が行われる。

実施例１、あるいは、後述する実施例２〜実施例４において、撮像レンズ１１は、撮像対象物を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズから構成されている。また、マイクロレンズアレイ部１２は、複数（実施例１にあっては、Ｐ×Ｑ＝３２５×２３０個）のマイクロレンズ１２’が２次元マトリクス状に配列されて成り、撮像レンズ１１の合焦点状態にも依るが、撮像レンズ１１の焦点面に配置されている。尚、図中の符号ｆ₁は、撮像レンズ１１の中心からマイクロレンズアレイ部１２の結像面までの距離を表す。ここで、マイクロレンズアレイ部１２は、液晶レンズアレイから構成されている。撮像素子１３は、例えば、２次元マトリクス状に配列された複数のＣＣＤ（実施例１にあっては、画素数Ｍ×Ｎ＝４０３２×２６８８個）から構成されている。撮像素子１３においては、マイクロレンズアレイ部１２から出射された光を受光して、撮像信号が生成される。撮像素子１３は、マイクロレンズアレイ部１２の焦点面に配置されている。尚、図中の符号ｆ₂は、マイクロレンズアレイ部１２の中心から撮像素子１３の撮像面までの距離（マイクロレンズ１２’の焦点距離）を表し、例えば、ｆ₂＝０．４３２ｍｍである。撮像素子駆動手段１６によって、撮像素子１３が駆動され、撮像素子１３の受光動作の制御が行われる。制御部１７は、画像処理部１４、電圧供給部１５及び撮像素子駆動手段１６の動作を制御する。具体的には、撮像素子駆動手段１６の駆動動作を適宜制御すると共に、第１の撮像モード及び第２の撮像モードの２つの撮像モードに応じて、画像処理部１４及び電圧供給部１５の動作を制御する。制御部１７は、マイクロコンピュータから構成されている。

実施例１、あるいは、後述する実施例２〜実施例４において、電圧供給部１５によって、マイクロレンズアレイ部１２に電圧が印加される。そして、実施例１、あるいは、後述する実施例２〜実施例３にあっては、マイクロレンズアレイ部１２への電圧の印加状態に応じて、２つの撮像モード、即ち、通常の高解像度での撮像モードである第１の撮像モード、及び、ライト・フィールド・フォトグラフィー技術に基づく撮像モードである第２の撮像モードの間の切り替えが行われる。

実施例１、あるいは、後述する実施例２〜実施例４において、第２の撮像モードにあっては、画像処理部１４において所定の画像処理が施される。画像処理部１４は、第２の撮像モードにおいて、撮像素子１３で得られた信号（撮像信号）に対して所定の画像処理を施し、撮像データＤ_outとして出力する。具体的には、ライト・フィールド・フォトグラフィー技術に基づくリフォーカス（Refocusing）演算処理が行われる。そして、これによって、任意の視点や方向からの観察画像を再構築することができるし、画像の３次元情報を取得することができる。尚、リフォーカス演算処理については後述する。

実施例１、あるいは、後述する実施例２におけるマイクロレンズアレイ部１２の模式的な一部断面図を図２の（Ａ）に示す。マイクロレンズアレイ部１２は、液晶レンズアレイから構成されており、液晶レンズアレイは、
（ａ）第１電極２２を有する第１基板２１、
（ｂ）第２電極２４を有する第２基板２５、及び、
（ｃ）第１電極と第２電極との間に配置された液晶層２３、
から構成されている。そして、第１電極２２及び第２電極２４への電圧の印加の有無によって、液晶レンズアレイがレンズとして機能する。ここで、第１電極２１及び第２電極２４の内の少なくとも一方の電極（実施例１にあっては第１電極２２）は、マイクロレンズ１２’を構成するための曲面を有している。尚、第１電極２２、第２電極２４には、電圧供給部１５から電圧が印加される。また、第１電極２２、第２電極２４は共通電極（コモン電極）であり、それぞれが１枚の電極から構成されている。実施例１にあっては、撮像装置１の光軸をＺ軸とした３次元ガウス空間を想定し、液晶レンズアレイがレンズとして機能するとき、各マイクロレンズ１２’は、Ｘ軸方向及びＹ軸方向において略等しいパワー（光学パワー）を有している。具体的には、Ｚ軸と直交する任意の軸を想定し、係る軸とＺ軸とを含む仮想平面を想定したとき、最大パワーが得られる仮想平面に含まれる軸をＸ軸とし、Ｘ軸方向におけるパワーをＰ_X、Ｙ軸方向におけるパワーをＰ_Yとすると、例えば、Ｐ_Y＝Ｐ_Xである。即ち、このような構成にあっては、液晶レンズアレイは、Ｚ軸を中心として等方的な焦点距離を有するマイクロレンズアレイ部を構成する。尚、このような液晶レンズアレイとして、限定するものではないが、例えば、特開２００６−１８３２５や特開２００６−１８９４３４に開示された光学特性可変光学素子を用いればよい。

ここで、第１基板２１及び第２基板２５は、それぞれ、入射光を透過するガラス基板といった透明基板から構成されている。また、第１電極２２及び第２電極２４は、それぞれ、例えばＩＴＯ（Indium TinOxide；酸化インジウムスズ）等の透明電極から構成されており、第１基板２１及び第２基板２５と同様に、入射光を透過する。第１電極２２及び第２電極２４の表面Ｓ₁，Ｓ₂の内、電極２２側の表面Ｓ₁には、上述したとおり、凹状の複数の曲面が２次元マトリクス状に形成されている。液晶層２３は、無偏光・等方性屈折率液晶、例えばネマティック液晶から構成されており、第１電極２２、第２電極２４間に印加される電圧に応じて、液晶層２３における液晶分子の配列状態が変わることで、屈折率が変化する。尚、このような液晶レンズアレイの基本的な構成、構造は、後述する実施例２〜実施例４における液晶レンズアレイから構成されたマイクロレンズアレイ部にあっても同様とすることができる。

尚、実施例１の撮像装置１のように、様々な波長領域の光を含んだ自然光を撮像に利用する場合には、第１電極２２側の表面Ｓ₁を非球面とし、マイクロレンズ１２’を非球面レンズとすることが好ましい。球面レンズで構成した場合と比べて、曲率を小さくことができる結果、光学設計が容易になる。また、マイクロレンズ１２’を回折レンズで構成した場合と比較すると、入射光を屈折させる際の波長依存性が無くなるため、軸上色収差等の発生を回避することができ、様々な波長領域の光を含んだ自然光による撮像に適した構成とすることができる。尚、単色光を用いたイメージング用途等の場合には、波長依存性や軸上色収差の問題が無いため、マイクロレンズ１２’を回折レンズで構成した方が、非球面レンズで構成した場合と比べて、優れた光学特性を得ることができる場合がある。

図１、図３の（Ａ）及び（Ｂ）、図４の（Ａ）及び（Ｂ）を参照して、実施例１の撮像装置１の動作について詳細に説明する。ここで、図３の（Ａ）及び（Ｂ）は、マイクロレンズアレイ部１２のレンズ効果を説明するための模式的な一部断面図であり、図３の（Ａ）には、マイクロレンズアレイ部１２に対して電圧を印加していない場合（第１の撮像モード）を示し、図３の（Ｂ）には、マイクロレンズアレイ部１２に電圧を印加している場合（第２の撮像モード）を示す。

実施例１の撮像装置１にあっては、第２の撮像モード時、撮像レンズ１１による撮像対象物の像は、マイクロレンズ１２’上に結像する。そして、マイクロレンズ１２’から出射された光は、撮像素子１３へ到達して、投影され、撮像素子駆動手段１６の制御下、撮像素子１３から撮像信号が得られる。即ち、電圧供給部１５から第１電極２２、第２電極２４に電圧が印加される第２の撮像モードにあっては、液晶層２３の屈折率が変化するため、図３の（Ｂ）に示すように、マイクロレンズ１２’に入射した入射光Ｌ₁₁は、マイクロレンズ１２’において屈折され、光軸Ｌ₀上の焦点である画素ＰＬ₁₁に集光される。このように、第２の撮像モードによる撮像時、マイクロレンズアレイ部１２への電圧の印加を行い、マイクロレンズアレイ部１２を構成する各マイクロレンズ１２’の焦点距離を有限な値とすることで（具体的には、マイクロレンズ１２’の焦点距離を、マイクロレンズアレイ部１２の結像面から撮像素子１３の撮像面までの距離とすることで）、マイクロレンズ１２’上に結像された撮像レンズ１１による像を、撮像素子１３上に投影（集光、収束）させることができる。

一方、第１の撮像モード時、マイクロレンズアレイ部１２を構成する各マイクロレンズ１２’の焦点距離は無限大とされ、撮像レンズ１１による撮像対象物の像は、マイクロレンズ１２’によって何らの影響を受けること無く、撮像素子１３上に結像する。そして、撮像素子駆動手段１６の制御下、撮像素子１３から撮像信号が得られる。即ち、電圧供給部１５から第１電極２２、第２電極２４に電圧が印加されない第１の撮像モードにあっては、液晶層２３の屈折率は変化しないため、図３の（Ａ）に示すように、マイクロレンズアレイ部１２に入射した光は、マイクロレンズ１２’において屈折されない。マイクロレンズアレイ部１２の焦点距離は無限大であり、撮像素子１３に向かってそのまま進行する。このように、第１の撮像モードによる撮像時、マイクロレンズアレイ部１２への電圧の印加を停止し、マイクロレンズアレイ部１２を構成する各マイクロレンズ１２’の焦点距離を無限大とすることで、撮像レンズ１１による像を撮像素子１３上に結像させることができる。

このように、通常の高解像度の撮像モード（第１の撮像モード）にあっては、制御部１７の制御下、電圧供給部１５によるマイクロレンズアレイ部１２への電圧の印加が停止される結果、マイクロレンズアレイ部１２を構成する各マイクロレンズ１２’の焦点距離が無限大となり、マイクロレンズアレイ部１２への入射光がそのまま進行し、撮像レンズ１１による像を撮像素子１３上に結像させる。即ち、撮像レンズ１１による像がそのまま撮像素子１３へ到達し、通常の高解像度の撮像データが得られる。一方、ライト・フィールド・フォトグラフィー技術に基づく撮像モード（第２の撮像モード）にあっては、撮像レンズ１１による像をマイクロレンズ１２’上に結像させる。そして、制御部１７の制御下、電圧供給部１５によるマイクロレンズアレイ部１２へ電圧が印加される結果、マイクロレンズ１２’からの出射光が撮像素子１３上に集光される。即ち、マイクロレンズアレイ部１２を構成する各マイクロレンズ１２’の焦点距離を有限な値とすることで、撮像レンズ１１による像を撮像素子１３上に投影させることができる。具体的には、図３の（Ｂ）に示すように、マイクロレンズアレイ部１２への入射光Ｌ₁₁（実線で示す）は、撮像素子１３上の点（画素）ＰＬ₁₁に投影され、マイクロレンズアレイ部１２への入射光Ｌ₁₂（点線で示す）は、撮像素子１３上の点（画素）ＰＬ₁₂に投影され、マイクロレンズアレイ部１２への入射光Ｌ₁₃（一点鎖線で示す）は、撮像素子１３上の点（画素）ＰＬ₁₃に投影される。即ち、マイクロレンズアレイ部１２への入射光の入射方向が異なると、撮像素子１３上の異なる点（異なる画素）上に投影（集光）される。

撮像素子１３で得られた撮像信号は、画像処理部１４へ送出される。そして、画像処理部１４では、制御部１７の制御下、この撮像信号に対して所定の画像処理が施され、撮像データＤ_outとして出力される。具体的には、第１の撮像モードにあっては、制御部１７の制御下、画像処理部１４による所定の画像処理を停止させる結果、入力した撮像信号がそのまま撮像データＤ_outとして出力される。一方、第２の撮像モードにあっては、制御部１７の制御下、画像処理部１４による所定の画像処理（リフォーカス演算処理）がなされる結果、入力した撮像信号に対して所定の画像処理が施され、撮像データＤ_outとして出力される。

ここで、図４の（Ａ）及び（Ｂ）を参照して、画像処理部１４における所定の画像処理であるリフォーカス演算処理について詳細に説明する。尚、このリフォーカス演算処理は、後述する実施例２〜実施例４に対しても同様に適用される。

図４の（Ａ）に示すように、撮像レンズ１１の撮像レンズ面１１Ａ上において直交座標系（ｕ，ｖ）を想定し、撮像素子１３の撮像面１３Ａ上において直交座標系（ｘ，ｙ）を想定する。撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との間の距離をｆとすると、図４の（Ａ）に示すような撮像レンズ１１及び撮像素子１３を通る光線Ｌ₁₄は、４次元関数Ｌ_F（ｘ，ｙ，ｕ，ｖ）で表すことができる。従って、光線Ｌ₁₄の位置情報に加え、光線Ｌ₁₄の進行方向の情報を得ることができる。そして、この場合、図４の（Ｂ）に示すように撮像レンズ面１１Ａ、撮像面１３Ａ及びリフォーカス面（撮像レンズ１１による像が結像されるマイクロレンズアレイ部１２の結像面）１２Ａ間の位置関係を設定した場合、即ち、ｆ’＝α・ｆとなるようにリフォーカス面１２Ａを設定した場合、リフォーカス面１２Ａ上の座標（ｓ，ｔ）の撮像面１３Ａ上における検出光強度Ｌ_F'（ｓ，ｔ，ｕ，ｖ）は、以下の式（１）で表すことができる。また、リフォーカス面１２Ａで得られるイメージＥ_F'（ｓ，ｔ）は、検出光強度Ｌ_F'（ｓ，ｔ，ｕ，ｖ）をレンズ口径に関して積分したものであるので、以下の式（２）で表すことができる。従って、式（２）に基づきリフォーカス演算を行うことによって、ライト・フィールド・フォトグラフィー技術に基づく撮像データＤ_outにより、任意の視点や方向からの観察画像を再構築することができるし、画像の３次元情報を取得することができる。

このように、実施例１にあっては、マイクロレンズアレイ部１２を液晶レンズアレイから構成したので、液晶層２３に対する電圧の印加の有無に応じて液晶層２３の屈折率を変化させ、入射光の屈折方向（焦点位置）を変化させることができる。即ち、電圧供給部１５からマイクロレンズアレイ部１２に電圧が印加されると、マイクロレンズアレイ部１２を構成するマイクロレンズ１２’への入射光が屈折され、撮像素子１３上に投影される。一方、マイクロレンズアレイ部１２に電圧が印加されていない状態では、入射光は屈折されず、そのままの状態で撮像素子１３にて結像される。従って、入射光が撮像素子１３上に投影されて得られた撮像信号に所定の画像処理を施す第２の撮像モードと、入射光をそのままの方向にて撮像素子１３にて結像させて撮像信号を得る第１の撮像モードとの間で、撮像モードの切り替えが可能となる。また、第１の撮像モード及び第２の撮像モードにおいて、同じ撮像光学系（撮像レンズ１１、マイクロレンズアレイ部１２及び撮像素子１３）を用いているので、装置構成が複雑になることはない。しかも、電気的に撮像モードを切り替えるので、機械的に切り替える場合と比較して、切り替え動作時の信頼性が向上する。

更には、マイクロレンズ１２’を非球面レンズから構成すれば、球面レンズから構成した場合と比較して、曲率を小さくことができるので、光学設計を容易にすることが可能となる。また、回折レンズで構成した場合と比較すると、入射光を屈折させる際の波長依存性を無くすことができ、軸上色収差等の発生を回避することができる。それ故、様々な波長領域の光を含んだ自然光を利用する撮像装置として最適な構成とすることが可能となる。

尚、以上に説明した実施例１にあっては、場合によっては、第１の撮像モードによる撮像時、及び、第２の撮像モードによる撮像時の電圧供給部１５からマイクロレンズアレイ部１２への電圧の印加の状態を逆とした、第２の構成とすることもできる。即ち、
（Ｄ）撮像素子１３からの信号に対して所定の画像処理を施すための画像処理部１４、及び、
（Ｅ）マイクロレンズアレイ部１２に電圧を印加するための電圧供給部１５、
を更に備えており、
撮像装置においては、第１の撮像モード（通常撮像モード）及び第２の撮像モード（ライト・フィールド・フォトグラフィー技術に基づく撮像モード）によって撮像がなされ、
第１の撮像モードによる撮像時、電圧供給部１５からマイクロレンズアレイ部１２への電圧の印加が行われ、且つ、画像処理部１４による所定の画像処理が停止され、
第２の撮像モードによる撮像時、電圧供給部１５からマイクロレンズアレイ部１２への電圧の印加が停止され、且つ、画像処理部１４による所定の画像処理が行われる構成とすることもできる。尚、後述する実施例２〜実施例３においても同様とすることができる。

実施例２は、実施例１の変形であり、具体的には、第３の構成、及び、第４Ａの構成に関する。実施例２の撮像装置の概念図を図５に示すが、実施例２の撮像装置２にあっては、撮像レンズ１１とマイクロレンズアレイ部１２との間の距離を一定に保ちつつ、マイクロレンズアレイ部１２と撮像素子（撮像手段）１３との間の距離を変化させる駆動手段１８が更に備えられている。そして、撮像レンズ１１のＦナンバーとマイクロレンズアレイ部１２を構成するマイクロレンズのＦナンバーとの間に不整合が生じた場合、電圧供給部１５からマイクロレンズアレイ部１２へ印加する電圧が変化させられると共に、駆動手段１８によってマイクロレンズアレイ部１２と撮像素子１３との間の距離が変化させられる。駆動手段（撮像素子シフト部に相当する）１８は、電気信号を機械的動作に変換させる素子、例えば、ピエゾ素子や、圧電アクチュエータ、バイメタルから構成することができる。

図５、図６、及び、図７の（Ａ）〜（Ｄ）を参照して、実施例２の撮像装置２における特徴的な動作である、Ｆナンバーの整合処理（撮像レンズ１１の絞り値を変更する際の撮像光学系の最適化処理）について詳細に説明する。ここで、図６は、絞り値変更の際の撮像光学系の最適化処理を流れ図で表したものであり、図７の（Ａ）〜（Ｄ）は、撮像レンズ１１の絞り値を変更する際の撮像光学系の最適化処理における光路の一例を説明するための撮像レンズ１１等の模式的な模式図である。尚、撮像装置２の基本動作（撮像動作）は、実施例１の撮像装置１と同様とすることができるので、詳細な説明は省略する。

撮像装置２では、例えば図７の（Ａ）に示す光線Ｌ₂₁，Ｌ₂₂のように、撮像レンズ１１のＦナンバーとマイクロレンズアレイ部１２を構成するマイクロレンズのＦナンバー（以下、単に、マイクロレンズのＦナンバーと呼ぶ）とが整合している場合を、先ず、想定する。そして、図７の（Ａ）に示した状態から、撮像レンズ１１の絞り値が変更された場合には（図６のステップ−Ｓ２１）、図７の（Ｂ）に示す光線Ｌ₂₃，Ｌ₂₂のように、撮像レンズ１１の（入射瞳径１１’からの）Ｆナンバーと、マイクロレンズのＦナンバーとの間で不整合が生じる（ステップ−Ｓ２２）。図７の（Ｂ）に示した例の場合には、制御部１７によって、電圧供給部１５からマイクロレンズアレイ部１２に印加される電圧を変化させ、マイクロレンズアレイ部１２において発生するパワーを変化させる（ステップ−Ｓ２３）。

すると、図７の（Ｃ）に示すように、マイクロレンズアレイ部１２での光の屈折が緩和され、マイクロレンズアレイ部１２から射出する光が、光線Ｌ₂₂から光線Ｌ₂₄のように変化する。すると、光線Ｌ₂₃，Ｌ₂₄に示すように、撮像レンズ１１の（入射瞳径１１’からの）Ｆナンバーと、マイクロレンズのＦナンバーとが再び整合するようになる（ステップ−Ｓ２４）。但し、図７の（Ｃ）から分かるように、図７の（Ａ）及び（Ｂ）における光線Ｌ₂₂の場合とは異なり、撮像素子１３において１つのマイクロレンズに対応する撮像領域１３’（図７の（Ａ）〜（Ｄ）においては、斜線を付した領域で示す）と、この撮像領域１３’上における光線Ｌ₂₄の到達領域とが一致しなくなり、このままでは、撮像の際の解像度が低下してしまう。

そこで、次に、制御部１７によって駆動手段（撮像素子シフト部）１８を制御し、撮像素子１３を、光軸Ｌ₀（撮像装置の光軸ＬＬ）に沿って、図示した例では、マイクロレンズアレイ部１２から離れる方向に移動させる（ステップ−Ｓ２５）。すると、図７の（Ｄ）に示した光線Ｌ₂₃，Ｌ₂₄のように、撮像領域１３’と、この撮像領域１３’における光線Ｌ₂₄の到達領域とが再び一致するようになり、撮像素子１３での撮像領域が最適化される。このようにして、撮像レンズ１１の絞り値を変更する際の撮像光学系の最適化処理が終了する。実施例２にあっては、このような処理を行うので、撮像の際の解像度低下が生じない。駆動手段１８を、例えば電気信号を機械的動作に変換させる素子から構成すれば、簡易、且つ、省スペースな構成とすることができる。

尚、マイクロレンズアレイ部１２を構成するマイクロレンズのパワー変更処理（ステップ−Ｓ２３）を行った後に、撮像素子１３のシフト処理（ステップ−Ｓ２５）を行う代わりに、撮像素子１３のシフト処理（ステップ−Ｓ２５）を行った後に、マイクロレンズアレイ部１２を構成するマイクロレンズのパワー変更処理（ステップ−Ｓ２３）を行ってもよい。

また、撮像レンズ１１とマイクロレンズのＦナンバーを整合させた後に、駆動手段１８が撮像素子１３を移動させることで、マイクロレンズアレイ部１２と撮像素子１３との間の距離を変化させたが、代替的に、ステップ−Ｓ２１〜Ｓ−２４の処理後に、図７の（Ｄ）を参照して説明した動作の代わりに、図８の（Ａ）及び（Ｂ）に示すように、駆動手段によって、撮像レンズ１１とマイクロレンズアレイ部１２との間の距離を一定に保ちつつ、撮像レンズ１１及びマイクロレンズアレイ部１２を撮像装置の光軸ＬＬに沿って移動させる構成とすることもできる。具体的には、撮像素子１３上での像の大きさが、光線Ｌ₂₁，Ｌ₂₂による場合と、移動後の光線Ｌ₂₃，Ｌ₂₄による場合とで一致するように（撮像領域が共に撮像領域１３’となるように）、撮像レンズ１１及びマイクロレンズアレイ部１２を撮像装置の光軸Ｌ₀（撮像装置の光軸ＬＬ）に沿って移動させる。撮像レンズ１１を移動させる機構としては、通常の撮像に用いる際の撮像レンズの駆動機構を利用すればよい。

以上の実施例２において説明した駆動手段１８、及び、Ｆナンバーの整合処理（撮像レンズの絞り値を変更する際の撮像光学系の最適化処理）を、後述する実施例３〜実施例４にも適用することができる。

実施例３も、実施例１の変形である。実施例３にあっては第４Ｂの構成を採用した。即ち、図９に概念図を示すように、撮像装置３の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズ１１とマイクロレンズアレイ部３１２との間には、Ｘ軸方向に偏光した光を出射する偏光板３０、及び、偏光方向可変素子４０が、配置されている。そして、マイクロレンズアレイ部３１２を構成する液晶レンズアレイがレンズとして機能するとき、各マイクロレンズは、Ｘ軸方向にはパワー（光学パワー）を有さず、Ｙ軸方向にはパワー（光学パワー）を有する。即ち、液晶レンズアレイは、Ｚ軸を中心として異方的な焦点距離を有するマイクロレンズアレイ部３１２を構成する。云い換えれば、液晶レンズアレイを構成する各液晶レンズは、ＹＺ平面内において有限の焦点距離を有し、ＸＺ平面内において無限大の焦点距離を有するマイクロレンズを構成する。

偏光方向可変素子４０は液晶素子から成る。具体的には、偏光方向可変素子４０は、図２の（Ｂ）に模式的な一部断面図を示すように、
（ａ’）一対の基板４１，４５、
（ｂ’）一対の基板４１，４５のそれぞれに設けられた電極４２，４４、及び、
（ｃ’）一対の基板４１，４５のそれぞれに設けられた電極４２，４４の間に配置された液晶層４３、
から構成されている。ここで、一方の基板４１近傍における液晶分子の配向方向はＸ軸方向と平行であり、他方の基板４５近傍における液晶分子の配向方向はＹ軸方向と平行である。また、電極４２は平坦な１枚の電極から構成され、電極４４も平坦な１枚の電極から構成されている。

実施例３にあっては、光源として、限定するものではないが、単色光の光源を使用する。偏光板３０を通過した光は、Ｘ軸に平行な偏光成分のみを有する。そして、偏光方向可変素子４０の第１の動作モードにあっては、偏光方向可変素子４０を通過した光は、偏光方向可変素子４０を構成する液晶分子によって偏光方向を曲げられず、元の方向のままである。マイクロレンズアレイ部３１２を構成する液晶レンズアレイを構成する各液晶レンズは、Ｚ軸を中心として異方的な焦点距離を有するマイクロレンズ（Ｘ軸方向の焦点距離は無限大であり、Ｙ軸方向の焦点距離は有限の値）であるが故に、マイクロレンズ３１２’を通過した光（撮像レンズ１１による像）は、マイクロレンズ３１２’によって変化を受けることがない。そして、マイクロレンズ３１２’を通過した光（撮像レンズ１１による像）は、撮像素子（撮像手段）１３において結像する。この状態を、模式的に、図１０の（Ａ）に示す。

一方、偏光方向可変素子４０の第２の動作モードにあっては、偏光方向可変素子４０を通過した光は、偏光方向可変素子４０を構成する液晶分子によって偏光方向をＹ軸方向に曲げられる。ここで、上述したとおり、マイクロレンズアレイ部３１２を構成する液晶レンズアレイにおける各液晶レンズは、Ｚ軸を中心として異方的な焦点距離を有するマイクロレンズ（Ｘ軸方向の焦点距離は無限大であり、Ｙ軸方向の焦点距離は有限の値）であるが故に、マイクロレンズ３１２’において結像した光（撮像レンズ１１による像）は、撮像素子１３上に投影される。

そして、実施例３にあっては、偏光方向可変素子４０を第１の動作モードとしたとき、第１の撮像モードとし、偏光方向可変素子４０を第２の動作モードとしたとき、第２の撮像モードとすればよい。

このような液晶レンズアレイとして、限定するものではないが、例えば、特開２００６−０７９６６９に開示された液晶レンズ素子や、特開平５−０３４６５６に開示された焦点距離可変液晶レンズを用いればよい。これらの液晶レンズ素子あるいは液晶レンズは、ラビング方向と同方向の偏光方向の光のみに対してレンズ効果を発現する。従って、一対の基板４１，４５におけるラビング方向を、Ｘ軸方向と平行な方向、及び、Ｙ軸方向と平行な方向とすればよい。

使用する液晶層４３を構成する液晶材料の種類によって、電極４２，４４に電圧を印加したときに、第２の動作モードを得る場合もあるし、電極４２，４４に電圧を印加しないときに、第２の動作モードを得る場合もある。また、液晶層４３を構成する液晶材料の種類によっては、液晶レンズアレイがレンズとして機能するとき、各マイクロレンズは、Ｙ軸方向にはパワー（光学パワー）を有さず（この状態を、模式的に、図１１の（Ａ）に示す）、Ｘ軸方向にはパワー（光学パワー）を有する（この状態を、模式的に、図１１の（Ｂ）に示す）構成、即ち、第４Ｃの構成とすることもできる。このような第４Ｃの構成にあっては、液晶レンズアレイは、Ｚ軸を中心として異方的な焦点距離を有するマイクロレンズアレイ部３１２を構成する。即ち、液晶レンズアレイを構成する各液晶レンズは、ＸＺ平面内において有限の焦点距離を有し、ＹＺ平面内において無限大の焦点距離を有するマイクロレンズを構成する。そして、この場合にも、電極４２，４４に電圧を印加したときに、第２の動作モードを得る場合もあるし、電極４２，４４に電圧を印加しないときに、第２の動作モードを得る場合もある。後述する実施例４においても同様である。

実施例３の撮像装置３、あるいは又、後述する実施例４の撮像装置４のように、単色光を撮像に利用する場合には、マイクロレンズを回折レンズで構成した方が、波長依存性や軸上色収差の問題が無いため、非球面レンズで構成した場合と比べて、優れた光学特性を得ることができる。

実施例４は、本発明の第２の態様に係る撮像装置及び撮像方法に関する。実施例４の撮像装置４の概念図を、図１２に示す。即ち、実施例４の撮像装置４は、実施例３における撮像装置３と同様に、
（Ａ）撮像レンズ１１、
（Ｂ）撮像レンズ１１を通過した光が入射するマイクロレンズアレイ部４１２、及び、
（Ｃ）マイクロレンズアレイ部４１２から出射された光を受光する撮像素子（撮像手段）１３、
を備えており、撮像装置４の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズ１１とマイクロレンズアレイ部４１２との間には、Ｘ軸方向に偏光した光を出射する偏光板３０、及び、偏光方向可変素子４０が、更に配置されている。

そして、実施例３の撮像装置３と同様に、マイクロレンズアレイ部４１２は、液晶レンズアレイから構成されており、実施例４にあっては、マイクロレンズアレイ部４１２を構成する各マイクロレンズ４１２’は、Ｘ軸方向にはパワーを有さず、Ｙ軸方向にはパワーを有している。実施例４にあっても、光源として、限定するものではないが、単色光の光源を使用する。

実施例４の撮像装置４にあっては、実施例３の撮像装置３と同様に、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、偏光方向可変素子４０の作動によって、マイクロレンズアレイ部４１２を構成する各マイクロレンズ４１２’のパワーを有さない方向に偏光された光がマイクロレンズ４１２’を通過し、撮像レンズ１１による像が撮像素子１３上に結像され、
第２の撮像モードによる撮像時、偏光方向可変素子４０の作動によって、マイクロレンズアレイ部４１２を構成する各マイクロレンズ４１２’のパワーを有する方向に偏光された光がマイクロレンズ４１２’に入射され、撮像レンズ１１による像がマイクロレンズ４１２’上に結像され、マイクロレンズ４１２’上に結像された撮像レンズ１１による像はマイクロレンズ４１２’によって撮像素子１３に投影される。

また、実施例４の撮像装置４においては、撮像素子１３からの信号に対して所定の画像処理を施すための画像処理部１４を更に備えている。そして、撮像装置４においては、第１の撮像モード及び第２の撮像モードによって撮像がなされ、第１の撮像モードによる撮像時、画像処理部１４による所定の画像処理が停止され、第２の撮像モードによる撮像時、画像処理部１４による所定の画像処理が行われる。

偏光方向可変素子４０は、液晶素子から構成されている。偏光方向可変素子４０を構成する液晶素子は、具体的には、実施例３において説明した液晶素子と同様とすることができるので、詳細な説明は省略する。また、実施例４の撮像装置４を構成する撮像レンズ１１、マイクロレンズアレイ部４１２、及び、撮像素子１３の構成、構造も、実施例３の撮像装置３を構成する撮像レンズ１１、マイクロレンズアレイ部３１２、及び、撮像素子１３の構成、構造と同様とすることができるので、詳細な説明は省略する。

但し、実施例４の撮像装置４にあっては、第１の撮像モードと第２の撮像モードとの切り替えにあっては、電圧供給部１５からのマイクロレンズアレイ部４１２への電圧の印加の有無で行うのではなく、上述したとおり、電圧供給部１５からの偏光方向可変素子４０を構成する電極４２，４４への電圧の印加の有無によって行われる。マイクロレンズアレイ部４１２にあっては、液晶層を構成する液晶材料に依存するが、マイクロレンズアレイ部４１２を構成する各マイクロレンズ４１２’が、Ｘ軸方向にはパワーを有さず、Ｙ軸方向にはパワーを有する状態が達成できるように、マイクロレンズアレイ部４１２を構成する液晶レンズアレイの第１電極２２、第２電極２４に適切な電圧を印加すればよい。尚、実施例３において説明したと同様に、Ｙ軸方向にはパワーを有さず、Ｘ軸方向にはパワーを有する状態が達成できるように、マイクロレンズアレイ部４１２を構成する液晶レンズアレイの第１電極２２、第２電極２４に適切な電圧を印加してもよい。通常、電圧供給部１５からマイクロレンズアレイ部４１２へは、一定の値の電圧を印加すればよい。そして、実施例２において説明したように、Ｆナンバーの整合処理（撮像レンズ１１の絞り値を変更する際の撮像光学系の最適化処理）を行う場合には、電圧供給部１５からマイクロレンズアレイ部４１２への印加電圧の値を適切に変化させればよい。

以上、本発明を好ましい実施例に基づき説明したが、本発明はこれらの実施例に限定するものではなく、種々の変形が可能である。

実施例１〜実施例４にあっては、マイクロレンズアレイ部において、電極２２，２４の表面Ｓ₁，Ｓ₂の内、表面Ｓ₁が曲面である平凸レンズとしたが、代替的に、表面Ｓ₂を曲面としてもよいし、表面Ｓ₁，Ｓ₂の両方が曲面である両凸レンズとしてもよい。実施例１〜実施例２にあっては、マイクロレンズアレイ部を、液晶レンズアレイから構成する代わりに、エレクトロウェッティング現象（電気毛管現象）を利用した液体マイクロレンズアレイ部を用いることもできる。更には、実施例にあっては、画像処理部１４における所定の画像処理方法として、ライト・フィールド・フォトグラフィー技術に基づくリフォーカス演算処理について説明したが、画像処理部１４における画像処理方法は、これに限られず、他の画像処理方法（例えば、視野を振るといった画像処理や、マイクロレンズアレイ部及び撮像素子を一種のステレオ・カメラとして機能させることで得られる距離算出といった画像処理）としてもよい。また、マイクロレンズアレイ部を構成する各レンズの形状は、円形に限定されず、矩形や六角形等の各種の多角形とすることもできる。矩形や六角形のレンズを用いることで、光利用効率が高められると共に、矩形や六角形のレンズが密に配列されたマイクロレンズアレイ部にあっては、円形のレンズにおけるレンズとレンズの間の平らな部分が存在しないので、円形のレンズにおけるレンズとレンズの間の平らな部分を通ってきた光線の影響を回避できるという利点がある。

図１は、実施例１の撮像装置の概念図である。 図２の（Ａ）は、実施例１の撮像装置を構成するマイクロレンズアレイ部を拡大した模式的な一部断面図であり、図２の（Ｂ）は、実施例３の撮像装置を構成する偏光方向可変素子を拡大した模式的な一部断面図である。 図３の（Ａ）及び（Ｂ）は、それぞれ、マイクロレンズアレイ部のレンズ効果を説明するための、マイクロレンズアレイ部を拡大した模式的な一部断面図である。 図４の（Ａ）は、第２の撮像モード時の所定の画像処理を説明するための撮像レンズ等の概念図であり、図４の（Ｂ）は、第２の撮像モード時の所定の画像処理を説明するための図である。 図５は、実施例２の撮像装置の概念図である。 図６は、撮像レンズの絞り値を変更する際の撮像光学系の最適化処理の一例を表す流れ図である。 図７の（Ａ）〜（Ｄ）は、図６に示した撮像レンズの絞り値を変更する際の撮像光学系の最適化処理における光路の一例を説明するための撮像レンズ等の模式的な模式図である。 図８は、撮像レンズの絞り値を変更する際の撮像光学系の最適化処理の変形例を説明するための撮像レンズ等の模式的な模式図である。 図９は、実施例３の撮像装置の概念図である。 図１０の（Ａ）及び（Ｂ）は、実施例３の撮像装置において、マイクロレンズを通過した光が、撮像素子において結像する状態、撮像素子において投影される状態を模式的に示す図である。 図１１の（Ａ）及び（Ｂ）は、実施例３の撮像装置において、マイクロレンズを通過した光が、撮像素子において結像する状態の変形例、撮像素子において投影される状態の変形例を模式的に示す図である。 図１２は、実施例４の撮像装置の概念図である。

符号の説明

１，２，３，４・・・撮像装置、１１・・・撮像レンズ、１１’・・・入射瞳径、１１Ａ・・・撮像レンズ面、１２，３１２，４１２・・・マイクロレンズアレイ部、１２’，３１２’４１２’・・・マイクロレンズ、１２Ａ・・・リフォーカス面、１３・・・撮像素子、１３Ａ・・・撮像面、１４・・・画像処理部、１５・・・電圧供給部（撮像モード切替部）、１６・・・撮像素子駆動手段、１７・・・制御部、１８・・・駆動手段（撮像素子シフト部）、２１，２５，４１，４５・・・基板、２２，２４，４２，４４・・・電極、２３，４３・・・液晶層

Claims (24)

1. （Ａ）撮像レンズ、
   （Ｂ）撮像レンズを通過した光が入射するマイクロレンズアレイ部、及び、
   （Ｃ）マイクロレンズアレイ部から出射された光を受光する撮像素子、
   を備えており、
   マイクロレンズアレイ部を構成する各マイクロレンズは、印加される電圧に応じて焦点距離が可変であることを特徴とする撮像装置。
2. 第１の撮像モード及び第２の撮像モードによって撮像がなされ、
   第１の撮像モードによる撮像時、マイクロレンズアレイ部を構成する各マイクロレンズの焦点距離が無限大とされることで、撮像レンズによる像が撮像素子上に結像され、
   第２の撮像モードによる撮像時、撮像レンズによる像がマイクロレンズ上に結像され、各マイクロレンズの焦点距離が有限の値とされることで、マイクロレンズ上に結像された撮像レンズによる像が撮像素子上に投影されることを特徴とする請求項１に記載の撮像装置。
3. （Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、及び、
   （Ｅ）マイクロレンズアレイ部に電圧を印加するための電圧供給部、
   を更に備えており、
   撮像装置においては、第１の撮像モード及び第２の撮像モードによって撮像がなされ、
   第１の撮像モードによる撮像時、電圧供給部からマイクロレンズアレイ部への電圧の印加が停止され、且つ、画像処理部による所定の画像処理が停止され、
   第２の撮像モードによる撮像時、電圧供給部からマイクロレンズアレイ部への電圧の印加が行われ、且つ、画像処理部による所定の画像処理が行われることを特徴とする請求項１に記載の撮像装置。
4. （Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、及び、
   （Ｅ）マイクロレンズアレイ部に電圧を印加するための電圧供給部、
   を更に備えており、
   撮像装置においては、第１の撮像モード及び第２の撮像モードによって撮像がなされ、
   第１の撮像モードによる撮像時、電圧供給部からマイクロレンズアレイ部への電圧の印加が行われ、且つ、画像処理部による所定の画像処理が停止され、
   第２の撮像モードによる撮像時、電圧供給部からマイクロレンズアレイ部への電圧の印加が停止され、且つ、画像処理部による所定の画像処理が行われることを特徴とする請求項１に記載の撮像装置。
5. 撮像レンズとマイクロレンズアレイ部との間の距離を一定に保ちつつ、マイクロレンズアレイ部と撮像素子との間の距離を変化させる駆動手段を更に備えていることを特徴とする請求項１に記載の撮像装置。
6. 駆動手段は、撮像装置の光軸に沿って撮像素子を移動させることを特徴とする請求項５に記載の撮像装置。
7. 駆動手段は、撮像装置の光軸に沿って撮像レンズ及びマイクロレンズアレイ部を移動させることを特徴とする請求項５に記載の撮像装置。
8. （Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、及び、
   （Ｅ）マイクロレンズアレイ部に電圧を印加するための電圧供給部、
   を更に備えており、
   撮像レンズのＦナンバーとマイクロレンズアレイ部を構成するマイクロレンズのＦナンバーとの間に不整合が生じた場合、電圧供給部からマイクロレンズアレイ部へ印加する電圧が変化させられると共に、駆動手段によってマイクロレンズアレイ部と撮像素子との間の距離が変化させられることを特徴とする請求項５に記載の撮像装置。
9. マイクロレンズアレイ部は、液晶レンズアレイから構成されていることを特徴とする請求項１に記載の撮像装置。
10. 液晶レンズアレイは、
    （ａ）第１電極を有する第１基板、
    （ｂ）第２電極を有する第２基板、及び、
    （ｃ）第１電極と第２電極との間に配置された液晶層、
    から構成されており、
    第１電極及び第２電極への電圧の印加の有無によって、液晶レンズアレイがレンズとして機能することを特徴とする請求項９に記載の撮像装置。
11. 撮像装置の光軸をＺ軸とした３次元ガウス空間を想定し、液晶レンズアレイがレンズとして機能するとき、各マイクロレンズは、Ｘ軸方向及びＹ軸方向において略等しいパワーを有していることを特徴とする請求項９に記載の撮像装置。
12. 撮像装置の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズとマイクロレンズアレイ部との間には、Ｘ軸方向に偏光した光を出射する偏光板、及び、偏光方向可変素子が、配置されており、
    液晶レンズアレイがレンズとして機能するとき、各マイクロレンズは、Ｘ軸方向にはパワーを有さず、Ｙ軸方向にはパワーを有することを特徴とする請求項９に記載の撮像装置。
13. 撮像装置の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズとマイクロレンズアレイ部との間には、Ｘ軸方向に偏光した光を出射する偏光板、及び、偏光方向可変素子が、配置されており、
    液晶レンズアレイがレンズとして機能するとき、各マイクロレンズは、Ｙ軸方向にはパワーを有さず、Ｘ軸方向にはパワーを有することを特徴とする請求項９に記載の撮像装置。
14. マイクロレンズは非球面レンズであることを特徴とする請求項１に記載の撮像装置。
15. （Ａ）撮像レンズ、
    （Ｂ）撮像レンズを通過した光が入射するマイクロレンズアレイ部、及び、
    （Ｃ）マイクロレンズアレイ部から出射された光を受光する撮像素子、
    を備えており、
    マイクロレンズアレイ部を構成する各マイクロレンズは、印加される電圧に応じて焦点距離が可変である撮像装置を用いた撮像方法であって、
    第１の撮像モード及び第２の撮像モードによって撮像され、
    第１の撮像モードによる撮像時、マイクロレンズアレイ部を構成する各マイクロレンズの焦点距離を無限大とすることで、撮像レンズによる像を撮像素子上に結像させ、
    第２の撮像モードによる撮像時、撮像レンズによる像をマイクロレンズ上に結像させ、各マイクロレンズの焦点距離を有限の値とすることで、マイクロレンズ上に結像された撮像レンズによる像を撮像素子上に投影することを特徴とする撮像方法。
16. （Ａ）撮像レンズ、
    （Ｂ）撮像レンズを通過した光が入射するマイクロレンズアレイ部、及び、
    （Ｃ）マイクロレンズアレイ部から出射された光を受光する撮像素子、
    を備えた撮像装置であって、
    撮像装置の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズとマイクロレンズアレイ部との間には、Ｘ軸方向に偏光した光を出射する偏光板、及び、偏光方向可変素子が、更に配置されており、
    マイクロレンズアレイ部は、液晶レンズアレイから構成されており、
    マイクロレンズアレイ部を構成する各マイクロレンズは、Ｘ軸方向にはパワーを有さず、Ｙ軸方向にはパワーを有しており、あるいは又、Ｙ軸方向にはパワーを有さず、Ｘ軸方向にはパワーを有していることを特徴とする撮像装置。
17. 第１の撮像モード及び第２の撮像モードによって撮像がなされ、
    第１の撮像モードによる撮像時、偏光方向可変素子の作動によって、マイクロレンズアレイ部を構成する各マイクロレンズのパワーを有さない方向に偏光された光がマイクロレンズを通過し、撮像レンズによる像が撮像素子上に結像され、
    第２の撮像モードによる撮像時、偏光方向可変素子の作動によって、マイクロレンズアレイ部を構成する各マイクロレンズのパワーを有する方向に偏光された光がマイクロレンズに入射され、撮像レンズによる像がマイクロレンズ上に結像され、マイクロレンズ上に結像された撮像レンズによる像がマイクロレンズによって撮像素子に投影されることを特徴とする撮像方法。
18. （Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、
    を更に備えており、
    撮像装置においては、第１の撮像モード及び第２の撮像モードによって撮像がなされ、
    第１の撮像モードによる撮像時、画像処理部による所定の画像処理が停止され、
    第２の撮像モードによる撮像時、画像処理部による所定の画像処理が行われることを特徴とする請求項１６に記載の撮像装置。
19. 撮像レンズとマイクロレンズアレイ部との間の距離を一定に保ちつつ、マイクロレンズアレイ部と撮像素子との間の距離を変化させる駆動手段を更に備えていることを特徴とする請求項１６に記載の撮像装置。
20. 駆動手段は、撮像装置の光軸に沿って撮像素子を移動させることを特徴とする請求項１９に記載の撮像装置。
21. 駆動手段は、撮像装置の光軸に沿って撮像レンズ及びマイクロレンズアレイ部を移動させることを特徴とする請求項１９に記載の撮像装置。
22. （Ｄ）撮像素子からの信号に対して所定の画像処理を施すための画像処理部、
    を更に備えており、
    撮像レンズのＦナンバーとマイクロレンズアレイ部を構成するマイクロレンズのＦナンバーとの間に不整合が生じた場合、マイクロレンズアレイ部を構成する各マイクロレンズのパワーが変化させられると共に、駆動手段によってマイクロレンズアレイ部と撮像素子との間の距離が変化させられることを特徴とする請求項１９に記載の撮像装置。
23. 偏光方向可変素子は、液晶素子から構成されていることを特徴とする請求項１６に記載の撮像装置。
24. （Ａ）撮像レンズ、
    （Ｂ）撮像レンズを通過した光が入射するマイクロレンズアレイ部、及び、
    （Ｃ）マイクロレンズアレイ部から出射された光を受光する撮像素子、
    を備えた撮像装置であって、
    撮像装置の光軸をＺ軸とした３次元ガウス空間を想定したとき、撮像レンズとマイクロレンズアレイ部との間には、Ｘ軸方向に偏光した光を出射する偏光板、及び、偏光方向可変素子が、更に配置されており、
    マイクロレンズアレイ部は液晶レンズアレイから構成されており、
    マイクロレンズアレイ部を構成する各マイクロレンズは、Ｘ軸方向にはパワーを有さず、Ｙ軸方向にはパワーを有しており、あるいは又、Ｙ軸方向にはパワーを有さず、Ｘ軸方向にはパワーを有している撮像装置を用いた撮像方法であって、
    第１の撮像モード及び第２の撮像モードによって撮像され、
    第１の撮像モードによる撮像時、偏光方向可変素子の作動によって、マイクロレンズアレイ部を構成する各マイクロレンズのパワーを有さない方向に偏光した光をマイクロレンズを通過させ、撮像レンズによる像を撮像素子上に結像させ、
    第２の撮像モードによる撮像時、偏光方向可変素子の作動によって、マイクロレンズアレイ部を構成する各マイクロレンズのパワーを有する方向に偏光された光をマイクロレンズに入射させ、撮像レンズによる像をマイクロレンズ上に結像させ、マイクロレンズ上に結像された撮像レンズによる像をマイクロレンズによって撮像素子に投影することを特徴とする撮像方法。

Images