JP2018046340A - 撮像装置および被写体情報取得方法 - Google Patents

Abstract

【課題】偏光を利用して被写体の多様な情報を容易に取得する。【解決手段】撮像装置の輝度データ取得部３２は、異なる色成分を透過させる複数の領域を備えたフィルタを透過した光の、４方向の偏光成分の輝度分布を取得する。偏光カラー画像生成部３４は色ごと、偏光の方向ごとにデータを補間した偏光カラー画像を生成する。カラー画像生成部３６は４方向の偏光の輝度を平均して非偏光のカラー画像を生成する。距離情報生成部４０はカラー画像における像のぼけ（分布）に基づき被写体の距離情報を生成する。法線情報生成部３８は４方向の偏光成分の輝度変化に基づき被写体表面の法線情報を生成する。画像データ記憶部４２は生成された各種データを格納する。【選択図】図４

Description

本発明は撮影により被写空間の状態に係る情報を取得する技術に関する。

偏光フィルタをセンサ上に搭載することにより被写体の偏光情報を取得する偏光カメラが実用化されている。偏光カメラを用いることにより、被写体の面方位の情報や透明な物の存在を取得できるため、物体識別や異物検知が容易となる。そのため製造ラインにおける検品装置や車載カメラなど、幅広い分野への応用が見込まれる（例えば特許文献１、２参照）。

特開２０１２−８００６５号公報 特開２０１４−５７２３１号公報

偏光カメラは、所定方向の偏光軸を有する偏光フィルタを通過した光を検出するという、光成分の取捨選択をする原理上、取得できる情報が限定的であり、自ずとその用途も限定される。一方、偏光カメラで取得できる面方位などの情報は、画像解析を必要とする各種情報処理においても有用であるため、そのような処理へ容易に応用できる技術が望まれている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、偏光情報を利用して、撮影により被写体の多様な情報を容易に取得できる技術を提供することにある。

本発明のある態様は撮像装置に関する。この撮像装置は、異なる光成分を透過させる複数の領域を備えたフィルタと、フィルタを透過した光の、複数方向の偏光成分の輝度分布を検出する撮像素子と、検出された輝度分布を、各成分の相関関係に基づき解析することにより、被写体に係る複数種類の情報を生成する画像処理部と、を備えることを特徴とする。

本発明の別の態様は被写体情報取得方法に関する。この被写体情報取得方法は撮像装置が、異なる光成分を透過させる複数の領域を備えたフィルタを透過した光の、複数方向の偏光成分の輝度分布を取得するステップと、検出された輝度分布を、各成分の相関関係に基づき解析することにより、被写体に係る複数種類の情報を生成しメモリに格納するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、偏光情報を利用して、撮影により被写体の多様な情報を容易に取得できる。

本実施の形態における撮像装置の構成を概念的に示す図である。 本実施の形態の撮像装置が備える撮像素子の構造例を示す図である。 本実施の形態の偏光子層における各主軸角度の偏光子と、カラーフィルタ層における各色のフィルタのレイアウト例を示す図である。 本実施の形態における画像処理部の機能ブロックを示す図である。 本実施の形態において、成分分離フィルタを用いて距離情報を取得する原理を説明するための図である。 本実施の形態における成分分離フィルタの構成例を模式的に示す図である。 本実施の形態における距離情報生成部が詳細なデプス画像を生成する処理について説明するための図である。

図１は、本実施の形態における撮像装置の構成を概念的に示す図である。撮像装置１２は、結像光学系１４、成分分離フィルタ１６、絞り１８、撮像素子アレイ２０、および画像処理部２２を含む。結像光学系１４は被写体の像を撮像素子アレイ２０の撮像面に結像させる合焦レンズを含む一般的な構成を有する。なお図では１枚のレンズで代表させて示している。成分分離フィルタ１６は、領域によって成分の異なる光を透過させるフィルタである。これにより、撮像素子アレイ２０が検出する成分分布に基づき被写体からの光の経路を区別し、その情報を利用して被写体までの距離を取得する。

絞り１８は開口部を有し、その口径を変化させることにより、入射する光の量を調整する一般的な構成を有する。撮像素子アレイ２０は撮像素子の２次元配列を含み、検出した光の強さを電荷に変換して画像処理部２２に出力する。本実施の形態における撮像素子は少なくとも、複数方向の偏光成分を検出する構造を有する。さらに撮像素子は、成分分離フィルタ１６が透過領域によって異ならせた光の成分を区別して検出する構造も有する。例えば成分分離フィルタ１６を、領域によって異なる色の光を透過させるカラーフィルタで構成した場合、撮像素子はそれらの色を区別して検出できるような構造とする。一方、成分分離フィルタ１６を、領域によって異なる方向の偏光成分を透過させる偏光子で構成した場合、上述した複数方向の偏光成分を検出する構造を共通に利用できる。

画像処理部２２は、撮像素子アレイ２０により検出された各成分の光の輝度の２次元分布を用いて画像処理を行い、成分ごとに輝度画像を生成したり、それを解析して被写体の距離や被写体表面の法線の情報を生成したりする。距離情報としては例えば、被写体の撮像装置１２からの距離を画素値とするデプス画像を生成する。法線情報としては例えば、被写体表面の法線の方向を表すパラメータを画素値とする法線画像を生成する。

なお撮像装置１２にはさらに、ユーザによる操作手段と、操作内容に応じて撮影動作や撮影条件の調整動作などを実行する機構が設けられていてよい。また撮像装置１２は、ゲーム機やパーソナルコンピュータなど外部の装置と、有線または無線により通信を確立し、生成したデータを送信したりデータ送信要求などの制御信号を受信したりする機構を有していてよい。ただしこれらの機構は一般的な撮像装置と同様でよいため説明は省略する。

図２は撮像装置１２が備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、偏光子層１１４、カラーフィルタ層１１６、および光検出層１１８を含む。偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光が偏光子層１１４に入射すると、偏光子のラインと平行な方向の偏光成分は反射され、垂直な偏光成分のみが透過する。

透過した偏光成分を光検出層１１８で検出することにより偏光輝度が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。

同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４通りの主軸角度の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４つの主軸角度の偏光子を設けている。

各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方向の偏光成分の輝度を得ることができる。このような４つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４種類の偏光輝度を２次元分布として取得するイメージセンサを実現できる。

同図に示す撮像素子１１０では、偏光子層１１４と光検出層１１８の間にカラーフィルタ層１１６を設けている。カラーフィルタ層１１６は、赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置する偏光子層１１４における偏光子の主軸角度とカラーフィルタ層１１６におけるフィルタの色の組み合わせに応じて、偏光輝度が色別に得られる。

すなわち同一色かつ同一方向の偏光の輝度が画像平面上で離散的に得られる。それらを適宜補間することにより、方向と色の組み合わせごとに偏光画像が得られる。また、同一色の４方向の偏光輝度を用いて偏光特性を取得し法線情報を生成したり、当該４方向の偏光輝度の平均値をその位置における色の輝度とした非偏光のカラー画像を生成し、それを用いて距離情報を生成したりできる。

図示するようなワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などに、カラー偏光画像を取得する技術については例えば国際公開ＪＰ２００８−００１１３６号などに、それぞれ開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。

また成分分離フィルタ１６をカラーフィルタで構成しない場合、かつ画像の表示等、他の用途でもカラー画像を用いることがない場合、カラーフィルタ層１１６を省略することもできる。なお以後の説明では、カラーフィルタ層１１６を含めた態様に主眼を置くが、カラーフィルタ層１１６を含めない場合でも一部の構造・処理を省略するのみで同様の作用効果が得られることは当業者には理解されるところである。

図３は、偏光子層１１４における各主軸角度の偏光子と、カラーフィルタ層１１６における各色のフィルタのレイアウト例を示している。同図（ａ）は、偏光子層１１４の一部分を上面から見たときの偏光子配列を、図２の偏光子配列１２０と同様に示している。また（ｂ）は、カラーフィルタ層１１６のうち（ａ）に示した部分に対応する部分の各色のフィルタの配列であり、「Ｒ」が赤、「Ｇ」が緑、「Ｂ」が青の光を透過するフィルタである。

この例では、各主軸角度の偏光子の領域と各色のフィルタの領域を同一サイズの正方形とし、一方の領域の頂点が他方の領域の中央に位置するような配置としている。例えば（ａ）に太線で示した領域１２４の下層には、（ｂ）における「Ｇ」の領域１２６が配置される。なおカラーフィルタ層１１６は一般的なベイヤ配列とする。このようにすると、４つの主軸角度の偏光子を透過した光、すなわち４方向の偏光成分が、カラーフィルタ層１１６の同じフィルタを透過し、カラーの偏光として検出されることになる。

偏光子層１１４およびカラーフィルタ層１１６を同図に示す配列の繰り返しとし、光検出層１１８における電荷の読み取り単位を、各偏光子の領域を縦横双方向に２分割してなる領域（例えば領域１２８）に対応させれば、色ごと、方向ごとに１２通りの偏光成分の輝度値が得られる。なお当該１２通りの輝度データは、図示する例以外の配置でも得ることができる。例えば各偏光子の領域と各フィルタの領域の頂点を一致させても、組み合わせが変化するように配置順を工夫すれば１２通りの輝度データが得られる。あるいは各偏光子と各カラーフィルタのうち一方の領域を、他方の２行２列の領域に対応させるなど、サイズを異ならせてもよい。

ただし図示するような配置とすると、２行２列の４つの画素の領域に対し一つの主軸角度の偏光子を形成すればよいため、画素ごとに偏光子を形成するより製造が容易である。また隣接する画素に異なる方向の偏光成分が漏れる可能性が低くなる。さらに、同一色の４方向の偏光成分、あるいは同一方向の３色の偏光成分のどちらもが近接した位置で検出されるため、後の補間処理や解析処理で誤差が発生しにくい。このようにして同じ位置（画素）における４方向の偏光成分の輝度、および３色の非偏光の輝度を精度よく取得することにより、それらを用いて得られる法線情報と距離情報との位置的な対応を容易にとることができる。

図４は、本実施の形態における画像処理部２２の機能ブロックを示している。同図に示す各機能ブロックは、ハードウェア的には、撮像素子、各種演算回路、マイクロプロセッサ、バッファメモリなどの構成で実現でき、ソフトウェア的には、メモリに格納されるプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理部２２は、撮像素子アレイ２０から輝度の２次元データを取得する輝度データ取得部、輝度の２次元データを成分ごとに補間して偏光カラー画像を生成する偏光カラー画像生成部３４、４方向の偏光成分を平均して非偏光のカラー画像を生成するカラー画像生成部３６、４方向の偏光成分を用いて被写体の法線情報を生成する法線情報生成部３８、カラー画像や法線情報を用いて距離情報を生成する距離情報生成部４０、および生成したデータを記憶する画像データ記憶部４２を備える。

輝度データ取得部３２は、撮像素子アレイ２０が検出した輝度の２次元分布のデータを取得する。図２で示したように、４つの主軸角度の偏光子からなる偏光子層１１４および赤、緑、青のフィルタからなるカラーフィルタ層１１６を含む撮像素子によれば、偏光成分の方向と色の組み合わせによる１２種類の光の輝度が離散的に示された２次元データが得られる。

偏光カラー画像生成部３４は、そのように離散的に得られた輝度の２次元分布を、光の種類ごとに抽出して補間することにより、色ごと、方向ごとに偏光カラー画像を生成する。この補間処理には一般的なデモザイク処理を採用できる。ただし図２、３で示したように偏光成分も分離する撮像素子の場合、同じ方向の偏光成分かつ同じ色の画素の間隔は、一般的なベイヤ配列のＲＡＷ画像における同じ色の画素の間隔より広くなる。このため補間後の画像において高周波成分が抑えられ、エッジ抽出や特徴点検出など後の処理に影響を及ぼすことが考えられる。

そのため偏光カラー画像生成部３４は、まず最も間隔の狭い緑の偏光データについて補間したうえ、そこで得られる高周波成分を赤や青の偏光データに加算することにより、各色、各方向の偏光画像においてディテールが復元されるようにしてもよい。あるいは、補間した４方向の緑の偏光画像を同じ位置で平均した非偏光の緑の輝度画像を生成し、その高周波成分を各色の偏光画像に加算してもよい。いずれにしろ偏光カラー画像生成部３４は、赤、緑、青のそれぞれについて４方向の偏光成分の輝度を画素値として表した、１２通りのカラー偏光画像を生成する。

カラー画像生成部３６は、４方向のカラー偏光画像を色ごとに同じ位置で平均して非偏光のカラー画像（輝度画像）を生成する。偏光カラー画像生成部３４が高周波成分抽出のために非偏光の緑の輝度画像を生成する場合、緑については当該データを流用してもよい。なお図３で示したレイアウトとする場合、輝度データ取得部３２が取得する各成分の２次元データにおいて、同色の４方向の偏光成分の輝度が近接した位置で得られる。したがってカラー画像生成部３６は、それらを平均することにより直接、非偏光の輝度値を色ごとに求め、それをデモザイク処理することにより非偏光のカラー画像を生成してもよい。ただしこの場合、生成されるカラー画像は１／４の解像度となる。

距離情報生成部４０は、生成されたカラー画像を用いて、被写体の撮像面からの距離に係る情報を生成する。本実施の形態では、ピントが合っている位置からの奥行き方向の距離によって被写体の像のぼけ量が変化することを利用して被写体の距離を取得する。ここで「ぼけ量」とは、本来結像すべき位置に対する、実際の像の最大ずれ量であり、像を構成する画素が分布する範囲の広さとも捉えられる。

上述のとおり成分分離フィルタ１６を透過した光は、その透過領域によって成分が異なっている。距離情報生成部４０は、そのような複数種類の成分が、被写体の像においてどの方向のぼけとして表れているかに基づき、ピントが合っている位置と被写体との位置関係を区別する。距離情報生成部４０は、得られた距離を画素値とするデプス画像などの形式で距離情報を出力する。詳細は後に述べる。

法線情報生成部３８は、偏光カラー画像生成部３４が生成したカラー偏光画像を用いて画素ごとに偏光特性を取得し、被写体の法線を表す情報を生成する。上述のとおりカラー偏光画像として、各色に対し４方向の偏光成分の輝度が画素ごとに得られているため、法線情報生成部３８は例えば緑の偏光画像を用いて法線情報を取得する。具体的には偏光成分の方向依存性に基づき、被写体表面の法線の天頂角および位相角、あるいは３要素の法線ベクトルを算出し、それを画素値として表した法線画像などの形式で出力する。詳細は後に述べる。

なお図３で示したレイアウトとする場合、輝度データ取得部３２が取得する各成分の２次元データにおいて、同色の４方向の偏光成分の輝度が近接した位置で得られる。したがって法線情報生成部３８は、それらを用いて偏光成分の方向依存性を直接評価し、それに基づき法線情報を求めてもよい。この場合、位置によって評価対象となる光の色が異なるが、偏光特性、ひいてはそれから得られる法線情報への影響は小さいと考えられる。ただしこの場合、生成される法線画像は１／４の解像度となる。

距離情報生成部４０は、法線情報生成部３８が生成した法線情報を用いて、より詳細な距離情報を生成してもよい。被写体の距離を求める手法として像のぼけを利用した場合、輪郭部分については一定以上の精度が得られる一方、被写体表面の細かい凹凸や曲面形状を詳細に特定するのは困難である。そこで、精度よく得られている輪郭部分の距離を始点とし、法線情報から得られる被写体表面の傾斜に従い各画素の距離情報を順に特定していくことにより、細かい凹凸をも表したデプス画像を生成できる。

本実施の形態では、１つの撮像素子アレイ２０により取得された輝度の分布を用いて、ぼけに基づき生成したデプス画像と同じ視野で法線画像を生成できるため、双方の画像上の位置が完全に対応する。結果として、一旦生成したデプス画像に法線の情報を融合させ、詳細なデプス画像を生成する処理を容易かつ精度よく実現できる。距離情報生成部４０および法線情報生成部３８は、生成した距離情報（デプス画像）や法線情報（法線画像）のデータを画像データ記憶部４２に順次格納する。

偏光カラー画像生成部３４が生成した偏光カラー画像や、カラー画像生成部３６が生成したカラー画像のデータも必要に応じて画像データ記憶部４２に格納してよい。画像データ記憶部４２に格納されたデータは、撮像装置１２と通信を確立したゲーム機などの情報処理装置に適宜送信する。あるいは、画像データ記憶部４２に画像データとして格納する代わりに、データが生成された画素列順に、情報処理装置にストリーム転送してもよい。

送信する対象は偏光カラー画像、カラー画像、法線画像、デプス画像のいすれでもよい。図４に示した例では、撮像装置１２において法線情報および距離情報を生成したが、法線情報生成部３８および距離情報生成部４０の少なくとも一部の機能を情報処理装置に設け、情報処理装置側で法線情報や距離情報を同様の手順で生成してもよい。

図５は、成分分離フィルタ１６を用いて、経路によって光の成分を異ならせることにより距離情報を取得する原理を説明するための図である。同図は被写体１３０からの光が、結像光学系１４の合焦レンズ１３２および成分分離フィルタ１６を経て撮像素子アレイ２０の撮像面１３４に入射する経路を、撮像空間の上側から見た状態を示している。状態（ａ）、（ｂ）、（ｃ）は、撮像面１３４から被写体１３０までの距離が異なり、状態（ｂ）における被写体１３０が、ピントが合った位置、すなわちピント面１３８にあるとする。

すなわち状態（ｂ）では、図示するように、被写体１３０の一点から出た光が、撮像面１３４において一点に結像する。したがって同図右側に示すように、当該一点の光を表す像１３６ｂが得られる。被写体１３０が、状態（ａ）のようにピント面１３８より奥にあったり、状態（ｃ）のようにピント面１３８より手前にあったりすると、光が一点に結像する位置が撮像面１３４からずれ、その結果としてぼけた像１３６ａ、１３６ｂが得られる。当然、被写体１３０がピント面１３８から離れるほど、ぼける量が大きくなる。

成分分離フィルタ１６は、同図において網掛けの濃淡で区別しているように、異なる成分の光を透過する複数の領域を備える。同図では光軸を通る縦方向に２分割してなる左右（図では上下）の２領域を想定しているが、これに限る主旨ではない。このような成分分離フィルタ１６を透過してなる各成分の光は、撮像面１３４において、被写体１３０の位置に応じた方向にぼけた像を形成する。

具体的には、状態（ａ）のように被写体１３０がピント面１３８より奥にある場合、各成分の光の位置関係が撮像面１３４に至る途中で反転する。したがって検出される像１３６ａにおいても、成分分離フィルタ１６を透過したときと逆の位置関係で各成分が表れる。なお同図の像１３６ａ、１３６ｃでは、成分分離フィルタ１６の各領域を区別したのと同様の網掛けの濃淡により、各領域を透過してなる光成分の像を示している。

状態（ｃ）のように被写体１３０がピント面１３８より手前にある場合は、成分分離フィルタ１６で透過した各成分の光が、その位置関係を保ったまま撮像面１３４に到達する。したがって検出される像１３６ｃにおいても、成分分離フィルタ１６を透過したときと同じ位置関係で各成分が表れる。これらのことから、画像として検出される像のぼけ量（例えば像１３６ａにおける幅ｄ）により被写体１３０のピント面１３８からの距離を特定し、各光成分のぼける方向により被写体１３０のピント面１３８に対する位置関係を特定できる。

図６は、成分分離フィルタ１６の構成例を模式的に示している。上述のとおり成分分離フィルタ１６は、領域によって透過した光の成分を異ならせることにより、像のぼける方向によって被写体がピント面より手前にあるか奥にあるかを特定するものである。その限りにおいて透過させる成分は特に限定されないが、図示する例では（ａ）が異なる色成分を透過し、（ｂ）が異なる方向の偏光成分を透過する、複数の領域を有するフィルタである。

より具体的には、（ａ）の成分分離フィルタ１６ａは、光軸を通る垂直線で２分割した左右の領域に、シアンおよびイエローのフィルタをそれぞれ設けた構造を有する。シアンのフィルタは緑と青の成分を透過させ、イエローのフィルタは赤と緑の成分を透過させる。このような成分分離フィルタ１６を用いると、カラー画像生成部３６が生成するカラー画像において、緑成分は全方位にぼける一方、青成分と赤成分は同図右側に示すように、それぞれ右側、左側にぼけた像を形成する。そして、被写体がピント面より奥か手前かで青と赤の像の位置関係が逆転する。

（ｂ）の成分分離フィルタ１６ｂは、光軸を通る垂直線および水平線で４分割してなる右上、右下、左下、左上の領域に、０°、４５°、９０°、１３５°の偏光成分を透過する偏光子をそれぞれ設けた構造を有する。このようなフィルタは、一般的な偏光板と同様にして形成できる。このような成分分離フィルタ１６を用いると、偏光カラー画像生成部３４が生成する各色の偏光画像において、同図右側に示すように、右上側、右下側、左下側、左上側で、ぼけた像を形成する偏光成分が異なる。そして、被写体がピント面より奥か手前かで、各偏光成分が対角線上で逆転する。

成分分離フィルタ１６を偏光子で構成する場合、（ｂ）に示すように４方向の偏光成分を均等に透過させるようにすることにより、観測される偏光特性、ひいては法線情報生成部３８が生成する法線情報への影響を抑えることができる。なお成分分離フィルタ１６の構成は図示するものに限らない。すなわち分割線は垂直、水平以外の方向でもよいし、分割してなる領域は３つ、あるいは５つ以上でもよい。

さらに上述のとおり、撮像素子アレイ２０において検出可能であれば、各領域で透過させる光の成分は限定されない。さらに成分分離フィルタ１６の一部の領域は、入射した光をそのまま透過させるようにしてもよい。このようにすると、全ての成分を含む光の輝度分布も直接取得できるため、表示に用いたり他の画像の補間に利用したりできる。

領域ごとに異なる色を透過するフィルタを介して被写空間を撮影し、そのぼけ量および各色のぼける方向からデプス画像を生成する処理は、例えば"Extracting Depth and Matte using a Color-Filtered Aperture, Yosuke Bando, Bing-Yu Chen, and Tomoyuki Nisita, ACM Trans. Graphics 27（5）, 134:1-134:9, 2008" などに開示されるように既存技術である。本実施の形態においても距離情報生成部４０は、当該手法を利用して、ぼけに基づく距離情報を生成してよい。

例えば、図６の（ａ）に示す分割フィルタを用いた場合、赤成分および青成分の画像における各被写体の像が、本来の結像位置（ｘ，ｙ）から横方向に±ｄだけ変位することによりぼけが形成される。画素位置（ｘ，ｙ）における赤成分および青成分の輝度をそれぞれＩ_ｒ（ｘ，ｙ）、Ｉ_ｂ（ｘ，ｙ）とし、当該画素を中心とする微小サイズのウィンドウｗにおける色分布Ｓ_Ｉ（ｘ，ｙ；ｄ）＝｛Ｉ_ｒ（ｓ＋ｄ，ｔ），Ｉ_ｂ（ｓ−ｄ，ｔ））｜（ｓ，ｔ）∈ｗ（ｘ，ｙ）｝の共分散行列Σの固有値をλ_０、λ_１（λ_０≧λ_１≧０）、各成分の分散をσ_Ｉ ^２、σ_ｂ ^２としたとき、
Ｌ（ｘ，ｙ；ｄ）＝λ_０λ_１／σ_Ｉ ^２σ_ｂ ^２
を最小にするときのｄを変位量（ぼけ量）とする。ｄの正負によって赤成分および青成分のぼける方向も特定できる。

距離情報生成部４０はカラー画像から、ぼけ量ｄを上述のようにして画素ごとに求め、その絶対値および各成分のぼける方向に基づき、撮像面から被写体までの距離を求めてデプス画像を生成する。なお各成分のぼけ量±ｄと被写体の距離との関係は光学系に依存するため、それらを考慮して幾何学的な計算を行ってもよいし、初期のキャリブレーションなどにより、±ｄから距離を求めるためのテーブルを準備し内部のメモリなどに記憶させておいてもよい。図６の（ｂ）に示す成分分離フィルタ１６ｂを採用した場合も、４次元で分布を評価する以外は同様の計算となる。

次に、法線情報生成部３８が法線情報を生成する手法について説明する。複数方向の偏光成分の画像を利用して被写体の様々な情報を取得する技術は従来、研究が進められている。被写体表面の法線ベクトルを求める方法についても、例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９−５８５３３号公報などに開示されており、本実施の形態ではそれらを適宜採用してよい。以下、概要を説明する。

まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θ_ｐｏｌに対し次の式のように変化する。

ここでＩ_ｍａｘ、Ｉ_ｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θ_ｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θ_ｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θ_ｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、φを求めることができる。そのように求めたＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉ_ｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉ_ｍａｘを与える主軸角度である。

天頂角θは、鏡面反射の場合の偏光度ρ_ｓ、拡散反射の場合の偏光度ρ_ｄと、それぞれ次のような関係にある。

ここでｎは対象物の屈折率である。式２で得られる偏光度ρを式３のρ_ｓ、ρ_ｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）は次のように得られる。

このように偏光画像の各画素が表す輝度Ｉと偏光子の主軸角度θ_ｐｏｌとの関係から、当該画素に写る対象物の法線ベクトルが求められ、像全体として法線ベクトル分布を得ることができる。例えばゲームのコントローラなど対象物を限定できる態様においては、その色や材質に基づき鏡面反射と拡散反射のうち適切なモデルを採用することにより、より高い精度で法線を求めることができる。一方、鏡面反射と拡散反射を分離する手法が様々に提案されているため、そのような技術を適用してより厳密に法線を求めてもよい。

図７は、距離情報生成部４０が像のぼけから得られたデプス画像と法線画像とを用いて、詳細なデプス画像を生成する処理について説明するための図である。距離情報生成部４０はまず、上述のようにして像のぼけ量および各成分のぼける方向に基づき第１段階のデプス画像１５０を生成する。上述の手法によれば、ぼけは各成分の輝度分布の相関によって得られるが、色の変化が乏しい像の内部領域の画素値については、ぼけによる成分か本来の結像成分であるかが判別しづらく距離の取得精度も低くなる。逆に、被写体の輪郭部分など色の変化が大きい部分においては、比較的精度よく距離を求められる。ぼけ量は光学系によって距離の絶対値と対応するため、第１段階のデプス画像１５０が表す距離も絶対値となる。

距離情報生成部４０はまた、法線情報生成部３８が生成した法線画像１５２を取得する。法線画像に表れる法線情報は、光の反射や拡散を利用して生成されるため、被写体表面の色、特徴点の量、像の大きさなどの影響を受けにくい。また像の内部領域か否かに関わらず画素ごとに詳細に得られる。その一方、それ自体は距離の情報を含まない。したがって距離情報生成部４０は、処理１５４のように、粗く得られている第１段階のデプス画像に法線の分布を適用し、第２段階の詳細なデプス画像１５８を生成する。

同図の処理１５４では、球形の被写体の像を横切るある画素列に対し法線画像１５２で得られた法線の分布と、同一の画素列に対し第１段階のデプス画像１５０で得られた距離の分布を模式的に示している。距離分布は距離の絶対値を示しているため、そのうちのある位置を基点として法線が表す被写体表面の傾斜に従い面をつなげていくことにより、滑らかな表面形状１５６を、距離の絶対値の分布で表すことができる。この処理を全ての画素列で繰り返すことにより第２段階の詳細なデプス画像１５８を生成できる。

なお同図は法線画像を用いて第２段階のデプス画像を完成させる例であったが、逆に第１段階のデプス画像を用いて法線画像の精度を高めることもできる。法線は上述のとおり、鏡面反射成分が支配的か拡散反射成分が支配的かによって位相角が９０°異なる。どちらかのモデルを適用して求めた法線に誤差が９０°生じていれば、別途生成したデプス画像との相関が明らかにとれなくなるため、適用したモデルが不適当であったことを容易に特定できる。法線情報生成部３８はそのようにして適用したモデルの是非を判定し、不適当であれば他方のモデルを適用し直して最終的な法線画像を生成する。

このとき距離情報生成部４０は、そのように生成された最終的な法線画像を用いて第２段階のデプス画像を生成してもよい。本実施の形態では、法線画像とデプス画像の位置的な対応が保障されているため、このように相補完的に利用することにより、効率的に高精度なデータを生成できる。なお法線画像とデプス画像に限らず、偏光画像やカラー画像についても同様に相補完的に利用することができる。例えばカラー画像を用いて輪郭追跡や対象物検出を行い、検出した対象物の領域についてのみ法線情報や距離情報を生成することにより、全体的な処理を効率化することもできる。なおそのような処理は、撮像装置１２内部で行ってもよいし、情報処理装置側で行ってもよい。

以上述べた本実施の形態によれば、成分分離フィルタにより被写体からの光を経路に依存した成分とし、それらを区別して検出すると同時に複数方向の偏光成分を同じ位置で検出する機構を撮像装置に設ける。そして、被写体のピント面からの距離に応じて生じるぼけ量と、各成分のぼける方向とから、被写体の撮像装置からの距離を特定し、デプス画像などの距離情報を生成する。一方、複数方向の偏光成分から偏光特性を画素ごとに取得し、それに基づき法線画像など被写体の法線情報を生成する。

このようにして得られる距離情報や法線情報を示す画像、あるいはその元となったカラー画像や偏光画像は、全て視野が一致しており、画素の対応づけも容易なため、相関をとったり、融合してさらなる情報を得たりすることが容易にできる。例えば像のぼけから生成したデプス画像に、画素ごとに詳細に得られた法線の情報を適用することにより、表面の凹凸や曲面形状をも正確に表した詳細なデプス画像を生成できる。

また、ステレオカメラを用いて三角測量の原理によりデプス画像を取得する従来の手法では、初期のキャリブレーションにより左右の画像のエピポーラ線の相関や光軸ずれの補正値を求めておいても、経年変化によりカメラの向きがずれるなどして計算結果に影響を与えることが考えられる。この場合、デプス画像に誤差が生じるほか、別途取得した法線画像との間で画素の位置がずれることも考えられる。このようなことは、ステレオカメラの一方を偏光カメラとしても同様に起こり得る。また、一般的なカメラと偏光カメラを設け、カラー画像と偏光画像を別に取得して相関をとる場合でも起こり得る。

本実施の形態によれば、それらの画像を１つの撮像素子アレイが検出した輝度分布から全て生成するため、たとえハードウェアの経年変化が生じても、画像相互でのずれは生じない。結果として、位置合わせのためのキャリブレーションを実施せずとも、デプス画像、法線画像、偏光画像、カラー画像を相互に利用し、被写体の情報を安定的かつ精度よく得ることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば撮像装置は、本実施の形態で示した結像光学系１４、成分分離フィルタ１６、絞り１８、撮像素子アレイ２０のセットを、所定の間隔で左右に設けたステレオカメラであってもよい。この場合、画像処理部２２は、双方で検出された輝度データの２次元分布を取得する。これにより距離情報生成部４０は、従来技術と同様にそれらから得られる左右のカラー画像または輝度画像を用いてステレオマッチングを行い、デプス画像を生成できる。その一方で、本実施の形態で述べた手法によってもデプス画像を生成できる。

両者は本来、同じデータを表すが、上述したようなステレオカメラの経年変化などにより左右の画像にずれが生じると、それがデプス画像の差となって表れる。したがって当該差を定期的に取得することにより、ステレオマッチングのためのキャリブレーションをし直すタイミングを判定してもよい。ステレオカメラの一方を自然光の一般的なカメラとし、他方を本実施の形態の結像光学系１４、成分分離フィルタ１６、絞り１８、撮像素子アレイ２０のセットとしても、同様の効果が得られる。

１２ 撮像装置、 １６ 成分分離フィルタ、 ２０ 撮像素子アレイ、 ２２ 画像処理部、 ３２ 輝度データ取得部、 ３４ 偏光カラー画像生成部、 ３６ カラー画像生成部、 ３８ 法線情報生成部、 ４０ 距離情報生成部、 ４２ 画像データ記憶部、 １１０ 撮像素子、 １１４ 偏光子層、 １１６ カラーフィルタ層、 １１８ 光検出層。

Claims (10)

1. 異なる光成分を透過させる複数の領域を備えたフィルタと、
   前記フィルタを透過した光の、複数方向の偏光成分の輝度分布を検出する撮像素子と、
   検出された輝度分布を、各成分の相関関係に基づき解析することにより、被写体に係る複数の情報を生成する画像処理部と、
   を備えることを特徴とする撮像装置。
2. 前記画像処理部は、
   前記複数方向の偏光成分の輝度の変化に基づき被写体表面の法線の情報を生成する法線情報生成部と、
   前記フィルタを透過した各光成分が形成する像の分布に基づき、被写体の撮像装置からの距離の情報を生成する距離情報生成部と、
   を備えることを特徴とする請求項１に記載の撮像装置。
3. 前記距離情報生成部は、前記法線情報生成部が生成した前記法線の情報を用いて、前記像の分布に基づき生成した前記距離の情報を補間することにより、より詳細な距離の情報を生成することを特徴とする請求項２に記載の撮像装置。
4. 前記法線情報生成部は、前記距離情報生成部が前記像の分布に基づき生成した前記距離の情報と前記法線の情報を比較することにより、当該法線の情報を生成する際に用いた反射モデルの是非を判定することを特徴とする請求項２または３に記載の撮像装置。
5. 前記フィルタは、領域ごとに異なる方向の偏光成分を透過させることを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. 前記フィルタは、全体を４分割してなる領域に、主軸角度の異なる偏光子をそれぞれ配置した構成を有することを特徴とする請求項１から５のいずれかに記載の撮像装置。
7. 前記フィルタは、領域ごとに異なる色成分の光を透過させることを特徴とする請求項１から４のいずれかに記載の撮像装置。
8. 前記フィルタと前記撮像素子を含む撮像部を２つ備えることにより、前記輝度分布を所定の間隔を有する左右の位置から取得し、
   前記距離情報生成部は、取得した前記輝度分布から生成した左右の輝度画像における対応点の位置の差に基づき前記距離の情報を取得し、前記像の分布に基づき生成した前記距離の情報と比較することにより、左右の輝度画像から前記距離の情報を得るためのキャリブレーションの必要性を判定することを特徴とする請求項２に記載の撮像装置。
9. 異なる光成分を透過させる複数の領域を備えたフィルタを透過した光の、複数方向の偏光成分の輝度分布を取得するステップと、
   検出された輝度分布を、各成分の相関関係に基づき解析することにより、被写体に係る複数の情報を生成しメモリに格納するステップと、
   を含むことを特徴とする撮像装置による被写体情報取得方法。
10. 異なる光成分を透過させる複数の領域を備えたフィルタを透過した光の、複数方向の偏光成分の輝度分布を取得する機能と、
    検出された輝度分布を、各成分の相関関係に基づき解析することにより、被写体に係る複数の情報を生成し出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。