WO2011142062A1 - ３次元撮像装置 - Google Patents

Abstract

　本発明の撮像装置は、結像レンズ３と、２つの偏光子を有する光透過部２と、固体撮像素子１とを備える。固体撮像素子１は、複数の画素と、画素に対応する偏光フィルタを有している。第１の画素群Ｗ１に対応して第１の偏光フィルタ５０ａが配置され、第２の画素群Ｗ２に対応して第２の偏光フィルタ５０ｂが配置されている。光透過部２における偏光領域Ｐ（１）、Ｐ（２）の透過軸の方向は互いに角度θだけ異なっている。また、第１の偏光フィルタ５０ａの透過軸の向きは偏光領域Ｐ（１）の透過軸の向きに対して角度αをなし、第２の偏光フィルタ５０ｂの透過軸の向きは偏光領域Ｐ（２）の透過軸の向きに対して角度βをなしている。以上の構成により、本発明の撮像装置は効率的に視差を示す画像を取得することができる。

Description

３次元撮像装置

　本発明は１つの光学系と１つの撮像素子を用いて視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。

　近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、高度な微細化が進み、高集積化が図られている。撮像素子としても１００万画素から１０００万画素へと多画素化が進み、撮像した画像も飛躍的に高画質化が図られている。また、表示装置も薄型の液晶やプラズマのディスプレイにより、場所を取らず、高解像度でコントラストの高い性能が実現されている。このような映像の高品質化の流れは、対象画像として２次元画像から３次元画像へと進みつつあり、昨今では偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。

　３次元撮像技術に関して、単純な構成の代表的なものは、２つのカメラから構成される撮像系を用いて、右目用の画像及び左目用の画像それぞれを撮像するというものである。このような所謂２眼撮像方式の技術はカメラを２つ使うため、撮像装置の大型化やコスト高にもなり得る。そこで１つのカメラを利用する方法が研究されている。例えば、特許文献１では、互いに偏光方向が直交する偏光板２枚と回転する偏光フィルタを用いた方式が紹介されている。図１２に当該方式における撮像系の構成を示す。

　図１２において、１１は０度偏光の偏光板、１２は９０度偏光の偏光板、１３は反射鏡、１４は偏光板１２を透過した光と偏光板１１を通して反射鏡１３で反射された光を透過及び反射させるハーフミラー、１５は円形の偏光フィルタ、１６は円形の偏光フィルタを回転させる駆動装置、３は光学レンズ、９は光学レンズにより結像された像を撮像する撮像装置である。

　以上の構成で、入射光は異なった場所に配置された偏光板１１と１２を通り、その後、反射鏡１３とハーフミラー１４によりそれらの光軸を合わせられ、円形の偏光フィルタ１５と光学レンズ３を通して１つの撮像装置９で撮像される。この方式の撮像原理は、円形の偏光フィルタ１５を回転することにより、２枚の偏光板１１、１２に入射した光を別々のタイミングで捉え、視差を有する２つの画像を撮像するというものである。

　しかしながら、上記方式では円形の偏光フィルタ１５を回転しながら、時間分割で異なる位置の画像を撮像するため、同時に視差を有する画像を撮れないという課題がある。また、機械的駆動を用いるため、耐久性に問題があり得る。その上、全入射光を偏光板及び偏光フィルタで受けるため、受光量が５０％以上低下するという課題もある。

　上記方式に対して、機械的駆動を用いず視差を有する画像を同時に撮像する方式が特許文献２に紹介されている。この特許文献の方式では、２つの入射領域を作りそれらの領域から入射する光を集光し１つの撮像素子で撮像しているが、機械的駆動部は有していない。図１３にこの方式の撮像系の構成を示し、以下に撮像原理を説明する。図１３において、互いに偏光方向が直交する偏光板１１と１２、反射鏡１３、光学レンズ３、撮像素子１が配置され、１０は撮像素子の画素、１７、１８は撮像素子の画素に１対１で配置されている偏光フィルタで、偏光フィルタ１７は偏光板１１と同特性であり、偏光フィルタ１８は偏光板１２と同特性である。偏光フィルタ１７、１８は交互に配列され全画素上に配置されている。

　以上の構成で、入射光は偏光板１１、１２を透過し、反射鏡１３、光学レンズ３を通り、撮像素子１上で結像する。結像の光電変換に関して、偏光板１１を透過して入射した光は偏光フィルタ１７を通してその直下の画素で光電変換され、偏光板１２を透過して入射した光は偏光フィルタ１８を通してその直下の画素で光電変換される。ここで、偏光板１１からの入射光の画像を右目用画像、偏光板１２からの入射光の画像を左目用画像とすると、偏光フィルタ１７を通してその直下の画素群から得られる画像が右目用画像で、偏光フィルタ１８を通してその直下の画素群から得られる画像が左目用画像となる。

　結局、特許文献２で示された方式は、特許文献１で示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に特性の異なる偏光フィルタを交互に配置することにより、解像度は１／２になるが、右目用画像と左目用画像が同時に得られるというものである。

　しかしながら、上記の技術は、１つの撮像素子で視差を有する２つの画像を得ることができるが、入射光は偏光板を透過するため光量が低下し、さらに偏光フィルタを透過する場合も光量が低下するため、画像としては大きく感度が低下することになる。

　画像の感度低下の問題に対して、別なアプローチとして、視差を有する２つの画像の撮像と通常の画像の撮像を機械的に切り替える手法が特許文献３に示されている。当該手法における撮像系の構成を図１４に示し、その撮像基本原理を説明する。図１４において、１９は２つの偏光透過部２０、２１を有し、それらの透過部を通してのみ光学レンズ３からの入射光を透過させる光通過部、２２は偏光透過部２０及び２１からの光を分離する特定成分透過フィルタ２３とカラーフィルタ２４とが１組になった受光部光学フィルタトレイ、２５は光通過部１９と特定成分透過フィルタ２３を光路上から外しカラーフィルタ２４を光路に挿入する、あるいはその逆の動作を行うフィルタ駆動部である。

　この手法では、フィルタ駆動部２５を動作させ、視差を有する画像の撮像では光通過部１９と特定成分透過フィルタ２３を用い、通常の撮影では、カラーフィルタ２４を用いる。視差を有する画像の撮像においては、基本的に特許文献２で示されているものと同じであり、画像としては大きく感度が低下する。通常の撮影では、光通過部１９を光路から外し、また特定成分透過フィルタ２３の代わりにカラーフィルタ２４を挿入することにより、感度低下のないカラー画像を得ることができる。

特開昭６２－２９１２９２号公報 特開昭６２－２１７７９０号公報 特開２００１-０１６６１１号公報

　従来技術では、偏光板（偏光透過部）および偏光フィルタを用いることにより、単眼カメラで視差を有する２つの画像を撮像できる。これらの技術において、偏光板および偏光フィルタは、ともに０°、９０°の透過軸をもつ２種類の偏光子から構成されている。本発明は、これらの従来技術とは異なる新たな方法で視差を有する複数の画像を得ることが可能な撮像技術を提供する。なお、以下の説明において、視差を有する複数の画像を「複数視点画像」（ｍｕｌｔｉ-ｖｉｅｗｐｏｉｎｔ　ｉｍａｇｅｓ）と呼ぶ。

　本発明の３次元撮像装置は、少なくとも２つの偏光子を有する光透過部と、前記光透過部を透過した光を受ける固体撮像素子と、前記固体撮像素子の撮像面に像を形成する結像部とを備えている。前記光透過部は、第１の偏光子と、前記第１の偏光子の透過軸に対してθ（０°＜θ≦９０°）の角度をなす透過軸を有する第２の偏光子とを有している。前記固体撮像素子は、各々が第１の画素および第２の画素を含む複数の画素ブロックと、各画素ブロックにおいて、前記第１の画素に対向して配置され、前記第１の偏光子の透過軸に対してα（０°≦α＜９０°）の角度をなす透過軸を有する第１偏光フィルタと、各画素ブロックにおいて、前記第２の画素に対向して配置され、前記第１の偏光子の透過軸に対してβ（０°≦β＜９０°、β≠α）の角度をなす透過軸を有する第２偏光フィルタとを有している。前記第１偏光フィルタは、前記第１の偏光子および前記第２の偏光子を透過した光を受けるように配置され、前記第２偏光フィルタは、前記第１の偏光子および前記第２の偏光子を透過した光を受けるように配置されている。

　好ましい実施形態において、前記光透過部は、入射光を偏光方向によらずに透過させる透明領域を有し、各画素ブロックは、第３の画素を含み、前記第３の画素は、前記第１の偏光子、前記第２の偏光子、および前記透明領域を透過した光を受け、受けた光に応じた光電変換信号を出力する。

　好ましい実施形態において、｜θ－（α＋β）｜≦２０°が満足されている。

　好ましい実施形態において、｜θ－（α＋β）｜≦１０°が満足されている。

　好ましい実施形態において、８０°≦θ≦９０°が満足されている。

　好ましい実施形態において、前記第１の画素の中心と前記第２の画素の中心とを通る直線の方向と、前記第１の偏光子の中心と前記第２の偏光子の中心とを通る直線の方向とは互いに直交している。

　好ましい実施形態において、各画素ブロックは、第４の画素をさらに含み、前記固体撮像素子は、各画素ブロックに含まれる前記第３の画素に対向して配置された第１の色成分の光を透過させる第１の色フィルタと、各画素ブロックに含まれる前記第４の画素に対向して配置された第２の色成分の光を透過させる第２の色フィルタとを有している。

　好ましい実施形態において、各画素ブロックにおいて、前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素は、行列状に配置されており、前記第１の画素は１行１列目に配置され、前記第２の画素は２行２列目に配置され、前記第３の画素は１行２列目に配置され、前記第４の画素は２行１列目に配置されている。

　好ましい実施形態において、前記第１の色フィルタおよび前記第２の色フィルタの一方は、少なくとも赤成分の光を透過させ、前記第１の色フィルタおよび前記第２の色フィルタの他方は、少なくとも青成分の光を透過させる。

　好ましい実施形態において、前記第１の色フィルタおよび前記第２の色フィルタの一方は、黄成分の光を透過させ、前記第１の色フィルタおよび前記第２の色フィルタの他方は、シアン成分の光を透過させる。

　好ましい実施形態において、撮像装置は画像処理部をさらに備え、前記画像処理部は、前記第１の画素および前記第２の画素から出力される光電変換信号を用いて視差を有する２つの画像の差分を示す画像を形成する。

　好ましい実施形態において、前記画像処理部は、前記第１の画素および前記第２の画素から複数回にわたって光電変換信号を読み出し、読み出した複数の光電変換信号に基づいて信号レベルが増加した前記差分を示す画像を形成する。

　本発明の画像取得方法は、本発明の３次元撮像装置に用いられ、前記第１の画素から第１の光電変換信号を取得するステップと、前記第２の画素から第２の光電変換信号を取得するステップと、前記第１の光電変換信号および前記第２の光電変換信号に基づいて視差を有する２つの画像の差分を示す画像を形成するステップとを含んでいる。

　本発明の３次元撮像装置は、光の入射領域に少なくとも２つの偏光領域を有する。また撮像素子は、偏光フィルタが配置された少なくとも２種類の画素群を有している。２つの偏光領域における透過軸の方向は互いに異なっている。また、２種類の画素群のそれぞれに対向して配置された２種類の偏光フィルタの透過軸の方向についても、互いに異なっている。このため、２つの偏光領域を通過した光による像を２種類の画素群で取得することが可能となる。このことは、異なる入射光情報を特性の異なる２つのセンサで捉えることと同じであり、２つの入力に対する２つの出力の関係を特定の数式で表すことができる。このため、逆に２つの入力情報を２つの出力結果から算出することが可能となる。２つの偏光領域からの画像情報を得た上でそれらの差分処理を施すことにより、差分画像を得ることができる。

　また、上記の構成に加えて、光の入射領域に透明領域を設け、透明領域を透過した光を第３の画素群に入射させるように構成した場合、差分画像と同時に通常の２次元画像を得ることができる。この構成によれば、機械的動作部分を必要とせず、画像間の演算だけで差分画像と感度上問題のない画像を同時に得ることができるという効果がある。

本発明の第１の実施形態における撮像装置の全体構成図 本発明の第１の実施形態における固体撮像素子に光が入射する様子を示す模式図 本発明の第１の実施形態における固体撮像素子の基本画素構成図 本発明の第１の実施形態における透光板の正面図 本発明の第１の実施形態における式１４の分母の計算値を示すグラフ 本発明の第１の実施形態における式１５の分母の計算値を示すグラフ 本発明における視差を有する２つの画像の一例を示す概念図 本発明の第１の実施形態における他の固体撮像素子の基本画素構成図 本発明の第１の実施形態における他の透光板の正面図 本発明の第２の実施形態における固体撮像素子の撮像部の基本色構成図 本発明の第２の実施形態における透光板の正面図 特許文献１における撮像系の構成図 特許文献２における撮像系の構成図 特許文献３における撮像系の構成図

　以下、図面を参照しながら本発明の実施形態を説明する。全ての図にわたって共通する要素には同一の符号を付している。

　（実施形態１）
　図１は、本発明の第１の実施形態における撮像装置の構成図である。１は光電変換する固体撮像素子、２は一部に偏光領域を有する透光板、３は入射光を結像するための円形の光学レンズ、４は赤外カットフィルタ、５は固体撮像素子の駆動に使う原信号を発生させると共に固体撮像素子からの信号を受信する信号発生及び画像信号受信部、６は固体撮像素子を駆動するための信号を作り出す撮像素子駆動部、７は画像信号を処理して複数視点画像、複数視点画像の差分を示す差分画像、および視差が無く感度上問題のない通常画像を生成する画像処理部、８は生成した複数視点画像、差分画像、および通常画像を示す画像信号を外部に送出する画像インターフェース部である。

　透光板２は、２つの偏光子が配置された偏光領域と、光を偏光方向によらず透過させる透明領域とを有している。固体撮像素子１（以下、「撮像素子」と呼ぶことがある）は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体技術によって製造される。固体撮像素子１の撮像面には、複数の画素（光感知セル）が２次元状に配列されている。各画素は、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた電気信号（光電変換信号）を出力する。画像処理部７は、画像処理に用いる各種情報を記憶するメモリと、メモリから読み出したデータに基づいて画素ごとの画像信号を生成する画像信号生成部とを有している。

　このような構成により、入射光は透光板２、光学レンズ３、赤外カットフィルタ４を透過して固体撮像素子１の撮像面に結像され、固体撮像素子１で光電変換される。光電変換によって生成された画像信号は画像信号受信部５を通して画像処理部７に送られ、ここで複数視点画像、差分画像、および視差が無く感度上問題のない通常画像が生成される。

　図２は、入射光が透光板２および光学レンズ３を透過して固体撮像素子１の撮像面に入射する様子を模式的に表している。図２において、透光板２、光学レンズ３、固体撮像素子１以外の構成要素は省略されている。また、固体撮像素子１については撮像面の一部のみを図示している。図示されるように、透光板２は、偏光領域Ｐ（１）、Ｐ（２）および透明領域Ｐ（３）を有している。ここで、偏光領域Ｐ（１）、Ｐ（２）の透過軸の向きは互いに異なっている。また、固体撮像素子１の撮像面に配列された複数の画素は、３画素を１つの単位とする複数の画素ブロックを構成している。１つの画素ブロックに含まれる３つの画素をＷ１、Ｗ２、Ｗ３と呼ぶこととする。本実施形態において、画素Ｗ１、Ｗ２に対向して、偏光フィルタ５０ａ、５０ｂがそれぞれ配置されている。偏光フィルタ５０ａ、５０ｂの透過軸の向きは互いに異なっている。画素Ｗ３には対応する偏光フィルタは配置されていない。

　なお、図示される各構成要素の配置関係はあくまでも一例であって、本発明はこの配置関係に限られるものではない。例えば、光学レンズ３は、撮像面に像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよいし、複数配置されていてもよい。また、光学レンズ３と透光板２とは独立の構成要素である必要はなく、両者は一体化された１つの光学素子として構成されていてもよい。また、図２において、画素Ｗ１、Ｗ２、Ｗ３は、透光板２の偏光領域Ｐ（１）およびＰ（２）を結ぶ線分に平行な方向（Ｘ方向）に沿って順番に配列されているように描かれているが、必ずしもそのように配列されている必要はない。なお、撮像素子１の撮像面には、図２の紙面に垂直な方向（Ｙ方向）にも複数の画素が配列されている。

　以下、固体撮像素子１の画素構成、および透光板２の構成についてより詳細に説明する。以下の説明において、図２と共通の座標系Ｘ、Ｙを用いる。

　図３は、撮像素子１の撮像面における１つの画素ブロックを示している。３行１列を基本構成とする複数の画素が撮像面上に配列されている。上述のように、画素の基本構成（画素ブロック）は、偏光方向が互いに異なる２つの偏光フィルタ５０ａ、５０ｂがそれぞれ配置された画素Ｗ１、Ｗ２、および何も配置されない画素Ｗ３を含んでいる。１つの画素ブロックにおいて、Ｗ１、Ｗ２、Ｗ３は、Ｙ軸に沿って配置されている。偏光フィルタの透過軸の方向について、Ｘ方向に対して、１行１列目の偏光フィルタ５０ａの透過軸は角度α（０°≦α＜９０°）傾き、２行１列目の偏光フィルタ５０ｂの透過軸は角度β（０°≦β＜９０°、β≠α）傾いている。

　図４は、本実施形態における透光板２の正面図である。透光板２の形状は光学レンズ３と同じ円形である。透光板２において、透過軸の方向が互いに異なる２個の偏光子からなる偏光領域Ｐ（１）、Ｐ（２）がＸ方向に離れて配置されている。透光板２において偏光領域以外の領域は透明領域Ｐ（３）である。偏光領域Ｐ（１）の透過軸の方向は、Ｘ方向と一致している。偏光領域Ｐ（２）の透過軸の方向は、Ｘ方向に対して角度θ（０°＜θ≦９０°）だけ傾いている。

　なお、図４では透光板２の形状は円形であるが、必ずしも円形である必要はない。また、偏光領域Ｐ（１）、Ｐ（２）の形状については必ずしも長方形である必要はなく、どのような形状であってもよい。ただし、偏光領域Ｐ（１）、Ｐ（２）の面積および形状は互いに同一であることが好ましい。

　本実施形態においては、図３および図４に示すように、画素Ｗ１の中心および画素Ｗ２の中心を通る直線の方向と、偏光領域Ｐ（１）の中心と偏光領域Ｐ（２）の中心とを通る直線の方向とは互いに直交している。

　以上の構成により、撮像素子１の撮像面上の各画素は、偏光領域Ｐ（１）、Ｐ（２）、および透明領域Ｐ（３）を透過して光学レンズ３によって集光される光を受ける。以下、各画素における光電変換信号について説明する。

　まず偏光フィルタが配置されていない画素Ｗ３の光電変換信号について説明する。画素Ｗ３は、透光板２、光学レンズ３、赤外カットフィルタ４を通して入射する光を受け、受けた光に応じた光電変換信号を出力する。ここで、入射光が透光板２の偏光領域Ｐ（１）、Ｐ（２）を通過する際の透過率をＴ１とする。偏光領域Ｐ（１）、Ｐ（２）と透明領域Ｐ（３）に入射する光が減光されず撮像素子１によって光電変換されると仮定した場合の信号量を、添え字ｓを付けてＰｓ（１）、Ｐｓ（２）、Ｐｓ（３）と表現すると、画素Ｗ３における光電変換信号Ｓ３は次の式１で表される。
　　（式１）Ｓ３＝Ｔ１（Ｐｓ（１）＋Ｐｓ（２））＋Ｐｓ（３）

　次に、偏光フィルタが配置された画素Ｗ１およびＷ２の光電変換信号について説明する。画素Ｗ１、Ｗ２に対向して偏光フィルタ５０ａ、５０ｂがそれぞれ配置されているため、基本的に画素Ｗ１、Ｗ２に入射する光の量は画素Ｗ３に入射する光の量よりも少ない。ここで、非偏光が偏光フィルタ５０ａまたは５０ｂを透過する際の透過率を、偏光領域Ｐ（１）、Ｐ（２）における透過率と同様、Ｔ１とする。また、各偏光フィルタの透過軸の方向と同一の方向に振動する偏光が当該偏光フィルタを透過する際の透過率をＴ２とする。すると、画素Ｗ１及びＷ２における光電変換量Ｓ１、Ｓ２は、それぞれ以下の式２、３で表される。
　　（式２）Ｓ１＝Ｔ１（Ｔ２（Ｐｓ（１）ｃｏｓα＋Ｐｓ（２）ｃｏｓ（α－θ））＋Ｐｓ（３））
　　（式３）Ｓ２＝Ｔ１（Ｔ２（Ｐｓ（１）ｃｏｓβ＋Ｐｓ（２）ｃｏｓ（β－θ））＋Ｐｓ（３））

　上記の式１～式３からＰｓ（３）を消去し、Ｐｓ（１）とＰｓ（２）を計算すると、Ｐｓ（１）およびＰｓ（２）はそれぞれ以下の式４および式５で表される。

ここで、式４、５における分母の｜Ｄ｜は、以下の式６で表される行列式である。

　式４、５により、偏光領域Ｐ（１）、Ｐ（２）を透過して撮像面に入射する光による画像を示す信号Ｐｓ（１）、Ｐｓ（２）を、Ｓ１、Ｓ２、Ｓ３から求めることができる。Ｐｓ（１）、Ｐｓ（２）は、視点の異なる２つの画像に対応しており、これらの差分を求めることによって被写体の奥行きに関する情報を得ることができる。本実施形態において、Ｐｓ（１）とＰｓ（２）との差分で求められる差分画像を示す信号Ｄｓは、以下の式７で表される。

　式７においてＳ３に関する項は、偏光フィルタが配置されていない画素Ｗ３における信号であり、本来、差分画像に影響を及ぼさない方が好ましいものである。そこで、式７におけるＳ３に関する項が０に近い値となるように角度θ、α、βが設定されていることが好ましい。式７におけるＳ３に関する値が０に十分近ければ、画素Ｗ１、Ｗ２の光電変換信号Ｓ１、Ｓ２だけを用いて差分画像Ｄｓを求めることができる。差分画像ＤｓのＳ３に関する項をＤｓ＿３とすると、Ｄｓ＿３は次の式８で表される。

　式８の右辺における分子の値を０にする場合は３通り考えられる。第１はα＝βの場合であり、第２はα＋β＝θの場合であり、第３はθ＝１８０°の場合である。しかしながら、第１の場合は、式２と式３とが等しくなるため、画素Ｗ１とＷ２から差分画像の情報は得られない。また、第３の場合も偏光領域Ｐ（１）とＰ（２）の偏光方向が同じになるため、それらの領域を透過した光情報を区別できなくなる。そこで、本実施形態では、第２の場合を満足すべく、偏光領域Ｐ（１）の透過軸の方向に対する偏光領域Ｐ（２）の透過軸がなす角度θ、および偏光フィルタ５０ａ、５０ｂの透過軸の方向がなす角度α、βについて、α＋β＝θを満足するように偏光領域Ｐ（２）、偏光フィルタ５０ａ、５０ｂの透過軸の方向が決定される。

　１つの例として、θ＝９０°、α＝２２．５°、β＝６７．５°とする。これらの角度が選ばれる根拠を以下に記す。まず、α＋β＝θの関係を用いて式７からθを消去すると、式７は以下の式９で表される。

また、この条件のもとで、透明領域Ｐ（３）を透過する光による画像情報は次の式１０で表される。

ここで、領域Ｐ（１）の透過軸の方向がＸ方向に対してなす角度は０°であるため、領域Ｐ（１）を透過する光と領域Ｐ（２）を透過する光とを最大限に分離する場合は、言うまでもなくθ＝９０°の場合である。そこで、この例では、α＋β＝９０°とする。またＴ１とＴ２については、Ｔ１＝１／２、Ｔ２＝１とする。

　式９の分母の値および式１０の分母の値に関して、αを０°から４５°まで変化させたときの各々の計算結果をそれぞれ図５および図６に示す。図５に示すように、式９の分母の値は、α＝４５°のときに０となる。また、図６に示すように、式１０の分母の値は、α＝０°のときに０となる。式９および式１０の分母の値が０に近いほど画素信号のノイズ成分を増幅させることになり得るので、０°と４５°の中間値である２２．５°をαの値とし、βの値を６７．５°とする。

　以上のように角度θ、α、βを決定することにより、式９で表される差分画像と式１０で表される透明領域Ｐ（３）からの画像とが得られる。差分画像については被写体の輪郭部付近で信号が大きく変動する可能性が高いため、その幅（例えば図７に示すｄＸ）を計測することにより、奥行き情報を得ることが可能である。また、透明領域からの画像の信号レベルは偏光領域Ｐ（１）、Ｐ（２）の面積を小さくするほど上がるため、偏光領域Ｐ（１）、Ｐ（２）の面積を透明領域Ｐ（３）の面積よりも十分に小さくすることが好ましい。透明領域Ｐ（３）の相対面積を大きくするほど、透明領域を透過する光量を増加させることができるため、高感度の画像を得ることが可能となる。

　以上のように、本実施形態の撮像装置によれば、光が入射する透光板２は、２つの偏光領域Ｐ（１）、Ｐ（２）、および１つの透明領域Ｐ（３）を有している。また、撮像素子１における画素の基本構成（画素ブロック）は、透過軸の方向が互いに異なる２つの偏光フィルタ５０ａ、５０ｂがそれぞれ配置された画素Ｗ１、Ｗ２、および対応する偏光フィルタが配置されていない画素Ｗ３を含む。偏光領域Ｐ（１）の透過軸の方向を基準として、偏光領域Ｐ（２）の透過軸の方向がなす角度をθ、画素Ｗ１、Ｗ２の透過軸の方向がなす角度をそれぞれα、βとするとき、α＋β＝θの関係が成立するようにθ、α、βを設定することにより、偏光フィルタが配置された画素Ｗ１、Ｗ２の信号だけを用いて効率的に差分画像を得ることができる。さらに、画素Ｗ１、Ｗ２、Ｗ３から出力される信号間の演算によって通常の２次元画像を得ることができる。特にＰ（１）とＰ（２）の偏光領域を小さくするほど、感度的に問題のない２次元画像を得ることができる。

　なお、上記の説明において、偏光領域Ｐ（１）の透過軸の方向を基準として、偏光領域Ｐ（２）の透過軸の方向がなす角度θを９０°、画素Ｗ１、Ｗ２の透過軸の方向がなす角度α、βをそれぞれ２２．５°、６７．５°とする例を示したが、θ、α、βの値はこの例に限られない。α＋β＝θの関係が成立していれば、αおよびβの値に関わらず、画素Ｗ３の信号を用いることなく差分画像を得ることができる。

　なお、α＋β＝θの関係が成立していない場合であっても、式７によって差分画像Ｄｓを求めることができる。ただし、α＋βとθとの差が小さいほど式７におけるＳ３の項の影響を低減できるため、角度θとα＋βとの差は極力小さくすることが好ましい。例えば、角度θ、α、βは、｜θ－（α＋β）｜≦４５°を満足するように設定されることが好ましい。θ、α、βは、さらに好ましくは｜θ－（α＋β）｜≦２０°を満足するように設定され、｜θ－（α＋β）｜≦１０°を満足していればなお好ましい。

　また、２つの偏光領域Ｐ（１）、Ｐ（２）を透過する光の偏光成分を分離させるためには、θは９０°に近いことが好ましい。θは、好ましくは６０°≦θ≦９０°を満たすように設定され、さらに好ましくは８０°≦θ≦９０°を満たすように設定される。

　本実施形態では、感度的に問題のない２次元画像を画素間の演算によって透明領域Ｐ（３）のみを透過する光から得るものとしたが、本発明はこれに限るものではない。領域Ｐ（１）、Ｐ（２）、Ｐ（３）を透過した全ての光を用いて２次元画像を得る構成であってもよい。言い換えれば、Ｐｓ（１）、Ｐｓ（２）、Ｐｓ（３）で表される信号を合成することにより、２次元画像を生成してもよい。

　上記の説明において、透光板２に設けられる偏光領域（偏光子）は２つであるが、３つ以上の偏光領域が設けられていてもよい。また、偏光領域Ｐ（１）の透過軸の方向はＸ方向に一致している必要はなく、任意の方向であってよい。

　また、図３に示す例では画素Ｗ１、Ｗ２、Ｗ３の形状は正方形状であり、画素Ｗ１、Ｗ２、Ｗ３はＹ方向に隣接して配置されているが、本発明はこのような構成に限られない。各画素の形状はどのような形状でもよいし、画素Ｗ１、Ｗ２、Ｗ３は必ずしもＹ方向に隣接している必要はない。ただし、各画素は近接していることが好ましい。

　本実施形態の撮像装置では、図２に示すように、透光板２と撮像素子１の撮像面とは平行に配置されている。しかし、両者は必ずしも平行に配置される必要はない。例えば、両者の間にミラーやプリズムなどの光学素子を配置することにより、透光板２と撮像素子１の撮像面とが互いに交差する平面上に位置するように構成することができる。このような構成を採用する場合、角度α、βは、上記光学素子による光路の変化を考慮した上で、透光板２と撮像素子１の撮像面とが互いに平行であると仮定したときの偏光領域Ｐ（１）の透過軸の方向を基準にして決定すればよい。

　以上の説明において、撮像装置は、複数視点画像、差分画像、および通常画像を同時に取得するように構成されている。しかしながら、本発明はそのような構成に限られるものではない。通常画像を取得せず複数視点画像および差分画像を取得することも可能である。そのような目的で撮像装置を構成する場合、上記の説明における画素Ｗ３は不要であり、透明領域Ｐ（３）の代わりに光を透過しない遮光領域が設けられる。

　図８、図９は、それぞれ通常画像を取得せずに複数視点画像および差分画像を取得する撮像装置における基本画素構成、および透光板２の構成の一例を示している。撮像素子１の撮像面には、画素Ｗ１、Ｗ２を含む画素ブロックを単位として、複数の画素ブロックが配列される。また、透光板２における偏光領域Ｐ（１）、Ｐ（２）以外の領域は、遮光領域である。

　以上の構成により、画素Ｗ１、Ｗ２から出力される光電変換信号Ｓ１、Ｓ２は、それぞれ次の式１１および式１２で表すことができる。
　　（式１１）　Ｓ１＝Ｔ１Ｔ２（Ｐｓ（１）ｃｏｓα＋Ｐｓ（２）ｃｏｓ（α－θ）　
　　（式１２）　Ｓ２＝Ｔ１Ｔ２（Ｐｓ（１）ｃｏｓβ＋Ｐｓ（２）ｃｏｓ（β－θ）　

　式１１、１２より、Ｐｓ（１）、Ｐｓ（２）は、それぞれ以下の式１３、１４で表される。

ここで、｜Ｄ｜は、以下の式１５で表される行列式である。

　また、差分画像は、Ｐｓ（１）とＰｓ（２）との差分をとることにより、以下の式１６で表される。

　式１３、１４、１６が示すように、画素Ｗ１、Ｗ２における光電変換信号Ｓ１、Ｓ２から、信号Ｐｓ（１）、Ｐｓ（２）、およびＤｓを求めることができる。このような撮像装置によれば、通常画像を取得せずに複数視点画像および差分画像を取得することができる。

　（実施形態２）
　次に本発明の第２の実施形態を説明する。本実施形態において、実施形態１との主たる相違点は、固体撮像素子１の画素構成と透光板２の向きにあり、それ以外は実施形態１と同一である。そのため、実施形態１との相違点のみを以下に説明する。

　図１０は、本実施形態における固体撮像素子１の撮像面における基本画素構成を示している。本実施形態においては、色要素（色フィルタ）または偏光フィルタが２行２列を基本構成として画素に１対１で対応して配置されている。本実施形態における色要素は、特定の色成分の波長域を有する光のみを透過させる公知の色フィルタである。なお、以下の説明において、色成分Ｃの光のみを透過する色フィルタをＣ要素と呼ぶこととする。

　色要素に関して、１行１列目にはシアン要素（Ｃｙ）が配置され、２行２列目には黄要素（Ｙｅ）が配置され、１行２列目と２行１列目には色要素は配置されていない。さらに、１行２列目の要素には偏光方向がＸ方向に対してαの角度をなす偏光フィルタが配置され、２行１列目の要素には偏光方向がＸ方向に対してβの角度をなす偏光フィルタが配置されている。なお、画素配列に関しては正方配列であり、その結果、２つの画素Ｗ１およびＷ２に対向して配置された２つの偏光フィルタの中心間を結ぶ線分はＸ方向に対して斜め４５°の角度をなしている。

　図１１は、本実施形態における透光板２の正面図で、形状は円形で光学レンズ３と同じ有効径を有している。さらに、透光板２は図１１における左斜め上側に入射光をＸ方向に偏光させる長方形の偏光領域Ｐ（１）を有している。また、図１１における右斜め下側に偏光領域Ｐ（１）と同サイズで入射光をＹ方向に偏光させる偏光領域Ｐ（２）を有している。また、透光板２においてＰ（１）、Ｐ（２）以外の領域は、入射光を偏光方向によらずに透過させる透明領域Ｐ（３）である。ここで、領域Ｐ（１）の透過軸の方向をＸ方向に対して０°とするとき、領域Ｐ（２）の透過軸の方向θは９０°である。偏光領域Ｐ（１）と偏光領域Ｐ（２）のそれぞれの中心を通る直線の方向と図１０に示す２つの偏光フィルタのそれぞれの中心を通る直線の方向とは互いに直交している。また、偏光領域Ｐ（１）、Ｐ（２）と２つの偏光フィルタの透過軸の方向に関して、実施形態１の撮像装置と同様、α＋β＝９０°の関係が成立している。

　本実施形態の撮像装置の主な特徴は次の２点である。第１点目は偏光領域Ｐ（１）、Ｐ（２）のそれぞれの中心を通る直線の方向と図１０に示す２つの偏光フィルタのそれぞれの中心を通る直線の方向とが直交していることである。第２点目は撮像素子がカラー化されていることである。

　以下、本実施形態における差分画像の生成方法について説明する。差分画像の生成方法は基本的に実施形態１と同じである。偏光フィルタが配置された画素を画素Ｗ１、Ｗ２とし、それらの光電変換信号をそれぞれＳ１、Ｓ２とすると、差分画像は実施形態１で示した式９に基づく演算で得られる。本実施形態においては、偏光領域Ｐ（１）の中心とＰ（２）の中心とを通る直線はＸ方向に対して４５°回転した状態にあり、画素Ｗ１の中心と画素Ｗ２の中心とを結ぶ線分もＸ方向に対して４５°の角度をなしているので、画素配列による視差の誤差は無い。

　次に、カラー画像の生成について説明する。撮像素子のシアン要素を透過し光電変換される信号量をＳｃｙ、黄要素を透過し光電変換される信号量をＳｙｅ、２種類の偏光フィルタを透過し光電変換される画素信号を合算して得られる信号をＳｗとする。すると、次の演算によってカラー信号を得ることができる。まず、赤の色情報Ｓｒは、（Ｓｗ－Ｓｃｙ）の演算により求められる。また、青の色情報Ｓｂは、（Ｓｗ－Ｓｙｅ）の演算により求められる。さらに緑の色情報は、得られた色信号Ｓｒ、Ｓｂを用いて、（Ｓｗ－Ｓｒ－Ｓｂ）の演算により得られる。以上の演算により、ＲＧＢのカラー画像を生成することができる。ここで、仮に偏光領域Ｐ（１）、Ｐ（２）の面積がそれぞれ全透過面積の１／４であるとし、透明領域Ｐ（３）の面積がそれぞれ全透過面積の１／２であるとする。透光板２における光量の低下は偏光領域Ｐ（１）、Ｐ（２）のみで発生し、これらの領域で光量は約５０％減少する。透明領域Ｐ（３）では光量の低下は発生しないため、入射光の７５％の光量を確保したカラー画像が得られることがわかる。なお、偏光領域Ｐ（１）、Ｐ（２）の面積をさらに小さくすれば、カラー画像の感度をさらに向上させることができる。

　以上のように、本実施形態の撮像装置によれば、固体撮像素子の撮像部の基本色構成が２行２列で構成され、１行１列目にシアン要素（Ｃｙ）、２行２列目に黄要素（Ｙｅ）、１行２列目に偏光方向がＸ方向に対してαの角度をなす偏光フィルタ、２行１列目には偏光方向がＸ方向に対してβの角度をなす偏光フィルタが配置される。また、図１１に示すように、透光板２の左斜め上側４５°方向に入射光をＸ方向に偏光させる長方形の領域Ｐ（１）が配置され、右斜め下側４５°方向に同サイズで入射光をＹ方向に偏光させる領域Ｐ（２）が配置される。さらに、偏光領域Ｐ（１）の透過軸の方向に対して偏光領域Ｐ（２）の透過軸の方向がなす角度を９０°とするとき、α＋β＝９０°の関係が成立すれば、偏光フィルタが配置された画素の信号だけで差分画像を得ることができ、かつ、高感度のカラー画像も得られるという効果がある。

　なお、本実施形態では、透光板の領域Ｐ（１）と領域Ｐ（２）の形状を長方形としたが、本発明はこれに限るものではない。また画素Ｗ１とＷ２及び領域Ｐ（１）、Ｐ（２）の位置関係も上記の位置関係に限定するものではない。ただし、画素Ｗ１からＷ２の方向と領域Ｐ（１）からＰ（２）への方向とが互いに直交関係にあることが好ましい。また、本実施形態における色フィルタは、必ずしもシアン要素と黄要素である必要はない。２種類の色フィルタは、第１の色成分を透過する色フィルタと第２の色成分を透過する色フィルタとが配置されていればよい。例えば、色フィルタとして赤要素および青要素を用いて、画素信号として直接赤信号と青信号とが得られる構成を採用することができる。

　また、本発明において画素は必ずしも正方格子状に配列されている必要はなく、各画素の形状は正方形である必要はない。１つの画素ブロックが４画素から構成され、そのうちの２画素に対向して透過軸の方向が異なる偏光フィルタがそれぞれ配置され、他の２画素に対向して異なる色フィルタが配置されていれば、本実施形態の効果を得ることが可能である。

　本実施形態において、偏光領域Ｐ（１）の透過軸の方向に対して偏光領域Ｐ（２）の透過軸の方向がなす角度θは９０°であるが、本発明において、θは必ずしも９０°である必要はない。θ≠９０°であっても、式７に基づいて差分画像を得ることが可能である。また、偏光領域Ｐ（１）の透過軸の方向はＸ方向に一致している必要はなく、任意の方向であってよい。

　（実施形態３）
　次に本発明の第３の実施形態を説明する。本実施形態の撮像装置の構成は実施形態１の撮像装置の構成と同じであるが、画像処理部７が差分画像を累積加算する点で実施形態１の撮像装置とは異なっている。そのため、実施形態１の撮像装置と異なる点のみを以下に説明する。本実施形態において、差分画像は式９のＤｓで表されるように、画素Ｗ１とＷ２の信号の差分結果をもとに作られる。そのため、差分画像Ｄｓは、Ｐｓ（３）で表される通常画像よりも信号レベルが低い。そこで、本実施形態の撮像装置は、複数回にわたって差分画像を取得し、取得した差分画像を累積的に加算することによって差分画像の信号レベルを高めることを可能にする。

　具体的には、通常の２次元画像は所定のフレームレートで算出して取り出す一方で、差分画像はフレームレートに従って算出しても取り出すことなく、累積加算した上で画像メモリに保存する。差分画像を取り出すタイミングはＮフレーム（Ｎ：２以上の整数）に１回とする。このようにすることにより、通常の２次元画像と共に信号レベルをＮ倍に高めた差分画像を取り出すことができる。その結果、差分画像から得られる奥行き情報もその精度をＮ倍に高めることができる。

　なお、複数回にわたって差分画像を求めてからそれらを積算するのではなく、複数回にわたって各画素の信号を読み出し、それらを画素ごとに積算した上で、式４、５、７で示される画像信号Ｐｓ（１）、Ｐｓ（２）、Ｄｓを求めてもよい。このようにすることによっても信号レベルを高めた差分画像を得ることができる。

　また、画素ごとに信号を読み出す時間間隔を変えてもよい。例えば、図３に示す画素構成において、偏光フィルタが配置されていない画素Ｗ３は、画素Ｗ１、Ｗ２よりも多くの光を受けるため、発生する信号電荷が飽和し易い。そこで、画素Ｗ３における信号Ｓ３は比較的短い時間間隔で読み出し、画素Ｗ１、Ｗ２における信号Ｓ１、Ｓ２は比較的長い時間間隔で読み出すようにしてもよい。このように画素ごとに信号を読み出す時間間隔に差異を設けることにより、特定の画素で信号電荷が飽和することを防ぐことができる。

　なお、本実施形態では、画像処理部７の内部に設けられたメモリを利用するが、メモリは画像処理部７の外部に設けられていてもよい。例えば、メモリは、撮像素子１の内部に設けられていてもよい。また、本実施形態では、実施形態１の撮像装置の構成を採用しているが、実施形態２の撮像装置や本発明の他の撮像装置の構成を採用しても同様の効果を得ることができる。

　なお、以上の実施形態１～３において、撮像装置は複数視点画像および差分画像の両方を取得するように構成されているが、複数視点画像および差分画像のいずれか一方を取得するように構成されていてもよい。例えば、撮像装置は複数視点画像のみを取得し、差分画像については撮像装置に有線または無線で接続された他の演算処理装置が求めてもよい。また、撮像装置は差分画像のみを取得し、他の装置が複数視点画像を取得してもよい。

　また、上記の実施形態１～３において、複数視点画像から各対応点の画像上の位置のずれの大きさを示す視差画像（ｄｉｓｐａｒｉｔｙ　ｍａｐ）を求めることができる。この視差画像によって被写体の奥行き情報を求めることができる。

　本発明にかかる３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに有効である。

　１　固体撮像素子
　２　光透過部（透光板）
　３　光学レンズ
　４　赤外カットフィルタ
　５　信号発生及び画像信号受信部
　６　撮像素子駆動部
　７　画像処理部
　８　画像インターフェース部
　９　撮像装置
　１０　画素
　１１　０度偏光の偏光板
　１２　９０度偏光の偏光板
　１３　反射鏡
　１４　ハーフミラー
　１５　円形の偏光フィルタ
　１６　偏光フィルタを回転させる駆動装置
　１７、１８　偏光フィルタ
　１９　光通過部
　２０、２１　偏光透過部
　２２　受光部光学フィルタトレイ
　２３　特定成分透過フィルタ
　２４　カラーフィルタ
　２５　フィルタ駆動部
　５０ａ、５０ｂ　偏光フィルタ

Claims (13)

1. 　少なくとも２つの偏光子を有する光透過部と、
   　前記光透過部を透過した光を受ける固体撮像素子と、
   　前記固体撮像素子の撮像面に像を形成する結像部と、
   を備える３次元撮像装置であって、
   　前記光透過部は、
   　第１の偏光子と、
   　前記第１の偏光子の透過軸に対してθ（０°＜θ≦９０°）の角度をなす透過軸を有する第２の偏光子と、
   を有し、
   　前記固体撮像素子は、
   　各々が第１の画素および第２の画素を含む複数の画素ブロックと、
   　各画素ブロックにおいて、前記第１の画素に対向して配置され、前記第１の偏光子の透過軸に対してα（０°≦α＜９０°）の角度をなす透過軸を有する第１偏光フィルタと、
   　各画素ブロックにおいて、前記第２の画素に対向して配置され、前記第１の偏光子の透過軸に対してβ（０°≦β＜９０°、β≠α）の角度をなす透過軸を有する第２偏光フィルタと、
   を有し、
   　前記第１偏光フィルタは、前記第１の偏光子および前記第２の偏光子を透過した光を受けるように配置され、
   　前記第２偏光フィルタは、前記第１の偏光子および前記第２の偏光子を透過した光を受けるように配置されている、３次元撮像装置。
2. 　前記光透過部は、入射光を偏光方向によらずに透過させる透明領域を有し、
   　各画素ブロックは、第３の画素を含み、
   　前記第３の画素は、前記第１の偏光子、前記第２の偏光子、および前記透明領域を透過した光を受け、受けた光に応じた光電変換信号を出力する、請求項１に記載の３次元撮像装置。
3. 　｜θ－（α＋β）｜≦２０°を満足する請求項２に記載の３次元撮像装置。
4. 　｜θ－（α＋β）｜≦１０°を満足する請求項２または３に記載の３次元撮像装置。
5. 　８０°≦θ≦９０°を満足する、請求項２から４のいずれかに記載の３次元撮像装置。
6. 　前記第１の画素の中心と前記第２の画素の中心とを通る直線の方向と、前記第１の偏光子の中心と前記第２の偏光子の中心とを通る直線の方向とは互いに直交している、請求項１から５のいずれかに記載の３次元撮像装置。
7. 　各画素ブロックは、第４の画素をさらに含み、
   　前記固体撮像素子は、
   　各画素ブロックに含まれる前記第３の画素に対向して配置された第１の色成分の光を透過させる第１の色フィルタと、
   　各画素ブロックに含まれる前記第４の画素に対向して配置された第２の色成分の光を透過させる第２の色フィルタと、
   を有している、請求項２から６のいずれかに記載の３次元撮像装置。
8. 　各画素ブロックにおいて、前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素は、行列状に配置されており、
   　前記第１の画素は１行１列目に配置され、
   　前記第２の画素は２行２列目に配置され、
   　前記第３の画素は１行２列目に配置され、
   　前記第４の画素は２行１列目に配置されている、
   請求項７に記載の３次元撮像装置。
9. 　前記第１の色フィルタおよび前記第２の色フィルタの一方は、少なくとも赤成分の光を透過させ、
   　前記第１の色フィルタおよび前記第２の色フィルタの他方は、少なくとも青成分の光を透過させる、請求項７または８に記載の３次元撮像装置。
10. 　前記第１の色フィルタおよび前記第２の色フィルタの一方は、黄成分の光を透過させ、
    　前記第１の色フィルタおよび前記第２の色フィルタの他方は、シアン成分の光を透過させる、請求項７から９のいずれかに記載の３次元撮像装置。
11. 　画像処理部をさらに備え、
    　前記画像処理部は、前記第１の画素および前記第２の画素から出力される光電変換信号を用いて視差を有する２つの画像の差分を示す画像を形成する、請求項１から１０のいずれかに記載の３次元撮像装置。
12. 　前記画像処理部は、前記第１の画素および前記第２の画素から複数回にわたって光電変換信号を読み出し、読み出した複数の光電変換信号に基づいて信号レベルが増加した前記差分を示す画像を形成する、請求項１１に記載の３次元撮像装置。
13. 　第１の偏光子および第２の偏光子を有する光透過部と、
    　前記光透過部を透過した光を受ける固体撮像素子と、
    を備え、
    　前記固体撮像素子は、
    　第１の画素および第２の画素と、
    　前記第１の画素に対向して配置され、前記第１の偏光子の透過軸に対してα（０°≦α＜９０°）の角度をなす透過軸を有する第１の偏光フィルタと、
    　前記第２の画素に対向して配置され、前記第１の偏光子の透過軸に対してβ（０°≦β＜９０°，β≠α）の角度をなす透過軸を有する第２の偏光フィルタと、
    を有している３次元撮像装置に用いられる画像形成方法であって、
    　前記第１の画素から第１の光電変換信号を取得するステップと、
    　前記第２の画素から第２の光電変換信号を取得するステップと、
    　前記第１の光電変換信号および前記第２の光電変換信号に基づいて視差を有する２つの画像の差分を示す画像を形成するステップと、
    を含む画像形成方法。

Images