JP2010078768A - 立体映像撮影装置および立体映像撮影システム - Google Patents

Abstract

【課題】データ量少なく、画質の高い多視差の画像を合成できる立体画像を撮影することを可能にする。
【解決手段】被写体２００の映像を結像する第１結像レンズ部２６と、第１結像レンズ部によって結像された映像を受け電気信号に変換する複数の撮影画素が表面に設けられた第１撮影素子２２と、を有する第１画像取得部２０と、被写体の映像を結像する第２結像レンズ部１６と、第２結像レンズによって結像された映像を受ける複数のレンズがアレイ状に配列された第１レンズアレイ部１４と、第１レンズアレイ部を通して結像された映像を受け電気信号に変換する複数の撮影画素が表面に設けられた第２撮影素子１２と、を有する第２画像取得部１０と、を備え、第２画像取得部は、第１画像取得部に対して被写体から見て水平方向に離れて配置される。
【選択図】図５

Description

本発明は、立体映像表示装置に表示する立体映像情報を得るための立体映像撮影装置および立体映像撮影システムに関する。

奥行きを有する物体の立体画像の情報を取得するために、多数のカメラ、移動カメラ、レーザースキャンなどが用いられていた。多数のカメラを用いるとカメラそれぞれの個体差や設置精度により画質が劣化する。また、移動カメラでは移動カメラを駆動する系のバラつきなどが問題となる。

そこで、ステレオカメラを用いた立体映像撮影装置が提案されている（例えば、特許文献１参照）。この立体映像撮影装置は、多視差の画像情報は、補間を行うことによって生成される。

また、マルチカメラアレイを用いた立体映像撮影装置が提案されている（例えば、特許文献２参照）。この立体映像撮影装置は、多数のカメラが用いられるために補間を行う必要がなく、仮に補間を行ってもマルチカメラから得られる多視差の情報が利用できるので、補間された画像には劣化が少ない。

また、マイクロレンズアレイを用いたＩＰシステムを用いた立体映像撮影装置が知られている（例えば、特許文献３参照）。この立体映像撮影装置は、多視差の情報を一つの撮像素子で撮影するために、位置ずれや、カメラの個体差等の問題は生じない。
特開平１０−２２４８２０号公報 特開２００７−２８６５２１号公報 特開２００６−３０４２３０号公報

しかしながら、特許文献１に記載の技術では、オクルージョンなどの要因で画質の高い多視差の画像を生成することができない問題がある。また、特許文献２に記載の技術では、カメラ間の位置ずれにより画質劣化が生じるという問題があるとともに、データ量が多くなるため処理コストや伝送帯域に問題が生じる。さらに、特許文献３に記載技術では撮像素子１つで視差を割り当てるので解像度劣化の問題が生じる。

本発明は、上記事情を考慮してなされたものであって、データ量少なく、画質の高い多視差の画像を合成可能な立体画像を撮影することのできる立体映像撮影装置および立体映像撮影システムを提供することを目的とする。

本発明の一態様による立体映像撮影装置は、被写体の映像を結像する第１結像レンズ部と、前記第１結像レンズ部によって結像された映像を受け電気信号に変換する複数の撮影画素が表面に設けられた第１撮影素子と、を有する第１画像取得部と、前記被写体の映像を結像する第２結像レンズ部と、前記第２結像レンズによって結像された映像を受ける複数のレンズがアレイ状に配列された第１レンズアレイ部と、前記第１レンズアレイ部を通して前記結像された映像を受け電気信号に変換する複数の撮影画素が表面に設けられた第２撮影素子と、を有する第２画像取得部と、を備え、前記第２画像取得部は、前記第１画像取得部に対して前記被写体から見て水平方向に離れて配置されることを特徴とする。

また、本発明の他の態様による立体映像撮影システムは、上記態様の立体映像撮影装置と、前記第１画像取得部および前記第２画像取得部によって取得される前記被写体の映像に基づいて、視差ベクトルの生成処理を行う視差ベクトル生成処理部と、を備え、前記視差ベクトル生成処理部は、前記第２画像取得部によって取得される前記映像に基づいて視差ベクトルを抽出する視差ベクトル抽出部と、前記第１画像取得部によって取得された映像と、前記視差ベクトル抽出部によって抽出された視差ベクトルとの対応点を探索する対応点探索手段と、前記対応点探索部によって探索された対応点と、前記第１画像取得部によって取得された映像とを用いて前記視差ベクトルの解像度を補間する視差ベクトル補間部と、を備えていることを特徴とする。

本発明によれば、データ量少なく、画質の高い多視差の画像を合成可能な立体画像を撮影することができる。

本発明の一実施形態による立体映像撮影装置または立体映像撮影システムは、立体映像表示装置を用いて立体映像を再生する場合に、その再生に必要な立体映像を記録するための装置およびシステムである。そのため、本発明の一実施形態による立体映像撮影装置または立体撮影システムを説明する前に、立体映像表示装置について説明する。

立体映像表示装置
まず、立体画像を表示する立体映像表示装置について図１〜図４を参照して説明する。

（１）立体映像表示装置の概略
一般的な立体映像表示装置の概略構成を図１に示す。この立体映像表示装置１００は、ＲＧＢ３原色のサブピクセルを有する画素がマトリクス状に配列された表示面を有する平面表示装置としての液晶ディスプレイ１０１と、この液晶ディスプレイ１０１の表示面の前面に設けられ、液晶ディスプレイ１０１の画素からの光線を制御する光線制御素子１０２と、液晶ディスプレイ１０１に対して光線制御素子１０２と反対側（液晶ディスプレイ１０１の背面側）に設けられ、バックライト用電源１０４によって駆動されるバックライト１０３とを備えている。

液晶ディスプレイ１０１は、駆動装置１０５により電気的に駆動され、表示面の各列に視差情報が表示される。バックライト１０３から発せられた光は液晶ディスプレイ１０１の表示面を照らす。

光線制御素子１０２は、液晶ディスプレイ１０１の表示面と観察者１０８との間の位置に配置され、例えばピンホールがアレイ状に配列されたピンホールアレイ板とすることができる。このピンホールアレイ板１０２の各ピンホール１０９から出射する光線群により三次元実像１０６が再生され、観察者１０８により認識される。また、ピンホールアレイ板１０２から実像１０６とは逆方向に光線を辿っていくことにより、三次元虚像１０７を再生することもできる。さらに、ピンホールアレイ板１０２の前後に連続的に三次元像を再生させることも可能である。なお、ピンホール１０９に代えて、マイクロレンズ１１２がアレイ状に配置された公知のマイクロレンズアレイとしてもよい。

（２）立体映像表示装置の構成
立体映像表示装置は、ＲＧＢの混色において色割れのない、自然で高精細な立体像を再生することができるように以下の構成を有している。これについて図２を参照して説明する。図２は、図１に示した立体映像表示装置１００と三次元画像１０６との位置関係を上から見た図である。観察者１０８から見てピンホールアレイ板１０２の後ろ側に配置される液晶ディスプレイ１０１は、角度に応じて微妙に見え方の違う視差画像群、すなわち多視点画像（例えば、＃１〜＃７の画素に格納された情報からなる画像）を表示する。この多視点画像から発せられた光は、いずれかのピンホール１０９を通って多数の視差画像光線群となり、これらが集光されて三次元実像１０６（立体像）が再生される。

多視点画像を平面的に表示する液晶ディスプレイ１０１において、その最小の駆動単位はＲ（赤），Ｇ（緑），Ｂ（青）の各サブピクセルである。Ｒ，Ｇ，Ｂの３つのサブピクセルによって色を再現することができる。各サブピクセルは、各々からピンホール１０９の中心を通る直線が、表示空間上の立体像と交わる点の輝度及び色の情報を表示する。ここで、同一のピンホール１０９を通る同一サブピクセルからの直線が「立体像１０６と交わる点」は一般には複数あるが、表示点は観察者１０８に最も近い点とする。例えば図２において、点Ｐ２よりも観察者１０８に近い点Ｐ１を表示点とする。

（３）立体映像表示装置の他の構成
なお、立体映像表示装置１００は、図１に示す光線制御素子１０２としてのピンホールアレイ板に代えて、図３に示すように、複数のスリット１１１が並列に配置されたスリットアレイ板１１０を配置した構成としてもよい。図４は、このスリットアレイ板１１０を正面から見た概略図である。図４に示すように、スリット１１１は、サブピクセルＲ，Ｇ，Ｂの配列の縦方向（垂直方向）に略平行に設けられる。このため、スリットアレイ板１１０を用いる場合は、垂直方向の視差はあえて無視した構成となる。スリットアレイ板１１０はピンホールアレイ板よりも製作が容易であり、ピンホールアレイ板１０２と同様に色分離のない自然で高精細な立体像を再生できる。なお、スリットアレイ板１１０に代えてレンチキュラーシート１１３を用いてもよい。

立体映像撮影装置
次に、本発明による立体映像撮影装置の各実施形態について図面を参照して説明する。

（第１実施形態）
本発明の第１実施形態による立体映像撮影装置を図５に示す。図５は、本実施形態の立体映像撮影装置の平面図である。本実施形態の立体映像撮影装置は、レンズアレイカメラ１０と、カメラ２０とを備え、これらのカメラ１０、２０は、被写体２００から見て水平方向に並ぶように配置されて撮影する範囲が共通となるように構成されている。レンズアレイカメラ１０は、ＣＣＤやＣＭＯＳといった二次元画像を撮像できる光電変換素子（以下、撮像画素または単に画素ともいう）がマトリクス状に配置された撮像素子１２と、この撮像素子１２の前面に設けられたレンズアレイ１４と、被写体からの光線を、レンズアレイ１４を通して撮像素子１２に結像させる結像レンズ１６を含む光学系と、を備えている。また、カメラ２０は、撮像画素がマトリクス状に配列された撮像素子２２と、撮影される物体からの光線を撮像素子２２に結像させる結像レンズ２６を含む光学系と、を備えている。そして、レンズアレイ１４を構成する一つのレンズは撮像画素の複数個を覆うように構成される。なお、本実施形態においては、撮影素子１２の中心と結像レンズ１６の中心とを結ぶ第１直線は、被写体面２００ａに略直交し、撮影素子２２の中心と結像レンズ２６の中心とを結ぶ第２直線は、被写体面２００ａに略直交し、第１および第２直線は、被写体２００から見て水平方向の同一平面上に位置している。なお、被写体面２００ａとは、被写体２００を含む被写体２００に対する鉛直面を意味する。

本実施形態においては、レンズアレイカメラ１０と、レンズアレイを持たないカメラ（以下、メインカメラともいう）２０で撮影範囲にオーバーラップ部分を含み、共通の被写体を撮影する構成が基本形態となる。後の光学系で詳細に説明するが、レンズアレイカメラ１０は、異なる方向からの画像（視差画像）を複数含む画像を同時に取得することができる。カメラ２０は、レンズアレイカメラ１０と被写体２００から見て水平方向に並んで離れた位置に配置されているので、レンズアレイカメラ１０とカメラ２０との間にも視差がある。ここで、レンズアレイ１４として、シリンドリカル形状を持つシリンドリカルレンズアレイを例として説明するが、マイクロレンズアレイを用いることもできる。

レンズアレイ１４としてシリンドリカルレンズを用いた例を図６に示す。図６は、図５において矢印ｚの方向（被写体２００の方向）からレンズアレイカメラ１０とカメラ２０とを見た正面図である。シリンドリカルレンズアレイを用いたカメラ１０は、レンズの稜線と略直交する方向（レンズパワーを持つ方向）に視差を持つ画像が撮影できる。この視差を持つ方向にカメラ２０を設置する。このように設置することによって、レンズアレイカメラ１０で撮影された視差とカメラ２０間の視差が同じベクトルを持つ配置となる。つまり、図６に示すように、レンズアレイカメラ１０とカメラ２０との基線３０、すなわちレンズアレイカメラ１０の中心とカメラ２０の中心とを結ぶ線３０は、シリンドリカルレンズ３５の稜線３６と略直交する方向となる。

レンズアレイカメラ１０で撮影できる画像は視差を持つが、撮像される解像度は撮像素子の解像度の視差数分の１に低下する。本実施形態の立体映像撮影装置は、少なくともレンズアレイカメラ１０と、レンズアレイを持たないカメラ２０とを有し、一方のレンズアレイカメラ１０を用いて低解像度の画像によって複数の視差画像を撮影し、もう一方のカメラ２０を用いて高解像度の映像を撮影し、カメラ１０、２０間の視差とレンズアレイカメラ１０の視差のベクトルが一致するように構成されている。したがって、本実施形態の立体映像撮影装置によって撮影された映像は、細かい視差間隔の複数の映像と、この映像と同じベクトルを有する大きな視差間隔の１つの映像とを含み、解像度としては、細かい解像度を有する映像と、荒い解像度を有する映像とを含んでいる。つまり、本実施形態の立体映像撮影装置で撮影された映像は、視差や解像度を互いに補間しやすい情報である。よって、本実施形態の立体映像撮影装置は、データ量少なく、解像度の高い多視差の画像を補間できる映像を撮影することができる。

光学系
次に、本実施形態における光学系について説明する。

図７に、本実施形態に係るレンズアレイカメラ１０の光学系を示す。撮像素子面１２ａとレンズアレイ１４の面１４ａとの距離をａ、レンズアレイ１４と結像レンズ１６との距離をｂ、結像レンズ１６からの想定される被写体２００の位置までの距離をｃとし、レンズアレイ１４の焦点距離をｆ_ＬＡ、結像レンズ１６の焦点距離をｆ_Ｌ１としたとき、結像関係は次式のように表すことができる。
１／ａ−１／（−ｂ）＝１／ｆ_ＬＡ （１）
１／ｂ−１／（−ｃ）＝１／ｆ_Ｌ１ （２）
式（１）と（２）より次式を得ることができる。
１／ａ− １／ｆ_Ｌ１ −１／ｃ＝１／ｆ_ＬＡ （３）

このような状態のとき、光線の逆トレースで考えれば、レンズアレイ１４は結像レンズ１６によって、被写体２００の位置にあると考えられる虚像のレンズアレイＶＬＡとは結像関係にある。このとき撮影される画像は、結像レンズ１６の面を共通撮像面として、この虚像レンズアレイＶＬＡを通して観察されるインテグラル画像となっている。インテクグラル画像とはレンズアレイなどを通して撮影される画像で、レンズ一つ一つに要素画像と呼ばれる微小画像を撮影され、撮影されたレンズアレイを通し観察するとアレイ全体で統合された視差を持つ画像が再現される。視差画像の解像度はレンズアレイで決まり、視差の角度範囲はレンズの画角、視差数は要素画像の画素数に対応する。また、インテグラル画像を再構成することによって多視点画像分離することもできる。そのため本光学系で撮影されたインテグラル画像から再構成される多視点画像の解像度は、虚像レンズアレイＶＬＡのレンズピッチに相当し、撮影できる視差角度範囲θ_ｐは虚像レンズアレイＶＬＡのレンズ中心から結像レンズ１６の開口ｄ２の見込み角になる。視差角度範囲θ_ｐは、式（４）で表すことができる。また、視差数Ｎはレンズアレイ１つに割り当てられる撮像素子の数によって決まり、１視差の角度ピッチθ_ｐｉは式（５）で表すことができる。
θ_ｐ 〜 ２×ｔａｎ^−１（ｄ２／（２×ｃ）） （４）
θ_ｐｉ 〜 θｐ／Ｎ （５）
ここで、記号「〜」は、ほぼ等しいことを意味し、左辺は右辺の式で近似できることを意味する。式（４）と式（５）とは、レンズの中央における近似式であり、位置によって多少異なる。また、θ_ｐは、このインテグラル画像が結像レンズ１６を共通撮像面としているため、通常のインテグラル画像と異なり、画面端に向かって、シフトする特徴を持っている。このシフト量はパースペクティブを持った画像の角度シフトに相当する。ここでパースペクティブとは、透視画法による画像の角度シフトに相当する。透視画法による画像は、ピンフォールカメラの像に例えることができ、ピンホール中心を基準軸として異なる角度の光を結像する像である。この時、ピンホールの中心が結像レンズ１６に相当する。すなわち、この構成を有するレンズアレイカメラ１０はパースペクティブを持ったインテグラル画像を撮影できることを表している。この画像の画角θ_ｃ１は式（６）で表すことができる。
θ_ｃ１＝２×ｔａｎ^−１（ｄ３／（２×ｂ）） （６）
ここで、ｄ３はレンズアレイ幅である。

設計例
インテグラル画像の要素画像の幅ｄ１は画素ピッチＰｐと視差数Ｎとによって式（７）で設計され、レンズアレイ１４のレンズピッチはこのレンズピッチを基に設計を行う。詳細は第３実施形態で説明する。ただ、実際の光は入る領域は結像レンズ１６の開口幅ｄ２から決まってしまう。要素画像の幅ｄ１を確保するためのレンズアレイ１４との距離ａを決めるには式（８）に示すように設計すればよい。式（８）で表す値からずれてしまう場合は、要素画像間のクロストークや暗線が生じることになる。実際は、距離ａでなく幅ｄ１を調整することにより調節可能となる。
ｄ１＝Ｐｐ×Ｎ （７）
ａ＝ｂ×ｄ１／ｄ２ （８）
このようにして、距離ａが決まれば、レンズアレイカメラ１０の結像レンズ１６の焦点距離ｆ_Ｌ１および距離ｂを用いて、式（３）にてレンズアレイ１４の焦点距離ｆ_ＬＡを決めることができる。

カメラ２０の光学系を図８に示す。図８において、ｄ４は結像レンズ２６の開口、ｄ５は撮像素子有効範囲、ｇは撮像素子２２の撮影面２２ａと結像レンズ２６との間の距離、ｈは結像レンズ２６と被写体２００との間の距離を示す。カメラ２０の画角θ_ｃ２、距離ｇ、距離ｈ、ｄ４、ｄ５の関係は通常のカメラと同じであり、同様に設計を行えばよい。結像レンズ２６の焦点距離ｆ_Ｌ２や、距離ｇも通常のカメラと同様に設計を行う。これについては、後で詳細に説明する。

（第２実施形態）
次に、本発明の第２実施形態による立体映像撮影装置について図９および図１０を参照して説明する。図９は、本実施形態の立体映像撮影装置の平面図であり、図１０は、図９に示す矢印ｚの方向（被写体の方向）から見た正面図である。本実施形態による立体映像撮影装置は、２台のレンズアレイカメラ１０_１、１０_２と、カメラ２０とを、備えている。すなわち、本実施形態は、第１実施形態において、更にもう１個のレンズアレイカメラを設けた構成となっている。レンズアレイカメラ１０_１、１０_２は、被写体から見て水平方向にカメラ２０の左右に配置される。すなわち、レンズアレイカメラ１０_１とカメラ２０との基線３０_１と、レンズアレイカメラ１０_２とカメラ２０との基線３０_２とが略同一直線上に位置するように配置される。したがって、このとき、レンズアレイカメラ１０_１、１０_２の各レンズアレイ１４_１、１４_２を構成するシリンドリカルレンズの稜線とカメラ間との間の基線が略直交するように配置される。このようにレンズアレイカメラを２台以上用いることもできる。この場合、撮影範囲のオーバーラップ部分が利用範囲となるため、カメラを輻輳配置するか、またはシフト配置することにより、被写体の同じ範囲について撮像素子１２_１、１２_２と撮像素子２２の撮像素子面の全体を利用して撮像すること、すなわち画素を有効に用いることもできる。

本実施形態の立体映像撮影装置で撮影された映像は、第１実施形態と同様に、視差や解像度を互いに補間しやすい情報であるので、本実施形態の立体映像撮影装置は、データ量少なく、解像度の高い多視差の画像を補間できる映像を撮影することができる。

（第３実施形態）
次に、本発明の第３実施形態による立体映像撮影装置について図１１を参照して説明する。図１１は、被写体から見た本実施形態の立体映像撮影装置の正面図である。この実施形態の立体映像撮影装置は、第２実施形態の立体映像撮影装置において、レンズアレイカメラ１０_１とカメラ２０との基線３０_１と、レンズアレイカメラ１０_２とカメラ２０との基線３０_２とが略直交するように配置した構成となっている。すなわち、被写体から見て、カメラ２０の水平方向にレンズアレイカメラ１０_１を設置し、カメラ２０の垂直方向にレンズアレイカメラ１０_２を配置した構成となっている。そして、水平方向に設置されたレンズアレイカメラ１０_１のシリンドリカルレンズの稜線は、被写体から見て垂直方向に延在し、カメラ２０との基線３０_１と略直交する配置となる。同様に、垂直方向に設置したレンズアレイカメラ１０_２のシリンドリカルレンズの稜線は、被写体から見て水平に延在し、カメラ２０との基線３０_２と略直行する配置となる。このように、レンズアレイカメラ１０_１、１０_２を、カメラ２０共通として、水平方向や垂直方向など、それぞれ異なる角度に配置することもできる。本実施形態においては、レンズアレイカメラ１０_１、１０_２のそれぞれとカメラ２０との基線３０_１、３０_２は略直交するように配置されるが、これは、視差ベクトルがレンズアレイの直交方向となるためであり、カメラ間の視差ベクトルを揃えることにより視差や解像度を補間しやすくするためである。このような配置を行えば、視差ベクトルが水平成分と垂直成分で得られるので、３次元の視差ベクトルを求めることができる。第２実施形態の場合と同様に、カメラを輻輳配置するか、またはシフト配置することにより画素を有効に用いることもできる。

本実施形態の立体映像撮影装置で撮影された映像は、第１実施形態と同様に、視差や解像度を互いに補間しやすい情報であるので、本実施形態の立体映像撮影装置は、データ量少なく、解像度の高い多視差の画像を補間できる映像を撮影することができる。

（第４実施形態）
次に、本発明の第４実施形態による立体映像撮影装置について図１２を参照して説明する。図１２は、本実施形態による立体映像撮影装置の、被写体から見た正面図である。本実施形態の立体映像撮影装置は、レンズアレイとしてマイクロレンズアレイを有する１台のレンズアレイカメラ１０_１と、レンズアレイを有さない２台のカメラ２０_１、２０_２とを備え、レンズアレイカメラ１０_１とカメラ２０_１との基線３１_１と、レンズアレイカメラ１０_１とカメラ２０_２との基線３１_２とが略直交するように配置した構成となっている。すなわち、被写体から見て、レンズアレイカメラ１０_１の水平方向にカメラ２０_１を設置し、垂直方向にカメラ２０_２を設置した構成となっている。マイクロレンズアレイを有するレンズアレイカメラ１０_１は水平と垂直の視差を含む３次元の視差を取得することができる。マイクロレンズを用いた要素画像の解像度は水平にも垂直にも視差数分の１に劣化している。この解像度を補間するために、画像データとして、その視差ベクトルが直交する座標系となるようにカメラ２０_１、２０_２を２台配置し、対応する画像データを補間する。このように、レンズアレイを持たないカメラ２０_１、２０_２を複数個配置することができる。第２実施形態と同様に、カメラを輻輳配置するか、またはシフト配置することにより、画素を有効に用いることもできる。

（第５実施形態）
次に、本発明の第５実施形態による立体映像撮影装置について図１３を参照して説明する。図１３は、本実施形態による立体映像撮影装置の、被写体から見た正面図である。本実施形態の立体映像撮影装置は、図１２に示す第４実施形態による立体映像撮影装置において、レンズアレイとしてマイクロレンズアレイを有するレンズアレイカメラ１０_２を、更に設け、レンズアレイカメラ１０_２とカメラ２０_１との基線３１_３と、レンズアレイカメラ１０_２とカメラ２０_２との基線３１_４とが略直交するように配置した構成となっている。

本実施形態のように、マイクロレンズアレイを持ったレンズアレイカメラを２台用いることにより、水平方向および垂直方向の視差ベクトルをさらに補間しあうことができる。このように、レンズアレイカメラも、レンズアレイを持たないカメラもそれぞれが複数個となる配置が考えられる。第２実施形態と同様に、カメラを輻輳配置するか、またはシフト配置することにより画素を有効に用いることもできる。

本実施形態の立体映像撮影装置で撮影された映像は、第１実施形態と同様に、視差や解像度を互いに補間しやすい情報であるので、本実施形態の立体映像撮影装置は、データ量少なく、解像度の高い多視差の画像を補間できる映像を撮影することができる。

次に、上記第１乃至第５実施形態で説明した立体映像撮影装置の各構成要素について以下に詳細に説明する。

シリンドカルレンズ
レンズアレイとしては、マイクロレンズアレイと、シリンドリカルレンズアレイの両方が考えられる。ここでは、シリンドリカルレンズを用いた場合について、より詳細に説明する。

シリンドリカルレンズアレイは、円筒型のレンズ形状のシリンドリカルレンズがアレイ状に配置されたレンズであって、そのレンズパワーを、シリンドリカルレンズの稜線の直交方向にしか有していない。このため、シリンドリカルレンズアレイを用いたレンズアレイカメラは、このレンズパワーをもつ方向のみに視差を持つ画像が撮影できる。図６に示すように、シリンドリカルレンズアレイは被写体から見て垂直方向に稜線３６を持つようにレンズ３５を配置したとき、カメラ２０は、レンズアレイカメラ１０の水平方向のずれた位置に設置される。レンズアレイカメラ１０は水平方向に視差を持ち、カメラ間の視差と一致し、水平解像度は水平方向に割り当てられた視差数分の１に低下する。解像度の劣化が、水平および垂直方向で生じるマイクロレンズアレイに比べ、解像度の劣化が水平方向のみであるため、視差ベクトルを抽出するためには効率がよい。

レンズアレイのレンズピッチについて
次に、レンズアレイ１４のレンズピッチと、撮像素子１２の画素との関係について図１４を参照して説明する。図４は、レンズアレイ１４のレンズピッチと撮像素子１２の画素との関係を説明する図である。要素画像の中心は結像レンズ１６の中心とレンズアレイ１４の各レンズの中心を結ぶ線の延長線上になる。要素画像幅ｄ１（要素画像ピッチとも呼ぶ）は、この要素画像の中心を通る直線の撮像素子面１２ａの間隔に対応する。レンズピッチＬｐはレンズアレイ１４と撮像素子１２の距離をａ、レンズアレイ１４と結像レンズ１６との距離をｂとしたとき、次式が成り立つ。
Ｌｐ＝ｄ１×ｂ／（ａ＋ｂ） （９）

要素画像ピッチｄ１を式（７）に示すように画素ピッチＰｐの整数倍としたとき、レンズピッチＬｐは式（９）より設計することもできる。このとき、式（９）より、レンズピッチＬｐは要素画像ピッチｄ１より少し狭い幅になる。このように設計された場合、パースペクティブを持った画像と同様の視差角度が画像位置でシフトが起きる。すなわち、レンズアレイ１４を通して撮像された画像に対応する視差量が、画像の位置によって変化（シフト）する。撮像素子面１２ａでの位置をｘとして、撮影角度範囲のシフト量θ_ｐｓは次式で表すことができる。
ｔａｎθ_ｐｓ ＝ ｘ／（ａ＋ｂ） （１０）

このシフト量θ_ｐｓは要素画像ごとに、画素による離散値でない角度が加算されるため、角度データが離散値ではないズレが生じる。すなわち、レンズアレイ１４のレンズごとの角度データは撮像素子１２の１つで得られる等間隔の角度データとは異なり、画像の位置によって角度が異なる角度データとなる。

これに対して、要素画像ピッチｄ１が結像レンズ１６の開口幅ｄ２より十分に小さいとき、レンズピッチＬｐと要素画像ピッチｄ１は非常に近くなる。そこで、式（１１）に示すように、Ｌｐを画素の整数倍の値を与える。
Ｌｐ＝Ｐｐ×Ｎ （１１）

このとき、要素画像ピッチｄ１は、式（９）を満たすため、式（７）に示す値より少し大きい値になる。要素画像幅ｄ１は画素値の離散値でなくなる。これを量子化することによって、シフト量θ_ｐｓも同じスケールで量子化されるため撮影角度のシフト量が画素単位の離散値として扱うことができる。これは、虚像のレンズアレイＶＬＡの面の角度が離散的に量子化されていることを意味し、角度を扱う座標系として扱いやすくなる。すなわち、透視画法によれば画素の位置によって異なる角度データが得られるレンズアレイカメラ１０から得られた視差データは、撮像素子の画素間隔で得られる等間隔角度で量子化された角度データで扱うことができる。また、式（１１）や式（７）を式（９）に代入したＬｐが厳密に再現できない場合でも、画素単位の量子化によって調整を行うことは可能である。

結像レンズについて
次に、カメラ２０とレンズアレイカメラ１０の結像レンズ２６、１６について説明する。図８に示すように、カメラ２０の光学系はレンズ中心を軸とした異なる角度の光を結像し、画像として記録する光学系となっており、パースペクティブをもった画像といえる。肉眼で観察している網膜像も同様で、人間が感じる自然な画像を撮影できる。このパースペクティブを等しくすることにより、カメラ２０の画像とレンズアレイカメラ１０の画素の角度次元を含めた対応が簡単になる。パースペクティブを合わせるためには、カメラ２０とレンズアレイカメラ１０で焦点距離を等しくした上で、図７に示す距離ｂと、図８に示す距離ｇを等しくすればよい。つまり、カメラ２０の撮像素子面２２ａにレンズアレイを設置する配置で、カメラ間の画角θ_ｃ１とθ_ｃ２とを等しくすることができる。

カメラの輻輳配置
次に、画素を有効に使うためのカメラの配置について図１５を参照して説明する。図１５はカメラの輻輳配置の一例を示す平面図である。第１実施形態で説明したように、画像として対応する部分は、撮影範囲のオーバーラップ部分となる。第１実施形態で説明した図５に示すように、カメラ２０とレンズアレイカメラ１０が同じ方向を向いていると、撮影範囲にオーバーラップしない部分が生じ、その部分の画素は有効にならない。

そこで、例えば図１５に示すように、想定される撮影距離Ｌ（２つのカメラの中心を結ぶ線からメインのとなる被写体２００までの距離）で、画素の有効になる範囲を拡大するようにレンズアレイカメラ１０およびレンズアレイを有しないカメラ２０の両方のカメラを回転させて、撮影範囲にオーバーラップしない部分が生じないようにするカメラの輻輳配置が考えられる。また、図示しないが、レンズアレイカメラ１０およびカメラ２０のうちの一方のカメラを回転させて同様の効果を得ることもできる。

撮像素子のシフトの設計
次に、画素を有効に使うためのカメラ配置について説明する。図１５に示すようなカメラの輻輳配置では、画素の有効範囲を広げることはできるが、撮像素子面に対して被写体面２００ａが傾いてしまい、パースペクティブの効果も加わり、被写体面２００ａにおける矩形にキーストンのような歪みが生じる。この歪みは射影変化によって補正することもできるため、画像処理によって補正することも可能である。

しかし、処理時間やコスト等で不利な場合、図１６に示すように、撮像素子１２、２２を結像レンズ１６、２６からシフトした位置に配置することによって歪みが生じるのを防止することができる。このシフト配置は、撮影素子１２の中心と第２撮影素子２２の中心と間の距離が結像レンズ１６の中心と結像レンズ２６の中心との間の距離よりも大きくなっている。また、このシフト配置は、撮像素子１２の中心と結像レンズ１６の中心とを結ぶ線が被写体面２００ａとなす角度を９０度からシフト量θ_ｓだけ傾け、撮像素子２２の中心と結像レンズ２６の中心とを結ぶ線が被写体面２００ａとなす角度を９０度からシフト量θ_ｓだけ傾けることによって可能となる。このようにシフト配置された撮像素子１２、２２で撮影された画像は被写体面２００ａがカメラ間で異ならないため、輻輳配置のようなキーストン型の歪みが発生しない。撮像素子のシフト量θ_ｓは、ｄを結像レンズ１６、２６の中心間距離、Ｌを被写体面２００ａから結像レンズ１６、２６までの距離とすると、次式で表すことができる。
θ_ｓ＝ｔａｎ^−１（ｄ／２Ｌ） （１３）

式（１３）はカメラ１０、２０が同じ角度でシフトし、カメラ間の中央の被写体２００を想定した場合であり、カメラの配置等で、カメラ毎に異なるシフト量を設計することもできる。また、シフト量が大きいとレンズの軸外収差等によって結像特性やレンズ起因の画像の歪みなどが起きる可能性がある。そのため、シフトした像面を前提に結像レンズを設計することも考えられる。

また、立体映像表示装置等のディスプレイと、上述した立体映像撮影装置とを組み合わせる、ＴＶ会議等のように撮影画像を互いに表示しあうことも可能である。その場合、ディスプレイの側面にカメラを配置することも可能である。この場合、ディスプレイの中心を想定される撮影画像の中心としてシフト角や輻輳角を設計することもできる。

［Ｃ］立体映像撮影システム
次に、本発明による立体映像撮影システムの各実施形態について図面を参照して説明する。以下の実施形態の立体映像撮影システムは、上述した立体映像撮影装置を用いることが前提になっている。

（第６実施形態）
本発明の第６実施形態による立体映像撮影システムについて図１７を参照して説明する。図１７は、本実施形態の立体映像撮影システムの概略の構成を示すブロック図である。本実施形態の立体映像撮影システムは、少なくとも２台の画像取得部５１、５２と、視差ベクトル生成処理部５４と、多視点画像生成部５６と、立体画像用データ出力部５８と、を備えている。画像取得部５１は、レンズアレイを有しないカメラ（例えば、図５に示すカメラ２０）に対応し、画像取得部５２はレンズアレイカメラ（例えば、図５に示すカメラ１０）に対応している。レンズアレイカメラ１０は低解像度が低いが、視差を撮影することができる。

これらの画像取得部５１、５２によって得られた画像データは、視差ベクトル生成処理部５４において処理される。視差ベクトル生成処理部５４は、視差部ベクトル抽出部５４ａと、対応点探索部５４ｂと、視差ベクトル補間部５４ｃと、視差ベクトル出力部５４ｄとを備えている。画像取得部５２によって取得された、低解像度であるが視差を有する画像データに基づいて、視差ベクトル抽出部５４ａにおいて、視差ベクトルが抽出される。抽出された視差ベクトルに対応する、画像取得部５１によって取得された高解像度の画像データの対応点が対応点探索部５４ｂによって探索されて得られる。この得られた対応点における高解像度な画像データを用いて、対応する低解像度の視差ベクトルの解像度が、視差ベクトル補間部５４ｃにおいて補間される。視差ベクトル補間部５４ｃによって補間された視差ベクトルが視差ベクトル出力部５４ｄから出力される。このように作成されたデータは解像度が高く、精度の高い視差ベクトルとして出力できる。

視差ベクトル出力部５４ｄから出力された視差ベクトルを用いて、任意の角度の視点画像、すなわち多視点画像が多視点画像生成部５６において生成される。生成された多視点画像を用いて立体画像表示に必要な立体画像表示用データが作成され、立体画像表示用データ出力部５８から出力される。この立体画像用データを、立体映像表示装置に合わせた画素変換を行い、表示すれば、撮影された空間の奥行き情報を含む視覚情報を提示することができる。

以上説明したように、本実施形態の立体映像撮影システムは、データ量が少なく撮影した画像から、解像度の高い多視差の画像を補間できる映像システムとなる。この多視差のデータより高品質な立体表示を行うこともできる。

次に、本実施形態の立体映像撮影システムの構成要素について、より詳細に説明する。

ハードウエアの画素と視差の関係
レンズアレイを有さないカメラ（以下、メインカメラともいう）の視差量は、メインカメラと対を成すレンズアレイカメラとの相対位置によって決まる。レンズアレイカメラの光軸と、メインカメラの光軸とのなす角がカメラ間の主となる角度差であり、これが相対的な視差角度となる。例えば、図１６に示すような配置の場合、この相対的な主となる視差角度は、式（１３）に示すシフト角θｓの２倍と考えても良い。また、撮像素子１２、２２に直交する軸を基準軸として定義すれば、主となる視差角度は基準軸と光軸との角度となる。図１６に示すような配置の場合、式（１３）のシフト角θ_ｓで与えることができる。（符号は座標系によって与える）

一般的なレンズを用いた場合、レンズの主点を中心とする透視投影の画像が撮影できる。このような場合、画素ごとに取得される光の角度が異なる。撮影される画素の視差角度は、画素位置とレンズの主点を結んだ角度となる。図１６に示すようにレンズをシフトさせた場合も同様に計算でき、シフト各θ_ｓがオフセットされた角度となる。図１５に示すようにカメラを輻輳配置した場合には、被写体面の法線を基準軸と定義し、角度を計算する。つまり、カメラの基線（カメラのレンズ主点を結ぶ線）からのカメラの回転角をオフセットとして加えること必要がある。

近似として主となる視差角度、カメラの視差角度として与えることも考えられる。図５に示すようなカメラの撮像素子と、レンズ主点が同じ軸に平行に配置されている場合、撮影に用いられる範囲（共通して用いることのできる画素範囲）の中心位置と、レンズ主点を主な視差角度として与えることもできる。

レンズアレイカメラの視差角度
レンズアレイカメラの視差角度は配置による角度と透視投影画像としての角度、レンズアレイによる視差角度の和として考えることができる。配置による角度と透視投影画像としての角度はメインカメラで説明したものと同様であり、透視投影の基準位置としてレンズアレイの主点を考えればよい。

図１８に光線と視差角度の関係を示す。光を逆トレースすることによって光線の振る舞いを説明し、レンズアレイによる視差角度を説明する。レンズアレイＬＡの主点と受光される撮像素子を結ぶ直線がレンズＬ１によって虚像面（以下、ＶＬＡ面ともいう）の対応するレンズアレイの虚像の中心に屈折する。この画素の視差角度はθｐｐとなる。透視投影としての角度θｃｐは
θｃｐ＝ｔａｎ^―１（ｘ１／ｂ）
で与えられる。ｂはレンズアレイＬＡからレンズＬ１までの距離、ｘ１はレンズアレイＬＡのレンズ中心からの距離、素子位置のｘ０より光を逆トレースする際のレンズＬ１上の対応点ｘ２は、
ｘ２＝ｘ１／ａ×ｂ
で得られるため、レンズアレイＬＡによる視差角度θｂｐは近似的に
θｂｐ 〜 θｐ／ｄ２×ｘ２
で得られ、θｐｐは、
θｐｐ＝θｃｐ＋θｂｐ
となる（それぞれの角度の符号は位置による座標系で与えられる）。θｐｐは撮像素子の画素が取得できる光線の視差角度である。実際は、レンズアレイＬＡに対応する画素アドレスによって予め設計された角度を画素それぞれに与えることができるため、近似的な計算で角度を与える必要はない。つまり、配置によるオフセットの角度に加え、レンズアレイカメラの場合レンズアレイＬＡの対応画素ごとに、透視投影としての視差角度θｃｐを与え、画素１つごとに対応した視差角度θｂｐ（負の符号を含む）を与えることで、それぞれの画素に視差角度を対応付けることができる。

データ構造変換
次に、光線空間の概念とデータ構造の光線空間変換について説明する。

光線空間とはエピポーラ線上の複数視点を、位置と光線の角度（ｔａｎθ）とで表した空間である。水平方向をカメラの基線としてシリンドリカルレンズの稜線を垂直方向とすると、同じ水平アドレス画素を視差方向の角度に対応して、ｔａｎθを示す軸に配置すればいい。光線空間の位置となる基準面を想定被写体面（ＶＬＳ面）としたとき、図１９に示すような光線空間と取得画像の対応関係を得ることができる。レンズアレイカメラのデータは、立体映像撮影装置で既に説明したように、レンズアレイと画素の関係によってＶＬＡ面の角度が異なる。光学系のパラメータに応じた位置に画素位置に応じてｔａｎθを示す軸に並べ替える。具体的には式（５）で与えられる角度間隔と式（１０）で与えられるシフト角から並べ替える。

式（１１）のような条件でレンズピッチを与えると図２０に示すような関係となる。この光線空間に対応付けると同じ奥行き位置を持つ異方性のない画素は、同じ傾きを持つ直線となる。この直線を視差ベクトルとして管理することによって抽出や補間が簡単に行うことができる。

カメラ空間と光線空間の関係
次に、カメラ空間と光線空間との関係を説明する。座標系とカメラとの関係を図２１に示す。撮影面（想定される結像位置）３００を基準面とし、撮影面３００の１端（各カメラに撮影される共通領域の端）を原点とする座標系を設定し、撮影面３００の法線（ｚ軸）を基準軸とする角度θを視差角度として定義する。例えば、図２１におけるメインカメラの画素Ｐは、θの視差角度をもっており、基準面と交差するｘ座標を与えることになる。この空間においてのｘ座標と、ｔａｎθの値を示す軸を直交した２軸（ｙ軸を含め他３軸としてもよい）とした光線空間に、画素値（Ｒ、Ｇ、Ｂ等の輝度情報と色度情報を持った値）を配置したものが、光線空間画像と称される。この光線空間画像はカメラの基線方向の角度を示しており、エピポーラ線上の画素に対応しており、ステレオマッチング等に用いる対応点検索範囲を示している。

簡易的な光線空間対応
正確な角度データでなくとも視差ベクトルの抽出や補間は行うことができる。レンズアレイカメラとメインカメラのパースを等しく設定されているとき、シフト量が等しくなる。そのため、画素の並びだけで視差方向と位置で並べる簡易的なデータ変換方法で行うこともできる。

図２２に簡易的な光線空間を示す。ここで座標の軸を位置に対応する軸を「ｉ」と角度に対応する軸を「ｊ」と定義し示してある。実空間座標はメインカメラの画素アドレスに対応しており、同様に「ｉ」の軸はメインカメラの画素アドレスとして与えることができる。レンズアレイカメラはレンズアレイ番号が位置に対応する。ここで注意することは、レンズアレイカメラとメインカメラの画素ピッチが異なる点であり、ピッチ比に「ｉ」を対応づける。角度の軸「ｊ」はレンズアレイカメラの１画素間隔の角度対応が最小単位として与え、メインカメラとレンズアレイカメラとの間の主なる視差角度が、レンズアレイカメラの１画素の角度間隔との比を求め配置する。すなわち、この簡易的な光線空間はレンズアレイカメラとメインカメラのパースを等しく設定されているので、その角度ズレを無視して扱うことによって、レンズアレイカメラはレンズアレイによる視差角度を扱い、メインカメラはレンズアレイカメラからの距離による視差として扱う。このように配列されたデータは光線空間と対応がとれているため、後で示す対応点探索処理や補間処理において矛盾が生じることがない。また、コンピュータなどで演算するときに相性がよく効率がよい。

（変形例）
本実施形態の一変形例による立体映像撮影システムを図２３に示す。この変形例の立体映像撮影システムは、図１７に示す第６実施形態の立体映像撮影システムにおいて、画像取得部５２と視差ベクトル抽出部５４ａとの間に光線空間変換部５３を設けた構成となっている。この変形例においては、レンズアレイカメラである画像取得部５２によって取得された画像を、光線空間変換部５３によって光線空間に変換することによって視差ベクトルの抽出を容易に行うことができる。

視差ベクトルの抽出
次に、レンズアレイカメラである画像取得部５２と、メインカメラである画像取得部５１から視差ベクトルを抽出する方法を説明する。この視差ベクトルの抽出処理の手順を図２４に示し、視差ベクトル抽出処理と光線空間の対応を図２５に示す。レンズアレイカメラである画像取得部５２によって取得された画像データから視差ベクトルが視差ベクトル抽出部５４ａにおいて抽出され、視差ベクトル群が得られる（図２４のステップＳ１１、Ｓ１２、図２５の（１））。そして、この抽出された視差ベクトル群の視差ベクトルに対応する、画像取得部５１によって取得された高解像度の画像データの対応点の探索が対応点探索部５４ｂによって行われる（図２４のステップＳ１３、図２５の（２））。この得られた対応点における高解像度な画像データを用いて、対応する低解像度の視差ベクトルの解像度が、視差ベクトル補間部５４ｃにおいて補間され、出力される（図２４のステップＳ１５、Ｓ１６、図２５の（３））。なお、対応点が得られなかった視差ベクトルや画素は後述するように例外処理を行う（ステップＳ１７、Ｓ１８、Ｓ１９、Ｓ２０）。

視差ベクトルの概念
次に、視差ベクトルについて説明する。奥行きのある物体を異なる角度から観察すると対応する画素位置が移動する。図２６（ａ）を参照して実空間と視差ベクトルを説明する。例えば、点Ｑ（ｘｑ，ｚｑ）から四方八方に出る光線は基準面のさまざまな点を通る直線として表すことができ、この直線の変化は次のような関数として表すことができる。
ｔａｎθ＝（ｘ−ｘｑ）／ｚｑ （１４）
この関数は観察角度θが異なることによって、画素の位置が移動していくことを示しており、異なる視差画像間での画素の移動を表す速度ベクトルとして考えることもできる。この画素の角度毎の移動量を、ここで視差ベクトルと定義する。

図２６（ｂ）に示すように前に定義した光線空間上において、この視差ベクトルは光線空間において、傾きを持った直線として表すことができる。これは式（１４）からもわかる。この角度毎の移動量は直線の傾きであり、奥行きに対応している。光線空間画像においてもそれぞれの点に対し、奥行きに対応した同じ画素値を持った直線を得ることができる。ただし、ここで仮定していることは、この点は完全拡散面であり、照明が均一であることである。そのため、鏡面や屈折面など、見る角度によって見え方に異方性を有する点においては、このような直線を得ることはできない。また、照明の影響によって輝度が変化することも考えられる。

本発明においては、視差ベクトルをある決まった位置と角度を基点とし、ｔａｎθとｘの空間上の傾き持たせたものと定義する。カメラを水平と垂直に視差を持たせるように配置した場合、ｔａｎθとｘとｙの３次元空間上のベクトルとして定義することもできる。また、簡易的な光線空間配列に対しても同様のベクトルを定義することができる。

レンズアレイカメラの視差ベクトルの抽出
次に、レンズアレイカメラの視差ベクトルの抽出について説明する。レンズアレイカメラの光学特性から、画素データから光線空間か多視点画像にデータ変換し、視差ベクトルに変換する。大きく分けて、以下の３つの方法を紹介する。

１）ブロックマッチング
対象画像を小さなブロックにわけ、ブロックごとに参照画像をスキャンする。画素値の差分などによってブロックと参照画像の相関が高い位置を見つける。このブロックマッチングを多視点画像で行うことによって視差間の相関の高い位置がずれていく。この視差画像毎（角度毎）の画素のずれ量（オプティカルフロー）が視差ベクトルであり、対象ブロックの中心を基点すればよい。対象ブロックの中心を画素毎に定義すれば、各画素に対応する視差ベクトルを得ることができる。

２）クラスタリング
光線空間に対応させて、同じｙ軸の画像を並べれば、対応する画素が直線状に並べことが多い。この直線の傾きを視差ベクトルとして認識することもでききる。直線の傾きは１）で示した相関の高い対応点のずれ方のベクトルと同等の意味を持つ。この直線を認識する一つの方法として画素を粗くサンプリングした光線空間データで、画素値（色などを含む）でクラスタリングを行い。画素のサンプリングを細かくすると同時に、クラスタリングの分割を増やすことによって、対応する画素群をグルーピングすることができる。このグルーピングされたデータは、相関が高いデータの集合である。グループ内の基準となる画素からグルーピングされたデータの視差角度方向に伸びるベクトルが、視差ベクトルとして得ることができる。

３）視差フィルタリング
光線空間上の直線の傾きを対応付けばよいので、それぞれ異なる直線の傾きを検出できるフィルタを用意し、光線空間データでそれぞれの点でフィルタとの相関を得ることによって直線の傾きを得ることができる。これによって視差ベクトルを得る。フィルタをかける中心画素が基準画素となり、一番高い相関の角度が視差ベクトルの角度とすればよい。

（追加）相関判定から視差ベクトル
上述した１）ブロックマッチング、２）クラスタリング、３）視差フィルタリングのいずれかの手法を用いて、レンズアレイカメラの画像データに対し、レンズアレイと同数程度の視差ベクトルを算出する。例えば、基準となる画素をレンズアレイ画像内の視差中心とし、全ての画素に対し視差ベクトルを対応付ける。

メインカメラとの対応点探索および視差ベクトルの解像度の補間
例えば上述したように方法によって得られた視差ベクトルの画素値とベクトルを用いて、メインカメラの画素との対応点を得る。レンズアレイカメラの解像度や視差量の制約があるため、視差ベクトルにはある程度の幅を持つ。そのベクトルの幅を含め視差ベクトルの延長線上を探索し、視差ベクトルの持つ画素値に一番近い画素値を持つ点を対応点とする。ここで注意することが２点ある。一つめは解像度がメインカメラとレンズアレイカメラで異なること。二つめは対応点がすべて存在するとは限らないということである。画素をそのまま用いてもいいが、解像度が異なる点に関しては、近傍画素の平均等を用いて画素をレンズアレイカメラと併せて評価することもできる。ここで、対応点が見つかれば、解像度が増しているため視差ベクトルの幅は小さくできる。さらに、レンズアレイカメラの間の画素をメインカメラの画素を用いて補間する。対応点がない場合もあるため、全て一番近い画素で与えるのでなく、ある閾値を設け、この閾値に関する条件を画素値が満たさない場合は、対応点なしとして例外処理を行う。

図２７に対応点があるときの視差の補間の模式図を示す。対応点が見つかった場合、メインカメラの画素を用いて、メインカメラの解像度を持った視差ベクトルとして補間を行う。また、メインカメラとレンズアレイカメラの画素の差は被写体の質感を表す場合がある。そこで、それらの差を保存し、輝度値と色度として対応点間の補間では徐々に変化するように画素値を与えるようにしてもよい。カメラ間の個体差等の輝度ずれや色度ずれのキャリブレーションを行うことでさらに画質を高めることが可能となる。そのため、視差ベクトルの概念として、この画素値の変化量を含めて定義することもできる。

対応点なしの場合の例外処理
図２４に示すステップＳ１３の対応点探索処理で対応点が見出されないとき、視差ベクトルか画素かの２つの場合わけができる。図２８に示すようにレンズアレイカメラで得られた視差ベクトルとメインカメラとの対応点がない場合、レンズアレイカメラで得られた視差ベクトルとしてそのまま保存しておけばよい。ベクトルの解像度を統一するために同じ画素値をもったベクトルをメインカメラの解像度に合わせて分割することもできる。図２９（ａ）、２９（ｂ）、２９（ｃ）に示すように、メインカメラの画素に対応点がない場合、それぞれの画素にベクトルを割り振ることが考えられる。それぞれの画素に対し、仮の視差ベクトルを隣接する視差ベクトルのベクトル情報を基に角度を補完して与える（図２４のステップＳ１９）。その視差ベクトルを用いてレンズアレイカメラの対応する視差ベクトルを探索する（図２４のステップＳ１８）。探索された視差ベクトルの傾きによって仮のベクトルが探索された視差ベクトルより後方にあるオクルージョン関係になるかを判定する（図２４のステップＳ１８、２０）。視差ベクトル（光線空間上の線の傾き）は奥行き位置を表しており、傾きを比較することによって前後関係を確かめることができる。対応する視差ベクトルがない場合、レンズアレイカメラでの視差ベクトルはオクルージョンの関係になっているはずであり、オクルージョン関係が成り立たない場合は矛盾が発生する。その矛盾が発生した場合、視差ベクトルをより後方にして与え直し、矛盾点がないベクトルが与えられるまで繰り返し処理を行う（図２４のステップＳ１８、Ｓ１９、Ｓ２０）。矛盾点が無い場合は、視差ベクトルとして出力する。

視差ベクトルのデータ構造
視差ベクトルは基準点と光線空間上の２次元ベクトル、画素値（Ｒ、Ｇ、Ｂデータなど）を持つ。例えば、メインカメラの画素位置に対応した配列にベクトルと画素値を入れる。また、メインカメラではオクルージョン関係になっているベクトルをレンズアレイカメラの視差中心の画素位置に対応した配列に、必要な部分のみベクトルと画素値を入れる。そして、レンズアレイカメラの画素のデータがある部分のみを示す２値データ、レンズアレイカメラとメインカメラの画素ピッチの比や、主な視差角度差などのメタデータをヘッダとして一緒に入れることが考えられる。

多視点画像の生成
次の多視点画像の生成について説明する。

メッシュデータ処理
多視点画像を作成する一具体例の処理手順を図２７に示し、光線空間上での多視点画像処理の模式図を図３１に示す。多視点画像の要求される解像度や視点数やカメラの配置などのパラメータより、必要とされる画素のメッシュを作成する（図３０のステップＳ３１）。このメッシュはメインカメラやレンズアレイカメラの画素数に関わりなく指定することも可能で、ベクトルデータの補間処理で画素値を決定すればよい。図３１に示す光線空間上のメッシュ傾きはカメラのパースを表している。メインカメラの解像度とパースを与えることによって一番補間が少なく処理負荷が小さいデータが作成できる。

（１）メッシュの切り方と画素の関係
光線空間上の水平軸の水平間隔は必要とされる画素間隔に対応し、メッシュの切り分ける個数は画素数になる。縦軸のｔａｎθのデータ間隔は、立体映像表示装置の視差角度の間隔に対応し、データ数が視差数となる。例えば１０度に１０視差、表示する水平画素数が８００画素を備えた立体映像表示装置を考えると、縦方向は１度間隔の１０個に分割し、水平方向は８００個に分割したメッシュを考えればよい。

（２）背面から書き入れ
作成された視差ベクトルから画像を作成する。前後関係によるオクルージョンの矛盾がないように画像を作成するために、より奥行き値の大きい（奥側になる）画素からメッシュに書き入れる（図３０のステップＳ３２、Ｓ３３）。このような処理を行えば、ベクトルが重なったメッシュ上の点にどちらを入れるかを考えずに処理できる。具体的には、視差ベクトルの光線空間上の傾きをソートし、より奥になる傾きのベクトルを書き入れて入れていき、仮に重なる点があっても、より手前になる、後から書き入れた点を最終的な画素とする（図３０のステップＳ３４）。

（３）空白処理
すべてのベクトルデータを書き入れても、メインカメラとレンズアレイカメラの間のデータなどにおいては空白の画素ができてしまう可能性が高い。どのベクトルも通らない画素は、この画素の近傍に存在するベクトルの中で、一番背面のベクトルの画素を用いて埋める（図３０のステップＳ３５、Ｓ３６）。このようにすることで、オクルージョンの矛盾の少ない画像を作成することができる。

（４）背面ベクトルの膨張処理
空白処理を行うと処理が重くなることが考えられる。空白処理を行わないために、奥行き値の大きい視差ベクトルを予め膨張させてメッシュに書き入れることもできる。奥行き値に応じた膨張係数を与え、処理を行う。結果として空白処理を行ったのと同等の多視点画像が作成できる。

表示と伝送、保存
（１）立体映像表示
上述した多視点画像が出力できれば、立体映像を再現することができる。その詳細は、立体映像表示装置のとこで説明済みである。立体映像撮影装置に立体表示用のディスプレイパネルを取り付け、撮影している画像を奥行き含めて提示しながら撮影することもできる。このとき、多視点画像データからディスプレイにあわせた画像フォーマットに変換しディスプレイに表示を行う処理を伴う。提示を目的にするのであれば、多視点画像データでなく、立体表示用のフォーマットで出力や保存することも考えられる。

（２）伝送・符号化
伝送を行うために、符号化を行うこともできる。図３２にデータ伝送の処理フローを示す。立体表示用の多視点画像を伝送することもできるが、データ量が多くなり効率的でない。また、多視点画像の相関を用いることも考えられるが、それは処理過程で得られる視差ベクトルである。この視差ベクトルを用いて、圧縮データ部６０において、符号化を行って圧縮し、伝送先の復号・データ処理部６４において復号化することにより多視点画像作成し、立体画像提示部６６によって、立体画像を提示すればよい。符号化の例として、メインカメラの画像とそれぞれに与えられている視差ベクトルの角度、対応点との変化関数をメインカメラの解像度で与え、対応点が得られないレンズアレイカメラの視差ベクトルデータとして、ベクトルの画素値、視差ベクトルの角度をレンズアレイカメラの解像度（対応点が得られないデータ部分のみ）を与えることも考えられる。また、動画像に関しては前のフレーム等から得られる動き予測を用いることも考えられる。

（３）保存
伝送だけでなくデータをデータストレージ（テープやメモリ、ＨＤＤなど）に記憶することもできる。図３３にデータ保存の処理フローを示す。データ量として視差ベクトルを用いた圧縮データは、保存するための効率が良い。このため、圧縮データ部６０によって圧縮されたデータを保存部７０において、保存する。立体映像表示を行うときは、保存部７０において保存されたデータを、復号化して多視点画像作成し、立体画像を提示すれば良い。

立体映像表示装置の一具体例を示す斜視図。 立体映像表示装置と、立体画像との関係を示す図。 他の立体映像装置の他の具体例を示す斜視図。 スリットアレイ板の正面図。 第１実施形態の立体映像撮影装置を示す平面図。 第１実施形態の立体映像撮影装置の正面図。 レンズアレイカメラの光学系を示す平面図。 メインカメラの光学系を示す平面図。 第２実施形態の立体映像撮影装置を示す平面図。 第２実施形態の立体映像撮影装置の正面図。 第３実施形態の立体映像撮影装置の正面図。 第４実施形態の立体映像撮影装置の正面図。 第５実施形態の立体映像撮影装置の正面図。 レンズアレイのレンズピッチと撮影素子の関係を示す図。 カメラの輻輳配置を示す図。 撮影素子のシフト配置を説明する図。 第６実施形態の立体映像撮影システムを示すブロック図。 光線と視差角度のとの関係を説明する図。 光線空間と取得画像との関係を示す図。 レンズアレイのレンズピッチが撮影素子の画素ピッチの整数倍のときの光線空間を示す図。 座標系とカメラとの関係を説明する図。 簡易光線空間を示す図。 第６実施形態の一変形例による立体映像撮影システムを示すブロック図。 視差ベクトルの抽出手順を示すフローチャート。 視差ベクトルの抽出処理を光線空間上で示した図。 実空間と光線空間における視差ベクトルを説明する図。 対応点がある場合の画素の補間処理を光線空間上で説明する図。 対応点が無い場合の画素の例外処理を光線空間上で説明する図。 対応点が無い場合の画素の他の例外処理を光線空間上で説明する図。 多視点画像生成処理の手順を説明するフローチャート。 多視点画像生成処理を光線空間上で説明する図。 データ伝送の処理手順を示すフローチャート。 データ保存の処理手順を示すフローチャート。

符号の説明

１０ レンズアレイカメラ
１２ 撮影素子
１２ａ 撮影素子面
１４ レンズアレイ
１６ 結像レンズ（光学系）
２０ メインカメラ
２２ 撮影素子
２２ａ 撮影素子面
２６ 結像レンズ（光学系）
３０ 基線
３５ レンズ
３６ レンズの稜線
５１ 画像取得部
５２ 画像取得部
５３ 光線空間変換部
５４ 視差ベクトル生成処理部
５４ａ 視差ベクトル抽出部
５４ｂ 対応点探索部
５４ｃ 視差ベクトル補間部
５４ｄ 視差ベクトル出力部
５６ 多視点画像生成部
５８ 立体画像表示用データ出力部
１００ 立体映像表示装置
１０１ 平面表示装置
１０２ 光線制御素子
１０３ バックライト
１０４ バックライト用電源
１０５ 平面表示装置の駆動装置
１０６ 三次元実像
１０７ 三次元虚像
１０８ 観察者
１０９ ピンホール
１１０ スリットアレイ基板
１１１ スリット
１１２ マイクロレンズ
１１３ レンチキュラーシート
２００ 被写体
２００ａ 被写体面

Claims (20)

1. 被写体の映像を結像する第１結像レンズ部と、前記第１結像レンズ部によって結像された映像を受け電気信号に変換する複数の撮影画素が表面に設けられた第１撮影素子と、を有する第１画像取得部と、
   前記被写体の映像を結像する第２結像レンズ部と、前記第２結像レンズによって結像された映像を受ける複数のレンズがアレイ状に配列された第１レンズアレイ部と、前記第１レンズアレイ部を通して前記結像された映像を受け電気信号に変換する複数の撮影画素が表面に設けられた第２撮影素子と、を有する第２画像取得部と、
   を備え、
   前記第２画像取得部は、前記第１画像取得部に対して前記被写体から見て水平方向に離れて配置されることを特徴とする立体映像撮影装置。
2. 前記第１結像レンズ部の中心と前記第１撮影素子の中心とを結ぶ第１直線および前記第２結像レンズ部の中心と前記第２撮影素子の中心とを結ぶ第２直線はそれぞれ、前記第１撮影素子の前記表面に直交していることを特徴とする請求項１記載の立体映像撮影装置。
3. 前記第１結像レンズ部の中心と前記第１撮影素子の中心とを結ぶ第１直線および前記第２結像レンズ部の中心と前記第２撮影素子の中心とを結ぶ第２直線はそれぞれ、前記第１撮影素子の前記表面に対して傾いていることを特徴とする請求項１記載の立体映像撮影装置。
4. 前記第１撮影素子の前記表面は、前記第２撮影素子の前記表面に対して傾いていることを特徴とする請求項３記載の立体映像撮影装置。
5. 前記第１撮影素子の前記表面は、前記第２撮影素子の前記表面に対して平行であることを特徴とする請求項３記載の立体映像撮影装置。
6. 前記第１撮影素子の中心と前記第２撮影素子の中心と間の距離は、前記第１結像レンズ部の中心と前記第２結像レンズ部の中心との間の距離よりも大きいことを特徴とする請求項１乃至３のいずれかに記載の立体映像撮影装置。
7. 前記第１レンズアレイ部は、複数のシリンドカルレンズを有し、前記シリンドカルレンズのそれぞれの稜線が前記被写体から見て鉛直方向に配置されていることを特徴とする請求項１乃至６のいずれかに記載の立体映像撮影装置。
8. 前記第１レンズアレイ部は、アレイ状に配列された複数のマイクロレンズを備えていることを特徴とする請求項１乃至６のいずれかに記載の立体映像撮影装置。
9. 前記第１レンズアレイ部のレンズピッチが前記第２撮影素子の画素のピッチの整数倍であることを特徴とする請求項１乃至８のいずれかに記載の立体映像撮影装置。
10. 前記第１結像レンズ部の光学特性と前記第２結像レンズ部の光学特性とが等しく、前記第１撮影素子の撮影画角と前記第２撮影素子の撮影画角が等しいことを特徴とする請求項１乃至９のいずれかに記載の立体映像撮影装置。
11. 前記被写体の映像を結像する第３結像レンズ部と、前記第３結像レンズによって結像された映像を受ける複数のシリンドカルレンズがアレイ状に配列された第２レンズアレイ部と、前記第２レンズアレイ部を通して前記結像された映像を受け電気信号に変換する複数の撮影画素が表面に設けられた第３撮影素子と、を有する第３画像取得部を更に備え、
    前記第３画像取得部は、前記第１画像取得部に対して前記被写体から見て鉛直方向に配置され、前記シリンドカルレンズのそれぞれの稜線が前記被写体からみて水平方向に配置されることを特徴とする請求項１または２記載の立体映像撮影装置。
12. 前記被写体の映像を結像する第３結像レンズ部と、前記第３結像レンズ部によって結像された映像を受け電気信号に変換する複数の撮影画素が表面に設けられた第３撮影素子と、を有する第３画像取得部とを更に備え、
    前記第３画像取得部は、前記第１画像取得部に対して前記被写体から見て鉛直方向に離れて配置されることを特徴とする請求項１または２記載の立体映像撮影装置。
13. 請求項１乃至１０のいずれかに記載の立体映像撮影装置と、
    前記第１画像取得部および前記第２画像取得部によって取得される前記被写体の映像に基づいて、視差ベクトルの生成処理を行う視差ベクトル生成処理部と、
    を備え、
    前記視差ベクトル生成処理部は、
    前記第２画像取得部によって取得される前記映像に基づいて視差ベクトルを抽出する視差ベクトル抽出部と、
    前記第１画像取得部によって取得された映像と、前記視差ベクトル抽出部によって抽出された視差ベクトルとの対応点を探索する対応点探索手段と、
    前記対応点探索部によって探索された対応点と、前記第１画像取得部によって取得された映像とを用いて前記視差ベクトルの解像度を補間する視差ベクトル補間部と、
    を備えていることを特徴とする立体映像撮影システム。
14. 前記視差ベクトル生成処理部は、
    前記対応点探索部によって、前記映像における対応点が得られなかった画素の近傍の視差ベクトルを、前記画素の視差ベクトルとして推定し、割り当てる第１視差ベクトル推定部と、
    前記視差ベクトル抽出部によって抽出された前記視差ベクトルと、前記第１視差ベクトル推定部によって推定された視差ベクトルが矛盾しないか否かを判定する矛盾判定部と、
    矛盾があった場合、より奥行き値が大きく矛盾のない視差ベクトルを推定処理し、前記画素に割り与える第２視差ベクトル推定部と、
    を備えていることを特徴とする請求項１３記載の立体映像撮影システム。
15. 前記想定視距離の撮像面を基準面として、それぞれの位置と角度に対応した前記第１および第２撮像素子の画素の画像情報を光線空間に配置されたデータ構造に変換する光線空間変換部を更に備えていることを特徴とする請求項１３または１４記載の立体映像撮影システム。
16. 与えた視点数と画素数から構成される多視点画像を、前記視差ベクトル生成処理部によって生成された前記視差ベクトルを用いて生成する多視点画像生成部を更に備えていることを特徴とする請求項１３乃至１５のいずれかに記載の立体映像撮影システム。
17. 前記多視点画像生成部は、より背面の視差ベクトルの画素から書き入れ、より前面の画素は上書きをして多視点画像を生成すること特徴とする請求項１６記載の立体映像撮影システム。
18. 前記多視点画像生成部は、前記多視点画像の画素として、前記視差ベクトル生成処理部によって生成された前記視差ベクトルに基づいて、空白の画素を検索し、この空白の画素の近傍で一番奥行き値が大きい視差ベクトルの画素値を、前記空白の画素に埋めることを特徴とする請求項１６または１７に記載の立体映像撮影システム。
19. 前記多視点画像生成部は、より奥行き値の大きい視差ベクトルを、奥行き値に比例し膨張させることを特徴とする請求項１６乃至１８のいずれかに記載の立体映像撮影システム。
20. 多視点画像生成部から立体表示に必要な立体映像データに変換する立体映像変換部と、前記立体映像データを表示する立体映像表示部と、を更に備えていることを特徴とする請求項１３乃至１９のいずれかに記載の立体映像撮影システム。

Images