JPH11102438A - 距離画像生成装置及び画像表示装置 - Google Patents

Abstract

(57)【要約】 【課題】１つの距離測定手段により測定された距離情報
に基づいて他の必要な距離情報を生成するようにし、こ
れによって、２次元画像の入力される視線とは異なる位
置からの距離情報に基づいて当該２次元画像の入力され
る視線に一致した距離情報を得ることができ、距離測定
手段の配置の自由度を増すことを目的とする。 【解決手段】観察対象ＢＴの２次元画像を撮影する撮影
手段ＣＲと、所定位置Ｐ１から観察対象までの距離を測
定し第１距離情報ＦＲｄＡを得る距離測定手段５ＤＲ
と、所定位置と撮影手段の位置との互いの位置関係を示
す情報である位置情報ＬＳを記憶する記憶手段ＭＲと、
第１距離情報と前記位置情報とに基づいて撮影手段の位
置から観察対象までの距離情報である第２距離情報ＦＲ
ｄＢを算出する演算手段ＰＲと、を設ける。

Description

【発明の詳細な説明】

【０００１】本発明は、距離画像生成装置及び画像表示
装置に関し、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅ
ａｌｉｔｙ）において観察者の視点に対する実空間の距
離画像を生成するため、また生成された距離画像に基づ
いてＡＲの画像を表示するために利用される。

【０００２】

【従来の技術】従来より、コンピュータによってつくら
れた情報を人間に提示することによって、人間があたか
も現実の世界であるかのような認識を与える技術が、Ｖ
Ｒ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術として知ら
れている。ＶＲ技術によって、人間が仮想環境内に入り
込んで現実と同じような体験をすることができる。ＶＲ
はまた、Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙと呼称
されることがある。

【０００３】ＶＲ技術の一分野に、Ａｕｇｍｅｎｔｅｄ
Ｒｅａｌｉｔｙ（以下「ＡＲ」という）技術と呼称さ
れる分野がある。ＡＲでは、実空間とコンピュータのつ
くった仮想空間とが混ぜて人間に提示される。つまり、
ＡＲでは実空間が仮想空間により増強される。

【０００４】ＶＲ技術では人間が完全に仮想環境に没入
するのに対して、ＡＲ技術では、実環境に対して仮想環
境を適切に配置することにより、実環境の質を高めるこ
とを目的としている。仮想環境として画像を提示するも
のが視覚的ＡＲである。以下における「ＡＲ」は「視覚
的ＡＲ」を指す。

【０００５】ＡＲ技術の利用例として、患者の脳のＣＴ
スキャン画像を現実の患者の脳に重畳させながら手術を
行うシステム、現実の機械装置の各部品に対しＣＧ（コ
ンピュータグラフィックス）によって注釈を付けて組立
て又は修理などの作業を支援するシステム、現実の部屋
に付加物を置いた場合にどのような感じに見えるかを評
価するシステム、都市の再開発で新しい建物を建てた場
合の景観を実物大で実際の場所で評価するシステムなど
が考えられる。

【０００６】ＡＲ技術では、実空間と仮想空間とを同時
に人間に提示するために、通常、ＨＭＤ（Ｈｅａｄ Ｍ
ｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が用いられる。ＨＭＤ
には、光学式によるものとビデオ信号によるものとがあ
る。

【０００７】図１３は従来の光学式のＨＭＤによるＡＲ
システム８０の原理を示す図、図１４は従来のビデオ方
式のＨＭＤによるＡＲシステム９０の原理を示す図であ
る。図１３に示すＡＲシステム８０では、観察者の眼の
前の視線上に配置されたハーフミラー８１を透して実空
間画像を見ることができ、投影機８２が投影する仮想空
間画像をハーフミラー８１を介して見ることができる。
これによって、仮想空間画像が実空間画像とオーバーラ
ップして提示される。なお、観察者の頭部には視点を検
出するための位置・姿勢検出器８３が設けられ、位置・
姿勢検出器８３の出力に基づいて、ワークステーション
８４から投影機８２に対して仮想空間画像の信号が送出
される。

【０００８】図１４に示すＡＲシステム９０では、左右
の眼と共役な位置に配置された２つのカメラ９３によっ
て、両面ミラー９１に写った実空間画像が撮影される。
撮影された実空間画像と仮想空間画像とがワークステー
ション９５によって合成され、合成された画像が投影機
９２から投影される。その結果、実空間画像と仮想空間
画像との合成画像が両面ミラー９１を介して観察者に提
示される。

【０００９】

【発明が解決しようとする課題】ＡＲの実現のために
は、従来から指摘されている位置合わせの問題の他に、
遮蔽関係を正しく表現することが必要である。しかし、
上述したいずれのＡＲシステム８０，９０においても、
観察者に近い空間又は物体によって遠い空間又は物体が
遮蔽されるという遮蔽関係を正しく表現することができ
ない。

【００１０】すなわち、前者のＡＲシステム８０におい
ては、仮想空間の物体の後ろに実空間が透けていると決
まっており、観察者には仮想空間及び実空間の両方の画
像が単に重なって見える。したがって、このシステムで
は遮蔽関係を表現することは全くできない。

【００１１】後者のＡＲシステム９０においては、遠近
に関係なく仮想空間の物体が常に実空間の物体を覆い隠
すようになっており、遮蔽関係を正しく表現できない。
つまり、仮想空間の物体が実空間の物体よりも近い場合
には遮蔽関係は正しいが、その反対に実空間の物体が近
い位置にある場合であっても、実空間の物体が遠い位置
にあるはずの仮想空間の物体によって遮蔽されてしま
い、遮蔽関係が逆になってしまう。

【００１２】視覚心理学の知見によると、遮蔽関係が正
しく表現されていない状態では、輻輳・視差情報と遮蔽
関係との矛盾のために、立体視が阻害されたり予想外の
立体視をしてしまうことが報告されている。つまり、遮
蔽関係を正しく表現することはＡＲ技術にとって極めて
重要である。

【００１３】本出願人は、遮蔽関係を正しく表現するこ
とのできるＨＭＤを特願平９−１３３１５９号として先
に提案した。そのＨＭＤにおいては、仮想空間画像の画
素と同じ位置にある実空間画像の画素に対して、実空間
画像の距離と仮想空間画像の距離とを比較し、観察者に
近い方の画素を選択して表示するように構成されてい
る。

【００１４】図１５は先に提案したＨＭＤ７０の外観を
示す斜視図である。ＨＭＤ７０においては、観察者の視
線で観察対象までの距離を測定するために、ＨＭＤ７０
上における観測者の左右の各眼の近傍位置に、スリット
投影機７１Ｒ，Ｌがそれぞれ配置されている。これら２
つのスリット投影機７１Ｒ，Ｌから投影されたスリット
光ＵＲ，ＵＬの各反射光は、ＨＭＤ７０の左右の各撮像
部７２Ｒ，Ｌに設けられた受光部７３Ｒ，Ｌで受光さ
れ、これによって、左右の２次元画像（実空間画像）の
各画素について正確な距離情報が得られる。得られた左
右の各距離情報に基づいて、遮蔽関係を正しく表現する
ことができる。

【００１５】しかし、図１５に示すＨＭＤ７０において
は、左右の各眼の近傍位置にスリット投影機７１Ｒ，Ｌ
を設ける必要があるので、その配置及び取り付けの構造
が複雑となり、ＨＭＤ７０が全体として大型になる。

【００１６】特に、ＨＭＤ７０はアクティブ方式である
ので、スリット投影機７１Ｒ，Ｌから投影されたスリッ
ト光ＵＲ，ＵＬを受光するために、２次元画像を入力す
るための受光装置とは別の受光部７３Ｒ，Ｌが必要であ
り、それらの視線を正確に一致させることが容易ではな
い。

【００１７】本発明は、上述の問題に鑑みてなされたも
ので、１つの距離測定手段により測定された距離情報に
基づいて他の必要な距離情報を生成するようにし、これ
によって、２次元画像の入力される視線とは異なる位置
からの距離情報に基づいて当該２次元画像の入力される
視線に一致した距離情報を得ることができ、距離測定手
段の配置の自由度を増すことのできる距離画像生成装置
を提供することを目的とする。

【００１８】特に請求項３の発明は、一方の眼の近傍位
置に設けられた距離測定手段で測定された距離情報によ
り両眼の距離情報を得ることができ、ＨＭＤの小型化を
図ることを目的とする。

【００１９】

【課題を解決するための手段】請求項１の発明に係る装
置は、観察対象ＢＴの２次元画像ＦＲを撮影する撮影手
段１２と、所定位置Ｐ１から前記観察対象ＢＴまでの距
離を測定し第１距離情報ＦＲｄＬを得る距離測定手段と
５Ｌ（ＵＢＬ，１２Ｒ）、前記所定位置Ｐ１と前記撮影
手段１２の位置との互いの位置関係を示す情報である位
置情報ＬＳを記憶する記憶手段３７と、前記第１距離情
報ＦＲｄＬと前記位置情報ＬＳとに基づいて前記撮影手
段１２の位置から前記観察対象ＢＴまでの距離情報であ
る第２距離情報ＦＲｄＲを算出する演算手段３６と、を
有して構成される。

【００２０】請求項２の発明に係る装置は、所定位置Ｐ
１から観察対象ＢＴまでの距離を測定し第１距離情報Ｆ
ＲｄＬを得る距離測定手段５Ｌ（ＵＢＬ，１２Ｒ）と、
前記所定位置Ｐ１と前記観察対象ＢＴを観察する観察者
ＢＳの眼の位置との互いの位置関係を示す情報である位
置情報ＬＳを記憶する記憶手段３７と、前記第１距離情
報ＦＲｄＬと前記位置情報ＬＳとに基づいて前記観察者
ＢＳの眼の位置から前記観察対象ＢＴまでの距離情報で
ある第２距離情報ＦＲｄＲを算出する演算手段３６と、
を有して構成される。

【００２１】請求項３の発明に係る装置は、観察者ＢＳ
の一方の眼ＥＲの近傍位置から観察対象ＢＺまでの距離
を測定し第１距離情報ＦＲｄＬを得る距離測定手段５Ｌ
（ＵＢＬ，１２Ｒ）と、前記観察者ＢＳの一方の眼ＥＲ
の位置と他方の眼ＥＬの位置との互いの位置関係を示す
情報である位置情報ＬＳを記憶する記憶手段３７と、前
記第１距離情報ＦＲｄＬと前記位置情報ＬＳとに基づい
て前記観察者ＢＳの他方の眼ＥＲの位置から前記観察対
象ＢＴまでの距離情報である第２距離情報ＦＲｄＲを算
出する演算手段３６と、を有して構成される。

【００２２】請求項４の発明に係る装置は、観察対象Ｂ
Ｔの第１の２次元画像ＦＲを撮影する撮影手段１２と、
所定位置Ｐ１から前記観察対象ＢＴまでの距離を測定し
第１距離情報ＦＲｄＬを得る距離測定手段５ＡＬ，５
Ｌ，ＵＢＬ，１２Ｒと、前記所定位置Ｐ１と前記撮影手
段１２の位置との互いの位置関係を示す情報である位置
情報ＬＳを記憶する記憶手段３７と、前記第１距離情報
ＦＲｄＬと前記位置情報ＬＳとに基づいて前記撮影手段
１２の位置から前記観察対象ＢＴまでの距離情報である
第２距離情報ＦＲｄＲを算出する演算手段３６と、前記
撮影手段１２の視点を検出し視点情報を得る視点検出手
段１５と、前記視点情報Ｓ１と予め記憶された情報とに
基づいて、第２の２次元画像ＦＶと前記第２の２次元画
像ＦＶの各点に対応する第３距離情報ＦＶｄとを出力す
る出力手段３１と、前記第２距離情報ＦＲｄＲと前記第
３距離情報ＦＶｄとを画素毎に比較する比較手段３４
と、前記比較手段３４の出力に基づいて、前記第１の２
次元画像ＦＲと前記第２の２次元画像ＦＶのうち距離が
近い方の画素データを選択する選択手段３４と、選択さ
れた画素データ群を合成画像として表示する表示手段１
３と、を有して構成される。

【００２３】図１は本発明の距離画像生成装置ＧＡの原
理を示す図である。図１において、観察対象ＢＴの２次
元画像（実空間画像）を撮影する撮影手段ＣＲは、例え
ば観察者ＢＳの視線と一致するように配置されている。
距離測定手段ＤＲは、撮影手段ＣＲに対して既知の距離
だけ離れた位置Ｐ１に配置されている。

【００２４】距離測定手段ＤＲによって、位置Ｐ１から
観察対象ＢＴまでの距離が測定され、距離情報ＦＲｄＡ
が得られる。距離情報ＦＲｄＡは、演算手段ＰＲに入力
される。位置Ｐ１と位置Ｐ２との相互の位置関係は、位
置情報ＬＳとして記憶手段ＭＲに記憶されている。

【００２５】演算手段ＰＲにおいて、入力された距離情
報ＦＲｄＡ及び位置情報ＬＳに基づいて、撮影手段ＣＲ
の位置Ｐ２から観察対象ＢＴまでの距離を算出し、それ
を距離情報ＦＲｄＢとして出力する。これによって、距
離測定手段ＤＲが撮影手段ＣＲとは離れた位置に配置さ
れているにも係わらず、撮影手段ＣＲの位置Ｐ２から見
た距離情報ＦＲｄＢが得られる。

【００２６】撮影手段ＣＲは、観察者ＢＳの眼の視線と
一致する位置、その他の任意の位置に配置される。距離
測定手段ＤＲは、観察者ＢＳの一方の眼の近傍位置、そ
の他の任意の位置に配置される。位置情報ＬＳは、撮影
手段ＣＲ及び距離測定手段ＤＲのそれぞれの絶対位置の
情報、又はそれらの相対位置（位置の差）の情報などで
ある。位置情報ＬＳは、撮影手段ＣＲ及び距離測定手段
ＤＲが固定位置に配置されている場合には、予め決めら
れた固定情報であり、いずれか又は両方が移動する場合
には、それらの相対位置に応じた可変情報となる。

【００２７】

【発明の実施の形態】図２は本発明に係る距離画像生成
装置ＧＡを備えた表示装置１の原理的な構成の概略を示
すブロック図、図３は表示装置１の遮蔽画素切替え部１
４の構成を示すブロック図である。なお、各図におい
て、特に右眼用と左眼用とを区別する必要のある場合
は、右眼用に「Ｒ」を、左眼用に「Ｌ」を、それぞれ符
号の末尾に付す。また、図２おいては、特に左眼用の撮
像部１２Ｌ及びスリット投影部１８Ｌが示されている。

【００２８】図２において、表示装置１は、ミラー１
１、撮像部１２、スリット投影部１８Ｌ、表示部１３、
遮蔽画素切替え部１４、位置検出センサ（位置・姿勢検
出センサ）１５、及び仮想空間画像出力部１６などから
構成されている。なお、ミラー１１、撮像部１２、及び
表示部１３は、左右の眼ＥＬ，ＥＲにそれぞれ対応して
設けられている。撮像部１２は、左眼用の撮像部１２Ｌ
と右眼用の撮像部１２Ｒとで構成が異なる。スリット投
影部１８Ｌは左眼用にのみ設けられており、その配置位
置は右眼ＥＲの外側の近傍位置である。

【００２９】ミラー１１は、両面に反射面を有するもの
であり、観察者ＢＳの左右の眼ＥＬ，ＥＲの前方におい
て、その視線方向に対してほぼ４５度の角度を有するよ
うに配置されている。

【００３０】撮像部１２は、観察者ＢＳの左右の各眼Ｅ
Ｌ，ＥＲと光学的に共役な位置に配置されたカラーセン
サ５４を備えている。したがって、各眼ＥＬ，ＥＲと各
撮像部１２Ｌ，Ｒの視点とは一致する。カラーセンサ５
４は、ミラー１１に写る実空間画像ＦＲを撮影するもの
である。撮像部１２のうち、左眼用の撮像部１２Ｌは計
測用センサ５３を備えている。計測用センサ５３は、ス
リット投影部１８Ｌから投影されるスリット光Ｕの観察
対象ＢＴによる反射光を受光し、左眼ＥＬから観察対象
ＢＴを見たときの奥行き情報（距離情報）ＦＲｄＬを生
成するためのものである。撮像部１２Ｌにおいては、カ
ラーセンサ５４Ｌと計測用センサ５３との間に、可視光
と赤外光とを分離するための赤外反射ミラー５２が設け
られている。詳細は後述する。

【００３１】視点差データ用メモリ３７には、撮像部１
２Ｒの位置と撮像部１２Ｌの位置との互いの位置関係を
示す位置情報ＬＳが記憶されている。視点変換演算回路
３６は、左眼用の距離情報ＦＲｄＬ及び位置情報ＬＳに
基づいて、右眼ＥＲから観察対象ＢＴを見たときの奥行
き情報（距離情報）ＦＲｄＲを算出する。

【００３２】表示部１３は、遮蔽画素切替え部１４から
出力される合成画像ＦＭを表示する。観察者ＢＳは、ミ
ラー１１を介して表示部１３に表示された合成画像ＦＭ
を観察する。撮像部１２と表示部１３とは、観察者ＢＳ
の視線と実質的に同一視線上に配置されている。表示部
１３として、液晶パネル又はＣＲＴなど、従来から公知
の種々の表示デバイスが用いられる。各種のレンズ又は
ミラーも必要に応じて用いられる。

【００３３】遮蔽画素切替え部１４は、実空間画像ＦＲ
と仮想空間画像ＦＶとを、上で得られた距離情報ＦＲｄ
Ｌ，ＦＲｄＲに基づき、観察者ＢＳの視点からの距離
（奥行き）に応じて画素毎に切り替えて出力する。詳細
は後述する。

【００３４】位置検出センサ１５は、観察者ＢＳの位置
及び姿勢を検出するものであり、その出力信号Ｓ１に基
づいて観察者ＢＳの視点を検出する。位置検出センサ１
５及び信号Ｓ１に基づく視点の検出方法は従来より公知
である。

【００３５】仮想空間画像出力部１６は、位置検出セン
サ１５の出力する信号Ｓ１と予め記憶された仮想空間情
報ＤＶとに基づいて、仮想空間画像ＦＶとその各画素に
対応する距離情報である仮想空間距離画像ＦＶｄとを出
力する。仮想空間情報ＤＶとして、種々の方法により撮
影した画像データ、ＣＧにより作成した画像データ、又
はそれらの画像データを生成するためのプログラムな
ど、種々のものが用いられる。

【００３６】遮蔽画素切替え部１４及び仮想空間画像出
力部１６は、適当なハードウエアにより、ワークステー
ション又はパーソナルコンピュータなどの適当な処理装
置にインストールされたプログラムを実行することによ
り、又はそれらの併用により実現することができる。そ
のようなプログラムは、ＲＡＭ、ＲＯＭ、ハードディス
ク装置などに格納され、又はＣＤ−ＲＯＭ装置、光磁気
ディスク装置、フロッピィディスク装置などによってそ
れぞれ対応する記録媒体から読み出され、又は通信回線
を介してホストからダウンロードされる。プログラム
は、種々のＯＳ、システム環境、又はプラットホームの
下で動作するように供給可能である。

【００３７】表示装置１においては、観察者ＢＳの左右
の眼ＥＬ，ＥＲと光学的に共役な位置にある撮像部１２
からの実空間画像ＦＲを基にして、後述する手法により
視点距離座標を計算し、視点からの距離に応じて実空間
画像ＦＲと仮想空間画像ＦＶとを画素毎に切り替えて合
成画像ＦＭを生成し、これを観察者ＢＳに提示する点が
１つの特徴である。

【００３８】一般に、ＣＧにおいては、遮蔽関係を正し
く表現するためにＺバッファ法が用いられている。実空
間と仮想空間との間においても同様な手法で遮蔽関係を
表現するために、金出らによってＺ−ｋｅｙという考え
方が提案された。これはカメラ座標系におけるｚ座標値
によって実空間と仮想空間とを切り替えて表示する方法
である。遮蔽画素切替え部１４はこのＺ−ｋｅｙの考え
方を利用してそれをさらに押し進めたものである。

【００３９】図３において、遮蔽画素切替え部１４は、
実空間画像出力部２１、比較部２２、及び選択部２３を
備えている。実空間画像出力部２１は、色情報生成部２
１１及び奥行き情報生成部２１２を備える。色情報生成
部２１１は、カラーセンサ５４で撮影された実空間画像
ＦＲに基づいて色情報ＦＲｃを生成する。奥行き情報生
成部２１２は、計測用センサ５３から出力される距離情
報に基づいて、実空間画像ＦＲの各画素に対応する奥行
き情報（距離情報）ＦＲｄを生成する。奥行き情報ＦＲ
ｄは実空間距離画像に相当するので、奥行き情報ＦＲｄ
を実空間距離画像ＦＲｄと記載することがある。また、
色情報ＦＲｃは実空間画像ＦＲと同一であることもあ
る。

【００４０】なお、図３において、仮想空間画像出力部
１６は、仮想空間情報記憶部１６０、色情報生成部１６
１、及び奥行き情報生成部１６２を備える。仮想空間情
報記憶部１６０には仮想空間情報ＤＶが記憶されてい
る。色情報生成部１６１は、信号Ｓ１及び仮想空間情報
ＤＶに基づいて色情報ＦＶｃを生成する。奥行き情報生
成部１６２は、信号Ｓ１及び仮想空間情報ＤＶに基づい
て、色情報ＦＶｃの各画素に対応する奥行き情報（距離
情報）ＦＶｄを生成する。奥行き情報ＦＶｄは仮想空間
距離画像に相当するので、奥行き情報ＦＶｄを仮想空間
距離画像ＦＶｄと記載することがある。また、色情報Ｆ
Ｖｃは仮想空間画像ＦＶと同一であることもある。

【００４１】比較部２２は、実空間距離画像ＦＲｄと仮
想空間距離画像ＦＶｄとを画素毎に比較し、比較結果を
示す信号Ｓ２を出力する。選択部２３は、比較部２２か
らの信号Ｓ２に基づいて、実空間画像ＦＲと仮想空間画
像ＦＶとのうち視点に近い方の画素の画像データを選択
する。したがって、選択部２３からは、実空間画像ＦＲ
と仮想空間画像ＦＶとのうち視点に近い方の画素の画像
データの集合である合成画像ＦＭが出力される。

【００４２】このように、表示装置１においては、遮蔽
画素切替え部１４を用いることにより、実空間と仮想空
間との融合の際に実空間の立体構造を推定する必要がな
くなる。すなわち、実空間及び仮想空間の各画像ＦＲ，
ＦＶを各画素の色情報ＦＲｃ，ＦＶｃと奥行き情報ＦＲ
ｄ，ＦＶｄで表現することにより、上述のような単純な
回路を用いて電気信号レベルで両者を正しく融合できる
ようになる。ＡＲのようなリアルタイム処理が求められ
るアプリケーションにとって、こうした特徴は非常に役
立つものである。

【００４３】さて、ＡＲにＺ−ｋｅｙを適用するために
は、リアルタイムで視点座標系からの距離画像を計測す
る必要がある。次に、本実施形態における距離画像の計
測手法及び算出手法を含めて表示装置１の細部の具体的
な例について説明する。

【００４４】図４は表示装置１に用いられるＨＭＤ（ヘ
ッド・マウント・ディスプレイ）３の外観を示す斜視図
である。ＨＭＤ３は、観察者ＢＳの左眼ＥＬに虚像を表
示するとともに外界の風景の像及び距離情報を取り込む
ための左眼用の表示・撮像ユニットＵＡＬ、観察者ＢＳ
の右眼ＥＲに虚像を表示するとともに外界の風景の像を
取り込むための右眼用の表示・撮像ユニットＵＡＲ、及
び左眼用の距離を計測するためのスリット光Ｕを投影す
る左眼用のスリット投影機ＵＢＬから構成される。な
お、スリット投影機ＵＢＬから投影されるスリット光Ｕ
は赤外光である。

【００４５】左眼用のスリット投影機ＵＢＬは、距離計
測のための基線長が長くなるように、右眼用の表示・撮
像ユニットＵＡＲの右側の端面に配置されている。な
お、上に述べた位置検出センサ１５はＨＭＤ３上に設け
られている。

【００４６】図５は左眼用の表示・撮像ユニットＵＡＬ
の光学系の構成を示す図、図６は右眼用の表示・撮像ユ
ニットＵＡＲの光学系の構成を示す図、図７は撮像系及
び表示系の画角を説明する図である。図５及び図６にお
いて、図２に示す要素と同一の機能を有する要素には同
一の符号を付してある。

【００４７】図５において、左眼用の表示・撮像ユニッ
トＵＡＬは、撮像部１２Ｌ及び表示部１３Ｌを備える。
撮像部１２Ｌは、撮影レンズ（撮影レンズ系）５１Ｌ、
赤外反射ミラー５２、計測用センサ５３、及びカラーセ
ンサ５４Ｌを備える。外界の風景の像は、ミラー１１Ｌ
で反射した後、撮影レンズ５１Ｌにより集光され、赤外
反射ミラー５２を透過してカラーセンサ５４Ｌ上に結像
する。スリット投影機ＵＢＬによって作られたスリット
像は、ミラー１１Ｌで反射した後、撮影レンズ５１Ｌに
より集光され、赤外反射ミラー５２で反射して計測用セ
ンサ５３上に結像する。計測用センサ５３からは距離情
報ＦＲｄＬが出力され、この距離情報ＦＲｄＬに基づい
て後述する３角測距演算が行われる。

【００４８】表示部１３Ｌは、接眼光学系１３１Ｌ及び
表示デバイス１３２Ｌを備える。観察者ＢＳは、左眼Ｅ
Ｌで、表示デバイス１３２Ｌに表示された映像を、接眼
光学系１３１Ｌ及びミラー１１Ｌを介して、１ｍから無
限遠の距離に拡大された虚像として観察する。

【００４９】ここで、カラーセンサ５４Ｌの中心点及び
撮影レンズ５１Ｌの主点を通る軸を撮像系の光軸と定
め、カラーセンサ５４Ｌの中心点に対応する表示デバイ
ス１３２Ｌ上の点及び接眼光学系１３１Ｌの主点を通る
軸を表示系の光軸と定める。

【００５０】このとき、観察者ＢＳの視線が撮像系の光
軸と一致するように、しかも表示系の光軸が撮像系の光
軸とほぼ一直線状になるように構成される。また、観察
者ＢＳの瞳の位置は表示系の光軸上に位置するように構
成される。そして、計測用センサ５３の中心点及び撮影
レンズ５１Ｌの主点を通る光軸についても、撮像系の光
軸とほぼ一致するように構成され、これによって、カラ
ーセンサ５４Ｌから得られる実空間画像ＦＲと計測用セ
ンサ５３から得られる実空間距離画像ＦＲｄＬとの対応
が取り易くなっている。

【００５１】また、撮像部１２Ｌ及び表示部１３Ｌは、
観察者ＢＳが観察する画角（視野角）θｏと、撮像部１
２Ｌにより撮影される画角θｃとが実質的に一致するよ
うに構成されている。

【００５２】すなわち、図７に示すように、撮影レンズ
５１Ｌの主点Ｏからカラーセンサ５４Ｌの中心点Ｃまで
の距離をＳとし、カラーセンサ５４Ｌの撮像面のサイズ
をＬとする。また、表示デバイス１３２Ｌの表示面のサ
イズをｍとし、接眼光学系１３１Ｌの焦点距離をｆと
し、図７に示すように表示デバイス１３２Ｌの側でテレ
セントリックになるように観察者ＢＳの左眼ＥＬを接眼
光学系１３１Ｌの焦点位置においたとする。このとき、
次の式、 Ｌ／Ｓ＝ｍ／ｆ を満たすように配置すると、視野各θｏと画角θｃとは
ほぼ一致する。撮像部１２Ｌ及び表示部１３Ｌはこのよ
うに配置されており、観察者ＢＳは違和感を感じること
なく実世界を観察することが可能となっている。

【００５３】図６に示すように、右眼用の表示・撮像ユ
ニットＵＡＲには、左眼用の表示・撮像ユニットＵＡＬ
における赤外反射ミラー５２及び計測用センサ５３が設
けられていないが、それ以外の構成は、左眼用の表示・
撮像ユニットＵＡＬの構成と同様である。

【００５４】図８はＨＭＤ３における左眼用の測距装置
５Ｌの機能構成を示すブロック図である。図中の実線矢
印は電気信号の流れを示し、破線矢印は光の流れを示し
ている。

【００５５】測距装置５Ｌは、撮像部１２Ｌ及びスリッ
ト投影機ＵＢＬを含んで構成される。スリット投影機Ｕ
ＢＬに設けられた投光側の光学系において、半導体レー
ザなどからなるスリット光発生器４１が射出する赤外領
域のレーザビームは、投光レンズ系４２を通過すること
によってスリット光Ｕとなり、走査手段（ガルバノミラ
ー）４３によって偏向される。スリット光発生器４１の
ドライバ４４、及び投光レンズ系４２と走査手段４３の
図示しない駆動系は、システムコントローラ６１によっ
て制御される。

【００５６】撮像部１２Ｌに設けられた光学系におい
て、ズームユニットなどの撮影レンズ５１によって集光
された光は赤外反射ミラー（又はビームスプリッタ）５
２によって分光される。スリット光発生器４１から射出
される赤外領域の光は、計測用センサ５３に入射する。
可視帯域の光は、モニタ用のカラーセンサ５４に入射す
る。計測用センサ５３及びカラーセンサ５４は、どちら
もＣＣＤエリアセンサである。

【００５７】計測用センサ５３による撮像情報は、ドラ
イバ５５からのクロックに同期してメモリに格納され、
距離演算回路７３に出力される。カラーセンサ５４によ
る撮像情報は、ドライバ５６からのクロックに同期して
カラー処理回路へ出力された後、ディジタル画像生成部
６８で量子化されてカラー画像用メモリ６９Ｌに格納さ
れる。距離演算回路７３は、計測用センサ５３から出力
される撮像情報に基づいて距離情報ＦＲｄＬを算出し、
距離情報ＦＲｄＬは距離データ用メモリ６４Ｌに格納さ
れる。

【００５８】図９は表示装置１の全体的な回路を示すブ
ロック図である。表示装置１は、測距部５ＡＬ、撮像部
１２Ｌ，Ｒ、位置検出センサ１５、カラー画像用メモリ
６９Ｌ，Ｒ、距離データ用メモリ６４Ｌ，Ｒ、視点差デ
ータ用メモリ３７、視点変換演算回路３６、画像比較・
統合回路３４Ｌ，Ｒ、仮想物体演算回路３１、仮想距離
データ用メモリ３２Ｌ，Ｒ、仮想カラー画像用メモリ３
３Ｌ，Ｒ、画像用メモリ３５Ｌ，Ｒ、及び表示部１３
Ｌ，Ｒなどを有している。測距部５ＡＬと撮像部１２Ｌ
によって上述の測距装置５Ｌが構成されている。

【００５９】測距装置５Ｌは、図８において説明したと
おりであり、これによって左眼用の色情報ＦＲｃＬとそ
の画素毎の距離情報ＦＲｄＬとが同時に得られる。撮像
部１２Ｒによって、右眼用の色情報ＦＲｃＲが得られ
る。視点差データ用メモリ３７、視点変換演算回路３
６、及び表示部１３Ｌ，Ｒなどについては、図２で説明
したとおりである。

【００６０】仮想物体演算回路３１は、位置検出センサ
１５から出力される信号Ｓ１、及び計測用センサ５３と
の間における既知の位置関係に基づいて、仮想物体の距
離情報ＦＶｄＲ，Ｌ、及び色情報ＦＶｃＲ，Ｌを生成す
る。生成された距離情報ＦＶｄＲ，Ｌ及び色情報ＦＶｃ
Ｒ，Ｌは、仮想距離データ用メモリ３２Ｒ，Ｌ、及び仮
想カラー画像用メモリ３３Ｒ，Ｌに格納される。

【００６１】画像比較・統合回路３４Ｒ，Ｌは、各画素
について、測定されたの距離情報ＦＲｄＲ，Ｌと仮想物
体の距離情報ＦＶｄＲ，Ｌとを比較し、近い方の色情報
（カラー画像）をその画素の統合色情報（合成画像Ｆ
Ｍ）とする。統合色情報は画像用メモリ３５Ｒ，Ｌに格
納された後、表示部１３Ｒ，Ｌにより表示される。

【００６２】図９に示す仮想物体演算回路３１、仮想距
離データ用メモリ３２Ｒ，Ｌ、及び仮想カラー画像用メ
モリ３３Ｒ，Ｌは、図３に示す仮想空間画像出力部１６
に相当する。また、画像比較・統合回路３４Ｒ，Ｌは、
比較部２２及び選択部２３に相当する。

【００６３】次に、視点変換演算回路３６で行われる演
算処理について説明する。図１０はＨＭＤ３と観察対象
ＢＴとの位置関係を示す図である。図１０及び他の図を
参照して、左眼用の測距装置５Ｌにより計測された距離
情報ＦＲｄＬを右眼ＥＲから見た距離情報ＦＲｄＲに変
換し、右眼用の撮像部１２Ｒから見た距離画像を得る過
程を説明する。

【００６４】観察者ＢＳはＨＭＤ３を装着し、観察対象
ＢＴを観察している。表示・撮像ユニットＵＡＬ，ＵＡ
Ｒにおける各撮像部１２Ｌ，Ｒの座標係を、それぞれ左
眼ＥＬの撮像部座標系ＬＣ、右眼ＥＲの撮像部座標系Ｒ
Ｃとする。各撮像部座標系ＬＣ，ＲＣにおいて、それぞ
れ左眼用及び右眼用の画像平面ＫＬ，ＫＲが定義され
る。

【００６５】右眼用の撮像部１２Ｒは、左眼用の撮像部
１２Ｌの位置からＸ軸方向に距離ｈだけ平行移動した位
置に配置されているものとする。なお、この情報は位置
情報ＬＳとして視点差データ用メモリ３７に記憶されて
いる。

【００６６】各撮像部座標系ＬＣ，ＲＣの原点Ｏ１，Ｏ
２は、各表示・撮像ユニットＵＡＬ，ＵＡＲのそれぞれ
における光学系の光軸と、各撮像部座標系ＬＣ，ＲＣの
ｘｙ座標平面との交点とする。

【００６７】また、左眼ＥＬの投影中心Ｓ１及び右眼Ｅ
Ｒの投影中心Ｓ２は、それぞれの撮像部座標系ＬＣ，Ｒ
Ｃにおいて（０，０，Ｓ）の位置にあるものとする。左
眼用の画像平面ＫＬ上の点Ａi,j (Xi,j , yi,j , 0) に
対応する観察対象ＢＴ上の点Ｐの座標は、点Ａi,j の距
離をｄi,j とすると、三角形の相似則から、Ｐ(Xi,j *
di,j/S , yi,j * di,j/S，di,j) となる。但し「＊」は
積演算を示す。

【００６８】点Ｐを右眼ＥＲから見たときの右眼用の画
像平面ＫＲ上の点Ｂi,j の座標は、三角形の相似則か
ら、Ｂi,j (Xi,j - h*S/di,j , yi,j , 0)となる。左眼
用の画像平面ＫＬ上の隣り合った３つの点Ａi,j , Ａi,
j+1 , Ａi+1,j が、右眼用の画像平面ＫＲ上においてそ
れぞれ点Ｂi,j , Ｂi,j+1 , Ｂi+1,j に対応するとする
と、それぞれの点での距離データは、di,j , di,j+1 ,
di+1,jとなる。そして、３つの点Ｂi,j , Ｂi,j+1 , Ｂ
i+1,j で囲まれた三角形内の右眼用の画像平面ＫＲ上の
画素Ｃm,n(pm,n , qm,n , 0) の値Ｚn,m は、次の式で
示される。

【００６９】

【数１】

【００７０】一般に、点Ｐを右眼用の画像平面ＫＲ上に
投影した点Ｂは、右眼用の撮像部座標系ＲＣを左眼用の
撮像部座標系ＬＣに一致させるために必要な平行移動と
回転移動の行列をそれぞれＴ，Ｒとし、３次元空間上の
座標値を撮像部座標に変換する透視変換行列をＳとする
と、 Ｂ＝ＳＴＲＰ として求めることができる。

【００７１】上述の実施形態においては、左右の色情報
ＦＲｃに対応する距離情報ＦＲｄのうち、実際に測定す
るのは左眼用の距離情報ＦＲｄＬのみであり、右眼用の
距離情報ＦＲｄＲは左眼用の距離情報ＦＲｄＬに基づい
て視点変換演算回路３６により演算で求められる。した
がって、左眼用のスリット投影機ＵＢＬのみをＨＭＤ３
に設ければよく、ＨＭＤ３の小型化を図ることができ
る。また、右眼用の撮像部１２Ｒには計測用センサが不
要であり、且つ測距部５ＡＬも不要であるので、その構
造及び回路が簡素化される。また、スリット投影機ＵＢ
Ｌ及び測距部５ＡＬが左眼用に１つのみであるので、そ
の調整作業が容易である。

【００７２】また、測定された距離情報ＦＲｄＬに基づ
いて、それとは位置の異なる点の距離情報ＦＲｄＲが座
標変換によって求められる。つまり、実空間画像（２次
元画像）の視線と異なる位置からの距離情報に基づいて
実空間画像の視線に一致した距離情報を得ることができ
る。したがって、スリット投影機ＵＢＬ又は測距部５Ａ
Ｌは、その位置情報が得られる限りにおいてその配置位
置を自由に設定することができ、配置の自由度を増すこ
とができる。

【００７３】また、上述の実施形態によると、電気信号
レベルでの実空間画像ＦＲと仮想空間画像ＦＶとの融合
が可能である。実空間画像ＦＲ（２次元画像）の各画素
について正確な距離情報ＦＲｄを得ることができ、遮蔽
関係を正しく表現することができる。また、実空間画像
ＦＲ及び距離情報ＦＲｄの測定の視点及び視野を観察者
の視点及び視野と一致させているので、実空間画像ＦＲ
と距離情報（実空間距離画像）ＦＲｄとがよく一致し、
しかも観察者ＢＳが違和感を感じることなく合成画像で
あるＡＲ画像を観察することができる。

【００７４】また、観察者ＢＳの視点からの距離を求め
て実空間距離画像ＦＲｄ及び仮想空間距離画像ＦＶｄを
得るので、実空間距離画像ＦＲｄと仮想空間距離画像Ｆ
Ｖｄとの位置合わせが不要である。

【００７５】次に、表示装置の他の実施形態について説
明する。図１１は他の実施形態の表示装置２に用いられ
るＨＭＤ４の外観を示す斜視図である。

【００７６】図１１に示すように、ＨＭＤ４は、左眼用
の表示・撮像ユニットＵＡＬ１、右眼用の表示・撮像ユ
ニットＵＡＲ１、左眼用のスリット投影機ＵＢＬ１、及
び左眼用のスリット受光機ＵＣＬ１から構成される。

【００７７】左眼用の表示・撮像ユニットＵＡＬ１及び
右眼用の表示・撮像ユニットＵＡＲ１の光学系の構成
は、ともに上述のＨＭＤ３における右眼用の表示・撮像
ユニットＵＡＲの光学系の構成と同様である。また、左
眼用のスリット投影機ＵＢＬ１の構成は、上述のＨＭＤ
３における左眼用のスリット投影機ＵＢＬと同様であ
る。

【００７８】スリット投影機ＵＢＬ１から投影されるス
リット光Ｕは、左眼用の表示・撮像ユニットＵＡＬ１の
左側の端面に設けられた左眼用のスリット受光機ＵＣＬ
１によって受光される。

【００７９】図１２は表示装置２の全体的な回路を示す
ブロック図である。表示装置２は、表示装置１の場合と
同様に、左眼用の測距部５ＡＬ、撮像部１２Ｌ，Ｒ、位
置検出センサ１５、視点差データ用メモリ３７、カラー
画像用メモリ６９Ｌ，Ｒ、距離データ用メモリ６４Ｌ，
Ｒ、視点変換演算回路３６Ｒ、画像比較・統合回路３４
Ｌ，Ｒ、画像用メモリ３５Ｌ，Ｒ、仮想物体演算回路３
１、仮想距離データ用メモリ３２Ｌ，Ｒ、仮想カラー画
像用メモリ３３Ｌ，Ｒ、表示部１３Ｌ，Ｒなどを有する
ほか、距離データ用メモリ６４Ｌと画像比較・統合回路
３４Ｌとの間に視点変換演算回路３６Ｌが設けられてい
る。

【００８０】視点変換演算回路３６Ｌにおいては、左眼
用の撮像部１２Ｌの配置位置と左眼用のスリット受光機
ＵＣＬ１の配置位置との互いの位置関係を示す位置情報
ＬＳ２に基づいて、それらの位置の相違を補正した距離
情報ＦＲｄＬを算出する。

【００８１】視点変換演算回路３６は、視点差データ用
メモリ３７に合わせて記憶された左眼用のスリット受光
機ＵＣＬ１の配置位置と右眼用の撮像部１２Ｒの配置位
置との位置関係に基づき、距離データ用メモリ６４Ｌに
記憶された距離データからＦＲｄＲを算出する。

【００８２】表示装置２においては、スリット投影機Ｕ
ＢＬとスリット受光機ＵＣＬ１との間隔を広くとること
ができるので、距離の計測のための基線長をＨＭＤ３の
場合よりも更に長くすることができる。

【００８３】上述の実施形態において、カラーセンサ５
４が本発明の撮影手段に、スリット投影部１８、スリッ
ト投影機ＵＢＬ，ＵＢＬ１、及び計測用センサ５３を含
む測距装置５Ｌが本発明の距離測定手段に、視点差デー
タ用メモリ３７が本発明の記憶手段に、視点変換演算回
路３６が本発明の演算手段に、それぞれ対応する。

【００８４】上述の実施形態において、測距部５ＡＬ、
撮像部１２、ＨＭＤ３，４、又は表示装置１，２の各部
又は全体の構成、形状、配置、処理内容、処理順序、処
理タイミングなどは、本発明の主旨に沿って適宜変更す
ることができる。

【００８５】

【発明の効果】本発明によると、１つの距離測定手段に
より測定された距離情報に基づいて他の必要な距離情報
を生成することができ、これによって、２次元画像の入
力される視線とは異なる位置からの距離情報に基づいて
当該２次元画像の入力される視線に一致した距離情報を
得ることができ、距離測定手段の配置の自由度を増すこ
とができる。

【００８６】特に請求項３の発明によると、一方の眼の
近傍位置に設けられた距離測定手段で測定された距離情
報により両眼の距離情報を得ることができ、ＨＭＤの小
型化を図ることができる。

【００８７】また、請求項４の発明によると、２次元画
像の各画素について正確な距離情報を得ることができ、
遮蔽関係を正しく表現することができる。

【図面の簡単な説明】

【図１】本発明に係る距離画像生成装置の原理を示す図
である。

【図２】本発明に係る距離画像生成装置を備えた表示装
置の原理的な構成の概略を示すブロック図である。

【図３】表示装置の遮蔽画素切替え部の構成を示すブロ
ック図である。

【図４】表示装置に用いられるＨＭＤの外観を示す斜視
図である。

【図５】左眼用の表示・撮像ユニットの光学系の構成を
示す図である。

【図６】右眼用の表示・撮像ユニットの光学系の構成を
示す図である。

【図７】撮像系及び表示系の画角を説明する図である。

【図８】測距装置の機能構成を示すブロック図である。

【図９】表示装置の全体的な回路を示すブロック図であ
る。

【図１０】ＨＭＤと観察対象との位置関係を示す図であ
る。

【図１１】他の実施形態の表示装置に用いられるＨＭＤ
の外観を示す斜視図である。

【図１２】他の実施形態の表示装置の全体的な回路を示
すブロック図である。

【図１３】従来の光学式のＨＭＤによるＡＲシステムの
原理を示す図である。

【図１４】従来のビデオ方式のＨＭＤによるＡＲシステ
ムの原理を示す図である。

【図１５】従来における表示装置に用いられるＨＭＤの
外観を示す斜視図である。

【符号の説明】

１，２ 表示装置 ５Ｌ 測距装置（距離測定手段） １２ 撮像部（撮影手段） １３ 表示部（表示手段） １５ 位置検出センサ（視点検出手段） ３１ 仮想物体演算回路（出力手段） ３４ 画像比較・統合回路（比較手段、選択手段） ３６ 視点変換演算回路（演算手段） ３７ 視点差データ用メモリ（記憶手段） ＣＲ 撮影手段 ＤＲ 距離測定手段 ＭＲ 記憶手段 ＰＲ 演算手段 Ｐ１ 位置（所定位置） Ｓ１ 信号（視点情報） ＢＴ 観察対象 ＢＳ 観察者 ＥＲ 右眼（他方の眼） ＥＬ 左眼（一方の眼） ＬＳ，ＬＳ１，ＬＳ２ 位置情報 ＦＲ 実空間画像（２次元画像、第１の２次元画像） ＦＶ 仮想空間画像（第２の２次元画像） ＦＲｄＡ 距離情報（第１距離情報） ＦＲｄＢ 距離情報（第２距離情報） ＦＲｄＬ 距離情報（第１距離情報） ＦＲｄＲ 距離情報（第２距離情報） ＦＶｄ 仮想空間距離画像（第３距離情報）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 近藤 尊司 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 石田 徳治 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】観察対象の２次元画像を撮影する撮影手段
   と、 所定位置から前記観察対象までの距離を測定し第１距離
   情報を得る距離測定手段と、 前記所定位置と前記撮影手段の位置との互いの位置関係
   を示す情報である位置情報を記憶する記憶手段と、 前記第１距離情報と前記位置情報とに基づいて前記撮影
   手段の位置から前記観察対象までの距離情報である第２
   距離情報を算出する演算手段と、 を有してなることを特徴とする距離画像生成装置。
2. 【請求項２】所定位置から観察対象までの距離を測定し
   第１距離情報を得る距離測定手段と、 前記所定位置と前記観察対象を観察する観察者の眼の位
   置との互いの位置関係を示す情報である位置情報を記憶
   する記憶手段と、 前記第１距離情報と前記位置情報とに基づいて前記観察
   者の眼の位置から前記観察対象までの距離情報である第
   ２距離情報を算出する演算手段と、 を有してなることを特徴とする距離画像生成装置。
3. 【請求項３】観察者の一方の眼の近傍位置から観察対象
   までの距離を測定し第１距離情報を得る距離測定手段
   と、 前記観察者の一方の眼の位置と他方の眼の位置との互い
   の位置関係を示す情報である位置情報を記憶する記憶手
   段と、 前記第１距離情報と前記位置情報とに基づいて前記観察
   者の他方の眼の位置から前記観察対象までの距離情報で
   ある第２距離情報を算出する演算手段と、 を有してなることを特徴とする距離画像生成装置。
4. 【請求項４】観察対象の第１の２次元画像を撮影する撮
   影手段と、 所定位置から前記観察対象までの距離を測定し第１距離
   情報を得る距離測定手段と、 前記所定位置と前記撮影手段の位置との互いの位置関係
   を示す情報である位置情報を記憶する記憶手段と、 前記第１距離情報と前記位置情報とに基づいて前記撮影
   手段の位置から前記観察対象までの距離情報である第２
   距離情報を算出する演算手段と、 前記撮影手段の視点を検出し視点情報を得る視点検出手
   段と、 前記視点情報と予め記憶された情報とに基づいて、第２
   の２次元画像と前記第２の２次元画像の各点に対応する
   第３距離情報とを出力する出力手段と、 前記第２距離情報と前記第３距離情報とを画素毎に比較
   する比較手段と、 前記比較手段の出力に基づいて、前記第１の２次元画像
   と前記第２の２次元画像のうち距離が近い方の画素デー
   タを選択する選択手段と、 選択された画素データ群を合成画像として表示する表示
   手段と、 を有することを特徴とする画像表示装置。