JP2012068481A - 拡張現実表現システムおよび方法 - Google Patents

Abstract

【課題】現実環境の景色を透過型ディスプレイを通して眺望したときに、眺望している景色に存在する地物の地理的位置情報に基づいて、その地物に関連する情報を、景色に重畳するように透過型ディスプレイ上に表示する拡張現実表現システムおよび方法を提供する。
【解決手段】記憶手段１８を備えたコンピュータ１９と、当該コンピュータ１９とデータ通信回線で接続された眺望者Ｈの前方に設置された透過型ディスプレイ１０と、透過型ディスプレイ１０の設置されている場所の地理座標（Ｘｇ，Ｙｇ，Ｚｇ）を計測する地理位置計測センサ１１および眺望者Ｈの視点位置ｅｙｅを計測する視点位置計測センサ１２とからなり、当該コンピュータ１９は、位置・姿勢算出部１３と、ディスプレイ位置算出部１４と、視点位置算出部１５と、描画方法指定部１７と、ＣＧ描画部１６とを含む。
【選択図】図２

Description

本発明は、現実環境の景色を透過型ディスプレイを通して眺望したときに、眺望している景色に存在する地物の地理的位置情報に基づいて、その地物に関連するテキスト、アイコン、映像などの情報を、景色に重畳するように透過型ディスプレイ上に表示する拡張現実表現システムおよび方法に関する。

拡張現実（拡張現実感ともいう）とは、現実環境にコンピュータを用いて情報を付加提示する技術、および情報を付加提示された環境そのものをいう。

インターネットや携帯電話などのデジタルネットワークの発達、衛星測位やこれを補完する位置の把握に必要な電波等の送信と受信機の普及により、拡張現実技術にモバイルデバイスにおける位置情報技術を組み合わせたサービスが浮揚している。

そのひとつとして、モバイル端末に付属するカメラを通して現実環境を撮影し、モバイル端末のディスプレイに表示させる際に、モバイル端末に付属する全地球測位システム（ＧＰＳ）機能や電子コンパスで測位した撮影地点の位置情報をトリガーに、その場所に関するインターネット上の投稿情報などを付加表示する拡張現実感体験サービスがある。

このようなサービスに使われるメディアは、多くがスマートフォンや携帯電話で、それらのアプリケーションが多く開発されてきている。

また、屋外・店頭・公共空間・交通機関などに、ネットワークに接続した平面ディスプレイやプロジェクタなどの電子的な表示機器を設置し、表示機器周辺の人の存在や視線を感知して、表示機器の前を移動していく往来者に対して、広告などの映像や情報を表示する電子看板（デジタルサイネージ）がある。

拡張現実感体験サービスやデジタルサイネージなどの拡張現実技術は、デジタル情報を扱うため、情報の選別や切り替えが可能になり、情報の多言語化や、ユーザの属性（性別や年齢層、嗜好など）により分類して、個々のグループあるいは個々人に関連が強い情報を選択的に提供するパーソナルセグメンテーションなどの検索技術と組み合わせ、広告やアミューズメント分野だけでなく、実用的な分野でも利用されてきている。

例えば、特許文献１に開示されているように、ナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に認識できるように、移動体の姿勢を推定し、ナビゲーション情報の画像を、移動体に搭載したカメラで撮影した前方の道路の実写映像中（または実景中）の適切な位置に合成して表示する移動休ナビゲート情報表示装置が開発されている。

国際公開第２００６／０３５７５５号

多くの拡張現実感体験サービスに用いられるモバイル端末は、手でかざす、角度を変える、視点を動かすなど、絶えず意識していろいろな動作をする必要があり、歩きながら街の雰囲気を感じ取っていくといった自然な情報の発見ができない。また、高齢者やこどもなど、画面や操作ボタンが小さい端末や、高機能ゆえに複雑になった端末操作を苦手とする人たちにとって、恩恵を受ける機会の損失になっている。

拡張現実感体験サービスやデジタルサイネージでは、あらかじめ記憶媒体に記憶させておいた映像や、カメラで撮影している現在の映像を表示しているディスプレイ上に、情報を合成して表示する。したがって、あらかじめ記録している映像ではディスプレイに表示されている物体のディスプレイ上の位置は、どこから見ても決まっているため、情報を表示する位置も容易に決定できる。また、手持ちのカメラで現在の映像を表示している場合は、撮影対象とカメラとの２つの位置関係で決まる。

しかし、人が目で見ている景色では、その人の立っている位置や視点の位置によって、視野の中のどの位置にどの物体が見えているかは異なってくる。そのため、人の周辺あるいは少し離れた場所に透明ディスプレイを設置して情報を表示しようとしたとき、現在開発されている拡張現実技術では、人が見ている景色に対して、適切な位置に情報を表示することはできない。

たとえば、特許文献１に開示された技術では、ナビゲーション情報の画像を、移動体に搭載したカメラで撮影した前方の道路の実写映像中の適切な位置に合成して、ダッシュボード上に設置された液晶表示パネルのような表示装置に表示する。

これは、上述したように、表示装置であるディスプレイに表示された実写映像に対して、ナビゲーション情報を表示するのに適切な位置に決定しているため、ドライバーがどの角度から見ていても構わない。

一方、特許文献１には、実視景観と重なるように、ナビゲーション情報を運転席前面の透明窓の内側表面に投影することも可能であると記載されている。しかし、ドライバーの座高や姿勢、運転席の背もたれをどれぐらい傾けて運転するかによって、ドライバーの視点が異なってしまう。そのため、厳密には、ドライバーからは、実視景観の正しい位置にナビゲーション情報が見えない場合も生じる。

以上にように、従来の拡張現実技術では、ディスプレイに表示される映像に対しては、ディスプレイと対象物の位置が分かれば適切な位置に情報を表示することができても、人とディスプレイと対象物のそれぞれが動くことを前提とした人が実際に見ている景色に対しては、適切な位置に情報を表示することはできないという課題があった。

本発明の拡張現実表現システムは、記憶手段を備えたコンピュータと、当該コンピュータとデータ通信回線で接続された、眺望者の乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、移動体の地理座標系の位置と傾きを計測し送信するＧＰＳアンテナを含む地理位置計測センサと、眺望者の視点位置を計測し、視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサとからなり、記憶手段は、透過型ディスプレイの４隅の位置と視点位置計測センサの位置をＧＰＳアンテナの位置を原点とした移動体座標系で表した移動体座標と、視点位置計測センサの傾きから算出した第２の回転行列とをあらかじめ格納したキャリブレーション情報データベースと、透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、関連情報である地物属性、描画形状、描画属性を含む地物情報をあらかじめ格納した地物情報データベースとを含み、コンピュータは、地理位置計測センサに接続され、移動体座標系の原点として地理位置計測センサによって計測されるＧＰＳアンテナの設置位置の地理座標と、地理位置計測センサによって計測されるＧＰＳアンテナの設置場所の傾きから算出した第１の回転行列を出力する位置・姿勢算出部と、位置・姿勢算出部とキャリブレーション情報データベースに接続され、キャリブレーション情報データベースから透過型ディスプレイの４隅の移動体座標を読み出し、位置・姿勢算出部から受信する移動体座標系の原点の地理座標および第１の回転行列を用いて、透過型ディスプレイの４隅の地理座標を算出するディスプレイ位置算出部と、視点位置計測センサと、位置・姿勢算出部およびキャリブレーション情報データベースに接続され、キャリブレーション情報データベースから視点位置計測センサの移動体座標および第２の回転行列を読み出し、視点位置計測センサから受信する視点センサ座標を移動体座標系で表した視点移動体座標に変換し、位置・姿勢算出部から受信する移動体座標系の原点の地理座標および第１の回転行列を用いて、視点移動体座標を地理座標系で表した視点地理座標に変換する視点位置算出部と、透過型ディスプレイと、地物情報データベースと、視点位置算出部と、位置・姿勢算出部に接続され、視点地理座標と透過型ディスプレイの４隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された地物情報を地物情報データベースより読み出し、描画形状と描画属性に基づいて、透過型ディスプレイ上における眺望者が見ている地物の位置に投影されるように地物属性をＣＧ合成し、透過型ディスプレイ上に表示するＣＧ描画部とを含むことを要旨とする。

また、本発明の拡張現実表現方法は、眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、移動体の位置と傾きを計測し送信するＧＰＳアンテナを含む地理位置計測センサと、眺望者の視点位置を計測し視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサのそれぞれとデータ通信回線で接続された記憶手段を備えたコンピュータによる拡張現実表現方法であって、コンピュータは、記憶手段に、透過型ディスプレイの４隅の位置と視点位置計測センサの位置をＧＰＳアンテナの位置を原点とした移動体座標系で表した移動体座標と、視点位置計測センサの傾きから算出した第２の回転行列とからなるキャリブレーション情報データベースと、透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、関連情報である地物属性、描画形状、描画属性を含む地物情報からなる地物情報データベースを格納し、移動体座標系の原点として地理位置計測センサによって計測されるＧＰＳアンテナの設置位置の地理座標を受信し、地理位置計測センサによって計測されるＧＰＳアンテナの設置場所の傾きから第１の回転行列を算出し、キャリブレーション情報データベースから透過型ディスプレイの４隅の移動体座標を読み出し、移動体座標系の原点の地理座標および第１の回転行列を用いて、透過型ディスプレイの４隅の地理座標を算出し、キャリブレーション情報データベースから視点位置計測センサの移動体座標および第２の回転行列を読み出し、視点位置計測センサの移動体座標および第２の回転行列を用いて、視点位置計測センサから受信する視点センサ座標を移動体座標系で表した視点移動体座標に変換し、移動体座標系の原点の地理座標および第１の回転行列を用いて、視点移動体座標を地理座標系で表した視点地理座標に変換し、視点地理座標と透過型ディスプレイの４隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された地物情報を地物情報データベースより読み出し、描画形状と描画属性に基づいて、透過型ディスプレイ上における眺望者が見ている地物の位置に投影されるように地物属性をＣＧ合成し、透過型ディスプレイ上に表示することを要旨とする。

本発明によれば、人が実際に見ている景色に対して、人の視点から適切な位置に情報を表示することができる。

また、本発明によれば、デバイスを位置や操作を意識することなく拡張現実体験ができ、移動しながらでも、自然な体勢で関連情報を見ることができる。

さらに、本発明によれば、景色を見ている人の現在地点に限定されず、見ている景色に含まれる近傍の場所に関する情報を、見ている人の個別情報としてＩＣチップ等にあらかじめ設定された属性に従って選択的に提供することができる。

本発明の拡張現実表現システムの模式図 本発明の拡張現実表現システムの構成図 （ａ）キャリブレーション情報データベースの構成図、（ｂ）地物情報データベースの構成図 視体積の模式図 準備工程のフローチャート 位置決定工程のフローチャート（その１） 位置決定工程のフローチャート（その２） 地物情報表示工程のフローチャート 透過型ディスプレイ上の表示位置決定の模式図 実施例１のバスの窓の場合の表示例 実施例１の電車の窓の場合の表示例 実施例２の窓付エレベータの窓の場合の表示例 実施例３の展望台の窓の場合の表示例

本発明の拡張現実表現システムは、図１の模式図に示したように、眺望者Ｈの前方に設置された透過型ディスプレイ１０上に、ＧＰＳアンテナ１１ａを含む地理位置計測センサ１１と視点位置計測センサ１２によって計測した位置情報に基づいて、透過型ディスプレイ１０の４隅ｗ１、ｗ２、ｗ３、およびｗ４の位置や眺望者Ｈの視点の地理的位置情報を算出し、透過型ディスプレイ１０を通して眺望者Ｈが見ている景色内に存在する地物の情報を、景色の適切な位置に重畳して見えるように、透過型ディスプレイ１０上に表示するシステムである。

（語句の定義）
本発明の拡張現実表現システムの説明にあたり、使用する語句の意味について定義する。

眺望者Ｈ：透過型ディスプレイ１０を通して、透過型ディスプレイ１０の向こう側にある現実空間の景色を見ている人をいう。

地理座標系Ｐｇ：地球上の任意の位置ｎを表す３次元座標系であり、緯度・経度・標高と変換可能であるとする。平面直角座標系、ＵＴＭ座標系、地心座標系等がある。本発明の説明では、位置ｎの地理座標（Ｘｇｎ，Ｙｇｎ，Ｚｇｎ）をＰｇ（ｎ）と表記する。

移動体座標系Ｐｖ：透過型ディスプレイ１０の据えられた移動体に設置されたＧＰＳアンテナ１１ａの位置ｖ０を座標系の原点とし、移動体の高さ方向をＺ軸、移動体の前方向をＸ軸とする右手座標系であり、移動体に設置されたものの位置ｎの移動体座標（Ｘｖｎ，Ｙｖｎ，Ｚｖｎ）をＰｖ（ｎ）と表記する。

具体的には、ＧＰＳアンテナ１１ａの位置ｖ０は、地理座標Ｐｇ（ｖ０）＝（Ｘｇｖ０，Ｙｇｖ０，Ｚｇｖ０）であり、移動体座標Ｐｖ（ｖ０）＝（０，０，０）となる。

センサ座標系Ｐｓ：移動体に設置された視点位置計測センサ１２の位置ｓ０を座標系の原点とし、視点位置計測センサ１２に対する眺望者Ｈの視点（瞳）の位置を表す座標系であり、計測された位置ｎのセンサ座標（Ｘｓｎ，Ｙｓｎ，Ｚｓｎ）をＰｓ（ｎ）と表記する。
具体的には、視点位置計測センサ１２の位置ｓ０は、移動体座標Ｐｖ（ｓ０）＝（Ｘｖｓ０，Ｙｖｓ０，Ｚｖｓ０）であり、センサ座標Ｐｓ（ｓ０）＝（０，０，０）となる。

第１の回転行列Ｒｖ：移動体座標系Ｐｖで表されたものの位置ｎを地理座標系Ｐｇで表すために、移動体座標Ｐｖ（ｎ）の値を地理座標Ｐｇ（ｎ）の値に変換する下記の式１で用いられる回転行列をいう。

Ｐｇ（ｎ） ＝ Ｒｖ ・ Ｐｖ（ｎ） ＋ Ｐｇ（ｖ０） ・・・・・（式１）
第２の回転行列Ｒｓ：センサ座標系Ｐｓで表された眺望者Ｈの視点の位置ｎを移動体座標Ｐｖで表すために、センサ座標Ｐｓ（ｎ）の値を移動体座標Ｐｖ（ｎ）の値に変換する下記の式２で用いられる回転行列をいう。

Ｐｖ（ｎ） ＝ Ｒｓ ・ Ｐｓ（ｎ） ＋ Ｐｖ（ｓ０） ・・・・・（式２）
（システム構成の説明）
本発明の拡張現実表現システムは、図２に示すように、記憶手段１８を備えたコンピュータ１９と、当該コンピュータ１９とデータ通信回線で接続された眺望者Ｈの前方に設置された透過型ディスプレイ１０と、透過型ディスプレイ１０の設置されている場所の地理座標（Ｘｇ，Ｙｇ，Ｚｇ）を計測する地理位置計測センサ１１および眺望者Ｈの視点位置ｅｙｅを計測する視点位置計測センサ１２とからなる。

コンピュータ１９は、位置・姿勢算出部１３と、ディスプレイ位置算出部１４と、視点位置算出部１５と、描画方法指定部１７と、ＣＧ描画部１６とを含み、記憶手段１８には、キャリブレーション情報データベース１８ａと地物情報データベース１８ｂが記憶される。

透過型ディスプレイ１０とは、ディスプレイの向こう側が透けて見えるように情報の表示面を透明にした、文字や、画像や、動画などの情報を表示するための平面ディスプレイであり、有機ＥＬパネル、リアプロジェクション等を用いる。

透過型ディスプレイ１０は、人が指で触れることで操作できるタッチパネル式であることが望ましく、移動体に据える場合は、移動体に設けられた窓２０の透明ガラス平面に隣接または密着させて据える。

地理位置計測センサ１１とは、ＧＰＳアンテナ１１ａの設置位置ｖ０の地理座標Ｐｇ（ｖ０）を計測するＧＰＳと、ＧＰＳアンテナ１１ａを設置した場所（例えば、移動体）の傾き（姿勢）を計測する慣性計測装置（ＩＭＵ）１１ｂからなる。

視点位置計測センサ１２とは、リアルタイム画像処理等の手法により、眺望者Ｈの視点位置ｅｙｅを計測する部位であり、眺望者Ｈの視点位置ｅｙｅをセンサ座標系Ｐｓにて表された視点センサ座標Ｐｓ（ｅｙｅ）として出力する。近年利用されている瞳位置抽出センサやステレオ画像センサが利用でき、透過型ディスプレイ１０の前に存在する眺望者Ｈの顔をモニタできる位置に設置する。

キャリブレーション情報データベース１８ａには、図３（ａ）に示すように、透過型ディスプレイ１０と、ＧＰＳアンテナ１１ａと、視点位置計測センサ１２とを設置する際に、ＧＰＳアンテナ１１ａを基準点（原点）とした透過型ディスプレイ１０の４隅ｗ１、ｗ２、ｗ３、およびｗ４の位置と、視点位置計測センサ１２の位置ｓ０および傾きを測量した結果を、移動体座標系Ｐｖにて表された移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）、センサ座標系の原点の移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓとしてあらかじめ格納しておく。

地物情報データベース１８ｂには、透過型ディスプレイ１０に情報を描画するための地物情報を格納する。地物情報は、図３（ｂ）に示すように、基本的に、（１）地物の位置を代表する地点の地理座標、（２）地物を示すための１点の地理座標、もしくは線や面を示す複数地点の地理座標の列によりなる描画形状、（３）道路や家屋等の地物の種別、（４）地物名称や表示したい情報等の地物属性、および（５）描画色・描画線太さ・塗りつぶしパターン・塗りつぶし色・テクスチャ画像等の描画属性から構成される。

位置・姿勢算出部１３は、地理位置計測センサ１１に接続され、ＧＰＳによって計測されたＧＰＳアンテナ１１ａの設置位置ｖ０の地理座標Ｐｇ（ｖ０）を移動体座標系Ｐｖの原点とし出力するとともに、ＩＭＵ１１ｂによって計測されたＧＰＳアンテナ１１ａの設置場所における移動体座標系の地理座標系に対する傾きを示すロール・ピッチ・ヨー等の角度から、式１に適用するための第１の回転行列Ｒｖを算出して出力する。

ディスプレイ位置算出部１４は、位置・姿勢算出部１３とキャリブレーション情報データベース１８ａに接続され、キャリブレーション情報データベース１８ａから透過型ディスプレイ１０の４隅の移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）を読み出し、位置・姿勢算出部１３から受信する移動体座標系Ｐｖの原点の地理座標Ｐｇ（ｖ０）および第１の回転行列Ｒｖを用いて、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を式１により算出する。

視点位置算出部１５は、視点位置計測センサ１２と、位置・姿勢算出部１３およびキャリブレーション情報データベース１８ａに接続され、キャリブレーション情報データベース１８ａからセンサ座標系Ｐｓの原点の移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓを読み出し、視点位置計測センサ１２から受信する視点センサ座標Ｐｓ（ｅｙｅ）を式２を用いて視点移動体座標Ｐｖ（ｅｙｅ）に変換する。

次に、視点位置算出部１５は、位置・姿勢算出部１３から受信する移動体座標系Ｐｖの原点の地理座標Ｐｇ（ｖ０）および第１の回転行列Ｒｖを用いて、式１により視点移動体座標Ｐｖ（ｅｙｅ）を視点地理座標Ｐｇ（ｅｙｅ）に変換する。

描画方法指定部１７は、透過型ディスプレイ１０に接続され、透過型ディスプレイ１０上に描画方法を指定するメニューＧＵＩを表示し、眺望者ＨがメニューＧＵＩから指定した描画の有無や地物の種別などの項目をＣＧ描画部１６に送信する。

ＣＧ描画部１６は、透過型ディスプレイ１０と、地物情報データベース１８ｂと、視点位置算出部１５と、位置・姿勢算出部１３および描画方法指定部１７に接続され、描画方法指定部１７から指定された地物の種別と、視点地理座標Ｐｇ（ｅｙｅ）と透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を結ぶ線で形成される図４に示した四角錐（視体積３０という）に重なる、もしくは含まれる地理座標Ｐｇ（ｎ）とが設定された地物情報を地物情報データベース１８ｂより読み出す。

続いて、ＣＧ描画部１６は、地物情報に設定された描画形状と描画属性に基づいて、地物属性として設定されている地物名称や表示したい情報を、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を結ぶ平面上における眺望者Ｈが見ている地物の位置に投影されるようにＣＧ合成し、透過型ディスプレイ１０上に表示する。

（システムの処理フローの説明）
次に、本システムの運用に関する各工程の処理について、図５から図８に示した処理フローに従って説明する。

準備工程：
Ｓ１００：本システムの透過型ディスプレイ１０と、ＧＰＳアンテナ１１ａと、視点位置計測センサ１２とを設置する際に、ＧＰＳアンテナ１１ａを基準点（原点）とした透過型ディスプレイ１０の４隅ｗ１、ｗ２、ｗ３、およびｗ４の位置と、視点位置計測センサ１２の位置ｓ０および傾きを測量する。この際、座標軸は移動体前方をX,移動体の側面左方向をY,移動体上方をZとする。

Ｓ１０１：透過型ディスプレイ１０の４隅ｗ１、ｗ２、ｗ３、およびｗ４の位置の測量結果を、移動体座標系Ｐｖにて表された移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）として、キャリブレーション情報データベース１８ａに格納する。

Ｓ１０２：さらに、視点位置計測センサ１２の位置ｓ０および傾きの測量結果から、センサ座標系Ｐｓの原点の移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓを算出して、キャリブレーション情報データベース１８ａに格納する。

Ｓ１０３：また、本システムにより透過型ディスプレイ１０に情報を描画するための地物情報を、地物情報データベース１８ｂに格納する。

位置決定工程：
Ｓ２００：地理位置計測センサ１１は、一定間隔で、ＧＰＳアンテナ１１ａの設置位置ｖ０の地理座標Ｐｇ（ｖ０）とＧＰＳアンテナ１１ａを設置した場所の傾きの計測を繰り返し、計測結果を位置・姿勢算出部１３に送信する。

Ｓ２０１：計測結果を受信した位置・姿勢算出部１３は、ＧＰＳアンテナ１１ａの設置位置ｖ０の地理座標Ｐｇ（ｖ０）と、計測された傾きから算出した第１の回転行列Ｒｖを、ディスプレイ位置算出部１４と視点位置算出部１５に出力する。

ここで、位置・姿勢算出部１３からディスプレイ位置算出部１４と視点位置算出部１５に、地理座標Ｐｇ（ｖ０）と第１の回転行列Ｒｖを出力するタイミングは、地理位置計測センサ１１から計測結果を受信する毎であってもよいし、前回の計測結果と異なる計測結果を受信した場合、つまり位置に変化が生じた場合のみであってもよい。

Ｓ２０２：位置・姿勢算出部１３から地理座標Ｐｇ（ｖ０）と第１の回転行列Ｒｖを受信したディスプレイ位置算出部１４は、キャリブレーション情報データベース１８ａから透過型ディスプレイ１０の４隅の移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）を読み出す。

Ｓ２０３：次に、ディスプレイ位置算出部１４は、位置・姿勢算出部１３から受信した地理座標Ｐｇ（ｖ０）および第１の回転行列Ｒｖと、透過型ディスプレイ１０の４隅の移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）を式１に代入して、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を算出する。

Ｓ２０４：ディスプレイ位置算出部１４は、算出した透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）をＣＧ描画部１６に出力する。

Ｓ３００：一方、視点位置計測センサ１２は、透過型ディスプレイ１０の前に現れた眺望者Ｈの視点位置ｅｙｅを計測し、視点位置が変化する毎に、センサ座標系Ｐｓにて表された視点センサ座標Ｐｓ（ｅｙｅ）として視点位置算出部１５に出力する。

Ｓ３０１：視点位置算出部１５は、視点位置計測センサ１２から視点センサ座標Ｐｓ（ｅｙｅ）を受信する毎に、キャリブレーション情報データベース１８ａからセンサ座標系Ｐｓの原点の移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓを読み出す。

Ｓ３０２：次に、視点位置算出部１５は、読み出した移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓと、視点位置計測センサ１２から受信した視点センサ座標Ｐｓ（ｅｙｅ）を式２に代入して、視点移動体座標Ｐｖ（ｅｙｅ）を算出する。

Ｓ３０３：続いて、視点位置算出部１５は、算出した視点移動体座標Ｐｖ（ｅｙｅ）と、位置・姿勢算出部１３から受信した地理座標Ｐｇ（ｖ０）および第１の回転行列Ｒｖを式１に代入して、視点地理座標Ｐｇ（ｅｙｅ）を算出する。

Ｓ３０４：視点位置算出部１５は、算出した視点地理座標Ｐｇ（ｅｙｅ）をＣＧ描画部１６に出力する。

地物情報表示工程：
Ｓ４００：描画方法指定部１７は、透過型ディスプレイ１０上に表示した描画方法を指定するメニューＧＵＩから、眺望者Ｈが指定した描画の有無や地物の種別などの項目をＣＧ描画部１６に送信する。

Ｓ４０１：ＣＧ描画部１６は、ディスプレイ位置算出部１４から受信した透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）と、視点位置算出部１５から受信した視点地理座標Ｐｇ（ｅｙｅ）を結ぶ線で形成される図４に示したような視体積３０の３次元空間を想定する。

Ｓ４０２：ＣＧ描画部１６は、視体積３０の３次元空間に含まれる地理座標Ｐｇ（ｎ）が設定された地物情報を地物情報データベース１８ｂから読み出す。

Ｓ４０３：さらに、ＣＧ描画部１６は、読み出した地物情報のうちで、描画方法指定部１７から指定された地物の種別などの項目を含むものを抽出する。

Ｓ４０４：続いて、ＣＧ描画部１６は、抽出した地物情報に設定された描画形状と描画属性に基づいて、地物属性として設定されている地物名称や表示したい情報を、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を結ぶ平面上における眺望者Ｈが見ている地物の位置に投影されるようにＣＧ合成（レンダリングともいう）し、透過型ディスプレイ１０上に表示する。

Ｓ４０４の地物情報のＣＧ合成について、図９に示した模式図を参照しながら説明する。

例えば、同じ地物（富士山）を眺望者Ｈが見ていたとしても、第１の視点位置Ｐｇ（ｅｙｅ１）にいる場合は、景色Ａのように見えている。ここで、眺望者Ｈまたは移動体が動くことによって、眺望者Ｈの視点が第２の視点位置Ｐｇ（ｅｙｅ２）に移動すると、景色Ｂのように地物（富士山）の見える位置が変化する。

このため、眺望者Ｈがどの位置に移動しても、地物（富士山）の見える位置に地物情報を表示するため、視体積３０の仮想空間上で地物情報を表示させるラベル位置Ｐｇ（Ｌ）を決め、景色Ａでは、第１の視点位置Ｐｇ（ｅｙｅ１）とラベル位置Ｐｇ（Ｌ）を結んだ直線と透過型ディスプレイ１０との交点にあたる第１の表示位置Ｐｇ（ａ）を求め、透過型ディスプレイ１０の第１の表示位置Ｐｇ（ａ）に地物情報を表示する。

また、同様に、景色Ｂでは、第２の視点位置Ｐｇ（ｅｙｅ２）とラベル位置Ｐｇ（Ｌ）を結んだ直線と透過型ディスプレイ１０との交点にあたる第２の表示位置Ｐｇ（ｂ）を求め、透過型ディスプレイ１０の第２の表示位置Ｐｇ（ｂ）に地物情報を表示する。

こうすることで、図９の景色Ａと景色Ｂに示したように、眺望者Ｈが見ている富士山の位置に、「富士山」という文字情報が正しく表示される。

ラベル位置Ｐｇ（Ｌ）は、地物情報データベース１８ｂに格納した地物情報に含まれる地物の代表地理座標を利用してもよい。

また、図２には図示していないが、描画方法指定部１７に代えて、または描画方法指定部１７の他に、ＣＧ描画部１６に接続されたＩＣカード読取り部を備えるようにしてもよい。

ＩＣカード読取り部は、眺望者Ｈが所持するＩＣカードから眺望者Ｈの個別情報を読み取り、ＣＧ描画部１６に出力する。

ＣＧ描画部１６は、地物情報データベース１８ｂから読み出した地物情報のうちで、受信した個別情報に関連するものを選択的に抽出し、透過型ディスプレイ１０に表示する。

（実施例１）
本発明の実施例１は、図１０に示したように、移動体であるバスの窓２０ａに透過型ディスプレイ１０を設置したシステムである。

バスの天井等に地理位置計測センサ１１を設置し、座席上部や窓２０枠の上部に眺望者Ｈである乗客の顔をモニタできるように視点位置計測センサ１２を設置する。

透過型ディスプレイ１０には、図１０に示したように、バスの通過している場所の町名の文字情報や地図の画像、道路の名称、店舗の広告等の文字情報が表示される。

また、描画方法指定部１７によって透過型ディスプレイ１０に表示される描画方法指定メニューＧＵＩを例示していて、言語の選択や、表示の有無（ＯＮ／ＯＦＦ）の選択ができるようにしている。乗客はこのメニューをタッチして所望の条件を設定できる。

同様に、図１１に示したように、移動体である電車の窓２０ｂに透過型ディスプレイ１０を設置することもできる。

乗客が見ている地物をタッチした時に、当該地物に関連した情報を透過型ディスプレイ１０に表示するようにすることもできる。

（実施例２）
本発明の実施例２は、図１２に示したように、移動体である窓付エレベータの窓２０ｃに透過型ディスプレイ１０を設置したシステムである。

エレベータの設備に地理位置計測センサ１１を設置し、エレベータの籠の上部に眺望者Ｈの顔をモニタできるように視点位置計測センサ１２を設置する。

ただし、エレベータ制御のために地理位置計測センサ１１以外の制御設備によって位置情報を計測する場合もあり、地理位置計測センサ１１を設置せずに、エレベータ制御のための位置情報を利用しても構わない。

さらに、窓付エレベータの窓２０ｃは視野の範囲が狭く、眺望者Ｈが視点を移動させても、地物の見える位置にはほとんど変化が生じないため、視点位置計測センサ１２の設置を省略しても構わない。

図１２には、文字情報や地物名称の他に、高さを比較できるものとしてタワーのＣＧ画像を表示している例を示している。

（実施例３）
本発明の実施例３は、図１３に示したように、展望台の窓２０ｄに透過型ディスプレイ１０を設置したシステムである。

展望台は移動しないので地理位置計測センサ１１は不要であり、移動体座標系Ｐｖによる位置表現も、移動体座標系Ｐｖを地理座標系Ｐｇに変換する計算も不要となる。

透過型ディスプレイ１０と視点位置計測センサ１２の位置は不動となるので、センサ座標系の原点の移動体座標キャリブレーション情報データベース１８ａには、透過型ディスプレイ１０の４隅の移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）と、センサ座標系の原点の移動体座標Ｐｖ（ｓ０）に代わって、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）と、視点位置計測センサ１２の地理座標Ｐｇ（ｓ０）をあらかじめ設定する。

つまり、実施例３では、位置・姿勢算出部１３とディスプレイ位置算出部１４が不要である。

図１３には、文字情報や地物名称の他に、地物形状やアイコンを表示している例を示している。

以上、図１０から図１３に例示した透過型ディスプレイ１０上に表示される情報は、それぞれの実施例に限定するものではなく、どの実施例においても表示できる。

１０ 透過型ディスプレイ
１１ 地理位置計測センサ
１１ａ ＧＰＳアンテナ
１１ｂ 慣性計測装置
１２ 視点位置計測センサ
１３ 位置・姿勢算出部
１４ ディスプレイ位置算出部
１５ 視点位置算出部
１６ ＣＧ描画部
１７ 描画方法指定部
１８ 記憶手段
１８ａ キャリブレーション情報データベース
１８ｂ 地物情報データベース
１９ コンピュータ
２０ 窓
２０ａ バスの窓
２０ｂ 電車の窓
２０ｃ 窓付エレベータの窓
２０ｄ 展望台の窓
３０ 視体積
Ｈ 眺望者

Claims (6)

1. 記憶手段を備えたコンピュータと、当該コンピュータとデータ通信回線で接続された、
   眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、
   前記移動体の位置と傾きを計測し送信するＧＰＳアンテナを含む地理位置計測センサと、
   前記眺望者の視点位置を計測し、視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサとからなり、
   前記記憶手段は、
   前記透過型ディスプレイの４隅の位置と前記視点位置計測センサの位置を前記ＧＰＳアンテナの位置を原点とした移動体座標系で表した移動体座標と、前記視点位置計測センサの傾きから算出した第２の回転行列とをあらかじめ格納したキャリブレーション情報データベースと、
   前記透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、前記関連情報である地物属性、描画形状、描画属性を含む地物情報をあらかじめ格納した地物情報データベース
   とを含み、
   前記コンピュータは、
   前記地理位置計測センサに接続され、前記移動体座標系の原点として前記地理位置計測センサによって計測される前記ＧＰＳアンテナの設置位置の地理座標と、前記地理位置計測センサによって計測される前記ＧＰＳアンテナの設置場所の傾きから算出した第１の回転行列を出力する位置・姿勢算出部と、
   前記位置・姿勢算出部と前記キャリブレーション情報データベースに接続され、前記キャリブレーション情報データベースから前記透過型ディスプレイの４隅の移動体座標を読み出し、前記位置・姿勢算出部から受信する前記移動体座標系の原点の地理座標および前記第１の回転行列を用いて、前記透過型ディスプレイの４隅の地理座標を算出するディスプレイ位置算出部と、
   前記視点位置計測センサと、前記位置・姿勢算出部および前記キャリブレーション情報データベースに接続され、前記キャリブレーション情報データベースから前記視点位置計測センサの移動体座標および前記第２の回転行列を読み出し、前記視点位置計測センサから受信する前記視点センサ座標を前記移動体座標系で表した視点移動体座標に変換し、前記位置・姿勢算出部から受信する前記移動体座標系の原点の地理座標および前記第１の回転行列を用いて、前記視点移動体座標を地理座標系で表した視点地理座標に変換する視点位置算出部と、
   前記透過型ディスプレイと、前記地物情報データベースと、前記視点位置算出部と、前記位置・姿勢算出部に接続され、前記視点地理座標と前記透過型ディスプレイの４隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された前記地物情報を前記地物情報データベースより読み出し、前記描画形状と前記描画属性に基づいて、前記透過型ディスプレイ上における前記眺望者が見ている地物の位置に投影されるように前記地物属性をＣＧ合成し、前記透過型ディスプレイ上に表示するＣＧ描画部
   とを含むことを特徴とする拡張現実表現システム。
2. 前記コンピュータは、前記透過型ディスプレイと前記ＣＧ描画部に接続され、前記透過型ディスプレイ上に描画方法を指定するメニューＧＵＩを表示し、前記眺望者が前記メニューＧＵＩから指定した項目を前記ＣＧ描画部に送信する描画方法指定部をさらに含み、
   前記ＣＧ描画部は、前記地物情報データベースから読み出した前記地物情報から、前記描画方法指定部から指定された項目に該当する地物情報を抽出して、前記透過型ディスプレイ上に表示する請求項１に記載の拡張現実表現システム。
3. 前記コンピュータは、前記透過型ディスプレイと前記ＣＧ描画部に接続され、前記眺望者が所持するＩＣカードから前記眺望者の個別情報を読み取り、前記ＣＧ描画部に出力するＩＣカード読取り部をさらに含み
   前記ＣＧ描画部は、前記地物情報データベースから読み出した前記地物情報のうちで、前記ＩＣカード読取り部から受信した前記個別情報に関連するものを選択的に抽出し、前記透過型ディスプレイに表示する請求項１または２に記載の拡張現実表現システム。
4. 眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、前記移動体の地理座標系の位置と傾きを計測し送信するＧＰＳアンテナを含む地理位置計測センサと、前記眺望者の視点位置を計測し視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサのそれぞれとデータ通信回線で接続された記憶手段を備えたコンピュータによる拡張現実表現方法であって、
   前記コンピュータは、
   前記記憶手段に、前記透過型ディスプレイの４隅の位置と前記視点位置計測センサの位置を前記ＧＰＳアンテナの位置を原点とした移動体座標系で表した移動体座標と、前記視点位置計測センサの傾きから算出した第２の回転行列とからなるキャリブレーション情報データベースと、前記透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、前記関連情報である地物属性、描画形状、描画属性を含む地物情報からなる地物情報データベースを格納し、
   前記移動体座標系の原点として前記地理位置計測センサによって計測される前記ＧＰＳアンテナの設置位置の地理座標を受信し、
   前記地理位置計測センサによって計測される前記ＧＰＳアンテナの設置場所の傾きから第１の回転行列を算出し、
   前記キャリブレーション情報データベースから前記透過型ディスプレイの４隅の移動体座標を読み出し、
   前記移動体座標系の原点の地理座標および前記第１の回転行列を用いて、前記透過型ディスプレイの４隅の地理座標を算出し、
   前記キャリブレーション情報データベースから前記視点位置計測センサの移動体座標および前記第２の回転行列を読み出し、
   前記視点位置計測センサの移動体座標および前記第２の回転行列を用いて、前記視点位置計測センサから受信する前記視点センサ座標を前記移動体座標系で表した視点移動体座標に変換し、
   前記移動体座標系の原点の地理座標および前記第１の回転行列を用いて、前記視点移動体座標を地理座標系で表した視点地理座標に変換し、
   前記視点地理座標と前記透過型ディスプレイの４隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された前記地物情報を前記地物情報データベースより読み出し、
   前記描画形状と前記描画属性に基づいて、前記透過型ディスプレイ上における前記眺望者が見ている地物の位置に投影されるように前記地物属性をＣＧ合成し、前記透過型ディスプレイ上に表示する
   ことを特徴とする拡張現実表現方法。
5. 前記コンピュータは、
   前記透過型ディスプレイ上に描画方法を指定するメニューＧＵＩを表示し、
   前記眺望者が前記メニューＧＵＩから指定した項目を受信し、
   前記地物情報データベースから読み出した前記地物情報から、前記指定された項目に該当する地物情報を抽出して、前記透過型ディスプレイ上に表示する請求項４に記載の拡張現実表現方法。
6. 前記コンピュータは、
   前記眺望者が所持するＩＣカードから前記眺望者の個別情報を読み取り、
   前記地物情報データベースから読み出した前記地物情報のうちで、前記個別情報に関連するものを選択的に抽出し、前記透過型ディスプレイに表示する請求項４または５に記載の拡張現実表現方法。