JP2015125641A - 情報処理装置、その制御方法、及びプログラム - Google Patents

Abstract

【課題】複合現実感を提示する仕組みにおいて、ユーザの装着するヘッドマウントディスプレイが備えるデプスセンサを用いて、作業対象物の位置に当該作業対象物を示す３次元モデルを表示すること。【解決手段】情報処理装置１０１は、ユーザが装着するＨＭＤ１０２に備えられたデプスセンサ１０５が計測した作業対象物の座標を取得する。情報処理装置１０１は、当該座標を用いて作業対象物を示す第１の３次元モデルを生成し、当該作業対象物の位置に相当する仮想空間上の位置に配置する。そして、ＨＭＤ１０２の位置・姿勢に応じて当該仮想空間を撮像し、撮像した画像データと現実空間を撮像した画像データとを重畳した画像データをＨＭＤ１０２に送信する。【選択図】図１

Description

本発明は、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術に関し、特にユーザの装着するヘッドマウントディスプレイが備えるデプスセンサを用いて、精度よく作業対象物の位置に当該作業対象物を示す３次元モデルを表示することの可能な情報処理装置、その制御方法、及びプログラムに関する。

従来、ヘッドマウントディスプレイ（ＨＭＤ）やスマートフォンで撮像した現実の世界（以下、現実空間）の画像に、コンピュータで生成された仮想の世界（以下、仮想空間）の画像を重畳させて、ＨＭＤやスマートフォンの画面に表示する技術が存在する。例えば、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、以下、ＭＲ）技術や拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術などがある。

このＭＲ技術では、複合現実感を高めるために、ユーザの視点位置・姿勢をリアルタイムで取得し、現実空間を撮像した画像の変化に追従させて仮想空間の画像を生成し、ＨＭＤを通じてユーザに対してリアルタイムに表示する必要がある。そのため、ＭＲ技術では、センサ等によって計測したユーザの視点位置・姿勢を仮想空間での仮想の視点位置・姿勢として設定し、この設定に基づいて仮想空間の画像をＣＧにより描画し、現実空間の画像と合成している。この技術により、ユーザはあたかも現実空間の中に仮想の物体が存在しているかのような画像を観察することができる。

こうした仕組みにおいては、ＨＭＤが備える左目用のビデオカメラと右目用のビデオカメラとを用いることで、現実空間にある物体（以下、作業対象物）の位置を計測することができる。より具体的には、この２つのビデオカメラの撮像により生成された画像データから作業対象物を検出し、いわゆる三角測量の分野で広く利用される計算技術を用いることで、当該作業対象物の位置を計測することが可能である。

二眼のＨＭＤを用いて三角測量により現実空間にある物体の位置を計測する仕組みが、下記の特許文献１に開示されている。下記の特許文献１では、ユーザの手の位置を三角測量によって求めている。

特開２００９−２５９１８号公報

しかしながら、前述した二眼のＨＭＤを用いた三角測量では、現実空間の作業対象物の位置を精度よく検出することができない問題がある。二眼のＨＭＤを用いた三角測量では、画像データを解析して作業対象物を検出する必要がある。そこで画像データから作業対象物を検出するべく画像処理を行うのだが、この画像処理のロジックや撮像される作業対象物の周辺の状況によっては、精度よく作業対象物の位置を検出できず、誤差が生じてしまう可能性がある。

そのため、作業対象物の位置に計測した結果の第１の３次元モデルと、完成形の作業対象物を示す第２の３次元モデルとを表示させようとしても、計測した結果の３次元モデルが実際の位置よりもずれて表示されてしまう。

例えば、図９には第１の３次元モデル９００と第２の３次元モデル９１０とが表示されている。本来であれば、第１の３次元モデル９００は、第２の３次元モデル９１０の位置に表示されなければならないが、前述した誤差により第１の３次元モデル９００がずれて表示されてしまっている。作業対象物に加工を加えると、三角測量により逐一計算されて第１の３次元モデル９００の形状も変化するが、第２の３次元モデル９１０とずれて表示されているため、加工した結果が完成形の作業対象物に近づいているのか否かを確認しづらい。

そこで本発明の目的は、複合現実感を提示する仕組みにおいて、ユーザの装着するヘッドマウントディスプレイが備えるデプスセンサを用いて、作業対象物の位置に当該作業対象物を示す３次元モデルを表示する仕組みを提供することである。

上記の目的を達成するために本発明の情報処理装置は、作業対象物の座標を計測するデプスセンサと、現実空間を撮像する現実空間撮像手段とを備えるヘッドマウントディスプレイと通信可能に接続される情報処理装置であって、前記デプスセンサが計測した前記作業対象物の座標を取得する座標取得手段と、前記座標取得手段で取得した前記作業対象物の座標を用いて、当該作業対象物を示す第１の３次元モデルを生成する３次元モデル生成手段と、前記座標取得手段で取得した前記作業対象物の座標を用いて、前記３次元モデル生成手段で生成された３次元モデルを当該作業対象物の位置に表示可能な仮想空間を生成する仮想空間生成手段と、前記ヘッドマウントディスプレイを装着するユーザの位置及び姿勢を取得する位置姿勢取得手段と、前記位置姿勢取得手段で取得した位置及び姿勢を用いて、前記仮想空間生成手段で生成された仮想空間を撮像する仮想空間撮像手段と、前記現実空間撮像手段で撮像することにより生成された画像データと、前記仮想空間撮像手段で撮像することにより生成された画像データとを重畳した画像データを生成する重畳画像生成手段と、前記重畳画像生成手段で生成された画像データをユーザに提示するよう、当該画像データを前記ヘッドマウントディスプレイに送信する画像データ送信手段とを備えることを特徴とする。

本発明によれば、複合現実感を提示する仕組みにおいて、ユーザの装着するヘッドマウントディスプレイが備えるデプスセンサを用いて、作業対象物の位置に当該作業対象物を示す３次元モデルを表示することの可能な効果を奏する。

本発明の実施形態におけるＭＲシステムのシステム構成の一例を示す図である。 情報処理装置１０１のハードウェア構成の一例を示す図である。 情報処理装置１０１の機能構成の一例を示す図である。 本発明の実施形態における現実空間の状況を示す図である。 本発明の実施形態における一連の処理の流れを示すフローチャートである。 デプスセンサ１０５が取得する座標の座標系を示す図である。 第１の３次元モデル７００と第２の３次元モデル７１０とを表示する仮想空間を示す図である。 第１の３次元モデル７００と第２の３次元モデル７１０とを表示する仮想空間を示す図である。 第１の３次元モデル７００と第２の３次元モデル７１０とを表示する仮想空間を示す図である。

以下、図面を参照しながら、本発明の実施形態の一例について説明する。

図１は、本発明の実施形態におけるＭＲシステムのシステム構成の一例を示す図である。ＭＲシステムは、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、以下、ＭＲ）をユーザに提供するシステムである。ＭＲシステムは、情報処理装置１０１、ＨＭＤ１０２、赤外線カメラ１０４、デプスセンサ１０５とを含む。情報処理装置１０１にＨＭＤ１０２と、赤外線カメラ１０４と、デプスセンサ１０５とが接続されており、情報処理装置１０１はこれらと相互にデータ通信可能に有線または無線で接続されている。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は、パーソナルコンピュータのような装置である。情報処理装置１０１は、ＨＭＤ１０２で撮像（撮像）された現実空間の画像（以下、現実空間画像）と、情報処理装置１０１で生成された仮想空間の画像（以下、仮想空間画像）とを重畳した画像（以下、複合現実画像）を生成し、ＨＭＤ１０２に送信する。ＭＲの技術に関しては従来技術を用いるため、詳細な説明は省略する。

ＨＭＤ１０２は、いわゆるヘッドマウントディスプレイである。ＨＭＤ１０２は、ユーザの頭部に装着するディスプレイ装置であり、右目用と左目用のビデオカメラと、右目用と左目用のディスプレイを備えている。ＨＭＤ１０２は、ＨＭＤ１０２のビデオカメラで撮像された現実空間画像を情報処理装置１０１に送信する。そして、情報処理装置１０１から送信されてきた複合現実画像を受信し、ディスプレイに表示する。更に、右目用と左目用のビデオカメラとディスプレイを設けているので、視差によって立体感を得ることができる。尚、ＨＭＤ１０２で撮像する現実空間画像、及び表示する複合現実画像は、動画形式が望ましいが、所定の間隔で撮像された画像であってもよい。

赤外線カメラ１０４は、赤外線を照射することで現実空間を撮像する装置である。本実施形態では、赤外線カメラ１０４はＨＭＤ１０２が備えるオプティカルマーカ１０３を検出し、ＨＭＤ１０２の位置や姿勢を検出する。どのような状況下でもオプティカルマーカ１０３を検出できるように、赤外線カメラ１０４を複数設置することが望ましい。尚、本実施形態では赤外線カメラ１０４とＨＭＤ１０２が備えるオプティカルマーカ１０３を用いてＨＭＤ１０２の位置・姿勢を取得するが、ＨＭＤ１０２の位置・姿勢が検出できればどのような形態でも構わない。例えば、磁気センサを用いてもよいし、ＨＭＤ１０２で撮像された映像を解析して位置・姿勢を特定してもよい。

デプスセンサ１０５は、現実空間の物体の位置を検出するためのセンサである。デプスセンサ１０５はＨＭＤ１０２に備えられており、ＨＭＤ１０２を装着するユーザの視線方向に存在する現実空間の物体の位置を示す座標を取得する。そのため、デプスセンサ１０５はＨＭＤ１０２を装着するユーザの視線方向と同様の方向に向けてＨＭＤ１０２に固定されている。

図２は、情報処理装置１０１のハードウェア構成を示す図である。尚、図２の情報処理装置１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２１０）からの入力を制御する。

ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０２が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、赤外線カメラ１０４、デプスセンサ１０５との通信も制御する。

汎用バス２０９は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１（現実空間撮像手段）からの映像を取り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明の情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。

図３は、情報処理装置１０１の機能構成を示す機能構成図である。尚、図３の情報処理装置１０１の機能構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は、通信制御部３０１、３次元モデル管理部３０２、現実空間画像取得部３０３、マーカ検出部３０４、仮想空間生成部３０５、位置姿勢取得部３０６、物体座標取得部３０７、複合現実画像生成部３０８を備える。

通信制御部３０１は、ＨＭＤ１０２、赤外線カメラ１０４、デプスセンサ１０５等の装置と情報の送受信を行うための機能部である。３次元モデル管理部３０２は、外部メモリ２１１等に記憶され、仮想空間に表示可能な３次元モデルを管理する機能部である。現実空間画像取得部３０３は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１の撮像により生成される現実空間画像を取得するための機能部である。

マーカ検出部３０４は、現実空間画像取得部３０３で取得した現実空間画像に含まれるマーカを検出するための機能部である。マーカとは、情報処理装置１０１が現実空間の物体の位置・姿勢を認識するための二次元コードである。このマーカの例を図４のマーカ４０２に示す。図４は本実施形態のＭＲシステムを利用するユーザとそのユーザの周辺の様子を示す図である。ユーザはデプスセンサ１０５を備えるＨＭＤ１０２を装着しており、更にマーカ４０２が複数貼り付けられた作業対象物４０１が存在している。情報処理装置１０１のマーカ検出部３０４は現実空間画像に所定の画像処理を実行し、このマーカ４０２を検出する。マーカ４０２を検出することで、複雑な画像処理を行うことなく、現実空間の物体の位置・姿勢を認識することができる。

仮想空間生成部３０５（仮想空間生成手段）は、現実空間に重畳させて表示するための仮想空間を生成する機能部である。仮想空間生成部３０５は、３次元モデルを３次元モデル管理部３０２から取得し、所定の座標位置と向きで当該３次元モデルを配置することで、仮想空間を生成する。

位置姿勢取得部３０６は、赤外線カメラ１０４から送信されるＨＭＤ１０２の位置・姿勢を取得するための機能部である。赤外線カメラ１０４から送信される位置・姿勢は、現実空間における位置・姿勢であるので、これを当該現実空間に対して位置合わせされた仮想空間における位置・姿勢として変換し、取得する機能も有する。

物体座標取得部３０７は、ＨＭＤ１０２が備えるデプスセンサ１０５が計測した現実空間の物体の位置座標を取得する。デプスセンサ１０５は、計測用の画素ごとに現実空間の物体に対して位置座標を計測するので、この複数の位置座標を物体座標取得部３０７が取得することになる。

複合現実画像生成部３０８は、現実空間画像取得部３０３で取得した現実空間画像と、仮想空間生成部３０５で生成した仮想空間を撮像した仮想空間画像とを重畳して、複合現実画像を生成するための機能部である。

次に、本発明の実施形態における情報処理装置１０１によって行われる一連の処理について、図５に示すフローチャートを用いて説明する。

図５の説明の前に図４を参照して本発明の概要について説明する。図４は、前述した通り、本実施形態のＭＲシステムを利用するユーザとそのユーザの周辺の様子を示す図である。ユーザはデプスセンサ１０５を備えるＨＭＤ１０２を装着しており、更にマーカ４０２が複数貼り付けられた作業対象物４０１が存在している。ＭＲシステムは、この加工をする際の基準となる３次元モデルである基準モデル（第２の３次元モデル）を、マーカ４０２を用いて作業対象物４０１の位置に表示する。更には、デプスセンサ１０５で計測した結果生成される、現実空間の物体（作業対象物４０１や床や壁等）を示す３次元モデルである計測モデル（第１の３次元モデル）を現実空間の当該物体の位置に表示する。

ユーザは、こうして表示された計測モデルの形を基準モデルの形に合わせるように工具を用いて加工していく。ユーザが作業対象物４０１を加工すると当該作業対象物４０１の形状が変化する。そしてこの形状が変化した作業対象物４０１をデプスセンサ１０５が計測し、計測モデルを再生成するため、リアルタイムに加工の結果が正しいか否かを確認することができる。

従来はこうした計測モデルを生成するときにＨＭＤ１０２から取得する現実空間画像を用いていたが、画像処理のロジックによって計測モデルを表示する位置が変わってきてしまう。そのため、本発明ではデプスセンサ１０５をＨＭＤ１０２に備え、当該デプスセンサ１０５の計測結果を用いることで、より精度のよい位置で計測モデルを表示することができる。以下、これらの詳細な処理について図５のフローチャートを用いて説明する。

まずステップＳ５０１では、情報処理装置１０１のＣＰＵ２０１は、情報処理装置１０１の赤外線カメラ１０４から送信される現実空間におけるＨＭＤ１０２の位置・姿勢、すなわちＨＭＤ１０２を装着するユーザの位置・姿勢を取得する（位置姿勢取得手段）。そして、取得した位置・姿勢に対応する仮想空間における位置・姿勢を取得する。現実空間と仮想空間とはあらかじめ位置合わせがなされている。そのため、現実空間における位置・姿勢がわかれば、それに対応する仮想空間の位置・姿勢も取得できる。

ステップＳ５０２では、情報処理装置１０１のＣＰＵ２０１は、ＨＭＤ１０２に備えられたデプスセンサ１０５から送信される現実空間の物体（作業対象物４０１や床や壁等）の深度座標を取得する（座標取得手段）。ここでいう深度座標とは、デプスセンサ１０５が計測した座標である。デプスセンサ１０５は情報処理装置１０１が把握する仮想空間や現実空間とは異なる独自の座標系を持っている。本実施形態ではこの座標系に基づいた座標を深度座標と呼ぶ。

より具体的には、図６の座標系イメージ６００と座標系イメージ６１０に示す通りである。座標系イメージ６００に示す通り、デプスセンサ１０５を原点とし、デプスセンサ１０５の視線方向６０２をＺ軸とし、当該Ｚ軸に対して直交する上下方向６０１をＹ軸としている。更には、座標系イメージ６１０に示すとおり、Ｙ軸とＺ軸に直交する左右方向６１１をＸ座標としている。この３軸の座標系に基づいて、デプスセンサ１０５が現実空間の物体の深度座標を取得する。

ステップＳ５０３では、情報処理装置１０１のＣＰＵ２０１は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１から送信された現実空間画像を取得する。そして、ステップＳ５０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０３で取得した現実空間画像から作業対象物４０１に付されたマーカ４０２を検出する。現実空間画像からマーカ４０２を検出する技術については、従来技術を用いるため説明は省略する。

ステップＳ５０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で現実空間画像から作業対象物４０１に付されたマーカ４０２を検出したか否かを判定する。マーカ４０２を検出したと判定した場合には、ステップＳ５０６に処理を進める。マーカ４０２を検出していないと判定した場合には、本一連の処理を終了する。

ステップＳ５０６では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で検出したマーカ４０２に対応する基準モデルを外部メモリ２１１等から取得する。当該基準モデルはマーカ４０２が付された作業対象物４０１を加工した結果の完成形を示す３次元モデルである。基準モデルはあらかじめ作成し、情報処理装置１０１の外部メモリ２１１等にマーカ４０２と対応付けて記憶しておく。

ステップＳ５０７では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で検出したマーカ４０２に基づいて、ステップＳ５０６で取得した基準モデルを表示する仮想空間上の座標と向きを特定する（位置特定手段）。外部メモリ２１１等では、作業対象物４０１に付されるマーカ４０２ごとに、仮想空間において基準モデルをどのような向きで表示するべきかを記憶している。更に、ステップＳ５０１で取得したＨＭＤ１０２の仮想空間における位置・姿勢と、現実空間画像から取得可能なマーカ４０２の向きや形状とを用いて、ＨＭＤ１０２とマーカ４０２との位置関係を特定できる。よって、この位置関係に基づいて基準モデルを表示する仮想空間上の座標を特定する。

ステップＳ５０８では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０７で特定した座標と向きで、ステップＳ５０６で取得した基準モデル（第２の３次元モデル）を配置する。すなわち、この配置された位置は、現実空間の作業対象物４０１に対応する位置である。

ステップＳ５０９では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０２で取得した現実空間の物体の深度座標を、ステップＳ５０１で取得したＨＭＤ１０２の位置・姿勢に応じて、仮想空間の座標に変換する。すなわち、デプスセンサ１０５で取得した座標の座標系を仮想空間の座標系に変換するということである。デプスセンサ１０５はＨＭＤ１０２に備えられているので、デプスセンサ１０５の位置・姿勢は、ＨＭＤ１０２の位置・姿勢と同等である。これを利用して、深度座標をＨＭＤ１０２の位置・姿勢に応じて仮想空間上の座標に変換する。尚、デプスセンサ１０５の設置位置に応じて座標の補正を行うことが望ましい。

ステップＳ５１０では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０９で変換した仮想空間の座標が示す点同士を線分で接続し、作業対象物４０１を示す格子状の計測モデル（第１の３次元モデル）を仮想空間上に生成する（３次元モデル生成手段）。情報処理装置１０１がデプスセンサ１０５から取得するのは、現実空間の物体を示す点の座標群である。よって、この点を線で結ぶことでユーザが視認しやすい形態としている。

ステップＳ５１１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０１で取得したＨＭＤ１０２の位置・姿勢に応じて仮想空間上に仮想的なカメラを設置し、当該カメラから撮像した仮想空間画像を生成する（仮想空間撮像手段）。そして、ステップＳ５１２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５１１で取得した仮想空間画像とステップＳ５０３で取得した現実空間画像とを重畳し、複合現実画像を生成する（重畳画像生成手段）。

ステップＳ５１３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５１２で生成した複合現実画像をＨＭＤ１０２に送信し、ＨＭＤ１０２の右目・左目ディスプレイ２２２を通じて複合現実画像をユーザに提示する（画像データ送信手段）。

以上のステップＳ５０１乃至ステップＳ５１３の処理をユーザから終了の指示があるまで、繰り返し実行する。例えば、図５のフローチャートを実行した結果として図７に示すような複合現実画像が右目・左目ディスプレイ２２２に表示される。図７にはステップＳ５１０で生成した計測モデル７００と、ステップＳ５０８で配置した基準モデル７１０とが表示されている。図７では図示していないが、これらは作業対象物４０１の位置に重ねて表示されている。ユーザはこの複合現実画像を見ながら、基準モデル７１０に合うように作業対象物４０１を加工していく。作業対象物４０１の位置に重ねて表示されているため、計測モデル７００に対して加工を施すイメージで作業が行える。そして、図５のフローチャートを繰り返し実行するため、加工に応じて変化する作業対象物４０１の形状が計測モデル７００に反映される。

計測モデル７００と基準モデル７１０とが一致するように加工を行っていくと、図８に示すような複合現実画像となる。つまり、計測モデル７００と基準モデル７１０とが一致したということは、作業対象物４０１が基準モデル７１０と同じ形状になったということである。このようにして、作業対象物４０１の加工作業を支援する。

以上説明したように、本実施形態によれば、複合現実感を提示する仕組みにおいて、ユーザの装着するヘッドマウントディスプレイが備えるデプスセンサを用いて、作業対象物の位置に当該作業対象物を示す３次元モデルを表示することの可能な効果を奏する。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 情報処理装置
１０２ ＨＭＤ
１０３ オプティカルマーカ
１０４ 赤外線カメラ
１０５ デプスセンサ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 汎用バス
２１０ 入力デバイス
２１１ 外部メモリ
２２１ 右目・左目ビデオカメラ
２２２ 右目・左目ディスプレイ

Claims (7)

1. 作業対象物の座標を計測するデプスセンサと、現実空間を撮像する現実空間撮像手段とを備えるヘッドマウントディスプレイと通信可能に接続される情報処理装置であって、
   前記デプスセンサが計測した前記作業対象物の座標を取得する座標取得手段と、
   前記座標取得手段で取得した前記作業対象物の座標を用いて、当該作業対象物を示す第１の３次元モデルを生成する３次元モデル生成手段と、
   前記座標取得手段で取得した前記作業対象物の座標を用いて、前記３次元モデル生成手段で生成された３次元モデルを当該作業対象物の位置に表示可能な仮想空間を生成する仮想空間生成手段と、
   前記ヘッドマウントディスプレイを装着するユーザの位置及び姿勢を取得する位置姿勢取得手段と、
   前記位置姿勢取得手段で取得した位置及び姿勢を用いて、前記仮想空間生成手段で生成された仮想空間を撮像する仮想空間撮像手段と、
   前記現実空間撮像手段で撮像することにより生成された画像データと、前記仮想空間撮像手段で撮像することにより生成された画像データとを重畳した画像データを生成する重畳画像生成手段と、
   前記重畳画像生成手段で生成された画像データをユーザに提示するよう、当該画像データを前記ヘッドマウントディスプレイに送信する画像データ送信手段と
   を備えることを特徴とする情報処理装置。
2. 前記仮想空間生成手段は、更に前記作業対象物の基準となる第２の３次元モデルを当該作業対象物の位置に表示可能な仮想空間を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記情報処理装置は、
   前記現実空間撮像手段で前記作業対象物を含む現実空間を撮像することにより生成された画像データを用いて、前記作業対象物の位置を特定する位置特定手段を更に備え、
   前記仮想空間生成手段は、更に前記作業対象物の基準となる第２の３次元モデルを前記位置特定手段で特定した位置に表示可能な仮想空間を生成することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記位置特定手段は、前記作業対象物に付されたマーカを用いて、当該作業対象物の位置を特定することを特徴とする請求項３に記載の情報処理装置。
5. 前記位置姿勢取得手段は、前記ヘッドマウントディスプレイが備えるオプティカルマーカを検出する赤外線カメラから情報に基づいて、当該ヘッドマウントディスプレイを装着するユーザの位置及び姿勢を取得することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 作業対象物の座標を計測するデプスセンサと、現実空間を撮像する現実空間撮像手段とを備えるヘッドマウントディスプレイと通信可能に接続される情報処理装置の制御方法であって、
   前記情報処理装置の座標取得手段が、前記デプスセンサが計測した前記作業対象物の座標を取得する座標取得ステップと、
   前記情報処理装置の３次元モデル生成手段が、前記座標取得ステップで取得した前記作業対象物の座標を用いて、当該作業対象物を示す第１の３次元モデルを生成する３次元モデル生成ステップと、
   前記情報処理装置の仮想空間生成手段が、前記座標取得ステップで取得した前記作業対象物の座標を用いて、前記３次元モデル生成ステップで生成された３次元モデルを当該作業対象物の位置に表示可能な仮想空間を生成する仮想空間生成ステップと、
   前記情報処理装置の位置姿勢取得手段が、前記ヘッドマウントディスプレイを装着するユーザの位置及び姿勢を取得する位置姿勢取得ステップと、
   前記情報処理装置の仮想空間撮像手段が、前記位置姿勢取得ステップで取得した位置及び姿勢を用いて、前記仮想空間生成ステップで生成された仮想空間を撮像する仮想空間撮像ステップと、
   前記情報処理装置の複合現実画像生成手段が、前記現実空間撮像手段で撮像することにより生成された画像データと、前記仮想空間撮像ステップで撮像することにより生成された画像データとを重畳した画像データを生成する重畳画像生成ステップと、
   前記情報処理装置の画像データ送信手段が、前記重畳画像生成ステップで生成された画像データをユーザに提示するよう、当該画像データを前記ヘッドマウントディスプレイに送信する画像データ送信ステップと
   を備えることを特徴とする情報処理装置の制御方法。
7. 作業対象物の座標を計測するデプスセンサと、現実空間を撮像する現実空間撮像手段とを備えるヘッドマウントディスプレイと通信可能に接続される情報処理装置の制御方法を実行可能なプログラムであって、
   前記情報処理装置を、
   前記デプスセンサが計測した前記作業対象物の座標を取得する座標取得手段と、
   前記座標取得手段で取得した前記作業対象物の座標を用いて、当該作業対象物を示す第１の３次元モデルを生成する３次元モデル生成手段と、
   前記座標取得手段で取得した前記作業対象物の座標を用いて、前記３次元モデル生成手段で生成された３次元モデルを当該作業対象物の位置に表示可能な仮想空間を生成する仮想空間生成手段と、
   前記ヘッドマウントディスプレイを装着するユーザの位置及び姿勢を取得する位置姿勢取得手段と、
   前記位置姿勢取得手段で取得した位置及び姿勢を用いて、前記仮想空間生成手段で生成された仮想空間を撮像する仮想空間撮像手段と、
   前記現実空間撮像手段で撮像することにより生成された画像データと、前記仮想空間撮像手段で撮像することにより生成された画像データとを重畳した画像データを生成する重畳画像生成手段と、
   前記重畳画像生成手段で生成された画像データをユーザに提示するよう、当該画像データを前記ヘッドマウントディスプレイに送信する画像データ送信手段
   として機能させることを特徴とするプログラム。

Images