JP2018036720A - 仮想空間観察システム、方法及びプログラム - Google Patents

Abstract

【課題】 本発明の課題のうちの一つは、仮想空間内の観察にあたって直観的な観察体験を提供しつつも、身体への負担や安全面への配慮がなされた仮想空間観察システムを提供することにある。【解決手段】 本発明に係る仮想空間観察システムは、ディスプレイと、前記ディスプレイの姿勢を検出可能なモーションセンサと、前記ディスプレイ上に、前記モーションセンサにより検出されたディスプレイの姿勢に対応して、仮想空間内における所定の観察方向の所定画角枠内の画像を表示する情報処理部と、を備えた仮想空間観察システムであって、前記情報処理部は、さらに、前記仮想空間観察システムのユーザによる所定の操作に基づいて前記ディスプレイの姿勢変化とは無関係に生成された観察方向制御信号に応じて、前記仮想空間内における観察方向を変更する観察方向制御部を備えている。【選択図】 図２０

Description

この発明は、例えば、仮想空間画像を観察する仮想空間観察システムに関する。

ヘッドマウントディスプレイ（ＨＭＤ）等を用いてユーザの両眼に所定の画像を提示し、それにより、ユーザに仮想的な空間やオブジェクトを知覚させるシステムが近年普及しつつある。このようなヘッドマウントディスプレイを用いた仮想空間の観察システムでは、多くの場合、現実空間と同様の直感的な観察体験を実現するべく、頭部追従（ヘッドトラッキング）機能が実装されている。このヘッドトラッキング機能によれば、ユーザの頭部姿勢と対応したディスプレイ姿勢を変化させることで、仮想空間内における当該ディスプレイ姿勢に応じた方向の所定画角枠内の画像がディスプレイ上に提示される。

例として、特許文献１には、モーションセンサを備えたシースルー型ヘッドマウントディスプレイ上に、ユーザの周囲にインフォメーションベルトと呼ばれる仮想的な選択項目を知覚させる画像を表示する技術が開示されている。この例にあっては、ユーザが、歩行していない状態において、頭部を動かして当該インフォメーションベルトを観察すると、仮想空間上の表示オブジェクトの配置座標を固定した状態で、頭部方向に対応した所定画像が描画される。

特開２０１６−８２４１１号公報

しかしながら、ヘッドトラッキング機能を備えた仮想空間の観察システムにおいては、現実空間と同様の直感的な観察体験を実現したことから、次のような不都合が存在する。すなわち、起立して或いは椅子などに座って仮想空間の観察を行うユーザが、仮想空間における自身の背面側を観察しようとした場合、ディスプレイと対応する頭部も背面側に向けなければならないため、自身の首や上半身を背面側に捻らなければならない。このとき、首や上半身への負担が大きいばかりか、周囲の視界が遮蔽された没入型のヘッドマウントディスプレイを用いた場合には、周囲を確認することなしに首や上半身を背面側に捻ることとなるから、人や物への接触のおそれから安全上も好ましくない。このような問題は、背面方向を観察する場合のみならず、例えば鉛直上方など他の方向を観察する場合にも同様に生じ得る。

また、上述のヘッドマウントディスプレイを用いた仮想空間の観察システムの場合のみならず、空間に固定された座標系を有する仮想空間内において、ディスプレイ姿勢を検出可能なスマートフォンなどをかざすことにより、当該かざした方向の様子を観察する仮想空間観察システムにおいても、やはり所定方向を観察するには当該方向へと当該方向にスマートフォンをかざさなければならないため、同様の問題が生じる。

本発明は、上述の技術的背景に鑑みてなされたものであり、その目的は、仮想空間内の観察にあたって直観的な観察体験を提供しつつも、身体への負担や安全面への配慮がなされた仮想空間観察システムを提供することにある。

この発明のさらに他の目的並びに作用効果については、明細書の以下の記述を参照することにより、当業者によれば容易に理解されるであろう。

上述の技術的課題は、以下の構成により解決される。

すなわち、本発明に係る仮想空間観察システムは、ディスプレイと、前記ディスプレイの姿勢を検出可能なモーションセンサと、前記ディスプレイ上に、前記モーションセンサにより検出された前記ディスプレイの姿勢に対応して、仮想空間内における所定の観察方向の所定画角枠内の画像を表示する情報処理部と、を備えた仮想空間観察システムであって、前記情報処理部は、さらに、前記仮想空間観察システムのユーザによる所定の操作に基づいて前記ディスプレイの姿勢変化とは無関係に生成された観察方向制御信号に応じて、前記仮想空間内における観察方向を変更する観察方向制御部を備えるものである。

このような構成によれば、ヘッドトラッキング処理により直観的な観察体験を提供しつつも、ディスプレイ姿勢を変化させることなく、必要に応じて仮想空間内における観察方向を任意に変更することができる。

上述の発明において、前記観察方向制御部は、さらに、連続的な観察方向制御信号に応じて、前記仮想空間内における前記観察方向を連続的に変更し、それにより、前記ディスプレイ上に前記観察方向に対応する所定の画角枠内の画像を連続的に表示してもよい。

このような構成によれば、観察方向が変更されていく過程を連続的な画像を通じて確認することができる。そのため、仮想空間内においてどちらの方向に向かって観察方向を変更しているのかを直感的に把握することができるのと共に、目的とする観察方向までの様子を観察することもできる。

上述の発明において、前記所定の画角枠内の画像の連続的な表示は、前記仮想空間における観察地点を中心とする所定の円軌道に沿って行われてもよい。

このような構成によれば、観察方向を回転させると、１周して再び元の方向へと戻って来ることが可能となるため、仮想空間内において自身の観察方向を見失うおそれが少なくなる。

上述の発明において、前記情報処理部は、さらに、所定の観察地点移動信号に応じて、前記仮想空間における観察地点を直近の観察方向へと所定距離移動させる観察地点制御部を備えてもよい。

このような構成によれば、仮想空間内において観察地点そのものも自在に移動させることができるので、仮想空間内を自在に探索することができる。

上述の発明において、前記ディスプレイと、前記モーションセンサと、前記情報処理部とは、単一の情報処理装置に含まれ、前記仮想空間観察システムは、さらに、前記ディスプレイが眼前に配置されるように前記情報処理装置を組込可能であって、ユーザの頭部に装着可能な頭部装着具と、所定の操作子を有し、前記情報処理装置と有線又は無線により通信接続可能な手持ち型又は身体装着型の操作装置と、を備えてもよい。

このような構成によれば、頭部装着具へと組み込まれた情報処理装置に備えられたディスプレイとモーションセンサと情報処理部を利用して、ヘッドマウントディスプレイを実現することができる。

上述の発明において、前記観察方向制御信号は、前記操作装置の前記操作子を操作することにより生成されてもよい。

このような構成によれば、頭部装着具を装着して視界が限定され乃至は皆無の場合であっても、操作子により確実に観察方向制御信号を生成することができる。

上述の発明において、前記観察方向制御信号は、前記操作装置の前記操作子を用いて入力操作が行われている間、前記仮想空間内における前記観察方向を連続的に変更し、それにより、前記ディスプレイ上に前記観察方向に対応する所定の画角枠内の画像を連続的に表示するものであってもよい。

このような構成によれば、操作子による入力が行われている間だけ観察方向を変更することができるので、観察方向の変更動作を自身の観察方向を見失うおそれも少なく、また、直感的かつ簡易な操作で実現することができる。

上述の発明において、前記操作装置は、さらに、前記操作装置の姿勢及び動きを検出する操作装置用モーションセンサを備え、前記観察方向制御信号は、前記操作装置の姿勢又は動きに応じて生成されてもよい。

このような構成によれば、頭部姿勢は変えることなく、操作装置の姿勢又は動きを変えることで仮想空間における観察方向を制御することができる。

上述の発明において、前記観察方向制御部は、前記操作装置により所定の方向を指示しているときの画角枠内の指示領域を始点とし、前記始点から指示領域が移動した場合に、前記始点を中心として、前記指示領域の移動とは点対称に観察方向を変更するものであってもよい。

このような構成によれば、画角枠内の画像の所定領域を始点として、ドラッグするかのように仮想空間内における観察方向を変更することができる。

上述の発明において、前記観察方向制御部は、前記操作装置により所定の方向を指示しているときの画角枠内の指示領域を始点とし、前記始点から指示領域が移動した場合に、前記始点と前記指示領域との相対的位置関係と一致するように観察方向を変更するものであってもよい。

このような構成によれば、操作装置を用いて、直感的に観察方向を変更することができる。

上述の発明において、前記仮想空間観察システムは、さらに、現実世界画像を撮像するカメラを含み、前記情報処理部は、前記ディスプレイ上に、前記現実世界画像を表示すると共に、前記現実世界画像に重畳して、前記所定の画角枠内の画像に代えて、前記モーションセンサにより検出された前記ディスプレイの姿勢に対応して、仮想空間内における所定の観察方向の所定画像を表示するものであってもよい。

このような構成によれば、ディスプレイ姿勢を変化させることなく、仮想空間内における観察方向を任意に変更することができ、これにより、重畳させる仮想空間に関する画像のみを変更することができる。

上述の発明において、前記仮想空間観察システムは、さらに、音声入力のためのマイクを備え、前記情報処理部は、さらに、マイク入力に基づいて、前記観察方向制御信号を生成し、それにより、前記仮想空間内における前記観察方向を変更する音声入力処理部を備えてもよい。

このような構成によれば、観察方向の変更操作にあたって何ら操作装置などを持つ必要がなく、両手が自由になるとともに、頭部装着具を装着して視界が限定され又は皆無の状態であっても、適格に仮想空間内における観察方向の変更を行うことができる。

上述の発明において、前記仮想空間観察システムは、さらに、視線検出のためのカメラを備え、前記観察方向制御部は、さらに、カメラ入力に基づいて、前記所定画角枠内の画像内の注視領域を検出し、所定時間以上、同一の領域が注視されたことが検出された場合に、当該領域が画像の中心となるよう観察方向を変更する視線検出処理部を備えてもよい。

このような構成によれば、観察方向の変更操作にあたって何ら操作装置などを持つ必要がなく、両手が自由になるとともに、頭部装着具を装着して視界が限定され又は皆無の状態であっても、適格に仮想空間内における観察方向の変更を行うことができる。

上述の発明において、前記モーションセンサは、少なくとも３軸加速度センサ、３軸角速度センサ、及び３軸地磁気センサを含むものであってもよい。

このような構成によれば、各センサの検出値から、高精度にディスプレイの姿勢を検出することができる。また、特に、３軸加速度センサ及び３軸地磁気の検出値を利用して、絶対座標系における姿勢を算出することも可能である。

上述の発明において、前記操作装置用モーションセンサは、少なくとも３軸加速度センサ、３軸角速度センサ、及び３軸地磁気センサを含むものであってもよい。

このような構成によれば、各センサの検出値から、高精度にディスプレイの姿勢を検出することができる。また、特に、３軸加速度センサ及び３軸地磁気の検出値を利用して、絶対座標系における姿勢を算出することも可能である。

また、本発明は、仮想空間観察方法として観念することもできる。すなわち、仮想空間観察方法は、ディスプレイ上に表示された画像を通じて認識される仮想空間を観察する仮想空間観察方法であって、前記ディスプレイの姿勢を検出するモーション検出ステップと、前記ディスプレイ上に、前記モーション検出ステップにより検出された前記ディスプレイの姿勢に対応して、仮想空間内における所定の観察方向の所定画角枠内の画像を表示する情報処理ステップと、を備え、前記情報処理ステップは、さらに、ユーザによる所定の操作に基づいて前記ディスプレイの姿勢変化とは無関係に生成された観察方向制御信号に応じて、前記仮想空間内における観察方向を変更する観察方向制御ステップを備える。

このような構成によれば、ディスプレイ姿勢を変化させることなく、仮想空間内における観察方向を任意に変更することができる方法を提供することができる。

さらに、本発明は、仮想空間観察用コンピュータプログラムとして観念することもできる。すなわち、コンピュータを、上述の仮想空間観察システムにおける情報処理部として機能させる仮想空間観察用コンピュータプログラムとして観念することができる。

このような構成によれば、ディスプレイ姿勢を変化させることなく、仮想空間内における観察方向を任意に変更することができるコンピュータプログラムを提供することができる。

本発明によれば、ディスプレイ姿勢を変化させることなく、仮想空間内における観察方向を任意に変更することができる仮想空間観察システムを提供することができる。これにより、仮想空間内の観察にあたって直観的な観察体験を提供しつつも、身体への負担や安全面への配慮がなされた仮想空間観察システムを提供することができる。

図１は、システムの使用状態を示す説明図である。 図２は、頭部装着具の外観を示す斜視図である。 図３は、頭部装着具へのスマートフォン組み込み手順の説明図である。 図４は、頭部装着具の使用状態を示す説明図である。 図５は、スマートフォンの電気的ハードウエア構成を示すブロック図である。 図６は、コントローラの外観を示す斜視図である。 図７は、コントローラの電気的ハードウエア構成を示すブロック図である。 図８は、遊戯の準備手順に関するフローチャートである。 図９は、モード選択に関するフローチャートである。 図１０は、ゲームの初期状態の画面図である。 図１１は、視差画像の表示例について示す説明図である。 図１２は、全球画像を用いた場合の概念図である。 図１３は、ヘッドトラッキング処理に関するフローチャートである。 図１４は、座標系に関する説明図である。 図１５は、座標系の整合に関する概念図である。 図１６は、ヘッドトラッキングの様子について説明する説明図である。 図１７は、仮想空間内における移動動作に関する割込処理フローチャートである。 図１８は、仮想空間における前進動作に関する説明図である。 図１９は、仮想空間内における観察方向の変更動作に関する割込処理フローチャート（その１）である。 図２０は、観察方向の変更態様に関する説明図（第１の実施形態）である。 図２１は、画格枠の移動軌道についての説明図である。 図２２は、仮想空間内における観察方向の変更動作に関する割込処理フローチャート（その２）である。 図２３は、観察方向の変更態様に関する説明図（第２の実施形態）である。 図２４は、観察方向の変更態様に関する説明図（第３の実施形態）である。 図２５は、観察方向の変更態様に関する説明図（第４の実施形態）である。 図２６は、パノラマ画像を用いた場合の概念図である。 図２７は、半球画像を用いた場合の概念図である。 図２８は、主となる情報処理を外部装置にて行う場合の概念図である。 図２９は、非没入型の場合の変形例に関する説明図である。

以下に、本発明に係る仮想空間観察用システムの好適な実施の一形態を、添付の図面を参照しながら詳細に説明する。

［１．第１の実施形態］
［１．１ システムの全体構成］
図１に、本発明に係る仮想空間観察システム１の一例の使用状態に関する外観図が示されている。同図から明らかな通り、この例にあっては、仮想空間観察システム１は、ユーザ（又は操作者）４０の手に把持される手持ち型の操作装置であるコントローラ１０と、ユーザ４０の頭部４１に頭周ベルト２１を介して装着される頭部装着具２０と、頭部装着具２０の内部に組み込まれる情報処理装置であるスマートフォン５０とから構成されている。なお、同図において、スマートフォン５０は頭部装着具２０の内部に組み込まれているため図示されていない。

［１．２ 頭部装着具の構成］
図２〜図４を参照しつつ、頭部装着具２０の構成について説明する。図２及び図３に示される通り、頭部装着具２０は、前面に開口２４を有しかつ後面はユーザ４０の両眼４３にあてがわれる本体２３を有する。この本体２３は、ユーザ４０の頭部周囲にあてがわれる頭周ベルト２１と頭頂部にあてがわれる頭頂ベルト２２と結合している。前面開口２４には、外側へ開くようにした蓋板２５が開閉自在にヒンジ結合されており、この蓋板２５によって、前面開口２４は閉じられ、蓋板留め具２７、２８によって両者は固定される。蓋板２５の内面側には、表示画面５１を内面側に向けて、スマートフォン５０が適当な保持具２６で固定される。

図３（ａ）及び図３（ｂ）に、頭部装着具２０へのスマートフォン５０の組み込み手順の詳細が示されている。まず、図３（ａ）に示される通り、スマートフォン５０は、頭部装着具２０の前面の蓋板２５を開いた状態において、蓋板２５の内面側に配置された４つの保持具２６の中央部へと配置されて組み込まれる。スマートフォン５０が組み込まれた後の頭部装着具２０が図３（ｂ）に示されている。同図から明らかな通り、スマートフォン５０は、蓋板２５の内面側の保持具２６によりその各辺を着脱自在に保持されている。この状態において、雄側の蓋板留め具２８と雌側の蓋板留め具２７とを係合させて蓋板２５を閉じることで、表示画面５１を本体２３の内面側に向けた状態でスマートフォン５０を固定することができる。

ユーザ４０が、スマートフォン５０の組み込まれた頭部装着具２０を頭部４１に装着すると、図４に示されるように、操作者４０の眼４３の前には、仕切り板２９に保持された光学系３０を介して、スマートフォン５０の表示画面５１が対面する。そのため、頭部装着具２０は、いわゆるヘッドマウントディスプレイ（ＨＭＤ）として機能する。

［１．３ スマートフォンの構成］
スマートフォン５０は、図３又は図６等に示される通り、一方の面の中央部にディスプレイ５１、その上下に操作ボタン、スピーカ、インカメラを有し、他方の面にアウトカメラを有している。後に、図５を参照して説明するように、スマートフォン５０には、モーションセンサを構成する３軸加速度センサ５０６、３軸角速度センサ５０７、及び３軸地磁気センサ５０８がそれぞれ組み込まれている。そのため、それらのセンサによって、スマートフォン１０の位置、姿勢、及び／又は、それらの動きも含めた変化を自在に検知可能とされている。

スマートフォンの電気的ハードウェア構成の一例を示すブロック図が、図５に示されている。同図に示されるように、スマートフォン５０の電気回路は、制御部５０１、記憶部５０２、ディスプレイ部５１、入力操作部（タッチパネル）５０４、入力操作部（ボタン）５０５、３軸加速度センサ５０６、３軸角速度センサ５０７、３軸地磁気センサ５０８、ＧＰＳユニット５０９、照度センサ５１０、タイマ５１１、バッテリ５１２、振動部５１３、通信ユニット５１４、音声出力部５１５、音声入力部５１６、スピーカ部５１７、カメラユニット５１８、及びコネクタ５１９を含んで構成される。

制御部５０１は、スマートフォンの各種動作等を制御するプログラムを実行するＣＰＵ等（ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含む）を備える。

記憶部５０２は、ＲＯＭ，ＲＡＭ又はストレージ等から構成され、スマートフォン５０の一般的機能を実現するためのプログラムのほか、後述するゲームプログラムその他の各種のデータが保存される。

ディスプレイ５１は、液晶ディスプレイ、有機ＥＬディスプレイ、又は無機ＥＬディスプレイ等の表示デバイスを備えており、文字、図形又は記号等が表示される。このディスプレイ５１は、本発明に関連して、ヘッドマウントディスプレイ（ＨＭＤ）の表示部としても機能する。すなわち、このディスプレイ５１の表示画面に、ビデオゲーム等を構成する画像が表示される。この画像は、好ましくは、公知の手法により３Ｄ処理が施される。３Ｄ表示を行う手法の一例として、ディスプレイ５１の横長表示画面を左右に２分割し、それぞれに、視差を有する２つの画像を表示する手法が採用される。

通信ユニット５１４は、外部機器とＬＡＮ又はインターネット等を介して無線通信を行うものである。無線通信規格としては例えば、２Ｇ、３Ｇ、４Ｇ、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格がある。特に、本発明と関連して、スマートフォン５０は、操作部１０との間でＢｌｕｅｔｏｏｔｈを介して短距離通信を行う。

スピーカ部５１７は、当該スマートフォンから音楽等を出力するものであり、このスピーカ部５１７は、本発明に関連して、ゲームサウンドを生成するためにも使用される。

３軸加速度センサ５０６は、スマートフォン筐体に働く加速度の方向及び大きさを検出するものであり、３軸角速度センサ５０７はスマートフォン筐体の角度及び角速度を検出するものであり、３軸地磁気センサ５０８は、地磁気の向きを検出するものである。これら３つのセンサ５０６、５０７、５０８によって、本発明におけるモーションセンサが構成されている。そして、それら３つのセンサ５０６，５０７，５０８の各出力に基づいて、ユーザ４０の頭部４１の向きが検出される。なお、各センサ５０６、５０７、５０８の詳細については後述する。

カメラユニット５１８は、例えば、スマートフォン５０の筐体の表面又は裏面に設けられるインカメラ又はアウトカメラ等と接続され、静止画像又は動画像を撮像する際に用いられるものである。カメラユニット５１８は、後述するように、本発明と関連して、ディスプレイ５１の背面側に設けられたアウトカメラを用いて現実世界の画像を撮像したり、或いは、ディスプレイ５１と同一の面に設けられたインカメラにより視線画像を取得することにも利用可能である。

音声入力部５１６は、スマートフォン５０を用いて通話等を行う際に音声の入力を行うものである（マイク等）。本発明と関連して、後述するように、音声入力部５１６を介して入力された音声を解析して、スマートフォンやアプリケーションプログラムの種々の操作を行ってもよい。

その他、振動部５１３は、各種アプリケーションプログラム等で用いられる振動部であり、例えば、電磁コイルを利用した振動機構その他各種の振動モータ等で構成することができる。コネクタ５１９は、他の機器との接続に用いられる端子である。当該端子は、ＵＳＢ、ＨＤＭＩ（登録商標）等の汎用的な端子であってもよい。音声出力部５１５は、当該スマートフォンを用いて通話等を行う際に音声出力を行うものである。入力操作部５０４は例えばタッチ方式の入力操作部であり、指、ペン又はスタイラスペン等の接触検知により、各種の入力を行うものである。ＧＰＳ（Ｇｒａｎｄ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット５０９は、スマートフォンの位置を検出する。照度センサ５１０は、照度を検出する。なお、照度とは、光の強さ、明るさ、又は輝度を示す。タイマ５１１は時間の計測を行うものである。なお、当該タイマはＣＰＵ等と一体に設けられても良い。バッテリ５１２は、充電により、スマートフォンの電源として機能するものである。

［１．４ コントローラの構成］
操作装置であるコントローラ１０の外観斜視図が図６に示されている。コントローラ１０は、長手方向の前面下部に窪みを有するよう形成されており、当該窪みの背後側に設けられユーザ４０が握った時に少なくとも小指、薬指及び親指の付け根にて包まれて手に馴染む形状の握り部１１と、前記握り部１１と連接されて前記窪みの前面側に設けられた突設部１２と、から構成されている。握り部１１の上面には、把持した際に親指で操作される第１の操作子１４と第２の操作子１５が設けられている。突設部の前面側には、上下に、把持した際に人差し指又は中指にて操作される第３の操作子１６及び第４の操作子１７が設けられている。前記窪みの背面側にあたるコントローラ１０の最上面には方向指示操作子１３が設けられており、自在な方向指示が可能に構成されている。コントローラ１０の側面には、切替式操作子１８が設けられている。なお、これらの操作子はいずれも押し続けられている間、連続的に操作信号を生成するモメンタリ式の操作子である。

後に、図７を参照して説明するように、コントローラ１０には、操作装置用モーションセンサを構成する３軸加速度センサ１００３、３軸角速度センサ１００４、及び３軸地磁気センサ１００５がそれぞれ組み込まれている。そのため、それらのセンサによって、コントローラ１０の位置、姿勢、及び／又は、それらの動きも含めた変化を自在に検知可能とされている。

コントローラ１０の電気的ハードウェア構成を示すブロック図が、図７に示されている。同図に示されるように、操作子内部の電気回路は、マイクロプロセッサやＡＳＩＣ等で構成されて、操作子全体を統括制御する制御部１００１と．Ｂｌｕｅｔｏｏｔｈ等の短距離通信を実現するための通信ユニット１００２と、操作装置用モーションセンサを構成する３つのセンサ、すなわち３軸加速度センサ１００３、３軸角速度センサ１００４、及び３軸磁気センサ１００５と、バッテリ１００６と、記憶部１００７と、第１の操作子１４と連動してオンオフする第１のスイッチ１４ａと、第２の操作子１５と連動してオンオフする第２のスイッチ１５ａと、第３の操作子１６と連動してオンオフする第３のスイッチ１６ａ、第４の操作子１７と連動してオンオフする第４のスイッチ１７ａとを含んで構成されている。

３軸加速度センサ１００３とは、当業者にはよく知られているように、Ｘ軸・Ｙ軸・Ｚ軸の３方向の加速度を1つのデバイスで測定できるセンサであって、三次元の加速度が検出でき、重力（静的加速度）の計測にも対応できる。３軸加速度センサの多くは、半導体製造技術やレーザ加工技術などの微細加工技術を応用し、シリコン基板上に微小な機械構造を集積化する「微小電気機械素子創製技術（Micro Electro Mechanical Systems、ＭＥＭＳ、メムス、マイクロマシン）」により小型化されたＭＥＭＳセンサである。ＭＥＭＳ・３軸加速度センサは、±数ｇの範囲の測定が可能で、０Ｈｚ?数百Ｈｚまでの加速度変動に追従できる「ｌｏｗ ｇ」タイプとよばれる。この場合の０Ｈｚというのは、センサに重力加速度のみが加わっている状態であり、このときのＸ軸・Ｙ軸・Ｚ軸の加速ベクトルの合計から地面に対しての向きを測定することができる。ＭＥＭＳ・３軸加速度センサは、大きく分けて半導体ピエゾ抵抗型３軸加速度センサ、静電容量型３軸加速度センサ、熱検知型（ガス温度分布型）３軸加速度センサの３種類があり、それぞれ加速度の測定方法が異なる。半導体ピエゾ抵抗型３軸加速度センサは、加速度が錘に作用したときに発生するダイアフラムの歪みを検出して加速度を測定する。静電容量型３軸加速度センサは加速度の測定に静電容量の変化を、熱検知型（ガス温度分布型）３軸加速度センサは、ヒータで熱されたガスの移動を利用して加速度を測定する。

３軸角速度センサ１００４とは、当業者には、よく知られているように、回転角速度の測定を直交３軸（Ｘ軸，Ｙ軸，Ｚ軸）で実現する慣性センサの一種であって、ジャイロセンサとも称される。角速度センサは加速度センサでは反応しない回転の動きを測定する。ジャイロセンサは、回転を検知する方式により分類することができる。現在、最も一般的に民生機器に搭載されているのは、ＩＣタイプのＭＥＭＳ（Micro Electro Mechanical System）技術を使った振動式ジャイロセンサである。ＭＥＭＳ技術を利用した慣性センサはその名前が示す通り、機械的な動きをする素子と、その信号を処理する電子回路を組み合わせた技術でセンサを構成し、動きを検知する。振動式ジャイロセンサの中には、シリコンを使う静電容量方式と、水晶や他の圧電材料を使うピエゾ方式の種類がある。振動式ジャイロセンサ以外の種別としては、地磁気式、光学式、機械式などがある。３軸は、一般に上下、左右、前後の３つの軸として定義され、上下軸は「ヨー軸」、左右軸は「ピッチ（ピッチング）軸」、前後軸は「ロール軸」と呼ばれることが多い。振動式のジャイロセンサは全てコリオリの力（転向力）を利用して回転を検知する。

３軸地磁気センサ１００５とは、当業者には、よく知られているように、磁気センサの一種であって、地磁気の向きを検知し，方位を直交３軸（Ｘ軸、Ｙ軸、Ｚ軸）の値で算出するセンサを言う。すなわち、このセンサは、前後方向と左右方向の第１、第２の磁気センサに加えて上下方向の地磁気を検出する第３の地磁気センサを持っている。このため、たとえば、操作子を持つ角度に電子コンパスを傾けた状態でも、何度傾けて持っているかがわかれば、その傾き分を差し引いて水平方向の地磁気を計算し、正しい方位を表示できる。３軸地磁気センサに組み込まれる地磁気センサＩＣで利用されている磁気センサ素子には主に３種類が知られている。それらは、ＭＲ（magneto-resistive）素子，ＭＩ（magneto-impedance）素子，ホール素子である。ＭＲ素子は、例えば外部磁界の強度変化とともに抵抗値が変わるパーマロイ（NiFe）など金属軟磁性体のＭＲ効果、ＭＩ素子は外部磁界が変動したときにインピーダンスが変わるアモルファス・ワイヤのＭＩ効果を利用する。ワイヤにはパルス電流を流しておく。ホール素子では，半導体のホール効果によって生じた電位差を検出することで，外部磁界の変化を測定する。地磁気センサＩＣには、一般にこうした磁気センサ素子のほか，駆動回路や増幅回路などを内蔵している。

［１．５ 動作］
次に、本実施形態に係る仮想空間観察システムの動作について説明する。

［１．５．１ 準備手順］
まず、図８及び図９を参照しつつ、本実施形態に係る仮想空間観察システム１を使用する場合の一連の準備手順について説明する。本実施形態に係る仮想空間観察システム１を使用するユーザ４０は、まず、スマートフォン５０とコントローラ１０との間の近距離無線通信の接続設定を行う（Ｓ１０１）。これにより、スマートフォン５０とコントローラ１０との間で互いに通信が可能となり、例えば、コントローラ１０からの操作信号やコントローラに備えられたモーションセンサ１００３、１００４、１００５の検出値などの各種情報をスマートフォン５０へと送信すること等が可能となる。通信規格は、公知のいずれの規格も採用可能であるが、本実施形態ではＢｌｕｅｔｏｏｔｈ（登録商標）が採用される。

近距離無線通信の接続設定がなされた後、スマートフォン５０のタッチパネル５０４を操作して、アプリケーションプログラムの一覧から仮想空間画像を表示するアプリケーションプログラムを選択する（Ｓ１０２）。この選択操作により、アプリケーションプログラムが起動し、後述するように仮想空間の観察ゲームが開始することができる。なお、このアプリケーションプログラムは、アプリケーションプログラム配信サーバから予めダウンロードされ、記憶部５０２に記憶されていたものである。

アプリケーションプログラムが起動した状態のスマートフォン５０は、図３で示した通りに頭部装着具２０へと組み込まれ（Ｓ１０３）、当該頭部装着具２０はユーザ４０の頭部へと装着される（Ｓ１０４）。これらの工程により、ユーザ４０の眼前にスマートフォン５０のディスプレイ５１が配置され、ユーザに仮想空間を提示することが可能となる。

その後、この例にあっては、アプリケーションプログラムの起動後、所定のモード選択を行う。図９に、モード選択に関するフローチャートが示されている。この例にあっては、「ゲーム開始」、「ゲーム終了」、「ゲーム設定」の３つのモードが用意されており、ユーザ４０は、コントローラ１０の姿勢や位置又は操作子の操作に対応して画面上に表示されるカーソルを用いて、それら３つの選択肢の中から１つを選択することができる。ユーザ４０が、「ゲーム開始」を選択すると後述する仮想空間の観察ゲームが開始する（Ｓ２０２）。ユーザ４０が「ゲーム終了」を選択すると、アプリケーションプログラムの実行を終了する（Ｓ２０３）。ユーザ４０が「ゲーム設定」を選択すると、各種ゲームの設定処理を行うことができる（Ｓ２０４）。

［１．５．２ 仮想空間観察ゲームの動作］
次に、仮想空間観察ゲームの一連の動作について説明する。

［１．５．２．１ ゲームの初期画面］
図１０〜図１２を参照しつつ、ゲームの初期画面について説明する。ゲームが開始すると（Ｓ２０３）、ディスプレイ５１上には、図１０に示される初期画面が表示される。同図から明らかな通り、仮想空間におけるユーザ４０の視野に対応する画像は、仮想空間における観察方向の画角枠に対応する背景画像５２と、コントローラ１０の延長上に配置される照準５３とから構成されている。このような仮想空間を知覚させる画像により、ユーザ４０は、あたかも宇宙空間を探索しているような体験をすることができる。

なお、図１０に示される初期画面は、ユーザ４０に奥行き感を知覚させるものであり、実際には、スマートフォン５０のディスプレイ５１上には、図１１で示される視差を有するＬ（左）画像とＲ（右）画像とが左右に配置されて表示されている。また、背景画像５２は、宇宙空間を模擬した仮想空間の一部であり、図１２に示される通り、実際には、ユーザ４０の周囲には、全球状に画像が空間に固定されるよう配置されている。

［１．５．２．２ ヘッドトラッキング処理］
図１３〜図１５を参照しつつ、ヘッドトラッキング処理について説明する。ゲームが開始すると（Ｓ２０３）、ヘッドトラッキング処理が同時に開始される。図１３に、ヘッドトラッキング処理に関するフローチャートが示されている。処理が開始すると、制御部５０１は、スマートフォン５０に備えられた各モーションセンサ５０６、５０７、５０８の各検出値を取得する（Ｓ３０１）。各検出値の取得後、制御部５０１は、スマートフォン５０の位置座標（すなわち、ユーザ４０の頭部４１の位置）Ｐ（ｐ，ｑ，ｒ）と、当該位置からの観察方向（視線方向）Ｖ（θ１，φ１）を演算する（Ｓ３０２）。

スマートフォン５０の位置座標Ｐと観察方向Ｖとを演算するのに平行して、コントローラ１０の制御部１００１も、コントローラ１０に備えられた各モーションセンサ１００３、１００４、１００５の各検出値を取得する（Ｓ３０３）。各検出値の取得後、制御部１００１は、コントローラ１０の位置座標Ｑ（ｕ，ｖ，ｗ）と、当該位置からの指示方向Ｕ（θ２，φ２）を演算する（Ｓ３０４）。この演算の後、コントローラ１０からスマートフォン５０へと演算結果が送信される。

ここで、図１４を参照しつつ、仮想空間における座標系について説明する。点Ｐ（ｐ，ｑ，ｒ）は、仮想空間内におけるスマートフォン５０の位置座標であり、当該点Ｐを中心として、球状に画像が観察される。点Ｐからの観察方向Ｖは、観察方向ＶとＸ−Ｙ平面（又はＸ'−Ｙ'平面）とのなす角φ１と、観察方向ＶをＸ−Ｙ平面（又はＸ'−Ｙ'平面）へと射影した直線とＸ軸（又はＸ'軸）とのなす角θ１とを用いて定義され、当該観察方向Ｖの所定画角枠内の画像が観察されることとなる。なお、コントローラ１０についても同様に、コントローラ１０の位置座標Ｑ（ｕ，ｖ，ｗ）と、その指示方向Ｕ（θ２，φ２）として定義される。なお、スマートン５０の位置座標ＰとコントローラＱの位置座標とは連動してもよい。

図１３に戻り、スマートフォン５０の現在位置Ｐ及びコントローラ１０の現在位置Ｑ、観察方向Ｖ及び指示方向Ｕが算出されると、次に、所定の演算処理により、ディスプレイ５１上に最終的に表示される画像の描画領域の特定処理が行われる（Ｓ３０５）。この描画領域は、観察方向Ｖの延長線上であって観察中心から所定距離離れた位置に存在する平面上の画角枠に対応する領域である。

また、この描画領域が決定した後、指示方向Ｕの延長線と画角枠内の描画領域とが交点を持つか否か、持つ場合には描画領域上のその座標が演算される。この演算を行うにあたっては、スマートフォン５０とコントローラ１０の座標系同士を整合させることにより行われる。図１５に、座標系同士の整合の概念図が示されている。同図から明らかな通り、スマートフォン５０を内部に組み込んだ頭部装着具２０の座標系（図１５（ａ））と、コントローラ１０の座標系（図１５（ｂ））とは、図１５（ｃ）で示される通り、座標軸を共用するように整合される。このような座標系の整合により、共通の座標系上で、種々の演算を行うことが可能となる。

描画領域の特定処理（Ｓ３０５）が終了すると、背景画像の描画処理及びディスプレイ５１上への表示処理が行われる（Ｓ３０６）。また、上述の処理により、コントローラ１０の指示方向Ｕと描画領域とが交点を持つ場合（Ｓ３０７ＹＥＳ）には、描画領域内に照準有りとして、背景画像上の交点座標に照準が描かれ表示される（Ｓ３０８）。その後、再び各モーションセンサのセンサ検出値を取得し、上述の処理が繰り返される。一方、コントローラ１０の指示方向Ｕと描画領域とが交点を持たない場合（Ｓ３０７ＮＯ）には、描画領域内に照準無しとして、背景画像上に照準を描くことなく、再び各モーションセンサのセンサ検出値を取得し、上述の処理が繰り返される。すなわち、本実施形態に係るヘッドトラッキング処理によれば、ディスプレイ５１上には、仮想空間内におけるスマートフォン５０の観察方向（又は視線方向）と、コントローラ１０の指示方向に対応して、所定の画格枠内の背景画像と照準画像とが、常に表示されることなる。

図１６を参照しつつ、ヘッドトラッキング処理がなされる場合の頭部の動きと表示画面との関係について具体的に説明する。なお、同図左側には、コントローラ１０を右手に把持し、頭部装着具２０を頭部４１に装着したユーザ４０を鉛直上方から観察した姿が示されており、同図右側には、頭部４１の向き及びコントローラ１０の向きに対応してディスプレイ５１を介して観察される所定画角枠内の画像が示されている。

図１６（ａ）に示される通り、頭部４１が「前方」を向き、操作装置１０も「前方」であって画面中央を指示している場合、同図右側に示される通り、前方に配置される所定の背景画像と（Ｓ３０６）、背景画像の中央に照準５３が描かれる（Ｓ３０７ＹＥＳ、Ｓ３０８）。

一方、図１６（ｂ）に示される通り、頭部４１が「右側方」を向き、操作装置１０は「前方」を指示している場合、同図右側に示される通り、コントローラ１０の指示方向上に頭部４１の方向に対応する画角枠が存在しないため、照準５３は描かれず（Ｓ３０７ＮＯ）、右側方に配置される所定の画格枠内の背景画像のみが描かれる（Ｓ３０６）。

すなわち、ユーザ４０の頭部４１の向きに応じて所定画角枠内の背景画像が描かれ、当該画像上にコントローラ１０の指示方向の延長線との交点が存在する場合には、当該交点座標に対応する位置に照準画像５３が描かれることとなる。

［１．５．２．３ 仮想空間内における並進移動処理］
次に、図１７および図１８を参照しつつ、仮想空間内における並進移動動作について説明する。

図１７に、仮想空間内における観測地点の並進移動動作についての割込処理フローチャートが示されている。この例にあっては、上述のヘッドトラッキング処理が実行されている状態において、コントローラ１０の突設部１２に設けられた第３の操作子１６が操作されると、ヘッドトラッキング処理に対する割込処理が開始する。

割込処理が開始されると、まず、スマートフォン５０の制御部５０１は、各モーションセンサ５０６、５０７、５０８の検出値などに基づいて、スマートフォン５０（又はユーザ４０の頭部４１）の仮想空間上における現在位置Ｐと、現在の観察方向（視線方向）Ｖを取得する（Ｓ４０１）。次に、当該現在位置Ｐと現在の観察方向Ｖとに基づいて、仮想空間内における並進移動処理を行う（Ｓ４０２）。具体的には、現在の観察位置Ｐから、現在の観察方向ＶへとΔＬの距離だけ観察位置を移動させ、観察位置をＰからＰ'へと移動させる。その後、新たな観察位置Ｐ'から観察方向Ｖに存在する画角枠内の背景画像が、ディスプレイ５１上に表示される（Ｓ４０３）。このとき、制御部５０１は、コントローラ１０に関する情報も取得し、コントローラ１０の指示方向の延長線上に上記画角枠が存在する場合には、その交点に対応する座標に照準５３を描画し表示する（Ｓ４０３）。このようにして、新たな観察位置（又は観察中心）からの所定の観察画像を表示した後、割込処理は終了する（割込リターン）。

図１８を参照しつつ、仮想空間内における観察地点の移動動作について詳細に説明する。なお、同図左側には、コントローラ１０を右手に把持し、頭部装着具２０を頭部４１に装着したユーザ４０を鉛直上方から観察した姿が示されており、同図右側には、頭部４１の向き及びコントローラ１０の向きに対応してディスプレイ５１を介して観察される所定画角枠内の画像が示されている。

図１８（ａ）は、割込処理が行われる直前の状態を示しており、ユーザ４０の頭部４１は「前方」、コントローラ１０の指示方向も「前方」である。また、このとき、眼前には、同図の右側で示される背景画像、及び、その中央に照準５３が表示されている。

図１８（ｂ）は、図１８（ａ）の状態において第３の操作子１６を操作した後の状態を示している。第３の操作子１６を操作したことにより、観察方向である「前方」に、ΔＬだけ観察位置が移動すると（Ｓ４０２）、この移動に伴って、ΔＬ離れた新たな観察位置から観測される画像が新たに描画される（Ｓ４０３）。具体的には、同図右側の画面図から明らかな通り、ΔＬだけ前方に進んでいることから、前方画像を若干拡大したような画面図が描写され表示される。

このような構成によれば、仮想空間内において観察地点そのものも自在に移動させることができるので、仮想空間内を自在に探索することができる。

［１．５．２．４ 仮想空間内における観察方向変更処理］
次に、図１９及び図２０を参照しつつ、仮想空間内における観察方向の変更処理について説明する。

図１９は、仮想空間内における観察方向の変更動作に関する割込処理のフローチャートである。この例にあっては、上述のヘッドトラッキング処理が実行されている状態において、コントローラ１０の握り部１１に設けられた押しボタン式の第２の操作子１５が操作されると、ヘッドトラッキング処理に対する割込処理が開始する。

割込処理が開始すると、スマートフォン５０の制御部５０１は、各モーションセンサ５０６、５０７、５０８の検出値などに基づいて、スマートフォン５０（又はユーザ４０の頭部４１）の仮想空間上における現在位置Ｐと、現在の観察方向（すなわち、視線方向）Ｖを取得する（Ｓ５０１）。現在位置Ｐと現在の観察方向Ｖを取得した後、制御部５０１は、観察方向Ｖへと所定角度Δθ１を加算し、新たな観察方向Ｖ'を得る（Ｓ５０２）。これにより、観察方向ＶをＸ−Ｙ平面（又はＸ'−Ｙ'平面）へと射影した直線とＸ軸とのなす角が大きくなり、鉛直上方から見た場合に、Ｚ軸（又はＺ'軸）まわりに時計回りに水平かつ連続的に観察方向（又は視線方向）が回転することとなる。

この新たな観察方向Ｖ'を取得した後、当該観察方向Ｖ'に対応する画角枠内の背景画像と、存在する場合には、照準画像が描写され、ディスプレイ５１上に表示される（Ｓ５０３）。この表示処理の後、未だ押しボタン式の第２の操作子１５において入力操作が継続されていると検出された場合には（Ｓ５０４ＹＥＳ）、再び所定角度Δθを加算する処理が繰り返される。すなわち、押しボタン式の第２の操作子１５において入力操作が継続する限り、所定角度Δθが累積的に加算されていくこととなり、換言すれば、観察方向のＺ軸まわりの回転が継続することとなる。

一方、表示処理の後、押しボタン式の第２の操作子１５において入力操作が検出されなかった場合（Ｓ５０４ＮＯ）、観察方向の回転は停止し、それまでのΔθの累積的な加算に基づく総回転量ΔΘが算出される。この総回転量ΔΘを用いて、新たな観察方向に対応するようにコントローラ１０の指示方向の基準を補正した後（Ｓ５０５）、割込処理は終了する（割込リターン）。すなわち、ユーザ４０は、仮想空間における直近の観察方向を、自身の正面方向と対応付けることができる。

図２０を参照しつつ、観察方向が変更される態様に関して具体的に説明する。なお、同図左側には、コントローラ１０を右手に把持し、頭部装着具２０を頭部４１に装着したユーザ４０を鉛直上方から観察した姿が、同図中央には、頭部４１の向き及びコントローラ１０の向きに対応してディスプレイ５１を介して観察される所定画角枠内の画像が、同図右側には、仮想空間内における水平面上の観察方向を矢印で示した概念図が示されている。

図２０（ａ）に示される通り、初期状態において、ユーザ４０の頭部４１は「前方」、コントローラ１０は「前方」へと向けられているので、ユーザ４０の眼前のディスプレイ５１には、正面方向の画角枠内の背景画像と照準５３とが表示されている。このときの仮想空間における観察方向は０度であり、すなわち、現実の頭部４１の方向と一致している。

次に、ユーザがコントローラ５０に備えられた押しボタン式の第２の操作子１５の入力操作を継続すると（Ｓ５０４ＹＥＳ）、ユーザ４０の頭部４１の物理的な方向及びコントローラ１０の物理的な方向は変化していないにも拘わらず、仮想空間における観察方向のみが変更される（Ｓ５０２、Ｓ５０３）。図２０（ｂ）は、仮想空間における観察方向が回転していく過程において、９０度観察方向が変化している状態を示している。このとき、実際の頭部４１の方向とは９０度のずれが生じている。

図２０（ｃ）は、ユーザ４０が、押しボタン式の第２の操作子１５を介した入力操作を継続し、丁度１８０度観察方向が変化したところで入力操作を解除した場合（Ｓ５０４ＮＯ）の状態を示している。このときも、やはりユーザ４０の頭部４１は「前方」、コントローラ１０は「前方」へと向けられているものの、仮想空間における観察方向は、現実の頭部４１方向とは１８０度ずれている。

すなわち、このような構成によれば、首や上半身を後方に捻ることなく、仮想空間内における観察方向を任意に変更することができる。そのため、ヘッドトラッキング処理を基本としつつも、ディスプレイ姿勢を変化させることなく、必要に応じて仮想空間内における観察方向を任意に変更することができる。

また、仮想空間における観察方向が１８０度回転した直後に、上述の併進移動処理を行えば、仮想空間においては頭部４１の観察方向である１８０度後方へと観察位置を進めることができる。すなわち、以上の構成によれば、ユーザ４０は、仮想空間内を自在に探索することができる。

さらに、このような構成によれば、観察方向が変更されていく過程を連続的な画像を通じて確認することができる。そのため、仮想空間内においてどちらの方向に向かって観察方向を変更しているのかを直感的に把握することができるのと共に、目的とする観察方向までの様子を観察することもできる。

加えて、このような構成によれば、観察方向を回転させると、１周して再び元の方向へと戻って来ることとなる。そのため、仮想空間内において自身の観察方向を見失うおそれが少なくなる。

また、このような構成によれば、水平面に沿って観察方向を回転させることができる。そのため、画面酔いのおそれが少なくなる。

さらに、このような構成によれば、操作子による入力が行われている間だけ観察方向を変更することができる。そのため、観察方向の変更動作を、直感的かつ簡易な操作で実現することができる。

なお、本実形態の例においては、１８０度後方まで仮想空間における観察方向を変更することとしたが、目標角度はこれに限定されることはなく、例えば、操作子の入力操作を途中で解除すること（すなわち、押しボタンを離すこと）により、観察方向を任意に設定することができる。

［１．６ 変形例］
上述の実施形態においては、仮想空間における観察方向に対応する画角枠の移動は、水平面上の円軌道に沿って直線的に行われることとした。しかしながら、本発明はこのような構成に限定されない。

従って、例えば、図２１（ａ）に示されるように、円軌道ではあっても水平面上の円軌道ではなく、他の軌道、例えば、斜め右上方向に画角枠が移動しそのまま１周する軌道、或いは、ほぼ垂直上方に画角枠が移動しそのまま１周する軌道としてもよい。

また、図２１（ｂ）に示されるように、直線的な軌道ではなく、他の軌道、例えば、曲線的な軌道に沿って画角枠を移動させてもよい。

［２．第２の実施形態］
図２２及び図２３を参照しつつ、コントローラ１０の姿勢や動きに応じて観察方向の変更処理を行う第２の実施形態について説明する。なお、本実施形態に係る仮想空間観察システムもスマートフォン５０、頭部装着具２０及びコントローラ１０とから成り、各装置のハードウエア構成は第１の実施形態において説明したものと、以下の点を除き、略同一であるから、ここではハードウエア構成に関する説明を割愛する。

図２２には、仮想空間内における観察方向の変更動作に関する割込処理のフローチャートが示されている。この例にあっては、上述のヘッドトラッキング処理が実行されている状態において、コントローラ１０の握り部１１に設けられた押しボタン式の第２の操作子１５が操作されると、ヘッドトラッキング処理に対する割込処理が開始する。

割込処理が開始すると、スマートフォン５０の制御部５０１は、各モーションセンサ５０６、５０７、５０８の検出値などに基づいて、スマートフォン５０（又はユーザ４０の頭部４１）の仮想空間上における現在位置Ｐと、現在の観察方向（すなわち、視線方向）Ｖを取得する（Ｓ６０１）。

次に、コントローラ１０は、各モーションセンサ１００３、１００４、１００５の検出値などに基づいて、コントローラ１０の仮想空間上における現在位置Ｑ（ｕ，ｖ，ｗ）と、コントローラ１０の現在の指示方向Ｕ（θ２，φ２）とを取得し、それらをスマートフォン５０へと送信する（Ｓ６０２）。

その後、制御部５０１は、コントローラ１０の指示方向の延長線と仮想空間における観察方向Ｖに対応する画角枠内の画像領域との交点座標を演算し、当該座標を始点として記憶する（Ｓ６０３）。その後、コントローラ１０を移動させると、コントローラ１０の指示方向の延長線と仮想空間における観察方向Ｖに対応する画角枠内の画像領域との交点座標が指示点として演算され、上述の始点と指示点との相対的位置関係に対応して、画角枠、すなわち観察方向Ｖが前記始点を中心として点対称に移動される（Ｓ６０４）。この画角枠の移動に応じて所定の背景画像、及び、存在する場合には照準が表示される（Ｓ６０５）。

この表示処理の後、未だ押しボタン式の第２の操作子１５において入力操作が継続されていると検出された場合には（Ｓ６０６ＹＥＳ）、再び指示点の演算処理からの処理が繰り返される。すなわち、押しボタン式の第２の操作子１５において入力操作が継続された状態で、コントローラ１０の指示点を変更することで、上述の始点を基準として、所謂ドラッグを行うかのように点対称に、画角枠乃至は観察方向を変更することができる。

一方、表示処理の後、押しボタン式の第２の操作子１５において入力操作が検出されなかった場合（Ｓ６０６ＮＯ）、新たな観察方向と対応するようにコントローラ１０の指示方向の基準を補正し（Ｓ６０７）、割込処理を終了する（割込リターン）。

図２３を参照しつつ、観察方向が変更される態様に関して具体的に説明する。なお、同図左側には、コントローラ１０を右手に把持し、頭部装着具２０を頭部４１に装着したユーザ４０を鉛直上方から観察した姿が、同図右側には、頭部４１の向き及びコントローラ１０の向きに対応してディスプレイ５１を介して観察される所定画角枠内の画像が示されている。

図２３（ａ）に示される通り、初期状態において、ユーザ４０の頭部４１は「前方」、コントローラ１０は「前方」へと向けられているので、ユーザ４０の眼前のディスプレイ５１には、正面方向の画角枠内の背景画像と照準５３とが表示されている。

次に、ユーザ４０は、図２３（ｂ）に示される通り、画像を確認しつつ、コントローラ１０の指示方向の延長に描画された照準５３を用いて、始点とした領域、すなわち、この例にあっては、右上の輪を伴う惑星のやや下の領域を指示し、その状態でコントローラ５０に備えられた押しボタン式の第２の操作子１５の入力操作を行う（押しボタンを押す）。これにより、本実施形態に係る割込処理が開始すると共に、当該領域が始点として記憶される（Ｓ６０３）。その後、第２の操作子１５の入力状態を維持したまま、コントローラ１０の指示領域に応じた照準５３を移動させることで、前記始点と指示領域との関係とは点対称に前記画角枠、すなわち、観察方向が移動する（Ｓ６０４、Ｓ６０５、Ｓ６０６ＹＥＳ）。

図２３（ｃ）は、第２の操作子１５の入力状態を維持しつつ、図２３（ａ）の状態へと再びコントローラ１０を戻した状態を表している。この状態において、ユーザが第２の操作子１５の入力状態を解除すると（Ｓ６０６ＮＯ）、上述の割込処理が終了する。このような一連の操作によれば、コントローラ１０を用いて、始点とした所望の領域を仮想空間における自身の正面方向へと配置させることができる。特に、画面中央を終点として、照準を移動させれば、所望の観察方向をユーザ４０の正面中心に配置することができる。

すなわち、このような構成によれば、画角枠内の画像の所定領域を始点として、ドラッグするかのように仮想空間内における観察方向を変更することができる。

［３．第３の実施形態］
次に、第３の実施形態に係る仮想空間観察システムについて説明する。第３の実施形態に係る仮想空間観察システムの基本的な構成は、第２の実施形態に係る仮想空間観察システムと略同一である。すなわち、仮想空間内における観察方向を、頭部４１の姿勢によらず、コントローラ１０の姿勢や動きの変化により変更することができる。しかしながら、第２の実施形態とは異なり、第３の実施形態においては、所定画角枠内の所定領域を始点として指示領域を移動させたときに、始点を中心として、所定画角枠又は観察方向が点対称に移動するのではなく、始点と指示領域との間の相対的位置関係と一致するように移動する。

図２４を参照しつつ、第３の実施形態に係る観察方向の変更態様について具体的に説明する。なお、同図左側には、コントローラ１０を右手に把持し、頭部装着具２０を頭部４１に装着したユーザ４０を鉛直上方から観察した姿が、同図右側には、頭部４１の向き及びコントローラ１０の向きに対応してディスプレイ５１を介して観察される所定画角枠内の画像が示されている。

図２４（ａ）に示される通り、初期状態において、ユーザ４０の頭部４１は「前方」、コントローラ１０は「前方」へと向けられているので、ユーザ４０の眼前のディスプレイ５１には、正面方向の画角枠内の背景画像と照準５３とが表示されている。この状態において、コントローラ５０に備えられた押しボタン式の第２の操作子１５の入力操作を行うと（押しボタンを押すと）、本実施形態に係る割込処理が開始すると共に、照準５３の位置と対応する指示領域が始点として記憶される（Ｓ６０３）。この例にあっては、始点は画面の中心である。

次に、図２４（ｂ）に示される通り、ユーザ４０は、第２の操作子１５への入力状態を保持したまま（押しボタンを押したままの状態で）、コントローラ１０を右側方へと９０度移動する。このとき、ディスプレイ５１上には、その過程において観察方向が前方画像から右側方画像まで所定画角枠内の画像が連続的に表示され、最終的に図２４（ｂ）の右側の図に示される右側方を向いたときの画像が表示される。このコントローラ１０が右側方を向いた状態において、第２の操作子１５の入力状態を解除する（押しボタンを離す）ことで、観察方向の変更動作は終了する。

その後、ユーザ４０がコントローラ１０を前方へと戻した後、照準５３に関する所定のキャリブレーション操作などを行い、コントローラ１０を前方中心に向けたときに照準５３が再び中心と来るように設定すれば、図２４（ｃ）に示される通り、実際に首を右側方へと向けることなく、仮想空間上の観察方向のみを右側方へと向けることができる。

以上の構成によれば、コントローラ１０を用いた直感的な操作により、観察方向を変更することができる。

［４．第４の実施形態］
次に、第４の実施形態に係る仮想空間観察システムについて説明する。第１〜第３の実施形態に係る仮想空間観察システムは、没入型の頭部装着具２０を用いてディスプレイ５１上に完全に仮想的な空間画像を表示させるものであった。本実施形態では、ディスプレイ上に現実の世界画像を表示し、その上に特定のオブジェクト画像を表示させる所謂ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術への本発明の展開例を示す。本実施形態におけるスマートフォン５０は、そのアウトカメラからの画像をカメラユニット５１８を介して制御部５１へと取り込み、当該画像をディスプレイ５１上に表示することができる。なお、仮想空間における観察方向の変更手法は第２の実施形態に係る仮想空間観察システムのそれと類似する。

図２５を参照しつつ、観察方向の変更態様について説明する。なお、同図左側には、コントローラ１０を右手に把持し、頭部装着具２０を頭部４１に装着したユーザ４０を鉛直上方から観察した姿が、同図中央には、頭部４１の向き及びコントローラ１０の向きに対応してディスプレイ５１を介して観察される所定画角枠内の画像が、同図右側には、仮想空間内における水平面上の観察方向を矢印で示した概念図が示されている。

図２５（ａ）から明らかな通り、初期状態において、ヘッドトラッキング機能を備えたスマートフォン５０を組み込んだ頭部装着具２０を頭部４１へと装着したユーザ４０が、右側方を観察すると、右側方に存在する現実の道路画像上に、モンスターの形状を有するオブジェクト画像が重畳されて表示されて確認される。

図２５（ｂ）に示される通り、右側方へと仮想空間における観察方向を変更したいユーザ４０は、その頭部４１を前方へと向けた後、コントローラ１０を把持した右手を側方に伸ばし、押しボタン式の第２の操作子１５の入力操作を行う（押しボタンを押す）。これにより、本実施形態に係る割込処理が開始すると共に、当該領域が始点として記憶される。その後、第２の操作子１５の入力状態を維持したまま、コントローラ１０の指示領域に応じた照準５３を移動させることで、前記始点と指示領域との関係とは点対称な態様で前記画角枠、すなわち、観察方向が右側方へと９０度回転する。

図２５（ｃ）は、第２の操作子１５の入力状態を維持しつつ、図２５（ａ）の状態へと再びコントローラ１０の位置及び姿勢を戻した状態を表している。この状態において、ユーザが第２の操作子１５の入力状態を解除すると、上述の割込処理が終了する。同図から明らかな通り、当初、ユーザ４０の右側方に存在したオブジェクト画像は、ユーザ４０の前方の現実世界画像に重畳されて表示されている。

すなわち、このような構成によれば、首や上半身を捻ることなく、仮想空間内における観察方向を任意に変更することができ、これにより、重畳させる仮想空間に関するオブジェクト画像のみを変更することができる。

［５．その他］
［５．１ 音声入力を用いた変形例］
上述の実施形態においては、ディスプレイ姿勢の変化を伴わない仮想空間における観察方向の制御にあたり、コントローラ１０の操作信号或いはコントローラの姿勢及び／又は動きを利用したが、本発明はこのような構成に限定されない。従って、例えば、音声を用いて仮想空間における観察方向の制御を行ってもよい。

本変形例においては、コントローラ１０自体を用いないか、或いは、コントローラ１０を仮想空間における観察方向の制御には用いない。その代わりに、スマートフォン５０の制御部５０１には、音声入力部５１６を介して入力された音声を公知の音声解析アルゴリズムにより解析する音声入力処理部が設けられている。

音声入力処理部では、音声入力部５１６を介して「回転」との音声が入力されたことを検出すると、仮想空間内における観察方向を所定の方向、例えば右方向へと水平回転させる。また、「停止」との音声が入力されたことを検出すると、仮想空間内において回転中の観察方向を停止させる。すなわち、ユーザ４０は、「回転」と「停止」の言葉を用いて自在に観察方向を変更することができる。なお、検出される言葉はこれらの言葉に限定されることはなく、命令にあたっては種々の言葉が採用可能である。

このような構成によれば、観察方向の変更操作にあたって何ら操作装置などを持つ必要がなく、両手が自由になるとともに、頭部装着具を装着して視界が限定され又は皆無の状態であっても、適格に仮想空間内における観察方向の変更を行うことができる。

［５．２ 視線入力を用いた変形例］
上述の実施形態においては、ディスプレイ姿勢の変化を伴わない仮想空間における観察方向の制御にあたり、コントローラ１０の操作信号或いはコントローラの姿勢及び／又は動きを利用したが、本発明はこのような構成に限定されない。従って、例えば、視線を用いて仮想空間における観察方向の制御を行ってもよい。

本変形例においては、コントローラ１０自体を用いないか、或いは、コントローラ１０を仮想空間における観察方向の制御には用いない。その代わりに、スマートフォン５０の制御部５０１には、ディスプレイ５１と同一の面に設けられたインカメラにより撮像された画像をカメラユニット５１８を介して制御部５０１へと取り込む。本変形例において、制御部５０１には、インカメラ画像に基づいて、公知の視線検出アルゴリズムによりユーザ４０の視線を検出し、画面上のどの領域を見ているかを推定する視線検出処理部が設けられている。

この視線検出処理部は、画像内の所定の領域に所定時間以上視線が置かれた場合には、当該領域を注視領域とし、当該注視領域が観察方向の中心となるように視線方向を変更する。すなわち、頭部姿勢などを変化させることなく、視線のみにより、仮想空間内における観察方向を変更することができる。

このような構成によれば、観察方向の変更操作にあたって何ら操作装置などを持つ必要がなく、両手が自由になるとともに、頭部装着具を装着して視界が限定され又は皆無の状態であっても、適格に仮想空間内における観察方向の変更を行うことができる。

［５．３ その他の変形例］
上述の実施形態においては全球状の仮想空間を想定したが、本発明はこのような構成に限定されない。従って、例えば、図２６に示されたパノラマ画像のような仮想空間を採用してもよいし、或いは、図２７に示された半球状の仮想空間を採用してもよい。

また、上述の実施形態においては、制御部５０１がスマートフォン５０の中等に含まれるものとしたが、本発明はこのような構成に限定されない。従って、例えば、図２８に示されるように、情報処理部７０を外部の装置として設け、比較的に演算コストの高い処理、或いはすべての演算処理を、当該外部の情報処理部７０にて行う構成としてもよい。

さらに、上述の実施形態においては、ディスプレイ５１以外の視界が遮られた、所謂没入型のヘッドマウントディスプレイが採用されていたものの、本発明はこのような構成に限定されない。従って、例えば、空間に固定された座標系を有する仮想空間内において、ディスプレイ５１姿勢を検出可能なスマートフォン５０などをかざすことにより、当該かざした方向の様子を観察する仮想空間観察システムを採用してもよい。

図２９は、空間に固定された座標系を有する仮想空間をスマートフォン５０をかざすことにより観察する非没入型の仮想空間観察システムについての説明図である。図２９（ａ）に示される通り、例えば、椅子などに座ったユーザ４０は、手に持ったスマートフォン５０のディスプレイ５１を介して、周囲の仮想空間画像を確認することができる。スマートフォン５０にはモーションセンサが組み込まれているので、スマートフォンの姿勢を変えることにより、仮想空間内の観察方向を変更することができる。このような状態において、ユーザ４０が左右の仮想空間を観察するには、図２９（ｂ）に示される通り、首や上半身を左右へと捻り手に持ったスマートフォンを左右方向へとそれぞれ向けなければならず、やはりこの仮想空間観察システムにおいても仮想空間における観察方向の変更に伴う身体への負担が大きい。そこで、この例にあっては、図２９（ｃ）に示される通り、ディスプレイ５１の背景画像５２の右下の領域に、ディスプレイ姿勢を変えることなく仮想空間において観察方向を変更するためのソフトウエアボタンが設けられている。このソフトウエアボタンは、観察位置（又は観察中心）を観察方向へと進める前進動作ボタン５４、右方向へと水平面上を回転させる右回転ボタン５６、左方向へと水平面上を回転させる左回転ボタン５８、上方向へと垂直に回転させる上回転ボタン５５、下方向へと垂直に回転させる下回転ボタン５７とを有しており、いずれのソフトウエアボタンも押下の間、入力信号が連続して生成されるモメンタリ式である。

このような構成によれば、ディスプレイを任意の方向に向けることなく、ソフトウエアボタンを操作することにより、仮想空間における観察方向を任意に変更することができる。

なお、上述の実施形態ではいずれも仮想空間観察システムとして説明したが、それを構成する装置、その処理過程としての方法或いはプログラムとして観念することができることは勿論である。特に、上述の実施形態においては、汎用的なスマートフォン５０を頭部装着具２０へと組み込む構成としたが、本発明はこのような構成に限定されず、仮想空間観察システム専用のヘッドマウントディスプレイとして構成してもよい。

また、上述の説明では、ゲームを例示しつつ仮想空間観察システムについて説明したが、本発明はゲーム用途に限定されない。従って、本発明をあらゆる用途の仮想空間観察システムに適用可能であることは勿論である。

本発明によれば、仮想空間観察システムが提供される。これにより、例えば、仮想空間内を観察又は探索するビデオゲームなどを提供することができる。

１ 仮想空間観察システム
１０ コントローラ
１１ 握り部
１２ 突設部
１３ 方向指示操作子
１４ 第１の操作子
１５ 第２の操作子
１６ 第３の操作子
１７ 第４の操作子
１８ 切替式操作子
１００１ 制御部
１００２ 通信ユニット
１００３ ３軸加速度センサ
１００４ ３軸角速度センサ
１００５ ３軸地磁気センサ
１００６ バッテリ
２０ 頭部装着具
２１ 頭周ベルト
２２ 頭頂ベルト
２３ 本体
２４ 開口
２５ 蓋板
２６ 保持具
２７ 雌側の蓋板留め具
２８ 雄側の蓋板留め具
２９ 仕切り板
３０ 光学系
４０ ユーザ
４１ 頭部
４３ 眼
５０ スマートフォン（又は情報処理装置）
５１ ディスプレイ
５２ 背景画像
５２Ｌ 左眼用画像
５２Ｒ 右眼用画像
５３ 照準
５０１ 制御部
５０２ 記憶部
５０４ 入力操作部（タッチパネル）
５０５ 入力操作部（ボタン）
５０６ 三軸加速度センサ
５０７ 三軸角速度センサ
５０８ 三軸地磁気センサ
５０９ ＧＰＳユニット
５１０ 照度センサ
５１１ タイマ
５１２ バッテリ
５１３ 振動部
５１４ 通信ユニット
５１５ 音声出力部
５１６ 音声入力部
５１７ スピーカ部
５１８ カメラユニット
５１９ コネクタ
５４ 前進動作ボタン
５５ 上回転ボタン
５６ 右回転ボタン
５７ 下回転ボタン
５８ 左回転ボタン
７０ 情報処理部

Claims (17)

1. ディスプレイと、
   前記ディスプレイの姿勢を検出可能なモーションセンサと、
   前記ディスプレイ上に、前記モーションセンサにより検出された前記ディスプレイの姿勢に対応して、仮想空間内における所定の観察方向の所定画角枠内の画像を表示する情報処理部と、
   を備えた仮想空間観察システムであって、
   前記情報処理部は、さらに、
   前記仮想空間観察システムのユーザによる所定の操作に基づいて前記ディスプレイの姿勢変化とは無関係に生成された観察方向制御信号に応じて、前記仮想空間内における観察方向を変更する観察方向制御部を備える、仮想空間観察システム。
2. 前記観察方向制御部は、さらに、
   連続的な観察方向制御信号に応じて、前記仮想空間内における前記観察方向を連続的に変更し、それにより、前記ディスプレイ上に前記観察方向に対応する所定の画角枠内の画像を連続的に表示する、請求項１に記載の仮想空間観察システム。
3. 前記所定の画角枠内の画像の連続的な表示は、前記仮想空間における観察地点を中心とする所定の円軌道に沿って行われる、請求項２に記載の仮想空間観察システム。
4. 前記情報処理部は、さらに、
   所定の観察地点移動信号に応じて、前記仮想空間における観察地点を直近の観察方向へと所定距離移動させる観察地点制御部を備える、請求項３に記載の仮想空間観察システム。
5. 前記ディスプレイと、前記モーションセンサと、前記情報処理部とは、単一の情報処理装置に含まれ、
   前記仮想空間観察システムは、さらに、
   前記ディスプレイが眼前に配置されるように前記情報処理装置を組込可能であって、ユーザの頭部に装着可能な頭部装着具と、
   所定の操作子を有し、前記情報処理装置と有線又は無線により通信接続可能な手持ち型又は身体装着型の操作装置と、を備える、請求項１に記載の仮想空間観察システム。
6. 前記観察方向制御信号は、前記操作装置の前記操作子を操作することにより生成される、請求項５に記載の仮想空間観察システム。
7. 前記観察方向制御信号は、
   前記操作装置の前記操作子を用いて入力操作が行われている間、前記仮想空間内における前記観察方向を連続的に変更し、それにより、前記ディスプレイ上に前記観察方向に対応する所定の画角枠内の画像を連続的に表示するものである、請求項６に記載の仮想空間観察システム。
8. 前記操作装置は、さらに、前記操作装置の姿勢及び動きを検出する操作装置用モーションセンサを備え、
   前記観察方向制御信号は、前記操作装置の姿勢又は動きに応じて生成される、請求項５に記載の仮想空間観察システム。
9. 前記観察方向制御部は、
   前記操作装置により所定の方向を指示しているときの画角枠内の指示領域を始点とし、前記始点から指示領域が移動した場合に、前記始点を中心として、前記指示領域の移動とは点対称に観察方向を変更する、請求項８に記載の仮想空間観察システム。
10. 前記観察方向制御部は、
    前記操作装置により所定の方向を指示しているときの画角枠内の指示領域を始点とし、前記始点から指示領域が移動した場合に、前記始点と前記指示領域との相対的位置関係と一致するように観察方向を変更する、請求項８に記載の仮想空間観察システム。
11. 前記仮想空間観察システムは、さらに、
    現実世界画像を撮像するカメラを含み、
    前記情報処理部は、前記ディスプレイ上に、前記現実世界画像を表示すると共に、前記現実世界画像に重畳して、前記所定の画角枠内の画像に代えて、前記モーションセンサにより検出された前記ディスプレイの姿勢に対応して、仮想空間内における所定の観察方向の所定画像を表示する、請求項１に記載の仮想空間観察システム。
12. 前記仮想空間観察システムは、さらに、
    音声入力のためのマイクを備え、
    前記情報処理部は、さらに、
    マイク入力に基づいて、前記観察方向制御信号を生成し、それにより、前記仮想空間内における前記観察方向を変更する音声入力処理部を備える、請求項１に記載の仮想空間観察システム。
13. 前記仮想空間観察システムは、さらに、
    視線検出のためのカメラを備え、
    前記観察方向制御部は、さらに、
    カメラ入力に基づいて、前記所定画角枠内の画像内の注視領域を検出し、所定時間以上、同一の領域が注視されたことが検出された場合に、当該領域が画像の中心となるよう観察方向を変更する視線検出処理部を備える、請求項１に記載の仮想空間観察システム。
14. 前記モーションセンサは、少なくとも３軸加速度センサ、３軸角速度センサ、及び３軸地磁気センサを含む、請求項１に記載の仮想空間観察システム。
15. 前記操作装置用モーションセンサは、少なくとも３軸加速度センサ、３軸角速度センサ、及び３軸地磁気センサを含む、請求項５に記載の仮想空間観察システム。
16. ディスプレイ上に表示された画像を通じて認識される仮想空間を観察する仮想空間観察方法であって、
    前記ディスプレイの姿勢を検出するモーション検出ステップと、
    前記ディスプレイ上に、前記モーション検出ステップにより検出された前記ディスプレイの姿勢に対応して、仮想空間内における所定の観察方向の所定画角枠内の画像を表示する情報処理ステップと、を備え、
    前記情報処理ステップは、さらに、
    ユーザによる所定の操作に基づいて前記ディスプレイの姿勢変化とは無関係に生成された観察方向制御信号に応じて、前記仮想空間内における観察方向を変更する観察方向制御ステップを備える、仮想空間観察方法。
17. コンピュータを、請求項１に記載の仮想空間観察システムにおける情報処理部として機能させるためのコンピュータプログラム。

Images