JP2019197554A - コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム - Google Patents

Abstract

【課題】仮想空間内でテレビ番組を放送するアプリケーションにおいて、従来のリモコン操作によるザッピングをＨＭＤの頭部動作で実施させること
【解決手段】仮想空間に配置された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部、ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて、仮想ディスプレイの内１つを選択する選択部、および当該選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部を備える、コンテンツ視聴のための装置を提供する。
【選択図】図８

Description

本発明は、コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラムに関するものである。より詳細には、ユーザの頭部に装着されるヘッドマウント・ディスプレイ（ＨＭＤ）を用い、頭部を動かすことによる簡単なユーザ操作を通じて、ユーザが、視界内にある仮想ディスプレイのコンテンツを視聴可能とするための装置、方法およびコンピュータ・プログラムに関するものである。

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示可能なＨＭＤが知られる。特に、特許文献１に開示されるようなＨＭＤでは、仮想空間に３６０度のパノラマ画像を表示可能である。このようなＨＭＤは通例、各種センサ（例えば、加速度センサや角速度センサ）を備え、ＨＭＤ本体の姿勢データを計測する。特に、頭部の回転角に関する情報に基づくことで、パノラマ画像の視線方向変更を可能にする。より詳細には、ＨＭＤを装着したユーザが頭部を回転させると、それに併せて３６０度のパノラマ画像の視線方向を変更することにより、ユーザに対し、映像世界への没入感を高め、エンタテインメント性を向上させる（特許文献１の段落〔０００３〕，〔００３３〕，〔００３４〕および〔要約〕参照）。

加えて、特許文献１には、頭部の動きによるユーザ・ジェスチャとＨＭＤでの画面の操作（例えば、表示画面切り替え）を予め関連付けておき、頭部の傾きや加速度に基づいてユーザのジェスチャを特定した際に、該ジェスチャに関連する画面操作を実施することが開示される。これにより、ユーザがＨＭＤ装着時に手元が見えないことに起因したコントローラ操作の不便性を解消する（同文献の段落〔００８０〕〜〔００８３〕参照）。

特開２０１３−２５８６１４号公報 しかしながら、特許文献１の上記開示は、センサにより取得される頭部動作の情報について、単に、パノラマ画像の視線方向特定のために、またはユーザ・ジェスチャの特定のために、使用しているに過ぎない。今後、ＨＭＤを使用した各種アプリケーションが数多く開発され、ＨＭＤがより広範に普及することが見込まれるが、その際に、頭部動作の情報は、上記に限られずアプリケーション起動中の様々な場面で適用されることが期待される。

その一例として、仮想空間に配置されたマルチ仮想ディスプレイをＨＭＤ上に表示するアプリケーションを想定する。特に、当該仮想ディスプレイが仮想テレビであり、仮想空間内でテレビ番組を放送し、ＨＭＤを装着したユーザが視聴するようなアプリケーションを想定する。ここでは、ＨＭＤ本体の頭部動作を、現実世界のテレビ番組交代等のコントローラ（リモコン）操作全般をＨＭＤの動作で代用させることが期待される。

特に、現実世界では、ユーザがテレビ番組を視聴する際、ユーザがリモコンを操作してチャンネルを切り替える所謂ザッピングを実施ことが多々ある一方で、ユーザがＨＭＤを装着して仮想空間に没入している場合は、ユーザは手元を観察することができず、誤ったリモコンボタン操作を生じさせることになる。非透過型のＨＭＤを使用することにより、ユーザが全視界を覆われるような場合には、ユーザは外界を全く観察することができないから尚更である。

そこで、本発明は、仮想空間に配置されたマルチ仮想ディスプレイをＨＭＤ上に表示するアプリケーションにおいて、従来のリモコン操作の代替としてＨＭＤによる頭部動作を適用することを目的とする。特に、仮想空間のマルチ仮想テレビ環境内でテレビ番組を放送するアプリケーションにおいて、従来のリモコン操作によるザッピングをＨＭＤの頭部動作で実施させることを目的とする。

（１）本発明のコンテンツ視聴のための装置は、仮想空間に配置された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部、ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて、仮想ディスプレイの内１つを選択する選択部、該選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部、および、上記ヘッドマウント・ディスプレイに表示された複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツを同時に制限付きで再生する制限付き再生部を備えるものである。

そして、上記制限付き再生部において、コンテンツを制限付きで再生することが、オーディオ出力を無効化して動画コンテンツを再生することを含み、上記再生部において、前記コンテンツを再生することが、無効化された動画コンテンツのオーディオ出力を有効化することを含むことを特徴とする。

また、上記動画コンテンツが、テレビジョン受像機を通じて受信されるテレビ番組コンテンツであることを特徴とする。
加えて、本発明の装置は、上記再生されたコンテンツが所与の時間継続して再生されたかを判定する判定部、および、所与の時間継続して再生されたと判定された場合に、当該再生されているコンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替えるコンテンツ入れ替え部を更に備えることを特徴とする。そして、上記検出器が角速度センサであり、上記検出された動きが傾きを含むことを特徴とする。

（２）本発明のコンテンツ視聴方法は、仮想空間に配置された複数の仮想ディスプレイ上で各々に関連付けられるコンテンツを制限付きで再生するステップ、仮想空間の視界に含まれ、コンテンツが制限付きで再生された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示するステップ、ヘッドマウント・ディスプレイの動きを検出するステップ、上記動きに応じて、仮想ディスプレイの内１つを選択するステップ、および、上記選択された仮想ディスプレイに関連付けられたコンテンツを再生するステップを含むものであり、上記コンテンツを制限付きで再生するステップが、オーディオ出力を無効化して動画コンテンツを再生することを含み、上記コンテンツを再生するステップが、無効化された動画コンテンツのオーディオ出力を有効化することを含むことを特徴とする。

また、本発明のコンテンツ視聴方法は、上記コンテンツを再生するステップでコンテンツを所与の時間継続して再生したかを判定するステップ、および、コンテンツが所与の時間継続して再生されたと判定された場合に、当該再生されているコンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替えるステップを含み、特に、上記所定の位置が視界の中心部であることを特徴とする。

（３）本発明のコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラムは、仮想空間に配置された複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツを制限付きで再生する制限付き再生部、仮想空間の視界に含まれ、コンテンツが
制限付きで再生された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部、ヘッドマウント・ディスプレイに具備される検出器で検出される動きに応じて、仮想ディスプレイの内１つを選択する選択部、および、上記選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部としてコンピュータを機能させ、上記コンテンツを制限付きで再生することが、オーディオ出力を無効化して動画コンテンツを再生することを含み、上記コンテンツを再生することが、無効化された動画コンテンツのオーディオ出力を有効化することを含むことを特徴とするものである。

本発明によれば、ＨＭＤを装着したユーザの頭部の簡易な動作により、仮想空間におけるアプリケーションの所定の操作を実施可能とする。特に、マルチ仮想ディスプレイに対し、従来では考えられなかったザッピングの操作態様をユーザに提供することができる。より詳細には、ユーザの頭部の動きによる動作により、仮想空間に配置されたマルチ仮想ディスプレイに対して、何らのリモコン操作を必要とせずにユーザのザッピング操作を実現することができ、実世界とは異なる画面操作性をユーザに提供することができる。

この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。

図１Ａは、本発明の一実施例に従った、ＨＭＤシステムの概略図である。 図１Ｂは、本発明の他の実施例に従った、ＨＭＤシステムの概略図である。 図２は、図１Ｂで使用される赤外線センサによって検知される、ＨＭＤ上に仮想的に設けられた複数の検知点の概要図である。 図３は、本発明の実施の態様による、ＨＭＤシステムのコンテンツ視聴処理を実装するための機能的構成のブロック図である。 図４は、本発明の実施の態様による、ＨＭＤを装着しているユーザの頭部を中心に規定される３次元空間上の直交座標系を示す。 図５Ａは、本発明の実施の態様による、仮想空間におけるユーザと仮想ディスプレイの一配置例を示す立体概要図である。 図５Ｂは、本発明の実施の態様による、仮想空間におけるユーザと仮想ディスプレイの他の配置例を示す立体概要図である。 図６は、本発明の実施の態様による、仮想空間における仮想ディスプレイのコンテンツ表示例を示す一例の平面概要図である。 図７は、本発明の実施の態様による、仮想空間における仮想ディスプレイのコンテンツ表示例を示す他の例の平面概要図である。 図８は、本発明の実施の態様による、コンテンツ視聴部における機能的構成のブロック図である。 図９は、本発明の実施の態様による、コンテンツ視聴に関す処理の流れを示すフロー図である。 図１０は、本発明の実施の態様による、コンテンツ視聴アプリケーションで実装された一例の画面イメージである。 図１１は、本発明の実施の態様による、コンテンツ視聴アプリケーションで実装された他の例の画面イメージである。

以下、図面を参照して、本発明の実施の形態による、コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラムについて説明する。図中、同一の構成要素には同一の符号を付してある。

図１Ａは、本発明の第１実施例による、ヘッドマウント・ディスプレイ（以下、「ＨＭＤ」と称する。）を用いたＨＭＤシステム１００の概略図である。図示のようにＨＭＤシステム１００は、ディスプレイ１１２およびセンサ１１４を搭載するＨＭＤ１１０、並びに制御回路部１２０を備える。ＨＭＤ１１０が具備するディスプレイ１１２は、ユーザの視界を完全に覆うよう構成された非透過型の表示装置であり、ユーザはディスプレイ１１２に表示される画面のみを観察することができる。非透過型のＨＭＤ１１０を装着したユーザは、外界の視界を全て失うため、制御回路部１２０において実行されるアプリケーションにより表示される仮想空間に完全に没入することになる。

制御回路部１２０は、コンテンツ視聴装置として、ＨＭＤ１１０内部に搭載してもよく、また、ＨＭＤ１１０に搭載せずに別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。更に、制御回路部１２０は、コンテンツ視聴装置の全部または一部の機能のみを実装することができる。一部のみを実装した場合には、残りの機能をＨＭＤ１１０側、またはネットワークを通じたサーバ・コンピュータ（図示せず）側に実装してもよい。

ＨＭＤ１１０が具備するセンサ１１４は、ディスプレイ１１２近辺に固定される。センサ１１４は、地磁気センサ、加速度センサ、および／または角速度（ジャイロ）センサを含み、これらの１つ以上を通じて、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の各種動きを検出することができる。特に角速度センサの場合には、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検出し、各軸回りの角度（傾き）の時間変化を決定することができる（図４において後述）。

図１Ｂは、本発明の第２実施例による、ＨＭＤシステム１００’の概略図である。第１実施例の図１Ａと比較すると、本実施例では、制御回路部１２０に通信可能に接続される赤外線センサ１３０を備える点で異なる。また、ＨＭＤ１１０は図１Ａのセンサ１１４を備えてもよいし、備えなくてもよい。赤外線センサ１３０はポジショントラッキング機能を有する。

図２に例示的に示すように、ＨＭＤ１１０上に仮想的に設けられ、赤外線を検知する複数の検知点についての実空間内での位置をユーザの動きに対応して経時的に検出する。そして、赤外線センサ１３０により検出された実空間内での位置の経時的変化に基づいて、ＨＭＤ１１０の動きに応じた各軸回りの角度の時間変化を決定することができる。

なお、図１Ａおよび図１Ｂには図示していないが、ＨＭＤ１１０はヘッドホン１１６を内蔵することができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００，１００’はいずれかの要素にテレビジョン受像機１１５を具備することができる。また、ＨＭＤ１１０のコントローラとして、ユーザにより保持される公知のスマートフォン等の携帯端末を使用できる。コントローラは制御回路部１２０に通信可能に接続することができる。

図３は、本発明の各実施例による、ＨＭＤシステム１００／１００’においてコンテンツ視聴処理を実施するために実装される上記制御回路装置１２０が有する主要機能のブロック図である。制御回路部１２０は、視界生成部２１０、動き検出部２２０およびコンテンツ視聴部２３０を備え、空間情報格納部２５０やコンテンツ情報格納部２６０等の各種テーブルと相互作用する。

視界生成部２１０は、空間情報格納部２５０に格納された３次元仮想空間情報、およびセンサ１１４／１３０から取得した視野方向の検出情報に基づいて、３次元仮想空間に没
入したユーザから見える視界を生成する。当該視界は、３６０度パノラマ画像の一部とすることができる。

動き検出部２２０は、センサ１１４／１３０からの動き情報の入力に基づいて、ユーザの頭部に装着されたＨＭＤ１１０の動きデータを測定する。本発明の実施の形態では、特に、角速度（ジャイロ）センサにより経時的に検出された角度情報データを決定する。

ここで、図４を参照して、角度情報データについて説明する。図示のように、ＨＭＤを装着したユーザの頭部を中心として、ＸＹＺ座標を規定する。ユーザが直立する垂直方向をＹ軸とし、Ｙ軸と直交しディスプレイ１１２の中心とユーザを結ぶ方向をＺ軸とし、Ｙ軸およびＺ軸と直交する方向の軸をＸ軸とする。角速度（ジャイロ）センサでは、各軸回りの角度（即ち、Ｙ軸を軸とした回転を示すヨー角、Ｘ軸を軸とした回転を示すピッチ角、Ｚ軸を軸とした回転を示すロール角で決定される傾き）を検出し、その経時的な変化により、動き検出部２２０が視界情報として角度（傾き）情報データを決定する。

図３に戻り、コンテンツ視聴部２３０では、コンテンツ情報格納部２６０に格納されたコンテンツ情報および動き検出部２２０で決定した傾きの角度に基づいて、３次元仮想空間に配置した複数の仮想ディスプレイの内１つを特定し、そのコンテンツを再生して、ディスプレイ１１２およびヘッドホン１１６に出力する。なお、当該コンテンツは、静止画や動画、音声等、如何なる形式にもすることができる。特に、テレビジョン受像機１１５で受診したテレビ番組の動画コンテンツとするのがよい。

なお図３において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解される（後記する図９についても同様である）。

これより図５Ａ以降を参照して、上記コンテンツ視聴部２３０により実施されるコンテンツ視聴処理について説明する。図５Ａおよび図５Ｂは、３次元仮想空間に没入したユーザ１と仮想ディスプレイ２の配置例をそれぞれ示す。点線で囲まれる各仮想ディスプレイ２は、全天球の球面３に設けられ、コンテンツＡ〜Ｉを表示している。そして、図６に示すように、ユーザ１の視界はコンテンツＡ〜Ｉの各ディスプレイが含まれ、ユーザ１は現在、頭部を回転させてＨＭＤを傾けることにより、コンテンツＡの方向を向いている（「×」印）。

ここで、図５Ａと図５Ｂは、ユーザが球体の中心に位置するか、中心から離れて位置するかの点で異なる。なお、図５Ａは、図１Ａに示した第１実施例のＨＭＤシステム１００を採用した場合、図５Ｂは、図１Ｂの第２実施例のＨＭＤシステム１００’を採用した場合に相当する。つまり、図１Ｂの第２実施例のように赤外線センサ１３０によるポジショントラッキングを実施する場合は、球体の中心にユーザを位置する必要はなく、ユーザは、赤外線センサ１３０とＨＭＤ１１０の位置関係に基づいて、球体内の平面上を移動可能である。

図５Ａおよび図５Ｂに示すように、３次元仮想空間の半径Ｒの全天球の球面３に複数の仮想ディスプレイが配置される。より詳細には、球面に沿うように複数の格子２が設けられ、当該格子上に９つ（３×３）の仮想ディスプレイ（仮想テレビ）が整列して配置されている。そして、ユーザの視野に含まれる全ての仮想ディスプレイに関連付けられたコンテンツ（コンテンツＡ〜Ｉ）が同時に制限付きで再生されている。

制限付きの再生とは、一例として、コンテンツが音声付きの映像である場合に、ビジュアル・コンテンツのみを再生し、オーディオ・コンテンツは無効化（ミュート）するような態様である。図示のように、ＨＭＤを装着したユーザには、９つの仮想テレビのコンテンツＡ〜Ｉのビジュアル・コンテンツが同時に見えている。

次いで、ユーザは、頭部を回転させ、即ちＨＭＤを傾けることにより、上記９つの仮想テレビの内何れかを特定することができる。上記のように、図５Ａおよび図５Ｂでは、左上の格子に配置された仮想テレビの方向にＨＭＤを傾け、特定の方向を指向することにより、図６に示す格子＃１（１）に配置された仮想テレビが特定されている。図６に示す「×」印はＨＭＤが指向する上記格子上の点を示すが、実際にＨＭＤに表示しても、非表示としても何れでもよい。

図６に示すように格子＃１（１）の仮想テレビが特定され、該仮想テレビが太枠と網掛けで活性表示されると、そのコンテンツＡが（制限なしで）再生される。即ち、現在、コンテンツＡは、ビジュアル・コンテンツのみならず、オーディオ・コンテンツも再生されている状態となる。なお、その間コンテンツＢ〜Ｉは、引き続きビジュアル・コンテンツのみが制限付き再生されている。この状態で、ユーザが更に頭部を動かしてＨＭＤを傾けることにより、別の仮想テレビ（例えば＃３（３））が特定され活性表示された場合は、今度は、コンテンツＡのオーディオ・コンテンツを無効化（ミュート）すると共にコンテンツＩのオーディオ・コンテンツを再生する。

このように、ユーザは、装着したＨＭＤを傾けて、何れかの仮想テレビを指向して特定することを通じて、オーディオ・コンテンツを逐次切り替えることができる。つまり、仮想空間に配置されたマルチ仮想ディスプレイに対するユーザのザッピング操作を、何らのリモコン操作を必要としない、ＨＭＤを傾ける動作のみによって実現可能となる。

本発明の実施の形態によれば、更に、ユーザが図６のコンテンツＡを視聴した状態を一定時間継続した場合、図７の状態に移行させることができる。より詳細には、図示のように、コンテンツＡを、ユーザの視界の中心部に相当する格子＃２（２）の仮想ディスプレイ（メイン仮想ディスプレイ）での表示に移行する。その代わり、それまで格子＃２（２）の仮想ディスプレイで制限付き再生されていたコンテンツＥを格子＃１（１）の仮想ディスプレイ（サブ仮想ディスプレイ）での表示に移行することにより、ビジュアル・コンテンツの入れ替えを行う。当然、オーディオ・コンテンツとしてはコンテンツＡのものが再生される状態が維持される。当該移行処理は、一定時間視聴状態が継続されると、ユーザはザッピングから視聴動作に状態遷移しているものと想定でき、視界の中心部に視聴コンテンツを表示すべきであるという考察に基づく。

引き続き、ユーザが更に頭部を動かしてＨＭＤを傾けることにより、別の仮想テレビ（例えば＃３（３））が特定され活性表示された場合は、更に、メイン仮想ディスプレイ（格子＃２（２））とサブ仮想ディスプレイ（＃３（３））のコンテンツ入れ替えを実施する。その際、ビジュアル・コンテンツを入れ替えるのよりも先に、オーディオ・コンテンツを切り替えるのがよい。即ち、ビジュアル・コンテンツを入れ替えるのよりも先に、メイン仮想ディスプレイで再生しているコンテンツＡのオーディオ・コンテンツを無効化（ミュート）すると共に、サブ仮想ディスプレイのコンテンツＩのオーディオ・コンテンツを再生するように切り替えるのがよい。

代替として、オーディオ・コンテンツを切り替える際に、メイン仮想ディスプレイのコンテンツＡのオーディオ・コンテンツをいきなり無効化（ミュート）することなく、メイン仮想ディスプレイのコンテンツＡのオーディオ・コンテンツとサブ仮想ディスプレイのコンテンツＩのオーディオ・コンテンツをそれぞれの音量を調整しながら同時再生するよ
うにしてもよい。例えば、それぞれのオーディオ・コンテンツのボリューム比を所定の値となるように調整してもよく、または、時間経過と共にメイン仮想ディスプレイのコンテンツＡのオーディオ・コンテンツをボリューム・ダウンすると共にサブ仮想ディスプレイのコンテンツＩのオーディオ・コンテンツをボリューム・アップしてもよい。それ以外にも、例えば、メイン仮想ディスプレイとサブ仮想ディスプレイの配置関係にしたがって、それぞれのオーディオ・コンテンツの出力をヘッドホン１１５の右耳出力と左耳出力に対応付けてもよい。

上記図５Ａ〜図７で説明してきたコンテンツ視聴に関する処理の詳細について、これより図８および図９を参照して説明する。図８は、図３で説明したコンテンツ視聴部２３０を構成する詳細な機能ブロック図である。一方、図９は、コンテンツ視聴処理に関する詳細なフロー図である。図８に示すように、コンテンツ視聴部２３０は、ビジュアル・コンテンツ（制限付きコンテンツ）再生部３０１およびオーディオ・コンテンツ再生部３０２を含むコンテンツ再生部３００、仮想ディスプレイ選択部３０３、コンテンツ視聴判定部３０４、並びにコンテンツ入替部３０５を備える。

ビジュアル・コンテンツ再生部３０１は、ＨＭＤに表示された複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツについて、同時に、ビジュアル・コンテンツのみの制限付き再生を行う。特に、テレビジョン受像機を通じて受信されるテレビ番組の動画コンテンツに対し、オーディオ・コンテンツを無効化（即ち、ミュート）して、ビジュアル・コンテンツのみを再生する。

オーディオ・コンテンツ再生部３０２は、仮想ディスプレイ選択部３０３で選択される仮想ディスプレイに関連付けられ、ビジュアル・コンテンツ再生部３０１で無効化されたオーディオ・コンテンツを有効化することにより、コンテンツ全体を再生する。即ち、コンテンツ再生部３００は、ビジュアル・コンテンツ再生部３０１で再生されている複数のオーディオ・コンテンツ、およびオーディオ・コンテンツ再生部３０２で再生されている１つのオーディオ・コンテンツを重畳させて、出力部３０６に出力し、ユーザに視聴させる。

仮想ディスプレイ選択部３０３では、ＨＭＤが具備するセンサ（１１４／１３０）で検出される動きに応じて、仮想ディスプレイの内１つを選択する。より詳細には、上述のように、センサは角速度センサとすることができ、検出されたＨＭＤの動きが傾きを含む。そして、図５Ａ〜図６のように、全天球の球面３上において、ＨＭＤの傾きおよび位置に従って、複数の格子２（＃１（１）〜＃３（３））の中から１つの格子を特定することにより、その格子上の仮想ディスプレイを選択する。

コンテンツ視聴判定部３０４は、オーディオ・コンテンツ再生部３０２において、有効化して再生されたオーディオ・コンテンツについて、ユーザが一定時間継続して視聴したかを判定する。即ち、そのコンテンツが所与の時間継続して再生されたかを判定する。コンテンツが所与の時間継続して再生されたということは、ユーザの動作がザッピングから視聴モードに移行ものと判定することを意味する。

その場合、コンテンツ入替部３０５において、再生されているコンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替え、そして出力部３０６に出力する。特に、視界中心部に相当する格子上のディスプレイのコンテンツと入れ替えるとよい。最後に、出力部３０６では、仮想空間に配置された複数の仮想ディスプレイのビジュアル・コンテンツをＨＭＤのディスプレイ１１２に、オーディオ・コンテンツはＨＭＤのヘッドホン１１５に出力する。

次に図９に示すように、コンテンツ視聴に関する処理は、ＨＭＤ１１０およびコンテンツ視聴装置１２０との間の相互作用によって実施される。最初にステップＳ２０１では、アプリケーション上でコンテンツ視聴モードをオンにして、仮想空間の視界を決定する。これにより、ＨＭＤを装着したユーザは図５Ａ〜図６の状態となる。ステップＳ２０２では、視界内に配置されている（格子＃１（１）〜＃３（３）の）全ての仮想テレビのビジュアル・コンテンツをビジュアル・コンテンツ再生部３０１で制限付き再生して、出力部３０６に出力する。

ステップＳ１０１では、図６に示したように、ＨＭＤ１１０は、出力部３０６に出力された視界内の全ての仮想テレビの再生されたビジュアル・コンテンツを表示する。ビジュアル・コンテンツが表示されている間、ＨＭＤ１１０はまた、ステップＳ１０２においてセンサ１１４／１３０からＨＭＤの動き情報を取得して、コンテンツ視聴装置１２０に当該情報を供給する。特に、角速度センサ１１４による頭部の回転（傾き）情報データおよび／または赤外線センサ１３０による仮想空間内の位置情報データを取得する。

動き情報を取得したコンテンツ視聴装置１２０では、ステップＳ２０３において、仮想ディスプレイ選択部３０３により、動き情報に基づいて、ターゲットとなる仮想ディスプレイを特定し選択する。

より詳細には、一例として、図４に示した角速度センサによる頭部の回転情報に含まれる、ヨー角、ピッチ角、およびロール角から決定されるＨＭＤの傾きデータ、並びに任意で赤外線センサ１３０による仮想空間内の位置情報データを使用して、ＨＭＤの傾き方向（図５Ａ，図５Ｂの矢印）のベクトルが半径Ｒの球体表面３と交わる交点の絶対位置座標を計算する。そして、計算した絶対位置座標が球体面のどの格子の領域にあるかを判断することによって、１つの格子が特定され、格子上のディスプレイが特定される。格子とディスプレイの関連付けは、例えば、コンテンツ情報格納部２６０にテーブルとして格納しておくのがよい。

ステップＳ２０３でターゲット仮想ディスプレイが特定されると、次いで、コンテンツ視聴装置１２０は、コンテンツ再生部３００において当該ターゲット仮想ディスプレイのコンテンツを再生する。ここでは、オーディオ・コンテンツ再生部３０２においてステップＳ２０２では無効化されていたターゲット仮想ディスプレイのオーディオ・コンテンツを有効化して再生する。

ステップＳ２０４以降、ＨＭＤ１１０では、ステップＳ１０３で継続的にＨＭＤの動き情報を取得しコンテンツ視聴装置に供給する。一方、コンテンツ視聴装置１２０では、ステップＳ２０５で、コンテンツ視聴判定部３０４においてどれくらいの時間、ターゲット仮想ディスプレイのコンテンツが継続再生されたかをモニタすると共に、所定の時間にわたり継続再生されたかを判定する。所定の時間継続して再生された場合には、ステップＳ２０６で、ユーザの動作がザッピングから視聴モードに移行したものと判定して、ターゲット仮想ディスプレイのコンテンツをメイン仮想ディスプレイに表示すべく、ターゲット仮想ディスプレイのコンテンツと、視界の中心に相当する球面３上の格子のメイン仮想ディスプレイのコンテンツとを入れ替える（図７も参照）。

なお、メイン仮想ディスプレイは、図７の例に限定されない。例えば、視界の中心を含む複数の格子（例えば４つ）を用いて、メイン仮想ディスプレイの配置領域として構成してもよい。また、ステップＳ２０６の移行処理では、ターゲット仮想ディスプレイとメイン仮想ディスプレイの各コンテンツを入れ替える処理に限定されない。例えば、図６に示す格子＃１（１）と＃２（２）以外の格子のコンテンツについても入れ替えを行ったり、順にスライドさせたり、回転させたりしてもよい。
画面表示例
上記を踏まえて、図１０および図１１に、本発明の実施の態様に基づいて実装された、ＨＭＤに表示される画面例を示す。図１０では、３次元仮想空間上に６つの仮想ディスプレイが「一覧モード」として表示され、そして、各仮想ディスプレイにおいてビジュアル・コンテンツが制限付き再生されている。

この状態では、ＨＭＤは、下行中心の仮想ディスプレイ方向を指向しており、これをターゲット仮想ディスプレイとして選択している。一定時間、当該ターゲット仮想ディスプレイに対してＨＭＤの傾きを維持すると、図１１の「視聴モード」画面への切り替えが実施され、ターゲット仮想ディスプレイが、中央のメイン・ディスプレイ部分に移行され、そのコンテンツが大きく表示されると共に、オーディオ・コンテンツも再生される。「視聴モード」画面では、メイン・ディスプレイ以外のコンテンツは、メイン部の周辺のサブ・ディスプレイ部分に配置され、コンテンツがサブ仮想ディスプレイとして制限付き再生され表示される。ユーザがＨＭＤを更に傾けて、サブ・ディスプレイのいずれかを指向し、一定時間経過した場合には、今度は、指向したサブ・ディスプレイのコンテンツがメイン・ディスプレイのコンテンツと入れ替わることになる。

このように、ユーザは、装着したＨＭＤを何れかの仮想ディスプレイを指向するように傾けることで、１つの仮想ディスプレイを特定することにより、オーディオ・コンテンツを逐次切り替えることができる。つまり、仮想空間に配置されたマルチ仮想ディスプレイに対するユーザのザッピングを、何らのリモコン操作を必要とせず、ＨＭＤを傾ける動作のみにより実現することができ、実世界とは異なる画面操作性をユーザに提供することができる。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

１ 仮想空間没入ユーザ
２ 格子
３ 球面
１００，１００’ ＨＭＤシステム
１１０ ＨＭＤ
１１２ ディスプレイ
１１４ センサ
１１５ テレビジョン受像機
１１６ ヘッドホン
１２０ 制御回路部
１３０ 赤外線センサ
２１０ 視界生成部
２２０ 動き検出部
２３０ コンテンツ視聴部
２５０ 空間情報格納部
２６０ コンテンツ情報格納部
３００ コンテンツ再生部
３０１ ビジュアル・コンテンツ再生部
３０２ オーディオ・コンテンツ再生部
３０３ 仮想ディスプレイ選択部
３０４ コンテンツ視聴判定部
３０５ コンテンツ入替部
３０６ 出力部

Claims (3)

1. ３次元仮想空間に配置された複数のコンテンツを、ユーザの頭部に関連付けられた画像表示装置に表示するステップと、
   前記ユーザの頭部の動きに応じて、前記複数のコンテンツの内１つを選択するステップと、
   前記選択されたコンテンツを、オーディオ出力を有効化して再生するステップと、
   をコンピュータに実行させ、
   前記複数のコンテンツの内選択されていないコンテンツは、オーディオ出力の再生が制限されており、
   前記複数のコンテンツは、少なくとも２以上のコンテンツの全体が前記画像表示装置に表示できるように前記３次元仮想空間に配置されている、プログラム。
2. 請求項１記載のプログラムであって、更に、
   前記選択されたコンテンツが、所定の時間継続して再生されたかを判定するステップと、
   前記所定の時間継続して再生されたと判定された場合に、前記選択されたコンテンツを、前記３次元仮想空間内の所定の位置に配置された他のコンテンツと入れ替えるステップと、
   を前記コンピュータに実行させる、プログラム。
3. 請求項１または２記載のプログラムにおいて、
   前記複数のコンテンツのそれぞれが、前記３次元仮想空間において球面に沿うように設けた格子に関連付けて配置されており、
   前記選択するステップにおいて、前記ユーザの頭部の動きに応じて前記格子が特定されることにより、該特定された格子に関連づけられたコンテンツが選択される、プログラム。