JP2016115039A - タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイとタッチパネル式装置とを連動させてヘッドマウントディスプレイ上の表示を操作するシステム、プログラム及び方法を提供する。【解決手段】タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出部２１０と、接触位置検出部２１０にて検出した被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する、表示制御部２１２と、を備える。ヘッドマウントディスプレイ１１２はタッチパネル式装置と通信可能に接続されている。【選択図】図２

Description

本発明は、タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法に関し、より詳細には、タッチパネル式装置のタッチ面に対するタッチ操作により、ヘッドマウントディスプレイの表示領域に表示されるポインタを表示操作するシステム、プログラム、及び方法に関する。

近年、キーボードなどを有さず、入力がタッチ操作のみのタッチパネル式表示装置を備えた情報処理装置が広まっている。このようなタッチパネル式表示装置は、操作画面と表示画面が一体となっており、ユーザは画面を確認しながら指を画面に接触させて該画面上に示されるポインタを所望の位置に指定することができる。例えば、特許文献１〜４は、操作画面と表示画面が一体となったタッチパネル式表示装置に関する技術を開示しており、ユーザは画面を確認しながら該画面上に示されるポインタの所望の位置を指定することができる。また、ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに画像を提示することが可能なヘッドマウントディスプレイ（ＨＭＤ）が知られている。

特開２０１３−３００５０号公報 特開２０１３−６９１９５号公報 特開２０１１−８１４４７号公報 特開２０１３−７３３６５号公報

タッチパネル式表示装置においては、ユーザはディスプレイ上に表示された画面を観察しながらタッチ操作を行うことができる。しかしながらタッチパネル式表示装置を、ユーザの目を完全に覆う非透過型のＨＭＤと併せて用いる場合、ＨＭＤを装着しているユーザは仮想空間に完全に没入しており、ユーザは自身が保持しているタッチパネル式表示装置のタッチ面を観察することができないため、現在操作を行おうとしているタッチ面上の操作位置を観察することができない。

（１）本発明は、タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出部と、接触位置検出部にて検出した被接触物の接触位置の移動に基づく接触開始位置に対する前記接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する表示制御部と、を備え、ヘッドマウントディスプレイはタッチパネル式装置と通信可能に接続されていることを特徴とするシステムに関係する。
（２）本発明のシステムにおける他の実施形態によれば、システムはヘッドマウントディスプレイの表示領域においてポインタの操作開始位置を取得するポインタ位置取得部をさらに備え、表示制御部は接触位置検出部にて検出した被接触物の接触開始位置を、ポインタ位置取得部により取得されたポインタの操作開始位置に対応付けし、被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ポインタを前記ポインタの操作開始位置から操作終了位置まで移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする。
（３）本発明のシステムにおける他の実施形態によれば、システムは、被接触物の接触位置が、タッチパネル式装置のタッチ面に備えられる警告領域に存在するかを判定する接触位置判定部をさらに備え、被接触物の接触位置が前記警告領域に存在する場合に、タッチパネル式装置を振動させることを特徴とする。
（４）本発明のシステムにおける他の実施形態によれば、接触位置検出部は、タッチ面に対する被接触物の次の接触開始位置を検出し、ポインタ位置取得部は、ポインタの前回の操作終了位置をポインタの次の操作開始位置に対応付けし、被接触物の前記次の接触開始位置に対する接触位置の移動に方向と距離に対応付けて、ポインタを前記次の操作開始位置から移動してヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする。

この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。

本発明の一実施例に従った、システムの構成図を示す。 本発明の一実施例に従った、システムの機能的構成図を示す。 本発明の一実施例に従った、タッチパネル式表示装置の表示領域と、それに対応するＨＭＤの表示領域を示す。 本発明の一実施例に従った、タッチパネル式表示装置の表示領域を示す。 本発明の一実施例に従った、システムの処理の流れを示すフローチャート図を示す。 本発明の一実施例に従った、タッチパネル式表示装置の表示領域と、それに対応するＨＭＤの表示領域を示す。 本発明の一実施例に従った、システムの処理の流れを示すフローチャート図を示す。

以下、本実施形態について説明する。図１は、一実施例に係るシステムの構成図である。このシステムでは、タッチパネル式装置１３０と本体装置１２０が無線又は有線で通信可能に接続され、本体装置１２０とＨＭＤ１１０が無線又は有線で通信可能に接続されている。ＨＭＤ１１０は、表示領域１１２を備えており、ＨＭＤを装着したユーザは表示領域１１２に表示される画像のみを観察することができる。タッチパネル式装置１３０は、タッチセンサ１３２と、振動部１３４を備えることができる。タッチセンサ１３２はユーザによるタッチ面に対する接触操作を検知する。非透過型のＨＭＤを装着している場合、ユーザは保持しているタッチパネル式装置１３０の表示面を観察することはできないため、タッチセンサ１３２は、表示機能を有していなくても良い。振動部１３４は、本体装置１２０より受信する信号に応じてタッチパネル式装置を振動させるためのものである。本体装置１２０は、図２に示される機能を実現するための装置である。なお、タッチパネル式装置１３０は、公知のスマートフォン、タブレット端末、ＰＤＡにより実現され得る。

図２は、本発明の一実施例に係るシステムの機能的構成図である。本体装置１２０は、ＣＰＵなどの演算部に組み込まれたプログラムで制御された、接触位置検出部２１０と、表示制御部２１２と、接触位置判定部２１４と、ポインタ位置取得部２１６を備えている。なお、図２において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることは当業者に理解されるであろう。

接触位置検出部２１０は、タッチセンサ１３２より出力された、ユーザの指などによる操作に基づく被接触物の接触に関する情報に基づいて、タッチパネル式装置１３０のタッチ面１３２に対する被接触物の接触位置を検出する。具体的には、タッチセンサ１３２がタッチパネル式装置１３０のタッチ面１３２に対する接触を検知すると、接触位置検出部２１０は、接触に関する情報を受信し、該情報に基づいてタッチパネル式表示装置の接触面上の直交するＸ、Ｙ軸に基づいて、接触点の座標を接触位置Ｔ（ｘ_ｔ、ｙ_ｔ）として検出する。なお、接触位置検出部２１０は、タッチ面に対する被接触物の接触位置の検出だけではなく、接触面に指が接触したまま指が接触面を移動するスワイプ操作、タッチ面を叩くと言った短時間の接触によるタップ操作の検出を行うことができる。なお、以下では、被接触物が指である場合を例示して説明するが、被接触物は指であることに限定されない。

表示制御部２１２は、接触位置検出部にて検出した被接触物の接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）を、ポインタ位置取得部２１６により取得されたＨＭＤの表示領域１１２におけるポインタの操作開始位置Ｐ_０（ｘ_ｐ０、ｙ_ｐ０）に対応付けし、接触位置検出部にて検出した被接触物の接触開始位置からのスワイプ操作に基づく接触開始位置に対する接触位置の移動方向と距離に基づいて、ＨＭＤの表示領域上に表示するポインタを表示制御する。例えば、図３に示すように、タッチパネル式装置１３０のタッチ面１３２に対する被接触物（本実施例ではユーザの指）は、接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）を始点として、接触終了位置Ｔ_１（ｘ_ｔ１、ｙ_ｔ１）までスワイプ移動している。被接触物の接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）から接触終了位置Ｔ_１（ｘ_ｔ１、ｙ_ｔ１）までの移動方向と距離に基づいて、表示制御部２１２は、ＨＭＤの表示領域１１２上でポインタを操作開始位置Ｐ_０（ｘ_ｐ０、ｙ_ｐ０）から操作終了位置（Ｐ_１（ｘ_ｐ１、ｙ_ｐ１）へと移動表示する。なお、ポインタの形状は、矢印に限定されず、いかなる図形、例えばゲームキャラクタでもよい。また、ポインタの操作開始位置Ｐ_０（ｘ_ｐ０、ｙ_ｐ０）は、本体装置１２０により実行されているアプリケーションの内容に基づいて決められる任意の位置、例えば操作中のゲームキャラクタの現在位置でも良いし、表示領域１１２上のあらかじめ定められた所定の位置、例えば表示領域１１２の中心位置でもよい。ポインタの操作開始位置Ｐ_０（ｘ_ｐ０、ｙ_ｐ０）が表示領域１１２上のあらかじめ定められた所定の位置である場合には、表示制御部２１２はポインタ位置取得部によりポインタ位置を取得せずに、被接触物の接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）を、あらかじめ定められたポインタの所定の操作開始位置Ｐ_０（ｘ_ｐ０、ｙ_ｐ０）に対応付けすることができる。

接触位置判定部２１４は、被接触物の接触位置が警告領域に存在するか否かを判定する。警告領域とは、タッチパネル式装置１３０のタッチ面１３２の一部の領域であり、例えば図４に示すように、タッチ面１３２の外延領域１３６である。

ポインタ位置取得部２１６は、ＨＭＤ１１０の表示領域１１２上の直交するＸ，Ｙ軸に基づいて、該表示領域１１２に表示されるポインタの座標をポインタ位置（ｘ_ｐ、ｙ_ｐ）として検出する。なお、上述したようにポインタの操作開始位置は、本体装置１２０により実行されているアプリケーションの内容等に基づいて定められているため、対応付けられているタッチ面上の接触位置Ｔ_０とポインタの操作開始位置Ｐ_０において、タッチ面１３２上の座標（ｘ_ｔ、ｙ_ｔ）が表示領域１１２上の座標（ｘ_ｐ、ｙ_ｐ）と同じわけではない。例えば図３に示すように、タッチ面１３２上の接触位置（ｘ_ｔ０、ｙ_ｔ０）はタッチ面１３２の中心より左下領域に存在するが、表示領域１１２上のポインタ操作開始位置Ｐ０は、表示領域１１２の中心より右上領域に存在する。ＨＭＤを装着しているユーザは、完全に外界の視界を失っているため、自身の保有するタッチ面１３２上のどの場所をタッチしているかを観察することができない。ユーザがタッチ面１３２を最初にタッチした場所を、ＨＭＤの表示領域１１２上に表示されているポインタの操作開始位置に対応付けることで、ユーザはタッチ面を観察することなしに、ＨＭＤの表示領域上に表示されている操作したいポインタを現在の表示位置から移動させることができる。

振動部１３４は、被接触物の接触位置が警告領域に存在する場合に、タッチパネル式装置を振動させる。ＨＭＤを装着しているユーザは自身の保有するタッチパネル式装置のタッチ面を観察することができない。図４に示すように、ユーザの指がタッチ面の外縁領域１３６にかかるとき、すなわちユーザの指がタッチ面から外れそうであるときに、振動部１３４は、タッチパネル式装置を振動させることができる。ユーザはタッチ面を観察せずに、指がタッチ面から外れそうであることを直感的に理解することができる。

次に、図５を参照して、図２〜図４に対応するシステムの処理の流れを説明する。
まず、ユーザによりタッチパネル式装置のタッチ面に対する接触がなされると、センサ１３２はその接触を感知し、接触に関する情報を接触位置検出部２１０へ送信する。接触位置検出部２１０は、受信した接触に関する情報に基づいてタッチパネル式装置のタッチ面１３２に対する被接触物の接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）を検出する（ステップ５０２）。

次に、ステップ５０４において、表示制御部２１２は、接触位置検出部にて検出した被接触物の接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）を、ポインタ位置取得部２１６により取得された、ＨＭＤの表示領域１１２における操作位置を表すポインタの操作開始位置Ｐ_０（ｘ_ｐ０、ｙ_ｐ０）に対応付けする。

次に、ユーザがタッチ面に指を接触したままの状態で指をスワイプ移動させている場合、すなわちセンサ１３２が連続的に接触を感知する場合、センサ１３２はユーザによるタッチ面に対する連続する接触に関する情報を接触位置検出部２１０へ出力する。接触位置検出部２１０は、前記接触に関する情報に基づいてタッチパネル式装置のタッチ面１３２に対する被接触物の接触位置を検出する（ステップ５０６）。

次に、接触位置判定部２１４は、検出された接触位置が警告領域１３６内か否かを判定し、警告領域内にある場合には、タッチパネル式装置の振動部１３４を振動させ（ステップ５１０）、ステップ５１２に進む。ユーザはタッチパネル式装置の振動を感じると、ユーザはタッチ面から指が外れそうであることを直感的に認識することができる。検出された接触位置が警告領域内にない場合には、ステップ５１２に進む。

次に、表示制御部２１２は、タッチパネル式装置１３０のタッチ面上の被接触物の接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）に対する接触位置の移動方向と距離に対応付けて、ＨＭＤの表示領域１１２に表示されるポインタを、ポインタの操作開始位置Ｐ_０（ｘ_ｐ０、ｙ_ｐ０）からＨＭＤの表示領域に対して移動表示させる（ステップ５１２）。

そして、ステップ５１４において、接触位置検出部２１０が接触に関する情報をセンサ１３２より受信しない場合、すなわち、タッチ面から被接触物が離れてしまった場合、ユーザによるスワイプ操作が終了したとして操作を終了する。一方、接触位置検出部２１０は、接触に関する情報をセンサ１３２より受信する場合、すなわち、タッチ面に被接触物が接触されたままである場合、ユーザによるスワイプ操作は継続しているとして、ステップ５０６に戻る。

ステップ５０６〜５１２の一連の処理を繰り返すことにより、図３に示すように、表示制御部２１２は、接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）から接触終了位置Ｔ_１（ｘ_ｔ１、ｙ_ｔ１）までの移動に伴う方向と距離に対応付けて、ポインタをポインタの操作開始位置Ｐ_０（ｘ_ｐ０、ｙ_ｐ０）から操作終了位置Ｐ_１（ｘ_ｐ１，ｙ_ｐ１）までＨＭＤの表示領域１１２上に移動表示させることができる。接触位置Ｔと、該接触位置Ｔに対応づけられるポインタの操作位置Ｐは逐次メモリに格納することができる。

図６は、タッチパネル式装置のタッチ面１３２への被接触物による接触が一旦なくなり、すなわち、タッチ面１３２から指が一旦離され、新たに別の任意の場所においてタッチ面１３２への接触がなされた場合のタッチパネル式表示装置のタッチ面１３２と、それに対応するＨＭＤの表示領域１１２を示す図である。図６の左側図は、タッチ面から指を離す前のタッチパネル式表示装置の表示領域１３２と、それに対応するＨＭＤの表示領域１１２を示す。図６の右側図は、左側図に従ったタッチ面に対するスワイプ操作が行われた後、一旦タッチ面から指を離した後に、再度タッチパネル式表示装置のタッチ面がタッチされたときのタッチ面１３２と、それに対応するＨＭＤの表示領域１１２を示す。

図６の左側図に示すタッチパネル式表示装置のタッチ面１３２と、それに対応するＨＭＤの表示領域１１２は、図３に示されるものとほぼ同じものである。図６の左側図に示されるように、タッチパネル式装置１３０のタッチ面１３２に対する被接触物は、接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）を始点として、接触終了位置Ｔ_１（ｘ_ｔ１、ｙ_ｔ１）までスワイプ移動している。被接触物の接触開始位置Ｔ_０（ｘ_ｔ０、ｙ_ｔ０）から接触終了位置Ｔ_１（ｘ_ｔ１、ｙ_ｔ１）までの方向と距離に基づいて、表示制御部２１２は、ＨＭＤの表示領域１１２上に表示されるポインタを操作開始位置Ｐ_０（ｘ_ｐ０、ｙ_ｐ０）から操作終了位置Ｐ_１（ｘ_ｐ１、ｙ_ｐ１）へ移動表示する。

ユーザは、タッチパネル式装置のタッチ面に対しスワイプ操作を行った後、一旦タッチ面から指を離してしまうと、ＨＭＤを装着したユーザは自身の保有するタッチパネル式装置のタッチ面を観察することができない。従ってユーザは、指を離す直前のタッチ面上の接触終了位置Ｔ_１（ｘ_ｔ１、ｙ_ｔ１）を視認することができないため、ユーザにとってタッチ面上で指を離す直前の位置を探し当ててから、再度表示領域１１２上で前に操作していたポインタを再度操作することが難しい。

本発明によると、図６に示すように、図６の左側図に示される指を離す直前のポインタの操作終了位置Ｐ_１（ｘ_ｐ１，ｙ_ｐ１）を、図６の右側図に示される指を離した後の表示領域１１２上のポインタの操作開始位置Ｐ_１（ｘ_ｐ１，ｙ_ｐ１）とする。従って、ユーザは一旦指を離した後も、タッチパネル式装置のタッチ面１３２に対する任意の場所Ｔ_０’（ｘ_ｔ０’、ｙ_ｔ０’）を新たな接触開始位置として、表示領域１１２上のポインタを、前に操作終了した位置Ｐ_１（ｘ_ｐ１，ｙ_ｐ１））を新たな操作開始位置として操作することができる。より詳細には、図６の右側図に示すように、タッチパネル式装置１３０のタッチ面１３２に対する被接触物は、任意の接触開始位置Ｔ_０’（ｘ_ｔ０’、ｙ_ｔ０’）を始点として、接触終了位置Ｔ_１’（ｘ_ｔ１’、ｙ_ｔ１’）までスワイプ移動している。被接触物の接触開始位置Ｔ_０’（ｘ_ｔ０’、ｙ_ｔ０’）から接触終了位置Ｔ_１’（ｘ_ｔ１’、ｙ_ｔ１’）までの方向と距離に基づいて、表示制御部２１２は、ＨＭＤの表示領域１１２上でポインタを操作開始位置Ｐ_１（ｘ_ｐ１、ｙ_ｐ１）から操作終了位置Ｐ_２（ｘ_ｐ２、ｙ_ｐ２）へと移動させる。図６の左側図におけるポインタの操作終了位置Ｐ_１、右側図におけるポインタの操作終了位置Ｐ_１は変化していない。

次に、図７を参照して、図６に対応するシステムの処理の流れを説明する。
まず、センサ１３２により出力された接触に関する情報に基づいて、接触位置検出部２１０は、ユーザによりタッチパネル式装置のタッチ面に対する新たな接触が検知されたか否かを判定する（ステップ７０２）。そして、ユーザによる接触が検知された場合に、接触位置検出部２１０は、該接触に関する情報に基づいてタッチパネル式装置のタッチ面１３２に対する被接触物の接触開始位置Ｔ_０’（ｘ_ｔ０’、ｙ_ｔ０’）を検出する（ステップ７０４）。

次に、ポインタ位置取得部２１６は、ポインタの操作終了位置（例えば、図６の左側図におけるＰ_１（ｘ_ｐ１、ｙ_ｐ１））がメモリに記憶されているか否かを判定する（ステップ７０６）。ポインタの操作終了位置が記憶されている場合に、ポインタ位置取得部２１６は、該操作終了位置（図６の左側図におけるＰ_１（ｘ_ｐ１、ｙ_ｐ１））を次の操作開始位置（図６の右側図におけるＰ_１（ｘ_ｐ１、ｙ_ｐ１））として取得する（ステップ７０８）。そして、ステップ７１０に進む。ポインタの操作終了位置が記憶されていない場合、ステップ７１０に進む。

次に、ステップ７１０において、表示制御部２１２は、接触位置検出部にて検出した被接触物の接触開始位置Ｔ_０’（ｘ_ｔ０’、ｙ_ｔ０’）を、ポインタ位置取得部２１６により取得された、ＨＭＤの表示領域１１２における操作位置を表すポインタの操作開始位置（図６の右側図におけるＰ_１（ｘ_ｐ１、ｙ_ｐ１））に対応付けする（ステップ７１０）。

次に、ユーザによりタッチ面に指を接触したままの状態で指を移動させている場合に、センサ１３２はユーザによるタッチ面に対する接触を感知し、接触に関する情報を接触位置検出部２１０へ出力する。接触位置検出部２１０は、前記接触に関する情報に基づいてタッチパネル式装置のタッチ面１３２に対する被接触物の接触位置を検出する（ステップ７１２）。

次に、表示制御部２１２は、被接触物の接触開始位置Ｔ_０’（ｘ_ｔ０’、ｙ_ｔ０’）に対する接触位置の移動方向と距離に対応付けて、ポインタをポインタの操作開始位置Ｐ_１（ｘ_ｐ１、ｙ_ｐ１）から移動表示する（ステップ７１４）。

そして、ステップ７１４において、接触位置検出部２１０は、接触に関する情報をセンサ１３２より受信しない場合、すなわち、タッチ面から被接触物が離れてしまった場合、タッチが終了したとして操作を終了する。一方、接触位置検出部２１０は、接触に関する情報をセンサ１３２より受信する場合、すなわち、タッチ面に被接触物が接触されたままである場合、タッチ操作は継続しているとして、ステップ７１２に戻る。

ステップ７１２〜７１６の処理を繰り返すことにより、表示制御部２１２は、接触開始位置Ｔ_０’（ｘ_ｔ０’、ｙ_ｔ０’）から接触終了位置Ｔ_１’（ｘ_ｔ１’、ｙ_ｔ１’）までの移動に伴う方向と距離に対応付けて、ポインタをポインタの操作開始位置Ｐ_１（ｘ_ｐ１、ｙ_ｐ１）から操作終了位置Ｐ_２（ｘ_ｐ２，ｙ_ｐ２）まで移動表示する。

以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施態様の変更がなされうることを当業者は理解するであろう。

Claims (9)

1. タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出部と、
   前記接触位置検出部にて検出した前記被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する、表示制御部と、を備え、
   前記ヘッドマウントディスプレイは前記タッチパネル式装置と通信可能に接続されていることを特徴とする、システム。
2. 請求項１記載のシステムは、
   前記ヘッドマウントディスプレイの表示領域においてポインタの操作開始位置を取得するポインタ位置取得部をさらに備え、
   前記表示制御部は、前記接触位置検出部にて検出した前記被接触物の接触開始位置を、前記ポインタ位置取得部により取得された前記ポインタの操作開始位置に対応付けし、前記被接触物の前記接触開始位置に対する接触位置の移動方向と距離に対応付けて、前記ポインタを前記ポインタの操作開始位置から操作終了位置まで移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、システム。
3. 請求項１記載のシステムは、
   前記被接触物の接触位置が、前記タッチパネル式装置のタッチ面に備えられる前記警告領域内に存在するかを判定する接触位置判定部をさらに備え、
   前記被接触物の接触位置が前記警告領域に存在する場合に、前記タッチパネル式装置を振動させることを特徴とする、システム。
4. 請求項２記載のシステムであって、
   前記接触位置検出部は、タッチ面に対する被接触物の次の接触開始位置を検出し、
   前記ポインタ位置取得部は、前記ポインタの前回の操作終了位置を、前記ポインタの次の操作開始位置に対応付けし、前記被接触物の前記次の接触開始位置に対する前記接触位置の移動方向と距離に対応付けて、前記ポインタを前記次の操作開始位置から移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、システム。
5. タッチパネル式装置に対する被接触物の移動をヘッドマウントディスプレイに対するポインタの表示に関連づける方法を、プロセッサに実行させるためのプログラムであって、該方法は、
   タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出ステップと、
   前記接触位置検出部にて検出した前記被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する、表示制御ステップと、を備え、
   前記ヘッドマウントディスプレイは前記タッチパネル式装置と通信可能に接続されていることを特徴とする、プログラム。
6. 請求項５記載のプログラムは、
   前記ヘッドマウントディスプレイの表示領域においてポインタの操作開始位置を取得するポインタ位置取得ステップをさらに備え、
   前記表示制御ステップは、前記接触位置検出ステップにて検出した前記被接触物の接触開始位置を、前記ポインタ位置取得部により取得された前記ポインタの操作開始位置に対応付けし、前記被接触物の前記接触開始位置に対する接触位置の移動方向と距離に対応付けて、前記ポインタを前記ポインタの操作開始位置から操作終了位置まで移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、プログラム。
7. 請求項５記載のプログラムは、
   前記被接触物の接触位置が、前記タッチパネル式装置のタッチ面に備えられる前記警告領域内に存在するかを判定する接触位置判定ステップをさらに備え、
   前記被接触物の接触位置が前記警告領域に存在する場合に、前記タッチパネル式装置を振動させることを特徴とする、プログラム。
8. 請求項６記載のプログラムであって、
   前記接触位置検出ステップは、タッチ面に対する被接触物の次の接触開始位置を検出し、
   前記ポインタ位置取得ステップは、前記ポインタの前回の操作終了位置を、前記ポインタの次の操作開始位置に対応付けし、前記被接触物の前記次の接触開始位置に対する前記接触位置の移動方向と距離に対応付けて、前記ポインタを前記次の操作開始位置から移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、プログラム。
9. タッチパネル式装置に対する被接触物の移動をヘッドマウントディスプレイに対するポインタの表示に関連づけるシステムの制御方法であって、
   タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出ステップと、
   前記接触位置検出部にて検出した前記被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する、表示制御ステップと、を備えており、
   前記ヘッドマウントディスプレイは前記タッチパネル式装置と通信可能に接続されていることを特徴とする、方法。