JP2018018449A - 情報処理システム、操作方法及び操作プログラム - Google Patents

Abstract

【課題】情報処理装置における操作性を向上させる。【解決手段】情報処理システムは、表示部に画像を表示する表示処理部と、表示部に表示される画像を視認するユーザの視線を検出する検出部と、所定の視線の動きと、所定の視線の動きに応じて予め設定された操作信号とが対応づけられた対応データを参照して、検出部で検出されたユーザの視線の動きに対応する操作信号を抽出する抽出部と、抽出部で抽出された操作信号に応じた操作を実行する実行部とを備える。【選択図】図４

Description

この発明は、操作を実行する情報処理システム、操作方法及び操作プログラムに関し、ユーザの視線データに応じた操作を実行する技術に関する。

情報技術の進歩に伴い、コンピュータを小型化することが可能となり、様々な情報処理装置が開発されている。その一つとして、ウェアラブルコンピュータの普及が進んでいる。ウェアラブルコンピュータは、小型であり、ユーザが装着して簡単に持ち運ぶことが可能であるという特徴がある。例えば、腕時計型のウェアラブルコンピュータは、ユーザが腕に装着して利用することが可能である。また例えば、眼鏡型のウェアラブルコンピュータは、ユーザが顔に装着して利用することが可能である。

ウェアラブルコンピュータは、装着可能な形状に形成される。したがって、ウェアラブルコンピュータの入力装置及び出力装置は、この装着可能な形状に合わせて構成される。また、ウェアラブルコンピュータは、ユーザが装着した上で入力操作を行う。したがって、パーソナルコンピュータや携帯電話機等の入力装置及び出力装置として利用される操作ボタン、キーボード、マウス、タッチパネル又は液晶ディスプレイ等を使用する方法とは異なる入力方法や出力方法が利用されることもある。

このような、ウェアラブルコンピュータにおいて、操作を容易にすることも検討されている（例えば、特許文献１及び２参照）。特許文献１に記載の方法では、ウェアラブルコンピュータに備えられる操作スイッチを利用して操作を行うようにしている。また、特許文献２に記載の方法では、ユーザの手の動作を検出し、手のある位置の仮想のパネルを選択可能とすることで、ユーザが選択するパネルに応じた操作を行うことができる。

他方、眼鏡型のウェアラブルコンピュータでは、ユーザが装着した場合にユーザの視界を遮るものも多い。すなわち、通常の眼鏡で考えると、眼鏡のレンズの位置に、画像データを表示するためのディスプレイが配置され、これによりユーザは周囲を見難くなったり、見ることができない状態になるものもある。また、このような状況において、手を利用して操作スイッチを操作したり、手を前後に動かして仮想のパネルを選択するのが難しいこともある。

特開２００３−２８９４８４号公報 特開２０１０−１４６４８１号公報

上述したように、情報処理装置における操作性の向上が課題となっている。

本発明は、上記問題に鑑みてなされたものであり、情報処理装置において、操作性を向上させることのできる情報処理システム、操作方法及び操作プログラムを提供することを目的とする。

本発明の一態様に係る情報処理システムは、表示部に画像を表示する表示処理部と、表示部に表示される画像を視認するユーザの視線を検出する検出部と、所定の視線の動きと、所定の視線の動きに応じて予め設定された操作信号とが対応づけられた対応データを参照して、検出部で検出されたユーザの視線の動きに対応する操作信号を抽出する抽出部と、抽出部で抽出された操作信号に応じた操作を実行する実行部とを備える。

また、対応データに含まれる所定の視線の動きのうち、ユーザの視線の動きに対応する所定の視線の動きを決定する決定部をさらに含み、抽出部は、決定部が決定した所定の視線の動きに対応する操作信号を、ユーザの視線の動きに対応する操作信号として抽出してもよい。

また、画像は、前記操作信号と関連付けられるアイコンを含み、検出部で検出されるユーザの視線の動きが、アイコンを目視して行われる所定の視線の動きであるか否かを決定する決定部をさらに含み、実行部は、決定部が所定の視線の動きであると決定したことに応じて、アイコンに関連付けられた操作信号に応じた操作を実行してもよい。

また、情報処理システムは、ヘッドマウントディスプレイシステムでもよい。

本発明の一態様に係る操作方法は、表示部に画像を表示するステップと、表示部に表示される画像を視認するユーザの視線を検出するステップと、所定の視線の動きと、当該所定の視線の動きに応じて予め設定された操作信号とが対応づけられた対応データを参照して、検出された前記ユーザの視線の動きに対応する操作信号を抽出するステップと、抽出された前記操作信号に応じた操作を実行するステップとを有する。

本発明の一態様に係る操作プログラムは、情報処理装置を、表示部に画像を表示する表示処理機能と、表示部に表示される画像を視認するユーザの視線を検出する検出機能と、所定の視線の動きと、当該所定の視線の動きに応じて予め設定された操作信号とが対応づけられた対応データを参照して検出されたユーザの視線の動きに対応する操作信号を抽出する抽出機能と、抽出された操作信号に応じた操作を実行する実行機能として実行させる。

本発明の一態様に係る情報処理システムは、表示領域に複数のデータ群を表示可能な表示処理部と、表示領域を視認するユーザの視線データを取得する取得部と、複数のデータ群のうち、取得部が取得した視線データから、ユーザに注目される注目データ群を特定する特定部と、ユーザによって入力装置を介して入力される操作信号を、特定部によって特定された注目データ群に対する操作信号として受け付ける受付部とを備える。

また、表示処理部は、特定部で特定された注目データ群を表示領域のうち、中央に位置するように表示してもよい。

また、表示処理部は、特定部で特定された注目データ群を表示領域において、他のデータ群よりも大きく表示してもよい。

また、表示処理部は、特定部で特定された注目データ群を表示領域において、複数のデータ群において、最前面に表示してもよい。

また、データ群は、データを含むウィンドウ画面であってもよい。

また、表示領域は、ディスプレイであってもよい。

また、表示システムは、ヘッドマウントディスプレイシステムであってもよい。

本発明の一態様に係る表示方法は、表示領域に複数のデータ群を表示する表示ステップと、表示領域を視認するユーザの視線データを取得する取得ステップと、複数のデータ群のうち、取得ステップで取得した視線データから、ユーザに注目される注目データ群を特定する特定ステップと、ユーザによって入力装置を介して入力される操作信号を、特定ステップによって特定された注目データ群に対する操作信号として受け付ける受付ステップとを備える。

本発明の一態様に係る表示プログラムは、情報処理装置を、表示領域に複数のデータ群を表示する表示機能と、表示領域を視認するユーザの視線データを取得する取得機能と、複数のデータ群のうち、取得機能が取得した視線データから、ユーザに注目される注目データ群を特定する特定機能と、ユーザによって入力装置を介して入力される操作信号を、特定機能によって特定された注目データ群に対する操作信号として受け付ける受付機能として実行させる。

本発明によれば、ユーザの視線の動きに応じて情報処理システムを操作することができる。

第１実施形態に係るヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。 第１実施形態に係るヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。 第１実施形態に係るヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。 第１実施形態に係るヘッドマウントディスプレイシステムの構成を示すブロック図である。 （ａ）〜（ｄ）は、第１実施形態に係るヘッドマウントディスプレイシステムで検出されるユーザの視線の動きの一例であり、（ｅ）〜（ｈ）は、対応する操作信号の一例である。 （ａ）〜（ｃ）は、第１実施形態に係るヘッドマウントディスプレイシステムで利用する対応データの一例である。 （ａ）及び（ｂ）は、第１実施形態に係るヘッドマウントディスプレイシステムにおける処理を説明するフローチャートである。 第１実施形態に係るヘッドマウントディスプレイシステムの視線方向の検出のためのキャリブレーションを説明する模式図である。 ユーザの角膜の位置座標を説明する模式図である。 ヘッドマウントディスプレイシステムの回路構成を示すブロック図である。 第２実施形態に係るヘッドマウントディスプレイシステムの構成を示すブロック図である。 第２実施形態に係るヘッドマウントディスプレイシステムにおける処理を説明するフローチャートである。 （ａ）〜（ｃ）は、第２実施形態に係るヘッドマウントディスプレイシステムにおけるデータの表示例である。

以下に説明する情報処理システム、操作方法及び操作プログラムは、ユーザの視線データに応じ、操作を実行するものである。また、情報処理システム、表示方法及び表示プログラムは、ユーザの視線データに応じ、表示態様を変更させるものである。以下の各実施形態において、情報処理システムは、ヘッドマウントディスプレイシステムであるものとして説明する。しかしながら、本発明に係る情報処理システムは、ヘッドマウントディスプレイシステムに限らず、視線検出が可能な種々の情報処理装置で実現することができる。以下、図面を用いて本発明の各実施形態について説明する。なお、以下の説明において、同一の構成については同一の符号を用いて説明を省略する。

［第１実施形態］
第１実施形態に係るヘッドマウントディスプレイシステムは、ユーザの視線の動きを検出し、その動きに対応する操作を実行するものである。図１は、第１実施形態に係るヘッドマウントディスプレイシステム１の概観を模式的に示す図である。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。

視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の少なくとも一方の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、視線検出装置２００はヘッドマウントディスプレイ１００と無線で接続している。視線検出装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。また、それ以外の通信技術を利用してもよく、例えば、音波通信技術や光伝送技術を利用してもよい。

なお、図１は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。

ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。

ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。なお、ヘッドフォン１７０は、必須の構成ではない。

図２は、実施形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図２は、実施形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。

図２に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。

以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。

レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図２においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。以下、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図２に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易であるからである。

上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。

図３は、実施形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図３に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、光学装置１１２、凸レンズ１１４、カメラ１１６、および通信制御部１１８を備える。

赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。

画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、視線検出装置２００内の表示処理部２０２が生成する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）等を用いて実現できる。

光学装置１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。光学装置１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。この光学装置１１２は、特定の周波数帯域の光を反射する特徴を持つものであり、例えば、プリズムやホットミラーである。

凸レンズ１１４は、光学装置１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、光学装置１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。

凸レンズ１１４は光学装置１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図３では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよいし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。

複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。

図示はしないが、実施形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。

上述したように、光学装置１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光は光学装置１１２を透過してユーザ３００の角膜３０２まで到達する。また赤外光源１０３から照射され、凸レンズ１１４の内部の反射領域で反射された赤外光は、ユーザ３００の角膜３０２に到達する。

ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、光学装置１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、光学装置１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。

なお、図示はしないが、実施形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する第１撮像部と、左目で反射された赤外光を含む画像を撮像する第２撮像部とを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。

通信制御部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、通信制御部１１８は、通信Ｉ／Ｆ１１０を介してカメラ１１６が撮像した画像を視線検出装置２００に送信する。視線方向検出部として機能する検出部２０３の詳細については後述するが、視線検出装置２００のＣＰＵ２０が実行するユーザテスト画像表示プログラムＰによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが検出部を実現するプログラムを実行してもよい。

詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。

以上は、実施形態に係る画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。

図４は、実施形態に係るヘッドマウントディスプレイシステム１の構成を説明するブロック図である。図４に示すように、ヘッドマウントディスプレイシステム１のヘッドマウントディスプレイ１００は、通信インタフェース（Ｉ／Ｆ）１１０、通信制御部１１８、表示部１２１、赤外線照射部１２２、画像処理部１２３及び撮像部１２４を有する。

通信制御部１１８は、通信Ｉ／Ｆ１１０を介して視線検出装置２００と通信を制御する。通信制御部１１８は、撮像部１２４または画像処理部１２３から伝送された視線検出に用いる画像データを視線検出装置２００に送信する。また、通信制御部１１８は、視線検出装置２００から送信された画像データやマーカー画像を表示部１２１に伝達する。画像データは、一例として、テストを表示するためのデータである。また、画像データは、三次元画像を表示するための右目用視差画像と、左目用視差画像とからなる視差画像対であってもよい。

表示部１２１は、通信制御部１１８から伝達された画像データを画像表示素子１０８に表示する機能を有する。表示部１２１は、画像データとして、テスト画像を表示する。また、表示部１２１は、表示処理部２０２から出力されたマーカー画像を画像表示素子１０８の指定されている座標に表示する。

赤外線照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。

画像処理部１２３は、必要に応じて、撮像部１２４が撮像した画像に画像処理を行い、通信制御部１１８に伝達する。

撮像部１２４は、カメラ１１６を用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。また、撮像部１２４は、画像表示素子１０８に表示されたマーカー画像を注視するユーザの眼を含む画像を撮像する。撮像部１２４は、撮像して得た画像を、通信制御部１１８又は画像処理部１２３に伝達する。

また、図４に示すように、視線検出装置２００は、中央処理装置（ＣＰＵ）２０と、画像データ２１１、対応データ２１２及び操作プログラムＰを記憶する記憶装置２１と、通信Ｉ／Ｆ２２と、操作ボタン、キーボード又はタッチパネル等の入力装置２３と、ディスプレイ又はプリンタ等の出力装置２４とを備える情報処理装置である。視線検出装置２００は、記憶装置２１に記憶される操作プログラムＰが実行されることで、ＣＰＵ２０が、通信制御部２０１、表示処理部２０２、検出部２０３、決定部２０４、抽出部２０５、実行部２０６及び更新部２０７としての処理を実行する。

画像データ２１１は、ヘッドマウントディスプレイ１００に表示するデータである。画像データ２１１は、二次元画像であっても、三次元画像であってもよい。また、画像データ２１１は、静止画像であっても動画像であってもよい。

対応データ２１２は、視線の動きと、当該動きに応じて予め設定された操作信号とを対応づけるデータである。この操作信号は、ヘッドマウントディスプレイシステム１内で何等かの処理を実行するための操作信号であってもよい。または、操作信号は、ヘッドマウントディスプレイシステム１がネットワークを介して接続される他の装置に対し何等かの処理を実行するための操作信号であってもよい。

図５（ａ）〜図５（ｄ）に、所定の動きの例を示す。図５（ａ）は、視線が右回りの円を描く動きを示す。図５（ｂ）は、右回りの正三角形を描く動きを示す。図５（ｃ）において、（１）〜（３）の数字は、視線の動きの順序である。したがって、図５（ｃ）は、視線が、下方向、上方向、下方向の順序で直線を描くような動きを示す。図５（ｄ）でも（１）及び（２）の数字は、視線の動きの順序である。したがって、図５（ｄ）でも、視線の動きが右方向、左方向で直線を描くような動きを示す。

例えば、対応データ２１２では、図５（ａ）に示す視線の動きに対し、記憶装置２１に記憶される画像データ２１１における特定の画像Ａの表示を実行する操作信号を関連付ける。また例えば、対応データ２１２では、図５（ｂ）に示す視線の動きに対し、外部へのデータの送信を実行する操作信号を関連付ける。さらに、例えば、対応データ２１２では、図５（ｃ）に示す視線の動きに対し、接続される他の装置Ａの起動を実行する操作信号を関連づける。また例えば、対応データ２１２では、図５（ｄ）に示す視線の動きに対し、プログラムＡの起動を実行する操作信号を関連づける。

図６（ａ）〜図６（ｃ）は、対応データ２１２の他の例を説明する一例である。図６（ａ）〜図６（ｃ）に示す例は、送信対象である画像データの一例である。例えば、図５（ｂ）に示す視線の動きが検出された後、図６（ａ）〜（ｃ）に示す画像データを表示し、所定時間以上（例えば、１５秒以上）注目された画像を他の装置への送信対象とすることができる。このような画像は、テキストメッセージと共に又はテキストメッセージの代わりに他の装置へ送信されるものである。他の装置では、送信された画像がこれらのメッセージとして表示される。

通信制御部２０１は、通信Ｉ／Ｆ２２を介してヘッドマウントディスプレイ１００とのデータの送受信を制御する。また、ヘッドマウントディスプレイシステム１に、ネットワークを介して他のサーバ装置等（図示せず）が接続されている場合、そのサーバ装置との通信を制御してもよい。

表示処理部２０２は、表示部１２１に画像を表示させる。具体的には、表示処理部２０２は、記憶装置２１から画像データを読み出し、これに応じて、表示部１２１に画像を表示させる。

検出部２０３は、表示部１２１に表示される画像を視認するユーザの視線を検出し、視線データを生成する。また、検出部２０３は、視線データを決定部２０４に出力する。

決定部２０４は、検出部２０３から視線データが入力されると、記憶装置２１から、対応データ２１２を読み出し、対応データ２１２に含まれる所定の動きのうち、入力された視線データの視線の動きを決定する。具体的には、決定部２０４は、入力された視線データで特定されるユーザの視線の動きが、図５（ａ）〜図５（ｄ）に示すような動きのうち、何れであるかを決定する。なお、視線の動きは、対応データ２１２に含まれる視線の動き以外の動きであることもある。この場合、決定部２０４では、視線の動きを決定することはできない。

また、表示部１２１に表示される画像に操作信号と関連付けられるアイコンを含むとき、検出部２０３で検出されるユーザの視線の動きが、このアイコンを目視して行われる所定の動きであるか否かを決定してもよい。具体的には、決定部２０４は、ユーザがアイコンを見ながら図５（ａ）〜図５（ｄ）に示すような動きをしたか否かを決定する。または、決定部２０４は、ユーザがアイコンを見ながら所定回数目を閉じたり開いたりしたか否かを決定する。この場合、対応データ２１２は、アイコンの識別子と、操作信号とが関連付けられる。

このとき、１のアイコンに１の操作信号のみを関連付けるのではなく、アイコンと視線の動きの組み合わせに操作信号を関連付けてもよい。仮に、アイコンＡ〜Ｅがあり、ユーザの視線の動きとして図５（ａ）〜図５（ｄ）が登録されているとする。この場合、アイコンの種類『５』×視線の動きの種類『４』により、２０種類の操作信号を対応データ２１２に登録することができる。

抽出部２０５は、決定部２０４でユーザの視線の動きが決定されると、対応データにおいて、この視線の動きに応じた操作信号を抽出する。

例えば、図５（ａ）〜図５（ｄ）に、対応データ２１２として、それぞれ図５（ｅ）〜図５（ｆ）の操作信号が関連付けられているとする。この場合、決定部２０４が図５（ａ）のユーザの視線の動きを検出すると、抽出部２０５は、「画像Ａを表示」する操作信号を抽出する。また、決定部２０４が図５（ｂ）のユーザの視線の動きを検出すると、抽出部２０５は、「データを送信」する操作信号を抽出する。さらに、決定部２０４が図５（ｃ）のユーザの視線の動きを検出すると、抽出部２０５は、「装置Ａを起動」する操作信号を抽出する。また、決定部２０４が図５（ｄ）のユーザの視線の動きを検出すると、抽出部２０５は、「プログラムＡを起動」する操作信号を抽出する。

実行部２０６は、抽出部２０５で抽出された操作信号に応じた操作を実行する。

データ送信に対応付けられる動きが抽出部２０５によって抽出された後、図６（ａ）〜図６（ｃ）の画像が表示され、ユーザによって、図６（ａ）の画像が、所定時間以上（例えば、１５秒以上）注目されたものと検出されたとする。この場合、実行部２０６は、図６（ａ）の画像を、テキストメッセージと共に又はテキストメッセージの代わりに他の装置へ送信する処理を実行する。また、図６（ｂ）の画像が、所定時間以上注目されたものと検出した場合、実行部２０６は、図６（ｂ）の画像をテキストメッセージと共に又はテキストメッセージの代わりに他の装置へ送信する処理を実行する。さらに、図６（ｃ）の画像が、所定時間以上注目されたものと検出した場合、実行部２０６は、図６（ｃ）の画像をテキストメッセージと共に又はテキストメッセージの代わりに他の装置へ送信する処理を実行する。他の装置は、実行部２０６に送信されたこれらの画像を、メッセージとして表示する。

更新部２０７は、ユーザによって入力される操作に応じ、新たな視線の動きと操作信号との対応を追加して、対応データ２１２を更新する。具体的には、更新部２０７は、入力装置２３を介して特定される操作信号と、検出部２０３で検出される視線の動きを組み合わせ、新たな関連付けとして追加することで、対応データ２１２を更新する。

なお、上述した視線検出装置２００の各部のうち、決定部２０４、抽出部２０５及び実行部２０６は、外部のサーバ等の情報処理装置で実現することも可能である。また、これらの処理部２０４〜２０６を外部の情報処理装置で実現する場合、ヘッドマウントディスプレイシステム１の検出部２０３で検出される視線データを取得する取得部を情報処理装置で有し、決定部２０４は、この取得部が取得した視線データを用いて処理を実行する。

図７（ａ）に示すフローチャートを用いて、ヘッドマウントディスプレイシステム１における操作方法の処理について説明する。

ヘッドマウントディスプレイシステム１は、表示部１２１に画像が表示されている際に、ユーザの視線を検出する（Ｓ１）。

次に、ヘッドマウントディスプレイシステム１は、記憶装置２１から対応データ２１２を読み出す（Ｓ２）。

また、ヘッドマウントディスプレイシステム１は、ステップＳ１で検出されたユーザの視線の動きが、対応データ２１２で操作信号と関連付けられる所定の動きであるか否かを判定する（Ｓ３）。

所定の動きであるとき（ステップＳ３でＹＥＳ）、ヘッドマウントディスプレイシステム１は、対応データ２１２において、当該動きと関連付けられる操作信号を抽出する（Ｓ４）。

続いて、ヘッドマウントディスプレイシステム１は、ステップＳ４で抽出した操作信号に応じて、操作を実行する（Ｓ５）。

一方、検出されたユーザの視線の動きが所定の動きでないとき（ステップＳ３でＮＯ）、ステップＳ１に戻り、処理を繰り返す。

また、図７（ｂ）に示すフローチャートを用いて、ヘッドマウントディスプレイシステム１において対応データ２１２を更新する処理について説明する。例えば、ヘッドマウントディスプレイシステム１は、この更新処理を、入力装置２３を介して、対応データ２１２を更新することが操作されたタイミングで開始することができる。この更新処理を操作する操作信号が対応データ２１２において登録されているとき、ヘッドマウントディスプレイシステム１は、この登録処理を操作する操作信号と関連付けられる視線の動きを検出したことで開始するようにしてもよい。

ヘッドマウントディスプレイシステム１は、更新処理を開始すると、ユーザの視線を検出する（Ｓ１１）。

また、ヘッドマウントディスプレイシステム１は、入力装置２３を介して、視線の動きと対応させる操作信号を入力する（Ｓ１２）。なお、ステップＳ１１の処理とステップＳ１２の処理は、何れが先に実行されてもよい。

その後、ヘッドマウントディスプレイシステム１は、ステップＳ１１で検出されたユーザの視線とＳ１２で入力された操作信号とを関連付けて追加し、対応データ２１２を更新する（Ｓ１３）。

このように、ヘッドマウントディスプレイシステム１では、視線の動きと操作信号とを対応させることで、ユーザは、視線の動きに応じて操作を実行することができる。言い換えれば、ハンズフリーにより、ユーザは種々の操作を実行することができるため、ヘッドマウントディスプレイシステム１において操作性を向上させることができる。また、ユーザは、自ら必要に応じて、視線の動きと操作信号とを関連付け、登録することができる。したがって、いわゆるショートカットキーのように、ユーザの希望に応じ、操作性を向上させることができる。

次に、実施形態に係る視線方向の検出について説明する。

図８は、実施形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し通信制御部１１８が視線検出装置２００に出力した映像を、視線検出装置２００内の検出部２０３が解析することにより実現される。

表示処理部２０２は、図８に示すような点Ｑ_１〜Ｑ_９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ_１〜点Ｑ_９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ_１〜Ｑ_９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。

図９は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の検出部２０３は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで検出部２０３は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。

検出部２０３はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、検出部２０３は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得検出できる。

図８において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ_１〜点Ｑ_９の座標をそれぞれＱ_１（ｘ_１，ｙ_１）^Ｔ，Ｑ_２（ｘ_２，ｙ_２）^Ｔ・・・，Ｑ_９（ｘ_９，ｘ_９）^Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ_１〜点Ｑ_９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ_１〜Ｐ_９とする。このとき、２次元座標系３０６における点Ｐ_１〜Ｐ_９の座標をそれぞれＰ_１（Ｘ_１，Ｙ_１）^Ｔ，Ｐ_２（Ｘ_２，Ｙ_２）^Ｔ，・・・，Ｐ_９（Ｚ_９，Ｙ_９）^Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。

いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。

このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
Ｐ_Ｎ＝ＭＱ_Ｎ （Ｎ＝１，・・・，９） （２）

上記式（２）を具体的に書き下すと以下の式（３）のようになる。

式（３）を変形すると以下の式（４）を得る。

ここで、

とおくと、以下の式（５）を得る。
ｙ＝Ａｘ （５）

式（５）において、ベクトルｙの要素は検出部２０３が画像表示素子１０８に表示させる点Ｑ_１〜Ｑ_９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、検出部２０３は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。

式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、検出部２０３がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。

ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘ_ｏｐｔは、以下の式（６）で求められる。
ｘ_ｏｐｔ＝（Ａ^ＴＡ）^−１Ａ^Ｔｙ （６）
ここで「−１」は逆行列を示す。

検出部２０３は、求めたベクトルｘ_ｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、検出部２０３は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の右目が画像表示素子１０８に表示される動画像上のどこを注視しているかを推定できる。ここで、検出部２０３は、更に、ユーザの眼と、画像表示素子１０８間の距離情報をヘッドマウントディスプレイ１００から受信し、その距離情報に応じて、推定したユーザが注視している座標値を修正する。なお、ユーザの眼と画像表示素子１０８との間の距離による注視位置の推定のずれは誤差の範囲として無視してもよい。これにより、検出部２０３は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様に、検出部２０３は、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。なお、片目だけの視線ベクトルで２次元平面上でのユーザの注視点を特定することができ、両眼の視線ベクトルを得ることでユーザの注視点の奥行き方向の情報まで算出することができる。視線検出装置２００はこのようにしてユーザの注視点を特定することができる。なお、ここに示した注視点の特定方法は一例であり、実施形態に示した以外の手法を用いて、ユーザの注視点を特定してもよい。

上記実施形態における視線検出に係る手法は、一例であり、上記ヘッドマウントディスプレイ１００及び視線検出装置２００による視線検出方法は、これに限られるものではない。

まず、上記実施形態においては、非可視光として近赤外光を照射する赤外光源を複数設ける例を示しているが、近赤外光をユーザの眼に照射する手法はこれに限られない。例えば、ヘッドマウントディスプレイ１００の画像表示素子１０８を構成する画素について、近赤外光を発光するサブ画素を有する画素を設ける構成とし、それらの近赤外光を発光するサブ画素を選択的に発光させて、ユーザの眼に近赤外光を照射することとしてもよい。また、あるいは、画像表示素子１０８に換えて、ヘッドマウントディスプレイ１００に網膜投影ディスプレイを備えるとともに、当該網膜投影ディスプレイで表示して、ユーザの網膜に投影する画像の中に、近赤外光色で発光する画素を含ませることで、近赤外光の照射を実現する構成としてもよい。画像表示素子１０８の場合にしても、網膜投影ディスプレイの場合にしても、近赤外光を発光させるサブ画素は、定期的に変更することとしてもよい。

また、上記実施形態において示した視線検出のアルゴリズムも上記実施形態に示した手法に限定されるものではなく、視線検出を実現できるのであれば、その他のアルゴリズムを用いてもよい。

上述した実施形態においては、ヘッドマウントディスプレイシステム１における各処理を、視線検出装置２００のＣＰＵ２０が操作プログラムＰを実行することにより、実現するものとして説明した。一方、視線検出装置２００において、ＣＰＵに代えて、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））、ＦＰＧＡ（Field Programmable gate array）、ＣＰＬＤ（Complex Programmable Logic Device）等に形成された論理回路（ハードウェア）や専用回路によって各処理を実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。

すなわち、図１０に示すように、視線検出装置２００は、通信Ｉ／Ｆ２２と、通信制御回路２０１ａ、表示処理回路２０２ａ、検出回路２０３ａ、決定回路２０４ａ、抽出回路２０５ａ及び実行回路２０６ａを有する制御回路２０ａと、画像データ２１１、対応データ２１２及び操作プログラムＰを記憶する記憶装置２１から構成されてもよい。通信制御回路２０１ａ、表示処理回路２０２ａ、検出回路２０３ａ、決定回路２０４ａ、抽出回路２０５ａ及び実行回路２０６ａは、操作プログラムＰによって制御される。それぞれの機能は、上記実施形態に示した同様の名称を有する各部と同様である。

また、上記記憶装置２１としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記検索プログラムは、当該検索プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記映像表示プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語、アセンブリ言語、ＲＴＬ（Register Transfer Level）などを用いて実装できる。

［第２実施形態］
図１１に示すブロック図を用いて、第２実施形態に係るヘッドマウントディスプレイシステム１Ａについて説明する。第２実施形態に係るヘッドマウントディスプレイシステム１Ａは、図４に示す第１実施形態に係るヘッドマウントディスプレイシステム１と比較して、視線検出装置２００に代えて視線検出装置２００Ａを備える点で異なる。

また、図１１に示す視線検出装置２００Ａは、図４を用いて上述した視線検出装置２００と比較し、記憶装置２１が画像データ２１１及び表示プログラムＰＡを記憶する点で異なる。また、視線検出装置２００Ａは、記憶装置２１に記憶される表示プログラムＰＡが実行されることで、ＣＰＵ２０が、通信制御部２０１、表示処理部２０２、検出部２０３、取得部２２１、特定部２２２及び受付部２２３としての処理を実行する。

表示処理部２０２は、表示領域に複数のデータ群の表示が可能である。ここで、「表示領域」は、例えば、ディスプレイに相当する光学装置１１２又はディスプレイに相当する光学装置１１２に画像データを表示可能な範囲である。また、「データ群」は、関連するデータの集合であり、例えば、データを含むウィンドウ画面である。

表示処理部２０２は、特定部２２２で特定された注目データ群を表示領域のうち、中央に位置するように表示することができる。例えば、図１２（ａ）に示すように、データ群Ａ〜Ｄが表示される状態で、データ群Ａが選択されたとする。この場合、表示処理部２０２は、図１２（ｂ）に示すように、選択されたデータ群Ａをユーザの視界の範囲に相当する表示領域の中央に表示することができる。このとき、表示処理部２０２は、図１２（ｂ）に示すように、選択されたデータ群Ａ以外のデータ群Ｂ〜Ｃを、データ群Ａの周囲に表示することができる。

また、表示処理部２０２は、特定部２２２で特定された注目データ群を表示領域において、他のデータ群よりも大きく表示することができる。さらに、表示処理部２０２は、特定部２２２で特定された注目データ群を最前面に表示することができる。例えば、図１２（ａ）に示すように、データ群Ａ〜Ｄが表示される状態で、データ群Ｄが選択されたとする。この場合、表示処理部２０２は、図１２（ｃ）に示すように、選択されたデータ群Ｄを、選択される前の状態より大きく表示するとともに、最背面に表示していたデータ群Ｄを最前面に表示することができる。

ここで、図１２で示す例が、二次元表示される場合だけでなく、三次元表示される場合も同様である。例えば、図１２に示すデータ群Ａ〜Ｄが、遠近感のある状態で表示される場合、選択されたデータ群を最もユーザの目の座標から最も近い位置に表示する。

取得部２２１は、検出部２０３から表示領域を視認するユーザの視線データを取得する。例えば、取得部２１１は、視線データとしてユーザの視認する位置の座標情報を取得する。表示処理部２０２が表示する画像が二次元画像であるとき、二次元座標位置を取得し、三次元画像であるとき、三次元座標位置を取得する。

特定部２２２は、複数のデータ群のうち、取得部２２１が取得した視線データから、ユーザに注目される注目データ群を特定する。例えば、特定部２２２は、取得した視線データの注目座標情報と、表示処理部２０２が表示するデータの表示座標情報とを比較し、注目座標情報を含む表示座標情報を特定する。

データ群がウィンドウ画面であるとき、特定部２２２は、取得部２２１が取得した座標に表示されるウィンドウ画面を特定し、特定したウィンドウ画面の識別情報を表示処理部２０２に出力する。これにより、表示処理部２０２により、選択されたウィンドウ画面が、ユーザに見やすいように表示される。具体的には、選択されたウィンドウ画面を、「中央に表示」、「大きく表示」又は「最前面に表示」することで、このウィンドウ画面を見やすくする。このとき、各表示方法を組み合わせて表示することができる。

受付部２２３は、ユーザによって入力装置２３を介して入力される操作信号を、特定部２２１によって特定された注目データ群に対する操作信号として受け付ける。例えば、特定のウィンドウ画面が選択され、このときに入力装置２３によって文字入力の操作が実行されると、このウィンドウ画面に対して文字入力が実行されたものとする。

図１３に示すフローチャートを用いて、ヘッドマウントディスプレイシステム１Ａにおける表示方法の処理について説明する。

ヘッドマウントディスプレイシステム１Ａは、表示部１２１に画像が表示されている際に、ユーザの視線を検出する（Ｓ２１）。

次に、ヘッドマウントディスプレイシステム１Ａは、ユーザが注目する座標位置を取得する（Ｓ２２）。

また、ディスプレイシステム１Ａは、ステップＳ２２で取得した座標位置に表示されるデータ群、すなわち、ユーザが注目するデータを特定する（Ｓ２３）。

続いて、ヘッドマウントディスプレイシステム１Ａは、ステップＳ２３で特定されたデータをユーザに見やすくするように表示を変更する（Ｓ２４）。例えば、特定されたデータを、「中央に位置するように表示」、「大きく表示」又は「最前面に表示」することで、ユーザに見やすくすることができる。

また、ヘッドマウントディスプレイシステム１Ａは、ステップＳ２３で特定されたデータに対し、操作を実行する（Ｓ２５）。なお、ステップＳ２４及びＳ２５の処理の順序は、図１３に示す順序に限定されず、同時に実行されてもよいしし、逆の順序で実行されてもよい。

ヘッドマウントディスプレイシステム１Ａでは、データ表示を終了するまで（Ｓ２６でＹＥＳ）、ステップＳ２１〜Ｓ２５の処理を繰り返す。

なお、このヘッドマウントディスプレイシステム１Ａにおける視線方向の検出は、例えば、図８及び図９を用いて上述した方法と同一であるため、説明を省略する。また、図示を用いた説明を省略するが、このヘッドマウントディスプレイシステム１Ａも、図１０を用いて上述したように、図１１を用いて上述したＣＰＵに代えて、通信制御回路、表示処理回路、検出回路、取得回路、特定回路及び受付回路を有する制御回路を用いてもよい。

また、ヘッドマウントディスプレイシステムは、図４を用いて上述した構成に加え、図１１を用いて上述した構成を有し、視線データに応じた操作を実行するとともに、視線データに応じて表示対応を変更させることも可能である。

この発明は、ヘッドマウントディスプレイに利用可能である。

１ ヘッドマウントディスプレイシステム
１００ ヘッドマウントディスプレイシステム
１１０ 通信Ｉ／Ｆ
１１８ 通信制御部
１２１ 表示部
１２２ 赤外線照射部
１２３ 画像処理部
１２４ 撮像部
２００ 視線検出装置
２０１ 通信制御部
２０２ 表示処理部
２０３ 検出部
２０４ 決定部
２０５ 抽出部
２０６ 実行部
２１１ 画像データ
２１２ 対応データ
Ｐ 操作プログラム

Claims (6)

1. 表示部に画像を表示する表示処理部と、
   前記表示部に表示される画像を視認するユーザの視線を検出する検出部と、
   所定の視線の動きと、当該所定の視線の動きに応じて予め設定された操作信号とが対応づけられた対応データを参照して、前記検出部で検出された前記ユーザの視線の動きに対応する操作信号を抽出する抽出部と、
   前記抽出部で抽出された操作信号に応じた操作を実行する実行部と、
   を備える情報処理システム。
2. 前記対応データに含まれる所定の視線の動きのうち、前記ユーザの視線の動きに対応する所定の視線の動きを決定する決定部をさらに含み、
   前記抽出部は、前記決定部が決定した所定の視線の動きに対応する操作信号を、前記ユーザの視線の動きに対応する操作信号として抽出する
   請求項１記載の情報処理システム。
3. 前記画像は、前記操作信号と関連付けられるアイコンを含み、
   前記検出部で検出されるユーザの視線の動きが、前記アイコンを目視して行われる所定の視線の動きであるか否かを決定する決定部をさらに含み、
   前記実行部は、前記決定部が前記所定の視線の動きであると決定したことに応じて、前記アイコンに関連付けられた操作信号に応じた操作を実行する
   請求項１記載の情報処理システム。
4. 前記情報処理システムは、ヘッドマウントディスプレイシステムである請求項１乃至３の何れか１項に記載の情報処理システム。
5. 表示部に画像を表示するステップと、
   前記表示部に表示される画像を視認するユーザの視線を検出するステップと、
   所定の視線の動きと、当該所定の視線の動きに応じて予め設定された操作信号とが対応づけられた対応データを参照して、検出された前記ユーザの視線の動きに対応する操作信号を抽出するステップと、
   抽出された前記操作信号に応じた操作を実行するステップと、
   を有する操作方法。
6. 情報処理装置を、
   表示部に画像を表示する表示処理機能と、
   前記表示部に表示される画像を視認するユーザの視線を検出する検出機能と、
   所定の視線の動きと、当該所定の視線の動きに応じて予め設定された操作信号とが対応づけられた対応データを参照して検出された前記ユーザの視線の動きに対応する操作信号を抽出する抽出機能と、
   抽出された前記操作信号に応じた操作を実行する実行機能と、
   して実行させる操作プログラム。

Images