JP2018000308A - 映像表示装置システム、心拍特定方法、心拍特定プログラム - Google Patents

Abstract

【課題】ユーザの頭部に装着して使用する映像表示装置を利用してユーザの心拍を検出する。【解決手段】ユーザの頭部に装着して使用する映像表示装置と、ユーザの脈拍を検出する心拍検出装置とからなる映像表示システムであって、映像表示装置は、計測した加速度情報を逐次出力する加速度センサと、加速度情報を逐次検出装置に送信する第１送信部とを備え、心拍検出装置は、映像表示装置から送信された加速度情報を受信する第１受信部と、受信した加速度情報に基づく加速度の変化を示す波形から、ユーザの心拍を検出する心拍検出部と、を備える。【選択図】図４

Description

この発明は、ユーザの頭部に装着して使用する映像表示装置を用いた心拍検出技術に関する。

従来、ヘッドマウントディスプレイは、加速度センサを備えて、ユーザの傾きや姿勢を検出し、検出した姿勢に応じて、ユーザの向いている方向の映像を表示するものがあった。特許文献１には、加速度センサやジャイロを用いてユーザの動きや向きを検出し、ユーザの視界方向の映像を表示する頭部装着型表示装置が開示されている。

特開２０１５−２８６５４号公報

ところで、上記特許文献１に示すようなヘッドマウントディスプレイのようなユーザの頭部に装着して使用する映像表示装置において、さらに、ユーザビリティに富んだ映像を表示させたいという要望がある。

そこで、本発明は、上記要望に鑑みてなされたものであり、よりユーザビリティに富んだ映像を表示することができる映像表示システムを提供することを目的とする。

本発明の一態様に係る映像表示システムは、ユーザの頭部に装着して使用する映像表示装置と、ユーザの心拍を検出する心拍検出装置とからなる映像表示システムであって、映像表示装置は、計測した加速度情報を逐次出力する加速度センサと、加速度情報を逐次心拍検出装置に送信する第１送信部とを備え、心拍検出装置は、映像表示装置から送信された加速度情報を受信する第１受信部と、受信した加速度情報に基づく加速度の変化を示す波形から、ユーザの心拍を検出する心拍検出部と、を備える。

また、上記映像表示システムは、映像表示システムは、さらに、視線検出装置を含み、映像表示装置は、さらに、画像を表示する表示部と、画像を注視し、非可視光が照射されたユーザの眼を撮像する撮像部を備え、第１送信部は、さらに、視線検出装置に撮像部が撮像した撮像画像を送信し、視線検出装置は、撮像画像を受信する第２受信部と、撮像画像を介してユーザの視線方向を検出する視線検出部と、ユーザの視線方向に基づいて映像表示装置に表示させる画像を生成する画像生成部とを備えることとしてもよい。

また、上記映像表示システムにおいて、第１送信部は、さらに、視線検出装置に加速度情報を送信し、画像生成部は、加速度情報に基づいて、ユーザの体の向きを特定し、特定した向きに応じた画像を生成することとしてもよい。

また、上記映像表示システムにおいて、心拍検出装置は、さらに、心拍検出部が検出したユーザの心拍に関する情報を視線検出装置に送信する第２送信部を備え、第２受信部は、更に、心拍に関する情報を受信し、画像生成部は、心拍に関する情報に基づいた画像を生成することとしてもよい。

また、上記映像表示システムにおいて、心拍検出装置は、さらに、心拍の典型的波形を示す波形情報を記憶する記憶部を備え、心拍検出部は、加速度情報に基づく加速度の変化に基づく波形と、波形情報との相関に基づいてユーザの心拍を検出することとしてもよい。

また、上記映像表示システムにおいて、心拍検出部は、加速度情報に基づく加速度の変化に基づく波形において、当該波形に含まれる所定の第１期間の波形と、他の第２期間における波形との相関関係に基づいて、ユーザの心拍を検出することとしてもよい。

また、上記映像表示システムにおいて、映像表示装置は、ヘッドマウントディスプレイであることとしてもよい。

また、本発明の一実施態様に係る心拍特定方法は、ユーザの頭部に装着して使用する映像表示装置に備えられた加速度センサから加速度情報を逐次取得する取得ステップと、逐次取得した加速度情報に基づいて、ユーザの心拍を特定する特定ステップとを含む。

また、本発明の一実施態様に係る心拍特定プログラムは、コンピュータに、ユーザの頭部に装着して使用する映像表示装置に備えられた加速度センサから加速度情報を逐次取得する取得機能と、逐次取得した加速度情報に基づいて、ユーザの心拍を特定する特定機能とを実現させる。

本発明によれば、映像表示システムは、ユーザの体の傾きや向きを特定するために用いる加速度センサを用いてユーザの心拍を特定することができる。したがって、その心拍に基づいて、例えば、ユーザの心理状態を把握したりして、ユーザに好適な映像を表示したりすることができるので、ユーザビリティに富んだ映像表示システムを提供することができる。

実施の形態に係るヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。 実施の形態に係るヘッドマウントディスプレイシステムの構成を示すブロック図である。 実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。 ユーザの角膜の位置座標を説明する模式図である。 実施の形態に係るヘッドマウントディスプレイシステムの動作を示すフローチャートである。 実施の形態に係る加速度センサの測定値の一例を示すグラフである。 ヘッドマウントディスプレイシステムの回路構成を示すブロック図である。

以下、本発明の映像表示システムの一実施態様に係るヘッドマウントディスプレイシステム１について図面を参照しながら説明する。

＜実施の形態＞
＜構成＞
図１は、実施の形態に係るヘッドマウントディスプレイシステム１の概観を模式的に示す図である。実施の形態に係るヘッドマウントディスプレイシステム１は、ヘッドマウントディスプレイ１００と視線検出装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。

視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の少なくとも一方の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。更には、視線検出装置２００は、ユーザの心拍を検出する心拍検出装置としても機能する。なお、心拍検出装置は、視線検出装置２００とは別の装置として、ヘッドマウントディスプレイシステム１内に組み込まれてよく、その場合に、心拍検出装置は、視線検出装置及びヘッドマウントディスプレイと互いに通信が実行できるように構成され、以下に記載する心拍の検出を実現することとしてもよい。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、視線検出装置２００はヘッドマウントディスプレイ１００と無線で接続している。視線検出装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。

なお、図１は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。

ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、及び、ヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。

ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。

図２は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図２は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。

図２に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。

以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。

レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図２においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。以下、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図２に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易でからである。

上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。

図３は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図２に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、および第１通信部１１８を備える。

赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。

画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、視線検出装置２００内の映像生成部２２３が生成する。映像生成部２２３については後述する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）等を用いて実現できる。

ホットミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。

凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。

凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよいし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。

複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。

図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。

上述したように、ホットミラー１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はホットミラー１１２を透過してユーザ３００の角膜３０２まで到達する。また赤外光源１０３から照射され、凸レンズ１１４の内部の反射領域で反射された赤外光は、ユーザ３００の角膜３０２に到達する。

ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。

なお、図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する第１撮像部と、左目で反射された赤外光を含む画像を撮像する第２撮像部とを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。

第１通信部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、第１通信部１１８は、カメラ１１６が撮像した画像を視線検出装置２００に送信する。視線方向検出部として機能する視線検出部２２１の詳細については後述するが、視線検出装置２００のＣＰＵ（Central Processing Unit）が実行する心拍特定プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。

詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。

以上は、実施の形態に係る画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。

図４は、ヘッドマウントディスプレイシステム１に係るヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。図４に示すように、また、上述したとおり、ヘッドマウントディスプレイシステム１は、互いに通信を実行するヘッドマウントディスプレイ１００と視線検出装置２００とを含む。

図４に示すようにヘッドマウントディスプレイ１００は、第１通信部１１８と、表示部１２１と、赤外光照射部１２２と、画像処理部１２３と、撮像部１２４と、加速度センサ１２５と、を備える。

第１通信部１１８は、視線検出装置２００の第２通信部２２０と通信を実行する機能を有する通信インターフェースである。上述したとおり、第１通信部１１８は、有線通信又は無線通信により第２通信部２２０と通信を実行する。使用可能な通信規格の例は上述した通りである。第１通信部１１８は、撮像部１２４または画像処理部１２３から伝送された視線検出に用いる画像データを第２通信部２２０に送信する。また、第１通信部１１８は、加速度センサ１２５から伝達された加速度情報を第２通信部２２０に送信する。また、第１通信部１１８は、視線検出装置２００から送信された画像データやマーカー画像を表示部１２１に伝達する。また、画像データは、三次元画像を表示するための右目用視差画像と、左目用視差画像とからなる視差画像対であってもよい。

表示部１２１は、第１通信部１１８から伝達された画像データを画像表示素子１０８に表示する機能を有する。また、表示部１２１は、映像生成部２２３から出力されたマーカー画像を画像表示素子１０８の指定されている座標に表示する。また、表示部１２１は、加速度センサ１２５から伝達された加速度情報に基づいてユーザの姿勢（向き）を特定し、その特定した向きの方向にある映像を画像表示素子１０８に表示する。

赤外光照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。

画像処理部１２３は、必要に応じて、撮像部１２４が撮像した画像に画像処理を行い、第１通信部１１８に伝達する。

撮像部１２４は、カメラ１１６を用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。すなわち、カメラ１１６は、非可視光に基づく撮像を行う。また、撮像部１２４は、画像表示素子１０８に表示されたマーカー画像を注視するユーザの眼を含む画像を撮像する。撮像部１２４は、撮像して得た画像を撮像した撮像時間と対応付けて、第１通信部１１８又は画像処理部１２３に伝達する。

加速度センサ１２５は、ヘッドマウントディスプレイ１００に備えられ、加速度を検出するセンサである。加速度センサ１２５は、検出した加速度した第１通信部１１８及び表示部１２１に伝達する。加速度センサ１２５は、３軸成分の加速度の情報を得る。３軸の加速度成分は、例えば、鉛直方向成分と、この鉛直直交成分を検出する軸に直交し、かつ互いに直交する２軸の成分である。

以上がヘッドマウントディスプレイ１００の構成の説明である。

図４に示すように視線検出装置２００は、第２通信部２２０と、視線検出部２２１と、心拍検出部２２２と、映像生成部２２３と、記憶部２２４とを備える。

第２通信部２２０は、ヘッドマウントディスプレイ１００の第１通信部１１８と通信を実行する機能を有する通信インターフェースである。上述したとおり、第２通信部２２０は、有線通信又は無線通信により第１通信部１１８と通信を実行する。第２通信部２２０は、映像生成部２２３から伝達された仮想空間画像を表示するための画像データや、キャリブレーションのために用いるマーカー画像などをヘッドマウントディスプレイ１００に送信する。また、第２通信部２２０は、ヘッドマウントディスプレイ１００から伝達された撮像部１２４により撮像されたマーカー画像を注視するユーザの眼を含む画像や、映像生成部２２３が出力した画像データに基づいて表示された画像を見るユーザの眼を撮像した画像を視線検出部２２１に伝達する。また、第２通信部２２０は、ヘッドマウントディスプレイ１００から伝達された加速度情報を心拍検出部２２２に伝達する。

視線検出部２２１は、第２通信部２２０からユーザの右目の視線検出用の画像データを受け付けて、ユーザの右目の視線方向を検出する。視線検出部２２１は、後述する手法を用いて、ユーザの右目の視線方向を示す右目視線ベクトルを算出する。同様に、第２通信部２２０からユーザの左目の視線検出用の画像データを受け付けて、ユーザ３００の左目の視線方向を示す左目視線ベクトルを算出する。そして、算出した視線ベクトルを用いて、ユーザが画像表示素子１０８において表示されている画像の注視している箇所を特定する。また、視線検出部２２１は、算出した視線ベクトルを視線方向に関する情報として、当該視線ベクトルを算出するために用いた撮像画像に対応付けられた撮像時間情報とともに、第２通信部２２０を介してヘッドマウントディスプレイ１００に送信する。なお、視線方向に関する情報は、視線検出部２２１が特定した注視点の情報であってもよい。

心拍検出部２２２は、第２通信部２２０から伝達された加速度情報に基づいて、ヘッドマウントディスプレイ１００を装着しているユーザの心拍を特定する機能を有する。心拍検出部２２２は、第２通信部２２０から逐次加速度情報を取得するので、加速度についての時系列情報を得ることができる。そこで、心拍検出部２２２は、取得した加速度情報の３軸成分のうち一軸（例えば、鉛直方向の成分）について、図８に示すように、縦軸に加速度をとり、横軸に時間軸をとったグラフに取得した加速度情報のうちの一軸の加速度をプロットしていく。心拍検出部２２２は、そのようにして得られたグラフ波形について自己相関をとり、周期的に同様の波形が得られるか否かを判定する。具体的には、心拍検出部２２２は、図８に示すようなグラフから任意の所定長の長さの波形を抽出し、その波形を記憶部２４０に記憶する。そして、記憶部２４０に記憶されている抽出した波形を、元の波形に対して時間軸方向にずらしていき自己相関をとる。そして、自己相関をとった相関値が所定の閾値を超える箇所が周期的に現れることを検出し、その相関値が高い波形部分を、ヘッドマウントディスプレイ１００を装着しているユーザの心拍として特定する。図８の例で言えば、区間８０１と区間８０２との間の相関値が高く、区間８０２（８０１）と区間８０３との間の相関値が高いことを検出して、当該区間をユーザの心拍として特定する。心拍検出部２２２は、検出した心拍の情報を映像生成部２２３に伝達する。ここで心拍の情報とは、単位時間当たりの心拍数や、心拍の揺れの強度（加速度の振れ幅）などを含む。

映像生成部２２３は、ヘッドマウントディスプレイ１００の表示部１２１に表示させる画像データを生成し、第２通信部２２０に伝達する。映像生成部２２３は、例えば、仮想空間画像を表示するための画像データを生成する。また、映像生成部２２３は、視線検出のためのキャリブレーションのためのマーカー画像を生成し、その表示座標位置と共に、第２通信部２２０に伝達して、ヘッドマウントディスプレイ１００に送信させる。映像生成部２２３は、ヘッドマウントディスプレイ１００に対して、ヘッドマウントディスプレイ１００の画像表示素子１０８の表示範囲よりも広い動画（例えば、３６０度の動画）を表示させる場合、低解像度の広い動画を第２通信部２２０に伝達しつつ、視線検出部２２１が検出した視線方向に対応する箇所の座標を含む所定範囲の画像を高解像度にした画像データを生成して、第２通信部２２０に伝達してもよい。これにより、動画の画像自体は途切れることなく、ユーザに提示することができるとともに、視線検出装置２００からヘッドマウントディスプレイ１００へのデータ転送量を抑制しつつ、ユーザには、高解像度の動画を提示できるので、ユーザビリティの向上にも寄与する。また、映像生成部２２３は、心拍検出部２２２から伝達された心拍の情報に基づいて出力する映像を加工することができる。映像生成部２２３は、例えば、ユーザの心拍（単位時間当たりの心拍数）が所定の閾値以上となっていた場合には、ユーザが異様に興奮している可能性があることから、映像の輝度値を下げて加工した映像を、ヘッドマウントディスプレイ１００に表示すべき映像として第２通信部２２０に伝達する。また、例えば、ユーザの心拍が所定の閾値以下となっていた場合には、ユーザが眠気を覚えている可能性があることから、映像の輝度値を上げて加工した映像を、ヘッドマウントディスプレイ１００に表示すべき映像として第２通信部２２０に伝達する。また、これらの加工の際には視線検出部２２１が検出した視線方向に基づいて特定される映像の注視箇所を中心とした加工を行うことができる。

記憶部２２４は、視線検出装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。記憶部２２４は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）などにより実現される。
次に、実施の形態に係る視線方向の検出について説明する。

図５は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し第１通信部１１８が視線検出装置２００に出力した映像を、視線検出装置２００内の視線検出部２２１及び視線検出部２２１が解析することにより実現される。

映像生成部２２３は、図５に示すような点Ｑ_１〜Ｑ_９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ_１〜点Ｑ_９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ_１〜Ｑ_９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。

図６は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の視線検出部２２１は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線検出部２２１は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。

視線検出部２２１はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２２１は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。

図５において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ_１〜点Ｑ_９の座標をそれぞれＱ_１（ｘ_１，ｙ_１）^Ｔ，Ｑ_２（ｘ_２，ｙ_２）^Ｔ・・・，Ｑ_９（ｘ_９，ｘ_９）^Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ_１〜点Ｑ_９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ_１〜Ｐ_９とする。このとき、２次元座標系３０６における点Ｐ_１〜Ｐ_９の座標をそれぞれＰ_１（Ｘ_１，Ｙ_１）^Ｔ，Ｐ_２（Ｘ_２，Ｙ_２）^Ｔ，・・・，Ｐ_９（Ｚ_９，Ｙ_９）^Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。

いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。

このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
Ｐ_Ｎ＝ＭＱ_Ｎ （Ｎ＝１，・・・，９） （２）

上記式（２）を具体的に書き下すと以下の式（３）のようになる。

式（３）を変形すると以下の式（４）を得る。

ここで、

とおくと、以下の式（５）を得る。
ｙ＝Ａｘ （５）

式（５）において、ベクトルｙの要素は視線検出部２２１が画像表示素子１０８に表示させる点Ｑ_１〜Ｑ_９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線検出部２２１は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。

式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２２１がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。

ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘ_ｏｐｔは、以下の式（６）で求められる。
ｘ_ｏｐｔ＝（Ａ^ＴＡ）^−１Ａ^Ｔｙ （６）
ここで「−１」は逆行列を示す。

視線検出部２２１は、求めたベクトルｘ_ｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２２１は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の右目が画像表示素子１０８に表示される動画像上のどこを注視しているかを推定できる。ここで、視線検出部２２１は、更に、ユーザの眼と、画像表示素子１０８間の距離情報をヘッドマウントディスプレイ１００から受信し、その距離情報に応じて、推定したユーザが注視している座標値を修正する。なお、ユーザの眼と画像表示素子１０８との間の距離による注視位置の推定のずれは誤差の範囲として無視してもよい。これにより、視線検出部２２１は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様に、視線検出部２２１は、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。なお、片目だけの視線ベクトルで２次元平面上でのユーザの注視点を特定することができ、両眼の視線ベクトルを得ることでユーザの注視点の奥行き方向の情報まで算出することができる。視線検出装置２００はこのようにしてユーザの注視点を特定することができる。なお、ここに示した注視点の特定方法は一例であり、本実施の形態に示した以外の手法を用いて、ユーザの注視点を特定してもよい。

＜動作＞
以下、本実施の形態に係るヘッドマウントディスプレイシステム１の動作を説明する。図７は、ヘッドマウントディスプレイシステム１の動作を示すフローチャートであり、ヘッドマウントディスプレイ１００に備えられた加速度センサから出力された加速度に基づいて心拍を特定する処理を示すフローチャートである。

視線検出装置２００の第２通信部２２０は、ヘッドマウントディスプレイ１００から、カメラ１１６が撮像した近赤外光に基づく撮像画像及び加速度センサ１２５が検出した加速度情報を受信する（ステップＳ７０１）。視線検出部２２０は、受信した撮像画像を視線検出部２２１に伝達し、加速度情報を心拍検出部２２２に伝達する。

視線検出部２２１は、撮像画像を受け取ると、当該撮像画像に基づいて、上記手法を用いて、ユーザの視線方向を検出する（ステップＳ７０２）。そして、映像においてユーザが注視している箇所（座標）を特定する。視線検出部２２１は、検出した視線方向及び注視箇所に関する情報を、映像生成部２２３に伝達する。

一方、心拍検出部２２２は、加速度情報を受け取ると、その加速度情報の一軸成分と、その同一軸であって、これまで受け付けた加速度成分の時系列変化から、上記手法を用いて、ユーザの心拍を検出する（ステップＳ７０２）。心拍検出部２２２は、検出した心拍の情報を、映像生成部２２３に伝達する。

映像生成部２２３は、伝達された視線方向及び注視箇所に関する情報、並びに、心拍の情報に基づいて、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示する映像を生成する（ステップＳ７０４）。

映像生成部２２３は、生成した映像を第２通信部２２０を介して、ヘッドマウントディスプレイ１００に送信する（ステップＳ７０５）。これにより、ヘッドマウントディスプレイ１００の画像表示素子１０８には、ヘッドマウントディスプレイ１００を装着するユーザの視線方向及び心拍情報に基づいて生成された映像が表示されることになる。

ヘッドマウントディスプレイシステム１のヘッドマウントディスプレイ１または視線検出装置２００は、ユーザからの映像表示終了入力を受け付けたか否かを判定する（ステップＳ７０６）。映像表示終了入力を受け付けていない場合には（ステップＳ７０６のＮＯ）、ステップＳ７０１に戻る。映像表示終了入力を受け付けた場合には（ステップＳ７０６のＹＥＳ）、処理を終了する。以上が、本実施の形態に係るヘッドマウントディスプレイシステム１の動作の説明である。

＜まとめ＞
上述のように、本実施の形態に係るヘッドマウントディスプレイシステムは、ヘッドマウントディスプレイにユーザの姿勢等を検出するために用いる加速度センサを用いて、ユーザの心拍を検出することができる。したがって、ヘッドマウントディスプレイを用いて映像を視認しているユーザの状態を把握したり、視聴している映像の特徴と、ユーザの心理状態との関係を解析したり、そのような解析に基づいてユーザに視聴させる効果的な映像を生成して表示したりすることができる。

＜補足＞
本発明に係る映像表示システムは、上記実施の形態に限定されるものではなく、その発明の思想を実現するために他の手法により実現されてもよいことは言うまでもない。以下、その他、本発明の思想として含み得る実施例について説明する。

（１）上記実施の形態に示したホットミラーは、可視光を透過し、非可視光を反射するものであればよく、その他の光学素子を用いてもよい。例えば、ホットミラーに換えて、可視光を透過し、非可視光を反射する特性を有するハーフミラーや、プリズム、光学フィルタ等の光学素子を用いることとしてもよい。

（２）上記実施の形態において、心拍検出部２２２は、検出した心拍の情報を映像生成部２２３に伝達することとしたが、心拍の情報を第２通信部２２０に伝達し、そこから外部装置に送信することとしてもよい。また、あるいは、心拍検出部２２２は、心拍の情報を記憶部２４０に記憶することとしてもよい。

（３）上記実施の形態において、加速度情報に基づいて検出された心拍の情報は、映像生成部２２３による映像の加工に用いられることとしているが、データ解析のために用いることとしてもよい。

例えば、取得した心拍の情報から、どのような映像に対してユーザが興奮しているのか、あるいは、退屈しているのか、また、その場合に、映像のどのような場所をユーザが注視ているのかの情報を解析することとしてもよい。このような解析は、新たな映像を作成する上でより効果的な映像作成に寄与する。

また、例えば、ヘッドマウントディスプレイ１００を用いて、ユーザがゲームをプレイしているときに検出した心拍の情報から、ユーザがそのゲームの攻略が楽であると感じているか、あるいは、苦にしているかを特定してもよい。そして、その情報に基づいて、新たなゲームを作成する上で、よりユーザビリティに富んだゲームを作成することとしてもよい。

（４）上記実施の形態において、加速度成分のうち一軸の成分に基づいて心拍を検出することとしているが、３軸成分それぞれで心拍を検出し、それらの平均値から、心拍を特定することとしてもよい。すなわち、鉛直方向成分から求められた心拍の周期と、鉛直方向成分に直交する２軸のうちの一軸成分から求められた心拍の周期と、鉛直方向成分に直交する２軸のうちの他の軸成分から求められた心拍の周期との平均値をとって、ユーザの心拍として特定することとしてもよい。

（５）上記実施の形態においては、加速度情報に基づく波形について自己相関をとって心拍を検出する例を示したが、心拍を検出する手法はこれに限るものではない。加速度情報に基づいて心拍を検出できるのであれば、その他の手法を用いてもよく、例えば、予めユーザの心拍波形のサンプルを記憶部２４０に記憶しておき、心拍検出部２２２は、記憶部２４０に予め記憶されているサンプルとの相関をとって、相関値が高い箇所をユーザの心拍として検出することとしてもよい。

（６）上記実施の形態において心拍検出部２２２は、さらに、特定した心拍に対して、ＨＲＶ（Heart Rate Variation）解析を行って、ユーザの心理状態を推定することとしてもよい。そして、推定した心理状態を示す情報を出力してもよいし、映像生成部２２３は、その心理状態を示す情報に基づいて、ヘッドマウントディスプレイ１００に表示する映像を生成してもよい。例えば、ユーザがホラー映画を見ている状態で心拍が所定閾値よりも遅い場合には、ユーザは緊張していないと推定できるので、よりスリル感を向上させるために、映像において明るいタイミングと暗いタイミングにおける輝度差を大きくするように映像を加工してもよい。また、例えば、ユーザがサスペンス映画を見ている状態で所定閾値よりも早い場合には、ユーザは必要以上にスリル感を味わっていると推定して、映像のフレームレートをそれまでのフレームレートよりも遅くしたりする加工を行ってもよい。また、推定した心理状態に基づいて、移行の映像制作やゲーム制作などに利用してもよい。例えば、推定した心理状態に基づいて、どのような映像やゲームであれば、ユーザの興味を引くのかを特定し、制作する映像やゲームに反映させることとしてもよい。なお、ヘッドマウントディスプレイシステム１は、心拍の情報を出力するまでを実行し、ＨＲＶ解析は出力先の外部装置が実行することとしてもよい。

（７）上記実施の形態において、視線検出装置２００が心拍検出部２２２を備えてユーザの心拍を検出することとしたが、ヘッドマウントディスプレイ１００が心拍検出部２２２を備えて心拍を検出することとしてもよいし、視線検出装置２００とは異なる心拍検出部２２２を備える心拍検出装置が実行することとしてもよい。当該心拍検出装置は、心拍検出部２２２の他、ヘッドマウントディスプレイ１００から加速度情報を受信する通信部を少なくとも備え、通信部は、心拍検出部が検出した心拍の情報を視線検出装置２００に送信することとしてもよい。

（８）上記実施の形態における視線検出に係る手法は、一例であり、上記ヘッドマウントディスプレイ１００及び視線検出装置２００による視線検出方法は、これに限られるものではない。

まず、上記実施の形態においては、非可視光として近赤外光を照射する赤外光源を複数設ける例を示しているが、近赤外光をユーザの眼に照射する手法はこれに限られない。例えば、ヘッドマウントディスプレイ１００の画像表示素子１０８を構成する画素について、近赤外光を発光するサブ画素を有する画素を設ける構成とし、それらの近赤外光を発光するサブ画素を選択的に発光させて、ユーザの眼に近赤外光を照射することとしてもよい。また、あるいは、画像表示素子１０８に換えて、ヘッドマウントディスプレイ１００に網膜投影ディスプレイを備えるとともに、当該網膜投影ディスプレイで表示して、ユーザの網膜に投影する画像の中に、近赤外光色で発光する画素を含ませることで、近赤外光の照射を実現する構成としてもよい。画像表示素子１０８の場合にしても、網膜投影ディスプレイの場合にしても、近赤外光を発光させるサブ画素は、定期的に変更することとしてもよい。なお、画像表示素子１０８にサブ画素として近赤外光を発光するサブ画素を設ける場合や網膜投影ディスプレイに近赤外光の画素を含ませる場合には、上記実施の形態におけるホットミラー１１２は不要となる。

また、上記実施の形態において示した視線検出のアルゴリズムも上記実施の形態に示した手法に限定されるものではなく、視線検出を実現できるのであれば、その他のアルゴリズムを用いてもよい。

（９）また、上記実施の形態においては、ヘッドマウントディスプレイ１００を装着しているユーザの心拍の特定を、視線検出装置２００のプロセッサが心拍特定プログラム等を実行することにより、実現することとしているが、これは視線検出装置２００に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。すなわち、図９に示すように、ヘッドマウントディスプレイ１００は、第１通信回路１１８ａと、第１表示回路１２１ａと、赤外光照射回路１２２ａと、画像処理回路１２３ａと、撮像回路１２４ａ、加速度センサ１２５とから構成されてよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。また、視線検出装置２００は、第２通信回路２２０ａと、視線検出回路２２１ａと、心拍検出回路２２２ａと、映像生成回路２２３ａと、記憶回路２２４ａとから構成されてよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。

また、上記心拍特定プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記心拍特定プログラムは、当該心拍特定プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記心拍特定プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記心拍特定プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語などを用いて実装できる。

（１０）上記実施の形態に示した構成並びに各（補足）を適宜組み合わせることとしてもよい。

（１１）上記実施の形態に示した映像表示システムの一実施態様に係るヘッドマウントディスプレイシステムにおいて、ヘッドマウントディスプレイ１００は、ユーザの頭部に装着して使用し、映像を表示して加速度センサを備えるものであれば、ヘッドマウントディスプレイ以外の機器であってもよい。ヘッドマウントディスプレイ以外の機器、例えば、眼鏡などをその代替としてもよい。この場合、眼鏡は、加速度センサと、眼鏡のガラス部分に映像を表示する機能と、ユーザの眼を撮像する機能、ユーザの眼に近赤外光を照射する機能等、ヘッドマウントディスプレイ１００が備える機能を備えるとよい。

１ ヘッドマウントディスプレイシステム、 １００ ヘッドマウントディスプレイ、 １０３ａ 赤外光源（第２赤外光照射部）、 １０３ｂ 赤外光源（第１赤外光照射部）、 １０５ 輝点、 １０８ 画像表示素子、 １１２ ホットミラー、 １１４，１１４ａ，１１４ｂ 凸レンズ、 １１６ カメラ、 １１８ 第１通信部、 １２１ 表示部、 １２２ 赤外光照射部、 １２３ 画像処理部、 １２４ 撮像部、 １２５ 加速度センサ、 １２６ 制御部、 １３０ 画像表示系、 １５０ 筐体、 １５２ａ，１５２ｂ レンズ保持部、 １６０ 装着具、 １７０ ヘッドフォン、 ２００ 視線検出装置、 ２２０ 第２通信部、 ２２１ 視線検出部、 ２２２ 心拍検出部、 ２２３ 映像生成部、 ２２４ 記憶部。

Claims (9)

1. ユーザの頭部に装着して使用する映像表示装置と、ユーザの心拍を検出する心拍検出装置とからなる映像表示システムであって、
   前記映像表示装置は、
   計測した加速度情報を逐次出力する加速度センサと、
   前記加速度情報を逐次前記心拍検出装置に送信する第１送信部とを備え、
   前記心拍検出装置は、
   前記映像表示装置から送信された加速度情報を受信する第１受信部と、
   受信した加速度情報に基づく加速度の変化を示す波形から、前記ユーザの心拍を検出する心拍検出部と、を備える映像表示システム。
2. 前記映像表示システムは、さらに、視線検出装置を含み、
   前記映像表示装置は、さらに、
   画像を表示する表示部と、
   前記画像を注視し、非可視光が照射されたユーザの眼を撮像する撮像部を備え、
   前記第１送信部は、さらに、前記視線検出装置に前記撮像部が撮像した撮像画像を送信し、
   前記視線検出装置は、
   前記撮像画像を受信する第２受信部と、
   前記撮像画像を介してユーザの視線方向を検出する視線検出部と、
   前記ユーザの視線方向に基づいて前記映像表示装置に表示させる画像を生成する画像生成部とを備えることを特徴とする請求項１に記載の映像表示システム。
3. 前記第１送信部は、さらに、前記視線検出装置に前記加速度情報を送信し、
   前記画像生成部は、前記加速度情報に基づいて、ユーザの体の向きを特定し、特定した向きに応じた画像を生成することを特徴とする請求項２に記載の映像表示システム。
4. 前記心拍検出装置は、さらに、
   前記心拍検出部が検出したユーザの心拍に関する情報を前記視線検出装置に送信する第２送信部を備え、
   前記第２受信部は、更に、前記心拍に関する情報を受信し、
   前記画像生成部は、前記心拍に関する情報に基づいた画像を生成することを特徴とする請求項２又は３に記載の映像表示システム。
5. 前記心拍検出装置は、さらに、
   心拍の典型的波形を示す波形情報を記憶する記憶部を備え、
   前記心拍検出部は、前記加速度情報に基づく加速度の変化に基づく波形と、前記波形情報との相関に基づいて前記ユーザの心拍を検出することを特徴とする請求項１〜４のいずれか１項に記載の映像表示システム。
6. 前記心拍検出部は、前記加速度情報に基づく加速度の変化に基づく波形において、当該波形に含まれる所定の第１期間の波形と、他の第２期間における波形との相関関係に基づいて、前記ユーザの心拍を検出することを特徴とする請求項１〜４のいずれか１項に記載の映像表示システム。
7. 前記映像表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１〜６のいずれか１項に記載の映像表示システム。
8. ユーザの頭部に装着して使用する映像表示装置に備えられた加速度センサから加速度情報を逐次取得する取得ステップと、
   逐次取得した加速度情報に基づいて、前記ユーザの心拍を特定する特定ステップとを含む心拍特定方法。
9. コンピュータに、
   ユーザの頭部に装着して使用する映像表示装置に備えられた加速度センサから加速度情報を逐次取得する取得機能と、
   逐次取得した加速度情報に基づいて、前記ユーザの心拍を特定する特定機能とを実現させる心拍特定プログラム。

Images