JP2013248177A - 視線検出装置および視線検出方法 - Google Patents

Abstract

【課題】視線検出の精度を向上させる。
【解決手段】視線検出装置は、表示部と、撮像部と、第１検出部と、第２検出部と、表示制御部と、を備える。撮像部は、被験者を撮像する。第１検出部は、撮像部により撮像された撮像画像から、被験者の目の位置を検出する。第２検出部は、撮像部から被験者の目の位置までの距離を検出する。表示制御部は、被験者の目の位置を示す画像を、第２検出部により検出された距離に応じて表示態様を変化させて表示部に表示させる。
【選択図】図３

Description

本発明は、視線検出装置および視線検出方法に関する。

カメラの高精度化、処理高速化、および、小型化が進み、カメラで撮像した顔の画像から、被験者がモニタ画面などの観察面上で注視している位置を検出する視線検出装置が提案されている。当初は被験者の頭部を固定する方法や、頭部に検出装置を取り付ける方法が多かった。最近は被験者の負担を軽減するため非接触タイプが開発され、さらに精度の高い視線検出装置が求められている。例えば特許文献１では、瞳孔と角膜反射の座標から視線検出を行う非接触タイプの視線検出装置が提案されている。

特開２００５−１８５４３１号公報 特開２００８−１２５６１９号公報 特開２００５−１９８７４３号公報

視線検出を正確に行うためには、被験者とカメラが適正な位置関係にあることが必要である。このためには、被験者がカメラに対して適正な位置にいるかどうかを簡単に判断でき、位置を調整することができることが重要である。

しかしながら、特に特許文献１のなどの非接触タイプの視線検出装置では、被験者が自由に動けることから、被験者が動いて検出結果の精度が上がらないことがあった。従って、特に非接触タイプの視線検出装置では、被験者を適正な位置に導くことが必要である。

本発明は、上記に鑑みてなされたものであって、検出の精度を向上できる視線検出装置および視線検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する第１検出部と、前記撮像部から前記被験者の目の位置までの距離を検出する第２検出部と、前記被験者の目の位置を示す画像を、前記第２検出部により検出された距離に応じて表示態様を変化させて前記表示部に表示させる表示制御部と、を備えることを特徴とする。

また、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する第１検出部と、前記撮像部の撮像領域に含まれる基準領域の範囲を示す基準画像、前記撮像領域の範囲を示す撮像範囲画像、および、前記被験者の目の位置を示す画像のうち少なくとも１つを、前記被験者の目の位置を検出するために適切な設定領域と前記被験者の目の位置との位置関係に応じて表示態様を変化させて前記表示部に表示させる表示制御部と、を備えることを特徴とする。

また、本発明は、被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する位置検出ステップと、前記撮像部から前記被験者の目の位置までの距離を検出する距離検出ステップと、前記被験者の目の位置を示す画像を、前記距離検出ステップにより検出された距離に応じて表示態様を変化させて表示部に表示させる表示制御ステップと、を含むことを特徴とする。

また、本発明は、被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する位置検出ステップと、前記撮像部の撮像領域に含まれる基準領域の範囲を示す基準画像、前記撮像領域の範囲を示す撮像範囲画像、および、前記被験者の目の位置を示す画像のうち少なくとも１つを、前記被験者の目の位置を検出するために適切な設定領域と前記被験者の目の位置との位置関係に応じて表示態様を変化させて前記表示部に表示させる表示制御ステップと、を含むことを特徴とする。

本発明にかかる視線検出装置および視線検出方法は、検出の精度を向上できるという効果を奏する。

図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。 図２は、第１の実施形態の視線検出装置の機能の概要を示す図である。 図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。 図４は、２台のカメラを使用した場合の目および距離の検出の一例を示す図である。 図５は、被験者とステレオカメラとの距離が適正であるかを検出して表示する画面の一例を示す図である。 図６は、被験者の位置が基準距離ｄｒより近い場合の画面の表示例を示す図である。 図７は、被験者の位置が適正な場合の画面の表示例を示す図である。 図８は、距離ｄｚと目の位置画像の大きさとの関係の一例を示す図である。 図９は、距離ｄｚと目の位置画像の大きさとの関係の他の例を示す図である。 図１０は、第１の実施形態における表示制御処理の一例を示すフローチャートである。 図１１は、第１の実施形態の変形例１における表示制御処理の一例を示すフローチャートである。 図１２は、距離ｄｚと目の位置画像の表示色との関係の一例を示す図である。 図１３は、距離ｄｚと目の位置画像の色調との関係の一例を示す図である。 図１４は、距離ｄｚと目の位置画像とともに表示する表示文字との関係の一例を示す図である。 図１５は、第２の実施形態の制御部の構成例を示す機能ブロック図である。 図１６は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図１７は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図１８は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図１９は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図２０は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図２１は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図２２は、第２の実施形態における表示制御処理の一例を示すフローチャートである。 図２３は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図２４は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図２５は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図２６は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図２７は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。 図２８は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。

以下に、本発明にかかる視線検出装置および視線検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図１に示すように、第１の実施形態では、表示画面１０１の下側に、１組のステレオカメラ１０２を配置する。ステレオカメラ１０２は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ２０２と左カメラ２０４とを備えている。

右カメラ２０２および左カメラ２０４の各レンズの直前には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源２０３および２０５がそれぞれ配置される。赤外ＬＥＤ光源２０３および２０５は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源２０３および２０５により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献２に記載された方法などを適用できる。

視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図２は、視線検出装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、視線検出装置１００は、右カメラ２０２と、左カメラ２０４と、赤外ＬＥＤ光源２０３および２０５と、スピーカ１０５と、駆動・ＩＦ部２０８と、制御部３００と、表示部２１０と、を含む。図２において、表示画面１０１は、右カメラ２０２および左カメラ２０４との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する。

駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

表示部２１０は、診断のための対象画像等、各種情報を表示する。

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０４が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。

右カメラ２０２からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０４とＬＥＤ駆動制御部３１６とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２、左カメラ２０４）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラによる画像を取り込んでいる。

赤外ＬＥＤ光源２０３は、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５は、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。

波長１−ＬＥＤ３０３、３０５は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６は、波長２の赤外線を照射する。

波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。

スピーカ駆動部３２２は、スピーカ１０５を駆動する。

制御部３００は、視線検出装置１００全体を制御して、結果を表示部２１０およびスピーカ１０５などに出力する。制御部３００は、第１検出部３５１と、第２検出部３５２と、表示制御部３５３と、を備えている。

第１検出部３５１は、撮像部（ステレオカメラ１０２）により撮像された撮像画像から、被験者の視線を検出する。視線を検出する処理には、被験者の目の位置を検出する処理が含まれる。本実施形態では、第１検出部３５１は、例えば、表示画面１０１に表示された対象画像のうち、被験者が注視する点である視点を検出する。第１検出部３５１による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献３と同様に、ステレオカメラを用いて被験者の視点を検出する場合を例に説明する。

この場合、まず第１検出部３５１は、ステレオカメラ１０２で撮影された画像から、被験者の視線方向を検出する。第１検出部３５１は、例えば、特許文献１および２に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、第１検出部３５１は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。第１検出部３５１は、左右のカメラ（右カメラ２０２、左カメラ２０４）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置（目の位置）を算出する。また、第１検出部３５１は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、第１検出部３５１は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。

なお、被験者の目の位置および視線の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の目の位置および視線を検出してもよい。

第２検出部３５２は、撮像部（ステレオカメラ１０２）から被験者の目の位置までの距離を検出する。本実施形態では、第２検出部３５２は、ステレオカメラ１０２から被験者の目との間の奥行方向（Ｚ座標方向）の距離ｄｚを、撮像部（ステレオカメラ１０２）から被験者の目の位置までの距離として検出する。

図４は、２台のカメラ（右カメラ２０２、左カメラ２０４）を使用した場合の目および距離の検出の一例を示す図である。２台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ２０２で撮影された画像から検出した目の位置と、左カメラ２０４で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の３次元座標が得られる。これにより、目とステレオカメラ１０２間の距離、および、瞳孔座標を推定することができる。瞳孔座標とは、ＸＹ平面上での被験者の目（瞳孔）の位置を表す座標値である。瞳孔座標は、例えば、世界座標系で表される目の位置をＸＹ平面に投影した座標値とすることができる。通常は、左右両目の瞳孔座標が求められる。

表示画面１０１には、マーカ５０２と、目の位置画像５０３とが表示される。目の位置画像５０３とは、被験者の目の位置を示す画像である。マーカ５０２は、予め定められた基準距離における被験者の目の位置画像５０３の大きさに対応する画像である。図４では、矩形のマーカを表示しているが、マーカ５０２の形状は矩形に限られるものではない。例えば、矩形（四角形）以外の多角形、円形、または、楕円形のマーカを用いてもよい。

図１に示すような座標系（世界座標系）を用いている場合、表示画面１０１の中央位置が原点である。このため、検出された目の位置のＺ座標値が、ステレオカメラ１０２から被験者の目との間の奥行方向の距離ｄｚに相当する。なお、実際のステレオカメラ１０２の位置と、第１検出部３５１によって算出された被験者の目の位置とから、両者間の距離を算出してもよい。例えば、第２検出部３５２が、右カメラ２０２および左カメラ２０４のいずれかの位置、または、右カメラ２０２の位置と左カメラ２０４の位置との中間位置から、被験者の目までの距離を検出するように構成してもよい。

表示制御部３５３は、被験者の目の位置画像５０３を、第２検出部３５２により検出された距離に応じて表示態様を変化させて表示画面１０１に表示させる。表示制御部３５３は、例えば、距離に応じて目の位置画像５０３の大きさを変化させて表示画面１０１に表示させる。なお、表示態様は大きさに限られるものではない（後述）。

図５から図７は、実際の視線検出に先立ち、被験者とステレオカメラ１０２との距離が適正であるかを検出して表示する画面の一例を示す図である。被験者が表示画面１０１の前のステレオカメラ１０２に映る場所に位置した場合、第１検出部３５１は、ステレオカメラ１０２で検出された瞳孔の画像から、瞳孔座標（Ｘ，Ｙ）を算出する。また、第２検出部３５２は、ステレオカメラ１０２と瞳孔との間の奥行き方向（Ｚ座標）の距離ｄｚを算出する。距離ｄｚが基準距離ｄｒに対して±Ａの範囲に入った場合（ｄｒ−Ａ≦ｄｚ≦ｄｒ＋Ａ）に、被験者は視線検出の適正位置に存在するといえる。Ａは、例えば許容範囲を示す予め定められた固定値である。

マーカ５０２は、検出した瞳孔中心位置を中心とした、一定の大きさの正方形のマーカである。目の位置画像５０３は、瞳孔中心位置を中心として、目の位置を円で表した画像である。距離ｄｚが、基準距離ｄｒと一致した場合、表示制御部３５３は、直径をマーカ５０２の辺の長さと一致させた目の位置画像５０３を表示する。

目の位置が基準距離ｄｒより遠くなる場合、すなわち、距離ｄｚが基準距離ｄｒより大きい場合は、表示制御部３５３は、距離ｄｚに応じて、直径をマーカ５０２の辺の長さより小さくした目の位置画像５０３を表示する。目の位置が基準距離ｄｒより近くなる場合、すなわち、距離ｄｚが基準距離ｄｒより小さい場合は、表示制御部３５３は、距離ｄｚに応じて、直径をマーカ５０２の辺の長さより大きくした目の位置画像５０３を表示する。表示制御部３５３は、例えば距離ｄｚに比例して目の位置画像５０３の直径を変更する。

このように、目の位置画像５０３の直径は、例えば距離ｄｚに比例して大きさが変わる。このため、被験者は、目の位置画像５０３の大きさがマーカ５０２の大きさより小さい場合、被験者自身の位置が基準距離ｄｒより遠いこと、および、目の位置画像５０３の大きさがマーカ５０２の大きさより大きい場合、基準距離ｄｒより近いことを直感的に理解できる。そして、被験者は、基準距離ｄｒに合わせるように位置を調整することができる。

図５は、被験者の位置が基準距離ｄｒより遠い場合の表示画面１０１の表示例を示す図である。マーカ５０２に対して目の位置画像５０３の大きさが小さいことで、距離ｄｚが基準距離ｄｒより遠いことを表している。

図６は、被験者の位置が基準距離ｄｒより近い場合の表示画面１０１の表示例を示す図である。マーカ５０２に対して目の位置画像５０３の大きさが大きいことで、距離ｄｚが基準距離ｄｒより近いことを表している。

図７は、被験者の位置が適正な場合の表示画面１０１の表示例を示す図である。マーカ５０２の辺の長さと目の位置画像５０３の直径とが一致していることを表している。

図８は、距離ｄｚと目の位置画像５０３の大きさとの関係の一例を示す図である。図８は、距離ｄｚと目の位置画像５０３の大きさが比例関係にある例を示している。図９は、距離ｄｚと目の位置画像５０３の大きさとの関係の他の例を示す図である。図９は、距離ｄｚが適切な距離範囲（例えばｄｒ±Ａの範囲）内にある場合には目の位置画像５０３をマーカ５０２と同じまたはほぼ同じ大きさで表示し、距離ｄｚが適切な距離範囲から離れると、離れた距離に応じて目の位置画像５０３の大きさを変更する例を示している。図９では、距離ｄｚが適切な距離範囲外の場合に、距離ｄｚと目の位置画像５０３の大きさとが非線形の関係にある例が示されている。なお、図８および図９の関係は一例であり、これに限られるものではない。例えば、図９で距離ｄｚが適切な距離範囲外の場合に、距離ｄｚと目の位置画像５０３の大きさとが比例関係となるように構成してもよい。

次に、このように構成された第１の実施形態にかかる視線検出装置１００による表示制御処理について説明する。表示制御処理は、実際の視線検出処理に先立って、被験者とステレオカメラ１０２との距離が適正であるかを検出して表示部に表示する処理である。図１０は、第１の実施形態における表示制御処理の一例を示すフローチャートである。

まず、被験者が表示画面１０１の前のステレオカメラ１０２に映る場所に位置した場合、第１検出部３５１は、ステレオカメラ１０２で検出された瞳孔の画像を含むカメラ画像を取得する（ステップＳ１００１）。表示制御部３５３は、カメラ画像の範囲を示す枠を表示画面１０１に描画する（ステップＳ１００２）。なお、図４〜図７のようにカメラ画像の範囲を示す枠を表示しないように構成してもよい。

第１検出部３５１は、カメラ画像から被験者の瞳孔が検出されたか否かを判断する（ステップＳ１００３）。被験者が適切な位置に存在しないなどの理由により被験者の瞳孔が検出されない場合（ステップＳ１００３：Ｎｏ）、表示制御処理を終了する。

被験者の瞳孔が検出された場合（ステップＳ１００３：Ｙｅｓ）、第１検出部３５１は、瞳孔座標（Ｘ，Ｙ）を算出する（ステップＳ１００４）。表示制御部３５３は、カメラ画像の範囲を示す枠内に、被験者の瞳孔座標（Ｘ，Ｙ）に対応するディスプレイ相対座標（Ｘ１，Ｙ１）を設定する（ステップＳ１００５）。ディスプレイ相対座標は、表示画面１０１内に表示する画像の位置を表すための座標である。例えば、表示画面１０１の左上を原点として、上下をＹ座標（下が＋）、横をＸ座標（右が＋）とする座標系をディスプレイ相対座標とすることができる。表示制御部３５３は、ディスプレイ相対座標（Ｘ１，Ｙ１）を中心とした一定の大きさのマーカ５０２を描画する（ステップＳ１００６）。

第２検出部３５２は、ステレオカメラ１０２と瞳孔との間の奥行き方向の距離ｄｚを算出する（ステップＳ１００７）。

表示制御部３５３は、距離ｄｚに応じて、目の位置画像５０３を表す円の半径Ｒを決定する（ステップＳ１００８）。例えば、距離ｄｚと目の位置画像５０３の大きさとが図９に示す関係にある場合、表示制御部３５３は、この関係に従って、距離ｄｚに対応する目の位置画像５０３（円）の半径Ｒを決定する。

次に、表示制御部３５３は、距離ｄｚが規定の距離範囲内であるか、すなわち、ｄｒ−Ａ≦ｄｚ≦ｄｒ＋Ａを満たすかを判断する（ステップＳ１００９）。距離ｄｚが規定の距離範囲内である場合（ステップＳ１００９：Ｙｅｓ）、表示制御部３５３は、図７のようなマーカ５０２に内接する円（目の位置画像５０３）を描画する（ステップＳ１０１０）。なお、距離ｄｚと目の位置画像５０３の大きさとが図８に示す関係にある場合は、表示制御部３５３は、距離ｄｚが基準距離ｄｒと一致する場合に、マーカ５０２に内接する円（目の位置画像５０３）を描画する。

距離ｄｚが規定の距離範囲内でない場合（ステップＳ１００９：Ｎｏ）、表示制御部３５３は、ディスプレイ相対座標（Ｘ１，Ｙ１）に半径Ｒの円（目の位置画像５０３）を描画する（ステップＳ１０１１）。例えば、距離ｄｚが基準距離ｄｒ−Ａよりも小さい場合、表示制御部３５３は、図５に示すように、マーカ５０２内に、距離ｄｚに比例した大きさの小さな円を表示する。また、距離ｄｚが基準距離ｄｒ＋Ａよりも大きい場合、表示制御部３５３は、図６に示すように、マーカ５０２外に、距離ｄｚに比例した大きさの大きな円を表示する。

図１０に示したフローチャートによる処理は、逐次繰り返し実行される。これにより、目の位置画像５０３の表示態様が、被験者の位置の変動や距離ｄｚの変動に逐次対応して変化する。

（変形例１）
これまでは、距離に応じて目の位置画像５０３の表示態様として大きさを変化させる例を説明した。変形例１では、距離に応じて目の位置画像５０３の色を変化させる例を説明する。変形例１においては、目の位置画像５０３の色を変化させる例について説明するが、色に限らず明るさを変化させてもよい。本変形例では、距離ｄｚが基準距離ｄｒでない場合（または規定の距離範囲内でない場合）と基準距離ｄｒである場合（または規定の距離範囲内である場合）とで目の位置画像５０３の色を変える。これにより、被験者は、位置を調整しながら自身が基準距離ｄｒの位置にいるかどうかを確認することができる。

例えば、距離ｄｚが基準距離ｄｒより大きい場合、表示制御部３５３は、目の位置画像５０３の色は黄とする。距離ｄｚが基準距離ｄｒに対して近い場合、表示制御部３５３は、目の位置画像５０３の色は赤とする。距離ｄｚが基準距離ｄｒと一致する場合、表示制御部３５３は、目の位置画像５０３の色は緑とする。これにより、被験者は基準距離ｄｒにいるかどうかを判断することができる。なお、目の位置画像５０３の色、および、色の組み合わせは任意であり、上記例に限られるものではない。

図１１は、変形例１における表示制御処理の一例を示すフローチャートである。

ステップＳ１１０１からステップＳ１１０５までは、第１の実施形態の表示制御処理を表す図１０のステップＳ１００１からステップＳ１００５までと同様の処理なので、その説明を省略する。

第２検出部３５２は、ステレオカメラ１０２と瞳孔との間の奥行き方向の距離ｄｚを算出する（ステップＳ１１０６）。表示制御部３５３は、距離ｄｚが規定の距離範囲内であるか、すなわち、ｄｒ−Ａ≦ｄｚ≦ｄｒ＋Ａを満たすかを判断する（ステップＳ１１０７）。距離ｄｚが規定の距離範囲内である場合（ステップＳ１１０７：Ｙｅｓ）、表示制御部３５３は、ディスプレイ相対座標（Ｘ１，Ｙ１）に緑色の円（目の位置画像５０３）を描画する（ステップＳ１１０８）。

距離ｄｚが規定の距離範囲内でない場合（ステップＳ１１０７：Ｎｏ）、表示制御部３５３は、さらに距離ｄｚが規定の距離範囲より遠いか否か、すなわち、ｄｒ＋Ａ＜ｄｚを満たすかを判断する（ステップＳ１１０９）。距離ｄｚが規定の距離範囲より遠い場合（ステップＳ１１０９：Ｙｅｓ）、表示制御部３５３は、ディスプレイ相対座標（Ｘ１，Ｙ１）に黄色の円（目の位置画像５０３）を描画する（ステップＳ１１１０）。距離ｄｚが規定の距離範囲より遠くない場合（ステップＳ１１０９：Ｎｏ）、表示制御部３５３は、ディスプレイ相対座標（Ｘ１，Ｙ１）に赤色の円（目の位置画像５０３）を描画する（ステップＳ１１１１）。

図１１に示したフローチャートによる処理は、逐次繰り返し実行される。これにより、目の位置画像５０３の表示態様が、被験者の位置の変動や距離ｄｚの変動に逐次対応して変化する。

図１２は、距離ｄｚと目の位置画像５０３の表示色との関係の一例を示す図である。図１２に示すように、距離ｄｚが適切な距離範囲（例えばｄｒ±Ａの範囲）内にある場合には、表示制御部３５３は、目の位置画像５０３を緑色で表示する。

なお、距離ｄｚに応じて変化させる目の位置画像５０３の表示態様は、色だけでなく、画像の色調、画像の輝度、および、画像中に含まれる文字または記号または図形であってもよい。

図１３は、距離ｄｚと目の位置画像５０３の色調との関係の一例を示す図である。図１３に示すように、距離ｄｚが適切な距離範囲（例えばｄｒ±Ａの範囲）内にある場合には、表示制御部３５３は、目の位置画像５０３を中間の色調で表示する。また、距離ｄｚが適切な距離範囲より近い場合には、表示制御部３５３は、目の位置画像５０３を淡い色調で表示する。また、距離ｄｚが適切な距離範囲より遠い場合には、表示制御部３５３は、目の位置画像５０３を濃い色調で表示する。

変形例１として、目の位置画像５０３の表示色を変更させる例を説明したが、マーカ５０２の表示色または明るさに適用してもよい。また、目の位置画像５０３の形状は円に限らず、目の位置を示すために適切な形状であればどのような形状であってもよい。

図１４は、距離ｄｚと目の位置画像５０３とともに表示する表示文字との関係の一例を示す図である。図１４に示すように、距離ｄｚが適切な距離範囲（例えばｄｒ±Ａの範囲）内にある場合には、表示制御部３５３は、表示文字を非表示とする。また、距離ｄｚが適切な距離範囲より近い場合には、表示制御部３５３は、表示文字を「Ｎ」とする。また、距離ｄｚが適切な距離範囲より遠い場合には、表示制御部３５３は、表示文字を「Ｆ」とする。なお、表示文字は一例でありこれに限られるものではない。

上記図１０および図１１において説明した処理は、同時に処理されてもよい。すなわち、被験者とステレオカメラ１０２との距離に応じて、図８または図９のような特性で目の位置画５０３の大きさを変更するとともに、図１２から図１４のいずれかに示す特性の表示形態をとってもよい。

以上のように、第１の実施形態によれば、例えば以下のような効果が得られる。
（１）適正な位置に対して距離が遠い場合は、マーカ５０２の大きさに対して目を表す画像が小さくなり、距離が近い場合は、マーカ５０２の大きさに対して目の位置を表す画像が大きくなることにより、被験者はカメラに対して自分の位置が遠いか近いかを瞬時に判断して調整することができる。
（２）適正な位置になった場合、目を表す画像の色または明るさが変わるため、被験者は適正位置であることを瞬時に判断でき、視線検出開始に備えることができる。
（３）モニタ（表示部）画面の中心付近で注視点と一致する位置に調整指標が見やすくイメージ沿った表示が可能なため、スライドバーで位置を表示するなどの方法に比べて、精度の高い視線検出結果を得ることができる。

（第２の実施形態）
第１の実施形態では、撮像部から被験者の目の位置までの距離に応じて、すなわち図１の座標系ではＺ座標方向の目の位置に応じて、目の位置画像の表示態様を変化させた。第２の実施形態の視線検出装置は、撮像部に対する被験者の目の上下左右方向の位置に応じて、すなわち図１の座標系ではＸ座標およびＹ座標方向の目の位置に応じて、目の位置画像の表示態様を変化させる。

第２の実施形態では、制御部３００−２の機能が第１の実施形態の視線検出装置１００と異なっている。その他の第２の実施形態の視線検出装置の機能の概要は、第１の実施形態の視線検出装置１００の機能の概要を示す図２と同様であるため説明を省略する。図１５は、第２の実施形態の制御部３００−２の構成例を示す機能ブロック図である。

図１５に示すように、制御部３００−２は、第１検出部３５１と、表示制御部３５３−２と、を備えている。

表示制御部３５３−２は、被験者の目の位置画像、基準領域の範囲を示す基準画像、および、撮像領域の範囲を示す撮像範囲画像のうち少なくとも１つを、設定領域と被験者の目の位置との位置関係に応じて表示態様を変化させて表示画面１０１に表示させる。基準領域は、撮像領域に含まれる領域であって、例えば被験者の目の適切な位置の範囲を表す領域として予め定められる。例えば、撮像領域の中心を含む撮像領域内の所定の大きさの領域を基準領域とすることができる。設定領域は、被験者の目の位置を検出するために適切な領域を表す。例えば、基準領域を設定領域としてもよいし、撮像領域を設定領域としてもよい。

設定領域は、視線検出装置の動作モードに応じて変更してもよい。動作モードには、例えば、視線検出のキャリブレーションを行うキャリブレーションモードと、通常の視線検出を行う測定モードとが含まれる。以下では、動作モードがキャリブレーションモードのときは設定領域を基準領域とし、動作モードが測定モードのときは設定領域を撮像領域とする例を説明する。

基準画像は、基準領域に対応する範囲を表す画像として表示画面１０１に表示する画像である。基準画像は、例えば表示画面１０１の中央部に表示される。表示制御部３５３−２は、例えば、位置関係に応じて基準画像の色を変化させて表示画面１０１に表示させる。なお、表示態様は色に限られるものではなく、明るさなどを変化させてもよい。

図１６〜図１８は、キャリブレーションモードで、被験者とステレオカメラ１０２との位置関係が適正であるかを検出して表示する画面の一例を示す図である。また、図１６〜図１８は、基準領域の範囲を示す基準画像（スケール）の色を、設定領域（この例では基準領域）と被験者の目の位置との位置関係に応じて変化させる例を示す。

図１６は、被験者の両目の位置が基準領域内（＝設定領域内）である場合の表示画面１０１の表示例を示す図である。画面内には、基準画像としてのスケール１６０１と、撮像範囲画像としての枠１６０２と、目の位置画像１６０３と、が表示される。この場合、表示制御部３５３−２は、緑色のスケール１６０１を表示する。

図１７は、被験者の片目の位置が基準領域外（＝設定領域外）となった場合の表示画面１０１の表示例を示す図である。この場合、表示制御部３５３−２は、目の位置画像１６０３および赤色のスケール１６０１を表示する。図１８は、被験者の両目の位置が基準領域外（＝設定領域外）となった場合の表示画面１０１の表示例を示す図である。この場合、表示制御部３５３−２は、目の位置画像１６０３および赤色のスケール１６０１を表示する。

図１９〜図２１は、測定モードで、被験者とステレオカメラ１０２との位置関係が適正であるかを検出して表示する画面の一例を示す図である。図１９は、被験者の両目の位置が基準領域内（＝撮像領域内すなわち設定領域内）である場合の表示画面１０１の表示例を示す図である。画面内には、基準画像としてのスケール１６０１と、撮像範囲画像としての枠１６０２と、目の位置画像１６０３と、が表示される。この場合、表示制御部３５３−２は、緑色のスケール１６０１を表示する。

図２０は、被験者の片目の位置が基準領域外だが、両目の位置が撮像領域内（＝設定領域内）である場合の表示画面１０１の表示例を示す図である。この場合、表示制御部３５３−２は、目の位置画像１６０３および緑のスケール１６０１を表示する。図２１は、被験者の両目の位置が撮像領域外（＝設定領域外）となった場合の表示画面１０１の表示例を示す図である。この場合、表示制御部３５３−２は、目の位置画像１６０３および赤色のスケール１６０１を表示する。

図２２は、第２の実施形態における表示制御処理の一例を示すフローチャートである。

まず、表示制御部３５３−２は、表示画面１０１に表示する画像内でのカメラ画像の範囲を計算する（ステップＳ１３０１）。表示制御部３５３−２は、表示画面１０１にカメラ画像の範囲を示す枠１６０２（撮像範囲画像）を描画する（ステップＳ１３０２）。表示制御部３５３−２は、表示画面１０１に適切な瞳孔位置範囲を示すためのスケール１６０１（基準画像）を描画する（ステップＳ１３０３）。

被験者が表示画面１０１の前のステレオカメラ１０２に映る場所に位置した場合、第１検出部３５１は、ステレオカメラ１０２で検出された瞳孔の画像を含むカメラ画像を取得する（ステップＳ１３０４）。第１検出部３５１は、カメラ画像から、カメラ画像における瞳孔位置を検出する（ステップＳ１３０５）。

第１検出部３５１は、カメラ画像から被験者の瞳孔が検出されたか否かを判断する（ステップＳ１３０６）。被験者が適切な位置に存在しないなどの理由により被験者の瞳孔が検出されない場合（ステップＳ１３０６：Ｎｏ）、表示制御処理を終了する。

被験者の瞳孔が検出された場合（ステップＳ１３０６：Ｙｅｓ）、第１検出部３５１は、瞳孔座標（Ｘ，Ｙ）を算出する（ステップＳ１３０７）。表示制御部３５３−２は、撮像範囲画像の枠１６０２内に、被験者の瞳孔座標（Ｘ，Ｙ）に対応するディスプレイ相対座標（Ｘ１，Ｙ１）を設定する（ステップＳ１３０８）。表示制御部３５３−２は、ディスプレイ相対座標（Ｘ１，Ｙ１）に、瞳孔位置を示す図形（目の位置画像１６０３）を描画する（ステップＳ１３０９）。

さらに、表示制御部３５３−２は、設定領域を設定する（ステップＳ１３１０）。例えば、表示制御部３５３−２は、キャリブレーションモードの場合、基準領域を設定領域に設定する。また、表示制御部３５３−２は、測定モードの場合、撮像領域を設定領域に設定する。表示制御部３５３−２は、設定領域がスケール１６０１の範囲（基準領域）内であるか否かを判断する（ステップＳ１３１１）。この判断は、動作モードがキャリブレーションモードであるか否かを判断することと等価である。

設定領域がスケール１６０１の範囲内の場合（ステップＳ１３１１：Ｙｅｓ）、表示制御部３５３−２は、左右の両目それぞれの瞳孔座標（Ｘ，Ｙ）が、スケール１６０１の範囲内（基準領域の範囲内）であるか否かを判断する（ステップＳ１３１２）。左右の瞳孔座標（Ｘ，Ｙ）が、スケール１６０１の範囲内の場合（ステップＳ１３１２：Ｙｅｓ）、表示制御部３５３−２は、緑色のスケール１６０１を表示画面１０１に表示する（ステップＳ１３１５）。左右の瞳孔座標（Ｘ，Ｙ）が、スケール１６０１の範囲内でない場合（ステップＳ１３１２：Ｎｏ）、表示制御部３５３−２は、赤色のスケール１６０１を表示画面１０１に表示する（ステップＳ１３１４）。

設定領域がスケール１６０１の範囲内でない場合（ステップＳ１３１１：Ｎｏ）、表示制御部３５３−２は、左右の両目それぞれの瞳孔座標（Ｘ，Ｙ）が、カメラ画像の範囲内（撮像領域の範囲内）であるか否かを判断する（ステップＳ１３１３）。左右の瞳孔座標（Ｘ，Ｙ）が、カメラ画像の範囲内の場合（ステップＳ１３１２：Ｙｅｓ）、表示制御部３５３−２は、緑色のスケール１６０１を表示画面１０１に表示する（ステップＳ１３１７）。左右の瞳孔座標（Ｘ，Ｙ）が、カメラ画像の範囲内でない場合（ステップＳ１３１３：Ｎｏ）、表示制御部３５３−２は、赤色のスケール１６０１を表示画面１０１に表示する（ステップＳ１３１６）。

仮に、視線検出のキャリブレーション時（キャリブレーションモード時）のように、より正確な瞳孔位置が求められる場合などは、目の部分の撮影に適した領域は「スケール１６０１の範囲」（＝基準領域）に設定される。図１６のように２つの瞳孔がスケール１６０１の座標の範囲内であれば、被験者の瞳孔位置がカメラに対して適切な位置であるということを表すために、スケール１６０１の色を緑に変化させる（ステップＳ１３１５）。しかし、図１７のように片方の瞳孔位置がカメラの範囲内ではあるがスケール１６０１で示された適切な位置から外れている場合は、被験者の瞳孔位置がカメラに対して適切な位置でないということを表すために、スケール１６０１の色を赤に変化させる（ステップＳ１３１４）。また図１８のように両目の瞳孔がカメラ画像の範囲から外れている場合も同様にスケール１６０１の色を赤に変化させる（ステップＳ１３１４）。このようにキャリブレーション時には被験者の瞳孔位置がカメラ（ステレオカメラ１０２）に対して適切な位置になるように厳しく判断する。

通常の視線検出時（測定モード）のように、最低限の瞳孔位置が求められる場合などは、目の部分の撮影に適した領域は「カメラ画像全体の範囲」（＝撮像領域）に設定される。図１９のように２つの瞳孔がスケール１６０１の座標の範囲内であれば、被験者の瞳孔位置がカメラに対して適切な位置であるということを表すために、スケール１６０１の色を緑に変化させる（ステップＳ１３１７）。また、図２０のように片方の瞳孔位置がカメラの範囲内ではあるがスケール１６０１で示された適切な位置から外れている場合も、被験者の瞳孔位置がカメラに対して適切な位置であるということを表すために、スケール１６０１の色を緑に変化させる（ステップＳ１３１７）。しかし、図２１のように片側の瞳孔がカメラ画像範囲から外れている場合は、視線検出が不可能になるため被験者の瞳孔位置がカメラに対して適切な位置でないということを表すために、スケール１６０１の色を赤に変化させる（ステップＳ１３１６）。このように通常の視線検出時にはカメラに対する被験者の瞳孔位置の許容範囲が広がる。

このように、第２の実施形態では、予め設定された動作モードに応じて、被験者が適正位置にいるかどうかの判断基準（設定領域）を変化させ、被験者はそれを容易に判断することができる。

（変形例２）
図１６〜図２１では、基準領域の範囲を示す基準画像（スケール）の色を変化させる例を説明した。表示態様（色など）を変化させる画像は基準画像に限られるものではなく、被験者等に対して、位置が適切かを知らせることができる画像であればどのような画像であってもよい。例えば、撮像範囲画像や目の位置画像の表示態様を変化させてもよい。また、複数の画像の表示態様を変化させてもよい。例えば、基準画像、撮像範囲画像、および、目の位置画像のうち少なくとも１つの表示態様を変化させてもよい。

図２３〜図２８は、撮像範囲画像（カメラ画像の範囲を示す枠）の色を変化させる場合の画面例を示す図である。図２３〜２５は、キャリブレーションモードで、設定領域（＝基準領域）と被験者の目の位置との位置関係に応じて撮像範囲画像を変化させる例を示す。

図２３は、被験者の両目の位置が基準領域内（＝設定領域内）である場合の表示画面１０１の表示例を示す図である。画面内には、スケール２３０１と、撮像範囲画像としての枠２３０２と、目の位置画像２３０３と、が表示される。この場合、表示制御部３５３−２は、緑色の枠２３０２を表示する。

図２４は、被験者の片目の位置が基準領域外（＝設定領域外）となった場合の表示画面１０１の表示例を示す図である。この場合、表示制御部３５３−２は、目の位置画像２３０３および赤色の枠２３０２を表示する。図２５は、被験者の両目の位置が基準領域外（＝設定領域外）となった場合の表示画面１０１の表示例を示す図である。この場合、表示制御部３５３−２は、目の位置画像２３０３および赤色の枠２３０２を表示する。

図２６〜２８は、測定モードで、設定領域（＝撮像領域）と被験者の目の位置との位置関係に応じて撮像範囲画像を変化させる例を示す。

図２６は、被験者の両目の位置が基準領域内（＝撮像領域内すなわち設定領域内）である場合の表示画面１０１の表示例を示す図である。画面内には、スケール２３０１と、枠２３０２と、目の位置画像２３０３と、が表示される。この場合、表示制御部３５３−２は、緑色の枠２３０２を表示する。

図２７は、被験者の片目の位置が基準領域外だが、両目の位置が撮像領域内（＝設定領域内）である場合の表示画面１０１の表示例を示す図である。この場合、表示制御部３５３−２は、目の位置画像２３０３および緑の枠２３０２を表示する。図２８は、被験者の両目の位置が撮像領域外（＝設定領域外）となった場合の表示画面１０１の表示例を示す図である。この場合、表示制御部３５３−２は、目の位置画像２３０３および赤色の枠２３０２を表示する。

以上のように、第２の実施形態によれば、例えば以下のような効果が得られる。
（１）適正位置を示すスケールに対して目を表す画像が表示されるため、被験者はカメラに対して自分の位置が正しいか判断して調整することができる。
（２）適正な位置になった場合、スケールを表す画像の色が変わるため、被験者は適正位置であることを瞬時に判断でき、視線検出開始に備えることができる。
（３）適正な位置で実施されるため、精度の高い視線検出結果を得ることができる。

１００ 視線検出装置
１０１ 表示画面
１０２ ステレオカメラ
１０５ スピーカ
２０２ 右カメラ
２０３ 光源
２０４ 左カメラ
２０５ 光源
２０８ 駆動・ＩＦ部
２１０ 表示部
３００ 制御部
３５１ 第１検出部
３５２ 第２検出部
３５３ 表示制御部
５０２ マーカ
５０３ 目の位置画像
１６０１ スケール
１６０２ 枠
１６０３ 目の位置画像
２３０１ スケール
２３０２ 枠
２３０３ 目の位置画像

Claims (9)

1. 表示部と、
   被験者を撮像する撮像部と、
   前記撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する第１検出部と、
   前記撮像部から前記被験者の目の位置までの距離を検出する第２検出部と、
   前記第１検出部によって検出した目の位置に対応する前記被験者の目の位置を示す画像を、前記第２検出部により検出された距離に応じて表示態様を変化させて前記表示部に表示させる表示制御部と、
   を備えることを特徴とする視線検出装置。
2. 前記表示制御部は、前記被験者の目の位置を示す画像を、前記第２検出部により検出された距離に応じて大きさを変化させて前記表示部に表示させること、
   を特徴とする請求項１に記載の視線検出装置。
3. 前記表示制御部は、前記被験者の目の位置を示す画像の表示位置に、予め定められた基準距離における前記被験者の目の位置を示す画像の大きさに対応するマーカを前記表示部に表示させ、前記第２検出部により検出された距離が前記基準距離より小さい場合は前記被験者の目の位置を示す画像を前記マーカより小さく変化させて前記表示部に表示させ、前記第２検出部により検出された距離が前記基準距離より大きい場合は前記被験者の目の位置を示す画像を前記マーカより大きく変化させて前記表示部に表示させること、
   を特徴とする請求項２に記載の視線検出装置。
4. 前記表示制御部は、前記被験者の目の位置を示す画像を、前記第２検出部により検出された距離に応じて色または明るさを変化させて前記表示部に表示させること、
   を特徴とする請求項１に記載の視線検出装置。
5. 前記表示制御部は、前記被験者の目の位置を示す画像とともに表示する文字または図形を、前記第２検出部により検出された距離に応じて変化させて前記表示部に表示させること、
   を特徴とする請求項１に記載の視線検出装置。
6. 表示部と、
   被験者を撮像する撮像部と、
   前記撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する第１検出部と、
   前記撮像部の撮像領域に含まれる基準領域の範囲を示す基準画像、前記撮像領域の範囲を示す撮像範囲画像、および、前記被験者の目の位置を示す画像のうち少なくとも１つを、前記被験者の目の位置を検出するために適切な設定領域と前記被験者の目の位置との位置関係に応じて表示態様を変化させて前記表示部に表示させる表示制御部と、
   を備えることを特徴とする視線検出装置。
7. 前記表示制御部は、前記基準画像、前記撮像範囲画像および前記被験者の目の位置を示す画像のうち少なくとも１つを、前記設定領域と前記被験者の目の位置との位置関係に応じて色または明るさを変化させて前記表示部に表示させること、
   を特徴とする請求項６に記載の視線検出装置。
8. 被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する位置検出ステップと、
   前記撮像部から前記被験者の目の位置までの距離を検出する距離検出ステップと、
   前記被験者の目の位置を示す画像を、前記距離検出ステップにより検出された距離に応じて表示態様を変化させて表示部に表示させる表示制御ステップと、
   を含むことを特徴とする視線検出方法。
9. 被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する位置検出ステップと、
   前記撮像部の撮像領域に含まれる基準領域の範囲を示す基準画像、前記撮像領域の範囲を示す撮像範囲画像、および、前記被験者の目の位置を示す画像のうち少なくとも１つを、前記被験者の目の位置を検出するために適切な設定領域と前記被験者の目の位置との位置関係に応じて表示態様を変化させて前記表示部に表示させる表示制御ステップと、
   を含むことを特徴とする視線検出方法。

Images