JP2019046438A - Evaluation apparatus and evaluation method - Google Patents
Evaluation apparatus and evaluation method Download PDFInfo
- Publication number
- JP2019046438A JP2019046438A JP2018051358A JP2018051358A JP2019046438A JP 2019046438 A JP2019046438 A JP 2019046438A JP 2018051358 A JP2018051358 A JP 2018051358A JP 2018051358 A JP2018051358 A JP 2018051358A JP 2019046438 A JP2019046438 A JP 2019046438A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- output
- display screen
- evaluation
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】被験者の視線を表示画面内に効率的に誘導する。【解決手段】評価装置１００は、被験者の画像データを取得する画像データ取得部２０６と、画像データに基づいて被験者の注視点の位置データを検出する注視点検出部２１４と、表示画面１０１Ｓに被験者を評価する評価用画像を表示させる表示制御部２０２と、表示画面１０１Ｓにおいて被験者の注視点の目標領域Ａを設定する領域設定部２１６と、注視点の位置データに基づいて注視点が目標領域Ａに存在するか否かを判定する判定部２１８と、注視点が目標領域Ａに存在しないと判定される不在期間が所定期間を超える場合に注意喚起信号を出力装置（７０、８０）から出力させ当該注意喚起信号が出力された状態で注視点が目標領域Ａに存在すると判定された場合に注意喚起信号の出力を停止させる出力制御部２２６と、被験者の注視点の位置データに基づいて被験者の評価データを求める評価部２２４とを備える。【選択図】図３PROBLEM TO BE SOLVED: To efficiently guide a subject's gaze in a display screen. SOLUTION: An evaluation device 100 comprises an image data acquisition unit 206 for acquiring image data of a subject, a gaze point detection unit 214 for detecting position data of a gaze point of the subject based on the image data, and a subject on a display screen 101S. The display control unit 202 displays an evaluation image for evaluating the subject, the region setting unit 216 that sets the target region A of the subject's gaze point on the display screen 101S, and the gaze point is the target region A based on position data of the gaze point. And an alerting signal is output from the output device (70, 80) when the absence period determined to be absent in the target area A exceeds a predetermined period. An output control unit 226 for stopping the output of the alerting signal when it is determined that the fixation point is in the target area A in a state where the alerting signal is output; And a evaluation unit 224 for obtaining the evaluation data of the subject based on the position data of the viewpoint. [Selected figure] Figure 3
Description
本発明は、評価装置、及び評価方法に関する。 The present invention relates to an evaluation device and an evaluation method.
視線検出技術の一つとして角膜反射法が知られている。角膜反射法は、光源から射出された赤外光を被験者に照射し、赤外光が照射された被験者の眼をカメラで撮影し、角膜表面における光源の反射像である角膜反射像に対する瞳孔の位置を検出して、被験者の視線を検出する。 The corneal reflection method is known as one of the gaze detection techniques. In the corneal reflection method, the subject is irradiated with infrared light emitted from a light source, the subject's eye irradiated with the infrared light is photographed with a camera, and a pupil of the pupil with respect to the corneal reflection image which is a reflection image of the light source on the cornea surface The position is detected to detect the line of sight of the subject.
このような検出法により視線の検出を行う場合、被験者の注視点の位置データを高精度に取得するため、被験者の注視点を所定の表示画面に収まるようにし、この状態で注視点の位置データを取得するようにしている。 When line of sight is detected by such a detection method, in order to obtain position data of the subject's gaze point with high precision, the subject's gaze point is made to fit on a predetermined display screen, and in this state the gaze point position data I am trying to get
上記の構成において、被験者の注視点の位置データを取得している期間に、注視点が表示画面から外れてしまうと、注視点の位置データの取得が困難となる場合がある。このような場合、被験者の注視点を表示画面内に効率的に誘導する必要がある。 In the above configuration, if the fixation point deviates from the display screen during acquisition of the position data of the fixation point of the subject, it may be difficult to acquire the position data of the fixation point. In such a case, it is necessary to efficiently guide the subject's gaze point into the display screen.
本発明は、上記に鑑みてなされたものであり、被験者の視線を表示画面内に効率的に誘導することが可能な評価装置、及び評価方法を提供することを目的とする。 This invention is made in view of the above, and an object of this invention is to provide the evaluation apparatus which can guide a test subject's gaze efficiently in a display screen, and an evaluation method.
本発明に係る評価装置は、被験者の画像データを取得する画像データ取得部と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、前記被験者を評価する評価用画像を表示画面に表示させる表示制御部と、前記表示画面において、前記被験者の注視点の目標領域を設定する領域設定部と、前記注視点の位置データに基づいて、前記注視点が前記目標領域に存在するか否かを判定する判定部と、前記注視点が前記目標領域に存在しないと判定される不在期間が所定期間を超える場合に所定の音声及び可視光パターンの少なくとも一方の信号を出力装置から出力させ、前記信号が出力された状態で前記注視点が前記目標領域に存在すると判定された場合に前記信号の出力を停止させる出力制御部とを備える。 An evaluation apparatus according to the present invention includes an image data acquisition unit that acquires image data of a subject, a gaze point detection unit that detects position data of a gaze point of the subject based on the image data, and the subject. The gaze point is determined based on a display control unit for displaying an evaluation image on a display screen, a region setting unit for setting a target region of the subject's gaze point on the display screen, and position data of the gaze point. A determination unit that determines whether or not the target region is present, and a signal of at least one of a predetermined voice and a visible light pattern when an absence period determined that the gaze point is not present in the target region exceeds a predetermined period And an output control unit for stopping the output of the signal when it is determined that the fixation point is in the target area in a state where the signal is output.
本発明に係る評価方法は、被験者の画像データを取得することと、前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、前記被験者を評価する評価用画像を表示画面に表示させることと、前記表示画面において、前記被験者の注視点の目標領域を設定することと、前記注視点の位置データに基づいて、前記注視点が前記目標領域に存在するか否かを判定することと、前記注視点が前記目標領域に存在しないと判定される不在期間が所定期間を超える場合に所定の音声及び可視光パターンの少なくとも一方の信号を出力装置から出力させ、前記信号が出力された状態で前記注視点が前記目標領域に存在すると判定された場合に前記信号の出力を停止させることとを含む。 The evaluation method according to the present invention includes acquiring image data of a subject, detecting position data of a gaze point of the subject based on the image data, and displaying an evaluation image for evaluating the subject. And displaying the target area of the subject's gaze point on the display screen, and determining whether the gaze point is present in the target area based on the position data of the gaze point. And outputting at least one signal of a predetermined voice and visible light pattern from the output device when the absent period determined to be absent from the target area exceeds the predetermined period, the signal being output And stopping the output of the signal when it is determined that the fixation point is in the target area in the set state.
本発明によれば、被験者の視線を表示画面内に効率的に誘導することができる。 According to the present invention, the line of sight of the subject can be efficiently guided into the display screen.
以下、本発明に係る評価装置、及び評価方法の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 Hereinafter, embodiments of an evaluation device and an evaluation method according to the present invention will be described based on the drawings. The present invention is not limited by this embodiment. In addition, constituent elements in the following embodiments include those that can be easily replaced by persons skilled in the art or those that are substantially the same.
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。 In the following description, a three-dimensional global coordinate system is set to describe the positional relationship of each part. A direction parallel to the first axis of the predetermined surface is the X axis direction, a direction parallel to the second axis of the predetermined surface orthogonal to the first axis is the Y axis direction, and it is orthogonal to the first axis and the second axis The direction parallel to the third axis is taken as the Z-axis direction. The predetermined plane includes the XY plane.
（視線検出装置）
図１は、本実施形態に係る視線検出装置１００の一例を模式的に示す斜視図である。視線検出装置１００は、被験者を評価する評価装置として用いられる。図１に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３とを備える。また、視線検出装置１００は、注意喚起信号を出力する出力装置として音声出力装置７０と、可視光パターン出力装置８０とを備える。なお、音声出力装置７０は、注意喚起信号以外の音声も出力可能である。
(Line-of-sight detection device)
FIG. 1 is a perspective view schematically showing an example of a
表示装置１０１は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０１は、表示画面１０１Ｓを有する。表示画面１０１Ｓは、画像を表示する。表示画面１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示画面１０１Ｓの左右方向であり、Ｙ軸方向は表示画面１０１Ｓの上下方向であり、Ｚ軸方向は表示画面１０１Ｓと直交する奥行方向である。
The
音声出力装置７０は、例えばスピーカを含み、例えば被験者に手順を指示するための音声や、被験者の注意を引き付ける注意喚起信号として注意喚起音声を出力する。可視光パターン出力装置８０は、被験者の注意を引き付ける注意喚起信号として可視光パターンを出力する。可視光パターン出力装置８０は、例えばランプ等が用いられる。
The
ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１カメラ１０２Ａと第２カメラ１０２ＢとはＸ軸方向に配置される。第１カメラ１０２Ａは、第２カメラ１０２Ｂよりも−Ｘ方向に配置される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
The
照明装置１０３は、第１光源１０３Ａ及び第２光源１０３Ｂを有する。照明装置１０３は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１光源１０３Ａと第２光源１０３ＢとはＸ軸方向に配置される。第１光源１０３Ａは、第１カメラ１０２Ａよりも−Ｘ方向に配置される。第２光源１０３Ｂは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。第１光源１０３Ａ及び第２光源１０３Ｂはそれぞれ、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、第１光源１０３Ａ及び第２光源１０３Ｂは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。
The
照明装置１０３は、検出光である近赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに第２カメラ１０２Ｂで眼球１１１を撮影し、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに第１カメラ１０２Ａで眼球１１１を撮影する。
The
第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第１光源１０３Ａ及び第２光源１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。第１カメラ１０２Ａは、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。第２カメラ１０２Ｂは、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。
A frame synchronization signal is output from at least one of the
眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光がステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光がステレオカメラ装置１０２に入射する。
When the detection light is irradiated to the
第１カメラ１０２Ａ及び第２カメラ１０２Ｂと第１光源１０３Ａ及び第２光源１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で取得される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。ステレオカメラ装置１０２は、取得される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。
By appropriately setting the relative positions of the
図２は、本実施形態に係る視線検出装置１００のハードウェア構成の一例を示す図である。図２に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３と、コンピュータシステム２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０と、可視光パターン出力装置８０を備える。
FIG. 2 is a diagram showing an example of a hardware configuration of the visual
コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とは、入出力インターフェース装置３０を介してデータ通信する。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。演算処理装置２０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。
The
駆動回路４０は、駆動信号を生成して、表示装置１０１、ステレオカメラ装置１０２、及び照明装置１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で取得された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。
The
出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示画面に設けられたタッチセンサを含んでもよい。
The
本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。
In the present embodiment, the
図３は、本実施形態に係る視線検出装置１００の一例を示す機能ブロック図である。図３に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。駆動回路４０は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する表示装置駆動部４０２と、第１カメラ１０２Ａを駆動するための駆動信号を生成して第１カメラ１０２Ａに出力する第１カメラ入出力部４０４Ａと、第２カメラ１０２Ｂを駆動するための駆動信号を生成して第２カメラ１０２Ｂに出力する第２カメラ入出力部４０４Ｂと、第１光源１０３Ａ及び第２光源１０３Ｂを駆動するための駆動信号を生成して第１光源１０３Ａ及び第２光源１０３Ｂに出力する光源駆動部４０６とを有する。また、第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａで取得された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂで取得された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。
FIG. 3 is a functional block diagram showing an example of the
コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、表示制御部２０２と、光源制御部２０４と、画像データ取得部２０６と、入力データ取得部２０８と、位置検出部２１０と、曲率中心算出部２１２と、注視点検出部２１４と、領域設定部２１６と、判定部２１８と、演算部２２０と、記憶部２２２と、評価部２２４と、出力制御部２２６とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。
The
表示制御部２０２は、被験者を評価する評価用画像を表示画面１０１Ｓに表示させる。評価用画像は、静止画及び動画を含む。評価用画像は、例えば複数用意され、当該複数の評価用画像が順次表示される。表示制御部２０２は、注視点が目標領域に存在しないと判定される不在期間が所定期間を超える場合に、注意喚起信号に連動する注意喚起画像を表示画面１０１Ｓに表示させる。また、表示制御部２０２は、不在期間が所定期間を超える場合に、評価用画像の表示を停止させてもよい。また、表示制御部２０２は、評価用画像の表示が停止した状態で注視点が目標領域に存在すると判定された場合に、評価用画像の表示を再開させてもよい。
The
光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂの作動状態を制御する。光源制御部２０４は、第１光源１０３Ａと第２光源１０３Ｂとが異なるタイミングで検出光を射出するように第１光源１０３Ａ及び第２光源１０３Ｂを制御する。
The light
画像データ取得部２０６は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２によって取得された被験者の眼球１１１の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。
The image
入力データ取得部２０８は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。
The input
位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１０は、被験者の左右それぞれの眼球１１１について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
The
曲率中心算出部２１２は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。
The curvature
注視点検出部２１４は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置データをいう。注視点検出部２１４は、眼球１１１の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球１１１の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部２１４は、視線ベクトルと表示画面１０１Ｓとの交点を示す注視点の位置データを検出する。
The fixation
領域設定部２１６は、表示装置１０１の表示画面１０１Ｓに目標領域を設定する。領域設定部２１６は、例えば表示画面１０１Ｓの全面に目標領域を設定することができる。なお、領域設定部２１６は、表示画面１０１Ｓの一部に目標領域を設定してもよい。
The area setting unit 216 sets a target area on the
判定部２１８は、注視点の位置の検出結果である位置データに基づいて、注視点が目標領域に存在するか否かを判定し、判定データを出力する。判定部２１８は、例えば一定時間毎に注視点が目標領域に存在するか否かを判定する。一定時間としては、例えば第１カメラ１０２Ａ及び第２カメラ１０２Ｂから出力されるフレーム同期信号の周期（例えば５０［ｍｓｅｃ］毎）とすることができる。
The
演算部２２０は、判定部２１８の判定データに基づいて、注視点が目標領域に存在しないと判定された判定回数をカウントする。演算部２２０は、目標領域について判定回数をカウントするカウンタを有する。なお、演算部２２０は、評価用画像の再生時間を管理する管理タイマと、表示画面１０１Ｓに評価用画像が表示されてからの経過時間を検出する検出タイマを有する。
Based on the determination data of the
評価部２２４は、被験者の評価データを求める。評価データは、注視点検出部の検出結果に基づいて被験者を評価するデータである。
The
記憶部２２２は、表示画面１０１Ｓに表示させる評価用画像の画像データ、音声出力装置７０から出力させる指示用音声及び注意喚起音声の音声データ、可視光パターン出力装置８０から出力させる可視光パターンのパターンデータ、判定部２１８により出力された判定データ、評価部２２４から出力された評価データを記憶する。表示画面１０１Ｓに表示させる画像は、静止画及び動画を含む。
The
記憶部２２２は、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、被験者を評価する評価用画像を表示画面に表示させる処理と、表示画面において、被験者の注視点の目標領域を設定する処理と、注視点の位置データに基づいて、注視点が目標領域に存在するか否かを判定する処理と、注視点が目標領域に存在しないと判定される不在期間が所定期間を超える場合に注意喚起音声及び可視光パターンの少なくとも一方の注意喚起信号を出力装置から出力させ、当該注意喚起信号が出力された状態で注視点が目標領域に存在すると判定された場合に注意喚起信号の出力を停止させる処理と、被験者の注視点の位置データに基づいて、被験者の評価データを求める処理とをコンピュータに実行させる評価プログラムを記憶する。
The
出力制御部２２６は、出力装置５０、音声出力装置７０、可視光パターン出力装置８０の少なくとも一つにデータを出力する。本実施形態において、出力制御部２２６は、音声出力装置７０に被験者に対して指示を行う指示用音声や、被験者の注意を引き付ける注意喚起音声を出力させる。また、出力制御部２２６は、被験者の注意を引き付ける可視光パターンを出力させる。
The
また、出力制御部２２６は、不在期間が所定期間を超える場合、注意喚起音声及び可視光パターンの少なくとも一方の注意喚起信号を出力装置（音声出力装置７０、可視光パターン出力装置８０）から出力させる。出力制御部２２６は、注意喚起信号を出力装置から出力させることにより、被験者の注意を引き付け、注視点を目標領域に誘導する。以下、注意喚起信号を出力装置から出力させる処理を、視線誘導処理と表記する場合がある。出力制御部２２６は、注意喚起信号が出力されている状態で注視点が目標領域に存在すると判定された場合には、注意喚起信号の出力を停止させる。つまり、出力制御部２２６は、視線誘導処理が行われている状態で、注視点が目標領域に存在すると判定された場合には、視線誘導処理を停止させる。
Further, when the absence period exceeds the predetermined period, the
なお、出力制御部２２６は、被験者の左右それぞれの眼球１１１の注視点の位置を表示画面１０１Ｓ又は出力装置５０に表示させてもよい。
The
次に、本実施形態に係る曲率中心算出部２１２の処理の概要について説明する。曲率中心算出部２１２は、眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。図４及び図５は、本実施形態に係る角膜曲率中心１１０の位置データの算出方法を説明するための模式図である。図４は、１つの光源１０３Ｃで眼球１１１が照明される例を示す。図５は、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明される例を示す。
Next, an outline of processing of the curvature
まず、図４に示す例について説明する。光源１０３Ｃは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心１１３Ｃは、角膜反射像１１３の中心である。図４において、瞳孔中心１１２Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの瞳孔中心を示す。角膜反射中心１１３Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの角膜反射中心を示す。角膜反射中心１１３Ｃは、光源１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に存在する。角膜反射中心１１３Ｃは、角膜表面と角膜曲率中心１１０との中間点に位置付けられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。角膜反射中心１１３Ｃの位置データは、ステレオカメラ装置１０２によって検出される。角膜曲率中心１１０は、光源１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に存在する。曲率中心算出部２１２は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２２に記憶されている。
First, an example shown in FIG. 4 will be described. The
次に、図５に示す例について説明する。本実施形態においては、第１カメラ１０２Ａ及び第２光源１０３Ｂと、第２カメラ１０２Ｂ及び第１光源１０３Ａとは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置に仮想光源１０３Ｖが存在するとみなすことができる。角膜反射中心１２１は、第２カメラ１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、第１カメラ１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。角膜反射中心１２４の位置データは、ステレオカメラ装置１０２で取得された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２２２に記憶されている。曲率中心算出部２１２は、ステレオカメラ装置１０２で取得された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部２１２は、三次元グローバル座標系で規定される角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて、三次元グローバル座標系における角膜反射中心１２４の位置データを算出する。角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２１２は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２２に記憶されている。
Next, an example shown in FIG. 5 will be described. In the present embodiment, the
このように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。
Thus, even in the case where there are two light sources, the
角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置データ及び角膜曲率中心１１０の位置データが算出されることにより、角膜曲率半径１０９が算出される。
The
次に、本実施形態に係る視線検出方法の一例について説明する。図６は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置１３０が設定される。目標位置１３０は、三次元グローバル座標系において規定される。本実施形態において、目標位置１３０は、例えば表示装置１０１の表示画面１０１Ｓの中央位置に設定される。なお、目標位置１３０は、表示画面１０１Ｓの端部位置に設定されてもよい。出力制御部２２６は、設定された目標位置１３０に目標画像を表示させる。直線１３１は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。直線１３２は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線である。角膜曲率中心１１０は、直線１３１と直線１３２との交点である。曲率中心算出部２１２は、仮想光源１０３Ｖの位置データと、目標位置１３０の位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データとに基づいて、角膜曲率中心１１０の位置データを算出することができる。
Next, an example of the gaze detection method according to the present embodiment will be described. FIG. 6 is a schematic view for explaining an example of the calibration process according to the present embodiment. In the calibration process, a
次に、注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部２１４は、眼１１１の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。図７は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図７において、注視点１６５は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点１６６は、キャリブレーション処理で求められた距離１２６を用いて算出された角膜曲率中心から求めた注視点を示す。瞳孔中心１１２Ｃは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心１１３Ｃは、キャリブレーション処理において算出された角膜反射中心を示す。直線１７３は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。角膜曲率中心１１０は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離１２６は、キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０との距離である。角膜曲率中心１１０Ｈは、距離１２６を用いて角膜曲率中心１１０を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心１１０Ｈは、角膜曲率中心１１０が直線１７３上に存在すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離が距離１２６であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線１７７は、視線１７８に補正される。また、表示装置１０１の表示画面１０１Ｓ上の注視点は、注視点１６５から注視点１６６に補正される。
Next, attention point detection processing will be described. The fixation point detection process is performed after the calibration process. The fixation
［評価方法］
次に、本実施形態に係る評価方法について説明する。本実施形態において、視線検出装置１００は、例えば被験者の視線を検出することで被験者を評価する評価装置として使用される。以下の説明においては、視線検出装置１００を適宜、評価装置１００、と称する場合がある。
[Evaluation method]
Next, an evaluation method according to the present embodiment will be described. In the present embodiment, the line-of-
図８、図１０及び図１１は、評価装置１００の表示画面１０１Ｓと被験者の注視点との関係を示す図である。図８に示すように、被験者の注視点Ｐ１が表示画面１０１Ｓの目標領域Ａから外れた位置に存在する場合、注視点検出部２１４により求められる注視点の位置データは無効な値となる。
FIGS. 8, 10 and 11 are diagrams showing the relationship between the
図９は、表示画面１０１Ｓに設定される目標領域Ａの一例を示す図である。本実施形態において、目標領域Ａは、領域設定部２１６により、表示画面１０１Ｓの全面に設定されている。領域設定部２１６は、例えば表示画面１０１Ｓの基準点Ａ１と、当該基準点Ａ１からＹ方向に所定距離だけ離れた地点Ａ２と、Ｘ方向に所定距離だけ離れた地点Ａ３とに基づいて目標領域Ａを設定する。なお、領域設定部２１６は、表示画面１０１Ｓの一部の領域に目標領域Ａを設定してもよい。この場合、図９に示す状態から基準点Ａ１、地点Ａ２、Ａ３の位置の設定を変更すればよい。
FIG. 9 is a diagram showing an example of the target area A set on the
目標領域Ａが設定された場合、判定部２１８は、注視点検出部２１４によって検出された注視点の位置データに基づいて、注視点が目標領域Ａに存在するか否かを判定する。目標領域Ａが表示画面１０１Ｓの全面に設定されている場合、注視点が表示画面１０１Ｓのいずれかの位置に存在する場合には、注視点が目標領域Ａに存在する旨の判定を行う。一方、図８に示すように、注視点が表示画面１０１Ｓから外れた位置に存在する場合、つまり注視点検出部２１４により検出される位置データが無効な値となる場合には、注視点が目標領域Ａに存在しない旨の判定を行う。判定部２１８は、少なくとも注視点検出部２１４による注視点の位置の取得処理を行う間、上記判定を行う。
When the target area A is set, the
判定部２１８において注視点が目標領域Ａに存在しないと判定された回数が多くなるほど、注視点が目標領域Ａに存在しない期間が長いと推定することができる。したがって、本実施形態において、注視点が目標領域Ａに存在しない不在期間は、例えば判定部２１８で注視点が目標領域Ａに存在しないと判定された回数とすることができる。演算部２２０は、判定部２１８に設けられるカウンタのカウント結果を用いて不在期間を算出可能である。
As the number of times the
被験者の視線を検出することで被験者の評価を行う場合、注視点検出部２１４により無効なデータが検出される期間が長くなると、高精度な評価を行うことが困難となる。このため、図８のように被験者の注視点が目標領域Ａに存在しないと判定される不在期間が所定期間を超える場合には、以下の手順により、効率的に被験者の注視点を表示画面１０１Ｓ内に誘導する視線誘導処理が行われる。
In the case of evaluating a subject by detecting the line of sight of the subject, when the period in which invalid data is detected by the gaze
例えば、図１０に示すように、出力制御部２２６は、表示画面１０１Ｓの下部に配置される音声出力装置７０から注意喚起音声を出力させる。注意喚起音声を出力させることにより、被験者の注意を音声出力装置７０側に引き付け、注視点を表示画面１０１Ｓの外側の位置Ｐ１から表示画面１０１Ｓ内の位置Ｐ２へと誘導する。注意喚起音声としては、ビープ音等の電子機器の発信音であってもよいし、動物の鳴き声や救急車のサイレン、打楽器を鳴らした音等、日常生活の中で聞き取れる音声であってもよい。
For example, as shown in FIG. 10, the
また、例えば、図１１に示すように、出力制御部２２６は、表示画面１０１Ｓの下部に配置される可視光パターン出力装置８０から可視光パターンを出力させる。可視光パターンを出力させることにより、被験者の注意を可視光パターン出力装置８０側に引き付け、注視点を表示画面１０１Ｓの外側の位置（Ｐ１）から表示画面１０１Ｓ内の位置Ｐ３へと誘導する。可視光パターンの発光パターンについては、例えば所定間隔で点滅させる態様であってもよいし、発光色を変化させる態様であってもよい。
Further, for example, as shown in FIG. 11, the
出力制御部２２６は、図１０に示す注意喚起音声の出力と、図１１に示す可視光パターンの出力とを、同時に行ってもよい。これにより、注意喚起音声及び可視光パターンの双方の注意喚起信号により、被験者の注意を一層引き付けることが可能となる。例えば、注視点検出部２１４において、注視点が目標領域Ａからどの程度離れた位置に存在するかを検出可能である場合、目標領域Ａからの距離に応じて、注意喚起音声及び可視光パターンの組み合わせが異なるように設定してもよい。例えば、出力制御部２２６は、目標領域Ａからの距離が所定の閾値よりも近い場合には注意喚起音声及び可視光パターンの一方のみを出力させ、目標領域Ａからの距離が所定の閾値よりも遠い場合には、注意喚起音声及び可視光パターンの両方を出力させるようにしてもよい。
The
また、表示制御部２０２は、上記のような注意喚起音声及び可視光パターンの少なくとも一方の注意喚起信号が出力される場合、当該注意喚起信号に関連する注意喚起画像を表示画面１０１Ｓに表示させてもよい。例えば、注意喚起信号として動物の鳴き声が出力される場合、表示制御部２０２は、当該鳴き声に該当する動物の画像を注意喚起画像として、表示画面１０１Ｓに表示させてもよい。また、注意喚起信号として救急車のサイレン音が出力される場合、表示制御部２０２は、救急車の画像を注意喚起画像として、表示画面１０１Ｓに表示させてもよい。注意喚起画像を表示画面１０１Ｓに表示させることで、被験者の注意を一層引き付けることが可能となる。また、注意喚起信号として注意喚起音声や可視光パターンを出力する代わりに、表示制御部２０２は、被験者の注意を引き付ける画像である注意喚起画像を表示してもよい。
Further, when at least one of the alerting signal and the visible light pattern as described above is output, the
判定部２１８は、出力制御部２２６による注意喚起信号の出力制御及び表示制御部２０２による注意喚起画像の表示制御が行われている間においても、注視点検出部２１４によって検出された注視点の位置データに基づいて、注視点が目標領域Ａに存在するか否かを判定する。例えば、上記の注意喚起信号の出力制御及び注意喚起画像の表示制御により、被験者の注視点が表示画面１０１Ｓ内（目標領域Ａ内）に誘導された場合、判定部２１８は、注視点が目標領域Ａに存在する旨の判定を行う。
The
このように、注意喚起信号の出力制御及び表示制御部２０２による注意喚起画像の表示制御が行われている期間に、注視点が目標領域Ａに存在する旨の判定が行われた場合には、被験者の注視点を目標領域Ａに誘導することに成功したと考えられる。そこで、このような場合、出力制御部２２６は、注意喚起信号の出力を停止させる。また、表示制御部２０２は、注意喚起画像の表示を終了させる。
As described above, when it is determined that the fixation point is present in the target area A while the output control of the alerting signal and the display control of the alerting image by the
上記のように被験者の注視点が目標領域Ａから外れた位置に存在する場合、被験者は、表示画面１０１Ｓに表示される評価用画像を見ていないことになる。このため、表示画面１０１Ｓに評価用画像を表示させ続けると、被験者が見ていないまま評価用画像の表示が先に進んでしまう。
As described above, when the subject's gaze point is at a position deviated from the target area A, the subject does not look at the evaluation image displayed on the
そこで、不在期間が所定期間を超える場合、表示制御部２０２は、評価用画像の表示を停止させてもよい。この場合、被験者が表示画面１０１Ｓを見ていない間には評価用画像の表示が停止されるため、被験者が注視点を再び表示画面１０１Ｓ上に戻した場合、評価用画像が先に進んだ状態となるのを回避できる。
Therefore, when the absence period exceeds the predetermined period, the
また、表示制御部２０２は、評価用画像の表示が停止した状態で注視点が目標領域Ａに存在すると判定された場合、つまり、被験者の注視点が目標領域Ａに誘導された場合、評価用画像の表示を再開させてもよい。この場合、表示制御部２０２は、停止した時点から評価用画像の表示を再開させてもよいし、停止した時点よりも遡った時点から評価用画像の表示を再開させてもよい。
In addition, when it is determined that the fixation point is present in the target area A while the display of the evaluation image is stopped, that is, when the fixation point of the subject is guided to the target area A, the
次に、本実施形態に係る評価方法の一例について、図１２を参照しながら説明する。図１２は、本実施形態に係る評価方法の一例を示すフローチャートである。まず、表示制御部２０２は、評価用画像を選択して表示画面１０１Ｓに表示させる（ステップＳ１０１）。次に、注視点検出部２１４は、キャリブレーションを行い（ステップＳ１０２）、注視点の位置データを検出する際に用いるパラメータを算出して設定する（ステップＳ１０３）。次に、演算部２２０は、視線誘導処理を実行するまでの閾値となる所定の期間を設定する（ステップＳ１０４）。また、演算部２２０は、注視点が目標領域Ａに存在しない期間をカウントするカウンタの値をリセットする。
Next, an example of the evaluation method according to the present embodiment will be described with reference to FIG. FIG. 12 is a flowchart showing an example of the evaluation method according to the present embodiment. First, the
所定の期間が設定され、カウンタの値がリセットされた後、注視点検出部２１４は、注視点の位置データの検出を開始する（ステップＳ１０５）。注視点の位置データの検出が開始された場合、出力制御部２２６は、視線検出処理を行う（ステップＳ１０６）。視線検出処理の詳細については後述する。
After the predetermined period is set and the value of the counter is reset, the fixation
その後、表示制御部２０２は、評価用画像の表示が完了したか否かを判断する（ステップＳ１０７）。評価用画像の表示が完了したと判断された場合（ステップＳ１０７のＹｅｓ）、評価部２２４は、注視点検出部２１４の検出結果に基づいて、被験者の評価データを求め（ステップＳ１０８）、出力装置５０等に出力させる（ステップＳ１０９）。なお、出力制御部２２６は、求めた評価データを記憶部２２２に記憶させてもよい。一方、評価用画像の表示が完了していないと判断された場合（ステップＳ１０７のＮｏ）、出力制御部２２６は、繰り返し視線検出処理を行う（ステップＳ１０６）。
Thereafter, the
次に、視線誘導処理について説明する。図１３から図１５は、視線誘導処理の一例を示すフローチャートである。図１３では、視線誘導処理として、刺激音声の出力及び関連画像の表示を行う場合の一例を示している。図１３に示すように、視線誘導処理において、注視点検出部２１４は、注視点の位置データを取得する（ステップＳ２０１）。判定部２１８は、取得された注視点の位置データに基づいて、注視点が目標領域Ａに存在するか否かを判定する（ステップＳ２０２）。
Next, the gaze guidance processing will be described. 13 to 15 are flowcharts showing an example of the line-of-sight guidance processing. FIG. 13 illustrates an example in the case of performing output of a stimulus sound and display of a related image as the line-of-sight guidance processing. As shown in FIG. 13, in gaze guidance processing, the gaze
ステップＳ２０２において、注視点が目標領域Ａに存在しないと判定された場合（ステップＳ２０２のＮｏ）、演算部２２０は、カウンタの値を所定数（例えば、＋１）アップさせる（ステップＳ２０３）。ステップＳ２０３の後、出力制御部２２６は、不在期間が所定期間を超えたか否かを判断する（ステップＳ２０４）。出力制御部２２６は、不在期間が所定期間を超えたと判断した場合（ステップＳ２０４のＹｅｓ）、音声出力装置７０から刺激音声を出力させる（ステップＳ２０５）。また、表示制御部２０２は、関連画像を表示するか否かの判断を行い（ステップＳ２０６）、関連画像を表示すると判断した場合には（ステップＳ２０６のＹｅｓ）、表示画面１０１Ｓに関連画像を表示させる（ステップＳ２０７）。また、表示制御部２０２は、ステップＳ２０６において、関連画像を表示しないと判断した場合には（ステップＳ２０６のＮｏ）、ステップＳ２０７を行わないようにする。ステップＳ２０７の処理又はステップＳ２０６のＮｏの処理を行った場合、出力制御部２２６は、刺激音声を出力したタイミングを記憶部２２２に記憶させる（ステップＳ２０８）。このタイミングに関するデータは、被験者を評価する評価データに含めてもよい。
When it is determined in step S202 that the fixation point is not present in the target area A (No in step S202), the
一方、上記ステップＳ２０２において注視点が目標領域Ａに存在すると判定された場合（ステップＳ２０２のＹｅｓ）、演算部２２０は、カウンタの値をリセットさせる（ステップＳ２０９）。ステップＳ２０９の後、出力制御部２２６及び表示制御部２０２は、注意喚起音声の出力及び注意喚起画像の表示が行われているか否かを判断する（ステップＳ２１０）。出力制御部２２６及び表示制御部２０２は、注意喚起音声の出力及び注意喚起画像の表示が行われていると判断した場合（ステップＳ２１０のＹｅｓ）、注意喚起音声の出力を終了させ、注意喚起画像の表示を終了させる（ステップＳ２１１）。
On the other hand, when it is determined in step S202 that the fixation point is present in the target area A (Yes in step S202), the
上記のフローにおいて、ステップＳ２０４のＮｏの処理、ステップＳ２０８の処理、ステップＳ２１０のＮｏの処理、又はステップＳ２１１の処理を行われた場合、視線誘導処理が完了する。 In the above flow, when the process of No in step S204, the process of step S208, the process of No in step S210, or the process of step S211 is performed, the line-of-sight guidance process is completed.
次に、図１４を参照して、視線誘導処理の他の例を説明する。図１４では、視線誘導処理として、可視光パターンの出力と注意喚起音声の出力とを行う場合の一例を示している。図１４に示す例では、ステップＳ３０１〜ステップＳ３０４については、図１３に示す例のステップＳ２０１〜ステップＳ２０４と同様である。この場合、ステップＳ３０４において、出力制御部２２６は、不在期間が所定期間を超えたと判断した場合（ステップＳ３０４のＹｅｓ）、可視光パターン出力装置８０から可視光パターンを出力させる（ステップＳ３０５）。また、出力制御部２２６は、可視光パターンと同時に注意喚起音声を出力させるか否かを判断し（ステップＳ３０６）、注意喚起音声を出力させると判断した場合には（ステップＳ３０６のＹｅｓ）、音声出力装置７０から注意喚起音声を出力させる（ステップＳ３０７）。また、出力制御部２２６は、ステップＳ３０６において、注意喚起音声の出力を行わないと判断した場合には（ステップＳ３０６のＮｏ）、ステップＳ３０７を行わないようにする。ステップＳ３０７の処理又はステップＳ３０６のＮｏの処理を行った場合、出力制御部２２６は、可視光パターンを出力したタイミングを記憶部２２２に記憶させる（ステップＳ３０８）。このタイミングに関するデータは、被験者を評価する評価データに含めてもよい。
Next, another example of the line-of-sight guidance processing will be described with reference to FIG. FIG. 14 shows an example in the case of performing the output of a visible light pattern and the output of an alerting voice as the gaze guidance processing. In the example shown in FIG. 14, steps S301 to S304 are the same as steps S201 to S204 in the example shown in FIG. In this case, in step S304, when the
一方、上記ステップＳ３０２において注視点が目標領域Ａに存在すると判定された場合（ステップＳ３０２のＹｅｓ）、演算部２２０は、カウンタの値をリセットさせる（ステップＳ３０９）。ステップＳ３０９の後、出力制御部２２６は、可視光パターンの出力及び注意喚起音声の出力が行われているか否かを判断する（ステップＳ３１０）。出力制御部２２６は、可視光パターンの出力及び注意喚起音声の出力が行われていると判断した場合（ステップＳ３１０のＹｅｓ）、可視光パターンの出力及び注意喚起音声の出力を終了させる（ステップＳ３１１）。
On the other hand, when it is determined in step S302 that the gaze point is present in the target area A (Yes in step S302), the
上記のフローにおいて、ステップＳ３０４のＮｏの処理、ステップＳ３０８の処理、ステップＳ３１０のＮｏの処理、又はステップＳ３１１の処理を行われた場合、視線誘導処理が完了する。 In the above flow, when the process of No in step S304, the process of step S308, the process of No in step S310, or the process of step S311 is performed, the line-of-sight guidance process is completed.
次に、図１５を参照して、視線誘導処理の他の例を説明する。図１５では、視線誘導処理として、注意喚起音声の出力、可視光パターンの出力、及び注意喚起画像の表示をすべて行う場合の一例を示している。図１５に示す例では、ステップＳ４０１〜ステップＳ４０４については、図１３に示す例のステップＳ２０１〜ステップＳ２０４と同様である。この場合、ステップＳ４０４において、出力制御部２２６は、不在期間が所定期間を超えたと判断した場合（ステップＳ４０４のＹｅｓ）、音声出力装置７０から注意喚起音声を出力させる（ステップＳ４０５）。また、出力制御部２２６は、可視光パターン出力装置８０から可視光パターンを出力させる（ステップＳ４０６）。そして、表示制御部２０２は、表示画面１０１Ｓに注意喚起画像を表示させる（ステップＳ４０７）。その後、出力制御部２２６は、注意喚起音声を出力したタイミングを記憶部２２２に記憶させる（ステップＳ４０８）。このタイミングに関するデータは、被験者を評価する評価データに含めてもよい。
Next, another example of the line-of-sight guidance processing will be described with reference to FIG. FIG. 15 shows an example in the case where the output of the alerting voice, the output of the visible light pattern, and the display of the alerting image are all performed as the visual line guidance processing. In the example shown in FIG. 15, steps S401 to S404 are the same as steps S201 to S204 in the example shown in FIG. In this case, in step S404, when the
一方、上記ステップＳ４０２において注視点が目標領域Ａに存在すると判定された場合（ステップＳ４０２のＹｅｓ）、演算部２２０は、カウンタの値をリセットさせる（ステップＳ４０９）。ステップＳ４０９の後、出力制御部２２６は、注意喚起音声の出力及び可視光パターンの出力が行われているか否かを判断する（ステップＳ４１０）。出力制御部２２６は、激音声の出力及び可視光パターンの出力の出力が行われていると判断した場合（ステップＳ４１０のＹｅｓ）、激音声の出力及び可視光パターンの出力の出力を終了させる（ステップＳ４１１）。同様に、表示制御部２０２は、注意喚起画像の表示が行われているか否かを判断し、注意喚起画像の表示が行われていると判断した場合、注意喚起画像の表示を終了させる。
On the other hand, when it is determined in step S402 that the gaze point is present in the target area A (Yes in step S402), the
上記のフローにおいて、ステップＳ４０４のＮｏの処理、ステップＳ４０８の処理、ステップＳ４１０のＮｏの処理、又はステップＳ４１１の処理を行われた場合、視線誘導処理が完了する。 In the above flow, when the process of No in step S404, the process of step S408, the process of No in step S410, or the process of step S411 is performed, the line-of-sight guidance process is completed.
次に、本実施形態に係る評価方法の他の例について、図１６を参照しながら説明する。図１６は、本実施形態に係る評価方法の他の例を示すフローチャートである。図１６では、不在期間が所定期間を超える場合に評価用画像の表示を停止させる場合の一例を示している。図１６に示す例では、ステップＳ５０１〜ステップＳ５０６、ステップＳ５１１〜ステップＳ５１３の処理については、それぞれ、図１２に示す例のステップＳ１０１〜ステップＳ１０６、ステップＳ１０７〜ステップＳ１０９の処理と同様である。この場合、ステップＳ５０６（図１３から図１５参照）の後、表示制御部２０２は、視線誘導処理（注意喚起信号の出力）を行ったか否かを判断する（ステップＳ５０７）。表示制御部２０２は、視線誘導処理を行ったと判断した場合（ステップＳ５０７のＹｅｓ）、評価用画像の表示を停止させてから（ステップＳ５０８）、ステップＳ５１１の処理に移行する。また、表示制御部２０２は、視線誘導処理を行わなかったと判断した場合（ステップＳ５０７のＮｏ）、当該ステップＳ５０７を行った以前に直近に行ったステップＳ５０７において、視線誘導処理を行ったと判断したか否かを判断する（ステップＳ５０９）。ステップＳ５０９において、視線誘導処理を行ったという判断である場合（ステップＳ５０９のＹｅｓ）、評価用画像は停止した状態であるため、当該評価用画像の表示を再開させる（ステップＳ５１０）。また、ステップＳ５０９において、視線誘導処理を行わなかったという判断である場合（ステップＳ５０９のＮｏ）、評価用画像の表示が既に再開されているため、ステップＳ５１０の処理を行わずに、ステップＳ５１１の処理に移行する。
Next, another example of the evaluation method according to the present embodiment will be described with reference to FIG. FIG. 16 is a flowchart showing another example of the evaluation method according to the present embodiment. FIG. 16 illustrates an example in which the display of the evaluation image is stopped when the absence period exceeds the predetermined period. In the example illustrated in FIG. 16, the processes of steps S501 to S506 and steps S511 to S513 are the same as the processes of steps S101 to S106 and steps S107 to S109 of the example illustrated in FIG. 12, respectively. In this case, after step S506 (see FIG. 13 to FIG. 15), the
以上のように、本実施形態に係る評価装置１００は、被験者の画像データを取得する画像データ取得部２０６と、画像データに基づいて、被験者の注視点の位置データを検出する注視点検出部２１４と、表示画面１０１Ｓに被験者を評価する評価用画像を表示させる表示制御部２０２と、表示画面１０１Ｓにおいて、被験者の注視点の目標領域Ａを設定する領域設定部２１６と、注視点の位置データに基づいて、注視点が目標領域Ａに存在するか否かを判定する判定部２１８と、注視点が目標領域Ａに存在しないと判定される不在期間が所定期間を超える場合に注意喚起信号を出力装置（７０、８０）から出力させ、当該注意喚起信号が出力された状態で注視点が目標領域Ａに存在すると判定された場合に注意喚起信号の出力を停止させる出力制御部２２６と、被験者の注視点の位置データに基づいて、被験者の評価データを求める評価部２２４とを備える。
As described above, the
この構成によれば、注意喚起音声及び可視光パターンの少なくとも一方の注意喚起信号により被験者の注意を引き付けることができ、被験者の注視点を目標領域Ａに効率的に誘導することができる。また、被験者の注視点が目標領域Ａに誘導された場合、注意喚起信号の出力を停止させるため、注視点を誘導した後には視線検出処理を速やかに継続させることができる。 According to this configuration, the attention of the subject can be drawn by the attention calling signal of at least one of the attention calling voice and the visible light pattern, and the subject's gaze point can be efficiently guided to the target area A. In addition, when the subject's gaze point is guided to the target area A, the gaze detection process can be promptly continued after guiding the gaze point in order to stop the output of the alerting signal.
本実施形態に係る評価装置１００において、表示制御部２０２は、不在期間が所定期間を超える場合に、注意喚起信号に連動する注意喚起画像を表示画面１０１Ｓに表示させる。これにより、被験者の注意を一層引き付けることが可能となる。
In the
本実施形態に係る評価装置１００において、領域設定部２１６は、目標領域Ａを表示画面１０１Ｓの全面に設定する。これにより、被験者の注視点を誘導する目標領域Ａを広く確保できる。
In the
本実施形態に係る評価装置１００において、表示制御部２０２は、不在期間が所定期間を超える場合に、画像の表示を停止させる。これにより、被験者が表示画面１０１Ｓを見ていない間には評価用画像の表示が停止されるため、被験者が注視点を再び表示画面１０１Ｓ上に戻した場合、評価用画像が先に進んだ状態となるのを回避できる。
In the
本実施形態に係る評価装置１００において、表示制御部２０２は、画像の表示が停止した状態で注視点が目標領域Ａに存在すると判定された場合に、画像の表示を再開させる。これにより、視線検出処理を速やかに継続させることができる。
In the
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、図１６に示すように、不在期間が所定期間を超える場合に、視線誘導処理を行いかつ評価用画像の表示を停止させる処理を行う処理を例に挙げて説明したが、これに限定されない。例えば、不在期間が所定期間を超える場合に、視線誘導処理を行うことなく、評価用画像の表示を停止させる処理のみを行ってもよい。 The technical scope of the present invention is not limited to the above embodiment, and appropriate modifications can be made without departing from the scope of the present invention. For example, in the above embodiment, as shown in FIG. 16, the process of performing the line-of-sight guidance process and the process of stopping the display of the evaluation image has been described as an example. Not limited to this. For example, when the absence period exceeds the predetermined period, only the process of stopping the display of the evaluation image may be performed without performing the gaze guidance process.
図１７は、本実施形態に係る評価方法の他の例を示すフローチャートである。図１７では、不在期間が所定期間を超える場合に評価用画像の表示を停止させる場合の一例を示している。図１７に示す例では、ステップＳ６０１〜ステップＳ６０４については、図１３に示す例のステップＳ２０１〜ステップＳ２０４と同様である。この場合、ステップＳ６０４において、出力制御部２２６は、不在期間が所定期間を超えたと判断した場合（ステップＳ６０４のＹｅｓ）、表示制御部２０２は、評価用画像の表示を停止させる（ステップＳ６０５）。その後、表示制御部２０２は、評価用画像の表示を停止したタイミングを記憶部２２２に記憶させる（ステップＳ６０６）。
FIG. 17 is a flowchart showing another example of the evaluation method according to the present embodiment. FIG. 17 illustrates an example in which the display of the evaluation image is stopped when the absence period exceeds the predetermined period. In the example shown in FIG. 17, steps S601 to S604 are the same as steps S201 to S204 in the example shown in FIG. In this case, when the
一方、上記ステップＳ６０２において注視点が目標領域Ａに存在すると判定された場合（ステップＳ６０２のＹｅｓ）、演算部２２０は、カウンタの値をリセットさせる（ステップＳ６０７）。ステップＳ６０７の後、表示制御部２０２は、評価用画像が停止しているか否かを判断する（ステップＳ６０８）。表示制御部２０２は、評価用画像が停止していると判断した場合（ステップＳ６０８のＹｅｓ）、評価用画像の表示を再開させる（ステップＳ６０９）。また、表示制御部２０２は、評価用画像が停止していないと判断した場合（ステップＳ６０８のＮｏ）、ステップＳ６０９を行うことなく、処理を終了させる。
On the other hand, when it is determined in step S602 that the fixation point is present in the target area A (Yes in step S602), the
このように、表示制御部２０２は、不在期間が所定期間を超える場合に、画像の表示を停止させる。これにより、被験者が表示画面１０１Ｓを見ていない間には評価用画像の表示が停止されるため、被験者が注視点を再び表示画面１０１Ｓ上に戻した場合、評価用画像が先に進んだ状態となるのを回避できる。
Thus, the
［実施形態２］
図１８及び図１９は、評価装置の表示画面と被験者の注視点との関係についての他の例を示す図である。図１８に示す例では、被験者の左目１１１Ｌの視線１７８Ｌと、右目１１１Ｒの視線１７８Ｒとの交点である注視位置Ｐｃが、表示画面１０１Ｓ上に存在している。この場合、被験者は、表示画面１０１Ｓを注視していると判定できる。
Second Embodiment
FIG. 18 and FIG. 19 are diagrams showing other examples of the relationship between the display screen of the evaluation device and the gaze point of the subject. In the example illustrated in FIG. 18, a gaze position Pc, which is an intersection point of the line of
一方、図１９に示す例では、被験者の左目１１１Ｌの視線１７８Ｌと、右目１１１Ｒの視線１７８Ｒとの交点である注視位置Ｐｃが、被験者から見て表示画面１０１Ｓよりも遠方に存在している。表示画面１０１Ｓには、被験者の左目１１１Ｌについての注視点Ｐｌと、右目１１１Ｒについての注視点Ｐｒとが離れた位置に存在している。このとき、表示画面１０１Ｓでは、被験者の注視点は、左目１１１Ｌの注視点Ｐｌと、右目１１１Ｒの注視点Ｐｒとの間の位置Ｐｅに存在すると算出される。
On the other hand, in the example shown in FIG. 19, a gaze position Pc, which is an intersection point of a line of
左目１１１Ｌの注視点Ｐｌと、右目１１１Ｒの注視点Ｐｒとの距離が大きいと、注視位置Ｐｃと左右の注視点の間の位置Ｐｅとの距離が大きくなるため、被験者が位置Ｐｅを注視しているとは言えない状態となる。そこで、処理部２２０は、左目１１１Ｌの注視点Ｐｌと、右目１１１Ｒの注視点Ｐｒとの距離を算出し、当該距離が所定の閾値以上の場合には、被験者が表示画面１０１Ｓを注視していないと判断することができる。
If the distance between the fixation point Pl of the
図２０は、評価方法の他の例を示すフローチャートである。図２０に示す例において、ステップＳ７０１〜ステップＳ７０３は、図１２に示す例のステップＳ１０１〜ステップＳ１０３と同様である。ステップＳ７０３の後、演算部２２０は、注視位置の判定に使用する左右の注視点間距離の閾値Ｘを設定する（ステップＳ７０４）。閾値Ｘを設定した後、注視点検出部２１４は、注視点の位置データの検出を開始し（ステップＳ７０５）、被験者の眼球１１１の映像データを取得し（ステップＳ７０６）、左右の注視点の位置データを算出する（ステップＳ７０７）。
FIG. 20 is a flowchart showing another example of the evaluation method. In the example shown in FIG. 20, steps S701 to S703 are the same as steps S101 to S103 in the example shown in FIG. After step S703, the
判定部２１８は、算出された左右の注視点間の距離が閾値Ｘよりも小さいか否かを判定する（ステップＳ７０８）。演算部２２０は、左右の注視点間の距離が閾値Ｘよりも小さい場合（ステップＳ７０８のＹｅｓ）、被験者が表示画面１０１Ｓを注視しているものとし、左右の注視点の位置データを記憶部２２２に記憶させる（ステップＳ７１０）。一方、演算部２２０は、左右の注視点間の距離が閾値Ｘ以上である場合（ステップＳ７０８のＮｏ）、被験者が表示画面１０１Ｓを注視していないものとし、注視点の判定が無効である旨のフラグを記録した上で（ステップＳ７０９）、左右の注視点の位置データを記憶部２２２に記憶させる（ステップＳ７１０）。
The
その後、表示制御部２０２は、評価用画像の表示が完了したか否かを判断する（ステップＳ７１１）。評価用画像の表示が完了したと判断された場合（ステップＳ７１１のＹｅｓ）、評価部２２４は、注視点検出部２１４の検出結果に基づいて、被験者の評価データを求め（ステップＳ７１２）、出力装置５０等に出力させる（ステップＳ７１３）。なお、出力制御部２２６は、求めた評価データを記憶部２２２に記憶させてもよい。一方、評価用画像の表示が完了していないと判断された場合（ステップＳ７１１のＮｏ）、出力制御部２２６は、繰り返し映像データの取得を行う（ステップＳ７０６）。
After that, the
このように、左右の注視点間距離を算出し、算出結果に基づいて被験者が表示画面１０１Ｓを注視していないと判断することが可能となるため、被験者が表示画面１０１Ｓを注視していないと判断した場合の検出結果を用いないようにする等、無効化する処理を行うことができる。これにより、評価方法における精度を向上させることができる。
As described above, it is possible to calculate the left and right gaze point distances and to judge that the subject is not gazing at the
このような左右の注視点間距離に基づいて注視結果の有効性を判定する処理については、上記実施形態で説明した所定の信号の出力及び出力停止の処理に加えて、又は当該所定の信号の出力及び出力停止の処理に代えて行うことができる。また、左右の注視点間距離に基づいて注視結果の有効性を判定する処理については、上記実施形態で説明した取得された注視点の位置データに基づいて、注視点が目標領域Ａに存在するか否かを判定する処理に加えて、又は注視点が目標領域Ａに存在するか否かを判定する処理に代えて行うことができる。 The process of determining the effectiveness of the gaze result based on the distance between the right and left fixation points in addition to the process of outputting and stopping the predetermined signal described in the above embodiment or the process of determining the effectiveness of the predetermined signal It can replace the process of output and output stop. Further, in the processing of determining the effectiveness of the fixation result based on the distance between the right and left fixation points, the fixation point exists in the target area A based on the acquired position data of the fixation points described in the above embodiment. In addition to the process of determining whether or not the process is performed, or in place of the process of determining whether or not the fixation point is in the target area A.
具体的には、例えば図１２に示すステップＳ１０４とステップＳ１０５の間に、図２０に示す、演算部２２０が注視点位置判定に使用する左右の注視点間距離Ｘを設定するステップＳ７０４を挿入する。図１３に示すステップＳ２０２のＹｅｓと、ステップＳ２０９の間に、図２０に示す、判定部２１８が左右の注視点間の距離が閾値Ｘよりも小さいか否かを判定するステップＳ７０８を挿入する。左右の注視点間の距離が閾値Ｘよりも小さい場合（ステップＳ７０８のＹｅｓ）、被験者が目標領域Ａを注視しているものとし、ステップＳ２０９に進む。左右の注視点間の距離が閾値Ｘ以上である場合（ステップＳ７０８のＮｏ）、被験者が目標領域Ａを注視していないものとし、ステップＳ２０３に進む、という評価方法にすることができる。
Specifically, for example, between step S104 and step S105 shown in FIG. 12, step S704 shown in FIG. 20 for setting the distance X between the right and left gaze points used for the gaze point position determination is inserted. . Step S 708 shown in FIG. 20 is performed to determine whether the distance between the right and left fixation points is smaller than the threshold X, between Yes in
［実施形態３］
図２１から図２３は、評価装置の表示画面と被験者の注視点との関係についての他の例を示す図である。図２１から図２３に示す例では、表示画面１０１Ｓと平行な仮想画面１０１Ａ、１０１Ｂを用いている。仮想画面１０１Ａは、表示画面１０１Ｓよりも被験者に近づく側に配置される。仮想画面１０１Ｂは、表示画面１０１Ｓよりも被験者から離れる側に配置される。仮想画面１０１Ａと表示画面１０１Ｓとの間の距離は、仮想画面１０１Ｂと表示画面１０１Ｓとの間の距離に等しい（共に距離Ｙ）。
Third Embodiment
21 to 23 are diagrams showing other examples of the relationship between the display screen of the evaluation device and the gaze point of the subject. In the examples shown in FIGS. 21 to 23,
図２１に示す例では、被験者の左目１１１Ｌの視線１７８Ｌと右目１１１Ｒの視線１１１Ｒの視線１７８Ｒとは、表示画面１０１Ｓと仮想画面１０１Ｂとの間で交差（注視位置Ｐｃ）している。この場合、表示画面１０１Ｓにおける左右の注視点間距離をＬ１とし、仮想画面１０１Ａにおける左右の注視点間距離をＬ２とし、仮想画面１０１Ｂにおける左右の注視点間距離をＬ３とすると、Ｌ３＜Ｌ２となっている。
In the example shown in FIG. 21, the line of
図２２に示す例では、被験者の左目１１１Ｌの視線１７８Ｌと右目１１１Ｒの視線１１１Ｒの視線１７８Ｒとは、表示画面１０１Ｓ上で交差（注視位置Ｐｃ）している。この場合、表示画面１０１Ｓにおける左右の注視点間距離をＬ１とし、仮想画面１０１Ａにおける左右の注視点間距離をＬ２とし、仮想画面１０１Ｂにおける左右の注視点間距離をＬ３とすると、Ｌ１＜Ｌ２、Ｌ１＜Ｌ３、かつ、Ｌ２＝Ｌ３となっている。
In the example shown in FIG. 22, the line of
図２３に示す例では、被験者の左目１１１Ｌの視線１７８Ｌと右目１１１Ｒの視線１１１Ｒの視線１７８Ｒとは、表示画面１０１Ｓと仮想画面１０１Ａとの間で交差（注視位置Ｐｃ）している。この場合、表示画面１０１Ｓにおける左右の注視点間距離をＬ１とし、仮想画面１０１Ａにおける左右の注視点間距離をＬ２とし、仮想画面１０１Ｂにおける左右の注視点間距離をＬ３とすると、Ｌ２＜Ｌ３となっている。
In the example shown in FIG. 23, the line of
このように、演算部２２０は、表示画面１０１Ｓの近方と遠方とに仮想画面１０１Ａ、１０１Ｂを設定し、仮想画面１０１Ａ、１０１Ｂにおける左右の注視点間距離と表示画面１０１Ｓにおける左右の注視点間距離とを比較することにより、被験者の左右の視線の交点である注視位置Ｐｃが表示画面１０１Ｓよりも近方に存在するのか、遠方に存在するのかを判別することができる。
In this manner, the
図２４は、評価方法の他の例を示すフローチャートである。図２４に示す例において、ステップＳ８０１〜ステップＳ８０４は、図２０に示す例のステップＳ７０１〜ステップＳ７０４と同様である。ステップＳ８０４の後、演算部２２０は、表示画面１０１Ｓと仮想画面１０１Ａ、１０１Ｂとの距離Ｙを設定する（ステップＳ８０５）。距離Ｙを設定した後、注視点検出部２１４は、注視点の位置データの検出を開始し（ステップＳ８０６）、被験者の眼球１１１の映像データを取得し（ステップＳ８０７）、表示画面１０１Ｓにおける被験者の左右の注視点の位置データを算出する（ステップＳ８０８）。
FIG. 24 is a flowchart showing another example of the evaluation method. In the example shown in FIG. 24, steps S801 to S804 are the same as steps S701 to S704 in the example shown in FIG. After step S804, the
判定部２１８は、算出された左右の注視点間の距離Ｌ１が閾値Ｘよりも小さいか否かを判定する（ステップＳ８０９）。演算部２２０は、左右の注視点間の距離Ｌ１が閾値Ｘよりも小さい場合（ステップＳ８０９のＹｅｓ）、被験者が表示画面１０１Ｓを注視しているものとし、左右の注視点の位置データを記憶部２２２に記憶させる（ステップＳ８１４）。
The
一方、演算部２２０は、左右の注視点間の距離Ｌ１が閾値Ｘ以上である場合（ステップＳ８０９のＮｏ）、仮想画面１０１Ａ、１０１Ｂのそれぞれにおける被験者の左右の注視点間の距離Ｌ２、Ｌ３を算出する（ステップＳ８１０）。距離Ｌ２、Ｌ３を算出した後、演算部２２０は、算出結果がＬ３＜Ｌ２であるか否かを判定する（ステップＳ８１１）。演算部２２０は、算出結果がＬ３＜Ｌ２であると判定した場合（ステップＳ８１１のＹｅｓ）、被験者の注視位置Ｐｃが表示画面１０１Ｓよりも遠方であると記憶部２２２に記憶させる（ステップＳ８１２）。また、演算部２２０は、算出結果がＬ３＜Ｌ２ではないと判定した場合（ステップＳ８１１のＮｏ）、被験者の注視位置が表示画面１０１Ｓよりも近方であると記憶部２２２に記憶させる（ステップＳ８１３）。ステップＳ８１２又はステップＳ８１３の後、演算部２２０は、左右の注視点の位置データを記憶部２２２に記憶させる（ステップＳ８１４）。
On the other hand, when the distance L1 between the right and left fixation points is equal to or larger than the threshold X (No in step S809), the
その後、表示制御部２０２は、評価用画像の表示が完了したか否かを判断する（ステップＳ８１５）。評価用画像の表示が完了したと判断された場合（ステップＳ８１５のＹｅｓ）、評価部２２４は、注視点検出部２１４の検出結果に基づいて、被験者の評価データを求め（ステップＳ８１６）、出力装置５０等に出力させる（ステップＳ８１７）。なお、出力制御部２２６は、求めた評価データを記憶部２２２に記憶させてもよい。一方、評価用画像の表示が完了していないと判断された場合（ステップＳ８１５のＮｏ）、出力制御部２２６は、繰り返し映像データの取得を行う（ステップＳ８０６）。
Thereafter, the
このように、表示画面１０１Ｓの近方と遠方とに仮想画面１０１Ａ、１０１Ｂを設定し、仮想画面１０１Ａ、１０１Ｂにおける左右の注視点間距離と表示画面１０１Ｓにおける左右の注視点間距離とを比較することにより、被験者の左右の視線の交点である注視位置Ｐｃが表示画面１０１Ｓよりも近方に存在するのか、遠方に存在するのかを容易に判別することができる。
Thus, the
このような被験者の左右の視線の交点である注視位置が表示画面１０１Ｓよりも近方に存在するのか、遠方に存在するのかを容易に判別する処理については、実施形態２で説明した左右の注視点間距離に基づいて注視結果の有効性を判定する処理に加えて行うことができる。
About the process which discriminate | determines easily whether the gaze position which is the intersection of the test subject's right and left eyes | visual_axis exists near the
Ａ…目標領域、Ｐ１，１６５，１６６…注視点、Ｐ１，Ｐ２，Ｐ３…位置、２０…コンピュータシステム、２０Ａ…演算処理装置、２０Ｂ…記憶装置、２０Ｃ…コンピュータプログラム、３０…入出力インターフェース装置、４０…駆動回路、５０…出力装置、６０…入力装置、７０…音声出力装置、８０…可視光パターン出力装置、１００…視線検出装置，評価装置、１０１…表示装置、１０１Ｓ…表示画面、１０２…ステレオカメラ装置、１０２Ａ…第１カメラ、１０２Ｂ…第２カメラ、１０３…照明装置、１０３Ａ…第１光源、１０３Ｂ…第２光源、１０３Ｃ…光源、１０３Ｖ…仮想光源、１０９…角膜曲率半径、１１０，１１０Ｈ…角膜曲率中心、１１１…眼球，眼、１１２…瞳孔、１１２Ｃ…瞳孔中心、１１３…角膜反射像、１１３Ｃ，１２１，１２２，１２４…角膜反射中心、１２３，１３１，１３２，１７３…直線、１２６…距離、１３０…目標位置、１７７，１７８…視線、２０２…表示制御部、２０４…光源制御部、２０６…画像データ取得部、２０８…入力データ取得部、２１０…位置検出部、２１２…曲率中心算出部、２１４…注視点検出部、２１６…領域設定部、２１８…判定部、２２０…演算部、２２２…記憶部、２２４…評価部、２２６…出力制御部、３０２…入出力部、４０２…表示装置駆動部、４０４Ａ…第１カメラ入出力部、４０４Ｂ…第２カメラ入出力部、４０６…光源駆動部。
A: target area, P1, 165, 166: gazing point, P1, P2, P3: position, 20: computer system, 20A: arithmetic processing unit, 20B: storage device, 20C: computer program, 30: input / output interface device, 40: drive circuit, 50: output device, 60: input device, 70: voice output device, 80: visible light pattern output device, 100: sight line detection device, evaluation device, 101: display device, 101S: display screen, 102
Claims (5)
前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、
前記被験者を評価する評価用画像を表示画面に表示させる表示制御部と、
前記表示画面において、前記被験者の注視点の目標領域を設定する領域設定部と、
前記注視点の位置データに基づいて、前記注視点が前記目標領域に存在するか否かを判定する判定部と、
前記注視点が前記目標領域に存在しないと判定される不在期間が所定期間を超える場合に所定の音声及び可視光パターンの少なくとも一方の信号を出力装置から出力させ、前記信号が出力された状態で前記注視点が前記目標領域に存在すると判定された場合に前記信号の出力を停止させる出力制御部と
を備える評価装置。 An image data acquisition unit that acquires image data of a subject;
A gaze point detection unit that detects position data of the gaze point of the subject based on the image data;
A display control unit configured to display an evaluation image for evaluating the subject on a display screen;
An area setting unit configured to set a target area of the subject's gaze point on the display screen;
A determination unit that determines whether or not the fixation point is present in the target area based on position data of the fixation point;
In a state where at least one signal of a predetermined voice and a visible light pattern is output from an output device when an absent period determined that the fixation point is not present in the target region exceeds a predetermined period, and the signal is output. An output control unit that stops the output of the signal when it is determined that the fixation point is present in the target area.
請求項１に記載の評価装置。 The evaluation device according to claim 1, wherein the display control unit displays an alerting image on the display screen when the absence period exceeds the predetermined period.
前記判定部は、前記被験者の左右の前記注視点の位置データに基づいて、前記注視点が前記目標領域に存在するか否かを判定することを特徴とする
請求項１又は請求項２に記載の評価装置。 The fixation point detection unit detects position data of the fixation points on the left and right of the subject,
The said determination part determines whether the said gaze point exists in the said target area | region based on the position data of the said gaze point of the said test subject's right and left, It is characterized by the above-mentioned. Evaluation device.
請求項３に記載の評価装置。 The evaluation device according to claim 3, further comprising: an operation unit for obtaining a gaze position at which the left and right eyes of the subject intersect with each other based on position data of the fixation points on the left and right of the subject.
前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、
前記被験者を評価する評価用画像を表示画面に表示させることと、
前記表示画面において、前記被験者の注視点の目標領域を設定することと、
前記注視点の位置データに基づいて、前記注視点が前記目標領域に存在するか否かを判定することと、
前記注視点が前記目標領域に存在しないと判定される不在期間が所定期間を超える場合に所定の音声及び可視光パターンの少なくとも一方の信号を出力装置から出力させ、前記信号が出力された状態で前記注視点が前記目標領域に存在すると判定された場合に前記信号の出力を停止させることと
を含む評価方法。 Obtaining image data of the subject,
Detecting position data of a gaze point of the subject based on the image data;
Displaying an evaluation image for evaluating the subject on a display screen;
Setting a target area of the subject's gaze point on the display screen;
Determining whether or not the gaze point is present in the target area based on the position data of the gaze point;
In a state where at least one signal of a predetermined voice and a visible light pattern is output from an output device when an absent period determined that the fixation point is not present in the target region exceeds a predetermined period, and the signal is output. Stopping the output of the signal when it is determined that the fixation point is in the target area.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017170575 | 2017-09-05 | ||
| JP2017170575 | 2017-09-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019046438A true JP2019046438A (en) | 2019-03-22 |
Family
ID=65814563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018051358A Pending JP2019046438A (en) | 2017-09-05 | 2018-03-19 | Evaluation apparatus and evaluation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019046438A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784655A (en) * | 2019-11-11 | 2021-05-11 | 七鑫易维(深圳)科技有限公司 | Living body detection method and device based on gazing information and detection equipment |
| WO2022075377A1 (en) * | 2020-10-07 | 2022-04-14 | 国立大学法人千葉大学 | Sightline-position determination device, sightline-position determination method, and training method |
| CN115040130A (en) * | 2022-08-15 | 2022-09-13 | 深圳大学 | Screening system for social disorder |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008181293A (en) * | 2007-01-24 | 2008-08-07 | Mitsubishi Electric Corp | Operator monitoring control system |
| JP2012115505A (en) * | 2010-12-01 | 2012-06-21 | Fujitsu Ltd | Visual line detection device and visual line detection method |
| JP2013215405A (en) * | 2012-04-09 | 2013-10-24 | Jvc Kenwood Corp | Diagnosis support apparatus and method for supporting diagnosis |
| JP2014068933A (en) * | 2012-09-28 | 2014-04-21 | Jvc Kenwood Corp | Diagnosis support apparatus and diagnosis support method |
| US20160224110A1 (en) * | 2013-10-14 | 2016-08-04 | Suricog | Method of interaction by gaze and associated device |
-
2018
- 2018-03-19 JP JP2018051358A patent/JP2019046438A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008181293A (en) * | 2007-01-24 | 2008-08-07 | Mitsubishi Electric Corp | Operator monitoring control system |
| JP2012115505A (en) * | 2010-12-01 | 2012-06-21 | Fujitsu Ltd | Visual line detection device and visual line detection method |
| JP2013215405A (en) * | 2012-04-09 | 2013-10-24 | Jvc Kenwood Corp | Diagnosis support apparatus and method for supporting diagnosis |
| JP2014068933A (en) * | 2012-09-28 | 2014-04-21 | Jvc Kenwood Corp | Diagnosis support apparatus and diagnosis support method |
| US20160224110A1 (en) * | 2013-10-14 | 2016-08-04 | Suricog | Method of interaction by gaze and associated device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784655A (en) * | 2019-11-11 | 2021-05-11 | 七鑫易维(深圳)科技有限公司 | Living body detection method and device based on gazing information and detection equipment |
| WO2022075377A1 (en) * | 2020-10-07 | 2022-04-14 | 国立大学法人千葉大学 | Sightline-position determination device, sightline-position determination method, and training method |
| CN115040130A (en) * | 2022-08-15 | 2022-09-13 | 深圳大学 | Screening system for social disorder |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6737234B2 (en) | Evaluation device, evaluation method, and evaluation program | |
| US11061470B2 (en) | Eye tracking device and eye tracking method | |
| JP2017102687A (en) | Visual line detection device and visual line detection method | |
| JP6848526B2 (en) | Evaluation device, evaluation method, and evaluation program | |
| US11266307B2 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
| JP2020025849A (en) | Evaluation device, evaluation method, and evaluation program | |
| JP2019046438A (en) | Evaluation apparatus and evaluation method | |
| US20210290130A1 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
| JP7092082B2 (en) | Evaluation device, evaluation method, and evaluation program | |
| JP7047676B2 (en) | Evaluation device, evaluation method, and evaluation program | |
| JP2020018470A (en) | Gaze detection device, gaze detection method, and gaze detection program | |
| JP2020092924A (en) | Evaluation device, evaluation method, and evaluation program | |
| JP6883242B2 (en) | Evaluation device, evaluation method, and evaluation program | |
| US11241152B2 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
| JP6962079B2 (en) | Image / audio output device, image / audio output method, and image / audio output program | |
| JP7063045B2 (en) | Line-of-sight detection device, line-of-sight detection method and line-of-sight detection program | |
| JP7215246B2 (en) | Display device, display method, and display program | |
| JP6776970B2 (en) | Gaze detection device, gaze detection method and gaze detection program | |
| JP7074221B2 (en) | Evaluation device, evaluation method, and evaluation program | |
| WO2020256148A1 (en) | Evaluation device, evaluation method, and evaluation program | |
| JP7247690B2 (en) | Evaluation device, evaluation method, and evaluation program | |
| WO2020031471A1 (en) | Assessment device, assessment method, and assessment program | |
| WO2022044395A1 (en) | Sight line detection device, sight line detection method, and sight line detection program | |
| WO2020194841A1 (en) | Assessment device, assessment method, and assessment program | |
| WO2021010122A1 (en) | Evaluation device, evaluation method, and evaluation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201030 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211101 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220308 |