WO2015080104A1 - 視線検出支援装置および視線検出支援方法 - Google Patents
視線検出支援装置および視線検出支援方法 Download PDFInfo
- Publication number
- WO2015080104A1 WO2015080104A1 PCT/JP2014/081123 JP2014081123W WO2015080104A1 WO 2015080104 A1 WO2015080104 A1 WO 2015080104A1 JP 2014081123 W JP2014081123 W JP 2014081123W WO 2015080104 A1 WO2015080104 A1 WO 2015080104A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- center
- line
- unit
- light source
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
Definitions
- the present invention relates to a gaze detection support apparatus and a gaze detection support method.
- a line-of-sight detection device that detects the position where an operator or subject is gazing on an observation surface such as a monitor screen. For example, a method is known that enables non-contact gaze detection that reliably detects the gaze direction without attaching any device to the face of the subject.
- eyeball reflection of light emitted from a light source is detected, a pupil center and a corneal curvature center are calculated, and a straight line connecting the pupil center and the corneal curvature center is detected as a line of sight.
- the line of sight is calculated by detecting eyeball reflection of light irradiated from two or more light sources.
- Patent Document 1 In the method of Patent Document 1, two cameras and two light sources are used, two corneal reflection points are detected in one eyeball, a corneal curvature center is calculated from the two corneal reflection points, and the pupil The line of sight is detected from the positional relationship with the center. In the method of Patent Document 2, one camera and two light sources are used, the corneal curvature center is calculated from the intersecting line of the plane including two corneal reflection points, and the line of sight is detected from the positional relationship with the pupil center. .
- the methods described in the above documents have a problem that the device configuration becomes complicated and the size of the device increases. For example, when two light sources are used, since two reflection points corresponding to each light source are separated and detected, it is necessary to increase the distance between the two light sources by a certain distance or more. This is because if the distance between the light sources is short, it is difficult to overlap and separate the two reflection points.
- the present invention has been made in view of the above, and an object thereof is to provide a gaze detection support apparatus and a gaze detection support method that can simplify the apparatus configuration.
- the present invention is directed to an illumination unit including a light source for irradiating light, a plurality of imaging units, and light emitted by the illumination unit and captured by the imaging unit.
- a position detection unit that detects a first position indicating the center of the pupil and a second position indicating the center of corneal reflection from the image of the subject's eyeball, a position of the light source, and a third position on the display unit
- a calculation unit that calculates a fourth position indicating the center of curvature of the cornea based on the first position and the second position.
- the line-of-sight detection support apparatus and the line-of-sight detection support method according to the present invention have an effect of simplifying the apparatus configuration.
- FIG. 1 is a diagram illustrating an example of the arrangement of a display unit, a stereo camera, an infrared light source, and a subject according to the present embodiment.
- FIG. 2 is a diagram illustrating an example of the arrangement of the display unit, the stereo camera, the infrared light source, and the subject according to the present embodiment.
- FIG. 3 is a diagram illustrating an outline of functions of the diagnosis support apparatus.
- FIG. 4 is a block diagram illustrating an example of detailed functions of each unit illustrated in FIG. 3.
- FIG. 5 is a diagram for explaining an overview of processing executed by the diagnosis support apparatus of this embodiment.
- FIG. 6 is an explanatory diagram showing the difference between the method using two light sources and the present embodiment using one light source.
- FIG. 1 is a diagram illustrating an example of the arrangement of a display unit, a stereo camera, an infrared light source, and a subject according to the present embodiment.
- FIG. 3 is a diagram illustrating an outline of functions of the diagnosis support apparatus.
- FIG. 7 is a diagram for explaining calculation processing for calculating the distance between the pupil center position and the corneal curvature center position.
- FIG. 8 is a flowchart illustrating an example of calculation processing according to the present embodiment.
- FIG. 9 is a diagram showing a method of calculating the position of the corneal curvature center using the distance obtained in advance.
- FIG. 10 is a flowchart illustrating an example of a line-of-sight detection process according to the present embodiment.
- FIG. 11 is a diagram for explaining a calculation process of the modification.
- FIG. 12 is a flowchart illustrating an example of a modification calculation process.
- a gaze detection support device is used as a diagnosis support device that supports diagnosis of developmental disabilities using the gaze detection result.
- Applicable devices are not limited to diagnosis support devices.
- the line-of-sight detection support apparatus (diagnosis support apparatus) of this embodiment detects a line of sight using an illumination unit installed at one place. Further, the line-of-sight detection support apparatus (diagnosis support apparatus) according to the present embodiment calculates the corneal curvature center position with high accuracy using the result of measuring the gaze point of the subject before the line-of-sight detection.
- an illumination part is an element which can irradiate light to a test subject's eyeball including a light source.
- the light source is an element that generates light, such as an LED (Light Emitting Diode).
- a light source may be comprised from one LED, and may be comprised by combining several LED and arrange
- the “light source” may be used as a term representing the illumination unit in this way.
- 1 and 2 are diagrams showing an example of the arrangement of the display unit, stereo camera, infrared light source, and test subject of this embodiment.
- the diagnosis support apparatus of this embodiment includes a display unit 101, a stereo camera 102, and an LED light source 103.
- the stereo camera 102 is disposed below the display unit 101.
- the LED light source 103 is disposed at the center position of two cameras included in the stereo camera 102.
- the LED light source 103 is a light source that irradiates near infrared rays having a wavelength of 850 nm, for example.
- FIG. 1 shows an example in which the LED light source 103 (illumination unit) is configured by nine LEDs.
- the stereo camera 102 uses a lens that can transmit near-infrared light having a wavelength of 850 nm.
- the stereo camera 102 includes a right camera 202 and a left camera 203.
- the LED light source 103 irradiates near-infrared light toward the eyeball 111 of the subject.
- the pupil 112 is reflected and darkened with low brightness
- the corneal reflection 113 generated as a virtual image in the eyeball 111 is reflected and brightened with high brightness. Accordingly, the positions of the pupil 112 and the corneal reflection 113 on the image can be acquired by each of the two cameras (the right camera 202 and the left camera 203).
- the three-dimensional world coordinate values of the positions of the pupil 112 and the corneal reflection 113 are calculated from the positions of the pupil 112 and the corneal reflection 113 obtained by two cameras.
- the center position of the screen of the display unit 101 is set as the origin
- the top and bottom are Y coordinates (up is +)
- the side is X coordinates (right is +)
- the depth is Z coordinates ( The front is +).
- FIG. 3 is a diagram showing an outline of functions of the diagnosis support apparatus 100.
- FIG. 3 shows a part of the configuration shown in FIGS. 1 and 2 and a configuration used for driving the configuration.
- the diagnosis support apparatus 100 includes a right camera 202, a left camera 203, an LED light source 103, a speaker 205, a drive / IF (interface) unit 313, a control unit 300, and a storage unit 150.
- the display unit 101 In FIG. 3, the display screen 201 shows the positional relationship between the right camera 202 and the left camera 203 in an easy-to-understand manner, but the display screen 201 is a screen displayed on the display unit 101.
- the drive unit and the IF unit may be integrated or separate.
- the speaker 205 functions as an audio output unit that outputs audio or the like for alerting the subject during calibration.
- the drive / IF unit 313 drives each unit included in the stereo camera 102.
- the drive / IF unit 313 serves as an interface between each unit included in the stereo camera 102 and the control unit 300.
- the control unit 300 is a communication I / F that communicates with a control device such as a CPU (Central Processing Unit) and a storage device such as a ROM (Read Only Memory) and a RAM (Random Access Memory) by connecting to a network. And a computer equipped with a bus for connecting each unit.
- a control device such as a CPU (Central Processing Unit) and a storage device such as a ROM (Read Only Memory) and a RAM (Random Access Memory) by connecting to a network.
- a computer equipped with a bus for connecting each unit.
- the storage unit 150 stores various information such as a control program, a measurement result, and a diagnosis support result.
- the storage unit 150 stores, for example, an image to be displayed on the display unit 101.
- the display unit 101 displays various information such as a target image for diagnosis.
- FIG. 4 is a block diagram showing an example of detailed functions of each unit shown in FIG. As shown in FIG. 4, the display unit 101 and the drive / IF unit 313 are connected to the control unit 300.
- the drive / IF unit 313 includes camera IFs 314 and 315, an LED drive control unit 316, and a speaker drive unit 322.
- the right camera 202 and the left camera 203 are connected to the drive / IF unit 313 via the camera IFs 314 and 315, respectively.
- the driving / IF unit 313 drives these cameras to image the subject.
- the speaker driving unit 322 drives the speaker 205.
- the diagnosis support apparatus 100 may include an interface (printer IF) for connecting to a printer as a printing unit.
- the printer may be provided inside the diagnosis support apparatus 100.
- the control unit 300 controls the entire diagnosis support apparatus 100.
- the control unit 300 includes a first calculation unit 351, a second calculation unit 352, a third calculation unit 353, a gaze detection unit 354, a viewpoint detection unit 355, an output control unit 356, and an evaluation unit 357. I have. Note that the line-of-sight detection support device only needs to include at least the first calculation unit 351, the second calculation unit 352, the third calculation unit 353, and the line-of-sight detection unit 354.
- the program When implemented by a program, the program is a file in an installable or executable format, such as a CD-ROM (Compact Disk Read Only Memory), a flexible disk (FD), a CD-R (Compact Disk Recordable), a DVD ( It is recorded on a computer-readable recording medium such as Digital Versatile Disk) and provided as a computer program product.
- the program may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network.
- the program may be provided or distributed via a network such as the Internet.
- the program may be provided by being incorporated in advance in a ROM or the like.
- the first calculation unit 351 calculates the position of the pupil center (first position) indicating the center of the pupil from the eyeball image captured by the stereo camera 102.
- the second calculator 352 calculates the position of the corneal reflection center (second position) indicating the center of corneal reflection from the captured image of the eyeball.
- the first calculation unit 351 and the second calculation unit 352 correspond to a position detection unit that detects a first position indicating the center of the pupil and a second position indicating the center of corneal reflection.
- the third calculation unit 353 calculates a corneal curvature center (fourth position) from a straight line (first straight line) connecting the LED light source 103 and the corneal reflection center. For example, the third calculation unit 353 calculates a position on the straight line where the distance from the corneal reflection center is a predetermined value as the corneal curvature center. As the predetermined value, a value determined in advance from a general radius of curvature of the cornea or the like can be used.
- the third calculation unit 353 may calculate the corneal curvature center in consideration of individual differences.
- the third calculation unit 353 first uses a pupil center and a corneal reflection center that are calculated when the subject gazes at the target position (third position), and a straight line connecting the pupil center and the target position (the first position). 2), and the intersection of the corneal reflection center and the LED light source 103 (first straight line) is calculated.
- the third calculation unit 353 calculates a distance (first distance) between the pupil center and the calculated intersection, and stores the calculated distance in the storage unit 150, for example.
- the target image may be any image as long as it allows the subject to pay attention.
- an image in which a display mode such as luminance or color changes, an image in which the display mode is different from other regions, or the like can be used as the target image.
- the pupil center 407 and the corneal reflection center 408 represent the center of the pupil detected when the LED light source 103 is turned on and the center of the corneal reflection point, respectively.
- the corneal curvature radius 409 represents the distance from the corneal surface to the corneal curvature center 410.
- FIG. 6 is an explanatory diagram showing a difference between a method using two light sources (illumination units) (hereinafter referred to as method A) and the present embodiment using one light source (illumination unit). Elements described in FIGS. 1 to 4 are denoted by the same reference numerals, and description thereof is omitted.
- the third calculation unit 353 calculates, as the corneal curvature center, a position that is on the straight line calculated in step S205 and whose distance from the pupil center is equal to the distance obtained by the previous calculation process (step S206).
- the calculation process for calculating the distance between the pupil center position and the corneal curvature center position is not limited to the method described with reference to FIGS. Hereinafter, another example of the calculation process will be described with reference to FIGS. 11 and 12.
- FIG. 12 is a flowchart showing an example of the calculation process of this modification.
- the third calculation unit 353 stores the calculated distance 616 in the storage unit 150 or the like (step S311).
- the stored distance is used to calculate the corneal curvature center at the time of subsequent detection of the viewpoint (line of sight).
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
光を照射する光源を含む照明部(103)と、複数の撮像部(202、203)と、照明部(103)によって光が照射され、撮像部(202、203)によって撮像された被験者の眼球の画像から瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部(351、352)と、光源の位置と、表示部上の第3位置と、第1位置と、第2位置と、に基づいて、角膜の曲率中心を示す第4位置を算出する算出部(353)と、を備える。
Description
本発明は、視線検出支援装置および視線検出支援方法に関する。
操作者または被験者がモニタ画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。例えば、被験者の顔に何らかの装置を取り付けることなく、視線方向を確実に検出する非接触視線検出を可能とする方法が知られている。この方法では、光源から照射した光の眼球反射を検出して、瞳孔中心と角膜曲率中心を算出し、瞳孔中心と角膜曲率中心とを結ぶ直線を視線として検出する。この方法の多くは2つ以上の光源から照射した光の眼球反射を検出して、視線を算出しているものであった。
特許文献1の方法では、2台のカメラおよび2つの光源を使用し、1つの眼球内に2つの角膜反射点を検出し、この2点の角膜反射点から角膜曲率中心を算出して、瞳孔中心との位置関係から視線を検出する。特許文献2の方法では、1台のカメラおよび2つの光源を使用し、それぞれ2つの角膜反射点を含む平面の交線から角膜曲率中心を算出し、瞳孔中心との位置関係から視線を検出する。
しかしながら、上記各文献の方法では、装置構成が複雑になり、装置のサイズが大きくなるという問題があった。例えば、2つの光源を用いる場合、各光源に対応する2つの反射点を分離して検出するため、2つの光源間の距離を一定以上離す必要がある。光源間の距離が近いと2つの反射点が重なり分離することが困難となるためである。
本発明は、上記に鑑みてなされたものであって、装置構成を簡略化できる視線検出支援装置および視線検出支援方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、光を照射する光源を含む照明部と、複数の撮像部と、前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部と、前記光源の位置と、表示部上の第3位置と、前記第1位置と、前記第2位置と、に基づいて、角膜の曲率中心を示す第4位置を算出する算出部と、を備える。
本発明にかかる視線検出支援装置および視線検出支援方法は、装置構成を簡略化できるという効果を奏する。
以下に、本発明にかかる視線検出支援装置および視線検出支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に視線検出支援装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。
本実施形態の視線検出支援装置(診断支援装置)は、1ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出支援装置(診断支援装置)は、視線検出前に被験者に1点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。
なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばLED(Light Emitting Diode)などの光を発生する素子である。光源は、1個のLEDから構成されてもよいし、複数のLEDを組み合わせて1ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。
図1および2は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。
図1に示すように、本実施形態の診断支援装置は、表示部101と、ステレオカメラ102と、LED光源103と、を含む。ステレオカメラ102は、表示部101の下に配置される。LED光源103は、ステレオカメラ102に含まれる2つのカメラの中心位置に配置される。LED光源103は、例えば波長850nmの近赤外線を照射する光源である。図1では、9個のLEDによりLED光源103(照明部)を構成する例が示されている。なお、ステレオカメラ102は、波長850nmの近赤外光を透過できるレンズを使用する。
図2に示すように、ステレオカメラ102は、右カメラ202と左カメラ203とを備えている。LED光源103は、被験者の眼球111に向かって近赤外光を照射する。ステレオカメラ102で取得される画像では、瞳孔112が低輝度で反射して暗くなり、眼球111内に虚像として生じる角膜反射113が高輝度で反射して明るくなる。従って、瞳孔112および角膜反射113の画像上の位置を2台のカメラ(右カメラ202、左カメラ203)それぞれで取得することができる。
さらに2台のカメラにより得られる瞳孔112および角膜反射113の位置から、瞳孔112および角膜反射113の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
図3は、診断支援装置100の機能の概要を示す図である。図3では、図1および2に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図3に示すように、診断支援装置100は、右カメラ202と、左カメラ203と、LED光源103と、スピーカ205と、駆動・IF(interface)部313と、制御部300と、記憶部150と、表示部101と、を含む。図3において、表示画面201は、右カメラ202および左カメラ203との位置関係を分かりやすく示しているが、表示画面201は表示部101において表示される画面である。なお、駆動部とIF部は一体でもよいし、別体でもよい。
スピーカ205は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。
駆動・IF部313は、ステレオカメラ102に含まれる各部を駆動する。また、駆動・IF部313は、ステレオカメラ102に含まれる各部と、制御部300とのインタフェースとなる。
制御部300は、例えば、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、ネットワークに接続して通信を行う通信I/Fと、各部を接続するバスを備えているコンピュータなどにより実現できる。
記憶部150は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部150は、例えば、表示部101に表示する画像等を記憶する。表示部101は、診断のための対象画像等、各種情報を表示する。
図4は、図3に示す各部の詳細な機能の一例を示すブロック図である。図4に示すように、制御部300には、表示部101と、駆動・IF部313が接続される。駆動・IF部313は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。
駆動・IF部313には、カメラIF314、315を介して、それぞれ、右カメラ202、左カメラ203が接続される。駆動・IF部313がこれらのカメラを駆動することにより、被験者を撮像する。
スピーカ駆動部322は、スピーカ205を駆動する。なお、診断支援装置100が、印刷部としてのプリンタと接続するためのインタフェース(プリンタIF)を備えてもよい。また、プリンタを診断支援装置100の内部に備えるように構成してもよい。
制御部300は、診断支援装置100全体を制御する。制御部300は、第1算出部351と、第2算出部352と、第3算出部353と、視線検出部354と、視点検出部355と、出力制御部356と、評価部357と、を備えている。なお、視線検出支援装置としては、少なくとも第1算出部351、第2算出部352、第3算出部353、および、視線検出部354が備えられていればよい。
制御部300に含まれる各要素(第1算出部351、第2算出部352、第3算出部353、視線検出部354、視点検出部355、出力制御部356、および、評価部357)は、ソフトウェア(プログラム)で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。
プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
第1算出部351は、ステレオカメラ102により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置(第1位置)を算出する。第2算出部352は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置(第2位置)を算出する。第1算出部351および第2算出部352が、瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部に相当する。
第3算出部353は、LED光源103と角膜反射中心とを結ぶ直線(第1直線)から、角膜曲率中心(第4位置)を算出する。例えば、第3算出部353は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。
角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第3算出部353が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第3算出部353は、まず目標位置(第3位置)を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線(第2直線)と、角膜反射中心とLED光源103とを結ぶ直線(第1直線)と、の交点を算出する。そして第3算出部353は、瞳孔中心と算出した交点との距離(第1距離)を算出し、例えば記憶部150に記憶する。
目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面201の中央位置(三次元世界座標の原点)を目標位置とすることができる。この場合、例えば出力制御部356が、表示画面201上の目標位置(中央)に、被験者に注視させる画像(目標画像)等を表示する。これにより、被験者に目標位置を注視させることができる。
目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。
なお、目標位置は表示画面201の中央に限られるものではなく、任意の位置でよい。表示画面201の中央を目標位置とすれば、表示画面201の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。
距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第3算出部353は、LED光源103と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。第3算出部353が、LED光源103の位置と、表示部上の目標画像を示す所定の位置(第3位置)と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心(第4位置)を算出する算出部に相当する。
視線検出部354は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部354は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。
視点検出部355は、検出された視線方向を用いて被験者の視点を検出する。視点検出部355は、例えば、表示画面201で被験者が注視する点である視点(注視点)を検出する。視点検出部355は、例えば図2のような三次元世界座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。
出力制御部356は、表示部101およびスピーカ205などに対する各種情報の出力を制御する。例えば、出力制御部356は、表示部101上の目標位置に目標画像を出力させる。また、出力制御部356は、診断画像、および、評価部357による評価結果などの表示部101に対する出力を制御する。
診断画像は、視線(視点)検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像(幾何学模様映像など)と、それ以外の画像(人物映像など)と、を含む診断画像を用いてもよい。
評価部357は、診断画像と、視点検出部355により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部357は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。
図5は、本実施形態の診断支援装置100により実行される処理の概要を説明する図である。図1~図4で説明した要素については同一の符号を付し説明を省略する。
瞳孔中心407および角膜反射中心408は、それぞれ、LED光源103を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径409は、角膜表面から角膜曲率中心410までの距離を表す。
図6は、2つの光源(照明部)を用いる方法(以下、方法Aとする)と、1つの光源(照明部)を用いる本実施形態との違いを示す説明図である。図1~図4で説明した要素については同一の符号を付し説明を省略する。
方法Aは、LED光源103の代わりに、2つのLED光源511、512を用いる。方法Aでは、LED光源511を照射したときの角膜反射中心513とLED光源511とを結ぶ直線515と、LED光源512を照射したときの角膜反射中心514とLED光源512とを結ぶ直線516との交点が算出される。この交点が角膜曲率中心505となる。
これに対し、本実施形態では、LED光源103を照射したときの、角膜反射中心522とLED光源103とを結ぶ直線523を考える。直線523は、角膜曲率中心505を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、LED光源103を照射したときの角膜曲率中心は、直線523上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。
しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。
図7は、視点検出(視線検出)を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図1~図4で説明した要素については同一の符号を付し説明を省略する。
目標位置605は、表示部101上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部101の画面の中央位置としている。直線613は、LED光源103と角膜反射中心612とを結ぶ直線である。直線614は、被験者が見つめる目標位置605(注視点)と瞳孔中心611とを結ぶ直線である。角膜曲率中心615は、直線613と直線614との交点である。第3算出部353は、瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。
図8は、本実施形態の算出処理の一例を示すフローチャートである。
まず出力制御部356は、表示部101の画面上の1点に目標画像を再生し(ステップS101)、被験者にその1点を注視させる。次に、制御部300は、LED駆動制御部316を用いてLED光源103を被験者の目に向けて点灯させる(ステップS102)。制御部300は、左右カメラ(右カメラ202、左カメラ203)で被験者の目を撮像する(ステップS103)。
LED光源103の照射により、瞳孔部分は暗い部分(暗瞳孔)として検出される。またLED照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点(角膜反射中心)が検出される。すなわち、第1算出部351は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。第1算出部351は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、第2算出部352は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第1算出部351および第2算出部352は、左右カメラで取得した2つの画像それぞれに対して、各座標値を算出する(ステップS104)。
なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。
第1算出部351および第2算出部352は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う(ステップS105)。第3算出部353は、求めた角膜反射中心の世界座標と、LED光源103の中心位置の世界座標とを結ぶ直線を求める(ステップS106)。次に、第3算出部353は、表示部101の画面上の1点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する(ステップS107)。第3算出部353は、ステップS106で算出した直線とステップS107で算出した直線との交点を求め、この交点を角膜曲率中心とする(ステップS108)。第3算出部353は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部150などに記憶する(ステップS109)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。
算出処理で表示部101上の1点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部101内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。
図9は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点805は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点806は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。
瞳孔中心811および角膜反射中心812は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線813は、LED光源103と角膜反射中心812とを結ぶ直線である。角膜曲率中心814は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離815は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心816は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心816は、角膜曲率中心が直線813上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離815であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線817は、視線818に補正される。また、表示部101の画面上の注視点は、注視点805から注視点806に補正される。
図10は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図10の視線検出処理を実行することができる。診断処理では、図10の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部357による評価処理などが実行される。
ステップS201~ステップS205は、図8のステップS102~ステップS106と同様であるため説明を省略する。
第3算出部353は、ステップS205で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する(ステップS206)。
視線検出部354は、瞳孔中心と角膜曲率中心とを結ぶベクトル(視線ベクトル)を求める(ステップS207)。このベクトルが、被験者が見ている視線方向を示している。視点検出部355は、この視線方向と表示部101の画面との交点の三次元世界座標値を算出する(ステップS208)。この値が、被験者が注視する表示部101上の1点を世界座標で表した座標値である。視点検出部355は、求めた三次元世界座標値を、表示部101の二次元座標系で表される座標値(x,y)に変換する(ステップS209)。これにより、被験者が見つめる表示部101上の視点(注視点)を算出することができる。
(変形例)
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図7および図8で説明した方法に限られるものではない。以下では、算出処理の他の例について図11および図12を用いて説明する。
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図7および図8で説明した方法に限られるものではない。以下では、算出処理の他の例について図11および図12を用いて説明する。
図11は、本変形例の算出処理を説明するための図である。図1~図4および図7で説明した要素については同一の符号を付し説明を省略する。
線分1101は、目標位置605とLED光源103とを結ぶ線分(第1線分)である。線分1102は、線分1101と平行で、瞳孔中心611と直線613とを結ぶ線分(第2線分)である。本変形例では、以下のように、線分1101、線分1102を用いて瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。
図12は、本変形例の算出処理の一例を示すフローチャートである。
ステップS301~ステップS307は、図8のステップS101~ステップS107と同様であるため説明を省略する。
第3算出部353は、表示部101の画面上の1点に表示される目標画像の中心と、LED光源103の中心とを結ぶ線分(図11では線分1101)を算出するとともに、算出した線分の長さ(L1101とする)を算出する(ステップS308)。
第3算出部353は、瞳孔中心611を通り、ステップS308で算出した線分と平行な線分(図11では線分1102)を算出するとともに、算出した線分の長さ(L1102とする)を算出する(ステップS309)。
第3算出部353は、角膜曲率中心615を頂点とし、ステップS308で算出した線分を下辺とする三角形と、角膜曲率中心615を頂点とし、ステップS309で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心611と角膜曲率中心615との間の距離616を算出する(ステップS310)。例えば第3算出部353は、線分1101の長さに対する線分1102の長さの比率と、目標位置605と角膜曲率中心615との間の距離に対する距離616の比率と、が等しくなるように、距離616を算出する。
距離616は、以下の(1)式により算出することができる。なおL614は、目標位置605から瞳孔中心611までの距離である。
距離616=(L614×L1102)/(L1101-L1102)・・・(1)
距離616=(L614×L1102)/(L1101-L1102)・・・(1)
第3算出部353は、算出した距離616を記憶部150などに記憶する(ステップS311)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。
以上のように、本実施形態によれば、例えば以下のような効果が得られる。
(1)光源(照明部)を2ヶ所に配置する必要がなく、1ヵ所に配置した光源で視線検出を行うことが可能となる。
(2)光源が1ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。
(1)光源(照明部)を2ヶ所に配置する必要がなく、1ヵ所に配置した光源で視線検出を行うことが可能となる。
(2)光源が1ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。
100 診断支援装置
101 表示部
102 ステレオカメラ
103 LED光源
150 記憶部
201 表示画面
202 右カメラ
203 左カメラ
205 スピーカ
300 制御部
313 駆動・IF部
316 LED駆動制御部
322 スピーカ駆動部
351 第1算出部
352 第2算出部
353 第3算出部
354 視線検出部
355 視点検出部
356 出力制御部
357 評価部
101 表示部
102 ステレオカメラ
103 LED光源
150 記憶部
201 表示画面
202 右カメラ
203 左カメラ
205 スピーカ
300 制御部
313 駆動・IF部
316 LED駆動制御部
322 スピーカ駆動部
351 第1算出部
352 第2算出部
353 第3算出部
354 視線検出部
355 視点検出部
356 出力制御部
357 評価部
Claims (5)
- 光を照射する光源を含む照明部と、
複数の撮像部と、
前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部と、
前記光源の位置と、表示部上の第3位置と、前記第1位置と、前記第2位置と、に基づいて、角膜の曲率中心を示す第4位置を算出する算出部と、
を備える視線検出支援装置。 - 前記第1位置と前記第4位置とに基づいて視線を検出する視線検出部をさらに備える、
請求項1に記載の視線検出支援装置。 - 前記算出部は、
前記光源の位置と前記第2位置とを結ぶ第1直線と、
前記第1位置と前記第3位置とを結ぶ第2直線と、を算出し、
前記第1直線と前記第2直線との交点と、前記第1位置との距離を第1距離として、
前記第1直線上に存在し、前記第1位置からの距離が前記第1距離となる前記第4位置を算出する、
請求項1又は2に記載の視線検出支援装置。 - 前記算出部は、
前記光源の位置と前記第3位置とを結ぶ第1線分と、
前記第1線分に平行で、前記第1位置から前記第1直線に向かう第2線分と、を算出し、
前記第1線分の長さに対する前記第2線分の長さの比率と、
前記第3位置と前記第4位置との距離に対する前記第1距離の比率と、が等しくなる前記第1距離を算出する、
請求項3に記載の視線検出支援装置。 - 光源を含む照明部によって光が照射され、複数の撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出ステップと、
前記光源の位置と、表示部上の第3位置と、前記第1位置と、前記第2位置と、に基づいて、角膜の曲率中心を示す第4位置を算出する算出ステップと、
を含む視線検出支援方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14865795.0A EP3075304B1 (en) | 2013-11-28 | 2014-11-25 | Line-of-sight detection assistance device and line-of-sight detection assistance method |
| US15/160,058 US9993154B2 (en) | 2013-11-28 | 2016-05-20 | Eye gaze detection supporting device and eye gaze detection supporting method |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013246725 | 2013-11-28 | ||
| JP2013-246725 | 2013-11-28 | ||
| JP2014111699A JP6210023B2 (ja) | 2013-11-28 | 2014-05-29 | 視線検出支援装置および視線検出支援方法 |
| JP2014-111699 | 2014-05-29 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US15/160,058 Continuation US9993154B2 (en) | 2013-11-28 | 2016-05-20 | Eye gaze detection supporting device and eye gaze detection supporting method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015080104A1 true WO2015080104A1 (ja) | 2015-06-04 |
Family
ID=53199044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2014/081123 Ceased WO2015080104A1 (ja) | 2013-11-28 | 2014-11-25 | 視線検出支援装置および視線検出支援方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9993154B2 (ja) |
| EP (1) | EP3075304B1 (ja) |
| JP (1) | JP6210023B2 (ja) |
| WO (1) | WO2015080104A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9874934B1 (en) | 2016-07-29 | 2018-01-23 | International Business Machines Corporation | System, method, and recording medium for tracking gaze with respect to a moving plane with a camera with respect to the moving plane |
| US10281980B2 (en) | 2016-09-26 | 2019-05-07 | Ihab Ayoub | System and method for eye-reactive display |
| US10503252B2 (en) | 2016-09-26 | 2019-12-10 | Ihab Ayoub | System and method for eye-reactive display |
| EP3542705B1 (en) * | 2016-12-28 | 2020-07-29 | JVC Kenwood Corporation | Visual function examination device, visual function examination method, and computer program |
| JP6776970B2 (ja) * | 2017-03-24 | 2020-10-28 | 株式会社Jvcケンウッド | 視線検出装置、視線検出方法及び視線検出プログラム |
| CN114995644B (zh) * | 2017-09-29 | 2025-02-07 | 苹果公司 | 基于注视的用户交互 |
| US10200753B1 (en) | 2017-12-04 | 2019-02-05 | At&T Intellectual Property I, L.P. | Resource management for video streaming with inattentive user |
| JP6856017B2 (ja) * | 2017-12-28 | 2021-04-07 | 株式会社Jvcケンウッド | 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法 |
| WO2019217081A1 (en) | 2018-05-09 | 2019-11-14 | Apple Inc. | Selecting a text input field using eye gaze |
| US11301677B2 (en) * | 2019-06-14 | 2022-04-12 | Tobil AB | Deep learning for three dimensional (3D) gaze prediction |
| JP7593008B2 (ja) * | 2020-08-20 | 2024-12-03 | 株式会社Jvcケンウッド | 距離算出装置、距離算出方法及び距離算出プログラム |
| WO2023008023A1 (ja) * | 2021-07-29 | 2023-02-02 | 株式会社Jvcケンウッド | 視線検出装置、視線検出方法及び視線検出プログラム |
| US12450854B2 (en) | 2022-09-22 | 2025-10-21 | Apple Inc. | User interfaces for capturing media and manipulating virtual objects |
| EP4572655A4 (en) * | 2022-09-22 | 2025-10-08 | Huawei Tech Co Ltd | METHODS AND SYSTEMS FOR GAZE TRACKING USING CORNEAL REFLECTION |
| US12481357B2 (en) | 2022-09-24 | 2025-11-25 | Apple Inc. | Devices, methods, for interacting with graphical user interfaces |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06319701A (ja) * | 1993-05-11 | 1994-11-22 | Fuji Xerox Co Ltd | 視線認識装置 |
| JP2739331B2 (ja) | 1988-11-16 | 1998-04-15 | 株式会社エイ・ティ・アール通信システム研究所 | 非接触視線検出装置 |
| JP2009297323A (ja) * | 2008-06-16 | 2009-12-24 | Kobe Univ | 視線計測装置 |
| JP4824420B2 (ja) | 2006-02-07 | 2011-11-30 | アイテック株式会社 | 視線ベクトル検出方法及び同装置 |
| JP2014195641A (ja) * | 2013-03-07 | 2014-10-16 | 株式会社Jvcケンウッド | 診断支援装置および診断支援方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6578962B1 (en) * | 2001-04-27 | 2003-06-17 | International Business Machines Corporation | Calibration-free eye gaze tracking |
| US6659611B2 (en) * | 2001-12-28 | 2003-12-09 | International Business Machines Corporation | System and method for eye gaze tracking using corneal image mapping |
| US7747068B1 (en) * | 2006-01-20 | 2010-06-29 | Andrew Paul Smyth | Systems and methods for tracking the eye |
| NL2003372C2 (en) * | 2009-08-20 | 2011-02-22 | Univ Delft Tech | Apparatus and method for automatically determining a strabismus angle. |
| JP5949319B2 (ja) * | 2012-08-21 | 2016-07-06 | 富士通株式会社 | 視線検出装置及び視線検出方法 |
| EP3015075B1 (en) * | 2013-06-28 | 2018-12-19 | JVC Kenwood Corporation | Diagnosis assistance device and diagnosis assistance method |
-
2014
- 2014-05-29 JP JP2014111699A patent/JP6210023B2/ja active Active
- 2014-11-25 EP EP14865795.0A patent/EP3075304B1/en active Active
- 2014-11-25 WO PCT/JP2014/081123 patent/WO2015080104A1/ja not_active Ceased
-
2016
- 2016-05-20 US US15/160,058 patent/US9993154B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2739331B2 (ja) | 1988-11-16 | 1998-04-15 | 株式会社エイ・ティ・アール通信システム研究所 | 非接触視線検出装置 |
| JPH06319701A (ja) * | 1993-05-11 | 1994-11-22 | Fuji Xerox Co Ltd | 視線認識装置 |
| JP4824420B2 (ja) | 2006-02-07 | 2011-11-30 | アイテック株式会社 | 視線ベクトル検出方法及び同装置 |
| JP2009297323A (ja) * | 2008-06-16 | 2009-12-24 | Kobe Univ | 視線計測装置 |
| JP2014195641A (ja) * | 2013-03-07 | 2014-10-16 | 株式会社Jvcケンウッド | 診断支援装置および診断支援方法 |
Non-Patent Citations (1)
| Title |
|---|
| TAKEHIKO ONO: "One-Point Personal Calibration and Its Applications", IPSJ SIG NOTES, vol. 2006, no. 3, 13 January 2006 (2006-01-13), pages 67 - 74, XP055287624 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3075304B1 (en) | 2018-04-04 |
| US20160262614A1 (en) | 2016-09-15 |
| EP3075304A4 (en) | 2016-12-21 |
| JP6210023B2 (ja) | 2017-10-11 |
| JP2015126857A (ja) | 2015-07-09 |
| EP3075304A1 (en) | 2016-10-05 |
| US9993154B2 (en) | 2018-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6210023B2 (ja) | 視線検出支援装置および視線検出支援方法 | |
| JP6201956B2 (ja) | 視線検出装置および視線検出方法 | |
| CN108027977B (zh) | 视线检测装置以及视线检测方法 | |
| WO2015146491A1 (ja) | 検出装置および検出方法 | |
| EP2965689B1 (en) | Diagnosis support apparatus and diagnosis support method | |
| US20150238087A1 (en) | Biological information measurement device and input device utilizing same | |
| JP6638354B2 (ja) | 視線検出装置及び視線検出方法 | |
| JP2016028669A (ja) | 瞳孔検出装置、および瞳孔検出方法 | |
| US10123695B2 (en) | Diagnosis supporting device and method of supporting diagnosis | |
| JP6245093B2 (ja) | 診断支援装置および診断支援方法 | |
| JP6380178B2 (ja) | 診断支援装置および診断支援方法 | |
| JP6900994B2 (ja) | 視線検出装置及び視線検出方法 | |
| JP2015144635A (ja) | 検出装置および検出方法 | |
| JP6327171B2 (ja) | 注視点検出装置および注視点検出方法 | |
| JP6269177B2 (ja) | 瞳孔検出装置、視線検出装置および瞳孔検出方法 | |
| JP6187347B2 (ja) | 検出装置および検出方法 | |
| JP6471533B2 (ja) | 視線検出装置および視線検出方法 | |
| JP2015181797A (ja) | 検出装置および検出方法 | |
| JP2020119583A (ja) | 視線検出装置及び視線検出方法 | |
| JP2016157326A (ja) | 視線検出装置および視線検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14865795 Country of ref document: EP Kind code of ref document: A1 |
|
| REEP | Request for entry into the european phase |
Ref document number: 2014865795 Country of ref document: EP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2014865795 Country of ref document: EP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |