[go: up one dir, main page]

JP2739331B2 - 非接触視線検出装置 - Google Patents

非接触視線検出装置

Info

Publication number
JP2739331B2
JP2739331B2 JP63289762A JP28976288A JP2739331B2 JP 2739331 B2 JP2739331 B2 JP 2739331B2 JP 63289762 A JP63289762 A JP 63289762A JP 28976288 A JP28976288 A JP 28976288A JP 2739331 B2 JP2739331 B2 JP 2739331B2
Authority
JP
Japan
Prior art keywords
center
eyeball
pupil
cornea
corneal reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP63289762A
Other languages
English (en)
Other versions
JPH02134130A (ja
Inventor
宗夫 飯田
明 伴野
Original Assignee
株式会社エイ・ティ・アール通信システム研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エイ・ティ・アール通信システム研究所 filed Critical 株式会社エイ・ティ・アール通信システム研究所
Priority to JP63289762A priority Critical patent/JP2739331B2/ja
Publication of JPH02134130A publication Critical patent/JPH02134130A/ja
Application granted granted Critical
Publication of JP2739331B2 publication Critical patent/JP2739331B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] この発明は非接触視線検出装置に関し、特に、カメラ
で捉えた顔画像から非接触で視線方向を検出するような
非接触視線検出装置に関する。
[従来の技術] 視線の動きは人の意思を反映していると考えられるた
め、視線検出からユーザの意図を抽出することができれ
ば、より使い易いインタフェースを実現できる。視線を
検出する装置としては、従来から種々考えられている
が、いずれの方式も使用者の顔に検出装置を装着するも
のであった。
[発明が解決しようとする課題] 上述の方式は、視線を顔に対する角度として検出する
ものであるため、使用者のディスプレイ上での視点を直
接得ることはできなかった。しかし、視線をインタフェ
ースに利用するためには、ディスプレイ上での利用者の
視点を得る必要があり、これを従来の視線検出法で実現
するためには、顔をディスプレイに対して固定する必要
があった。
しかし、顔に装置を取付けたり、顔を固定するなどの
従来の視線検出法の制約は使用者に負担を与えるため、
大きな問題点であった。よって、顔に何ら装置を取付け
ることなく、かつ顔を固定することなくディスプレイ上
での視線を検出する装置の実現が望まれていた。
それゆえに、この発明の主たる目的は、顔に何ら装置
を取付けることなく、視線方向を確実に検出でき、しか
も顔の動きによらず、視線方向を確実に検出できるよう
な非接触視線検出装置を提供することである。
[課題を解決するための手段] この発明は、2台のカメラで捉えた顔画像から非接触
で視線を検出する非接触視線検出装置であって、2台の
カメラで捉えられた顔画像から三角測量を用いて各角膜
反射像の位置と瞳孔中心の位置を検出する手段と、検出
された角膜反射像と瞳孔中心の位置から眼球中心を検出
する手段と、検出された瞳孔中心と眼球中心を視線とし
て検出する手段とを備えて構成される。
[作用] 視線を定義する場合、眼球中心と瞳孔中心を直線で定
義するのが現実的である。よって、視線を検出すること
は眼球中心と瞳孔中心のそれぞれの位置を検出すること
に帰着される。非接触で視線検出を実現する場合には、
遠方に設置したカメラで捉えた顔画像から瞳孔中心と眼
球中心を計測する必要がある。しかし、瞳孔中心の位置
は顔画像から直接計測できるが、眼球中心の位置は直接
計測できない。
ところで、角膜反射像は眼球に光を照射したときに黒
眼の中に生じる虚像である。よって、角膜反射像の現わ
れる位置は、光源の位置,角膜曲率中心の位置および角
膜の曲率半径によって定められる。また、眼球中心と角
膜の曲率中心および瞳孔中心は同一直線上に存在する。
一方、角膜の曲率中心と眼球中心の間の距離d1および
角膜の曲率半径d2は個人差がほとんどなく、d1=6.0(m
m)およびd2=7.8(mm)であるから、角膜反射像の位置
および瞳孔中心の位置を計測すれば、角膜反射像の位置
および光源の位置から角膜の曲率半径中心の位置を算出
することができ、また角膜の曲率半径の位置および瞳孔
中心の位置から眼球中心の位置を算出できる。
[発明の実施例] 第2図は人の眼球の構造を示す図である。第2図にお
いて、眼球1は角膜2と虹彩3と網膜4と水晶体7とを
含む。なお、第2図において、5は瞳孔中心である。
第3図は第2図に示した眼球の構造を模式化して示し
た図である。第3図において、11,12,13,14,15はそれぞ
れ第2図に示した眼球1,角膜2,虹彩3,網膜4,瞳孔中心5
のそれぞれに対応している。また、第3図において、16
は眼球11を球で近似したときの眼球中心であり、17は角
膜12を曲面で近似したときの曲率中心であり、18は瞳孔
中心15と眼球中心16で定義された視線である。ここで、
視線を定義する場合、眼球中心16と瞳孔中心15を結ぶ直
線で定義するのが現実的である。よって、視線を検出す
ることは眼球中心16と瞳孔中心15の位置を検出すること
に帰着される。しかし、瞳孔中心15の位置はカメラで捉
えた顔画像の虹彩13のエッジから直接検出することがで
きるが、眼球中心16は顔画像から直接検出することが不
可能である。よって、瞳孔の他に眼球中心16の動きを反
映する眼球特徴点を検出する必要がある。
そこで、本願発明者らは角膜12の曲率中心17と眼球中
心16とが一致しないことに着目し、眼球11に光を照射し
たときに黒眼の中に生じる虚像である角膜反射像を眼球
特徴点として採用し、瞳孔中心15と角膜反射像の位置か
ら眼球中心16の位置を算出し、求められた眼球中心16と
瞳孔中心15により視線方向を決定するという着想を得
て、さらに瞳孔中心15と角膜反射像の位置を2台以上の
カメラにより三角測量によって測定することによって具
体化する手法を発明した。
第1図はこの発明の一実施例を示す図である。第1図
において、眼球26に向かって左側にはたとえば波長850
[nm]程度の近赤外光を発する光源22が設けられ、右側
には波長950[nm]程度の赤外光を発光する光源23が配
置される。光源22の近傍にはカメラ24が配置され、光源
23の近傍にはカメラ25が配置される。カメラ24には波長
850[nm]程度の光のみを透過させるような光学フィル
タ36がレンズの前方に設けられており、カメラ25には、
波長950[nm]程度の光のみを透過するように光学フィ
ルタ37がレンズの前方に設けられている。なお、この実
施例では、光源22はカメラ24のレンズに取付けられ、光
源23はカメラ25のレンズに取付けられているものとす
る。そして、それぞれの発する光の方向は、取付けられ
たカメラの光軸方向と一致するようにされている。
なお、第1図に示す26〜33は第3図に示した11〜18に
相当するものである。また、第1図には、光源22による
角膜反射像34と光源23によって生じる角膜反射像35が示
されている。
先に述べたように、角膜反射像34および35は眼球29に
光を照射したときに角膜27に生じる虚像である。よっ
て、角膜反射像34は角膜の曲率中心32と光源22を結んだ
直線L1上に存在し、その位置は角膜の曲率中心32と角膜
27の中間点に現われ、角膜反射像35は角膜27の曲率中心
32と光源23を結んだ直線L2上に存在する。そして、その
位置は角膜27の曲率中心32と角膜27の中間点に現われ
る。
すなわち、光源22,カメラ24,角膜反射像34および角膜
27の曲率中心32は同一直線上に存在する。また、光源2
3,カメラ25,角膜反射像35および角膜27の曲率中心32も
同一直線上に存在する。また、角膜反射像34および35の
波長は、その光源波長を反映して、それぞれ850[nm]
および950[nm]である。このため、カメラ24では角膜
反射像34のみが撮影され、カメラ25では角膜反射像35の
みが撮影される。このように、カメラ24およびカメラ25
で捉えられた画像の中の角膜反射像34および35の位置か
ら、それぞれのカメラの位置と角膜反射像の位置を結ん
だ直線の交点として角膜反射像の曲率中心32を決定する
ことができる。
同時に、光源22および23から発せられた光は瞳孔を通
り、網膜29を照らす。このとき、カメラ24および25で捉
えられた顔画像を第4図に示す。第4図において、黒眼
41に囲まれた瞳孔には第1図に示した光源22および23に
よる角膜反射像42,43が映し出されており、瞳孔が明る
く浮き上がって捉えられる。このように、網膜の反射を
使用することによって瞳孔を容易に検出することができ
る。この顔画像から瞳孔中心30の3次元位置はそれぞれ
のカメラ24,25で捉えられた顔画像から三角測量によっ
て決めることができる。この三角測量はカメラ24,25の
出力を画像処理する画像処理装置50によって行なわれ
る。なお、眼球中心31,瞳孔中心30,角膜の曲率中心32は
同一直線上に存在するので、眼球中心31,角膜の曲率中
心32を結ぶ直線33が視線となる。
[発明の効果] 以上のように、この発明によれば、2台のカメラで捉
えた顔画像から三角測量を用いて各角膜反射像の位置と
瞳孔中心の位置を検出し、検出された角膜反射像と瞳孔
中心の位置から眼球中心を検出して、検出された瞳孔中
心と眼球中心を視線として検出するようにしたので、簡
単に視線を検出することができる。また、角膜反射像は
強度的にも強いため、画像からの抽出が容易であり、ま
た瞳孔中心も上述のような網膜反射を利用することによ
り容易に抽出できる。
【図面の簡単な説明】
第1図はこの発明の一実施例を示す図である。第2図は
眼球の構造を示す図である。第3図は第2図に示した眼
球を模式化して示す図である。第4図はカメラで捉えら
れた顔画像を示す図である。 図において、1,11,26は眼球、2,12,27は角膜、3,13,28
は虹彩、4,14,29は網膜、15,30は瞳孔中心、16,31は眼
球中心、17,32は角膜の曲率中心、22,23は光源、24,25
はカメラ、18,33は視線、34,35,42,43は角膜反射像を示
す。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−160633(JP,A) 特開 昭62−245183(JP,A)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】2台のカメラで捉えた顔画像から非接触で
    視線を検出する非接触視線検出装置であって、 前記2台のカメラで捉えられた顔画像から三角測量を用
    いて各角膜反射像の位置と瞳孔中心の位置を検出する手
    段と、 前記検出された角膜反射像と瞳孔中心の位置から眼球中
    心を検出する手段と、 前記検出された瞳孔中心と眼球中心を視線として検出す
    る手段を備えた、非接触視線検出装置。
JP63289762A 1988-11-16 1988-11-16 非接触視線検出装置 Expired - Lifetime JP2739331B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63289762A JP2739331B2 (ja) 1988-11-16 1988-11-16 非接触視線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63289762A JP2739331B2 (ja) 1988-11-16 1988-11-16 非接触視線検出装置

Publications (2)

Publication Number Publication Date
JPH02134130A JPH02134130A (ja) 1990-05-23
JP2739331B2 true JP2739331B2 (ja) 1998-04-15

Family

ID=17747423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63289762A Expired - Lifetime JP2739331B2 (ja) 1988-11-16 1988-11-16 非接触視線検出装置

Country Status (1)

Country Link
JP (1) JP2739331B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005063114A1 (ja) * 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
JP2005198743A (ja) * 2004-01-14 2005-07-28 National Univ Corp Shizuoka Univ 三次元視点計測装置
US7533988B2 (en) 2004-02-17 2009-05-19 National University Corporation Shizuoka University Eyeshot detection device using distance image sensor
WO2015080104A1 (ja) 2013-11-28 2015-06-04 株式会社Jvcケンウッド 視線検出支援装置および視線検出支援方法
EP3011894A1 (en) 2014-10-24 2016-04-27 JVC KENWOOD Corporation Eye gaze detection apparatus and eye gaze detection method
WO2018173359A1 (ja) 2017-03-24 2018-09-27 株式会社Jvcケンウッド 視線検出装置、視線検出方法及び視線検出プログラム
US10722113B2 (en) 2015-12-01 2020-07-28 JVC Kenwood Corporation Gaze detection apparatus and gaze detection method
US11023039B2 (en) 2015-12-01 2021-06-01 JVC Kenwood Corporation Visual line detection apparatus and visual line detection method

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2988178B2 (ja) * 1993-03-11 1999-12-06 日産自動車株式会社 視線方向計測装置
JP3324295B2 (ja) * 1994-09-26 2002-09-17 日産自動車株式会社 車両用視線方向計測装置
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
JP4140399B2 (ja) * 2003-02-27 2008-08-27 トヨタ自動車株式会社 視線方向検出装置および視線方向検出方法
DE102004046617A1 (de) * 2004-09-22 2006-04-06 Eldith Gmbh Vorrichtung und Verfahren zur berührungslosen Bestimmung der Blickrichtung
JP2007195775A (ja) * 2006-01-27 2007-08-09 Keio Gijuku 瞳検出方法、瞳位置検出装置及び透過型視線検出装置
JP4824420B2 (ja) * 2006-02-07 2011-11-30 アイテック株式会社 視線ベクトル検出方法及び同装置
JP4956069B2 (ja) * 2006-06-30 2012-06-20 パナソニック株式会社 照明階段
JP5092120B2 (ja) * 2006-10-17 2012-12-05 国立大学法人東京工業大学 眼球運動計測装置
DE102009010467A1 (de) * 2009-02-26 2010-09-09 Carl Zeiss Vision Gmbh Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage
RU2472561C1 (ru) * 2011-06-01 2013-01-20 Александр Яковлевич Каплан Игра
JP2013142597A (ja) * 2012-01-11 2013-07-22 Nikon Corp 眼鏡フィッティングパラメータ計測システム及び眼鏡フィティングパラメータ計測方法
JP6220022B2 (ja) * 2012-05-01 2017-10-25 株式会社トプコン 眼科装置
JP5989523B2 (ja) 2012-05-01 2016-09-07 株式会社トプコン 眼科装置
JP6108845B2 (ja) * 2013-01-24 2017-04-05 株式会社トプコン 眼科観察装置
US9380937B2 (en) * 2013-04-03 2016-07-05 Kabushiki Kaisha Topcon Ophthalmologic apparatus
JP6430813B2 (ja) * 2014-12-25 2018-11-28 国立大学法人静岡大学 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
CN105094337B (zh) * 2015-08-19 2018-06-22 华南理工大学 一种基于虹膜和瞳孔的三维视线估计方法
JP6311045B2 (ja) * 2017-03-06 2018-04-11 株式会社トプコン 眼科観察装置
JP2018051340A (ja) * 2017-11-24 2018-04-05 株式会社トプコン 眼科装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0240336B1 (en) * 1986-04-04 1992-03-11 Applied Science Group Inc. Method and system for generating a description of the distribution of looking time as people watch television commercials
JPS63160633A (ja) * 1986-12-23 1988-07-04 日本電気株式会社 眼球運動検出装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005063114A1 (ja) * 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
US7533989B2 (en) 2003-12-25 2009-05-19 National University Corporation Shizuoka University Sight-line detection method and device, and three-dimensional view-point measurement device
JP2005198743A (ja) * 2004-01-14 2005-07-28 National Univ Corp Shizuoka Univ 三次元視点計測装置
US7533988B2 (en) 2004-02-17 2009-05-19 National University Corporation Shizuoka University Eyeshot detection device using distance image sensor
WO2015080104A1 (ja) 2013-11-28 2015-06-04 株式会社Jvcケンウッド 視線検出支援装置および視線検出支援方法
EP3011894A1 (en) 2014-10-24 2016-04-27 JVC KENWOOD Corporation Eye gaze detection apparatus and eye gaze detection method
JP2016085588A (ja) * 2014-10-24 2016-05-19 株式会社Jvcケンウッド 視線検出装置および視線検出方法
US10085636B2 (en) 2014-10-24 2018-10-02 JVC Kenwood Corporation Eye gaze detection apparatus and eye gaze detection method
US10722113B2 (en) 2015-12-01 2020-07-28 JVC Kenwood Corporation Gaze detection apparatus and gaze detection method
US11023039B2 (en) 2015-12-01 2021-06-01 JVC Kenwood Corporation Visual line detection apparatus and visual line detection method
WO2018173359A1 (ja) 2017-03-24 2018-09-27 株式会社Jvcケンウッド 視線検出装置、視線検出方法及び視線検出プログラム

Also Published As

Publication number Publication date
JPH02134130A (ja) 1990-05-23

Similar Documents

Publication Publication Date Title
JP2739331B2 (ja) 非接触視線検出装置
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
US5818954A (en) Method of detecting eye fixation using image processing
US5963300A (en) Ocular biometer
US7771049B2 (en) Method and apparatus for detecting sight line vector
US20100208207A1 (en) Automatic direct gaze detection based on pupil symmetry
EP3542308B1 (en) Method and device for eye metric acquisition
JPH0566133B2 (ja)
US20180336720A1 (en) Systems and Methods For Generating and Using Three-Dimensional Images
WO2004086962A1 (ja) 屈折測定装置
JP2003521950A6 (ja) 視標追跡システム
US20090174864A1 (en) System and method for tracking eye movement
US6056404A (en) Ophthalmic apparatus
JP3539813B2 (ja) 眼科装置
JP2886936B2 (ja) 眼の位置合わせ装置
JP2939988B2 (ja) 視線検出装置
JPH0315434A (ja) 眼屈折計
JPH0440935A (ja) 眼屈折力測定装置
JP2648198B2 (ja) 注視方向検出方法
JPH07231875A (ja) 検眼装置
JP4260715B2 (ja) 視線測定方法および視線測定装置
JP3056800B2 (ja) 眼科装置
Taba Improving eye-gaze tracking accuracy through personalized calibration of a user's aspherical corneal model
JPH04156818A (ja) 眼球運動測定装置
JPH02161Y2 (ja)

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080123

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090123

Year of fee payment: 11

EXPY Cancellation because of completion of term