[go: up one dir, main page]

TW201541284A - 處理眼睛追蹤中的眩光 - Google Patents

處理眼睛追蹤中的眩光 Download PDF

Info

Publication number
TW201541284A
TW201541284A TW104108831A TW104108831A TW201541284A TW 201541284 A TW201541284 A TW 201541284A TW 104108831 A TW104108831 A TW 104108831A TW 104108831 A TW104108831 A TW 104108831A TW 201541284 A TW201541284 A TW 201541284A
Authority
TW
Taiwan
Prior art keywords
light
image
eye tracking
eye
glare
Prior art date
Application number
TW104108831A
Other languages
English (en)
Inventor
Mudit Agrawal
Vaibhav Thukral
Ibrahim Eden
David Nister
Shivkumar Swaminathan
Original Assignee
Microsoft Technology Licensing Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing Llc filed Critical Microsoft Technology Licensing Llc
Publication of TW201541284A publication Critical patent/TW201541284A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2115/00—Light-generating elements of semiconductor light sources
    • F21Y2115/10—Light-emitting diodes [LED]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)

Abstract

係對於眼睛追蹤系統及方法揭露實施例。示例眼睛追蹤系統包括經配置以在來自光源的光從眼睛反射時捕捉該光的影像的複數個光源及攝影機。眼睛追蹤系統進一步包括邏輯裝置及儲存指令的儲存裝置，該等指令可由該邏輯裝置所執行，以藉由從複數個光源的不同光源組合反覆投射光，及在投射各組合期間捕捉眼睛的影像，來獲取眼睛追蹤資料的訊框。該等指令可能可被進一步執行，以基於影像中所偵測之阻擋的決定步驟，來對於眼睛追蹤選擇經選擇的光源組合，及對於眼睛追蹤透過該經選擇的光源組合投射光，其中影像中所偵測的該阻擋係從透明或半透明的光學結構產生的，該光學結構係位於眼睛及攝影機之間。

Description

處理眼睛追蹤中的眩光
此發明係關於處理眼睛追蹤中的眩光。
使用者可使用各種輸入機制來與計算系統互接。例如，眼睛凝視追蹤可用以與圖形使用者介面互動，其中使用者凝視與該圖形使用者介面相交的經決定位置可用作位置訊號以供與該使用者介面互動。凝視追蹤技術可採用一或更多個光源以將光投射至眼睛上，且採用一或更多個攝影機以在經投射之光之反光(glint)反射離開眼睛時捕捉該反光的影像。影像中之反光及/或瞳孔的位置可用以決定指示凝視位置的瞳孔位置。
係揭露關於在眩光源(例如位於眼睛追蹤攝影機及被追蹤之眼睛之間的眼鏡)存在時執行眼睛凝視追蹤的實施例。例如，在一個實施例中，示例眼睛追蹤系統包括經配置以在來自光源的光從眼睛反射時捕捉該光的影像的複數個光源及攝影機。眼睛追蹤系統進一步包括邏輯裝置及儲存指令的儲存裝置，該等指令可由該邏輯裝置所執行，以藉由從複 數個光源的不同光源組合反覆投射光，及在投射各組合期間捕捉眼睛的影像，來獲取眼睛追蹤資料的訊框。該等指令可能可被進一步執行，以基於影像中所偵測之阻擋的決定步驟，來對於眼睛追蹤選擇經選擇的光源組合，及對於眼睛追蹤透過該經選擇的光源組合投射光，其中影像中所偵測的該阻擋係從透明或半透明的光學結構產生的，該光學結構係位於眼睛及攝影機之間。
此「發明內容」係提供以用簡化的形式來介紹一系列的概念，該等概念係在「實施方式」中於下進一步描述。此發明內容係不意欲識別申請標的之關鍵特徵或必要特徵，亦不意欲用以限制申請標的之範圍。此外，申請標的係不限於解決在此揭露之任何部分中所指出之任何或所有缺點之實施。
100‧‧‧示例眼睛追蹤環境
102‧‧‧使用者
104‧‧‧計算裝置
106‧‧‧眼鏡
108‧‧‧複數個光源
110‧‧‧攝影機
200‧‧‧方法
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟
218‧‧‧步驟
220‧‧‧步驟
300‧‧‧方法
302‧‧‧步驟
304‧‧‧步驟
306‧‧‧步驟
308‧‧‧步驟
310‧‧‧步驟
312‧‧‧步驟
314‧‧‧步驟
316‧‧‧步驟
318‧‧‧步驟
320‧‧‧步驟
322‧‧‧步驟
324‧‧‧步驟
400‧‧‧影像
402‧‧‧使用者
404‧‧‧眼鏡
406‧‧‧眼睛
408‧‧‧眩光
410‧‧‧反光
502‧‧‧飽和區域
504‧‧‧邊界框
506a‧‧‧眩光候選者
506b‧‧‧眩光候選者
506c‧‧‧眩光候選者
506d‧‧‧眩光候選者
506e‧‧‧眩光候選者
506f‧‧‧眩光候選者
506g‧‧‧眩光候選者
506h‧‧‧眩光候選者
506i‧‧‧眩光候選者
506j‧‧‧眩光候選者
506k‧‧‧眩光候選者
600‧‧‧示例光源佈置
602‧‧‧光源
604‧‧‧外殼結構
700‧‧‧計算系統
702‧‧‧邏輯裝置
704‧‧‧儲存裝置
706‧‧‧顯示子系統
708‧‧‧輸入子系統
710‧‧‧通訊子系統
802a‧‧‧光源
802b‧‧‧光源
802c‧‧‧光源
802d‧‧‧光源
圖1圖示示例眼睛追蹤環境的實施例。
圖2係流程圖，描繪在眼睛追蹤系統中排序光源之方法的實施例。
圖3係流程圖，描繪分類來自眼睛追蹤系統之影像中反射的方法實施例。
圖4圖示由依據本揭露之實施例的眼睛追蹤系統所捕捉的示例影像。
圖5圖示由眼睛追蹤系統所捕捉之影像的示例，該影像係依據本揭露的實施例來處理以識別該影像的飽和區域。
圖6A及6B圖示依據本揭露的實施例，用於眼睛追蹤系統之示例光源佈置的兩個視圖。
圖7係計算系統之實施例的方塊圖。
圖8圖示依據本揭露之實施例之光源的示例序列。
在眼睛追蹤系統中，攝影機(或多個)及/或光源(或多個)可被放置在一位置中，該位置係從使用者的眼睛及/或頭部隔開。因此，物件可出現在攝影機(或多個)/光源(或多個)及眼睛之間(例如眼鏡)，這可能產生由該等光源所投射之光的額外反射。這些反射在影像中可能表現為眩光(glare)，且可阻擋(occlude)反光及/或瞳孔中的一或更多者。因此，這樣的眩光可能干擾眼睛追蹤。
因為由這樣的眩光及其他亂真的反射所造成的眼睛追蹤反光的阻擋可隨著相對於反光光源(或多個)及攝影機(或多個)之使用者的位置及/或方向而變化，不同的光源配置及不同類型及/或厚度的眼鏡可能產生不同的眩光位置。因此，係揭露關於投射不同配置的光源以幫助識別一光源配置的實施例，經識別的該光源配置允許執行眼睛追蹤而沒有來自眩光之不可接受的眼睛反光阻擋，該等眩光係由眼鏡及類似物所造成。
圖1圖示示例眼睛追蹤環境100，其中使用者102正在檢視計算裝置104，同時戴著眼鏡106。計算裝置104係描繪為平板電腦，但將了解的是，任何其他合適的計算裝置可利用眼睛追蹤。示例包括(但不限於)智慧型手機、膝上 型電腦、個人電腦、電視及可穿戴式計算裝置(例如頭戴式顯示裝置)。
計算裝置104包括眼睛追蹤系統，該眼睛追蹤系統包括複數個光源108及攝影機110。光源108例如可包括複數個光發射二極體(LED)及/或其他合適的光發射裝置。在某些實施例中，光源108可發射紅外光、可見光或可見及紅外光的組合(例如光源108的子集合可投射紅外光且光源108的另一子集合可投射可見光)。攝影機110可包括任何合適的成像裝置，包括(但不限於)深度攝影機、RGB(彩色成像)攝影機、灰階攝影機、立體攝影機對及/或任何其他合適的攝影機或攝影機組合。將了解的是，光源、攝影機(或多個)及/或眼睛追蹤系統的任何其他構件中的一或更多者可被整合於單一計算裝置內、自計算裝置單獨安放或以其任何組合佈置。
如由圖1中的虛線所繪示，各光源108可朝使用者102的眼睛發射光。攝影機110可捕捉使用者102之眼睛的影像，該等影像包括來自眼睛之光的反射，該光係投射自光源108。基於相較於使用者眼睛的瞳孔(或虹膜或其他合適的眼睛結構)，來自攝影機110之影像中經投射之光的反射位置，可決定凝視的方向。這可允許從眼睛投射凝視，使得經投射之凝視相交使用者介面或真實世界物件的位置可被決定。這可允許使用者透過凝視來與計算裝置互動。進一步地，凝視位置中隨時間的改變可用作對於計算裝置的姿勢輸入。
圖2圖示流程圖，描繪用於追蹤眼睛移動之方法200 的實施例，該方法200可幫助在光源(或多個)/攝影機(或多個)及使用者眼睛之間存在眼鏡或其他這樣的結構時，達成強健的眼睛追蹤效能。方法200可由計算裝置(例如圖1的計算裝置104)中的眼睛追蹤系統所執行。
於202處，方法200包括獲取眼睛追蹤資料。如上所述，眼睛追蹤可藉由以下步驟來執行：朝使用者眼睛發射光(例如紅外光)及在該光從使用者眼睛反射時捕捉該光的影像。然而，因為光亦可能從光源及使用者眼睛之間的眼鏡或其他透明或半透明光學結構反射，眩光可能出現，阻擋了來自使用者眼睛的光反射。
因此，如於204所指示的，方法200可包括反覆地從不同的光源組合投射光，且於206處，方法200包括在投射各個不同光源組合的期間捕捉眼睛的影像(如於206所指示)。這些程序例如可能涉及以不同的組合從不同數量的光源投射光及/或從具有不同位置/方向的光源投射光。作為更特定的示例，圖8示意性地繪示眼睛追蹤系統，該眼睛追蹤系統包括四個光源802a-802d，其中經照明的光源係由表示光源之方框內的對角線所圖示。從不同的光源組合反覆地投射光的步驟可包括從所有光源投射光(如時間T1處所示)；接著從不同的三個光源的組合投射光(如時間T2、T3、T4及T5處所示)；及接著從不同的兩個光源的組合(如時間T6及T7處所示)或僅一個光源(未圖示於圖中)投射光。要了解的是，光源投射的如此循環可以任何合適的順序執行。例如，若需要最精確的凝視決定，可在具有較少數量的光源的那些 組合之前嘗試具有更大數量之經照明光源的組合，同時若需要節省電力或若眼鏡表面傾向於產生更多眩光，可在具有較多數量的那些組合之前嘗試具有較少數量的那些組合。
進一步地，在某些實施例中，用以投射之光源的組合順序可以可選地基於頭部/HMD位置及/或光源的方向/位置來選擇，如208處所指示的。例如，可能已知的是，特定數量及/或模式的光源在頭部位於給定角度時可能產生較少的阻擋。藉由基於上述資訊選擇下個組合，不同的光源組合可以智能方式來反覆循環，以增加可在早期的反覆法中利用合適光源組合的可能性，藉此降低通過不同光源組合所進行之循環所花的時間量。如此，眼睛追蹤系統可估計哪個光源組合將產生最低量的阻擋，且以基於該估計的順序從不同的光源組合反覆投射光。要了解的是，在其他實施例中，可基於影像中的阻擋量來選擇光源組合，如下所述。
於210處，方法200包括對於各經測試的光源組合決定不可接受的阻擋是否存在於影像中，且於212處，方法200包括選擇用於執行眼睛追蹤的光源組合。如214處所指示的，可基於影像中所偵測的阻擋量來選擇光源組合。在某些實施例中，各組合的反覆測試可在識別及選擇合適組合時停止，同時在其他實施例中，在選擇一個組合之前，可測試全套的組合。作為各組合之測試的部分，對於給定的光源配置而言，眩光可能匹配於它們相對應的反光，或者可在眩光及瞳孔或反光之間獲得阻擋矩陣。在高阻擋(例如一閥值以上的阻擋)的情況下，下個光源配置可選自序列中。可接著重 複程序，直到獲得具有高信度分數之未被阻擋的或部分阻擋的瞳孔反光為止。可接著跨未來的訊框利用此配置，直到偵測下個阻擋為止，屆時該等配置被再次循環過，直到再次決定合適的光源配置為止。
在216處，方法200更包括透過所選擇的光源組合投射光，且在218處，方法200包括藉由在來自光源的光從眼睛(或多個)反射時偵測該光，來追蹤一或更多個眼睛的凝視位置。進一步地，在220處，方法200包括執行回應於眼睛追蹤的動作。眼睛追蹤可用以執行任何合適的動作。例如，眼睛追蹤可用以偵測眼睛姿勢，以對於圖形使用者介面偵測位置訊號...等等。
決定由眩光所造成之眼睛反光反射之不可接受的阻擋量可以任何合適的方式來決定。圖3圖示流程圖，描繪方法300的示例實施例，該方法300係用於分類由攝影機所捕捉之影像中的反射及/或眩光或其他干擾。將了解的是，方法300可由計算裝置(例如圖1的計算裝置104)所執行，該計算裝置係經配置以在眼睛追蹤系統中處理影像。
於302處，方法300包括接收來自攝影機的影像資料。攝影機可整合於計算裝置中或相對於該計算裝置外部地/遠端地安置。於304處，方法300更包括偵測所接收影像中的飽和區域。例如，該影像可經分析以決定影像中具有大於閥值之飽和值的像素。
因為眩光可能肇因於來自眼鏡或其他光滑結構的鏡面反射，眩光可能具有高度飽和的核心(類似於光源本身的 強度分佈)。如此，從自用於眼睛追蹤系統中之光源所投射之光所形成的眩光可能具有在中心為高強度的圖案，該強度在離開該中心時突然消散，有時造成閃光(flare)的出現。從這樣的屬性，從來自光源之投射的反射所形成的眩光可區隔自離開使用者眼睛(或多個)的光反射，且可區隔自由於在環境中存在其他IR源所造成的其他散射反射。
圖4圖示影像400的示例繪圖且圖示配戴眼鏡404之使用者402的視圖，該影像400係由眼睛追蹤系統的攝影機所捕捉。眼睛追蹤系統光源(以及周遭環境光源)的光可由眼鏡404所反射，以及由使用者402之眼睛406的瞳孔所反射。來自眼鏡404的如此反射可造成眩光408，同時來自眼睛的反射可造成反光410(繪示為眼睛406之瞳孔區域中的四個平均分隔的點)。雖然反光410表現為小的、實質圓形的點，眩光408可能具有喇叭形、星形的形狀。
回到圖3，方法300可包括識別及選擇影像的飽和像素，且執行該影像之飽和像素的前景距離轉換(如306處所指示)，使得前景距離轉換之後的像素強度是距反射邊界之距離的函數。這可幫助基於飽和區域的尺寸及/或該飽和區域的輪廓，來提供眩光候選者之輪廓的指示。例如，大於閥值尺寸的飽和區域可被視為是眩光候選者，同時小於閥值尺寸的飽和區域可不被視為是眩光候選者。
於308處，方法300包括例如藉由移除具有小於距離閥值之距離值的輪廓，來移除影像中的雜訊。如此，眩光/眩光候選者的喇叭形輪廓可被平滑化。進一步地，於310處， 方法300包括對於各個剩餘的飽和區域(例如308處所決定之眩光/眩光候選者的核心)決定邊界框。邊界框的尺寸可經選擇以具有一值，該值允許該框包括一百分比的經界定飽和像素，如312處所指示。例如，邊界框可形成在眩光/眩光候選者的核心周圍，且該邊界框的尺寸可被增加，直到邊界框中的飽和像素的百分比超過某個閥值為止。這個重調大小的步驟可幫助確保框是放置在各飽和區域周圍。在眩光的情況中，該框包括飽和中心，同時在錯誤肯定(例如非眩光)的情況中，飽和像素係隨機散布於整個框。簡要地參照圖5，係圖示圖4之影像400的經處理版本，其中飽和區域502(例如眩光候選者)係由邊界框504所圍繞。
回到圖3，於314處，方法300包括將統計分佈契合(fit)於第一飽和區域。例如，高斯模型或其他統計分佈模型可被契合於經偵測的眩光中心，以形成眩光候選者之區域中之飽和像素的標準化分佈。對於各飽和區域/眩光候選者之統計分佈的契合參數可接著對於閥值條件進行比較。例如，可對於契合於該飽和區域的高斯模型決定高斯模型錯誤，且於316處可決定該錯誤對於閥值錯誤的比較。若該參數符合該閥值(例如若模型錯誤在閥值以下)，則於318處可決定該區域是眩光，且該方法可繼續至320，在320處，係決定所有的飽和區域是否已被分析。例如，圖5中的眩光候選者506a、506b、506c、506d及506e可能由於相關聯之框內的飽和像素分佈展示類似眩光的特徵(例如中心區域中之飽和像素的集中度及突出於規則間隔之周邊區域處的閃光)而 被分類為眩光。若於316處決定的是參數並不符合閥值，則該方法可繼續至320而不將飽和區域分類為眩光(例如眩光候選者506f、506g、506h、506i、506j及506k可能由於缺乏飽和核心及/或缺少其他眩光特徵，而不被分類為眩光)。
於320處，若決定所有的飽和區域還未被分析(例如320處的「否」)，則方法300包括反覆執行316、318及320的程序，直到所有的飽和區域已被分析為止。若所有的飽和區域已被分析(例如320處的「是」)，則於324處，方法300包括基於分類為眩光之飽和區域的數量及/或位置來決定阻擋等級。例如，阻擋等級可能是基於眩光的尺寸、眩光的數量及/或眩光到眼睛的瞳孔/從眼睛的瞳孔反射的反光有多近。
以上對於方法300所描述的各種閥值(例如308處的距離閥值、312處的閥值百分比及316處的閥值條件)可基於統計資料來預先決定及/或選擇。在額外的或替代的實施例中，閥值中的一或更多者可透過學習演算法(例如利用分類器)來決定。例如，透過學習演算法來決定閥值(或多個)可包括基於對特定使用者、環境、照明佈置及/或其他合適條件之經測量的/經記錄的資料，來隨時間動態地改變閥值(或多個)。在使用分類器來決定閥值時，許多其他特徵(例如二次契合錯誤、相對於眼角的位置、消散梯度...等等)可經添加以最佳化經分析影像中之眩光及非眩光之間的隔離。
圖6A及6B圖示眼睛追蹤系統之示例光源佈置600的不同視圖。在6A的前視圖中，個別光源602係繪示為佈置 於外殼結構604周圍。在某些實施例中，外殼結構604可包括眼睛追蹤系統的攝影機、被整合於該攝影機內及/或安裝至該攝影機。在其他的實施例中，外殼結構604可經配置以安裝至其他構件上。如所繪示的，各光源602相對於其他光源可被放置於不同位置中。如此，在光源佈置600中，相對於從其他光源所投射的光，從各光源602所投射的光可被引導至不同位置及/或以不同角度到達特定位置處。這可允許不同的光源組合被用以形成來自眼睛的反射以避免來自眩光的阻擋，如上所述。
進一步地，如圖6B中所繪示之光源佈置600的斜視圖中所示，在該佈置中，相較於其他光源，光源602中的一或更多者可被不同地導向。虛箭頭指示從光源602中之各者所發射之光的方向。如此，在光源佈置600中，相較於從其他光源所投射的光，從各光源602所投射的光可被引導至不同位置及/或從不同角度到達特定位置處。
眼睛追蹤影像中之瞳孔反光的阻擋可基於，基於光學結構上的反射的特徵(像是位置、尺寸、強度分佈及對於光源的映射)來分類該等反射。藉由提供包括從不同位置/角度引導光源的光源佈置，該等光源可被反覆開/關以產生眼睛追蹤系統中之不同的光源投射組合。分析在從各光源組合投射光的期間所捕捉的影像可識別眩光(例如決定相對於眼睛之眩光的位置)及/或將眩光匹配至特定光源/光源組合。據此，對於執行眼睛追蹤可選擇產生以高信度分數所獲得之未經阻擋之瞳孔反光的光源組合、從眼睛反射之眼睛/反光之阻 擋的最少數量及/或要不就產生合適的眼睛追蹤影像。對於給定使用者/環境選擇特定光源組合可允許系統以較廣範圍的條件操作，該等條件包括光學結構(例如眼鏡)出現在眼睛追蹤攝影機/光源及被追蹤之眼睛之間的條件。
在某些實施例中，本文中所描述的方法及程序可被連結至一或更多個計算裝置的計算系統。特定而言，這樣的方法及程序可被實施為電腦應用程式或服務、應用編程介面(API)、程序庫及/或其他電腦程式產品。
圖7示意性地圖示計算系統700的非限制性實施例，該計算系統700可制定上述之方法及程序中的一或更多者。計算系統700係以簡化形式來圖示。計算系統700可採取一或更多個個人電腦、伺服器電腦、平板電腦、家用娛樂電腦、網路計算裝置、遊戲裝置、行動計算裝置、行動通訊裝置(例如智慧型手機)、可穿戴式計算裝置及/或其他計算裝置的形式。例如，計算系統700可為圖1之計算裝置104的示例及/或可執行圖2及3中所描述的方法。
計算系統700包括邏輯裝置702及儲存裝置704。計算系統700可以可選地包括顯示子系統706、輸入子系統708、通訊子系統710及/或未圖示於圖7中的其他元件。
邏輯裝置702包括經配置以執行指令的一或更多個實體裝置。例如，邏輯裝置可經配置以執行指令，該等指令係一或更多個應用程式、服務、程式、常式、程序庫、物件、元件、資料結構或其他邏輯構造的部分。這樣的指令可經實施以執行任務、實施資料類型、轉換一或更多個元件的狀態、 達成技術效果或要不就達到所需的結果。
邏輯裝置702可包括經配置以執行軟體指令的一或更多個處理器。額外地或替代地，邏輯裝置可包括經配置以執行硬體或韌體指令的一或更多個硬體或韌體邏輯裝置。邏輯裝置的處理器可為單核心或多核心，且於其上所執行的指令可經配置以供順序的、平行的及/或分佈的處理。邏輯裝置的個別元件可以可選地分佈於二或更多個單獨裝置中，該等裝置可位於遠端及/或經配置以供協同處理。邏輯裝置的態樣可藉由遠端可存取的、聯網的計算裝置來虛擬化及執行，該等計算裝置係以雲端計算配置來配置。
儲存裝置704包括一或更多個實體裝置，該等實體裝置係經配置以保持可由邏輯裝置所執行以實施本文中所描述之方法及程序的指令。當這樣的方法及程序被實施時，儲存裝置704的狀態可被轉換(例如保持不同資料)。
儲存裝置704可包括可移除式及/或內建裝置。儲存裝置704除其他物外可包括光學記憶體(例如CD、DVD、HD-DVD、藍光光碟...等等)、半導體記憶體(例如RAM、EPROM、EEPROM...等等)及/或磁式記憶體(例如硬碟驅動器、軟碟驅動器、磁帶驅動器、MRAM...等等)。儲存裝置704可包括依電性、非依電性、動態、靜態、讀取/寫入、唯讀、隨機存取、順序存取、位置可定址、檔案可定址及/或內容可定址裝置。
將理解的是，儲存裝置704包括一或更多個實體裝置。然而，本文中所描述之指令的態樣可替代性地由通訊媒 體(例如電磁訊號、光學訊號...等等)所傳播，該等通訊媒體在有限期間內非由實體裝置所保持。
邏輯裝置702及儲存裝置704的態樣可被一起整合成一或更多個硬體邏輯元件。這樣的硬體邏輯元件可包括場效可編程閘極陣列(FPGA)、程式特定及應用程式特定的集成電路(PASIC/ASIC)，程式特定及應用程式特定的標準產品(PSSP/ASSP)、晶片上系統(SOC)及複合可編程邏輯裝置(CPLD)，舉例而言。
用語「模組」、「程式」及「引擎」可用以描述經實施以執行特定功能之計算系統700的態樣。在某些情況中，模組、程式或引擎可透過邏輯裝置702來樣例化，該邏輯裝置702執行由儲存裝置704所保持的指令。將了解的是，不同模組、程式及/或引擎可自相同的應用程式、服務、代碼、方塊、物件、程序庫、常式、API、功能...等等來樣例化。同樣地，相同的模組、程式及/或引擎可由不同應用程式、服務、代碼、方塊、物件、常式、API、功能...等等所樣例化。用語「模組」、「程式」及「引擎」可包括個別的或群組的可執行檔案、資料檔案、程序庫、驅動器、腳本、資料庫記錄...等等。
將理解的是，如本文中所使用者「服務」係可跨多個使用者通信期執行的應用程式。服務對於一或更多個系統元件、程式及/或其他服務可能是可用的。在某些實施例中，服務可運行於一或更多個伺服器計算裝置上。
當被包括時，顯示子系統706可用以呈現由儲存裝 置704所保持之資料的視覺表示。此視覺表示可採取圖形使用者介面(GUI)的形式。當本文中所描述的方法及程序改變了由儲存裝置所保持的資料，且因此轉換該儲存裝置的狀態時，顯示子系統706的狀態可同樣地被轉換至下層資料中的視覺表示改變。顯示子系統706可包括利用實質上任何類型科技的一或更多個顯示裝置。這樣的顯示裝置可與邏輯裝置702及/或儲存裝置704結合於共享的外殼中，或這樣的顯示裝置可為周邊顯示裝置。
輸入子系統708可包括一或更多個使用者輸入裝置或與該等使用者輸入裝置互接，該等使用者輸入裝置例如為眼睛追蹤系統(例如圖1之計算裝置104的眼睛追蹤系統)、鍵盤、滑鼠、觸控螢幕、手寫指示器裝置或遊戲控制器。在某些實施例中，輸入子系統可包括經選擇的自然使用者輸入(NUI)元件部分或與該元件部分互接。這樣的元件部分可能是經集成的或周邊的，且輸入動作的轉導及/或處理可被板上地(on-board)或離板地(off-board)處理。示例NUI元件部分可包括：用於語音及/或聲音辨識的麥克風；用於機器視覺及/或手勢辨識之紅外的、彩色的、立體的及/或深度攝影機；用於運動偵測及/或意圖辨識的頭部追蹤器、眼睛追蹤器、加速儀及/或陀螺儀；以及用於評估腦部活動的電場感應元件部分。例如，輸入子系統可包括用以執行圖2及3之方法200及/或300的眼睛追蹤系統及/或眼睛追蹤系統的部分。
當被包括時，通訊子系統710可經配置以通訊性地將計算系統700與一或更多個其他計算裝置耦合。通訊子系 統710可包括相容於一或更多個不同通訊協定的有線及/或無線通訊裝置。作為非限制性示例，通訊子系統可經配置以供透過無線電話網路、或有線或無線區域或廣域網路來進行通訊。在某些實施例中，通訊子系統可允許計算系統700透過網路(例如網際網路)向其他裝置發送及/或自其他裝置接收信息。
將了解的是，本文中所描述的配置及/或方法本質上係示例性的，且這些特定實施例或示例要不以限制性的意義來考慮，因為許多變化是可能的。本文中所描述的特定程序或方法可代表任何數量之處理策略中的一或更多者。如此，可以所繪示的及/或所描述的順序、以其他順序、平行地來執行或忽略所繪示及/或描述的各種動作。同樣地，上述程序的順序可被改變。
本揭露的申請標的包括所有新穎的及非顯而易見的各種程序、系統及配置的組合及子組合、及本文中所揭露的其他特徵、功能、動作及/或屬性、以及其之任何及所有等效物。
100‧‧‧示例眼睛追蹤環境
102‧‧‧使用者
104‧‧‧計算裝置
106‧‧‧眼鏡
108‧‧‧複數個光源
110‧‧‧攝影機

Claims (20)

  1. 一種眼睛追蹤系統，包括：複數個光源；一攝影機，係經配置以在來自該等光源之光從一眼睛反射時捕捉該光的一影像；一邏輯裝置；及一儲存裝置，儲存指令，該等指令可由該邏輯裝置所執行以進行以下步驟：藉由從該等複數個光源的不同光源組合反覆投射光，及在投射各組合期間捕捉該眼睛的一影像，來獲取眼睛追蹤資料的訊框；基於該影像中經偵測之阻擋的一決定步驟，來對於眼睛追蹤選擇一經選擇的光源組合，該影像中經偵測之該阻擋係從一透明或半透明光學結構產生的，該光學結構係位於該眼睛及該攝影機之間；及對於眼睛追蹤透過該經選擇的光源組合投射光。
  2. 如請求項1所述之眼睛追蹤系統，其中從不同光源組合反覆投射光的步驟包括以下步驟：以一順序從該等不同光源組合反覆投射光，該順序係基於對一或更多個組合中之各者的一經預測阻擋。
  3. 如請求項2所述之眼睛追蹤系統，更包括以下步驟：偵測一頭部姿態，且基於該頭部姿態決定該估計。
  4. 如請求項1所述之眼睛追蹤系統，更包括以下步驟：將一影像中的一飽和點標定為一眩光，且基於決定該眩光是否出現於一下個影像中的一步驟，來將該眩光與一第一光源組合中的一經選擇光源匹配，其中該下個影像係在投射一第二、不同的光源組合期間所捕捉的，該第二、不同的光源組合並不包括該經選擇的光源。
  5. 如請求項1所述之眼睛追蹤系統，其中從不同光源組合反覆投射光的步驟包括以下步驟：在從包括一較多數量之光源的一組合投射光之前，從包括一較少數量之光源的一組合投射光。
  6. 如請求項1所述之眼睛追蹤系統，其中從不同光源組合反覆投射光的步驟包括以下步驟：在從包括一較少數量之光源的一組合投射光之前，從包括一較多數量之光源的一組合投射光。
  7. 如請求項1所述之眼睛追蹤系統，其中該等複數個光源包括複數個紅外光發射二極體(LED)。
  8. 如請求項1所述之眼睛追蹤系統，其中該等複數個光源包括四個紅外光發射二極體(LED)，且從不同光源組合反覆 投射光的步驟包括以下步驟：從不同的LED或不同的該等四個紅外LED的組合反覆投射光。
  9. 如請求項1所述之眼睛追蹤系統，其中從不同光源組合反覆投射光的步驟包括以下步驟：在一第一反覆法期間從所有該等複數個光源投射光，及在一或更多個其他反覆法期間從該等複數個光源的一或更多個子集合投射光。
  10. 如請求項1所述之眼睛追蹤系統，其中該等複數個光源中的一或更多者係彼此不同地導向，且其中從不同光源組合反覆投射光的步驟包括以下步驟：從具有不同方向組合的不同光源組合反覆投射光。
  11. 如請求項1所述之眼睛追蹤系統，其中該等指令係可經進一步執行以藉由以下步驟來決定該影像中的阻擋：偵測該影像中的飽和區域，基於一或更多個準則，對於各飽和區域決定一邊界框，將一統計分佈契合於各邊界框內的各飽和區域，及若契合於該飽和區域之該統計分佈的一參數符合一條件，則將一邊界框內的一飽和區域分類為一眩光。
  12. 一種追蹤眼睛移動的方法，該方法包括以下步驟： 藉由從不同的光源組合反覆投射光，及在投射各組合期間以一攝影機捕捉一眼睛的一影像，來獲取眼睛追蹤資料的訊框；基於該影像中經偵測的一阻擋量，對於眼睛追蹤選擇一經選擇的光源組合，該阻擋量係從一透明或半透明光學結構產生的，該光學結構係位於該眼睛及該攝影機之間；及對於眼睛追蹤透過該經選擇的光源組合投射光。
  13. 如請求項12所述之方法，更包括以下步驟：藉由以下步驟來決定該影像中的該阻擋量：偵測該影像中的飽和區域，對於各飽和區域決定一邊界框，將一統計分佈契合於各邊界框內的各飽和區域，及若契合於該飽和區域之該統計分佈的一參數符合一閥值條件，則將一邊界框內的一飽和區域分類為一眩光。
  14. 如請求項13所述之方法，其中對於各飽和區域決定一邊界框的步驟包括以下步驟：增加該邊界框的一尺寸，直到該邊界框中一飽和像素的百分比符合一閥值為止。
  15. 如請求項13所述之方法，其中該影像中的該阻擋量係決定為各經分類之區域之該量、尺寸及位置中之一或更多者的一函數，其中該各經分類的區域係被分類為一眩光。
  16. 一種分類影像資料中之眩光的方法，該影像資料係來自一眼睛追蹤系統的一攝影機，該方法包括以下步驟：從該攝影機接收一影像；偵測該影像中的飽和區域；對於該飽和區域的各核心決定一邊界框；將一統計分佈契合於各邊界框內的各飽和區域；及若契合於該飽和區域之該統計分佈的一參數符合一閥值統計分佈契合條件，則將一邊界框內的一飽和區域分類為一眩光。
  17. 如請求項16所述之方法，其中對於各飽和區域決定一邊界框的步驟包括以下步驟：增加該邊界框的一尺寸，直到該邊界框中的一飽和像素百分比符合一閥值邊界框條件為止。
  18. 如請求項17所述之方法，更包括以下步驟：對該影像執行一前景距離轉換，及移除該影像中的輪廓，以偵測該等飽和區域的核心，其中該等輸廓具有小於一距離閥值的一距離值。
  19. 如請求項18所述之方法，其中該距離閥值、該閥值邊界框條件及該閥值統計分佈契合條件中的一或更多者係透過一學習演算法來決定的。
  20. 如請求項16所述之方法，其中該統計分佈包括一高斯模 型，且其中該統計分佈的該參數包括一高斯模型錯誤。
TW104108831A 2014-04-29 2015-03-19 處理眼睛追蹤中的眩光 TW201541284A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/264,952 US9454699B2 (en) 2014-04-29 2014-04-29 Handling glare in eye tracking

Publications (1)

Publication Number Publication Date
TW201541284A true TW201541284A (zh) 2015-11-01

Family

ID=53059471

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104108831A TW201541284A (zh) 2014-04-29 2015-03-19 處理眼睛追蹤中的眩光

Country Status (18)

Country Link
US (2) US9454699B2 (zh)
EP (1) EP3137973B1 (zh)
JP (2) JP6592000B2 (zh)
KR (1) KR102358936B1 (zh)
CN (2) CN110266916B (zh)
AU (1) AU2015253554B2 (zh)
BR (1) BR112016024889B1 (zh)
CA (1) CA2943426C (zh)
CL (1) CL2016002668A1 (zh)
IL (1) IL247738B (zh)
MX (1) MX366780B (zh)
MY (1) MY184112A (zh)
NZ (1) NZ724321A (zh)
PH (1) PH12016501886B1 (zh)
RU (1) RU2678478C2 (zh)
SG (1) SG11201608289YA (zh)
TW (1) TW201541284A (zh)
WO (1) WO2015167906A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680309B (zh) * 2018-02-12 2019-12-21 大陸商北京七鑫易維信息技術有限公司 匹配光源與光斑的方法和裝置

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
US20180012094A1 (en) * 2016-07-05 2018-01-11 Morphotrust Usa, Llc Spoofing attack detection during live image capture
WO2018057947A1 (en) * 2016-09-22 2018-03-29 Apple, Inc. Eye and head tracking
US10120442B2 (en) * 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
CN106874895B (zh) 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
WO2019014861A1 (en) * 2017-07-18 2019-01-24 Hangzhou Taruo Information Technology Co., Ltd. INTELLIGENT FOLLOWING OF OBJECTS
US10474231B2 (en) * 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight
KR102410834B1 (ko) * 2017-10-27 2022-06-20 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
US20190129174A1 (en) * 2017-10-31 2019-05-02 Google Llc Multi-perspective eye-tracking for vr/ar systems
US11386709B2 (en) 2017-10-31 2022-07-12 Seeing Machines Limited System and method for improving signal to noise ratio in object tracking under poor light conditions
KR102476757B1 (ko) 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
TWI647472B (zh) * 2018-01-22 2019-01-11 國立臺灣大學 雙模式視線追蹤方法與系統
US10863812B2 (en) * 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
WO2020028216A1 (en) 2018-08-01 2020-02-06 Intuitive Surgical Operations, Inc. Systems and methods for controlling a robotic manipulator or associated tool
US11483545B2 (en) 2018-08-29 2022-10-25 Intuitive Surgical Operations, Inc. Dynamic illumination for eye-tracking
US12144546B2 (en) 2018-09-19 2024-11-19 Avedro, Inc. Systems and methods for eye tracking during eye treatment
US11455716B2 (en) * 2018-11-13 2022-09-27 Rivian Ip Holdings, Llc Image analysis of applied adhesive with fluorescence enhancement
SE543240C2 (en) 2018-12-21 2020-10-27 Tobii Ab Classification of glints using an eye tracking system
DE102018010099B4 (de) * 2018-12-21 2021-12-02 Diehl Aerospace Gmbh Vermeiden der Blendung von Personen durch eine Lichtquelle
US10877268B2 (en) * 2019-04-16 2020-12-29 Facebook Technologies, Llc Active control of in-field light sources of a head mounted display
US10948729B2 (en) 2019-04-16 2021-03-16 Facebook Technologies, Llc Keep-out zone for in-field light sources of a head mounted display
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
IT201900011403A1 (it) * 2019-07-10 2021-01-10 Ambarella Int Lp Detecting illegal use of phone to prevent the driver from getting a fine
EP3779561B1 (en) * 2019-08-13 2024-08-14 HTC Corporation Head-mounted display
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN112578556B (zh) * 2019-09-27 2023-02-21 托比股份公司 用于减少来自光学装置的不合需的反射的眼睛跟踪系统
US11076080B2 (en) * 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
WO2021125993A1 (ru) * 2019-12-16 2021-06-24 Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Инстиут (Национальный Исследовательский Университет)" Способ определения направления взгляда
WO2021125992A1 (ru) * 2019-12-16 2021-06-24 федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" Устройство определения направления взгляда
US11340701B2 (en) * 2019-12-16 2022-05-24 Nvidia Corporation Gaze determination using glare as input
CN113515975B (zh) * 2020-04-10 2022-11-08 北京眼神科技有限公司 人脸和虹膜图像采集方法、装置、可读存储介质及设备
CN111772575A (zh) * 2020-06-02 2020-10-16 岭南师范学院 基于led光学无损特殊儿童检测仪及检测方法
WO2022066813A1 (en) * 2020-09-25 2022-03-31 Sterling Labs Llc Flexible illumination for imaging systems
CN112198965B (zh) * 2020-12-04 2021-03-09 宁波圻亿科技有限公司 一种ar眼镜护目自动控制方法及装置
JP6956985B1 (ja) * 2020-12-22 2021-11-02 株式会社スワローインキュベート 目検出方法、目検出装置及び目検出プログラム
US11972042B2 (en) * 2021-06-15 2024-04-30 Microsoft Technology Licensing, Llc Variable intensity distributions for gaze detection assembly
JP2023041097A (ja) * 2021-09-13 2023-03-24 矢崎総業株式会社 検出システム
CN116301301A (zh) * 2021-12-20 2023-06-23 华为技术有限公司 眼动追踪装置和眼动追踪方法
GB2618078A (en) * 2022-04-25 2023-11-01 Continental Automotive Tech Gmbh An image processing method for removal of glare spots and system for the same

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
JP4250506B2 (ja) * 2003-10-31 2009-04-08 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラムおよび撮像システム
US7777778B2 (en) * 2004-10-27 2010-08-17 Delphi Technologies, Inc. Illumination and imaging system and method
JP2006318374A (ja) * 2005-05-16 2006-11-24 Matsushita Electric Ind Co Ltd 眼鏡判別装置および認証装置ならびに眼鏡判別方法
JP4921486B2 (ja) * 2005-11-30 2012-04-25 シーイング・マシーンズ・プロプライエタリー・リミテッド 視覚的に頭と目を追跡するシステムにおける眼鏡の視覚的追跡
US7630002B2 (en) 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
CN101008982A (zh) * 2006-01-27 2007-08-01 侯雨石 消除眼镜干扰的虹膜采集方法和装置
EP1987475A4 (en) 2006-02-14 2009-04-22 Fotonation Vision Ltd AUTOMATIC DETECTION AND CORRECTION OF RED EYE FLASH DEFECTS
CN101499127B (zh) * 2008-02-03 2012-07-18 上海银晨智能识别科技有限公司 防止眼镜镜片反光干扰而导致无法识别人脸的方法
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US8324602B2 (en) 2009-04-14 2012-12-04 Intersil Americas Inc. Optical sensors that reduce specular reflections
CN101545588A (zh) * 2009-04-30 2009-09-30 清华大学 一种防止眼镜反光的机器视觉照明系统
US8333475B2 (en) * 2009-11-12 2012-12-18 Panasonic Corporation Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium
EP2339534A1 (en) 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
RU93553U1 (ru) * 2009-11-19 2010-04-27 Общество с ограниченной ответственностью "Системы позиционирования - оптические технологии" Компьютерный манипулятор, использующий углы поворота глаз и направление взгляда человека для позиционирования курсора на экране компьютера
US20110170060A1 (en) 2010-01-08 2011-07-14 Gordon Gary B Gaze Tracking Using Polarized Light
RU2576344C2 (ru) 2010-05-29 2016-02-27 Вэньюй ЦЗЯН Системы, способы и аппараты для создания и использования очков с адаптивной линзой на основе определения расстояния наблюдения и отслеживания взгляда в условиях низкого энергопотребления
WO2012047221A1 (en) 2010-10-07 2012-04-12 Sony Computer Entertainment Inc. 3-d glasses with camera based head tracking
US8730356B2 (en) 2011-03-07 2014-05-20 Sony Corporation System and method for automatic flash removal from images
WO2012177542A1 (en) 2011-06-18 2012-12-27 Identix Incorporated Systems and methods for detecting a specular reflection pattern for biometric analysis
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
KR20130121303A (ko) * 2012-04-27 2013-11-06 한국전자통신연구원 원거리 시선 추적 시스템 및 방법
US9192305B2 (en) * 2012-09-28 2015-11-24 Align Technology, Inc. Estimating a surface texture of a tooth
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US11740692B2 (en) * 2013-11-09 2023-08-29 Shenzhen GOODIX Technology Co., Ltd. Optical eye tracking
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680309B (zh) * 2018-02-12 2019-12-21 大陸商北京七鑫易維信息技術有限公司 匹配光源與光斑的方法和裝置

Also Published As

Publication number Publication date
KR102358936B1 (ko) 2022-02-04
RU2016142286A (ru) 2018-04-27
CA2943426A1 (en) 2015-11-05
US20160358009A1 (en) 2016-12-08
CN110266916A (zh) 2019-09-20
JP6592000B2 (ja) 2019-10-16
CL2016002668A1 (es) 2017-04-21
EP3137973A1 (en) 2017-03-08
WO2015167906A1 (en) 2015-11-05
JP6845295B2 (ja) 2021-03-17
AU2015253554A1 (en) 2016-10-20
US9916502B2 (en) 2018-03-13
CN110266916B (zh) 2021-09-21
RU2678478C2 (ru) 2019-01-29
MX2016014094A (es) 2017-02-09
BR112016024889A2 (pt) 2017-08-15
IL247738A0 (en) 2016-11-30
SG11201608289YA (en) 2016-11-29
CN106462236B (zh) 2019-06-04
US20150310253A1 (en) 2015-10-29
BR112016024889B1 (pt) 2022-09-27
BR112016024889A8 (pt) 2021-06-08
NZ724321A (en) 2020-03-27
MY184112A (en) 2021-03-18
RU2016142286A3 (zh) 2018-11-19
MX366780B (es) 2019-07-24
IL247738B (en) 2019-06-30
JP2020013601A (ja) 2020-01-23
AU2015253554B2 (en) 2019-12-19
PH12016501886A1 (en) 2016-12-19
PH12016501886B1 (en) 2016-12-19
EP3137973B1 (en) 2020-03-25
CN106462236A (zh) 2017-02-22
US9454699B2 (en) 2016-09-27
CA2943426C (en) 2021-11-09
KR20160146858A (ko) 2016-12-21
JP2017521738A (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6845295B2 (ja) 目追跡でのグレアに対処すること
KR102456046B1 (ko) 동공 검출
KR102368457B1 (ko) 편광 시선 추적
EP3284011B1 (en) Two-dimensional infrared depth sensing
JP5777582B2 (ja) 画像中の物体の検出及び追跡
JP6560748B2 (ja) アイウェアを通じた視線追跡
KR101794148B1 (ko) 효율적인 자유 공간 손가락 인식
US20140085625A1 (en) Skin and other surface classification using albedo
CN107533637A (zh) 对有歧义的图像数据进行分类
HK1234172A1 (zh) 在眼睛追踪中处理眩光
HK1234172B (zh) 在眼睛追踪中处理眩光