[go: up one dir, main page]

CN109076176A - 眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法 - Google Patents

眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法 Download PDF

Info

Publication number
CN109076176A
CN109076176A CN201680085009.4A CN201680085009A CN109076176A CN 109076176 A CN109076176 A CN 109076176A CN 201680085009 A CN201680085009 A CN 201680085009A CN 109076176 A CN109076176 A CN 109076176A
Authority
CN
China
Prior art keywords
unit
image
light
interest
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680085009.4A
Other languages
English (en)
Inventor
康世珍
姜度荣
尹汉老
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MtekVision Co Ltd
Original Assignee
MtekVision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160070843A external-priority patent/KR101810956B1/ko
Application filed by MtekVision Co Ltd filed Critical MtekVision Co Ltd
Publication of CN109076176A publication Critical patent/CN109076176A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

本发明提供一种驾驶员的眼睛位置检测装置和方法。眼睛位置检测装置包括：光照射单元，将具有规定波长的光照射到外部；相机单元，捕获外部图像并生成图像信息；以及图像分析单元，在图像信息中生成关于面部区域、眼睛区域和瞳孔的中心位置的检测结果信息。

Description

眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感 器的成像装置及其照明控制方法
技术领域
本发明涉及眼睛位置检测装置和方法、带滚动快门驱动系统(rolling shutterdriving system)的图像传感器的成像装置及其照明控制方法。
背景技术
用于尽可能减少由于车辆行驶引起的交通事故造成的死亡数量的各种技术已经被开发出。例如，捕获驾驶员的面部图像、判断驾驶员是否困倦的同时驾驶、以及当判断为驾驶员困倦的同时驾驶时输出声音或产生振动以引起驾驶员的注意的技术已经被开发出。
特别地，韩国专利申请公开No.2007-0031558公开了一种技术概念，其中通过设置在驾驶员座椅前方的相机成像驾驶员的面部区域，从捕获的图像中检测面部和眼睛位置，并且判断驾驶员是否困倦的同时驾驶。
然而，在这样的相关技术中，当驾驶员佩戴眼镜时，存在以下问题：从眼镜反射的光将与实际监视的目标信号混合，因此难以感知位置或者眼睛或瞳孔的状态。
特别地，当如图1的(a)所示从眼镜的镜片表面镜面反射光时，还存在以下问题：镜面反射并入射到相机上的光的强度可能具有大于来自检测对象的信号的值。在这种情况下，根据从眼镜镜片表面镜面反射的光的强度与从镜片内部随机地反射的信号的大小之间的差异，可以看到眼镜内部(参见图1的(b))或者发生眼镜的内部不可见的镜面效应(参见图1的(c))。
然而，当由于驾驶员佩戴的眼镜而未检测到驾驶员的眼睛的位置和状态时，可能无法向困倦时的驾驶员发出警报，而可能无法防止车辆的事故。
如在韩国专利申请公开No.2015-0136746中所公开的，当有意地照射光以使对象成像时，成像装置在传感器的整个曝光时间内向对象照射比环境光强的光。然而，当从照明进行比环境光强的光的照射达预定时间时，消耗大量电力。
当使用根据相关技术的具有全局快门系统的图像传感器时，所有的图像像素具有相同的曝光时间，因此通过在传感器的曝光时间期间开启照明，容易减少在照明中消耗的电力量。
然而，带滚动快门系统的图像传感器具有基于图像行的顺序曝光时间，因此具有使用与全局快门系统中相同的方法不能减少照明中消耗的电力量的限制。
也就是说，如图8所示，在VGA传感器的情况下，在整个帧周期具有480行的曝光时间，在图像传感器的曝光时间段期间必须保持开启照明的状态，并且当捕获连续图像时照明必须保持在始终开启状态。
发明内容
技术问题
本发明提供了驾驶员的眼睛位置检测装置和方法，其能够准确地检测佩戴眼镜的驾驶员的眼睛和瞳孔的位置并准确地判断驾驶员是否困倦的同时驾驶。
本发明提供一种具有带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法，所述成像装置能够通过跟踪和检测连续帧的每一个中的感兴趣区域并调节照明开启区段来减少照明中消耗的电力量。
从以下描述中将容易理解本发明的其他目的。
技术方案
根据本发明的一个方面，提供一种眼睛位置检测装置，其减小由从眼镜的镜片表面镜面反射的太阳辐射中获取的图像的影响，所述眼睛位置检测装置包括：光照射单元，将具有规定波长的光照射到外部；相机单元，捕获外部图像并生成图像信息；以及图像分析单元，在所述图像信息中生成关于面部区域、眼睛区域和瞳孔的中心位置的检测结果信息，其中，具有规定波长的光包括波长带为910nm至990nm的光，相机单元包括带通滤波器，该带通滤波器仅使照射的光的910nm至990nm波长带中规定波长带的光通过并产生与照射的光相对应的图像信息。
具有规定波长的光可以是峰值波长为950nm且质心波长为940nm的光。
相机单元可以包括：透镜，所述透镜接收光；图像传感器，所述图像传感器接收通过位于所述透镜的后段中的所述带通滤波器的光并输出图像信号；以及信号处理单元，所述信号处理单元生成与所述图像信号相对应的图像信息。
相机单元的安装位置可以设置在除了被光照射单元照射并且被与对象相对应的用户所佩戴的眼镜镜面反射的光入射到的位置之外的位置。
根据本发明的另一方面，提供一种成像装置，所述成像装置具有带滚动快门驱动系统的图像传感器，所述成像装置包括：照明单元，用光照明对象；相机单元，包括带滚动快门驱动系统的图像传感器，并输出通过以运动图像模式使对象成像而生成的图像信息；分析单元，从由相机单元提供的图像信息构成的图像帧中检测规定的感兴趣对象，使用规定的方法设定以检测到的感兴趣对象为中心的感兴趣区域，并生成与设定的感兴趣区域相对应的感兴趣区域信息；以及控制单元，通过设定相机控制值来控制相机单元的操作，并且控制照明单元的操作使得当相机单元捕获与后续图像帧相对应的图像时仅在与所述感兴趣区域信息相对应的时间范围内开启照明。
控制单元可以从相机单元接收帧同步信号(Vsync)和行同步信号(Hsync)，对输入的行同步信号进行计数，控制照明单元使得在与感兴趣区域信息相对应的起始时间点开启照明，并控制照明单元使得在与感兴趣区域信息相对应的结束时间点关闭照明。
相机控制值可以包括所述图像传感器的曝光值和增益值，所述图像传感器的所述曝光值和所述增益值被设定为使得所述图像帧具有规定的平均亮度。
当照明单元照射具有规定波长的红外光时，所述相机单元可以包括选择性地仅使所述具有规定波长的红外光通过的带通滤波器，并且可以基于通过所述带通滤波器的红外光生成图像信息。
根据本发明的另一方面，提供一种用于成像装置的照明控制方法，所述成像装置具有带滚动快门驱动系统的图像传感器，所述照明控制方法包括：(a)使控制单元控制相机单元的操作，所述相机单元从所述控制单元被提供相机控制值，并且所述相机单元利用滚动快门驱动系统捕获对象的运动图像；(b)使控制单元从相机单元接收帧同步信号和行同步信号，从而对输入的行同步信号进行计数，并且控制照明单元使得仅当与预先设定的照明控制值相对应的行同步信号正在被输入时开启照明；(c)使分析单元从由所述相机单元提供的图像信息所生成的当前帧中检测规定的感兴趣对象，从而设定以感兴趣对象为中心的感兴趣区域，并生成与设定的感兴趣区域相对应的感兴趣区域信息；以及(d)当在步骤(c)中生成的感兴趣区域信息与前一帧的感兴趣区域信息不同时，使控制单元改变用于捕获与后续帧相对应的图像的相机控制值和照明控制值中的一个或多个。
当基于所述相机单元的成像操作正在被执行时，可以重复步骤(a)至(d)。
照明单元可以将具有规定波长的红外光照射到对象，并且可以基于通过带通滤波器的红外光生成图像信息，所述带通滤波器选择性地仅使具有规定波长的光通过并且设置在所述相机单元中。
根据附图、所附权利要求和本发明的详细描述，本发明的其他方面、特征和优点将变得显而易见。
有益效果
根据本发明的实施例，可以准确地检测佩戴眼镜的驾驶员的眼睛和瞳孔的位置，并且可以准确地判断驾驶员是否困倦的同时驾驶。
还可以通过在连续帧的每一个中跟踪和检测感兴趣区域(例如，眼睛区域，用于检测驾驶员是否困倦的同时的驾驶)并且调节照明开启区段来减少照明中消耗的电力的量。
附图说明
图1是示出眼镜的镜面反射的图；
图2是示出根据本发明的实施例的眼睛位置检测装置的框图；
图3是示出根据本发明的实施例的相机单元的框图；
图4是示出根据本发明的实施例的图像分析单元的框图；
图5是示出太阳辐射的光谱的图；
图6是示出根据本发明的实施例的、光照射单元的照明光带宽与带通滤波器的半高全宽(FWHM：Full Width Half Maximum)之间的关系的图；
图7是示出根据本发明的实施例的眼睛位置检测方法的流程图；
图8是示出根据相关技术的具有带滚动快门驱动系统的图像传感器的成像装置的照明开启区段的图；
图9是示意性地示出根据本发明的实施例的具有带滚动快门驱动系统的图像传感器的成像装置的框图；
图10是示出根据本发明的实施例的在成像装置中指定感兴趣区域的处理的图；
图11是示出根据本发明的实施例的基于成像装置中的照明开启区段的捕获图像的图；
图12是示出根据本发明的实施例的成像装置中的照明控制方法的图；
图13是示出根据本发明的实施例的随着感兴趣区域的变化改变照明开启区段的方法的图。
具体实施方式
可以以各种形式修改本发明，并且具体实施例将在下面描述并示出。然而，实施例不旨在限制本发明，但是应该理解，本发明包括属于本发明的概念和技术范围的所有修改、等同物和替换物。
如果提到元件“连接到”或“耦接到”另一个元件，则应该理解的是，另一元件可以插入在它们之间，以及元件可以直接连接或耦接到另一个元件。相反，如果提到元件“直接连接到”或“直接耦接到”另一个元件，应该理解的是，在它们之间没有插入另一元件。
以下描述中使用的术语仅旨在描述具体实施例，而不旨在限制本发明。单数的表达包括复数的表达，只要它清楚地以不同方式阅读即可。诸如“包括”和“具有”的术语旨在表示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或它们的组合，因此应当理解，不排除一个或多个其他不同特征、数字、步骤、操作、元件、组件或它们的组合的存在或添加的可能性。
术语“第一”、“第二”等可用于描述各种元件，但是元件不应限于这些术语。这些术语仅用于区分元件和另一个元件。
说明书中描述的术语“单元”、“模块”等是指用于执行至少一个功能或操作并且可以由硬件、软件或硬件和软件的组合来体现的单元。
下面参考附图描述的实施例的元件不限于相应的实施例，在不脱离本发明的技术精神的情况下可以包括在另一个实施例中。尽管没有进行特定描述，但是多个实施例可以体现为一个实施例。
在参考附图描述本发明时，不管附图标记是什么，相同的元件由相同的附图标记或符号表示，并且不再重复其描述。当确定本发明所涉及的已知技术的详细描述使得本发明的主旨模糊时，将不对其进行详细描述。
图2是示出根据本发明的实施例的眼睛位置检测装置的框图。图3是示出根据本发明的实施例的相机单元的框图。图4是示出根据本发明的实施例的图像分析单元的框图。图5是示出太阳辐射的光谱的图。
参照图2，眼睛位置检测装置200包括光照射单元210、相机单元220、图像分析单元230和控制单元240。眼睛位置检测装置200附接到车辆中的适当位置(例如，围绕后视镜、或仪表板的一侧的位置)，使得能够有效地确保驾驶员的面部图像。
光照射单元210向外部照射规定波长带的光。如图6(a)所示，从光照射单元210照射的规定波长带的光包括波长范围为910nm至990nm的波长带的光，其中其峰值波长设定为950nm，其质心波长(即，将图的面积分成两半的重心所对应的波长)设定为940nm。
在下面的描述中，从光照射单元210照射的光称为940nm光，并且后面描述的带通滤波器224(参见图3)选择性地使其通过的光的特定波长带称为940nm波长带。
如图5所示，来自太阳辐射光谱的940nm波长带的光谱被空气中的H2O大量吸收，并且基于太阳辐射的940nm波长带的光信号的幅度相对较小。
根据本实施例的眼睛位置检测装置200包括光照射单元210。因此，即使当太阳辐射和由太阳辐射(太阳辐射包括环境光)生成的对象图像从眼镜的镜片表面被镜面反射并输入到相机单元220中时，除940nm波长带的光之外的光被相机单元220中的带通滤波器224去除，因此反射光信号的影响被最小化。
相机单元220生成包括驾驶员的面部的区域的图像信息。相机单元220的安装位置可以设置于除了从光照射单元210照射的光从眼镜等被镜面反射的反射角度的位置之外的位置。
参照图3，相机单元220包括透镜(222)、带通滤波器224、图像传感器226和信号处理单元228。
也就是说，在相机单元220中，经由透镜222输入的光通过带通滤波器224并积聚作为图像传感器226的像素中的电荷，从图像传感器226输出的图像信号被信号处理单元228处理成图像信息，被信号处理单元228处理的图像信息被提供给图像分析单元230。例如，信号处理单元228可以是图像信号处理器(ISP)。
在图6(a)中，示出了根据本实施例的关于相对于从光照射单元210照射的光的波长(λ)的光强度(Irel)的图。在本实施例中，从光照射单元210照射的光(称为940nm光)包括波长带为910nm至990nm的光，其中峰值波长为950nm并且质心波长为940nm。
这是因为基于太阳辐射的940nm的光信号的幅度相对较小，因此，通过照射波长带的光的光照射单元210，能够令人满意地减少由眼镜的镜片表面的太阳辐射的镜面反射所产生的图像的影响。
因此，当与作为峰值波长的950nm处的光强度的50％相对应的带宽被定义为A时，带通滤波器224的半高全宽(FWHM)B可以设定为基本上等于A的值，如图6的(b)所示。
当B比A大很多时，除了940nm波长带之外的波长带的光也被输入到图像传感器226，因此，太阳辐射量最小的940nm波长带的选择是没有意义的。当B比A小很多时，适当波长带的光可被输入，但是输入光量过小，并且图像传感器226不能适当地动作。因此，A和B需要设定为基本相同的幅度，即，相同幅度或差小于规定误差范围的幅度。
参照图3，相机单元220具有与包括透镜、图像传感器和信号处理单元的现有相机单元相同的结构，除了设置带通滤波器224以过滤输入光，因此将不重复其详细描述。
参照图4，图像分析单元230包括面部检测单元232、眼睛区域检测单元234和瞳孔检测单元236。
面部检测单元232从自相机单元220输入的图像信息中检测面部区域。为了检测面部区域，例如，可以使用Adaboost算法，Adaboost算法组合使用多个Harr分类器。例如，可以将预先指定为肤色的颜色范围中的区域检测为面部区域。可以进一步使用用于从图像信息中检测面部区域的各种检测方法。
眼睛区域检测单元234检测由面部检测单元232检测到的面部区域中的眼睛区域。例如，考虑到坐在车辆中的驾驶员的面部位置和相机单元220的安装角度，可以将眼睛位于由面部检测单元232检测到的面部区域中的眼睛区域的范围预先指定为检测到的面部区域的上部30％区域。眼睛区域检测单元234可以将眼睛区域指定为对以下区域学习的结果：该区域在之前的处理中被瞳孔检测单元236主要识别为瞳孔存在的区域。
瞳孔检测单元236检测检测到的眼睛区域中的瞳孔的中心。例如，可以使用自适应阈值估计方法在眼睛区域中检测瞳孔的中心，该自适应阈值估计方法利用瞳孔区域的灰度级低于其他区域的灰度级的特征。例如，还可以使用利用分层KLT特征跟踪算法检测运动矢量并使用检测到的运动矢量提取瞳孔的精确中心坐标的方法。
即使当通过上述处理由相机单元220成像的驾驶员的面部是正面或不是正面时，也能够准确地检测面部区域、眼睛区域以及瞳孔的存在和位置。
图像分析单元230将面部区域信息、眼睛区域信息和瞳孔中心位置信息中的一个或多个作为检测结果提供给控制单元240。
当瞳孔中心位置信息没有从图像分析单元230连续地输入达预定时间(例如，0.5秒)或更长时间(例如，当眼睛闭上并且未检测到瞳孔的状态被维持时)时，控制单元240能够识别驾驶员困倦的同时驾驶。当驾驶员被识别为困倦时，控制单元240使扬声器(未示出)输出声音或通过使驾驶员抓握的方向盘振动等引起驾驶员的注意。
控制单元240可以控制光照射单元210、相机单元220和图像分析单元230的动作。
如上所述，根据本实施例的眼睛位置检测装置200的特征在于，其可以被实现为使得来自随机反射光的检测对象的表面的信号的幅度大于从外部入射并从眼镜的镜片表面镜面反射的光的强度，并且无论从眼镜等玻璃介质镜面反射并入射的光如何，都能够有效地获取检测对象的位置和状态。
图7是示出根据本发明的实施例的眼睛位置检测方法的流程图。
参照图7，在步骤510中，光照射单元210向驾驶员照射940nm光。光照射单元210通过控制单元240控制，使得光照射单元210按照规定的光照射时段开启/关闭。
在步骤520中，包括带通滤波器224的相机单元220基于通过透镜222输入的光信号中的被带通滤波器224滤波后的光信号生成图像信息。
图像分析单元230从由相机单元220生成的图像信息中检测面部区域、眼睛区域和瞳孔，并生成面部区域信息、眼睛区域信息和瞳孔中心位置信息。
在步骤530中，控制单元240根据在步骤520中生成的瞳孔中心位置信息从图像分析单元230是否没有连续地输入例如规定时间(例如，0.5秒)或更长时间，来判断驾驶员是否困倦的同时驾驶。
当判断驾驶员困倦时，在步骤540中，控制单元240执行规定的警报处理以引起驾驶员的注意。警报处理可以是，例如，从扬声器(未示出)输出声音的处理、或使驾驶员抓住的方向盘振动的处理。
尽管上面已经描述了检测上车的驾驶员的眼睛区域和瞳孔以防止困倦的同时驾驶的实施例，但是根据本发明的眼睛位置检测装置和方法可以应用于例如虹膜扫描等需要检测眼睛的位置的各种领域。
图9是示意性地示出根据本发明的实施例的包括具有滚动快门驱动系统的图像传感器的成像装置的结构的框图。图10是示出根据本发明的实施例的在成像装置中指定感兴趣区域的处理的图。图11是示出根据本发明的实施例的通过成像装置在照明开启区段中捕获的图像的图。
参照图9，成像装置900包括相机单元910、分析单元920、控制单元930和照明单元940。分析单元920可以设置作为控制单元930的一部分，但是为了方便在本实施例中具有独立的结构。分析单元920、照明单元940、相机单元910和控制单元930可以是与如上所述的图像分析单元230、光照射单元210、相机单元220和控制单元240相同的部件，或者可以是另外设置的部件。
当由相机单元910捕获的图像被处理并经由显示装置(未示出)输出时，或者当分析图像并执行对匹配预定目的的确定(例如，驾驶员面部的成像、眼睛区域的检测、对驾驶员是否困倦的同时驾驶的确定)时，成像装置900可以进一步包括如图所示的图像处理单元950。
相机单元910包括具有滚动快门驱动系统的图像传感器、以及图像信号处理器(ISP)。相机单元910基于从控制单元930提供的相机控制值(即，图像传感器的曝光值和/或增益值)使对象成像，并将与捕获图像相对应的帧同步信号Vsync和行同步信号Hsync提供给控制单元930。为了确定感兴趣区域，相机单元930将与基于相机控制值捕获的图像相对应的图像信息提供给分析单元920。
分析单元920使用从相机单元910提供的图像信息，即与特定帧相对应的图像信息，生成感兴趣区域信息(例如，在一帧中指定的坐标区段信息)，并将生成的感兴趣区域信息提供给控制单元930。
如图10所示，例如，可以生成用于限定感兴趣区域1030的感兴趣区域信息，以与规定的感兴趣对象1030的形状、大小和位置中的一个或多个相对应。可以将关于感兴趣对象1030的形状、大小和位置中的一个或多个的信息预先存储在存储单元(未示出)中。
例如，第n帧中的感兴趣区域信息是基于预先存储在存储单元(未示出)中的感兴趣对象1020的形状、大小和位置中的一个或多个的，并且第n帧中的感兴趣区域信息可以基于通过基于第(n-2)帧中的感兴趣对象1020的位置对第(n-1)帧应用诸如卡尔曼滤波或粒子滤波的跟踪算法、或执行用于检测感兴趣对象1020的边缘检测而在第(n-1)帧中检测到的感兴趣对象1020的位置来设定(参见图10的(a)和(c))。例如，诸如提升(boosting)、SVM或人工神经网络的机器学习算法可以用于检测感兴趣对象1020，并且当根据本实施例的成像装置900用来检查驾驶员的瞳孔用从而判断驾驶员是否困倦的同时驾驶时，可以进一步使用Adaboost算法等。
如图10的(b)所示，感兴趣区域1030可以被指定为例如相对于感兴趣对象1020具有预定长度的垂线(参见图10的(b1))，或者可以被指定为具有以感兴趣对象1020的中心点为中心的预定半径的圆形区域(参见图10的(b2))。以这种方式，可以通过分析单元920更新应用于后续帧的感兴趣区域信息，所述分析单元920执行在之前和/或当前帧中检测感兴趣对象1020的处理。
当感兴趣对象1020的位置分析和感兴趣区域1030的设置需要预定时间时，由于技术或生产限制，可能发生诸如通过分析第(n-3)帧到第n帧而设定的感兴趣区域信息等的时间延迟。然而，这些技术限制并不限制本发明的技术概念：通过连续帧中的前一帧的分析而指定的感兴趣区域信息被用作在使后续帧成像时用于照明控制的信息。
如上所述，更新的感兴趣区域信息可以有助于基于照明区段的限制来降低电力消耗并提高图像处理速度。
也就是说，当稍后将描述的图像处理单元950执行规定的判定时，对由感兴趣区域信息指定的感兴趣区域以外的区域不执行任何特定的图像处理和判定。因此，可以提高每帧的图像处理速度。例如，当根据本实施例的成像装置900捕获驾驶员的面部图像以确定驾驶员是否困倦的同时驾驶时，以区域1030的对象为中心指定感兴趣区域1030，区域1030的对象为驾驶员的眼睛区域或瞳孔。因此，可以减少图像处理单元950中的图像处理负荷，从而降低图像处理速度和判定驾驶员是否困倦的同时驾驶所需的时间。
新生成的感兴趣区域信息被提供给控制单元930，并且可以用作在使后续帧成像时用于照明单元940的照明区段控制的基本信息。因此，可以降低照明中的电力消耗。这是因为在使除感兴趣区域1030之外的区域成像时不需要照射照明光，因此能够减少照明开启的区段。
这里，当相机单元能够以比所需图像的帧速率更高的帧速率输出图像数据时，可以通过开启照明来跳过输入图像的一些帧从而进一步降低电力消耗。
控制单元930参照从分析单元920提供的感兴趣区域信息来保持或改变相机单元910的相机控制值(即，被设定为获取具有平均亮度的图像的、图像传感器的曝光值和增益值，)，并设定与对应于感兴趣区域1030的照明开启区段相对应的照明控制值(即，Hsync计数值)。
也就是说，控制单元930基于感兴趣区域信息设定后续帧的照明控制值，该感兴趣区域信息是基于通过分析单元920使用相机控制值捕获的当前帧的图像信息所分析的。此后，控制单元基于从相机单元910输入的帧同步信号Vsync识别后续帧的开始，对从相机单元910输入的行同步信号Hsync进行计数，当确定其是与照明控制值、即感兴趣区域相对应的行的曝光时间时，向照明单元940输入照明开启触发信号，并且当确定其不是与感兴趣区域相对应的行的曝光时间时，向照明单元940输入照明关闭触发信号。
控制单元930可以基于更新为与连续图像帧中的感兴趣对象1020的位置变化相对应的感兴趣区域信息，更新并设定驱动设定值(即，相机控制值和照明控制值)，例如，调整曝光时间或调整照明开启区段。
照明单元940基于来自控制单元930的照明开启/关闭触发信号向对象照射光并打开或关闭照明。
照明单元940可以被配置为例如向对象照射规定波长带的红外光。在这种情况下，通过为相机单元910提供选择性地仅使具有规定波长的红外光通过的带通滤波器，可以减小在检测感兴趣对象和使用捕获图像确定驾驶员是否困倦的同时驾驶中太阳辐射的影响。
图11示出了在控制单元930的控制下照明单元940开启和关闭照明的状态下通过相机单元910捕获的图像。如图所示，由于图像的定义程度根据在一帧中每个区段(例如，每行)的曝光时间的期间输入的光量而变化，例如，区段(2)被处理为比区段(1)更亮，因此控制单元930可以控制照明单元940的动作使得被指定为感兴趣区域1030的整个区段设定为曝光时间。当图像传感器的曝光时间在相同的照明控制值下增加时，区段(1)减少并且区段(2)增加。当开启区段在相同的相机控制值下增加时，区段(3)增加并且区段(1)和(2)减少。
以这种方式，通过仅对一帧中的感兴趣区域1030执行照明开启处理，与相机单元910包括具有滚动快门驱动系统的图像传感器并且在整个帧中需要照明开启处理的以往的情况相比，可以降低电力消耗。
例如，当成像装置900安装在车辆中并且用于捕获驾驶员的面部图像以确定驾驶员是否困倦的同时驾驶时，除了驾驶员的眼睛区域或瞳孔之外的区域是不需要处理或进行判定的区域，因此照明控制和图像处理可以集中于感兴趣区域1030上。因此，可以以降低的电力消耗执行快速图像处理和判定。
图12是示出根据本发明的实施例的成像装置中的照明控制方法的流程图。图13是示出根据本发明的实施例的由于感兴趣区域的变化而改变照明开启区段的方法的图。
参照图12，在步骤1210中，控制单元930指定与当前设定的感兴趣区域信息相对应的驱动设定值。驱动设定值是图像传感器的曝光值和增益值中的一个或多个，并且可以是提供给相机单元910的相机控制值、以及用于控制照明单元940的动作以指定照明开启/关闭区段的照明控制值。
在步骤1220中，控制单元930判定是否已经开始输入新的图像帧数据。例如，控制单元930可以基于从相机单元910输入的帧同步信号Vsync来识别新的图像帧数据的开始。
当尚未开始输入新的图像帧数据时，重复步骤1220的处理。然而，当新的图像帧数据被输入时，控制单元930参照指定的照明控制值，对从相机单元910输入的行同步信号Hsync进行计数，控制照明单元940使得当确定是与感兴趣区域1030相对应的行的曝光时间时使照明单元开启，并且控制照明单元940使得当确定不是与感兴趣区域1030相对应的行的曝光时间时使照明单元关闭。
在步骤1240中，分析单元920判定与一帧相对应的所有的图像信息是否已经从相机单元910被供给。当接收的图像信息不与一帧相对应时，重复处理流程直到与一帧相对应的所有的图像信息被输入。
另一方面，当与一帧相对应的所有的图像信息已经被输入时，分析单元920检测从分析单元920输入的一帧中的感兴趣对象1020，基于检测到的感兴趣对象1020的位置使用规定的方法设定感兴趣区域1030，并将设定的感兴趣区域信息(例如，坐标信息)输入到控制单元930。当保持感兴趣区域信息与前一帧相同时，可以省略感兴趣区域信息向控制单元930的输入。
如上面参照图10所述，可以根据基于存储在存储单元(未示出)中的感兴趣对象1020的形状、大小和位置，使用位置跟踪算法和对象边缘检测算法中的一个或多个在之前的帧(即，紧接的前一帧或之前的帧)中检测到的感兴趣对象1020的位置，将当前帧中的感兴趣区域设定为具有规定的大小和形状。
如上所述，可以随着前一帧和当前帧中成像的感兴趣对象1020的位置和/或大小的变化更新感兴趣区域1030。
例如，如图13的(a)所示，当分析单元920判定感兴趣对象1020已经向上或向下移动时，分析单元920生成表示感兴趣区域1030已经向上或向下移动的感兴趣区域信息并且将生成的感兴趣区域信息供给到控制单元930。控制单元930可以增大或减小用于控制照明单元940的开启区段的照明控制值。
另外，当感兴趣对象1020的大小减小并且感兴趣区域相对变窄时，控制单元930可以更新相机控制值，使得图像传感器的曝光值增加(即，曝光时间增加)并且其增益减小，或者更新照明控制值，使得开启区段减小，如图11中的区段(2)所示。当增益值减小时，可以改善图像质量。
当感兴趣对象1020的大小增加并且感兴趣区域相对变宽时，控制单元可以更新相机控制值，使得曝光时间减少从而即使在短的开启区段也获得良好的图像质量，或更新照明控制值使得开启时间增加。
参照图12，在步骤1260中，控制单元930判定感兴趣区域信息是否已经改变。在步骤S1220中，当感兴趣区域信息未改变时，控制单元930使用之前应用的驱动设定值来执行上述处理。
另一方面，在步骤S1270中，当感兴趣区域信息已经改变时，控制单元930将驱动设定值更新为与改变的感兴趣区域相对应，并且在步骤S1220中基于更新的驱动设定值执行上述处理。
眼睛位置检测方法和/或照明控制方法可以通过组入到数字处理器中的软件程序实现为基于时序顺序的自动进程。本领域的计算机程序员可以容易地推断出程序的代码和代码段。程序可以存储在计算机可读记录介质中，并且可以由数字处理器读取和执行以实现上述方法。记录介质包括磁记录介质、光学记录介质和载波介质。
虽然已经参考示例性实施例描述了本发明，但是本领域技术人员将理解，在不脱离所附权利要求中描述的本发明的概念和范围的情况下，可以以各种形式修改和改变本发明。

Claims (12)

1.一种眼睛位置检测装置，减小由从眼镜的镜片表面镜面反射的太阳辐射中获取的图像的影响，所述眼睛位置检测装置包括：
光照射单元，将具有规定波长的光照射到外部；
相机单元，捕获外部图像并生成图像信息；以及
图像分析单元，生成关于所述图像信息中的面部区域、眼睛区域和瞳孔的中心位置的检测结果信息，
其中，所述具有规定波长的光包括波长带为910nm至990nm的光，
其中，所述相机单元包括带通滤波器，所述带通滤波器仅使照射的光的具有910nm至990nm波长带中的规定波长带的光通过，并产生与照射的光相对应的图像信息。
2.根据权利要求1所述的眼睛位置检测装置，其中，所述具有规定波长的光是质心波长为940nm的光。
3.根据权利要求1所述的眼睛位置检测装置，其中，所述相机单元包括：
透镜，所述透镜接收光；
图像传感器，所述图像传感器接收通过位于所述透镜的后段中的所述带通滤波器的光并输出图像信号；以及
信号处理单元，所述信号处理单元生成与所述图像信号相对应的图像信息。
4.根据权利要求1所述的眼睛位置检测装置，其中，所述相机单元的安装位置设置在除了被所述光照射单元照射并且被与对象相对应的用户所佩戴的眼镜镜面反射的光入射到的位置之外的位置。
5.一种成像装置，具有带滚动快门驱动系统的图像传感器，所述成像装置包括：
照明单元，用光对对象进行照明；
相机单元，包括带滚动快门驱动系统的图像传感器，并输出通过以运动图像模式使对象成像而生成的图像信息；
分析单元，从由所述相机单元提供的所述图像信息构成的图像帧中检测规定的感兴趣对象，使用规定的方法设定以检测到的感兴趣对象为中心的感兴趣区域，并生成与设定的感兴趣区域相对应的感兴趣区域信息；以及
控制单元，通过设定相机控制值来控制所述相机单元的操作，并且控制所述照明单元的操作使得当所述相机单元捕获与后续图像帧相对应的图像时仅在与所述感兴趣区域信息相对应的时间范围内开启照明。
6.根据权利要求5所述的成像装置，其中，所述控制单元从所述相机单元接收帧同步信号Vsync和行同步信号Hsync，对输入的行同步信号进行计数，控制所述照明单元使得在与所述感兴趣区域信息相对应的起始时间点开启照明，并控制所述照明单元使得在与所述感兴趣区域信息相对应的结束时间点关闭照明。
7.根据权利要求5所述的成像装置，其中，所述相机控制值包括所述图像传感器的曝光值和增益值，所述图像传感器的所述曝光值和所述增益值被设定为使得所述图像帧具有规定的平均亮度。
8.根据权利要求5所述的成像装置，其中，当所述照明单元照射具有规定波长的红外光时，所述相机单元包括选择性地仅使所述具有规定波长的红外光通过的带通滤波器，并基于通过所述带通滤波器的红外光生成图像信息。
9.一种用于成像装置的照明控制方法，所述成像装置具有带滚动快门驱动系统的图像传感器，所述照明控制方法包括：
(a)使控制单元控制相机单元的操作，所述相机单元从所述控制单元被提供相机控制值，并且所述相机单元利用滚动快门驱动系统捕获对象的运动图像；
(b)使所述控制单元从所述相机单元接收帧同步信号和行同步信号，从而对输入的行同步信号进行计数，并控制照明单元使得仅当与预先设定的照明控制值相对应的行同步信号正在被输入时开启照明；
(c)使分析单元从由所述相机单元提供的图像信息所生成的当前帧中检测规定的感兴趣对象，从而设定以感兴趣对象为中心的感兴趣区域，并生成与设定的感兴趣区域相对应的感兴趣区域信息；以及
(d)当在步骤(c)中生成的感兴趣区域信息与前一帧的感兴趣区域信息不同时，使所述控制单元改变用于捕获与后续帧相对应的图像的所述相机控制值和所述照明控制值中的一个或多个。
10.根据权利要求9所述的照明控制方法，其中，当正在执行所述相机单元的成像操作时，重复步骤(a)至(d)。
11.根据权利要求9所述的照明控制方法，其中，所述照明单元将具有规定波长的红外光照射到对象，并且
其中，基于通过带通滤波器的红外光生成图像信息，所述带通滤波器选择性地仅使具有规定波长的光通过并且设置在所述相机单元中。
12.一种计算机程序，其存储在记录介质中并且使计算机执行根据权利要求9或10所述的照明控制方法。
CN201680085009.4A 2016-05-25 2016-07-14 眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法 Pending CN109076176A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2016-0064189 2016-05-25
KR1020160064189 2016-05-25
KR1020160070843A KR101810956B1 (ko) 2016-06-08 2016-06-08 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법
KR10-2016-0070843 2016-06-08
PCT/KR2016/007695 WO2017204406A1 (ko) 2016-05-25 2016-07-14 운전자의 눈 위치 검출 장치와 방법, 및 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치와 그 조명 제어 방법

Publications (1)

Publication Number Publication Date
CN109076176A true CN109076176A (zh) 2018-12-21

Family

ID=60412422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680085009.4A Pending CN109076176A (zh) 2016-05-25 2016-07-14 眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法

Country Status (4)

Country Link
US (2) US20190141264A1 (zh)
JP (2) JP2019514302A (zh)
CN (1) CN109076176A (zh)
WO (1) WO2017204406A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10775605B2 (en) * 2016-06-16 2020-09-15 Intel Corporation Combined biometrics capture system with ambient free IR
JP7078386B2 (ja) * 2017-12-07 2022-05-31 矢崎総業株式会社 画像処理装置
CN108388781B (zh) * 2018-01-31 2021-01-12 Oppo广东移动通信有限公司 移动终端、图像数据获取方法及相关产品
WO2019235059A1 (ja) * 2018-06-05 2019-12-12 ソニーセミコンダクタソリューションズ株式会社 映像投射システム、映像投射装置、映像表示光回折用光学素子、器具、及び映像投射方法
US11570370B2 (en) * 2019-09-30 2023-01-31 Tobii Ab Method and system for controlling an eye tracking system
KR102863141B1 (ko) * 2019-11-13 2025-09-23 삼성디스플레이 주식회사 검출 장치
KR102460660B1 (ko) * 2020-08-24 2022-10-31 현대모비스 주식회사 카메라 내장 헤드램프의 램프 제어기 연동 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999027844A1 (en) * 1997-12-01 1999-06-10 Sensar, Inc. Method and apparatus for illuminating and imaging eyes through eyeglasses using multiple sources of illumination
CN101374202A (zh) * 2007-08-23 2009-02-25 欧姆龙株式会社 摄像装置以及摄像控制方法
US20140375785A1 (en) * 2013-06-19 2014-12-25 Raytheon Company Imaging-based monitoring of stress and fatigue
WO2015031942A1 (en) * 2013-09-03 2015-03-12 Seeing Machines Limited Low power eye tracking system and method
US20150186722A1 (en) * 2013-12-26 2015-07-02 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for eye tracking
WO2016035901A1 (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 홍채 인식하기 위한 방법 및 그 전자 장치

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
JP2000028315A (ja) * 1998-07-13 2000-01-28 Honda Motor Co Ltd 対象物検出装置
US7777778B2 (en) * 2004-10-27 2010-08-17 Delphi Technologies, Inc. Illumination and imaging system and method
JP2007004448A (ja) * 2005-06-23 2007-01-11 Honda Motor Co Ltd 視線検出装置
KR100716370B1 (ko) * 2005-09-15 2007-05-11 현대자동차주식회사 운전자의 눈 위치 검출 방법
JP4265600B2 (ja) * 2005-12-26 2009-05-20 船井電機株式会社 複眼撮像装置
US8803978B2 (en) * 2006-05-23 2014-08-12 Microsoft Corporation Computer vision-based object tracking system
JP4356733B2 (ja) * 2006-11-09 2009-11-04 アイシン精機株式会社 車載用画像処理装置とその制御方法
US20100329657A1 (en) * 2007-04-18 2010-12-30 Optoelectronics Co., Ltd. Method and Apparatus for Imaging a Moving Object
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
JP2010219826A (ja) * 2009-03-16 2010-09-30 Fuji Xerox Co Ltd 撮像装置、位置計測システムおよびプログラム
US8115855B2 (en) * 2009-03-19 2012-02-14 Nokia Corporation Method, an apparatus and a computer readable storage medium for controlling an assist light during image capturing process
US20130089240A1 (en) * 2011-10-07 2013-04-11 Aoptix Technologies, Inc. Handheld iris imager
JP2013097223A (ja) * 2011-11-02 2013-05-20 Ricoh Co Ltd 撮像方法及び撮像ユニット
JP5800288B2 (ja) * 2012-10-30 2015-10-28 株式会社デンソー 車両用画像処理装置
KR20150016723A (ko) * 2013-08-05 2015-02-13 (주)유아이투 스마트기기의 조도센서를 이용하는 정보분석시스템 및 이에 의한 정보분석방법
US9294687B2 (en) * 2013-12-06 2016-03-22 Intel Corporation Robust automatic exposure control using embedded data
US10372982B2 (en) * 2014-01-06 2019-08-06 Eyelock Llc Methods and apparatus for repetitive iris recognition
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
KR102237479B1 (ko) * 2014-06-03 2021-04-07 (주)아이리스아이디 홍채 인식 단말기 및 방법
CN106663187B (zh) * 2014-07-09 2020-11-06 三星电子株式会社 用于识别生物测定信息的方法和设备
JP2016049260A (ja) * 2014-08-29 2016-04-11 アルプス電気株式会社 車載用撮像装置
KR101619651B1 (ko) * 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
EP3259734B1 (en) * 2015-02-20 2024-07-24 Seeing Machines Limited Glare reduction
US9961258B2 (en) * 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
US9864119B2 (en) * 2015-09-09 2018-01-09 Microsoft Technology Licensing, Llc Infrared filter with screened ink and an optically clear medium
US10594974B2 (en) * 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
JP2017204685A (ja) * 2016-05-10 2017-11-16 ソニー株式会社 情報処理装置、情報処理方法
KR20180133076A (ko) * 2017-06-05 2018-12-13 삼성전자주식회사 이미지 센서 및 이를 구비하는 전자 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999027844A1 (en) * 1997-12-01 1999-06-10 Sensar, Inc. Method and apparatus for illuminating and imaging eyes through eyeglasses using multiple sources of illumination
CN101374202A (zh) * 2007-08-23 2009-02-25 欧姆龙株式会社 摄像装置以及摄像控制方法
US20140375785A1 (en) * 2013-06-19 2014-12-25 Raytheon Company Imaging-based monitoring of stress and fatigue
WO2015031942A1 (en) * 2013-09-03 2015-03-12 Seeing Machines Limited Low power eye tracking system and method
US20150186722A1 (en) * 2013-12-26 2015-07-02 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for eye tracking
WO2016035901A1 (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 홍채 인식하기 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
US20200169678A1 (en) 2020-05-28
JP2020145724A (ja) 2020-09-10
JP2019514302A (ja) 2019-05-30
WO2017204406A1 (ko) 2017-11-30
US20190141264A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN109076176A (zh) 眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法
Nowara et al. Near-infrared imaging photoplethysmography during driving
JP4187651B2 (ja) 顔検知において使用するための近赤外線の方法およびシステム
Soo Object detection using Haar-cascade Classifier
EP1732028B1 (en) System and method for detecting an eye
US10521683B2 (en) Glare reduction
CN105431078B (zh) 用于同轴眼睛凝视跟踪的系统和方法
CA2411992C (en) Near-infrared disguise detection
CN101271517B (zh) 面部区域检测装置和方法
US7940962B2 (en) System and method of awareness detection
CN110532849B (zh) 用于面部检测的多光谱图像处理系统
US9646215B2 (en) Eye part detection apparatus
CN108549884A (zh) 一种活体检测方法及装置
CN109044363A (zh) 基于头部姿态和眼动的驾驶员疲劳检测方法
Różanowski et al. An infrared sensor for eye tracking in a harsh car environment
CN107909063B (zh) 基于灰度变化的生物识别视频回放攻击检测方法
JP2018068720A (ja) 脈拍検出装置及び脈拍検出方法
JP3116638B2 (ja) 覚醒状態検知装置
Suryawanshi et al. Driver drowsiness detection system based on lbp and haar algorithm
Mu et al. Research on a driver fatigue detection model based on image processing
Zhou Eye-blink detection under low-light conditions based on zero-dce
JP2004192552A (ja) 開閉眼判定装置
EP1798688A2 (en) Method of locating a human eye in a video image
Zheng et al. Hand-over-face occlusion and distance adaptive heart rate detection based on imaging photoplethysmography and pixel distance in online learning
WO2021181775A1 (ja) 映像処理装置、映像処理方法および映像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221

WD01 Invention patent application deemed withdrawn after publication