CN108229392A

CN108229392A - 一种瞳孔定位方法、装置、设备和介质

Info

Publication number: CN108229392A
Application number: CN201810002819.XA
Authority: CN
Inventors: 薛鸿臻; 尹国冰
Original assignee: BOE Technology Group Co Ltd; Beijing BOE Optoelectronics Technology Co Ltd
Current assignee: BOE Technology Group Co Ltd; Beijing BOE Optoelectronics Technology Co Ltd
Priority date: 2018-01-02
Filing date: 2018-01-02
Publication date: 2018-06-29

Abstract

本申请公开了一种瞳孔定位方法、装置、设备和介质。该方法包括：获取眼部图像；对所述眼部图像进行预处理，得到对应的二值图像；对所述二值图像分别做水平方向和垂直方向的投影，分别得到水平投影曲线和垂直投影曲线；根据预先针对所述水平投影曲线设置的第一截取阈值和预先针对所述垂直投影曲线设置的第二截取阈值，分别确定所述水平投影曲线的第一边界点和第二边界点，以及所述垂直投影曲线的第三边界点和第四边界点；根据第一边界点、第二边界点、第三边界点和第四边界点，确定所述眼部图像中瞳孔的中心点位置。本发明实施例的技术方案通过简单的数字图像处理技术便能实现对瞳孔的精确定位，同时适用于硬件化。

Description

一种瞳孔定位方法、装置、设备和介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种瞳孔定位方法、装置、设备和介质。

背景技术

在许多应用中都有涉及瞳孔定位，比如视线追踪、飞行员自动瞄准、无辅助立体显示等。以其在无辅助立体显示中的应用为例，在该系统中，需要实时精确地定位观看者的瞳孔位置，利用特殊的光学引擎将指向光束精准地投射到用户的瞳孔位置。在这个过程中，对瞳孔定位模块的性能要求非常高。

目前，有很多算法都能够实现瞳孔定位，但是大多数算法的逻辑非常复杂，并且不适用于硬件化。

因此，如何既能够实现瞳孔的精确定位，又能够适用于硬件化，是目前亟需解决的问题。

发明内容

鉴于现有技术中的上述缺陷或不足，本申请实施例提供了一种适用于硬件化的瞳孔定位方案，能够精确的定位瞳孔的位置。

第一方面，本发明实施例提供了一种瞳孔定位方法，包括：

获取眼部图像；

对所述眼部图像进行预处理，得到所述眼部图像对应的二值图像；

对所述二值图像分别做水平方向和垂直方向的投影，分别得到水平投影曲线和垂直投影曲线；

根据预先针对所述水平投影曲线设置的第一截取阈值和预先针对所述垂直投影曲线设置的第二截取阈值，分别确定所述水平投影曲线的第一边界点和第二边界点，以及所述垂直投影曲线的第三边界点和第四边界点；

根据所述第一边界点、所述第二边界点、所述第三边界点和所述第四边界点，确定所述眼部图像中瞳孔的中心点位置。

可选的，所述对所述眼部图像进行预处理，得到所述眼部图像对应的二值图像，包括：

对所述眼部图像进行灰度处理，得到所述眼部图像的灰度图像；

对所述灰度图像进行滤波处理，以滤除所述灰度图像的噪声；

根据预先设置的二值化阈值，对滤除噪声后的灰度图像进行二值化分析，得到对应的二值图像。

可选的，所述得到对应的二值图像之后，所述方法还包括：

对所述二值图像进行开运算操作，以滤除所述二值图像中的噪点。

可选的，所述确定所述第一边界点、所述第二边界点、所述第三边界点和所述第四边界点之前，所述方法还包括：

对所述水平投影曲线和所述垂直投影曲线中的噪点进行过滤。

可选的，所述根据所述第一边界点、所述第二边界点、所述第三边界点和所述第四边界点，确定所述眼部图像中瞳孔的中心点位置，包括：

将所述第一边界点和所述第二边界点在垂直方向上的坐标均值确定为瞳孔的中心点在垂直方向上的坐标值；

将所述第三边界点和所述第四边界点在水平方向上的坐标均值确定为瞳孔的中心点在水平方向上的坐标值。

第二方面，本发明实施例还提供了一种瞳孔定位装置，包括：

图像获取单元，用于获取眼部图像；

预处理单元，用于对所述眼部图像进行预处理，得到所述眼部图像对应的二值图像；

投影单元，用于对所述二值图像分别做水平方向和垂直方向的投影，分别得到水平投影曲线和垂直投影曲线；

截取单元，用于根据预先针对所述水平投影曲线设置的第一截取阈值和预先针对所述垂直投影曲线设置的第二截取阈值，分别确定所述水平投影曲线的第一边界点和第二边界点，以及所述垂直投影曲线的第三边界点和第四边界点；

定位单元，用于根据所述第一边界点、所述第二边界点、所述第三边界点和所述第四边界点，确定所述眼部图像中瞳孔的中心点位置。

可选的，所述预处理单元，包括：

灰度处理模块，用于对所述眼部图像进行灰度处理，得到所述眼部图像的灰度图像；

滤波处理模块，用于对所述灰度图像进行滤波处理，以滤除所述灰度图像的噪声；

二值化分析模块，用于根据预先设置的二值化阈值，对滤除噪声后的灰度图像进行二值化分析，得到对应的二值图像。

可选的，所述预处理单元还包括：

开运算模块，用于对所述二值图像进行开运算操作，以滤除所述二值图像中的噪点。

可选的，所述装置还包括：

过滤单元，用于对所述水平投影曲线和所述垂直投影曲线中的噪点进行过滤。

可选的，所述定位单元，用于：

第三方面，本发明实施例还提供了一种瞳孔定位设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述瞳孔定位方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述瞳孔定位方法。

本发明实施例提供的瞳孔定位方案，对获取的眼部图像进行预处理，得到对应的二值图像后，对二值图像分别做水平方向和垂直方向的投影，分别得到水平投影曲线和垂直投影曲线，再根据预设的第一截取阈值和第二截取阈值分别得到水平投影曲线和垂直投影曲线的四个边界点，进而确定出瞳孔的中心点位置。本发明实施例通过简单的数字图像处理技术实现了对瞳孔的精确定位，同时适用于硬件化。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的一种瞳孔定位方法的流程示意图；

图2为本发明实施例提供的一种瞳孔定位方法的具体流程示意图；

图3为本发明实施例提供的二值图像示意图；

图4为本发明实施例提供的开运算操作之后的二值图像示意图；

图5为本发明实施例提供的水平投影曲线和垂直投影曲线示意图；

图6为本发明实施例提供的截取的边界点和瞳孔的中心点坐标示意图；

图7为本发明实施例提供的一种瞳孔定位装置的结构示意图；

图8为本发明实施例提供的一种适于用来实现本申请实施例的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本申请。

本发明实施例提供了一种瞳孔定位方法，如图1所示，包括如下步骤：

步骤101，获取眼部图像。

步骤102，对眼部图像进行预处理，得到眼部图像对应的二值图像。

可选的，对眼部图像的预处理可以但不限于包括下述操作：

首先，对眼部图像进行灰度处理，得到眼部图像的灰度图像，以增强眼部图像的显示效果；

所谓灰度处理，是指根据某种目标条件按一定变换关系逐点改变眼部图像中每一个像素点灰度值，变换关系可以为线性变换，也可以为非线性变换，本发明实施例对此不做限制。

然后对该灰度图像进行滤波处理，以滤除灰度图像的噪声；

再根据预先设置的二值化阈值，对滤除噪声后的灰度图像进行二值化分析，得到对应的二值图像。

所谓二值化分析，就是将灰度图像上的像素点的灰度值设置为0或255，也就是将整个灰度图像呈现出明显的黑白效果的过程。

可选的，得到二值图像之后，还可以继续对二值图像进行形态学的开运算操作，以滤除二值图像中的噪点。

步骤103，对二值图像分别做水平方向和垂直方向的投影，分别得到水平投影曲线和垂直投影曲线。

具体的，对二值图像的投影操作是指：水平方向的投影是统计二值图像中每行的非零像素值的个数，垂直方向的投影是统计二值图像中每列的非零像素值的个数。

步骤104，根据预先针对水平投影曲线设置的第一截取阈值和预先针对垂直投影曲线设置的第二截取阈值，分别确定水平投影曲线的第一边界点和第二边界点，以及垂直投影曲线的第三边界点和第四边界点。

具体的，根据第一截取阈值，能够确定出位于水平投影曲线波峰左侧的第一边界点和位于水平投影曲线波峰右侧的第二边界点；根据第二截取阈值，能够确定出位于垂直投影曲线波峰左侧的第三边界点和位于垂直投影曲线波峰右侧的第四边界点。

需要说明的是，本发明实施例中的第一截取阈值和第二截取阈值可以根据多次实验数据得出

另外，在根据第一截取阈值和第二截取阈值确定第一边界点、第二边界点、第三边界点和第四边界点之前，还可以先对水平投影曲线和垂直投影曲线中的噪点进行过滤，使过滤后的水平投影曲线和垂直投影曲线更加光滑。

步骤105，根据第一边界点、第二边界点、第三边界点和第四边界点，确定眼部图像中瞳孔的中心点位置。

具体的，将第一边界点和第二边界点在垂直方向上的坐标均值确定为瞳孔的中心点在垂直方向上的坐标值；

将第三边界点和第四边界点在水平方向上的坐标均值确定为瞳孔的中心点在水平方向上的坐标值。

下面结合具体实施例对本发明作进一步说明，但本发明并不限于以下实施例。

如图2所示，为本发明实施例提供的一种瞳孔定位方法的具体流程示意图。该瞳孔定位方法具体包括如下步骤：

步骤201，获取眼部图像。

步骤202，灰度转换。

具体为对眼部图像进行灰度处理，得到眼部图像的灰度图像。

步骤203，滤波处理。

具体为对灰度图像进行滤波处理，以滤除灰度图像的噪声。

步骤204，二值化分析。

具体为根据预先设置的二值化阈值，对滤除噪声后的灰度图像进行二值化分析，得到对应的二值图像。

步骤205，开运算。

具体为对二值图像进行开运算操作，以滤除二值图像中的噪点。

其中，步骤204得到的二值图像可以如图3所示，其中包含有许多的干扰点、以及睫毛眼睑的影响。而过步骤205中的开运算操作就可以将一些离散的相对较小的杂点去除掉，如图4所示。

步骤206，投影操作。

具体为对二值图像分别做水平方向和垂直方向的投影，分别得到水平投影曲线和垂直投影曲线。

其中，得到的水平投影曲线和垂直投影曲线如图5所示，从水平投影曲线和垂直投影曲线上可以看到一些没有去除掉的噪点，会影响投影曲线的光滑程度。

步骤207，噪点过滤。

具体为对水平投影曲线和垂直投影曲线中的噪点进行过滤。

步骤208，提取边界点。

具体为根据预先针对水平投影曲线设置的第一截取阈值和预先针对垂直投影曲线设置的第二截取阈值，分别确定水平投影曲线的第一边界点和第二边界点，以及垂直投影曲线的第三边界点和第四边界点。

步骤209，确定瞳孔中心点坐标。

具体为将第一边界点和第二边界点在垂直方向上的坐标均值确定为瞳孔的中心点在垂直方向上的坐标值；

其中，根据第一截取阈值和第二截取阈值，可以得到水平投影曲线的第一边界点和第二边界点，以及垂直投影曲线的第三边界点和第四边界点，具体参见图6，得到这些边界点之后，进而根据求均值的方式便能够定位出瞳孔的中心点坐标。

基于同一发明构思，本发明实施例还提供了一种瞳孔定位装置，如图7所示，包括：

图像获取单元71，用于获取眼部图像；

预处理单元72，用于对所述眼部图像进行预处理，得到所述眼部图像对应的二值图像；

投影单元73，用于对所述二值图像分别做水平方向和垂直方向的投影，分别得到水平投影曲线和垂直投影曲线；

截取单元74，用于根据预先针对所述水平投影曲线设置的第一截取阈值和预先针对所述垂直投影曲线设置的第二截取阈值，分别确定所述水平投影曲线的第一边界点和第二边界点，以及所述垂直投影曲线的第三边界点和第四边界点；

定位单元75，用于根据所述第一边界点、所述第二边界点、所述第三边界点和所述第四边界点，确定所述眼部图像中瞳孔的中心点位置。

可选的，所述预处理单元72，包括：

灰度处理模块721，用于对所述眼部图像进行灰度处理，得到所述眼部图像的灰度图像；

滤波处理模块722，用于对所述灰度图像进行滤波处理，以滤除所述灰度图像的噪声；

二值化分析模块723，用于根据预先设置的二值化阈值，对滤除噪声后的灰度图像进行二值化分析，得到对应的二值图像。

可选的，所述预处理单元72还可以包括：

开运算模块724，用于对所述二值图像进行开运算操作，以滤除所述二值图像中的噪点。

可选的，所述装置还可以包括：

过滤单元76，用于对所述水平投影曲线和所述垂直投影曲线中的噪点进行过滤。

可选的，所述定位单元75，用于：

应当理解，该装置中记载的诸子系统或单元与参考图1-图6描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于该装置及其中包含的单元，在此不再赘述。

基于同一发明构思，本发明实施例还提供了一种适于用来实现本申请实施例的计算机设备，下面参考图8，其示出了适于用来实现本申请实施例的计算机设备800的结构示意图。

如图8所示，计算机设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线808彼此相连。输入/输出(I/O)接口805也连接至总线808。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分809；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器88也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器88上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本公开的实施例，上文参考图1-图6描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1-图6的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种瞳孔定位方法，其特征在于，包括：

获取眼部图像；

2.根据权利要求1所述的方法，其特征在于，所述对所述眼部图像进行预处理，得到所述眼部图像对应的二值图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述得到对应的二值图像之后，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述确定所述第一边界点、所述第二边界点、所述第三边界点和所述第四边界点之前，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一边界点、所述第二边界点、所述第三边界点和所述第四边界点，确定所述眼部图像中瞳孔的中心点位置，包括：

6.一种瞳孔定位装置，其特征在于，包括：

图像获取单元，用于获取眼部图像；

7.根据权利要求6所述的装置，其特征在于，所述预处理单元，包括：

8.根据权利要求7所述的装置，其特征在于，所述预处理单元还包括：

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

10.根据权利要求6所述的装置，其特征在于，所述定位单元，用于：

11.一种瞳孔定位设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-5中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-5中任一项所述的方法。