CN111208905A - 一种多模组视线追踪方法、系统和视线追踪设备 - Google Patents

Abstract

本发明属于人工智能技术领域，具体公开了一种多模组视线追踪方法、系统和视线追踪设备。该系统包括至少两个模组；各个模组用于从不同的角度发出红外光照射用户并采集用户图像；初始视线确定单元，用于根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；真实视线确定单元，用于接收各个模组对应的多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息。通过本申请可实现在大视角下确定用户视线方向的有益效果。

Description

一种多模组视线追踪方法、系统和视线追踪设备

技术领域

本发明的实施方式涉及人工智能技术领域，更具体地，本发明的实施方式涉及一种多模组视线追踪方法、系统和视线追踪设备。

背景技术

视线追踪技术是测量眼睛运动信息并确定眼睛注视轨迹的技术，目前被广泛应用于AR眼镜、智能驾舱等AI领域。然而目前的视线追踪设备普遍存在视线追踪范围较窄，无法在大视角下确定用户视线方向或计算精度较低的缺陷。

发明内容

出于现有技术无法在大视角下确定用户视线方向或计算精度较低的原因，本发明提供一种多模组视线追踪方法、系统和视线追踪设备来解决上述问题。

在本发明实施方式的第一方面中，提供了一种多模组视线追踪系统，其包括：至少两个模组；各个模组用于从不同的角度发出红外光照射用户并采集用户图像；初始视线确定单元，用于根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；真实视线确定单元，用于接收各个模组对应的多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息。

在本发明实施方式的第二方面中，提供了一种多模组视线追踪方法，其包括：利用至少两个模组从不同的角度发出红外光照射用户并采集用户图像；根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；从各个模组对应的多组用户视线信息中选择一组用户视线信息确定为用户真实视线信息。

在本发明实施方式的第三方面中，提供了一种视线追踪设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在运行所述计算机程序时，执行第一方面中所述的多模组视线追踪方法。

在本发明实施方式的第四方面中，提供了一种计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时实现第一方面中所述的多模组视线追踪方法。

在本发明实施方式的第五方面中，提供了一种汽车，其包括第一方面中所述的多模组视线追踪系统。

根据本发明实施方式的上述几个方面，本申请通过采用多个模组从不同的角度发出红外光照射用户并采集用户图像，从而根据该采集用户图像得到多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息。进而实现了在大视角下确定用户视线方向的有益效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1为多模组视线追踪的一示例性应用场景。

图2为可以应用本申请的多模组视线追踪系统或方法的一些实施例的示例性系统架构。

图3为本申请提供的多模组视线追踪系统的一实施例的结构示意图一；

图4为本申请提供的多模组视线追踪系统的一实施例的结构示意图二；

图5为图4所示实施例中初始视线确定单元的一实施例的示意图；

图6为上述图5所示实施例中初始视线确定单元的一实施例的示意图一；

图7为上述图5所示实施例中初始视线确定单元的一实施例的示意图二；

图8为上述图5所示实施例中初始视线确定单元的一实施例的示意图三；

图9为上述图5所示实施例中初始视线确定单元的一实施例的示意图四；

图10为上述图5所示实施例中初始视线确定单元的一实施例的示意图五；

图11为图2所示实施例中模组的一实施例的结构示意图一；

图12为图2所示实施例中模组的一实施例的结构示意图二；

图13为多模组视线追踪系统的应用场景的一示意图；

图14为本申请提供的多模组视线追踪系统的一实施例的结构示意图三；

图15为图14所示实施例中模组控制单元对模组进行分时控制的应用场景的一示意图；

图16为本申请提供的多模组视线追踪系统的一实施例的结构示意图四；

图17为本申请提供的多模组视线追踪方法的一实施例的实现流程图；

图18为上述图17所示实施例中步骤S173的一实施例的实现流程图；

图19为上述图22所示实施例中步骤S181的一实施例的实现流程图；

图20为上述图24所示实施例中步骤S191的一实施例的实现流程图一；

图21为上述图19所示实施例中步骤S191的一实施例的实现流程图二；

图22为上述图19所示实施例中步骤S191的一实施例的实现流程图三；

图23为上述图19所示实施例中步骤S191的一实施例的实现流程图四；

图24为上述图19所示实施例中步骤S191的一实施例的实现流程图五；

图25为本申请提供的多模组视线追踪方法的一实施例的实现流程图二；

图26为本申请提供的多模组视线追踪方法的一实施例的实现流程图三；

图27为适于用来实现本申请多模组视线追踪方法的一些实施例的电子设备的结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在 三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另 外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

另外，本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。

本申请的发明人经研究发现：目前视线追踪设备采用的主流方案是角膜反射法，其主要原理是利用角膜反射亮点（普尔钦斑，以下简称光斑）和瞳孔中心对视线进行追踪和定位。具体做法是：利用红外光照射用户脸部，其中，用户面部皮肤使得红外光发生漫反射进入相机形成面部图像，用户角膜区域使得红外光发生镜面反射进入相机形成光斑，通过定位瞳孔和光斑的位置即可推导出用户的视线方向和注视点等。因此，只有相机得到的图像中包含完整的瞳孔和光斑时，角膜反射法才能得到准确的视线方向和注视点。

然而由于红外光的照射角度并不会随着用户眼部（头部）的转动而移动，所以随着用户眼部（头部）的转动越来越偏离红外光的照射角度，用户的眼睛在相机中的成像会呈现出从同时包含完整的瞳孔和光斑、到包含完整的瞳孔和不完整的光斑、到只包含瞳孔而没有光斑、再到不包含瞳孔也不包含光斑的趋势，当成像中不能同时包含瞳孔和光斑时，角膜反射法就会失效。

进一步研究发现，为了解决角膜反射法的上述缺陷，目前有一些视线追踪设备采用眼眶代替光斑的补偿方案，即通过定位瞳孔和眼眶的位置来推导用户的视线方向和注视点。但经实际验证发现，这种补偿方案的计算精度比角膜反射法的计算精度差很多。

除了上述补偿方案，也有的视线追踪设备采用增加光源数量来达到形成清晰光斑的目的。但经试验发现：这种方案会大大增加硬件的长度或者体积，也会因为多光源的影响对视线估计造成干扰，例如，眼睛的成像中出现不同光源造成的光斑，但却不能区分是哪一光源造成的。

综上，利用瞳孔和眼眶的补偿方案或者多光源的视线追踪方案虽然在一定程度上增加了视线追踪的适用范围，使得在大视角下追踪用户的视线成为可能，但是却存在计算精度低、设备体积大等缺陷。

因此，发明人针对上述缺陷进行了大量的实验，提出一种多模组视线追踪的方案，以解决大视角下的用户视线追踪的问题。

应用实施例

见图1，示出了多模组视线追踪的一示例性应用场景100。

如图1所示，在该应用场景100中，包括视线追踪设备101，视线追踪设备101，用于对用户102进行用户图像采集，并对采集的该用户图像进行计算得到用户视线信息以此来实现用户的视线追踪。

进一步的，还可以将上述应用场景扩展汽车智能驾驶应用架构中，例如，用于驾驶员监测系统（英文全称：Driver Monitoring System）中，来对驾驶员的视线进行跟踪。

请参见图2，示出了可以应用本申请的多模组视线追踪系统或方法的一些实施例的示例性系统架构200。

如图2所示，该系统架构200包括：汽车201和设置在汽车201上的车载智能终端202，以及网络203和服务器204。车载智能终端202可以通过网络203与服务器204交互来为用户102驾驶汽车201提供服务或辅助。

车载智能终端202可以包括本申请提供的多模组视线追踪系统，用于采集用户的图像，确定用户的视线信息。车载智能终端202进一步可以将用户的视线信息通过网络203发送给服务器204，服务器204可以根据用户的视线信息触发某些应用，例如打开\关闭车门、打开\关闭车窗、开启车内音响设备等。

此外，车载智能终端202也可以不与服务器204交互，直接由车载智能终端202来为用户驾驶汽车201提供服务或辅助。例如，在车载智能终端202不与服务器204交互的情况下，由车载智能终端202对用户采集的用户图像进行计算得到用户视线信息，并根据用户的视线信息触发某些应用，例如打开\关闭车门、打开\关闭车窗、开启车内音响设备等。

网络203用以在车载智能终端202与服务器204之间提供无线通信链路的介质，网络203可以包括各种类型，例如移动无线通信链路、卫星无线通信链路等。

车载智能终端202可以是硬件，当车载智能终端202为硬件时，车载智能终端202可以包括车载电脑、传感器和无线通信模块等设备，其中，传感器负责采集数据，车载电脑负责对采集数据进行处理，或者还负责对传感器进行控制。采集的数据可以是用户图像，也可以是对用户图像的视线估计信息或者汽车201的行驶状态信息等，传感器包括但不限于：摄像头、雷达、激光雷达、距离传感器、车载定位设备中的至少一种。

车载智能终端202也可以是软件，当车载智能终端202为软件时，可以安装在各种电子设备中，该电子设备可以为上述车载电脑、传感器和服务器中至少一种，且该软件可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。本申请实施例对电子设备的具体类型不作任何限制。

车载智能终端202还可以是硬件与软件的结合，当车载智能终端202为硬件与软件的结合时，可以实现为各种电子设备和安装在该电子设备中的至少一个软件或软件模块。

需要说明的是，本申请实施例所提供的多模组视线追踪方法一般可以由带显示屏幕的电子设备执行，该带显示屏幕的电子设备可以为上述例举的车载电脑、传感器或服务器204，相应地，本申请提供的多模组视线追踪系统一般设置于带显示屏幕的电子设备中。

应该理解，图2中的车载智能终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的车载智能终端、网络和服务器。

系统实施例

请参见图3，示出了本申请提供的多模组视线追踪系统的一实施例的结构示意图，在本实施例中，多模组视线追踪系统一般应用于图2所示的汽车201中。

如图3所示，该多模组视线追踪系统包括：至少两个模组301、302、初始视线确定单元302和真实视线确定单元303，各个模组301、302用于从不同的角度发出红外光照射用户105并采集用户图像；初始视线确定单元303用于根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；真实视线确定单元304，用于接收各个模组对应的多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息。

上述实施例中模组301、302可以分别包括至少一相机，该相机可以为具体的支持红外拍照的相机。应当理解，上述至少两个模组301、302可以并排设置在用户视线移动路径的正前方，包括水平并排设置和垂直并排设置，且各个模组之间还可以成夹角设置，以便模组在不同朝向上能够正对用户，从而利于确定用户视线信息。

本申请提供的上述实施例通过至少两个模组来从不同的角度采集用户图像来确定多组用户视线信息，然后从中选择一组作为用户真实视线信息，可实现在大视角下追踪用户视线的效果。

此外，考虑到上述图3所示示例中通过多个模组来提供足够大的视线检测范围的同时，可能存在两个或两个以上的模组采集的用户图像都能计算出用户视线信息，此时在确定用户真实视线信息时则面临如何从多组用户视线信息进行选择，才能保证所选择的用户视线信息才是该多组用户视线信息中最真实的问题。因此，为了进一步提升用户真实视线信息的精度，本申请还提供了以下实施例。

在一示例性实施例中，见图4，示出了本申请提供的多模组视线追踪系统的一实施例的结构示意图二，如图4所示，与上述图3所示实施例的不同之处在于：在本实施例中，上述多模组视线追踪系统300，包括初始视线确定单元401和真实视线确定单元402，其中，初始视线确定单元401还用于确定每组用户视线信息的置信度；此外，真实视线确定单元402还用于接收每组用户视线信息的置信度，并从多组用户视线信息中选择置信度最高的用户视线信息确定为用户真实视线信息。

在本实施例中，通过对采集的用户图像计算得到用户视线信息时，还确定了该计算得到的用户视线信息的置信度，在从根据多个模组采集的用户图像计算得到的多组用户视线信息中选择其中一组用户视线信息作为真实用户视线信息时，依据该置信度来选择用户真实视线信息，从而进一步提高了用户真实视线信息的精度。

具体的，由于用户视线信息的置信度是基于采集的用户图像来确定的，因此，请参见图5，示出了图4所示实施例中初始视线确定单元401的一实施例的示意图，如图5所示，与上述图4所示实施例的不同之处在于：在本实施例中，上述初始视线确定单元401具体为初始视线确定单元501，其具体包括：初始视线确定单元401通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度。

进一步的，请参见图6，示出了上述图5所示实施例中初始视线确定单元501的一实施例的示意图一。

如图6所示，在本申请的多模组视线追踪系统300中，该初始视线确定单元501，具体包括：初始视线确定单元601从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定瞳孔对应的椭圆，并分析瞳孔对应的椭圆的形状特征，根据瞳孔对应的椭圆的形状特征确定相应组用户视线信息的置信度。

具体的，由于当用户视线正对某一模组，或正对某一相机时，从眼部区域图像中的瞳孔对应的形状越圆，反之，则瞳孔对应的形状越椭，为此可以在初始视线确定单元601中计算瞳孔对应的椭圆的扁率来作为确定该用户图像对应用户视线信息的置信度或置信度的参考依据。

应当理解，椭圆的扁率即椭圆的长轴与短轴的比值，由于通过本技术领域常用技术手段，可以根据眼部区域图像来识别出瞳孔对应形状的参数，进而实现扁率计算，故这里不作详述。

进一步的，请参见图7，示出了上述图5所示实施例中初始视线确定单元501的一实施例的示意图二。

如图7所示，在本申请的多模组视线追踪系统300中，该初始视线确定单元501，具体包括：初始视线确定单元701从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定因用户眼睛反射红外光而出现的光斑，并分析光斑的形状特征，根据光斑的形状特征确定相应组用户视线信息的置信度。

具体的，上述光斑即“普尔钦斑”，也就是红外光源照射眼球时在角膜上形成的一个高亮反射光斑。根据眼球光学知识可知，当用户视线正对某一红外光光源时，在所成像眼球图像中光标的面积越小，边缘越清晰。因此根据光斑的形状特征确定相应组用户视线信息的置信度，可以是根据计算光斑面积的大小或识别光斑边缘像素的分别率，如果面积越小或边缘像素分别率越高则确定对应用户视线信息的置信度越高；反之，则确定对应用户视线信息的置信度越低。

应当理解，关于光斑面积的计算或光斑边缘像素分别率的识别都可以通过本技术领域的常用技术手段来实现，本实施例对如何具体计算光斑面积或边缘清晰度的方法不做限制，故这里不作详述。

进一步的，请参见图8，示出了上述图5所示实施例中初始视线确定单元501的一实施例的示意图三。

如图8所示，在本申请的多模组视线追踪系统300中，该初始视线确定单元501，具体包括：初始视线确定单元801从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定瞳孔和因用户眼睛反射红外光而出现的光斑，分别确定用户两个眼睛中瞳孔和光斑的相对位置，并比对用户两个眼睛中瞳孔和光斑的相对位置的一致程度，根据该一致程度确定相应组用户视线信息的置信度。

具体的，根据眼球光学知识可知，人眼瞳孔与视线方向一致，如果人眼视线方向正对光源（例如红外光），那么对该人眼采集的人眼图像中，光斑的位置应该越接近瞳孔的位置。因此，根据该一致程度确定相应组用户视线信息的置信度，可以是计算用户每只眼睛中瞳孔和光斑之间的向量长度，如果向量长度越小，则说明光斑与瞳孔的位置一致程度越高，也就是可以确定相应用户视线信息的置信度越高；反之，则确定相应用户视线信息的置信度越低。

应当理解，根据提取眼部区域图像识别光斑和瞳孔的位置信息，并做两点向量长度计算可以通过本技术领域的常用技术手段来实现，本实施例对计算眼部区域图像中光斑和瞳孔的向量或距离的具体方法不做限制，故这里不作详述。

进一步的，请参见图9，示出了上述图5所示实施例中初始视线确定单元501的一实施例的示意图四。

如图9所示，在本申请的多模组视线追踪系统300中，该初始视线确定单元501，具体包括：初始视线确定单元901从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中分别确定用户两个眼睛的视轴，并计算用户两个眼睛的视轴的偏差，根据用户两个眼睛的视轴的偏差确定相应组用户视线信息的置信度。

具体的，由于人眼的视轴与视线方向相关，如果用户越接近摄像头，那么在人眼图像中两只眼睛的视轴的夹角越小。因此，根据用户两个眼睛的视轴的偏差确定相应组用户视线信息的置信度，可以是根据提取的眼部区域图像获取用户两只眼睛的视轴，然后计算两个视轴的夹角大小，如果夹角越小则确定对应用户视线信息的置信度越高，反之，则确定对应用户视线信息的置信度越低。

应当理解，根据提取眼部区域图像确定用户眼睛的视轴，并计算两只眼睛视轴的夹角可以通过本技术领域的常用技术手段来实现，本实施例对确定用户眼睛的视轴和计算两视轴的夹角大小的方法不做限制，故这里不作详述。

进一步的，请参见图10，示出了上述图5所示实施例中初始视线确定单元501的一实施例的示意图五。

如图10所示，在本申请的多模组视线追踪系统300中，该初始视线确定单元501，具体包括：初始视线确定单元1001根据每个模组采集的用户图像确定用户头部朝向，并确定用户头部朝向与每个模组采集用户图像的角度之间的偏差，根据用户头部朝向与每个模组采集用户图像的角度之间的偏差确定相应组用户视线信息的置信度。

具体的，根据人脸图像处理的相关技术可知，模组相对于用户的角度可以通过相机坐标系来确定，而用户头部朝向可以通过人别识别来实现，为此如果用户人脸越偏向相机，那么在对应的人脸图像中，用户头部朝向与模组采集用户图像的角度方向越接近，即二者方向的夹角越小。因此，根据用户头部朝向与每个模组采集用户图像的角度之间的偏差确定相应组用户视线信息的置信度，可以是根据计算用户头部朝向与模组采集用户图像的角度方向之间的夹角，如果夹角越小，则确定相应组用户视线信息的置信度越高，反之，则确定相应组用户视线信息的置信度越低。

应当理解，根据采集的用户图像确定用户头部的朝向与模组采集用户图像的角度都可以通过本技术领域的常用技术手段来实现，故这里不作详述。

另外，考虑到在采用多个模组来提供足够大的视线检测范围时，在一些情况下可能存在不同模组的光源相互影响，导致采集的用户图像的眼部图像区域存在多个光斑的情况，从而不利于上述可能采用光斑来确定置信度的技术实现。为此，本申请还提供了以下实施例。

请参见图11，示出了图3所示实施例中模组202的一实施例的结构示意图一，如图11所示，在单个模组202中，可以包括相机111和光源113，其中，光源用于产生红外光，并使所述红外光照射用户；相机用于采集用户图像。

具体的，上述模组202中的相机的数量为一个，不过本申请并限制每个模组中相机的数量。例如，相机的数量还可以为两个或两个以上。

请参见图12，示出了图2所示实施例中模组301/302的一实施例的结构示意图二，如图12所示，在本实施例中，该模组301/302中包括相机121、122和光源123，该模组中还包括控制器124，控制器124分别连接于相机121、122和光源123。控制器124负责相机121、122和光源123控制，包括触发，曝光，增益灯，还负责将数据传给初始视线确定单元。该数据可以是相机采集的用户图像，也可以是经过控制器404处理的用户图像，也可以是控制器404上的图像处理器输出的计算数据。

应当理解，上述图12所示的模组301/302中，也可以不包括控制器124，由与模组301/302连接的设备中的控制器来代替上述控制器124的负责功能。例如，当模组连接于计算机时，可由计算机来替代控制器124实现对相机121、122和光源123的控制。

基于上述图12的启示，在一示例性实施例中，还可以将多模组视线追踪系统与模组301/302集成于一体。例如，请参见图13，示出了多模组视线追踪系统的应用场景的一示意图，在图13应用场景中可将待测数据采集单元201、初始视线确定单元203、真实视线确定单元204和比对单元205设置于控制器124中，模组301/302包括相机121、122和光源124，当然模组301/302的数量可以为一个，或者也可以为两个或两个以上，本申对此不作限制。

本实施例在控制器满足计算要求的情况是能够予以实现的，当然该控制器可以为微型计算机，例如单片机等集成式计算机系统。

进一步的，在本申请采用图11或12所示实施例的模组结构的基础上，可以通过对模组中的相机和光源进行控制，以此来避免不同光源相互干扰，造成多光斑的情况。

在一示例性实施例中，例如，见图14，示出了本申请提供的多模组视线追踪系统的又一实施例的结构示意图一，如图14所示，与上述图2所示实施例的不同之处在于：当各个模组301/302中的光源产生具有相同波长的红外光时，该多模组视线追踪系300，还包括：模组控制单元141，用于控制具有光斑干扰关系的各个模组分时工作，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现因用户眼睛反射其他模组产生的红外光而出现的光斑。

示例性的，在一应用场景中，见图15，示出了图14所示实施例中模组控制单元141对模组进行分时控制的应用场景的一示意图，如图15所示，假设包括三个模组151、152、153，模组控制单元141控制各个模组中相机和光源的触发，当采集一帧用户图像时，由模组151和153的光源点亮以及相机曝光拍摄，同时模组152的光源和相机不触发；在采集下一帧用户图像时，模组152的光源点亮以及相机曝光拍摄，同时模组151和153的光源和相机不触发。这样，在模组151、152，以及模组152、153之间在一段时间只会有一个模组在工作，从而有效避免了光源的互相影响。

当然，对模组151、152、153的控制并不仅限于上述时分控制方式。例如，还可以这样进行时分控制：当采集一帧用户图像时，由模组151的光源点亮以及相机曝光拍摄，同时模组152和153的光源和相机不触发；在采集下一帧用户图像时，模组152的光源点亮以及相机曝光拍摄，同时模组151和153的光源和相机不触发；再采集下一帧用户图像时，模组153的光源点亮以及相机曝光拍摄，同时模组151和152的光源和相机不触发，以此循环。这样，在模组151、152、153之间在一段用户图像集成时间内只会有一个模组在工作，各个模组151、152、153的工作时间相互错开，从而有效避免了光源的互相影响。

在一示例性实施例中，例如，见图16，示出了本申请提供的多模组视线追踪系统的又一实施例的结构示意图二，如图16所示，与上述图2所示实施例的不同之处在于：当具有光斑干扰关系的各个模组中的光源产生具有不同波长的红外光时，具有光斑干扰关系的各个模组中的相机采用可透过本模组产生的红外光、滤除其他模组产生的不同波长的红外光的滤光片161、162、163，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现其他模组产生的因用户眼睛反射红外光而出现的光斑。

示例性的，在一应用场景中，结合图16来说，与上述图15所示应用场景不同的是：模组151、152、153的相机分别对应设有滤光片161、162、163，其中，模组151、153可以产生一种波长（例如940mm）的红外光，而模组152产生另一种波长（例如）的红外光，此时滤光片161、163仅允许模组151、153所产生波长的红外光透过，而滤除模组152所产生波长的红外光，同理，滤光片162仅允许模组152所产生波长的红外光透过，而滤除模组151、153所产生波长的红外光。本实施例对模组151、152、153的光源进行频分控制，这样在每个模组采集的用户图像中就只有自身光源所形成的光斑，从而有效避免了光源的互相影响。

当然，对模组151、152、153的光源进行频分控制并不仅限于上述方式。例如，还可以这样来实现对模组151、152、153的光源的频分控制：模组151、152、153各自分别产生不同波长的红外光，同时滤光片161、162、163仅允许自身所在模组的光源所产生的波长的红外光透过，而滤除其他模组产生的不同波长的红外光。这样在每个模组采集的用户图像中同样只有自身光源所形成的光斑，从而有效避免了光源的互相影响。

方法实施例

基于与上述产品实施例相同的发明构思，相应的，本申请还提供各类一种多模组视线追踪方法。

请参见图17，示出了本申请提供的多模组视线追踪方法的一实施例的实现流程图，本申请提供的多模组视线追踪方法的执行主体可以为图2所示的车载智能终端202。

如图17所示，该多模组视线追踪方法包括以下步骤：

步骤S171，利用至少两个模组从不同的角度发出红外光照射用户并采集用户图像；

步骤S172，根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；

步骤S173，从各个模组对应的多组用户视线信息中选择一组用户视线信息确定为用户真实视线信息。

在一示例性实施例中，请参见图18，示出了上述图17所示实施例中步骤S173的一实施例的实现流程图。

如图18所示，在本实施例中，上述步骤S173中，具体包括：步骤S181，根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息，并确定每组用户视线信息的置信度；据此，上述步骤S174，具体包括：步骤S182，从各个模组对应的多组用户视线信息中选择置信度最高的用户视线信息确定为用户真实视线信息。

在一示例性实施例中，请参见图19，示出了上述图22所示实施例中步骤S181的一实施例的实现流程图。

如图19所示，在上述步骤S181中，该确定每组用户视线信息的置信度，具体包括：步骤S191，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度。

在一示例性实施例中，请参见图20，示出了上述图24所示实施例中步骤S191的一实施例的实现流程图一。

如图20所示，在上述步骤S191中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：

步骤S201，从每个模组采集的用户图像中提取眼部区域图像；

步骤S202，从眼部区域图像中确定瞳孔对应的椭圆，并分析瞳孔对应的椭圆的形状特征；

步骤S203，根据瞳孔对应的椭圆的形状特征确定相应组用户视线信息的置信度。

在一示例性实施例中，请参见图21，示出了上述图19所示实施例中步骤S191的一实施例的实现流程图二。

如图21所示，在上述步骤S191中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：

步骤S211，从每个模组采集的用户图像中提取眼部区域图像；

步骤S212，从眼部区域图像中确定因用户眼睛反射红外光而出现的光斑，并分析光斑的形状特征；

步骤S213，根据光斑的形状特征确定相应组用户视线信息的置信度。

在一示例性实施例中，请参见图22，示出了上述图19所示实施例中步骤S191的一实施例的实现流程图三。

如图22所示，在上述步骤S191中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：

步骤S221，从每个模组采集的用户图像中提取眼部区域图像；

步骤S222，从眼部区域图像中确定瞳孔和因用户眼睛反射红外光而出现的光斑；

步骤S223，分别确定用户两个眼睛中瞳孔和光斑的相对位置，并比对用户两个眼睛中瞳孔和光斑的相对位置的一致程度；

步骤S224，根据该一致程度确定相应组用户视线信息的置信度。

在一示例性实施例中，请参见图23，示出了上述图19所示实施例中步骤S191的一实施例的实现流程图四。

如图23所示，在上述步骤S191中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：

步骤S231，从每个模组采集的用户图像中提取眼部区域图像；

步骤S232，从眼部区域图像中分别确定用户两个眼睛的视轴，并计算用户两个眼睛的视轴的偏差；

步骤S233，根据用户两个眼睛的视轴的偏差确定相应组用户视线信息的置信度。

在一示例性实施例中，请参见图24，示出了上述图19所示实施例中步骤S191的一实施例的实现流程图五。

如图24所示，在上述步骤S191中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：

步骤S241，根据每个模组采集的用户图像确定用户头部朝向；

步骤S242，计算用户头部朝向与每个模组采集用户图像的角度之间的偏差；

步骤S243，根据用户头部朝向与每个模组采集用户图像的角度之间的偏差，确定相应组用户视线信息的置信度。

在一示例性实施例中，请结合提11和图17所示实施例，每个模组具体可以包括：光源，用于产生红外光，并使所述红外光照射用户；相机，用于采集用户图像。

在结合上述图11和图21所示实施例的基础上，再参见图25，示出了本申请提供的多模组视线追踪方法的一实施例的实现流程图二。

如图25所示，当各个模组中的光源产生具有相同波长的红外光时；该多模组视线追踪方法还包括：

步骤S251，控制具有光斑干扰关系的各个模组分时工作，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；

其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现因用户眼睛反射其他模组产生的红外光而出现的光斑。

再结合上述图11和图21所示实施例的基础上，再参见图26，示出了本申请提供的多模组视线追踪方法的一实施例的实现流程图三。

如图26所示，当具有光斑干扰关系的各个模组中的光源产生具有不同波长的红外光时；该多模组视线追踪方法还包括：

步骤S261，具有光斑干扰关系的各个模组中的相机采用可透过本模组产生的红外光、滤除其他模组产生的不同波长的红外光的滤光片，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；

其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现其他模组产生的因用户眼睛反射红外光而出现的光斑。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

设备实施例

请参见图27，示出了适于用来实现本申请多模组视线追踪方法的一些实施例的电子设备27的结构示意图，图27示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。例如，本实施例所示电子设备27可以为一多模组视线追踪设备。

如图27所示，电子设备27可以包括处理器271、存储器272以及存储在所述存储器272中并可在所述处理器271上运行的计算机程序273。所述处理器271执行所述计算机程序273时实现上述各个多模组视线追踪方法实施例中的步骤，例如图17所示的步骤171至173。

所述电子设备27可包括，但不仅限于，处理器271、存储器272。本领域技术人员可以理解，图27仅仅是电子设备27的示例，并不构成对电子设备27的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备27还可以包括输入输出设备、网络接入设备、总线等。

示例性的，所述计算机程序273可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器272中，并由所述处理器271执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序273在电子设备27中的执行过程。

所称处理器271可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器272可以是电子设备27的内部存储单元，例如电子设备27的硬盘或内存。所述存储器272也可以是所述电子设备27的外部存储设备，例如所述电子设备27上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器272还可以既包括所述电子设备27的内部存储单元也包括外部存储设备。所述存储器272用于存储所述计算机程序以及所述电子设备27所需的其它程序和数据。所述存储器272还可以用于暂时地存储已经输出或者将要输出的数据。

在一示例性实施中，本申请还提供了一种算机可读的存储介质，其上存储有计算机程序273，所述计算机程序273被处理器运行时实现方法实施例中任一实施例中所述的多模组视线追踪方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (25)

1.一种多模组视线追踪系统，其特征在于，包括：

至少两个模组；各个模组用于从不同的角度发出红外光照射用户并采集用户图像；

初始视线确定单元，用于根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；

真实视线确定单元，用于接收各个模组对应的多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息。

2.根据权利要求1所述的多模组视线追踪系统，其特征在于，初始视线确定单元还用于确定每组用户视线信息的置信度；则，

真实视线确定单元还用于接收每组用户视线信息的置信度，并从多组用户视线信息中选择置信度最高的用户视线信息确定为用户真实视线信息。

3.根据权利要求2所述的多模组视线追踪系统，其特征在于，初始视线确定单元确定每组用户视线信息的置信度，包括：

初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度。

4.根据权利要求3所述的多模组视线追踪系统，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定瞳孔对应的椭圆，并分析瞳孔对应的椭圆的形状特征，根据瞳孔对应的椭圆的形状特征确定相应组用户视线信息的置信度。

5.根据权利要求3所述的多模组视线追踪系统，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定因用户眼睛反射红外光而出现的光斑，并分析光斑的形状特征，根据光斑的形状特征确定相应组用户视线信息的置信度。

6.根据权利要求3所述的多模组视线追踪系统，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定瞳孔和因用户眼睛反射红外光而出现的光斑，分别确定用户两只眼睛中瞳孔和光斑的相对位置，并比对用户两只眼睛中瞳孔和光斑的相对位置的一致程度，根据该一致程度确定相应组用户视线信息的置信度。

7.根据权利要求3所述的多模组视线追踪系统，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中分别确定用户两只眼睛的视轴，并计算用户两只眼睛的视轴的偏差，根据用户两只眼睛的视轴的偏差确定相应组用户视线信息的置信度。

8.根据权利要求3所述的多模组视线追踪系统，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

初始视线确定单元根据每个模组采集的用户图像确定用户头部朝向，并确定用户头部朝向与每个模组采集用户图像的角度之间的偏差，根据用户头部朝向与每个模组采集用户图像的角度之间的偏差确定相应组用户视线信息的置信度。

9.根据权利要求1所述的多模组视线追踪系统，其特征在于，每个模组包括：

光源，用于产生红外光，并使所述红外光照射用户；

相机，用于采集用户图像。

10.根据权利要求9所述的多模组视线追踪系统，其特征在于，各个模组中的光源产生具有相同波长的红外光，且，多模组视线追踪系统还包括：模组控制单元，用于控制具有光斑干扰关系的各个模组分时工作，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现因用户眼睛反射其他模组产生的红外光而出现的光斑。

11.根据权利要求9所述的多模组视线追踪系统，其特征在于，具有光斑干扰关系的各个模组中的光源产生具有不同波长的红外光，且，具有光斑干扰关系的各个模组中的相机采用可透过本模组产生的红外光、滤除其他模组产生的不同波长的红外光的滤光片，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现其他模组产生的因用户眼睛反射红外光而出现的光斑。

12.一种多模组视线追踪方法，其特征在于，包括：

利用至少两个模组从不同的角度发出红外光照射用户并采集用户图像；

根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；

从各个模组对应的多组用户视线信息中选择一组用户视线信息确定为用户真实视线信息。

13.根据权利要求12所述的多模组视线追踪方法，其特征在于，还包括：确定每组用户视线信息的置信度；则，

从各个模组对应的多组用户视线信息中选择一组用户视线信息确定为用户真实视线信息，包括：

从各个模组对应的多组用户视线信息中选择置信度最高的用户视线信息确定为用户真实视线信息。

14.根据权利要求13所述的多模组视线追踪方法，其特征在于，确定每组用户视线信息的置信度，包括：

通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度。

15.根据权利要求14所述的多模组视线追踪方法，其特征在于，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

从每个模组采集的用户图像中提取眼部区域图像；

从眼部区域图像中确定瞳孔对应的椭圆，并分析瞳孔对应的椭圆的形状特征；

根据瞳孔对应的椭圆的形状特征确定相应组用户视线信息的置信度。

16.根据权利要求14所述的多模组视线追踪方法，其特征在于，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

从每个模组采集的用户图像中提取眼部区域图像；

从眼部区域图像中确定因用户眼睛反射红外光而出现的光斑，并分析光斑的形状特征；

根据光斑的形状特征确定相应组用户视线信息的置信度。

17.根据权利要求14所述的多模组视线追踪方法，其特征在于，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

从每个模组采集的用户图像中提取眼部区域图像；

从眼部区域图像中确定瞳孔和因用户眼睛反射红外光而出现的光斑；

分别确定用户两只眼睛中瞳孔和光斑的相对位置，并比对用户两只眼睛中瞳孔和光斑的相对位置的一致程度；

根据该一致程度确定相应组用户视线信息的置信度。

18.根据权利要求14所述的多模组视线追踪方法，其特征在于，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

从每个模组采集的用户图像中提取眼部区域图像；

从眼部区域图像中分别确定用户两只眼睛的视轴，并计算用户两只眼睛的视轴的偏差；

根据用户两只眼睛的视轴的偏差确定相应组用户视线信息的置信度。

19.根据权利要求14所述的多模组视线追踪方法，其特征在于，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：

根据每个模组采集的用户图像确定用户头部朝向；

计算用户头部朝向与每个模组采集用户图像的角度之间的偏差；

根据用户头部朝向与每个模组采集用户图像的角度之间的偏差，确定相应组用户视线信息的置信度。

20.根据权利要求12所述的多模组视线追踪方法，其特征在于，每个模组包括：

光源，用于产生红外光，并使所述红外光照射用户；

相机，用于采集用户图像。

21.根据权利要求20所述的多模组视线追踪方法，其特征在于，

各个模组中的光源产生具有相同波长的红外光；

且，多模组视线追踪方法还包括：

控制具有光斑干扰关系的各个模组分时工作，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；

其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现因用户眼睛反射其他模组产生的红外光而出现的光斑。

22.根据权利要求20所述的多模组视线追踪方法，其特征在于，

具有光斑干扰关系的各个模组中的光源产生具有不同波长的红外光；

且，具有光斑干扰关系的各个模组中的相机采用可透过本模组产生的红外光、滤除其他模组产生的不同波长的红外光的滤光片，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；

其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现其他模组产生的因用户眼睛反射红外光而出现的光斑。

23.一种视线追踪设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器在运行所述计算机程序时，执行权利要求12~22任一项所述的多模组视线追踪方法。

24.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时实现权利要求12~22任一项所述的多模组视线追踪方法。

25.一种汽车，其特征在于，包括：如权利要求1~11任一项所述的多模组视线追踪系统。

Images