CN116301301A - 眼动追踪装置和眼动追踪方法 - Google Patents

Abstract

眼动追踪装置，包括M个光源，被配置为向用户眼睛发出N种不同类型的光，所述M为大于或等于2的正整数，所述N为大于或等于2的正整数，所述N小于或等于所述M；摄像模组，所述摄像模组包括滤光组件和图像传感器；其中，所述滤光组件被配置为，过滤所述M个光源照射眼睛后反射的至少部分光，所述滤光组件包括多个滤光单元，所述滤光单元中包括至少N个子区域，其中，所述滤光单元过滤至少所述N种不同类型的光，一个所述子区域过滤一种类型的光；所述图像传感器被配置为，获取被过滤的所述至少部分光，得到人眼光斑图像。该眼动追踪装置可以准确地进行光斑、光源匹配。

Description

眼动追踪装置和眼动追踪方法

技术领域

本申请涉及终端及通信技术领域，尤其涉及眼动追踪装置和眼动追踪方法。

背景技术

电子设备可以将用户的动作作为输入，以执行不同的操作或功能。例如，电子设备可以响应于用户的触控手势等执行打开应用程序等操作。又如，眼睛的运动可被追踪检测(即眼动追踪)，从而电子设备可以响应于眼动追踪的结果执行不同的操作或功能。在头戴式设备中，眼动追踪可以用于执行滚动操作、打开应用程序等操作；此外，眼动追踪还可以应用于执行增强显示效果的功能，例如，当头戴式设备在进行显示时，眼动追踪应用于注视点(即人的眼睛正在观看的位置)渲染，即将高质量的图像渲染于用户的视野聚焦区(即注视点所在的区域)，能够给用户一个更佳的视觉效果。

眼动追踪主要使用的方法是瞳孔-虹膜反射法，即光源在人眼前方发出光，光源的光照射到人眼时，在人眼的瞳孔或虹膜等区域发生反射，人眼前方的照相机可以获取反射的光以及人眼图像，其中，反射的光在照相机上形成的图像为光斑。基于光斑和人眼图像，可以得到人的注视方向，从而可以得到人眼的注视点。而如何能精确地确定人眼的注视点，是亟待解决的问题。

发明内容

本申请提供了眼动追踪装置和眼动追踪方法，可以准确地进行光源和光斑匹配，以精确地确定人眼的注视点。

第一方面，本申请实施例提供一种眼动追踪装置，该眼动追踪装置包括：

M个光源，被配置为向用户眼睛发出N种不同类型的光，一个该光源发出一种类型的光，该M为大于或等于2的正整数，该N为大于或等于2的正整数，该N小于或等于该M；

摄像模组，该摄像模组包括滤光组件和图像传感器；其中，

该滤光组件被配置为，过滤该M个光源照射眼睛后反射的至少部分光，该滤光组件包括多个滤光单元，该滤光单元中包括至少N种不同类型的子区域，其中，不同类型的所述子区域过滤不同类型的光；

该图像传感器被配置为，获取透过该滤光组件的该至少部分光，得到人眼光斑图像，其中，透过该滤光组件的该至少部分光在该人眼光斑图像上形成至少一个光斑。

上述实施例中，由于每个光源发射对应类型(例如波长)的光，每个子区域可以透过对应类型的光，当某个光源的光经人眼反射后到达滤光组件时，如果该光源的光与某个子区域相匹配，则光源的光可以透过该子区域，并在图像传感器形成光斑。从而人眼光斑图像上的光斑可以反映出是哪一种或哪几种类型的光所形成，有利于提升光源光斑匹配的准确性和效率，提升了眼动追踪确定的人眼注视点的精确性。

在一些可能的实现方式中，该图像传感器包括阵列的像素，该子区域与该像素具有对应关系，一个该光斑包括多个该像素，一个该光斑对应该N种不同类型的子区域。子区域与像素之间有对应关系，可以保证每个子区域是否有对应的光透过的情况均可以在人眼光斑图像上体现，可以更精准地确定光斑是哪个类型的光所形成，有利于提高眼动追踪的准确性。

例如，当满足下列几种情况中的一种或几种时，都可以更有利地保证每个子区域是否有对应的光透过的情况均可以在人眼光斑图像上体现：

该子区域的面积小于等于5个该图像传感器的像素；

该子区域的面积小于等于一个该光斑的面积的1/N；或，

该子区域与该图像传感器的像素一一对应。

在一些实施例中，M大于等于4，和/或，N大于等于4。当M和N大于等于4时，光源数量和光的种类较多，更有利于对不同的光源进行区分，可以更精确的进行光源和光斑的匹配。

在一些实施例中，N小于M，至少两个该光源发出相同类型的光，可以减少对光源种类和滤波片种类的要求。发出相同类型的光的两个该光源不相邻，可以有效避免相邻光源之间的影响。例如，M个光源中包括多组光源组，每组该光源组中包括至少两个发出相同类型光的该光源，不同该光源组中的该光源发出不同类型的光。即可以保证有效地对光源进行识别和匹配，又可以降低对光源、滤波片等器件的要求。

在一些实施例中，发出相同类型的光的两个该光源的发光频率或发光时间不同，可以进一步地对发出相同类型光的光源进行区分。即可以保证有效地对光源进行识别和匹配，又可以降低对光源、滤波片等器件的要求。

第二方面，本申请实施例提供一种眼动追踪方法，该方法包括：

使用M个光源朝着用户的眼睛发出N种不同类型的光，该M为大于或等于2的正整数，该N为大于或等于2的正整数，该N小于或等于该M；

摄像模组中的滤光组件过滤该M个光源照射眼睛后反射的至少部分光；该滤光组件包括多个滤光单元，该滤光单元中包括至少N种不同类型的子区域，其中，不同类型的所述子区域过滤不同类型的光；

该摄像模组中的图像传感器获取透过该滤光组件的该至少部分光，得到人眼光斑图像，其中，透过该滤光组件的该至少部分光在该人眼光斑图像上形成至少一个光斑。

上述实施例中，由于每个光源发射对应类型(例如波长)的光，每个子区域可以透过对应类型的光，当某个光源的光到达滤光组件时，如果该光源的光与某个子区域相匹配，则光源的光可以透过该子区域，并在图像传感器形成光斑。从而人眼光斑图像上的光斑可以反映出是哪一种或哪几种类型的光所形成，有利于提升光源光斑匹配的准确性和效率，提升了眼动追踪确定的人眼注视点的精确性。

在一些可能的实现方式中，该子区域与该图像传感器的像素具有对应关系，一个该光斑包括多个该像素，一个该光斑对应该N种不同类型的子区域。子区域与像素之间有对应关系，可以保证每个子区域是否有对应的光透过的情况均可以在人眼光斑图像上体现，可以更精准地确定光斑是哪个类型的光所形成，有利于提高眼动追踪的准确性。

例如，当满足下列几种情况中的一种或几种时，都可以更有利地保证每个子区域是否有对应的光透过的情况均可以在人眼光斑图像上体现：

该子区域的面积小于等于5个该图像传感器的像素；

该子区域的面积小于等于一个该光斑的面积的1/N；或；

该子区域与该图像传感器的像素一一对应。

在一些实施例中，M大于等于4，和/或，N大于等于4。当M和N大于等于4时，光源数量和光的种类较多，更有利于对不同的光源进行区分，可以更精确的进行光源和光斑的匹配。

在一些实施例中，N小于M，至少两个该光源发出相同类型的光，可以减少对光源种类和滤波片种类的要求。发出相同类型的光的两个该光源不相邻，可以有效避免相邻光源之间的影响。例如，M个光源中包括多组光源组，每组该光源组中包括至少两个发出相同类型光的该光源，不同该光源组中的该光源发出不同类型的光。即可以保证有效地对光源进行识别和匹配，又可以降低对光源、滤波片等器件的要求。

在一些实施例中，发出相同类型的光的两个该光源的发光频率或发光时间不同，可以进一步地对发出相同类型光的光源进行区分。即可以保证有效地对光源进行识别和匹配，又可以降低对光源、滤波片等器件的要求。

第三方面，本申请实施例还提供一种电子设备，其特征在于，上述电子设备包括一个或多个处理器、M个光源、滤光组件、图像传感器、存储器，以及一个或多个程序，其中上述一个或多个程序被存储在上述存储器中并被配置为被上述一个或多个处理器执行，上述一个或多个程序包括指令，上述指令用于：

根据所述人眼光斑图像，获得人眼的注视方向。

第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，根据所述人眼光斑图像，获得人眼的注视方向。

第五方面，本申请实施例又提供了一种包含指令的计算机程序产品，当其在计算机上运行时，根据所述人眼光斑图像，获得人眼的注视方向。

附图说明

图1是本申请实施例VR系统的一个示意图；

图2A是本申请实施例提供的VR头戴式显示设备的一种示意图；

图2B是本申请实施例提供的VR头戴式显示设备的简化示意图；

图3是本申请实施例提供的一种示例性的光学显示模组；

图4是本申请实施例提供的一种VR头戴式显示设备的结构示意图；

图5是本申请实施例提供的VR头戴式显示设备的一个示例性软件结构框图；

图6是本申请实施例中一种眼球结构模型的剖面示意图；

图7是VR头戴式显示设备中的眼动追踪模组使用瞳孔角膜反射法实现眼动追踪的一个示例性示意图；

图8是本申请实施例中人眼光斑图像的一个示例性示意图；

图9是本申请实施例中光源照射眼睛得到人眼光斑图像的一个场景示意图；

图10是本申请实施例中眼动追踪模组中光源和摄像模组的传感器上滤波片的一个示例性示意图；

图11是本申请实施例中得到的人眼光斑图像的另一个示例性示意图；

图12是本申请实施例中8个光源以几个规则形状排布的示例性示意图；

图13是本申请实施例中8个光源以几个不规则形状排布的示例性示意图；

图14是本申请实施例中8个光源的几种示例性排布结构示意图；

图15是本申请实施例中摄像模组设置位置的一个示例性示意图。

具体实施方式

以下，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)本申请实施例涉及的至少一个，包括一个或者多个；其中，多个是指大于或者等于两个。另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为明示或暗示相对重要性，也不能理解为明示或暗示顺序。比如，第一区域和第二区域并不代表二者的重要程度，或者代表二者的顺序，仅仅是为了区分区域。在本申请实施例中，“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

(2)虚拟现实(Virtual Reality，VR)技术是借助计算机及传感器技术创造的一种人机交互手段。VR技术综合了计算机图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，可以创建虚拟环境。虚拟环境包括由计算机生成的、并实时动态播放的三维立体逼真图像为用户带来视觉感知；而且，除了计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知；此外，还可以检测用户的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与用户的动作相适应的数据，并对用户的动作实时响应，并分别反馈到用户的五官，进而形式虚拟环境。示例性的，用户佩戴VR穿戴设备可以看到VR游戏界面，通过手势、手柄等操作，可以与VR游戏界面交互，仿佛身处游戏中。

(3)增强现实(Augmented Reality，AR)技术是指将计算机生成的虚拟对象叠加到真实世界的场景之上，从而实现对真实世界的增强。也就是说，AR技术中需要采集真实世界的场景，然后在真实世界上增加虚拟环境。

因此，VR技术与AR技术的区别在于，VR技术创建的是完全的虚拟环境，用户看到的全部是虚拟对象；而AR技术是在真实世界上叠加了虚拟对象，即既包括真实世界中对象也包括虚拟对象。比如，用户佩戴透明眼镜，通过该眼镜可以看到周围的真实环境，而且该眼镜上还可以显示虚拟对象，这样，用户既可以看到真实对象也可以看到虚拟对象。

(4)混合现实技术(Mixed Reality，MR)，是通过在虚拟环境中引入现实场景信息(或称为真实场景信息)，将虚拟环境、现实世界和用户之间搭起一个交互反馈信息的桥梁，从而增强用户体验的真实感。具体来说，把现实对象虚拟化，(比如，使用摄像头来扫描现实对象进行三维重建，生成虚拟对象)，经过虚拟化的真实对象引入到虚拟环境中，这样，用户在虚拟环境中可以看到真实对象。

需要说明的是，本申请实施例提供的技术方案可以适用于VR场景、AR场景或MR场景等用于眼动跟踪的电子设备为头戴式设备的场景中，也可以应用在其他用于眼动跟踪的电子设备为非头戴式设备的场景中，例如，使用终端设备(例如移动手机、平板电脑等)、计算机监控器、智能汽车或电视等大屏设备时进行眼动追踪的场景，再如，在智能汽车的行车场景中，也可以通过本申请实施例提供的技术方案更精确地确定人眼的注视点，更快速准确地进行眼动追踪；总之，适用于任何的需要精确确定人眼的注视点进行眼动追踪的场景。

为了方便理解，下文主要以VR场景为例进行介绍。

示例性的，请参见图1，为本申请实施例VR系统的示意图。VR系统中包括VR穿戴设备(本申请实施例中以VR头戴式显示设备100为例)，以及图像处理设备200，该VR系统可以称为VR分体机。VR头戴式显示设备100可以与处理设备200连接。VR头戴式显示设备100与处理设备200之间的连接包括有线或无线连接，无线连接可以是蓝牙(bluetooth，BT)，可以是传统蓝牙或者低功耗(Bluetooth Low Energy，BLE)蓝牙，无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，Zigbee，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)，或通用2.4G/5G频段无线通信连接等。

在一些实施例中，图像处理设备200可以进行处理计算，例如，图像处理设备200可以生成图像并对图像处理(处理方式将在后文介绍)，然后将处理后的图像发送给VR头戴式显示设备进行显示。其中，图像处理设备200可以包括主机(例如VR主机)或服务器(例如VR服务器)。VR主机或VR服务器可以是具有较大计算能力的设备。例如，VR主机可以是手机、平板电脑、笔记本电脑等设备，VR服务器可以是云服务器等。

在一些实施例中，VR头戴式显示设备100可以是眼镜、头盔等。VR头戴式显示设备100上一般设置有两个显示器件，即显示器件110和显示器件120。VR头戴式显示设备100的显示器件可以向人眼显示图像。在图1所示的实施例中，显示器件110和显示器件120被包裹在VR眼镜内部，所以图1中用于指示显示器件110和显示器件120的箭头使用虚线表示。

在一些实施例中，VR头戴式显示设备100本机还具有图像生成、处理等功能，即VR头戴式显示设备100不需要图1中的图像处理设备200，这样的VR头戴式显示设备100可以称为VR一体机。

图2A为VR头戴式显示设备100的一种示意图。如图2A中的(a)所示，VR头戴式显示设备100包括光学显示模组210和光学显示模组220。其中，光学显示模组210包括显示器件和光学器件211。光学显示模组220包括显示屏和光学器件221。在一些实施例中，该光学显示模组210和光学显示模组220中还包括有光学器件。在一些实施例中，光学显示模组210和光学显示模组220可以分别为两个镜筒，该镜筒为中空圆柱状，即光学器件容纳在镜筒内，光学器件和显示器件通过镜筒被安置在VR头戴式显示设备100上。当用户佩戴VR头戴式显示设备100时，光学显示模组210可以用于向用户左眼展示图像。光学显示模组220可以用于向用户右眼展示图像。可以理解的是，图2A中的(a)所示的VR头戴式显示设备100中还可以包括其它部件，比如，还包括支撑部230和支架240，其中支撑部230用于将VR头戴式显示设备100支撑在鼻梁上，支架240用于将VR头戴式显示设备100支撑在双耳上，以保证VR头戴式显示设备100稳定佩戴。如图2A中的(b)所示，VR头戴式显示设备100上可以设置至少一个眼动追踪模组(包括M个光源2501和至少一个摄像模组2502)，用于跟踪人眼的运动，进而确定人眼的注视点。在一些实施例中，VR头戴式显示设备100面向人脸(或用户的眼睛)的端面100a上可以设置有光源2501，此外，VR头戴式显示设备100面向人脸(或用户的眼睛)的端面100a上还可以设置有摄像模组2502。例如，光源2501位于镜筒面向眼睛的端面210a上，镜筒面向眼睛的端面210a可以理解为端面100a的一部分。以在光学显示模组210上的眼动追踪模组250为例，在一些实施例中，该眼动追踪模组250包括有光源2501和摄像模组2502。例如，8个光源2501在镜筒面向眼睛的端面210a上布置，8个光源2501可以呈圆形均匀分布，摄像模组2502可以设置在镜筒面向眼睛的端面210a上。光源2501和摄像模组2502可以均围绕光学器件211面向眼睛的一侧设置。

为了方便描述，请参见图2B，图2B可以理解为对图2A中的VR头戴式显示设备100的一种简化，比如，图2B中仅示出了光学显示模组210和光学显示模组220，其它部件未示出。如图2B，用户佩戴VR头戴式显示设备100的情况下，显示器件110位于光学器件211背离左眼的一侧，显示器件120位于光学器件221背离右眼的一侧，光学器件211和光学器件221相对于人脸的中心线或VR头戴式显示设备100的中心线D对称，其中，人脸的中心线可以是右眼和右眼之间的中垂线；VR头戴式显示设备100的中心线D可以是端面100a的中心线，或者是支架240的中心线等。当显示器件110在显示图像时，显示器件110发出的光线经过光学器件211汇聚到人的左眼，当显示器件120在显示图像时，显示器件120发出的光线经过光学器件221汇聚到人的右眼。在一些实施例中，VR头戴式显示设备100还可以包括光学器件212和光学器件222，光学器件212和光学器件211形成一个镜组，光学器件222和光学器件221形成一个镜组。镜组可以包括至少一个光学器件，镜组中的一个或多个光学器件可以进行调节以改变镜组的光焦度，例如镜组中的一个或多个光学器件的位置可以在远离显示器件或靠近显示器件移动，以改变光焦度。

需要说明的是，图2A或图2B所示的VR头戴式显示设备100的组成，仅为一种逻辑的示意。在具体的实现中，光学器件和/或显示器件的数量可以根据不同需求灵活设置。比如，在一些实施例中，显示器件110和显示器件120可以是两个独立的显示器件，或者，是同一块显示器件上的两个显示区域。其中，在一些实施例中，显示器件110和显示器件120可以分别为显示屏，例如液晶屏、发光二极管(light emitting diode，LED)显示屏或者其它类型的显示器件，本申请实施例不作限定。在另一些实施例中，光学器件212和光学器件211可以是两个独立的光学器件，或者是同一光学器件上的不同部分。在一些实施例中，光学器件212和光学器件211可以分别是反射镜、透射镜或光波导等中的一种或几种光学器件，也可以提高视场角，例如，光学器件212和光学器件211可以分别是多个透射镜组成的镜组，示例性的，光学器件可以是菲涅尔透镜和/或非球面透镜等，本申请实施例不作限定。

请参见图3，为一种示例性的光学显示模组210。该光学显示模组210中的显示器件110为显示屏110，光学显示模组210包括5个光学器件(如301-305)，5个光学器件(如301-305)组成的Pancake折叠光学镜组(以下简称为Pancake镜组)构成的镜组。下面以光线从光学显示模组210的显示屏110发出，通过该Pancake镜组射入人眼为例，对该Pancake镜组的结构以及Pancake镜组在工作时对光线的处理机制进行说明：

如图3所示，该Pancake镜组可以包括至少5个光学器件(如301-305)。其中，301-305中任一个光学器件的具体实现可以是具有对应功能的光学透镜，或者，通过在相邻透镜或其他光学部件上通过光学镀膜实现该组件对应的功能。

在该示例中，301可以是偏振片(Polarizer，P)。302可以是四分之一波片(Quarterwave-plate，QWP)。303可以通过半反半透膜(Beam splitter,BS)实现。304可以是四分之一波片。305可以通过偏振反射膜实现(Polarization reflector,PR)。

如图3所示，入射光线在入射301之后，可以按照302-303-304-305的顺序依次透射。

示例性的，光线可以在经过301后被调制为线偏光(即平面偏振光)。在一些实施例中，301的调制方向可以设置为y轴方向。由此经过301之后入射光线就可以被调制为y轴方向的线偏光。接着，该线偏光可以通过302，由此调整为旋转偏振光。示例性的，以302的快轴方向与y轴成45°，那么线偏光通过302之后就可以被调整为右旋偏振光，其中，波片具有一个快轴和一个慢轴，快轴和慢轴相互垂直，偏振光在快轴方向速度稍大。该右旋偏振光可以入射303。由于303的半透半反特性，因此右旋偏振光可以有一部分光线透射303，而另一部分光线则被303反射。透射303的右旋偏振光可以入射304。在304的快轴方向与302相同的情况下，该透射303的右旋偏振光可以直接穿透304并入射305。该入射305的右旋偏振光可以被调制为沿着x轴方向的线偏光，并在305表面被反射。

被305反射的光线可以通过304-303，并在303反射。

示例性的，在305表面被反射的光线可以透过304并调制为右旋偏振光，该右旋偏振光的一部分光线可以在303表面反射。需要注意的是在303表面反射之后，该右旋偏振光可以被调制为左旋偏振光。

被303反射的左旋偏振光可以通过304-305射出Pancake镜组，最终入射人眼。

示例性的，经过304之后，该左旋偏振光可以被调制为偏振方向沿y轴方向的线偏光(即平面偏振光)。接着，该沿y轴方向的线偏光就可以通过305射出Pancake镜组，并入射人眼。可以理解的是，在一些实施例中，305的偏振透射特性可以设置为y轴方向的线偏光透射，由此即可保证y轴方向的线偏光可以顺利从305射出。

这样，光线可以通过301-302-303-304-305-304-303-304-305的顺序在Pancake镜组中折叠传输，由此达到了折叠光路的效果。因此就能够在较小的空间内(如VR穿戴设备等光学显示模组210内部)实现较长光路的光线传输。

在图2A中的(b)所示的示例中，摄像模组2502可以位于该光学显示模组210靠近人脸的端面上，且可以位于任意两个光源2501之间，例如，摄像模组2502可以位于右下方的两个光源2501之间。这样，光源2501照射眼睛反射的光不需要经过镜组的折射，可以直接被摄像模组2502接收，可以使眼动追踪的计算更准确。

在一些实施例中，摄像模组2502可以位于其中一个光学器件背离人眼的一侧，使得摄像模组2502可以离用户的眼睛远一些，以接收更多经眼睛反射的光，从而获得更多的光斑的信息，以提高检测的精度。例如在图3中，摄像模组2502可以位于303与302之间，或其它相邻的两个光学器件之间，可以理解，摄像模组2502虽然位于光学器件之间，但位于光路传输的范围以外，以避免遮挡显示屏的光；在一些实施例中，摄像模组2502可以位于镜组与显示屏110之间，可以理解，摄像模组2502虽然位于镜组与显示屏110之间，但位于光路传输的范围以外，以避免遮挡显示屏的光。这样可以根据接收光源照射眼睛反射光的较佳位置放置摄像模组2502，使得眼动追踪获取的关注点更加准确。

可以理解的是，VR头戴式显示设备100中还可以包括更多器件。示例性的，请参考图4，示出了本申请实施例提供的一种VR头戴式显示设备100的结构示意图。如图4所示，VR头戴式显示设备100可以包括处理器401，存储器402，传感器模块403(可以用于获取用户的姿态)，麦克风404，按键405，输入输出接口406，通信模块407，摄像头408，电池409、光学显示模组410以及眼动追踪模组412等。

可以理解的是，本申请实施例示意的结构并不构成对VR头戴式显示设备100的具体限定。在本申请另一些实施例中，VR头戴式显示设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器401通常用于控制VR头戴式显示设备100的整体操作，可以包括一个或多个处理单元，例如：处理器401可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signalprocessor，ISP)，视频处理单元(video processing unit，VPU)控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器401中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器401中的存储器为高速缓冲存储器。该存储器可以保存处理器401刚用过或循环使用的指令或数据。如果处理器401需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器401的等待时间，因而提高了系统的效率。

在本申请的一些实施例中，处理器401可以获取眼动追踪模组412中摄像模组发送的人眼光斑图像，还可以获知用户眼睛的位置，进而计算用户的注视点。

在一些实施例中，处理器401可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，通用异步收发传输器(universal asynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processorinterface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serialbus，USB)接口，串行外设接口(serial peripheral interface，SPI)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器401可以包含多组I2C总线。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器401与通信模块407。例如：处理器401通过UART接口与通信模块407中的蓝牙模块通信，实现蓝牙功能。

MIPI接口可以被用于连接处理器401与光学显示模组410中的显示屏，摄像头408等外围器件。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器401与摄像头408，光学显示模组410中的显示屏，通信模块407，传感器模块403，麦克风404等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。在一些实施例中，摄像头408可以采集包括真实对象的图像，处理器401可以将摄像头采集的图像与虚拟对象融合，通过光学显示模组410现实融合得到的图像。

USB接口是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口可以用于连接充电器为VR头戴式显示设备100充电，也可以用于VR头戴式显示设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如手机等。USB接口可以是USB3.0，用于兼容高速显示接口(display port，DP)信号传输，可以传输视音频高速数据。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对VR头戴式显示设备100的结构限定。在本申请另一些实施例中，VR头戴式显示设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

另外，VR头戴式显示设备100可以包含无线通信功能，比如，VR头戴式显示设备100可以从其它电子设备(比如VR主机)接收图像进行显示。通信模块407可以包含无线通信模块和移动通信模块。无线通信功能可以通过天线(未示出)、移动通信模块(未示出)，调制解调处理器(未示出)以及基带处理器(未示出)等实现。天线用于发射和接收电磁波信号。VR头戴式显示设备100中可以包含多个天线，每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将一个天线复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块可以提供应用在VR头戴式显示设备100上的包括第二代(2thgeneration，2G)网络/第三代(3th generation，3G)网络/第四代(4th generation，4G)网络/第五代(5th generation，5G)网络等无线通信的解决方案。移动通信模块可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块的至少部分功能模块可以被设置于处理器401中。在一些实施例中，移动通信模块的至少部分功能模块可以与处理器401的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器等)输出声音信号，或通过光学显示模组410中的显示屏显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器401，与移动通信模块或其他功能模块设置在同一个器件中。

无线通信模块可以提供应用在VR头戴式显示设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器401。无线通信模块还可以从处理器401接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。

在一些实施例中，VR头戴式显示设备100的天线和移动通信模块耦合，使得VR头戴式显示设备100可以通过无线通信技术与网络以及其他设备通信。该无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multipleaccess，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(longterm evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigationsatellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellitesystem，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

VR头戴式显示设备100通过GPU，光学显示模组410，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接光学显示模组410和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器401可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

存储器402可以用于存储计算机可执行程序代码，该可执行程序代码包括指令。处理器401通过运行存储在存储器402的指令，从而执行VR头戴式显示设备100的各种功能应用以及数据处理。存储器402可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储VR头戴式显示设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

VR头戴式显示设备100可以通过音频模块，扬声器，麦克风404，耳机接口，以及应用处理器等实现音频功能。例如音乐播放，录音等。音频模块用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块还可以用于对音频信号编码和解码。在一些实施例中，音频模块可以设置于处理器401中，或将音频模块的部分功能模块设置于处理器401中。扬声器，也称“喇叭”，用于将音频电信号转换为声音信号。VR头戴式显示设备100可以通过扬声器收听音乐，或收听免提通话。

麦克风404，也称“话筒”，“传声器”，用于将声音信号转换为电信号。VR头戴式显示设备100可以设置至少一个麦克风404。在另一些实施例中，VR头戴式显示设备100可以设置两个麦克风404，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，VR头戴式显示设备100还可以设置三个，四个或更多麦克风404，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口用于连接有线耳机。耳机接口可以是USB接口，也可以是3.5毫米(mm)的开放移动穿戴设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

在一些实施例中，VR头戴式显示设备100可以包括一个或多个按键405，这些按键可以控制VR穿戴设备，为用户提供访问VR头戴式显示设备100上的功能。按键405的形式可以是按钮、开关、刻度盘和触摸或近触摸传感设备(如触摸传感器)。具体的，例如，用户可以通过按下按钮来打开VR头戴式显示设备100的光学显示模组410。按键405包括开机键，音量键等。按键405可以是机械按键。也可以是触摸式按键。VR头戴式显示设备100可以接收按键输入，产生与VR头戴式显示设备100的用户设置以及功能控制有关的键信号输入。

在一些实施例中，VR头戴式显示设备100可以包括输入输出接口406，输入输出接口406可以通过合适的组件将其他装置连接到VR头戴式显示设备100。组件例如可以包括音频/视频插孔，数据连接器等。

光学显示模组410用于在处理器401的控制下，为用户呈现图像。光学显示模组410可以通过反射镜、透射镜或光波导等中的一种或几种光学器件，将实像素图像显示转化为近眼投影的虚拟图像显示，实现虚拟的交互体验，或实现虚拟与现实相结合的交互体验。例如，光学显示模组410接收处理器401发送的图像数据信息，并向用户呈现对应的图像。在一些实施例中，光学显示模组410可以包括光学显示模组210和光学显示模组220。

在本申请的实施例中，VR头戴式显示设备100还包括眼动追踪模组412。眼动追踪模组412用于跟踪人眼的运动，进而确定人眼的注视点。如，可以通过图像处理技术，定位瞳孔位置，获取瞳孔中心坐标，进而计算人的注视点。在一些实施例中，该眼动追踪系统可以通过视频眼图法或者光电二极管响应法或者瞳孔角膜反射法等方法，确定用户的注视点位置(或者确定用户的视线方向)，从而实现用户的眼动追踪。

需要说明的是，在本说明书的一些实施例中，可以分别为用户的双眼设置各自对应的眼动追踪模组，以便同步或异步地对双眼进行眼动追踪。在本说明书的另一些实施例中，也可以仅在用户的单只眼睛附近设置眼动追踪模组，通过该眼动追踪模组获取对应人眼的视线方向，并根据双眼注视点的关系(如用户在通过双眼观察物体时，两个眼睛的注视点位置一般相近或相同)，结合用户的双眼间距，即可确定用户的另一只眼睛的视线方向或者注视点位置。

可以理解的是，本申请实施例示意的结构并不构成对VR头戴式显示设备100的具体限定。在本申请另一些实施例中，VR头戴式显示设备100可以包括比图2A更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，本申请实施例不作限定。

可以理解的是，该VR头戴式显示设备100为本申请实施例中电子设备的一个示例，本申请实施例中电子设备还可以有很多其他的形态，例如AR穿戴设备、MR穿戴设备、车载眼动追踪显示装置、智能移动设备、大屏显示器、智能汽车、电脑监视器等，此处不作限定。

图5是本申请实施例的VR头戴式显示设备100的示例性软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为四层，从上至下分别为应用程序层501，应用程序框架层502，运行时(Runtime)503和系统库504，以及内核层505。

应用程序层501可以包括一系列应用程序包。

如图5所示，应用程序包可以包括相机501A，日历501B，地图501C，WLAN501D，音乐501E，短信息501F，图库501G，通话501H，导航501I，蓝牙501J，视频501K等应用程序(也可以称为应用)。

应用程序框架层502为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图5所示，应用程序框架层502可以包括窗口管理器5021，内容提供器5022，电话管理器5023，资源管理器5024，通知管理器5025，视图系统5026等。

窗口管理器5021用于管理窗口程序。窗口管理器5021可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器5022用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

电话管理器5023用于提供VR头戴式显示设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器5024为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器5025使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

视图系统5026包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

运行时(Runtime)503包括核心库和虚拟机。Runtime负责系统的调度和管理。

核心库包含两部分：一部分是编程语言(例如，jave语言)需要调用的功能函数，另一部分是系统的核心库。

应用程序层501和应用程序框架层502运行在虚拟机中。虚拟机将应用程序层501和应用程序框架层502的编程文件(例如，jave文件)执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库504可以包括多个功能模块。例如：表面管理器5041(surface manager)，三维图形处理库5042(例如：OpenGL ES)，二维图形引擎5043(例如：SGL)，媒体库5044(MediaLibraries)等。

表面管理器5041用于对显示子系统进行管理，并且为多个应用程序提供了二维(2-Dimensional，2D)和三维(3-Dimensional，3D)图层的融合。

媒体库5044支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库5042用于实现3D图形绘图，图像渲染，合成，和图层处理等。

二维图形引擎5043是2D绘图的绘图引擎。

内核层505是硬件和软件之间的层。内核层505至少包含显示驱动5051，摄像头驱动5052，音频驱动5053，传感器驱动5054。

本申请的一些实施例中，在应用程序框架层502还可以包括眼动追踪功能模块5027，用于将摄像头驱动5052获取的人眼图像中的光斑与光源进行匹配，计算用户的视线方向从而确定用户的注视点。本申请的另一些实施例中，该眼动追踪功能模块5027还可以位于应用程序层501、系统库504或内核层505，此处不作限定。

如图6为本申请实施例提供的一种眼球结构模型的剖面示意图，如图6所示，眼球包括角膜601、虹膜602、瞳孔603、巩膜604、晶状体605、视网膜606，其中：

角膜601对光源照射的光的反射率较高，因此光源照射后能形成较清晰的反射点。角膜601是眼球前部的透明部分，是光线进入眼球的第一道关口，角膜601外表面中央3mm左右为球形弧面，称为光学区，周边曲率半径逐渐增大，呈非球面形。在图6所示的眼球结构模型中，将角膜601假设为球形弧面。

由于被覆盖在角膜601之后的虹膜602是一圆盘状膜，所在区域是深色类圆形，中央有一孔称瞳孔603。如果光线过强，虹膜602内的括约肌收缩，则瞳孔603缩小；光线变弱，虹膜602的开大肌收缩，瞳孔603变大。瞳孔603是动物或人眼睛内虹膜中心的小圆孔，为光线进入眼睛的通道。晶状体605为一个双凸面透明组织，位于虹膜602之后，形状和作用与凸透镜相似，能把远近物体的形象，清晰地反映在视网膜606上。视网膜606是眼球的感光部位，外界物体成像在视网膜606上。

巩膜604(又称眼白)对光源照射的光的反射率较低。巩膜604是眼球壁的主要组成之一，位于与角膜交界处，结构坚韧，有支持和保护眼内组织的作用。

如图7，为VR头戴式显示设备100中的眼动追踪模组412使用瞳孔角膜反射法实现眼动追踪的一个示例性示意图。该眼动追踪模组412可以包括一个或多个光源4121以及一个或多个摄像模组4122，在图7中光源4121以近红外发光二极管4121(Light-EmittingDiode，LED)为例进行说明，摄像模组4122以近红外相机4122为例进行说明，当光源发出的光为不可见光(例如红外发光或近红外发光)时，可以避免光源对眼睛的影响，进行无感知的眼动追踪。

在一些实施例中，该眼动追踪模组412可以通过如下方法获取用户的注视方向：近红外LED1201对人眼701进行照射，近红外LED4121的光照射到人眼，在人眼的角膜601或虹膜602等区域发生反射，近红外相机4122可以获取反射的光以及人眼图像，得到人眼光斑图像。在一些实施例中，近红外相机4122可以获取反射光的像702(例如光斑的像)以及人眼的像(人眼的像包括瞳孔中心的像703)，人眼光斑图像中包括反射光的像702(例如光斑的像)以及人眼的像。根据人眼光斑图像，可以确定眼球的光轴方向704，从而得到用户的视线方向。

在一些实施例中，获取用户的注视方向的过程可分为以下几个阶段：

(1)人眼参数的校准：

由于每个使用者的眼球不同，在瞳孔角膜反射法计算过程追踪使用到的人眼参数就是不同的。为了提高最终计算结果的精度，会在使用瞳孔角膜反射法的算法计算前先进行人眼参数的校准，获得校准后的人眼参数进行后续算法解算。

人眼参数校准的结果中包括用户眼睛视轴方向与光轴方向的夹角。其中，视轴方向为用户的注视方向，光轴方向为用户眼睛的瞳孔中心到角膜中心的方向。

(2)光斑、瞳孔在图像上的检测：

使用眼动追踪模组412中的光源4121照射人眼后，人眼会将光源4121照射的部分光反射到眼动追踪模组412中的摄像模组4122，摄像模组4122可以得到一个人眼光斑图像。

如图8所示，为人眼光斑图像的一个示例性示意图。该人眼光斑图像中可以包括：光斑801，是光源4121照射人眼中的角膜601区域后，反射光到该摄像模组4122的反射点的像；虹膜图像802，由光源4121照射人眼的虹膜602区域后，散射光到该摄像模组4122形成；巩膜图像803，由光源4121照射人眼的巩膜604区域后，散射光到该摄像模组4122形成的；人眼轮廓图像804，由光源4121照射人眼轮廓散射后，散射光到该摄像模组4122形成；该人眼光斑图像中还可以包括位于虹膜602区域中心的瞳孔603中心(图中未示出)、眼毛、眼皮等图像。

在图8中，人眼光斑图像中光斑801位于虹膜图像802区域，是因为人眼结构中，角膜601的反射率较高，而透明的角膜601又覆盖在虹膜602上，因此被角膜601或虹膜602反射的光形成的光斑均位于虹膜图像802区域。又因为巩膜604的反射率较低，因此被巩膜604反射的光形成的光斑难以被摄像模组4122捕捉。

得到人眼光斑图像后，VR头戴式显示设备100会对该人眼光斑图像进行高精度检测以确定其中光斑和瞳孔中心在人眼光斑图像中的位置。

(3)光斑光源匹配：

检测到人眼光斑图像上的光斑、瞳孔中心的位置后，要使用瞳孔角膜反射法做后续计算，则需要将人眼光斑图像上检测到的光斑与三维物理世界中的光源对应起来，即找到人眼光斑图像上的光斑是由哪个光源发出的光反射形成的。

(4)计算膜中心、瞳孔中心在三维物理空间中的位置，确定光轴方向；

VR头戴式显示设备100将人眼光斑图像中的光斑与三维物理空间中眼动追踪模组412的光源4121匹配完成后，就可以使用后续算法求解计算出用户此时在三维物理空间中角膜中心、瞳孔中心的位置。将该角膜中心、瞳孔中心的连线作为获取该人眼光斑图像时用户人眼的光轴，这样也就解算出了光轴方向。

(5)基于人眼参数和光轴方向进而获得视轴方向，即为用户的视线方向。

基于(4)中得到的用户眼睛的光轴方向，以及(1)中得到的用户眼睛光轴方向和视轴方向的夹角，可计算得到用户眼睛的视轴方向，即为用户眼睛的注视方向。根据用户眼睛的注视方向也能进一步计算出用户在显示屏上的注视点。

结合图2A所示的VR头戴式显示设备100，图9为光源4121照射眼睛得到人眼光斑图像的一个场景示意图，其中，图9中的光源4121和摄像模组4122的设置方式和位置可以如图2A所示。如图9所示，单独取出对一只眼睛的情况进行说明。图9中的(a)所示坐标系以8个光源4121所在面(例如面210a)的中心点建立直角坐标系，此处建立直角坐标系仅用于标定各器件的位置以便于描述，在实际应用中，VR头戴式显示设备100可以建立坐标系，也可以不建立坐标系，此处不作限定。摄像模组4122在该坐标系的右下方。在8个光源4121发出的光线照射眼睛在摄像模组4122成像的物理过程中，还经过了摄像模组4122的镜头中一系列透镜的折射。在一些实施例中，光斑的数量小于或等于光源的数量。如图9中的(b)所示，最终得到的人眼光斑图像可以包括人眼轮廓901、虹膜范围902以及4个光斑903。

这种情况下，确定这4个光斑903具体是由8个光源4121中的哪几个光源发出的光反射生成的，具有较大的难度。如果不能将光斑与光源进行准确的匹配，则无法准确地确定人眼的注视点。

以图9中的(b)为例，光斑903的数量小于光源的数量，原因可能包括以下几个方面中的一种或多种：

1、由于人眼球的转动，空间中已知位置的光源发光照射人眼得到的反射点的位置不同。如上图6所述，由于角膜601反射率较高，巩膜604反射率较低，因此光源4121照射眼睛的光的反射点在巩膜604上时摄像模组4122可能无法捕获到该光斑，也就会造成得到的图像中光斑数量小于实际的光源数量。

2、当人眼旋转到一定角度时，由于不同位置光源4121发出的光经过不同的反射或折射，可能会造成两个或多个光源4121在人眼反射过程中的反射点重合，也就是摄像模组4122得到的人眼光斑图像上一个光斑903可能对应多个光源。

3、为了不遮挡镜组，摄像模组4122偏置，即摄像模组4122不在多个光源4121的中心，并且光源4121的光线到达摄像模组4122的图像传感器经过了多次折射，光路复杂。

因此在此种情况下进行光源光斑匹配时会出现歧义，即一个光斑可能对应多个光源且不是所有的光源都对应有光斑，无法准确的区分出各光斑分别对应的是哪个或哪几个光源。

而采用本申请实施例提供的眼动追踪模组412，能更快速、准确的进行光源与光斑的匹配，消除歧义。

为简化描述，且便于理解，本申请实施例中均单独取出对一只眼睛的注视方向进行眼动追踪的眼动追踪模组412的结构进行说明。

示例性的，如图10所示，为本申请实施例中眼动追踪模组412中光源4121和摄像模组4122的传感器上滤波片的一个示例性示意图。该眼动追踪模组412包括光源4121和摄像模组4122，其中摄像模组4122包括镜头和图像传感器1020，在图像传感器1020上设置有滤光组件1021。在一些实施例中，该滤光组件1021可以为一个通过物理方式滤光的物理器件，在图10中所示示例中，该滤光组件1021为一张滤波片进行刻蚀等工艺形成，在一些实施例中，滤光组件1021可以包括多张滤光片。

在一些实施例中，如图10中的(a)所示，眼动追踪模组412包括8个光源4121，分别为：光源1～光源8。这8个光源4121中包括4种类型的光源，即这8个光源4121形成4组光源组，每组光源组中的光源为同一种类型的光源。在一些实现方式中，一个光源可以发出一种类型的光，通常情况下，一个光源不会发出两种以上类型的光。其中，在一些实施例中，不同类型的光可以是波长不同的光，则N种不同类型的子区域可以过滤不同波长的光；在另一些实施例中，不同类型的光还可以是不同调制的光，例如不同类型光的振动方向不同，则N种不同类型的子区域可以过滤不同振动方向的光。在一些实现方式中，不同类型的子区域可以在同一个光学元件上通过不同的刻蚀工艺形成的。例如，当不同类型的子区域可以由不同的滤波片形成，可以在一个大的滤波片上，通过刻蚀工艺在不同的子区域上形成不同的刻蚀图形，以在不同的子区域形成不同的滤波效果，从而使得不同的子区域可以透过不同波长的光。以下为了方便说明，以不同类型的光可以是波长不同的光为例进行说明。例如，光源1和光源5为一组光源组，光源1和光源5发光的波长均为a；光源2和光源6为一组光源组，光源2和光源6发光的波长为b，光源3和光源7为一组光源组，光源3和光源7发光的波长为c；光源4和光源8为一组光源组，光源4和光源8发光的波长为d。

如图10中的(b)所示，滤光组件1021采用滤光单元1022组成，例如滤光组件1021由多个滤光单元1022阵列组成，该滤光单元1022由4种能分别过滤波长a、波长b、波长c和波长d的光的子区域1023组成。本申请实施例中，过滤某个波长的光可以表示该子区域只能通过该波长光。例如，过滤波长a的光的子区域表示该子区域只能通过波长a的光。

示例性的，如图11所示，为以图10中(a)所示8个光源4121照射人眼，由包括图10中(b)所示的滤光片的摄像模组4122获取到的人眼光斑图像的一个示例性示意图。该人眼光斑图像中包括人眼轮廓901且虹膜范围902中包括4个光斑：光斑1、光斑2、光斑3和光斑4。

由于摄像模组4122采用了包括分别过滤波长a、波长b、波长c和波长d的子区域的滤光组件1021。因此，摄像模组4122得到的人眼光斑图像中的光斑中会包含明亮的子区域和黑暗的子区域，其中黑暗的子区域是由于该子区域没有对应的光(例如对应波长的红外光)透过滤光组件1021中的子区域，而照射到图像传感器1020；明亮的子区域有对应的光(例如对应波长的红外光)透过滤光组件1021中的子区域，而照射到图像传感器1020上形成。在一些实施例中，由于不同类型的光为不同波长的光，因此，人眼光斑图像可以在一个视频帧中捕获，从而可以快速、准确的进行光源匹配。在一些实施例中，图像传感器具有阵列的像素，阵列的像素可以在图像传感器上以特定的方式进行排列，图像传感器可以是彩色图像传感器或黑白图像传感器。在一些实施例中，子区域的位置、大小和/或形状与图像传感器1020的像素之间有对应关系，以保证每个子区域是否有对应的光透过的情况均可以在图像传感器1020上体现，有利于提高眼动追踪的准确性。在图11中，为了方便说明，以一个子区域的位置与图像传感器1020的一个像素的位置相匹配，且一个子区域与对应位置的像素的大小和形状均相同为例进行说明。在其它的实施例中，子区域的位置、大小和/或形状与图像传感器1020的像素也可以不同。

在图11中，将滤光组件1021的各子区域对应到该人眼光斑图像中包含光斑的虹膜范围902，其中，至少在虹膜范围内，每一个子区域均对应一个像素。在人眼光斑图像上各对应的子区域中，以有图案填充(如有阴影的区域A1)的像素表示该像素对应的子区域有对应波长的光透过，以没有被图案填充的像素表示该像素对应的子区域没有对应波长的光透过：

例如，光斑1是由波长a的光透过滤光组件1021而在图像传感器1020形成，光斑1所在的区域对应多个子区域，如图11所示，光斑1所在的区域对应多个过滤波长a的子区域、过滤波长b的子区域、过滤波长c的子区域、和过滤波长d的子区域，其中，过滤波长b的子区域、过滤波长c的子区域、和过滤波长d的子区域均没有光透光，过滤波长a的子区域有波长为a的光透光，从而在多个过滤波长a的子区域(如有阴影的区域A1)所对应的图像传感器1020像素处为明亮，从而形成光斑1。同理，光斑2是由波长d的光透过滤光组件1021形成，光斑3是由波长c和b的光透过滤光组件1021形成，光斑4是由波长a的光透过滤光组件1021形成。因此，人眼光斑图像中形成光斑1-4的波长的顺序是波长a、波长d、波长c和波长b、波长a。

一般的，光斑的空间位置与光源的空间位置有一定的对应关系且光斑之间的相对位置与光源之间的相对位置一般是一致的，从而可以方便的根据人眼光斑图像准确地获知各光斑1-4分别对应哪个光源。而图像传感器1020在哪些像素处可以获得哪些光源的反射光，与眼睛的注视方向相关，从而可以准确地获知眼镜的注视点。

需要说明的是，具体的光斑与光源间空间位置的对应关系与根据实际需求设定的透镜的光学结构有关。例如，在一些实施例中，人眼光斑图像中靠近底部的光斑一般是由距离地面更近的光源照射反射得到的；在一些实施例中，也有光学结构可以达到人眼光斑图像中靠近底部的光斑一般是由距离地面更远的光源照射反射得到的，此处不作限定。

以在图11所示实施例中人眼光斑图像中靠近底部的光斑一般是由距离地面更近的光源照射反射得到的为例，因此，可以很快速、准确地确定出：光斑1是由光源1照射得到的，因此，光斑1与光源1匹配；光斑2是由光源8照射得到的，因此，光斑2与光源8匹配；光斑3是由光源7和光源6照射得到的，因此，光斑3与光源7和光源6匹配；光斑4是由光源5照射得到的，因此，光斑4与光源5匹配。也即，光斑1、光斑2、光斑3、光斑4分别与光源1、光源8、光源7和光源6、光源5匹配。

这样，采用图10所示的眼动追踪模组412获取人眼光斑图像，就能更快速和准确的消除光源与光斑匹配过程中的歧义，准确的区分出各光斑对应的是哪个或哪几个光源，从而有助于后续更快速准确地确定用户的注视点。

上面实施例中，基于光斑中明亮的子区域在滤光单元中对应的子区域能过滤的光的类型，结合光源分别发出的光的类型，人眼光斑图像中光斑间的相对位置以及各光源间的相对位置，从将人眼光斑图像中的光斑和眼动追踪模组412中的光源完成匹配。

可以理解的是，在一些实施例中，若光源之间发出光的种类都互不相同，也可以仅基于光斑中明亮的子区域在滤光单元中对应的子区域能过滤的光的类型，结合光源分别发出的光的类型，就完成光源与光斑的匹配。

在一些实施例中，若光源中包括两个以上(包括两个)发出相同类型光的光源，则可以控制发出相同类型光的光源在不同时刻发光，或发出相同类型光的光源以不同的频率发光，以进一步的区分各光源。例如，发出相同类型光的光源以第一频率交替发光(即)，并通过摄像模组以大于或等于该第一频率的第二频率获取X张人眼光斑图像，其中X大于等于2，且X张人眼光斑图像中包括发出相同类型光的光源各自分别发光时摄像模组获取的人眼光斑图像。例如，若采用图10中的(a)所示的光源，其中包括光源1和光源5均发出波长a的光。可以控制光源1和光源5以每个光源每次发光1ms的频率交替发光，并以每0.5ms一次的频率获取人眼光斑图像。则得到的X张人眼光斑图像中会包括光源1单独发光时的人眼光斑图像，也包括光源5单独发光时的人眼光斑图像。结合这X张人眼光斑图像以及获取该各人眼光斑图像时发光的光源，基于光斑中明亮的子区域在滤光单元中对应的子区域能过滤的光的类型，结合各光源分别发出的光的类型、人眼光斑图像中光斑间的相对位置、各光源间的相对位置等信息中的部分或全部，可以更精确的完成光源与光斑的匹配。

上述以VR场景为例，对包含眼动追踪模组412的VR头戴式显示设备100进行眼动追踪的过程进行了示例性的描述。

为便于描述，在本申请的一些实施例中将眼动追踪模组412中用于实现光源与光斑匹配的光源4121和摄像模组4122称为眼动追踪装置。该眼动追踪装置可以作为整体部件应用在其他场景的其他电子设备中，例如可以应用在移动智能设备中，大屏显示设备中，智能车载设备中等，此处不作限定。

可以理解的是，图10所示的眼动追踪装置中光源4121的数量和排布方式，以及摄像模组4122的图像传感器1020上滤光组件1021中滤光单元1022和子区域1023的排布方式，都仅是一个示例。

在一些实施例中，眼动追踪装置中包括M个光源4121和摄像模组4122，其中，M为大于或等于2的正整数，一个光源发出一种类型的光。这M个光源向用户眼睛发出N种不同类型的光，其中N为大于或等于2的正整数。也就是说，M个光源能发出两种或两种以上类型的光，且可以有不同的光源发出相同类型的光。

该摄像模组4122包括滤光组件1021和图像传感器1020。其中，该滤光组件1021被配置为过滤M个光源4121照射眼睛后反射的至少部分光，滤光组件1021包括多个滤光单元1022，滤光单元1022中包括至少N个子区域1023，其中，滤光单元1022过滤至少该N种不同类型的光，一个子区域1023过滤一种类型的光；图像传感器1020被配置为，获取被过滤的该至少部分光，得到人眼光斑图像。该滤光组件1021中可以包括能过滤这M个光源发出的N种类型的光的子区域，还可以包括能过滤更多类型的光的子区域。

当光源的光经人眼反射后，被图像传感器1020获取前，滤光组件1021对反射的光进行过滤。由于每个光源发射对应类型(例如波长或调制)的光，每个子区域可以透过对应类型的光，当某个光源的光到达滤光组件时，如果该光源的光与某个子区域相匹配，则光源的光可以透过该子区域，并在图像传感器1020形成光斑。从而人眼光斑图像上的光斑可以反映出是哪一种或哪几种类型的光所形成，有利于提升光源光斑匹配的准确性和效率，提升了眼动追踪确定的人眼注视点的精确性。

在一些实施例中，为避免光源4121发出的光影响人眼，该M个光源4121可以为不可见光源。该不可见光源可以包括近红外光光源、和/或远红外光光源、和/或紫外光光源。示例性的，该多个不可见光光源4121类型可以为红外光源，也可以为紫外光源，或者其中一部分为红外光源，另一部分为紫外光源，此处不作限定。该不可见光光源4121类型为红外光源时，可以为近红外光源，也可以为远红外光源，或者其中一部分为近红外光源，另一部分为远红外光源，具体可以根据实际应用的需求来选择，此处不作限定。

在一些实施例中，一个光源发出一种类型的光，一种类型的光为一个波长的光，不同类型的光的波长不同。例如，一种类型的光的波长为800nm，另一种类型的光的波长可以为900nm。

在一些实施例中，一种类型的光为一个波长范围内连续的光、或两个以上(包括两个)不连续的波长范围的光，不同类型的光的波长范围中不包括相同波长的光。例如，一种类型的光的波长为800nm～850nm，另一种类型的光的波长可以为900nm～950nm；再如，一种类型的光的波长为800nm～830nm以及850nm～880nm，另一种类型的光的波长可以为900nm～930nm以及950nm～980nm，此处不作限定。

在一些实施例中，一种类型的光中仅有部分光可以通过过滤该类型的光的子区域。例如，若一种类型的光的波长为800nm～850nm，则过滤该类型的光的子区域可以仅过滤820nm波长的光，而无法通过其他波长的光；再如，若一种类型的光的波长为800nm～850nm，则过滤该类型的光的子区域可以仅过滤820nm～830nm波长的光，而无法通过其他波长的光，此处不作限定。

在一些实施例中，一种类型的光的全部光都可以通过过滤该类型的光的子区域。例如，若一种类型的光的波长为800nm～850nm，则过滤该类型的光的子区域可以过滤800nm～850nm波长的光，而无法通过其他波长的光。

可以理解的是，眼动追踪装置中光源4121的具体数量、波长分布和排布方式可以有很多种不同的方式，摄像模组4122相对于光源4121可以放置在很多个不同的位置，摄像模组4122也可以有多个，同理，滤光组件中滤光单元中子区域的排列方式也可以有很多种。

下面以一种类型的光为一个波长的光为例，分别对其中的各种可能性方式进行举例说明：

(1)下面先对眼动追踪装置中光源4121的数量、波长分布和排布方式进行举例说明：

一个光源发出一种波长的光，由于该M个光源中需要包括能发出至少2种不同波长光的光源，因此该M个光源的数目至少为2。

可以理解的是，该M个光源的数目还可以为3、4、5、6、7、8、9、10或更多，此处不作限定。在光源更多时，可以有更多不同角度的光更全面的照射人眼，使得人眼光斑图像中的光斑数量更多，从而使最终计算得到的人眼的注视点更准确。但光源数目越多，耗能越大，因此，应用该眼动追踪装置的电子设备需要基于实际应用的需选择合适数目的光源。

为便于理解，下面以该M个光源的数目是8个为例，来对该M个光源的波长分布进行示例性描述：

该M个光源中包括至少2种波长的光源：

在一些实施例中，每个光源发光的波长都与其他光源不同。也即，这8个光源中包括能发出8种不同波长的光源。由于光源发出的光的波长均不相同，因此，可以直接根据人眼光斑图像中形成一个光斑的光的波长，确定出是哪个光源发出的该波长的光，准确快速且无歧义的完成光源光斑的匹配，提高了眼动追踪确定人眼注视点的准确性。

然而，若光源发出的光的波长过多，则滤光单元中用于分别过滤这些波长的光的子区域也就需要越多，使得滤光单元面积过大，大部分光无法透过滤光组件，不利于得到完整的光斑。因此，在一些实施例中，该多个不可见光光源中包括至少两个发出相同波长光的光源。减少了不同类型的子区域的数量，相应减小了滤光单元的面积，能得到更准确的照射反射形成的光斑的形状和大小，从而提高了眼动追踪确定人眼注视点的准确性。

例如，将发出相同波长光的光源称为一组光源，源的组数越多，越能更快速的确定光斑和光源之间的匹配关系，光源的组数越少，越能得到完整的光斑：

在一些实施例中，这8个光源(光源1、光源2、光源3、光源4、光源5、光源6、光源7、光源8)能发出7种不同波长(波长a、波长b、波长c、波长d、波长e、波长f、波长g)的光，即有7组光源。其中某一组光源中有2个光源(例如，光源8可以与光源1都发出波长a的光)。

在一些实施例中，这8个光源(光源1、光源2、光源3、光源4、光源5、光源6、光源7、光源8)能发出6种不同波长(波长a、波长b、波长c、波长d、波长e、波长f)的光，即有6组光源。可以有其中某一组光源中有3个光源(例如，光源7、光源8可以与光源1都发出波长a的光)，也可以有某两组光源中分别有2个光源(例如，光源8可以与光源1都发出波长a的光，光源7可以与光源2都发出波长b的光)。

在一些实施例中，这8个光源(光源1、光源2、光源3、光源4、光源5、光源6、光源7、光源8)能发出5种不同波长(波长a、波长b、波长c、波长d、波长e)的光，即有5组光源。可以有其中某一组光源中有4个光源(例如，光源6、光源7、光源8可以与光源1都发出波长a的光)，也可以有某一组光源中有3个光源，另一组光源中有2个光源(例如，光源7、光源8可以与光源1都发出波长a的光，光源6和光源2都发出波长b的光)，也可以有3组光源中都有2个光源(例如，光源8可以与光源1都发出波长a的光，光源7和光源2都发出波长b的光，光源6和光源3都发出波长c的光)。

在一些实施例中，这8个光源能发出4种不同波长的光、3种不同波长的光、2种不同波长的光等，此处不作限定。

这8个光源可以采用各种不同的排布方式：

在一些实施例中，这8个光源在第一面(例如图2A中镜筒靠近人眼的端面)以中心对称的规则形状均匀排列。以中心对称的规则形状均匀排布可以避免出现照射人眼的死角，保障在各个角度都有光源可以照射到人眼，减少出现歧义光源的概率，从而提高了眼动追踪确定人眼注视点的准确性。

示例性的，如图10中的(a)所示，为8个光源按圆形均匀排布的示例。示例性的，如图12中的(a)所示，为8个光源按矩形均匀排布的示例。示例性的，如图12中的(b)所示，为8个光源按菱形均匀排布的示例。

可以理解的是，在另一些实施例中，该8个光源按其他中心对称的规则图形均匀排布，此处不作限定。

在一些实施例中，这8个光源在第一面以不规则形状排列。以不规则形状排列可以使光源照射人眼再反射到摄像模组的光路有各种不同的变化，得到在人眼中各种不同位置的光斑，使得能更准确地确定人眼的运动状态，从而提高了眼动追踪确定人眼注视点的准确性。

示例性的，如图13中的(a)所示，为8个不可见光光源以一种不规则形状排布的示例。示例性的，如图13中的(b)所示，为8个不可见光光源以另一种不规则形状排布的示例。

在一些实施例中，该M个光源排布形状的中心与使用该眼动追踪装置时人眼眼球的中心位于同一水平线上。

可以理解的是，该M个光源中各光源之间的间距可以根据其排布方式以及使用该眼动追踪装置时不可见光光源与眼球的间距进行设置，此处不作限定。

在一些实施例中，在存在多个能发出相同波长光的光源的情况下，发出相同波长光的光源不相邻。在一些实施例中，这多个能发出相同波长光的光源的间距大于能发出不同波长光的光源之间的最小间距。示例性的，如图10中的(a)所示，能发出相同波长a光的光源1和光源5之间的间距，大于能发出波长d光的光源8和能发出波长c光的光源7之间的间距。这样能减小光源光斑匹配时产生歧义的概率，提高了眼动追踪确定人眼注视点的准确性。

下面以8个光源排布方式为在一个面上以圆形均匀排布为例，结合其中几种波长分布方式，示例性给出几种眼动追踪装置中光源的排布结构：

示例性的，如图14中的(a)所示，可以将8个不可见光光源按照光源1和5、光源2和6、光源3和7、光源4和8两两分为四组，令每组中两个光源发出同一种波长的光，四组光源任意两组发出不同波长的光。

示例性的，如图14中的(b)所示，可以将8个不可见光光源按照【光源1、4和6】、【光源2、5和7】、【光源3和8】分为三组，令每组中光源发出同一种波长的光，三组光源任意两组都发出不同波长的光。

示例性的，如图14中的(c)所示，可以将8个不可见光光源按照【光源1、3、5和7】、【光源2、4、6和8】分为二组，令每组中光源发出同一种波长的光，两组分别发出不同波长的光。

(2)下面对眼动追踪装置中摄像模组4122的数量和排布方式进行举例说明：

该摄像模组4122的数量至少为1个。

在一些实施例中，该摄像模组4122的数量可以为2个、3个、4个、5个或更多，此处不作限定。摄像模组4122的数量越多光源光斑匹配越准确，但也会带来更大的功耗，因此需要根据实际应用需求选择合适数目的摄像模组。

摄像模组4122可以位于能获取到该M个光源4121发射的光照射眼球后反射的光的位置。具体的，摄像模组4122的位置可以根据光源的数目、排布方式，使用该眼动追踪装置时人眼眼球的位置等确定，此处不作限定。

在一些实施例中，该摄像模组4122可以与该M个光源4121位于同一个面上。例如在图2A中镜筒靠近人眼的端面上。

在一些实施例中，该摄像模组4122可以位于该M个光源构成的几何图形之外的位置。这样可以避免遮挡显示屏的光线通过透镜进入人眼。

示例性的，以眼动追踪装置中8个光源以圆形规则均匀分布，且只有1个摄像模组为例，如图15所示，这个摄像模组可以设置在图示位置1、位置2、位置3、位置4、位置5、位置6中的任一个位置上。

在一些实施例中，为了获取更全面的光源发出的照射人眼反射的光，该摄像模组4122也可以位于该M个光源构成的几何图形之内的位置，还可以与该M个光源4121不在同一个面上，从而提高眼动追踪确定人眼注视点的准确性，此处不作限定。

(3)下面对摄像模组4122的滤光单元1022中子区域的排列方式进行举例说明：

可以理解的是，若该眼动追踪装置中光源可以发出N种不同波长的光，则一个滤光单元中就包括有N种可过滤不同波长光的子区域，且还可以包括能过滤其他波长光的子区域。

在一个滤光单元中，对于每种子区域，可以只包括一个，也可以包括多个，此处不作限定。

各个子区域在滤光单元的排列方式也可以有很多种，例如可以将过滤不同波长光的子区域按波长大小顺序排列，也可以随机排列，此处不作限定。

子区域在滤光单元中可以为各种不同的形状，具体可以根据图像传感器中像素的形状来确定。不同形状的子区域可以与传感器上不同像素的形状对应，从而使得传感器可以获取到更全面准确的被滤光组件过滤的光，提高光源光斑匹配的准确度，从而提高眼动追踪确定人眼注视点的准确性。图10中的滤光单元1022中的子区域1023以正方形进行示意。

过滤不同波长光的子区域在滤光单元中的数目可以相同，也可以不同，此处不作限定。过滤不同波长光的子区域在滤光单元中的大小可以相同，也可以不同，此处不作限定。过滤不同波长光的子区域在滤光单元中的形状可以相同，也可以不同，此处不作限定。

具体的过滤各波长光的子区域在滤光单元中的数目、大小和形状，可以根据实际应用需求来设定，此处不作限定。

在一些实施例中，每个子区域的面积大于等于1个图像传感器的像素和/或小于等于5个图像传感器的像素，以便每个子区域是否有对应的光透过的情况均能被图像传感器方便的获取和表示。在一些实施例中，每个子区域的面积小于人眼光斑图像中一个光斑面积的1/N，N可以为光源发光的种类数。例如，图10中的(a)所示的光源能发出4种波长的光，因此，每个子区域的面积可以小于人眼光斑图像中一个光斑面积的1/4。若人眼光斑图像中一个光斑的面积小于16个像素，则每个子区域的面积可以小于2个像素。这样每个光斑都至少被4个子区域覆盖，可以保障对每个光斑都获取到更多的波长信息，从而提高眼动追踪确定人眼注视点的准确性。

以子区域为正方形为例，如图10中的(b)所示，4个正方形的子区域1023排列成一个更大的正方形，作为滤光单元1022。多个滤光单元1022由组更大的能覆盖图像传感器1020的滤光组件1021。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

虽然本申请的描述将结合一些实施例一起介绍，但这并不代表此申请的特征仅限于该实施方式。恰恰相反，结合实施方式作申请介绍的目的是为了覆盖基于本申请的权利要求而有可能延伸出的其它选择或改造。为了提供对本申请的深度了解，以下描述中将包含许多具体的细节。本申请也可以不使用这些细节实施。此外，为了避免混乱或模糊本申请的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在本申请实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，“连接”可以是可拆卸地连接，也可以是不可拆卸地连接；可以是直接连接，也可以通过中间媒介间接连接。本申请实施例中所提到的方位用语，例如，“上”、“下”、“左”、“右”、“内”、“外”等，仅是参考附图的方向，因此，使用的方位用语是为了更好、更清楚地说明及理解本申请实施例，而不是指示或暗指所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请实施例的限制。“多个”是指至少两个。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (30)

1.一种眼动追踪装置，其特征在于，包括：

M个光源，被配置为向用户眼睛发出N种不同类型的光，所述M为大于或等于2的正整数，所述N为大于或等于2的正整数，所述N小于或等于所述M；

摄像模组，所述摄像模组包括滤光组件和图像传感器；其中，

所述滤光组件被配置为，过滤所述M个光源照射眼睛后反射的至少部分光，所述滤光组件包括多个滤光单元，所述滤光单元中包括至少N种不同类型的子区域，其中，不同类型的所述子区域过滤不同类型的光；

所述图像传感器被配置为，获取透过所述滤光组件的所述至少部分光，得到人眼光斑图像，其中，透过所述滤光组件的所述至少部分光在所述人眼光斑图像上形成至少一个光斑。

2.根据权利要求1所述的眼动追踪装置，其特征在于，所述图像传感器包括阵列的像素，所述子区域与所述像素具有对应关系，一个所述光斑包括多个所述像素，一个所述光斑对应所述N种不同类型的子区域。

3.根据权利要求2所述的眼动追踪装置，其特征在于，所述子区域的面积小于等于5个所述像素。

4.根据权利要求2或3所述的眼动追踪装置，其特征在于，所述子区域的面积小于等于一个所述光斑的面积的1/N。

5.根据权利要求2至4中任一所述的眼动追踪装置，其特征在于，所述子区域与所述图像传感器的像素一一对应。

6.根据权利要求1至5中任一所述的眼动追踪装置，其特征在于，所述光斑的数量小于M。

7.根据权利要求1至6中任一所述的眼动追踪装置，其特征在于，所述眼动追踪装置还包括用于获知眼睛位置的处理器，所述处理器与所述摄像模组通信，所述处理器被配置为接收来自所述摄像模组的人眼光斑图像。

8.根据权利要求1至7中任一所述的眼动追踪装置，其特征在于，所述M大于等于4，和/或，所述N大于等于4。

9.根据权利要求1至8中任一所述的眼动追踪装置，其特征在于，所述N小于所述M，至少两个所述光源发出相同类型的光，其中，发出相同类型的光的两个所述光源不相邻。

10.根据权利要求9所述的眼动追踪装置，其特征在于，所述M个光源中包括多组光源组，每组所述光源组中包括至少两个发出相同类型光的所述光源，不同所述光源组中的所述光源发出不同类型的光。

11.根据权利要求9或10所述的眼动追踪装置，其特征在于，发出相同类型的光的两个所述光源的发光频率或发光时间不同。

12.根据权利要求1至11中任一所述的眼动追踪装置，其特征在于，所述M个光源为不可见光光源。

13.根据权利要求12所述的眼动追踪装置，其特征在于，所述M个不可见光光源至少包括以下一种或几种：近红外光光源、远红外光光源或紫外光光源。

14.根据权利要求1至13中任一所述的眼动追踪装置，其特征在于，所述一种类型的光为一个波长的光、一个波长范围内连续的光、或者两个以上不连续的波长范围的光。

15.根据权利要求1至14中任一所述的眼动追踪装置，其特征在于，所述一个子区域过滤一种类型的光，具体包括：一种类型的光中的部分或全部波长的光通过所述一个子区域。

16.根据权利要求1至15中任一所述的眼动追踪装置，其特征在于，所述眼动追踪装置为虚拟现实穿戴设备，所述虚拟现实穿戴设备包括面向所述眼睛的端面，所述M个光源位于所述端面上。

17.根据权利要求16所述的眼动追踪装置，其特征在于，所述虚拟现实穿戴设备还包括镜组，所述镜组包括至少一个光学器件，所述镜组的一侧面向所述眼睛，所述M个光源围绕所述镜组的一侧设置。

18.根据权利要求17所述的眼动追踪装置，其特征在于，所述M个光源围绕所述镜组的一侧等间距布置。

19.根据权利要求17或18所述的眼动追踪装置，其特征在于，

所述摄像模组位于所述端面上，且围绕所述镜组的一侧设置；或，

所述摄像模组位于至少一个光学器件背离所述端面的一侧。

20.根据权利要求1至19中任一所述的眼动追踪装置，其特征在于，所述摄像模组与所述M个光源的中心不重合。

21.一种眼动追踪方法，其特征在于，所述方法包括：

使用M个光源朝着用户的眼睛发出N种不同类型的光，所述M为大于或等于2的正整数，所述N为大于或等于2的正整数，所述N小于或等于所述M；

摄像模组中的滤光组件过滤所述M个光源照射眼睛后反射的至少部分光；所述滤光组件包括多个滤光单元，所述滤光单元中包括至少N种不同类型的子区域，其中，不同类型的所述子区域过滤不同类型的光；

所述摄像模组中的图像传感器获取透过所述滤光组件的所述至少部分光，得到人眼光斑图像，其中，透过所述滤光组件的所述至少部分光在所述人眼光斑图像上形成至少一个光斑。

22.根据权利要求21所述的方法，其特征在于，所述子区域与所述图像传感器的像素具有对应关系，一个所述光斑包括多个所述像素，一个所述光斑对应所述N种不同类型的子区域。

23.根据权利要求22所述的方法，其特征在于，所述子区域的面积小于等于5个所述图像传感器的像素。

24.根据权利要求22或23所述的方法，其特征在于，所述子区域的面积小于等于一个所述光斑的面积的1/N。

25.根据权利要求22至24中任一所述的方法，其特征在于，所述子区域与所述图像传感器的像素一一对应。

26.根据权利要求21至25中任一所述的方法，其特征在于，从所述图像传感器处获取所述人眼光斑图像，得到所述眼睛的注视点。

27.根据权利要求21至26中任一所述的方法，其特征在于，所述光斑的数量小于M。

28.根据权利要求21至27中任一所述的方法，其特征在于，被过滤的所述至少部分光在所述人眼光斑图像上形成至少一个光斑，所述子区域的面积小于等于所述光斑的面积的1/N。

29.根据权利要求21至28中任一所述的方法，其特征在于，所述N小于所述M，至少两个所述光源发出相同类型的光，其中，发出相同类型的光的两个所述光源不相邻。

30.根据权利要求29所述的方法，其特征在于，所述M个光源中包括多组光源组，每组所述光源组中包括至少两个发出相同类型光的所述光源，不同所述光源组中的所述光源发出不同类型的光。

Images