CN117876426A - 一种不依赖角膜反射的近眼多相机眼动追踪装置和方法 - Google Patents

Abstract

本发明公开了一种不依赖角膜反射的近眼多相机眼动追踪装置和方法，涉及眼动追踪技术领域。利用多个相机获得各自采集图像中准确的2d瞳孔轮廓拟合椭圆，进而估算眼球正视视角坐标系下的3d瞳孔轮廓采样点，然后将上述采样点带入正视视角坐标系下的简化眼球模型对物理瞳孔中心进行预测得到视线光轴，最后根据视线光轴和屏幕的交点得到近似注视点坐标。建立近似注视点和实际注视点之间的偏差映射关系；根据预测注视点和校准阶段得到的偏差映射关系对预测偏差进行补偿，得到最终的实际注视点。相对角膜反射技术在保持视线追踪精度的同时，对戴眼镜和环境光干扰更加鲁棒，对相机的位置和角度要求宽松。

Description

一种不依赖角膜反射的近眼多相机眼动追踪装置和方法

技术领域

本发明涉及眼动追踪技术领域，特别是涉及一种不依赖角膜反射的近眼多相机眼动追踪装置和方法。

背景技术

目前，高精度眼动追踪的主流技术方案都是基于角膜反射技术，这类技术对应的产品形态通常需要利用至少一个红外照明光源在人眼采集图像中形成反射光斑，进而基于光斑和瞳孔的几何位置信息建立人眼3d几何模型，通常能实现偏差小于1度的极高精度。这类方案在实现精度优势同时也存在较多缺陷：首先，因为近眼拍摄摄像头角度较大的问题，需要较多红外光源来保证不同眼球位置都能得到有效的角膜反射斑点，目前业界最先进的近眼眼动追踪方案大都用到8个以上红外光源，无疑增加了工艺的复杂性，同时也增加了产品的重量和能耗；此外，稳定获取多个红外光源照射在眼角膜上的反射光斑是这类方法保证精度的前提，若无法保证，这类方法的精度会大打折扣，所以，这类方法当用户佩戴眼镜或户外强光场景时，精度往往存在衰减，特殊情形下甚至无法使用。

发明内容

本发明针对以上现有技术的不足，提供一种不依赖角膜反射的近眼多相机眼动追踪装置和方法，相对角膜反射技术在保持视线追踪精度的同时，对戴眼镜和环境光干扰更加鲁棒，对相机的位置和角度要求宽松，易于集成到主流的XR形态近眼眼动方案之中。

为此，本发明的技术方案是，一种不依赖角膜反射的近眼多相机眼动追踪方法，该方法包括校准和预测两个步骤，校准步骤是建立近似注视点和实际注视点之间的偏差映射关系，其实现过程如下：

S1.1根据近似注视点坐标获取方法得到每个校准点的近似注视点坐标；

S1.2保存每个近似点注视点坐标和实际注视点坐标之间的偏差，形成多个形式为(近似注视点坐标,预测偏差)构成的校准数组；

预测步骤是根据预测注视点和校准阶段得到的偏差映射关系对预测偏差进行补偿，得到最终的实际注视点，其实现过程如下：

S2.1根据近似注视点坐标获取方法得到当前近似注视点坐标；

S2.2计算当前近似点坐标和校准阶段保存的校准数组中的多个近似注视点坐标之间的偏差，根据其偏差大小对校准数组中保存的多个预测偏差进行偏差处理，得到当前近似注视点预测偏差，进而得到最终的实际注视点坐标。

进一步地，一种近似注视点坐标获取方法的具体步骤如下：

S3.1利用多个相机获得各自采集图像中准确的2d瞳孔轮廓拟合椭圆；

S3.2根据多个相机的几何位置估算眼球正视视角坐标系下的3d瞳孔轮廓采样点；

S3.3将正视视角坐标系下的3d瞳孔轮廓采样点带入正视视角坐标系下的简化眼球模型对物理瞳孔中心进行预测得到视线光轴；

S3.4根据视线光轴和屏幕的交点得到近似注视点坐标。

进一步地，步骤S3.1中的相机的数量至少为2个。

进一步地，步骤S3.1的实现过程如下：

S3.1.1对图像中的瞳孔轮廓采样点进行检测；

S3.1.2采用椭圆拟合方法对瞳孔轮廓采样点进行拟合，得到最优瞳孔拟合椭圆；

进一步地，步骤S3.2的实现过程如下：

S3.2.1根据多个相机的外参和内参，根据多目立体视觉原理建立眼球正视视角下的世界坐标系，计算每个相机坐标系到该世界坐标系下的变换矩阵；

S3.2.2根据每个相机坐标系到世界坐标系下的变化矩阵，将各个相机坐标系下的瞳孔椭圆映射到世界坐标系下，并约束其空间椭圆轮廓保持一致，得到正视视角下的最优3d瞳孔轮廓；

S3.2.3按照相同的角度间隔对3d瞳孔轮廓进行采样，得到正视视角坐标系下的3d瞳孔轮廓采样点。

进一步地，步骤S3.2.2与S3.2.3的实现过程如下：

第一步，获得不同相机坐标系下的瞳孔椭圆中的若干个对应采样点，以每个相机坐标系下拟合得到瞳孔椭圆的长轴或短轴所在角度为起点均匀采样；

第二步，将所有相机坐标系下得到的所有采样点坐标，根据步骤S3.2.1得到的各个相机坐标系到世界坐标系下的变换矩阵映射得到其世界坐标系下的坐标；

第三步，依次对每个物理瞳孔轮廓采样点的若干个映射结果进行平均化处理,同时过滤掉远离均值的离群点，得到每个物理瞳孔轮廓采样点的平均映射结果；

第四步，对每个物理瞳孔轮廓采样点的平均映射结果进一步拟合空间椭圆，得到光滑的3d瞳孔轮廓；

第五步，按照相同的角度间隔对3d瞳孔轮廓进行采样，得到最终正视视角坐标系下的3d瞳孔轮廓采样点。

进一步地，步骤S3.2.1中的相机的外参为相机的位置和角度参数，相机的内参为小孔成像模型下的焦距、主点、畸变系数，多个相机内参保持一致。

进一步地，步骤S3.3的实现过程如下：

S3.3.1根据小孔成像模型，得到正视视角坐标系下所有3d瞳孔轮廓采样点和坐标系原点连线与眼角膜表面交点的空间坐标，进而根据折射定律得到物理瞳孔轮廓在眼角膜内的反向折射光路；

S3.3.2根据物理瞳孔轮廓在眼角膜内的反向折射光路的特性构造非线性方程组，计算物理瞳孔中心E的最优解。

进一步地，步骤S3.4的实现过程如下：

S3.4.1计算屏幕或虚拟屏幕在步骤S3.2中得到的眼球正视视角坐标系下的空间平面表达式，通过屏幕和或虚拟屏幕与多个相机之间的位置和姿态关系进行坐标变换得到；

S3.4.2计算步骤S3.3中得到的视线光轴和S3.4.1得到的空间平面之间的交点，即可得到所需的近似注视点坐标。

一种不依赖角膜反射的近眼多相机眼动追踪装置，其包括近眼固定装置，近眼固定装置上安装有相机固定环和补光装置，相机固定环上安装有至少两个相机。

本发明的有益效果是，一种不依赖角膜反射的近眼多相机眼动追踪装置和方法，在利用多个相机获得各自采集图像中准确的2d瞳孔轮廓拟合椭圆，进而根据多相机的几何位置估算眼球正视视角坐标系下的3d瞳孔轮廓采样点，然后将正视视角坐标系下的3d瞳孔轮廓采样点带入正视视角坐标系下的简化眼球模型对物理瞳孔中心进行预测得到视线光轴，最后根据视线光轴和屏幕的交点得到近似注视点坐标。在校准步骤中，仅需较少校准点，建立近似注视点和实际注视点之间的偏差映射关系；在预测步骤中，根据预测注视点和校准阶段得到的偏差映射关系对预测偏差进行补偿，得到最终的实际注视点。相对角膜反射技术在保持视线追踪精度的同时，对戴眼镜和环境光干扰更加鲁棒，对相机的位置和角度要求宽松，易于集成到主流的XR形态近眼眼动方案之中。

附图说明

图1是本发明一种不依赖角膜反射的近眼多相机眼动追踪方法的流程示意图；

图2是通过多个相机获得正视视角坐标系下瞳孔轮廓示意图；

图3是简化的眼球模型对物理瞳孔中心进行预测示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件所必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，应当理解，为了便于描述，附图中所示出的各个部件的尺寸并不按照实际的比例关系绘制，例如某些层的厚度或宽度可以相对于其他层有所夸大。

应注意的是，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义或说明，则在随后的附图的说明中将不需要再对其进行进一步的具体讨论和描述。

本发明提供一种不依赖角膜反射的近眼多相机眼动追踪装置，其包括近眼固定装置，近眼固定装置上安装有相机固定环和补光装置，相机固定环上安装有至少两个相机。

近眼固定装置用于将相机固定环与补光装置固定在近眼位置，不同的产品形态可以采用不同的近眼固定装置进行固定，也可以依附在其它设备上，如固定在VR头盔上或AR眼镜上，也可以直接穿戴在头部固定，如采用鼻梁支架固定在鼻梁上或采用头环固定在头上。

相机固定环为固定多个相机的环形结构，用于将多个相机按照一定的位置关系进行固定，需要保证使用过程中，多个相机的相对位置不会发生变化。为了近眼佩戴使用的方便，通常设计为接近圆形或椭圆形的环形结构。

相机用于采集眼部图像，进而根据多个相机采集的眼部图像进行计算得到最终处理结果。相机为红外相机或普通相机，红外相机采集的眼图更容易得到清晰的瞳孔轮廓，但同时也需要配合红外补光装置增加图像的亮度。

补光装置为可选装置，在选用红外相机采集时需要补光，采用红外照明光源补光。根据具体的使用环境，对仅通过自然光照难以得到亮度符合要求眼图的使用场景，可选补光装置以增加眼部区域的亮度。

如图1所示，本发明还提供一种不依赖角膜反射的近眼多相机眼动追踪方法，该方法包括校准和预测两个步骤，在校准步骤中，仅需较少校准点，建立近似注视点和实际注视点之间的偏差映射关系；在预测步骤中，根据预测注视点和校准阶段得到的偏差映射关系对预测偏差进行补偿，得到最终的实际注视点。

校准步骤是建立近似注视点和实际注视点之间的偏差映射关系，其实现过程如下：

S1.1：根据近似注视点坐标获取方法得到每个校准点的近似注视点坐标；

S1.2：保存每个近似点注视点坐标和实际注视点坐标之间的偏差，形成多个形式为(近似注视点坐标,预测偏差)构成的校准数组；

预测步骤是根据预测注视点和校准阶段得到的偏差映射关系对预测偏差进行补偿，得到最终的实际注视点，其实现过程如下：

S2.1：根据近似注视点坐标获取方法得到当前近似注视点坐标；

S2.2：计算当前近似点坐标和校准阶段保存的校准数组中的多个近似注视点坐标之间的偏差，根据其偏差大小对校准数组中保存的多个预测偏差进行加权平均得到当前近似注视点预测偏差，进而得到最终的实际注视点坐标。

本发明的近似注视点坐标获取方法的具体步骤如下：

S3.1：利用多个相机获得各自采集图像中准确的2d瞳孔轮廓拟合椭圆，相机的数量至少为2个，其实现过程如下：

S3.1.1：利用深度神经网络对图像中的瞳孔轮廓采样点进行检测；

S3.1.2：采用椭圆拟合方法对瞳孔轮廓采样点进行拟合，得到最优瞳孔拟合椭圆；

其中用到的深度神经网络通过各个相机离线采集的图像数据标准后训练得到。

S3.2：根据多个相机的几何位置估算眼球正视视角坐标系下的3d瞳孔轮廓采样点，其实现过程如下：

S3.2.1：如图2所示，根据多个相机的外参和内参，根据多目立体视觉原理建立眼球正视视角下的世界坐标系，计算每个相机坐标系到该世界坐标系下的变换矩阵；相机的外参为相机的位置和角度参数，相机的内参为小孔成像模型下的焦距、主点、畸变系数等参数，多个相机内参保持一致。

S3.2.2：根据每个相机坐标系到世界坐标系下的变化矩阵，将各个相机坐标系下的瞳孔椭圆映射到世界坐标系下，并约束其空间椭圆轮廓保持一致，得到正视视角下的最优3d瞳孔轮廓；

S3.2.3：按照相同的角度间隔对3d瞳孔轮廓进行采样，得到正视视角坐标系下的3d瞳孔轮廓采样点；

进一步地，S3.2.2与S3.2.3的实现过程如下：

第一步，获得不同相机坐标系下的瞳孔椭圆中的若干个对应采样点(对应采样点表示属于物理瞳孔轮廓上的同一个点)，因为多个相机均非正视视角，所以可以直接以每个相机坐标系下拟合得到瞳孔椭圆的长轴或短轴所在角度为起点均匀采样即可；

第二步，将所有相机坐标系下得到的所有采样点坐标，根据S3.2.1得到的各个相机坐标系到世界坐标系下的变换矩阵映射得到其世界坐标系下的坐标；

第三步，依次对每个物理瞳孔轮廓采样点的若干个映射结果进行平均化处理,同时过滤掉远离均值的离群点，得到每个物理瞳孔轮廓采样点的平均映射结果；

第四步，对每个物理瞳孔轮廓采样点的平均映射结果进一步拟合空间椭圆，得到光滑的3d瞳孔轮廓；

第五步，按照相同的角度间隔对3d瞳孔轮廓进行采样，得到最终正视视角坐标系下的3d瞳孔轮廓采样点。

S3.3：将正视视角坐标系下的3d瞳孔轮廓采样点带入正视视角坐标系下的简化眼球模型对物理瞳孔中心进行预测得到视线光轴，其实现过程如下：

如图3所示，C表示眼角膜曲率中心，在近眼视线追踪时其位置可假设为固定或只在小范围内变化，P₁～P_k表示物理瞳孔轮廓，其中心为E，物理瞳孔轮廓光线在眼角膜表面产生折射，进而根据成像模型形成瞳孔虚像，在正视视角下可假设其折射率一致。

S3.3.1：根据小孔成像模型，得到正视视角坐标系下所有3d瞳孔轮廓采样点和坐标系原点连线与眼角膜表面交点的空间坐标，进而根据折射定律得到物理瞳孔轮廓在眼角膜内的反向折射光路，即P₁～P_k的空间直线参数方程；

S3.3.2：根据P₁～P_k共面，以及P₁～P_k到中心点E距离相等，并且CE与P₁～P_k构成的平面垂直且等距为h三个特性构造非线性方程组，计算物理瞳孔中心E的最优解。视线光轴进而可用有向直线CE进行表示。

S3.4：根据视线光轴和屏幕的交点得到近似注视点坐标

S3.4.1：计算屏幕或虚拟屏幕在步骤S3.2中得到的眼球正视视角坐标系下的空间平面表达式，通过屏幕和或虚拟屏幕与多个相机之间的位置和姿态关系进行坐标变换得到；

S3.4.2：计算步骤S3.3中得到的视线光轴和步骤S3.4.1中得到的空间平面之间的交点，即可得到所需的近似注视点坐标。

本发明提出的技术方案相对角膜反射技术在保持视线追踪精度的同时，对戴眼镜和环境光干扰更加鲁棒，对相机的位置和角度要求宽松，易于集成到主流的XR形态近眼眼动方案之中。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种不依赖角膜反射的近眼多相机眼动追踪方法，其特征是，所述方法包括校准步骤和预测步骤，所述校准步骤是建立近似注视点和实际注视点之间的偏差映射关系，其实现过程如下：

S1.1根据近似注视点坐标获取方法得到每个校准点的近似注视点坐标；

S1.2保存每个近似点注视点坐标和实际注视点坐标之间的偏差，形成多个形式为(近似注视点坐标,预测偏差)构成的校准数组；

所述预测步骤是根据预测注视点和校准阶段得到的偏差映射关系对预测偏差进行补偿，得到最终的实际注视点，其实现过程如下：

S2.1根据近似注视点坐标获取方法得到当前近似注视点坐标；

S2.2计算当前近似点坐标和校准阶段保存的校准数组中的多个近似注视点坐标之间的偏差，根据其偏差大小对校准数组中保存的多个预测偏差进行偏差处理，得到当前近似注视点预测偏差，进而得到最终的实际注视点坐标。

2.根据权利要求1所述的一种不依赖角膜反射的近眼多相机眼动追踪方法，其特征是，所述近似注视点坐标获取方法的具体步骤如下：

S3.1利用多个相机获得各自采集图像中准确的2d瞳孔轮廓拟合椭圆；

S3.2根据多个相机的几何位置估算眼球正视视角坐标系下的3d瞳孔轮廓采样点；

S3.3将正视视角坐标系下的3d瞳孔轮廓采样点带入正视视角坐标系下的简化眼球模型对物理瞳孔中心进行预测得到视线光轴；

S3.4根据视线光轴和屏幕的交点得到近似注视点坐标。

3.根据权利要求2所述的一种不依赖角膜反射的近眼多相机眼动追踪方法，其特征是，步骤S3.1中的相机的数量至少为2个。

4.根据权利要求2所述的一种不依赖角膜反射的近眼多相机眼动追踪方法，其特征是，步骤S3.1的实现过程如下：

S3.1.1对图像中的瞳孔轮廓采样点进行检测；

S3.1.2采用椭圆拟合方法对瞳孔轮廓采样点进行拟合，得到最优瞳孔拟合椭圆。

5.根据权利要求2所述的一种不依赖角膜反射的近眼多相机眼动追踪方法，其特征是，步骤S3.2的实现过程如下：

S3.2.1根据多个相机的外参和内参，根据多目立体视觉原理建立眼球正视视角下的世界坐标系，计算每个相机坐标系到该世界坐标系下的变换矩阵；

S3.2.2根据每个相机坐标系到世界坐标系下的变化矩阵，将各个相机坐标系下的瞳孔椭圆映射到世界坐标系下，并约束其空间椭圆轮廓保持一致，得到正视视角下的最优3d瞳孔轮廓；

S3.2.3按照相同的角度间隔对3d瞳孔轮廓进行采样，得到正视视角坐标系下的3d瞳孔轮廓采样点。

6.根据权利要求5所述的一种不依赖角膜反射的近眼多相机眼动追踪方法，其特征是，步骤S3.2.1中的相机的外参为相机的位置和角度参数。

7.根据权利要求5所述的一种不依赖角膜反射的近眼多相机眼动追踪方法，其特征是，步骤S3.2.1中的相机的内参为小孔成像模型下的焦距、主点、畸变系数。

8.根据权利要求2所述的一种不依赖角膜反射的近眼多相机眼动追踪方法，其特征是，步骤S3.3的实现过程如下：

S3.3.1根据小孔成像模型，得到正视视角坐标系下所有3d瞳孔轮廓采样点和坐标系原点连线与眼角膜表面交点的空间坐标，进而根据折射定律得到物理瞳孔轮廓在眼角膜内的反向折射光路；

S3.3.2根据物理瞳孔轮廓在眼角膜内的反向折射光路的特性构造非线性方程组，计算物理瞳孔中心E的最优解。

9.根据权利要求2所述的一种不依赖角膜反射的近眼多相机眼动追踪方法，其特征是，步骤S3.4的实现过程如下：

S3.4.1计算屏幕或虚拟屏幕在步骤S3.2中得到的眼球正视视角坐标系下的空间平面表达式，通过屏幕和或虚拟屏幕与多个相机之间的位置和姿态关系进行坐标变换得到；

S3.4.2计算步骤S3.3中得到的视线光轴和S3.4.1得到的空间平面之间的交点，即可得到所需的近似注视点坐标。

10.一种不依赖角膜反射的近眼多相机眼动追踪装置，采用如权利要求1-9任一所述的一种不依赖角膜反射的近眼多相机眼动追踪方法，包括近眼固定装置，近眼固定装置上安装有相机固定环和补光装置，相机固定环上安装有至少两个相机。