CN106250839B - 一种虹膜图像透视校正方法、装置和移动终端 - Google Patents

Abstract

本发明公开了一种虹膜图像透视校正方法，适于在移动终端中执行，该方法包括：获取待识别用户的原始虹膜图像；计算所述原始虹膜图像中每一点的三维空间坐标p_s＇；根据所述人眼虹膜及其原始虹膜图像的位置信息计算获取原始虹膜图像时人眼的视线方向与水平方向的夹角θ；根据所述角度θ构建所述虹膜图像透视校正的变换矩阵；根据所述变换矩阵对所述原始虹膜图像的三维空间坐标p_s＇进行坐标变换，得到校正后的虹膜图像的三维空间坐标p_s。本发明还公开了一种虹膜图像透视校正装置和移动终端。

Description

一种虹膜图像透视校正方法、装置和移动终端

技术领域

本发明涉及图像处理与模式识别领域，更具体地，涉及一种虹膜图像透视校正方法、装置和移动终端。

背景技术

随着智能移动终端及网络技术的迅猛发展，人们对信息尤其是个人信息的安全性和稳定性要求不断提高，利用人本身固有的独特生理特征或行为特征进行身份认证的应用越来越广泛。其中，除了指纹识别、人脸识别等技术外，另外一项更具安全性的虹膜识别技术也日益受到人们的青睐。而且，随着科技的不断进步，虹膜识别系统逐渐应用到手机、平板和笔记本等小巧、轻薄、易携带的电子设备中。

通常，当用户使用手机进行虹膜识别时，为了看到在显示屏幕上呈现的眼睛图像，需要使眼睛与手机之间产生一个角度。这个角度使得虹膜图像的轮廓从圆形变为椭圆形。由于眼皮的遮挡，虹膜图像的轮廓通常是不完整的圆或椭圆。现有虹膜识别算法能够可靠高效地检测不完整的圆形，但不能可靠高效地检测不完整的椭圆形。

目前的对虹膜图像进行透视校正的方法有基于特征点检测的自动畸变修正，该方法需要确定特征点的位置信息或者有参考图像。即，对比在参考图像中检测到的一组特征点与在当前图像中检测到的另一组特征点，估计照相机与目标之间的旋转和平移，然后对当前图像进行变换，得到与参考图像中一致的特征点位置。显然，这种方法要求在图像中容易检测到足够多和足够稳定的特征点，且对外界光照条件和干扰也比较敏感。对于不同的人的脸部区域，难以可靠地得到固定位置的特征点，并且计算量较大，不适用于移动终端虹膜应用的实时性要求。

因此，需要提出了一种自动修正这种变形失真的快速近似方法，得到一个圆形失真较小的虹膜图像，降低后续处理的难度。

发明内容

为此，本发明提供一种虹膜图像透视校正方法、装置和移动终端，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，一种虹膜图像透视校正方法，适于在移动终端中执行，该方法包括：获取待识别用户的原始虹膜图像；计算原始虹膜图像中每一点的三维空间坐标p_s＇；根据人眼虹膜及其原始虹膜图像的位置信息计算获取原始虹膜图像时人眼的视线方向与水平方向的夹角θ；根据角度θ构建虹膜图像透视校正的变换矩阵；根据变换矩阵对原始虹膜图像的三维空间坐标p_s＇进行坐标变换，得到校正后的虹膜图像的三维空间坐标p_s。

可选地，在根据本发明的虹膜图像透视校正方法中，还包括：根据角度θ构建所述相机镜头和原世界坐标系的旋转矩阵R和R＇，其中设原世界坐标系的原点为入射光轴与人眼虹膜所在平面的交点，且有两个坐标轴分别位于重力和水平方向。

可选地，在根据本发明的虹膜图像透视校正方法中，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，其中，C是经过系数调整的相机矩阵，适于将图像中的像素单位转换为长度单位；c和c＇分别是相机的镜头中心相对于原世界坐标系和原世界坐标系绕非重力和水平方向的轴旋转θ角后的新坐标系的坐标。

可选地，在根据本发明的虹膜图像透视校正方法中，其中，是原始虹膜图像中每一点的深度信息，适于根据旋转角度θ和物距u计算得到。

可选地，在根据本发明的虹膜图像透视校正方法中，R是单位矩阵，

可选地，在根据本发明的虹膜图像透视校正方法中，角度θ的计算公式为：

其中，u是物距，v是像距，h是图像传感器中红外成像区域的中心点到所述图像传感器中心点的距离，H是所述人眼虹膜的中心点到所述入射光轴的距离，a是所述移动终端的屏幕中图像显示区域到所述图像传感器中心点的距离。

可选地，在根据本发明的虹膜图像透视校正方法中，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩阵转置，c和c＇适于通过夹角θ、物距u和人眼虹膜的中心点与入射光轴的距离H计算得到。

可选地，在根据本发明的虹膜图像透视校正方法中，c_x＝c_y＝0，c_z＝-u，c_x′＝0，

可选地，在根据本发明的虹膜图像透视校正方法中，相机矩阵包括两个坐标轴方向的焦距(f_x，f_y)和光心坐标(c_x，c_y)。

可选地，在根据本发明的虹膜图像透视校正方法中，还包括：根据眼睛定位算法从成像区域中确定人眼位置，并将其位置坐标从像素单位换算为长度单位；以及将校正后的虹膜图像坐标中的长度单位换算为像素单位，并重新映射虹膜图像。

根据本发明的另一个方面，提供了一种虹膜图像透视校正装置，适于驻留在移动终端中，该装置包括：图像获取单元，适于获取待识别用户的原始虹膜图像；坐标计算单元，适于计算原始虹膜图像中每一点的三维空间坐标p_s＇；角度计算单元，适于根据人眼虹膜及其原始虹膜图像的位置信息计算获取原始虹膜图像时人眼的视线方向与水平方向的夹角θ；矩阵构建单元，适于根据角度θ构建虹膜图像透视校正的变换矩阵；坐标变换单元，适于根据变换矩阵对原始虹膜图像的三维空间坐标p_s＇进行坐标变换，得到校正后的虹膜图像的三维空间坐标p_s。

可选地，在根据本发明的虹膜图像透视校正装置中，矩阵构建单元还适于根据角度θ构建相机镜头和原世界坐标系的旋转矩阵R和R＇，其中设原世界坐标系的原点为入射光轴与人眼虹膜所在平面的交点，且有两个坐标轴分别位于重力和水平方向。

可选地，在根据本发明的虹膜图像透视校正装置中，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，其中，C是经过系数调整的相机矩阵，适于将图像中的像素单位转换为长度单位；c和c＇分别是相机的镜头中心相对于原世界坐标系和原世界坐标系绕非重力和水平方向的轴旋转θ角后的新坐标系的坐标。

可选地，在根据本发明的虹膜图像透视校正装置中，其中，是原始虹膜图像中每一点的深度信息，适于根据旋转角度θ和物距u计算得到。

可选地，在根据本发明的虹膜图像透视校正装置中，R是单位矩阵，

可选地，在根据本发明的虹膜图像透视校正装置中，角度θ的计算公式为：

其中，u是物距，v是像距，h是图像传感器中红外成像区域的中心点到所述图像传感器中心点的距离，H是所述人眼虹膜的中心点到所述入射光轴的距离，a是所述移动终端的屏幕中图像显示区域到所述图像传感器中心点的距离。

可选地，在根据本发明的虹膜图像透视校正装置中，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩阵转置，c和c＇适于通过夹角θ、物距u和人眼虹膜的中心点与入射光轴的距离H计算得到。

可选地，在根据本发明的虹膜图像透视校正装置中，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

可选地，在根据本发明的虹膜图像透视校正装置中，相机矩阵包括两个坐标轴方向的焦距(f_x，f_y)和光心坐标(c_x，c_y)。

可选地，在根据本发明的虹膜图像透视校正装置中，还包括单位换算单元，适于根据眼睛定位算法从成像区域中确定人眼位置，并将其位置坐标从像素单位换算为长度单位；以及适于将校正后的虹膜图像坐标中的长度单位换算为像素单位，并重新映射虹膜图像。

根据本发明的又一个方面，提供了一种移动终端，包括如上所述的虹膜图像透视校正装置。

可选地，在根据本发明的移动终端中，还包括与所述虹膜图像透视校正装置相耦接的复合成像系统，该复合成像系统包括：镜头组件，包括固定焦距的光学透镜；滤光片组件，包括允许可见光波段的光通过的可见光带通滤光片和允许近红外光波段通过的近红外光带通区域；以及图像传感器，包括可见光成像区域、近红外光成像区域以及这两个区域之间的过渡区域，其中，可见光成像区域在可见光成像模式下对通过可见光带通滤光片的可见光进行成像，以及近红外光成像区域在近红外光成像模式下对通过近红外光带通滤光片的近红外光进行成像。

根据本发明的技术方案，将虹膜识别时人眼视线相对于移动终端的旋转或移动终端相对于人眼视线的旋转，统一等价为人眼视线从水平方向旋转θ角，世界坐标系中重力方向的轴也旋转θ角。本方案根据人眼虹膜的显示位置、成像位置及视线角度的关系，计算出移动终端在进行虹膜识别时的倾斜角度，并通过计算倾斜角度构建虹膜图像透视校正的变换矩阵。根据变换矩阵将人眼虹膜在旋转的坐标系下进行逆透视投影，再在未旋转的坐标系下进行透视投影，即可解决因虹膜识别时人眼的视线方向与移动终端的屏幕不垂直所导致的虹膜图像变形的问题。即通过估计人眼与成像设备的角度，实现失真图像的快速校正变换，将椭圆形的虹膜图像修正为更接近圆形，便于后续的识别处理，提高虹膜识别的精准度。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的移动终端100的结构框图；

图2示出了根据本发明一个实施例的移动终端100的复合成像系统200的结构框图；

图3示出了使用移动终端采集自拍图像和虹膜识别图像的示意图；

图4示出了根据本发明一个实施例的人眼虹膜在不同视线角度下的成像位置和显示位置的示意图；

图5示出了根据本发明一个实施例的虹膜图像透视校正方法500的流程图；

图6A和6B分别示出了根据本发明一个实施例的进行透视校正前后的图像示意图；

图7示出了根据本发明一个实施例的虹膜图像透视校正装置700的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1为根据本发明的一个实施方式的移动终端100构造示意图。如图1所述，移动终端100包括：存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104，以及外围接口106。存储器接口102、一个或多个处理器104和/或外围接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口106，以便帮助实现多种功能。例如，运动传感器110、光传感器112和距离传感器114可以耦合到外围接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口106相连，例如定位系统(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。

相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。可以通过一个或多个无线通信子系统124来帮助实现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如，移动终端100可以包括被设计成支持GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及BlueboothTM网络的通信子系统124。音频子系统126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。

I/O子系统140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。

存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如NAND，NOR)。存储器150可以存储操作系统152，例如Android、IOS或是Windows Phone之类的操作系统。该操作系统152可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。存储器150还可以存储应用154。这些应用在操作时，会从存储器150加载到处理器104上，并在已经由处理器104运行的操作系统之上运行，并利用操作系统以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。应用可以是独立于操作系统提供的，也可以是操作系统自带的。另外，应用154被安装到移动终端100中时，也可以向操作系统添加驱动模块。

在上述各种应用154中，其中的一种应用为与本发明相关的虹膜图像透视校正装置700。在一些实施例中，移动终端100被配置为执行根据本发明的虹膜图像透视校正方法400。

在利用移动终端进行虹膜识别时，通常需要单独的近红外摄像头进行虹膜成像，不能够与现有的可见光成像(光谱频率在380-760nm)的摄像头进行复用(比如智能手机现有的前置彩色摄像头)，无疑增加了移动终端的结构复杂度。而利用移动终端单摄像头进行近红外光和可见光双波段的复合成像技术可有效解决上述问题。图2示出了根据本发明一个实施例的移动终端100的复合成像系统200的结构框图。如图2所示，该复合成像系统包括：该复合成像系统200包括依次沿着入射光路布置的镜头组件230、滤光片组件220和图像传感器210。其中，滤光片组件220包括可见光带通滤光片221和近红外光带通滤光片222(图中示出为用反斜线填充)，图像传感器210包括用于近红外光成像的区域A(图中示出为用反斜线填充)、用于可见光成像的区域B以及在A、B区域之间的过渡区域C(示出为用横线填充)。

全光谱光线入射穿过镜头组件230并到达滤光片组件220，其中可见光带通滤光片221允许可见光(例如，波长为380-760nm)通过，而近红外光带通滤光片222允许近红外光(例如，波长为780-880nm)通过。可见光带通滤光片221和近红外光带通滤光片222可以通过镀膜来实现。通过可见光带通滤光片221的可见光基本在图像传感器的区域B成像，而通过近红外光带通滤光片222的近红外光基本在图像传感器的区域A成像。利用图像处理软件可以分别将图像传感器的区域B和A的成像区分开来，其中区域B的成像对应于正常的可见光成像，例如用户使用诸如手机等移动终端进行日常自拍时的成像，而区域A的成像对应于近红外模式下的成像，例如用户在使用手机进行虹膜识别时的成像。这样，可以便捷地实现可见光和近红外光成像之间的切换，而不需要配备运动部件来切换滤光片，大幅度提高了稳定性。

图3示出了使用移动终端采集自拍图像和虹膜识别图像的示意图。如图3所示，用户在自拍时，移动终端的屏幕与脸部平行，可以观察到全屏幕的自拍预览画面(如左下角图示)。而进行虹膜识别时，用户将移动终端倾斜一个角度θ，以便观察到位于屏幕上部的虹膜识别预览画面(如右下角图示)。

另外，也可以保持移动终端的屏幕不变，人脸的视线方向从自拍时的水平方向旋转θ角。因为这两种虹膜识别情况，移动终端和人眼视线的相对关系实际是一样的，所以本发明中将这两种情况都统一为后一种，即为图4中所示的人眼虹膜在不同视线角度下的成像位置和显示位置，以便进行计算。当人眼视线不垂直于显示屏幕时，虹膜识别画面会产生形变，影响虹膜识别的算法，为此本文提出了一种通过估计移动终端的倾斜角度来进行虹膜图像透视校正的方法。

如图4所示，将虹膜看作一个圆面，定义其所在的平面为物平面。忽略眼球半径对虹膜景深的影响，用眼球球心的位置表示虹膜的位置。为了使人眼虹膜在图像传感器的红外光区域成像，需保证眼球位于红外光区域的视场角范围内。为了使虹膜图像清晰，需保证眼球位于景深范围内。

采用右手坐标系，设世界坐标系以物平面与光轴的交点为原点，x轴正向从纸面背面指向正面，y轴正向向下，z轴正向向右。照相机坐标系以移动终端的相机镜头中心为原点，x轴正向从纸面背面指向正面，y轴正向向下，z轴正向向右。传感器坐标系以图像传感器的中心为原点，x轴正向从纸面背面指向正面，y轴正向向下，z轴正向向右。坐标系旋转用xyz欧拉角表示，即先绕x轴旋转，再绕新的y轴旋转，再绕新的z轴旋转。旋转角度的正方向按右手准则定义，即逆着坐标轴看去的逆时针方向为正角度。

根据以上描述可知，物平面、像平面和图像显示平面分别是世界坐标系、相机坐标系和传感器坐标系的XY平面。当物平面与像平面平行时，虹膜图像的轮廓为圆形。但因为在实际的虹膜识别操作中，物平面与像平面并不平行，导致最终获得的虹膜图像的轮廓为椭圆形。

图4中人眼的初始视线方向为水平方向，用向量LOS0所示；虹膜识别时，用户为了观察到移动终端的屏幕上方所显示的虹膜图像，将视线方向调整为LOS1，即物平面以过眼球中心的x方向为旋转轴顺时针旋转θ角。本发明在旋转过程中，保证眼球的景深和成像位置不变。相应地，原世界坐标系的Y轴也沿X轴顺时针旋转了θ角。其中设虹膜识别时的视线方向LOS1与原世界坐标系的Y轴之间的夹角为α，与旋转过的世界坐标系的Y轴之间的夹角为β，可知，β＝π-θ-α。

应当理解，若保持人眼视线方向不变，将移动终端沿背离人眼方向旋转θ角，则在这种情况下世界坐标系未变，但相机坐标系和传感器坐标系的XY平面绕X轴旋转了θ角。但因为在右手准则下，照相机坐标系相对于世界坐标系旋转了θ角，相当于世界坐标系相对于照相机坐标系旋转了-θ。所以可以等价为保持相机坐标系和传感器坐标系不变，世界坐标系的XY平面绕X轴旋转-θ角。这种情况仍然可以采用图4中所示的虹膜位置、成像位置、显示位置和世界坐标系的位置表示。

如图4所示，设物距为u，像距为v，图像传感器中红外成像区域的中心点到图像传感器中心点的距离为h。根据小孔成像原理，H＝h·u/v。另设人眼虹膜的中心点到入射光轴的距离为H，移动终端的屏幕中图像显示区域到图像传感器中心点的距离为a，人眼虹膜中心与相机镜头中心的距离为d。在进行距离计算时，可以根据眼睛定位算法从成像区域中确定人眼位置，并将其位置坐标从像素单位换算为长度单位。

根据以上参数，可以计算得到人眼视线LOS0与视线LOS1之间的变化角度为：

另外，还可以得到虹膜成像光线LOS1与原世界坐标系中Y轴的夹角为α＝arctan(u/H)，以及虹膜成像光线LOS1与旋转后的世界坐标系中Y轴的夹角β＝π-θ-α＝π-θ-arctan(u/H)。

根据以上描述，照相机旋转角度为θ_x＝0，θ_y＝0，θ_z＝0，根据照相机旋转角度可构造旋转矩阵R。由于没有旋转，R是单位矩阵。

而虹膜识别时照相机旋转角度为θ_x'＝θ，θ_y'＝0，θ_z'＝0，根据照相机旋转角度可构造旋转矩阵

另外，照相机中心O_c在原世界坐标系的坐标为c_x＝0，c_y＝0，c_z＝-u，表示为向量c＝[c_x,c_y,c_z]^T，其中，T是矩阵转置。虹膜识别时照相机中心O_c在旋转后的世界坐标系的坐标为c'_x＝0，c'_y＝H+dcosβ，c'_z＝-dsinβ，表示为向量c'＝[c_x',c_y',c_z']^T。

对于相机镜头，已知其焦距为f，标定后的照相机矩阵为C。为描述简洁，照相机矩阵是经过系数调整的，使变换后的像素单位变为长度单位。

根据一个实施例，可以取其中包括了两个方向的焦距(f_x，f_y)和光心坐标(c_x，c_y)。在进行单位转换需要乘以单位转换系数，实际操作时还需考虑若干非线性失真。

应当理解，虹膜坐标与其图像坐标是透视投影的关系。已知空间一点p_w＝[x_w,y_w,z_w]^T在照相机坐标系下的坐标p_c＝[x_c,y_c,z_c]^T为p_c＝R·(p_w-c)，在传感器坐标系下的坐标为p_s＝C·p_c，对深度进行归一化后的形式为即在虹膜图像上将丢失该点的深度信息

因此，已知现有的变形后的虹膜图像，即可根据空间一点在世界坐标系、相机坐标系和传感器坐标系下的对应关系推理出未变形的虹膜图像坐标。具体地，可以根据原始虹膜图像先在旋转的坐标系下逆透视投影，再在未旋转的坐标系下透视投影，即可校正图像变形。

其中，在根据旋转的坐标系逆透视投影过程，先获取当前变形图像的三维空间坐标p_s＇。将虹膜区域看作平面，利用根据旋转角度θ和物距u，可以估计虹膜区域每一点的深度信息生成带有深度信息的传感器坐标系下的坐标之后，即可根据传感器坐标系与相机坐标系的变化关系恢复人眼虹膜在照相机坐标系下的坐标p_c'＝C^{- 1}p_s'。继而根据相机坐标系与世界坐标系的变换关系求得人眼虹膜在原世界坐标系下的坐标p_w＝(R')^-1p_c'+c'。

之后，在未旋转的坐标系下进行透视投影过程，即根据原世界坐标系下的坐标p_w推出在相机坐标系下的坐标p_c＝R(p_w-c)，继而推出在传感器下的坐标，得到校正后的虹膜图像的三维空间坐标p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]。

图5示出了根据本发明一个实施例的虹膜图像透视校正方法500的流程图。如图5所示，该方法始于步骤S510。

随后，在步骤S510中，采集待识别的人脸虹膜图像。对于采集到的虹膜图像通常会进行一些预处理，以提高其精度及清晰度，如进行归一化处理或降噪处理等。

随后，在步骤S520中，计算原始虹膜图像中每一点的三维空间坐标p_s＇。具体地，其中，是原始虹膜图像中每一点的深度信息，适于根据旋转角度θ和物距u计算得到。其中，可以根据眼睛定位算法从成像区域中确定人眼位置，并将其位置坐标从像素单位换算为长度单位，以便坐标计算。

随后，在步骤S530中，根据人眼虹膜及其原始虹膜图像的位置信息计算获取原始虹膜图像时人眼的视线方向与水平方向的夹角θ。具体地，

随后，在步骤S540中，根据角度θ构建虹膜图像透视校正的变换矩阵。其中，还包括根据所述角度θ构建相机镜头和原世界坐标系的旋转矩阵R和R＇，设原世界坐标系的原点为入射光轴与人眼虹膜所在平面的交点，且有两个坐标轴分别位于重力和水平方向。

具体地，R是单位矩阵，

随后，在步骤S550中，根据所述变换矩阵对原始虹膜图像的三维空间坐标p_s＇进行坐标变换，得到校正后的虹膜图像的三维空间坐标p_s。具体地，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，其中，C是经过系数调整的相机矩阵，适于将图像中的像素单位转换为长度单位；c和c＇分别是相机的镜头中心相对于原世界坐标系和旋转过的世界坐标系坐标。

其中，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩阵转置，c和c＇适于通过夹角θ、物距u和人眼虹膜的中心点与入射光轴的距离H计算得到。

根据图4中的计算，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

最后，将坐标中的长度单位换算为像素单位，并重新映射虹膜图像，即可将虹膜轮廓从椭圆形校正为圆形。图6A和6B分别示出了根据本发明一个实施例的进行透视校正前后的图像示意图。可以看出，在透视校正前，图像为椭圆形，而进行透视校正后，图像变为圆形，明显利于后续的识别过程。

图7示出了根据本发明一个实施例的虹膜图像透视校正装置700的结构框图。如图7所示，该装置包括：图像获取单元710、坐标计算单元720、角度计算单元730、矩阵构建单元740和坐标变换单元750。

图像获取单元710适于获取待识别用户的原始虹膜图像。

坐标计算单元720适于计算原始虹膜图像中每一点的三维空间坐标p_s＇。

角度计算单元730适于根据所述人眼虹膜及其原始虹膜图像的位置信息计算获取原始虹膜图像时人眼的视线方向与水平方向的夹角θ。

矩阵构建单元740适于根据所述旋转角度θ构建所述虹膜图像透视校正的变换矩阵。其中，还包括根据旋转角度θ构建相机镜头和原世界坐标系的旋转矩阵R和R＇。

坐标变换单元，适于根据所述变换矩阵以及原始虹膜图像的三维空间坐标p_s＇对所述原始虹膜图像进行坐标变换，得到校正后的虹膜图像的三维空间坐标p_s。

根据一个实施例，还可以包括单位换算单元，适于根据眼睛定位算法从成像区域中确定人眼位置，并将其位置坐标从像素单位换算为长度单位；以及将所述校正后的虹膜图像坐标中的长度单位换算为像素单位，并重新映射虹膜图像。

根据本发明的虹膜图像透视校正装置700，其具体细节，尤其是每个参数的计算过程，已在基于图1-图6的描述中详细公开，在此不再赘述。

由此可见，本发明通过定位红外图像中的虹膜区域，确定人眼虹膜在图像传感器器的成像位置、在移动终端屏幕上的显示位置，并结合自身的人眼虹膜位置，估计出获取虹膜图像时移动终端与人眼视线方向的夹角，这一夹角可能由人眼视线方向变化造成，也可能因移动终端旋转造成。进一步地，可确认图像传感器与人眼虹膜之间的角度，并根据该角度建立虹膜图像透视变换的变换矩阵。根据该变换矩阵对原始失真虹膜图像进行变换，即先在旋转的坐标系下逆透视投影，再在未旋转的坐标系下透视投影，即可校正图像变形，得到近似无失真的虹膜图像。根据本发明的方案，可以有效消除人眼视线不垂直于屏幕时所造成的成像变形的问题，将椭圆形的虹膜图像校正为近似圆形，方便后续的虹膜识别过程，从而提高虹膜识别的准确度。

A8、如A7所述的方法，其中，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

A9、如A3所述的方法，其中，所述相机矩阵包括两个坐标轴方向的焦距(f_x，f_y)和光心坐标(c_x，c_y)。

A10、如A1所述的方法，还包括：根据眼睛定位算法从成像区域中确定人眼位置，并将其位置坐标从像素单位换算为长度单位；以及将所述校正后的虹膜图像坐标中的长度单位换算为像素单位，并重新映射虹膜图像。

B12、如B11所述的装置，所述矩阵构建单元还适于根据所述角度θ构建所述相机镜头和原世界坐标系的旋转矩阵R和R＇，其中设原世界坐标系的原点为入射光轴与人眼虹膜所在平面的交点，且有两个坐标轴分别位于重力和水平方向。

B13、如B12所述的装置，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，其中，C是经过系数调整的相机矩阵，适于将图像中的像素单位转换为长度单位；c和c＇分别是相机的镜头中心相对于原世界坐标系和原世界坐标系绕非重力和水平方向的轴旋转θ角后的新坐标系的坐标。

B14、如B11所述的装置，其中，是原始虹膜图像中每一点的深度信息，适于根据旋转角度θ和物距u计算得到。

B15、如B12所述的装置，其中，

R是单位矩阵，

B16、如B11所述的装置，所述角度θ的计算公式为：

其中，u是物距，v是像距，h是图像传感器中红外成像区域的中心点到所述图像传感器中心点的距离，H是所述人眼虹膜的中心点到所述入射光轴的距离，a是所述移动终端的屏幕中图像显示区域到所述图像传感器中心点的距离。

B17、如B13所述的装置，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩阵转置，c和c＇适于通过夹角θ、物距u和人眼虹膜的中心点与入射光轴的距离H计算得到。

B18、如B17所述的方法，其中，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

B19、如B13所述的装置，其中，所述相机矩阵包括两个坐标轴方向的焦距(f_x，f_y)和光心坐标(c_x，c_y)。

B20、如B11所述的装置，还包括：单位换算单元，适于根据眼睛定位算法从成像区域中确定人眼位置，并将其位置坐标从像素单位换算为长度单位；以及将所述校正后的虹膜图像坐标中的长度单位换算为像素单位，并重新映射虹膜图像。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (20)

1.一种虹膜图像透视校正方法，适于在在移动终端中执行，该方法包括：

获取待识别用户的原始虹膜图像；

计算所述原始虹膜图像中每一点的三维空间坐标p_s＇；

根据人眼虹膜及其原始虹膜图像的位置信息计算获取原始虹膜图像时人眼的视线方向与水平方向的角度θ；

根据所述角度θ构建所述虹膜图像透视校正的变换矩阵；

根据所述变换矩阵以及原始虹膜图像对所述原始虹膜图像的三维空间坐标p_s＇进行坐标变换，得到校正后的虹膜图像的三维空间坐标p_s；

其中，角度θ的计算公式为：

其中，u是物距，v是像距，h是图像传感器中红外成像区域的中心点到所述图像传感器中心点的距离，H是所述人眼虹膜的中心点到入射光轴的距离，a是所述移动终端的屏幕中图像显示区域到所述图像传感器中心点的距离。

2.如权利要求1所述的方法，所述构建虹膜图像透视校正的变换矩阵的步骤还包括：

根据所述角度θ构建相机镜头和原世界坐标系的旋转矩阵R和R＇，其中设原世界坐标系的原点为入射光轴与人眼虹膜所在平面的交点，且有两个坐标轴分别位于重力和水平方向。

3.如权利要求2所述的方法，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，

其中，C是经过系数调整的相机矩阵，适于将图像中的像素单位转换为长度单位；c和c＇分别是相机的镜头中心相对于原世界坐标系和原世界坐标系绕非重力和水平方向的轴旋转θ角后的新坐标系的坐标。

4.如权利要求1所述的方法，

其中，是原始虹膜图像中每一点的深度信息，适于根据角度θ和物距u计算得到。

5.如权利要求2所述的方法，其中，

R是单位矩阵，

6.如权利要求3所述的方法，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩阵转置，c和c＇适于通过角度θ、物距u和人眼虹膜的中心点与入射光轴的距离H计算得到。

7.如权利要求6所述的方法，其中，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

8.如权利要求3所述的方法，其中，所述相机矩阵包括两个坐标轴方向的焦距(f_x，f_y)和光心坐标(c_x，c_y)。

9.如权利要求1所述的方法，还包括：

根据眼睛定位算法从成像区域中确定人眼位置，并将其位置坐标从像素单位换算为长度单位；以及

将所述校正后的虹膜图像坐标中的长度单位换算为像素单位，并重新映射虹膜图像。

10.一种虹膜图像透视校正装置，适于驻留在移动终端中，该装置包括：

图像获取单元，适于获取待识别用户的原始虹膜图像；

坐标计算单元，适于计算所述原始虹膜图像中每一点的三维空间坐标p_s＇；

角度计算单元，适于根据人眼虹膜及其原始虹膜图像的位置信息计算获取原始虹膜图像时人眼的视线方向与水平方向的角度θ；

矩阵构建单元，适于根据所述角度θ构建所述虹膜图像透视校正的变换矩阵；

坐标变换单元，适于根据所述变换矩阵对原始虹膜图像的三维空间坐标p_s＇进行坐标变换，得到校正后的虹膜图像的三维空间坐标p_s；

其中，角度θ的计算公式为：

其中，u是物距，v是像距，h是图像传感器中红外成像区域的中心点到所述图像传感器中心点的距离，H是所述人眼虹膜的中心点到入射光轴的距离，a是所述移动终端的屏幕中图像显示区域到所述图像传感器中心点的距离。

11.如权利要求10所述的装置，所述矩阵构建单元还适于根据所述角度θ构建相机镜头和原世界坐标系的旋转矩阵R和R＇，其中设原世界坐标系的原点为入射光轴与人眼虹膜所在平面的交点，且有两个坐标轴分别位于重力和水平方向。

12.如权利要求11所述的装置，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，

其中，C是经过系数调整的相机矩阵，适于将图像中的像素单位转换为长度单位；c和c＇分别是相机的镜头中心相对于原世界坐标系和原世界坐标系绕非重力和水平方向的轴旋转θ角后的新坐标系的坐标。

13.如权利要求10所述的装置，

其中，是原始虹膜图像中每一点的深度信息，适于根据角度θ和物距u计算得到。

14.如权利要求11所述的装置，其中，

R是单位矩阵，

15.如权利要求12所述的装置，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩阵转置，c和c＇适于通过角度θ、物距u和人眼虹膜的中心点与入射光轴的距离H计算得到。

16.如权利要求15所述的装置，其中，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

17.如权利要求12所述的装置，其中，所述相机矩阵包括两个坐标轴方向的焦距(f_x，f_y)和光心坐标(c_x，c_y)。

18.如权利要求10所述的装置，还包括：

单位换算单元，适于根据眼睛定位算法从成像区域中确定人眼位置，并将其位置坐标从像素单位换算为长度单位；以及将所述校正后的虹膜图像坐标中的长度单位换算为像素单位，并重新映射虹膜图像。

19.一种移动终端，包括如权利要求10-18中任一项所述的虹膜图像透视校正装置。

20.如权利要求19所述的移动终端，还包括与所述虹膜图像透视校正装置相耦接的复合成像系统，该复合成像系统包括：

镜头组件，包括固定焦距的光学透镜；

滤光片组件，包括允许可见光波段的光通过的可见光带通滤光片和允许近红外光波段通过的近红外光带通区域；以及

图像传感器，包括可见光成像区域、近红外光成像区域以及这两个区域之间的过渡区域，

其中，所述可见光成像区域在所述可见光成像模式下对通过所述可见光带通滤光片的可见光进行成像，以及所述近红外光成像区域在所述近红外光成像模式下对通过所述近红外光带通滤光片的近红外光进行成像。