[go: up one dir, main page]

CN111226212A - 增强现实虚拟现实非接触掌纹识别 - Google Patents

增强现实虚拟现实非接触掌纹识别 Download PDF

Info

Publication number
CN111226212A
CN111226212A CN201880065085.8A CN201880065085A CN111226212A CN 111226212 A CN111226212 A CN 111226212A CN 201880065085 A CN201880065085 A CN 201880065085A CN 111226212 A CN111226212 A CN 111226212A
Authority
CN
China
Prior art keywords
palm
user
image
camera
prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880065085.8A
Other languages
English (en)
Inventor
来诺依德·康斯维奇
杨骅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Red Stone Biometric Technology Co ltd
Original Assignee
Red Stone Biometric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Red Stone Biometric Technology Co ltd filed Critical Red Stone Biometric Technology Co ltd
Publication of CN111226212A publication Critical patent/CN111226212A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Input (AREA)

Abstract

本发明公开一种将手掌数字表示与手掌模板匹配的计算平台。所述平台包括使得呈现取景器图像的逻辑，所述取景器图像包括图像流和/或大体上显示于用户前方的提示，以引导用户将手掌对准相机视场内的位置；使用相机捕捉一组图像；处理该组图像以确定手掌的一组识别特征；以及将该组识别的特征与登记的掌纹进行比较以识别手掌。

Description

增强现实虚拟现实非接触掌纹识别
技术领域
本申请要求于2016年8月31日提交的美国临时申请号62/382,067的权益，该临时申请题为“在VR/AR环境中定位手掌的指南”。出于所有目的，该临时申请通过引用结合于本文中。
本申请通过引用结合了2017年6月6日提交的共同拥有的、共同发明的美国专利申请号15/615,683，名称为“蓝/紫光无接触掌纹识别”(案卷号1003-1)。
所公开的技术总体上涉及检测包括人手在内的生物特征，并更具体地涉及掌纹数字化在安全和认证方面的应用，用于增强现实、虚拟现实和/或可穿戴计算技术。
背景技术
本节中讨论的主题不应该仅仅由于在本节中提及而被认为是现有技术。类似地，本部分中提到的或与作为背景提供的主题相关联的问题不应该被假定为先前已经在现有技术中认识到。本部分中的主题仅仅表示不同的方法，这些方法本身也可对应于所要求保护技术的实现。
掌纹认证已经成为某些类型认证系统的发展主题。各种不同的方法已经被尝试过。例如，一些方法已经使用手掌几何学来尝试通过手掌来识别某人。其他方法还采用手掌静脉图案。还有一些利用参数的组合。然而，这些实施方式没有达到广泛采用所需的标准。还有一些方法需要固定装置来将手在空间中固定。
头戴式设备(HMD)和可佩戴护目镜作为实现虚拟现实(例如，用虚拟化环境代替真实环境)或增强现实(例如，将一个或多个虚拟物体包含到真实环境的呈现中)应用的可能平台，已经受到媒体的关注。当设备用作计算应用程序的接口以防止未授权用户查看来自应用程序的机密数据或访问具有有限授权观众的虚拟或增强环境时，对这种设备的用户进行认证是重要的。向头戴式显示器添加硬件设备(例如指纹读取器)会带来重量、尺寸、功耗、附加接口和可用性等重大问题，这些问题使得这种添加变得不理想。
一体式增强现实/虚拟现实头戴式设备通常没有物理键盘来输入密码。此外，这种一体式增强现实/虚拟现实头戴式设备被证明是实现许多传统形式的生物识别身份验证的困难平台，因为用户的面部和虹膜由于头戴式设备的存在而不容易被感知：面部被覆盖，且虹膜需要后向相机，这增加了成本和复杂性，使得这种额外的相机在现有的增强现实/虚拟现实头戴式设备上的可用性很低。
期望提供一种掌纹认证技术，其能够克服上面讨论的一些或全部问题。
附图说明
在附图中，相同的附图标记在不同的视图中通常指代相同的部件。此外，附图不一定按比例绘制，相反，重点通常放在说明所公开技术的原理上。在以下描述中，参考以下附图描述了所公开的技术的多种实施，其中：
图1显示了具有头戴式显示器(HMD)和用户界面的计算设备，该用户界面包括相机的取景器图像和所述提示。
图2显示了具有头戴式显示器(HMD)和用户界面的另一个计算设备，该用户界面包括相机的取景器图像和所述提示。
图3A是适用于移动计算设备处理平台的简化框图，包括所述用于手掌认证的资源。
图3B是适用于没有显示器计算设备的替代处理平台的简化框图，包括所述用于手掌认证的资源。
图4显示了手掌检测、预处理和匹配的实现实例。
图5显示了对准过程流程图。
图6显示了用所述方法提取的手掌特征。
图7A显示了在一个实施例中显示提示以引导用户放置手掌用于手掌识别。
图7B显示了在另一实施例中显示提示以引导用户放置手掌用于手掌识别。
图7C显示了在一个实施例中用于手掌识别引导的偏移过程。
图8显示了一个实施例中用于偏移图像部分的过程。
图9显示了对准过程实施例的流程图。
图10和图11显示了引导佩戴增强现实/虚拟现实头戴的用户以一定的公差将手放在特定位置和方向的示例。
图12A显示了一个移动电话的实施示例。
图12B显示了另一个移动电话的实施示例。
图12C显示了一个示例汽车，可采取多种实施方式。
图13显示了一个网络系统实例，在该系统中可以实现注册和匹配流程。
发明内容
下面参照附图进行详细描述。描述实施例是为了说明所公开的技术，而非限制其由权利要求限定的范围。本领域的普通技术人员能够认识到以下描述的各种等同变化。
描述了一种系统和各种实施方式，用于使用一个或多个相机对用户的手掌进行非接触或无接触的生物识别来进行计算效率高的个体识别和认证。在实施例中，所述技术适于与头戴式设备(HMD)一起使用，包括头戴式设备、护目镜等，其向佩戴HMD的用户提供增强现实(AR)和/或虚拟现实(VR)环境的显示。头戴式设备使佩戴者能够用不同的透视方法保持对周围环境的认知，包括(i)光学透视头戴式设备；和(ii)视频透视头戴式设备。光学透视系统将计算机生成的图像与真实世界的“透过镜片”图像结合起来，通常是通过一面倾斜的半透镜。光学透视主要用于增强现实。视频透视系统仅显示来自相机的视频，这些相机用于捕捉佩戴者周围环境的视频流。
图1显示了光学透视头戴式设备，在这个例子中，它是能够实现虚拟现实和增强现实功能的头戴式设备102。头戴式设备102包括至少一个面向前方的相机103，该相机103具有透镜151和显示屏162，显示屏162位于护目镜的透明或半透明部分上，并设置在头戴式设备102佩戴者的视场内。在该示例中，相机103的视场166是安装在头戴式设备102一侧的相机103前方的区域。在该示例中，由相机产生的取景器图像163显示在显示屏162上。提示164覆盖在取景器图像163上，以便引导用户将手掌放置在相机视场内便于捕捉和匹配手掌特征的位置(和方向)。在一些实施例中，提示164限于一个区域，例如图中所示的圆形区域154。提示164可包括让用户放置手掌的开口(留白)区域，或可以是半透明的。
头戴式设备102是计算设备，或通过电缆或无线接口连接到计算设备，例如控制器150，控制器150包括执行一操作序列以执行掌纹认证的逻辑。该操作序列包括在显示屏162上呈现取景器图像163，取景器图像163包括由头戴式设备102和提示164用户前方空间区域相机103捕捉的图像流，提示164可覆盖、叠加或以其他方式与取景器图像163集成，引导用户将手掌对准相机103的视场166内的位置154。此外，该序列包括使用相机103在视场166中捕捉一组手掌图像。该操作序列包括处理该组图像以确定手掌的一组识别特征。此外，操作序列包括将该组识别特征与登记的掌纹进行比较，以识别手掌。
如后面将参考图7和图8所详细描述的，一些实施方式还将包括从相机提供的图像流中分离包含手掌图像的图像部分。图像部分可通过缩放因子来缩放。图像部分可偏移一个偏移量，以使图像部分对于用户来说看起来放在自己前面并与取景器图像一致。作为对手掌认证成功的响应，产生信号以允许虚拟现实或增强现实头戴式设备的进一步操作。
提示164可以立体或其他方式呈现。此外，提示164可有不同于圆形区域154的尺寸或形状。例如，提示164可呈现为足够大以容纳佩戴者的整只手。在另一个例子中，提示164可包括手状图标的表示，而非简单的圆形或其他几何形状。手状图标表示可包括手指部分。提示164的方向可以优选为手的指向，即提示佩戴者将他们的手指向适当的方向。提供提示以定位和/或对准手掌与相机之间的相互位置可使一些实施例的认证结果更准确。准确性的一个衡量标准是正确认证的数量除以认证的总数。准确度的另一种衡量标准是被正确认证的用户数除以试图被认证的用户总数。对图像部分进行处理以调整手掌的视图用以解决由于相机和用户眼睛位置之间的偏移和/或相机相对于手的相对位置和用户眼睛相对于手的相对位置之间的偏移，为用户提供更真实的用户体验。
所述手掌识别和认证技术可使一些实施例控制对应用的访问。一些实施例可用手掌识别和认证技术来控制对头戴式设备的某些功能的访问。许多实施例可用所述手掌识别和认证技术来控制对进一步处理的访问和/或控制对其他设备的访问。实施例可提供对诸如指纹之类依赖触碰形式进行认证的改进，尤其在对细菌或灰尘的传播有严格要求的环境中(例如，手术室、半导体洁净室)。
在一些实施方式中，头戴式设备102包括位于正面的照明源165，相机的镜头捕捉包含区域167的视场，在该区域中，头戴式设备102的佩戴者可放置手掌。根据本文所述实施例的照明源具有发射光谱，该发射光谱便于促进和/或增强系统对手掌特征的检测。例如，在一个实施例中，实现了多模态手掌特征识别，其中在捕捉不同的手掌特征时采用不同的发射光谱。在一个实施方式中，多模态包括使用第一检测模态(例如可见光谱照明和相机)识别掌纹，以及使用第二检测模态(例如红外光谱照明和相机)识别掌静脉。第一检测模态和第二检测模态的结果组合起来，能使具有多模态识别能力的实施例实现更高的认证精度。在又一个实施例中，使用主要是小于485纳米波长的照明源165照亮手掌，并用在蓝/紫或近紫外范围内感光的相机采集图像，对这组图像的强度梯度进行处理从而确定手掌的一组识别特征。
在各种不同的实施方式中，控制器150可集成到头戴式设备102中，或连接到一个分开头戴式设备102上，或用诸如触摸板、移动电话、笔记本电脑、台式电脑、智能电视等的其他计算设备来实现。控制器150的功能可用硬件、软件或其组合来实现。
图2显示了一个可选实施例，其中视频透视头戴式设备202可用于虚拟现实和增强现实功能。头戴式设备202包括至少一个前向相机203，该相机具有带视场266的镜头(未显示)和位于头戴式设备202内部的显示屏(未显示)。头戴式设备202的前表面可以是不透明的。因此，其前向可视性由如下方式提供，通过相机203捕捉用户前方环境的图像，并通过头戴式设备202内的显示屏向用户提供实时或接近实时的视频源。在该示例中，相机203的视场266是一个位于头戴式设备202前方的区域。
由相机产生的取景器图像263显示在头戴式设备202内的显示屏上。提示264覆盖在取景器图像263上，以便引导用户将手掌放置在相机203视场内有利于掌纹的捕捉和匹配的位置(和方向)。在一些实施例中，提示264限于一个区域，例如图中所示圆形区域254。提示264可以是用于引导将手掌放置其中的开口区域，或是半透明的。
头戴式设备202包括位于正面的照明源，相机的镜头可照亮包含区域267的视场，在该区域中，头戴式设备202的佩戴者可放置手掌。根据本文所述实施例的照明源265具有发射光谱，该发射光谱便于促进和/或增强系统对手掌特征的检测。例如，在一个实施例中，实现了多模态手掌特征识别，其中在捕捉不同的手掌特征时采用不同的发射光谱。在一个实施方式中，多模态包括使用第一检测模态(例如可见光谱照明和相机)识别掌纹，以及使用第二检测模态(例如红外光谱照明和相机)识别掌静脉。第一检测模态和第二检测模态的结果组合起来，能使具有多模态识别能力的实施例实现更高的认证精度。在另一实施方式中，使用主要是小于485纳米波长的照明源265照亮手掌。使用包括小于485纳米范围内波长的发射光谱，有助于在用对蓝/紫或近紫外范围内感光的相机采集的图像内进行手掌特征检测和识别。
头戴式设备202自身是一计算设备，或通过无线或电缆连接到一计算设备，例如控制器250，控制器250包括执行操作序列以实现如上所述的掌纹认证的逻辑。当手掌认证通过后，产生信号以允许虚拟现实或增强现实头戴式设备的进一步操作。
图3A是移动电话计算平台300的简化图，代表了可用作所述手掌认证设备的计算设备。如本文所述，用于手掌认证的其他计算设备可具有类似的平台，包括可以模块化方式在各种设置中部署的设备，以及用于与本地服务器通信的设备，以及设置为经由互联网而非移动电话网络进行无线通信的设备。
在该示例中，计算平台300包括天线301和包括射频RF接收器/发射器302的无线电设备，根据多种协议中的一种或多种，计算平台300通过射频接收器/发射器302耦合到无线通信介质。在所述示例中，射频接收器/发射器302可包括一个或多个无线电设备，以支持与移动电话网络的无线服务提供商进行通信的多协议/多频带通信，以及使用类似蓝牙或WIFI协议建立无线本地无线电链路。接收器/发射器302耦合到处理部分303中的基带电路和数字处理器，在处理部分303中对音频信号进行处理并对呼叫信号进行管理。包括模数和数模转换器的编解码器304耦合到处理部分303。麦克风305和扬声器306耦合到编解码器304。
存储器307可以是非易失性只读存储器，其存储用于认证算法的掌纹或掌纹集，以及由处理部分303执行的指令、参数和其他数据。此外，移动电话中的读/写存储器308存储用于掌纹认证过程的指令和参数以及由处理部分303使用的其他数据。在计算平台300上可以有多种类型的读/写存储器，例如非易失性读/写存储器308(例如闪存或EEPROM)和易失性读/写存储器309(例如DRAM或SRAM)。其他实施例包括可移除的存储器模块，其中存储了供处理部分303使用的指令、参数和其他数据。
输入/输出控制器310耦合到触敏显示器311和用户输入设备312，例如相机、功能键盘和照明源。相机可用于捕捉用于掌纹认证的图像，且照明源可在相机的视场中提供如上所述的蓝色/紫色/紫外线范围内的照明。耦合到控制器310的一个或多个附件端口313用于其他类型的输入/输出设备，例如双耳和单耳耳机、到诸如掌上电脑或个人计算机的处理设备的连接、诸如红外端口或通用串行总线USB端口的替代通信信道、便携式存储设备端口以及其他设备。控制器310耦合到处理部分303。经由输入设备312并可选地经由附件接收关于呼叫建立和呼叫管理以及关于掌纹认证的使用、用户偏好和环境光因素的用户输入。用户交互被增强，且提示用户使用触摸显示器311和可选的其他附件进行交互。输入也可经由语音识别程序支持的麦克风305接收，且用户交互和提示可出于各种目的利用扬声器306。
在所示实施例中，存储器308存储用于在显示器311上显示功能选择菜单用户界面的程序，使用户可选择在生成所讨论的掌纹认证简档期间要执行的功能。此外，可由处理部分303和/或控制器310执行的指令存储在诸如存储器307、308、309的非暂时性介质中，该介质包括用于执行以上结合图1和2所述操作序列的逻辑。
一般来说，计算平台中逻辑执行的操作顺序如下。当检测到用户手的存在时，逻辑检测模块评估手掌在每一帧中的位置、大小和方向，并产生用于预处理的手掌图像。该手掌图像由逻辑预处理模块接收，使用几何变换将其与模板手掌图像对齐，并提取特征。存储在数据库或其他数据存储系统中的手掌模板由注册人(例如，系统通过采集其生物特征而确认身份的人)的手掌图像和从成像手掌中提取的特征组成。
可以确定一组最佳参数，如模板上的特征数量和匹配标准值，以满足特定的FAR(错误接受率)和FRR(错误拒绝率)的要求。
图3B是替代计算平台350的简化图，其代表可用作本文所述的手掌认证装置的计算设备。在该示例中，计算平台不包括显示器，包括基于对准光束的对准系统。如本文所述，用于手掌认证的其他计算设备可具有类似的平台，包括可以模块化的方式在各种设置中部署的设备，以及用于与本地服务器通信的设备，以及设置为经由互联网和/或移动电话网络的无线通信的设备。在一些实施例中，计算平台在与相机和/或照明源不同的单独模块中。例如，当为了安全和自动驾驶而部署在安装有相机的汽车上时，计算设备可与现有的相机和照明源进行有线或无线电通信，并利用现有的相机进行认证图像。
在该示例中，计算平台350包括天线351和包括射频RF接收器/发射器352的无线电设备，根据多种协议中的一种或多种，计算平台350通过该射频接收器/发射器352耦合到无线通信介质。在所述示例中，射频接收器/发射器352可包括一个或多个无线电设备，以支持多协议/多频带通信，用于像蓝牙或WIFI那样的协议与无线本地无线电链路进行通信。接收器/发射器352耦合到基带电路和处理部分354中的数字处理器，在处理部分354中，使用存储在设备上的计算机程序来处理视频信号和执行其他逻辑功能。
存储器357可以是非易失性只读存储器，存储用于认证算法的掌纹或掌纹集，以及由处理部分354执行的指令、参数和其他数据。此外，移动电话中的读/写存储器358存储掌纹认证过程的指令和参数以及由处理部分354使用的其他数据。在计算平台350上可以有多种类型的读/写存储器，例如非易失性读/写存储器358(例如闪存或EEPROM)和易失性读/写存储器359(例如DRAM或SRAM)。其他实施例包括可移除存储器模块，其中存储了供处理部分354使用的指令、参数和其他数据。
控制器360耦合到相机366，可选地耦合到第二相机369，以及诸如发光二极管阵列365的照明源。发光二极管阵列365提供发射光谱范围适合于相机366和可选的低于485纳米的第二相机369发挥功能。在一些实施例中，照明源可以是宽带光。在其他实施例中，发射源可以是红外范围。在多模态实施例中，其中相机366可用于可见光捕捉掌纹认证的图像，且照明源可在相机366的视场中提供可见范围内的照明，并可选的第二相机369用红外照明来捕捉图像以进行手掌静脉认证。在一个实施例中，如上所述，发光二极管阵列365提供宽光谱光，该光经过不同滤光器过滤后，以提供适合于各个相机366、369的不同照明光谱。在另一个实施例中，发光二极管阵列365在控制器360的控制下根据命令发射不同光谱的光。控制器360耦合到对准光束发生器367，例如激光器，或与发光二极管阵列365结合使用的部件，以在发光二极管阵列365的照明领域中提供对准指示光。
控制器360耦合到处理部分354。可通过无线接收器提供与使用掌纹认证相关的用户输入。在一些实施例中，可提供开关或小键盘，可启动手掌认证过程。输入也可通过由语音识别程序支持的麦克风接收，且用户交互和提示可出于各种目的利用扬声器。耦合到控制器360的一个或多个附件端口363用于其他类型的输入/输出设备，例如双耳和单耳耳机、到诸如掌上电脑或个人计算机处理设备的连接、诸如红外端口或通用串行总线USB端口的替代通信信道、便携式存储设备端口以及其他装置。
在图示的实施例中，存储器358存储用于在生成所讨论的掌纹认证简档期间发挥功能的程序。此外，可由处理部分354和/或控制器360执行的指令存储在诸如存储器357、358、359的非暂时性介质中，该介质包括用于执行以上结合图1和图2所述操作序列的逻辑。图3B所示的平台可部署在利用认证结果来控制进一步操作的环境中，包括向机器发送信号以打开门、启动机器，以及执行为认证人定制的操作。
所公开的技术可在任何计算机实现系统的环境中实现，包括内部联网系统、云计算环境、混合方法等。此外，这种技术可用两个或多个相互协作和通信的独立且不同的计算机系统来实现。该技术可以多种方式实现，包括过程、方法、装置、系统、设备、诸如存储计算机可读指令或计算机程序代码的计算机可读存储介质的计算机可读介质，或作为包括其中包含计算机可读程序代码的计算机可用介质的计算机程序产品。
所公开的技术可在任何计算设备的环境中实现，包括移动电话或智能电话以及适合作为各种系统子组件的处理模块。这种计算设备可包括或经由通信网络访问存储用于认证个人生物信息的数据库系统。可用基于云的存储方法，关系数据库实现如兼容OracleTM的数据库、兼容IBM DB2 Enterprise ServerTM的关系数据库、兼容MySQLTM或PostgreSQLTM的关系数据库或兼容MicrosoftSQLServerTM的关系数据库或NoSQL非关系数据库如兼容VampireTM的非关系数据库、兼容Apache CassandraTM的非关系数据库、兼容BigTableTM的非关系数据库或兼容HBaseTM或DynamoDBTM的非关系数据库来存储和管理生物特征信息。
此外，所公开的技术可用不同的编程模型来实现，例如MapReduceTM、批量同步编程、MPI原语等，或使用不同的流管理系统，例如Apache StormTM、Apache SparkTM、ApacheKafkaTM、TruvisoTM、IBM Info-SphereTM、BorealisTM和Yahoo！S4TM。
这里使用实现掌纹识别的代表性示例来描述所公开的技术。具体包含两个流程或工作流程：识别和注册。首先，将参考示例过程来描述识别流程。第二，将参考使用识别过程子集的实现来描述注册流程。
识别
图4显示了手掌检测、预处理和匹配的实施例概况。手掌检测操作401包括目标波长范围内的照明410、检测处理411和手掌定位(包括位置、大小和方向)412。由检测处理401检测到手掌的图像被输入到预处理操作402。预处理操作402包括诸如对准过程421、图像质量测量过程422和特征增强过程423。
1.检测
直接存于计算平台上或可被计算平台访问的逻辑可包括手掌检测操作401。例如，在一些实施例中，检测人手包括确定在视频图像的当前帧中是否存在适当形状、大小和方向的手掌。如果没有检测到合适的手掌，则不对当前帧执行进一步的处理，且当前帧将被丢弃。否则，系统定位感兴趣区域(ROI)-包含至少一个检测到的手掌区域的近似矩形(或其他合适的形状)。接下来的处理包括提供视觉反馈，在一个实施例中，该视觉反馈包括在用户界面的指定区域内叠加来自相机视频流的取景器图像，且可选地叠加某种图案(例如，矩形、椭圆形或圆形)，以指示从视频流中检测到的包含手掌的感兴趣区域(ROI)。接下来，图像帧与检测到的感兴趣区域信息一起被发送到后续处理单元。
2.图像预处理(去噪，去模糊)
直接存于计算平台上或可由计算平台访问的逻辑可包括图像预处理操作402。示例过程包括用相机采集由所述检测过程检测到手掌的的N个连续帧，且每一帧内的手掌ROI区域大体重合。这N个图像可通过对准位于ROI区域内的一个或多个特征来对齐(421)。通过平均对齐后的多个图像可形成一个合成图像，其与原始输入图像相比，在掌纹ROI区域内噪点更低，纹理更清晰(ROI之外的背景实际上会变得更模糊)。
上述预处理的一种实施方式是对对齐的图像进行平均。在其他实施方式中，我们可用其他技术，比如用包括用根据图像质量、时间、对准质量等参数决定的一些权重函数来组合图像。值得注意的是，当相机采集的图像质量较高，某些实现可直接使用单个图像帧，省略图像均化处理。
在另一实施方式中，系统执行图像质量测量过程422，并根据一个或多个图像质量的度量来输出图像。可计算图像质量度量的阈值并将其应用于输出图像。例如，如果输出图像太暗，或不够清晰，输出图像将被拒绝，且不会传递到流程的其余部分。
在降噪和去模糊之后，可用增强掌纹和其他结构特征的附加预处理423。可能的增强技术包括但不限于：(1)基于傅立叶或小波的方法用以增强图像的高频分量，如Khatkar等人所描述的。“使用小波的生物医学图像增强”，计算机、通信和融合国际会议，2014年12月17-28日，Procedia计算机科学48，第513-517页，(2)在图像中增强特定结构(线、横截面等)的结构滤波器，例如由Frangi等人描述的“多尺度血管增强滤波”，MICCAI 98，v.1496，Springer Verlag，柏林，德国，1998年10月11日，第130-137页。
3.特征提取
直接存于计算平台上或可由计算平台访问的逻辑包括匹配逻辑套件404中的特征提取操作441。该特征提取操作接受预处理图像的输入，然后在具有独特的局部强度或局部强度梯度模式的位置提取一组M特征点，例如SIFT(Lowe，“从局部尺度不变特征的对象识别”，第七届国际计算机视觉会议论文集，1999年9月20-27日，Kerkyra，第1150-1157页第2卷)(参见，尺度不变特征变换，https：//en.wikipedia.org/wiki/Scale-invariant_feature_transform,下载于2017年5月30日，18页),Harris(Harris等人“一种组合的角和边缘检测器”，第四届阿尔维视觉会议，1988年8月31日至9月2日，6页)或拐角特征，例如Harris和Fast(Rosten等人，“更快更好：拐角检测的机器学习方法”，见模式分析和机器智能的电气和电子工程师协会学报，第32卷，第1期，第105-119页，2010年1月)特征。这些特征通常是在检测到的手掌ROI的中心区域提取的，以保证它们在手掌内部而不会落入背景中。
4.模板到实时图像对齐。
直接存于计算平台上的或可由计算平台访问的逻辑包括匹配逻辑套件404中的模板到实时图像对准442。该操作可通过一个对准模型来实现，该对准模型包含1)注册时采集的用户手掌模板图像，2)手掌ROI的矩形区域，以及3)从手掌ROI内部提取的一组2D特征点。对齐可通过对齐模板和实时图像的两个ROI来实现。通过对齐内掌线和/或外掌廓可实现进一步的细化。
图5显示了对准过程实施例的流程图500。流程图500可由存于计算平台上或可由计算平台访问的逻辑实现。
在步骤502，接收来自模板图像并对应于来自实时图像的实时曲线的模板曲线的输入。
在步骤504，对变换进行初始猜测。
在步骤506，将初始变换应用于模板曲线，以获得模板曲线的变换版本(变换曲线)。
在步骤508，计算测量变换曲线和实时曲线之间的总距离的目标函数。在一个实施方式中，计算目标函数包括：沿着变换曲线标记样本点，并为每个样本点找到实时曲线上最接近的点；以及计算所有采样点和实时曲线上相应点之间距离的平方和。该距离平方和既为变换曲线和实时曲线之间的总距离。
在步骤510，采用牛顿方法迭代地改进变换的参数，使得用改进的变换计算的目标函数最小化。例如
1.将变换的一个参数增加一个选定量，例如步长(δ)。
2.代入新的变换参数，计算新的目标函数(例如，总距离)。
3.用新旧目标函数之差除以步长得到导数。
4.根据上一步的计算结果决定是继续沿着正方向继续增加参数，还是改变到负方向减小参数，以及下一次迭代的步长。
以上步骤可用其他参数迭代继续，直到总距离和/或总距离的变化达到或超过阈值。
5.匹配特征
直接存于计算平台上或可由计算平台访问的逻辑包括匹配逻辑套件404中的特征匹配443。使用如上所述的初始对准，执行操作以迭代地细化两组特征之间的匹配，以最小化对应特征点之间的平方距离的总和。两组特征之间的匹配由全局变换T定义。使用T，具有位置p的模板特征点被传播到位置p’的实时图像中。然后该操作在p’周围搜索最近的实时图像特征点q。在变换T下p和q之间的距离是∣p’-q∣。
非线性优化可能收敛于局部最优，而非全局最优。(见局部最优，https：//en.wikipedia.orgwiki/Local_optimum,2017年5月30日下载,2页)。异常值的存在也可能对其产生负面影响。为了解决这些问题，可见稳健的统计方法如RANSAC(随机样本一致性，https：//en.wikipedia.org/wiki/Random_sample_consensus,2017年5月30日下载，10页)。
6.匹配特征的统计分析
在一个实施方式中，存于计算平台上的或可由计算平台访问的逻辑可执行一个识别流程，该识别流程对上述匹配特征操作输出的匹配后的特征点进行统计分析445来确定实时图像是否匹配模板。鲁棒统计方法444包括例如避免局部最小值和处理异常值的技术。模板403包括图4中的线和边431以及特征432。
迭代优化输出的全局变换T，定义了两组特征点之间的对应关系。对于模板特征p和实时图像特征q，当∣p’-q∣小于小阈值时，我们认为该对特征是匹配的。关于实时图像中手掌是否匹配模板的最终决定可通过研究匹配的特征对在所有特征对的百分比，以及匹配的特征对的空间分布来做出，例如，在手掌的不同部分都应该有匹配的特征对。
值得注意的是，前述方法仅仅是分析特征匹配的一种方式。在其他实现方法中，特征对的匹配也可以通过比较其特征向量的相似性来实现。
注册
为了将实时图像与用户特定的模板相匹配，首先为该用户创建模板。这是注册流程的工作，下面将参考实施例对其进行概述。注册流程可用包括计算机实现的逻辑系统来执行，例如计算平台300或注册服务器，登记的模板可以被存储已备将来导出用于识别。
1.检测
直接存于系统上或系统可访问的注册逻辑包括检测操作。注册流程的检测处理基本上类似于上面讨论的识别流程的检测处理。在注册期间，注册者的手的视频图像帧被采集和分析，包括(a)采集的原始图像，和(b)用矩形描绘的手掌兴趣区域(ROI)。例如，手掌检测包括确定在视频图像的当前帧中是否存在适当形状、大小和方向的手掌。如果没有检测到合适的手掌，则不对当前帧执行进一步的处理，且当前帧将被丢弃。否则，系统会定位手掌区域(ROI)-包含检测到手掌的近似矩形形状。在一个实施方式中，处理包括提供视觉反馈，例如在显示的视频流中叠加手掌区域ROI的矩形。检测到手掌的视频帧与检测到的手掌区域信息一起被发送到后续处理引擎，用于去噪和去模糊。一种注册过程的实施方式包括在采集图像时，提示用户每隔一段时间改变正被扫描手的位置。在一些实施例中，可用夹具或固定装置来固定手的位置，并可控制照明以在不同的照明环境下获取不同的统计样本。这些差异可在对采集的图像的统计分析中被滤除，以获得更紧密的统计置信窗口。为了获取高质量的数据，注册流程可以对图像质量和对齐精度的要求可以更高。高质量的模板图像可以提高识别的精度。
2.图像预处理(去噪去模糊)
存于系统上的或系统可访问的注册流程的逻辑包括图像预处理操作。用于注册的图像预处理基本上类似于上面讨论的用于识别流程的图像预处理。注册者手的视频图像帧经过基本上相同的图像预处理，并通过合成平均形成输出图像。该输出图像在手掌ROI区域内的比原始输入图像更清晰，包含的噪点更少(背景区域实际上可能会变得更模糊)。
在一种实施方式中，注册期间的去噪和去模糊过程可用夹具或固定装置具将手保持在适当位置来简化。注册期间使用受控照明时，可能无需要均化处理和去噪。在某些实施方式中，使用高质量照明可提供适用的图像，而无需去噪或去模糊。为了获取高质量的数据，注册流程可以对图像质量和对准精度提出更高的要求。在识别过程中，高质量图像可提供更好的匹配效果。
3.特征提取
注册过程中的特征提取可以用与上述匹配过程相同的方式执行。
4.提取手掌轮廓和内部曲线
手掌轮廓和内部曲线可以从预处理的图像中提取出来，使用一种松散地基于Canny边缘检测的技术。对于Canny方法的进一步描述，可以参考“Canny边缘检测器”(Canny边缘检测器，https://en.wikipedia.orgwiki/Canny_edge_detector,下载于2017年6月1日，6页)，仅供参考。然而，针对应用环境的具体变化，可以采用不同的方式提取轮廓和曲线。
在一个实施例中，可从图像中提取高对比度线，例如掌纹主线。掌纹主线包括当人手弯曲或折叠时形成的折痕，例如手相艺术家使用的折痕，生命线、爱情线等。掌纹主线的另一个例子选择了最深的掌纹线。在一个实施方式中，提取的是拐角、轮廓和内部曲线。在另一个实施方式中，只提取内部曲线或拐角。在进一步的实施方式中，仅提取轮廓线。
5.保存模板
用户手掌模板(模板403，包括图4中的线和边431以及特征432)包括多个单独或组合表示的信息项，包括：(1)用户手掌的高质量图像，(2)手掌的轮廓和内部曲线，(3)手掌ROI的矩形区域，以及(4)使用检测到的图像数据提取的一组特征。
完成后，注册过程的结果是一个掌纹模板，可用于匹配实时图像，用以识别候选人。图6中显示了一个例子，其中掌纹模板600包括手掌的轮廓601和多个特征602。
用提示引导
如前参考图1和图2所述，可在取景器图像上叠加一个提示，以引导用户将手掌放在相机视场内有助于手掌特征的捕捉和匹配的一个位置(和方向)。这里描述多个显示提示的技术。在光学透视头戴式设备系统中，计算机生成的图像通常通过半透明反射镜与“透过镜片”的真实世界的图像相叠加，这时可通过参照图7A、7B和7C所示的方法来提供提示。在图7A所示的实施方式中，系统只显示一个立体的,平行于相机成像平面733的3D环形(提示764)，而不显示相机103的视频。用户通过半透明的显示器看到手掌的真实图像766，这一真实图像和计算机显示的3D环形764叠加，用以引导用户将手掌部分(不含手指)放在圆环内，且让手掌平面732大致平行于圆环平面，也即相机成像平面733。这样，相机就能捕捉到满足尺寸和方向要求的高质量的手掌图像。在一个具体实现中，相机103位于头戴式设备102的一侧，则3D提示764应该显示在相机103所在一侧的前方，而不是头戴式设备中点的正前方。如果相机倾斜(例如，HTC ViveTM)，则3D提示764可以向用户显示为具有同样的倾斜角度，以保持其与相机的成像平面平行。在一个实施方式中，3D提示764的表观尺寸应该大致匹配真实手掌的尺寸，使得当手掌与提示764对齐时，当通过头戴式设备102观看时，手掌有正确的尺寸。例如，给小孩子的提示应该比成年人的提示尺寸更小，更靠近相机。3D提示的大小可在建模期间预先定义，或从使用例如参考图4所述手掌检测确定的手掌大小导出。
参考图7B显示另一个实施方式，头戴式设备102显示取景器图像763，该图像763包括实时相机视频以及叠加在实时视频上的提示764。这样引导用户将视频中的手掌与显示的提示对齐。一个问题是，由于显示器是半透明的，用户可以透过显示玻璃看到真实环境，同时又在显示器上通过相机捕捉的实时视频看到一个投影环境，当用户的眼睛和相机在位置、观察方向和视角大小上不同时，会出现感知上的冲突，真实环境和投影环境彼此不一致742。在一个实施方式中，这种冲突可通过在外围区域显示蒙片744来减少或消除，仅在显示器746中心的相对小的开口区域中显示实时视频。在图7B中蒙片使用交叉阴影线图案描绘，但在另一个实施例中，蒙片744可以是高强度的(白色)。这些蒙片既遮蔽了真实的(光学透视)环境，也减小了投影的(视频透视)区域。通过减少用户的有效视野，这种显示减轻了感知的冲突。小开口区域746本身可以直接被用作提示764，因为期望看见手的用户自然会将手掌放置在可见的开口区域内。
参考图7C显示了另一个实施方式，即通过显示偏移的相机视频来减少或消除视觉和体感之间的冲突。在图7C中，头戴式设备102的相机103位于头戴式设备的一侧。因此，当用户将手放在头盔式设备的正前方也即自己头部的正前方时，相机103拍摄的手掌将偏于图像帧的一侧792。控制器150检测图像792中的手掌，并从图像792中提取包含手掌的图像部分794。控制器150对图像部分794进行偏移，以生成让用户感觉更自然的手掌视图796，并将其在头戴式设备102的显示器中显示给佩戴者。在一些实施方式中，除了位置偏移之外，还可进行缩放偏移和旋转偏移，以解决用户眼睛和相机103之间的视角和观看方向上的差异。
图8显示了一个偏移图像的实施例。在图8中，具有视场866的相机103从头戴式设备102的中心偏移距离D(803)。当用户将手掌放置在在头戴式设备102中点的正前方时，相机103拍摄到的图像802中手掌的位置实际上从图像中心偏移了一个图像坐标偏移量d(805)。因此，在一个实施例中，将图像802移动d，以使得位移后的手掌图像大致位于图像806的中心，最后在显示器上显示图像806给佩戴头戴式设备102的用户。
在一个实施例中，头戴式设备102本身是一个计算设备，或通过电缆或无线接口连接到一个计算设备，例如控制器150，控制器150包括执行手掌认证操作序列的逻辑。操作序列包括从相机获取的图像802中检测到的手掌图像部分804，通过偏移量D(803)、相机视场866的角度和相机与预期放置手掌的位置之间的距离来估算屏幕偏移量d(805)，将图像802偏移d,使得手掌图像804移到显示图像806的中部；从而使得佩戴头戴式设备的用户从显示器中看起来手掌的位置和实际自己身体感觉手掌的位置基本一致，就好像用户是通过眼睛直接看到的手掌，而没有相机由于拍摄位置不同带来的偏移。
参考图9、10和11描述了用于可用于“视频透视”头戴式设备，为用户提供提示以引导其放置手掌的不同实施方式。“视频透视”头戴式设备，如图2所示，其不透明的前表面阻挡了对外部世界的观察，用户只能看到来自相机的视频反馈。在一种实施方式中，显示图像由实时相机视频叠加提示生成。(注意，与参考图7B和7C的讨论不同，视觉感知上不存在冲突。)3D提示的大小应该与真实手掌的大小大致匹配，这样当手掌与提示对齐时，手掌在相机视频中将具有正确的大小。例如，手掌较小的儿童的提示应该比手掌较大的成人的提示更小，并且更靠近相机。3D提示的大小可在建模过程中预先定义，或从手掌检测中获得。在另一个实施方式中，通过使用图7C和图8中描绘的一系列操作移动实时相机视频并在显示器中叠加显示提示。图9显示了一个使用3D提示的掌纹识别的实施例的流程图900，图10和图11显示了引导佩戴AR/VR头戴式设备的用户以一定的容差将手放在特定位置和方向的示例。流程图900可以由存于计算平台上或可以访问计算平台的逻辑实现。参考图10，用户正在结合图1所描述的掌纹识别技术使用可佩戴头戴式设备102。
步骤942，确定一个在虚拟现实/增强现实头戴式设备中运行的任务需要身份认证。
步骤944，可佩戴头戴式设备1002的为用户1001显示3D提示1064。在一个实施方式中，3D提示1064是手掌形状的半透明图像，其表现方式可以写实也可以风格化。相机1003(或3D传感器)可选地置于可佩戴头戴式设备1002的前侧，从而使得相机1003能够采集用户手掌的图像。
步骤946，系统在一个时间段内尝试在3D提示所指的位置检测手掌。
步骤948，如果没有检测到手掌，则在步骤950返回认证失败。
否则，在步骤952，系统基于检测到的手掌继续认证用户。
参考图11，用户已经按照3D提示1064的位置和平面方向放置了手掌1006。值得注意的是，在图11所示的实施例中，3D提示1064显示了一个或多个手指引导1005，用于指示用户如何放置手指。用户将手掌1006放置在面前，根据提示1064，手掌1006的一个或多个手指1007沿着提示1064中的手指引导1005的方向。使用所述技术，用户将手掌在莫个特定位置和/或以某个特定方向放置，可用于定义一个活动区域或最佳位置，或触发一个与手相关任务的开始。这些任务包括但不限于基于手掌的生物认证、确认、手跟踪、手势控制等。
安全应用
图12A显示了可选的配置实施例，其中如上所述的计算模块设置在移动电话50上。在其他示例中，计算设备可以是笔记本电脑、台式电脑、智能电视等。移动电话50包括具有前向(自拍)相机的镜头51和显示屏52的。在这个例子中，按钮55在移动电话50的正面。镜头51的相机的视场是显示屏52上方的区域。在这个例子中，由相机采集的取景器图像显示在显示屏52上。在一些实施例中，取景器图像限于一个区域，例如图中所示的圆形区域54。移动电话50包括执行一系列操作以完成手掌认证过程的逻辑。
显示器52用条格表示显示器上存在照明图案53，照明图案53由计算设备产生的图像帧生成，，其颜色范围取决于相机的波长灵敏度和采用的模态类型(例如掌纹、手掌静脉、多模式)。照明图案可以是实心的，或者条格或图案化的，允许清晰地看到显示器的未遮蔽部分。在所示示例中，照明图案是部分透明的，允许在照明图案透明部分观看由照相机采集的图像。在其他实施例中，照明图案可包括区域54中的开口(例如，空白空间)，用于显示图像中感兴趣区域，并可使显示的实时视频更清晰从而有助于引导用户按照区域54放置手掌，从而得到更佳认证结果。
使用在适当范围(例如，不可见、近可见、红外、组合和/或其他)内波长的照明图案，在认证过程中显示器62不太可能吸引旁观者的注意。
此外，可以根据相机的波长灵敏度和所采用的模态类型(例如掌纹、掌静脉、多模态)而选择照明源的发光光谱，这有利于检测在选定波长范围内可见，并可用于认证的大量特征。。
已经进行了实验以比较不同光照下手掌图像的特征密度。下面是不同光谱下角点特征的相对密度。
利用Matlab函数“检测快速特征”提取角点特征，对比度阈值为0.01。数据已通过460纳米蓝光下可检测的特征密度进行了归一化
颜色 波长 相对特征密度
蓝色 460纳米 1.00
桔黄色 630纳米 0.25
红色 700纳米 0.19
IR1 850纳米 0.10
IR2 940纳米 0.04
白色 0.81
可以看出，蓝光和低于485纳米波长范围的光对于从掌纹图像中提取皮肤表面的特征非常有效。例如，示例包括能有效提取皮肤表面特征的波长在485至350纳米范围的照明。波长更短可能对眼睛和皮肤造成伤害。
图12B显示了可选的计算设备，在该示例中是移动电话60。在其他示例中，计算设备可以是笔记本电脑、台式电脑、智能电视、虚拟或增强现实(VR/AR)头戴式设备等。移动电话包括具有视场65的背面相机镜头(未显示)和显示屏62。相机的视场65位于显示屏62下面或后面的区域。
在移动电话60后侧或与相机镜头的同侧有照明源，其照明视场66位于显示屏62下方或后面的区域。照明源可以是发光二极管或根据本文所述实施例的其他光源，其发射光谱主要在选定的波长范围内，以适合相机的波长灵敏度和所采用的模态类型(例如掌纹、手掌静脉、多模式)。照明光源可以是目标波长范围内的窄带光源，或是有滤光器过滤的宽带光源。
在该实施例中，由相机产生的取景器图像63显示在显示屏62上。在一些实施例中，如上所述，取景器图像可限于显示器的一部分。因为照明源具有主要波长在选定范围内的发射光谱，所以显示屏62的颜色同样由该波长范围决定。
移动电话60是一种包括执行上述操作序列以实现掌纹认证逻辑的计算设备。在该示例中，操作序列不需要在显示器62上显示照明图案。在一些实施例中，可在显示屏上显示暗或弱光图案，使得显示屏在弱光条件下不太可能吸引注意力。
在执行操作序列时，从手掌照明区域67中的视场65采集一张或者一组手掌图像，其中照明源的主要能量集中于所述波长范围内。
所述计算平台也可部署在汽车或其他机器上，并用于用户认证，以授权在该机器上进行进一步的操作。图12C显示了汽车示意图，配有如本文所述用于手掌认证的计算设备所需的各种配置。汽车1200可配有与计算设备连接的多个相机，这些相机可能设置在例如发动机舱1205a、后视镜壳体1205b、靠近驾驶员1205c的乘客舱内部、汽车1205d的侧面、汽车1205e的后部或车顶上的传感器舱1205f中。计算设备可专用于单个相机或连接到多个相机。由计算设备控制的子系统可包括解锁或打开驾驶员或乘客外门(1201a、1201b)的子系统。此外，这样的子系统包括解锁或打开行李箱盖或后舱门1202的子系统。此外，这样的子系统可包括子系统1203来启动发动机或解锁启动发动机的操作。子系统1204可以部署在车内或车外，用于诸如座椅调节、气候控制设置、娱乐系统定制、以及到云中账户信息的通信链接或其他功能的个性化配置。
由计算平台产生的指示成功匹配的信号可用于启动汽车子系统的操作，包括打开驾驶员侧车门或乘客侧车门、打开行李箱盖、启动发动机、使机器实现座位个性化、使娱乐系统设置个性化以及使气候系统设置个性化的子系统。
计算设备可配置为利用汽车上现有的相机，尤其是在自动驾驶汽车中。此外，计算设备可包括专用相机。计算设备在认证过程中使用的相机可放置在汽车内部，例如靠近控制面板，或放置在汽车外部，例如在侧后视镜中，或放置在汽车的前部、后部、侧面或顶部。
图13显示了一个网络系统示例。图13显示了一种集成了生物特征注册和认证的网络环境1300的实现方式。图13显示的环境1300包括授权用户数据存储1312、生平数据存储1314、访问控制应用服务器1315、注册流程软件和/或服务器1316、匹配流程软件和/或服务器1318以及网络1325。定制环境1300还包括社交媒体访问模块1352、候选数据收集模块1355、图像采集模块1336和计算设备1358。在其他实施方式中，环境1300可具有与上面列出的不相同的要素，和/或可具有其他/不同的要素来代替或补充上面列出的那些要素。
授权用户数据存储1312包括候选人标识和生物识别信息。在授权用户数据存储1312中，被批准或授权个人的生物统计数据可识别为对应于由匹配和验证流程和/或服务器1318提供的授权用户的生物特征数据。授权用户数据存储1312中的生物特征数据包括不同的数据类型，例如自由格式文本、结构化文本和/或非结构化文本。
匹配流程软件和/或服务器1318可在云计算环境、内部安装或其混合中提供所述生物识别和验证功能，这些功能可按订阅交付。在一些实施方式中，匹配的流程软件和/或服务器1318是按需定制的软件，用户站点通过小型客户端经由网络浏览器或移动应用程序访问该软件。在许多实施方式中，匹配的流程软件和/或服务器1318支持定制，其中配置选项可被改变以适应特定的安装，从而影响软件的外观、感觉和功能。例如，为了支持客户改变应用程序外观的共同需求，使应用程序看起来具有客户的品牌，产品可显示客户的徽标和定制颜色。
一些实施方式包括生平数据存储1314，该数据可包含授权用户的生平和行为数据。生平信息可以标识验证候选人的身份和/或候选人的公司。可识别信息可包括业务部门和工作角色数据，如公司名称、运营部门、位置、职称、正常工作职责、过去的工作、教育和附属关系。行为数据可包括通过授权(和非授权)方式经由环境1300尝试进入一个访问受控的场所。行为数据还可包括诸如浏览历史或从浏览历史中提取的标准化数据，以及社交媒体交互，例如最近的商业联系人、附属关系、提醒、订阅以及允许候选人对某些组织具有某些访问权限的其他数据。
生平数据存储1314包括不同的数据类型，例如自由格式文本、结构化文本和/或非结构化文本。在一些实施方式中，生平数据存储1314可包括网址和网页内容，例如博客帖子，以及视频、音乐和商业联系人的浏览历史。
访问控制应用服务器1315可访问生平数据存储1314的数据，以将用户生平数据与身份被验证的候选人相匹配。访问控制应用服务器1315可包括规则或分类器，用于将所识别的候选人的属性映射到候选人通过身份验证后所允许访问的应用上，例如公司(或组织)的信息技术资产。所公开的技术基于生平数据存储1314中的生平数据自动授权经验证的候选人访问各种场所、系统或空间。可以实施鼓励信任的程序和保障措施，以保持候选人对其个人数据的信心，即其个人数据被适当地用于有限的目的，且最好是在候选人知情和同意的情况下。
访问控制应用服务器1315可包括用于组织生平数据存储1314中信息的模板，以及用于将候选人的行业细分、工作角色和其他属性映射到候选人被访问控制应用服务器1315确定有权访问的可用系统、场所或人员的选定子集的规则或分类器。在一些实施方式中，生平数据存储1314可包括通过使用来自演示试验结果的数据运行机器学习训练而获得的结果。
在一个实施方式中，候选数据收集模块1355收集观察到的特定候选人的行为，以添加到生平数据存储1314中。也就是说，访问控制应用服务器1315可基于为候选人收集的行为信息随着时间改变候选人的权限。访问控制应用服务器1315可包括基于规则或分类器的算法，用于将候选电子邮件和浏览历史以及候选社交媒体兴趣映射到对人、场所和/或系统的潜在授权。
社交媒体访问模块1352可包括但不限于访问脸书、微软、谷歌、Mozilla、亚马逊、eBay、LogMeln等。
候选人数据收集模块1355收集和管理授权用户生平数据存储1314的数据，包括受验证的候选人的兴趣，即授权用户数据存储1312，通常通过选择加入并给予他们使用来自商业网站的浏览信息的许可。例如，该数据可包括已经通过候选人的浏览器访问了哪些产品的列表。候选数据收集模块1355可监控浏览器上的小型文本文件cookie，以及包括X-UIDH报头的超级cookie。该数据还可包括从候选人的社交媒体使用中收集的主题兴趣信息。其他实施方式可基于选择退出。有时，行为观察是在没有通知或用户可能错过的情况下实现的，这不是首选方法。
在一些实施方式中，环境1300的模块可以是不同类型的，包括工作站、服务器、计算集群、刀锋服务器、服务器群或任何其他数据处理系统或计算设备。模块可通过不同的网络连接以可通信地方式耦合到数据存储。例如，访问控制应用服务器1315和注册流程软件和/或服务器1316可经由网络1325(例如，因特网)耦合，且候选数据收集模块1355可耦合到直接网络链路。在一些实施方式中，社交媒体访问模块1352可通过无线热点连接。在一些实施方式中，图像采集模块1336可经由网络1325连接到计算设备1358，也可使用蓝牙或其他流行的通信介质直接连接到计算设备1358。
在一些实施方式中，网络1325可是局域网(LAN)、广域网(WAN)、WiFi、WiMAX、电话网络、无线网络、点对点网络、星形网络、令牌环网、集线器网络、诸如蓝牙的对等连接、近场通信、Z波、ZigBee或其他适当的数据网络配置，包括互联网。
计算设备1358包括网络浏览器1378和/或移动应用1388、蓝/紫/紫外照明模块1366和候选图像获取模块1368，其提供提示和界面以捕捉待验证候选的图像。候选成像获取模块1368可与图像采集模块1336结合工作，以获取用于验证目的的图像。在一些实施方式中，计算设备1358可以是个人电脑、笔记本电脑、平板电脑、智能手机、掌上电脑(PDA)、数字图像捕捉设备等。
在一些实施方式中，数据存储可将来自一个或多个租户的信息存储到公共数据库映像的表中，以形成按需数据库服务(ODDS)，该服务可以多种实施方式，例如多租户数据库系统(MTDS)。数据库映像可包括一个或多个数据库对象。在其他实施方式中，数据库可以是关系数据库管理系统(RDBMS)、面向对象数据库管理系统(OODBMS)、分布式文件系统(DFS)、无模式数据库或任何其他数据存储系统或计算设备。
具体实施方式
在一个实施方式中，描述了一种包括手掌认证的装置。
该装置可用于在不与其他物体表面发生事实接触(例如，“无接触”)的情况下采集目标个体的手掌(或其他身体部位)的图像来认证目标个体。该技术可以应用于可佩戴系统，例如头戴式设备(HMD)、护目镜等，以提供使用头戴式设备的应用的访问控制。除了专用设备(例如，智能手机、平板电脑、笔、手表等)之外，该装置可以集成到独立系统，或通过局域网(LAN)、广域网(WAN)或实现云或其他架构的互联网应用。该装置包括计算设备，该计算设备本身具有带显示屏和相机的头戴式设备或可以与一个头戴式设备通信。计算设备包括执行操作序列的逻辑，该操作序列包括在显示屏上呈现取景器图像。取景器图像至少包括一个或更多显示于佩戴头戴式设备用户的前方的提示。取景器图像至少包括用于引导佩戴头戴式设备的用户将手掌放置在相机视场内的至少一个位置的提示。操作序列还包括使用相机采集手掌的一组图像。该组图像被处理以确定手掌的一组可用于身份识别的特征。该组特征与登记的手掌模板进行比较，用以识别手掌。识别结果用以确定所识别的手掌是否属于一组有授权凭证可以用头戴式设备访问一个或多个应用的一组人员；且只要佩戴头戴式设备的用户是被授权的人时，就允许访问至少一个应用。
一些实施方式还包括在操作序列中显示提示，该提示是3D虚拟物体，所述3D虚拟物体叠加到显示屏显示的由所述相机捕捉的实时图像流上，或者当显示屏为半透明时，叠加到用户通过半透明显示器观察到的真实世界的背景上。
一些实施方式还包括在操作序列中显示提示，该提示以一倾斜角度向用户显示，所述倾斜角度反映了用户的视觉平面和相机的图像平面之间的夹角。
一些实施方式还包括在操作序列中，基于用户手掌的大小来确定适合于用户的提示的尺寸和/或位置，并以所确定的尺寸和/或位置来显示要在屏幕上出现的提示。
一些实施方式还包括在操作序列中显示取景器图像，且其中取景器图像包括显示叠加在由所述相机捕捉的实时图像流上的提示。
一些实施方式还包括在操作序列中显示取景器图像，且其中取景器图像包括显示叠加在由所述相机采集的实时图像流上，由半透明显示器立体显示的提示，以及用于阻止用户通过半透明显示器看见真实世界背景的蒙片。
一些实施方式还包括将相机安装在头戴式设备的一侧，并且在操作序列中，按照计算的偏移量移动所述图像，并显示被移动的图像；从而使得佩戴头戴式设备的用户从显示器看起来手掌的位置在自己的前方，和通过眼睛直接观察的手掌位置基本一致，而没有由于相机和眼睛之间位置不同带来的视角偏移。
一些实施方式还包括在操作序列中基于用户手掌的大小来确定适合用户提示的大小和/或位置，并以所确定的尺寸和位置来显示要在屏幕上出现的提示。
一些实施方式还包括在操作序列中，在显示屏上显示手指摊开的手掌形状的图像，轮廓或开口，用来引导用户放置手掌。
一些实施方式还包括在操作序列中在显示屏上显示趋近圆形或椭圆形或长方形的图像，轮廓或开口，用来引导用户放置手掌。
一些实施方式还包括在操作序列中，在识别手掌时，生成信号以实现进一步的处理。
一些实施方式还包括在操作序列中，在识别手掌时，生成信号以允许虚拟现实或增强现实头戴式设备的操作。
在一个实施方式中，描述了一种将手掌数字表示与手掌模板匹配的方法。该方法可用于在不与其他物体表面发生事实接触(例如，“无接触”)的情况下采集目标个体的手掌或其他身体部位的图像来认证目标个体。该技术可应用于，诸如头戴式设备(HMD)、护目镜等可佩戴系统中，也可应用于专用设备(例如，智能手机、平板电脑、笔、手表等)，或独立系统，或通过局域网(LAN)、广域网(WAN)或实现云或其他架构的互联网。该方法包括通过平移、旋转和缩放来执行手掌数字表示与手掌模板的对准，并在数字表达和模板之间进行特征匹配。
一些实施方式还包括从检测到的边缘中选择不重叠的手掌特征。
一些实施方式还包括从检测到的轮廓中选择不重叠的手掌特征。
一些实施方式还包括通过采集一个或者多个手掌的图像来生成手掌的模板；基于采集的图像创建合成；以及将该合成存储为手掌的手掌数字表示。
一些实施方式还包括在可佩戴头戴式设备的显示屏上呈现取景器图像。取景器图像可包括来自相机的实时图像流和看起来位于佩戴头戴式设备用户前方的提示。取景器图像和提示可以用于引导佩戴头戴式设备的用户将手掌置于相机视场内的一个位置。
在一些实施方式中，确定所识别的手掌是否属于一组有授权凭证可以用头戴式设备访问一个或多个应用的一组人员；且只要佩戴头戴式设备的用户是被授权的人时，就允许访问至少一个应用。
在一些实施方式中，提示可以是立体的。
在一些实施方式中，该提示可为类似于手指摊开的手掌形状的图像，轮廓或开口，用来引导用户放置手掌。
在一些实施方式中，提示可为趋近圆形或椭圆形或长方形的图像，轮廓或开口，用来引导用户放置手掌。
在一些实施方式中，在识别手掌时，产生信号以实现进一步的处理。
在一些实施方式中，在识别手掌时，产生信号以允许虚拟现实或增强现实头戴式设备的操作。
在一些实施方式中，在识别手掌时，产生信号以允许移动电话子系统的操作。
在一些实施方式中，在识别手掌时，产生信号以允许手术或医疗设备的操作。
一些实施方式还包括通过根据特定的能量分布可控地激励一个或多个照明源来照明手掌，并采集一个或多个包含手掌的图像；从而获得比在不受控制的光照下采集的图像更高的手掌部分纹理和特征的对比度。
在一些实施方式中，根据特定的坡度轨道可控地一个或多个照明源。
在一些实施方式中，一个或多个照明源被可控地激励到超过300毫秒的过渡时间。
在一些实施方式中，一个或多个照明源被可控地激励以提供低于460纳米的照明波长。
在一些实施方式中，一个或多个照明源被可控地激励以提供高于320纳米的照明波长。
在一些实施方式中，一个或多个照明源被可控地激励以提供380-400纳米范围内的照明波长。
在一些实施方式中，一个或多个照明源被可控地激励以提供800纳米以上的照明波长。
在一些实施方式中，一个或多个照明源被可控地激励以提供850-940纳米范围内的照明波长。
其他实施方式可包括执行上述任何方法的计算机实现的系统，该系统包括处理器、耦合到处理器的存储器以及加载到存储器中的计算机指令。又一实施方式可包括刻录有计算机程序指令的有形计算机可读存储介质；当指令在处理器上执行时，可使计算机实现上述任何方法。
这里使用的术语和表达被用作描述性的术语和表达，而非限制性的，且在使用这些术语和表达时，无意排除所显示和描述的特征或其部分的任何等同物。此外，已经描述了所公开技术的某些实施方式，对于本领域普通技术人员来说显而易见的是，在不脱离所公开的技术的精神和范围的情况下，可使用结合了在此公开概念的其他实施方式。因此，所描述的实施方式在所有方面都被认为仅仅是说明性的，而非限制性的。

Claims (27)

1.一种包含手掌认证的设备，其特征在于，包括：
一计算设备，所述计算设备包括一带显示屏和相机的头戴式设备或与一带显示屏和相机的头戴式设备通信；
所述计算设备包括执行操作序列的逻辑，所述操作序列包括：
在显示屏上呈现一取景器图像，所述取景器图像包括至少一个显示于佩戴所述头戴式设备用户的前方的提示；所述取景器图像至少包括引导佩戴所述头戴式设备的用户将手掌放置在相机视场内的至少一个位置的提示；
用相机捕捉手掌的一组图像；
处理该组图像以确定手掌的一组识别特征；
将该组识别特征与登记的掌纹进行比较，以识别手掌；
确定所识别的手掌是否属于一组有授权凭证可以用所述头戴式设备访问一个或多个应用的人员；
且只要佩戴所述头戴式设备的用户是被授权的人员时，就允许访问至少一个应用。
2.根据权利要求1所述的包含手掌认证的设备，其特征在于，所述操作序列包括当佩戴所述头戴式设备的用户是未经授权的人时拒绝访问至少一个应用。
3.根据权利要求1所述的包含手掌认证的设备，其特征在于，所述操作序列包括呈现所述提示，所述提示是3D虚拟物体，所述3D虚拟物体叠加到显示屏显示的由所述相机捕捉的实时图像流上，或者当显示屏为半透明时，叠加到用户通过半透明显示器观察到的真实世界的背景上。
4.根据权利要求3所述的包含手掌认证的设备，其特征在于，所述呈现包括以一倾斜角度向用户显示提示，所述倾斜角度反映了用户的视觉平面和相机的图像平面之间的夹角。
5.根据权利要求3所述的包含手掌认证的设备，其特征在于，所述呈现包括基于用户手掌的大小来确定适合于用户的提示的尺寸，并以所确定的尺寸来显示要在屏幕上出现的提示。
6.根据权利要求1所述的包含手掌认证的设备，其特征在于，所述操作序列包括显示取景器图像，且所述取景器图像包括显示叠加在由所述相机捕捉的实时图像流上的提示。
7.根据权利要求6所述的包含手掌认证的设备，其特征在于，所述操作序列包括显示取景器图像，且所述取景器图像包括显示叠加在由所述相机捕捉的实时图像流上，由半透明显示器立体显示的提示，以及用于阻止用户通过半透明显示器看见真实世界背景的蒙片。
8.根据权利要求6所述的包含手掌认证的设备，其特征在于，所述相机安装在所述头戴式设备的一侧，所述处理包括按照计算的偏移量移动所述图像，并显示被移动的图像；从而使得佩戴所述头戴式设备的用户从显示器看起来手掌的位置在自己的前方，和通过眼睛直接观察的手掌位置基本一致，而没有由于相机和眼睛之间位置不同带来的视角偏移。
9.根据权利要求6所述的包含手掌认证的设备，其特征在于，所述呈现包括基于用户手掌的大小来确定适合于用户提示的尺寸，并以所确定的尺寸来显示要在屏幕上出现的提示。
10.根据权利要求1所述的包含手掌认证的设备，其特征在于，所述呈现提示包括在显示屏上显示手指摊开的手掌形状的图像作为开口，用来引导用户放置手掌。
11.根据权利要求1所述的包含手掌认证的设备，其特征在于，呈现所述提示包括在显示屏上显示趋近圆形或椭圆形的图像作为开口，用来引导用户放置手掌。
12.根据权利要求1所述的包含手掌认证的设备，其特征在于，所述操作序列包括在识别手掌时，生成信号以实现进一步的处理。
13.根据权利要求1所述的包含手掌认证的设备，其特征在于，所述操作序列包括在识别手掌时，生成信号以允许所述虚拟现实或增强现实头戴式设备的操作。
14.一种用于手掌认证的方法，其特征在于，包括：
在所述头戴式设备的显示屏上呈现一取景器图像，所述取景器图像包括至少一个显示于佩戴所述头戴式设备用户的前方的提示；所述取景器图像至少包括引导佩戴所述头戴式设备的用户将手掌放置在连接到所述头戴式设备的相机的视场内的至少一个位置的提示；
用相机捕捉手掌的一组图像；
处理该组图像以确定手掌的一组识别特征；
将该组识别的特征与登记的掌纹进行比较，以识别手掌；
确定所识别的手掌是否属于一组有授权凭证可以用所述头戴式设备访问一个或多个应用的人员；
且只要佩戴所述头戴式设备的用户是被授权的人员时，就允许访问至少一个应用。
15.根据权利要求14所述的用于手掌认证的方法，其特征在于，包括当佩戴所述头戴式设备的用户是未经授权的人时拒绝访问至少一个应用。
16.根据权利要求14所述的用于手掌认证的方法，其特征在于，包括呈现所述提示，所述提示是3D虚拟物体，所述3D虚拟物体叠加到显示屏显示的由所述相机捕捉的实时图像流上，或者当显示屏为半透明时，叠加到用户通过半透明显示器观察到的真实世界的背景上。
17.根据权利要求16所述的用于手掌认证的方法，其特征在于，所述呈现包括以一倾斜角度向用户显示提示，所述倾斜角度反映了用户的视觉平面和相机的图像平面之间的夹角。
18.根据权利要求16所述的用于手掌认证的方法，其特征在于，所述呈现包括基于用户手掌的大小来确定适合于用户的提示的尺寸，并以所确定的尺寸来显示要在屏幕上出现的提示。
19.根据权利要求14所述的用于手掌认证的方法，其特征在于，所述呈现提示包括显示取景器图像，且所述取景器图像包括显示叠加在由所述相机捕捉的实时图像流上的提示。
20.根据权利要求19所述的用于手掌认证的方法，其特征在于，所述操作序列包括显示取景器图像，且所述取景器图像包括显示叠加在由所述相机捕捉的实时图像流上，由半透明显示器立体显示的提示，以及用于阻止用户通过半透明显示器看见真实世界背景的蒙片。
21.根据权利要求19所述的用于手掌认证的方法，其特征在于，所述相机安装在所述头戴式设备的一侧，所述处理包括按照计算的偏移量移动所述图像，并显示被移动的图像；从而使得佩戴所述头戴式设备的用户从显示器看起来手掌放置在自己的前方，和通过眼睛直接观察的手掌位置基本一致，而没有由于相机和眼睛之间位置不同带来的视角偏移。
22.根据权利要求19所述的用于手掌认证的方法，其特征在于，所述呈现包括基于用户手掌的大小来确定适合于用户提示的大小，并且向用户显示所确定大小的提示。
23.根据权利要求14所述的用于手掌认证的方法，其特征在于，所述呈现提示包括在显示屏上手指摊开的手掌的图像作为开口，用来引导用户放置手掌。
24.根据权利要求14所述的用于手掌认证的方法，其特征在于，呈现所述提示包括在显示屏上显示趋近圆形或椭圆形的图像作为开口，用来引导用户放置手掌。
25.根据权利要求14所述的用于手掌认证的方法，其特征在于，识别手掌时，生成信号以实现进一步的处理。
26.根据权利要求14所述的用于手掌认证的方法，其特征在于，在识别手掌时，生成信号以允许所述虚拟现实或增强现实头戴式设备的操作。
27.一种非暂时性计算机可读存储介质，其上压印有计算机程序指令以将掌纹数字表示与掌纹模板匹配，当在处理器上执行该指令时，实施一种方法，其特征在于，所述方法包括：
在头戴式设备的显示屏上呈现一取景器图像，所述取景器图像包括至少一个显示于佩戴所述头戴式设备用户的前方的提示；所述取景器图像至少包括引导佩戴所述头戴式设备的用户将手掌放置在连接到所述头戴式设备的相机的视场内的至少一个位置的提示；
用相机捕捉手掌的一组图像；
处理该组图像以确定手掌的一组识别特征；将该组识别的特征与登记的掌纹进行比较，以识别手掌；
确定所识别的手掌是否属于一组有授权凭证可以用所述头戴式设备访问一个或多个应用的人员；且只要佩戴所述头戴式设备的用户是被授权的人员时，就允许访问至少一个应用。
CN201880065085.8A 2016-08-31 2018-01-19 增强现实虚拟现实非接触掌纹识别 Pending CN111226212A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662382067P 2016-08-31 2016-08-31
US15/726,322 US11151234B2 (en) 2016-08-31 2017-10-05 Augmented reality virtual reality touchless palm print identification
US15/726322 2017-10-05
PCT/CN2018/073332 WO2019068239A1 (en) 2016-08-31 2018-01-19 IDENTIFICATION OF NON-CONTACT PALMAIRE FOOTPRINT OF VIRTUAL REALITY WITH INCREASED REALITY

Publications (1)

Publication Number Publication Date
CN111226212A true CN111226212A (zh) 2020-06-02

Family

ID=61240595

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880065085.8A Pending CN111226212A (zh) 2016-08-31 2018-01-19 增强现实虚拟现实非接触掌纹识别
CN201880037727.3A Pending CN110741378A (zh) 2016-08-31 2018-01-19 蓝紫光照明下非接触式掌纹识别系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880037727.3A Pending CN110741378A (zh) 2016-08-31 2018-01-19 蓝紫光照明下非接触式掌纹识别系统

Country Status (3)

Country Link
US (2) US10303865B2 (zh)
CN (2) CN111226212A (zh)
WO (2) WO2019068239A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668540A (zh) * 2021-01-06 2021-04-16 安徽省东超科技有限公司 生物特征采集识别系统及方法、终端设备和存储介质
CN113673477A (zh) * 2021-09-02 2021-11-19 青岛奥美克生物信息科技有限公司 掌静脉非接触式三维建模方法、装置及认证方法
CN114842518A (zh) * 2022-04-19 2022-08-02 熵基科技股份有限公司 掌纹识别方法及系统

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416338B (zh) * 2018-04-28 2021-12-14 深圳信息职业技术学院 一种非接触掌纹身份认证方法
US11353967B2 (en) 2018-05-31 2022-06-07 Arkh Litho Holdings, LLC Interacting with a virtual environment using a pointing controller
US11050752B2 (en) 2018-06-07 2021-06-29 Ebay Inc. Virtual reality authentication
CN110850975B (zh) * 2018-11-08 2024-03-19 英属开曼群岛商麦迪创科技股份有限公司 具有手掌辨识的电子系统、车辆及其操作方法
US11989355B2 (en) 2019-02-18 2024-05-21 Arkh Litho Holdings, LLC Interacting with a smart device using a pointing controller
KR102743872B1 (ko) * 2019-06-05 2024-12-18 삼성전자주식회사 광학적 지문 인식을 위한 디스플레이 패널의 광원 설정 방법 및 이를 이용한 광학적 지문 인식 방법
US10832485B1 (en) * 2019-06-24 2020-11-10 Verizon Patent And Licensing Inc. CAPTCHA authentication via augmented reality
JP7580453B2 (ja) 2019-09-24 2024-11-11 アーク， インコーポレイテッド スマートリング
US12455622B2 (en) 2019-09-24 2025-10-28 Arkh, Inc. Smart ring
EP3832407B1 (fr) * 2019-12-06 2024-03-27 Tissot S.A. Procédé de connexion sécurisée d'une montre à un serveur distant
WO2021117917A1 (ko) * 2019-12-09 2021-06-17 엘지전자 주식회사 발광소자를 이용하여 가이드를 제공하는 전자 장치 및 그 제어 방법
CN111177696A (zh) * 2019-12-28 2020-05-19 北京太坦科技有限公司 智能终端开机认证方法
CN111222116A (zh) * 2019-12-28 2020-06-02 北京太坦科技有限公司 一种智能终端
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
US12416967B2 (en) 2020-03-16 2025-09-16 Arkh, Inc. Spatially aware computing hub and environment
USD1009861S1 (en) 2020-09-25 2024-01-02 Arkh, Inc. Smart ring
CA3189464A1 (en) * 2020-10-02 2022-04-07 Ning Zhang Enhancing image data for different types of displays
FR3116919A1 (fr) * 2020-11-30 2022-06-03 Orange Dispositif et procédé d’authentification d’un utilisateur d’un casque de réalité virtuelle
US12236537B2 (en) 2020-12-18 2025-02-25 Arkh, Inc. Spatially aware environment relocalization
US12118677B2 (en) 2020-12-22 2024-10-15 Arkh, Inc. Spatially aware environment interaction
US11615639B1 (en) * 2021-01-27 2023-03-28 Jackson Klein Palm vein identification apparatus and method of use
CN113850110A (zh) * 2021-03-04 2021-12-28 天翼智慧家庭科技有限公司 基于模糊聚类和sift的掌静脉图像匹配方法
US20220300593A1 (en) * 2021-03-16 2022-09-22 Silk Id Systems Inc. System and method of biometric identification of a subject
US11354924B1 (en) * 2021-05-17 2022-06-07 Vr Media Technology, Inc. Hand recognition system that compares narrow band ultraviolet-absorbing skin chromophores
US20230222197A1 (en) * 2022-01-07 2023-07-13 Jumio Corporation Biometric Authentication Using Head-Mounted Devices
TW202332267A (zh) * 2022-01-26 2023-08-01 美商元平台技術有限公司 具有基於機器學習的寬視野立體視圖合成的顯示系統
US12231615B2 (en) 2022-01-26 2025-02-18 Meta Platforms Technologies, Llc Display system with machine learning (ML) based stereoscopic view synthesis over a wide field of view
CN217061035U (zh) * 2022-03-24 2022-07-26 腾讯科技（深圳）有限公司 刷掌设备
US20240123942A1 (en) * 2022-10-13 2024-04-18 Ford Global Technologies, Llc Vehicle access
CN116012895A (zh) * 2022-12-26 2023-04-25 奥比中光科技集团股份有限公司 一种手掌特征识别设备及其识别方法、存储介质
US11972526B1 (en) 2023-03-31 2024-04-30 Apple Inc. Rendering of enrolled user's face for external display
US12159351B2 (en) * 2023-03-31 2024-12-03 Apple Inc. Rendering of a guest user's face for external display
CN116778536B (zh) * 2023-06-21 2026-01-23 杭州海康威视数字技术股份有限公司 掌纹、掌静脉图像采集设备、方法、装置及电子设备
US12417582B2 (en) 2023-09-25 2025-09-16 Bank Of America Corporation System and method for verifying user interactions in an extended reality environment
FR3157597B1 (fr) * 2023-12-22 2025-12-26 Banks And Acquirers Int Holding Procédé d’enrôlement biométrique à réalité augmentée
FR3157595B1 (fr) * 2023-12-22 2025-12-26 Banks And Acquirers Int Holding Station holographique d’enrôlement biométrique

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212414A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. Ar glasses with event and sensor triggered control of ar eyepiece applications
CN103269481A (zh) * 2013-05-13 2013-08-28 广东欧珀移动通信有限公司 对便携式电子设备的程序或文件加密保护的方法及系统
US20160019423A1 (en) * 2014-07-15 2016-01-21 Luis M. Ortiz Methods and systems for wearable computing device
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
US20160290764A1 (en) * 2013-03-13 2016-10-06 Advanced Eye Protection IP Holding Optical positioning aiming system
CN106355972A (zh) * 2016-11-30 2017-01-25 西安科技大学 一种悬臂式掘进机虚拟培训系统的培训方法
CN106980983A (zh) * 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU8516382A (en) 1981-09-21 1983-03-31 Stellar Systems, Inc. Personnel identification by finger characteristics
US7496214B2 (en) 2002-09-25 2009-02-24 The Hong Kong Polytechnic University Method of palm print identification
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US8787630B2 (en) * 2004-08-11 2014-07-22 Lumidigm, Inc. Multispectral barcode imaging
US8027518B2 (en) 2007-06-25 2011-09-27 Microsoft Corporation Automatic configuration of devices based on biometric data
EP2244224B1 (en) 2008-02-15 2013-10-30 Fujitsu Limited Photographic device for biometrics and biometric apparatus
US8229178B2 (en) 2008-08-19 2012-07-24 The Hong Kong Polytechnic University Method and apparatus for personal identification using palmprint and palm vein
KR20110038563A (ko) 2009-10-08 2011-04-14 최운호 운전자 인증을 통한 차량 제어 방법, 차량 단말기, 생체인식 카드 및 시스템과, 생체인식 카드와 단말기를 이용한 탑승자 보호 추적 기능을 제공하는 방법
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US8526682B2 (en) 2011-01-20 2013-09-03 Daon Holdings Limited Methods and systems of authentication
US8692738B2 (en) * 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
KR101517371B1 (ko) * 2012-03-16 2015-05-04 유니버셜 로봇 가부시키가이샤 개인인증방법 및 개인인증장치
US20140068740A1 (en) 2012-09-05 2014-03-06 Element, Inc. System and method for biometric authentication in connection with camera equipped devices
US20160140766A1 (en) * 2012-12-12 2016-05-19 Sulon Technologies Inc. Surface projection system and method for augmented reality
US10152135B2 (en) 2013-03-15 2018-12-11 Intel Corporation User interface responsive to operator position and gestures
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
EP3055693B1 (en) * 2013-10-11 2022-12-14 HID Global Corporation Miniaturized optical biometric sensing
US20150186708A1 (en) 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
US20150205992A1 (en) * 2014-01-21 2015-07-23 Lumidigm, Inc. Multispectral imaging biometrics
US9723300B2 (en) * 2014-03-17 2017-08-01 Spatial Intelligence Llc Stereoscopic display
US9659205B2 (en) 2014-06-09 2017-05-23 Lawrence Livermore National Security, Llc Multimodal imaging system and method for non-contact identification of multiple biometric traits
US10599932B2 (en) * 2014-06-09 2020-03-24 Lawrence Livermore National Security, Llc Personal electronic device for performing multimodal imaging for non-contact identification of multiple biometric traits
WO2016017101A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20160092726A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Using gestures to train hand detection in ego-centric video
US9778750B2 (en) * 2014-09-30 2017-10-03 Xerox Corporation Hand-gesture-based region of interest localization
US20160116740A1 (en) * 2014-10-24 2016-04-28 Seiko Epson Corporation Display device, control method for display device, display system, and computer program
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
US10164971B2 (en) * 2015-10-22 2018-12-25 Oracle International Corporation End user initiated access server authenticity check
CN106250823A (zh) * 2016-07-21 2016-12-21 同济大学 一种掌纹掌脉识别方法及掌纹掌脉图像采集仪
CN106529249A (zh) * 2016-10-31 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种信息交互的方法及虚拟现实眼镜

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212414A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. Ar glasses with event and sensor triggered control of ar eyepiece applications
US20160290764A1 (en) * 2013-03-13 2016-10-06 Advanced Eye Protection IP Holding Optical positioning aiming system
CN103269481A (zh) * 2013-05-13 2013-08-28 广东欧珀移动通信有限公司 对便携式电子设备的程序或文件加密保护的方法及系统
US20160019423A1 (en) * 2014-07-15 2016-01-21 Luis M. Ortiz Methods and systems for wearable computing device
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN106355972A (zh) * 2016-11-30 2017-01-25 西安科技大学 一种悬臂式掘进机虚拟培训系统的培训方法
CN106980983A (zh) * 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668540A (zh) * 2021-01-06 2021-04-16 安徽省东超科技有限公司 生物特征采集识别系统及方法、终端设备和存储介质
CN113673477A (zh) * 2021-09-02 2021-11-19 青岛奥美克生物信息科技有限公司 掌静脉非接触式三维建模方法、装置及认证方法
CN114842518A (zh) * 2022-04-19 2022-08-02 熵基科技股份有限公司 掌纹识别方法及系统

Also Published As

Publication number Publication date
WO2018223708A1 (en) 2018-12-13
US11151234B2 (en) 2021-10-19
US10303865B2 (en) 2019-05-28
WO2019068239A1 (en) 2019-04-11
US20180060683A1 (en) 2018-03-01
US20180060554A1 (en) 2018-03-01
CN110741378A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
US11151234B2 (en) Augmented reality virtual reality touchless palm print identification
US11188734B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US20150186708A1 (en) Biometric identification system
CN107995979B (zh) 用于对用户进行认证的系统、方法和机器可读介质
JP6663188B2 (ja) 認証システムにおいてユーザを登録および認証するための方法、顔認証システム、ならびに認証システムにおいてユーザを認証するための方法
KR101495430B1 (ko) 바이오메트릭 인증을 위한 품질 메트릭
CN112639871A (zh) 生物体认证系统、生物体认证方法及程序
KR20190130448A (ko) 생체 인증을 수행하는 전자 장치 및 그 동작 방법
Reddy et al. A robust scheme for iris segmentation in mobile environment
Upadhyaya Advancements in computer vision for biometrics enhancing security and identification
Genovese et al. Advanced biometric technologies: emerging scenarios and research trends
KR20240137753A (ko) Ar디바이스의 개인 보안 시스템
CN113454639A (zh) 信息处理装置、信息处理方法和存储介质
HK1246928B (zh) 使用移动设备捕获的图像执行基於指纹的用户认证的系统和方法
HK1246928A1 (zh) 使用移动设备捕获的图像执行基於指纹的用户认证的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200602

WD01 Invention patent application deemed withdrawn after publication