[go: up one dir, main page]

CN107209936B - 信息处理设备，信息处理方法和程序 - Google Patents

信息处理设备，信息处理方法和程序 Download PDF

Info

Publication number
CN107209936B
CN107209936B CN201580075931.0A CN201580075931A CN107209936B CN 107209936 B CN107209936 B CN 107209936B CN 201580075931 A CN201580075931 A CN 201580075931A CN 107209936 B CN107209936 B CN 107209936B
Authority
CN
China
Prior art keywords
user
sight
line
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580075931.0A
Other languages
English (en)
Other versions
CN107209936A (zh
Inventor
塚本竹雄
小波宗一
伊藤智行
安倍崇史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107209936A publication Critical patent/CN107209936A/zh
Application granted granted Critical
Publication of CN107209936B publication Critical patent/CN107209936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Collating Specific Patterns (AREA)

Abstract

[目的]提出可能基于视线的移动来实现高安全性的认证的信息处理设备、信息处理方法和程序。[解决方案]一种信息处理设备，设置有：视线移动识别单元，基于由成像单元捕获的眼睛的图像和用户身体部分的图像来识别用户视线对于位于用户视线中的用户身体部分的移动；以及用户认证单元，基于识别出的用户的视线的移动来认证用户。

Description

信息处理设备，信息处理方法和程序
技术领域
本公开涉及信息处理设备、信息处理方法和程序。
背景技术
在过去，已经提出了通过使用用户的视线的变化的检测结果来认证用户的技术。例如，专利文献1公开了一种技术，该技术将包括识别对于在显示面板上的多个图像的用户的凝视位置和凝视点的移动的操作模式，并且基于识别出的操作模式与预先登记的确定模式之间的匹配度来认证用户。
引用列表
专利文献
专利文献1：JP 2014-92940A
发明内容
技术问题
但是，利用专利文献1中所述的技术，认证的安全性较低。例如，利用该技术，在显示面板上可显示的图像数量受到限制，因此可登记的确定模式的数量受到限制。因此，在用户认证中存在例如通过第三方窥视用户的视线移动而被第三方识别确定模式的风险。
因而，本公开提出了能够使用视线的移动来实现具有高安全性的新颖且改进的认证信息处理设备、信息处理方法和程序。
对问题的解决方案
根据本公开，提供了一种信息处理设备，包括：视线移动识别单元，被配置为基于由成像单元捕获的用户眼睛的图像和位于用户视线方向的用户身体的图像来识别用户视线对于用户身体的移动；以及用户认证单元，被配置为基于识别出的视线的移动来认证用户。
另外，根据本公开，提供了一种信息处理方法，包括：基于由成像单元捕获的用户眼睛的图像和位于用户视线方向的用户身体的图像来识别用户视线对于用户身体的移动；以及基于识别出的视线的移动来认证用户。
另外，根据本公开，提供了一种程序，使计算机被用作视线移动识别单元，被配置为基于由成像单元捕获的用户眼睛的图像和位于用户视线方向的用户身体的图像来识别用户视线对于用户身体的移动；以及用户认证单元，被配置为基于识别出的视线的移动来认证用户。
发明的有利效果
如上面所提到的，根据本公开，有可能使用视线的移动来实现具有高安全性的认证。注意，本文描述的效果不一定是限制性的，而是可以是本公开中描述的效果之一。
附图说明
图1是根据本公开的第一实施例的信息处理设备10-1的外观视图。
图2是示出根据实施例的信息处理设备10-1的示例性配置的功能框图。
图3是示出根据实施例的用户的眼球的图像的示例的解释图。
图4是示出根据实施例的用户的右手的图像的示例的解释图。
图5是示出根据实施例的对于用户的右手的视线操作的示例的解释图。
图6是示出根据实施例的与手势组合的视线操作的示例的解释图。
图7是示出根据实施例的用户信息DB 130的示例性配置的解释图。
图8是示出根据实施例的应用示例的用户身体的图像的示例的解释图。
图9是示出根据应用示例的对于用户身体的视线操作的示例的解释图。
图10是示出根据实施例的操作的一部分的流程图。
图11是示出根据实施例的操作的一部分的流程图。
图12是示出根据本公开的第二实施例的信息处理设备10-2的示例性配置的功能框图。
图13是根据本公开的第三实施例的信息处理设备30的外观视图。
图14是示出根据实施例的信息处理设备30的示例性配置的功能框图。
图15是示出信息处理设备10-1、信息处理设备10-2以及信息处理设备30共用的硬件配置的解释图。
具体实施方式
在下文中，将参考附图详细描述本发明的一个或多个优选实施例。在本说明书和附图中，具有基本相同功能和结构的结构性元件用相同的附图标记表示，并且省略对这些结构性元件的重复解释。
另外，在本说明书和附图中，具有基本相同功能和结构的多个结构性元件可以通过在相同附图标记的末尾添加不同的字母来区分。例如，如有必要，具有基本相同功能和结构的多个元件被区分(诸如眼球图像20a和眼球图像20b)。但是，当不需要区分具有基本上相同功能和结构的多个结构性元件时，仅附上相同的附图标记。例如，当不需要区分眼球图像20a和眼球图像20b时，它们被简单地称为眼球图像20。
另外，现在将按照如下所示的项的顺序描述本发明的实施例。
1.第一实施例
2.第二实施例
3.第三实施例
4.硬件配置
5.修改示例
<<1.第一实施例>>
<1-1.信息处理设备10-1的基本配置>
[1-1-1.基本配置]
首先，将描述第一实施例。首先，参考图1给出根据第一实施例的信息处理设备10-1的基本配置的描述。
图1是示出信息处理设备10-1的外观视图的解释图。如图1中所示，信息处理设备10-1是能够例如通过将设备附接到用户的头部而可用的眼镜型设备。另外，如图1中所示，信息处理设备10-1包括第一成像单元120、第二成像单元122和显示显示屏幕的显示单元124。
第一成像单元120是指向信息处理设备10-1的内部的成像单元。第一成像单元120可以在信息处理设备10-1附接到用户的状态下捕获例如用户的一个眼球的图像作为移动图像。另外，第二成像单元122是指向信息处理设备10-1的外部的成像单元。第二成像单元122可以捕获例如用户的前景的图像作为移动图像。
此外，显示单元124被配置为例如透视显示器。因此，在信息处理设备10-1附接到头部的状态下，用户可以在可视地检查在显示单元124上显示的显示屏幕的同时经由显示屏观看用户的前景。
注意，虽然图1示出了为图1的右镜片设置第一成像单元120、第二成像单元122和显示单元124的示例，但是不限于此，可以为左镜片设置各单元。
[1-1-2.问题的概述]
在上文中，已经给出了根据第一实施例的信息处理设备101的基本配置的描述。顺便提及，在过去，已经提出了通过使用对于显示在显示屏幕上的多个图像的用户视线变化的检测结果来认证用户的这种技术。但是，利用众所周知的技术，认证的安全性较低。例如，利用上面提到的技术，在显示屏幕上可显示的图像的数量受到限制，因此可登记的确定模式的数量受到限制。因此，在用户认证中存在例如通过第三方窥视用户的视线移动而被第三方识别确定模式的风险。
顺便提及，存在可以被用户观看的用户身体的许多部分(例如，诸如手或腿)。因此，假设通过使用用户视线对于用户身体的移动模式来认证用户的情况，存在大量可登记的视线模式，因此，即使第三方窥视用户视线的移动，视线模式被第三方识别的风险也极小。
因此，以上面提到的情况作为观点，已经设计了根据第一实施例的信息处理设备10-1。根据第一实施例的信息处理设备10-1可以通过使用对于用户身体的视线模式来实现具有高安全性的认证。
<1-2.配置>
下面，将给出信息处理设备10-1的配置的具体描述。图2是示出信息处理设备10-1的配置的功能框图。如图2中所示，信息处理设备10-1包括控制单元100-1、第一成像单元120、第二成像单元122、显示单元124、通信单元126和存储单元128。
[1-2-1.控制单元100-1]
控制单元100-1使用被结合在信息处理设备10-1中的硬件组件(诸如将在下文描述的中央处理单元(CPU)150和随机存取存储器(RAM)154)来完全控制信息处理设备10-1的操作。另外，如图2中所示，控制单元100-1包括视线检测单元102、视线移动识别单元104、视线模式比较单元106、用户认证单元108和显示控制单元110。
[1-2-2.视线检测单元102]
视线检测单元102基于由第一成像单元120捕获的用户的眼球的图像来检测用户的视线方向。例如，视线检测单元102首先识别由第一成像单元120捕获的用户的眼球的图像中所包括的眼球的黑眼睛的位置，并且基于识别出的位置来检测用户的视线方向。更具体地，例如，视线检测单元102通过在对于存储在存储单元128中的每个视线方向的眼球的图像的学习数据和由第一成像单元120捕获的眼球的图像之间执行模式匹配来识别用户的视线方向。
在本文中，将参考图3给出上面提到的功能的具体描述。图3是示出由第一成像单元120捕获的眼球的图像(眼球图像20)的示例的解释图。例如，视线检测单元102基于图3中所示的眼球图像20a以及学习数据将眼球图像20a中的用户的视线方向识别为“左”。类似地，视线检测单元102将图3中所示的眼球图像20b中的用户的视线方向识别为“右下”。
[1-2-3.视线移动识别单元104]
(1-2-3-1.识别示例1)
视线移动识别单元104基于由视线检测单元102检测到的用户的视线方向以及由第二成像单元122捕获的用户身体的图像来识别用户的视线对于用户身体的移动。例如，视线移动识别单元104首先计算从用户眼睛的位置向由视线检测单元102检测到的用户视线方向延伸的半线性线和用户身体的区域的交叉点(以下也称为观看位置)，由此识别由用户观看的区域。然后，视线移动识别单元104识别用户对识别出的区域的视线操作。
在本文中，用户的视线操作包括例如凝视用户的区域或视线的追踪。注意，视线的追踪是用户通过视线绘制的轨迹，并且具有各种形状，例如线性线、曲线或圆形。
例如，当检测到用户观看相同位置预定的时间或更长时间时，视线移动识别单元104识别用户在凝视对应的位置。然后，当检测到观看位置从用户观看的起点小于预定时间地连续地移动时，视线移动识别单元104识别出用户从起点追踪对应的区域。
在本文中，将参考图4和图5给出对功能的具体描述。图4是示出由第二成像单元122捕获的用户的右手的图像的示例(右手图像22)的解释图。注意，在图4中，假设用户凝视小拇指指尖220a。
例如，视线移动识别单元104通过基于由视线检测单元102检测到的用户的视线方向来计算观看位置，以识别用户观看的区域是小拇指指尖220a。然后，当检测到用户观看相同位置预定时间或更长时间时，视线移动识别单元104识别出用户在凝视小拇指指尖220a。
此外，图5是示出由具有图4中所示的姿势的用户执行的一系列视线操作的解释图。具体地，图5示出了如用虚箭头所示的用户首先凝视小拇指指尖220a、接下来用视线追踪手掌的生命线并进一步用视线追踪中指的尖端到根部的示例。
例如，当检测到用户将视线方向从小拇指指尖220a不连续地移动到生命线的底端并且从移动之后的点沿着生命线少于预定时间地持续地移动观看位置时，视线移动识别单元104识别出用户追踪生命线。另外，当检测到用户将视线方向从生命线的顶端不连续地移动到中指的尖端并且从移动之后的点少于预定时间地持续地移动观看位置时，视线移动识别单元104识别出用户追踪中指。
(1-2-3-2.识别示例2)
此外，当用户执行多个视线操作时，视线移动识别单元104识别出与视线操作的顺序相关联的单独的视线操作。在图5中所示的示例中，例如，视线移动识别单元104将凝视小拇指指尖220a识别为第一视线操作，将从生命线的底端到顶端的追踪识别为第二视线操作，并进一步将从中指的尖端到根部的追踪识别为第三视线操作。
(1-2-3-3.识别示例3)
注意，作为修改示例，视线移动识别单元104可以识别与用户身体的姿势变化连动(linked)的用户对身体的视线操作。例如，每当用户身体的姿势改变时，视线移动识别单元104将识别对于改变之后的姿势的用户的视线操作。注意，例如，姿势的改变可以是手势。
在本文中，将参考图6给出对功能的更具体的描述。图6是示出由第二成像单元122捕获的用户的右手的手势的图像(手势图像24)的示例的解释图。注意，图6示出了按照手势图像24a、手势图像24b和手势图像24c的顺序捕获图像的示例，即，用户以石头、剪刀和布的顺序改变右手的形状。
例如，视线移动识别单元104首先基于手势图像24a识别右手的形状是石头。然后，当右手的形状是石头时，视线移动识别单元104识别出用户在凝视大拇指指尖240a。
此外，视线移动识别单元104基于手势图像24b识别出右手的形状从石头变成剪刀。另外，当右手的形状是剪刀时，视线移动识别单元104识别出用户在凝视食指指尖240b。类似地，视线移动识别单元104基于手势图像24c识别出右手的形状从剪刀变成布，并且当右手的形状是布时，识别出用户凝视小拇指指尖240c。
根据识别示例，有可能识别与用户的手势组合的单独的视线操作。
[1-2-4.视线模式比较单元106]
视线模式比较单元106将向与用户相关联的用户信息DB 130登记的视线模式与基于由视线移动识别单元104识别出的用户视线的移动的视线模式进行比较。更具体地，视线模式比较单元106首先以视线移动的顺序将由视线移动识别单元104识别出的对于用户身体的相应区域的视线操作的布置识别为视线模式。然后，视线模式比较单元106将识别出的视线模式与向用户信息DB 130登记的视线模式进行比较，由此确定匹配度。
例如，在图5所示的示例中，视线模式比较单元106将三个视线操作的布置(即，凝视小拇指指尖、从生命线的底端到顶端的追踪，以及从中指的尖端到根部的追踪)识别为用户的视线模式。然后，视线模式比较单元106以视线移动的顺序将包括在向与相关用户相关联的用户信息DB 130登记的视线模式中的每个视线操作与包括在由视线移动识别单元104识别出的视线模式中的每个视线操作进行比较，由此确定视线模式的匹配度。
(1-2-4-1.用户信息DB 130)
用户信息DB 130是用于记录与用户相关联的视线模式的数据库。在本文中，参考图7，将给出用户信息DB 130的示例性配置的描述。
如图7中所示，在用户信息DB 130中，例如，用户ID 1300、目标区域和姿势1302以及视线模式1304相互关联。另外，视线模式1304包括相应顺序的视线操作1306，例如，第一视线操作1306a和第二视线操作1306b。
在本文中，预先颁发给每个用户的用户ID被记录到用户ID 1300。另外，与对应用户ID的用户相关联地登记其视线模式的区域及该区域的姿势被记录到目标区域和姿势1302。此外，对应用户ID的用户和与对应区域相关联地登记的视线模式被记录到视线模式1304。此外，包括在登记的视线模式中的相应顺序的视线操作的内容被记录到相应顺序的视线操作1306。
例如，图7中所示的第一记录示出了关于具有用户ID“0001”的用户对于处于打开状态的右手的视线模式的登记示例。然后，示出了包括在视线模式中的第一视线操作是“凝视小拇指指尖”、第二视线操作是“从生命线的底端到顶端的追踪”并且第三视线操作是“从中指的尖端到根部的追踪”。
[1-2-5.用户认证单元108]
用户认证单元108基于视线模式比较单元106的比较结果对用户进行认证。更具体地，当由视线模式比较单元106确定的匹配度是预定阈值或更大时，用户认证单元108确定用户是有效用户。此外，当确定的匹配度小于预定阈值时，用户认证单元108不确定用户是有效用户。
另外，用户认证单元108还可以将认证结果发送到其他设备(即，将在后面描述的通信单元126)。
[1-2-6.显示控制单元110]
每次当视线移动识别单元104识别出视线移动时，显示控制单元110使稍后将描述的显示单元124顺序地显示指示识别出的视线移动的显示。例如，在图5中所示的示例中，当视线移动识别单元104确认用户凝视小拇指指尖220a时，显示控制单元110使显示单元124叠加并且显示指示凝视位置在小拇指指尖220a的显示。类似地，每次当视线移动识别单元104确认以生命线的底端作为起点的用户的追踪时，显示控制单元110使显示单元124添加、叠加并显示新确认的部分的线(例如，如由追踪220b所示)。
根据显示示例，在认证时，用户可以在顺序地检查由信息处理设备101识别的视线操作的同时移动视线。因此，用户可以容易地对身体执行视线操作。
[1-2-7.第一成像单元120]
第一成像单元120是根据本公开的第一成像单元的示例。第一成像单元120捕获用户的眼球的图像。
[1-2-8.第二成像单元122]
第二成像单元122是根据本公开的第二成像单元的示例。第二成像单元122捕获位于用户的视线方向上的用户身体的图像。
[1-2-9.显示单元124]
显示单元124在显示控制单元110的控制下显示各种显示屏幕。
[1-2-10.通信单元126]
通信单元126通过例如无线通信从与信息处理设备10-1可通信的其他设备(未示出)接收信息/向其他设备发送信息。例如，通信单元126从其他设备接收穿戴信息处理设备10-1的用户的用户ID。
[1-2-11.存储单元128]
存储单元128可以存储例如各种数据(诸如用户信息DB 130和用户ID)以及软件。
注意，根据第一实施例的信息处理设备101的配置不限于上面提到的配置。例如，用户信息DB 130可以被存储到与信息处理设备10-1可通信的其他设备，而不是存储到存储单元128。此外，信息处理设备10-1还可以包括用于让用户将例如各种信息(诸如用户ID)输入到信息处理设备10-1的输入单元。注意，输入单元可以接收例如利用视线的输入，即，基于由视线检测单元102检测的视线方向的输入。
<1-3.应用示例>
在上文中，已经给出了根据第一实施例的配置的描述。随后，参考图8和图9给出第一实施例的应用示例的描述。注意，在这个应用示例中，假设利用视线向左臂和左手的移动来执行用户认证的这种场景。
图8是由第二成像单元122捕获的用户的左臂的前臂和左手的图像(左臂图像26)。另外，图9是示出由具有图8中所示的姿势的用户执行的一系列视线操作的解释图。具体地，图9示出了虚线所示的示例，其中用户首先凝视左臂的手腕262a，接下来凝视食指的第二关节262b，并进一步凝视包括在前臂中的痣262c。
例如，首先，视线移动识别单元104基于由视线检测单元102检测到的用户视线方向和由第二成像单元122捕获的用户身体的图像，将对左臂的手腕262a的凝视识别为第一视线操作。
然后，当检测到视线方向从左臂的手腕262a不连续地移动到食指的第二关节262b并且用户观看移动之后的位置预定时间或更长时间时，视线移动识别单元104将对食指的第二关节262b的凝视识别为第二视线操作。另外，当检测到视线方向是从食指的第二关节262b不连续地移动到前臂的痣262c并且用户观看移动之后的位置预定时间或更长时间时，视线移动识别单元104将对前臂的痣262c的凝视识别为第三视线操作。
然后，视线模式比较单元106将由视线移动识别单元104识别的相应顺序的视线操作的布置识别为用户的视线模式。然后，视线模式比较单元106以视线移动的顺序将向与相关用户相关联的用户信息DB 130登记的视线模式中包括的每个视线操作与包括在识别出的视线模式中的每个视线操作进行比较，由此确定视线模式的匹配度。
然后，当由视线模式比较单元106确定的匹配度为预定阈值或更大时，用户认证单元108确定用户是有效用户。另外，当确定的匹配度小于预定阈值时，用户认证单元108不确定用户是有效用户。
<1-4.操作>
在上文中，已经给出了第一实施例的应用示例的描述。随后，将参考图10至图11给出根据第一实施例的操作的描述。
图10是示出根据第一实施例的操作的一部分的流程图。如图10中所示，首先，信息处理设备106中的通信单元126从其他设备接收用户ID(S101)。注意，作为修改示例，当用户ID预先存储在存储单元128时，控制单元100-1可以从存储单元128提取用户ID。
随后，视线移动识别单元104从用户信息DB 130中提取与在S101中获得的用户ID相关联的向用户信息DB 130登记的视线模式(S103)。
随后，视线移动识别单元104将指示视线操作的顺序的变量i设置为“1”(S105)。然后，视线移动识别单元104将在S103中提取出的视线模式中包括的视线操作的数量设置为指示视线操作的总数的常数N(S107)。
随后，视线移动识别单元104确定值i是否为N或更小(S109)。当i为N或更小时(S109：是)，视线移动识别单元104确定视线检测单元102是否已经检测到用户视线方向的变化(S111)。当没有检测到用户视线方向的变化时(S111：否)，视线移动识别单元104重复S111中的操作。
另一方面，当已经检测到用户视线方向的变化时(S111：是)，视线移动识别单元104基于移动之后检测到的视线方向识别用户观看的身体区域(S113)。
随后，视线移动识别单元104识别用户对于在S113中识别出的身体部分的区域的视线操作(S115)。
随后，视线移动识别单元104将在S115中识别出的视线操作作为第i个视线操作，记录到存储单元128(S117)。
随后，视线移动识别单元104将i加“1”(S119)。之后，视线移动识别单元104再次重复S109中的操作。
在本文中，将参考图11给出在S109中确定值i大于N的情况下(S109：否)的操作的描述。
如图11中所示，视线模式比较单元106将在S117中记录在存储单元128中的相应顺序的视线操作的布置识别为视线模式(S121)。
随后，视线模式比较单元106将S121中识别出的视线模式与在S103中提取的视线模式进行比较，由此确定匹配度(S123)。当确定的匹配度是预定阈值或更大时(S123：是)，用户认证单元108确定用户是有效用户(S125)。另一方面，当确定的匹配度小于预定阈值时(S123：否)，用户认证单元108确定用户并非为有效用户(S127)。
<1-5.优点>
如上面所提到的，参考例如图2、图10和图11，根据第一实施例的信息处理设备10-1基于由第一成像单元120捕获的用户眼球的图像和由第二成像单元122捕获的位于用户视线方向上的用户身体的图像来识别用户的视线对于用户身体的移动，并基于识别出的视线的移动来认证用户。
例如，可以被用户观看的身体部分(诸如手和腿)的可登记视线模式的数量极大。因此，信息处理设备10-1可以使用视线的移动来实现具有高安全性的认证。例如，在用户认证中，即使第三方窥视用户视线的移动，第三方也难以完全识别视线模式。因此，视线模式难以被其他人窃取，并且具有高安全性的鲁棒的用户认证成为可能。
另外，用户可以从极大数量的身体区域当中自由地选择视线操作的目标区域。此外，用户可以根据期望任意地改变视线模式。
<<2.第二实施例>>
在上文中，给出了第一实施例的描述。下面，将给出第二实施例的描述。首先，将给出用于创建第二实施例的背景的描述。
例如，身体特征(诸如手臂或手指的长度，以及痣、皱纹或血管图案的位置或形状)是个人特定的。因此，对于用户本人而言，身体特征容易被识别并且难以忘记，但难以被其他人识别并难以记住。
因此，假设使用利用了身体特征的视线移动的模式对用户进行认证，则即使在用户认证中第三方窥视了用户视线的移动，视线模式被第三方识别的风险也极小。另外，视线模式难以被其他人窥视。
如下面所述，根据第二实施例，通过使用利用身体特征的视线模式，有可能实现具有高安全性的认证。
<2-1.基本配置>
根据第二实施例的信息处理设备10-2的基本配置与图1中所示的第一实施例的配置类似。
<2-2.配置>
下面，将给出对信息处理设备10-2的配置的具体描述。图12是示出根据第二实施例的信息处理设备10-2的配置的功能框图。如图12中所示，与根据第一实施例的信息处理设备10-1相比，信息处理设备10-2具有代替控制单元100-1的控制单元100-2。注意，下面省略与第一实施例重叠的功能的描述。
[2-2-1.控制单元100-2]
与控制单元100-1相比，控制单元100-2还包括身体特征检测单元112。
[2-2-2.身体特征检测单元112]
身体特征检测单元112基于由第二成像单元122捕获的位于用户视线方向上的用户身体的图像来检测用户身体的一部分的身体特征。
(2-2-2-1.识别与身体的距离)
例如，身体特征检测单元112首先基于由视线检测单元102检测到的视线方向来识别从用户眼睛的位置到用户观看的身体部分的区域的距离。更具体地，例如，身体特征检测单元112基于信息处理设备10-2中所包括的距离传感器(未示出)的测量结果和由第二成像单元120捕获的图像来识别到用户观看的区域的距离。可替代地，当用户位于预先登记的站立位置时，例如，用户采取预先在预定专用设备中登记的姿势，身体特征检测单元112将预先测得的距离(固定距离)识别为到用户观看的区域的距离。
(2-2-2-2.检测身体特征)
下面，身体特征检测单元112首先基于由第二成像单元122捕获的用户身体区域的图像和到识别出的身体相关区域的距离来检测相关区域的相对长度和相对位置。更具体地，首先，身体特征检测单元112基于由第二成像单元122捕获的用户身体的一部分的图像，以计算相关区域的临时长度和以识别出的部位作为起点的相关区域中其他部位的临时位置。然后，身体特征检测单元112基于在登记视线模式时从用户眼睛的位置到身体相关区域的距离与到识别出的身体相关区域的距离之比，来归一化计算出的临时长度和临时位置，由此计算相关区域的相对长度和相关的其他部位的相对位置。
此外，身体特征检测单元112检测例如包括在相关区域中的痣、皱纹或血管模式的形状、相对长度或以识别出的部位作为起点的相对位置。注意，识别出的部位可以被确定为例如用户在相关区域中首次观看的地方。
在本文中，将参考图4给出对这些功能的更具体的描述。例如，身体特征检测单元112首先基于图4中所示的右手图像22来识别从用户眼睛的位置到右手的位置的距离。然后，身体特征检测单元112基于右手图像22和识别出的距离来检测右手手掌的掌纹或右手的相应手指的特征。更具体地，身体特征检测单元112检测手掌掌纹(诸如感情线、头脑线或生命线)的形状、相对长度或以识别出的部位作为起点的相对位置。另外，身体特征检测单元112检测每个手指的相对长度和以识别出的部位作为起点的每个手指的相对位置。
[2-2-3.视线移动识别单元104]
根据第二实施例的视线移动识别单元104基于由视线移动检测单元102检测到的用户的视线方向、由第二成像单元122捕获的用户身体的图像以及由身体特征检测单元112检测到的身体特征来识别用户的视线对于用户身体的移动。例如，在图5中所示的示例中，视线移动识别单元104基于由身体特征检测单元112检测到的每个手掌掌纹的特征，将包括由用户利用视线在手掌上追踪的线(即，生命线)的相对位置、相对长度或形状的信息识别为第二视线操作。另外，视线移动识别单元104基于由身体特征检测单元112检测到的中指的特征,将包括由用户利用视线在中指上追踪的线(即，从中指的尖端到根部)的相对位置和相对长度的信息识别为第三视线操作。
此外，在图6中所示的示例中，视线移动识别单元104基于由身体特征检测单元112检测到的右手的身体特征，对于右手的每个形状将包括以识别出的部位作为起点的、用户凝视的部位240的相对位置信息识别为每个顺序的视线操作。注意，在示例中，在第一视线操作中，识别出的部位可以是凝视位置(即，当右手的形状是石头时的拇指尖240a)。因此，视线移动识别单元104将当右手的形状是例如剪刀时用户的凝视位置识别为以当手的形状是石头时用户的凝视位置作为起点的相对位置。
注意，包括在信息处理设备10-2中的其它结构性元件的功能与第一实施例的功能大致相似。
<2-3.应用示例>
在上文中，给出了根据第二实施例的配置的描述。下面，参考图8和图9给出对第二实施例的应用示例的描述。
在图8中所示的示例中，首先，身体特征检测单元112基于由视线检测单元102检测到的视线方向来识别从用户的眼睛的位置到(由用户观看的)左臂或左手的距离。
下面，身体特征检测单元112基于图8中所示的左臂图像26和到识别出的左臂或左手的距离来检测左臂或左手的身体特征。例如，身体特征检测单元112识别包括在前臂中的痣的位置。
下面，视线移动识别单元104基于由视线检测单元102检测到的用户的视线方向和由身体特征检测单元112检测到的身体特征，来识别以用户首先凝视的区域中(即，左臂的手腕262a)的识别出的部位作为起点的相对位置，并且将包括识别出的位置的信息识别为第一视线操作。
然后，在检测到视线方向从左臂的手腕262a不连续地移动到食指的第二关节262b并且用户在移动之后观看部位预定时间或更长时间的情况下，视线移动识别单元104识别以用户当前观看的区域(即，食指的第二关节262b)中识别出的部位作为起点的相对位置，并进一步将包括识别出的位置的信息识别为第二视线操作。
注意，视线移动识别单元104可以基于例如以第一视线操作中的凝视位置(左臂的手腕262a)作为起点到食指的第二关节262b的相对距离和以痣的位置作为起点到食指的第二关节262b的相对距离，来识别食指的第二关节262b的相对位置。
另外，当检测到从食指的第二关节262b到前臂的痣262c的视线方向不连续地移动，并且在移动之后用户观看部位预定时间或更长时间时，视线移动识别单元104将包括前臂的痣262c的相对位置的信息识别为第三视线操作，。
然后，视线模式比较单元106将由视线移动识别单元104识别出的相应顺序的视线操作的布置识别为用户的视线模式。另外，对于视线的移动的每个顺序，视线模式比较单元106将包括在向与相关用户相关联的用户信息DB 130中登记的视线模式中的相应视线操作，与识别出的视线模式中所包括的相应视线操作以视线移动的每个顺序进行比较，由此确定视线模式的匹配度。
然后，在由视线模式比较单元106确定的匹配度为预定阈值或更大的情况下，用户认证单元108确定用户是有效用户。此外，在所确定的匹配度小于预定阈值的情况下，用户认证单元108确定用户并非为有效用户。
<2-4.操作>
在上文中，给出了根据第二实施例的配置的描述。随后，将给出根据第二实施例的操作的描述。注意，根据第二实施例的操作与图10和图11中所示的第一实施例的操作大致相似。在下文中，给出了仅具有与第一实施例不同的内容的步骤的描述。
在S113中，首先，身体特征检测单元112基于在移动之后由视线检测单元102检测出的视线方向以及由第二成像单元122捕获的用户身体的图像来检测用户观看的身体区域的身体特征。
此外，在S115中，视线移动识别单元104基于由视线检测单元102测到的视线方向和S113中检测到的身体特征来识别用户对在S113中识别出的身体区域的视线操作。
<2-5.优点>
如上面参考例如图12所提到的，根据第二实施例的信息处理设备10-2基于位于由第二成像单元122捕获的用户的视线方向的用户身体的图像来检测用户身体的一部分的身体特征，基于由第一成像单元120捕获的用户眼球的图像和检测到的身体特征来识别用户视线对于用户身体的移动，并且基于识别出的视线的移动来认证用户。
因此，信息处理设备10-2可以通过使用利用身体特征的视线模式来实现具有更高安全性的认证。例如，即使在用户认证中用户视线的移动被第三方窥视，身体特征也是特定于个人的并且难以被第三方识别。因此，第三方完全识别视线模式是非常困难的。因此，使用身体特征的视线模式不容易被其他人盗取，并且使具有更高安全性的鲁棒的用户认证成为可能。
此外，例如，在仅使用身体特征的用户认证(诸如指纹认证)的情况下，难以改变认证信息，因此，如果认证信息泄漏，那么影响是严重的。另一方面，利用根据第二实施例的认证方法，可以容易地改变视线模式，并且因此，即使视线模式泄漏，也有利地可以减少损害。
<<3.第三实施例>>
在上文中，给出了第二实施例的描述。下面，将描述第三实施例。
如上面所提到的，假设根据第一实施例的信息处理设备10-1和根据第二实施例的信息处理设备102包括两种类型的成像单元，即，用于捕获用户的眼球的图像的第一成像单元120和用于捕获用户的身体的图像的第二成像单元122。
如后面所述，根据第三实施例，仅具有一种类型的成像单元的设备允许识别用户视线对于用户身体的移动并认证用户。
<3-1.基本配置>
首先，将参考图13给出根据第三实施例的信息处理设备30的基本配置。
图13是示出信息处理设备30的外观的解释图。如图13中所示，信息处理设备30包括能够捕获例如用户2的眼球的图像和用户2的身体的一部分(诸如手臂)的图像的成像单元320。信息处理设备30可以被设置在例如在房屋的入口处。另外，信息处理设备30可以被配置为为了解锁入口的门而执行用户认证的认证系统的一部分。
<3-2.配置>
下面，将给出信息处理设备30的配置的具体描述。图14是示出根据第三实施例的信息处理设备30的配置的功能框图。如图14中所示，信息处理设备30包括控制单元300、成像单元320、输出单元322、通信单元324和存储单元326。注意，以下省略了与第二实施例重叠的功能的描述。
[3-2-1.控制单元300]
控制单元300完全控制信息处理设备30的操作。另外，如图14中所示，控制单元300包括视线检测单元302、视线移动识别单元304、视线模式比较单元306、用户认证单元308、输出控制单元310和身体特征检测单元312。
[3-2-2.视线检测单元302]
视线检测单元302基于将在后面描述的成像单元320捕获的用户的眼球的图像来检测用户的视线方向。注意，具体功能与根据第二实施例的视线检测单元102的功能大致相似。
[3-2-3.身体特征检测单元312]
身体特征检测单元312基于由成像单元320捕获的用户的视线方向上的用户身体的图像来检测用户身体的一部分的身体特征。注意，具体功能与根据第二实施例的身体特征检测单元112的那些功能大致相似。
[3-2-4.视线移动识别单元304]
视线移动识别单元304基于由视线检测单元102检测到的用户的视线方向、由成像单元320捕获的用户身体的图像以及由身体特征检测单元312检测到的身体特征来识别用户的视线对于用户身体的移动。注意，具体功能与根据第二实施例的视线移动识别单元104的功能大致相似。
[3-2-5.输出控制单元310]
输出控制单元310允许稍后描述的输出单元322输出用户认证单元308的认证结果。例如，输出控制单元310允许输出单元322输出用于通知认证结果的声音。
[3-2-6.成像单元320]
成像单元320同时捕获用户的眼球的图像和位于用户的视线方向上的用户身体的图像。
[3-2-7.输出单元322]
输出单元322在输出控制单元310的控制下输出声音或视频图像。
注意，视线模式比较单元306、用户认证单元308、通信单元324和存储单元326分别与根据第二实施例的视线模式比较单元106、用户认证单元108、通信单元126和存储单元128相似。
在上文中，已经给出了根据第三实施例的信息处理设备30的配置的描述，但该设备不限于上面提到的配置。例如，信息处理设备30可以不包括输出控制单元310、输出单元322和通信单元324中的一个或多个。
<3-3。操作>
根据第三实施例的操作与上面在第2至4段中所提到的根据第二实施例的操作大致相似。
<3-4.优点>
如上面参考例如图13和图14所提到的，根据第三实施例的信息处理设备30基于由成像单元320捕获的位于用户视线方向上的用户身体的图像来检测关于用户身体的一部分的身体特征，基于由成像单元320捕获的用户的眼球的图像和检测到的身体特征来识别用户的视线对于用户身体的移动，并且基于识别出的视线移动来验证用户。因此，由于实现与根据第二实施例的那些功能大致相同的功能，因此获得与根据第二实施例相同的优点。
<<4.硬件配置>>
下面，将参考图15描述信息处理设备10-1、信息处理设备10-2和信息处理设备30的硬件配置。如图15中所示，信息处理设备10-1(或信息处理设备10-2或信息处理设备30)包括CPU 150、只读存储器(ROM)152、RAM 154、内部总线156、接口158、输出设备160、相机162、存储设备164和通信设备166。
<4-1.CPU 150>
CPU 150被用作计算处理设备和控制设备。CPU 150提供控制单元100-1(或控制单元100-2或控制单元300)的功能。注意，CPU 150配置有处理器(诸如微处理器)。
<4-2.ROM 152>
ROM 152存储程序和控制数据(诸如CPU 150使用的计算参数等)。
<4-3.RAM 154>
RAM 154临时存储例如由CPU 150执行的程序等。
<4-4.内部总线156>
内部总线156由CPU总线等组成。这个内部总线156将CPU150、ROM 152和RAM 154相互连接。
<4-5.接口158>
接口158将输出设备160、相机162、存储设备164和通信设备166连接到内部总线156。例如，存储设备164经由接口158和内部总线156与CPU 150交换数据。
<4-6.输出设备160>
输出设备160包括例如液晶显示器(LCD)设备、有机发光二极管(OLED)设备以及显示设备(诸如灯)。显示设备显示由CPU 150生成的图像。
另外，输出设备160包括声音输出设备(诸如扬声器)。声音输出设备将声音数据等转换为声音并输出声音。输出设备160被用作显示单元124或输出单元322。
<4-7.相机162>
照相机162具有用于通过镜片例如通过在图像传感器(诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS))上形成外部场景的图像来捕获静止图像或移动图像的功能。这种相机162充当第一成像单元120、第二成像单元122或成像单元320。
<4-8.存储设备164>
存储设备164是被用作存储单元128或存储单元326的用于数据存储的设备。例如，存储设备164包括存储介质、在存储介质中记录数据的记录设备、从存储介质读出数据的读取设备、删除记录在存储介质中的数据的删除设备等。
<4-9.通信设备166>
通信设备166是用于连接到通信网络(诸如公共网络和互联网)的由通信设备等构成的通信接口。另外，通信设备166可以是无线LAN兼容的通信设备、长期演进(LTE)兼容的通信设备，或者经由线缆进行通信的有线通信设备。通信设备166被用作通信单元126或通信单元324。
<<5.修改示例>>
以上已经参考附图描述了本公开的(一个或多个)优选实施例，但本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种改变和修改，并且应当理解的是，它们将自然地落入本公开的技术范围内。
<5-1.第一修改例>
例如，在上面提到的每个实施例中，在已经接收或输入用户ID的情况下，即，假设用户被识别，已经给出了认证用户的示例的描述。但是，不限于该示例。例如，信息处理设备30(或信息处理设备10-1或信息处理设备10-2)也可以基于记录在用户信息DB 130的所有用户的视线模式来识别哪个用户是作为捕获目标的人。
具体地，信息处理设备30首先将基于由视线移动识别单元304识别的用户视线的移动的视线模式与属于向用户信息DB 130登记的具体组的用户(或所有用户)的视线模式分别进行比较。然后，信息处理设备30可以将具有最高确定的匹配度的用户识别为目标人。
根据修改示例，例如，当所有家庭成员预先登记为一组时，即使没有输入用户ID，信息处理设备30也可以识别家里谁是图像捕获目标的人。
<5-2.第二修改例>
另外，每个实施例可以设置有用于使硬件(诸如CPU 150、ROM 152和RAM 154)提供与上述信息处理设备10-1、信息处理设备10-2或信息处理设备30的每个配置等同的功能的计算机程序。另外，提供其中记录了该计算机程序的记录介质。
此外，本技术还可以如下配置。
(1)一种信息处理设备，包括：
视线移动识别单元，被配置为基于由成像单元捕获的用户眼睛的图像和位于用户视线方向的用户身体的图像来识别用户视线对于用户身体的移动；以及
用户认证单元，被配置为基于识别出的视线的移动来认证用户。
(2)如(1)所述的信息处理设备，还包括：
视线模式比较单元，被配置为将与用户相关联的数据库登记的视线模式与基于由视线移动识别单元识别的用户视线的移动的视线模式进行比较，
其中用户认证单元基于视线模式比较单元的比较结果来认证用户。
(3)如(2)所述的信息处理设备，
其中在由视线模式比较单元确定的视线模式的匹配度为预定阈值或更大的情况下，用户认证单元确定用户是有效用户。
(4)如(2)或(3)所述的信息处理设备，还包括：
身体特征检测单元，被配置为基于用户身体的图像来检测关于用户的身体的一部分的身体特征，
其中视线移动识别单元基于用户的眼睛的图像和检测到的身体特征来识别用户视线对于用户身体的移动。
(5)如(2)至(4)中任一项所述的信息处理设备，
其中视线模式是对用户身体的一个或多个区域的视线操作的模式。
(6)如(5)所述的信息处理设备，
其中向数据库登记的视线模式是与视线的移动顺序相关联的、对用户身体的一个或多个区域中的每一个区域的视线操作的模式。
(7)如(5)所述的信息处理设备，
其中向数据库登记的视线模式是与用户身体姿势的改变顺序相关联的、对用户身体的一个或多个区域中的每一个区域的视线操作的模式。
(8)如(5)至(7)中任一项所述的信息处理设备，
其中视线操作包括凝视用户身体的区域或视线的追踪。
(9)如(4)至(8)中任一项所述的信息处理设备，
其中身体特征包括痣、皱纹或血管图案的位置或形状。
(10)如(1)至(9)中任一项所述的信息处理设备，还包括：
显示控制单元，被配置为使得每次当视线移动识别单元识别出视线的移动时，使显示单元顺序地显示指示识别出的视线移动的显示。
(11)如(10)所述的信息处理设备，还包括：
所述显示单元。
(12)如(1)至(11)中任一项所述的信息处理设备，
其中成像单元包括被配置为捕获所述用户的眼睛的图像的第一成像单元和被配置为捕获位于用户的视线方向上的用户身体的图像的第二成像单元。
(13)如(1)至(12)中任一项所述的信息处理设备，
其中信息处理设备是眼镜型设备。
(14)一种信息处理方法，包括：
基于由成像单元捕获的用户眼睛的图像和位于用户视线方向的用户身体的图像来识别用户视线对于用户身体的移动；以及
基于识别出的视线的移动来认证用户。
(15)一种程序，使计算机被用作：
视线移动识别单元，被配置为基于由成像单元捕获的用户眼睛的图像和位于用户视线方向的用户身体的图像来识别用户视线对于用户身体的移动；以及
用户认证单元，被配置为基于识别出的视线的移动来认证用户。
附图标记列表
10-1，10-2，30 信息处理设备
100-1，100-2，300 控制单元
102，302 视线检测单元
104，304 视线移动识别单元
106，306 视线模式比较单元
108，308 用户认证单元
110 显示控制单元
120 第一成像单元
122 第二成像单元
124 显示单元
126，324 通信单元
128，326 存储单元
130 用户信息DB
310 输出控制单元
320 成像单元
322 输出单元

Claims (14)

1.一种信息处理设备，包括：
视线移动识别单元，被配置为基于由成像单元捕获的用户眼睛的图像和位于用户视线方向的用户身体的图像来识别用户视线对于用户身体的移动；
用户认证单元，被配置为基于识别出的视线的移动来认证用户；以及
身体特征检测单元，被配置为基于用户身体的图像来检测关于用户的身体的一部分的身体特征，
其中所述视线移动识别单元基于用户的眼睛的图像和检测到的身体特征来识别用户视线对于用户身体的移动。
2.如权利要求1所述的信息处理设备，还包括：
视线模式比较单元，被配置为将与用户相关联的数据库登记的视线模式与基于由视线移动识别单元识别的用户视线的移动的视线模式进行比较，
其中所述用户认证单元基于视线模式比较单元的比较结果来认证用户。
3.如权利要求2所述的信息处理设备，
其中在由视线模式比较单元确定的视线模式的匹配度为预定阈值或更大的情况下，所述用户认证单元确定用户是有效用户。
4.如权利要求2所述的信息处理设备，
其中视线模式是对用户身体的一个或多个区域的视线操作的模式。
5.如权利要求4所述的信息处理设备，
其中向数据库登记的视线模式是与视线的移动顺序相关联的、对用户身体的一个或多个区域中的每一个区域的视线操作的模式。
6.如权利要求4所述的信息处理设备，
其中向数据库登记的视线模式是与用户身体姿势的改变顺序相关联的、对用户身体的一个或多个区域中的每一个区域的视线操作的模式。
7.如权利要求4所述的信息处理设备，
其中视线操作包括凝视用户身体的区域或视线的追踪。
8.如权利要求1所述的信息处理设备，
其中身体特征包括痣、皱纹或血管图案的位置或形状。
9.如权利要求1所述的信息处理设备，还包括：
显示控制单元，被配置为使得每次当视线移动识别单元识别出视线的移动时，使显示单元顺序地显示指示识别出的视线移动的显示。
10.如权利要求9所述的信息处理设备，还包括：
所述显示单元。
11.如权利要求1所述的信息处理设备，
其中成像单元包括被配置为捕获所述用户的眼睛的图像的第一成像单元和被配置为捕获位于用户的视线方向上的用户身体的图像的第二成像单元。
12.如权利要求1所述的信息处理设备，
其中信息处理设备是眼镜型设备。
13.一种信息处理方法，包括：
基于由成像单元捕获的用户眼睛的图像和位于用户视线方向的用户身体的图像来识别用户视线对于用户身体的移动；
基于识别出的视线的移动来认证用户；
基于用户身体的图像来检测关于用户的身体的一部分的身体特征，以及
基于用户的眼睛的图像和检测到的身体特征来识别用户视线对于用户身体的移动。
14.一种记录介质，其上存储有程序，所述程序在由计算机执行时，使得计算机执行如权利要求13所述的方法。
CN201580075931.0A 2015-02-20 2015-11-19 信息处理设备，信息处理方法和程序 Active CN107209936B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015031637 2015-02-20
JP2015-031637 2015-02-20
PCT/JP2015/082623 WO2016132617A1 (ja) 2015-02-20 2015-11-19 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN107209936A CN107209936A (zh) 2017-09-26
CN107209936B true CN107209936B (zh) 2021-08-27

Family

ID=56688895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580075931.0A Active CN107209936B (zh) 2015-02-20 2015-11-19 信息处理设备，信息处理方法和程序

Country Status (5)

Country Link
US (1) US10180717B2 (zh)
EP (1) EP3261055A4 (zh)
JP (1) JP6648751B2 (zh)
CN (1) CN107209936B (zh)
WO (1) WO2016132617A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232645B1 (en) 2017-11-21 2022-01-25 Amazon Technologies, Inc. Virtual spaces as a platform
US10732708B1 (en) * 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
US10521946B1 (en) 2017-11-21 2019-12-31 Amazon Technologies, Inc. Processing speech to drive animations on avatars
JP7327368B2 (ja) * 2020-12-02 2023-08-16 横河電機株式会社 装置、方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547123A (zh) * 2012-01-05 2012-07-04 天津师范大学 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
CN102812416A (zh) * 2010-06-17 2012-12-05 松下电器产业株式会社 指示输入装置、指示输入方法、程序、记录介质以及集成电路
CN104077517A (zh) * 2014-06-30 2014-10-01 惠州Tcl移动通信有限公司 一种基于虹膜识别的移动终端用户模式启动方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353422B1 (en) * 2000-03-31 2002-03-05 Stephen G. Perlman Virtual display system and method
US8965460B1 (en) * 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
JP4765575B2 (ja) * 2005-11-18 2011-09-07 富士通株式会社 個人認証方法、個人認証プログラムおよび個人認証装置
US9229227B2 (en) * 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9092600B2 (en) * 2012-11-05 2015-07-28 Microsoft Technology Licensing, Llc User authentication on augmented reality display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812416A (zh) * 2010-06-17 2012-12-05 松下电器产业株式会社 指示输入装置、指示输入方法、程序、记录介质以及集成电路
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
CN102547123A (zh) * 2012-01-05 2012-07-04 天津师范大学 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法
CN104077517A (zh) * 2014-06-30 2014-10-01 惠州Tcl移动通信有限公司 一种基于虹膜识别的移动终端用户模式启动方法及系统

Also Published As

Publication number Publication date
US10180717B2 (en) 2019-01-15
CN107209936A (zh) 2017-09-26
EP3261055A1 (en) 2017-12-27
JP6648751B2 (ja) 2020-02-14
EP3261055A4 (en) 2018-10-24
US20170262055A1 (en) 2017-09-14
WO2016132617A1 (ja) 2016-08-25
JPWO2016132617A1 (ja) 2017-11-24

Similar Documents

Publication Publication Date Title
US10192109B2 (en) Identification and/or authentication of a user using gaze information
US10678897B2 (en) Identification, authentication, and/or guiding of a user using gaze information
JP7452571B2 (ja) 生体認証装置、生体認証方法および生体認証プログラム
CN103809743B (zh) 图像显示装置和图像显示方法
US20220301218A1 (en) Head pose estimation from local eye region
US10019563B2 (en) Information processing apparatus and information processing method
CN104933344A (zh) 基于多生物特征模态的移动终端用户身份认证装置及方法
KR101950797B1 (ko) 다중 생체 데이터를 이용한 비접촉식 다중 생체 인식 방법 및 다중 생체 인식 장치
US10586031B2 (en) Biometric authentication of a user
CN107209936B (zh) 信息处理设备，信息处理方法和程序
US20180004287A1 (en) Method for providing user interface through head mounted display using eye recognition and bio-signal, apparatus using same, and computer readable recording medium
CN205485072U (zh) 一种头戴式显示设备
WO2018125563A1 (en) Identification, authentication, and/or guiding of a user using gaze information
KR20160009972A (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
KR102151474B1 (ko) 스마트 단말기를 이용한 비접촉 지문인증 방법
CN106778172A (zh) 一种身份认证方法
JP2013073434A (ja) 情報入力装置、および情報入力方法
CN112527103A (zh) 显示设备的遥控方法、装置、设备及计算机可读存储介质
KR20160045371A (ko) 생체 정보를 이용한 사용자 인증 방법
Rabie et al. Nfc-based person-specific medical assistant for elderly and disabled people
CN116700479A (zh) 设备控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant