[go: up one dir, main page]

CN107077200B - 基于反射的控件激活 - Google Patents

基于反射的控件激活 Download PDF

Info

Publication number
CN107077200B
CN107077200B CN201580041482.8A CN201580041482A CN107077200B CN 107077200 B CN107077200 B CN 107077200B CN 201580041482 A CN201580041482 A CN 201580041482A CN 107077200 B CN107077200 B CN 107077200B
Authority
CN
China
Prior art keywords
user
electronic device
light
user interface
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580041482.8A
Other languages
English (en)
Other versions
CN107077200A (zh
Inventor
李炳珠
福本雅朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107077200A publication Critical patent/CN107077200A/zh
Application granted granted Critical
Publication of CN107077200B publication Critical patent/CN107077200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Telephone Function (AREA)
  • Image Analysis (AREA)

Abstract

一种电子设备，检测相机视场中的对象并且确定从限定的观察点观察到的对象在电子设备的反射表面中的反射的位置。当电子设备检测到来自用户的选择输入时，基于电子设备反射表面上的位置与反射表面上对象的反射之间的对准来激活电子设备的控件。

Description

基于反射的控件激活
背景技术
电子设备利用各种安全机制来防止未经授权的数据访问。例如，一些电子设备包括这样的特征，其在准许用户访问存储于设备上的数据之前，提示用户提供密码或个人标识号(PIN)。保护PIN的保密性呈现出很多挑战。例如，用户可能容易忘记太长或复杂的PIN或密码。而易于记住的、较短的PIN在电子设备明显可见时有被旁观者“肩后偷看窃取”的风险。例如，当用户在公共场所输入PIN时，旁观者可以通过越过用户的肩部谨慎地观察来获得安全PIN的信息。诸如视网膜扫描和指纹检测的其它基于图像的安全技术实现上会很复杂。
发明内容
本文所描述和所要求保护的实施方式可以通过基于在电子设备的反射表面上所反射的图像与反射表面上的物理位置之间的对准来激活用户界面控件以解决上述问题。
本发明内容被提供来以简要形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
本文还描述和记载了其它实施方式。
附图说明
图1图示了用于使用非显示光标来致动电子设备的控件的示例系统。
图2图示了致动电子设备的控件的非显示光标的示例使用。
图3图示了用于执行电子设备的非显示光标特征的校准操作的示例环境。
图4图示了用于执行电子设备的非显示光标特征的校准操作的另一个示例环境。
图5A图示出了用于标识非显示光标在电子设备的反射表面上的位置的示例性方法。
图5B进一步图示了图5A的示例性方法。
图6图示了可用于估计用户与电子设备的反射表面之间的距离的示例实时校准操作。
图7图示了用于使用电子设备的非显示光标特征的示例操作。
图8图示了用于使用非显示光标来致动电子设备的控件的示例用户界面控件。
图9图示了可以用于实现所描述的技术的示例系统。
图10图示了可以用于实现所描述的技术的另一示例系统。
具体实施方式
图1图示了用于使用非显示光标112致动电子设备102的控件的示例系统100。电子设备102可以是例如蜂窝电话(例如，智能电话)、平板计算机、膝上型计算机、个人数据助理、游戏系统、家庭安全系统、ATM或具有反射表面108(例如，显示屏幕)以及从用户环境收集信息的传感器110(例如，相机)的任何其它电子设备。电子设备102包括利用非显示光标112的特征，非显示光标112允许用户104选择反射表面108上的位置以致动电子设备102的控件。非显示光标112不是由电子设备102电子地生成的图像，而是来自电子设备102外部的源的反射的图像。
非显示光标112可以是例如所反射的用户面部的部分(例如，用户的眼睛、鼻子、嘴等)。在图1中，非显示光标112是用户的右眼122的反射的图像。非显示光标112(例如，反射的图像)相对于反射表面108的视在位置在任何给定时间是取决于给定观察者视点的可变位置。非显示光标的“实际”位置在本文中被限定为相对于单个观察点122的位置。在图1中，观察点122是用户104的主导眼。例如，用户104可以通过在保持非主导眼闭合的同时以主导眼观看反射表面来查看非显示光标112在反射表面108上的位置。
当启动非显示光标特征时，传感器110在用户104的方向上从电子设备102外部的环境收集数据。传感器110可以是例如相机中的一个或多个相机传感器(例如，CCD传感器)、IR传感器、深度传感器、RGB传感器等。在一个实施方式中，传感器110是连续监测用户104面部的相机中的CCD传感器。
为了使用非显示光标112来致动电子设备102的控件，用户104握持电子设备102，使得用户104可以在反射表面108中看到非显示光标112。用户使用主导眼(例如，在设备校准期间所选择的眼睛)观看非显示光标112，并且定向(orient)反射表面108，使得非显示光标112从主导眼的视角与反射表面108上的一位置对准。在一些应用中，定向反射表面108需要握持电子设备102，使得用户104可以在反射表面108中观看非显示光标112和/或用户的映像114，如图1所示。在其它应用中，用户104不握持电子设备102。定向反射表面108而是需要其它调节动作，诸如相对于反射表面108来定向用户104的身体，或关于一个或多个轴倾斜反射表面108。
用户104执行选择动作以选择在与非显示光标112对准的位置处在反射表面108上所显示的或者可观看到的控件。选择动作可以是例如可听见的声音(诸如短的咂舌或语音指令)、可检测的移动(诸如眨眼、唇部运动、触摸屏输入)等。例如，用户104可能期望在反射表面108的键盘120上选择数字“3”。为实现这个动作，用户104定向电子设备102的反射表面108，使得非显示光标112(例如，用户左眼的反射的图像)悬停在键盘120上的数字“3”之上。然后，用户通过在保持非显示光标和数字“3”之间的对准的同时执行选择动作来选择数字“3”。用户可以例如通过发出由麦克风130所检测到的可听见的响声来选择数字“3”。备选地，用户可以通过轻击反射表面108的区域(例如，如果反射表面108是触摸屏)来选择数字“3”。还可以构想各种其它选择动作。
响应于选择动作的检测，电子设备102使用来自传感器110的数据以确定在选择动作的时候非显示光标112的位置。如上所提及的，非显示光标112的位置相对于观察点122而被限定。
电子设备102标识位于反射表面108上的控件(如果有的话)中的哪些控件包括在选择动作的时候从观察点122所观看的、与非显示光标112的位置对准(例如，重叠)的区域。这一项目由电子设备102“选择”并且使用以启动一个或多个处理动作。所公开的技术被构想用于各种应用中，包括需要用户认证以访问电子设备102的某些应用、数据访问和/或通用应用的安全应用。例如，电子设备102可以提示用户104认证序列(例如，PIN或密码)以访问从电子设备102可观看到的数据。由于用户以非显示光标112选择的位置除了沿着对应于所限定的观察点122(例如，用户的主导眼)的视线116以外是不可见的，因而用户104可以在公共场所谨慎地输入认证序列，而不会有在反射表面108明显可见时向其他人泄露认证序列的风险。例如，用户104可以通过对准非显示光标112并且执行选择动作来输入单个数字认证序列。相同或相似的步骤可以被重复以输入多个数字认证序列。
在一些实施方式中，当用户104使用非显示光标112提供输入时，反射表面108不显示键盘120。例如，用户104可以能够使用非显示光标112来选择反射表面120上显示的其它控件或图像，或选择反射表面120的根本不显示任何图像的部分。
电子设备102可以使用各种技术(包括例如模式标识技术)来标识非显示光标112的位置。例如，传感器110可以是从用户环境收集图像数据的相机。电子设备102可以使用一个或多个模式标识模块来标识用户面部特征(诸如，例如用户的面部中心或眼睛)。然后，电子设备102可以使用其它保存的或可动态确定的参数(例如，位置信息、深度估计等)来估计非显示光标112出现在反射表面108上的位置。
图2图示了包括致动电子设备202的控件的非显示光标212的示例系统200。电子设备202包括监测用户(未示出)的相机218，同时利用非显示光标212的设备特征提示用户输入。当电子设备202的反射表面208(例如，显示屏幕)相对于用户以特定方式定向时，用户可以在反射表面208上看到其面部反射214(如图2的视图A所示)。
在校准操作(例如，如下文相对于其它附图所描述的)期间，用户选择面部特征以充当非显示光标212的光标源。非显示光标212的位置被限定为当从所限定的观察点观看时、反射表面208中反射的光标源的位置。例如，观察点可以是用户的主导眼。在图2中，用户已将他的左眼定义为光标源。因此，非显示光标212的位置由沿用户的主导眼的视线所观看的反射表面208中反射的用户的左眼的位置而给出。在其它实施方式中，用户可以选择其它面部或身体特征(诸如例如用户鼻子的顶部、用户嘴的中心、用户的食指等)以充当非显示光标112的光标源。
图2的视图B图示了在电子设备202的反射表面208上显示的键盘220。视图C图示了从所限定的观察点观看到的键盘220上的数字“1”与非显示光标212的对准。当保持非显示光标212和数字“1”之间的对准时，用户执行选择动作以选择数字“1”。选择动作可以是例如可听见的声音(例如，短的咂舌)、眨眼、唇部运动、触摸反射表面输入等。
响应于选择动作的检测，电子设备202分析由相机218收集的数据，以标识非显示光标212相对于反射表面208的位置。例如，电子设备202可以分析在选择动作时拍摄的用户的图像，以确定光标源在相机218的视场内的位置。在一个实施方式中，该分析将用户新拍摄的图像与用户先前在校准操作期间拍摄的图像进行比较。在相机视场内所标识的光标源的位置被映射到来自所限定的观察点的视线中的对应位置。
可以使用各种技术(包括但不限于模式标识技术和/或欧几里德距离计算技术)以各种不同的方式执行非显示光标212的位置的确定。
在确定非显示光标212的位置之后，电子设备202“选择”在与非显示光标212的位置重叠的区域中所显示的或可看到的任何内容。该内容选择作为输入被电子设备202的一个或多个模块接收，并且用于发起诸如准许访问电子设备202等的一个或多个处理动作。
图3图示了用于执行电子设备302的非显示光标特征的校准操作的示例环境300。在校准操作300期间，使用电子设备302的相机318拍摄用户的图像314。用户为电子设备302提供附加信息，该附加信息用于标识相机318视场中的光标源，以及用于将光标源的视在位置映射到当从所限定的观察点(例如，用户的视线)观看时、光标源的反射出现在反射表面308上的位置。在一个实施方式中，所限定的观察点对应于用户所选择的主导眼的视线。
当校准电子设备302的非显示光标特征时，用户单独地或以不同的组合执行下面描述的示例性校准操作300中的一个或多个。在一个示例校准操作中，电子设备302将用户的实时图像显示在反射表面308上，并且用户选择性地重定向反射表面308，直到在反射表面308上显示的十字准线312与用户的实时图像的中心对准。当用户的“面部中心”与十字准线312对准时，用户执行选择动作，并且相机318保存用户的图像314。用户可以以各种方式执行选择动作，诸如通过触摸反射表面308的一部分或者发出可由电子设备302的麦克风检测的响声(例如，舌头“点击”声、语音指令等)。以这种方式，用户向电子设备302提供随后可以在用户的其它图像中被标识的参考点(例如，面部中心)。例如，电子设备302可以使用图像314的面部比例来确定该标识的“面部中心”被定位在用户的其它图像上。
当使用非显示光标特征时，用户将电子设备302握持在“自然握持位置”。反射316是当用户在自然握持位置握持电子设备302时从所限定的观察点可观看到的图像。值得注意的是，反射316的位置和取向可以与图像314的位置和取向不同。例如，用户可以通过以过度延伸或不放松的方式伸展其手臂来使图像314在十字准线312上居中。因此，备选的校准操作允许用户改变图像314以更接近地类似于反射316。
在图3中，反射表面308显示以十字准线312为中心的图像314的两个象限。在一个示例校准中，用户将电子设备302握持在自然握持位置，并且经由所限定的观察点(例如，主导眼)观察反射316。如果反射316的中心不与图像314的中心对准，则用户在一个或多个方向上移动图像314。例如，用户可以在给定方向上跨反射表面308拖动手指以在该方向上移动图像314。一旦实现了两个面部中心的这种对准，用户提供输入以确认图像314的重新定位。例如，用户可以通过触摸反射表面的部分来提供输入(例如，如图4所示)，或通过发出由电子设备的麦克风检测的可听见的声响来提供输入。该电子设备302使用该校准来计算平移因子，其被保存以在非显示光标特征的操作期间用于随后使用。
在另一个示例校准操作中，用户相对于反射的图像316缩放(例如，改变缩放级别)和/或旋转图像314。例如，用户可以能够提供触摸屏输入以缩放图像314(例如，通过使用手指夹捏运动)或能够旋转图像314(例如，通过旋转两个触碰的手指)，使得图像314更接近地类似于反射316。在用户完成操纵图像314以将图像314与反射316对准之后，用户提供输入以确认图像314的重新缩放。电子设备302使用该校准来计算缩放因子，其被保存以在非显示光标特征的操作期间用于随后使用。
用户可以能够重复地调节平移因子和缩放因子，直到图像314和反射316均被正确对准。在用户完成操纵图像314之后，电子设备302保存缩放因子和平移因子以供将来使用。
上述方法(例如，图像314的“重新定位”)向电子设备302提供了用于将由相机318观察到的参考点投影到反射表面308上的一位置的投影度量，当电子设备302被握持在自然握持位置，从限定的观察点观看时，参考点出现在反射表面308上的该位置。如果例如电子设备302在用户的实时图像中标识用户面部的中心，则电子设备302可以使用所保存的缩放因子和平移因子来计算投影度量，并且确定当从限定的观察点观看时，该面部中心的反射被定位在反射表面308上的位置。
图4图示了用于执行电子设备402的非显示光标特征的校准操作的另一示例环境400。在图4中，用户定义用于非显示光标的光标源420。在一个实施方式中，光标源420是用户的主导眼，因为它可以被容易地瞄准；然而，光标源420在其它实现方式中是用户的其它部分(例如，鼻子、嘴、手指等)。电子设备402在反射表面408上显示用户的图像414，并且用户轻敲图像414的反射的面部特征以选择该特征作为光标源420。如果例如用户轻敲其主导(左)眼的反射图像(如所示)，则该眼的反射变为在非显示光标特征的操作期间的非显示光标。
在另一个示例校准操作中，用户控制反射表面408上的位置标记(例如，通过拖动、按压控制按钮等)，并将位置标记匹配到图像414内的光标源420的反射图像上。一旦位置标记与光标源420的反射对准，则用户提供输入以确认光标源420的设置。例如，用户可以通过触摸反射表面的部分(例如，如图4所示)或通过发出由电子设备的麦克风检测到的可听见的响声来提供输入。
电子设备402保存限定了所限定的参考点(例如，用户面部的所标识的中心)与光标源420位置之间的间隔的偏移信息。使用该偏移信息，稍后电子设备402可以能够标识光标源420相对于所标识的参考点在由相机418拍摄的实时图像中的位置。然后，电子设备402可以将光标源420的位置从相机的参考系418投影到用户主导眼的参考系。
图5A和图5B图示了用于标识非显示光标在电子设备502的反射表面508上的位置的示例性方法500的各方面。该方法仅仅是若干合适的方法之一。在初始校准期间，用户标识充当光标源506(例如，用户的主导(左)眼)的面部特征。该特征的反射充当非显示光标522(例如，如图5B所示)，并且具有相对于特定观察点所限定的位置。在图5A-图5B中，观察点是用户主导眼的视线。
为利用非显示光标特征，用户将电子设备502握持在自然握持位置，使得用户可以在反射表面508中观看其反射516(例如，如图5B所示)。在自然握持位置中，光标源506在离反射表面508距离“d”处。距离“d”可以是在电子设备502的先前校准操作或实时校准操作期间推断、计算或估计的参数。标识“d”的一个示例实时校准步骤在下面参照图6进行描述。在其它实施方式中，使用深度相机(未示出)来确定距离“d”。
在所图示的方法中，假设用户的面部是扁平的(例如，沿着面部平面510)。在其它实施方式中，可以采用更复杂的数学来考虑沿用户面部表面的z方向拓扑差异。
第一坐标系(x,y,z)(以下称为“主导眼坐标系”)被定义为具有与光标源506共享x坐标和y坐标的原点。第一坐标系的原点位于投影在反射表面508后方距离“d”处的点。第二坐标系(x',y',z')(以下称为“相机坐标系”)被定义为具有与相机518共享x坐标和y坐标的原点。第二坐标系的原点位于投影在反射表面508后方距离“f”处的点，其中“f”表示相机的焦距。主导眼坐标系(x,y,z)的原点与摄像机坐标系的原点(x',y',z')分开距离“t”，其中t＝[tx,ty,tz]，并且tz＝d-f。参考点504与主导眼坐标系(x,y,z)的原点分开距离“a”，其中a＝[ax,ay,az]。参考点504可以是任何特征，但是在图5A-图5B中被示出为用户面部的中心。在该实施方式中，因为假设用户的面部是扁平的，所以az＝0。
点(x'r,y'r)表示相机坐标系(x',y',z')内参考点504(例如，用户面部的中心)在反射表面508上的位置。点(x'p,y'p)表示相机坐标系(x',y',z')内光标源506投影到的反射表面508上的位置。另一个点(xp,yp)表示主导眼坐标系(x,y,z)内反射表面508上反射的光标源506的位置，同时(xr,yr)表示在主导眼坐标系(x,y,z)内反射表面508上反射的参考点504的位置。
为计算主导眼坐标系(x,y,z)中非显示光标的位置(xp,yp)，电子设备502可以采用以下(示例性)等式：
xp＝Axx'p+Axx'r+Bx (1)
yp＝Ayy'p+Ayy'r+By (2)
在上面的等式(1)和(2)中，A＝[Ax,Ay]表示缩放因子，而B＝[Bx,By]表示平移因子。在一个实施方式中，平移因子(B)和缩放因子(A)在先前的校准过程中获得(例如，上面参照图3所讨论的平移因子和缩放因子)。在一个实施方式中，缩放因子(A)和平移因子(b)由下面的等式(3)和(4)给出：
Figure GDA0001278300080000101
Figure GDA0001278300080000102
使用A和B的这些值，等式1和2可以被变换为如下的等式(5)和(6)：
Figure GDA0001278300080000103
在先前的校准过程期间，电子设备502还可以计算并保存限定相机坐标系中参考点504和光标源506之间的间隔的偏移值(dx,dy)(如图5B所示)。
在非显示光标特征的操作期间，在用户将电子设备502握持在自然握持位置时，相机518记录用户的图像。电子设备的模块使用所记录的图像来标识参考点504。当参考点504是用户面部的中心(如图5所示)时，电子设备的模块通过以下来标识参考点504：分割所记录图像中的面部区域530，并且然后标识面部中心(例如，重心)，以定义相机坐标系中的点x'r、y'r(在图5B中表示为点(cx,cy))的值。
使用偏移值(dx,dy)和值(cx,cy)，非显示光标源的位置的值(csrx,csry)可以如下确定：
csrx＝Ax(dx+cx)+Ax(cx)+Bx (7)
csry＝Ay(dy+cy)+Ay(cy)+By (8)
如果用户的主导眼被选择作为光标源522，则点(csrx,csry)等于(xp,yp)(如在上述等式(5)和(6)所定义的)。
在使用非显示光标特征期间，用户的面部和反射表面508之间的距离“d”可以不同于初始校准期间的这个距离。在这种情况下，可以执行另外的实时校准调节以调节缩放因子A。下面关于图6讨论一个示例实时校准。
图6图示了可用于估计用户与电子设备602的反射表面608之间的距离的示例实时校准操作600。例如在非显示光标功能启动时，电子设备602上的相机618拍摄用户的图像614。在一个实施方式中，用户在拍摄图像614的同时将电子设备602握持在自然握持位置。电子设备602的模块标识图像614中的用户面部的边界620。
非显示光标特征利用可以如下实时计算的缩放因子(A)：
Figure GDA0001278300080000111
在等式(9)中，“Ao”是基于到用户的原始校准距离“do”的而如在等式(1)和(2)中原始计算的缩放因子(A)。相机618和用户之间的“d”可以使用以下比例关系来估计：
Figure GDA0001278300080000112
因此，常数“A”的实时校准可以被确定为：
Figure GDA0001278300080000113
其中，“New_Face_Area”是实时确定的用户面部面积，“Initial_Face_Area”是在初始校准期间确定的用户面部面积。
在其它实施方式中，通过测量面部宽度和/或面部高度而不是面部面积来估计距离“d”。通过以这种方式估计距离“d”，电子设备602可以调整在上述等式(1)和(2)中使用的常数“A”，以计算非显示光标的坐标(xp，yp)。
在一个实施方式中，感测装置被用于直接测量电子设备602和用户面部之间的距离。例如，合适的感测装置可以包括深度相机或超声/激光距离传感器。
另一方面，即使当“d”被改变时，也不必重新计算上面的等式1和2中出现的常数“B”，因为“B”可以独立于距离而求解，如下面的等式12所示：
Figure GDA0001278300080000121
上述方法进行了一些假设，这些假设可以在其它实施方式(例如，采用更复杂的数学的实施方式)中被校正。例如，上述方法假设反射表面508是扁平的，并且大致平行于用户脸部的平面，并且用户脸部也是扁平的。这里未描述的其它实现方式可以考虑电子设备502相对于面部平面510的旋转和/或面部平面510相对于反射表面508的旋转。
在另一个实施方式(未示出)中，采用不同的数学框架来计算系统中非显示光标的位置，其中光标源506被允许独立于面部平面510和反射表面508移动(例如，在x-y平面中)。例如，游戏系统可以包括确定用户相对于接收设备的位置和/或移动的一个或多个传感器。如果光标源506是用户的手，则光标源506的移动独立于面部平面510和游戏系统的反射表面508。在这种情况下，可以利用各种等式和从不同传感器收集的数据来确定非显示光标的位置。可应用于此以及其它实施方案的传感器技术包括但不限于RGB传感器、深度传感器、热传感器、立体传感器、扫描激光传感器、超声传感器、毫米波传感器等。
在一个实施方式中，非显示光标特征允许用户向ATM机输入安全PIN。因为ATM机通常具有大的反射表面和简化的键盘(例如，由“123”、“456”、“789”和“0”组成的4行)，所以非显示光标特征的使用可能需要比通常足以在移动设备(例如，蜂窝电话)上输入PIN而言更显著、更大的手势。为增加安全保护，ATM机可以结合更复杂的键盘来实现非显示光标特征。例如，键盘可以由以下五行组成：“1234567890”、“4567890123”、“7890123456”、“0123456789”、“3456789012”。
图7图示了用于使用电子设备的非显示光标特征的示例操作700。定位操作702将电子设备的反射表面定位，使得光标源的反射(即，非显示光标)对于用户是可观看到的。例如在校准操作期间，光标源可以是例如面部特征、身体部分或由用户选择的其它可移动对象。当光标源在电子设备的反射表面上反射时，光标源充当非显示光标。在电子设备是诸如平板计算机或移动电话的手持设备的一个实施方式中，用户通过定向电子设备来执行定位操作702，使得可以从限定的观察点观看到光标源的反射。在电子设备不是手持的其它操作中，用户可以通过调节反射表面的位置(例如，如果设备被安装到静止表面)和/或通过调节其身体位置来执行定位操作702。
移动操作704移动光标源，使得非显示光标与电子设备的反射表面上的区域重叠。选择操作706基于所重叠的区域进行选择(例如，变量选择，项选择等)。在一个实施方式中，选择操作706由用户执行。用户提供选择输入，诸如通过发出可听见的声音(诸如短的咂舌)、眨眼、移动嘴唇、向触摸屏提供输入等。激活操作708响应于选择操作706致动用户界面控件。例如，激活操作708可以向用户提供对电子设备的某些应用的访问、数据访问、通用应用等。
图8图示了用于使用非显示光标来致动电子设备800的控件的示例用户界面控件802。用户界面控件802接受各种类型的用户输入，包括例如显示器输入808(例如，触摸屏输入)、音频输入806(例如，经由麦克风)和视觉输入810(例如，经由相机或其它图像映射传感器)。
选择输入检测器804检测由用户执行的选择动作。在一个实施方式中，在音频输入806(诸如，语言指令、舌头“点击”或其它响声)中检测选择动作。在另一个实施方式中，例如经由电子设备800的触摸屏上的轻敲来在显示器输入808中检测选择动作。在又一个实施方式中，在视觉输入810(诸如，来自检测用户的嘴、眼睛或其它身体部位的运动的相机和/或运动检测器的视觉数据)中检测选择动作。
选择动作指示用户已将非显示光标与反射表面818上的位置对准，并且希望选择在所选择的位置处的反射表面818上显示的或可观看到的控件。用户界面控件802使用各种硬件和/或软件机制来标识反射表面818上的该位置。
选择输入检测器804指示模式标识器812来分析视觉输入810并标识用户的图像上的参考点。例如，模式标识器812可以标识面部区域并且进一步标识用户的眼睛、鼻子、面部中心等。在模式标识器812标识参考点之后，对准校准器816比较视觉输入810内的参考点的位置与所保存的图像的对应参考点的位置。经由该比较，对准校准器816确定缩放度量，其考虑了可以被采用以使得视觉输入更加接近地类似于所保存的图像的偏移、缩放和/或旋转。
对准校准器816向对准检测器814提供缩放度量以及其它所保存的偏移信息，并且对准检测器814标识光标源在传感器视场中的位置，该传感器收集视觉输入810。对准检测器814将光标源的位置投影到备选参考系中，以确定光标源的反射(即，非显示光标)沿用户的视线出现在反射表面818上的位置。
图9图示了可用于实现所描述的技术的示例系统。图9的用于实现所描述的技术的示例硬件和操作环境包括计算设备，诸如游戏控制台或计算机20形式的通用计算设备、移动电话、个人数据助理(PDA)、机顶盒或其它类型的计算设备。在图9的实施方式中，例如，计算机20包括处理单元21、系统存储器22和系统总线23，系统总线23将包括系统存储器的各种系统组件可操作地耦合到处理单元21。可以仅存在一个或更多个处理单元21，使得计算机20的处理器包括单个中央处理单元(CPU)或通常被称为并行处理环境的多个处理单元。计算机20可以是常规计算机、分布式计算机或任何其它类型的计算机；但是本发明不限于此。
系统总线23可以是若干类型的总线结构(包括存储器总线或存储器控制器、外围总线、交换结构、点对点连接以及使用各种总线体系结构中的任何一种的局部总线)中的任何一种。系统存储器也可以简称为存储器，并且包括只读存储器(ROM)24和随机存取存储器(RAM)25。基本输入/输出系统(BIOS)26包含有助于在计算机20内的元件之间(例如，在启动期间)传送信息的基本路径，基本输入/输出系统(BIOS)26存储在ROM 24中。计算机20还包括用于从硬盘(未示出)读取并向其写入的硬盘驱动27、用于从可移动磁盘29读取或向其写入的磁盘驱动28、以及用于从诸如CD ROM、DVD或其它光学介质的可移动光盘31读取或向其写入的光盘驱动30。
硬盘驱动27、磁盘驱动28和光盘驱动30分别通过硬盘驱动接口32、磁盘驱动接口33和光盘驱动接口34连接到系统总线23。驱动及其相关联的计算机可读介质为计算机20提供计算机可读指令、数据结构、程序模块和其它数据的非易失性存储。本领域技术人员应当理解，可存储可由计算机访问的数据的任何类型的计算机可读介质(例如，磁带盒、闪存卡、数字视频盘、随机存取存储器(RAM)、只读存储器(ROM)等)可以在示例操作环境中使用。
包括操作系统35、一个或多个应用程序36、其它程序模块37和程序数据38的多个程序模块可以存储在硬盘、磁盘29、光盘31、ROM24或RAM 25上。用户可以通过诸如键盘40和定点设备42的输入设备将命令和信息输入个人计算机20。其它输入设备(未示出)可以包括麦克风、操纵杆、游戏板、卫星天线、扫描器等。这些输入设备和其它输入设备通常通过耦合到系统总线的串行端口接口46连接到处理单元21，但是这些输入设备和其它输入设备可以通过诸如并行端口、游戏端口或通用串行总线(例如，USB)的其它接口被连接。监视器47或其它类型的显示设备也经由诸如视频适配器48的接口连接到系统总线23。除了监视器之外，计算机通常包括诸如扬声器和打印机的其它外围输出设备(未示出)。
计算机20可以在使用到一个或多个远程计算机(例如，远程计算机49)的逻辑连接的联网环境中操作。这些逻辑连接由耦合到计算机20的部分的通信设备实现；本发明不限于特定类型的通信设备。远程计算机49可以是另一计算机、服务器、路由器、网络PC、客户端、对等设备或其它公共网络节点，并且通常包括相对于计算机20的在上面描述的许多或所有元件，尽管仅存储器存储设备50。图9中描述的逻辑连接包括局域网(LAN)51和广域网(WAN)52。这种联网环境在为所有类型网络的办公室网络、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机20通过网络接口或适配器53连接到本地网络51，网络接口或适配器53是一种类型的通信设备。当在WAN联网环境中使用时，计算机20通常包括调制解调器54、网络适配器、某种类型的通信设备或用于通过广域网52建立通信的任何其它类型的通信设备。可以是内部的或外部的调制解调器54，经由串行端口接口46被连接到系统总线23。在联网环境中，相对于个人计算机20描述的程序引擎或其部分可以存储在远程存储器存储设备中。应当理解，所示的网络连接是示例性的，并且可以被使用用于在计算机之间建立通信链路的通信设备的其它方式。
在示例实施方式中，选择输入检测器、模式标识器、对准校准器、对准检测器、一个或多个模式标识器、检测器、校准器和其它模块可以通过存储在存储器22和/或存储设备29或31中的指令来体现，并由处理单元21处理。偏移、缩放度量、各种校准数据、相机数据、显示器输入数据、音频输入数据和其它数据可以存储在存储器22和/或存储设备29或31中作为持久性数据存储。此外，用户界面控制器表示被配置为基于经由非显示光标特征所提供的用户选择来致动一个或多个设备控制的硬件和/或软件。用户界面控制器可以使用通用计算机和专用软件(例如，执行服务软件的服务器)、专用计算系统和专用软件(例如，执行服务软件的移动设备或网络设备)或其它计算结构来实现。
术语“模块”、“程序”、“服务”和“引擎”可以用于描述被实现为执行一个或多个特定功能的计算系统20的一个方面。在一些情况下，可以经由处理单元21来实例化这样的模块、程序、服务或引擎，处理单元21执行由系统存储器22保持的指令。应当理解，不同的模块、程序和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。同样，相同的模块、程序和/或引擎可以由不同的应用、服务、代码块、对象、例程、API、函数等实例化。术语“模块”、“程序”和“引擎”旨在涵盖可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的单个或组合。
图10图示了可以用于实现所描述的技术的另一示例系统(标记为移动设备1000)。移动设备1000包括处理器1002、存储器1004、显示器1006(例如，触摸屏显示器)和其它接口1008(例如，键盘)。存储器1004通常包括易失性存储器(例如，RAM)和非易失性存储器(例如，闪存)。诸如Microsoft
Figure GDA0001278300080000171
Phone操作系统的操作系统1010驻留在存储器1004中并且由处理器1002执行，但是应当理解，可以采用其它操作系统。
一个或多个应用程序1012被加载到存储器1004中并且由处理器1002在操作系统1010上执行。应用1012的示例包括但不限于模式标识程序、校准程序等。移动设备1000包括电源1016，电源1016由一个或多个电池或其它电源供电，并且向移动设备1000的其它部件提供电力。电源1016还可以被连接到外部电源，该外部电源将内置电池或其它电源置换或再充电。
移动设备1000包括一个或多个通信收发器1030以提供网络连接(例如，移动电话网络、等)。移动设备1000还包括各种其它组件，例如定位系统1020(例如，全球定位卫星收发器)、一个或多个加速度计1022、一个或多个相机1024、音频接口1026(例如，麦克风、音频放大器和扬声器和/或耳机插座)和附加存储器1028。也可以采用其它配置。
在示例实施方式中，选择输入检测器、模式标识器、对准校准器、对准检测器、一个或多个模式标识器、检测器、校准器和其它模块可以通过存储在存储器1004和/或存储设备1028中的指令来体现，并且由处理单元1002处理。偏移、缩放度量、各种校准数据、相机数据、显示器输入数据、音频输入数据和其它数据可以存储在存储器1004和/或存储设备1028中作为持久性数据存储。
移动设备1000和(图9的)计算机20可以包括各种有形计算机可读存储介质和无形计算机可读通信信号。有形计算机可读存储可以由可被移动设备1000或计算机20访问的任何可用介质来体现，并且包括易失性和非易失性存储介质、可移动和不可移动存储介质。有形计算机可读存储介质排除无形通信信号，并且包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动存储介质。有形计算机可读存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CDROM、数字通用光盘(DVD)或其它光盘存储器、磁带盒、磁带、磁盘存储器或其它磁性存储设备或可用于存储所需信息并且可由移动设备1000或计算机20访问的任何其它有形介质。与有形计算机可读存储介质相反，无形计算机可读通信信号可以体现计算机可读指令、数据结构、程序模块或驻留在调制数据信号(例如，载波或其它信号传输机制)中的其它数据。术语“调制数据信号”意在指具有其一个或多个特性的信号，其一个或多个特性以在信号中编码信息的方式被设置或改变。
本文描述的本发明的实施方式被实现为一个或多个计算机系统中的逻辑步骤。本发明的逻辑操作被实现为：(1)在一个或多个计算机系统中执行的处理器实现的步骤的序列，以及(2)在一个或多个计算机系统内的互连机器或电路模块。实施方式是选择的问题，取决于实现本发明的计算机系统的性能要求。因此，构成本文描述的本发明的实施例的逻辑操作被不同地称为操作、步骤、对象或模块。此外，应当理解，逻辑操作可以以任何顺序执行、根据需要添加和省略，除非明确地以其它方式要求保护，否则特定的顺序本质上由权利要求的语言所必需。
以上说明书、示例和数据提供了示例性实施方式的结构和使用的完整描述。由于在不脱离所要求保护的发明的精神和范围的情况下可以进行许多实施方式，因此，所附的权利要求限定了本发明。此外，在不脱离所述权利要求的情况下，不同示例的结构特征可以在另一个实施方式中组合。

Claims (18)

1.一种处理器实现的方法，包括：
在电子设备的光反射表面处显示两个或更多用户界面控件；
检测在所述电子设备的所述光反射表面上被光反射的经光反射的图像与所述光反射表面上的物理位置之间的对准，所述两个或更多用户界面控件中的用户界面控件在所述物理位置处被显示；
在所述对准被维持在所述用户界面控件被显示的所述物理位置处的同时，检测选择动作；以及
响应于所检测的对准和所检测的选择动作，激活所述用户界面控件。
2.根据权利要求1所述的处理器实现的方法，其中所述选择动作是用户的移动。
3.根据权利要求1所述的处理器实现的方法，其中所述选择动作由所述电子设备的麦克风检测。
4.根据权利要求1所述的处理器实现的方法，其中所述经光反射的图像是用户的经反射的一部分。
5.根据权利要求1所述的处理器实现的方法，其中所述经光反射的图像包括用户的面部特征。
6.根据权利要求1所述的处理器实现的方法，其中所述电子设备是移动设备。
7.根据权利要求1所述的处理器实现的方法，其中所述对准在沿着用户的视线的方向上被实现。
8.根据权利要求1所述的处理器实现的方法，其中用户的视角由所述电子设备上的传感器确定。
9.一种电子系统，包括：
显示器，被配置为在电子设备的光反射表面处显示两个或更多用户界面控件；
对准检测器，被配置为检测在所述电子设备的所述光反射表面上被光反射的经光反射的图像与所述光反射表面上的物理位置之间的对准，所述两个或更多用户界面控件中的用户界面控件在所述物理位置处被显示；
选择输入检测器，被配置为在所述对准被维持在所述用户界面控件被显示的所述物理位置处的同时，检测选择动作；以及
用户界面控制器，被配置为响应于所检测的对准和所检测的选择动作，激活所述用户界面控件。
10.根据权利要求9所述的电子系统，其中所述选择动作是用户的移动。
11.根据权利要求9所述的电子系统，其中所述选择动作由所述电子设备的麦克风检测。
12.根据权利要求9所述的电子系统，其中所述经光反射的图像是用户的经反射的一部分。
13.根据权利要求9所述的电子系统，其中所述经光反射的图像是用户的面部特征。
14.根据权利要求9所述的电子系统，其中所述电子设备是移动设备。
15.根据权利要求9所述的电子系统，其中所述对准在沿着用户的视线的方向上被实现。
16.根据权利要求9所述的电子系统，其中用户的视角由所述电子设备上的传感器确定。
17.一个或多个有形的计算机可读存储介质，所述有形的计算机可读存储介质编码用于在计算机系统上执行计算机处理的计算机程序，所述计算机处理包括：
在电子设备的光反射表面上显示两个或更多用户界面控件；
检测在所述电子设备的所述光反射表面上被光反射的经光反射的图像与所述光反射表面上的物理位置之间的对准，所述两个或更多用户界面控件中的用户界面控件在所述物理位置处被显示；
在所述对准被维持在所述用户界面控件被显示的所述物理位置处的同时，检测选择动作；以及
响应于所检测的对准和所检测的选择动作，激活所述用户界面控件。
18.根据权利要求17所述的一个或多个有形的计算机可读存储介质，其中在所述光反射表面上被光反射的所述图像与所述用户界面控件被显示的所述物理位置沿着用户的视线被对准。
CN201580041482.8A 2014-08-01 2015-07-29 基于反射的控件激活 Active CN107077200B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/449,435 2014-08-01
US14/449,435 US9645641B2 (en) 2014-08-01 2014-08-01 Reflection-based control activation
PCT/US2015/042550 WO2016018957A1 (en) 2014-08-01 2015-07-29 Reflection-based control activation

Publications (2)

Publication Number Publication Date
CN107077200A CN107077200A (zh) 2017-08-18
CN107077200B true CN107077200B (zh) 2020-01-21

Family

ID=53836836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041482.8A Active CN107077200B (zh) 2014-08-01 2015-07-29 基于反射的控件激活

Country Status (11)

Country Link
US (1) US9645641B2 (zh)
EP (1) EP3175325B1 (zh)
JP (1) JP6898234B2 (zh)
KR (1) KR102392437B1 (zh)
CN (1) CN107077200B (zh)
AU (1) AU2015296666B2 (zh)
BR (1) BR112017001326A2 (zh)
CA (1) CA2955072C (zh)
MX (1) MX374243B (zh)
RU (1) RU2693308C2 (zh)
WO (1) WO2016018957A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2996020A4 (en) * 2013-05-08 2016-05-25 Fujitsu Ltd INPUT DEVICE AND INPUT PROGRAM
WO2016064311A1 (en) * 2014-10-22 2016-04-28 Telefonaktiebolaget L M Ericsson (Publ) Method and device for providing a touch-based user interface
JP6780315B2 (ja) * 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
US11423879B2 (en) * 2017-07-18 2022-08-23 Disney Enterprises, Inc. Verbal cues for high-speed control of a voice-enabled device
WO2019212569A1 (en) * 2018-05-04 2019-11-07 Google Llc Adapting automated assistant based on detected mouth movement and/or gaze
US11080514B2 (en) * 2019-09-13 2021-08-03 Citrix Systems, Inc. Facial recognition based auto zoom
JP7446913B2 (ja) * 2020-05-21 2024-03-11 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW554329B (en) * 1998-06-11 2003-09-21 Intel Corp Method of using video reflection in providing input data to a computer system
US9083532B2 (en) * 2012-03-06 2015-07-14 Ebay Inc. Physiological response PIN entry

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05204526A (ja) * 1992-01-23 1993-08-13 Nec Corp 視点監視入力装置
JPH1097376A (ja) * 1996-09-20 1998-04-14 Canon Inc 視線操作装置
RU2316051C2 (ru) * 2005-01-12 2008-01-27 Самсунг Электроникс Ко., Лтд. Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности
JP2008118633A (ja) * 2006-10-11 2008-05-22 Victor Co Of Japan Ltd 電子機器の制御装置及び制御方法
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US9002073B2 (en) * 2007-09-01 2015-04-07 Eyelock, Inc. Mobile identity platform
US20110273369A1 (en) 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
EP3527121B1 (en) * 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US8625847B2 (en) * 2011-03-21 2014-01-07 Blackberry Limited Login method based on direction of gaze
US8594374B1 (en) 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration
KR101773845B1 (ko) 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
JP5456817B2 (ja) * 2012-03-23 2014-04-02 ヤフー株式会社 表示制御装置、表示制御方法、情報表示システム及びプログラム
AU2013205535B2 (en) 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
TWI590098B (zh) 2012-05-09 2017-07-01 劉鴻達 以臉部表情為輸入的控制系統
WO2013168171A1 (en) * 2012-05-10 2013-11-14 Umoove Services Ltd. Method for gesture-based operation control
US20130342672A1 (en) 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
PT106430B (pt) * 2012-07-03 2018-08-07 Cesar Augusto Dos Santos Silva Sistema para medição da distância interpupilar usando um dispositivo equipado com um ecrã e uma câmara
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US9274608B2 (en) * 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
KR102012254B1 (ko) * 2013-04-23 2019-08-21 한국전자통신연구원 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
RU2522848C1 (ru) * 2013-05-14 2014-07-20 Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" Способ управления устройством с помощью глазных жестов в ответ на стимулы
GB2514603B (en) * 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
TW201518979A (zh) * 2013-11-15 2015-05-16 Utechzone Co Ltd 手持式眼控接目裝置、及密碼輸入裝置、方法以及電腦可讀取記錄媒體及電腦程式產品
US20150227735A1 (en) * 2014-02-13 2015-08-13 Robert Chappell System and method for eye tracking authentication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW554329B (en) * 1998-06-11 2003-09-21 Intel Corp Method of using video reflection in providing input data to a computer system
US9083532B2 (en) * 2012-03-06 2015-07-14 Ebay Inc. Physiological response PIN entry

Also Published As

Publication number Publication date
RU2017103121A3 (zh) 2018-12-20
CA2955072A1 (en) 2016-02-04
AU2015296666B2 (en) 2020-04-30
RU2017103121A (ru) 2018-08-01
EP3175325A1 (en) 2017-06-07
JP6898234B2 (ja) 2021-07-07
MX2017001514A (es) 2017-05-09
WO2016018957A1 (en) 2016-02-04
US9645641B2 (en) 2017-05-09
CN107077200A (zh) 2017-08-18
BR112017001326A2 (pt) 2017-11-14
KR102392437B1 (ko) 2022-04-28
US20160034030A1 (en) 2016-02-04
RU2693308C2 (ru) 2019-07-02
KR20170040222A (ko) 2017-04-12
EP3175325B1 (en) 2020-11-18
AU2015296666A1 (en) 2017-02-09
CA2955072C (en) 2022-02-22
MX374243B (es) 2025-03-05
JP2017526096A (ja) 2017-09-07

Similar Documents

Publication Publication Date Title
CN107077200B (zh) 基于反射的控件激活
US11175726B2 (en) Gesture actions for interface elements
US9213436B2 (en) Fingertip location for gesture input
US9049983B1 (en) Ear recognition as device input
EP2707835B1 (en) Using spatial information with device interaction
US10579783B1 (en) Identity authentication verification
US20220345621A1 (en) Scene lock mode for capturing camera images
US10540489B2 (en) Authentication using multiple images of user from different angles
US9400575B1 (en) Finger detection for element selection
US9898183B1 (en) Motions for object rendering and selection
US9041689B1 (en) Estimating fingertip position using image analysis
CN110249290A (zh) 信息处理设备、信息处理方法和程序
CN104541304A (zh) 使用多个相机的目标对象角度确定
CN102985894B (zh) 第一响应和第二响应
KR102084161B1 (ko) 이미지를 보정하는 전자 장치 및 그 제어 방법
WO2018185830A1 (ja) 情報処理システム、情報処理方法、情報処理装置、及びプログラム
EP4627432A1 (en) Accessory pairing based on captured image
CN111723348A (zh) 人机识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant