[go: up one dir, main page]

CN105474136A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN105474136A
CN105474136A CN201480046755.3A CN201480046755A CN105474136A CN 105474136 A CN105474136 A CN 105474136A CN 201480046755 A CN201480046755 A CN 201480046755A CN 105474136 A CN105474136 A CN 105474136A
Authority
CN
China
Prior art keywords
user
information processing
selection
predetermined condition
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480046755.3A
Other languages
English (en)
Other versions
CN105474136B (zh
Inventor
井元麻紀
野田卓郎
安田亮平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105474136A publication Critical patent/CN105474136A/zh
Application granted granted Critical
Publication of CN105474136B publication Critical patent/CN105474136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了一种信息处理设备,其包括电路,该电路被配置成:当基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系确定满足关于选择候选对象的选择的预定条件时,通过使得选择候选对象成为被选状态来控制选择候选对象的状态。

Description

信息处理设备、信息处理方法和程序
对相关申请的交叉列举
本申请要求2013年9月2日提交的日本优先权专利申请JP2013-181228的权益,其全部内容通过列举合并于此。
技术领域
本公开涉及一种信息处理设备、信息处理方法和程序。
背景技术
近年来,下述用户接口正在涌现:这些用户接口通过使用诸如眼睛跟踪技术的视线检测技术而允许用户通过视线进行操作。例如,以下PTL1中描述的技术可以被列举作为关于允许用户通过视线进行操作的用户接口的技术。
引用列表
专利文献
PTL1:JP2009-64395A
发明内容
技术问题
当例如用户通过视线进行操作并且通过视线移动诸如光标的对象时,即使用户试图将对象布置在显示屏上的期望位置,对象也可能会由于眼睛的移动的影响而移动。当如上所述对象由于眼睛的移动的影响而移动时,难以将对象布置在期望位置,因此,用户的便利性会下降。
本公开提出了一种新颖且改进的信息处理设备、信息处理方法和程序,该信息处理设备能够增强当用户通过视线的移动来操作显示在显示屏上的对象时的用户便利性。
问题的解决方案
根据本公开的实施例,提供了一种包括电路的信息处理设备,该电路被配置成当基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系确定满足关于选择候选对象的选择的预定条件时,通过使得选择候选对象成为被选状态而控制选择候选对象的状态。
根据本公开的实施例,提供了一种由信息处理设备执行的信息处理方法,该方法包括:基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系而确定是否满足关于选择候选对象的选择的预定条件,以及当确定满足关于选择的预定条件时,使得选择候选对象成为被选状态。
根据本公开的实施例,提供了一种其上实施有程序的非暂态计算机可读介质,该程序当由计算机执行时使得计算机执行方法,该方法包括:基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系而确定是否满足关于选择候选对象的选择的预定条件,以及当确定满足关于选择的预定条件时,使得选择候选对象成为被选状态。
本发明的有利效果
根据本公开,可以增强当用户通过视线的移动而操作显示在显示屏上的对象时的用户便利性。
以上效果不一定是限制性的,并且与以上效果一起或者替代以上效果,可实现本说明书中示出的效果之一或者从本说明书领会的其它效果。
附图说明
图1是示出依据根据实施例的信息处理方法的处理的示例的说明图。
图2是示出依据根据实施例的信息处理方法的处理的应用示例的说明图。
图3是示出根据实施例的信息处理设备的配置的示例的框图。
图4是示出根据实施例的信息处理设备的硬件配置的示例的说明图。
具体实施方式
以下将参照附图详细描述本公开的实施例。注意,在本说明书和附图中,相同的附图标记被附于具有基本上相同的功能和配置的元件,从而省略重复描述。
将按以下示出的顺序提供描述。
1.根据实施例的信息处理方法
2.根据实施例的信息处理设备
3.根据实施例的程序
(根据实施例的信息处理方法)
在描述根据实施例的信息处理设备的配置之前,将首先描述根据实施例的信息处理方法。将以下述情况为例来描述根据实施例的信息处理方法:在该情况下,由根据实施例的信息处理设备来执行依据根据实施例的信息处理方法的处理。
1.依据根据实施例的信息处理方法的处理的概况
如上所述,当例如用户通过视线进行操作并且通过视线移动诸如光标的对象时,即使用户试图将对象布置在显示屏上的期望位置,对象也可能会由于眼睛的移动的影响而移动。当如上所述对象由于眼睛的移动的影响而移动时,难以将对象布置在期望位置,因此用户的便利性会下降。
因此,根据实施例的信息处理设备基于用户的视线的移动(基于显示屏上的用户的视线的位置的改变的移动)而使得显示在显示屏上的用户的视线的位置的对象成为被选状态。
根据实施例的对象包括显示在显示屏上的各种对象,例如,图标、光标、缩略图图像(运动图像或静止图像)、消息框以及用于对用户进行通知的字符串或图像(下文中称为“通知对象”)。
根据实施例的对象包括例如不打算通过用户的视线进行操作的对象以及打算通过用户的视线进行操作的对象。
根据实施例的打算通过用户的视线进行操作的对象包括例如以下的(a)和(b)所示的对象:
(a)通过用户的视线的移动直接操作的对象
(b)通过以上直接操作的对象间接操作的对象
根据实施例的直接操作的对象是例如下述对象:该对象的显示在显示屏上的位置根据由关于用户的眼睛的信息(稍后描述)所指示的用户的视线的位置而移动(下文中称为“移动对象”)。根据实施例的移动对象包括下述各种对象:这些对象可以变成其显示位置根据用户的视线的位置而改变的目标,上述各种各种对象例如为图标、光标、消息框和通知对象。
根据实施例的间接操作的对象是例如通过直接操作的对象而成为被选状态的对象。例如,下述对象可以被列举作为根据实施例的间接操作的对象:该对象的显示在显示屏上的位置不根据由关于用户的眼睛的信息(稍后描述)所指示的用户的视线的位置而移动(下文中称为“静止对象”)。更具体地,根据实施例的间接操作的对象包括下述各种对象:这些对象可以变成通过直接操作的对象而成为被选状态的目标,上述各种各种对象例如为显示在显示屏上的预定位置的缩略图图像、消息框、通知对象等。
从由根据实施例的信息处理设备使其成为被选状态的观点来看,根据实施例的直接操作的对象和根据实施例的间接操作的对象可以变成下述目标对象:这些目标对象可以基于用户的视线的移动而成为被选状态(下文中称为“选择候选对象”)。
根据实施例的被选状态是与用户的视线的移动无关的状态,例如,不根据用户的视线的移动而移动的状态。即,即使在对象被选择之后用户的视线移动,由根据实施例的信息处理设备使其成为被选状态的对象也不受用户的视线的移动的影响。
因此,作为依据根据实施例的信息处理方法的处理,通过由根据实施例的信息处理设备基于用户的视线的移动而使得显示在显示屏上的对象成为被选状态,可以防止发生可能引起用户的便利性下降的情形,例如,“由于受眼睛的移动的影响而移动试图布置在期望位置的对象”的状态。
因此,根据实施例的信息处理设备可以通过基于用户的视线的移动使得显示在显示屏上的对象成为被选状态而增强当用户通过视线的移动操作显示在显示屏上的对象时的用户便利性。
2.依据根据实施例的信息处理方法的处理
更具体地,根据实施例的信息处理设备通过执行例如(1)确定处理和(2)以下被示出为依据根据实施例的信息处理方法的处理的显示控制处理来增强用户的便利性。
(1)确定处理
根据实施例的信息处理设备基于关于用户的眼睛的信息而确定是否满足关于对象的选择的预定条件。
根据实施例的关于用户的眼睛的信息是包含关于显示屏上的用户的视线的位置的信息的数据(或数据组)。
根据实施例的显示屏是例如如下目标显示屏:用户将他的(她的)视线引导至该目标显示屏,以通过眼睛的移动对该目标显示屏执行各种操作。作为根据实施例的显示屏,例如,可以列举包括在根据实施例的信息处理设备中的显示单元(未示出)的显示屏、以及无线地或经由线缆连接到根据实施例的信息处理设备的外部显示设备(或外部显示装置)的显示屏。
根据实施例的关于用户的视线的位置的信息是例如示出用户的视线的位置的数据、或者可用于识别用户的视线的位置的数据(或者可用于估计用户的视线的位置的数据。这也适用于以下)。
作为根据实施例的示出用户的视线的位置的数据,例如,可以列举示出显示屏上的用户的视线的位置的坐标数据。显示屏上的用户的视线的位置由例如下述坐标系中的坐标来表示:在该坐标系中,显示屏的参考位置被设置为其原点。
作为根据实施例的可以用于识别用户的视线的位置的数据,例如,可以列举下述捕获图像数据:在该捕获图像数据中,对图像(运动图像或静止图像)显示在显示屏上的方向进行成像。根据实施例的可以用于识别用户的视线的位置的数据还可包括获得下述检测值的任何传感器的检测数据:这些检测值可以用于改进用户的视线的位置的估计精度;上述检测数据诸如用于检测图像显示在显示屏上的方向上的红外辐射的红外传感器的检测数据。
当指示显示屏上的用户的视线的位置的坐标数据被用作根据实施例的关于用户的视线的位置的信息时,根据实施例的信息处理设备通过使用例如从外部设备获取并且指示显示屏上的用户的视线的位置的坐标数据而识别显示屏上的用户的视线的位置,该外部设备已通过使用视线检测技术而识别(估计)了用户的视线的位置。
可以通过使用利用视线检测技术检测的视线以及从捕获图像检测的相对于显示屏的面部的朝向和用户的位置而识别显示屏上的用户的视线的位置,在该捕获图像中,捕获了图像显示在显示屏上的方向。然而,根据实施例的识别显示屏上的用户的视线的位置的方法不限于以上方法。例如,根据实施例的信息处理设备和外部设备可以使用能够识别显示屏上的用户的视线的位置的任何技术。
作为根据实施例的视线检测技术,例如,可以列举基于眼睛的移动点(例如,对应于眼睛中的移动部分的点,诸如虹膜和瞳孔)相对于眼睛的参考点(例如,对应于眼睛中不移动的部分的点,诸如眼睛的内眼角或角膜反射)的位置来检测视线的方法。然而,根据实施例的视线检测技术不限于以上技术,并且可以是例如能够检测视线的任何视线检测技术。
当可以用于识别用户的视线的位置的数据被用作根据实施例的关于用户的视线的位置的信息时,根据实施例的信息处理设备使用例如通过外部成像装置或本地设备(根据实施例的信息处理设备。这也适用于以下)中所包括的成像单元(稍后描述)来获取的捕获图像数据(可以用于识别用户的视线的位置的数据的示例)。在以上情况下,根据实施例的信息处理设备可使用例如从包括在本地设备中的可以用于改进用户的视线的位置的估计精度的传感器或外部传感器获取的检测数据(可以用于识别用户的视线的位置的数据的示例)。根据实施例的信息处理设备使用例如如上所述获取的可以用于识别用户的视线的位置的数据,依据根据实施例的显示屏上的用户的视线的位置的识别方法而执行处理,以识别显示屏上的用户的视线的位置。
然而,根据实施例的包含在关于用户的眼睛的信息中的数据不限于关于显示屏上的用户的视线的位置的信息。
例如,根据实施例的关于用户的眼睛的信息可包含关于用户的眼睛的运动的信息。
根据实施例的关于用户的眼睛的运动的信息是例如指示用户的眼睛的运动的数据、可以用于识别用户的眼睛的运动的数据(或者可以用于估计用户的眼睛的运动的数据。这也适用于以下)。
作为根据实施例的指示用户的眼睛的运动的数据,例如,可以列举指示眼睛的预定运动的数据(例如,示出相应数量的预定运动的数据),诸如一次眨眼运动、多次连续眨眼运动和瞬眼(winking)运动。作为根据实施例的可以用于识别用户的眼睛的运动的数据,例如,可以列举图像(运动图像或静止图像)显示在显示屏上的方向的捕获图像数据。当根据实施例的关于用户的眼睛的信息是捕获图像数据时,根据实施例的关于用户的眼睛的信息可以起到根据实施例的关于用户的视线的位置的信息的作用。
当示出用户的眼睛的运动的数据用作根据实施例的关于用户的眼睛的运动的信息时,根据实施例的信息处理设备通过使用例如从已识别(估计)了用户的眼睛的运动的外部设备获取的并且示出用户的眼睛的运动的数据而确定执行了眼睛的预定运动。
当例如从对图像显示在显示屏上的方向进行成像的运动图像(或者多个静止图像)检测的眼睛的形状的改变与对应于眼睛的预定运动的眼睛的形状的改变相匹配时,可以确定执行了眼睛的预定运动。然而,根据实施例的确定眼睛的预定运动的方法不限于以上方法。例如,根据实施例的信息处理设备或者外部设备可以使用能够确定执行了眼睛的预定运动的任何技术。
当可以用于识别用户的眼睛的运动的数据用作根据实施例的关于用户的视线的位置的信息时,根据实施例的信息处理设备使用例如由包括在本地设备中的成像单元(稍后描述)或外部成像装置获取的捕获图像数据(可以用于识别用户的眼睛的运动的数据的示例)。根据实施例的信息处理设备使用例如如上所述获取的可以用于识别用户的眼睛的运动的数据,依据根据实施例的眼睛的预定运动的确定方法而执行处理,以确定执行眼睛的预定运动。
以下将更具体地描述根据实施例的确定处理。
(1-1)确定处理的第一示例:当关于对象的选择的预定条件是关于时间的条件时
当关于选择的预定条件是关于时间的条件时,根据实施例的信息处理设备基于根据关于用户的眼睛的信息而获得的时间来确定是否满足关于对象的选择的预定条件。
更具体地,如果例如由关于用户的眼睛的信息所指示的视线的位置在显示屏的显示选择候选对象的区域(下文中称为“第一区域”)内的时间长于所设置的第一设置时间,则根据实施例的信息处理设备确定满足关于选择的预定条件。根据实施例的信息处理设备也可在下述情况下确定满足关于选择的预定条件:例如由关于用户的眼睛的信息所指示的视线的位置在第一区域内的时间等于或长于第一设置时间。
当根据实施例的选择候选对象是根据实施例的静止对象(其显示在显示屏上的位置不根据用户的视线的位置而移动的对象)时,根据实施例的信息处理设备通过使用例如对应于静止区域的第一区域而确定是否满足关于选择的预定条件。
当根据实施例的选择候选对象是根据实施例的移动对象(其显示在显示屏上的位置根据用户的视线的位置而移动的对象)时,根据实施例的信息处理设备根据例如移动对象的移动状态而设置第一区域(或者重置第一区域。这也适用于以下)。然后,根据实施例的信息处理设备通过使用例如针对移动对象设置的第一区域而确定是否满足关于选择的预定条件。
如果例如在所设置的预定时间(然而,预定时间<第一设置时间)中移动对象的移动距离等于所设置的阈值或更小(或者小于阈值),则根据实施例的信息处理设备设置第一区域。然而,无需说,当根据实施例的选择候选对象是移动对象时设置第一区域的方法不限于以上方法。
作为根据实施例的第一设置时间,例如,可以列举基于根据实施例的信息处理设备的制造者的操作的预设时间。当根据实施例的第一设置时间是预设时间时,根据实施例的信息处理设备基于由关于用户的眼睛的信息所指示的视线的位置在第一区域内的时间以及预设的第一设置时间而确定是否满足关于选择的预定条件。
然而,根据实施例的第一设置时间不限于预设时间。
例如,根据实施例的信息处理设备可以基于用户的眼睛的移动的大小而动态地设置第一设置时间,并且基于动态设置的第一设置时间而确定是否满足关于选择的预定条件,其中用户的眼睛的移动的大小基于由关于用户的眼睛的信息指示的视线的位置的改变。
当例如用户期望使得某个选择候选对象成为被选状态时,由于用户较近地观察选择候选对象等,因此用户的眼睛的移动通常限制于较小的范围。因此,根据实施例的信息处理设备了解包含由关于用户的眼睛的信息所指示的视线的位置的区域,作为用户的眼睛的移动的大小,其中,视线的位置在所设置的预定时间中改变,并且信息处理设备设置对应于用户的眼睛的移动的大小的第一设置时间。
更具体地,根据实施例的信息处理设备例如识别包含由关于用户的眼睛的信息指示的视线的位置的区域,并且计算所识别的区域的面积,其中,视线的位置在所设置的预定时间内改变。然后,根据实施例的信息处理设备基于例如将区域的面积和第一设置时间相关联的表格(或数据库)、以及所识别的区域的面积而设置与所识别的区域的面积对应的第一设置时间,即,与用户的眼睛的移动的大小对应的第一设置时间。
然而,根据实施例的基于关于用户的眼睛的信息而动态地设置第一设置时间的方法不限于以上方法。例如,根据实施例的信息处理设备可计算示出由关于用户的眼睛的信息指示的视线的位置的改变的矢量的绝对值,以在所设置的预定时间中设置与绝对值的最大值对应的第一设置时间。根据实施例的信息处理设备也可以使用能够基于关于用户的眼睛的信息而动态地设置第一设置时间的任何方法。
(1-2)确定处理的第二示例:当关于对象的选择的预定条件是关于用户的眼睛的形状的条件时
如上所述,根据实施例的关于用户的眼睛的信息可包含关于用户的眼睛的运动的信息。另外,如上所述,根据实施例的信息处理设备可以通过使用关于用户的眼睛的运动的信息(例如,示出用户的眼睛的运动的数据或者可以用于识别用户的眼睛的运动的数据)而确定是否执行眼睛的预定运动。
当关于选择的预定条件是关于用户的眼睛的形状的条件时,根据实施例的信息处理设备基于眼睛的运动而确定是否满足关于对象的选择的预定条件,其中眼睛的运动是基于包含在关于用户的眼睛的信息中的关于用户的眼睛的运动的信息而确定的。
更具体地,如果例如基于关于用户的眼睛的运动的信息而检测到眼睛的预定运动,则根据实施例的信息处理设备确定满足关于选择的预定条件。作为根据确定处理的第二示例的眼睛的预定运动,例如,可以列举各种运动,诸如一次眨眼运动、多次连续眨眼运动和瞬眼运动。
根据实施例的信息处理设备通过执行例如(1-1)所示的根据第一示例的确定处理或者(1-2)所示的根据第二示例的确定处理而确定是否满足关于对象的选择的预定条件。
然而,根据实施例的确定处理不限于确定是否满足关于对象的选择的预定条件的处理。
当例如对象维持在被选状态时,用户可期望取消对象的被选状态。因此,当对象维持在被选状态时,作为根据实施例的确定处理,根据实施例的信息处理设备还可基于关于用户的眼睛的信息而确定是否满足关于对象的选择的取消的预定条件。
更具体地,根据实施例的信息处理设备执行例如以下示出的根据第三示例的确定处理或者根据第四示例的确定处理。
(1-3)确定处理的第三示例:当关于对象的选择的取消的预定条件是关于时间的条件时
当关于选择的取消的预定条件是关于时间的条件时,根据实施例的信息处理设备基于根据关于用户的眼睛的信息而获得的时间来确定是否满足关于对象的选择的取消的预定条件。
更具体地,如果例如由关于用户的眼睛的信息指示的视线的位置在第二区域内的时间长于所设置的第二设置时间,则根据实施例的信息处理设备确定满足关于选择的取消的预定条件。根据实施例的信息处理设备也可在下述情况下确定满足关于选择的取消的预定条件:例如由关于用户的眼睛的信息指示的视线的位置在第二区域内的时间等于或长于第二设置时间,。
根据实施例的第二区域是例如显示屏的下述区域:在该区域中显示作为根据实施例的选择候选对象的、并且与处于被选状态的对象不同的对象。
作为根据实施例的第二设置时间,例如,可以列举基于根据实施例的信息处理设备的制造者或用户的操作的预设时间。当根据实施例的第二设置时间是预设时间时,根据实施例的信息处理设备基于由关于用户的眼睛的信息指示的视线的位置在第二区域内的时间以及预设的第二设置时间而确定是否满足关于选择的取消的预定条件。
然而,根据实施例的第二设置时间不限于预设时间。
与根据第一示例的确定处理中的第一设置时间的动态设置类似,例如,根据实施例的信息处理设备可以基于用户的眼睛的移动的大小而动态地设置第二设置时间,并且基于动态设置的第二设置时间而确定是否满足关于选择的取消的预定条件,其中,用户的眼睛的移动的大小基于由关于用户的眼睛的信息指示的视线的位置的改变。
当例如在使得某一对象成为被选状态的情况下用户较近地观察另外的选择候选对象时,用户可能期望取消所选择的对象并且选择该另外的选择候选对象。如上所述,当较近地观察选择候选对象时,用户的眼睛移动通常限制于较小的范围。
因此,当由关于用户的眼睛的信息指示的视线的位置在第二区域内时,如例如根据第一示例的确定处理,根据实施例的信息处理设备了解包含由关于用户的眼睛的信息指示的视线的位置的区域,作为用户的眼睛的移动的大小,其中,视线的位置在设置时间中改变。然后,根据实施例的信息处理设备设置与用户的眼睛的移动的大小对应的第二设置时间。
更具体地,例如,当由关于用户的眼睛的信息指示的视线的位置在第二区域内时,根据实施例的信息处理设备识别包含由关于用户的眼睛的信息指示的视线的位置的区域,并且计算所识别的区域的面积,其中,视线的位置在所设置的预定时间内改变。然后,根据实施例的信息处理设备基于例如将区域的面积和第二设置时间相关联的表格(或数据库)、以及所识别的区域的面积而设置与所识别的区域的面积对应的第二设置时间,即,与用户的眼睛的移动的大小对应的第二设置时间。
然而,根据实施例的基于关于用户的眼睛的信息而动态地设置第二设置时间的方法不限于以上方法。例如,根据实施例的信息处理设备可计算示出由关于用户的眼睛的信息指示的视线的位置的改变的矢量的绝对值,以设置与所设置的预定时间内的绝对值的最大值对应的第二设置时间。根据实施例的信息处理设备还可以使用能够基于关于用户的眼睛的信息而动态地设置第二设置时间的任何方法。
(1-4)确定处理的第四示例:当关于对象的选择的取消的预定条件是关于用户的眼睛的形状的条件时
如上所述,根据实施例的关于用户的眼睛的信息可包含关于用户的眼睛的运动的信息。另外,如上所述,根据实施例的信息处理设备可以通过使用关于用户的眼睛的运动的信息(例如,示出用户的眼睛的运动的数据或者可以用于识别用户的眼睛的运动的数据)而确定是否执行眼睛的预定运动。
当关于选择的取消的预定条件是关于用户的眼睛的形状的条件时,根据实施例的信息处理设备基于眼睛的运动而确定是否满足关于对象的选择的取消的预定条件,其中,眼睛的运动是基于包含在关于用户的眼睛的信息中的、关于用户的眼睛的运动的信息而确定的。
更具体地,如果例如基于关于用户的眼睛的运动的信息而检测到眼睛的预定运动,则根据实施例的信息处理设备确定满足关于选择的取消的预定条件。作为根据确定处理的第四示例的眼睛的预定运动,例如,可以列举各种运动,诸如一次眨眼运动、多次连续眨眼运动和瞬眼运动。
当使得对象成为被选状态时,根据实施例的信息处理设备通过执行例如(1-3)所示的根据第三示例的确定处理或者(1-4)所示的根据第四示例的确定处理而确定是否满足关于对象的选择的取消的预定条件。
作为根据实施例的确定处理,根据实施例的信息处理设备执行例如“用于确定是否满足关于对象的选择的预定条件的处理(例如,根据第一示例的确定处理或者根据第二示例的确定处理)”或者“用于确定是否满足关于对象的选择的预定条件的处理以及用于确定是否满足关于对象的选择的取消的预定条件的处理(例如,根据第三示例的确定处理或者根据第四示例的确定处理)”。
(2)显示控制处理
当例如在(1)的处理(确定处理)中确定满足关于选择的预定条件时,根据实施例的信息处理设备使得显示在显示屏上的由关于用户的眼睛的信息指示的视线的位置的对象成为被选状态。
(2-1)显示控制处理的第一示例:当通过移动对象使得作为选择候选对象的静止对象成为被选状态时
首先,作为根据实施例的显示控制处理的第一示例,将描述当通过移动对象使得作为选择候选对象的静止对象成为被选状态时的显示控制处理的示例。
当对象没有处于被选状态时,即,当在(1)的处理(确定处理)中确定不满足关于选择的预定条件时,根据实施例的信息处理设备使得显示单元基于例如关于用户的眼睛的信息而在显示屏上的与由关于用户的眼睛的信息指示的用户的视线的位置相对应的位置显示移动对象。
根据实施例的信息处理设备使得显示单元显示移动对象,以使得例如由关于用户的眼睛的信息指示的用户的视线的位置所指示的显示屏的坐标与移动对象的参考位置的坐标匹配。作为移动对象的参考位置,例如,可以列举移动对象中的任何预设位置,诸如移动对象的中心位置。
然而,根据实施例的显示移动对象的方法不限于以上方法。
例如,根据实施例的信息处理设备可以选择性地使得显示单元显示移动对象。例如,当显示屏上的由关于用户的眼睛的信息指示的用户的视线的位置存在于显示屏的显示根据实施例的选择候选对象的区域(第一区域)内时,根据实施例的信息处理设备使得显示单元选择性地显示移动对象。
例如,如上所述,通过当显示屏上的由关于用户的眼睛的信息指示的用户的视线的位置存在于第一区域内时选择性地显示的移动对象,用户可以基于移动对象的显示状态在视觉上了解是否可以使得对象成为被选状态。因此,例如,在以上情况下,根据实施例的信息处理设备可以通过下述方式而进一步增强用户的便利性:当显示屏上的由关于用户的眼睛的信息指示的用户的视线的位置存在于第一区域内时,选择性地显示的移动对象。
当对象没有处于被选状态时,例如,如上所述,根据实施例的信息处理设备使得显示单元基于关于用户的眼睛的信息而在显示屏上的与由关于用户的眼睛的信息指示的用户的视线的位置相对应的位置显示移动对象。
当在(1)的处理(确定处理)中确定满足关于选择的预定条件并且对象处于被选状态时,即使由关于用户的眼睛的信息指示的用户的视线的位置改变,根据实施例的信息处理设备也不改变移动对象显示在显示屏上的位置。即,当对象处于被选状态时,根据实施例的移动对象显示在显示屏上的位置不根据由关于用户的眼睛的信息指示的用户的视线的位置而改变。
另外,当在(1)的处理(确定处理)中确定满足关于选择的预定条件并且使得对象成为被选状态时,根据实施例的信息处理设备可改变例如移动对象的显示模式。稍后将描述根据实施例的信息处理设备改变移动对象的显示模式的示例。
通过由根据实施例的信息处理设备在(1)的处理(确定处理)中确定不满足关于选择的预定条件的情况以及在(1)的处理(确定处理)中确定满足关于选择的预定条件的情况之间改变移动对象的显示模式,用户可以在视觉上了解使得对象成为被选状态。因此,当在(1)的处理(确定处理)中确定满足关于选择的预定条件之后使得对象成为被选状态时,根据实施例的信息处理设备可以通过改变移动对象的显示模式而进一步增强用户的便利性。
图1是示出依据根据实施例的信息处理方法的处理的示例的说明图,并且示出了根据实施例的显示控制处理得到的对象的被选状态的示例。图1示出了在下述情形下显示在显示屏上的图像的示例:在该情形下,由根据实施例的信息处理设备在当没有使得对象成为被选状态的情况与当使得对象成为被选状态的情况之间改变移动对象的显示模式。图1所示的A示出了对象没有被选择的状态的示例,并且图1所示的B示出了对象被选择的状态的示例。
在图1中,移动对象由附图标记O来指示(下文中可称为“移动对象O”)并且示出了移动对象O是光标的示例。图1A和图1B所示的显示在显示屏上的附图标记R指示的区域中的每个缩略图图像对应于根据实施例的选择候选对象的示例。
将经由以当通过图1所示的移动对象O选择作为选择候选对象的静止对象时的情况为例来描述根据实施例的显示控制处理的示例。无需说,通过根据实施例的显示控制处理实现的对象的被选状态不限于图1所示的示例。作为根据实施例的显示控制处理实现的对象的被选状态的另一示例,例如,可以列举依据根据实施例的信息处理方法的处理的应用示例。
当在(1)的处理(确定处理)中确定不满足关于选择的预定条件时,根据实施例的信息处理设备使得显示单元在与由关于用户的眼睛的信息指示的用户的视线的位置相对应的位置显示移动对象O。
另外,当在(1)的处理(确定处理)中确定不满足关于选择的预定条件时,如上所述,即使由关于用户的眼睛的信息指示的用户的视线的位置改变,根据实施例的信息处理设备也不改变移动对象显示在显示屏上的位置。
另外,如例如图1的A所示的移动对象O和图1的B所示的移动对象O所示,由根据实施例的信息处理设备在(1)的处理(确定处理)中确定不满足关于选择的预定条件时的情况与确定满足关于选择的预定条件时的情况之间改变移动对象O的显示模式。
根据实施例的信息处理设备对移动对象O执行的与显示模式有关的处理包括例如以下(i)和(ii)所示的示例。无需说,根据实施例的与对移动对象O执行的显示模式有关的处理的示例不限于以下(i)和(ii)所示的示例。
(i)与当在(1)的处理(确定处理)中确定不满足关于选择的预定条件时的显示模式有关的处理的示例
-围绕移动对象O的参考位置在显示屏上的x轴、y轴和z轴方向上移动移动对象O(例如,随机地或者以预定模式移动移动对象O)
-使得移动对象O闪烁
-执行诸如为移动对象O添加阴影的处理
-对上述进行组合
(ii)与当在(1)的处理(确定处理)中确定满足关于选择的预定条件时的显示模式有关的处理的示例
-无论由关于用户的眼睛的信息指示的视线的位置的改变如何,均不移动移动对象O
-不围绕移动对象O的参考位置在显示屏上的x轴、y轴和z轴方向上移动移动对象O(如果移动对象O在确定不满足关于选择的预定条件时移动)
-不使得移动对象O闪烁(如果移动对象O在确定不满足关于选择的预定条件时闪烁)
-删除对移动对象O执行的诸如添加阴影的处理(如果在确定不满足关于选择的预定条件时执行处理)
-通过α混合(αblending)等将移动对象O和背景进行组合
(2-2)显示控制处理的第二示例:当使得作为选择候选对象的移动对象成为被选状态时
接下来,作为根据实施例的显示控制处理的第二示例,将描述当使得作为选择候选对象的移动对象成为被选状态时的显示控制处理的示例。
如例如根据第一实施例的显示控制处理,根据实施例的信息处理设备使得显示单元基于关于用户的眼睛的信息而在显示屏上的与由关于用户的眼睛的信息指示的用户的视线的位置对应的位置显示移动对象。
当在(1)的处理(确定处理)中确定满足关于选择的预定条件并且使得对象成为被选状态时,例如,根据实施例的信息处理设备改变移动对象的显示模式。
如根据第一示例的显示控制处理,根据实施例的信息处理设备在根据第二示例的显示控制处理中对移动对象执行的与显示模式有关的处理包括例如以上(i)和(ii)所示的处理。
然而,根据第二示例的显示控制处理中的对移动对象执行的与显示模式有关的处理不限于与根据第一示例的显示控制处理类似的处理。
当例如在(1)的处理(确定处理)中确定满足关于选择的预定条件时,根据实施例的信息处理设备可从显示屏删除作为要成为被选状态的选择候选对象的移动对象。当删除作为要成为被选状态的选择候选对象的移动对象时,根据实施例的信息处理设备可从显示屏瞬时删除移动对象或者通过使用诸如淡出表示的各种表示来删除移动对象。
当在(1)的处理(确定处理)中确定满足关于选择的预定条件时,根据实施例的信息处理设备通过执行(2-1)所示的根据第一示例的显示控制处理或者(2-2)所示的根据第二示例的显示控制处理而使得显示在显示屏上的由关于用户的眼睛的信息指示的视线的位置的对象成为被选状态。
然而,根据实施例的显示控制处理不限于当在(1)的处理(确定处理)中确定满足关于选择的预定条件时的处理。
(2-3)显示控制处理的第三示例
例如,如上所述,根据实施例的信息处理设备可以在(1)的处理(确定处理)中确定是否满足关于对象的选择的取消的预定条件。当在(1)的处理(确定处理)中确定满足关于对象的选择的取消的预定条件时,作为根据实施例的显示控制处理,根据实施例的信息处理设备可使得处于被选状态的对象成为未选状态。
当使得处于被选状态的对象成为未选状态时,如上所述,根据实施例的信息处理设备例如根据由关于用户的眼睛的信息指示的用户的视线的位置而改变移动对象显示在显示屏上的位置。
如果例如当在(1)的处理(确定处理)中执行(1-3)所示的根据第三示例的确定处理时,由关于用户的眼睛的信息指示的视线的位置在第二区域内,则根据实施例的信息处理设备可根据视线的位置在第二区域内的时间而逐步改变关于处于被选状态的对象的显示模式。如上所述,根据实施例的第二区域是显示屏的下述区域:该区域显示除了处于被选状态的对象之外的并且与由关于用户的眼睛的信息指示的视线的位置对应的选择候选对象。
更具体地,例如,根据实施例的信息处理设备将对显示在与处于被选状态的对象对应的位置的移动对象执行的与显示模式有关的处理从(ii)所示的处理切换为(i)所示的处理。另外,根据实施例的信息处理设备随着由关于用户的眼睛的信息指示的视线的位置在第二区域内的时间增加而增加(i)所示的处理的幅值(例如,移动的幅值、闪烁的速度和执行的处理的强度)。当例如在(1-3)所示的根据第三示例的确定处理中确定满足关于对象的选择的取消的预定条件时,根据实施例的信息处理设备逐步增加(i)所示的处理的幅值,以使得(i)所示的处理的幅值变为所设置的幅值当中的最大幅值。
然而,当在(1)的处理(确定处理)中执行(1-3)所示的根据第三示例的确定处理时的显示控制处理不限于以上处理。
例如,根据实施例的信息处理设备可改变与第二区域对应的选择候选对象(除了处于被选状态的对象之外的并且与由关于用户的眼睛的信息指示的视线的位置对应的选择候选对象)的显示模式。根据实施例的信息处理设备通过例如对与第二区域对应的选择候选对象的(i)中的处理而改变与第二区域对应的选择候选对象的显示模式。无需说,用于改变与第二区域对应的选择候选对象的显示模式的处理不限于(i)所示的处理。
作为根据实施例的显示控制处理,根据实施例的信息处理设备执行例如“(2-1)所示的根据第一示例的显示控制处理或(2-2)所示的根据第二示例的显示控制处理”、“根据第一示例的显示控制处理和(2-3)所示的根据第三示例的显示控制处理”或者“根据第二示例的显示控制处理和(2-3)所示的根据第三示例的显示控制处理”。
当作为根据实施例的显示控制处理执行“(2-1)所示的根据第一示例的显示控制处理或(2-2)所示的根据第二示例的显示控制处理”时,显示在显示屏上的图像基于(1)中的处理(确定处理)的结果而从例如如图1的A所示的状态改变为图1的B所示的状态。当作为根据实施例的显示控制处理执行“根据第一示例的显示控制处理和(2-3)所示的根据第三示例的显示控制处理”或者“根据第二示例的显示控制处理和(2-3)所示的根据第三示例的显示控制处理”时,显示在显示屏上的图像基于(1)中的处理(确定处理)的结果而从例如图1的A所示的状态改变为图1的B所示的状态或者从图1的B所示的状态改变为图1的A所示的状态。无需说,根据实施例的显示控制处理对显示屏的改变不限于图1所示的处理。
根据实施例的信息处理设备执行(1)中的处理(确定处理)和(2)中的处理(显示控制处理)作为根据实施例的信息处理方法。
根据实施例的信息处理设备在(1)的处理(确定处理)中基于关于用户的眼睛的信息而确定是否满足关于对象的选择的预定条件。如果在(1)的处理(确定处理)中确定满足关于对象的选择的预定条件,则根据实施例的信息处理设备在(2)的处理(显示控制处理)中使得显示在显示屏上的由关于用户的眼睛的信息指示的视线的位置的对象成为被选状态。
即使在成为被选状态之后用户的视线移动,由根据实施例的信息处理设备使得成为被选状态的对象也不受用户的视线的移动的影响。因此,在由根据实施例的信息处理设备在(2)的处理(显示控制处理)中基于用户的视线的移动而使得显示在显示屏上的对象成为被选状态的情况下,例如,可以防止发生引起用户便利性下降的情形,例如,“试图布置在期望位置的对象由于受眼睛的移动的影响而移动”的状态。
因此,根据实施例的信息处理设备可以通过执行作为依据根据实施例的信息处理方法的处理的(1)中的处理(确定处理)和(2)中的处理(显示控制处理)而增强当用户通过视线的移动来操作显示在显示屏上的对象时的用户便利性。
当对象处于被选状态时,根据实施例的信息处理设备可以在(1)的处理(确定处理)中确定是否满足关于对象的选择的取消的预定条件。如果在(1)的处理(确定处理)中确定满足关于选择的取消的预定条件,则根据实施例的信息处理设备在(2)的处理(显示控制处理)中使得处于被选状态的对象成为未选状态。
由根据实施例的信息处理设备使得成为未选状态的对象的显示在显示屏上的位置根据由关于用户的眼睛的信息指示的用户的视线的位置而移动。
因此,可以增强用户的便利性,如例如通过由根据实施例的信息处理设备在(2)的处理(显示控制处理)中基于用户的视线的移动而使得处于被选状态的对象成为未选状态而“允许用户重选对象”。
3.依据根据实施例的信息处理方法的处理的应用示例
接下来,将呈现依据根据上述实施例的信息处理方法的处理的应用示例(使用情况)。图2是示出依据根据实施例的信息处理方法的处理的应用示例的说明图。
(I)依据根据实施例的信息处理方法的处理的第一应用示例:图2所示的A
图2所示的A示出了当依据根据实施例的信息处理方法的处理应用于光标(移动对象的示例)的移动时的示例。在图2的A中,附图标记O1指示的对象示出了作为移动对象的光标。另外,在图2的A中,附图标记R指示的每个图标对应于根据实施例的选择候选对象的示例。
如果用户观看菜单项的列表部分(图2的A所示的区域R),则光标跟随视线移动。以上通过由根据实施例的信息处理设备执行(2)中的处理(显示控制处理)来实现。
如果例如用户观看菜单项的一个项(在根据实施例的选择候选对象上)达固定时间,则光标被吸住(光标不移动)。即,吸住的光标不跟随用户的视线而移动。在图2的A所示的示例中,通过使光标被吸住来选择存在于光标被吸住的位置的选择候选对象。以上通过例如由根据实施例的信息处理设备执行的(1-1)所示的根据第一示例的确定处理和(2-1)所示的根据第一示例的显示控制处理来实现。
如果例如用户观看除光标选择的选择候选对象之外的其它地方(例如,其它选择候选对象),则吸住的光标开始浮动。然后,当到达最大浮动状态时,光标再次跟随用户的视线而移动。以上通过例如由根据实施例的信息处理设备执行的(1-3)所示的根据第三示例的确定处理和(2-3)所示的根据第三示例的显示控制处理来实现。
(II)依据根据实施例的信息处理方法的处理的第二应用示例:图2所示的B
图2所示的B示出了当依据根据实施例的信息处理方法的处理应用于游戏中的回复选择时的示例。在图2的B中,由附图标记O2至O4指示的对象中的每个示出了与每个用户对应的、显示在由关于用户的眼睛的信息指示的用户的视线的位置的移动对象。在图2的B中,使用示出成像用户的面部的捕获图像作为移动对象的示例,但是与图2中的B的示例有关的移动对象可以是图像,例如,示出与每个用户对应的角色的图像或者示出字母的图像。另外,在图2的B中,由附图标记SEL1、SEL2指示的对象对应于根据实施例的选择候选对象的示例。
当用户确定他的(她的)回复时,用户观看与回复对应的对象(根据实施例的选择候选对象)达固定时间。当用户观看与回复对应的对象达固定时间时,与用户对应的移动对象固定在与回复对应的对象上(移动对象不移动)。即,固定的移动对象不跟随用户的视线而移动。在图2的B所示的示例中,通过使移动对象被固定来选择存在于移动对象被固定的位置并且与回复对应的对象。以上通过例如由根据实施例的信息处理设备执行的(1-1)所示的根据第一示例的确定处理和(2-1)所示的根据第一示例的显示控制处理来实现。
由于与用户对应的移动对象固定在与回复对应的对象上,因此移动对象不跟随用户的视线而移动。因此,当确定用户的回复时,用户可以检查其他用户选择的回复。
如果当例如用户观看除通过移动对象选择的选择候选对象之外的其它地方(例如,其它选择候选对象)时用户期望改变回复,则固定的移动对象开始浮动。然后,当到达最大的浮动状态时,移动对象再次跟随用户的视线而移动。因此,用户可以改变他的(她的)回复。以上通过例如由根据实施例的信息处理设备执行的(1-3)所示的根据第三示例的确定处理和(2-3)所示的根据第三示例的显示控制处理来实现。
(III)依据根据实施例的信息处理方法的处理的第三应用示例:图2所示的C
图2所示的C示出了当依据根据实施例的信息处理方法的处理应用于通知对象的选择时的示例。在图2的C中,由附图标记O5指示的对象示出了通知对象。图2的C中的附图标记O5指示的通知对象对应于根据实施例的移动对象的示例,并且还对应于根据实施例的选择候选对象的示例。
根据实施例的信息处理设备使得显示单元基于由关于用户的眼睛的信息指示的用户的视线的位置而在显示屏上的与用户的周围视野对应的位置显示通知对象。如果用户没有观看通知对象达固定时间(例如,大约使得可以读完通知对象指示的内容的时间),例如,则根据实施例的信息处理设备跟随外围视野内的视线而移动通知对象,以使得用户的视线不被阻碍。以上由根据实施例的信息处理设备执行的(2)中的处理(显示控制处理)来实现。
如果用户观看通知对象达固定时间(例如,大约使得可以读完通知对象指示的内容的时间),则通知对象被吸住。即,吸住的通知对象不跟随用户的视线而移动。然后,通知对象此后(例如,在几秒钟之后)从显示屏消失。在图2的C所示的示例中,通过使通知对象在从显示屏消失之前被吸住来选择通知对象。以上通过例如由根据实施例的信息处理设备执行的(1-1)所示的根据第一示例的确定处理和(2-2)所示的根据第二示例的显示控制处理来实现。
例如,(I)所示的第一应用示例至(III)所示的第三应用示例通过由根据实施例的信息处理设备执行的依据根据实施例的信息处理方法的以上处理来实现。无需说,依据根据实施例的信息处理方法的处理的应用示例不限于第一应用示例至第三应用示例。
(根据实施例的信息处理设备)
接下来,将描述能够执行依据根据上述实施例的信息处理方法的处理的、根据实施例的信息处理设备的配置的示例。
图3是示出根据实施例的信息处理设备100的配置的示例的框图。信息处理设备100包括例如通信单元102和控制单元104。
信息处理设备100还可包括例如ROM(只读存储器,未示出)、RAM(随机存取存储器,未示出)、存储单元(未示出)、可以由用户操作的操作单元(未示出)和在显示屏上显示各种画面的显示单元(未示出)。信息处理设备100通过例如作为传输路径的总线而连接每个上述元件。
ROM(未示出)存储控制单元104使用的程序和诸如操作参数的控制数据。RAM(未示出)暂时存储控制单元104执行的程序等。
存储单元(未示出)是包括在信息处理设备100中的存储装置,并且存储例如与根据实施例的信息处理方法有关的数据,诸如指示显示在显示屏上的各种对象的数据以及诸如应用的各种数据。作为存储单元(未示出),例如,可以列举诸如硬盘的磁记录介质和诸如闪存的非易失性存储器。存储单元(未示出)可从信息处理设备100拆卸。
作为操作单元(未示出),可以列举稍后描述的操作输入装置。作为显示单元(未示出),可以列举稍后描述的显示装置。
(信息处理设备100的硬件配置示例)
图4是示出根据实施例的信息处理设备100的硬件配置的示例的说明图。信息处理设备100包括例如MPU150、ROM152、RAM154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162和通信接口164。信息处理设备100通过例如作为数据的传输路径的总线166来连接各个结构元件。
MPU150由诸如MPU(微处理单元)的处理器和各种处理电路构成,并且用作控制整个信息处理设备100的控制单元104。MPU150还起到例如信息处理设备100中的稍后描述的确定单元110和显示控制单元112的作用。
ROM152存储MPU150使用的程序和诸如操作参数的控制数据。RAM154暂时存储MPU150执行的程序等。
记录介质156用作存储单元(未示出),并且存储例如与根据实施例的信息处理方法有关的数据,诸如指示显示在显示屏上的各种对象的数据和诸如应用的各种数据。作为记录介质156,例如,可以列举诸如硬盘的磁记录介质和诸如闪存的非易失性存储器。记录介质156可从信息处理设备100拆卸。
输入/输出接口158连接例如操作输入装置160和显示装置162。操作输入装置160用作操作单元(未示出),并且显示装置162用作显示单元(未示出)。作为输入/输出装置158,例如,可以列举USB(通用串行总线)端子、DVI(数字视频接口)端子、HDMI(高清多媒体接口)(注册商标)端子和各种处理电路。操作输入装置160例如包括在信息处理设备100中并且连接到信息处理设备100内的输入/输出接口158。作为操作输入装置160,例如,可以列举按钮、方向键、诸如控制转轮(jogdial)的旋转选择器和这些装置的组合。显示装置162例如包括在信息处理设备100中并且连接到信息处理设备100内的输入/输出接口158。作为显示装置162,例如,可以列举液晶显示器和有机电致发光显示器(也称为OLED显示器(有机发光二极管显示器))。
无需说,输入/输出接口158还可以连接到作为信息处理设备100的外部设备的诸如操作输入装置(例如,键盘和鼠标)的外部装置和显示装置。显示装置162可以是能够实现显示和用户操作的装置,如例如触摸屏。
通信接口164是包括在信息处理设备100中的通信装置,并且用于通信单元102无线地或者通过线经由网络(或直接地)与外部装置或者外部设备通信,诸如外部成像装置、外部显示装置、外部传感器和生成根据实施例的关于用户的眼睛的信息的外部设备。作为通信接口164,例如,可以列举通信天线和RF(射频)电路(无线通信)、IEEE802.15.1端口和传送/接收电路(无线通信)、IEEE802.11端口和传送/接收电路(无线通信)和LAN(局域网)端子和传送/接收电路(有线通信)。作为根据实施例的网络,例如,可以列举诸如LAN和WAN(广域网)的有线网络、诸如无线LAN(WLAN:无线局域网)和经由基站的无线WAN(WWAN:无线广域网)的无线网络以及使用诸如TCP/IP(传输控制协议/因特网协议)的通信协议的因特网。
利用例如图4所示的配置,信息处理设备100依据根据实施例的信息处理方法而执行处理。然而,根据实施例的信息处理设备100的硬件配置不限于图4所示的配置。
信息处理设备100可包括例如起到捕获运动图像或静止图像的成像单元(未示出)的作用的成像装置。当包括成像装置时,例如,信息处理设备100可以通过对通过成像装置中的成像而生成的捕获图像进行处理来获得关于用户的眼睛的信息。另外,当包括成像装置时,例如,信息处理设备100可以使用通过成像装置中的成像而生成的捕获图像(或者其一部分)作为对象。
作为根据实施例的成像装置,例如,可以列举透镜/图像传感器和信号处理电路。透镜/图像传感器由例如光学透镜和使用诸如CMOS(互补金属氧化物半导体)的多个图像传感器的图像传感器构成。信号处理电路包括例如AGC(自动增益控制)电路或用于将图像传感器生成的模拟信号转换成数字信号(图像数据)的ADC(模数转换器)。信号处理电路还可执行各种信号处理,例如,白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理和边缘增强处理。
信息处理设备100还可包括例如起到检测单元(未示出)的作用的传感器,该检测单元获得可以用于识别根据实施例的用户的视线的位置的数据。当包括这样的传感器时,信息处理设备100可以通过使用从传感器获得的数据而改进用户的视线的位置的估计精度。
作为根据实施例的传感器,例如,可以列举获得检测值的任何传感器,诸如红外线传感器,这些检测值可以用于改进用户的视线的位置的估计精度。
当被配置成例如独立地执行处理时,信息处理设备100可不包括通信接口164。信息处理设备100还可被配置成不包括记录介质156、操作装置160或显示装置162。
参照图3,将描述信息处理设备100的配置的示例。通信单元102是包括在信息处理设备100中的通信装置,并且无线地或者通过线经由网络(或直接地)与外部装置或者外部设备通信,诸如外部成像装置、外部显示装置、外部传感器和生成根据实施例的关于用户的眼睛的信息的外部设备。通信单元102的通信由例如控制单元104来控制。
作为通信单元102,例如,可以列举通信天线和RF电路以及LAN端子和传送/接收电路,但是通信单元102的配置不限于以上示例。例如,通信单元102可采用符合能够实现通信的任何标准的配置(诸如USB端子和传送/接收电路)或者能够经由网络与外部设备通信的任何配置。
控制单元104由例如MPU构成,并且起到控制整个信息处理设备100的作用。控制单元104包括例如确定单元110和显示控制单元112,并且起到执行依据根据实施例的信息处理方法的处理的主导作用。
确定单元110起到执行(1)中的处理(确定处理)的主导作用。
确定单元110基于例如关于用户的眼睛的信息而确定是否满足关于对象的选择的预定条件。更具体地,确定单元110执行例如(1-1)所示的根据第一示例的确定处理或者(1-2)所示的根据第二示例的确定处理。
确定单元110使用例如通信单元102从外部设备接收的关于用户的眼睛的信息。当信息处理设备100包括例如成像单元(未示出)或检测单元(未示出)时,确定单元110可以生成关于用户的眼睛的信息并且使用所生成的关于用户的眼睛的信息。
当对象处于被选状态时,确定单元110可基于例如关于用户的眼睛的信息而确定是否满足关于对象的选择的取消的预定条件。更具体地,确定单元110执行例如(1-3)所示的根据第三示例的确定处理或者(1-4)所示的根据第四示例的确定处理。
显示控制单元112起到执行(2)中的处理(显示控制处理)的主导作用。
如果例如确定单元110确定满足关于选择的预定条件,则显示控制单元112使得显示在显示屏上的由关于用户的眼睛的信息指示的视线的位置的对象成为被选状态。更具体地,显示控制单元112执行例如(2-1)所示的根据第二示例的显示控制处理或者(2-2)所示的根据第二示例的显示控制处理。
如果例如确定单元110确定满足关于选择的取消的预定条件,则显示控制单元112使得处于被选状态的对象成为未选状态。更具体地,显示控制单元112执行例如(2-3)所示的根据第三示例的显示控制处理。
通过包括例如确定单元110和显示控制单元112,控制单元104主导依据根据实施例的信息处理方法的处理。
利用例如图3所示的配置,信息处理设备100执行依据根据实施例的信息处理方法的处理(例如,(1)中的处理(确定处理)和(2)中的处理(显示控制处理))。
因此,利用例如图3所示的配置,信息处理设备100可以增强当用户通过用户的视线的移动而操作显示在显示屏上的对象时的用户便利性。
另外,利用例如图3所示的配置,信息处理设备100可以实现可以通过例如执行依据根据实施例的信息处理方法的上述处理而实现的效果。
然而,根据实施例的信息处理设备的配置不限于图3所示的配置。
例如,根据实施例的信息处理设备可以包括与控制单元104分开的图3所示的确定单元110和显示控制单元112之一或两者(例如,由单独的处理电路实现)。
当经由外部通信装置与外部装置或外部设备通信时或者当被配置成独立地执行处理时,根据实施例的信息处理设备可不包括通信单元102,该外部通信装置具有与通信单元102类似的功能和配置。
根据实施例的信息处理设备还可包括例如由成像装置配置的成像单元(未示出)。当包括成像单元(未示出)时,根据实施例的信息处理设备可以通过对通过成像单元(未示出)中的成像而生成的捕获图像进行处理来获得关于用户的眼睛的信息。另外,当包括成像单元(未示出)时,例如,根据实施例的信息处理设备可以使用通过成像单元(未示出)中的成像而生成的捕获图像(或者其一部分)作为对象。
根据实施例的信息处理设备还可包括例如由任何传感器配置的检测单元(未示出),任何传感器获得可以用于改进用户的视线的位置的估计精度的检测值。当包括检测单元(未示出)时,根据实施例的信息处理设备可以通过使用例如从检测单元(未示出)获得的数据而改进用户的视线的位置的估计精度。
在上述中,在作为示例的实施例中描述了信息处理设备,但是实施例不限于这样的形式。实施例也可以应用于各种装置,例如,电视机、显示设备、平板设备、诸如移动电话和智能电话的通信设备、视频/音乐回放设备(或者视频/音乐记录和回放设备)、游戏机和诸如PC(个人计算机)的计算机。实施例也可以应用于例如可以嵌入在如上所述的装置中的处理IC(集成电路)。
实施例也可由包括假设连接到网络(或者各个设备之间的通信)的多个设备的系统来实现,如例如云计算。即,根据实施例的以上信息处理设备可以被实现为例如包括多个设备的信息处理系统。
(根据实施例的程序)
可以通过由计算机中的处理器等执行使得计算机用作根据实施例的信息处理设备的程序(例如,能够执行根据实施例的信息处理方法的处理的程序,诸如(1)中的处理(确定处理)和(2)中的处理(显示控制处理))来增强当用户通过用户的视线的移动来操作显示在显示屏上的对象时的用户便利性。
另外,通过依据根据实施例的信息处理方法的以上处理实现的效果可以由计算机中的处理器等执行的程序来实现,该程序使得计算机用作根据实施例的信息处理设备。
在上述中,参照附图描述了本公开的实施例,但是本公开的技术范围不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改,并且应理解,这些变更和修改将自然地落入本公开的技术范围内。
例如,以上示出了提供了使得计算机用作根据实施例的信息处理设备的程序(计算机程序),但是实施例还可以提供使得存储该程序的记录介质。
以上配置示出了实施例的示例,并且自然地落入本公开的技术范围内。
该说明书中描述的效果仅是说明性的或示例性的而不是限制性的。即,根据本公开的技术可以实现根据该说明书的描述对本领域技术人员显而易见的其它效果以及以上效果或者取代以上效果。
另外,本公开还可以如下进行配置。
(1)一种信息处理设备,包括:
电路,被配置成当基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系确定满足关于所述选择候选对象的选择的预定条件时,通过使得所述选择候选对象成为被选状态来控制所述选择候选对象的状态。
(2)根据(1)所述的信息处理设备,
其中,当所述用户凝视朝向的位置在显示屏的显示所述选择候选对象的第一区域内的时间长于或等于第一设置时间时,确定满足关于所述选择的预定条件。
(3)根据(1)或(2)所述的信息处理设备,
其中,所述电路进一步被配置成:
基于所述用户的眼睛的移动的幅值而动态地设置所述第一设置时间,所述用户的眼睛的移动的幅值基于所述用户凝视朝向的位置的改变;以及
基于动态地设置的第一设置时间而发起关于是否满足关于所述选择的预定条件的确定。
(4)根据(1)至(3)中任一项所述的信息处理设备,
其中,所述电路进一步被配置成基于预先设置的第一设置时间而发起关于是否满足关于所述选择的预定条件的确定。
(5)根据(1)至(4)中任一项所述的信息处理设备,
其中,还基于所述选择候选对象的显示位置与关于所述用户的眼睛的运动的信息之间的关系而确定是否满足关于所述选择候选对象的选择的预定条件,以及
其中,当基于关于所述眼睛的运动的信息检测到所述眼睛的预定运动时,确定满足关于所述选择的预定条件。
(6)根据(1)至(5)中任一项所述的信息处理设备,
其中,所述电路进一步被配置成使得当所述选择候选对象不在所述被选状态时,显示移动对象,所述移动对象的显示位置根据所述用户凝视朝向的位置而移动。
(7)根据(1)至(6)中任一项所述的信息处理设备,
其中,当所述选择候选对象在所述被选状态时,即使所述用户凝视朝向的位置改变,显示所述移动对象的位置也不改变。
(8)根据(1)至(7)中任一项所述的信息处理设备,
其中,所述电路进一步被配置成使得当所述用户凝视朝向的位置存在于显示屏的显示所述选择候选对象的区域内时选择性地显示所述移动对象。
(9)根据(1)至(8)中任一项所述的信息处理设备,
其中,当在确定满足关于所述选择的预定条件之后使得所述选择候选对象成为所述被选状态时,所述移动对象的显示模式改变。
(10)根据(1)至(9)中任一项所述的信息处理设备,
其中,成为所述被选状态的选择候选对象是静态对象,所述静态对象被显示的显示位置不根据所述用户凝视朝向的位置的改变而移动。
(11)根据(1)至(10)中任一项所述的信息处理设备,
其中,当所述选择候选对象成为所述被选状态时,基于所述用户凝视朝向的位置的改变而确定是否满足关于所述选择候选对象的选择的取消的预定条件,以及
当确定满足关于所述对象的选择的取消的预定条件时,使得所述选择候选对象从所述被选状态成为未选状态。
(12)根据(1)至(11)中任一项所述的信息处理设备,
其中,当所述用户凝视朝向的位置在显示屏的第二区域内的时间长于或等于第二设置时间时,确定满足关于所述选择的取消的预定条件。
(13)根据(1)至(12)中任一项所述的信息处理设备,
其中,所述第二区域是所述显示屏的显示第二候选对象的区域,所述第二候选对象也能够成为所述被选状态并且与处于所述被选状态的选择候选对象不同。
(14)根据(1)至(13)中任一项所述的信息处理设备,
其中,所述电路进一步被配置成:
基于所述用户的眼睛的移动的幅值而动态地设置所述第二设置时间,所述用户的眼睛的移动的幅值基于所述用户凝视朝向的位置的改变;以及
基于动态地设置的第二设置时间而发起关于是否满足关于所述选择的取消的预定条件的确定。
(15)根据(1)至(14)中任一项所述的信息处理设备,
其中,所述电路进一步被配置成基于预先设置的第二设置时间而发起关于是否满足关于所述选择的取消的预定条件的确定。
(16)根据(1)至(15)中任一项所述的信息处理设备,
其中,当所述用户凝视朝向的位置在所述第二区域内时,根据所述用户凝视朝向的位置在所述第二区域内的时间而逐步改变处于所述被选状态的选择候选对象的显示模式。
(17)根据(1)至(16)中任一项所述的信息处理设备,
其中,当所述用户凝视朝向的位置在所述第二区域内时,与所述第二区域对应地改变所述第二候选对象的显示模式。
(18)根据(1)至(17)中任一项所述的信息处理设备,
其中,还基于所述选择候选对象的显示位置与关于所述用户的眼睛的运动的信息之间的关系而确定满足关于所述选择候选对象的选择的预定条件,以及
其中,当基于关于所述眼睛的运动的信息检测到所述眼睛的预定运动时,确定满足关于所述选择的取消的预定条件。
(19)根据(1)至(18)中任一项所述的信息处理设备,
其中,当确定所述用户凝视朝向的位置与所述对象的显示位置或所述凝视方向一致时,确定满足预定条件。
(20)一种由信息处理设备执行的信息处理方法,所述方法包括:
基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系而确定是否满足关于所述选择候选对象的选择的预定条件;以及
当确定满足关于所述选择的预定条件时,使得所述选择候选对象成为被选状态。
(21)一种其上实施有程序的非暂态计算机可读介质,所述程序当由计算机执行时使得所述计算机执行方法,所述方法包括:
基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系而确定是否满足关于所述选择候选对象的选择的预定条件;以及
当确定满足关于所述选择的预定条件时,使得所述选择候选对象成为被选状态。
(22)一种信息处理设备,包括:
确定单元,基于关于用户的眼睛的信息而确定是否满足关于对象的选择的预定条件,所述信息包括关于显示屏上的所述用户的视线的位置的信息;以及
显示控制单元,当确定满足关于所述选择的预定条件时,使得显示在所述显示屏上的由关于所述用户的眼睛的信息指示的视线的位置的对象成为被选状态。
(23)根据(22)所述的信息处理设备,
其中,当由关于所述用户的眼睛的信息指示的视线的位置在所述显示屏的第一区域内的时间长于所设置的第一设置时间时,其中,在所述第一区域中显示选择候选对象,所述选择候选对象是能够使得成为所述被选状态的目标对象,或者,
当由关于所述用户的眼睛的信息指示的视线的位置在所述第一区域内的时间等于或长于所述第一设置时间时,
所述确定单元确定满足关于所述选择的预定条件。
(24)根据(23)所述的信息处理设备,
其中,所述确定单元:
基于所述用户的眼睛的移动的幅值而动态地设置所述第一设置时间,其中,所述用户的眼睛的移动的幅值基于由关于所述用户的眼睛的信息指示的视线的位置的改变,以及
基于动态设置的所述第一设置时间而确定是否满足关于所述选择的预定条件。
(25)根据(23)所述的信息处理设备,
其中,所述确定单元基于预先设置的第一设置时间而确定是否满足关于所述选择的预定条件。
(26)根据(22)所述的信息处理设备,
其中,关于所述用户的眼睛的信息包含关于所述用户的眼睛的运动的信息,以及
其中,当基于关于所述眼睛的运动的信息检测到所述眼睛的预定运动时,所述确定单元确定满足关于所述选择的预定条件。
(27)根据(22)至(26)中任一项所述的信息处理设备,
其中,在下述情况下,所述显示控制单元基于关于所述用户的眼睛的信息而使得所述显示屏在所述显示屏上的与由关于所述用户的眼睛的信息指示的所述用户的视线的位置对应的位置显示移动对象,所述移动对象的显示在所述显示屏上的位置根据由关于所述用户的眼睛的信息指示的用户的视线的位置而移动:所述对象不在所述被选状态,以及
在下述情况下,即使关于所述用户的眼睛的信息指示的用户的视线的位置改变,所述显示控制单元也不改变所述移动对象显示在所述显示屏上的位置:所述对象在所述被选状态。
(28)根据(27)所述的信息处理设备,
其中,当所述显示屏上的由关于所述用户的眼睛的信息指示的所述用户的视线的位置存在于所述显示屏的显示选择候选对象的区域内时,所述显示控制单元使得所述显示屏选择性地显示所述移动对象,其中所述选择候选对象是能够使得成为所述被选状态的目标对象。
(29)根据(27)或(28)所述的信息处理设备,
其中,当在确定满足关于所述选择的预定条件之后使得所述对象成为所述被选状态时,所述移动对象的显示模式改变。
(30)根据(22)至(26)中任一项所述的信息处理设备,
其中,由所述显示控制单元使得成为所述被选状态的对象是静止对象,所述静止对象的显示在所述显示屏上的位置不根据由关于所述用户的眼睛的信息指示的所述用户的视线的位置而移动。
(31)根据(22)至(30)中任一项所述的信息处理设备,
其中,当所述显示控制单元使得所述对象成为所述被选状态时,所述确定单元基于关于所述用户的眼睛的信息而确定是否满足关于所述对象的选择的取消的预定条件,以及
当确定满足关于所述对象的选择的取消的预定条件时,所述显示控制单元使得处于所述被选的对象成为未选状态。
(32)根据(31)所述的信息处理设备,
其中,当由关于所述用户的眼睛的信息指示的视线的位置在所述显示屏的第二区域内的时间长于所设置的第二设置时间时,或者
当由关于所述用户的眼睛的信息指示的视线的位置在所述第二区域内的时间等于或长于所述第二设置时间时,
所述确定单元确定满足关于所述选择的取消的预定条件,以及
所述第二区域是所述显示屏的显示作为选择候选对象并且与处于所述被选状态的对象不同的对象的区域,所述选择候选对象是能够使得成为所述被选状态的目标对象。
(33)根据(32)所述的信息处理设备,
其中,所述确定单元:
基于所述用户的眼睛的移动的幅值而动态地设置所述第二设置时间,所述用户的眼睛的移动的幅值基于由关于所述用户的眼睛的信息指示的视线的位置的改变,以及
基于动态设置的第二设置时间而确定是否满足关于所述选择的取消的预定条件。
(34)根据(32)所述的信息处理设备,
其中,所述确定单元基于预先设置的第二设置时间而确定是否满足关于所述选择的取消的预定条件。
(35)根据(32)至(34)中任一项所述的信息处理设备,
其中,当由关于所述用户的眼睛的信息指示的视线的位置在所述第二区域内时,所述显示控制单元根据所述视线的位置在所述第二区域内的时间而逐步改变处于所述被选状态的对象的显示模式。
(36)根据(32)至(35)中任一项所述的信息处理设备,
其中,当由关于所述用户的眼睛的信息指示的视线的位置在所述第二区域内时,所述显示控制单元改变与所述第二区域对应的所述选择候选对象的显示模式。
(37)根据(31)所述的信息处理设备,
其中,关于所述用户的眼睛的信息包含关于所述用户的眼睛的运动的信息,以及
其中,当基于关于所述眼睛的运动的信息检测到所述眼睛的预定运动时,所述确定单元确定满足关于所述选择的取消的预定条件。
(38)一种由信息处理设备执行的信息处理方法,所述方法包括:
基于关于用户的眼睛的信息而确定是否满足关于对象的选择的预定条件,所述信息包含关于显示屏上的所述用户的视线的位置的信息;以及
当确定满足关于所述选择的预定条件时,使得显示在所述显示屏上的由关于所述用户的眼睛的信息指示的视线的位置的对象成为被选状态。
(39)一种使得计算机执行以下处理的程序:
基于关于用户的眼睛的信息而确定是否满足关于对象的选择的预定条件,所述信息包含关于显示屏上的所述用户的视线的位置的信息;以及
当确定满足关于所述选择的预定条件时,使得显示在所述显示屏上的由关于所述用户的眼睛的信息指示的视线的位置的对象成为被选状态。
附图标记列表
100信息处理设备
102通信单元
104控制单元
110确定单元
112显示控制单元

Claims (20)

1.一种信息处理设备,包括:
电路,被配置成当基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系而确定满足关于所述选择候选对象的选择的预定条件时,通过使得所述选择候选对象成为被选状态来控制所述选择候选对象的状态。
2.根据权利要求1所述的信息处理设备,
其中,当所述用户凝视朝向的位置在显示屏的显示所述选择候选对象的第一区域内的时间长于或等于第一设置时间时,确定满足关于所述选择的预定条件。
3.根据权利要求2所述的信息处理设备,
其中,所述电路进一步被配置成:
根据基于所述用户凝视朝向的位置的改变的、所述用户的眼睛的移动的幅值,动态地设置所述第一设置时间;以及
基于动态地设置的第一设置时间而发起关于是否满足关于所述选择的预定条件的确定。
4.根据权利要求2所述的信息处理设备,
其中,所述电路进一步被配置成基于预先设置的第一设置时间而发起关于是否满足关于所述选择的预定条件的确定。
5.根据权利要求1所述的信息处理设备,
其中,还基于所述选择候选对象的显示位置与关于所述用户的眼睛的运动的信息之间的关系而确定是否满足关于所述选择候选对象的选择的预定条件,以及
其中,当基于关于所述眼睛的运动的信息检测到所述眼睛的预定运动时,确定满足关于所述选择的预定条件。
6.根据权利要求1所述的信息处理设备,
其中,所述电路进一步被配置成使得当所述选择候选对象不在所述被选状态时,显示移动对象,所述移动对象的显示位置根据所述用户凝视朝向的位置而移动。
7.根据权利要求6所述的信息处理设备,
其中,当所述选择候选对象在所述被选状态时,即使所述用户凝视朝向的位置改变,显示所述移动对象的位置也不改变。
8.根据权利要求6所述的信息处理设备,
其中,所述电路进一步被配置成使得当所述用户凝视朝向的位置存在于显示屏的显示所述选择候选对象的区域内时,选择性地显示所述移动对象。
9.根据权利要求6所述的信息处理设备,
其中,当在确定满足关于所述选择的预定条件之后使得所述选择候选对象成为所述被选状态时,所述移动对象的显示模式改变。
10.根据权利要求1所述的信息处理设备,
其中,成为所述被选状态的选择候选对象是静态对象,所述静态对象被显示的显示位置不根据所述用户凝视朝向的位置的改变而移动。
11.根据权利要求1所述的信息处理设备,
其中,当所述选择候选对象成为所述被选状态时,基于所述用户凝视朝向的位置的改变而确定是否满足关于所述选择候选对象的选择的取消的预定条件,以及
当确定满足关于所述对象的选择的取消的预定条件时,使得所述选择候选对象从所述被选状态成为未选状态。
12.根据权利要求11所述的信息处理设备,
其中,当所述用户凝视朝向的位置在显示屏的第二区域内的时间长于或等于第二设置时间时,确定满足关于所述选择的取消的预定条件。
13.根据权利要求12所述的信息处理设备,
其中,所述第二区域是所述显示屏的显示第二候选对象的区域,所述第二候选对象也能够成为所述被选状态并且与处于所述被选状态的选择候选对象不同。
14.根据权利要求12所述的信息处理设备,
其中,所述电路进一步被配置成:
根据基于所述用户凝视朝向的位置的改变的、所述用户的眼睛的移动的幅值,动态地设置所述第二设置时间;以及
基于动态地设置的第二设置时间而发起关于是否满足关于所述选择的取消的预定条件的确定。
15.根据权利要求12所述的信息处理设备,
其中,所述电路进一步被配置成基于预先设置的第二设置时间而发起关于是否满足关于所述选择的取消的预定条件的确定。
16.根据权利要求12所述的信息处理设备,
其中,当所述用户凝视朝向的位置在所述第二区域内时,根据所述用户凝视朝向的位置在所述第二区域内的时间而逐步改变处于所述被选状态的选择候选对象的显示模式。
17.根据权利要求11所述的信息处理设备,
其中,还基于所述选择候选对象的显示位置与关于所述用户的眼睛的运动的信息之间的关系而确定满足关于所述选择候选对象的选择的预定条件,以及
其中,当基于关于所述眼睛的运动的信息检测到所述眼睛的预定运动时,确定满足关于所述选择的取消的预定条件。
18.根据权利要求11所述的信息处理设备,
其中,当确定所述用户凝视朝向的位置与所述对象的显示位置或所述凝视方向一致时,确定满足预定条件。
19.一种由信息处理设备执行的信息处理方法,所述方法包括:
基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系而确定是否满足关于所述选择候选对象的选择的预定条件;以及
当确定满足关于所述选择的预定条件时,使得所述选择候选对象成为被选状态。
20.一种其上实施有程序的非暂态计算机可读介质,所述程序当由计算机执行时使得所述计算机执行方法,所述方法包括:
基于选择候选对象的显示位置与用户凝视朝向的位置或凝视方向之间的关系而确定是否满足关于所述选择候选对象的选择的预定条件;以及
当确定满足关于所述选择的预定条件时,使得所述选择候选对象成为被选状态。
其中,当基于关于所述眼睛的运动的信息检测到所述眼睛的预定运动时,确定满足关于所述选择的预定条件。
CN201480046755.3A 2013-09-02 2014-07-24 信息处理设备、信息处理方法和程序 Active CN105474136B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-181228 2013-09-02
JP2013181228A JP6127839B2 (ja) 2013-09-02 2013-09-02 情報処理装置、情報処理方法、およびプログラム
PCT/JP2014/003921 WO2015029328A1 (en) 2013-09-02 2014-07-24 Information processing apparatus, information processing method, and program

Publications (2)

Publication Number Publication Date
CN105474136A true CN105474136A (zh) 2016-04-06
CN105474136B CN105474136B (zh) 2019-02-15

Family

ID=51399750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480046755.3A Active CN105474136B (zh) 2013-09-02 2014-07-24 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (2) US9939894B2 (zh)
EP (1) EP3042265B1 (zh)
JP (1) JP6127839B2 (zh)
CN (1) CN105474136B (zh)
WO (1) WO2015029328A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534879A (zh) * 2016-11-08 2017-03-22 天脉聚源(北京)传媒科技有限公司 一种基于关注度的直播切换方法及系统
CN108604128A (zh) * 2016-12-16 2018-09-28 华为技术有限公司 一种处理方法及移动设备
CN109828655A (zh) * 2017-11-23 2019-05-31 英属开曼群岛商麦迪创科技股份有限公司 车辆多荧幕控制系统及车辆多荧幕控制方法
CN110099396A (zh) * 2018-01-29 2019-08-06 三星电子株式会社 基于参数选择信号处理算法的设备和方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6852612B2 (ja) 2017-07-26 2021-03-31 富士通株式会社 表示プログラム、情報処理装置、及び表示方法
KR102518404B1 (ko) * 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
JP6935921B2 (ja) * 2017-10-06 2021-09-15 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
WO2019176910A1 (ja) * 2018-03-14 2019-09-19 本田技研工業株式会社 情報表示装置、情報表示方法および情報表示プログラム
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
WO2021230048A1 (ja) * 2020-05-15 2021-11-18 株式会社Nttドコモ 情報処理システム
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
JP7532143B2 (ja) * 2020-08-06 2024-08-13 アルプスアルパイン株式会社 表示制御装置および表示制御方法
US11178376B1 (en) * 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
WO2023043446A1 (en) * 2021-09-16 2023-03-23 Hewlett-Packard Development Company, L.P. Display panel operation based on eye gaze patterns
JP7743294B2 (ja) * 2021-12-13 2025-09-24 株式会社コロプラ プログラム、情報処理方法、及び携帯型端末
US11983316B2 (en) * 2022-01-19 2024-05-14 Apple Inc. Method and device for managing attention accumulators
US12164741B2 (en) 2022-04-11 2024-12-10 Meta Platforms Technologies, Llc Activating a snap point in an artificial reality environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
CN103150021A (zh) * 2013-03-21 2013-06-12 上海斐讯数据通信技术有限公司 电子书阅读控制系统及电子书阅读控制方法
US20130176208A1 (en) * 2012-01-06 2013-07-11 Kyocera Corporation Electronic equipment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
JPH04372012A (ja) * 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
JPH0651901A (ja) * 1992-06-29 1994-02-25 Nri & Ncc Co Ltd 視線認識によるコミュニケーション装置
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
US5565888A (en) * 1995-02-17 1996-10-15 International Business Machines Corporation Method and apparatus for improving visibility and selectability of icons
JPH0954239A (ja) * 1995-08-18 1997-02-25 Canon Inc 視線検出機能付光学装置及びカメラ
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
JPH10187334A (ja) * 1996-12-26 1998-07-14 Canon Inc 情報入力方法および情報入力装置と情報入力用記憶媒体
JP2002301030A (ja) * 2001-04-09 2002-10-15 Canon Inc 視線検出機能付き機器
JP2002345756A (ja) * 2001-05-25 2002-12-03 Canon Inc 視線検出装置及び光学機器
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
JP4526307B2 (ja) * 2004-06-09 2010-08-18 富士通テン株式会社 機能選択装置
JP2009064395A (ja) 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US20130176208A1 (en) * 2012-01-06 2013-07-11 Kyocera Corporation Electronic equipment
CN103150021A (zh) * 2013-03-21 2013-06-12 上海斐讯数据通信技术有限公司 电子书阅读控制系统及电子书阅读控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534879A (zh) * 2016-11-08 2017-03-22 天脉聚源(北京)传媒科技有限公司 一种基于关注度的直播切换方法及系统
CN108604128A (zh) * 2016-12-16 2018-09-28 华为技术有限公司 一种处理方法及移动设备
CN108604128B (zh) * 2016-12-16 2021-03-30 华为技术有限公司 一种处理方法及移动设备
CN109828655A (zh) * 2017-11-23 2019-05-31 英属开曼群岛商麦迪创科技股份有限公司 车辆多荧幕控制系统及车辆多荧幕控制方法
CN110099396A (zh) * 2018-01-29 2019-08-06 三星电子株式会社 基于参数选择信号处理算法的设备和方法
CN110099396B (zh) * 2018-01-29 2024-04-05 三星电子株式会社 基于参数选择信号处理算法的设备和方法

Also Published As

Publication number Publication date
WO2015029328A1 (en) 2015-03-05
US10180718B2 (en) 2019-01-15
EP3042265B1 (en) 2022-09-14
US9939894B2 (en) 2018-04-10
US20160231810A1 (en) 2016-08-11
JP6127839B2 (ja) 2017-05-17
JP2015049721A (ja) 2015-03-16
EP3042265A1 (en) 2016-07-13
CN105474136B (zh) 2019-02-15
US20180196513A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
CN105474136A (zh) 信息处理设备、信息处理方法和程序
US10928896B2 (en) Information processing apparatus and information processing method
JP6221535B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5829390B2 (ja) 情報処理装置、および情報処理方法
US9891707B2 (en) Information processing device, information processing method, and program for controlling a state of an application by gaze position
JP5625643B2 (ja) 情報処理装置、および情報処理方法
US9704028B2 (en) Image processing apparatus and program
US9823815B2 (en) Information processing apparatus and information processing method
CN107438812B (zh) 信息处理设备、信息处理方法和程序
EP2431841A2 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant