[go: up one dir, main page]

JP2017016198A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2017016198A
JP2017016198A JP2015129163A JP2015129163A JP2017016198A JP 2017016198 A JP2017016198 A JP 2017016198A JP 2015129163 A JP2015129163 A JP 2015129163A JP 2015129163 A JP2015129163 A JP 2015129163A JP 2017016198 A JP2017016198 A JP 2017016198A
Authority
JP
Japan
Prior art keywords
user
information
time point
information processing
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015129163A
Other languages
English (en)
Inventor
安田　亮平
Ryohei Yasuda
亮平 安田
野田　卓郎
Takuro Noda
卓郎 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015129163A priority Critical patent/JP2017016198A/ja
Priority to PCT/JP2016/062403 priority patent/WO2016208261A1/ja
Priority to DE112016002894.6T priority patent/DE112016002894T5/de
Priority to US15/566,901 priority patent/US10496186B2/en
Publication of JP2017016198A publication Critical patent/JP2017016198A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ユーザ操作に係る処理が行われる位置についてユーザの違和感を抑制することが可能な情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】ユーザの視線に係る視線情報およびユーザ操作の検出結果を得る入力部と、前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定する位置決定部と、を備える情報処理装置、ならびに当該情報処理装置に係る情報処理方法およびプログラム。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、情報処理技術の発展に伴い、情報処理を行う装置を操作するための様々なユーザインタフェース（以下、ＵＩ（User Interface）とも称する。）が開発されている。このようなＵＩとしては、ユーザの視線およびユーザのジェスチャ等に基づくＵＩが存在する。
例えば、特許文献１では、カメラを用いたユーザの視線のトラッキングおよびカメラまたはセンサを用いたユーザのジェスチャの認識を行い、当該トラッキングおよび認識の結果に基づいてユーザが見ているオブジェクトの表示を更新するシステムが開示されている。
特開２０１２−２２１４９８号公報
しかし、特許文献１で開示されるシステムでは、ユーザの意図と異なる位置で当該ユーザの操作に基づく処理が行われる可能性がある。例えば、ユーザは概して、ユーザ操作の対象となる位置（以下、操作対象位置とも称する。）に視線を移した後、ジェスチャを開始する。しかし、ユーザは、ジェスチャの認識が完了する前に、例えば他人に声をかけられた場合に、視線を変え得る。その場合、ジェスチャが開始された際の視線とジェスチャの認識が完了した際の視線とが異なる可能性がある。その結果、ユーザの意図と異なる位置でジェスチャに基づく処理が実行され得る。
そこで、本開示では、ユーザ操作に係る処理が行われる位置についてユーザの違和感を抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
本開示によれば、ユーザの視線に係る視線情報およびユーザ操作の検出結果を得る入力部と、前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定する位置決定部と、を備える情報処理装置が提供される。
また、本開示によれば、入力部によってユーザの視線に係る視線情報およびユーザ操作の検出結果を得ることと、前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定することと、を含む情報処理方法が提供される。
また、本開示によれば、ユーザの視線に係る視線情報およびユーザ操作の検出結果を得る入力機能と、前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定する位置決定機能と、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザ操作に係る処理が行われる位置についてユーザの違和感を抑制することが可能な情報処理装置、情報処理方法およびプログラムが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理システムの概略的な機能構成の例を示すブロック図である。 同実施形態に係る情報処理システムの適用例を示す図である。 同実施形態に係る情報処理装置における操作位置の決定に係る処理のタイミングの例を説明するための図である。 同実施形態に係る情報処理装置によって生成されるフィードバックオブジェクトの例を示す図である。 同実施形態に係る情報処理装置によって生成されるフィードバックオブジェクトの例を示す図である。 同実施形態に係る情報処理装置によって生成されるフィードバックオブジェクトの例を示す図である。 同実施形態に係る情報処理装置によって生成されるマーカオブジェクトの例を示す図である。 同実施形態に係る情報処理装置によって生成されるマーカオブジェクトの例を示す図である。 同実施形態に係る情報処理装置によって生成されるマーカオブジェクトの例を示す図である。 同実施形態に係る情報処理装置の処理を概念的に示すフローチャートである。 同実施形態の第２の変形例に係る情報処理システムの適用例を示す図である。 本開示の第２の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 同実施形態に係る情報処理システムの適用例を示す図である。 同実施形態に係る情報処理装置のマーカ情報の共有処理を説明するための図である。 同実施形態の第１の変形例におけるマーカ情報が対応付けられた地図情報の例を示す図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．従来技術の課題
２．本開示の第１の実施形態（画像におけるマーキング）
３．本開示の第２の実施形態（外界像におけるマーキング）
４．本開示の一実施形態に係る情報処理装置のハードウェア構成
５．むすび
＜１．従来技術の課題＞
まず、従来の情報処理装置の課題について説明する。
従来の情報処理装置は、視線情報取得機能、ジェスチャ認識機能および表示制御機能を備える。視線情報取得機能は、ユーザの視線を示す情報（以下、視線情報とも称する。）を取得する。また、ジェスチャ認識機能は、ユーザのジェスチャを認識する。また、表示制御機能は、表示オブジェクトを含む画像を生成し、当該画像を表示装置等に表示させる。このため、従来の情報処理装置は、所定のジェスチャが認識された際に、視線情報に基づいて推定されるユーザの視線の先に所定の表示オブジェクトが位置するような画像を表示装置に表示させることが可能である。
ここで、上記の従来の情報処理装置では、操作対象位置の決定と操作の検出との間にタイムラグが生じ得る。例えば、ユーザは概して、操作対象位置に視線を移した後、ジェスチャを開始する。そのため、操作対象位置に視線が移された時点と、ジェスチャ認識処理が完了し、認識されるジェスチャに基づく処理が行われる時点との間にいくらかの時間が生じる。
他方で、上記の従来の情報処理装置の当該タイムラグは、操作対象位置の決定と操作の検出とがほとんど同じタイミングで行われる他の従来の情報処理装置における当該タイムラグと比べて大きくなることが多い。例えば、当該他の従来の情報処理装置としてはタッチパネルがあり、当該タッチパネルにおいては、画面がタッチされた際に、操作対象位置の決定とタッチ操作の検出とがほぼ同時に行われる。そのため、当該タイムラグがほとんど生じない。
そして、当該タイムラグが大きくなるほど、当該タイムラグ中に視線が変化する可能性が高くなる。その結果、ユーザの意図する操作対象位置と異なる位置で操作に基づく処理が行われる可能性が高くなる。例えば、ユーザは、ジェスチャの認識処理中に、例えば他人に声をかけられた場合に、視線を変える。その場合、ジェスチャ開始時の視線とジェスチャ認識の完了時の視線とが異なり得る。その結果、ユーザの意図と異なる位置でジェスチャに基づく処理が実行され、ユーザに違和感を与えることになる。
そこで、本開示では、ユーザ操作に係る処理が行われる位置についてユーザの違和感を抑制することが可能な情報処理装置１００を提案する。以下、情報処理装置１００について詳細に説明する。なお、説明の便宜上、第１および第２の実施形態による情報処理装置１００の各々を、情報処理装置１００−１、および情報処理装置１００−２のように、末尾に実施形態に対応する番号を付することにより区別する。
＜２．本開示の第１の実施形態（画像におけるマーキング）＞
以上、従来技術の課題について説明した。次に、本開示の第１の実施形態に係る情報処理装置１００−１について説明する。第１の実施形態では、ユーザの視線と音声とに基づく画像へのマーキング処理において、ユーザが操作対象位置を認知した時点の視線の先にマーキングが行われる。
＜２−１．装置の構成＞
まず、図１を参照して、本開示の第１の実施形態に係る情報処理装置１００−１を備える情報処理システムの機能構成について説明する。図１は、本開示の第１の実施形態に係る情報処理システムの概略的な機能構成の例を示すブロック図である。
情報処理システムは、図１に示したように、情報処理装置１００−１、視線検出装置２００、音検出装置３００および表示装置４００を備える。なお、情報処理システムの各装置は通信を介して接続される。また、視線検出装置２００、音検出装置３００および表示装置４００はユーザの周辺に配置される。
（（情報処理装置の機能構成））
情報処理装置１００−１は、図１に示したように、通信部１０２、制御部１０４および記憶部１０６を備える。
通信部１０２は、視線検出装置２００、音検出装置３００および表示装置４００と通信を行う。具体的には、通信部１０２は、入力部として、視線検出装置２００から視線情報を受信し、音検出装置３００からユーザによって発せられる音に係る情報（以下、音情報とも称する。）を受信する。また、通信部１０２は、表示装置４００に画像情報を送信する。例えば、通信部１０２の行う通信は、有線通信であってもよく、無線通信であってもよい。
記憶部１０６は、制御部１０４の制御処理に係る情報を記憶する。具体的には、記憶部１０６は、受信される視線情報、表示装置４００に表示させる画像、後述する表示オブジェクトおよびマーカ情報等を記憶する。
制御部１０４は、ユーザ操作に係る処理が行われる位置（以下、操作位置とも称する。）を決定し、当該操作位置における処理を行う。具体的には、制御部１０４は、操作位置の決定機能、操作位置の事前通知機能および操作位置におけるマーキング機能を有する。以下に、各機能についてそれぞれ詳細に説明する。
（操作位置の決定機能）
制御部１０４は、位置決定部として、視線情報およびユーザ操作の検出結果に基づいて操作位置を決定する。具体的には、制御部１０４は、ユーザ操作の検出結果が予め決定されるユーザ操作である場合、当該ユーザ操作の検出開始以前の第１の時点（以下、基準時点とも称する。）に基づいて特定される第２の時点（以下、処理対象時点とも称する。）に得られた視線情報に基づいて操作位置を決定する。さらに、図２を参照して、制御部１０４の処理について詳細に説明する。図２は、本実施形態に係る情報処理システムの適用例を示す図である。
まず、制御部１０４は、ユーザの視線情報を得る。例えば、制御部１０４は、通信部１０２を介して図２の左図に示したようなユーザＵ１の視線を示す視線情報を視線検出装置２００から取得する。なお、制御部１０４は、通信部１０２を介して、視線検出装置２００に視線情報を要求してもよく、視線情報は、視線検出装置２００から自発的に送信されてもよい。また、音情報についても視線情報と同様である。また、得られた視線情報は、順次に記憶部１０６に記憶される。
次に、制御部１０４は、視線情報が得られると、当該視線情報から特定される視線先の位置（以下、視線位置とも称する。）を示す表示オブジェクト（以下、視線オブジェクトとも称する。）を表示装置４００に表示させる。例えば、制御部１０４は、取得される視線情報に基づいて視線位置を特定し、特定される視線位置に、図２の左図に示したような視線オブジェクト１０が重畳表示されるように画像を生成する。そして、制御部１０４は、通信部１０２を介して、生成される画像を表示装置４００に表示させる。
また、制御部１０４は、視線情報が得られると、操作対象位置についてのユーザの認知有無の判定を視線情報に基づいて行う。例えば、制御部１０４は、複数の視線情報に基づいてユーザの視線の停止有無の判定（以下、視線停止有無判定とも称する。）を行う。なお、ユーザの視線が停止したと判定される場合、当該判定時点が基準時点として記憶部１０６に記憶される。
次に、制御部１０４は、入力部として、ユーザ操作の検出結果を得る。例えば、制御部１０４は、通信部１０２によって音情報が受信されると、当該音情報に基づいて、ユーザによって発せられる音を用いた操作の有無を判定する。例えば、制御部１０４は、ユーザの音声に、図２の右図に示したようなキーワード「ここ」が含まれるかを判定する。
次に、制御部１０４は、ユーザ操作の検出結果が予め決定されるユーザ操作である場合、操作対象位置についてのユーザの認知に係る時点（以下、ユーザ認知時点とも称する。）に基づいて操作位置の決定処理を行う。例えば、制御部１０４は、音情報にキーワードが含まれると判定される場合、ユーザの視線が停止したと判定された時点の視線位置に相当する位置すなわち図２の左図に示したような視線オブジェクト１０が重畳表示される位置を、ユーザの操作の対象となる操作位置に決定する。なお、上記の音情報等のユーザ操作に係る情報は、操作位置の決定処理のトリガとなるため、以下ではトリガ情報とも称する。
さらに、図３を参照して、操作位置の決定処理の詳細について説明する。図３は、本実施形態に係る情報処理装置１００−１における操作位置の決定に係る処理のタイミングの例を説明するための図である。
概して、操作を行うユーザの行動は、操作対象位置の認知、操作の実行の順に行われる。例えば、図３に示したように、時刻Ｔ１に操作対象位置が認知され、時刻Ｔ３に操作が開始される。以下では、当該操作対象位置の認知の時点に着目した操作位置の決定処理について説明する。
まず、制御部１０４は、予め決定される時間間隔で視線情報を得る。例えば、図３に示したように予め決定される時間間隔で視線検出処理が視線検出装置２００にて行われる。そして、通信部１０２は、当該視線検出処理によって生成される視線情報を視線検出装置２００から受信し、受信される視線情報が制御部１０４に提供される。
そして、制御部１０４は、視線情報が得られると、視線停止判定を行う。具体的には、制御部１０４は、複数の視線情報に基づいて視線停止判定を行う。例えば、制御部１０４は、予め決定される期間の範囲で得られる複数の視線情報に係る視線位置の各々が所定の距離の範囲内に収まるかを判定する。当該視線位置の各々が所定の距離の範囲内に収まると判定される場合、ユーザの視線が停止したと判定されることになる。制御部１０４は、例えばｔ−７から開始される視線停止判定処理においてユーザの視線が停止したと判定される場合、当該判定時点の時刻Ｔ２を記憶部１０６に記憶させる。
なお、視線停止判定処理は、図３に示したように視線情報が得られる度に行われてもよく、得られる視線情報の一部について行われてもよい。また、視線停止判定処理は、視線検出装置２００等の他の装置で行われ、制御部１０４は、通信部１０２を介して当該視線停止判定の結果を得てもよい。
次に、制御部１０４は、トリガ情報が得られると、ユーザ操作の検出を行う。例えば、図３に示したような時刻Ｔ３において、ユーザが発話を開始すると、音検出装置３００は音情報の生成を開始する。そして、生成される音情報が音検出装置３００から受信されると、制御部１０４は、受信される音情報に基づく音声認識処理を開始する。そして、ユーザの発話が終了し、音情報の受信が完了すると、音声認識処理が終了する。その後、制御部１０４は、当該音情報の示す音に予め決定される音のパターンが含まれるか、すなわち音声認識処理によって得られる音声認識結果に予め決定されるキーワードが含まれるかを判定する。
なお、ユーザの発話の終了後に、ユーザの発話の開始から終了までの音情報が生成され、生成される当該音情報に基づいて音声認識処理が行われてもよい。また、音情報に基づくユーザ操作の検出は音検出装置３００等の他の装置で行われ、制御部１０４は、通信部１０２を介して当該音情報に基づくユーザ操作の検出の結果を得てもよい。また、上記のキーワードは、図２の例に限定されず、種々のキーワードが採用され得る。また、キーワードは、予め決定されてもよく、設定変更によって追加され、および変更されてもよい。
ユーザ操作の検出が完了すると、制御部１０４は、ユーザの視線が停止したと判定される時点に基づいて処理対象時点を特定する。具体的には、制御部１０４は、視線情報が得られる時点のうち、いずれの他の時点よりも視線の停止が判定された時点に近い時点を特定する。例えば、制御部１０４は、音声認識結果にキーワードが含まれると判定される場合、記憶部１０６に記憶される時刻Ｔ２に時間的に隣接する視線検出タイミングｔ−７またはｔ−６のうち、時刻Ｔ２により近いｔ−７を選択する。なお、視線検出タイミングは、視線検出用の画像が取り込まれるタイミングであり得る。
なお、選択される視線検出タイミングは予めいずれかに決定されていてもよい。例えば、視線検出処理が行われる予め決定される時間間隔が、当該時間間隔における視線移動による操作位置への影響が許容される程度である場合、視線の停止が判定された時点と時間的に隣接する視線検出タイミングのいずれかが固定で選択される。
また、制御部１０４は、ユーザの視線が停止したと判定された時点以前の視線検出タイミングから視線検出タイミングを選択してもよい。例えば、制御部１０４は、記憶部１０６に記憶される時刻Ｔ２以前の視線検出タイミングｔ−８またはｔ−７のうちのいずれか一方を選択する。
次に、制御部１０４は、特定された時点に得られた視線情報を用いて操作位置を決定する。例えば、制御部１０４は、選択されたｔ−７の視線検出処理において得られた視線情報を記憶部１０６から取得する。そして、制御部１０４は、操作位置を、取得される視線情報から特定される視線位置に相当する位置に決定する。なお、決定される操作位置は、視線情報から特定される視線位置が補正されることにより得られる位置であってもよい。
なお、後述するフィードバックオブジェクトを表示するための候補位置が決定される場合、操作位置は候補位置に基づいて決定されてもよい。例えば、候補位置に相当する位置が操作位置として決定される。
（操作位置の事前通知機能）
制御部１０４は、操作位置が決定される前に、操作位置の候補である位置（以下、候補位置とも称する。）をユーザに通知する。具体的には、制御部１０４は、表示制御部として、当該操作位置が特定される、第２の表示オブジェクトとしての表示オブジェクト（以下、フィードバックオブジェクトとも称する。）の表示制御を行う。例えば、フィードバックオブジェクトは、基準時点の後から操作位置が決定されるまでの間、当該候補位置に基づいて重畳表示される。さらに、図２を参照して、フィードバックオブジェクトの表示制御処理について詳細に説明する。
まず、制御部１０４は、視線停止判定の結果に基づいて候補位置を決定する。例えば、制御部１０４は、ユーザの視線が停止したと判定されると、操作位置の決定処理と実質的に同一の処理を行うことによって候補位置を決定する。
次に、制御部１０４は、候補位置にフィードバックオブジェクトを重畳表示させる。例えば、制御部１０４は、候補位置が決定されると、記憶部１０６からフィードバックオブジェクト２０を取得する。そして、制御部１０４は、図２の中図に示したように、取得されるフィードバックオブジェクト２０を画像上の候補位置に重畳表示させる。
そして、操作位置が決定されると、制御部１０４は、フィードバックオブジェクトを削除する。例えば、制御部１０４は、操作位置が決定されると、図２の左図に示したようにフィードバックオブジェクト２０を画面から削除する。
なお、図２では、フィードバックオブジェクトが円形である例を説明したが、当該フィードバックオブジェクトは他の様々な形態であってもよい。例えば、フィードバックオブジェクトは、形状が多角形または楕円形であってもよく、記号またはアイコンであってもよい。また、フィードバックオブジェクトは、候補位置を指し示す矢印または旗等の表示オブジェクトであってもよい。さらに、図４Ａ〜図４Ｃを参照して、フィードバックオブジェクトの例を説明する。図４Ａ〜図４Ｃは、それぞれ本実施形態に係る情報処理装置１００−１によって生成されるフィードバックオブジェクトの例を示す図である。
フィードバックオブジェクトは、時間経過とともに視覚的に変化してもよい。具体的には、フィードバックオブジェクトは、候補位置に向かって変化するように重畳表示される。例えば、図４Ａに示したように、フィードバックオブジェクト２２は、当初は画面に沿った矩形に近い形状の枠線のような表示オブジェクトであり、時間の経過と共に、候補位置に向かって形状を変えながら縮小される。なお、フィードバックオブジェクト２２の形状は変化せず縮尺のみが変化してもよい。また、操作位置が決定されるまでの間、フィードバックオブジェクト２２の変化が複数回繰り返されてもよい。例えば、図２Ａの左図〜右図までの流れが複数回繰り返され得る。
また、フィードバックオブジェクトは、回転するように変化してもよい。例えば、フィードバックオブジェクト２４は、図４Ｂに示したように、円環状の破線の表示オブジェクトであり、円の中心を軸として回転するように重畳表示される。
また、フィードバックオブジェクトの視覚的な属性が変化してもよい。例えば、フィードバックオブジェクト２６は、図４Ｃに示したように、時間経過とともに輝度が変化する。なお、視覚的な属性としては、色相、明度、彩度、輝度、濃淡または模様のパターン等がある。
また、フィードバックオブジェクトは、表示開始からの経過時間がユーザに認識されるように変化してもよい。例えば、フィードバックオブジェクト２６は、図４Ｃに示したように、フィードバックオブジェクト２６の表示開始から時間が経過するほど、フィードバックオブジェクト２６の輝度が高くなるように重畳表示される。
なお、フィードバックオブジェクトの変化は、点滅等のその他の時間的な変化であってもよい。
（操作位置におけるマーキング機能）
次に、制御部１０４は、決定される操作位置についてのユーザ通知処理を行う。具体的には、制御部１０４は、表示制御部として、決定される操作位置についての表示オブジェクト（以下、マーカオブジェクトとも称する。）の表示制御を行う。例えば、制御部１０４は、操作位置が決定されると、図２の右図に示したようなマーカオブジェクト３０を画像における操作位置に対応する位置に重畳させる。そして、制御部１０４は、通信部１０２を介して、マーカオブジェクト３０が重畳される画像を表示装置４００に表示させる。なお、制御部１０４は、ユーザの視線位置が変化した場合、変化後の視線位置に視線オブジェクト１０を移動させるが、マーカオブジェクト３０は移動させない。
なお、図２では、マーカオブジェクトが円形である例を説明したが、当該マーカオブジェクトは他の様々な形態であってもよい。例えば、マーカオブジェクトは、形状が多角形または楕円形であってもよく、記号またはアイコンであってもよい。また、マーカオブジェクトは、操作位置を指し示す矢印または旗等の表示オブジェクトであってもよく、点滅または色彩、輝度もしくは明度の時間的な変化といったような強調表示が行われる表示オブジェクトであってもよい。さらに、図５Ａ〜図５Ｃを参照して、マーカオブジェクトの例を説明する。図５Ａ〜図５Ｃは、それぞれ本実施形態に係る情報処理装置１００−１によって生成されるマーカオブジェクトの例を示す図である。
マーカオブジェクトは、ユーザ操作が操作位置を狙うような操作である場合、的のような表示オブジェクトであってもよい。例えば、マーカオブジェクト３２は、図５Ａに示したような照準位置を示す表示オブジェクトであり得る。
また、マーカオブジェクトは、操作位置にあるオブジェクトの輪郭を強調する表示オブジェクトであってもよい。例えば、マーカオブジェクト３４は、図５Ｂに示したような矩形の看板の輪郭である矩形枠の表示オブジェクトであり得る。
また、マーカオブジェクトの表示は、操作位置にあるオブジェクトそれ自体の表示変化であってもよい。例えば、操作位置に図５Ｃに示したような球体の表示オブジェクト３６がある場合、当該表示オブジェクト３６自体が発光させられる。
（（視線検出装置の機能構成））
続いて、視線検出装置２００は、視線情報取得装置として、図１に示したように、通信部２０２、制御部２０４および撮像部２０６を備える。
通信部２０２は、情報処理装置１００−１と通信を行う。具体的には、通信部２０２は、制御部２０４から提供される視線情報を情報処理装置１００−１に送信する。
制御部２０４は、視線検出装置２００の動作を全体的に制御する。具体的には、制御部２０４は、予め決定される時間間隔で撮像部２０６に撮像を指示し、撮像部２０６の撮像により得られる画像に基づいて視線情報を生成する。そして、制御部２０４は、通信部２０２に生成される視線情報を情報処理装置１００−１に向けて送信させる。例えば、制御部２０４は、撮像部２０６から提供される画像に含まれるユーザを解析することによってユーザの視線を検出する。そして、制御部２０４は、検出される視線を示す視線情報を生成する。なお、ユーザの視線の検出には、例えば虹彩もしくは瞳孔の位置または人体の頭部の動き等に基づく視線検出技術等の一般的な技術が用いられる。
撮像部２０６は、制御部２０４の指示に基づいてユーザを撮像する。具体的には、撮像部２０６は、ユーザが被写体となるようにユーザ周辺において撮像を行い、撮像により得られる画像を制御部２０４に提供する。例えば、撮像部２０６は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の信号変換素子を備え得る。また、撮像部２０６は、ＩＲ（Infrared）カメラであってもよく、上記の可視光カメラおよびＩＲカメラの組合せであってもよい。
（（音検出装置の機能構成））
続いて、音検出装置３００は、音情報取得装置として、図１に示したように、通信部３０２、制御部３０４および集音部３０６を備える。
通信部３０２は、情報処理装置１００−１と通信を行う。具体的には、通信部３０２は、制御部３０４から提供される音情報を情報処理装置１００−１に送信する。
制御部３０４は、音検出装置３００の動作を全体的に制御する。具体的には、制御部３０４は、集音部３０６に集音開始および停止を指示し、通信部３０２に集音部３０６の集音により得られる音情報を情報処理装置１００−１に向けて送信させる。なお、制御部３０４は、音情報に含まれるノイズの除去等を行ってもよい。
集音部３０６は、音検出装置３００の周辺の音を検出する。具体的には、集音部３０６は、制御部３０４の指示に基づいて音検出装置３００の周辺すなわちユーザの周辺における集音を行う。そして、集音部３０６は、集音された音を示す音情報を生成し、生成される音情報を制御部３０４に提供する。例えば、集音部３０６は、マイクロホンまたはマイクロホンアレイ等の集音器であり得る。なお、集音部３０６は集音された音に係る信号を制御部３０４に提供し、制御部３０４が音情報を生成してもよい。
（（表示装置の機能構成））
続いて、表示装置４００は、出力装置として、図１に示したように、通信部４０２、制御部４０４および表示部４０６を備える。
通信部４０２は、情報処理装置１００−１と通信を行う。具体的には、通信部４０２は、情報処理装置１００−１から画像情報を受信し、受信される画像情報を制御部４０４に提供する。
制御部４０４は、表示装置４００の動作を全体的に制御する。具体的には、制御部４０４は、画像情報が通信部４０２によって受信されると、表示部４０６に受信された画像情報を提供すると共に画像の表示を指示する。
表示部４０６は、制御部４０４から提供される画像情報に基づいて画像を表示する。例えば、表示部４０６は、液晶パネルまたは有機ＥＬ（Electro Luminescence）等であり得る。
＜２−２．装置の処理＞
次に、図６を参照して、本実施形態に係る情報処理装置１００−１の処理について説明する。図６は、本実施形態に係る情報処理装置１００−１の処理を概念的に示すフローチャートである。
まず、情報処理装置１００−１は、視線情報を取得する（ステップＳ５０２）。具体的には、通信部１０２は、視線検出装置２００から視線情報を受信する。そして、制御部１０４は、受信される視線情報に基づいて視線停止判定を行う。なお、視線情報が所定の時間、例えば次のフレーム表示までに受信されない場合、制御部１０４は、ステップＳ５１２に処理を進める。
次に、情報処理装置１００−１は、トリガ情報が取得されるまで待機する（ステップＳ５０４）。具体的には、制御部１０４は、トリガ情報としての音情報が音検出装置３００から通信部１０２によって受信されると、受信される音情報に基づいてユーザ操作の検出を行う。なお、視線情報の受信から所定の時間内に音情報が受信されない場合、制御部１０４は、ステップＳ５１２に処理を進める。
トリガ情報が取得されると、情報処理装置１００−１は、基準時点に基づいて処理対象時点を特定する（ステップＳ５０６）。具体的には、制御部１０４は、視線が停止したと判定された時点に基づいて視線検出タイミングを決定する。
次に、情報処理装置１００−１は、処理対象時点に得られた視線情報に基づいて操作位置を決定する（ステップＳ５０８）。具体的には、制御部１０４は、決定される視線検出タイミングにおいて得られた視線情報を取得し、取得される視線情報から特定される視線位置に相当する位置を操作位置に決定する。
次に、情報処理装置１００−１は、操作位置についてユーザ通知処理を実行する（ステップＳ５１０）。具体的には、制御部１０４は、次のフレームの画像を生成し、決定された操作位置についてマーカオブジェクトを生成された画像に重畳させる。
次に、情報処理装置１００−１は、表示装置４００に表示を更新させる（ステップＳ５１２）。具体的には、制御部１０４は、通信部１０２に生成された画像に係る画像情報を表示装置４００に向けて送信させる。そして、表示装置４００は、受信される画像情報に基づいて画像の表示を更新する。
なお、ステップＳ５０２またはＳ５０４からステップＳ５１２に処理が進められる場合には、当該ステップにて次のフレームの画像が生成される。また、この際に、視線オブジェクトの表示も更新され得る。さらに、ステップＳ５０２にて視線が停止したと判定され、かつ操作位置が決定されない場合は、フィードバックオブジェクトが重畳表示される画像に係る画像情報が表示装置４００に向けて送信される。既にフィードバックオブジェクトが重畳表示されている場合には、当該フィードバックオブジェクトの表示が更新され得る。
＜２−３．第１の実施形態のまとめ＞
このように、本開示の第１の実施形態によれば、情報処理装置１００−１は、ユーザの視線に係る視線情報およびユーザ操作の検出結果を得る。そして、情報処理装置１００−１は、当該ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定する。このため、操作対象位置をユーザが認知した時点からユーザ操作の検出が完了するまでの間にタイムラグが生じる場合であっても、当該タイムラグによる操作位置とユーザの意図する操作対象位置とのずれが抑制される。その結果、ユーザ操作に係る処理が行われる位置についてユーザの違和感を抑制することが可能となる。
また、情報処理装置１００−１は、決定される操作位置についての表示オブジェクトの表示制御を行う。このため、操作位置がユーザに視覚的に提示されることにより、ユーザに操作位置を認識させやすくすることが可能となる。
また、上記の第１の時点は、ユーザ操作の対象となる操作対象位置についてのユーザの認知に係る時点を含む。このため、操作位置がユーザの認知した操作対象位置に近づけられることにより、上記のユーザの違和感の抑制効果を向上させることが可能となる。
また、上記のユーザの認知に係る時点は、ユーザの視線の停止有無の判定結果に基づいて推定される。概してユーザは、まず視覚的に操作対象位置を特定する。このため、本構成によれば、操作対象位置の認知がユーザの視線に基づいて検出されることにより、ユーザ認知時点をより正確に把握することが可能となる。その結果、上記のユーザの違和感をさらに抑制することが可能となる。
また、上記の第２の時点は、視線情報が得られる時点のうち、いずれの他の時点よりも第１の時点に近い時点を含む。このため、操作位置の決定処理に用いられる視線情報の入手時点がユーザの認知の時点に近づけられることにより、上記のユーザの違和感がより発生しにくくなる操作位置を決定することが可能となる。
また、情報処理装置１００−１は、操作位置となるべき候補位置が特定される第２の表示オブジェクトの表示制御を行い、第２の表示オブジェクトは、第１の時点の後から操作位置が決定されるまでの間、候補位置に基づいて表示される。このため、事前に候補位置がユーザに示されることにより、操作位置の可否をユーザが選択することができ、ユーザの利便性を向上させることが可能となる。
また、上記の第２の表示オブジェクトは、時間経過とともに視覚的に変化する。このため、フィードバックオブジェクトが強調表示されることにより、ユーザがフィードバックオブジェクトすなわち候補位置を見落とす可能性を低下させることが可能となる。
また、上記の第２の表示オブジェクトは、候補位置に向かって変化するように表示される。このため、候補位置以外の画像の領域を使ってフィードバックオブジェクトが重畳表示されることにより、さらにフィードバックオブジェクトの表示が強調され、ユーザがフィードバックオブジェクトすなわち候補位置を見落とす可能性をさらに低下させることが可能となる。
また、上記のユーザ操作は、ユーザによって発せられる音を用いた操作を含む。このため、ユーザが作業中のため他の操作、例えばジェスチャ操作またはデバイス操作が行えない場合であっても、情報処理装置１００−１の操作または情報処理装置１００−１を介した装置の操作を行うことが可能となる。
＜２−４．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１〜第６の変形例について説明する。
（第１の変形例）
本実施形態の第１の変形例として、上記のユーザの認知に係る時点すなわち基準時点は、ユーザ操作についての人間の反応時間（以下、操作反応時間とも称する。）に基づいて推定されてもよい。具体的には、制御部１０４は、ユーザ操作の検出開始時点から当該ユーザ操作についての人間の反応時間だけ遡った時点を、基準時点として決定する。
ここで、人間においては、感覚刺激の提示から行動による反応が生じるまでに経過する時間、いわゆる反応時間というものがある。例えば、操作対象が視覚的に認知されてから実際に操作が行われるまでにはタイムラグが生じる。当該反応時間は、実験または調査等により特定され得るため、固定値または機械学習により得られる値が利用可能である。そこで、本変形例では、記憶部１０６等に予め記憶される当該反応時間が利用される。さらに、図２を参照して、本変形例の処理を詳細に説明する。
制御部１０４は、トリガ情報が受信されると、当該トリガ情報の受信時点を記録する。例えば、図２の中図に示したようにユーザＵ１が発話を開始すると、当該発話に係る音情報が受信される。音情報が受信されると、制御部１０４は、当該音情報の受信時点を記憶部１０６に記憶させる。
次に、制御部１０４は、受信されるトリガ情報に基づいてユーザ操作を検出する。例えば、制御部１０４は、受信される音情報に基づいて音声認識処理を行い、音声認識処理の処理結果にキーワードが含まれるかを判定する。
次に、制御部１０４は、ユーザ操作の検出結果が予め決定されるユーザ操作である場合、操作反応時間に基づいて基準時点を決定する。例えば、制御部１０４は、処理結果にキーワードが含まれると判定される場合、記憶部１０６に記憶される音情報の受信時点から操作反応時間だけ遡った時点を、基準時点として決定する。
次に、制御部１０４は、決定される基準時点に基づいて操作位置の決定処理を行う。例えば、制御部１０４は、音情報にキーワードが含まれると判定される場合、操作反応時間からユーザが操作対象として認知したと推定される位置すなわち図２の左図に示したような視線オブジェクト１０が重畳表示される位置を、操作位置に決定する。
なお、操作反応時間は、操作を行うユーザの属性に応じて決定されてもよい。例えば、ユーザの属性は、ユーザの年齢、性別、人種または健康状態等であり得る。また、操作反応時間は、ユーザ操作の種類に応じて決定されてもよい。例えば、ユーザの操作の種類は、上述したような音を用いた操作のほか、後述するジェスチャ操作またはデバイス操作であり得る。
また、基準時点は、視線停止判定の時点および操作反応時間から特定される時点のうちから選択されてもよい。例えば、ユーザ操作の検出より前の所定の時間内に視線が停止したと判定された場合、第１の実施形態のように視線停止判定の時点が選択されてもよく、視線が停止したと判定されず、ユーザ操作が検出された場合、操作反応時間から特定される時点が選択されてもよい。
このように、本実施形態の第１の変形例によれば、ユーザの認知に係る時点は、ユーザ操作についての人間の反応時間に基づいて推定される。このため、上記のユーザの認知を検出することなく、基準時点が決定されることにより、ユーザの認知の検出処理が行われる場合と比べて処理量を低減させることが可能となる。
（第２の変形例）
本実施形態の第２の変形例として、基準時点は、ユーザ操作の検出開始時点であってもよい。具体的には、制御部１０４は、受信されるトリガ情報に基づくユーザ操作の検出が開始された時点に基づいて処理対象時点を特定し、特定される処理対象時点に得られた視線情報に基づいて操作位置を決定する。さらに、図７を参照して、本変形例の処理について説明する。図７は、本実施形態の第２の変形例に係る情報処理システムの適用例を示す図である。
まず、制御部１０４は、トリガ情報が得られると、トリガ情報に基づいてユーザ操作の検出を開始する。例えば、制御部１０４は、図７の左図に示したようにユーザＵ１の発話が開始されると、通信部１０２によって音情報が受信され始める。当該音情報が受信されると、制御部１０４は、当該音情報に基づいて、音を用いた操作の有無の判定を開始する。また、当該判定の開始時点が、基準時点として記憶部１０６に記憶される。
また、制御部１０４は、ユーザ操作の検出開始時点に基づいて決定される候補位置へのフィードバックオブジェクトの表示を開始する。例えば、制御部１０４は、ユーザ操作の検出開始時点を基準時点として候補位置の決定処理を行い、決定される候補位置に、図７の中図に示したようなフィードバックオブジェクト２０を重畳表示させる。
次に、制御部１０４は、ユーザ操作の検出結果が予め決定されるユーザ操作である場合、ユーザ操作の検出開始時点に基づいて操作位置の決定処理を行う。例えば、制御部１０４は、音情報にキーワードが含まれると判定される場合、候補位置すなわち図７の中図に示したようなフィードバックオブジェクト２０が重畳表示される位置、に相当する位置を操作位置に決定する。
さらに、図３を参照して、本変形例の処理の詳細について説明する。なお、上述した処理と実質的に同一である処理については説明を省略する。
上述したように、概して、操作を行うユーザの行動は、操作対象位置の認知、操作の実行の順に行われる。ここでは、当該操作の検出開始時点に着目した操作位置の決定処理について説明する。
まず、制御部１０４は、トリガ情報が得られると、ユーザ操作の検出を開始する。例えば、図３に示したような時刻Ｔ３において、ユーザが発話を開始すると、音検出装置３００は音情報の生成する音情報が音検出装置３００から受信される。そして、制御部１０４は、受信される音情報に基づく音声認識処理を開始する。この際、音声認識処理の開始時点Ｔ３が記憶部１０６に記憶される。
ユーザ操作の検出が完了すると、制御部１０４は、ユーザ操作の検出開始時点に基づいて処理対象時点を特定する。具体的には、制御部１０４は、視線情報が得られる時点のうち、いずれの他の時点よりも音声認識処理の開始時点に近い時点を特定する。例えば、制御部１０４は、記憶部１０６に記憶される時刻Ｔ３に時間的に隣接する視線検出タイミングｔ−６またはｔ−５のうち、時刻Ｔ３により近いｔ−６を選択する。
次に、制御部１０４は、特定された時点に得られた視線情報を用いて操作位置を決定する。例えば、制御部１０４は、選択されたｔ−６の視線検出処理において得られた視線情報から特定される視線位置に相当する位置に操作位置を決定する。
このように、本実施形態の第２の変形例によれば、基準時点は、ユーザ操作の検出開始時点を含む。このため、操作対象位置の認知から操作開始までの間のタイムラグが大きい場合には、操作対象位置の認知時点が基準時点とされる場合に比べてユーザに違和感を与える可能性を低減させることが可能となる。
（第３の変形例）
本実施形態の第３の変形例として、基準時点は、ユーザ操作の開始に係る時点であってもよい。具体的には、制御部１０４は、ユーザ操作の開始に係る時点を、ユーザ操作に用いられる物体の動きに基づいて推定する。さらに、図３を参照して、本変形例の処理について詳細に説明する。なお、上述した処理と実質的に同一である処理については説明を省略する。
上述したように、概して、操作を行うユーザの行動は、操作対象位置の認知、操作の実行の順に行われる。ここでは、当該操作対象位置の認知の後であって、操作が実行される時点、すなわち操作の検出開始時点よりも前の時点に着目した操作位置の決定処理について説明する。
まず、制御部１０４は、継続的にユーザの観察処理を行う。具体的には、制御部１０４は、ユーザの動きを特定するための情報（以下、ユーザ動作情報とも称する。）に基づいてユーザ操作に用いられる物体の所定の動きを検出する。
より具体的には、制御部１０４は、所定の時間間隔で、視線検出装置２００等の外部装置から通信を介してユーザ動作情報として、ユーザが被写体である画像に係る画像情報（以下、ユーザ画像情報とも称する。）を得る。そして、制御部１０４は、ユーザ画像情報に基づいて、ユーザの口の動きを判定する。ユーザの口の動きが発話の開始に係る動きである場合、制御部１０４は、当該ユーザ画像情報の取得時点を、基準時点として記憶部１０６に記憶させる。
例えば、ユーザの発話の開始に係る動きは、ユーザの操作対象位置の認知の時点すなわち図３に示したような時刻Ｔ１の後であって、発話の検出が開始される時点すなわち図３に示したような時刻Ｔ３の間の時点で行われる。そのため、基準時点として記憶される上記のユーザ画像情報の取得時点は、上述したような視線が停止したと判定される時刻Ｔ２と比べて遅い時刻になり得る。
次に、制御部１０４は、トリガ情報が得られると、ユーザ操作の検出を行う。
ユーザ操作の検出が完了すると、制御部１０４は、所定の動きの検出時点に基づいて処理対象時点を特定する。例えば、制御部１０４は、視線情報が得られる時点のうち、いずれの他の時点よりもユーザ画像情報の取得時点に近い時点を特定する。
次に、制御部１０４は、特定された時点に得られた視線情報を用いて操作位置を決定する。
なお、上記では、ユーザ動作情報はユーザ画像情報である例を説明したが、ユーザ動作情報は、ユーザに取付けられた筋電センサ、加速度センサもしくは角速度センサ等から得られるセンサ情報であってもよい。この場合、取得されるセンサ情報に基づいてユーザの口または腕等の体の所定の動きの有無が判定される。
また、上記では、ユーザ操作の開始に係る時点は、ユーザ操作に用いられる物体の動きに基づいて推定される時点である例を説明したが、ユーザ操作の開始に係る時点は、脳波に基づいて推定される時点であってもよい。例えば、制御部１０４は、通信を介して操作を行うユーザの脳波に係る情報を得る。そして、制御部１０４は、得られる脳波に係る情報から特定される脳波に所定の脳波パターンが含まれる場合、当該脳波に係る情報の取得時点を、基準時点として記憶部１０６に記憶させる。例えば、所定の脳波パターンは、発話またはジェスチャを行おうとする際に発生する脳波のパターンであり得る。
このように、本実施形態の第３の変形例によれば、基準時点は、ユーザ操作の開始に係る時点を含む。このため、操作の検出開始時点が基準時点とされる場合に比べて基準時点がユーザの意図した時点により近づけられることにより、ユーザに違和感を与える可能性をさらに低下させることが可能となる。
また、上記のユーザ操作の開始に係る時点は、ユーザ操作に用いられる物体の動きに基づいて推定される。このため、ユーザ操作の開始がより正確に推定されることにより、操作位置がユーザの意図する位置に決定される可能性を向上させることが可能となる。
（第４の変形例）
本実施形態の第４の変形例として、基準時点は、ユーザ操作の検出開始以前の時点から、所定の情報に基づいて選択されてもよい。具体的には、制御部１０４は、操作対象位置についてのユーザの認知に係る時点またはユーザ操作の検出開始に係る時点のうちの一方を、基準時点として所定の情報に基づいて選択する。
より具体的には、制御部１０４は、操作対象位置についてのユーザの認知が検出されない場合、ユーザ操作の検出開始時点が基準時点として選択される。例えば、ユーザの視線が停止した際にユーザがまばたきをすること等により、視線検出が行われず、視線情報が取得されない場合、制御部１０４は、音声認識処理の開始時点を基準時点として選択する。
また、制御部１０４は、ユーザ認知時点とユーザ操作の検出開始に係る時点との間の時間長に係る情報に基づいて基準時点を選択してもよい。例えば、図３に示したようなユーザ認知時点である時刻Ｔ２と、ユーザ操作の検出開始時点である時刻Ｔ３との間の時間長が所定の長さよりも短い場合、制御部１０４は、基準時点として、ユーザ認知時点を選択する。また当該時間長が所定の長さよりも長い場合、制御部１０４は、基準時点として、ユーザ操作の検出開始時点を選択する。例えば、ユーザ操作の検出直前の所定の時間内に視線が停止したと判定されず、当該所定の時間よりも過去の視線停止判定の時点が用いられた場合に、当該過去の視線停止判定の時点とユーザ操作の検出開始時点との間の時間長が所定の長さよりも長くなり得る。この場合、ユーザ操作の検出開始時点が基準時点として選択される。
なお、制御部１０４は、ユーザ操作の種類に係る情報に基づいて基準時点を選択してもよい。具体的には、制御部１０４は、トリガ情報が受信されると、トリガの種類すなわちユーザ操作の種類と対応する基準時点を選択する。例えば、音を用いた操作にはユーザの認知に係る時点が対応付けられ、当該対応付けの情報は記憶部１０６に記憶される。
また、制御部１０４は、ユーザ操作の対象に係る情報に基づいて基準時点を選択してもよい。具体的には、ユーザ操作の対象に係る情報は、ユーザ操作の対象の種類である。例えば、ユーザ操作の対象は、アプリケーション、コンテンツ、画面またはオブジェクト等であり、例えばユーザ操作の対象であるアプリケーションの種類がアクション型のゲームアプリケーションである場合、基準時点として、ユーザ認知時点が選択される。
また、ユーザ操作の対象に係る情報は、ユーザ操作の対象の数に応じて変化する情報であってもよい。例えば、ユーザ操作が選択操作である場合、選択肢の数が所定数よりも多いときは、ユーザ操作の開始に係る時点が選択される。
また、制御部１０４は、ユーザの設定に基づいて基準時点を選択してもよい。なお、設定内容は記憶部１０６に記憶されてもよく、設定は変更されてもよい。
なお、選択肢として、ユーザ認知時点およびユーザ操作の検出開始に係る時点に、ユーザ操作の開始に係る時点が追加されてもよい。
このように、本実施形態の第４の変形例によれば、基準時点は、ユーザ操作の検出開始以前の時点から、所定の情報に基づいて選択される。このため、状況に適した基準時点が選択され得ることにより、ユーザの違和感の発生をさらに抑制することが可能となる。
また、基準時点は、ユーザ操作の対象となる操作対象位置についてのユーザの認知に係る時点またはユーザ操作の検出開始に係る時点のうち、所定の情報に基づいて選択される一方の時点を含む。このため、選択肢が絞り込まれることにより、基準時点の選択処理を簡素化することが可能となる。
また、上記の所定の情報は、上記のユーザの認知に係る時点とユーザ操作の検出開始に係る時点との間の時間長に係る情報を含む。このため、ユーザ認知の検出に失敗した場合等の異常時において適していない基準時点が選択されることが抑制されることにより、ユーザの意図と明らかに乖離した処理が行われることを抑制することが可能となる。
また、上記の所定の情報は、ユーザ操作の種類を含む。このため、ユーザ操作に適した基準時点が選択されることにより、操作性を向上させることが可能となる。
また、上記の所定の情報は、ユーザ操作の対象に係る情報を含む。このため、ユーザ操作の対象に応じて基準時点が選択されることにより、同じユーザ操作であっても操作対象によって操作性が変わることを抑制することができ、ユーザの操作性に対する満足度を向上させることが可能となる。
（第５の変形例）
本実施形態の第５の変形例として、フィードバックオブジェクトは、基準時点よりも後の所定の時点（以下、後続時点とも称する。）の経過後に重畳表示されてもよい。具体的には、制御部１０４は、基準時点に基づいて候補位置を決定した後、基準時点の候補となる後続時点で、基準時点に基づいて決定された候補位置にフィードバックオブジェクトを画像に重畳表示させる。
例えば、ユーザ認知時点が基準時点である場合、制御部１０４は、ユーザ認知が検出された時点に基づいて候補位置の決定を行うが、フィードバックオブジェクトを画像に重畳表示させない。その後、制御部１０４は、トリガ情報が受信され、当該トリガ情報に基づくユーザ操作の検出が開始された際に、事前にユーザ認知時点に基づいて決定された候補位置にフィードバックオブジェクトを表示させる。
この場合、ユーザ操作の検出が開始されるまでフィードバックオブジェクトが重畳表示されないことにより、画面の視認が妨げられにくくなる。また、操作位置すなわち候補位置は、ユーザ認知時点に基づいて決定されるため、ユーザ操作の検出開始時点を基準時点として決定される操作位置よりもユーザの意図する位置に近い位置にマーキングオブジェクトを重畳表示させることが可能となる。
なお、フィードバックオブジェクトの表示タイミングは、基準時点または後続時点のうちから選択されてもよく、ユーザ設定等によって予め決定されていてもよい。当然ながら、フィードバックオブジェクトの表示タイミングは、後から変更されてもよい。
このように、本実施形態の第５の変形例によれば、フィードバックオブジェクトは基準時点の後の所定の時点の経過後に重畳表示される。このため、フィードバックオブジェクトが基準時点から遅れて重畳表示されることにより、フィードバックオブジェクトが画面に長時間重畳表示されることによる画面の視認性の低下を抑制することが可能となる。
また、上記の所定の時点は、基準時点の候補となる時点である。このため、フィードバクオブジェクトがユーザにとって不自然なタイミングで重畳表示されないことにより、フィードバックオブジェクトの表示によってユーザに違和感を与える可能性を低下させることが可能となる。
なお、基準時点に基づいてフィードバックオブジェクトが重畳表示される場合においては以下のようなメリットがある。
例えば、ユーザ認知時点が基準時点である場合、ユーザの意図に対してフィードバックオブジェクトがいずれの他の時点よりも早く重畳表示されるため、操作位置が決定される前にユーザが位置を調整するための時間に余裕を持たせることが可能である。
また、例えば、ユーザ操作の検出開始時点が基準時点である場合、フィードバックオブジェクトの表示期間が変形例の場合と比べて短くなるため、画面の視認性の低下を抑制することが可能である。
（第６の変形例）
本実施形態の第６の変形例として、上述した操作位置の決定機能の動作有無は切り替えられてもよい。具体的には、制御部１０４は、ユーザ操作の対象に係る情報に基づいて、処理対象時点に得られる視線情報またはユーザ操作の検出終了の時点で得られている視線情報から、操作位置の決定に用いられる視線情報を選択する。
より具体的には、ユーザ操作の対象に係る情報は、上述したように、ユーザ操作の対象の種類である。例えば、ユーザ操作の対象は、アプリケーション、コンテンツ、画面またはオブジェクト等であり得る。例えばユーザ操作の対象であるアプリケーションの種類がアクション型のゲームアプリケーションである場合、ユーザ操作に迷いが生じにくいため、制御部１０４は、操作位置の決定機能をオンにし、すなわち処理対象時点に得られる視線情報に基づいて操作位置を決定する。
一方、例えば、ユーザ操作の対象であるコンテンツの種類が選択型のコンテンツである場合、ユーザ操作に迷いが生じ、ユーザ操作中に選択先を変更する可能性があるため、制御部１０４は、操作位置の決定機能をオフにし、すなわちユーザ操作の検出終了時点に得られている視線情報に基づいて操作位置を決定する。
また、制御部１０４は、ユーザ操作にかかる時間に基づいて、上記の操作位置の決定に用いられる視線情報を選択してもよい。例えば、制御部１０４は、ユーザ操作の検出開始から検出終了までの時間長が所定の長さよりも長い場合、操作位置の決定機能をオフにする。なお、当該時間長の始期はユーザ認知時点であってもよい。
このように、本実施形態の第６の変形例によれば、情報処理装置１００−１は、ユーザ操作の対象に係る情報に基づいて、処理対象時点に得られる視線情報またはユーザ操作の検出終了の時点で得られている視線情報から、操作位置の決定に用いられる視線情報を選択する。このため、ユーザ操作に時間がかかる可能性のある場合に操作位置の決定機能がオフにされることにより、ユーザに違和感を与える可能性を低下させることが可能となる。
また、情報処理装置１００−１は、ユーザ操作にかかる時間に基づいて、処理対象時点に得られる視線情報またはユーザ操作の検出終了の時点で得られている視線情報から、操作位置の決定に用いられる視線情報を選択する。このため、実際のユーザ操作時間を用いて操作位置の決定機能の利用有無が選択されることにより、ユーザの利便性とユーザへの違和感の抑制とを両立させることが可能となる。
＜３．本開示の第２の実施形態（外界像におけるマーキング）＞
以上、本開示の第１の実施形態に係る情報処理装置１００−１について説明した。続いて、本開示の第２の実施形態に係る情報処理装置１００−２について説明する。第２の実施形態では、外界像にマーカオブジェクトが重畳される。
＜３−１．装置の構成＞
まず、図８を参照して、本開示の第２の実施形態に係る情報処理装置１００−２の機能構成について説明する。図８は、本実施形態に係る情報処理装置１００−２の概略的な機能構成を示すブロック図である。なお、第１の実施形態に係る機能と実質的に同一である機能については説明を省略する。
情報処理装置１００−２は、図８に示したように、通信部１０２、制御部１０４および記憶部１０６に加えて、撮像部１０８、集音部１１０および表示部１１２を備える。例えば、情報処理装置１００−２は、人体の頭部に装着されるウェアラブルデバイス等であり得る。
本実施形態に係る制御部１０４の機能は、マーカオブジェクトの重畳表示対象が画像ではなく、外界像である点で第１の実施形態と異なる。具体的には、制御部１０４は、外界像に係る光を透過する表示部１１２にマーカオブジェクトを表示させることによって外界像にマーカオブジェクトを重畳表示させる。以下では、操作位置の決定およびマーキング機能、マーキングの共有機能ならびに視線検出およびトリガ検出機能について説明する。なお、操作位置の事前通知機能については、第１の実施形態と実質的に同一である。
（操作位置の決定およびマーキング機能）
制御部１０４は、情報処理装置１００−２の位置および周辺の空間を推定し、推定される位置および空間（以下、装置周辺環境とも称する。）と視線情報およびトリガ情報とに基づいて操作位置を決定する。具体的には、制御部１０４は、取得されるセンサ情報に基づいて情報処理装置１００−２の位置および周辺の空間を推定し、推定される装置周辺環境および基準時点に基づき特定される処理対象時点を特定する。そして、制御部１０４は、所定のトリガ情報が取得されると、特定される処理対象時点に得られる視線情報に基づいて操作位置を決定する。さらに、図９を参照して、本実施形態における制御部１０４の処理について詳細に説明する。図９は、本実施形態に係る情報処理システムの適用例を示す図である。
制御部１０４は、センサ情報に基づいて装置周辺情報を推定する。例えば、制御部１０４は、撮像センサ（撮像部１０８）または測距センサ等から得られる情報に基づいて装置周辺環境を推定する。なお、センサ情報に基づいて環境マップが生成されてもよい。なお、操作位置の推定には、ＳＬＡＭ（Simultaneous Localization and Mapping）等の空間認識および位置同定に係る技術が用いられ得る。
また、制御部１０４は、視線情報を取得する。例えば、制御部１０４は、通信部１０２を介して図９の左図に示したようなユーザＵ２の視線を示す視線情報を取得する。
次に、視線情報が得られると、制御部１０４は、推定される装置周辺環境と視線情報とから特定される視線位置を示す視線オブジェクトを表示部１１２に表示させる。例えば、制御部１０４は、操作位置と視線情報とから視線位置を特定し、特定される視線位置に視線オブジェクト１０が重畳表示されるように画像を生成する。そして、制御部１０４は、生成される画像を表示部１１２に表示させる。これにより、表示部１１２を通して外界像を見るユーザには、図９の左図に示したような視線オブジェクト１０が外界像に重畳されて見える。
また、制御部１０４は、視線情報に基づいてユーザ認知有無の判定を行う。例えば、制御部１０４は、ユーザＵ２の複数の視線情報に基づいて視線停止判定を行う。
次に、制御部１０４は、ユーザ認知有無の判定結果に基づいて決定される候補位置にフィードバックオブジェクトを重畳表示させる。例えば、制御部１０４は、ユーザＵ２の視線が停止したと判定されると、図９の左図に示したような視線オブジェクト１０があった位置を候補位置に決定し、図９の中図に示したように当該候補位置にフィードバックオブジェクト２０を重畳表示させる。
次に、制御部１０４は、トリガ情報が取得されると、当該トリガ情報に基づいてユーザ操作の検出を開始する。例えば、制御部１０４は、集音部１１０から音情報が得られると、当該音情報に基づく音声認識処理を開始する。
ユーザ操作の検出が終了すると、制御部１０４は、検出されるユーザ操作が予め決定されるユーザ操作である場合、候補位置に相当する位置を操作位置に決定する。例えば、制御部１０４は、音声認識処理の結果に図９の左図に示したようなキーワード「ここ」が含まれているかを判定する。音声認識処理の結果にキーワードが含まれると判定される場合、制御部１０４は、候補位置に相当する位置すなわち図９の中図に示したようなフィードバックオブジェクト２０が重畳表示されていた位置を操作位置に決定する。
次に、制御部１０４は、決定される操作位置についてのマーカオブジェクトの外界像への重畳表示を行う。例えば、制御部１０４は、操作位置が決定されると、図９の右図に示したようなマーカオブジェクト３８を表示部１１２の画面の操作位置に対応する位置を示すように配置させる。そして、制御部１０４は、マーカオブジェクト３８が配置された画像を表示部１１２に表示させることによって外界像にマーカオブジェクト３８を重畳表示させる。
（マーキングの共有機能）
制御部１０４は、通信部１０２を介して他の情報処理装置にマーカオブジェクトの情報（以下、マーカ情報とも称する。）を提供する。さらに、図１０を参照して、マーカ情報の共有について詳細に説明する。図１０は、本実施形態に係る情報処理装置１００−２のマーカ情報の共有処理を説明するための図である。
例えば、マーカオブジェクト３８に係るマーカ情報は、情報処理装置１００−２と接続されるサーバを介してまたは直接的に、図１０に示したようなユーザＵ３の保持する他の情報処理装置に送信される。そして、他の情報処理装置は、共有されるマーカ情報に基づいてマーカオブジェクト３８を表示部に表示させることによって、図１０に示したように外界像にマーカオブジェクト３８を重畳表示させる。
なお、情報処理装置１００−２は、他の情報処理装置がマーカオブジェクトの重畳位置に近づくと、当該他の情報処理装置にマーカ情報を提供するとしてもよい。例えば、制御部１０４は、通信部１０２を介して他の情報処理装置の位置情報を取得し、マーキングに係る位置から所定の範囲内に当該他の情報処理装置が位置するかを判定する。所定の範囲内に他の情報処理装置が位置すると判定される場合、制御部１０４は、マーカ情報を当該他の情報処理装置に提供する。
（視線検出およびトリガ検出機能）
なお、制御部１０４は、第１の実施形態における視線検出装置２００の視線検出機能および音検出装置３００の音検出機能を備える。
図８を参照して、情報処理装置１００−２の構成についての説明に戻ると、撮像部１０８は、２種類の撮像を行う。具体的には、撮像部１０８は、情報処理装置１００−２の周辺の撮像および視線検出用の撮像を行う。例えば、撮像部１０８は、情報処理装置１００−２の周辺の撮像を行う第１の撮像部と、視線検出用の撮像を行う第２の撮像部を備える。第１の撮像部は、第１の実施形態における視線検出装置２００の撮像部２０６と実質的に同一であるため、説明を省略する。第２の撮像部は、情報処理装置１００−２を装着するユーザの目または目およびその周辺を撮像し、撮像により得られる画像を制御部１０４に提供する。
集音部１１０は、情報処理装置１００−２の周辺において集音を行う。なお、集音部１１０の機能は、第１の実施形態における音検出装置３００の集音部３０６の機能と実質的に同一であるため説明を省略する。
表示部１１２は、制御部１０４の指示に基づいて画像の表示を行う。具体的には、表示部１１２は、透過される外界光および画像光がユーザの目に入射されるような構造を有し、制御部１０４から提供される画像に係る画像光がユーザの目に入射されるように当該画像光を射出する。例えば、表示部１１２は、別途に備えられるディスプレイ等に画像を投影し、またはユーザの目に直接的に画像光を射出する。
＜３−２．装置の処理＞
本開示の第２の実施形態に係る情報処理装置１００−２の処理は、装置周辺環境の推定処理以外は第１の実施形態の処理と実質的に同一であるため説明を省略する。
＜３−３．第２の実施形態のまとめ＞
このように、本開示の第２の実施形態によれば、情報処理装置１００−２は、表示オブジェクトを外界像に重畳表示する。このため、現実空間にマーカオブジェクトが重畳表示されることにより、ユーザは現実空間を変えることなく現実空間にマーキングを行うことができる。
また、マーカ情報は、他の情報処理装置と共有される。このため、マーカオブジェクトが他人にも見えるように共有されることにより、ユーザの日常生活における他人とのコミュニケーションをより円滑にすることが可能となる。
＜３−４．変形例＞
以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１および第２の変形例について説明する。
（第１の変形例）
本実施形態の第１の変形例として、マーカ情報は、地図情報と対応付けられてもよい。具体的には、制御部１０４は、決定された操作位置すなわちマーカオブジェクトの重畳位置と地図情報における位置との対応付けを行い、当該対応付けを示す情報を生成する。さらに、図１１を参照して、本変形例の処理について説明する。図１１は、本実施形態の第１の変形例におけるマーカ情報が対応付けられた地図情報の例を示す図である。
例えば、制御部１０４は、操作位置が決定され、マーカオブジェクトが外界像に重畳表示されると、当該操作位置すなわちマーカオブジェクトの重畳位置と地図情報における座標とを対応付ける。なお、地図情報における座標は、ＧＰＳ（Global Positioning System）センサから得られる座標であってもよい。
そして、制御部１０４は、ユーザ操作等に基づいて、表示部１１２に図１１に示したような地図情報を表示させる。当該地図情報には、マーカオブジェクトの重畳位置を示す表示オブジェクトとして、例えばマーカオブジェクト３８そのものが表示される。なお、地図情報に表示される表示オブジェクトは、マーカオブジェクトと異なる表示オブジェクトであってもよい。
なお、マーカオブジェクトの重畳位置と対応付けられた地図情報または対応付け情報は、他の情報処理装置と共有されてもよい。
このように、本実施形態の第１の変形例によれば、マーカ情報は、地図情報と対応付けられる。このため、ユーザはマーカオブジェクトの重畳位置を俯瞰的に確認することができ、ユーザの利便性を向上させることが可能となる。
（第２の変形例）
本実施形態の第２の変形例として、ユーザ操作は、ユーザのジェスチャを用いた操作（以下、ジェスチャ操作とも称する。）であってもよい。具体的には、制御部１０４は、撮像部１０８の撮像により得られるユーザを被写体とする画像に基づいてジェスチャ操作を検出する。例えば、ジェスチャ操作は、ユーザを被写体とする画像から、ユーザの指、手、腕または他の部位の動きまたは姿勢に基づいて検出される。例えば、ジェスチャ操作は、指の突出し、指先の回転、うなずき、目の見開きまたはまばたき等であり得る。
なお、ジェスチャ操作は、ユーザに装着されるセンサから得られる情報に基づいて検出されてもよい。例えば、ユーザに装着されるセンサは、加速度センサ、角速度センサまたは地磁気センサ等であり得る。なお、当該センサは、ユーザが操作するデバイス、例えばゲームコントローラ等に備えられてもよい。
また、ユーザ操作は、入力デバイスの操作であってもよい。具体的には、制御部１０４は、情報処理装置１００−２と接続される入力デバイスから得られる操作情報に基づいて入力デバイスの操作を検出する。例えば、制御部１０４は、入力デバイスから操作情報が得られると、当該入力デバイスの操作を得るまでにかかる時間の代表値、例えば平均値に基づいて入力デバイスの操作開始時点を特定する。さらに、特定される操作開始時点から当該入力デバイスの操作に係る上述したような反応時間が遡られることにより、ユーザ認知時点が特定される。制御部１０４は、このようにして特定される当該操作開始時点またはユーザ認知時点を基準時点として処理を行う。なお、入力デバイスは、プッシュ式ボタン、マウス、タッチパネル、感圧センサまたは静電容量センサを備える入力装置であり得る。
このように、本実施形態の第２の変形例によれば、ユーザ操作は、ユーザのジェスチャを用いた操作を含む。このため、ユーザが音を発生させることが困難な場合であっても、ユーザは直感的に操作位置を指定することができ、ユーザの利便性を向上させることが可能となる。
また、ユーザ操作は、入力デバイスの操作を含む。このため、音を用いた操作またはジェスチャ操作の場合と比べて操作検出処理が簡素化されることにより、処理時間を短縮することが可能となる。
＜４．本開示の一実施形態に係る情報処理装置のハードウェア構成＞
以上、本開示の各実施形態に係る情報処理装置１００について説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現される。
図１２は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図１２に示したように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）１３２と、ＲＯＭ（Read Only Memory）１３４と、ＲＡＭ（Random Access Memory）１３６と、ブリッジ１３８と、バス１４０と、インターフェース１４２と、入力装置１４４と、出力装置１４６と、ストレージ装置１４８と、ドライブ１５０と、接続ポート１５２と、通信装置１５４とを備える。
ＣＰＵ１３２は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の制御部１０４の動作を実現する。また、ＣＰＵ１３２は、マイクロプロセッサであってもよい。ＲＯＭ１３４は、ＣＰＵ１３２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１３６は、ＣＰＵ１３２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１３４およびＲＡＭ１３６により、情報処理装置１００内の記憶部１０６の一部を実現する。ＣＰＵ１３２、ＲＯＭ１３４およびＲＡＭ１３６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
入力装置１４４は、例えば、情報処理装置１００の撮像部１０８および集音部１１０の一例として、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１３２に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、入力装置１４４を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置１４６は、例えば、情報処理装置１００の表示部１１２の一例として、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置、ランプなどの装置への出力を行う。さらに、出力装置１４６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
ストレージ装置１４８は、データ格納用の装置である。ストレージ装置１４８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置１４８は、ＣＰＵ１３２が実行するプログラムや各種データを格納する。
ドライブ１５０は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１５０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１３４に出力する。また、ドライブ１５０は、リムーバブル記憶媒体に情報を書込むこともできる。
接続ポート１５２は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１５２は、ＵＳＢ（Universal Serial Bus）であってもよい。
通信装置１５４は、例えば、情報処理装置１００の通信部１０２の一例として、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。また、通信装置１５４は、無線ＬＡＮ（Local Area Network）対応通信装置であっても、ＬＴＥ（Long Term Evolution）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
＜５．むすび＞
以上、本開示の第１の実施形態によれば、操作対象位置をユーザが認知した時点からユーザ操作の検出が完了するまでの間にタイムラグが生じる場合であっても、当該タイムラグによる操作位置とユーザの意図する操作対象位置とのずれが抑制される。その結果、ユーザ操作に係る処理が行われる位置についてユーザの違和感を抑制することが可能となる。また、本開示の第２の実施形態によれば、現実空間にマーカオブジェクトが重畳表示されることにより、ユーザは現実空間を変えることなく現実空間にマーキングを行うことができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、視線停止判定処理は、位置についての視線の停止であるとしたが、本技術はかかる例に限定されない。例えば、視線停止判定処理は、物体についての視線の停止であってもよい。制御部１０４は、視線先における物体の有無を判定し、物体が存在する場合、当該物体について視線停止判定を行う。例えば、物体が移動する場合、当該物体の移動についての視線の追従有無が判定される。視線が追従していると判定される場合、視線が停止していると判定される。
また、上記実施形態では、操作位置が決定される例を説明したが、操作位置の決定前に当該操作位置の決定処理が中止されてもよい。例えば、ユーザの視線停止が検出された後、操作位置の決定前にユーザの視線が変更された場合、当該視線停止に係る操作位置の決定処理がキャンセルされる。なお、操作位置の決定処理がキャンセルされるまでは、フィードバックオブジェクトが重畳表示されてもよい。
また、上記実施形態では、ユーザによって発せられる音がユーザの音声である例を説明したが、ユーザによって発せられる音はユーザの動作によって発生する音であってもよい。例えば、ユーザの動作によって発生する音は、フィンガースナップ等のユーザが身体を用いて発生させる音、または楽器もしくはブザー等の音を発生させる器具もしくは装置をユーザが操作することによって発生する音であり得る。
また、上記実施形態では、視線情報が視線を示す情報であり、制御部１０４が視線位置を特定する例を説明したが、視線情報は、視線位置を示す情報であってもよい。この場合、視線位置は視線検出部装置２００等によって特定される。また、視線情報は、視線検出装置２００における撮像により得られる画像に係る画像情報であってもよく、この場合、制御部１０４が視線検出および視線位置の特定を行う。
また、上記実施形態では、音情報は、音を示す情報である例を説明したが、音情報は、キーワードを含むか否かを示す情報であってもよい。例えば、音検出装置３００の制御部３０４が、集音された音についてキーワードが含まれるかを判定し、キーワードが含まれる場合、キーワードが発話された旨を示す音情報を生成する。そして、当該音情報が受信されると、情報処理装置１００の制御部１０４は、視線位置に相当する位置を操作位置に決定する。
また、上記実施形態では、フィードバックオブジェクトおよびマーカオブジェクトの様々な形態について説明したが、視線オブジェクトについても同様に様々な形態が採用され得る。また、これらの表示オブジェクトは、情報処理装置１００−１またはユーザによって予め決定されてもよく、設定変更により変更されてもよい。
また、上記実施形態では、情報処理装置１００の外部の表示装置４００または情報処理装置１００の備える表示部１１２にマーカオブジェクトが表示される例を説明したが、マーカオブジェクトは壁面または天井等に投影されてもよい。例えば、車のフロントガラスまたはサイドガラスにマーカオブジェクトが投影されてもよい。
また、本開示の各実施形態に係る情報処理装置１００および情報処理システムは、医療分野、農業分野または自動車分野に適用されてもよい。例えば、医療分野においては、情報処理装置１００によって、レントゲン写真またはＭＲＩ（Magnetic Resonance Imaging）画像にマーカオブジェクトが重畳表示されたり、手術映像または手術室の空間にマーカオブジェクトが重畳表示されたりする。この場合、本開示の各実施形態の構成によれば、マーカオブジェクトがユーザの意図しない位置に重畳表示される可能性が低下することにより、医療従事者の間で情報が正しく共有され、医療の安全性が向上され得る。
また、農業分野においては、例えば、情報処理装置１００によって、特定の木についてマーキングが行われ、マーキングを行ったユーザと異なるユーザが当該マーキングに係るマーカオブジェクトを目印にして、例えば農薬散布等の農作業を行う。この場合、本開示の各実施形態の構成によれば、誤った位置にマーキングされる可能性が低下されることにより、農業における作業効率が改善され得る。
また、自動車分野においては、例えば、情報処理装置１００によって、ナビシートに座るユーザの操作に基づいて車両周辺のランドマークにマーキングが行われる。そして、当該マーキングに係るマーカ情報が別の情報処理装置１００を介して運転手に共有され、運転手はマーキングに従って自動車を運転する。この場合、本開示の各実施形態の構成によれば、誤った位置にマーキングされる可能性が低下されることにより、運転手が道に迷う可能性および事故が発生する可能性が低下し得る。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの視線に係る視線情報およびユーザ操作の検出結果を得る入力部と、
前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定する位置決定部と、
を備える情報処理装置。
（２）
前記位置決定部によって決定される前記操作位置についての表示オブジェクトの表示制御を行う表示制御部をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記第１の時点は、前記ユーザ操作の対象となる操作対象位置についてのユーザの認知に係る時点を含む、前記（２）に記載の情報処理装置。
（４）
前記ユーザの認知に係る時点は、前記ユーザの視線の停止有無の判定結果に基づいて推定される、前記（３）に記載の情報処理装置。
（５）
前記ユーザの認知に係る時点は、前記ユーザ操作についての人間の反応時間に基づいて推定される、前記（３）または（４）に記載の情報処理装置。
（６）
前記第１の時点は、前記ユーザ操作の開始に係る時点を含む、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記ユーザ操作の開始に係る時点は、前記ユーザ操作に用いられる物体の動きに基づいて推定される、前記（６）に記載の情報処理装置。
（８）
前記第１の時点は、前記ユーザ操作の検出開始以前の時点から、所定の情報に基づいて選択される時点を含む、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記第１の時点は、前記ユーザ操作の対象となる操作対象位置についてのユーザの認知に係る時点または前記ユーザ操作の検出開始に係る時点のうち、前記所定の情報に基づいて選択される一方の時点を含む、前記（８）に記載の情報処理装置。
（１０）
前記所定の情報は、前記ユーザの認知に係る時点と前記ユーザ操作の開始に係る時点との間の時間長に係る情報を含む、前記（９）に記載の情報処理装置。
（１１）
前記所定の情報は、前記ユーザ操作の種類または前記ユーザ操作の対象に係る情報を含む、前記（９）または（１０）に記載の情報処理装置。
（１２）
前記第２の時点は、前記視線情報が得られる時点のうち、いずれの他の時点よりも前記第１の時点に近い時点を含む、前記（２）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記位置決定部は、前記ユーザ操作の対象に係る情報または前記ユーザ操作にかかる時間に基づいて、前記第２の時点に得られる前記視線情報または前記ユーザ操作の検出終了の時点で得られている前記視線情報から、前記操作位置の決定に用いられる前記視線情報を選択する、前記（２）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記表示制御部は、前記操作位置となるべき候補位置が特定される第２の表示オブジェクトの表示制御を行い、
前記第２の表示オブジェクトは、前記第１の時点の後から前記操作位置が決定されるまでの間、前記候補位置に基づいて表示される、前記（２）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記第２の表示オブジェクトは、時間経過とともに視覚的に変化する、前記（１４）に記載の情報処理装置。
（１６）
前記第２の表示オブジェクトは、前記候補位置に向かって変化するように表示される、前記（１５）に記載の情報処理装置。
（１７）
前記ユーザ操作は、ユーザによって発せられる音を用いた操作を含む、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記ユーザ操作は、ユーザのジェスチャを用いた操作または入力デバイスの操作を含む、前記（１）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）
入力部によってユーザの視線に係る視線情報およびユーザ操作の検出結果を得ることと、
前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定することと、
を含む情報処理方法。
（２０）
ユーザの視線に係る視線情報およびユーザ操作の検出結果を得る入力機能と、
前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定する位置決定機能と、
をコンピュータに実現させるためのプログラム。
１００ 情報処理装置
１０２ 通信部
１０４ 制御部
１０６ 記憶部
１０８ 撮像部
１１０ 集音部
１１２ 表示部
２００ 視線検出装置
３００ 音検出装置
４００ 表示装置

Claims (20)

  1. ユーザの視線に係る視線情報およびユーザ操作の検出結果を得る入力部と、
    前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定する位置決定部と、
    を備える情報処理装置。
  2. 前記位置決定部によって決定される前記操作位置についての表示オブジェクトの表示制御を行う表示制御部をさらに備える、請求項１に記載の情報処理装置。
  3. 前記第１の時点は、前記ユーザ操作の対象となる操作対象位置についてのユーザの認知に係る時点を含む、請求項２に記載の情報処理装置。
  4. 前記ユーザの認知に係る時点は、前記ユーザの視線の停止判定結果に基づいて推定される、請求項３に記載の情報処理装置。
  5. 前記ユーザの認知に係る時点は、前記ユーザ操作についての人間の反応時間に基づいて推定される、請求項３に記載の情報処理装置。
  6. 前記第１の時点は、前記ユーザ操作の開始に係る時点を含む、請求項２に記載の情報処理装置。
  7. 前記ユーザ操作の開始に係る時点は、前記ユーザ操作に用いられる物体の動きに基づいて推定される、請求項６に記載の情報処理装置。
  8. 前記第１の時点は、前記ユーザ操作の検出開始以前の時点から、所定の情報に基づいて選択される時点を含む、請求項２に記載の情報処理装置。
  9. 前記第１の時点は、前記ユーザ操作の対象となる操作対象位置についてのユーザの認知に係る時点または前記ユーザ操作の検出開始に係る時点のうち、前記所定の情報に基づいて選択される一方の時点を含む、請求項８に記載の情報処理装置。
  10. 前記所定の情報は、前記ユーザの認知に係る時点と前記ユーザ操作の開始に係る時点との間の時間長に係る情報を含む、請求項９に記載の情報処理装置。
  11. 前記所定の情報は、前記ユーザ操作の種類または前記ユーザ操作の対象に係る情報を含む、請求項９に記載の情報処理装置。
  12. 前記第２の時点は、前記視線情報が得られる時点のうち、いずれの他の時点よりも前記第１の時点に近い時点を含む、請求項２に記載の情報処理装置。
  13. 前記位置決定部は、前記ユーザ操作の対象に係る情報または前記ユーザ操作にかかる時間に基づいて、前記第２の時点に得られる前記視線情報または前記ユーザ操作の検出終了の時点で得られている前記視線情報から、前記操作位置の決定に用いられる前記視線情報を選択する、請求項２に記載の情報処理装置。
  14. 前記表示制御部は、前記操作位置の候補である候補位置が特定される第２の表示オブジェクトの表示制御を行い、
    前記第２の表示オブジェクトは、前記第１の時点の後から前記操作位置が決定されるまでの間、前記候補位置に基づいて表示される、請求項２に記載の情報処理装置。
  15. 前記第２の表示オブジェクトは、時間経過とともに視覚的に変化する、請求項１４に記載の情報処理装置。
  16. 前記第２の表示オブジェクトは、前記候補位置に向かって変化するように表示される、請求項１５に記載の情報処理装置。
  17. 前記ユーザ操作は、ユーザによって発せられる音を用いた操作を含む、請求項１に記載の情報処理装置。
  18. 前記ユーザ操作は、ユーザのジェスチャを用いた操作または入力デバイスの操作を含む、請求項１に記載の情報処理装置。
  19. 入力部によってユーザの視線に係る視線情報およびユーザ操作の検出結果を得ることと、
    前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定することと、
    を含む情報処理方法。
  20. ユーザの視線に係る視線情報およびユーザ操作の検出結果を得る入力機能と、
    前記ユーザ操作の検出開始以前の第１の時点に基づいて特定される第２の時点に得られた前記視線情報に基づいて、前記ユーザ操作に係る処理が行われる操作位置を決定する位置決定機能と、
    をコンピュータに実現させるためのプログラム。
JP2015129163A 2015-06-26 2015-06-26 情報処理装置、情報処理方法およびプログラム Pending JP2017016198A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015129163A JP2017016198A (ja) 2015-06-26 2015-06-26 情報処理装置、情報処理方法およびプログラム
PCT/JP2016/062403 WO2016208261A1 (ja) 2015-06-26 2016-04-19 情報処理装置、情報処理方法およびプログラム
DE112016002894.6T DE112016002894T5 (de) 2015-06-26 2016-04-19 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm
US15/566,901 US10496186B2 (en) 2015-06-26 2016-04-19 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015129163A JP2017016198A (ja) 2015-06-26 2015-06-26 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2017016198A true JP2017016198A (ja) 2017-01-19

Family

ID=57585498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015129163A Pending JP2017016198A (ja) 2015-06-26 2015-06-26 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10496186B2 (ja)
JP (1) JP2017016198A (ja)
DE (1) DE112016002894T5 (ja)
WO (1) WO2016208261A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6425860B1 (ja) * 2018-01-18 2018-11-21 三菱電機株式会社 機器操作装置、機器操作システムおよび機器操作方法
JP2019200651A (ja) * 2018-05-17 2019-11-21 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102092931B1 (ko) * 2017-09-13 2020-03-24 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
JP6276460B1 (ja) 2017-10-03 2018-02-07 株式会社 ディー・エヌ・エー ゲームを提供するためのプログラム、システム、及び方法
US10871874B2 (en) * 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
WO2020189254A1 (ja) * 2019-03-15 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
WO2022158292A1 (ja) * 2021-01-21 2022-07-28 ソニーグループ株式会社 情報処理装置及び情報処理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4847605A (en) * 1987-04-27 1989-07-11 International Business Machines Corporation Picking in a graphics system
US5386494A (en) * 1991-12-06 1995-01-31 Apple Computer, Inc. Method and apparatus for controlling a speech recognition function using a cursor control device
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JPH09251342A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6867790B1 (en) * 1996-08-09 2005-03-15 International Business Machines Corporation Method and apparatus to conditionally constrain pointer movement on a computer display using visual cues, controlled pointer speed and barriers on the display which stop or restrict pointer movement
JPH11184621A (ja) * 1997-12-25 1999-07-09 Shimadzu Corp 視線入力装置
JP3477675B2 (ja) * 1999-06-04 2003-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション ポインタ操作の補助方法
US6729731B2 (en) * 2001-06-11 2004-05-04 Info Valley Corporation Untethered laser pointer for use with computer display
US6724368B2 (en) * 2001-12-14 2004-04-20 Koninklijke Philips Electronics N.V. Remote control system and method for a television receiver
JP5355097B2 (ja) * 2007-01-12 2013-11-27 株式会社カプコン 表示制御装置、制御方法、プログラム、及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2008099306A1 (en) * 2007-02-12 2008-08-21 Philips Intellectual Property & Standards Gmbh Modular electric system
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
JP2013255781A (ja) * 2012-05-16 2013-12-26 Taika:Kk 視線検出ユニットとディスプレイ用ポインティングデバイスのための注視点の調整方法
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
JP2014126997A (ja) * 2012-12-26 2014-07-07 Denso Corp 操作装置、及び操作検出方法
JP6255954B2 (ja) * 2013-12-03 2018-01-10 富士通株式会社 動作入力装置、動作入力プログラム及び動作入力方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6425860B1 (ja) * 2018-01-18 2018-11-21 三菱電機株式会社 機器操作装置、機器操作システムおよび機器操作方法
WO2019142295A1 (ja) * 2018-01-18 2019-07-25 三菱電機株式会社 機器操作装置、機器操作システムおよび機器操作方法
JP2019200651A (ja) * 2018-05-17 2019-11-21 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム
JP7064952B2 (ja) 2018-05-17 2022-05-11 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
WO2016208261A1 (ja) 2016-12-29
US20180129303A1 (en) 2018-05-10
US10496186B2 (en) 2019-12-03
DE112016002894T5 (de) 2018-03-08

Similar Documents

Publication Publication Date Title
WO2016208261A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20240200962A1 (en) Providing directional awareness indicators based on context
JP6664512B2 (ja) アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
US11328187B2 (en) Information processing apparatus and information processing method
KR101638095B1 (ko) 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
JP2021096490A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7271909B2 (ja) 表示装置、及び、表示装置の制御方法
US20180150133A1 (en) Glasses-type terminal and control method therefor
JP2019160033A (ja) 表示制御装置およびプログラム
US20200143774A1 (en) Information processing device, information processing method, and computer program
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
CN111515946B (zh) 一种人体辅助机器人的控制方法及装置
JP6206949B2 (ja) 視野制限画像データ作成プログラム及びこれを用いた視野制限装置
US20200159318A1 (en) Information processing device, information processing method, and computer program
US20240122469A1 (en) Virtual reality techniques for characterizing visual capabilities
CN110018733A (zh) 确定用户触发意图的方法、设备和存储器设备
WO2016151958A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
US20250281085A1 (en) Systems and methods for performing a motor skills neurological test using augmented or virtual reality
WO2024166116A1 (en) Retina image references for gaze tracking
JP2025022438A (ja) 情報処理装置、情報処理装置の制御方法、表示装置、表示装置の制御方法、システム、プログラム
KR20250050092A (ko) 시선 추적 등록을 위한 사용자 인터페이스들
WO2025053070A1 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム