JP2014071461A - User interface device, user interface method and program - Google Patents
User interface device, user interface method and program Download PDFInfo
- Publication number
- JP2014071461A JP2014071461A JP2012214399A JP2012214399A JP2014071461A JP 2014071461 A JP2014071461 A JP 2014071461A JP 2012214399 A JP2012214399 A JP 2012214399A JP 2012214399 A JP2012214399 A JP 2012214399A JP 2014071461 A JP2014071461 A JP 2014071461A
- Authority
- JP
- Japan
- Prior art keywords
- display
- display device
- user
- state
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザが選択しようとするオブジェクトを予測し、指示体とオブジェクトとが重なる前にこのオブジェクトを選択できるようにする。
【解決手段】表示装置は、表示面１４１に画像を表示するとともに、指Ｆを表示面１４１に非接触により近接させて行う近接操作、及び、表示面１４１に指を接触させて行接触操作を検出可能である。表示装置は、点Ｐ１から点Ｐ２に指Ｆを移動させる近接操作を検出すると、点Ｐ２を中心とし、近接操作の操作方向（矢印Ｂ１方向）に広がる扇形の参照領域Ｔ１を特定する。そして、表示装置は、参照領域Ｔ１の弧Ａｒ１に重なるオブジェクトＩ１を受付可能状態に設定する。表示装置は、オブジェクトＩ１を受付可能状態に設定した後は、オブジェクトＩ１の表示位置以外を指示する接触操作（例えば点Ｐ２を指示する接触操作）を検出した場合にも、オブジェクトＩ１をユーザの選択オブジェクトとして特定する。
【選択図】図６A user predicts an object to be selected and allows the object to be selected before the pointer and the object overlap.
The display device displays an image on a display surface 141, performs a proximity operation performed by bringing a finger F close to the display surface 141 in a non-contact manner, and a line contact operation performed by bringing a finger into contact with the display surface 141. It can be detected. When the display device detects a proximity operation that moves the finger F from the point P1 to the point P2, the display device specifies a sector-shaped reference region T1 that extends around the point P2 in the operation direction (arrow B1 direction) of the proximity operation. Then, the display device sets the object I1 that overlaps the arc Ar1 of the reference area T1 to a receivable state. After the display device sets the object I1 to the acceptable state, the user can select the object I1 even when detecting a contact operation (for example, a contact operation indicating the point P2) that indicates a position other than the display position of the object I1. Identify as an object.
[Selection] Figure 6
Description
本発明は、ユーザインタフェースにおけるオブジェクトを選択する操作を検出する技術に関する。 The present invention relates to a technique for detecting an operation for selecting an object in a user interface.
スマートフォンやタブレット端末等の表示装置には、ユーザに選択されるオブジェクト（例えばアイコン画像）を表示し、タッチ操作等で選択されたオブジェクトに対応した機能を利用させるユーザインタフェースを備えたものがある。この種のユーザインタフェースでは、ユーザの指等の指示体とユーザが選択しようとするオブジェクトとが重なり、ユーザは、自身が選択しようとするオブジェクトが視認しにくくなることがある。これに対し、特許文献１，２は、ユーザが所望するオブジェクトを選択しやすくなるようにする技術を開示している。 Some display devices such as smartphones and tablet terminals include a user interface that displays an object (for example, an icon image) selected by a user and uses a function corresponding to the object selected by a touch operation or the like. In this type of user interface, an indicator such as a user's finger and an object to be selected by the user may overlap, and it may be difficult for the user to visually recognize the object to be selected by the user. On the other hand, Patent Literatures 1 and 2 disclose a technique that makes it easy for a user to select a desired object.
特許文献１は、指やスタイラスの位置に基づいて表示領域上にポインタを表示する場合に、ユーザの指等が最も近接した位置よりも予め設定した画素分だけずらした位置に、ポインタを表示することを開示している。特許文献２は、ユーザの指の接触又は近接を検出した位置にカーソルを表示させ、カーソルの先端に存在するオブジェクトを選択可能にすることを開示している。また、特許文献２は、ユーザの２本の指の移動を検知して、カーソルの回転又は拡大／縮小を行うことを開示している。 In Patent Document 1, when a pointer is displayed on a display area based on the position of a finger or a stylus, the pointer is displayed at a position shifted by a preset pixel from the position where the user's finger or the like is closest. It is disclosed. Patent Document 2 discloses that a cursor is displayed at a position where contact or proximity of a user's finger is detected, and an object existing at the tip of the cursor can be selected. Japanese Patent Application Laid-Open No. H10-228561 discloses that a cursor is rotated or enlarged / reduced by detecting the movement of a user's two fingers.
特許文献１，２に記載の発明では、ユーザの指等の指示体の現在位置と、カーソル（ポインタ）又は入力フォーカスを与えるオブジェクトの位置との関係を工夫して、ユーザが所望するオブジェクトを選択しやすくなるようにしている。
これに対し、本発明の目的は、ユーザが選択しようとするオブジェクトを予測し、指示体とオブジェクトとが重なる前にこのオブジェクトを選択できるようにすることである。
In the inventions described in Patent Documents 1 and 2, the user selects a desired object by devising the relationship between the current position of a pointer such as a user's finger and the position of an object that gives a cursor (pointer) or input focus. To make it easier to do.
On the other hand, an object of the present invention is to predict an object to be selected by the user so that the object can be selected before the indicator and the object overlap.
上述した課題を解決するため、本発明のユーザインタフェース装置は、表示面に画像を表示する表示部と、指示体を前記表示面に非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出部と、ユーザに選択されるオブジェクトを含む画像を前記表示面に表示するように、前記表示部を制御する表示制御部と、前記操作検出部により検出された前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定部と、前記第１設定部がオブジェクトを前記第１状態に設定した後は、前記操作検出部により当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定部とを備えることを特徴とする。 In order to solve the above-described problems, a user interface device according to the present invention includes a display unit that displays an image on a display surface, a first operation that is performed by bringing an indicator close to the display surface in a non-contact manner, and the first An operation detection unit that detects a second operation performed by bringing the indicator closer to the display surface than an operation, and the display unit that displays an image including an object selected by a user on the display surface. A display control unit to be controlled; a first setting unit that sets an object corresponding to a movement trajectory of the first operation detected by the operation detection unit to a first state in which selection by a user can be accepted; After the first setting unit sets the object in the first state, the object is detected even when the operation detection unit detects the second operation that indicates a position other than the display position of the object. And characterized in that it comprises a second setting unit that sets a second state of accepting the selection by the user.
本発明において、前記第１設定部は、前記第１操作の検出位置から前記第１操作の操作方向に位置するオブジェクトを前記第１状態に設定するようにしてもよい。
この発明において、前記第１設定部は、前記検出位置から前記操作方向に離れるにつれて広くなる参照領域を特定し、特定した参照領域に含まれるオブジェクトを前記第１状態に設定するようにしてもよい。
この発明において、前記第１設定部は、前記検出位置を中心として前記操作方向に所定角度で広がる扇形の参照領域を特定し、特定した参照領域の弧に重なるオブジェクトを前記第１状態に設定するようにしてもよい。
In the present invention, the first setting unit may set an object located in the operation direction of the first operation from the detection position of the first operation to the first state.
In this invention, the first setting unit may specify a reference area that becomes wider from the detection position in the operation direction, and set an object included in the specified reference area to the first state. .
In the present invention, the first setting unit specifies a fan-shaped reference area extending at a predetermined angle in the operation direction with the detection position as a center, and sets an object overlapping an arc of the specified reference area to the first state. You may do it.
本発明において、前記表示制御部は、前記第１設定部により前記第１状態に設定されたオブジェクトの表示態様を変更するようにしてもよい。 In the present invention, the display control unit may change the display mode of the object set in the first state by the first setting unit.
本発明のユーザインタフェース方法は、画像が表示される表示面に指示体を非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出ステップと、ユーザに選択されるオブジェクトを含む画像を前記表示面に表示する表示ステップと、前記操作検出ステップで検出した前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定ステップと、前記第１設定ステップでオブジェクトを前記第１状態に設定した後は、前記操作検出ステップで当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定ステップとを有する。 According to the user interface method of the present invention, a first operation is performed by bringing a pointer close to the display surface on which an image is displayed in a non-contact manner, and the pointer is moved closer to the display surface than the first operation. An operation detection step for detecting each of the second operations, a display step for displaying an image including an object selected by the user on the display surface, and a movement trajectory of the first operation detected in the operation detection step A first setting step for setting the object in a first state in which selection by the user can be accepted; and after setting the object in the first state in the first setting step, the display position of the object in the operation detection step Even when the second operation instructing other than the above is detected, the object is set to the second state in which selection by the user is accepted. And a setting step.
本発明のプログラムは、表示面に画像を表示する表示装置のコンピュータに、前記表示面に指示体を非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出ステップと、ユーザに選択されるオブジェクトを含む画像を前記表示面に表示するように、前記表示装置を制御する表示制御ステップと、前記操作検出ステップで検出した前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定ステップと、前記第１設定ステップにおいてオブジェクトを前記第１状態に設定した後は、前記操作検出ステップで当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定ステップ第２設定ステップとを実行させるためのプログラムである。 The program of the present invention includes: a first operation performed by bringing a pointer close to the display surface in a non-contact manner to a computer of a display device that displays an image on a display surface; and the pointer is more than the first operation. An operation detection step of detecting a second operation performed close to the display surface, a display control step of controlling the display device so as to display an image including an object selected by a user on the display surface, A first setting step for setting an object according to the movement trajectory of the first operation detected in the operation detection step to a first state in which selection by a user can be accepted, and an object in the first setting step is the first setting step. After the state is set, the operation detection step also detects the second operation that detects a position other than the display position of the object. The object is a program for executing a second setting step second setting step of setting the second state of accepting the selection by the user.
本発明によれば、ユーザが選択しようとするオブジェクトを予測し、指示体とオブジェクトとが重なる前にこのオブジェクトを選択できるようにすることができる。 According to the present invention, an object to be selected by the user can be predicted, and this object can be selected before the indicator and the object overlap.
以下、図面を参照しつつ本発明の実施形態を説明する。
図１は、表示装置１０のハードウェア構成を示すブロック図である。図１に示すように、表示装置１０は、制御部１１と、操作部１２と、通信部１３と、表示部１４と、記憶部１５とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ（Random Access Memory）を有するマイクロコンピュータを備える。ＣＰＵは、ＲＯＭや記憶部１５に記憶されたプログラムをＲＡＭに読み出して実行することにより、表示装置１０の各部を制御する。通信部１３は、無線通信回路やアンテナを有し、ネットワークに接続して通信するためのインタフェースである。表示部１４は、液晶パネル等の複数画素を配置した矩形の表示面１４１を有し、表示面１４１に画像を表示する。記憶部１５は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やフラッシュメモリ等の記憶装置を備え、制御部１１により実行されるプログラムを記憶する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a hardware configuration of the
The
操作部１２は、近接センサ１２１及び接触センサ１２２を有し、ユーザに操作される操作装置である。近接センサ１２１は、ユーザの指（指先）が表示面１４１に非接触により近接している状態を検出するセンサである。近接センサ１２１は、例えば、静電容量の変化に応じてユーザの指の位置を検出する静電容量型のセンサであるが、超音波を用いる超音波センサや赤外光型のセンサ、電磁誘導を利用した高周波発振型、磁石を用いた磁気型のセンサ等を用いてもよく、センサの検出方式は特に問わない。接触センサ１２２は、ユーザの指が表示面１４１に接触している状態を検出するセンサである。接触センサ１２２は、例えば静電容量型のセンサであるが、抵抗膜型や赤外光型のセンサ等を用いてもよく、センサの検出方式は特に問わない。
近接センサ１２１及び接触センサ１２２は、ユーザの指で指示された位置を検出すると、検出した位置を示す位置情報を制御部１１に供給する。ここで、近接センサ１２１及び接触センサ１２２が供給する位置情報を用いて特定可能な操作について説明する。
The
When the
図２は、近接センサ１２１及び接触センサ１２２が供給する位置情報を用いて特定可能な操作の説明図である。図２（ａ）は、表示装置１０を正面から見た様子を表す図である。図２（ｂ）は、表示装置１０を側面側から見た様子を表す図である。
本実施形態では、図２（ａ）に示すように表示装置１０を正面から見て、表示面１４１の上下方向における位置と、表示面１４１の左右方向における位置と、表示面１４１の法線方向における位置とを表す座標情報によって、近接センサ１２１及び接触センサ１２２の検出位置を示す位置情報を表す。
FIG. 2 is an explanatory diagram of operations that can be specified using position information supplied by the
In the present embodiment, as shown in FIG. 2A, when the
図２（ｂ）に「検出可能領域」と付して二点鎖線を用いて示した範囲のように、近接センサ１２１は、表示面１４１の法線方向に位置する空間領域を検出可能領域として、ユーザの指Ｆの位置を検出し、検出した位置を示す位置情報を供給する。近接センサ１２１が供給する位置情報によって特定される操作のことを、以下では「近接操作」（第１操作）という。接触センサ１２２は、表示面１４１に接触するユーザの指Ｆの位置を検出して、検出した位置を示す位置情報を供給する。接触センサ１２２が供給する位置情報によって特定される操作のことを、以下では「接触操作」（第２操作）という。接触操作は、近接操作よりも、ユーザの指Ｆを表示面１４１に近接させて行う操作に相当する。
なお、近接センサ１２１及び接触センサ１２２が位置を検出する指示体は、本実施形態ではユーザの指とするが、スタイラス等のユーザが手に持って動かす指示用の器具であってもよい。また、操作部１２は、ユーザに操作される対象として、物理キー等の他の操作子を有していてもよい。また、本実施形態において、表示装置１０は、近接操作を検出する近接センサ１２１と接触操作を検出する接触センサ１２２とを別個に備えているが、近接センサ１２１及び接触センサ１２２に代えて、近接操作及び接触操作を検出する単一のセンサを備えてもよい。
The
Note that the indicator whose position is detected by the
以上の構成を有する表示装置１０は、前述の操作部１２及び表示部１４を用いて、ＧＵＩ（Graphical User Interface）と呼ばれるユーザインタフェースを提供する。表示装置１０は、ここではスマートフォンであり、図１に示す構成以外にも、撮影するためのカメラや音声の入出力を行うためのマイクロホン及びスピーカ等、通常のスマートフォンと共通の構成を有している。表示装置１０は、スマートフォン以外の表示装置であってもよく、例えばタブレット型コンピュータや携帯電話機、携帯型ゲーム機、携帯型音楽プレーヤ、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）等の、ユーザインタフェースを提供する他の表示装置であってもよい。
The
図３は、表示装置１０が表示する画面の説明図である。
図３（ａ）に示す画面ＳＣは、ユーザに選択されるオブジェクトＩ１〜Ｉ３を含む画面である。オブジェクトＩ１〜Ｉ３は、例えばハイパーリンクが設定されたアイコン画像であり、ユーザが接触操作で指示することによって選択することのできるオブジェクトである。本実施形態のオブジェクトは、アプリケーションプログラムに対応したアイコン画像等の他のアイコン画像であってもよいし、各種のソフトボタンやハイパーリンクが選択された文字列等であってもよい。このように本実施形態のオブジェクトは、ユーザに選択された場合に、表示装置１０がこのオブジェクトに応じた特定の処理を行うものであればよい。表示装置１０は、オブジェクトを指示する接触操作がユーザにより行われると、このオブジェクトを選択オブジェクトとして特定し、選択オブジェクトに応じた特定の処理を実行する。
なお、表示部１４の表示面１４１に表示されるオブジェクトを含む画像（画面）はどのような画面であってもよい。また、表示画面に含まれるオブジェクトの数や位置、サイズ等も特定の態様に限定されない。
次に、表示装置１０におけるユーザインタフェースに関わる機能の構成を説明する。
FIG. 3 is an explanatory diagram of a screen displayed by the
A screen SC shown in FIG. 3A is a screen including objects I1 to I3 selected by the user. The objects I1 to I3 are icon images in which hyperlinks are set, for example, and are objects that can be selected by the user instructing by a touch operation. The object of this embodiment may be another icon image such as an icon image corresponding to an application program, or may be a character string or the like in which various soft buttons or hyperlinks are selected. Thus, the object of this embodiment should just be what the
The image (screen) including the object displayed on the
Next, a configuration of functions related to the user interface in the
図４は、表示装置１０の制御部１１の機能構成を示す機能ブロック図である。図４に示すように、表示装置１０の制御部１１は、操作検出部１１１と、表示制御部１１２と、第１設定部１１３と、第２設定部１１４と、処理実行部１１５とに相当する機能を実現する。
操作検出部１１１は、ユーザにより表示面１４１に対して行われた近接操作及び接触操作を検出する。操作検出部１１１は、近接センサ１２１から供給された位置情報に基づいて、ユーザの近接操作を検出する。操作検出部１１１は、接触センサ１２２から供給された位置情報に基づいて、ユーザの接触操作を検出する。
FIG. 4 is a functional block diagram illustrating a functional configuration of the
The
操作検出部１１１は、例えば、表示面１４１に表示されたオブジェクトの表示領域内の位置情報と、表示面１４１の水平方向におけるユーザの指の位置を示す位置情報とが一致した場合、この位置情報により特定される近接操作又は接触操作を、オブジェクトを指示する操作として検出する。また、操作検出部１１１は、表示面１４１に表示されたオブジェクトの表示領域内の位置情報と、表示面１４１の水平方向におけるユーザの指の位置を示す位置情報とが一致しなくとも、両位置情報が所定範囲内で一致した場合（例えば、オブジェクトの近傍に指が触れた場合）にも、オブジェクトを指示する操作として検出してもよい。この場合において、操作検出部１１１は、接触操作よりも近接操作の方を、オブジェクトを指示する操作として検出する範囲を広くしてもよい。
For example, when the position information in the display area of the object displayed on the
表示制御部１１２は、ユーザに選択される（つまりユーザが選択可能な）オブジェクトを含む画像を表示面１４１に表示するように、表示部１４を制御する。
The
第１設定部１１３は、表示面１４１に表示されたオブジェクトをユーザによる選択を受け付け可能な状態（以下、「受付可能状態」という。）に設定する。詳しくは後述するが、第１設定部１１３は、操作検出部１１１により検出された近接操作の移動の軌跡に応じたオブジェクトを受付可能状態（第１状態）に設定する。受付可能状態に設定されたオブジェクトは、いわば入力フォーカスが与えられた状態のオブジェクトである。
The
第２設定部１１４は、第１設定部１１３がオブジェクトを受付可能状態に設定した後は、操作検出部１１１により接触操作が検出された場合に、このオブジェクトを、ユーザによる選択を受け付けた状態（以下、「選択状態」という。）に設定する。ここにおいて、第２設定部１１４は、受付可能状態のオブジェクトの表示位置以外（例えば、表示面１４１上のオブジェクトが配置されていない領域）を指示する接触操作が検出された場合にも、このオブジェクトを選択状態（第２状態）に設定する。選択状態に設定されたオブジェクトは、いわば入力フォーカスが与えられた後に実際にユーザに選択されたオブジェクトである。
After the
処理実行部１１５は、第２設定部１１４により選択状態に設定されたオブジェクト（以下、「選択オブジェクト」という。）に応じた処理を実行する。処理実行部１１５は、例えば、選択オブジェクトに対応する機能をユーザに利用させるための特定の処理を実行する。
The
図５は、表示装置１０がユーザインタフェースを提供するときの処理の手順を示すフローチャートである。表示装置１０は、オブジェクトを含む画像を表示面１４１に表示させているときは、以下の処理ステップを繰り返し実行する。以下、表示装置１０が図３に示す画面ＳＣを表示させた場合の動作例を示しながら、表示装置１０の動作説明を行う。図６は、画面ＳＣが表示装置１０において表示されているときのユーザの操作及び表示装置１０の動作を説明する図である。
表示装置１０は、近接センサ１２１から供給された位置情報に基づいて、近接操作を検出する（ステップＳ１）。表示装置１０は、検出可能領域内の位置情報が近接センサ１２１から供給されると、近接操作を検出する。ここでは、表示装置１０が、図６（ａ）に示すように、指Ｆにより点Ｐ１を指示する近接操作を検出したものとする。
FIG. 5 is a flowchart showing a processing procedure when the
The
次に、表示装置１０は、指を移動させる近接操作を近接センサ１２１により検出したか否かを判断する（ステップＳ２）。表示装置１０は、近接操作を連続して複数回検出した場合に、この複数の検出位置（例えば、検出位置の分布）に基づいて、ユーザの指を移動させる近接操作を検出する。本実施形態では、簡単のために、最新の近接操作とその１つ前の近接操作とに基づいて、表示装置１０は指を移動させる近接操作を検出するものとする。
表示装置１０は、未だ１点を指示する近接操作しか検出していないので（ステップＳ２；ＮＯ）、ステップＳ１の処理に戻る。そして、表示装置１０は、ステップＳ１の処理で近接操作を検出する。ここでは、表示装置１０は、図６（ｂ）に示すように、指Ｆにより点Ｐ２を指示する近接操作を検出したものとする。
Next, the
Since the
次に、表示装置１０は、ステップＳ２の処理で指を移動させる近接操作を検出したか否かを判断する。ここでは、表示装置１０は、図６（ｂ）に示すように、矢印Ｂ１の方向に指Ｆを移動させる近接操作を検出したと判断する（ステップＳ２；ＹＥＳ）。
なお、表示装置１０は、２点の近接操作の検出位置に基づいて、指を移動させる近接操作の操作方向を特定する場合には、前回の検出位置から最新の検出位置を向く方向を操作方向とすればよい。また、表示装置１０は、３点以上の近接操作の検出位置に基づいて、近接操作の操作方向を特定する場合には、操作方向の時間変化に基づいて、例えば平均となる操作方向を特定するとよい。表示装置１０における、複数の近接操作の検出位置に基づいて操作方向を特定するための具体的な方法については特に問わない。
Next, the
In the case where the
次に、表示装置１０は、ユーザにより行われた近接操作の移動の軌跡に基づいて参照領域を特定する（ステップＳ３）。ここでは、表示装置１０は、近接操作の操作方向と最新の近接操作の検出位置とに応じて、図６（ｃ）に斜線を付して表した参照領域Ｔ１を特定する。具体的に、表示装置１０は、最新の近接操作の検出位置である点を中心とし、中心角がα［度］（αは定数）であり、半径がｒ（ｒは定数）の扇形の領域を、参照領域として特定する。参照領域は、最新の近接操作の検出位置から近接操作の操作方向に引いた直線（言い換えれば、２つの検出位置を結ぶ直線）によって、中心角が２等分されるように定められる。ここでは、表示装置１０は、点Ｐ２から近接操作が行われた操作方向（矢印Ｂ１の方向）に引いた直線Ｌ１によって中心角が２等分されるように、中心角がα［度］であり、半径がｒである参照領域Ｔ１を特定する。図６（ｃ）に示すように、参照領域Ｔ１は、オブジェクトＩ１，Ｉ３の一部を含み、且つ、弧Ａｒ１にオブジェクトＩ１が重なっている。弧Ａｒ１は、半径がｒの円の円周の一部である。
なお、図６（ｃ）や後で説明する図８（ｃ）には、参照領域を図示しているが、実際には、表示面１４１には参照領域を意味する画像が表示されないものとする。また、α，ｒは、それぞれ設計段階等で決められた値であってもよいし、ユーザにより設定された値であってもよい。
Next, the
In FIG. 6C and FIG. 8C described later, the reference area is illustrated, but in actuality, an image representing the reference area is not displayed on the
次に、表示装置１０は、ステップＳ３の処理で特定した参照領域の弧に重なるオブジェクトを受付可能状態に設定する（ステップＳ４）。ここにおいて、表示装置１０は、ステップＳ３の処理で特定した参照領域Ｔ１の弧Ａｒ１に重なっているオブジェクトＩ１を受付可能状態に設定する（つまり、オブジェクトＩ１に入力フォーカスを与えた状態とする）。一方で、表示装置１０は、オブジェクトＩ２，Ｉ３が参照領域Ｔ１の弧Ａｒ１と重なっていないので、オブジェクトＩ２，Ｉ３を受付可能状態に設定しない（つまり、オブジェクトＩ２、Ｉ３に入力フォーカスを与えた状態としない）。
なお、表示装置１０は、単に参照領域の弧に重なっているオブジェクトを受付可能状態に設定するのではなく、重心等の所定位置が参照領域の弧に重なっているオブジェクトを受付可能状態に設定してもよい。
Next, the
Note that the
次に、表示装置１０は、受付可能状態に設定したオブジェクトの表示態様を変更する（ステップＳ５）。ここでは、表示装置１０は、図７に示す画面ＳＣ１を表示させ、受付可能状態に設定したオブジェクトがどれであるかをユーザに明示するように、オブジェクトＩ１の表示態様を変更する。表示装置１０は、例えば、オブジェクトの色や明るさ等の所定の表示態様を変更して、受付可能状態に設定したオブジェクトをユーザが視覚的に把握できるようにする。これ以外にも、表示装置１０は、受付可能状態に設定したオブジェクトに所定の画像（マーク）を付してもよいし、オブジェクトのサイズを変更してもよい（例えば、拡大する）。
Next, the
次に、表示装置１０は、いずれかのオブジェクトを受付可能状態に設定した後に、接触操作を検出したか否かを判断する（ステップＳ６）。ここでは、表示装置１０は、いずれかのオブジェクトを受付可能状態に設定している期間において、表示面１４１上のオブジェクトが配置されていない位置、又は、このオブジェクトの表示位置を指示する接触操作を検出したか否かを判断する。
Next, the
表示装置１０は、オブジェクトを受付可能状態に設定した後に、接触操作を検出したと判断すると（ステップＳ６；ＹＥＳ）、そのオブジェクトを選択状態に設定して、選択オブジェクトを特定する（ステップＳ７）。例えば、表示装置１０は、図７に示すように、点Ｐ２を指示する接触操作を検出した場合にも、オブジェクトＩ１を選択オブジェクトとして特定する。このように、ユーザは、表示装置１０において受付可能状態に設定されたオブジェクトが、自身が接触操作で指示しようとしていたオブジェクトであることを確認すると、その場で接触操作を行うことで、このオブジェクトを接触操作で選択することができる。
なお、表示装置１０は、いずれかのオブジェクトを受付可能状態に設定した場合に、他のオブジェクトを指示する接触操作を検出したときには、このオブジェクトを優先させて選択状態に設定してもよいし、受付可能状態に設定したオブジェクトを優先させて選択状態に設定してもよい。
If the
The
次に、表示装置１０は、選択オブジェクトに応じた処理を実行する（ステップＳ８）。ここでは、表示装置１０は、オブジェクトＩ１に応じた処理として、オブジェクトＩ１に設定されたハイパーリンクに応じたアクセス処理を行う。ここにおいて、表示装置１０は、ステップＳ７の処理で選択オブジェクトを特定したか、又は、ステップＳ８の処理で選択オブジェクトに応じた処理を実行した場合にも、オブジェクトの受付可能状態の設定を解除する。
なお、表示装置１０がステップＳ８の処理で実行する選択オブジェクトに応じた処理はどのようなものでもよい。表示装置１０は、例えばＵＲＬ（Uniform Resource Locator）を用いてハイパーリンクが設定されたオブジェクトが選択された場合には、そのＵＲＬに対応したｗｅｂページを表示面１４１に表示させる。また、表示装置１０は、ユーザの入力データの送信を指示するためのオブジェクトが接触操作により選択された場合には、そのデータを通信部１３により送信する。
Next, the
In addition, the process according to the selection object which the
ところで、表示装置１０は、ステップＳ６の処理で接触操作を検出していないと判断すると（ステップＳ６；ＮＯ）、ステップＳ９の処理に進む。そして、表示装置１０は、静止している近接操作（つまり、ユーザが指を移動させない近接操作）を検出中であるか否かを判断する（ステップＳ９）。表示装置１０は、同じ位置を指示する近接操作を検出し続けた場合には、静止している近接操作を検出中であると判断する（ステップＳ９；ＹＥＳ）。この場合、制御部１１は、オブジェクトの受付可能状態の設定を維持したまま、ステップＳ６の処理に戻る。表示装置１０は、ステップＳ９の処理で静止している近接操作を検出していないと判断した場合には（ステップＳ９；ＮＯ）、ステップＳ１０の処理に進む。
By the way, if the
表示装置１０は、近接操作の検出位置が変化したか否か、つまり、近接操作の検出位置が移動したか否かを判断する（ステップＳ１０）。ステップＳ１０での指を移動させる近接操作の検出方法は基本的にはステップＳ２の処理と同じでよいが、表示装置１０は、近接操作を検出した位置が変化した場合には、指を移動させる近接操作を検出したと判断すればよい。表示装置１０は、近接操作を検出した位置が変化したと判断すると（ステップＳ１０；ＹＥＳ）、ステップＳ３の処理に戻る。そして、表示装置１０は、処理ステップＳ３〜Ｓ５を実行して、受付可能状態に設定するオブジェクトを更新する。一方で、表示装置１０は、近接操作を検出した位置が変化していない場合は（ステップＳ１０；ＮＯ）、近接操作を検出しなくなったことを意味するので、ステップＳ１の処理に戻る。ステップＳ１の処理に戻った場合には、表示装置１０は、オブジェクトの受付可能状態の設定を解除するとともに、ステップＳ５で変更した表示態様を元に戻す。
以上が、表示装置１０の動作の説明である。
The
The above is the description of the operation of the
前述した表示装置１０の動作説明では、表示装置１０が、参照領域の弧に重なって位置するオブジェクトを１つだけ表示させていたが、参照領域の弧に重なって２つ以上のオブジェクトを表示させる場合もあると考えられる。この場合、表示装置１０は、所定条件に従って、参照領域の弧に重なって２つ以上のオブジェクトから、いずれか１つのオブジェクトを受付可能状態に設定するとよい。この具体的条件は何でもよいが、例えば、表示装置１０は、近接操作の位置から最も近いオブジェクトだけを受付可能状態に設定してもよいし、弧に重なる面積が最も大きいオブジェクトだけを受付可能状態に設定してもよい。また、表示装置１０は、弧に重なる複数のオブジェクトを時系列的に切り替えながら、いずれか１つのオブジェクトを受付可能状態に設定してもよい。また、表示装置１０は、２以上のオブジェクトを受付可能状態に設定してもよい場合には（例えば、複数のオブジェクトを同時選択できる場合）、参照領域に重なる２以上のオブジェクトを受付可能状態に設定してよい。
In the above description of the operation of the
ところで、表示装置１０は、前述したように、ユーザにより行われた近接操作の移動の軌跡に応じて参照領域を特定する。よって、表示装置１０において最新の近接操作の検出位置が同じであっても、近接操作の操作方向が異なれば、受付可能状態に設定するオブジェクトも異なることがある。
図８（ａ）に示すように、ユーザが点Ｐ３を指示する近接操作を行った後、図８（ｂ）に示すように、矢印Ｂ２の方向に指Ｆを移動させて点Ｐ２を指示する近接操作を行った場合を考える。この点Ｐ２は、図６に示した点Ｐ２と同じ位置である。この場合、表示装置１０は、ステップＳ３の処理で、図８（ｃ）に示す参照領域Ｔ２を特定する。表示装置１０は、前述した手順により、最新の近接操作の検出位置である点Ｐ２を中心とし、中心角がα［度］であり、半径がｒの扇形の領域を、参照領域Ｔ２として特定する。参照領域Ｔ２は、点Ｐ２から近接操作が行われた方向（矢印Ｂ２の方向）に引いた直線Ｌ２によって中心角が２等分されるように定められる。よって、参照領域Ｔ２は、図８（ｃ）に示すように、オブジェクトＩ２の一部を内側に含むとともに、弧Ａｒ２がオブジェクトＩ２に重なっている。一方で、参照領域Ｔ２は、オブジェクトＩ１，Ｉ３を内側に含んでいない。
By the way, as described above, the
As shown in FIG. 8A, after the user performs a proximity operation that points to the point P3, as shown in FIG. 8B, the finger F is moved in the direction of the arrow B2 to point to the point P2. Consider a case where a proximity operation is performed. This point P2 is the same position as the point P2 shown in FIG. In this case, the
この場合、表示装置１０は、ステップＳ４の処理では、オブジェクトＩ２を受付可能状態に設定する。そして、表示装置１０は、ステップＳ５の処理では、図９に示す画面ＳＣ２を表示させ、オブジェクトＩ２の表示態様を変更する。そして、表示装置１０は、オブジェクトＩ２を受付可能状態に設定した後に、接触操作を検出した場合には、オブジェクトＩ２を選択オブジェクトとして特定する。
In this case, the
以上説明した実施形態のように、表示装置１０は、ユーザにより指を移動させる近接操作が行われると、近接操作の移動の軌跡に応じて参照領域として特定し、参照領域の弧に重なるオブジェクトを受付可能状態に設定する。ここにおいて、表示装置１０は、近接操作の検出位置を基準として、近接操作が行われた方向に位置するオブジェクトを受付可能状態に設定するので、ユーザがこれから接触操作で指示しようとしているオブジェクトを、近接操作の方法を参照して精度良く予測することができる。
As in the embodiment described above, when the proximity operation for moving the finger is performed by the user, the
また、表示装置１０は、現在の近接操作の位置から扇形領域の半径に相当する距離だけ離れた位置にあるオブジェクト（つまり、参照領域の弧に重なるオブジェクト）を受付可能状態に設定するので、ユーザの指が実際にオブジェクトに重なる前に、このオブジェクトを受付可能状態に設定することができる。
また、表示装置１０は、指の位置から離れるにつれて広くなる参照領域を特定するので、仮に、ユーザの指が移動する方向に変化した場合であっても、ユーザが操作しようとするオブジェクトを精度良く予測することができる。
以上の理由により、表示装置１０によれば、ユーザの指とオブジェクトとが実際に重なる前に、このオブジェクトを選択するための接触操作を行うことを可能として、ユーザの操作性を高めることができる。
In addition, the
In addition, since the
For the above reasons, according to the
［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
上述した実施形態において、表示装置１０は、受付可能状態に設定したオブジェクトの表示態様を変更して、受付可能状態に設定したオブジェクトをユーザが視覚的に把握できるようにしていた。これに代えて、表示装置１０は、受付可能状態に設定したオブジェクト以外のオブジェクトの色や明るさ、サイズ等の表示態様を変更して、受付可能状態に設定したオブジェクトをユーザが把握できるようにしてもよい。また、表示装置１０は、受付可能状態に設定したオブジェクト、及び、それ以外のオブジェクトの双方の表示態様を変更させてもよい。
また、表示装置１０は、ステップＳ３の処理で特定した参照領域を意味する画像を表示面１４１に表示するように、表示部１４を制御してもよい。
[Modification]
The present invention can be implemented in a form different from the above-described embodiment. The present invention can also be implemented in the following forms, for example. Further, the following modifications may be combined as appropriate.
(Modification 1)
In the embodiment described above, the
Further, the
（変形例２）
上述した実施形態では、表示装置１０は、参照領域の弧に重なるオブジェクトを受付可能状態に設定していたが、参照領域に基づいて、これ以外のオブジェクトを受付可能状態に設定してもよい。図６の場合と同じように近接操作を検出した場合、表示装置１０は、例えば図１０に示すように、参照領域の内側に全体が含まれるオブジェクト（図１０ではオブジェクトＩ４）を受付可能状態に設定してもよい。
このようにすれば、表示装置１０は、サイズが比較的小さく、ユーザの指等によって全体が視認しにくくなりやすいオブジェクトだけを対象として、指とオブジェクトとが重なる前にこれを受付可能状態に設定することができる。
(Modification 2)
In the embodiment described above, the
In this way, the
（変形例３）
表示装置１０は、サイズが閾値未満であるオブジェクトのみを対象として、指とオブジェクトとが重なる前にこれを受付可能状態に設定してもよい。ここでは、表示装置１０は、オブジェクトのサイズを面積によって特定してもよいし、別の方法でオブジェクトのサイズを特定してもよい。例えば、表示装置１０は、オブジェクトが正方形又は長方形であれば一辺の長さ（例えば、最大の長さ）や、対角線の長さ等の、所定方向の長さによってオブジェクトのサイズを特定してもよい。また、表示装置１０は、オブジェクトが円形であれば径方向の長さ（例えば、最大の長さ）でオブジェクトのサイズを特定してもよい。これ以外の形状であっても、表示装置１０は、面積でなく任意の方向の長さによってサイズを特定してもよい。また、表示装置１０は、面積と長さとによってオブジェクトのサイズを特定してもよい。
(Modification 3)
The
（変形例４）
上述した実施形態において、表示装置１０は、参照領域の半径をｒで一定としていたが、このｒを変化させる構成を有していてもよい。
表示装置１０は、例えば、近接操作が行われた速度が大きいほど、参照領域の半径を大きくしてもよい。図１１（ａ），（ｂ）に示すように、近接操作が行われた速度が大きいほど、近接操作の２つの検出位置間の距離が大きくなる。よって、表示装置１０は、近接操作の複数の検出位置同士の距離に基づいて、近接操作の速度を特定することができる。そして、表示装置１０は、図１１（ａ）に示すように、近接操作の速度が比較的大きい場合には、半径をｒ１という具合に比較的大きい半径として、サイズの大きい参照領域Ｔ３１を特定する。この場合、表示装置１０は、参照領域Ｔ３１の弧Ａｒ３１に重なるオブジェクトを受付可能状態に設定する。一方で、表示装置１０は、図１１（ｂ）に示すように、近接操作の速度が比較的小さい場合には、半径をｒ２（＜ｒ１）という具合に小さい半径として、サイズの大きい参照領域Ｔ３２を特定する。この場合、表示装置１０は、参照領域Ｔ３２の弧Ａｒ３２に重なるオブジェクトを受付可能状態に設定する。
(Modification 4)
In the embodiment described above, the
For example, the
ユーザの近接操作の速度が大きいということは、ユーザが接触操作で指示しようとするオブジェクトまでの距離が比較的大きいと推測できる。反対に、ユーザの近接操作の速度が小さいということは、ユーザが接触操作で指示しようとするオブジェクトまでの距離が比較的小さいと推測できる。このような推測の下、表示装置１０は、ユーザの近接操作の速度が大きいほど半径を大きくすれば、ユーザが選択しようとするオブジェクトを早期に予測して、このオブジェクトを受付可能状態に設定することができる。
また、表示装置１０は、近接操作の速度を３段階以上で特定してもよく、この場合も、速度が大きいほど参照領域の半径を大きくするとよい。
If the speed of the proximity operation of the user is high, it can be estimated that the distance to the object that the user intends to instruct by the contact operation is relatively large. On the contrary, if the speed of the proximity operation of the user is low, it can be estimated that the distance to the object that the user intends to instruct by the touch operation is relatively small. Under such assumption, if the radius is increased as the speed of the user's proximity operation increases, the
Further, the
（変形例５）
上述した実施形態において、表示装置１０は、扇形の参照領域を特定していたが、他の形状の参照領域を特定してもよい。表示装置１０は、図１２に示すように、三角形の参照領域を特定してもよい。図６の場合と同じように近接操作を検出した場合、表示装置１０は、点Ｐ２を頂点とした参照領域Ｔ４を特定する。参照領域Ｔ４は，点Ｐ２から近接操作の操作方向に延びる直線Ｌ１が、点Ｐ２を頂点とした角を２等分するように定められる。また、参照領域Ｔ４は、点Ｐ２に一致する頂点の角がα、この角を挟んで同じ長さの２辺がある三角形である。表示装置１０は、参照領域Ｔ４において点Ｐ２に接していない辺ｓに重なるオブジェクトを受付可能状態に設定する。
(Modification 5)
In the embodiment described above, the
表示装置１０は、これ以外の形状の参照領域を特定してもよいが、最新の近接操作の検出位置から離れるにつれて広くなる参照領域を特定すれば、仮にユーザの指が移動する方向が変化した場合であっても、ユーザが操作しようとするオブジェクトを精度良く予測することができる。表示装置１０は、少なくとも、最新の近接操作の検出位置から離れるにつれて広くなる参照領域を特定すれば、ユーザの指とオブジェクトが重なる前にこのオブジェクトの接触操作による選択を可能にして、ユーザの操作性を高めることができる。ただし、表示装置１０は、最新の近接操作の検出位置からの距離に関わらず幅が一定の参照領域を特定してもよい。
The
また、表示装置１０は、ユーザの近接操作の位置を基準として参照領域を特定しなくてもよく、例えば、その位置から所定距離範囲内にある別の点を基準として参照領域を特定してもよい。また、表示装置１０は、参照領域を特定することなく、近接操作の検出位置と、近接操作の操作方向とに応じた演算により、受付可能状態に設定するオブジェクトを決定してもよい。
また、表示装置１０は参照領域の中心角（α［度］）の大きさをどのように設定してもよい。また、表示装置１０は最新の近接操作の検出位置から近接操作の操作方向に引いた直線によって中心角が２等分されない参照領域を特定してもよい。
Further, the
Further, the
（変形例６）
上述した実施形態において、表示装置１０は、近接操作で指示されたオブジェクト受付可能状態に設定した後に、接触操作を検出した場合に、このオブジェクトを選択オブジェクトとして特定していた。この接触操作に代えて、表示装置１０は、オブジェクトを受付可能状態に設定するための近接操作よりも更に指をオブジェクトに近接させた、非接触の操作（第２操作）を検出した場合に、このオブジェクトを選択状態に設定して選択オブジェクトとして特定してもよい。この場合、表示装置１０は、例えば、近接センサ１２１の検出可能領域のうち、表示面１４１からその法線方向に第１距離までの操作に応じて選択オブジェクトを特定すればよい。このように本発明の表示装置は、表示面１４１に指示体が接触した状態を検出する接触センサを備えていなくてもよい。
(Modification 6)
In the embodiment described above, the
（変形例７）
また、本発明のユーザインタフェース装置は、少なくとも、オブジェクトを表示してから選択オブジェクトを特定するまでの処理を行うものであればよく、選択オブジェクトに応じた処理を行う処理装置とは独立して構成された装置であってもよい。
(Modification 7)
In addition, the user interface device of the present invention only needs to perform at least processing from displaying an object to specifying a selected object, and is configured independently of a processing device that performs processing according to the selected object. It may be a device.
（変形例８）
上述した実施形態において、表示装置１０は、受付可能状態に設定したオブジェクトを、入力フォーカスを与えたオブジェクトのように扱っていた。カーソル（ポインタ）を用いてオブジェクトを選択するユーザインタフェースを適用した場合には、表示装置１０は、カーソル（ポインタ）の位置を、強制的に受付可能状態に設定したオブジェクトを指示する位置に変更すればよい。また、表示装置１０は、受付可能状態に設定したオブジェクトの位置を、ユーザの指の位置（例えば、最新の近接操作の検出位置）に変更して表示させてもよい。
(Modification 8)
In the above-described embodiment, the
（変形例９）
上述した実施形態において、表示装置１０の制御部１１が実現する各機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の協働によって実現されうる。
また、本発明のユーザインタフェース装置は、コンピュータや制御部１１が実行するプログラムやユーザインタフェース方法として把握することも可能である。
(Modification 9)
In the above-described embodiment, each function realized by the
Further, the user interface device of the present invention can be grasped as a program executed by the computer or the
１０…表示装置、１１…制御部、１１１…操作検出部、１１２…表示制御部、１１３…第１設定部、１１４…第２設定部、１１５…処理実行部、１２…操作部、１２１…近接センサ、１２２…接触センサ、１３…通信部、１４…表示部、１４１…表示面、１５…記憶部
DESCRIPTION OF
Claims (7)
指示体を前記表示面に非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出部と、
ユーザに選択されるオブジェクトを含む画像を前記表示面に表示するように、前記表示部を制御する表示制御部と、
前記操作検出部により検出された前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定部と、
前記第１設定部がオブジェクトを前記第１状態に設定した後は、前記操作検出部により当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定部と
を備えることを特徴とするユーザインタフェース装置。 A display unit for displaying an image on the display surface;
A first operation performed by bringing the indicator close to the display surface in a non-contact manner, and an operation detection unit for detecting a second operation performed by bringing the indicator closer to the display surface rather than the first operation;
A display control unit for controlling the display unit so as to display an image including an object selected by a user on the display surface;
A first setting unit that sets an object corresponding to the movement locus of the first operation detected by the operation detection unit to a first state in which selection by a user can be accepted;
After the first setting unit sets the object to the first state, even when the operation detection unit detects the second operation indicating a position other than the display position of the object, the object is set by the user. A user interface device comprising: a second setting unit configured to set a second state in which selection has been accepted.
前記第１操作の検出位置から前記第１操作の操作方向に位置するオブジェクトを前記第１状態に設定する
ことを特徴とする請求項１に記載のユーザインタフェース装置。 The first setting unit includes:
The user interface device according to claim 1, wherein an object positioned in the operation direction of the first operation from the detection position of the first operation is set to the first state.
前記検出位置から前記操作方向に離れるにつれて広くなる参照領域を特定し、特定した参照領域に含まれるオブジェクトを前記第１状態に設定する
ことを特徴とする請求項２に記載のユーザインタフェース装置。 The first setting unit includes:
3. The user interface device according to claim 2, wherein a reference area that becomes wider from the detection position in the operation direction is specified, and an object included in the specified reference area is set to the first state.
前記検出位置を中心として前記操作方向に所定角度で広がる扇形の参照領域を特定し、特定した参照領域の弧に重なるオブジェクトを前記第１状態に設定する
ことを特徴とする請求項３に記載のユーザインタフェース装置。 The first setting unit includes:
The fan-shaped reference area that spreads at a predetermined angle in the operation direction with the detection position as a center is specified, and an object that overlaps an arc of the specified reference area is set in the first state. User interface device.
前記第１設定部により前記第１状態に設定されたオブジェクトの表示態様を変更する
ことを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェース装置。 The display control unit
The user interface device according to any one of claims 1 to 4, wherein a display mode of the object set in the first state by the first setting unit is changed.
ユーザに選択されるオブジェクトを含む画像を前記表示面に表示する表示ステップと、
前記操作検出ステップで検出した前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定ステップと、
前記第１設定ステップでオブジェクトを前記第１状態に設定した後は、前記操作検出ステップで当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定ステップと
を有するユーザインタフェース方法。 Operation for detecting a first operation performed by bringing the indicator close to the display surface on which an image is displayed in a non-contact manner and a second operation performed by bringing the indicator closer to the display surface rather than the first operation A detection step;
A display step of displaying an image including an object selected by the user on the display surface;
A first setting step of setting an object according to the movement trajectory of the first operation detected in the operation detection step to a first state in which selection by a user can be accepted;
After the object is set to the first state in the first setting step, even when the second operation that indicates a position other than the display position of the object is detected in the operation detection step, the object is set by the user. A user interface method comprising: a second setting step of setting a second state in which selection has been accepted.
前記表示面に指示体を非接触により近接させて行う第１操作、及び、前記第１操作よりも前記指示体を前記表示面に近接させて行う第２操作をそれぞれ検出する操作検出ステップと、
ユーザに選択されるオブジェクトを含む画像を前記表示面に表示するように、前記表示装置を制御する表示制御ステップと、
前記操作検出ステップで検出した前記第１操作の移動の軌跡に応じたオブジェクトを、ユーザによる選択を受け付け可能な第１状態に設定する第１設定ステップと、
前記第１設定ステップにおいてオブジェクトを前記第１状態に設定した後は、前記操作検出ステップで当該オブジェクトの表示位置以外を指示する前記第２操作が検出された場合にも、当該オブジェクトを、ユーザによる選択を受け付けた第２状態に設定する第２設定ステップ第２設定ステップと
を実行させるためのプログラム。 In the computer of the display device that displays the image on the display surface,
An operation detection step of detecting a first operation performed by bringing the indicator close to the display surface in a non-contact manner, and a second operation performed by bringing the indicator closer to the display surface than the first operation;
A display control step of controlling the display device so as to display an image including an object selected by a user on the display surface;
A first setting step of setting an object according to the movement trajectory of the first operation detected in the operation detection step to a first state in which selection by a user can be accepted;
After the object is set to the first state in the first setting step, even if the second operation that indicates a position other than the display position of the object is detected in the operation detection step, the object is set by the user. A program for executing a second setting step and a second setting step for setting the second state in which selection has been accepted.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012214399A JP2014071461A (en) | 2012-09-27 | 2012-09-27 | User interface device, user interface method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012214399A JP2014071461A (en) | 2012-09-27 | 2012-09-27 | User interface device, user interface method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014071461A true JP2014071461A (en) | 2014-04-21 |
Family
ID=50746653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012214399A Pending JP2014071461A (en) | 2012-09-27 | 2012-09-27 | User interface device, user interface method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014071461A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015215840A (en) * | 2014-05-13 | 2015-12-03 | シャープ株式会社 | Information processing apparatus and input method |
| JP2015230693A (en) * | 2014-06-06 | 2015-12-21 | キヤノン株式会社 | Information processing apparatus, input method, computer program, and recording medium |
| JP2016170613A (en) * | 2015-03-12 | 2016-09-23 | コニカミノルタ株式会社 | Conference support device, conference support system, conference support program and conference support method |
| CN106471443A (en) * | 2014-07-04 | 2017-03-01 | 捷豹路虎有限公司 | For determining equipment and the method for intended target |
| JP2018081430A (en) * | 2016-11-15 | 2018-05-24 | 富士ゼロックス株式会社 | Image processing apparatus, image processing method, image processing system, and program |
-
2012
- 2012-09-27 JP JP2012214399A patent/JP2014071461A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015215840A (en) * | 2014-05-13 | 2015-12-03 | シャープ株式会社 | Information processing apparatus and input method |
| JP2015230693A (en) * | 2014-06-06 | 2015-12-21 | キヤノン株式会社 | Information processing apparatus, input method, computer program, and recording medium |
| CN106471443A (en) * | 2014-07-04 | 2017-03-01 | 捷豹路虎有限公司 | For determining equipment and the method for intended target |
| JP2017525074A (en) * | 2014-07-04 | 2017-08-31 | ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ | Apparatus and method for determining a desired target |
| JP2016170613A (en) * | 2015-03-12 | 2016-09-23 | コニカミノルタ株式会社 | Conference support device, conference support system, conference support program and conference support method |
| JP2018081430A (en) * | 2016-11-15 | 2018-05-24 | 富士ゼロックス株式会社 | Image processing apparatus, image processing method, image processing system, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10216407B2 (en) | Display control apparatus, display control method and display control program | |
| JP5798532B2 (en) | User interface device, user interface method and program | |
| US8780134B2 (en) | Access to control of multiple editing effects | |
| JPWO2015040861A1 (en) | Electronic device, control method and program for electronic device | |
| KR20110041915A (en) | Data display method and terminal performing the same | |
| EP2921947A1 (en) | Device and method for controlling a display panel | |
| CN103019577B (en) | Method and device, control method and the control device of selecting object | |
| US20180121076A1 (en) | Drawing processing method, drawing program, and drawing device | |
| US9280235B2 (en) | Portable electronic device | |
| KR20150007048A (en) | Method for displaying in electronic device | |
| JP2013143144A (en) | Display device and method for selecting item thereof | |
| JP2013143129A (en) | Screen enlargement device and method in electronic apparatus having touch screen | |
| JP2014071461A (en) | User interface device, user interface method and program | |
| US20140195935A1 (en) | Information processing device, information processing method, and information processing program | |
| KR102095039B1 (en) | Apparatus and method for receiving touch input in an apparatus providing a touch interface | |
| JP5782420B2 (en) | User interface device, user interface method and program | |
| JP6015183B2 (en) | Information processing apparatus and program | |
| JP2013137739A (en) | Electronic apparatus, operation control method and program | |
| JP6411067B2 (en) | Information processing apparatus and input method | |
| JP5972692B2 (en) | User interface device, user interface method and program | |
| CN104111771A (en) | Information Processing Apparatus, Information Processing Method, Program, And Information Processing System | |
| JP2014081733A (en) | Portable electronic device | |
| JP5769841B2 (en) | Portable game device with touch panel display | |
| JP6722239B2 (en) | Information processing device, input method, and program | |
| JP2015158759A (en) | Function selection execution device, function selection execution method, and function selection execution program |