JP2019149032A - Symbol selection device and program for symbol selection device - Google Patents
Symbol selection device and program for symbol selection device Download PDFInfo
- Publication number
- JP2019149032A JP2019149032A JP2018033733A JP2018033733A JP2019149032A JP 2019149032 A JP2019149032 A JP 2019149032A JP 2018033733 A JP2018033733 A JP 2018033733A JP 2018033733 A JP2018033733 A JP 2018033733A JP 2019149032 A JP2019149032 A JP 2019149032A
- Authority
- JP
- Japan
- Prior art keywords
- symbol
- screen
- symbols
- displayed
- display window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000010586 diagram Methods 0.000 abstract description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】選択した文字等のシンボルを簡単に確認することができ、誤選択を低減することができるシンボル選択装置を提供する。【解決手段】画面上に表示された文字、記号等の複数のシンボルをユーザの視線により選択できるようにしたシンボル選択装置であって、前記画面に向けられた前記ユーザの視線を検出する視線検出手段と、前記視線検出手段の検出結果に基づいて、画面上に表示されている複数のシンボルのうちから1つのシンボルを選択するシンボル選択部と、前記シンボル選択部によって選択されたシンボルを選択された順に並べて表示するシンボル列表示ウィンドウを、前記画面上に表示する確定シンボル表示制御部とを備え、前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウの表示位置を、前記シンボル選択部によって選択されている1つのシンボルと隣り合う位置に設定することを特徴とするシンボル選択装置。【選択図】図3PROBLEM TO BE SOLVED: To provide a symbol selection device capable of easily confirming a symbol such as a selected character and reducing erroneous selection. SOLUTION: This is a symbol selection device capable of selecting a plurality of symbols such as characters and symbols displayed on a screen by a user's line of sight, and is a line-of-sight detection device for detecting the user's line of sight toward the screen. Based on the means and the detection result of the line-of-sight detection means, a symbol selection unit that selects one symbol from a plurality of symbols displayed on the screen and a symbol selected by the symbol selection unit are selected. The symbol string display windows that are displayed side by side in the same order are provided with a confirmed symbol display control unit that is displayed on the screen, and the confirmed symbol display control unit selects the display position of the symbol string display window by the symbol selection unit. A symbol selection device characterized in that it is set at a position adjacent to one symbol. [Selection diagram] Fig. 3
Description
本発明は、画面上に表示された文字、記号等のシンボル(以下、単に「シンボル」と記載することがある)をユーザの視線により選択できるようにしたシンボル選択装置及び当該シンボル選択装置用のプログラムに関する。 The present invention relates to a symbol selection device capable of selecting a symbol such as a character or a symbol displayed on a screen (hereinafter, simply referred to as “symbol”) by a user's line of sight, and the symbol selection device for the symbol selection device. Regarding the program.
近年、重度の肢体麻痺等により眼球以外を動かすことが困難な患者の意思伝達を支援するツールとして、画面上に表示されたシンボルを視線により選択できるようにしたシンボル選択装置が開発されている。 In recent years, a symbol selection device has been developed that can select a symbol displayed on a screen with a line of sight as a tool for assisting communication of a patient who is difficult to move other than the eyeball due to severe limb paralysis or the like.
このようなシンボル選択装置として、例えば特許文献1には、カメラを用いてユーザの視線を検出し、検出された視線に応じて画面上のカーソルを移動させて、画面上に表示されたシンボルを選択できるようにしたものが開示されている。このシンボル選択装置では、検出された視線に基づいて画面上におけるユーザの視点位置が推定され、この推定された視点位置にカーソルが表示される。ユーザは、視線を動かすことで画面上のカーソルをシンボルまで移動させ、例えば瞬き等をすることで、そのシンボルを選択することができる。そして選択されたシンボルは、画面上のシンボル列表示ウィンドウに表示され、これによりユーザは自分の意思を他人に伝えることができるようになっている。 As such a symbol selection device, for example, in Patent Document 1, a user's line of sight is detected using a camera, a cursor on the screen is moved in accordance with the detected line of sight, and a symbol displayed on the screen is displayed. What has been made available for selection is disclosed. In this symbol selection device, the viewpoint position of the user on the screen is estimated based on the detected line of sight, and a cursor is displayed at the estimated viewpoint position. The user can select the symbol by moving the line of sight to move the cursor on the screen to the symbol, for example, by blinking. The selected symbol is displayed in a symbol row display window on the screen, so that the user can communicate his intention to others.
しかしながら、上述したようなカメラ等を用いてユーザの視線を検出する種のシンボル選択装置では、シンボル列表示ウィンドウが、画面の端等、選択する複数のシンボルとは離れた位置に固定して表示されている。そのためユーザは、選択したシンボルが誤りなく選択されているかを確認するためには、画面上の複数のシンボルとシンボル列表示ウィンドウとの間で視線を何度も往復させなければならない。すると、シンボル列を確認するために視線を移動している間に、画面上に表示されたシンボルを誤って選択してしまうことがある。 However, in the symbol selection device of the kind that detects the user's line of sight using the camera or the like as described above, the symbol row display window is fixedly displayed at a position apart from a plurality of symbols to be selected, such as an edge of the screen. Has been. Therefore, in order to confirm whether the selected symbol is selected without error, the user must reciprocate the line of sight between the plurality of symbols on the screen and the symbol row display window. As a result, the symbol displayed on the screen may be selected by mistake while moving the line of sight to confirm the symbol string.
本発明はこのような問題に鑑みてなされたものであり、選択された文字や記号等のシンボル列を簡単に確認することができ、シンボルの誤選択を低減することができるシンボル選択装置を提供することを目的とする。 The present invention has been made in view of such problems, and provides a symbol selection device that can easily confirm a symbol string such as a selected character or symbol and reduce erroneous symbol selection. The purpose is to do.
すなわち本発明に係るシンボル選択装置は、画面上に表示された文字、記号等の複数のシンボルをユーザの視線により選択できるようにしたものであって、前記画面に向けられた前記ユーザの視線を検出する視線検出手段と、前記視線検出手段の検出結果に基づいて、画面上に表示されている複数のシンボルのうちから1つのシンボルを選択するシンボル選択部と、前記シンボル選択部によって選択されたシンボルを選択された順に並べて表示するシンボル列表示ウィンドウを、前記画面上に表示する確定シンボル表示制御部とを備え、前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウの表示位置を、前記シンボル選択部によって選択されている1つのシンボルと隣り合う位置に設定することを特徴とする。 That is, the symbol selection device according to the present invention is configured so that a plurality of symbols such as characters and symbols displayed on the screen can be selected by the user's line of sight, and the user's line of sight directed to the screen is displayed. A line-of-sight detection means to detect, a symbol selection section for selecting one symbol from a plurality of symbols displayed on the screen based on a detection result of the line-of-sight detection means, and a selection by the symbol selection section A symbol symbol display window for displaying symbols arranged in the selected order on the screen; and a symbol symbol display control unit configured to display the symbol symbol display window at a display position of the symbol symbol display window. The position is set adjacent to one symbol selected by the selection unit.
このようなものであれば、シンボル選択部によって選択されている1つのシンボルと隣り合う位置にシンボル列表示ウィンドウが表示されるので、ユーザは、選択したいシンボルを見て選択した後、視線を大きく移動させることなく、シンボル列表示ウィンドウに表示されているシンボル列を確認することができる。すなわち、ユーザは選択されたシンボル列を確認するために、画面上に表示されている他の複数のシンボルの上を通るように視線を移動させる必要がないので、シンボルの誤選択を低減することができる。また、選択されているシンボルとシンボル列表示ウィンドウとの間で視線を大きく移動させる必要がないので、ユーザは選択されたシンボル列を簡単に確認することができる。 In such a case, the symbol row display window is displayed at a position adjacent to one symbol selected by the symbol selection unit, so that the user increases the line of sight after selecting and viewing the desired symbol. The symbol string displayed in the symbol string display window can be confirmed without being moved. That is, since the user does not have to move his / her line of sight over a plurality of other symbols displayed on the screen in order to confirm the selected symbol row, it is possible to reduce erroneous symbol selection. Can do. Further, since it is not necessary to move the line of sight largely between the selected symbol and the symbol column display window, the user can easily confirm the selected symbol column.
前記シンボル選択装置は、前記視線検出手段の検出結果に基づいて、前記画面上における前記ユーザの視点位置を推定する視点位置推定部と、前記視点位置推定部により推定された視点位置である推定視点位置に基づいて、画面上に表示されている複数のシンボルのうち所望の1つのシンボルを、前記画面上に予め設定された選択位置に移動させる選択シンボル表示制御部と、をさらに備え、前記選択位置が前記画面上の所定位置に固定されており、前記シンボル選択部が前記選択位置にある1つのシンボルを選択するものであることが好ましい。
このようなものであれば、選択位置が画面上の所定位置に固定されているので、シンボル選択部により選択されるシンボルは常に画面上の同じ位置(すなわち選択位置)で選択される。これにより、シンボル列表示ウィンドウも、常に画面上の同じ位置(すなわち選択位置近傍)に表示されるので、ユーザはシンボル列表示ウィンドウ内のシンボル列を簡単に確認することができる。
The symbol selection device includes: a viewpoint position estimation unit that estimates the viewpoint position of the user on the screen based on a detection result of the line-of-sight detection unit; and an estimated viewpoint that is the viewpoint position estimated by the viewpoint position estimation unit A selection symbol display control unit that moves a desired symbol of a plurality of symbols displayed on the screen to a selection position set in advance on the screen based on the position; It is preferable that the position is fixed at a predetermined position on the screen, and the symbol selection unit selects one symbol at the selection position.
In such a case, since the selection position is fixed at a predetermined position on the screen, the symbol selected by the symbol selection unit is always selected at the same position (that is, the selection position) on the screen. As a result, the symbol column display window is always displayed at the same position on the screen (that is, in the vicinity of the selected position), so that the user can easily check the symbol column in the symbol column display window.
前記確定シンボル表示制御部は、前記シンボル選択部によって選択されているシンボルに隣り合う複数のシンボルのそれぞれの、少なくとも一部が見えるように前記シンボル列表示ウィンドウを表示することが好ましい。
このようなものであれば、シンボル列表示ウィンドウが表示されている間も、ユーザは画面上に表示されている全てのシンボルを確認することができるので、次に選択するシンボルをより簡単に探すことができる。
Preferably, the confirmed symbol display control unit displays the symbol row display window so that at least a part of each of a plurality of symbols adjacent to the symbol selected by the symbol selection unit can be seen.
If this is the case, the user can check all symbols displayed on the screen while the symbol row display window is displayed, so it is easier to find the next symbol to select. be able to.
前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウを透過表示することが好ましい。
このようなものであれば、シンボル列表示ウィンドウと重なっている画面上のシンボルを、透かして確認することができるので、ユーザは画面上に表示されている全てのシンボルを確認することができる。これにより、次に選択するシンボルをより簡単に探すことができる。
It is preferable that the fixed symbol display control unit transparently displays the symbol row display window.
In such a case, since the symbols on the screen overlapping the symbol row display window can be checked through the watermark, the user can check all the symbols displayed on the screen. Thereby, it is possible to more easily find a symbol to be selected next.
前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウ内においてシンボル列を横書きで表示し、かつ前記シンボル選択部によって選択されている1つのシンボルの中心の横方向の座標位置を中央とする中央揃えで表示することが好ましい。
シンボルを見る際には、ユーザはシンボルの中心辺りを見ることが多い。このようなものであれば、ユーザが実際に見ているシンボルの中心の少し上(又は少し下)に、選択されたシンボル列が中央揃えで表示されるので、ユーザは、実際に見ているシンボルから視線を少し上(又は少し下)にずらすだけで、シンボル列の全体を確認することができる。すなわち、シンボル列を確認するための視線の移動距離をより短くできるので、シンボルの誤選択をより低減できる。
The fixed symbol display control unit displays the symbol row in the symbol row display window in horizontal writing and is centered with the horizontal coordinate position of the center of one symbol selected by the symbol selection unit as the center. Is preferably displayed.
When viewing a symbol, the user often looks around the center of the symbol. In such a case, since the selected symbol row is displayed in a center alignment slightly above (or slightly below) the center of the symbol that the user actually sees, the user actually sees it. The entire symbol string can be confirmed by shifting the line of sight slightly upward (or slightly downward) from the symbol. That is, since the movement distance of the line of sight for confirming the symbol row can be further shortened, erroneous symbol selection can be further reduced.
前記確定シンボル表示制御部が、選択された複数のシンボルを前記シンボル列表示ウィンドウ内に表示するとともに、又は選択された複数のシンボルを前記シンボル列表示ウィンドウ内に表示するのに代えて、該選択された複数のシンボルの組み合わせに対応するメッセージを前記シンボル列表示ウィンドウ内に表示することが好ましい。
このようなものであれば、文字等のシンボルを一文字ずつ選択してメッセージを作成する場合に比べて、早くメッセージを作成することができる。
The confirmed symbol display control unit displays the selected symbols in the symbol column display window, or instead of displaying the selected symbols in the symbol column display window, the selection symbol display control unit displays the selected symbols in the symbol column display window. It is preferable that a message corresponding to the combination of the plurality of symbols displayed is displayed in the symbol row display window.
In such a case, it is possible to create a message earlier than when creating a message by selecting symbols such as characters one by one.
前記選択シンボル表示制御部が、前記シンボル選択部が1つのシンボルを選択すると、当該選択された1つのシンボルに関連付けられた1つ又は複数のシンボルを前記画面上に新たに表示することが好ましい。
このようなものであれば、1つのシンボルを選択すると、当該シンボルに関連付けられたシンボルが画面上に表示されるので、ユーザは、次に選択したいシンボルを簡単に見つけることができる。
When the symbol selection unit selects one symbol, the selected symbol display control unit preferably newly displays one or a plurality of symbols associated with the selected symbol on the screen.
In such a case, when one symbol is selected, a symbol associated with the symbol is displayed on the screen, so that the user can easily find the symbol to be selected next.
本発明に係るシンボル選択装置用のプログラムは、画面に向けられたユーザの視線を検出する視線検出手段を備え、前記画面上に表示された文字、記号等の複数のシンボルをユーザの視線により選択できるようにしたシンボル選択装置に適用されるものであって、前記視線検出手段の検出結果に基づいて、画面上に表示されている複数のシンボルのうちから1つのシンボルを選択するシンボル選択部としての機能と、前記シンボル選択部によって選択されたシンボルを選択された順に並べて表示するシンボル列表示ウィンドウを前記画面上に表示するとともに、前記シンボル列表示ウィンドウの表示位置を前記シンボル選択部によって選択されている1つのシンボルと隣り合う位置に設定する確定シンボル表示制御部としての機能と、をコンピュータに発揮させることを特徴とする。
このようなシンボル選択装置用プログラムであれば、上述したシンボル選択装置により得られる作用効果と同様の効果を奏し得る。
A program for a symbol selection device according to the present invention includes line-of-sight detection means for detecting a line of sight of a user directed to a screen, and selects a plurality of symbols such as characters and symbols displayed on the screen based on the line of sight of the user. As a symbol selection unit that is applied to a symbol selection device configured to be capable of selecting one symbol from a plurality of symbols displayed on a screen based on a detection result of the line-of-sight detection unit And a symbol column display window that displays the symbols selected by the symbol selection unit in order of selection are displayed on the screen, and the display position of the symbol column display window is selected by the symbol selection unit. And a function as a confirmed symbol display control unit that is set at a position adjacent to one symbol Characterized in that to exert the Yuta.
Such a program for a symbol selection device can achieve the same effects as the operational effects obtained by the symbol selection device described above.
このようにした本発明によれば、選択された文字や記号等のシンボル列を簡単に確認することができ、誤選択を低減することができるシンボル選択装置を提供することができる。 According to the present invention as described above, it is possible to provide a symbol selection device that can easily check a symbol string such as a selected character or symbol and reduce erroneous selection.
以下に本発明の一実施形態に係るシンボル選択装置について、図面を参照して説明する。 A symbol selection apparatus according to an embodiment of the present invention will be described below with reference to the drawings.
本実施形態のシンボル選択装置100は、肢体や口を動かすことが困難な人等の意思伝達を支援するためのものである。
具体的にこのシンボル選択装置100は、図1に示すように、ディスプレイ2及びコンピュータ本体3を有するノートパソコン1と、ユーザの視線を検出する視線検出手段4とを備えている。ディスプレイ2の画面21には、文字や記号等のシンボルが並べて配置されたシンボルパネル211が表示され、ユーザは、視線を動かすことによりこのシンボルパネル211を移動させて、シンボルパネル211内の所望の1つのシンボルを、画面21上に固定された所定の選択位置に合わすことで選択できるようになっている。
なお本実施形態では、選択位置の座標が画面21の中心座標と同じになるように設定されている。
The symbol selection device 100 according to the present embodiment is intended to support the communication of a person who has difficulty moving a limb or mouth.
Specifically, as shown in FIG. 1, the symbol selection device 100 includes a notebook computer 1 having a display 2 and a computer main body 3, and line-of-sight detection means 4 that detects the line of sight of the user. The screen 21 of the display 2 displays a symbol panel 211 in which symbols such as characters and symbols are arranged side by side. The user moves the symbol panel 211 by moving his / her line of sight, and a desired panel in the symbol panel 211 is displayed. One symbol can be selected by matching with a predetermined selection position fixed on the screen 21.
In the present embodiment, the coordinates of the selected position are set to be the same as the center coordinates of the screen 21.
視線検出手段4は、ディスプレイ2の画面21に向けられたユーザの視線を検出し、その検出結果を視線信号として出力するものである。
具体的には、ユーザの眼球に近赤外線を照射する光源(不図示)と、ユーザの眼球を撮像するカメラ(不図示)と、当該カメラから出力される撮像データを処理して視線を検出し、視線信号として出力する視線信号出力部(不図示)とを備えたものである。
なお本実施形態の視線検出手段4は、所謂取付けタイプのものであり、前記光源およびカメラがユーザ側を向くようにしてディスプレイ2の下部に取付けられている。
The line-of-sight detection means 4 detects a user's line of sight directed to the screen 21 of the display 2 and outputs the detection result as a line-of-sight signal.
Specifically, a light source (not shown) that irradiates the user's eyeball with near infrared rays, a camera (not shown) that images the user's eyeball, and imaging data output from the camera are processed to detect the line of sight. And a line-of-sight signal output unit (not shown) for outputting as a line-of-sight signal.
The line-of-sight detection means 4 of this embodiment is a so-called attachment type, and is attached to the lower part of the display 2 so that the light source and the camera face the user side.
ディスプレイ2は、コンピュータ本体3から送信されてくる画像データが示す画像をその画面21上に表示するものである。 The display 2 displays an image indicated by the image data transmitted from the computer main body 3 on the screen 21.
コンピュータ本体3は、構造的には、図2に示すように、CPU301、メモリ302、入出力インターフェース303等を備えている。このコンピュータ本体3は、前記メモリ302に記憶させた各種のアプリケーションソフトウェア(以下、プログラムと言う)に基づいて、前記CPU301やその周辺機器が協働することにより、図3に示すように、視点位置推定部31、シンボル関連データ格納部32、選択シンボル表示制御部33、シンボル選択部34、確定シンボル表示制御部35等としての機能を実現するように構成されている。 As shown in FIG. 2, the computer main body 3 is structurally provided with a CPU 301, a memory 302, an input / output interface 303, and the like. As shown in FIG. 3, the computer main body 3 is configured such that the CPU 301 and its peripheral devices cooperate with each other based on various application software (hereinafter referred to as programs) stored in the memory 302. The estimator 31, the symbol related data storage 32, the selected symbol display controller 33, the symbol selector 34, and the confirmed symbol display controller 35 are configured to realize the functions.
次に、各部について説明する。 Next, each part will be described.
視点位置推定部31は、視線検出手段4の検出結果に基づいて、画面21上におけるユーザの視点位置を推定するものである。具体的には、視線検出手段4から視線信号を受け付け、当該視線信号に基づいて、画面21上におけるユーザの視点位置を推定し、この推定した視点位置である推定視点位置Leの座標を示す推定視点位置データを出力する。 The viewpoint position estimation unit 31 estimates the viewpoint position of the user on the screen 21 based on the detection result of the line-of-sight detection means 4. Specifically, a line-of-sight signal is received from the line-of-sight detection means 4, the viewpoint position of the user on the screen 21 is estimated based on the line-of-sight signal, and the estimated viewpoint position Le, which is the estimated viewpoint position, is estimated. Output viewpoint position data.
シンボル関連データ格納部32は、前記メモリ302の所定領域に設定されたものであり、文字や記号等の各種シンボルのコード等を示すシンボル関連データを格納している。
なお本実施形態で言う「文字」とは、例えば、平仮名、カタカナ、漢字、数字、アルファベット等である。「記号」とは、マーク、絵文字、顔文字等の意味を付された図形等である。
The symbol related data storage unit 32 is set in a predetermined area of the memory 302 and stores symbol related data indicating codes of various symbols such as characters and symbols.
The “character” in the present embodiment is, for example, hiragana, katakana, kanji, numbers, alphabets, and the like. The “symbol” is a figure or the like having a meaning such as a mark, a pictograph, an emoticon or the like.
選択シンボル表示制御部33は、シンボル関連データ及び推定視点位置データを取得し、それらに基づいて画像データを生成し、ディスプレイ2に出力するものである。より機能的に説明すると、複数のシンボル(ここでは、平仮名)が並べて配置されたシンボルパネル211を画面21上に表示させるとともに、推定視点位置Leに基づいて、このシンボルパネル211を画面21上で移動させるものである。
ここでは、複数のシンボルが、縦横のマトリクス状に等間隔に並ぶようにシンボルパネル211に配置されている。より具体的には、シンボルパネル211は、縦横に並べられた正方形状のマス目によって区切られている。各マス目は、各シンボルの表示領域を規定するものである。そして、各マス目内には、マス目の中心とシンボルの中心位置とが一致するように、一つのシンボルが表示されている。
The selected symbol display control unit 33 acquires symbol-related data and estimated viewpoint position data, generates image data based on them, and outputs them to the display 2. More specifically, a symbol panel 211 in which a plurality of symbols (here, hiragana) are arranged side by side is displayed on the screen 21, and the symbol panel 211 is displayed on the screen 21 based on the estimated viewpoint position Le. It is to be moved.
Here, a plurality of symbols are arranged on the symbol panel 211 so as to be arranged at equal intervals in a vertical and horizontal matrix. More specifically, the symbol panel 211 is partitioned by square grids arranged vertically and horizontally. Each square defines a display area of each symbol. In each square, one symbol is displayed so that the center of the square coincides with the center position of the symbol.
なお、この選択シンボル表示制御部33は、使用時においてユーザが実際に見ているシンボルと、推定視点位置Leに最も近いシンボルとが、ユーザの違いに関わらず同じになる程度に、シンボルパネル211内で隣り合うシンボルを互いに離間させて表示するようにしている。すなわち、眼球の形状や、シンボルを見る際の癖や、推定視点位置Leの精度等によらず、どのようなユーザが例えばシンボルパネル211に表示された文字「ぬ」を見ても、推定視点位置Leに最も近いシンボルが文字「ぬ」になる程度に、隣り合うシンボルを互いに離間するように表示するようになっている。そのため、本実施形態のシンボルパネル211は画面21の大きさよりも大きくなっており、後述するようにシンボルパネル211をスクロールさせることにより、全てのシンボルを選択できるようにしている。 Note that the selected symbol display control unit 33 displays the symbol panel 211 so that the symbol that the user actually sees when using the symbol and the symbol closest to the estimated viewpoint position Le are the same regardless of the user. The symbols adjacent to each other are displayed separately from each other. That is, regardless of the shape of the eyeball, the wrinkles when viewing the symbol, the accuracy of the estimated viewpoint position Le, etc., no matter what user sees the character “N” displayed on the symbol panel 211, the estimated viewpoint Adjacent symbols are displayed so as to be separated from each other to the extent that the symbol closest to the position Le becomes the character “Nu”. For this reason, the symbol panel 211 of the present embodiment is larger than the size of the screen 21, and all symbols can be selected by scrolling the symbol panel 211 as will be described later.
本実施形態の選択シンボル表示制御部33は、推定視点位置Leの座標と、予め画面21上に設定された選択位置Lsの座標とを参照して、これらの間の距離dを計測し、この距離dに応じてシンボルパネル211を多段階で移動させるように構成されている。 The selected symbol display control unit 33 of the present embodiment refers to the coordinates of the estimated viewpoint position Le and the coordinates of the selected position Ls set on the screen 21 in advance, and measures the distance d between them, The symbol panel 211 is configured to move in multiple steps according to the distance d.
具体的には、図4(a)に示すように、推定視点位置Leと選択位置Lsとの間の距離dが、予め設定した所定値Dを超えている場合には、推定視点位置Leから選択位置Lsに向かう方向(矢印で示す方向)に沿ってシンボルパネル211を移動させる。シンボルパネル211を移動させる速度は、当該距離dが大きいほど、大きくなるようにしている。
なお、ここでは、シンボルパネル211を移動させる際には、推定視点位置Leから選択位置Lsに向かう方向に沿ってスクロールさせるように構成している。すなわち、シンボルパネルを移動させるとともに、画面21の端から新たなシンボルを表示させるように構成されている。
Specifically, as shown in FIG. 4A, when the distance d between the estimated viewpoint position Le and the selected position Ls exceeds a predetermined value D set in advance, the estimated viewpoint position Le The symbol panel 211 is moved along the direction toward the selection position Ls (the direction indicated by the arrow). The speed at which the symbol panel 211 is moved increases as the distance d increases.
Here, when the symbol panel 211 is moved, the symbol panel 211 is configured to scroll along a direction from the estimated viewpoint position Le toward the selection position Ls. That is, the symbol panel is moved and a new symbol is displayed from the end of the screen 21.
一方で、図4(b)に示すように、推定視点位置Leと選択位置Lsとの間の距離dが前記した所定値D以下である場合には、推定視点位置Leに最も近いシンボルを選択位置Lsに引き込むようにシンボルパネル211を移動させ、当該シンボルの中心位置の座標を選択位置Lsの座標に合わせるように構成されている。すなわち、推定視点位置Leが入っているマス目の中心位置を、選択位置Lsの座標に合わせるように構成されている。
距離dが所定値D以下であって、かつ推定視点位置Leに最も近いシンボルの中心位置の座標と選択位置Lsの座標とが一致している場合には、シンボルパネル211を移動させない。
On the other hand, as shown in FIG. 4B, when the distance d between the estimated viewpoint position Le and the selected position Ls is equal to or less than the predetermined value D, the symbol closest to the estimated viewpoint position Le is selected. The symbol panel 211 is moved so as to be pulled to the position Ls, and the coordinates of the center position of the symbol are adjusted to the coordinates of the selected position Ls. That is, the center position of the square containing the estimated viewpoint position Le is configured to match the coordinates of the selected position Ls.
When the distance d is equal to or less than the predetermined value D and the coordinates of the center position of the symbol closest to the estimated viewpoint position Le coincide with the coordinates of the selection position Ls, the symbol panel 211 is not moved.
この選択シンボル表示制御部33はまた、上記した機能に加えて、あるシンボルの中心位置の座標と選択位置Lsの座標とが一致する場合に、当該シンボルが入っているマス目の四隅を囲むようにカーソル212を画面21上に表示させるとともに、当該シンボルを示すシンボルデータを出力するように構成されている。このカーソル212は、中心位置の座標と選択位置Lsの座標とが一致していることを示すカーソルである。 In addition to the above-described function, the selected symbol display control unit 33 also surrounds the four corners of the square containing the symbol when the coordinates of the center position of the symbol coincide with the coordinates of the selected position Ls. The cursor 212 is displayed on the screen 21 and symbol data indicating the symbol is output. The cursor 212 is a cursor indicating that the coordinates of the center position and the coordinates of the selection position Ls are the same.
シンボル選択部34は、選択位置Lsにある1つのシンボルを選択するものである。具体的には、シンボルデータ及び推定視点位置データを取得し、これらに基づいて、シンボルデータが示すシンボルをユーザが選択したいシンボルとして確定し、当該シンボルを示す確定シンボルデータを出力するものである。
ここでは、シンボル選択部34は、あるシンボルの中心位置の座標と、選択位置Lsの座標とが一致している場合に、前記距離dが所定値D以下になっている時間tを計測するように構成されている。そして、この時間tが予め設定した所定時間Tを超えた場合に、確定シンボルデータを出力するように構成されている。
The symbol selector 34 selects one symbol at the selection position Ls. Specifically, the symbol data and the estimated viewpoint position data are acquired, and based on these, the symbol indicated by the symbol data is determined as a symbol that the user wants to select, and the determined symbol data indicating the symbol is output.
Here, the symbol selection unit 34 measures the time t when the distance d is equal to or less than the predetermined value D when the coordinates of the center position of a certain symbol match the coordinates of the selection position Ls. It is configured. And when this time t exceeds the predetermined time T set beforehand, it is comprised so that fixed symbol data may be output.
確定シンボル表示制御部35は、シンボル選択部34が選択したシンボルを選択された順に並べて表示するシンボル列表示ウィンドウ22を画面21上に表示するものである。また、確定シンボルデータを受けて、シンボル選択部34により選択されたシンボルをシンボル列表示ウィンドウ22内に表示するものである。 The confirmed symbol display control unit 35 displays on the screen 21 a symbol string display window 22 that displays the symbols selected by the symbol selection unit 34 in the order of selection. Also, the symbol selected by the symbol selector 34 is received in the symbol string display window 22 upon receipt of the confirmed symbol data.
確定シンボル表示制御部35は、シンボル列表示ウィンドウ22をシンボルパネル211上に重ねて透過表示するように構成されている。これにより、ユーザは、シンボル列表示ウィンドウ22と重なっているシンボルパネル211上のシンボルを、透かして確認することができる。シンボル列表示ウィンドウ22の透過度は、適宜変更できるように構成されている。 The confirmed symbol display control unit 35 is configured to display the symbol string display window 22 so as to overlap the symbol panel 211 in a transparent manner. As a result, the user can check the symbols on the symbol panel 211 overlapping the symbol row display window 22 through the watermark. The transparency of the symbol column display window 22 is configured to be changed as appropriate.
シンボル列表示ウィンドウ22は、画面21上の所定位置に固定され、常に表示されるよう構成されており、ユーザはそれまでに確定したシンボル列をいつでも確認できるようになっている。
なお、図4及び図6では、図の簡略化のため、シンボル列表示ウィンドウ22は透過表示されていない。
The symbol column display window 22 is fixed at a predetermined position on the screen 21 and is always displayed. The user can check the symbol column determined so far at any time.
4 and 6, the symbol column display window 22 is not transparently displayed for the sake of simplification.
この確定シンボル表示制御部35は、シンボル列表示ウィンドウ22を表示する位置を、シンボル選択部34に選択されているシンボルと隣り合う位置に設定するように構成されている。 The confirmed symbol display control unit 35 is configured to set the position for displaying the symbol string display window 22 to a position adjacent to the symbol selected by the symbol selection unit 34.
図4(c)に示すように、このシンボル列表示ウィンドウ22は横長の矩形状のものであり、シンボル選択部34により選択されているシンボル(ここでは、文字「ぬ」)の直上に、当該シンボルが入っているマス目に沿って表示される。すなわち、シンボル列表示ウィンドウ22の下辺は、シンボル選択部34により選択されているシンボルが入るマス目の上端と略同一の高さになるように表示され、選択されているシンボルと重なり合わないようになっている。また、シンボル列表示ウィンドウ22は、画面21上に固定して表示されており、カーソル212が表示されている際に、カーソル212に沿うように表示される。 As shown in FIG. 4C, the symbol string display window 22 has a horizontally long rectangular shape, and the symbol selection unit 34 selects the symbol (here, the character “N”) immediately above the symbol. Displayed along the grid containing the symbol. In other words, the lower side of the symbol row display window 22 is displayed so as to be substantially the same height as the upper end of the square in which the symbol selected by the symbol selection unit 34 enters, and does not overlap the selected symbol. It has become. The symbol string display window 22 is fixedly displayed on the screen 21 and is displayed along the cursor 212 when the cursor 212 is displayed.
シンボル列表示ウィンドウ22の縦方向の長さは、各マス目の縦方向の長さの半分以下になるように構成されており、シンボル選択部34に選択されているシンボルと隣り合うシンボル(ここでは、文字「に」)の一部が見えるようにしている。 The vertical length of the symbol row display window 22 is configured to be equal to or less than half the vertical length of each square, and is adjacent to the symbol selected by the symbol selection unit 34 (here. Then, a part of the character “ni”) is made visible.
シンボル列表示ウィンドウ22内には、シンボル選択部34によって選択されたシンボル列が横書きで表示されるようになっている。そして、選択位置Lsの横方向の座標位置を中央位置として中央揃えになるようにシンボル列表示ウィンドウ22内に表示されるようにしている。
シンボル列表示ウィンドウ内22において、シンボル列は横方向に1列に表示されてよく、また選択されたシンボルの数が所定値以上になった場合には改行するようにしてもよい。
In the symbol string display window 22, the symbol string selected by the symbol selector 34 is displayed horizontally. Then, the coordinate position in the horizontal direction of the selection position Ls is displayed in the symbol row display window 22 so as to be center-aligned.
Within the symbol row display window 22, the symbol rows may be displayed in a single row in the horizontal direction, and a line feed may be made when the number of selected symbols exceeds a predetermined value.
シンボル列表示ウィンドウ22の横方向の長さは、シンボル列表示ウィンドウ22内に横方向に表示されているシンボルの数に応じて変更するように構成されている。具体的には、シンボル列表示ウィンドウ22内で横方向に表示されているシンボルの数が少ないほど、シンボル列表示ウィンドウ22の横方向の長さが小さくなるように構成されている。
なお、シンボル列表示ウィンドウ22内に表示されるシンボルのサイズは、シンボルパネル211内に表示されるシンボルのサイズよりも小さくなるようにしている。
The horizontal length of the symbol column display window 22 is configured to change according to the number of symbols displayed in the horizontal direction in the symbol column display window 22. Specifically, the length of the symbol column display window 22 in the horizontal direction decreases as the number of symbols displayed in the horizontal direction in the symbol column display window 22 decreases.
Note that the size of the symbol displayed in the symbol row display window 22 is made smaller than the size of the symbol displayed in the symbol panel 211.
次に、このような構成のシンボル選択装置100の動作について、図4、図5を参照しつつ以下に説明する。ここでは、ユーザが、画面21上に表示されたシンボルパネル211から文字「ぬ」を選択する動作について例示する。なお、図4(a)〜(c)には、推定視点位置Le、選択位置Ls、選択位置Lsから距離Dの範囲、シンボルパネル211が移動する方向が示されているが、これらは説明の都合上示されたものであり、実際には画面21上に表示されない。 Next, the operation of the symbol selection apparatus 100 having such a configuration will be described below with reference to FIGS. Here, an example in which the user selects the character “N” from the symbol panel 211 displayed on the screen 21 will be described. 4A to 4C show the estimated viewpoint position Le, the selected position Ls, the range of the distance D from the selected position Ls, and the direction in which the symbol panel 211 moves. It is shown for convenience and is not actually displayed on the screen 21.
選択シンボル表示制御部33が、図4(a)に示すように、複数の文字が並べられたシンボルパネル211をディスプレイ2の画面21上に表示する(ステップS1)。ユーザは、シンボルパネル211に表示された文字「ぬ」を見る。 As shown in FIG. 4A, the selected symbol display control unit 33 displays a symbol panel 211 on which a plurality of characters are arranged on the screen 21 of the display 2 (step S1). The user looks at the character “N” displayed on the symbol panel 211.
視線検出手段4が、ユーザの視線を検出し、これを視線信号として出力する(ステップS2)。視点位置推定部31は、視線検出手段4からの視線信号を受け取ると、この視線信号に基づいて、画面21上におけるユーザの視点位置を推定する(ステップS3)。ここでは、ユーザは実際には文字「ぬ」の中心を見ているが、推定された推定視点位置Leは、図4(a)に示すように、文字「ぬ」の中心からやや右下である。 The line-of-sight detection means 4 detects the user's line of sight and outputs it as a line-of-sight signal (step S2). Upon receiving the line-of-sight signal from the line-of-sight detection means 4, the viewpoint position estimation unit 31 estimates the viewpoint position of the user on the screen 21 based on this line-of-sight signal (step S3). Here, the user actually sees the center of the character “Nu”, but the estimated viewpoint position Le is slightly lower right from the center of the character “Nu” as shown in FIG. is there.
推定視点位置Leと選択位置Ls間の距離dが予め設定された所定値Dを超えているので、選択シンボル表示制御部33は、図4(a)に示すように、推定視点位置Leから選択位置Lsに向かう方向に沿って、シンボルパネル211を移動させる(ステップS4、S5)。この時ユーザは、移動する文字「ぬ」を追うように視線を移動させる。すると、これに合わせて推定視点位置Leも移動する。すなわち、シンボルパネル211上の文字「ぬ」が選択位置Lsに近づくにつれて、推定視点位置Leも選択位置Lsに近づくようになる。 Since the distance d between the estimated viewpoint position Le and the selected position Ls exceeds a predetermined value D set in advance, the selected symbol display control unit 33 selects from the estimated viewpoint position Le as shown in FIG. The symbol panel 211 is moved along the direction toward the position Ls (steps S4 and S5). At this time, the user moves his / her line of sight to follow the moving character “Nu”. Then, the estimated viewpoint position Le moves accordingly. That is, as the character “Nu” on the symbol panel 211 approaches the selection position Ls, the estimated viewpoint position Le also approaches the selection position Ls.
そして、ユーザが、移動する文字「ぬ」を追うように見続けると、次第に、推定視点位置Leと選択位置Ls間の距離dが所定値D以下になる。すると、図4(b)に示すように、選択シンボル表示制御部33は、推定視点位置Leに最も近い文字「ぬ」を選択位置Lsに引き込むように移動させて、文字「ぬ」の中心位置を選択位置Lsに合わせ、カーソル212を表示する(ステップS4、S6)。 When the user continues to follow the moving character “Nu”, the distance d between the estimated viewpoint position Le and the selected position Ls gradually becomes a predetermined value D or less. Then, as shown in FIG. 4B, the selected symbol display control unit 33 moves the character “N” closest to the estimated viewpoint position Le to the selected position Ls, and moves the center position of the character “N”. Is displayed at the selected position Ls and the cursor 212 is displayed (steps S4 and S6).
文字「ぬ」の中心位置が選択位置Lsにある状態で、ユーザが文字「ぬ」を所定時間T秒以上見ると、シンボル選択部34が、文字「ぬ」をユーザが選択したい文字として確定し、確定シンボルデータを出力する(ステップS7)。すると、確定シンボル表示制御部35が、選択位置Lsにある文字「ぬ」の直上に表示されているシンボル列表示ウィンドウ22内に文字「ぬ」を表示する(ステップS8)。 When the user sees the character “Nu” for a predetermined time T seconds or longer with the center position of the character “Nu” at the selection position Ls, the symbol selection unit 34 determines the character “Nu” as the character the user wants to select The confirmed symbol data is output (step S7). Then, the confirmed symbol display control unit 35 displays the character “Nu” in the symbol string display window 22 displayed immediately above the character “Nu” at the selection position Ls (Step S8).
このように構成された本実施形態のシンボル選択装置100では、シンボル選択部34によって選択されている1つのシンボルと隣り合う位置にシンボル列表示ウィンドウ22が表示されるので、ユーザは、選択したいシンボルを見て選択した後、視線を大きく移動させることなく、シンボル列表示ウィンドウ22に表示されているシンボル列を確認することができる。すなわち、ユーザは選択されたシンボル列を確認するために、画面21上に表示されている他の複数のシンボルの上を通るように視線を移動させる必要がないので、シンボルの誤選択を低減することができる。また、選択されているシンボルとシンボル列表示ウィンドウ22との間で視線を大きく移動させる必要がないので、ユーザは選択されたシンボル列を簡単に確認することができる。 In the symbol selection device 100 of the present embodiment configured as described above, the symbol column display window 22 is displayed at a position adjacent to one symbol selected by the symbol selection unit 34. After the selection, the symbol columns displayed in the symbol column display window 22 can be confirmed without largely moving the line of sight. That is, the user does not need to move his / her line of sight to pass over a plurality of other symbols displayed on the screen 21 in order to confirm the selected symbol row, thereby reducing erroneous symbol selection. be able to. In addition, since it is not necessary to move the line of sight between the selected symbol and the symbol column display window 22, the user can easily confirm the selected symbol column.
また、選択位置Lsが画面21上の中央位置に固定されているので、シンボル選択部34により選択されるシンボルは常に画面21上の同じ位置(すなわち選択位置Ls)で選択される。これにより、シンボル列表示ウィンドウ22も、常に画面21上の同じ位置(すなわち選択位置Ls近傍)に表示されるので、ユーザはシンボル列表示ウィンドウ22内のシンボル列を簡単に確認することができる。 Further, since the selection position Ls is fixed at the center position on the screen 21, the symbol selected by the symbol selection unit 34 is always selected at the same position on the screen 21 (ie, the selection position Ls). As a result, the symbol string display window 22 is always displayed at the same position on the screen 21 (that is, in the vicinity of the selected position Ls), so that the user can easily check the symbol string in the symbol string display window 22.
また、確定シンボル表示制御部35が、シンボル選択部34によって選択されているシンボルと隣り合うシンボルのそれぞれの、少なくとも一部が見えるようにシンボル列表示ウィンドウ22を表示するので、シンボル列表示ウィンドウ22が表示されている間も、ユーザは画面21上に表示されている全てのシンボルを確認することができる。そのため、ユーザは次に選択するシンボルをより簡単に探すことができる。 Further, since the confirmed symbol display control unit 35 displays the symbol column display window 22 so that at least a part of each of the symbols adjacent to the symbol selected by the symbol selection unit 34 is visible, the symbol column display window 22 is displayed. The user can check all the symbols displayed on the screen 21 even while is displayed. Therefore, the user can more easily search for the next symbol to be selected.
また、シンボル列表示ウィンドウ22がシンボルパネル211上に透過表示されるので、ユーザはシンボルパネル221上に表示されている全てのシンボルを確認することができる。これにより、次に選択するシンボルをより簡単に探すことができる。 Further, since the symbol row display window 22 is transparently displayed on the symbol panel 211, the user can check all symbols displayed on the symbol panel 221. Thereby, it is possible to more easily find a symbol to be selected next.
さらに、確定シンボル表示制御部35が、シンボル列表示ウィンドウ22内において、選択されたシンボル列を横書き表示し、かつこのシンボル列を、選択されているシンボルの中心の横方向の座標位置を中央位置とする中央揃えで表示するので、ユーザは、実際に見ているシンボルから視線を少し上にずらすだけで、より簡単にシンボル列の全体を確認することができる。 Further, the confirmed symbol display control unit 35 horizontally displays the selected symbol column in the symbol column display window 22, and displays the symbol column in the horizontal coordinate position of the center of the selected symbol. Therefore, the user can check the entire symbol row more simply by shifting the line of sight slightly upward from the actually viewed symbol.
なお、本発明は前記実施形態に限られるものではない。 The present invention is not limited to the above embodiment.
前記実施形態では、推定視点位置推定部31によって推定された推定視点位置Leに基づいて、画面21上に表示されたシンボルパネル211を移動させて、所望のシンボルの中心位置を選択位置Lsに合わせて選択するように構成されていたが、これに限定されない。
他の実施形態では、推定視点位置推定部31によって推定された推定視点位置Leに矢印等のポインタを表示し、視線を動かすことで当該ポインタをシンボルの中心位置に合わせることで、シンボルを選択するように構成してもよい。またこの形態では、シンボル列表示ウィンドウ22は、推定視点位置Le(すなわち画面上に表示されているポインタ)の移動とともに画面21上を移動するものであってもよい。具体的には、推定視点位置Leに最も近いシンボルに隣り合う位置に、シンボル列表示ウィンドウ22が表示されてもよい。
In the embodiment, the symbol panel 211 displayed on the screen 21 is moved based on the estimated viewpoint position Le estimated by the estimated viewpoint position estimation unit 31, and the center position of a desired symbol is adjusted to the selected position Ls. However, the present invention is not limited to this.
In another embodiment, a pointer such as an arrow is displayed at the estimated viewpoint position Le estimated by the estimated viewpoint position estimating unit 31, and the symbol is selected by moving the line of sight to align the pointer with the center position of the symbol. You may comprise as follows. In this embodiment, the symbol string display window 22 may move on the screen 21 together with the movement of the estimated viewpoint position Le (that is, the pointer displayed on the screen). Specifically, the symbol row display window 22 may be displayed at a position adjacent to the symbol closest to the estimated viewpoint position Le.
前実施形態において、選択位置Lsの座標は画面21の中心座標と同じになるように設定されていたが、これに限らず、画面21の中心座標以外の座標に設定されてもよい。 In the previous embodiment, the coordinates of the selection position Ls are set to be the same as the center coordinates of the screen 21, but the present invention is not limited to this, and may be set to coordinates other than the center coordinates of the screen 21.
前記実施形態では、複数のシンボルが、縦横のマトリクス状に等間隔に並ぶようにシンボルパネル211に配置されていたがこれに限らない。例えば、放射状に並ぶようにシンボルパネル211に配置されてもよい。また、各シンボル間の間隔は等間隔でなくてもよい。 In the above-described embodiment, the plurality of symbols are arranged on the symbol panel 211 so as to be arranged at equal intervals in a vertical and horizontal matrix, but the present invention is not limited thereto. For example, the symbol panels 211 may be arranged in a radial pattern. Further, the intervals between the symbols need not be equal.
他の実施形態では、選択シンボル表示制御部33はさらに、シンボルパネル211上のシンボルが記号である場合に、シンボル選択部34が選択位置Lsにあるシンボルを選択すると、当該選択した1つのシンボルに予め関連付けられた1つ又は複数のシンボルを、画面21上に新たに表示するように構成されてもよい。
具体的には、図6(b)に示すように、シンボル選択部34が選択位置Lsにあるシンボル(ここでは“温泉”を意味する記号)を選択すると、当該シンボルの横に、当該シンボルに関連付けられた複数のシンボル(ここでは、各種の交通手段を意味する記号)が配置された関連シンボルパネル213が表示されるように構成されてよい。
そして、推定視点位置Leに基づいて、上述したシンボルパネル211を移動させるのと同じ要領で、当該関連シンボルパネル213を画面21上で移動させて、所望のシンボルを選択できるように構成されてよい。
In another embodiment, when the symbol on the symbol panel 211 is a symbol and the symbol selection unit 34 selects a symbol at the selection position Ls, the selected symbol display control unit 33 further adds the selected symbol to the selected symbol. One or a plurality of symbols associated in advance may be newly displayed on the screen 21.
Specifically, as shown in FIG. 6B, when the symbol selection unit 34 selects a symbol at the selection position Ls (here, a symbol meaning “hot spring”), the symbol is displayed next to the symbol. A related symbol panel 213 in which a plurality of associated symbols (here, symbols representing various means of transportation) are arranged may be displayed.
Then, based on the estimated viewpoint position Le, the related symbol panel 213 may be moved on the screen 21 in the same manner as moving the symbol panel 211 described above, and a desired symbol may be selected. .
他の実施形態では、選択シンボル表示制御部33は、選択された複数のシンボルをシンボル列表示ウィンドウ22内に表示するとともに、これらのシンボルの組み合わせに対応するメッセージをシンボル列表示ウィンドウ22に表示するように構成されてもよい。
具体的には、図6(c)に示すように、シンボル選択部34によって、“温泉”を意味する記号が選択された後、さらに“バス”を意味する記号が選択された場合に、シンボル列表示ウィンドウ22内に、これらの2つの記号の後に、「温泉にバスで行きたい」というメッセージを表示するように構成されてよい。
In another embodiment, the selected symbol display control unit 33 displays a plurality of selected symbols in the symbol column display window 22 and displays a message corresponding to the combination of these symbols in the symbol column display window 22. It may be configured as follows.
Specifically, as shown in FIG. 6C, when a symbol meaning “hot spring” is selected by the symbol selection unit 34 and then a symbol meaning “bus” is further selected, the symbol A message “I would like to go to the hot springs by bus” may be displayed in the column display window 22 after these two symbols.
また別の実施形態では、選択シンボル表示制御部33は、選択された複数のシンボルをシンボル列表示ウィンドウ22内に表示するのに代えて、これらのシンボルの組み合わせに対応するメッセージをシンボル列表示ウィンドウ22に表示するように構成されてもよい。 In another embodiment, the selected symbol display control unit 33 displays a message corresponding to a combination of these symbols in the symbol column display window instead of displaying the selected symbols in the symbol column display window 22. 22 may be configured to display.
前記実施形態では、シンボル選択部34に選択されているシンボルの直上にシンボル列表示ウィンドウ22を表示するようにしていたが、これに限らず、シンボル選択部34に選択されているシンボルの直下に表示するようにしてもよい。すなわち、シンボル列表示ウィンドウ22の上辺は、シンボル選択部34に選択されているシンボルが入っているマス目の下端と略同一の高さになるように表示されてよい。
また、シンボル列表示ウィンドウ22内に表示されるシンボルは、中央揃えに限らず、左揃え又は右揃えであってもよい。
In the above embodiment, the symbol column display window 22 is displayed immediately above the symbol selected by the symbol selection unit 34. However, the present invention is not limited to this, and the symbol selection unit 34 is directly below the symbol selected by the symbol selection unit 34. You may make it display. That is, the upper side of the symbol row display window 22 may be displayed so as to be substantially the same height as the lower end of the square containing the symbol selected by the symbol selection unit 34.
Further, the symbols displayed in the symbol row display window 22 are not limited to center alignment, and may be left alignment or right alignment.
別の実施形態では、シンボル列表示ウィンドウ22を、シンボル選択部34に選択されているシンボルと隣り合うように、当該シンボルの右又は左に表示させてもよい。この場合には、シンボル列表示ウィンドウ22は縦長の矩形状のシンボル列表示ウィンドウ22であってよく、シンボルが縦書きで表示されるように構成してよい。またこの場合には、シンボル列表示ウィンドウ22内に表示されるシンボル列は、シンボル選択部34に選択されているシンボルの中心の縦方向の座標位置を中央位置とする中央揃えになるように表示されるように構成されていてよい。
またシンボル列表示ウィンドウ22内に表示されるシンボル列は、中央揃えに限らず、上揃え又は下揃えであってもよい。
In another embodiment, the symbol row display window 22 may be displayed on the right or left of the symbol so as to be adjacent to the symbol selected by the symbol selection unit 34. In this case, the symbol column display window 22 may be a vertically long rectangular symbol column display window 22 and may be configured such that symbols are displayed vertically. Further, in this case, the symbol string displayed in the symbol string display window 22 is displayed so as to be centered with the vertical coordinate position of the center of the symbol selected by the symbol selection unit 34 being the center position. It may be configured to be.
The symbol columns displayed in the symbol column display window 22 are not limited to center alignment, and may be top aligned or bottom aligned.
前記実施形態では、シンボル列表示ウィンドウ22の縦方向の長さは、各マス目の縦方向の長さの半分以下になるように構成されていたがこれに限定されない。 In the embodiment, the vertical length of the symbol string display window 22 is configured to be equal to or less than half the vertical length of each square, but the present invention is not limited to this.
前記実施形態では、シンボルパネル211は画面21よりも大きいものであったがこれに限定されず、画面21よりも小さいものであってもよい。すなわち、シンボルパネル211に表示される全てのシンボルが、画面21内に一度に表示されるものであってもよい。 In the embodiment, the symbol panel 211 is larger than the screen 21, but is not limited thereto, and may be smaller than the screen 21. That is, all symbols displayed on the symbol panel 211 may be displayed on the screen 21 at a time.
前記実施形態では、シンボルパネル211には正方形状のマス目が表示されていたが、これに限定されない。当該マス目は非表示であってもよい。 In the embodiment, the square squares are displayed on the symbol panel 211, but the present invention is not limited to this. The squares may be hidden.
前記実施形態では、シンボル選択部34は、あるシンボルの中心位置の座標と選択位置Lsの座標とが一致している場合に、ユーザが当該シンボルを所定時間T以上見ることにより、確定シンボルデータを出力するように構成されていたが、これに限定されない。
他の実施形態では、シンボル選択部34は、あるシンボルの中心位置の座標と選択位置Lsの座標とが一致している場合に、ユーザが瞬きをすることにより確定シンボルデータを出力するように構成されていてもよい。
In the embodiment, the symbol selection unit 34, when the coordinates of the center position of a certain symbol coincide with the coordinates of the selection position Ls, allows the user to view the determined symbol data by viewing the symbol for a predetermined time T or more. Although it was comprised so that it might output, it is not limited to this.
In another embodiment, the symbol selection unit 34 is configured to output determined symbol data when the user blinks when the coordinates of the center position of a certain symbol coincide with the coordinates of the selection position Ls. May be.
前記実施形態での視線検出手段4は、所謂取付けタイプのものであったがこれに限定されず、眼鏡型などウェアラブル型のものであってもよい。 The line-of-sight detection means 4 in the above embodiment is a so-called attachment type, but is not limited thereto, and may be a wearable type such as a spectacle type.
前記実施形おいて、ディスプレイ2及びコンピュータ本体3は、ノートパソコン1に一体的に備えられていたが、これに限定されない。デスクトップパソコンに一体的に備わっていてもよいし、ディスプレイ2とコンピュータ本体3とが異なる機器に備わっていてもよい。またディスプレイ2は、プロジェクターと投影スクリーンにより構成されていてもよい。 In the above embodiment, the display 2 and the computer main body 3 are integrally provided in the notebook computer 1, but are not limited thereto. The desktop personal computer may be provided integrally, or the display 2 and the computer main body 3 may be provided in different devices. The display 2 may be configured by a projector and a projection screen.
その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。 In addition, it goes without saying that the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
100・・・シンボル選択装置
21 ・・・画面
211・・・シンボルパネル
22 ・・・シンボル列表示ウィンドウ
31 ・・・視点位置推定部
33 ・・・選択シンボル表示制御部
34 ・・・シンボル選択部
35 ・・・確定シンボル表示制御部
4 ・・・視線検出手段
Ls ・・・選択位置
Le ・・・推定視点位置
DESCRIPTION OF SYMBOLS 100 ... Symbol selection device 21 ... Screen 211 ... Symbol panel 22 ... Symbol row display window 31 ... Viewpoint position estimation part 33 ... Selection symbol display control part 34 ... Symbol selection part 35 ・ ・ ・ Determined symbol display control unit 4 ・ ・ ・ Gaze detection means Ls ・ ・ ・ Selected position Le ・ ・ ・ Estimated viewpoint position
Claims (8)
前記画面に向けられた前記ユーザの視線を検出する視線検出手段と、
前記視線検出手段の検出結果に基づいて、前記画面上に表示されている複数のシンボルのうちから1つのシンボルを選択するシンボル選択部と、
前記シンボル選択部によって選択されたシンボルを選択された順に並べて表示するシンボル列表示ウィンドウを、前記画面上に表示する確定シンボル表示制御部と
を備え、
前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウの表示位置を、前記シンボル選択部によって選択されている1つのシンボルと隣り合う位置に設定することを特徴とするシンボル選択装置。 A symbol selection device that can select a plurality of symbols such as characters and symbols displayed on a screen by a user's line of sight,
A line-of-sight detecting means for detecting the line of sight of the user directed to the screen;
A symbol selection unit that selects one symbol from a plurality of symbols displayed on the screen based on a detection result of the line-of-sight detection unit;
A symbol string display window for displaying symbols selected by the symbol selection unit in a selected order, and a confirmed symbol display control unit for displaying on the screen;
The symbol selection device, wherein the confirmed symbol display control unit sets a display position of the symbol row display window to a position adjacent to one symbol selected by the symbol selection unit.
前記視点位置推定部により推定された視点位置である推定視点位置に基づいて、画面上に表示されている複数のシンボルのうち所望の1つのシンボルを、前記画面上に予め設定された選択位置に移動させる選択シンボル表示制御部と、
をさらに備え、
前記選択位置が、前記画面上の所定位置に固定されており、
前記シンボル選択部が、前記選択位置にある1つのシンボルを選択するものである、請求項1記載のシンボル選択装置。 A viewpoint position estimation unit that estimates the viewpoint position of the user on the screen based on a detection result of the line-of-sight detection unit;
Based on the estimated viewpoint position that is the viewpoint position estimated by the viewpoint position estimation unit, a desired one symbol among a plurality of symbols displayed on the screen is set to a selection position preset on the screen. A selection symbol display control unit to be moved;
Further comprising
The selected position is fixed at a predetermined position on the screen;
The symbol selection device according to claim 1, wherein the symbol selection unit selects one symbol at the selection position.
前記視線検出手段の検出結果に基づいて、画面上に表示されている複数のシンボルのうちから1つのシンボルを選択するシンボル選択部としての機能と、
前記シンボル選択部によって選択されたシンボルを選択された順に並べて表示するシンボル列表示ウィンドウを前記画面上に表示するとともに、前記シンボル列表示ウィンドウの表示位置を前記シンボル選択部によって選択されている1つのシンボルと隣り合う位置に設定する確定シンボル表示制御部としての機能と、
をコンピュータに発揮させることを特徴とするシンボル選択装置用のプログラム。 A program applied to a symbol selection device that includes a line-of-sight detection means for detecting a line of sight of a user directed to the screen and that allows a plurality of symbols such as characters and symbols displayed on the screen to be selected by the line of sight of the user Because
A function as a symbol selection unit that selects one symbol from a plurality of symbols displayed on the screen based on the detection result of the line-of-sight detection means;
A symbol column display window that displays the symbols selected by the symbol selection unit in a selected order is displayed on the screen, and the display position of the symbol column display window is selected by the symbol selection unit. A function as a confirmed symbol display control unit that is set at a position adjacent to the symbol;
A program for a symbol selection device characterized by causing a computer to exhibit the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018033733A JP6712813B2 (en) | 2018-02-27 | 2018-02-27 | Symbol selection device and program for symbol selection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018033733A JP6712813B2 (en) | 2018-02-27 | 2018-02-27 | Symbol selection device and program for symbol selection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019149032A true JP2019149032A (en) | 2019-09-05 |
| JP6712813B2 JP6712813B2 (en) | 2020-06-24 |
Family
ID=67850626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018033733A Active JP6712813B2 (en) | 2018-02-27 | 2018-02-27 | Symbol selection device and program for symbol selection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6712813B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000020196A (en) * | 1998-07-01 | 2000-01-21 | Shimadzu Corp | Eye-gaze input device |
| JP2000221873A (en) * | 1999-01-28 | 2000-08-11 | Mitsubishi Electric Corp | Communication support device |
| WO2017069176A1 (en) * | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | Line-of-sight input device, line-of-sight input method, and line-of-sight input program |
-
2018
- 2018-02-27 JP JP2018033733A patent/JP6712813B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000020196A (en) * | 1998-07-01 | 2000-01-21 | Shimadzu Corp | Eye-gaze input device |
| JP2000221873A (en) * | 1999-01-28 | 2000-08-11 | Mitsubishi Electric Corp | Communication support device |
| WO2017069176A1 (en) * | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | Line-of-sight input device, line-of-sight input method, and line-of-sight input program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6712813B2 (en) | 2020-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9477653B2 (en) | Character entry for an electronic device using a position sensing keyboard | |
| KR101695174B1 (en) | Ergonomic motion detection for receiving character input to electronic devices | |
| US9891822B2 (en) | Input device and method for providing character input interface using a character selection gesture upon an arrangement of a central item and peripheral items | |
| US8850353B2 (en) | Method and system for overlaying space-constrained display with a reference pattern during document scrolling operations | |
| US20100177035A1 (en) | Mobile Computing Device With A Virtual Keyboard | |
| GB2528948A (en) | Activation target deformation using accelerometer or gyroscope information | |
| JP2014142882A (en) | Line of sight input device | |
| JP2018205447A (en) | Information processing program, information processing device, and information processing method for estimating self-confidence level for user's answer | |
| US20230009807A1 (en) | Text entry method and mobile device | |
| US9792032B2 (en) | Information processing apparatus, information processing method, and program for controlling movement of content in response to user operations | |
| US20150309597A1 (en) | Electronic apparatus, correction method, and storage medium | |
| US20160370995A1 (en) | Method, system and computer program product for operating a keyboard | |
| JP5880024B2 (en) | Information processing apparatus and program | |
| Grubert et al. | Text entry performance and situation awareness of a joint optical see-through head-mounted display and smartphone system | |
| CN103914228B (en) | A kind of operating method of mobile terminal and its touch-screen | |
| JP6715483B2 (en) | Symbol selection device and program for symbol selection device | |
| JP6712813B2 (en) | Symbol selection device and program for symbol selection device | |
| CN107967091B (en) | Human-computer interaction method and computing equipment for human-computer interaction | |
| JP2008226097A (en) | Touch panel system | |
| JP6402498B2 (en) | Display terminal device, program, and display method | |
| US10846825B2 (en) | Display control apparatus, information processing apparatus, display control method, program for display control, and recording medium | |
| Kim | Mobile health technology accessible to people with visual impairments | |
| Tula et al. | Meta-keys: extending the functionality of gaze-based interaction. | |
| JP5950509B2 (en) | Display device and display method | |
| KR102728699B1 (en) | Augmented reality system for performing augmented reality tasks involving text reading and the method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190516 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191112 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191112 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200519 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6712813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |