JP2018073145A - Display control system and display control program - Google Patents
Display control system and display control program Download PDFInfo
- Publication number
- JP2018073145A JP2018073145A JP2016212596A JP2016212596A JP2018073145A JP 2018073145 A JP2018073145 A JP 2018073145A JP 2016212596 A JP2016212596 A JP 2016212596A JP 2016212596 A JP2016212596 A JP 2016212596A JP 2018073145 A JP2018073145 A JP 2018073145A
- Authority
- JP
- Japan
- Prior art keywords
- display
- viewpoint
- screen
- control unit
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 abstract description 23
- 210000001508 eye Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御システムおよび表示制御プログラムに関する。 The present invention relates to a display control system and a display control program.
従来、視線検出装置によって利用者の視線を検出し、利用する技術が知られている。例えば、特許文献１においては、運転者の視線検出結果であることを示す視線位置指示画面をナビ画面上に表示する技術が開示されている。 2. Description of the Related Art Conventionally, a technique for detecting and using a user's line of sight with a line-of-sight detection device is known. For example, Patent Document 1 discloses a technique for displaying a line-of-sight position instruction screen indicating a driver's line-of-sight detection result on a navigation screen.
視線と画面とが交差する位置が視点として検出され、画面上に当該視点が表示されると、視点にカーソルを表示する構成や視点による入力を受け付ける構成など、ユーザインタフェースにおいて様々の構成で視点を利用することが可能になる。しかし、各種のユーザインタフェース画面には、視点が表示されると不都合が生じる画面も存在し得る。
本発明は、前記課題にかんがみてなされたもので、画面毎に視点の表示と非表示とを制御可能な技術を提供することを目的とする。
When the position where the line of sight intersects the screen is detected as the viewpoint, and the viewpoint is displayed on the screen, the viewpoint is displayed in various configurations in the user interface, such as a configuration that displays a cursor at the viewpoint or a configuration that accepts input from the viewpoint. It becomes possible to use. However, various user interface screens may include screens that cause inconvenience when the viewpoint is displayed.
The present invention has been made in view of the above problems, and an object thereof is to provide a technique capable of controlling the display and non-display of the viewpoint for each screen.
上記の目的を達成するため、表示制御システムは、利用者の視点を検出する視点検出部と、複数のユーザインタフェース画面の少なくとも１個を表示部に表示するＵＩ画面表示制御部と、予め決められたユーザインタフェース画面である表示画面には、検出された視点を表示し、表示画面以外の非表示画面には、検出された視点を表示しない視点表示制御部と、を備える。 In order to achieve the above object, a display control system includes a viewpoint detection unit that detects a user's viewpoint, a UI screen display control unit that displays at least one of a plurality of user interface screens on the display unit, and a predetermined control unit. A display screen that is a user interface screen displays a detected viewpoint, and a non-display screen other than the display screen includes a viewpoint display control unit that does not display the detected viewpoint.
また、上記の目的を達成するため、表示制御プログラムは、コンピュータを、利用者の視点を検出する視点検出部、複数のユーザインタフェース画面の少なくとも１個を表示部に表示するＵＩ画面表示制御部、予め決められたユーザインタフェース画面である表示画面には、検出された視点を表示し、表示画面以外の非表示画面には、検出された視点を表示しない視点表示制御部、として機能させる。 In order to achieve the above object, a display control program includes a computer, a viewpoint detection unit that detects a user's viewpoint, a UI screen display control unit that displays at least one of a plurality of user interface screens on the display unit, The detected viewpoint is displayed on a display screen which is a predetermined user interface screen, and the detected viewpoint is not displayed on a non-display screen other than the display screen.
すなわち、表示部に複数のユーザインタフェース画面が表示され得る構成においては、ユーザインタフェース画面毎に実現可能な入力や機能が異なり得る。このため、ユーザインタフェース画面毎に、視点を表示することが適切であるか否かを予め特定することができる。そこで、視点の表示が適切なユーザインタフェース画面が表示画面、視点が表示されると不都合があるユーザインタフェース画面が非表示画面と分類される。そして、表示画面に視点が表示され、非表示画面に視点が表示されない構成とすることで、画面毎に視点の表示と非表示とを制御することが可能になる。 That is, in a configuration in which a plurality of user interface screens can be displayed on the display unit, the inputs and functions that can be realized may be different for each user interface screen. For this reason, it can be specified beforehand whether it is appropriate to display a viewpoint for every user interface screen. Therefore, a user interface screen with an appropriate viewpoint display is classified as a display screen, and a user interface screen that is inconvenient when the viewpoint is displayed is classified as a non-display screen. In addition, by adopting a configuration in which the viewpoint is displayed on the display screen and the viewpoint is not displayed on the non-display screen, display and non-display of the viewpoint can be controlled for each screen.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）表示制御システムの構成：
（２）表示制御処理：
（３）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of display control system:
(2) Display control processing:
(3) Other embodiments:
（１）表示制御システムの構成：
図１は、本発明の一実施形態である表示制御システム１０の構成を示すブロック図である。表示制御システム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。
(1) Configuration of display control system:
FIG. 1 is a block diagram showing a configuration of a
本実施形態において、制御部２０は、図示しないナビゲーションプログラム、放送再生プログラムを実行することができ、各プログラムを実行することにより経路案内、放送信号の再生の各機能を実行することができる。すなわち、制御部２０は、ナビゲーションプログラムを実行することにより、表示部としてのディスプレイ４０に地図を表示し、図示しないＧＰＳ信号等に基づいて表示制御システム１０が搭載された車両を指定の目的地まで誘導することができる。
In the present embodiment, the
また、制御部２０は、放送再生プログラムを実行することにより、ディスプレイ４０と図示しない通信モジュールとスピーカーを制御し、放送信号の受信と当該放送信号の再生を実現することができる。すなわち、制御部２０は、利用者に指示されたチャンネルの放送信号をデコードし、放送信号に重畳された動画をディスプレイ４０上で再生することができる。また、放送信号に重畳された音声を図示しないスピーカーから出力させることができる。
In addition, the
本実施形態においては、以上のような各プログラムで実現される機能に関するユーザインタフェースを提供するため、制御部２０は、図示しないＲＯＭや記録媒体３０等に記録された表示制御プログラム２１を実行する。当該表示制御プログラム２１による表示制御を実行するため、車両は、ディスプレイ（表示部）４０および視線検出センサ４２を備えている。
In the present embodiment, the
ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。
The
視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。
The line-of-
本実施形態において、制御部２０は、視線検出センサ４２の出力結果に基づいて利用者の視点を検出し、当該視点の検出結果（位置やまばたきの有無等）に基づいて利用者の意図した入力を受け付ける。むろん、他の手法、例えば、利用者の操作をポインティングデバイス等で検出し、当該操作に基づいて利用者の入力が受け付けられる構成が併用されても良い。
In the present embodiment, the
いずれにしても制御部２０は、ディスプレイ４０上の視点に基づいて利用者による入力を受け付ける。このために制御部２０は、ディスプレイ４０にユーザインタフェース画面を表示し、当該ユーザインタフェース画面上に視点を表示する。しかし、視点が表示されることによってプライバシーが守られないことが懸念される場合、制御部２０は、画面上に視点を表示しない。このような制御を行うため、表示制御プログラム２１は、視点検出部２１ａとＵＩ画面表示制御部２１ｂと視点表示制御部２１ｃとを備えている。
In any case, the
視点検出部２１ａは、利用者の視点を検出する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となるディスプレイ４０の位置が、車室内空間の位置を規定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の表示面との交点を視点として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えば、インストルメントパネル等）上に存在すると判定されても良い。
The
ＵＩ画面表示制御部２１ｂは、複数のユーザインタフェース画面の少なくとも１個をディスプレイ４０に表示する機能を制御部２０に実現させるプログラムモジュールである。ナビゲーションプログラムおよび放送再生プログラムによってユーザインタフェース画面を描画するための画像情報（地図描画情報やアイコン描画情報等）は予め表示情報３０ａとして記録媒体３０に記録されている。
The UI screen
制御部２０がナビゲーションプログラムを実行すると、制御部２０は表示情報３０ａを参照して地図や指示ボタン等を含むユーザインタフェース画面を描画する。描画された情報はＲＡＭ等に記録され、制御部２０は、ＵＩ画面表示制御部２１ｂの処理により、当該描画されたユーザインタフェース画面の情報を取得し、当該ユーザインタフェース画面を表示するための制御信号をディスプレイ４０に対して出力する。この結果、ナビゲーションプログラムにおけるユーザインタフェース画面がディスプレイ４０に表示される。なお、本実施形態においてナビゲーションプログラムは、常時実行されている。
When the
さらに、制御部２０が放送再生プログラムを実行すると、制御部２０は、表示情報３０ａを参照して放送信号に重畳された動画やチャンネル切り替えボタン等を含むユーザインタフェース画面を描画する。描画された情報はＲＡＭ等に記録され、制御部２０は、ＵＩ画面表示制御部２１ｂの処理により、当該描画されたユーザインタフェース画面の情報を取得し、当該ユーザインタフェース画面を表示するための制御信号をディスプレイ４０に対して出力する。この結果、放送再生プログラムにおけるユーザインタフェース画面がディスプレイ４０に表示される。
Further, when the
なお、本実施形態において、放送再生プログラムは、利用者の指示によって実行される。すなわち、ナビゲーションプログラムのユーザインタフェース画面においては、放送再生プログラムの実行開始を指示するボタン等を表示させることが可能であり、利用者が視点等によって当該ボタンを選択する入力を行うと、放送再生プログラムが実行される。 In the present embodiment, the broadcast reproduction program is executed according to a user instruction. That is, on the user interface screen of the navigation program, a button or the like for instructing the start of execution of the broadcast reproduction program can be displayed. When the user performs input for selecting the button according to the viewpoint or the like, the broadcast reproduction program Is executed.
本実施形態において制御部２０は、以上のようなナビゲーションプログラムのユーザインタフェース画面と放送再生プログラムのユーザインタフェース画面とをディスプレイ４０に表示させることができる。そして、本実施形態においては、ユーザインタフェース画面毎に視点が表示される表示画面、視点が表示されない非表示画面のいずれであるのか予め決められ、各画面に対応づけられている。
In the present embodiment, the
具体的には、非表示画面は、視点が表示されるとプライバシーが守られなくなる懸念があり、視点を表示しないことに利点がある（表示すると不都合がある）画面である。すなわち、本実施形態においては放送再生プログラムのユーザインタフェース画面（動画再生画面）が非表示画面として予め決められている。ナビゲーションプログラムのユーザインタフェース画面においては、視点を表示することに不都合はなく、ボタン操作等の入力に視点が利用されるため、ナビゲーションプログラムのユーザインタフェース画面が表示画面として予め決められている。 Specifically, the non-display screen is a screen that has a concern that privacy may not be protected when the viewpoint is displayed, and is advantageous in not displaying the viewpoint (inconvenient if displayed). That is, in this embodiment, the user interface screen (moving image playback screen) of the broadcast playback program is determined in advance as a non-display screen. On the user interface screen of the navigation program, there is no inconvenience in displaying the viewpoint, and the viewpoint is used for input such as button operation. Therefore, the user interface screen of the navigation program is predetermined as the display screen.
表示情報３０ａには、ユーザインタフェース画面毎に当該画面が表示画面、非表示画面のいずれであるのかを示す情報が対応づけられている。従って、制御部２０は、表示情報３０ａを参照することにより、ユーザインタフェース画面が表示画面、非表示画面のいずれであるのかを特定することができる。
Information indicating whether the screen is a display screen or a non-display screen is associated with the
視点表示制御部２１ｃは、予め決められたユーザインタフェース画面である表示画面には、検出された視点を表示し、表示画面以外の非表示画面には、検出された視点を表示しない機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、表示情報３０ａを参照し、ＵＩ画面表示制御部２１ｂの処理によって表示される画面が表示画面、非表示画面のいずれであるのかを特定する。
The viewpoint
ＵＩ画面表示制御部２１ｂの処理によって表示される画面が表示画面である場合、制御部２０は、視点検出部２１ａの処理によって検出された視点を取得する。視点を示すアイコンの画像情報は表示情報３０ａに記録されており、制御部２０は、当該視点に視点を示すアイコンが表示されるように表示画面の描画情報を修正する。この状態においてＵＩ画面表示制御部２１ｂの処理によって表示画面がディスプレイ４０に表示されると、検出された視点に視点を示すアイコンが重畳された状態となる。
When the screen displayed by the process of the UI screen
ＵＩ画面表示制御部２１ｂの処理によって表示される画面が非表示画面である場合、制御部２０は、ユーザインタフェース画面に視点を重畳しない。以上の構成によれば、ユーザインタフェース画面毎に視点の表示と非表示とを制御することができる。また、本実施形態において、視点が表示されるとプライバシーが守られなくなる懸念があり、視点が表示されると不都合である画面は、予め非表示画面として決められている。さらに、視点が表示されることによって視点による入力を受け付けるべき画面は、予め表示画面として決められている。従って、予め決められた表示画面および非表示画面の分類に従って視点が画面上に表示され、または非表示とされることにより、視点が画面上に表示されることによる不都合を生じさせることはないし、視点が必要な場合に視点が表示されないという不都合を生じさせることもない。
When the screen displayed by the process of the UI screen
なお、検出された視点は非表示画面に表示されないため、視点の検出内容は非表示画面における表示内容に対して寄与しない状態となる。本実施形態においては、この状況において、視点の検出機能を継続することもできるし、視点の検出機能を停止することもできる。具体的には、本実施形態においては、非表示画面が表示されている状態において視点検出機能を停止させるか否かを予め決めることができる。そして、表示情報３０ａにおいては、非表示画面の情報に対して視点検出機能を停止させるか否かを示す情報が対応付けられて記録される。視点検出機能を停止させるか否かを示す情報は、利用者によって定義されて表示情報３０ａに記録されても良いし、予め決められていても良い。
Since the detected viewpoint is not displayed on the non-display screen, the detected content of the viewpoint does not contribute to the display content on the non-display screen. In this embodiment, in this situation, the viewpoint detection function can be continued, or the viewpoint detection function can be stopped. Specifically, in this embodiment, whether or not to stop the viewpoint detection function in a state where a non-display screen is displayed can be determined in advance. In the
ディスプレイ４０に非表示画面が表示される場合、制御部２０は、視点検出部２１ａの処理により表示情報３０ａを参照する。そして、当該表示対象の非表示画面の情報に対して視点検出機能を停止させることを示す情報が対応づけられている場合、視線検出センサ４２に制御信号を出力し、利用者の視線の検出を停止させる。この場合、視線の検出が行われない状態になるため、視点の検出も停止する。この状態においては、表示制御システム１０によって利用者の視線および視点が検出されることはないため、視点のログが記録されているなど、利用者が認知できない状態で視線や視点が利用されることはない。従って、利用者は安心してディスプレイ４０の視認等を行うことができる。
When a non-display screen is displayed on the
表示対象の非表示画面の情報に対して視点検出機能を停止させることを示す情報が対応づけられていない場合、制御部２０は、視点検出部２１ａの処理により、視点の検出を継続する。このように視点の検出が継続している状態であれば、非表示画面から表示画面に切り替わった場合など、視点が利用される場合において視線検出センサ４２の再起動などが行われる必要はなく、早期に視点を表示画面に表示可能である。
When the information indicating that the viewpoint detection function is stopped is not associated with the information on the non-display screen to be displayed, the
（２）表示制御処理：
次に上述の構成における表示制御処理を詳細に説明する。図２は、当該表示制御処理を示すフローチャートである。本実施形態においては、ユーザインタフェース画面の表示が行われる際に制御部２０が図２に示す表示制御処理を実行する。表示制御処理において、制御部２０は、表示対象のユーザインタフェース画面の描画を開始する（ステップＳ１００）。すなわち、制御部２０は、画面描画のトリガがナビゲーションプログラム、放送再生プログラムのいずれで生じたのかを判定する。トリガがナビゲーションプログラムによって生じた場合、制御部２０はＵＩ画面表示制御部２１ｂの処理によって表示情報３０ａを参照し、当該トリガによって表示すべきユーザインタフェース画面の描画を開始する。
を特定する。
(2) Display control processing:
Next, the display control process in the above configuration will be described in detail. FIG. 2 is a flowchart showing the display control process. In this embodiment, when the user interface screen is displayed, the
Is identified.
トリガが放送再生プログラムによって生じた場合、制御部２０は、図示しない通信モジュールから放送信号を取得し、放送信号をデコードして動画情報を取得する。そして、制御部２０は、ＵＩ画面表示制御部２１ｂの処理によって表示情報３０ａを参照し、動画再生画面に動画が重畳されたユーザインタフェース画面の描画を開始する。
When the trigger is generated by the broadcast reproduction program, the
次に、制御部２０は、視点検出部２１ａの処理により、視点を検出する（ステップＳ１０５）。制御部２０は、視線検出センサ４２の出力に基づいて、車室内の空間上の位置を規定する３次元座標系において利用者の目の位置および視線方向を取得する。さらに、制御部２０は、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０における表示面との交点を特定する。そして、当該交点の位置を画面座標系の位置に変換することにより、利用者の視点の位置をディスプレイ４０上で特定する。
Next, the
次に、制御部２０は、視点表示制御部２１ｃの処理により、ステップＳ１００で描画が開始されたユーザインタフェース画面が表示画面であるか否かを判定する（ステップＳ１１０）。すなわち、制御部２０は、表示情報３０ａを参照し、ステップＳ１００で表示対象とされたユーザインタフェース画面に対応づけられた情報を特定する。そして、制御部２０は、当該情報が表示画面であることを示していたらユーザインタフェース画面が表示画面であると判定する。当該情報が非表示画面であることを示していたら、制御部２０は、ユーザインタフェース画面が表示画面であると判定しない（非表示画面であると判定する）。
Next, the
ステップＳ１１０において、ユーザインタフェース画面が表示画面であると判定された場合、制御部２０は、視点表示制御部２１ｃの処理により、視点を描画する（ステップＳ１１５）。すなわち、制御部２０は、視点表示制御部２１ｃの処理により、表示情報３０ａを参照して視点を示すアイコンの画像情報を取得する。そして、制御部２０は、ステップＳ１００において確保されたＲＡＭの領域内の中から、ステップＳ１０５において特定された視点に当該アイコンの画像を表示するためにアイコンの画像情報を記録すべき領域を特定する。そして、制御部２０が当該領域にアイコンの画像を記録することで、表示画面上の視点にアイコンを表示させるための描画を行う。
When it is determined in step S110 that the user interface screen is a display screen, the
一方、ステップＳ１１０において、ユーザインタフェース画面が表示画面であると判定されない場合、制御部２０は、ステップＳ１１５を実行せず、ユーザインタフェース画面上に視点を表示しない。また、この場合、制御部２０は、視点検出部２１ａの処理により、ステップＳ１００で描画が開始されたユーザインタフェース画面が視点検出の禁止された画面であるか否かを判定する（ステップＳ１２０）。すなわち、制御部２０は、表示情報３０ａを参照し、ステップＳ１００で表示対象とされたユーザインタフェース画面に対応づけられた情報を特定する。そして、制御部２０は、当該情報が視点検出機能を停止させる画面であることを示していたら、ユーザインタフェース画面が視点検出の禁止された画面であると判定する。
On the other hand, when it is determined in step S110 that the user interface screen is not a display screen, the
ステップＳ１２０において、ユーザインタフェース画面が視点検出の禁止された画面であると判定された場合、制御部２０は、視点検出部２１ａの処理により視点検出を停止させる（ステップＳ１２５）。すなわち、制御部２０は、視線検出センサ４２に制御信号を出力し、利用者の視線の検出を停止させる。この結果、視点の検出もできない状態となり、視点の検出が停止される。ステップＳ１２０において、ユーザインタフェース画面が視点検出の禁止された画面であると判定されない場合、ステップＳ１２５がスキップされる。
If it is determined in step S120 that the user interface screen is a screen for which viewpoint detection is prohibited, the
ステップＳ１１５またはステップＳ１２５が実行された場合、または、ステップＳ１２０において、ユーザインタフェース画面が視点検出の禁止された画面であると判定されない場合、制御部２０は、ＵＩ画面表示制御部２１ｂの処理により、ユーザインタフェース画面を表示させる（ステップＳ１３０）。すなわち、制御部２０は、ＲＡＭに対するデータの記録（すなわち描画）が完了したら、当該ＲＡＭに記録された画像情報をディスプレイ４０に対して出力する。この結果、表示対象のユーザインタフェース画面がディスプレイ４０に表示される。
When step S115 or step S125 is executed, or when it is not determined in step S120 that the user interface screen is a screen for which viewpoint detection is prohibited, the
図３Ａは、ナビゲーションプログラムのユーザインタフェース画面の例、すなわち、表示画面の例を示している。図３Ａに示す例においては、ディスプレイ４０に地図が表示され、当該地図にボタンＢ1，Ｂ2が表示されている。矢印のアイコンは視点Ｐを示しており、図３Ａに示す例においては、視点がユーザインタフェース画面に表示されている。利用者は、視点を移動させることによりアイコンを移動させ、視点がボタン上に存在する状態でまばたき等を行うことによって各種の入力を行うことができる。
FIG. 3A shows an example of a user interface screen of the navigation program, that is, an example of a display screen. In the example shown in FIG. 3A, a map is displayed on the
図３Ｂは、放送再生プログラムのユーザインタフェース画面の例、すなわち、非表示画面の例を示している。図３Ｂに示す例においては、ディスプレイ４０上で人物を含む動画が再生され、動画が再生される領域の右側にチャンネル変更ボタンＢ3，Ｂ4が表示されている。図３Ｂに示す非表示画面においては、図３Ａに示すような矢印のアイコンは表示されない。従って、利用者が再生動画のどの部位を視認していても、利用者が視認している位置が周囲の他者に知られることはない。このため、プライバシーを守ることができる。
FIG. 3B shows an example of a user interface screen of the broadcast reproduction program, that is, an example of a non-display screen. In the example shown in FIG. 3B, a moving image including a person is reproduced on the
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、視点が表示される表示画面と表示されない非表示画面とが予め決められている限りにおいて、他にも種々の実施形態を採用可能である。例えば、表示制御システムは、各種のシステム、汎用コンピュータシステムに適用されていても良い。また、表示制御システムは、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。
(3) Other embodiments:
The above embodiment is an example for carrying out the present invention, and various other embodiments can be adopted as long as the display screen on which the viewpoint is displayed and the non-display screen that is not displayed are determined in advance. is there. For example, the display control system may be applied to various systems and general-purpose computer systems. Further, the display control system may be a system realized by a plurality of devices (for example, a client and a server).
さらに、表示制御システムを構成する視点検出部２１ａ、ＵＩ画面表示制御部２１ｂ、視点表示制御部２１ｃの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、ＵＩ画面表示制御部２１ｂや視点表示制御部２１ｃがディスプレイ４０内の制御部で実現されても良いし、視点検出部２１ａが視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
Furthermore, at least a part of the
視点検出部は、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を視点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。 The viewpoint detection unit only needs to be able to detect the viewpoint of the user, and various configurations can be employed. For example, as in the above-described embodiment, the line of sight is specified by specifying the movement of the user's eyes based on the output of the camera that captures the user's eyes, and the intersection of the line of sight and the previously specified display screen It is possible to adopt a configuration that regards as a viewpoint. The number of eyes to be detected may be one or two, but in order to improve accuracy, it is preferable that the number of eyes to be detected is two. The viewpoint when the eyes of two eyes are specified may be statistically specified from each viewpoint specified based on the eyes of each eye, or the viewpoint is specified based on the bias by the dominant eye. Also good.
ＵＩ画面表示制御部は、複数のユーザインタフェース画面の少なくとも１個を表示部に表示することができればよい。すなわち、表示部に各種の画像を表示し、当該画像（アイコンや地図等）を介して利用者の入力を受け付けるように構成されていれば良い。ユーザインタフェース画面の態様や種類、ユーザインタフェース画面によって受け付けた利用者の入力に応じて実現される機能は特に限定されない。なお、表示されるユーザインタフェース画面は常に１個であっても良いし、複数個表示され得る構成であっても良い。後者としては、例えば、あるユーザインタフェース画面に他のユーザインタフェース画面がポップアップ表示される構成等が挙げられる。 The UI screen display control unit only needs to display at least one of the plurality of user interface screens on the display unit. In other words, it is only necessary to display various images on the display unit and accept user input via the images (icons, maps, etc.). The mode and type of the user interface screen, and the function realized according to the user input received through the user interface screen are not particularly limited. Note that the number of displayed user interface screens may always be one, or a plurality of user interface screens may be displayed. Examples of the latter include a configuration in which another user interface screen is pop-up displayed on a certain user interface screen.
視点表示制御部は、予め決められたユーザインタフェース画面である表示画面には、検出された視点を表示し、表示画面以外の非表示画面には、検出された視点を表示しないように視点の表示と非表示とを制御することができればよい。 The viewpoint display control unit displays the detected viewpoint on the display screen, which is a predetermined user interface screen, and displays the viewpoint so that the detected viewpoint is not displayed on a non-display screen other than the display screen. And non-display only need to be controlled.
表示画面は、複数のユーザインタフェース画面の中の少なくとも１個の画面であり、表示画面であるか否かは予め決められていれば良い。ただし、表示画面は、視点が表示されるユーザインタフェース画面であるため、視点を表示することに利点がある画面であってもよい。例えば、当該画面に関連する処理において視点が利用される（選択肢の選択や決定、ポインタの移動、視点情報の利用（ポインティングデバイスによる入力の補正等）等が行われる）場合に、当該画面を表示画面とする構成等が挙げられる。むろん、上述の実施形態のように、非表示画面以外のユーザインタフェース画面を表示画面としても良い。 The display screen is at least one screen among a plurality of user interface screens, and whether or not it is a display screen may be determined in advance. However, since the display screen is a user interface screen on which the viewpoint is displayed, it may be a screen that has an advantage in displaying the viewpoint. For example, when a viewpoint is used in processing related to the screen (selection and determination of options, movement of a pointer, use of viewpoint information (correction of input using a pointing device, etc.), etc., the screen is displayed. Examples include a screen configuration. Of course, as in the above-described embodiment, a user interface screen other than the non-display screen may be used as the display screen.
非表示画面は、複数のユーザインタフェース画面の中の少なくとも１個の画面であり、非表示画面であるか否かは予め決められていれば良い。ただし、非表示画面は、視点が表示されないユーザインタフェース画面であるため、視点を表示しないことに利点がある（表示すると不都合がある）画面である。例えば、利用者（視点が検出された者）以外の他者が、画面内の視点を把握できないようにすべき画面等は非表示画面となる。このような非表示画面としては、例えば、認証情報の入力画面や、画面上の視点の他者への漏洩によってプライバシーが守られなくなる画面（上述のような動画再生画面の他、ブラウザ画面、連絡帳画面等が該当）が挙げられる。 The non-display screen is at least one screen among the plurality of user interface screens, and whether or not it is a non-display screen may be determined in advance. However, the non-display screen is a user interface screen in which the viewpoint is not displayed, and thus has an advantage in not displaying the viewpoint (it is inconvenient if displayed). For example, a screen or the like that should prevent other persons other than the user (the person whose viewpoint has been detected) from grasping the viewpoint in the screen is a non-display screen. Such non-display screens include, for example, an authentication information input screen, a screen in which privacy cannot be protected due to leakage of the viewpoint on the screen (in addition to the video playback screen as described above, a browser screen, a contact screen, etc. Such as a book screen).
表示画面上に表示される視点は、利用者の視線と表示部上の画面との交点として検出された位置である。従って、表示画面に視点が表示されると、利用者が視認している位置が表示画面上で具体的に特定された状態となる。非表示画面においては、検出された視点が表示されなければ良く、利用者が視認しているとして特定された視点が非表示画面上に具体的に特定されなければ良い。 The viewpoint displayed on the display screen is a position detected as an intersection between the user's line of sight and the screen on the display unit. Therefore, when the viewpoint is displayed on the display screen, the position visually recognized by the user is specifically specified on the display screen. On the non-display screen, it is sufficient that the detected viewpoint is not displayed, and it is only necessary that the viewpoint specified as being visually recognized by the user is not specifically specified on the non-display screen.
従って、視点が具体的に表示されない状態で視点に関する情報が利用者に対して表示されても良い。例えば、非表示画面内に視点が存在することを示す情報を、視点表示制御部が表示部に表示する構成であっても良い。すなわち、視点が具体的に特定される状態で非表示画面上に視点が表示されることはないが、視点の検出は行われ、視点が非表示画面に存在する場合には、非表示画面内に視点が存在することを示す情報が表示される。この構成は、例えば、上述の実施形態のステップＳ１１０において、ユーザインタフェース画面が表示画面であると判定されない場合に、制御部２０が視点表示制御部２１ｃの処理により、画面全体を特定の色で着色するなどの構成によって実現可能である。
Accordingly, information regarding the viewpoint may be displayed to the user in a state where the viewpoint is not specifically displayed. For example, the viewpoint display control unit may display information indicating that the viewpoint exists in the non-display screen on the display unit. In other words, the viewpoint is not displayed on the non-display screen in a state where the viewpoint is specifically specified, but when the viewpoint is detected and the viewpoint exists on the non-display screen, Information indicating that a viewpoint exists is displayed. In this configuration, for example, when the user interface screen is not determined to be a display screen in step S110 of the above-described embodiment, the
この構成によれば、利用者は、視点は検出されているものの、具体的に視点を特定することはできない状況であることを認識することができる。なお、非表示画面内に視点が存在することを示す情報は、視点を具体的に示すことなく非表示画面内に視点が存在することを示していれば良く、非表示画面全体が特定の色に着色される構成の他、非表示画面内に視点が存在することを示すアイコン等が非表示画面内の固定位置（例えば、中央等）に表示される構成等によって実現可能である。 According to this configuration, the user can recognize that the viewpoint cannot be specifically specified although the viewpoint is detected. Note that the information indicating that the viewpoint exists in the non-display screen only needs to indicate that the viewpoint exists in the non-display screen without specifically indicating the viewpoint, and the entire non-display screen has a specific color. In addition to the configuration colored, an icon or the like indicating that a viewpoint exists in the non-display screen can be realized by a configuration or the like displayed at a fixed position (for example, the center) in the non-display screen.
上述の実施形態において視点検出を停止させる際には、視線の検出自体を停止することで視線に基づいて特定される視点の検出も停止していたが、表示部に非表示画面が表示される場合、視点検出部が、利用者の視線を検出し、視点の検出を停止する構成であっても良い。この構成によれば、視線の検出が継続されるため、例えば、視線が既定範囲外の方向を向いている場合によそ見防止の警告を行うなどの機能は継続させることができる。 When stopping the viewpoint detection in the above-described embodiment, the detection of the viewpoint specified based on the line of sight is stopped by stopping the detection of the line of sight, but a non-display screen is displayed on the display unit. In this case, the viewpoint detection unit may detect the user's line of sight and stop detection of the viewpoint. According to this configuration, since the detection of the line of sight is continued, for example, when the line of sight faces a direction outside the predetermined range, a function of giving a warning to prevent looking away can be continued.
さらに、非表示画面としての認証情報の入力画面は、例えば、認証情報を構成し得る番号や文字等のリストを含む画面として構成され得る。そして、認証情報の入力画面に視点が表示されない構成において、利用者は、画面上の明示的なアイコン等を利用することなく入力を行う。例えば、利用者がある番号を視認した状態でまばたきが行われた場合に当該番号の入力が受け付けられる構成等が採用可能である。この構成によれば、利用者以外の他者に認証情報を見られることを防止することができる。 Furthermore, the authentication information input screen as the non-display screen can be configured as a screen including a list of numbers, characters, and the like that can constitute the authentication information. In a configuration in which the viewpoint is not displayed on the authentication information input screen, the user performs input without using an explicit icon or the like on the screen. For example, it is possible to adopt a configuration that accepts input of a number when the user blinks while visually recognizing a certain number. According to this configuration, it is possible to prevent the authentication information from being seen by others other than the user.
さらに、本発明のように、視点が表示される表示画面と表示されない非表示画面とが予め決められている手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えたナビゲーションシステムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Furthermore, the method in which the display screen on which the viewpoint is displayed and the non-display screen on which the viewpoint is not displayed as in the present invention can be applied as a program or a method. The system, program, and method as described above can be realized as a single device or can be realized as a plurality of devices, and include various aspects. For example, it is possible to provide a navigation system, method, and program provided with the above means. Further, some changes may be made as appropriate, such as a part of software and a part of hardware. Furthermore, the invention can be realized as a recording medium for a program for controlling the system. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
１０…表示制御システム、２０…制御部、２１…表示制御プログラム、２１ａ…視点検出部、２１ｂ…ＵＩ画面表示制御部、２１ｃ…視点表示制御部、３０…記録媒体、３０ａ…表示情報、４０…ディスプレイ、４２…視線検出センサ
DESCRIPTION OF
Claims (6)
複数のユーザインタフェース画面の少なくとも１個を表示部に表示するＵＩ画面表示制御部と、
予め決められた前記ユーザインタフェース画面である表示画面には、検出された前記視点を表示し、前記表示画面以外の非表示画面には、検出された前記視点を表示しない視点表示制御部と、
を備える表示制御システム。 A viewpoint detection unit that detects a user's viewpoint;
A UI screen display control unit for displaying at least one of a plurality of user interface screens on the display unit;
A viewpoint display control unit that displays the detected viewpoint on a display screen that is the predetermined user interface screen and does not display the detected viewpoint on a non-display screen other than the display screen;
A display control system comprising:
前記非表示画面内に前記視点が存在することを示す情報を前記表示部に表示する、
請求項１に記載の表示制御システム。 The viewpoint display control unit
Displaying information indicating that the viewpoint exists in the non-display screen on the display unit;
The display control system according to claim 1.
前記視点検出部は、
前記利用者の視線を検出し、前記視点の検出を停止する、
請求項１または請求項２のいずれかに記載の表示制御システム。 When the non-display screen is displayed on the display unit,
The viewpoint detection unit
Detecting the user's line of sight and stopping the detection of the viewpoint;
The display control system according to claim 1.
前記視点検出部は、
前記利用者の視線の検出および前記視点の検出を停止する、
請求項１または請求項２のいずれかに記載の表示制御システム。 When the non-display screen is displayed on the display unit,
The viewpoint detection unit
Stop detecting the user's line of sight and detecting the viewpoint;
The display control system according to claim 1.
認証情報の入力画面である、
請求項１〜請求項４のいずれかに記載の表示制御システム。 The non-display screen is
This is the authentication information input screen.
The display control system according to any one of claims 1 to 4.
利用者の視点を検出する視点検出部、
複数のユーザインタフェース画面の少なくとも１個を表示部に表示するＵＩ画面表示制御部、
予め決められた前記ユーザインタフェース画面である表示画面には、検出された前記視点を表示し、前記表示画面以外の非表示画面には、検出された前記視点を表示しない視点表示制御部、
として機能させる表示制御プログラム。 Computer
A viewpoint detector that detects the user's viewpoint;
A UI screen display control unit for displaying at least one of a plurality of user interface screens on the display unit;
A viewpoint display control unit that displays the detected viewpoint on a display screen that is the predetermined user interface screen, and does not display the detected viewpoint on a non-display screen other than the display screen;
Display control program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016212596A JP2018073145A (en) | 2016-10-31 | 2016-10-31 | Display control system and display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016212596A JP2018073145A (en) | 2016-10-31 | 2016-10-31 | Display control system and display control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018073145A true JP2018073145A (en) | 2018-05-10 |
Family
ID=62115443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016212596A Pending JP2018073145A (en) | 2016-10-31 | 2016-10-31 | Display control system and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018073145A (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011048179A (en) * | 2009-08-27 | 2011-03-10 | Ricoh Co Ltd | Display device |
| JP2011243108A (en) * | 2010-05-20 | 2011-12-01 | Nec Corp | Electronic book device and electronic book operation method |
| JP2015170175A (en) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | Information processing apparatus, and information processing method |
-
2016
- 2016-10-31 JP JP2016212596A patent/JP2018073145A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011048179A (en) * | 2009-08-27 | 2011-03-10 | Ricoh Co Ltd | Display device |
| JP2011243108A (en) * | 2010-05-20 | 2011-12-01 | Nec Corp | Electronic book device and electronic book operation method |
| JP2015170175A (en) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | Information processing apparatus, and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10466800B2 (en) | Vehicle information processing device | |
| US10528150B2 (en) | In-vehicle device | |
| US8831828B2 (en) | In-vehicle information system, in-vehicle apparatus and information terminal | |
| JP5225820B2 (en) | Input device, vehicle periphery monitoring device, icon switch selection method and program | |
| KR20150098361A (en) | Head mounted display and method for controlling the same | |
| KR20150135847A (en) | Glass type terminal and control method thereof | |
| JP6277567B1 (en) | Terminal device and program | |
| WO2016043515A1 (en) | Head-mounted display device controlled by tapping, control method therefor, and computer program for controlling display device | |
| KR20130107697A (en) | Apparatus and method for displaying background screen of navigation device | |
| US10771707B2 (en) | Information processing device and information processing method | |
| JP2016038621A (en) | Space input system | |
| JP2010117917A (en) | Motion detection apparatus and operation system | |
| JP2016126687A (en) | Head-mounted display, operation reception method, and operation reception program | |
| JP6033465B2 (en) | Display control device | |
| WO2014103217A1 (en) | Operation device and operation detection method | |
| US11842119B2 (en) | Display system that displays virtual object, display device and method of controlling same, and storage medium | |
| US11341940B2 (en) | Head mounted display and setting method | |
| JP2018073145A (en) | Display control system and display control program | |
| US20240288948A1 (en) | Wearable terminal apparatus, program, and image processing method | |
| TW201926050A (en) | Vehicle multi-display control system and vehicle multi-display control method | |
| JP6371589B2 (en) | In-vehicle system, line-of-sight input reception method, and computer program | |
| JP2018063523A (en) | Display control system and display control program | |
| JP6180306B2 (en) | Display control apparatus and display control method | |
| JP2018063322A (en) | Display control system and display control program | |
| JP2018073147A (en) | Display control system and display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190513 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200901 |