JP2018101230A - 入力システム、入力プログラム - Google Patents

Abstract

【課題】入力システムにおける利便性を向上させる技術の提供。
【解決手段】利用者の視点を検出する視点検出部と、操作部に対する前記利用者の操作を検出する操作検出部と、複数の指示を受け付けるためのユーザインタフェース画面を表示部に表示する表示制御部と、前記視点が前記ユーザインタフェース画面上に存在する場合、複数の前記指示の全てを前記操作部によって受付可能に設定し、前記視点が前記ユーザインタフェース画面上に存在しない場合、複数の前記指示の一部のみを前記操作部によって受付可能に設定し、前記操作部による前記指示を受け付ける操作指示受付部と、を備える入力システムを構成する。
【選択図】図１

Description

本発明は、入力システム、入力プログラムに関する。

従来、利用者が画面を視認しているか否かに応じて、画面表示等の態様を変えることが知られている。例えば特許文献１には、運転者が車両内の画面を視認していないと判定される場合に当該画面の輝度を下げることが記載されている。特許文献２には、運転者がナビゲーションシステムの表示部を視認している場合には当該表示部に表示された地図上に運転方向を提示し、表示部を視認していない場合には音声にて運転方向を案内することが記載されている。

特開２００８−２９２７５３号公報 特表２０１４−５１６１８１号公報

ユーザインタフェース画面を表示する表示部とタッチパッド等の操作部とを用いて指示を入力する入力システムの場合、例えば、利用者は画面を視認しながら、画面内に表示されたボタン（当該指示に対応するボタン）にポインタやカーソル等を移動させ、当該ボタンを選択する、等の一連の操作を行う。しかしそれら一連の操作を行うためには上述のように利用者は画面を視認する必要がある。画面を視認しなくても操作部を介して指示が入力できることができれば、利便性が向上する。
本発明は、上記課題にかんがみてなされたもので、入力システムにおける利便性を向上させる技術の提供を目的とする。

上記の目的を達成するため、入力システムは、利用者の視点を検出する視点検出部と、操作部に対する利用者の操作を検出する操作検出部と、複数の指示を受け付けるためのユーザインタフェース画面を表示部に表示する表示制御部と、視点がユーザインタフェース画面上に存在する場合、複数の指示の全てを操作部によって受付可能に設定し、視点がユーザインタフェース画面上に存在しない場合、複数の指示の一部のみを操作部によって受付可能に設定し、操作部による指示を受け付ける操作指示受付部と、を備える。

さらに、上記の目的を達成するため、入力プログラムは、コンピュータを、利用者の視点を検出する視点検出部、操作部に対する利用者の操作を検出する操作検出部、複数の指示を受け付けるためのユーザインタフェース画面を表示部に表示する表示制御部、視点がユーザインタフェース画面上に存在する場合、複数の指示の全てを操作部によって受付可能に設定し、視点がユーザインタフェース画面上に存在しない場合、複数の指示の一部のみを操作部によって受付可能に設定し、操作部による指示を受け付ける操作指示受付部、として機能させる。

すなわち、入力システム、プログラムでは、ユーザインタフェース画面に視点が存在しない場合であっても、ユーザインタフェース画面に視点が存在する場合に受付可能な複数の指示のうちの一部の指示については、受付可能である。したがって、利用者は当該一部の指示については、ユーザインタフェース画面を視認することなく操作部を介して入力することが可能であり、利便性が向上する。なお、利用者はユーザインタフェース画面を視認することで、当該一部の指示を含む複数の指示を、操作部を介してそれぞれ入力することが可能である。そのため当該一部の指示や当該一部の指示以外の多様な指示を、利用者はユーザインタフェース画面を視認しながら操作部を介して入力することが可能である。

入力システムのブロック図である。 図２Ａは画面例を示す図、図２Ｂは各指示の受付可否を示す図である。 図３Ａは入力処理を示すフローチャート、図３Ｂは操作内容と処理との対応を示す図である。 他の実施形態にかかる画面例を示す図。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）入力システムの構成：
（２）入力処理：
（３）他の実施形態：

（１）入力システムの構成：
図１は、本発明の一実施形態である入力システム１０の構成を示すブロック図である。入力システム１０は車両に搭載されている。入力システム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。

本実施形態において、制御部２０は、図示しないオーディオ制御プログラムや、空調制御プログラムや、ナビゲーションプログラム等を実行することができる。制御部２０は、オーディオ制御プログラムを実行することにより、記録媒体３０に記録された楽曲（トラック）を再生するオーディオ機能を実現することができる。また制御部２０は、空調制御プログラムを実行することにより、車室内の温度調整を含む空調制御機能を実現することができる。

また制御部２０は、ナビゲーションプログラムを実行することにより、ディスプレイ４０に地図を表示し、図示しないＧＰＳ信号等に基づいて入力システム１０が搭載された車両を指定の目的地まで誘導する経路案内機能を実現することができる。

本実施形態においては、以上のような各プログラムで実現される機能に関するユーザインタフェースを提供するため、制御部２０は、図示しないＲＯＭや記録媒体３０等に記録された入力プログラム２１を実行する。入力プログラム２１には、後述する入力処理が含まれる。入力プログラム２１による処理を実行するため、車両は、ディスプレイ（表示部）４０、タッチパッド４１および視線検出センサ４２を備えている。

ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。タッチパッド４１は、矩形平面の接触検出面を備えた入力デバイスであり、接触検出面に対して検出対象物が接触した位置を検出し、検出位置を示す座標を出力する。制御部２０は、当該座標に基づいて接触位置を取得する。

視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。

以上の構成において、制御部２０は、ディスプレイ４０およびタッチパッド４１をユーザインタフェースとして利用し、ユーザインタフェース画面を介して利用者による入力を受け付ける。このために入力プログラム２１は、視点検出部２１ａと操作検出部２１ｂと表示制御部２１ｃと操作指示受付部２１ｄとを備えている。

視点検出部２１ａは、利用者の視点を検出する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となるディスプレイ４０の位置が、車室内空間の位置を既定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の表示面との交点を視点として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えば、インストルメントパネル等）上に存在すると判定されても良い。

操作検出部２１ｂは、タッチパッド４１に対する利用者の操作を検出する機能を制御部２０に実現させるプログラムモジュールである。制御部２０は操作検出部２１ｂの処理により、タッチパッド４１から出力される信号に基づいて、利用者が接触したタッチパッド４１上の座標を取得する。制御部２０は、経時的な当該座標の変化に基づいて利用者の操作（タップ操作やなぞり操作等）を特定する。具体的には例えば、制御部２０は、接触開始から接触完了までの間に検出された接触座標が接触開始座標を含む既定範囲内である操作をタップ操作と判断する。また制御部２０は、接触開始から接触終了までの間に検出された接触座標が接触開始座標を含む既定範囲外となる操作をなぞり操作と判断する。なぞり操作には、所謂スワイプ操作やフリック操作が含まれる。なお、本明細書においては、接触開始から接触終了までを１操作という。

表示制御部２１ｃは、ディスプレイ４０（表示部）にユーザインタフェース画面を表示する機能を制御部２０に実現させるプログラムモジュールである。ユーザインタフェース画面を構成するオブジェクトを描画するための画像情報（ボタン（アイコン）描画情報や、文字描画情報、地図描画情報等）は予め表示情報３０ａとして記録媒体３０に記録されている。

例えば制御部２０がオーディオ制御プログラムを実行すると、制御部２０は表示情報３０ａを参照して、記録媒体３０に記録されているトラックのリストや音量調整やトラック指定のためのボタン等を含むユーザインタフェース画面をＲＡＭに記録する（描画する）。制御部２０は、表示制御部２１ｃの処理により、当該描画されたユーザインタフェース画面の情報を取得し、当該ユーザインタフェース画面を表示するための制御信号をディスプレイ４０に対して出力する。この結果、オーディオ制御プログラムにおけるユーザインタフェース画面がディスプレイ４０に表示される。

図２Ａは、オーディオ制御プログラムにおけるユーザインタフェース画面の一例としての画面４０ａを示している。画面４０ａには、音量アップボタンｂ１、音量ダウンボタンｂ２、トラックダウンボタンｂ３、トラックアップボタンｂ４、トラック指定ボタンｂ５（ｂ５１〜ｂ５６）が含まれている。トラック指定ボタンｂ５のそれぞれは、トラックリストの要素としての表示を兼ねている。また画面４０ａには音量レベルを示す音量インジケータｖｉや、トラックリストの表示範囲を示すスクロールバーｓｂも含まれている。

音量アップボタンｂ１は音量アップ指示を受け付けるためのオブジェクトであり、音量ダウンボタンｂ２は音量ダウン指示を受け付けるためのオブジェクトである。トラックアップボタンｂ４は、再生対象トラックを現在再生中のトラックの次のトラック（トラックリスト内の並び順における次のトラック）に進めるトラックアップ指示を受け付けるためのオブジェクトである。トラックダウンボタンｂ３は、再生対象トラックを現在再生中のトラックの一つ前のトラックに戻す（あるいは現在再生中のトラックの曲頭から再生しなおす）トラックダウン指示を受け付けるためのオブジェクトである。トラック指定ボタンｂ５は、再生対象とするトラックを直接指定するトラック指定指示を受け付けるためのオブジェクトである。

また、画面４０ａには、カーソルＣとポインタＰとが表示される。ポインタＰはタッチパッド４１に対するなぞり操作に応じた画面４０ａ内の任意の位置に移動し、当該任意の位置を指し示す図形である。カーソルＣは、ポインタＰが指し示しているボタンを他のボタンと識別可能に示す図形（例えばボタンの輪郭線と相似形の図形）である。カーソルＣは、ポインタＰの指し示す位置にボタンが表示されている場合に、当該ボタンに対して表示される。例えば、図２Ａにおいては、トラック指定ボタンｂ５をポインタＰが指し示しており、カーソルＣがトラック指定ボタンｂ５に表示されていることを示している。ポインタＰおよびカーソルＣは、画面４０ａに視点が存在する場合に表示され画面４０ａに視点が存在しない場合には表示されなくてよい。

操作指示受付部２１ｄは、タッチパッド４１に対してなされた操作による指示を受け付ける機能を制御部２０に実現させるためのプログラムモジュールである。本実施形態では、操作指示受付部２１ｄにより、利用者の視点がディスプレイ４０に存在するか否かに応じて、受付可能な指示が異なるように制御される。視点が画面上に存在する場合、制御部２０は、詳細操作モードで操作に応じた指示を受け付ける。一方、視点が画面に存在しない場合、制御部２０は、簡易操作モードで操作に応じた指示を受け付ける。簡易操作モードにおいて受付可能な指示は、詳細操作モードにおいて受付可能な複数の指示のうちの一部である。

図２Ｂは、画面４０ａがディスプレイ４０に表示されている場合の、各指示の受付可否をモード別に示す図である。同図に示すように、詳細操作モードでは、音量アップ指示、音量ダウン指示、トラックアップ指示、トラックダウン指示、トラック指定指示を受付可能に設定される。簡易操作モードでは、詳細操作モードで受付可能な指示のうち、音量アップ指示、音量ダウン指示、トラックアップ指示、トラックダウン指示のみが受付可能に設定される。このように本実施形態では、簡易操作モードにおいて受付可能な指示は、詳細操作モードにおいて受付可能な指示と同一種類の機能（すなわちオーディオ機能）に関する指示である。簡易操作モードにおいて受付可能な指示が詳細操作モードにおいて受付可能な指示と異なる種類の機能である場合と比較すると、利用者はユーザインタフェース画面を見ずに入力可能な指示を容易に推定できる。

なお、詳細操作モードと簡易操作モードとでは、同じ指示を入力するための操作内容が異なる。具体的には、詳細操作モードにおいては、入力したい指示に対応するボタンにポインタＰを移動させる操作（なぞり操作）と、ポインタＰが当該ボタンを指し示している状態で当該ボタンの選択を決定する操作（タップ操作）の少なくとも２操作を行うことで当該ボタンに対応する指示を入力することができる。なお、タッチパッド４１に対して接触を開始してから接触を終了するまでを１操作というものとする。また、ポインタＰを目的のボタンの位置に移動させるためには、利用者は画面を視認する必要がある。

一方、簡易操作モードでは、タッチパッド４１の矩形平面の接触検出面上における予め決められた方向へのなぞり操作と受付可能な指示とが予め対応付けられている。具体的には、接触検出面を示す矩形領域において上辺、下辺、右辺、左辺が規定されている。タッチパッド４１の接触検出面における上下左右は、ディスプレイ４０において規定される上下左右にそれぞれ対応する。そして例えば、下辺から上辺に向かう方向であって上辺に対して直角（または略直角）に向かうなぞり操作（上方向へのなぞり操作）は、音量アップ指示に対応付けられている。このように、簡易操作モードでは予め決められた方向へのなぞり操作という１操作によって指示を入力することができる。したがって、簡易操作モードでは、詳細操作モードよりも簡易に指示を入力可能である。また、利用者は、タッチパッド４１の接触検出面における上述の上下左右の方向を一旦把握することができれば、タッチパッド４１の接触検出面やディスプレイ４０の画面を視認しなくても、タッチパッド４１の接触検出面上での予め決められた方向へのなぞり操作を行うことができる。

（２）入力処理：
次に、制御部２０が実行する入力処理を、図３Ａを参照しながら説明する。入力処理は、ディスプレイ４０にユーザインタフェース画面が表示されている間、繰り返し制御部２０によって実行される。入力処理が開始されると、制御部２０は操作検出部２１ｂの処理により、タッチパッド４１に対する操作がなされたか否かを判定する（ステップＳ１００）。ステップＳ１００において操作がなされたと判定されなかった場合、制御部２０は入力処理を終了する。

ステップＳ１００において操作がなされたと判定された場合、制御部２０は、視点検出部２１ａの処理により、利用者の視点を検出する（ステップＳ１０５）。本実施形態においては、視点が存在する位置がディスプレイ４０の画面内であるか画面外であるかを少なくとも判定できる精度で検出できればよいが、画面内にある場合には画面内において視点が位置する座標を取得するようにしてもよい。

続いて制御部２０は、操作指示受付部２１ｄの処理により、視点が画面内に存在するか否かを判定する（ステップＳ１１０）。そして、ステップＳ１１０において視点が画面内に存在すると判定された場合に制御部２０は、操作指示受付部２１ｄの処理により、詳細操作モードで操作内容に応じた指示を受け付ける（ステップＳ１１５）。具体的には制御部２０は、当該指示を受け付け、当該指示の内容を実現するための処理を実行する。ステップＳ１１０において視点が画面内に存在すると判定されなかった場合に制御部２０は、操作指示受付部２１ｄの処理により、簡易操作モードで操作内容に応じた指示を受け付ける（ステップＳ１２０）。具体的には制御部２０は、当該指示を受け付け、当該指示の内容を実現するための処理を実行する。

次に、ステップＳ１１５およびステップＳ１２０における処理内容の具体例を説明する。図３Ｂは、図２Ａに示す画面４０ａがディスプレイ４０に表示されている場合に、ステップＳ１１５とステップＳ１２０において制御部２０が実行する処理と操作との対応を示す図である。図２Ａに示す画面４０ａがディスプレイ４０に表示されている場合、ステップＳ１１５においては、図３Ｂに示す詳細操作モードで操作に応じた処理が実行される。具体的には、ステップＳ１００で検出した操作の内容が、上下左右の４方向を含む任意の方向へのなぞり操作である場合、制御部２０はなぞり操作の移動方向や移動量に応じた位置にポインタＰを移動させる。

ステップＳ１００で検出された操作がタップである場合であって、その際のポインタＰが音量アップボタンｂ１を指し示している場合、制御部２０は、音量アップ指示を受け付け、オーディオ制御プログラムを実行して音量を１レベルアップさせる。また、制御部２０は表示制御部２１ｃの処理により、音量インジケータｖｉを音量レベルに合わせて更新する。

ステップＳ１００で検出された操作がタップである場合であって、その際のポインタＰが音量ダウンボタンｂ２を指し示している場合、制御部２０は、音量ダウン指示を受け付け、オーディオ制御プログラムを実行して音量を１レベルダウンさせる。また、制御部２０は表示制御部２１ｃの処理により、音量インジケータｖｉを音量レベルに合わせて更新する。

ステップＳ１００で検出された操作がタップである場合であって、その際のポインタＰがトラックアップボタンｂ４を指し示している場合、制御部２０は、トラックアップ指示を受け付け、オーディオ制御プログラムを実行してトラックを進める。トラックアップ指示を受け付けたことに応じて、制御部２０は、画面４０ａのトラックリストにおいて表示対象とするトラックの範囲や、スクロールバーｓｂを更新してもよい。

ステップＳ１００で検出された操作がタップである場合であって、その際のポインタＰがトラックダウンボタンｂ３を指し示している場合、制御部２０は、トラックダウン指示を受け付け、オーディオ制御プログラムを実行してトラックを戻す。トラックダウン指示を受け付けたことに応じて、制御部２０は、画面４０ａのトラックリストにおいて表示対象とするトラックの範囲や、スクロールバーｓｂを更新してもよい。

ステップＳ１００で検出された操作がタップである場合であって、その際のポインタＰが上記以外のタップ操作に対応するオブジェクトを指し示している場合、制御部２０は、当該オブジェクトに対応付けられた処理を実行する。例えば図２Ａには図示されていない前画面に戻るボタンにポインタＰがある状態でタップがなされた場合、制御部２０は画面４０ａの一階層上の画面を画面４０ａに変わってディスプレイ４０に表示する。ステップＳ１００で検出された操作がタップである場合であって、その際のポインタＰがタップ操作に対応するオブジェクトを指し示していない場合（例えば背景部分を指し示している場合）、制御部２０は、タップ操作に応じた処理は実行しない。

図２Ａに示す画面４０ａがディスプレイ４０に表示されている場合、ステップＳ１２０においては、図３Ｂに示す簡易操作モードで操作に応じた処理が実行される。具体的には、ステップＳ１００で検出した操作の内容が、上方向へのなぞり操作である場合、制御部２０は、音量アップ指示を受け付け、オーディオ制御プログラムを実行して音量を１レベルアップさせる。また制御部２０は、表示制御部２１ｃの処理により、音量インジケータｖｉを音量レベルに合わせて更新する。

ステップＳ１００で検出した操作が、下方向へのなぞり操作（上辺から下辺に向かう方向であって下辺に対して直角（または略直角）に向かうなぞり操作）である場合、制御部２０は、音量ダウン指示を受け付け、オーディオ制御プログラムを実行して音量を１レベルダウンさせる。また制御部２０は、表示制御部２１ｃの処理により、音量インジケータｖｉを音量レベルに合わせて更新する。

ステップＳ１００で検出した操作が、右方向へのなぞり操作（左辺から右辺に向かう方向であって右辺に対して直角（または略直角）に向かうなぞり操作）である場合、制御部２０は、トラックアップ指示を受け付け、オーディオ制御プログラムを実行してトラックを進める。トラックアップ指示を受け付けたことに応じて、制御部２０は、画面４０ａのトラックリストにおいて表示対象とするトラックの範囲や、スクロールバーｓｂを更新してもよい。

ステップＳ１００で検出した操作が、左方向へのなぞり操作（右辺から左辺に向かう方向であって左辺に対して直角（または略直角）に向かうなぞり操作）である場合、制御部２０は、トラックダウン指示を受け付け、オーディオ制御プログラムを実行してトラックを戻す。トラックダウン指示を受け付けたことに応じて、制御部２０は、画面４０ａのトラックリストにおいて表示対象とするトラックの範囲や、スクロールバーｓｂを更新してもよい。

ステップＳ１００で検出した操作が、上下左右４方向以外への任意の方向へのなぞり操作である場合、制御部２０は、当該なぞり操作に応じた処理は実行しない。ステップＳ１００で検出した操作が、タップ操作である場合、制御部２０は、制御部２０はタップ操作に応じた処理は実行しない。

以上のように、詳細操作モードにおいては、画面内のボタンを選択する場合、なぞり操作によって当該ボタンにポインタを移動させ、タップ操作によって当該ボタンの選択を決定するという２操作が必要であり、タップ操作によって選択を決定しようとする対象が利用者の意図通りのボタンであるか否かを、利用者はユーザインタフェース画面を視認して確認する必要がある。一方、簡易操作モードにおいては、受付可能な指示（音量調整や、再生対象トラックの変更）を入力するための操作は、利用者の画面の視認を要しない。さらに、それらの指示が受け付けられた結果を、利用者は聴覚によって確認することができる。すなわち、簡易操作モードにおいては、利用者は操作を行う際も、操作の結果を確認する際も、利用者は画面を視認する必要がない。したがって利用者は、例えば車両前方を見ながらであっても、タッチパッド４１に対して予め決められた簡易な操作を行うことによって当該操作に対応する指示を入力することができるとともにその指示の結果を認識することができる。利用者はディスプレイ４０に視線を移す必要がないため、利便性が向上する。

また、ユーザインタフェース画面を視認しなくても入力可能な一部の指示を含む複数の指示を、利用者はユーザインタフェース画面を視認することで入力可能である。そのため当該一部の指示や当該一部の指示以外にも多様な指示にも対応可能なシステムを構成することができる。

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、利用者の視点がユーザインタフェース画面上に存在する場合は複数の指示の全てを操作部によって受付可能とし、利用者の視点がユーザインタフェース画面上に存在しない場合は複数の指示の一部のみを操作部によって受付可能とする限りにおいて、他にも種々の実施形態を採用可能である。例えば、入力システム１０は、各種のシステム、汎用コンピュータシステムに適用されていても良い。また、入力システム１０は、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。入力システム１０は車両に搭載される構成に限定されない。

さらに、入力システム１０を構成する視点検出部２１ａ、操作検出部２１ｂ、表示制御部２１ｃ、操作指示受付部２１ｄの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、操作検出部２１ｂが、タッチパッド４１内の制御部で実現されても良いし、視点検出部２１ａが視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。

上記実施形態は、オーディオ機能に関する画面が表示されている場合を例に挙げたが、この例以外にも様々な機能に関する画面が表示されている場合にも本発明を適用できる。例えば、経路探索機能に関する基本画面がディスプレイ４０に表示されている場合を例に説明する。当該基本画面には、地図が表示されているとともに、目的地設定ボタンや探索条件設定ボタン等を含む様々なボタンが表示されている。ここで目的地設定ボタンは、目的地を設定するためのインタフェースを提供する目的地設定画面を表示するためのボタンである。探索条件設定ボタンは、距離優先や一般道路優先などの探索条件を設定するためのインタフェースを提供する探索条件設定画面を表示するためのボタンである。基本画面が表示されており、視点が基本画面に存在しない場合に、例えば、タップ操作がなされた場合、制御部２０は自宅を目的地として設定するようにしてもよい。なお視点が基本画面に存在する場合、目的地を自宅に設定するためには、目的地設定ボタンにポインタを移動させて選択を決定し、目的地設定画面において自宅を示すボタンにポインタを移動させて選択を決定する、等の操作が必要である。なお目的地を自宅に設定する以外にも、視点が基本画面にない場合に予め決められた操作がなされると、当該操作に対応付けられた経路探索機能に関する他の処理が実行されてもよい。

視点検出部は、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を始点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。さらに、視点は、少なくとも、利用者が視認している表示領域上で特定されれば良い。

操作検出部は、操作部に対する利用者の操作を検出することができればよく、種々の構成を採用可能である。例えば上記実施形態のように、タッチパッドに対する利用者の接触操作を検出する構成を採用してよい。検出対象の接触操作には、シングルタップ、ダブルタップ、ロングタップ、フリック、スワイプ、ピンチイン、ピンチアウト等が含まれてよい。利用者の操作は、利用者が装置を操る動作であり、利用者の体が物理的に装置に接触することによって行われる構成を採用可能である。この場合利用者の操作は、利用者の手によって行われることに限定されず、手以外の体の部位によって行われても良い。スタイラスペン等の接触を検出する構成であってもよい。なお、利用者の体が物理的に接触する動作以外にも、利用者の体を操作部に接近させる動作（近接センサを用いて利用者の体が操作部に接近したことを検出）等を検出する構成を採用してもよい。

なお操作部には、タッチパッド以外の入力デバイスが採用されてもよい。当該入力デバイスは、カーソルやポインタを移動させて対象を仮選択する操作と、仮選択した対象の選択を決定する操作とが実現できるデバイスであってもよい。具体的には例えば、トラックボール、ホイールパッド、マウス、ジョグダイヤル、方向キーと決定キー、等が採用されてもよい。なお、対象の仮選択は、視点が当該対象に移動したことを検出した場合に実現されてもよい。

表示制御部は、複数の指示を受け付けるためのユーザインタフェース画面を表示部に表示することができればよく、種々の構成を採用可能である。例えば、表示部には、本発明の対象とするユーザインタフェース画面以外のユーザインタフェース画面も同時に表示されていてもよい。表示部には、本発明の対象とするユーザインタフェース画面が複数同時に表示されていてもよい。また、表示部は単一のディスプレイで構成されてもよいし、複数のディスプレイで構成されてもよい。

操作指示受付部は、視点がユーザインタフェース画面上に存在する場合、複数の指示の全てを操作部によって受付可能に設定し、視点がユーザインタフェース画面上に存在しない場合、複数の指示の一部のみを操作部によって受付可能に設定して、操作部による指示を受け付けることができればよい。ユーザインタフェース画面上に視点が存在しない場合に操作部に対してなされた操作の種類と指示との対応関係は、予め決められていればよく、どのような対応関係であってもよい。

例えば、視点がユーザインタフェース画面上に存在しない場合に受付可能な指示は、上記実施形態のように視点がユーザインタフェース画面上に存在する場合に受付可能な指示と同一種類の機能に関する指示であってもよいし、ユーザインタフェース画面に主として表示されている機能とは異なる種類の機能に関する指示であってもよい。後者としては例えば、経路案内機能の画面（例えば地図が表示されている画面）を表示中に、当該画面に視点が存在しない状態で上方向へのなぞり操作を行うことによって、経路案内機能とは異なるオーディオ機能に関する操作（例えば音量アップ）ができてもよい。なお、経路案内機能の画面が表示されている状態で、利用者が画面を見ながら操作することでオーディオ機能に関する操作を行うことができるように構成されている。例えば、経路案内機能の画面に、オーディオ設定画面を表示させるためのボタンが表示されていてもよい。利用者が当該ボタンにポインタを移動させる操作と当該ボタンの選択を決定する操作をすると、オーディオ設定画面が表示される。そして利用者は、オーディオ設定画面内の音量アップボタンにカーソルを移動させる操作と当該ボタンの選択を決定する操作をすることで音量アップ指示を入力することができてもよい。したがってこの場合の音量アップ指示は「複数の指示の一部」に相当する。

また、表示されている画面の内容にかかわらず、視点が画面に存在しない場合に、左方向へのなぞり操作または右方向へのなぞり操作によって、音量調整モードと空調調整モードとを切り換える構成であってもよい。そして、音量調整モードにおいて上方向へのなぞり操作または下方向へのなぞり操作がなされるとオーディオの音量をそれぞれアップまたはダウンし、空調調整モードにおいて上方向へのなぞり操作または下方向へのなぞり操作がなされると車室内の設定温度をそれぞれアップまたはダウンする構成であってもよい。

なお、表示部には単一のユーザインタフェース画面が表示されてもよいし、複数のユーザインタフェース画面が表示されてもよい。図４は、ディスプレイ４０に、第一画面４０１、第二画面４０２、第三画面４０３が表示されていることを示している。例えば第一画面４０１にはオーディオ機能に関する画面（例：図２Ａ）が表示されており、第二画面４０２には、経路探索機能に関する画面が表示されており、第三画面４０３には空調機能に関する画面が表示されている例を想定可能である。利用者はオーディオ機能に関しては第一画面４０１を視認しながらタッチパッド４１を操作することでオーディオ機能に関する各種指示を入力することができる。また、経路探索機能については第二画面４０２を視認しながらタッチパッド４１に対して操作を行うことで利用者は経路探索機能に関する各種指示を入力することができる。また、空調機能については第三画面４０３を視認しながらタッチパッド４１に対して操作を行うことで利用者は空調機能に関する各種指示を入力することができる。

図４の例において、利用者の視点がディスプレイ４０に存在しない場合に予め決められた操作がタッチパッド４１に対してなされた場合、例えば第一〜第三画面のうちのうちのいずれかアクティブな画面と同一種類の機能に関する指示が受付可能とされてもよい。アクティブな画面とは、例えば、視点がディスプレイ４０の外に外れる直前に利用者が視認していた画面であってよい。アクティブな画面には、視点がディスプレイ４０外に外れてもカーソルやポインタが表示されたままであってもよい。

視点がユーザインタフェース画面上に存在する場合に操作部によって受付可能な指示は、利用者によるユーザインタフェース画面の視認を要する操作を含んでいてよい。視認を要する操作としては例えば、ポインタを移動させる操作以外にも、画面に表示されている地図自体をスクロールする（地図の表示範囲を変える）操作を想定してよい。

視点がユーザインタフェース画面上に存在しない場合に操作部によって受付可能な指示は、利用者によるユーザインタフェース画面の視認を要しない操作によってなされるものであってよい。具体的には例えば空調機能の温度調整であれば、設定温度の変更指示が受け付けられた際にその旨を通知する音声を発生させる構成を採用することで、利用者は設定温度を変更できたことを認識することができる。あるいは、利用者は体感温度の変化によって設定温度の変更を認識可能である。

視点がユーザインタフェース画面上に存在する場合に操作部によって受付可能な指示を入力するための２以上の操作は、なぞり操作とタップ操作とで構成されることに限定されない。２以上の操作はどのような操作の組み合わせであってもよい。２以上の操作の全てが利用者の視認を要する操作であってもよいし、その一部のみが視認を要する操作であってもよい。また、視点がユーザインタフェース画面上に存在しない場合に操作部によって受付可能な指示を入力するための１操作は、フリックやスワイプ等の１本の指等の指示具で行われる直線的ななぞり操作であることに限定されない。例えば、タッチパッドやホイールパッド上で時計回りのなぞり操作を行うことで音量アップ（あるいは温度アップ）指示を入力できてもよい。また、反時計回りのなぞり操作を行うことで音量ダウン（あるいは温度ダウン）指示を入力できてもよい。また例えば、タッチパッド上でピンチイン操作を行うことで音量ダウン指示を入力し、ピンチアウト操作をすることで音量アップ指示を入力できてもよい。

なお、上記実施形態では、簡易操作モードにおいて、特定の方向への１回のなぞり操作（例：フリック）に応じて音量を１レベル増減させる構成を示したが、特定の方向への１回のなぞり操作（例：スワイプ）の接触開始から接触終了までの時間や接触開始から接触終了までの距離に応じた程度で音量を増減させてもよい。具体的には、当該時間または当該距離が長いほど、音量の増減の程度を大きくするようにしてもよい。その場合、詳細操作モードにおいても、例えば音量アップボタンまたは音量ダウンボタンをロングタップ操作した時間に応じた程度で音量を増減するようにしてもよい。

なお、視点がユーザインタフェース画面上に存在する場合に操作部によって受付可能な指示は、ｎ＋１以上（ｎは２以上の整数）の操作によってなされ、視点がユーザインタフェース画面上に存在しない場合に操作部によって受付可能な指示は、ｎ以下の操作によってなされてもよい。この構成の場合、利用者は、ユーザインタフェース画面を見ない状態ではユーザインタフェース画面を見て操作する場合よりも少ない操作を操作部に対して行うことで、指示を入力することができる。

また、操作検出部は、上記のように汎用的な指示の入力を可能とする入力デバイスの他にも、上記の操作部とは別に、特定の指示を入力するために設けられた専用操作部に対する利用者の操作を検出することができてもよく、種々の構成を採用可能である。専用操作部に対する操作としては、例えば、ボタンの押下、ジョグダイヤルの回転、ホイールパッドやタッチパッドに対する接触操作（回転接触操作でもよい）等を想定してよい。また、利用者の体を専用操作部に接近させる動作（近接センサを用いて利用者の体が専用操作部に接近したことを検出）等を検出する構成を採用してもよい。

専用操作部が設けられている場合に操作指示受付部は、専用操作部による特定の指示を受け付けることができてもよい。そして、視点がユーザインタフェース画面上に存在しない場合に操作部によって受付可能な指示は、特定の指示と同一であってもよい。この構成の場合、利用者は、専用操作部に対する操作によって入力可能な特定の指示を、ユーザインタフェース画面を見ない状態で操作部に対して操作を行うことによっても入力することができる。専用操作部として、具体的には例えば、ステアリング部に音量アップボタンや音量ダウンボタンが設けられていても良い。また例えば、インストルメントパネルに空調の設定温度のアップボタンやダウンボタンが設けられても良い。

また、視点がディスプレイ４０の画面上に存在しない場合にタッチパッド４１に対して操作を行う場合に受付可能な指示の内容を利用者に案内するようにしてもよい。当該案内はどのような態様で実現されてもよいが、例えば、視点がディスプレイ４０に存在しない場合に車室内の設定温度をアップまたはダウンする指示を受付可能であることを示すために、インストルメントパネルに設けられた設定温度のアップボタンやダウンボタンを照明手段によって他のボタンと識別可能に照明するようにしてもよい。より具体的には、他のボタンとは異なる色で照明してよい。また例えば他のボタンが点灯によって照明されている場合に、対象のボタンについては点滅で照明するようにしてもよい。照明手段はボタンに設けられていても良いし、ボタンとは別に設けられていても良い。このような構成を備えることで、利用者は、車両前方を視認している間も視界の片隅に含まれる対象のボタンに対応する指示が入力可能であることを認識することができる。

さらに、本発明のように、利用者の視点がユーザインタフェース画面上に存在する場合は複数の指示の全てを操作部によって受付可能とし、利用者の視点がユーザインタフェース画面上に存在しない場合は複数の指示の一部のみを操作部によって受付可能とする手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

１０…入力システム、２０…制御部、２１…入力プログラム、２１ａ…視点検出部、２１ｂ…操作検出部、２１ｃ…表示制御部、２１ｄ…操作指示受付部、３０…記録媒体、３０ａ…表示情報、４０…ディスプレイ、４０ａ…画面、４１…タッチパッド、４２…視線検出センサ、４０１…第一画面、４０２…第二画面、４０３…第三画面、ｂ１…音量アップボタン、ｂ２…音量ダウンボタン、ｂ３…トラックダウンボタン、ｂ４…トラックアップボタン、ｂ５…トラック指定ボタン、Ｃ…カーソル、Ｐ…ポインタ、ｓｂ…スクロールバー、ｖｉ…音量インジケータ

Claims (6)

1. 利用者の視点を検出する視点検出部と、
   操作部に対する前記利用者の操作を検出する操作検出部と、
   複数の指示を受け付けるためのユーザインタフェース画面を表示部に表示する表示制御部と、
   前記視点が前記ユーザインタフェース画面上に存在する場合、複数の前記指示の全てを前記操作部によって受付可能に設定し、前記視点が前記ユーザインタフェース画面上に存在しない場合、複数の前記指示の一部のみを前記操作部によって受付可能に設定し、前記操作部による前記指示を受け付ける操作指示受付部と、
   を備える入力システム。
2. 前記視点が前記ユーザインタフェース画面上に存在しない場合に前記操作部によって受付可能な前記指示は、前記視点が前記ユーザインタフェース画面上に存在する場合に前記操作部によって受付可能な前記指示と同一種類の機能に関する指示である、
   請求項１に記載の入力システム。
3. 前記視点が前記ユーザインタフェース画面上に存在する場合に前記操作部によって受付可能な前記指示は、前記利用者による前記ユーザインタフェース画面の視認を要する操作を含んでなされ、
   前記視点が前記ユーザインタフェース画面上に存在しない場合に前記操作部によって受付可能な前記指示は、前記利用者による前記ユーザインタフェース画面の視認を要しない操作によってなされる、
   請求項１または請求項２に記載の入力システム。
4. 前記視点が前記ユーザインタフェース画面上に存在する場合に前記操作部によって受付可能な前記指示は、２以上の操作によってなされ、
   前記視点が前記ユーザインタフェース画面上に存在しない場合に前記操作部によって受付可能な前記指示は、１操作によってなされる、
   請求項１〜請求項３のいずれかに記載の入力システム。
5. 前記操作検出部は、特定の指示を入力するために設けられた専用操作部に対する操作を検出し、
   前記操作指示受付部は、前記専用操作部による前記特定の指示を受け付け、
   前記視点が前記ユーザインタフェース画面上に存在しない場合に前記操作部によって受付可能な前記指示は、前記特定の指示と同一である、
   請求項１〜請求項４のいずれかに記載の入力システム。
6. コンピュータを、
   利用者の視点を検出する視点検出部、
   操作部に対する前記利用者の操作を検出する操作検出部、
   複数の指示を受け付けるためのユーザインタフェース画面を表示部に表示する表示制御部、
   前記視点が前記ユーザインタフェース画面上に存在する場合、複数の前記指示の全てを前記操作部によって受付可能に設定し、前記視点が前記ユーザインタフェース画面上に存在しない場合、複数の前記指示の一部のみを前記操作部によって受付可能に設定し、前記操作部による前記指示を受け付ける操作指示受付部、
   としてコンピュータを機能させる入力プログラム。

Images