JP5172485B2 - 入力装置及び入力装置の制御方法 - Google Patents

Description

本発明は、入力面に対するユーザの接触を検出して、該検出の結果に応じた入力信号を生成する入力装置に関するものである。

電子機器に入力操作を行うための装置として、従来から様々な入力装置が用いられている。特に、近年では、直感的な入力操作が可能なタッチパネル式の入力装置が広く用いられるようになっている。また、単にタッチパネル式で入力を受け付けるのみならず、用途に応じて、より便利に入力操作を行うことのできる入力装置が提案されている。

例えば、車載機器を操作する入力装置では、タッチパネル方式を採用した場合には、運転手がタッチパネルの表示を見るときに、目線が車両の進行方向から逸れるという危険がある。

そこで、下記の特許文献１及び２では、操作入力を行う操作部と、表示を行う表示部とを分離している。そして、どのスイッチを操作しているのかを運転手に認識させるために、表示部にスイッチの画像を表示すると共に、該スイッチの画像と、操作部上の手の位置を撮像した画像とを重畳して表示している。

上記の構成によれば、車両の進行方向から目線をあまり動かさずに見ることのできる位置に表示部を配置することによって、走行中であっても比較的安全に車載機器を操作することができる。

また、従来のタッチパネルでは、パネル上の１点のみを検出することはできるが、パネルに接触する複数の点を同時に検出することはできなかった。例えば、パネル上に複数の指を同時に接触させたときには、何れの指の位置に対して入力操作が行われたかを検出することはできなかった。

これに対し、パネルに接触する複数の点を同時に検出することのできる、すなわち多点同時入力の可能な入力装置が提案されている。例えば、光センサ内蔵液晶表示装置と呼ばれる表示装置では、液晶表示装置に撮像素子が組み込まれた構成とすることにより、液晶表示パネルに接触する物体を画像データとして取り込むことができる。そして、この画像データを解析することによって、液晶表示パネルに接触する複数の点を同時に検出することができる。
特開２００７−２８６６９６号公報（２００７年１１月１日公開） 特開平１０−２６９０１２号公報（１９９８年１０月９日公開）

しかしながら、入力装置の入力面に対して指が接触している状態から、簡単な操作で様々な入力操作を行うことのできる入力装置は、従来存在しなかった。例えば、タッチパネル式の入力装置では、入力装置の入力面に対して指が接触していない状態から、接触している状態に変化したときに、入力面に対して接触した指の位置に応じた入力を行うようになっている。

なお、光センサ内蔵液晶表示装置を用いて、ジェスチャ入力を行う技術が知られている。ジェスチャ入力では、入力装置の入力面に対して指が接触している状態にて、指で予め定めた軌跡を描くことにより、該軌跡に対応する入力操作を行うことができる。

しかしながら、ジェスチャ入力を行う場合には、ユーザは、入力装置に予め設定されたジェスチャを覚える必要がある。そのため、ジェスチャ入力は、表示画面の拡大、縮小、及びスクロール等のように、ジェスチャとジェスチャによって実行される機能との対応が直感的に覚えやすいものには適用しやすいが、カーナビに自宅までのルートガイドを実行させる場合のように、直感的なジェスチャで表すことが難しい機能への適用は困難である。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力装置の入力面に対して指が接触している状態から、簡単な操作で様々な入力操作を行うことのできる入力装置及び入力装置の制御方法を実現することにある。

本発明の入力装置は、上記課題を解決するために、入力操作を受け付ける入力面の複数箇所に対して同時に行われる接触をそれぞれ識別して検出し、該検出の結果に応じた入力信号を生成する入力装置であって、上記入力面に複数の指のそれぞれが接触していることを検出する接触検出手段と、上記接触検出手段によって上記入力面に接触していると検出された指のうち、少なくとも１つの指の接触から非接触への状態変化を検出して入力信号を生成する入力検出手段とを備えていることを特徴としている。

また、本発明の入力装置の制御方法は、上記課題を解決するために、入力操作を受け付ける入力面の複数箇所に対して同時に行われる接触をそれぞれ識別して検出し、該検出の結果に応じた入力信号を生成する入力装置の制御方法であって、上記入力面に複数の指のそれぞれが接触していることを検出する接触検出ステップと、上記接触検出ステップにて、上記入力面に接触していると検出された指のうち、少なくとも１つの指の接触から非接触への状態変化を検出して入力信号を生成する入力検出ステップとを含むことを特徴としている。

上記の構成は、入力操作を受け付ける入力面の複数箇所に対して同時に行われる接触をそれぞれ識別して検出することを前提としている。これは、いわゆる多点同時検出と呼ばれる技術であり、本発明では、このような多点同時検出技術を用いて、入力面に対して指が接触している状態から、簡単な操作で様々な入力操作を行うことのできる入力装置を提供することを目的としている。

すなわち、上記の構成によれば、入力面に対して複数の指の接触を受け付けた後、接触を検出した指が、入力面から離れたことを検出して入力信号を生成する。これにより、入力面に指を接触させた状態から、入力操作を行うことが可能になる。

ここで、一般に、入力装置は、ユーザがどのような入力操作を行ったかを検出して、検出した入力操作に対応する入力信号を生成することによって、周辺機器の動作を制御したり、データの入力を受け付けたりする。例えば、タッチパネルでは、ユーザがパネルに触れた位置を検出して、検出した位置に対応する入力信号を生成する。

すなわち、従来の入力装置では、入力面に触れることで入力操作を行っていたのに対し、本発明の入力装置では、入力面に複数の指で触れた後、指を入力面から離すことで入力操作を行う。これにより、入力装置の入力面に対して指が接触している状態から、簡単な操作で様々な入力操作を行うことができる。

また、上記の構成によれば、従来にはなかった新しい入力方法を提供することができる。すなわち、上記の構成によれば、まず入力面に対して複数の指の接触を受け付ける。したがって、このときに、例えば、入力面に対して接触する指の本数、入力面上の位置、種別（何指であるか）、指紋、及び掌紋等の情報を取得することが可能である。

また、指を入力面から離したことを検出するときには、入力面から離れた指の本数、入力面上の位置、種別（何指であるか）、及び指が入力面から離れたタイミング等の情報を取得することが可能である。

上記入力装置では、このような多様な情報に基づいて、入力信号を生成することができるので、従来にはない多様な入力操作が可能になる。例えば、入力面に触れた指の本数と入力面から離れた指の本数とに応じた入力信号を生成した場合には、ユーザは、入力面に触れる指の本数と、入力面から離す指の本数とを変えることで、異なる入力操作を行うことができる。また、例えば、入力面に接触する指の指紋や、掌紋を読み取ることによって、ユーザを特定することができるので、ユーザ毎に異なる入力信号を生成することもできる。

また、上記接触検出手段は、上記入力面に接触している各指の種別を判別し、上記入力検出手段は、上記接触検出手段の判別結果に基づいて、接触から非接触への状態変化を検出した指の種別に応じた入力信号を生成することが好ましい。

上記の構成によれば、入力面から離れた指の種別に応じた入力信号が生成される。これにより、例えば入力面に小指から親指までの５本の指を接触させた後、人差し指を入力面から離した場合には、入力面のどの位置に指を接触させていたとしても、人差し指に対応する入力信号が生成される。すなわち、上記の構成によれば、入力面に対する入力位置に関わらず、同じ入力操作を行うことができる。

また、上記入力装置は、指の種別に応じた上記入力信号が生成されたときに、該入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、上記入力信号に対応する命令を、上記動作実行装置に送信する装置制御手段を備えていることが好ましい。

上記の構成によれば、入力面から離れた指の種別に応じた入力信号が生成され、さらに入力信号に対応する命令が、該命令を実行する動作実行装置に送信される。すなわち、上記の構成によれば、入力面から離した指の種別に応じた命令によって動作実行装置が動作するようになっている。したがって、上記入力装置のユーザは、入力面のどの位置に触れても、他の装置に所望の動作を実行させることができる。なお、動作実行装置は、１つであっても複数であってもよく、また入力装置と一体に構成されていてもよく、さらに入力装置から物理的に離れた位置に存在していてもよい。

これは、例えば車載機器の入力操作を行う場合に好適である。すなわち、上記特許文献１及び２の技術では、表示部に表示されたボタンの位置に指を合せる必要があるため、ボタン操作の際に表示部を見る必要があった。したがって、車の進行方向から目線が逸れるので、運転中の車載機器の操作にはやはり危険が伴っていた。

これに対し、上記の構成によれば、入力面から離す指に応じて命令が送信されるので、入力面に触れる位置は、どのような位置であってもよく、そのため入力面を見なくても入力操作を行うことができる。したがって、上記特許文献１及び２の技術のように、表示部を見て、ボタンに指の位置を合せる必要がなく、運転中であっても安全に車載機器の操作を行うことができる。

また、上記接触検出手段は、上記入力面に接触している指が、右手または左手の何れの指であるかを判別し、上記入力検出手段は、上記接触検出手段の判別結果に基づいて、接触から非接触への状態変化を検出した指が右手または左手の何指であるかに応じた入力信号を生成し、上記装置制御手段は、右手または左手の各指の種別に応じた上記入力信号が生成されたときに、該入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、上記入力信号に対応する命令を、上記動作実行装置に送信することが好ましい。

上記の構成によれば、右手の指と左手の指とがそれぞれ識別して検出され、各指に命令が対応付けられているので、指に割り当てることのできる命令の最大数が増加する。なお、必ずしも全ての指に命令を割り当てる必要はない。

また、上記入力装置は、上記指−命令対応情報に基づいて、各指に対応する命令を抽出し、上記接触検出手段が検出した各指の位置に、当該指に対応する命令、または該命令によって動作実行装置が実行する動作を示す情報を表示する表示手段を備えていることが好ましい。

上記の構成によれば、各指に対応する命令、または該命令によって動作実行装置が実行する動作を示す情報が、各指の位置に表示される。したがって、上記入力装置のユーザは、どの指で操作を行えば、どのような命令が生成されるか、あるいはどのような動作が実行されるかを容易に認識することができる。

また、上記装置制御手段は、上記入力検出手段が、指の接触から非接触への状態変化を検出した後、当該指が再度上記表示面に接触したことを検出したときに上記命令の送信を行うことが好ましい。

上記の構成によれば、指の接触状態が、接触−非接触−接触と切り換わったときに命令の送信が行われる。つまり、この場合には、指の接触状態が、接触−非接触と切り換わった段階では、命令は送信されない。これにより、例えばユーザが入力装置に対する入力操作を終えて、手を入力面から離したときに、ユーザの意図しない命令が送信されてしまうことを防ぐことができる。

また、上記入力装置は、上記入力面上の物体を画像データとして取り込む撮像部を備え、上記接触検出手段は、上記撮像部が取り込んだ画像データに基づいて上記入力面に複数の指のそれぞれが接触していることを検出することが好ましい。

上記の構成によれば、撮像部によって上記入力面上の物体が画像データとして取り込まれるので、入力面上に手が触れた場合には、その画像データを解析することにより、各指が入力面に接触しているか否かを検出することができる。

なお、撮像部は、入力面上の物体が入力面に接触しているか否かを判別できる程度の画像データを取得できるものであればよい。撮像部としては、例えば、光センサ内蔵液晶表示装置や赤外線カメラ等も適用することができる。

また、上記撮像部は、光センサ内蔵液晶表示装置で構成されており、上記入力面は、上記光センサ内蔵液晶表示装置の表示面であることが好ましい。

上記の構成によれば、入力面に画像を表示することができるので、ユーザの入力を補助するための情報等を表示することで、ユーザの利便性を向上することができる。また、上記の構成によれば、画像の表示と入力面上の指の検出とを１つの光センサ内蔵液晶表示装置にて行うので、入力装置を小型化することが可能になる。

ここで、上記特許文献１及び２に記載されているように、従来の入力装置では、ボタンの位置に指を合せて入力操作を行う。そのため、表示部を車の進行方向に近い位置に配置したとしても、表示部を見る必要があることには変わりがないので、運転手の注意が表示部に逸れるので、運転中の操作が危険であるという問題があった。

また、表示等を見ずに入力を行う従来技術として、ジェスチャ入力が挙げられるが、ジェスチャ入力を行う場合には、ユーザは、入力装置に予め設定されたジェスチャを覚える必要がある。そのため、ジェスチャ入力は、表示画面の拡大、縮小、及びスクロール等のように、ジェスチャとジェスチャによって実行される機能との対応が直感的に覚えやすいものには適用しやすいが、カーナビに自宅までのルートガイドを実行させる場合のように、直感的なジェスチャで表すことが難しい機能への適用は困難である。

そなため、表示等を見なくても、様々な入力を簡単な操作で行うことのできる入力装置が望まれている。

本発明の入力装置は、上記課題を解決するために、入力操作を受け付ける入力面の複数箇所に対して同時に行われる接触を検出し、該検出結果に応じた入力信号を生成する入力装置であって、上記入力面に接触している複数の指のそれぞれの種別を判別する種別判別手段と、少なくとも１つの指が所定の入力操作を行ったことを検出する入力検出手段と、上記種別判別手段の判別結果に基づいて、上記入力検出手段が入力操作を行った指として検出した指の種別を特定し、該特定した指の種別に応じた入力信号を生成する入力信号生成手段とを備えていることを特徴としている。

また、本発明の入力装置の制御方法は、上記課題を解決するために、入力操作を受け付ける入力面の複数箇所に対して同時に行われる接触を検出し、該検出結果に応じた入力信号を生成する入力装置の制御方法であって、上記入力面に接触している複数の指のそれぞれの種別を判別する種別判別ステップと、少なくとも１つの指が所定の入力操作を行ったことを検出する入力検出ステップと、上記種別判別ステップの判別結果に基づいて、上記入力検出ステップにて入力操作を行った指として検出した指の種別を特定し、該特定した指の種別に応じた入力信号を生成する入力信号生成ステップとを含むことを特徴としている。

上記の構成によれば、入力面に接触している複数の指のそれぞれの種別が判別されると共に、少なくとも１つの指が所定の入力操作を行ったことが検出される。そして、入力操作を行ったことが検出された指の種別に応じた入力信号が生成される。

すなわち、上記の構成によれば、入力面に触れた位置に関わらず、指の種別に応じた入力信号が生成される。したがって、上記入力装置では、表示等を見なくても、様々な入力を簡単な操作で行うことができる。

また、上記所定の入力操作とは、入力装置が当該入力操作を検出可能なものであればよく、特に限定されない。例えば、入力面に対する指の接触状態が接触−非接触と変化したことを上記所定の入力操作として検出してもよいし、入力面に対する指の接触状態が接触−非接触−接触と変化したことを上記所定の入力操作として検出してもよい。また、例えば、入力面に対して指を押し当てる強さの変化を上記所定の入力操作として検出してもよいし、指が入力面上に描く予め定めた軌跡を上記所定の入力操作として検出してもよい。

そして、上記入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記入力装置の各手段として動作させることにより、上記入力装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明に係る入力装置は、入力面に複数の指のそれぞれが接触していることを検出する接触検出手段と、上記接触検出手段によって上記入力面に接触していると検出された指のうち、少なくとも１つの指の接触から非接触への状態変化を検出して入力信号を生成する入力検出手段とを備えている構成である。

また、本発明に係る入力装置の制御方法は、以上のように、入力面に複数の指のそれぞれが接触していることを検出する接触検出ステップと、上記接触検出ステップにて、上記入力面に接触していると検出された指のうち、少なくとも１つの指の接触から非接触への状態変化を検出して入力信号を生成する入力検出ステップとを含む構成である。

したがって、入力面に複数の指で触れた後、指を入力面から離すことで入力操作を行うことができるので、入力装置の入力面に対して指が接触している状態から、簡単な操作で様々な入力操作を行うことができるという効果を奏する。

また、以上のように、本発明の入力装置は、入力面に接触している複数の指のそれぞれの種別を判別する種別判別手段と、少なくとも１つの指が所定の入力操作を行ったことを検出する入力検出手段と、上記種別判別手段の判別結果に基づいて、上記入力検出手段が入力操作を行った指として検出した指の種別を特定し、該特定した指の種別に応じた入力信号を生成する入力信号生成手段とを備えている構成である。

そして、本発明の入力装置の制御方法は、以上のように、入力面に接触している複数の指のそれぞれの種別を判別する種別判別ステップと、少なくとも１つの指が所定の入力操作を行ったことを検出する入力検出ステップと、上記種別判別ステップの判別結果に基づいて、上記入力検出ステップにて入力操作を行った指として検出した指の種別を特定し、該特定した指の種別に応じた入力信号を生成する入力信号生成ステップとを含む構成である。

したがって、入力面に触れた位置に関わらず、指の種別に応じた入力信号が生成されるので、表示等を見なくても、様々な入力を簡単な操作で行うことができるという効果を奏する。

〔発明の概要〕
本発明の一実施形態について図１から図１３に基づいて説明すると以下の通りである。ここでは、本実施形態の入力装置の概要について、図２及び図３に基づいて説明する。図２及び図３は、本発明の一実施形態に係る入力装置１の動作の一例を示す図である。同図（ａ）に示すように、入力装置１は、表示パネル２を備え、表示パネル２上には、ボタンイメージａ〜ｅが表示されている。

ここで、ユーザが、表示パネル２上に手を置くと、同図（ｂ）に示すように、ボタンイメージａ〜ｅのそれぞれが、ユーザの各指先の位置に移動する。図示の例では、ユーザの小指、薬指、中指、人差し指、及び親指のそれぞれに対応する位置にボタンイメージａ〜ｅが表示されている。

この状態において、入力装置１は、ユーザの指の動きを検出して、ボタンイメージａ〜ｅのそれぞれに対応する入力操作を受け付ける。例えば、同図（ｂ）の状態において、ユーザが人差し指で入力操作を行った場合には、同図（ｃ）に示すように、入力装置１は人差し指の動きを検出し、ボタンイメージｄに対する入力操作があったと判断する。

このように、入力装置１では、ユーザが手を触れた位置において入力操作を受け付ける。したがって、図３（ａ）に示すように、ユーザが、表示パネル２のより下方に触れた場合であっても、ユーザの小指、薬指、中指、人差し指、及び親指のそれぞれに対応する位置にボタンイメージａ〜ｅが表示される。

また、図３（ｂ）に示すように、ユーザの手が小さい場合であっても、そして表示パネル２に触れる手が右手であっても、ユーザの小指、薬指、中指、人差し指、及び親指のそれぞれに対応する位置にボタンイメージａ〜ｅが表示される。そして、入力装置１は、ユーザの指の動きを検出して、ボタンイメージａ〜ｅのそれぞれに対応する入力操作を受け付ける。

すなわち、従来の入力装置は、所定の位置に設けられたボタン等によって入力を受け付けていたのに対し、入力装置１では、ユーザが手を触れた位置がボタンとなって入力を受け付ける。したがって、入力装置１を用いた場合には、大人でも子供でも、また右利きの人も左利きの人も、そして表示パネル２を見なくても簡単に入力操作を行うことができる。

〔適用例〕
入力装置１は、様々な電子機器の入力装置として適用することができる。ここでは、一例として、入力装置１を、オーディオやエアコン等の車載機器の入力装置として適用する例について図４に基づいて説明する。

図４は、入力装置１を車載機器の入力装置として適用した場合の外観の一例を示す図である。入力装置１の設置位置は、特に限定されないが、ユーザが表示パネル２を見やすい位置に設置することが好ましい。また、入力装置１は、右手でも左手でも入力操作を行うことができるので、助手席からでも運転席からでも手が届く位置に設置することが好ましい。

具体的には、同図（ａ）に示すように、入力装置１は、センターコンソールやインストルメントパネルに設置することが好ましい。これにより、助手席及び運転席からも、そして後部座席からも表示パネル２が見やすい上、助手席と運転席とのどちらからでも車載機器の操作を行うことができる。

同図（ｂ）は、同図（ａ）に示す入力装置１を拡大した図である。図示の例では、表示パネル２の表面は、ドーム状に形成されている。表示パネル２の表面、すなわち入力装置１の入力面は、ユーザが５つの指を載置できるだけのスペースを有するものであれば、その形状はどのようなものであってもよい。例えば、一般的なタッチパネルと同様に、入力面を四角形状の平面としてもよい。この場合には、広く流通している表示パネルを流用することができるのでコスト面で有利である。また、図示の例のように、入力面をドーム状とした場合には手の形状とフィットするという利点がある。

また、図示のように、表示パネル２には、その外周部に沿ってボタンイメージａ〜ｆが表示されている。ボタンイメージａ〜ｆは、ユーザが表示パネル２に手を触れることによって、手の指先のそれぞれに対応する位置に移動するので、ボタンイメージａ〜ｆの初期表示位置は、どのような位置であってもよく、また手を触れたときに初めてボタンイメージａ〜ｆが表示されるようにしてもよい。

ただし、図示の例のように、手を触れる前の状態でボタンイメージａ〜ｆを表示させた場合には、ユーザは、どのような機能を操作できるかを確認した上で、入力装置１への入力操作を行うことができる。したがって、ボタンイメージａ〜ｆは手を触れる前に表示させておくことが好ましい。

また、入力装置１は、表示パネル２にて入力操作を受け付けるので、入力操作を行わないときには、表示パネル２は周辺機器の表示出力装置として利用することもできる。例えば、図示の例では、カーナビゲーションシステムが出力する地図の画像を表示パネル２に表示している。したがって、ボタンイメージａ〜ｆの初期表示位置は、表示パネル２の表示を妨げない位置とすることが好ましい。

なお、表示パネル２に表示されている全てのボタンイメージを、ユーザの指に対応する位置に移動させる必要はない。例えば、ボタンイメージａ〜ｆのうち、現在操作可能な機能に対応するボタンイメージのみをユーザの指に対応する位置に移動させてもよい。この場合には、ユーザは、表示パネル２に表示されているボタンイメージを見ることによって、入力装置１で操作可能な機能を把握することができ、表示パネル２に触れることによって、現在操作可能な機能を把握することができる。

〔ハードウェア構成〕
次に、入力装置１のハードウェア構成について図５に基づいて説明する。図５は、入力装置１のハードウェア構成の一例を示すブロック図である。図示のように、入力装置１は、表示パネル２、画像取得部（撮像部）３、バックライト４、ＣＰＵ（Central Processing Unit）５、主記憶部６、及び補助記憶部７を備えており、周辺機器Ｐと通信可能に接続されている。

表示パネル２及びバックライト４は、画像を表示するためのものである。すなわち、表示パネル２は、カラーフィルタと、バックライト４が発する光を遮って上記カラーフィルタに達する光量を調節する液晶層とを備えている。そして、ＣＰＵ５の制御に従って、バックライト４と液晶層とが駆動することにより、表示パネル２に任意の画像が表示される。また、表示パネル２の入力装置１の外部に露出している側の面は、ユーザの入力操作を受け付ける入力面としての機能も果たしている。

画像取得部３は、表示パネル２上の物体を画像として取得するものであり、画像取得部３が取得した画像に基づいて、表示パネル２への指の接触／非接触が判断される。なお、画像取得部３は、表示パネル２に組み込まれており、バックライト４が発する光が表示パネル２上の物体に反射した光を受光して画像を生成するようになっている。画像取得部３には、例えばＣＣＤ（charge-coupled device）等の公知の撮像素子を適用することもできる。

すなわち、表示パネル２、画像取得部３、及びバックライト４によって、いわゆる光センサ内蔵液晶表示装置が構成されている。そして、入力装置１では、表示パネル２、画像取得部３、及びバックライト４によって、表示パネル２に対するユーザの入力操作を検出すると共に画像の表示を行う。

ここで、表示パネル２及び画像取得部３のより詳細な構成について、図６に基づいて説明する。図６は、表示パネル２及び画像取得部３の構成及び機能の概略を示す図である。

図示のように、表示パネル２は、パネル部２ａと、パネル部２ａの周囲に設けられたゲートドライバ２ｂ及びソースドライバ２ｃを含む構成である。また、パネル部２ａの周囲には、光センサ駆動回路３ｂが設けられている。そして、パネル部２ａには、ＲＧＢの副画素からなる画素が配列していると共に、各画素には、光センサ回路３ａが設けられている。

ゲートドライバ２ｂ及びソースドライバ２ｃは、表示パネル２に入力される表示信号に従って、パネル部２ａを構成する各画素の背後（入力装置１の内部側）に配置された液晶層（図示せず）を駆動して、該液晶層のさらに入力装置１の内部側に配置されたバックライト４（図示せず）からＲＧＢの各副画素に入射する光量を調整する。これにより、パネル部２ａには、上記表示信号に応じた画像が表示される。

一方、画像取得部３は、光センサ回路３ａと、該光センサ回路３ａを駆動する光センサ駆動回路３ｂとで構成されている。この光センサ回路３ａが、光センサ駆動回路３ｂによって駆動されることによって、パネル部２ａ上の像が読み取られ、読み取られた像が、読み取り信号（画像データ）として出力される。

なお、本実施形態では、表示パネル２とバックライト４との組み合わせによって画像を表示する例について説明するが、入力装置１は画像の表示と入力操作の検出とを行うことができるようになっていればよく、この例に限定されない。例えば、表示パネル２及びバックライト４の代わりに、有機ＥＬ（Electro Luminescence）表示装置を用いて画像を表示するようにしてもよい。

主記憶部６は、入力装置１が動作する上で最低限必要となるデータ、例えばＢＩＯＳ（basic input output system）のプログラムデータやＯＳ（operating system）のプログラムデータなどを記憶するＲＯＭ（Read Only Memory）と、ＣＰＵ５による情報処理が行われる際の作業メモリとして機能するＲＡＭ（Random Access Memory）とで構成されている。

補助記憶部７には、上記ＲＡＭにロードされてＣＰＵ５によって実行される制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）等の入力装置１で使用される各種データが格納されている。補助記憶部７は、ＣＰＵ５がデータの書き込み及び読み出しを行えるものであればよい。例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを補助記憶部７として用いることができる。

このように、入力装置１は、入力装置１の各機能を実現する制御プログラムの命令を実行するＣＰＵ５、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納する補助記憶部７を備えていることによって、例えば図２（ａ）〜（ｃ）に示すような機能を実現している。

なお、入力装置１では、ＣＰＵ５が必要なデータを利用できるようになっていればよく、データは必ずしも入力装置１に内蔵または外付けされた記憶媒体に格納されている必要はない。例えば、入力装置１を通信ネットワークと接続可能に構成し、必要なデータが通信ネットワークを介してＣＰＵ５に供給されるようになっていてもよい。

この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

なお、本実施形態では、プログラムをＣＰＵ５に実行させることによって入力装置１の機能を実現する例を説明するが、回路やチップ等のハードウェアを用いて入力装置１の機能を実現することも可能である。

〔画像取得部３が取得する画像〕
ここで、画像取得部３が取得する画像について図７に基づいて説明する。図７は、画像取得部３が取得する画像の一例を示す図である。より詳細には、同図（ａ）は、ユーザが表示パネル２に手を載置した状態にて画像取得部３が取得する画像の一例を示し、同図（ｂ）は人差し指のみを表示パネル２から離した状態にて画像取得部３が取得する画像の一例を示し、同図（ｃ）は、再度人差し指を表示パネル２に接触させた状態にて画像取得部３が取得する画像の一例を示している。

画像取得部３は、表示パネル２に接触している物体を画像として取り込む。したがって、手全体が表示パネル２に接触しているときには、同図（ａ）に示すように、５本の指と掌とが画像として取り込まれる。一般に、人の手の外形は共通しているので、この画像から、表示パネル２に接触している手が右手であるか、左手であるかを判別することができ、また画像中の指の種別（親指、人差し指、中指、薬指、小指）も判別することができる。

ここで、人差し指が表示パネル２から離れたときには、バックライト４から照射された光であって、人差し指で反射して画像取得部３に入射する光の量が著しく低下する。したがって、人差し指が表示パネル２から離れたときには、同図（ｂ）に示すように、人差し指を除く４本の指と掌とが画像として認識可能になる。そして、人差し指が再び表示パネル２に接触したときには、同図（ｃ）に示すように、同図（ａ）と同様に、５本の指と掌とが画像として認識されるようになる。

入力装置１は、画像取得部３が取得した画像が、図７（ａ）の状態から同図（ｃ）の状態まで変化したことを検出して、人差し指で入力操作が行われたと判断する。そして、入力装置１では、表示パネル２に対する接触状態が変化した指が人差し指以外の場合にも同様の判断が行われる。すなわち、入力装置１は、表示パネル２に接触した指が表示パネル２から一度離れ、その後再び表示パネル２に接触したときに、その指で入力操作が行われたと判断する。

〔要部構成〕
続いて、入力装置１のさらに詳細な構成について、図１に基づいて説明する。図１は、入力装置１が備えている制御部１１の要部構成を示すブロック図である。図示のように、制御部１１は、周辺機器制御部（装置制御手段）１２、入力検出部（入力検出手段、入力信号生成手段）１３、画像解析部（接触検出手段、種別判別手段）１４、ボタン座標変更部１５、表示制御部１６、及びボタン表示部（表示手段）１７を備えている。また、図示のように、入力装置１は記憶部２１を備え、記憶部２１には、コマンドテーブル２２とボタン座標テーブル２３とが格納されている。

なお、制御部１１が備える各構成は、ＣＰＵ５がプログラムを実行して実現される機能を示している。また、記憶部２１に格納されているデータは、基本的には補助記憶部７に格納されており、ＣＰＵ５がこれらのデータを使用するときに主記憶部６に読み出される。

周辺機器制御部１２は、入力装置１によって操作される対象となる周辺機器Ｐにコマンドを送信して、その動作を制御するものである。周辺機器Ｐとしては、入力装置１によって操作する任意の機器を適用することができる。ここでは、入力装置１を車に搭載することを想定しているので、周辺機器Ｐがオーディオ機器、空調機器（エアコン）、カーナビゲーションシステム（カーナビ）の３つである例について説明する。

入力検出部１３は、画像解析部１４が表示パネル２に接触していることを検出した各指の接触状態が変化したことを検出し、接触状態の変化を検出した指に対応する入力信号を生成する。具体的には、入力検出部１３は、表示パネル２に対して接触していることが検出された指が、非接触状態となったときに、当該指を示す操作指データを生成する。この操作指データは、周辺機器制御部１２に送られ、周辺機器制御部１２は、操作指データが示す指の種別に対応するコマンドを生成して、周辺機器Ｐに送信する。

画像解析部１４は、画像取得部３が取得した画像を受け取り、受け取った画像の解析を行う。具体的には、画像解析部１４は、上記画像が手の画像であるか否かを判断する。そして、画像解析部１４は、上記画像が手の画像であった場合には、その手が右手か左手かを検出すると共に、手の指先の位置を求める。

例えば、標準的な手の画像を予め格納しておき、上記画像と標準的な手の画像とを比較することによって、画像取得部３は上記画像が手の画像であるか否か、その手が右手か左手か、また指先の位置がどこであるかを判断することができる。

また、画像取得部３は、上記画像が手の画像である場合に、その手が右手か左手かを、指先の間隔に基づいて判断してもよい。これについて、図８に基づいて説明する。図８は、指先の間隔に基づいて、左手か右手かを判断する方法を説明する図である。

まず、手の画像が取得された場合には、パターンマッチング等によって、指先の位置を特定することができる。そして、指先の位置が特定されると、特定した指先の位置の間隔を算出することができる。

ここで、図示のように、人の手は、小指の指先から薬指の指先までの距離ａよりも、親指の指先から人差し指の指先までの距離ｂの方が一般的に長くなっている。したがって、５つの指先の位置が特定されたときに、両端に位置する２つの指先位置の間隔を比較することにより、どちらの端の指が親指で、どちらの端の指が小指であるかを判断することができ、これにより、右手か左手かを判断することができる。例えば、図示の例では、左端の指先位置の間隔ａよりも、右端の指先位置の間隔ｂが長いので、右側が親指であると判断することができ、これにより左手の画像であると判断することができる。

なお、手の大きさ、指の太さ、長さ等は、人それぞれであるから、画像取得部３が取得した画像と、予め格納している標準的な手の画像とをそのまま比較した場合には、画像解析部１４が誤認識するおそれがある。

そこで、画像解析部１４は、画像取得部３が取得した画像の標準化を行うことが好ましい。なお、標準化とは、手の大きさ、指の太さ、長さ等が所定の範囲内となるように行う補正を指す。補正後の画像と標準的な手の画像とを比較することにより、画像解析部１４は、画像取得部３が取得した画像が、手の画像であるか否かを判断することができる。また、画像取得部３が取得した画像が手の画像である場合には、画像解析部１４は、上記画像が右手の画像であるか左手の画像であるか、そして指先の位置はどこであるかを確実に判断することができる。

そして、画像解析部１４は、表示パネル２に接触している各指について、表示パネル２上の位置、指の種別、及び左右の何れの手の指であるかを示すデータを生成して、入力検出部１３に送る。

ボタン座標変更部１５は、画像解析部１４が検出した指先の位置に応じて、記憶部２１のボタン座標テーブル２３に格納されている、ボタンイメージの表示位置を示す座標を更新する。これにより、ボタンイメージが指の動きに追従して移動することになる。また、ボタン座標変更部１５が更新した座標は、入力検出部１３による入力操作の検出にも用いられる。なお、以下では、ボタン座標変更部１５によって更新された座標を更新座標と呼ぶ。

表示制御部１６は、表示パネル２及びバックライト４の動作を制御して表示パネル２に任意の画像を表示させる。また、表示制御部１６は、ボタン表示部１７からコントロール画面データを受け取って表示パネル２に表示させる。

ボタン表示部１７は、各指に割り当てられた機能を示すボタンイメージを当該指に対応する位置に表示させる。具体的には、ボタン表示部１７は、記憶部２１のコマンドテーブル２２に格納されているボタンイメージを読み出すと共に、記憶部２１のボタン座標テーブル２３に格納されている初期座標または更新座標を読み出す。そして、ボタン表示部１７は、読み出した初期座標または更新座標の位置に、読み出したボタンイメージが配置されたコントロール画面データを生成し、このコントロール画面データを表示制御部１６に出力して表示させる。

〔コマンドテーブル２２〕
ここで、コマンドテーブル２２について説明する。コマンドテーブル２２は、指と該指に対応するコマンドとが対応付けられたテーブルである。したがって、周辺機器制御部１２は、コマンドテーブル２２を参照することによって、入力検出部１３が特定した指に対応するコマンドを特定することができる。なお、コマンドは、周辺機器Ｐに所定の動作を実行させる命令であり、周辺機器Ｐ毎に異なっているので、コマンドテーブル２２は、周辺機器Ｐ毎に用意されている。

さらに、コマンドテーブル２２には、各コマンドと該コマンドに対応するボタンイメージとが対応付けて記憶されている。ボタンイメージは、各コマンドによって周辺機器Ｐが実行する動作を示す画像であり、ボタンイメージが表示されることによって、ユーザは、各指にどのようなコマンドが割り当てられているか（どのような動作が実行されるか）を認識することができる。

なお、ボタンイメージは、各指の操作でどのような動作が実行されるかをユーザが認識することができるものであればよく、静止画像以外にも、例えば動画像、文字、及び記号等をボタンイメージとすることもできる。

コマンドテーブル２２は、例えば図９に示すような構成とすることもできる。図９は、コマンドテーブル２２の一例を示す図である。図９に示すコマンドテーブル２２では、左右の指のそれぞれと、メイン、オーディオ、エアコン、及びカーナビの４つのモードに対応するコマンドとボタンイメージとが対応付けられている。

メインモードは、オーディオ、エアコン、及びカーナビの何れの周辺機器Ｐを操作するかを選択するためのモードである。したがって、メインモードでは、オーディオを操作するオーディオモードに移行するためのオーディオコマンド、エアコンを操作するエアコンモードに移行するためのエアコンコマンド、及びカーナビを操作するカーナビモードに移行するためのカーナビコマンドが、指に対応付けて記憶されている。

具体的には、オーディオコマンドは、運転席のＬ１及び助手席のＲ１に対応付けられており、エアコンコマンドは、運転席のＬ２及び助手席のＲ２に対応付けられており、カーナビコマンドは、運転席のＬ３及び助手席のＲ３に対応付けられている。

なお、Ｌ１〜Ｌ５は、それぞれ左手の親指、人差し指、中指、薬指、及び小指を示し、同様にＲ１〜Ｒ５は、それぞれ右手の親指、人差し指、中指、薬指、及び小指を示している。すなわち、ここでは、入力装置１を右ハンドルの自動車のセンターコンソールに配置することを想定しているので、助手席から入力装置１を操作する場合には、右手で操作することになり、運転席から入力装置１を操作する場合には、右手で操作することになる。そこで、図示の例のコマンドテーブル２２では、運転席用と助手席用との２通りの指の割り当てを定義している。

同様に、オーディオモードでは、Ｌ１及びＲ１には、オーディオの再生を停止させる停止コマンドが、Ｌ２及びＲ２には、オーディオの再生を開始させる再生コマンドが、Ｌ３及びＲ３には、次の曲を再生させる１曲送りコマンドが、Ｌ４及びＲ４には、オーディオの再生音量を上げる音量ＵＰコマンドが、そしてＬ５及びＲ５には、オーディオの再生音量を下げる音量ＤＯＷＮコマンドが対応付けられている。

また、エアコンモードでは、Ｌ１及びＲ１には、外気の取り込みを実行させる外気コマンドが、Ｌ２及びＲ２には、車内の空気を循環させる循環コマンドが、Ｌ３及びＲ３には、設定温度を上げる温度ＵＰコマンドが、Ｌ４及びＲ４には、設定温度を下げる温度ＤＯＷＮコマンドが対応付けられている。

さらに、カーナビモードでは、Ｌ１及びＲ１には、自宅までのルートガイドを開始させる自宅コマンドが、Ｌ２及びＲ２には、表示する地図をより縮尺の小さい地図に切り換える広域コマンドが、Ｌ３及びＲ３には、表示する地図をより縮尺の大きい地図に切り換える詳細コマンドが対応付けられている。

なお、本実施形態では、入力装置１を運転席と助手席との両側から操作することを想定しているので、運転席から左手で操作する場合でも、助手席から右手で操作する場合でも、同じ感覚で操作できるようにすることが好ましい。そこで、本実施形態では、Ｌ１〜Ｌ５と、Ｒ１〜Ｒ５とのそれぞれに同じコマンドを対応付けている。しかしながら、Ｌ１〜Ｌ５と、Ｒ１〜Ｒ５とで別のコマンドを対応付けるようにしてもよい。これにより、指の種別のみならず、右手か左手かに応じた多彩な入力を行うことが可能になる。

また、図示のように、各コマンドにはボタンイメージが対応付けられている。このボタンイメージは、ボタン表示部１７によって読み出され、表示制御部１６によって表示パネル２に表示される。これにより、ユーザは、どの指で操作を行ったときにどのような機能が実行されるかを容易に認識することができる。

なお、各指に割り当てるコマンドはどのようなものであってもよいが、小指や薬指での入力操作には不慣れなユーザも存在すると考えられるので、使用頻度の高いコマンドを、親指、人差し指、及び中指に割り当てることが好ましい。

〔ボタン座標テーブル２３〕
次に、ボタン座標テーブル２３について説明する。ボタン座標テーブル２３は、ボタンイメージを表示する座標を示すテーブルである。ボタン座標テーブル２３には、表示パネル２上に手が置かれる前の状態でボタンイメージを表示する座標である初期座標が格納されている。表示パネル２上に手が置かれるまでは、ボタンイメージは、ボタン座標テーブル２３の初期座標が示す位置に表示される。

また、ボタン座標テーブル２３には、表示パネル２上に手が置かれた後の各指の座標を示す更新座標が格納される。上述のように、更新座標は、ボタン座標変更部１５によって更新された座標である。表示パネル２上に手が置かれた後は、ボタンイメージは、ボタン座標テーブル２３の更新座標が示す位置に表示される。

ボタン座標テーブル２３は、例えば図１０に示すような構成とすることもできる。図１０は、ボタン座標テーブル２３の一例を示す図である。図示のように、ボタン座標テーブル２３には、運転席用、すなわち指Ｌ１〜Ｌ５のそれぞれに対応する初期座標と更新座標とが格納されていると共に、助手席用、すなわち指Ｒ１〜Ｒ５のそれぞれに対応する初期座標と更新座標とが格納されている。

初期座標は、ユーザが表示パネル２に手を触れる前の状態におけるボタンイメージの表示位置として予め設定されるものであり、その値は固定である。一方、更新座標は、ユーザが表示パネル２に手を触れているときにボタンイメージを表示する位置を示すものであり、表示パネル２上の指の位置に応じて随時更新される。

このように、入力装置１では、座標を用いて表示パネル２上のボタンイメージの表示位置を表している。これについて図１１に基づいて説明する。図１１は、表示パネル２上に設定する座標、及び該表示パネル２上に表示されるボタンイメージの表示位置を示す図である。図示の例では、０から２００までの縦軸と、０から２００までの横軸とが設定されており、これにより表示パネル２上の位置を（０，０）から（２００，２００）までの座標によって表すことができる。

例えば、図１０のボタン座標テーブル２３を用いた場合には、Ｌ１〜Ｌ５の初期座標は、それぞれ（１８０，１２０）、（１６０，１７０）、（１００，２００）、（４０，１７０）、及び（１０，１２０）となる。したがって、図１１に示すように、（１８０，１２０）、（１６０，１７０）、（１００，２００）、（４０，１７０）、及び（１０，１２０）の座標にボタンイメージが表示されることになる。

そして、図１１に示すように、表示パネル２上に手を載置したときには、その指先の位置の座標が更新座標としてボタン座標テーブル２３に格納される。図１１の例では、指先の位置座標が、（１６０，９０）、（１３０，１３０）、（１１０，１５０）、（７０，１４０）、及び（４０，１１０）である。したがって、図１０に示すように、Ｌ１〜Ｌ５の更新座標も（１６０，９０）、（１３０，１３０）、（１１０，１５０）、（７０，１４０）、及び（４０，１１０）となる。

これにより、図１１に示すように、ボタンイメージの表示位置が、更新座標の（１６０，９０）、（１３０，１３０）、（１１０，１５０）、（７０，１４０）、及び（４０，１１０）に変化することになる。

なお、指先の位置とボタンイメージの表示位置とを一致させる必要はなく、ボタンイメージは、どの指での操作がどのコマンド（機能）に対応しているかをユーザが認識できるように表示すればよい。ただし、指先の座標と全く同じ位置にボタンイメージを表示した場合には、指でボタンイメージが隠れるので、本適用例では、指先の座標からずれた位置にボタンイメージを表示している。尚、指先の座標とボタンイメージの表示位置とのずらし量は、ボタンイメージの大きさに応じて固定的に決定してもよいが、指の種別ごとに、おおよその移動方向と移動可能範囲とが異なっているので、ずらす方向とずらし量とを指の種別に応じて変えることが好ましい。

〔起動からコントロールモードまでの処理の流れ〕
続いて、入力装置１が起動された後、周辺機器Ｐに対する入力操作を行うことができるようになるまでの処理の流れについて図１２に基づいて説明する。なお、ここでは、周辺機器Ｐに対する入力操作を行うことができる状態をコントロールモードと呼ぶ。図１２は、入力装置１の起動からコントロールモードまでの処理の一例を示すフローチャートである。

車のエンジンがかけられると、入力装置１に電流が供給されて入力装置１は起動状態となる。起動状態となった入力装置１では、まずコントロールデータの読み出しが行われる（Ｓ１）。なお、コントロールデータとは、入力装置１の動作に必要なプログラム等のデータである。コントロールデータの読み出しにより、図１に示す各ブロックの機能が実行可能な状態となり、これにより入力装置１は、メインコントロールモードに移行する（Ｓ２）。

メインコントロールモードでは、何れの周辺機器Ｐを操作するかの選択が行われる。すなわち、メインコントロールモードにおいて、オーディオ機器を操作する旨の入力が行われた場合には、入力装置１はオーディオコントロールモードに移行する（Ｓ３）。一方、エアコンを操作する旨の入力が行われた場合には、入力装置１はエアコンコントロールモードに移行する（Ｓ４）。また、エアコンを操作する旨の入力が行われた場合には、入力装置１はカーナビコントロールモードに移行する（Ｓ５）。

なお、メインコントロールモード、オーディオコントロールモード、エアコンコントロールモード、及びカーナビコントロールモードでは、入力装置１が参照するコマンドテーブル２２のデータが変わるだけであり、入力装置１の基本的な動作は同じである。すなわち、メインコントロールモード、オーディオコントロールモード、エアコンコントロールモード、及びカーナビコントロールモードは、何れも周辺機器Ｐに対する入力操作を行うことができるコントロールモードである。

〔コントロールモードにおける処理の流れ〕
続いて、コントロールモードにおける処理の流れについて、図１３に基づいて説明する。図１３は、コントロールモードにおける処理の一例を示すフローチャートである。

入力検出部１３は、入力装置１がコントロールモードに移行すると、フラグを０に設定する（Ｓ１１）。なお、このフラグは、表示パネル２に接触している指の本数を判断するためのものであり、表示パネル２に５本の指が接触していると判断された場合に、フラグが１に設定される。

また、入力装置１がコントロールモードに移行すると、ボタン表示部１７は、ボタン座標テーブル２３から初期座標を読み出す。すなわち、入力装置１がコントロールモードに移行すると、ボタン座標テーブル２３には初期座標がセットされる（Ｓ１２）。

なお、初期座標は、入力装置１に最後に入力された手画像に応じて決定される。すなわち、ボタン表示部１７は、最後に入力された座標が左手のものであったか、右手のものであったかを、例えば補助記憶部７のような任意の記憶部に記憶しておき、同じ側の手の初期座標を読み出す。

続いて、ボタン表示部１７は、コマンドテーブル２２から各指に対応するボタンイメージを読み出す。なお、ここで読み出すボタンイメージは、入力装置１がどの周辺機器Ｐを操作するコントロールモードであるかに応じて決定される。例えば、ボタン表示部１７は、入力装置１がオーディオコントロールモードである場合には、図９のオーディオモードに対応する各ボタンイメージを読み出す。そして、ボタン表示部１７は、表示制御部１６に指示して、上記読み出したボタンイメージを初期座標の位置に表示させる（Ｓ１３）。

また、入力検出部１３は、フラグを０に設定すると、画像解析部１４に画像の解析を開始するように指示を送る。画像解析の開始指示を受けた画像解析部１４は、画像取得部３に指示して画像の取り込みを行わせる（Ｓ１４）。そして、画像の取り込み指示を受けた画像取得部３は、表示パネル２上の対象物の像を取り込み、取り込んだ画像を画像解析部１４に送る。

次に、画像解析部１４は、画像取得部３から画像を受け取ると、受け取った画像が手の画像であるか否かを判断する（Ｓ１５）。なお、画像解析部１４は、例えば予め記憶している標準的な手の画像と上記画像とを比較することによって、受け取った画像が手の画像であるか否かを判断することができる。

ここで、画像解析部１４は、画像取得部３から受け取った画像が手の画像であると判断できない場合（Ｓ１５でＮＯ）には、その旨を入力検出部１３に伝達し、伝達を受けた入力検出部１３は、Ｓ１１の処理に戻る。つまり、手を表示パネル２に接触させるまではＳ１１からＳ１５の処理を繰り返すことになる。また、接触させていた手を表示パネル２から離したときにも、Ｓ１５において手の画像が検出されない状態となるので、Ｓ１１の処理に戻る。したがって、接触させていた手を表示パネル２から離したときには、Ｓ１１からＳ１３の処理によって、ボタンイメージの表示位置が初期座標の位置に戻ることになる。

一方、画像取得部３から受け取った画像が手の画像であると判断したとき（Ｓ１５でＹＥＳ）には、当該画像が右手の画像であるか、左手の画像であるかを判断する（Ｓ１６）。なお、上記画像が右手の画像であるか、左手の画像であるかについても、予め記憶している標準的な手の画像と上記受け取った画像とを比較することによって判断することができる。

続いて、画像解析部１４は、上記受け取った画像から、指先の座標を検出する（Ｓ１７）。具体的には、画像解析部１４は、Ｓ１６における上記画像が右手の画像であるか、左手の画像であるかの判断結果に基づいて、画像の指が何指であるかを特定する。そして、画像解析部１４は、特定した各指の先端部分の、表示パネル２上の位置を座標として取得する。

すなわち、ここでは、画像解析部１４は、親指、人差し指、中指、薬指、及び小指の各指先の、表示パネル２上の座標を取得する。そして、画像解析部１４は、取得した各指の指先座標を入力検出部１３に送る。ここでは、画像解析部１４が取得した各指の指先座標を検出座標と呼ぶ。

検出座標を受け取った入力検出部１３は、受け取った検出座標に５つの指先座標が含まれているか否かを確認する（Ｓ１８）。すなわち、入力検出部１３は、上記検出座標に、親指、人差し指、中指、薬指、及び小指の各指先の座標が含まれているか否かを確認する。

ここで、５つの指先座標が含まれていることが確認されなかった場合（Ｓ１８でＮＯ）には、入力検出部１３は、フラグが１であるか否かを確認する（Ｓ２６）。ここでは、Ｓ１１にてフラグが０に設定されているので、入力検出部１３は、フラグが１ではないと判断し（Ｓ２６でＮＯ）、Ｓ１４の処理に戻る。

一方、５つの指先座標が含まれていることが確認された場合（Ｓ１８でＹＥＳ）には、入力検出部１３は、タイマーがスタートしているか否かを確認する（Ｓ１９）。そして、タイマーがスタートしている場合（Ｓ１９でＹＥＳ）には、これをストップ（Ｓ２０）してＳ２１の処理に進み、タイマーがスタートしていない場合（Ｓ１９でＮＯ）には、そのままＳ２１の処理に進む。

なお、このタイマーは、入力検出部１３が指の接触状態が変化したことを検出した場合に、その接触状態の変化を入力操作と判断するか否かの判定に用いられるものである。なお、タイマーは、図１及び５には示していないが、入力検出部１３が参照可能なように、入力装置１に設けられている。ここでは、タイマーがスタートされていないので、Ｓ１９の次は、Ｓ２１の処理に進む。

Ｓ２１では、入力検出部１３は、フラグが１であるか否かを確認する。ここでは、Ｓ１１にてフラグが０に設定されているので、入力検出部１３は、フラグが１ではないと判断し（Ｓ２１でＮＯ）、Ｓ２２の処理に進む。

そして、Ｓ２２では、ボタン座標テーブル２３に更新座標がセットされる。具体的には、入力検出部１３は、画像解析部１４に指示して、上記検出座標をボタン座標変更部１５に送信させる。次に、指示を受けた画像解析部１４は、上記検出座標をボタン座標変更部１５に送る。そして、ボタン座標変更部１５が、画像解析部１４から受け取った検出座標を用いて、ボタン座標テーブル２３の更新座標を更新することによって、ボタン座標テーブル２３に更新座標がセットされる。

ここで、ボタン表示部１７は、ボタン座標テーブル２３の更新座標が更新されると、該更新された更新座標を読み出し、読み出した初期座標または更新座標の位置にボタンイメージが配置されたコントロール画面データを生成し、生成したコントロール画面データを表示制御部１６に出力し、表示パネル２に表示させる（Ｓ２３）。

そして、入力検出部１３は、フラグを１に設定する。すなわち、５つの指先座標が検出され、検出された各指先座標に対応する位置にボタンイメージが配置されたコントロール画面データの表示指示が行われたときに、フラグが１に設定される。そして、フラグを１に設定した入力検出部１３は、Ｓ１４の処理に戻る。

なお、フラグは、表示パネル２に５本の指が接触しているときに１に設定されるようになっていればよく、フラグを１に設定するタイミングは図示の例に限られない。例えばＳ１８にて５本の指が接触していると判断されたときにフラグを１に設定するようにしてもよい。

さて、フラグが１に設定された状態にて、入力検出部１３が５つの指先座標を検出した場合には、Ｓ１５からＳ２１の処理を経てＳ２５の処理に移行する。Ｓ２５では、入力検出部１３は、入力操作を行った入力指が特定されているか否かを確認する。入力指の特定は、後述のＳ３０にて行われるので、この段階では入力指は特定されていない。したがって、入力検出部１３は、入力指は特定されていないと判断し（Ｓ２５でＮＯ）、Ｓ２２の処理に戻る。

Ｓ２２及びＳ２３では、上述のように、ボタン座標テーブル２３に更新座標がセットされ、該更新座標に基づいてボタンイメージが表示される。すなわち、入力装置１では、ユーザが表示パネル２に５本の指を接触させた状態で、指の位置を移動させた場合には、指の位置に追従してボタンイメージの表示位置も移動するようになっている。これにより、入力操作中にユーザの指が移動した場合であっても、常に各指に対応するボタンイメージを適切な位置に表示させることができる。なお、この場合には、すでにフラグが１に設定されているので、入力検出部１３はＳ２４においてフラグの変更を行わず、Ｓ１４の処理に戻る。

一方、フラグが１に設定された状態にて、入力検出部１３が５つの指先座標を検出できなかった場合には、Ｓ１８及びＳ２６の処理を経てＳ２７の処理に移行する。Ｓ２７では、入力検出部１３は、４つの指先座標を検出したか否かを確認する。フラグが１に設定されているということは、５つの指先座標が検出されたことを示しているので、Ｓ２７では、検出された指先座標が５つから４つへと変化したか否かが確認されることになる。

ここで、４つの指先座標の検出が確認できなかった場合（Ｓ２７でＮＯ）には、入力検出部１３は、Ｓ１４の処理に戻る。一方、４つの指先座標の検出が確認できた場合（Ｓ２７でＹＥＳ）には、入力検出部１３は、タイマーをスタートさせる（Ｓ２８）。すなわち、入力検出部１３は、４つの指先座標を検出したとき（１本の指が非接触となった状態を検出したとき）に、タイマーをスタートさせる。

続いて、入力検出部１３は、検出された上記４つの指先座標と、ボタン座標テーブル２３に格納されている更新座標とを比較して、座標が得られない指を検出する（Ｓ２９）。すなわち、Ｓ２９では、５本の指のうち、何れの指が表示パネル２から離れたかが検出される。

そして、入力検出部１３は、座標が得られない指、すなわち表示パネル２から離れた指を、入力操作を行った入力指として特定する（Ｓ３０）。この後、処理は再びＳ１４に戻り、画像の取り込みが行われる。

ここで、上記取り込まれた画像が手の画像であり、５つの指先画像が検出された場合には、Ｓ１５からＳ１８の処理を経て、処理はＳ１９に進む。そして、ここでは、Ｓ２８においてタイマーがスタートされているので、処理はＳ２０に進み、入力検出部１３は、タイマーをストップする。

これにより、１本の指の非接触状態が検出されたとき（Ｓ２７でＹＥＳ）から、当該指が再度接触状態となったことが検出されたとき（Ｓ１８でＹＥＳ）までの時間が上記タイマーによって計測される。

また、ここではフラグが１に設定されており、Ｓ３０にて入力指が特定されているので、Ｓ２１からＳ２５の処理に進み、Ｓ２５では、入力検出部１３は、入力指が特定済みであると判断し（Ｓ２５でＹＥＳ）、Ｓ３１の処理に進む。

Ｓ３１では、入力検出部１３は、上記タイマーにて計測された時間が、予め設定された所定の時間範囲内にあるか否かを確認する。ここで、上記タイマーにて計測された時間が上記所定時間範囲外である場合（Ｓ３１でＮＯ）には、入力検出部１３は、Ｓ２２の処理に戻る。一方、上記タイマーにて計測された時間が上記所定時間範囲内である場合（Ｓ３１でＹＥＳ）には、入力検出部１３は、Ｓ３２の処理に進む。

Ｓ３２では、周辺機器Ｐに対するコマンドの出力が行われる。具体的には、入力検出部１３は、上記特定した入力指を示す入力指データを周辺機器制御部１２に送る。そして、入力指データを受け取った周辺機器制御部１２は、受け取った入力指データが示す入力指に対応付けられているコマンドをコマンドテーブル２２から読み出して、該コマンドを実行させる周辺機器Ｐに送信する。

また、周辺機器制御部１２は、コマンドを送信すると、その旨を入力検出部１３に伝達し、伝達を受けた入力検出部１３は、フラグを０に戻して（Ｓ３３）、Ｓ１４の処理に戻る。

なお、図１３には示していないが、入力指が特定されたときには、特定された入力指に対応するボタンイメージの表示態様の変更を行う。具体的には、入力検出部１３は、Ｓ３２において、上記入力指データをボタン表示部１７にも送信する。そして、ボタン表示部１７は、上記入力指データで特定される指に対応するボタンイメージの表示態様を変化させたコントロール画面データを生成する。

これにより、入力装置１が入力操作を検出した指に対応するボタンイメージの表示態様が変化するので、ユーザは、自身の入力操作が入力装置１に正しく認識されたか否かを一目で認識することができる。

なお、ボタンイメージの表示態様の変化は、ユーザがその変化を視覚的に認識することができるものであればよく、例えば色、彩度、明度、サイズ、形状等を変化させてもよいし、表示するボタンイメージを別のボタンイメージに変えてもよい。また、図２（ｃ）の例のように、ボタンイメージの色を反転させてもよい。さらに、車の運転中のように、表示パネル２を見ながら操作することが困難な場合にも対応できるように、選択されたコマンド（または、該コマンドにて実行される動作）を音声で出力するようにしてもよい。

以上のように、入力装置１では、ユーザが表示パネル２に接触させた５本の指の１本を表示パネル２から離したときに、入力指が決定され、ユーザが表示パネル２から離した上記の指を再度表示パネル２に接触させることによって、上記入力指に対応付けられたコマンドが周辺機器Ｐに送信される。

したがって、ユーザは、従来のようにボタンの位置に指を合せる必要がなく、表示パネル２の任意の位置に触れるだけで周辺機器Ｐの操作を行うことができる。これは、例えば車の運転中のように、表示パネル２を見ずに周辺機器Ｐの操作を行うことが好ましいときに有用である。

また、入力装置１では、以上のように、表示パネル２に接触させた各指に対応する位置に、当該指で入力操作を行ったときに実行されるコマンド（周辺機器Ｐの機能）が表示される。したがって、ユーザは、例えば車の停止中や、助手席に乗っているときには、液晶パネルの表示を見ながら確実に周辺機器Ｐの操作を行うこともできる。

さらに、入力装置１では、タイマーによって計測された、１本の指の非接触状態が検出されたときから、当該指が再度接触状態となったことが検出されたときまでの経過時間に基づいて、入力操作の有無が判断されるようにしている。すなわち、入力装置１では、上記経過時間が、予め定めた時間範囲内でない場合には、入力操作が行われなかったと判断される。

これにより、ユーザの意図しない入力操作が行われることを防ぐことができる。例えば、表示パネル２に接触状態にある手を移動させるときに生じる指の一瞬の浮きをボタン操作として誤認識する問題を回避することもできる。

また、図１３の例では、Ｓ１８において５つの指先座標が検出されない限り、入力操作を受け付けないようにしている。つまり、ユーザは、５つの指先座標が検出されるように、手を表示パネル２に接触させることによって、入力操作を行うことが可能になる。

これは、入力装置１では、各指先座標（または各指先座標から所定距離だけずれた各位置）にボタンイメージを表示させるようになっており、ボタンイメージの数は最大で５つに設定されているためである。すなわち、５つの指先座標が検出された場合には、表示させるボタンイメージの数は、常に指先座標の数以下となるので、各ボタンイメージを各指先座標に対応する位置に確実に表示させることができる。

また、表示パネル２上におけるユーザの指先の位置が、互いに近接している場合には、ボタンイメージの表示位置に重なりが生じて、ユーザの視認性が低下する可能性がある。また、この場合には、入力操作を行った指の誤判定が生じてユーザの意図しない入力操作が行われる可能性もある。

しかしながら、５つの指先座標が検出された場合には、表示パネル２上におけるユーザの各指先の位置は、入力装置１が識別可能な程度に離れていることになる。指先位置の検出精度にもよるが、パターンマッチング等によって各指先の位置を特定することができる場合には、各指先の位置は十分に離れているので、上記のような問題は生じ難い。

なお、上記の問題を確実に解消するために、例えば図１３のＳ１８において、５つの指先座標が検出された場合であっても、検出された指先座標に、隣接する指先座標との距離が所定値以下である指先座標が含まれているときには、５つの指先座標が検出されなかった（Ｓ１８でＮＯ）と判断するようにしてもよい。

〔入力操作の変形例〕
上記実施形態では、検出された指先の座標が５つから４つに変化したときに、入力指が決定され、そして検出された指先の座標が５つに戻ったときにコマンドが出力される例を示したが、入力指の決定は、指の接触／非接触の状態変化に基づいて行うものであればよく、この例に限られない。

例えば、指先の座標が５つから４つに、そしてまた５つに変化したときに、入力指が決定されると共にコマンドが出力されるようにしてもよい。また、例えば指先の座標が４つから３つに、そしてまた４つに変化したときに、入力指が決定されると共にコマンドが出力されるようにしてもよい。

すなわち、入力装置１は、表示パネル２に２本以上の指が接触している状態から、１本の指が非接触状態に変化したことを検出して、変化が検出された指を入力指と判断する構成とすることができる。また、入力装置１は、表示パネル２に２本以上の指が接触している状態から、１本の指が非接触状態に変化した後、再び接触状態に戻ったことを検出し、該検出した指を入力指として決定する構成としてもよい。そして、入力指を決定するタイミングとコマンドを出力するタイミングとは、同じであってもよいし、異なっていてもよい。

また、複数の指の接触状態を同時に変化させることによってコマンドが決定されるようにしてもよい。例えば、５本の指を表示パネル２に接触させた状態から、人差し指と親指とを表示パネル２から離し、再度人差し指と親指とを表示パネル２に接触させたときに、人差し指と親指との組み合わせに対して予め定義しておいたコマンドが出力されるようにしてもよい。これにより、より多彩な入力操作を行うことが可能になる。

さらに、入力装置１では、指が接触状態から非接触状態に変化したことを検出したときにコマンドを出力するようにしてもよい。ただし、この場合には、ユーザが入力操作を終えて表示パネル２から手を離したときに、誤ってコマンドが生成される可能性がある。したがって、上記実施形態のように、非接触状態となった指が再び接触状態となったことを検出したときに入力指を決定することが好ましい。

また、上記実施形態では、入力操作を行った指の種別を判断して、各指に対応付けられたコマンドを生成する例について説明したが、指の種別を問わずにコマンドを割り当てるようにしてもよい。

例えば、入力操作の対象となるコマンドが３種類である場合には、検出された指先座標のうち、右から３番目までの指先座標のそれぞれにコマンドを割り当てるようにしてもよい。この場合には、例えばユーザが右手の５つの指を表示パネル２に接触させたときには、親指、人差し指、及び中指のそれぞれにコマンドが割り当てられると共に、ユーザが右手の人差し指、中指、及び薬指を表示パネル２に接触させたときには、人差し指、中指、及び薬指のそれぞれにコマンドが割り当てられることになる。これによって、ユーザは、より多様な入力方法で入力操作を行うことができる。

また、表示パネル２上の入力操作が行われた位置に応じてコマンドを生成してもよい。例えば、ユーザが表示パネル２に手を置いたときに、その手の位置、向き、大きさなどを検出して、該検出した位置、向き、大きさなどに応じた位置（例えば各指の指先）にボタンイメージを表示する。そして、表示されたボタンイメージにユーザが触れたときに、当該ボタンイメージに予め対応付けられたコマンドを生成するようにしてもよい。この場合には、表示パネル２に手を置いた後は、従来のタッチパネルと同様の入力操作が可能になる。つまり、ボタンイメージに触れる指がどの指であっても、当該ボタンイメージに予め対応付けられたコマンドが生成される。

これは、入力装置１を例えばキーボードのような複数の入力キーを備えた入力装置に適用する場合に好適である。すなわち、表示パネル２にユーザが手を置いたときに、置かれた手の位置及び大きさに応じた、ユーザが操作しやすい位置にボタンイメージを表示し、表示したボタンイメージに対する入力操作を受け付けることにより、ユーザは、手の大小や形状に関わらず、スムーズに入力操作を行うことが可能になる。

さらに、上記実施形態では、手を表示パネル２に載置した後で入力操作を行う例について説明したが、これに加えて従来のタッチパネルと同様の操作入力も行うことができるようにしてもよい。

すなわち、初期座標に表示されているボタンイメージに対して接触があったことを検知した場合に、当該ボタンイメージに対応付けられているコマンドを送信するようにしてもよい。例えば、図２（ａ）の状態でボタンイメージａ〜ｅをタイレクトタッチすることで、そのボタンイメージに定義されたコマンドを出力するようにしてもよい。これにより、ユーザは、従来のタッチパネルと同じ操作方法で入力操作を行うことも可能となり、運転中でない場合に、表示パネル２を見ながら、従来から使い慣れた操作方法でスムーズに入力操作を行うことも可能になる。

〔入力操作の検出方法の変形例〕
上記実施形態では、表示パネル２に対する指の接触／非接触を画像取得部３が取得した画像に基づいて判断する例を示したが、入力装置１では、どの指で操作が行われたかを判断することができればよく、この例に限られない。

例えば、液晶表示パネルやＥＬ表示パネル、プラズマ表示パネル等のような任意の表示装置の背後に赤外線カメラを設け、表示装置越しにユーザの指を撮像して得た画像に基づいて指の接触／非接触を判断するようにしてもよい。また、例えば、感圧センサや温度センサ等のセンサを用いて、表示パネル２に対する指の接触／非接触を判断することもできる。

〔ユーザ認証〕
入力装置１では、画像取得部３が取得した画像を利用してユーザ認証を行うようにしてもよい。例えば、予め取得したユーザの指紋や掌紋と、画像取得部３が取得した画像との照合を行うことによってユーザ認証を行うことができる。これにより、周辺機器Ｐの入力操作における制限をユーザ毎に設定することも可能になる。

例えば、カーナビ機能の入力操作については父母のみが可能とし、それ以外の機能は子供でも操作可能とすることもできる。これにより、子供がカーナビ機能を操作して、父母の運転が妨げられることを防ぐことができる。また、子供が表示パネル２に触れた場合には、子供の手に合せた位置にボタンイメージが表示され、その手の位置で入力操作を行うことができるので、子供であっても簡単に入力操作を行うことができる。したがって、ユーザが子供であっても、例えばオーディオ機器を操作して、好きな音楽を再生することも十分に可能である。

また、例えばパソコンやＡＴＭ（Automatic Teller Machine）等の電子機器の入力装置として入力装置１を適用した場合には、パスワードの入力や指紋等の読み取りといった特別な動作を行うことなくユーザの認証を行い、認証に成功した場合のみ入力操作を有効にすることも可能になる。

さらに、手の大きさに応じて入力操作を制限することもできる。例えば、手の大きさが所定より小さい場合には、入力操作を受け付けないようにすることにより、子供が電子機器を誤って操作してしまうことを防ぐことができる。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の入力装置によれば、表示パネルに触れるだけで容易に入力操作を行うことができるので、指で触れて入力操作を行う任意の入力装置に適用することができる。

本発明の実施形態を示すものであり、入力装置の要部構成を示すブロック図である。 上記入力装置の動作の一例を示す図である。 上記入力装置の動作の上記とは別の例を示す図である。 上記入力装置を車載機器の入力装置として適用した場合の外観の一例を示す図である。 上記入力装置のハードウェア構成の一例を示すブロック図である。 上記入力装置が備える表示パネル及び画像取得部の構成及び機能の概略を示す図である。 上記入力装置が備える画像取得部が取得する画像の一例を示す図である。 指先の間隔に基づいて、左手か右手かを判断する方法を説明する図である。 上記入力装置が備えるコマンドテーブルの一例を示す図である。 上記入力装置が備えるボタン座標テーブルの一例を示す図である。 上記入力装置が備える表示パネル上に設定される座標、及び該表示パネル２上に表示されるボタンイメージの表示位置を示す図である。 上記入力装置の起動からコントロールモードまでの処理の一例を示すフローチャートである。 上記コントロールモードにおいて上記入力装置が実行する処理の一例を示すフローチャートである。

符号の説明

１ 入力装置
２ 表示パネル
３ 画像取得部（撮像部）
１１ 制御部
１３ 入力検出部（入力検出手段、入力信号生成手段）
１４ 画像解析部（接触検出手段、種別判別手段）
１５ ボタン座標変更部
１７ ボタン表示部（表示手段）
２２ コマンドテーブル

Claims (4)

1. 入力操作を受け付ける入力面の複数箇所に対する接触をそれぞれ識別して検出し、該検出の結果に応じた入力信号を生成する入力装置であって、
   上記入力面に複数の指のそれぞれが接触していることを検出する接触検出手段と、
   上記接触検出手段によって上記入力面に接触していると検出された指のうち、少なくとも１つの指の接触から非接触への状態変化を検出して入力信号を生成する入力検出手段とを備え、
   上記接触検出手段は、上記入力面に接触している各指の種別を判別し、
   上記入力検出手段は、上記接触検出手段の判別結果に基づいて、接触から非接触への状態変化を検出した指の種別に応じた入力信号を生成し、
   指の種別に応じた上記入力信号が生成されたときに、該入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、上記入力信号に対応する命令を、上記動作実行装置に送信する装置制御手段を備え、
   上記接触検出手段は、上記入力面に接触している指が、右手または左手の何れの指であるかを判別し、
   上記入力検出手段は、上記接触検出手段の判別結果に基づいて、接触から非接触への状態変化を検出した指が右手または左手の何指であるかに応じた入力信号を生成し、
   上記装置制御手段は、右手または左手の各指の種別に応じた上記入力信号が生成されたときに、該入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、上記入力信号に対応する命令を、上記動作実行装置に送信し、
   上記指−命令対応情報に基づいて各指に対応する命令を抽出し、上記接触検出手段が検出した各指の位置に、当該指に対応する命令、または該命令によって動作実行装置が実行する動作を示す情報を表示する表示手段を備え、
   上記装置制御手段は、上記入力検出手段が、指の接触から非接触への状態変化を検出した後、当該指が再度上記入力面に接触したことを検出したときに上記命令の送信を行い、
   上記入力面上の物体を画像データとして取り込む撮像部を備え、
   上記接触検出手段は、上記撮像部が取り込んだ画像データに基づいて上記入力面に複数の指のそれぞれが接触していることを検出し、
   上記撮像部は、光センサ内蔵液晶表示装置で構成されており、
   上記入力面は、上記光センサ内蔵液晶表示装置の表示面であり、
   上記表示手段は、予め定められた位置に予め表示させた、指に対応する命令、または該命令によって動作実行装置が実行する動作を示す上記情報を、上記接触検出手段が上記入力面への指の接触を検出したときに、該接触検出手段が検出した各指の位置に表示することを特徴とする入力装置。
2. 上記表示手段が各指の位置に表示した、指に対応する命令、または該命令によって動作実行装置が実行する動作を示す上記情報の表示位置を、上記接触検出手段が検出する接触位置に応じて更新する手段を備えていることを特徴とする請求項１に記載の入力装置。
3. 上記入力検出手段は、上記接触検出手段が、親指、人差し指、中指、薬指、及び小指の５つの指が接触していることを検出した場合に限り、入力信号を生成することを特徴とする請求項１または２に記載の入力装置。
4. 上記表示手段は、予め定められた位置に表示されている、指に対応する命令、または該命令によって動作実行装置が実行する動作を示す上記情報のうち、現在操作可能な機能に対応する情報を、上記接触検出手段が検出した各指の位置に表示することを特徴とする請求項１から３の何れか１項に記載の入力装置。