JP2012038289A - タッチパネル装置 - Google Patents

Abstract

【課題】視覚の不自由な操作者に対して容易に操作部品の位置を把握させることができ、かつ、省電力化を実現することができるタッチパネル装置を提供する。
【解決手段】操作位置が、ＧＵＩ部品付近（Ｓ４のＹＥＳ）で、押圧度合いが所定の閾値未満の場合（Ｓ５のＹＥＳ）、主制御装置は、操作者がＧＵＩ部品の位置を認識していないと推定し、定在波パターンを生成し（Ｓ１１Ｂ）、ＧＵＩ部品の中央部に腹が位置し、かつ、ＧＵＩ部品の境界部に節が位置するような定在波を表面基板に発生させる。
【選択図】図８

Description

本発明は、画像表示部に操作部品を表示し、操作入力パネルから入力される操作入力を受け付けるタッチパネル装置に関するものである。

携帯電話や音楽プレーヤーなどの端末装置の表示画面には、タッチパネルを用いた入力装置（以下、タッチパネル装置という）が広く使用されている。一般的なタッチパネル装置は、画像表示部たる液晶画面などの表示画面に操作入力パネルを重ね合わせて用いられる。このようなタッチパネル装置では、表示画面にボタンなどの操作部品を表示し、操作部品の表示位置に対応した操作入力パネル上の位置を操作体である指でタッチして操作部品の操作を行う。ボタンなどの操作部品としては、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品が挙げられる。このようなタッチパネル装置は、メカニカルなボタンやスライダーやダイヤルなどのインターフェース部品が配置された操作パネルとは異なり、操作部品のレイアウトがソフトウェアにより自由に変更ができるため利便性が高く、今後も更に需要が増して来ることが予想される。

特許文献１、２には、操作者が操作部品を操作したときに、ストローク感やクリック感を操作者に提供するタッチパネル装置が記載されている。具体的には、操作入力パネルを押圧した時点からその押圧が確定されるまでの間、所定の振幅の信号波形に従って操作入力パネルを変位させることによって、操作者にストローク感やクリック感を提供している。

しかしながら、上記特許文献１、２のタッチパネル装置においては、操作者が、操作部品を操作した操作感を提供することはできるが、操作入力パネルを押圧した時点から振動が発生するため、操作者が操作入力パネルの表面を軽く触れた段階で操作部品を認識することができなかった。このため、視覚の不自由な操作者が、操作部品の位置を把握することが困難であるという課題があった。

本出願人は、特願２００９−０６０２５９号（以下、先願という）において、操作者が操作入力パネル表面を触れただけで、操作部品の位置関係を把握することのできるタッチパネル装置を提案した。具体的には、操作入力パネルの操作部品の位置に対応する箇所が腹となるような定在波（定常波）を操作入力パネルに発生させるのである。これにより、操作入力パネルの操作部品に対応する箇所に触れたとき、指先に振動を感じ、その位置に操作部品があることを認識することができる。このように、触覚だけで、操作部品の位置を把握することができるので、視覚の不自由な操作者でも、容易に操作部品の位置を把握することができる。

しかしながら、先願のタッチパネル装置においては、常に操作入力パネルに定在波を発生させていたため、定在波を発生させるための電力が常に必要となり、多くの消費電力が必要となるという課題があった。特に、携帯機器など、電池で駆動する装置に上記先願のタッチパネル装置を採用した場合、電池の電力が早期になくなり、装置の使用時間が短縮されることになるという課題があった。

本発明は以上の課題に鑑みなされたものであり、その目的は、視覚の不自由な操作者に対して容易に操作部品の位置を把握させることができ、かつ、省電力化を実現することができるタッチパネル装置を提供することである。

上記目的を達成するために、請求項１の発明は、自身の表面に操作体が接することで操作入力を受け付ける操作入力パネルと、前記操作入力パネルに対向して設けられ画像を表示する画像表示部と、前記画像表示部に画像として表示させる操作部品を生成する操作部品生成部と、を備え、前記画像表示部に表示された前記操作部品の位置に対応した前記操作入力パネル上の位置に前記操作体を接触させて、前記操作体により前記操作部品を操作するタッチパネル装置において、前記画像表示部に表示された前記操作部品の位置に対応した前記操作入力パネルの箇所に、前記操作部品が触覚的に認識できるような振動を前記操作入力パネルに発生させる振動発生手段と、前記操作部品の位置に対する操作者の認識状態を推定する推定手段と、前記推定手段が推定した操作者の認識状態に基づいて、前記振動発生手段を制御する制御手段とを備えたことを特徴とするものである。
また、請求項２の発明は、請求項１のタッチパネル装置において、前記制御手段は、前記推定手段が、操作者が操作部品を認識していると推定した場合は、前記振動発生手段の駆動を停止するよう制御することを特徴とするものである。
また、請求項３の発明は、請求項１または２のタッチパネル装置において、前記制御手段は、前記推定手段が、操作者が操作部品を少し認識していると推定したときの前記操作部品の位置に対応した前記操作入力パネルの箇所に発生させる振動の振幅を、前記推定手段が、操作者が操作部品を全く認識していないと推定したときの前記操作部品の位置に対応した前記操作入力パネルの箇所に発生させる振動の振幅よりも小さくなるよう振動発生手段を制御することを特徴とするものである。
また、請求項４の発明は、請求項１乃至３いずれかのタッチパネル装置において、前記推定手段は、前記操作体の前記操作入力パネルとの接触状態に基づいて、前記操作部品の位置に対する前記操作者の認識状態を推定することを特徴とするものである。
また、請求項５の発明は、請求項４のタッチパネル装置において、前記操作体の前記操作入力パネルとの接触状態として、前記操作体の前記操作入力パネル面への押圧度合いを用いたことを特徴とするものである。
また、請求項６の発明は、請求項４のタッチパネル装置において、前記操作体の前記操作入力パネルとの接触状態として、前記操作体の移動速度を用いたことを特徴とするものである。
また、請求項７の発明は、請求項４のタッチパネル装置において、前記操作体の前記操作入力パネルとの接触状態として、前記操作体の移動加速度を用いたことを特徴とするものである。
また、請求項８の発明は、請求項１乃至７いずれかののタッチパネル装置において、前記操作者が装置を操作しているときの操作者の顔を撮像する撮像手段を備え、前記推定手段は、前記撮像手段が撮像した顔画像に基づいて、前記操作部品の位置に対する前記操作者の認識状態を推定することを特徴とするものである。

本発明によれば、操作部品の位置に対する操作者の認識状態を推定する推定手段に基づいて、次のように振動発生手段を制御すれば、視覚の不自由な操作者に対して容易に操作部品の位置を把握させることができ、かつ、省電力化を実現することができる。すなわち、推定手段が、操作者が操作部品の位置を正しく認識していると推定した場合は、振動発生手段の駆動を停止して振動を発生させず、推定手段が、操作者が操作部品の位置を正しく認識していないと推定した場合は、振動発生手段を駆動して操作部品の位置に対応した操作入力パネルの箇所に振動を発生させるよう制御するのである。これにより、視覚の不自由な人など画像表示部に表示された操作部品の位置を正しく認識できない操作者のときは、操作部品の位置に対応した操作入力パネルの位置に振動が生じているため、操作者が操作入力パネルを触れれば、振動で操作部品の位置を把握することができる。よって、視覚の不自由な操作者に対して容易に操作部品の位置を把握させることができる。また、画像表示部に表示された操作部品の位置を正しく認識できている人に対しては、上記のような振動を発生させて、触覚的に操作部品を認識させなくても、操作部品を正しく操作することができる。よって、振動発生手段の駆動を停止する。その結果、消費電力を抑えることができ、省電力化を実現することができる。

本実施形態のタッチパネル装置の断面構造を示す図。 同タッチパネル装置の表面基板を通じて表示されるＧＵＩ部品と、表面基板に生成される定在波の振幅のピーク値との位置関係を示す図。 同タッチパネル装置の液晶パネルの表示の一例を示す図。 同タッチパネル装置の主制御装置に含まれる一部の回路構成を示すブロック図。 図４に示される状態判定回路の回路構成を示すブロック図。 ＧＵＩ部品の認識状態による操作者の指の動きの違いについて説明する図。 指が表面基板の表面をなぞりながら移動させたときの操作位置の変化の一例について示す図。 同タッチパネル装置の主制御装置によって実行される駆動パターンの生成処理の手順を示すフローチャート。 変形例のタッチパネル装置の断面構造を示す図。

以下、本発明のタッチパネル装置を適用した実施形態について説明する。図１は、本実施形態のタッチパネル装置１００の断面構造を示す図である。

本実施形態のタッチパネル装置１００は、基板１、液晶パネル２、操作入力パネル１７、圧電駆動装置５Ａ、５Ｂ、接触センサ処理回路６、画像表示回路７、駆動制御回路８、主制御装置９、及びメモリ１０などを備えている。操作入力パネル１７は、接触センサ３と表面基板４とで構成される。

基板１は、液晶パネル２、操作入力パネル１７、及び圧電駆動装置５Ａ、５Ｂを搭載するための基板であり、例えば、ガラスエポキシ基板やガラスコンポジット基板で構成されるプリント基板（ＰＣＢ：Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ Ｂｏａｒｄ）を用いることができる。

画像表示部たる液晶パネル２は、基板１に搭載され、画像表示回路７によって生成されるＧＵＩ部品を表示する表示部である。なお、この表示部は、ＧＵＩ部品を表示できればよいため、液晶パネル２に限られるものではない。例えば、液晶パネル２の代わりに、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルを用いてもよい。

接触センサ３は、液晶パネル２の上に搭載され、操作者が押圧した位置の座標を検出する座標検出装置である。実施形態では、接触センサ３として抵抗膜方式のセンサを用いる形態について説明するが、接触センサ３としては、抵抗膜方式のセンサに限られるものではなく、例えば、感圧式のセンサ、静電容量方式のセンサ、音響波照合方式のセンサなど公知のセンサを用いることができる。

抵抗膜方式のセンサは、複数の透明電極が一定間隔でマトリクス状に対向配置された電極シートを有している。操作者が表面基板４の表面を操作体たる指先で押圧すると、対向する電極同士が接触して導通し、その接触位置によって電極シートのＸ方向及びＹ方向の抵抗値が変化する。この抵抗値の変化により、抵抗膜方式のセンサから出力されるＸ方向及びＹ方向に対応する電圧値が変化する。この電圧値の変化により、押圧された操作位置の座標が特定される。

表面基板４は、タッチパネル装置１００の操作入力部となる透明基板であり、上述のように操作者が表面基板４の表面を押圧すると接触センサ３で操作位置の座標が検出される。このため、表面基板４の表面は、実施形態のタッチパネル装置１００を操作するための座標入力面となる。この表面基板４としては、例えば、アクリル製あるいはポリカーボネート製の樹脂基板、又はガラス基板を用いることができる。

振動発生手段たる圧電駆動装置５Ａ、５Ｂは、積層された複数の薄板状の圧電素子を電極板で挟んで樹脂製の筐体に収納したパッケージ型の駆動素子である。圧電駆動装置５Ａ、５Ｂは、図１に示すように、基板１と表面基板４との間に挟まれた状態で、液晶パネル２及び接触センサ３の両側に対をなすように、一つずつ配設される。圧電駆動装置５Ａ、５Ｂは、実際には、基板１及び表面基板４の紙面を貫く方向の辺と略同じ長さを有する細長い駆動素子である。圧電駆動装置５Ａ、５Ｂは、電圧が印加されると、積層方向に歪んで変位し、表面基板４に振動を生成する。

接触センサ処理回路６は、接触センサ３から出力される操作位置の座標を表す電圧値に信号処理を行う回路である。この信号処理により、操作位置の座標を表す電圧値は、増幅、ノイズ除去、及びデジタル変換が行われ、デジタル電圧値として出力される。このように信号処理を行うため、接触センサ３から出力される電圧値が微小であっても、操作位置を正確に検出することができる。また、上述のように複数の透明電極をマトリクス状に配列した抵抗膜方式の接触センサ３を用いている場合には、押圧によって接触が生じた電極の数から接触面積を求めることができる。また、接触面の中心位置を算出して操作位置（接触位置）を正確に導出できる。さらに、接触センサ処理回路６は、操作位置や接触面積の時間変化量を検出することもできる。また、接触センサ３及び接触センサ処理回路６は、座標入力面上でなされた操作入力の押圧度合を検出する押圧度合検出部としての機能も有する。

また、接触センサ処理回路６には、操作位置（接触位置）が変化するまでにかかった時間（以下、移動時間）や、操作者が表面基板４に接触してから、操作位置（接触位置）が変化した時刻（移動時刻）を計測している。具体的には、操作位置（接触位置）が導出されたら、タイマーをスタートさせる。そして、操作位置（接触位置）が変化したら、その時刻を移動時刻として後述するメモリバッファ１６（図５参照）に格納する。移動時間の場合は、現像の操作位置の移動時刻から前回の操作位置の移動時刻を差し引くことで、算出することができる。

接触センサ処理回路６は、操作位置の座標を表す電圧値に上述の信号処理を行い、操作位置（接触位置）を表す入力座標情報と、押圧度合の指標値である接触面積を表す面積情報を出力する。入力座標情報は、例えば、入力操作が行われた領域の中心位置の座標を表し、面積情報は接触面積の大きさを示す。操作者による押圧度合が高くなると、対向配置された接触センサ３の電極シートが接触する接触面積が増えるため、電極シート間の抵抗値が下がり、接触センサ処理回路６から出力される面積情報を表す電圧値は低くなる。一方、押圧度合が低い場合は、接触面積が減るため、面積情報を表す電圧値は高くなる。面積情報の変化は、操作者による表面基板４の押圧度合の変化を表す情報として利用することができる。入力座標情報と面積情報は、操作者の操作入力の内容を表す情報として、主制御装置９に入力される。

操作部品生成部としての画像表示回路７は、液晶パネル２の各画素を駆動して所望の画像を表示させるための回路である。例えば、液晶パネルがアクティブマトリクス駆動される場合は、画像表示回路７は、主制御装置９から入力される画像データ及び表示座標データに基づき、各画素を駆動するためのＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）を駆動する。画像表示回路７は、主制御装置９によってメモリ１０から読み出される画像データをアナログ電圧信号に変換して出力し、液晶パネル２を駆動する。これにより、液晶パネル２には、ＧＵＩ部品に関する画像データもしくはＧＵＩ部品以外の画像データに応じた画像（画像パターン）が表示座標データに応じた表示位置に表示される。また、表示座標データは、画像データを表す位置を座標上で特定するためのデータであり、画像データと関連付けられてメモリ１０内に格納されている。

駆動制御回路８は、圧電駆動装置５Ａ、５Ｂを駆動するための駆動電圧（駆動信号）を出力する回路であり、例えば、ファンクションジェネレータを用いることができる。駆動制御回路８は、主制御装置９から入力される駆動パターンに応じて駆動電圧の電圧波形の変調や増幅を行い、圧電駆動装置５Ａ、５Ｂを駆動する。駆動パターンは、電圧波形の周波数及び振幅で決まるため、電圧波形の周波数及び振幅は、主制御装置９がメモリ１０から読み出す周波数データ及び振幅データによって設定されることになる。

制御手段たる主制御装置９は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）などで構成され、実施形態のタッチパネル装置１００の制御を統括する処理装置である。実施形態では、主制御装置９は、メモリ１０内に格納されたプログラムを実行して操作者に所定のサービスを提供する際に、接触センサ処理回路６から入力される入力座標情報および／または面積情報と、液晶パネル２に表示しているＧＵＩ部品の種類を表すデータとに基づき、操作者の操作内容を判定する。そして、判定されたの操作内容に対応する処理や画像パターンを表示する。画像パターンの表示は、判定されたの操作内容に対応する画像パターンを生成するための画像データをメモリ１０から読み出し、画像表示回路７を介して液晶パネル２に表示させる。例えば、実施形態のタッチパネル装置１００がＡＴＭとして用いられる場合は、主制御装置９は、操作者の操作入力に応じて、暗証番号や金額を入力するためのボタンを表すＧＵＩ部品を液晶パネル２に表示させ、操作者の操作入力に応じて現金の支払い処理や振り込み処理等を実行する。また、主制御装置９は、後述するように、入力座標情報および面積情報に基づいて、操作者のＧＵＩ部品の認識状態を推定する。

また、制御手段たる主制御装置９は、上述のような所定のサービスを提供するために、メモリ１０から画像データを読み出して液晶パネル２に画像を表示させる際に、メモリ１０内で画像データと関連付けられた振幅データ、周波数データ、及び位相差データを読み出し、駆動制御回路８を介して圧電駆動装置５Ａ、５Ｂを駆動させて、表面基板４を振動させるための処理を実行する。このように表面基板４を振動させるための処理の詳細については後述する。

メモリ１０は、実施形態のタッチパネル装置１００の駆動に必要なプログラム等の種々のデータを格納するメモリであり、実施形態では、所定のサービスを提供するためのプログラムと、画像データ及び表示座標データとに加えて、振幅データ、周波数データ、及び位相差データを格納する。
画像データは、液晶パネル２に表示するためのＧＵＩ部品の画像、及びその他の画像を表すデータである。また、表示座標データは、各画像データによる画像を表示する位置を座標上で特定するためのデータである。
振幅データ、周波数データ、及び位相差データは、駆動制御回路８を介して圧電駆動装置５Ａ、５Ｂを駆動するための駆動パターンを表すデータである。
この駆動パターンを表す振幅データ、周波数データ、及び位相差データは、画像データ及び表示座標データと関連付けられてメモリ１０に格納されている。

表面基板４を振動させるための処理の詳細について説明する。
実施形態のタッチパネル装置１００は、圧電駆動装置５Ａ、５Ｂを駆動して、液晶パネル２に表示されるボタン等であるＧＵＩ部品の中央部に腹が位置し、かつ、ＧＵＩ部品の境界部に節が位置するような定在波を表面基板４に発生させる。

図２は、実施形態のタッチパネル装置１００の表面基板４を通じて表示されるＧＵＩ部品と、表面基板４に生成される定在波の振幅のピーク値との位置関係を示す図である。ここで、ＧＵＩ部品と対応する箇所に発生させる定在波２３３は、表面基板４の一端に配置された圧電駆動装置５Ａと、表面基板４の他端に配置された圧電駆動装置５Ｂとで、表面基板４の固有振動数で加振することによって、形成される。定在波の腹や節の位置は、各圧電駆動装置５Ａ、５Ｂで発生させる振動波の周波数および位相差によって決まるので、これらを調整することによって、表面基板の任意の位置に定在波の腹及び節を生成することができる。

図３は、実施形態のタッチパネル装置１００の液晶パネル２の表示の一例を示す図である。主制御装置９は、後述する画像パターンＩＤを用いてメモリ１０にアクセスし、画像パターンＩＤに関連付けられた画像データＩＤに対応する画像データと、表示座標データとを読み出す。そして主制御装置９が画像データと表示座標データを画像表示回路７に入力すると、画像表示回路７は、画像データと表示座標データを用いて液晶パネル２内の所望の位置に画像（画像パターン）を生成する。このようにして液晶パネル２にＧＵＩ部品として、例えば、１４個のＧＵＩボタン２１とＧＵＩ入力確定表示画面２２が表示される。

図４は、本実施形態のタッチパネル装置１００の主制御装置９に含まれる一部の回路構成を示すブロック図である。図４に示すように、主制御装置９は、状態判定回路１１、操作感生成回路１２、定在波生成回路１３を有する。なお、上述のように、主制御装置９は、タッチパネル装置１００の種々の処理を統括する処理装置であるため、ここに示す回路は、主制御装置９のうちの一部分である。具体的には、図４に示す主制御装置９の回路は、接触センサ処理回路６から入力される情報のうち、操作位置（接触位置）を表す情報である入力座標情報、押圧度合いを表す情報である面積情報、移動時刻などを基に駆動パターンを決定する回路のみを抜き出したものである。

推定手段たる状態判定回路１１は、接触センサ処理回路６から入力される情報のうち、入力座標情報、面積情報、移動時刻（移動時間）などから操作者のＧＵＩ部品認識状態を判定する回路である。操作感生成回路１２および定在波生成回路１３は、圧電駆動装置５Ａ、５Ｂを駆動させるための駆動パターンを生成する回路である。操作感生成回路１２は、操作者が液晶パネル２に表示するＧＵＩボタンやスライドバーに触れて操作を行う際に、操作完了を知らせる触感を与えるための駆動パターン（操作完了駆動パターン）を生成する回路である。一方、定在波生成回路１３は、実際のボタンにふれているような触感を与えるための駆動パターン（定在波駆動パターン）を生成する回路である。具体的には、液晶パネル２に表示されるボタン等であるＧＵＩ部品の中央部に腹が位置し、かつＧＵＩ部品の境界部に節が位置するような定在波を表面基板４に発生させる駆動パターンを生成する回路である。

図５は、図４に示される状態判定回路１１の回路構成を示すブロック図である。図５に示すように、状態判定回路１１は、接触状態判定回路１４と認識状態判定回路１５とを有している。接触状態判定回路１４は、接触センサ処理回路６から得られた操作者による入力座標情報、面積情報を基に、ＧＵＩ部品の操作を行ったか否かを判定する回路である。メモリバッファ１６には、接触センサ処理回路６から得られた入力座標情報（操作位置）、移動時間（移動時刻）などが格納されている。認識状態判定回路１５は、接触状態判定回路１４から得られた操作状態と、メモリバッファ１６に格納されている情報を基に、操作者の認識の状態を判定する回路である。

メモリバッファ１６内には、下記表１に示すように、ＩＤ、移動時刻（移動時間）、入力座標情報（操作位置）が関連付けられて格納されている。ＩＤは、移動時刻、操作位置を関連付けるための番号である。

次に、先の図５に示した状態判定回路１１での操作者のＧＵＩ部品認識状態の判定について、説明する。
図６は、ＧＵＩ部品の認識状態による操作者の指の動きの違いについて説明する図である。
操作者が、ＧＵＩ部品を認識しているときは、操作者は、図中黒丸で示す操作対象のＧＵＩ部品の箇所を所定の押圧力で押圧していく。一方、ＧＵＩ部品を認識していない操作者は、ＧＵＩ部品に対応した箇所に発生する振動を指で認識しながら、ＧＵＩの部品の位置を確認してＧＵＩ部品を押圧していくことになる。ＧＵＩ部品の箇所をある程度認識している操作者は、指で表面基板４をなぞってＧＵＩ部品の位置を指で確認しながらも、図６の点線で示すように、ほぼ最短経路で、かつ、ある程度の移動速度で操作対象のＧＵＩ部品を押していく。一方、ＧＵＩ部品を全く認識できていない操作者は、指先をゆっくり動かし図６の実線に示すように大きく蛇行して、周囲のＧＵＩ部品の位置を指で確認しながら、操作対象のＧＵＩ部品の位置を把握し、操作対象のＧＵＩ部品を押していく。

このように、ＧＵＩ部品の位置を正しく認識できている操作者に対しては、ＧＵＩ部品が触覚的に認識できるような振動を、発生させなくても、正しくボタン操作が行えるので、定在波を発生させる必要はない。ＧＵＩ部品の位置をある程度把握している操作者に対する定在波は、ＧＵＩ部品の位置を把握するための補助的なものであるため、定在波の振幅は小さくても十分である。一方、ＧＵＩ部品を全く認識していない操作者に対する定在波は、ＧＵＩ部品を触覚的に認識させるためのものであるため、定在波の振幅を大きくする必要がある。

表２は、状態判定回路１１内の各回路での判定と、状態判定回路１１の判定結果を示す表である。

まず、接触状態判定回路１４に、接触センサ処理回路６から押圧度合いを表す面積情報と、操作位置（接触位置）を表す入力座標情報が入力されると、接触状態判定回路１４は、入力座標情報から操作位置（接触位置）がＧＵＩ部品の位置か否かの判定を行う。そして、操作位置（接触位置）がＧＵＩ部品の位置である場合、面積情報から押圧度合いが予め設定された閾値以上か否かの判定を行う。このとき、押圧度合いが閾値以上のときは、ＧＵＩ部品の操作がなされた判定する。この場合は、操作者は、ＧＵＩ部品の位置を正しく認識していると推定されるので、状態判定回路１１は、認識状態として『迷いがない』と判定する。接触状態判定回路１４で、『迷いがない』と判定された場合は、メモリバッファ１６に格納されたデータを削除する。

一方、ＧＵＩ部品の位置が正しく認識できてない操作者は、表面基板４をなぞりながら、ＧＵＩ部品の位置を認識しようとするため、押圧度合いが閾値未満となる。よって、操作位置（接触位置）がＧＵＩ部品付近での押圧の値が閾値未満のときは、ＧＵＩ部品の位置が正しく認識できてない『迷いがある』と判定する。このように、接触状態判定回路１４で『迷いがある』と判定された場合は、認識状態判定回路１５で、操作者の迷いの度合いを判定する。

認識状態判定回路１５では、操作者が表面基板４をなぞりながら移動するときの指の移動速度に基づいて、判定する。

移動速度Ｖは、次の式から算出される。

数１におけるｎは、ＩＤ番号であり、Ｔは、移動時刻である。上記数１に示すように、本実施形態の移動速度Ｖは、接触位置間の移動速度の平均値を用いた。

図７は、指が表面基板４の表面をなぞりながら移動させたときの入力座標情報（操作位置）の変化の一例について示す図であり、下記表３は、そのときのメモリバッファ１６に格納されるデータについて示している。例えば、図７に示すように、接触位置ａでの押圧度合いが閾値未満と判定された場合、接触センサ処理回路６は、タイマーをスタートさせ、移動時刻の計測を開始する。また、メモリバッファ１６に、移動時刻と、操作位置（ｘ２、ｙ２）とを格納する。次に、操作位置が、ａからｂに切り替わり、ｂの位置での押圧度合いが閾値未満の場合は、そのときの移動時刻Ｔ１と、操作位置（ｘ３、ｙ２）とを格納する。認識状態判定回路１５は、メモリバッファ１６に格納された、ＩＤ＝０と１の操作位置と、移動時刻とを読み出し、移動速度Ｖを算出する。認識状態判定回路１５は、移動速度Ｖが閾値以上の場合は、ある程度、ＧＵＩ部品の位置を認識していると推定し、『迷いが少ない』と判定する。一方、移動速度Ｖが閾値以上の場合は、ＧＵＩ部品の位置を全く認識していないと推定し、『迷いがある』と判定する。操作位置が、ｂの位置からｃの位置へ変化した場合は、認識状態判定回路１５は、メモリバッファ１６に格納された、ＩＤ＝０〜２の操作位置と、移動時刻とを読み出し、移動速度Ｖを算出し、算出した移動速度Ｖから、再び、操作者の認識状態を推定する。

上記では、操作位置が１回変更されたら、メモリバッファ１６に移動時刻と操作位置とを格納しているが、透明電極の間隔は、非常に狭いため、移動時刻の分解能が間に合わない場合がある。よって、複数回操作位置が変更されたときの移動時刻と操作位置とをメモリバッファ１６に格納してもよい。例えば、３回操作位置が変更されたら、メモリバッファに格納されるようにした場合は、図７に示すｄの位置の操作位置とそのときの移動時刻が、ＩＤ＝１のデータとしてメモリバッファに格納され、ａの位置のデータとｄの位置のデータとから、移動速度Ｖが算出される。

また、移動速度Ｖの算出式としては、数１のように、操作位置間の移動速度の平均値でなく、数２に示すように、移動時刻の計測を開始した操作位置（図７におけるａ）から、現在の操作位置までの距離と、移動時刻とから算出してもよい。この場合、メモリバッファ１６には、ａの位置の操作位置（ｘ２、ｙ２）と、現在の移動時刻と操作位置とを記憶しておけばよい。

また、数３に示すように、移動速度Ｖを、前回の操作位置から今回の操作位置までの移動速度にしてもよい。この場合、メモリバッファ１６には、前回の操作位置と移動時刻、現在の操作位置と移動時刻を記憶しておけばよい。

また、ＧＵＩ部品の位置をある程度認識している操作者は、指先を操作対象のＧＵＩ部品付近へ移動させる段階では、指先を速く移動させ、指先が操作対象のＧＵＩ部品付近に到達して、ＧＵＩ部品位置を確定するときは、指先をゆっくり移動させる。よって、数３のように、移動速度Ｖを、前回の操作位置から今回の操作位置までの移動速度にすることによって、ＧＵＩ部品位置を確定するときの動きのときは、『迷いがある』と判定し、定在波の振幅が大きくなる。これにより、ＧＵＩ部品の位置をある程度認識している操作者のＧＵＩ部品位置の確定が容易になる。

また、認識状態判定回路１５での判定は、指先の移動速度ではなく、所定時間経過時点での指先の移動距離や、加速度から判定してもよい。

移動距離の場合、ＧＵＩ部品付近（図７の操作位置ａ）での押圧の値が閾値未満と判定された場合、接触センサ処理回路６は、タイマーをスタートさせ、時刻の計測を開始する。また、メモリバッファ１６にそのときの入力座標情報（操作位置）を書込む。時刻が、所定値となったら、接触センサ処理回路６は、タイマーをリセットし、メモリバッファ１６にそのときの操作位置を書込む。認識状態判定回路１５は、メモリバッファ１６に現在の操作位置が書込まれたら、メモリバッファ１６からタイマースタート開始時の操作位置と、現在の操作位置とを読み出し、移動距離を算出し、算出した移動距離から、操作者のＧＵＩ認識状態を推定する。

移動距離が長い場合は、次のＧＵＩ部品へ一気に移動していると考えられるため、ある程度、ＧＵＩ部品の位置を認識している状態と考えられる。一方、移動距離が短い場合は、指先をゆっくり動かして指先で振動を確認しながら、ＧＵＩ部品の位置を把握している状態と考えられ、ＧＵＩ部品を全く認識していない状態と考えられる。よって、移動距離が、閾値未満の場合、認識状態判定回路１５は、『迷いがある』と判定し、定在波の振幅を大きくし、移動距離が閾値以上の場合、認識状態判定回路１５は、『迷いが少ない』と判定し、定在波の振幅を小さくする。

また、移動距離で判定する場合も、指先を操作対象のＧＵＩ部品付近へ近づける段階では、指先の移動距離が長くなり、指先が操作対象のＧＵＩ部品に近づいて、ＧＵＩ部品位置を確定するときは移動距離が短くなる。よって、この場合も、ＧＵＩ部品位置を確定するときは、『迷いがある』と判定され、定在波の振幅が大きくなり、ＧＵＩ部品位置を確定しやすくなる。

また、指先の加速度で判定する場合は、先の数３で示した式を用いて、前回の操作位置から今回の操作位置までの移動速度を算出する。そして、この移動速度と、移動時刻とを、メモリバッファ１６に格納する。操作位置が変更されたら、同様にして、移動速度と移動時刻とがメモリバッファ１６に格納される。認識状態判定回路１５は、前回算出した移動速度および移動時刻と、今回算出した移動速度と移動時刻とをメモリバッファ１６から読み出し、加速度を算出する。加速度が正の値の場合、操作対象のＧＵＩ部品へ一気に動き出していると考えられるため、『迷いが少ない』と考えられる。一方、指先が操作対象のＧＵＩ部品に近づいてくると、加速度が負となり、ＧＵＩ部品位置を確定するようなゆっくりとした動きをとっていると考えられる。よって、この場合は、『迷いがある』と判定し、定在波の振幅を大きくする。

なお、本実施形態では、操作者のＧＵＩ部品の認識状態を３段階で判定しているが、３段階に限られるものではない。

図８は、本実施形態のタッチパネル装置１００の主制御装置９によって実行される駆動パターンの生成処理の手順を示すフローチャートである。
主制御装置９は、タッチパネル装置１００が起動されると、駆動パターン生成処理を開始する（Ｓｔａｒｔ）。まず、主制御装置９は、座標入力面（表面基板４の表面）への接触状態を検出し（Ｓ１）、接触センサ処理回路６から入力される面積情報を表す電圧値を読み込む（Ｓ２）。次いで、主制御装置９は、ステップＳ２で読み込んだ値を基に押圧度合を算出する（Ｓ３）。次いで、主制御装置９は、接触センサ処理回路６から入力される面積情報を表す電圧値から、接触面の中心位置を算出して入力座標情報（操作位置）を算出し、操作位置が、ＧＵＩ部品付近か否かを判定する（Ｓ４）。操作位置が、ＧＵＩ部品から近い位置である場合（Ｓ４のＹＥＳ）は、ステップＳ３で算出した押圧度合いが所定の閾値未満か以上かを判定する（Ｓ５）。

主制御装置９は、ステップＳ５の判定結果が閾値未満の場合（Ｓ５のＹＥＳ）、メモリバッファにＩＤ＝１以上のデータが格納されているか否か判定する（Ｓ６）。メモリバッファにＩＤ＝１以上のデータが格納されている場合は、メモリバッファ１６から状態変化度合いを判定するためのデータを読み込む（Ｓ７）。次いで、主制御装置９は、ステップＳ７で読み込んだデータを基に、状態変化度合を算出する（Ｓ８）。具体的には、状態変化度合いとして移動速度Ｖを用いる場合、メモリバッファ１６から、移動時刻と操作位置（接触位置）を読み出して、移動速度Ｖを算出する。状態変化度合いとして加速度を用いる場合、メモリバッファ１６から移動時刻と移動速度を読み出して、加速度を算出する。

次いで、主制御装置９は、ステップＳ８で算出された値が所定の閾値未満か以上かを判定する（Ｓ９）。ステップＳ８で算出された値が所定の閾値未満の場合（Ｓ９のＹＥＳ）、認識状態Ａ（迷いがある）と判定し（Ｓ１０Ｂ）、振幅の大きな定在波パターンを生成する（Ｓ１１Ｂ）。

一方、ステップＳ８で算出された値が所定の閾値以上の場合（Ｓ９のＮｏ）、認識状態Ｂ（迷いが少ない）と判定し（Ｓ１０Ｃ）、振幅の小さな定在波パターンを生成する（Ｓ１１Ｃ）。

一方、ステップＳ５の判定結果が閾値以上の場合（Ｓ５のＮＯ）、認識状態Ｘ（迷いがない）と判定する（Ｓ１０Ａ）。この場合は、ＧＵＩ部品の操作が確定しているので、定在波パターンではなく、操作完了駆動パターンを生成する（Ｓ１１Ａ）。

次いで、主制御装置９は、ステップＳ１１で生成されたパターンを基に圧電駆動装置５Ａ、５Ｂを駆動する（Ｓ１２）。

なお、ステップＳ２からステップＳ５は、図５における接触状態判定回路１４が処理する部分である。また、ステップＳ６からステップＳ９は、図５における認識状態判定回路１５が処理する部分である。また、ステップＳ１１Ａは、図４における操作感生成回路１２が処理する部分であり、ステップＳ１１Ｂおよびステップ１１Ｃは、定在波生成回路１３が処理する部分である。

図８に示すフローからわかるように、操作者がＧＵＩ部品を認識している場合は、接触状態が検出されるときは、押圧度合が閾値以上で、操作が確定したときである。よって、操作者がＧＵＩ部品を認識しているときは、操作者にＧＵＩ部品を操作したような感覚を与える操作完了駆動パターンのみが生成され、定在波パターンは、生成されることがない。よって、常に定在波パターンを生成する装置に比べて、消費電力を抑えることができる。

一方、接触状態が検出されたときの押圧度合いが、閾値未満の場合は、操作者がＧＵＩ部品の位置を認識しておらず、ＧＵＩ部品の位置を認識するために、パネル表面をなぞっている状態であるので、定在波パターンを生成して、振動により操作者にＧＵＩ部品の位置を認識させることができる。これにより、視覚に障害のある操作者でも、タッチパネル装置１００を操作することができる。

また、図８のステップＳ４で示すように、操作位置がＧＵＩ部品近傍にきたとき、はじめて、状態変化が算出され、定在波が生じる。これにより、操作者がＧＵＩ部品から遠い位置を指でなぞっているときは、定在波が発生しなくなり、消費電力を抑えることができる。

また、タッチパネル装置１００が起動された（Ｓｔａｒｔ）のとき、タッチパネルに触れると、振動でＧＵＩ部品の位置を知らせる旨を不図示のスピーカから音声で報知するようにしてもよい。また、押圧度合いが閾値未満で、操作位置（接触位置）が、ＧＵＩ部品上である場合は、音声でそのＧＵＩ部品の情報を報知してもよい。例えば、ＧＵＩ部品が数字に対応している場合は、その数字情報を、音声で報知するのである。これにより、視覚に障害がある操作者が、ＧＵＩ部品を良好に認識することができる。

次に、本実施形態の変形例について説明する。
図９は、変形例のタッチパネル装置１００Ａの断面構造を示す図である。
この変形例のタッチパネル装置１００Ａは、カメラ１８と、カメラ１８で撮像した画像を画像処理する画像演算処理回路１９とが設けられており、カメラ１８を通して、画像演算処理回路１９から得られる操作者の表情や目線などを用いて、操作者のＧＵＩ部品の認識状態を推定するものである。

操作者が、ＧＵＩ部品を正しく認識できていない場合は、眉間にシワがよっている、目を細めるなどの特有の表情が現れる。このように、ＧＵＩ部品を正しく認識できていない場合の特有の表情が現れる顔の箇所（目のまわりなど）を特徴点とし、数値化して、ＧＵＩ部品を正しく認識できているか否かを判定する。具体的には、タッチパネル操作前の平常時の顔をカメラ１８で撮像し、眉間の部分や目の部分など、ＧＵＩ部品が認識できていない場合に変化する特徴的な部分を記憶させる。次に、操作者がタッチパネル装置１００Ａを操作しているときの顔をカメラ１８で撮像し、平常時とを比較して、ＧＵＩ部品の認識状態を推定する。操作時の顔の特徴点部分と、操作前の平常時の特徴的部分とにほとんど変化がない場合は、ＧＵＩ部品を認識していると判定し、定在波パターンを生成しない。一方、操作時の特徴的部分と操作前の平常時の特徴的部分に変化がある場合は、ＧＵＩ部品を認識できていないと推定し、定在波を生成する。操作前の平常時の顔を学習し、操作時の顔と、操作前の平常時の顔と比較して、認識状態を把握してもよい。この場合、操作前の平常時の顔と操作時の顔とがほとんど変化していない場合は、ＧＵＩ部品を認識していると推定し、顔が変化している場合は、ＧＵＩ部品を認識していると推定する。

また、カメラ１８の撮像画像と、指先の移動速度などの情報とを組み合わせて、ＧＵＩ部品認識状態を推定してもよい。この場合、仮に、操作時に眉間にシワがよっているなど、操作時の顔が、操作前の平常時の顔から変化していても、ＧＵＩ部品の位置を所定押圧力で押圧している場合は、ＧＵＩ部品を認識していると推定し、定在波を生成しない。一方、操作時の顔が、操作前の平常時の顔から変化しており、操作パネルを指でなぞっているような状態の場合は、ＧＵＩ部品を認識していないと推定し、定在波を生成する。

以上、本実施形態のタッチパネル装置１００によれば、自身の表面に操作体が接することで操作入力を受け付ける操作入力パネル１７と、操作入力パネル１７に対向して設けられ画像を表示する画像表示部たる液晶パネル２と、液晶パネル２に画像として表示させる操作部品たるＧＵＩ部品を生成する操作部品生成部たる画像表示回路７と、を備えている。また、液晶パネル２に表示されたＧＵＩ部品の位置に対応した操作入力パネル１７の箇所に、ＧＵＩ部品が触覚的に認識できるような振動を操作入力パネル１７に発生させる振動発生手段たる圧電駆動装置５Ａ、５Ｂと、ＧＵＩ部品の位置に対する操作者の認識状態を推定する推定手段としての状態判定回路１１と、状態判定回路１１が推定した操作者の認識状態に基づいて、圧電駆動装置５Ａ、５Ｂを制御する制御手段たる主制御装置９とを備えている。そして、状態判定回路１１が、操作者がＧＵＩ部品を認識していると推定した場合は、圧電駆動装置５Ａ、５Ｂの駆動を停止するよう制御する。これにより、ＧＵＩ部品を認識している操作者に対しては、定在波が発生しないので、消費電力を抑えることができる。また、定在波が発生しなくても、ＧＵＩ部品を認識している操作者は、迷うことなくタッチパネル装置１００の操作を行うことができる。一方、ＧＵＩ部品を認識していない操作者に対しては、定在波が発生するので、触覚でＧＵＩ部品の位置を認識することができ、ＧＵＩ部品を認識していない操作者も、タッチパネル装置１００の操作を行うことができる。

また、状態判定回路１１が、操作者がＧＵＩ部品を少し認識している（迷いが少ない）と推定したときの操作入力パネル１７の箇所に発生させる振動の振幅を、状態判定回路１１が、操作者が操作部品を全く認識していない（迷いがある）と推定したときの操作入力パネル１７の箇所に発生させる振動の振幅よりも小さくなるよう圧電駆動装置５Ａ、５Ｂを制御する。これにより、ＧＵＩ部品を少し認識している操作者にとって振動は、ＧＵＩ部品の位置を認識するための補助的な役割なので、振動が弱くても、十分にＧＵＩ部品の位置を認識することができる。これにより、操作者がＧＵＩ部品の操作を良好に行えるとともに、消費電力を抑えることができる。また、ＧＵＩ部品を全く認識していない操作者のときは、振幅が大きいので触覚的にＧＵＩ部品の位置を良好に認識させることができる。これにより、部品を全く認識していない操作者もタッチパネル装置１００を良好に操作することができる。

また、状態判定回路１１は、指先の操作入力パネル１７との接触状態として、指の操作入力パネル面への押圧度合いに基づいて、ＧＵＩ部品の位置に対する操作者の認識状態を推定する。ＧＵＩ部品を認識している操作者は、ＧＵＩ部品の位置を所定の押圧力で、押圧していくのに対し、ＧＵＩ部品を認識していない人は、操作入力パネルを指でなぞりながら触覚的にＧＵＩ部品の位置を認識しようとするため、操作入力パネルへの押圧力が弱い。このように、ＧＵＩ部品を認識している操作者と、ＧＵＩ部品の位置を認識していない操作者とでは、指の操作入力パネル面への押圧度合いが異なる。よって、押圧度合いで、ＧＵＩ部品を認識しているか否かを推定することができる。

また、指先の操作入力パネル１７との接触状態として、指の移動速度を用いてもよい。ＧＵＩ部品を認識している操作者は、触覚でＧＵＩ部品の位置を確認する必要がないため、操作対象のＧＵＩ部品の位置へすばやく指を移動させるので移動速度が速い。一方、ＧＵＩ部品を認識していない操作者は、触覚でＧＵＩ部品の位置を確認しながら操作対象のＧＵＩ部品の位置へ指を移動させるので移動速度は遅い。よって、指の移動速度から、ＧＵＩ部品を認識しているか否かを推定することができる。また、移動速度を用いることで、操作対象のＧＵＩ部品に近づいて、移動速度が減少したら、操作対象のＧＵＩの部品を触覚でも認識できるように、振動を発生することも可能となる。

さらに、指の操作入力パネルとの接触状態として、指の移動加速度を用いてもよい。ＧＵＩ部品を認識している人は、一気に操作対象のＧＵＩ部品へ指を移動させるため、指の移動加速度が大きい。一方、ＧＵＩ部品を認識していない操作者は、触覚でＧＵＩ部品の位置を確認しながら操作対象のＧＵＩ部品の位置へ指を移動するため、指の移動加速度が小さい。よって、指の移動加速度から、ＧＵＩ部品を認識しているか否かを推定することができる。また、移動加速度を用いることで、操作対象のＧＵＩ部品に近づいて、移動加速度が負になったら、操作対象のＧＵＩの部品を触覚でも認識できるように、振動を発生することも可能となる。

また、操作者が装置を操作しているときの操作者の顔を撮像する撮像手段たるカメラ１８を備え、状態判定回路１１は、カメラ１８が撮像した顔画像に基づいて、ＧＵＩ部品の位置に対する操作者の認識状態を推定してもよい。ＧＵＩ部品を正しく認識していない操作者は、眉間にシワを寄せたり、目を細めたり、特徴的な表情をする。また、視覚に不自由がある操作者は、目線が操作入力パネル１７に向いていない。このように、ＧＵＩ部品を正しく認識していない操作者は、特徴的な表情や、特徴点な目線であるため、カメラ１８が撮像した操作者が装置を操作しているときの操作者の顔により、ＧＵＩ部品を認識しているか否かを推定することができる。

２：液晶パネル
３：接触センサ
４：表面基板
５Ａ，５Ｂ：圧電駆動装置
６：接触センサ処理回路
７：画像表示回路
８：駆動制御回路
９：主制御装置
１１：状態判定回路
１２：操作感生成回路
１３：定在波生成回路
１４：接触状態判定回路
１５：認識状態判定回路
１６：メモリバッファ
１７：操作入力パネル
１８：カメラ
１９：画像演算処理回路
２１：ＧＵＩボタン２１
１００：タッチパネル装置
２３３：定在波

特開２００５−１４９４０５号公報 特開２００５−１４９１９７号公報

Claims (8)

1. 自身の表面に操作体が接することで操作入力を受け付ける操作入力パネルと、
   前記操作入力パネルに対向して設けられ画像を表示する画像表示部と、
   前記画像表示部に画像として表示させる操作部品を生成する操作部品生成部と、を備え、
   前記画像表示部に表示された前記操作部品の位置に対応した前記操作入力パネル上の位置に前記操作体を接触させて、前記操作体により前記操作部品を操作するタッチパネル装置において、
   前記画像表示部に表示された前記操作部品の位置に対応した前記操作入力パネルの箇所に、前記操作部品が触覚的に認識できるような振動を前記操作入力パネルに発生させる振動発生手段と、
   前記操作部品の位置に対する操作者の認識状態を推定する推定手段と、
   前記推定手段が推定した操作者の認識状態に基づいて、前記振動発生手段を制御する制御手段とを備えたことを特徴とするタッチパネル装置。
2. 請求項１のタッチパネル装置において、
   前記制御手段は、前記推定手段が、操作者が操作部品を認識していると推定した場合は、前記振動発生手段の駆動を停止するよう制御することを特徴とするタッチパネル装置。
3. 請求項１または２のタッチパネル装置において、
   前記制御手段は、前記推定手段が、操作者が操作部品を少し認識していると推定したときの前記操作部品の位置に対応した前記操作入力パネルの箇所に発生させる振動の振幅を、前記推定手段が、操作者が操作部品を全く認識していないと推定したときの前記操作部品の位置に対応した前記操作入力パネルの箇所に発生させる振動の振幅よりも小さくなるよう振動発生手段を制御することを特徴とするタッチパネル装置。
4. 請求項１乃至３いずれかのタッチパネル装置において、
   前記推定手段は、前記操作体の前記操作入力パネルとの接触状態に基づいて、前記操作部品の位置に対する前記操作者の認識状態を推定することを特徴とするタッチパネル装置。
5. 請求項４のタッチパネル装置において、
   前記操作体の前記操作入力パネルとの接触状態として、前記操作体の前記操作入力パネル面への押圧度合いを用いたことを特徴とするタッチパネル装置。
6. 請求項４のタッチパネル装置において、
   前記操作体の前記操作入力パネルとの接触状態として、前記操作体の移動速度を用いたことを特徴とするタッチパネル装置。
7. 請求項４のタッチパネル装置において、
   前記操作体の前記操作入力パネルとの接触状態として、前記操作体の移動加速度を用いたことを特徴とするタッチパネル装置。
8. 請求項１乃至７いずれかののタッチパネル装置において、
   前記操作者が装置を操作しているときの操作者の顔を撮像する撮像手段を備え、
   前記推定手段は、前記撮像手段が撮像した顔画像に基づいて、前記操作部品の位置に対する前記操作者の認識状態を推定することを特徴とするタッチパネル装置。

Images