JP2013228948A - 入力装置、入力支援方法及びプログラム - Google Patents

Abstract

【課題】タッチパネルに対するユーザの入力操作に応じて、画面上に表示されたオブジェクトの直感的な決定処理を簡易に実現する。
【解決手段】画面にデータを表示する表示部と、指の近接を検知するタッチパネルと、近接した指の近接座標を抽出する近接座標抽出部と、同時に複数の指の近接を検知している場合に前記複数の指の位置の中間点Ｐｃと対応する前記画面上の位置Ｐｃ２をポインタ座標として算出するポインタ座標算出部と、前記画面上の前記ポインタ座標に対応する位置に可視情報ＰＴを表示する表示制御部と、前記複数の指の間の距離が所定距離以下となった場合に所定の処理を実行するためのイベントを検知するイベント検知部とを備える。
【選択図】図１

Description

本発明は、タッチパネルを介して、ユーザの入力操作を受け付ける入力装置及び入力支援方法並びにプログラムに関する。

近年、携帯電話端末等の電子機器においては、ユーザの入力操作を受け付けるための入力デバイスとして、タッチパネルを搭載している場合が多い。この種の電子機器においては、ユーザの直感的な操作を可能にするために、透明なタッチパネルが表示部（例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）ディスプレイ）の画面に重ねた状態で配置されている。従って、画面上の各位置とタッチパネル上の操作位置とを対応付けることができる。つまり、電子機器は、画面上に表示されている所望の操作対象（ボタン又はアイコン等のオブジェクト）を指が直接タッチすることで、対応するオブジェクトを操作するための指示を与えることができる。

また、タッチパネルの技術は年々進化しており、ユーザの入力操作としてタッチ操作を検知するタッチパネルの他に、ユーザの入力操作としてユーザの指の近接を検知するタッチパネルの開発が進んでいる。指の近接を検知するタッチパネルについては、例えば特許文献１の非接触型ユーザ入力装置が知られている。

特許文献１に開示された非接触型ユーザ入力装置は次のように構成されている。即ち、複数の線状の送信電極と、各送信電極に送信用の交流電流を供給する発信器と、各送信電極とは接触しないように配置された複数の線状の受信電極と、受信電極を流れる交流電流を受信する受信器とを含む。送信電極と受信電極との各交差点にはコンデンサが形成され、このコンデンサの静電容量は指先の接近程度に応じて変化する。従って、非接触型ユーザ入力装置は、静電容量の変化を基に、タッチパネルと指との距離を認識できる。

特開２００２−３４２０３３号公報

特許文献１に開示されたタッチパネルを採用する場合には、ユーザが指を画面に接触させなくても、近接状態にするだけで入力装置は指の位置に反応できる。また、指の位置を表す座標を検知できる。従って、例えば画面上に表示されたポインタ又はカーソルの位置を、画面に近接した指の位置に応じて移動させることが可能である。つまり、ユーザは指を画面に接触させなくても、操作対象のオブジェクト（例えばボタン）の位置までポインタを移動させることができる。

しかしながら、操作対象のオブジェクトの位置までポインタを移動させるだけでは、該当するオブジェクトを操作対象として決定し、そのオブジェクトに対する何らかの処理を実際に行うことはできない。一般的な入力デバイス（例えばマウス）を操作する場合にも、マウスの操作によってポインタを移動した後でマウスのボタンのクリック操作により決定指示を出す必要がある。

マウスを操作する場合のクリック操作と同じような入力をタッチパネルで実現する技術については、例えば次に示すような様々な方法が考えられる。

第１の方法は、タッチパネル以外の箇所に特別なボタンを配置し、このボタンが押された時に決定指示が入力されたものとみなす方法である。第２の方法は、タッチパネルに指が触れたことを検知した場合に、決定指示が入力されたものとみなす方法である。第３の方法は、ポインタが一定時間静止した状態を検知した場合に、決定指示が入力されたものとみなす方法である。

しかし、上述した第１の方法を採用する場合には、特別なボタンをタッチパネルとは別に設ける必要があるため、入力装置の構造が複雑になると共に、片手で操作することが困難となる等の操作上の問題が生じる可能性がある。

次に、上述した第２の方法を採用する場合には、指の近接状態を検知可能なタッチパネルを採用している場合でも、決定指示の度に指が画面に触れることになるため、指紋の汚れが画面に付着する。また、指がタッチパネルに触れる際に、操作対象として表示されているオブジェクトが指の影に隠れて見づらくなるため、指とオブジェクトとの位置合わせが難しくなる。

上述した第３の方法を採用する場合には、決定指示を入力するまでに一定時間待つ必要がある。従って、入力操作を受け付ける際の応答性に難点がある。また、ユーザが決定する意思がない場合でも、指を静止させた状態が一定時間継続したことによってポインタの静止状態が検知されると決定指示とみなされるため、誤操作が発生する可能性がある。

本発明は、上述した従来の事情に鑑みてなされたものであり、タッチパネルに対するユーザの入力操作に応じて、画面上に表示されたオブジェクトの直感的な決定処理を簡易に実現する入力装置、入力支援方法及びプログラムを提供することを目的とする。

本発明は、所定の画面にデータを表示する表示部と、前記画面に対する指の近接を検知するタッチパネルと、前記画面に近接した前記指の位置を表す近接座標を抽出する近接座標抽出部と、複数の指の近接が同時に検知されている場合に、前記複数の指の各近接座標を基に、前記複数の指の位置の中間点に対応する前記画面上の位置をポインタ座標として算出するポインタ座標算出部と、前記算出された前記画面上の位置に、前記ポインタ座標を表すインジケータを表示させる表示制御部と、前記複数の指の指間距離が所定距離以下となった場合に所定処理を実行するためのイベントを検知するイベント検知部と、を備える入力装置である。

また、本発明は、所定の画面にデータを表示する表示部を含む入力装置の入力支援方法であって、前記画面に対する指の近接を検知するステップと、前記画面に近接した指の位置を表す近接座標を抽出するステップと、複数の指の近接が同時に検知されている場合に、前記複数の指の各近接座標を基に、前記複数の指の位置の中間点に対応する前記画面上の位置をポインタ座標として算出するステップと、前記算出された前記画面上の位置に、前記ポインタ座標を表すインジケータを表示させるステップと、前記複数の指の指間距離が所定距離以下となった場合に所定処理を実行するためのイベントを検知するステップと、を有する。

また、本発明は、所定の画面にデータを表示する表示部を含む入力装置であるコンピュータに、前記画面に対する指の近接を検知するステップと、前記画面に近接した指の位置を表す近接座標を抽出するステップと、複数の指の近接が同時に検知されている場合に、前記複数の指の各近接座標を基に、前記複数の指の位置の中間点に対応する前記画面上の位置をポインタ座標として算出するステップと、前記算出された前記画面上の位置に、前記ポインタ座標を表すインジケータを表示させるステップと、前記複数の指の指間距離が所定距離以下となった場合に所定処理を実行するためのイベントを検知するステップと、を実現させるためのプログラムである。

この構成によれば、タッチパネルに対するユーザの入力操作に応じて、画面上に表示されたオブジェクトの直感的な決定処理を簡易に実現することができる。

本発明によれば、タッチパネルに対するユーザの入力操作に応じて、画面上に表示されたオブジェクトの直感的な決定処理を簡易に実現することが可能になる。

各実施形態の入力装置を操作する場合の状態遷移の具体例を示す説明図 各実施形態の入力装置のハードウェア構成の一例を示すブロック図 図２に示す入力装置の機能的構成の一例を示すブロック図 座標情報記憶部上に記憶される情報の具体的な構成例を示す模式図 図３に示す入力装置が複数本の指のタッチ操作を検知する場合の動作を説明するフローチャート 図３に示す入力装置が複数本の指のタップ操作を検知する場合の動作を説明するフローチャート 図３に示す入力装置が２本指の操作の種類を識別する場合の動作を説明するフローチャート 図３に示す入力装置が３本指の操作の種類を識別する場合の第１の動作例を説明するフローチャート 図３に示す入力装置が３本指の操作の種類を識別する場合の第２の動作例を説明するフローチャート 各実施形態の入力装置を操作する場合の状態遷移の具体例を示す説明図 図３に示す入力装置が３本の指の操作を識別する場合のｘ−ｙ平面における指の組み合わせとポインタ座標との関係の具体例を示す説明図 図３に示す入力装置が３本の指の操作を識別する場合のｘ−ｙ平面における指の組み合わせと発生イベントの種類との関係の具体例を示す説明図

以下、本発明に係る入力装置、入力支援方法及びプログラムの具体的な実施形態について、各図を参照して説明する。

＜前提の説明＞
本発明に係る入力装置は、様々な情報を可視情報として画面に表示する機能を有する表示部を含む電子機器として搭載可能である。このような電子機器の具体例として、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、ＰＤＡ（Personal Digital Assistant）、電子書籍端末などがある。以下の説明においては、代表例として、本発明に係る入力装置をスマートフォンに搭載した場合について説明する。

なお、本発明は、装置としての入力装置、又は入力装置をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、入力装置により実行される各動作（ステップ）を含む入力支援方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。

本発明に係る入力装置は、ユーザの入力操作を受け付けて、「所定の処理」を実行することができる。「所定の処理」の対象となるのは、コンテンツのデータファイル、コンテンツの中の一部分の領域、アプリケーション、コンテンツ又はアプリケーションと関連付けられたアイコン、ハイパーリンクされた文字列等である。コンテンツの具体例としては、静止画、動画、文字列、音声情報、或いはそれらの複数の組み合わせ等がある。

「所定の処理」の代表例は、例えば次の通りである。「所定の処理」の第１の例は、ユーザの操作により指定されたアプリケーションを起動する処理である。「所定の処理」の第２の例は、ユーザの操作により指定されたコンテンツのファイルを開く処理である。「所定の処理」の第３の例は、起動したアプリケーション上でユーザ操作により指定された機能を実行する処理である。「所定の処理」の第４の例は、処理中のコンテンツに対してユーザ操作により指定された編集を施す処理である。

後述するように、本発明に係る入力装置は、ユーザの操作面であるタッチパネル及び画面の表面若しくは画面の表面に近接した空間におけるユーザの指の位置を把握している。この位置を表現するために、互いに直交する３軸、即ち、ｘ軸、ｙ軸、ｚ軸の各軸方向の位置情報を用いる。ここで、ｘ軸、ｙ軸は、タッチパネルの表面と平行な向きの軸を表す。また、ｚ軸はタッチパネルの表面に対して垂直な方向の軸を表す。

また、以下の説明においては、タッチパネルの表面と平行な面におけるユーザの指等の指示媒体の位置を表現するために、２軸の座標（ｘ、ｙ）を用いる。また、タッチパネルの表面に近接したユーザの指等の指示媒体の空間内の位置を表現するために、３軸の座標（ｘ、ｙ、ｚ）を用いる。３軸の座標（ｘ、ｙ、ｚ）におけるｚ軸方向の位置は、タッチパネルの表面に対する垂直（ｚ）方向の高さを表している。

なお、以下の説明において、タッチパネルへの指示媒体としては、一例としてユーザの指を用いて説明するが、指に限らず、ユーザの手により把持された導電性のスタイラスを用いても良い。また、指示媒体は、タッチパネルの構造及び検知方式に応じて、タッチパネルへの近接及びタッチが検出可能な媒体であれば特に限定されない。

更に、以下の説明において、指をタッチパネルの面上から離間した空間上の位置に翳す又はタッチパネルの面上から離間した空間上の位置からタッチパネルの面に対して略平行にスライドする操作を、「ホバー操作」と定義する。従って、指がタッチパネルの面上に直接タッチする操作は「ホバー操作」ではなく、「タッチ操作」となる。なお、ホバー操作において指とタッチパネルの面上との距離は、タッチパネルが検知する静電容量に反比例するため、タッチパネルが検知可能な静電容量の範囲に対応する距離であることが好ましい。

＜ユーザ操作及び動作の具体例＞
図１は、各実施形態の入力装置を操作する場合の状態遷移の具体例を示す説明図である。図１では、状態Ｃ１から状態Ｃ２へ遷移し、続いて状態Ｃ２から状態Ｃ３へ遷移する様子が表されている。

図１に示すように、入力装置の操作面である筺体上面に表示部１３及びタッチパネル１５が配置されている。また、表示部１３の画面ＤＰ上には、操作可能なコンテンツの可視情報Ｖ１が表示されている。また、操作対象の位置（点）を表すインジケータとして、ポインタＰＴが表示されている。

図１に示す状態Ｃ１では、ユーザが２本の指Ｆ１（例えば親指。以下同様）及び指Ｆ２（例えば人差し指。以下同様）を操作面（タッチパネル１５）に近接する位置に翳して、「ホバー操作」が行われている様子が示されている。但し、図１に示す状態Ｃ１では、２本の指Ｆ１，Ｆ２の間はある程度離れている。指Ｆ１の位置Ｐ１は近接座標（ｘ１、ｙ１、ｚ１）で表され、指Ｆ２の位置Ｐ２は近接座標（ｘ２、ｙ２、ｚ２）で表される。

図１に示す状態Ｃ１では、２本の指Ｆ１，Ｆ２が同時に翳されてあるため、入力装置は、指Ｆ１の位置Ｐ１と指Ｆ２の位置Ｐ２との中間点である位置Ｐｃの座標（ｘｃ、ｙｃ、ｚｃ）をポインタ座標として算出する。更に、入力装置１は、位置Ｐｃの直下にある操作面（タッチパネル１５）上の位置Ｐｃ２、即ち、位置Ｐｃの操作面（タッチパネル１５）に対応する画面ＤＰ上の位置である座標（ｘｃ、ｙｃ）を求め、ポインタＰＴを位置Ｐｃ２に表示する。

なお、ポインタＰＴの表示パターンは、ユーザが現在の操作状態又は操作の対象として選択されている対象が示されている状態を容易に区別できるように、２本の指が近接状態であることを表す特別なパターンであることが望ましい。従って、図１に示すポインタＰＴのように、位置Ｐｃ２を表す丸印と、この丸印から位置Ｐ１の方向に伸びる矢印とこの丸印から位置Ｐ２の方向に伸びる矢印とを含む表示パターンを用いる。

図１に示す状態Ｃ２は、状態Ｃ１からユーザが指Ｆ１，Ｆ２を含む手全体を矢印Ａ１方向に平行移動した様子を示している。つまり、指Ｆ１の位置Ｐ１と指Ｆ２の位置Ｐ２との間隔が一定に維持されたまま、手の平行移動に伴って、位置Ｐ１，Ｐ２が矢印Ａ１方向に平行移動する。

図１に示す状態Ｃ２のように、位置Ｐ１，Ｐ２が間隔を保持したまま平行移動する場合には、移動中及び移動後に、入力装置は、ポインタＰＴの表示位置、即ち、ポインタ座標の値を更新する。つまり、入力装置１は、手の平行移動により変化した位置Ｐ１，Ｐ２に基づいて、中間点の位置Ｐｃの座標（ｘｃ、ｙｃ、ｚｃ）を再び算出する。これにより、入力装置１は、ユーザは画面に沿って平行に指や手を移動するだけで、自由にポインタ座標を移動でき、画面上の様々な操作対象を自由に選択可能になる。なお、ここに記載している平行移動とは、絶対的な平行でなく、絶対的な平行移動に近い略平行移動でも良い。位置Ｐ１と位置Ｐ２との間隔が所定値以内で変化し、絶対的な平行から多少ずれても良い。また、複数位置の同時移動に関して、時間的に多少の前後があっても良い。

更に、入力装置１は、位置Ｐｃの直下にある操作面（タッチパネル１５）上の位置Ｐｃ２の座標（ｘｃ、ｙｃ）を求め、ポインタＰＴを位置Ｐｃ２に移動する。従って、ポインタＰＴの表示位置は、図１に示す状態Ｃ１におけるポインタ座標に対応する位置Ｐｃ２０から位置Ｐｃ２に移動する。

従って、ユーザは手を動かすことにより、画面ＤＰ上に表示されているポインタＰＴの位置を自由に移動させることができる。ここで、指Ｆ１，Ｆ２の間に間隔が空いているため、ユーザは画面ＤＰを上方から見下ろす場合に、指Ｆ１，Ｆ２の間の空間からポインタＰＴの表示及びその周辺に存在する表示内容を目視で容易に確認することができる。

図１に示す状態Ｃ３は、状態Ｃ２からユーザが指Ｆ１と指Ｆ２とを互いに近づけて接触させた様子を示している。指Ｆ１と指Ｆ２との接触は、ユーザによる決定操作を意味する。即ち、ポインタＰＴが指定している位置の操作対象のオブジェクト（例えばコンテンツのアイコン）に対して処理を実行しても良いのかどうかを確定させるために、決定操作を行う必要がある。決定操作は、一般的な入力デバイス（例えばマウス）を用いた場合の「クリック操作」と同じような機能として割り当てることができる。

図１に示す状態Ｃ３になると、入力装置１は、決定操作を受け付ける。具体的には、入力装置１は、指Ｆ１の位置Ｐ１と指Ｆ２の位置Ｐ２との距離が所定以下になったことを検知し、ポインタＰＴが指定している操作対象のオブジェクトに対する決定操作を受け付ける。また、入力装置１は、ポインタＰＴの表示パターンを、決定操作を受け付けたことを示すパターンに変更する。

＜各実施形態に共通する入力装置のハードウェア構成＞
各実施形態に共通する入力装置１のハードウェア構成について、図２を参照して説明する。図２は、各実施形態の入力装置１のハードウェア構成の一例を示すブロック図である。

図２に示す入力装置１は、プロセッサ１１、ＲＯＭ（Read Only Memory）１２ａ、ＲＡＭ（Random Access Memory）１２ｂ、記憶部１２ｃ、表示部１３、タッチパネルドライバ１４、タッチパネル１５、電源制御部１６、及びアンテナ１７ａが接続された通信制御部１７を含む。プロセッサ１１、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、記憶部１２ｃ、表示部１３、タッチパネルドライバ１４、電源制御部１６及び通信制御部１７は、バス１９を介して相互にデータを入出力可能に接続されている。

プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、入力装置１の総括的な制御を行い、その他の種々の演算処理又は制御処理を行う。プロセッサ１１はＲＯＭ１２ａに格納されたプログラム及びデータを読み込んで、後述の各実施形態における種々の処理を行う。

ＲＯＭ１２ａは、入力装置１にインストールされているアプリケーションプログラム、並びに、プロセッサ１１が図３に示す各部（後述参照）における処理を実行するためのプログラム及びデータを格納している。ＲＡＭ１２ｂは、プロセッサ１１、タッチパネルドライバ１４、通信制御部１７の各動作におけるワークメモリとして動作する。

記憶部１２ｃは、入力装置１に内蔵されるハードディスク又はフラッシュメモリを用いて構成され、入力装置１が取得又は生成したデータを格納する。なお、アプリケーションプログラムは記憶部１２ｃに格納され、実行時にプロセッサ１１により読み出される。また、記憶部１２ｃは、ハードディスク又はフラッシュメモリにより構成されず、例えばＵＳＢ（Universal Serial Bus）端子を介して接続された外部記憶媒体（例えばＵＳＢメモリ）により構成されても良い。

表示部１３は、例えば画面を有するＬＣＤ又は有機ＥＬディスプレイを用いて構成され、プロセッサ１１又はタッチパネルドライバ１４から出力されたデータを画面に表示する。

タッチパネルドライバ１４は、タッチパネル１５の動作を制御してタッチパネル１５に対するユーザの入力操作を監視する。タッチパネルドライバ１４は、例えばタッチパネル１５がユーザの指の操作面へのタッチ操作による接触又はホバー操作による近接を検知すると、接触座標（ｘ、ｙ）又は近接座標（ｘ、ｙ、ｚ）を取得し、接触座標（ｘ、ｙ）又は近接座標（ｘ、ｙ、ｚ）の情報をプロセッサ１１、ＲＡＭ１２ｂ又は記憶部１２ｃに出力する。以下、接触座標（ｘ、ｙ）を「タッチ座標（ｘ、ｙ）」という。

タッチパネル１５は、表示部１３の画面上に搭載され、ユーザの指がタッチパネル１５の表面上をタッチしたことを検知する。また、タッチパネル１５は、ユーザの指のホバー操作、即ち、タッチパネル１５の表面に指がタッチすることなく指を浮かせた状態において、指がタッチパネル１５に近接したことを検知する。

なお、本発明を実施するために必要な近接状態を検知可能なタッチパネル１５の構造については、特許文献１に開示されているような公知技術をそのまま利用できる。従って、タッチパネル１５の具体的な構成の説明は省略する。タッチパネル１５は、ホバー操作における指の高さ（ｚ座標の値）が所定値以下、又は指の高さに応じて定まる静電容量が所定値以上となる場合に、指の近接（状態）を検知する。

電源制御部１６は、入力装置１の電力供給源（例えばバッテリ）を用いて構成され、タッチパネル１５への入力操作に応じて、入力装置１の電源のオン状態又はオフ状態を切り替える。電源がオン状態の場合、電源制御部１６は、電力供給源から図２に示す各部に電力を供給して入力装置１を動作可能にする。

通信制御部１７は、無線通信回路を用いて構成され、送受信用のアンテナ１７ａを介して、プロセッサ１１により処理された処理結果としてのデータを送信し、更に、不図示の基地局又は他の通信装置から送信されたデータを受信する。また、図２では、本実施形態を含む各実施形態の説明に必要となる構成が図示されているが、通話音声を制御する音声制御部と、ユーザの声を集音するマイクロフォンと、更に通話相手の音声データを出力するスピーカとを更に含む構成でも良い。

＜各実施形態に共通する入力装置の機能的構成＞
次に、各実施形態に共通する入力装置１の機能的構成について、図３を参照して説明する。図３は、入力装置１の機能的構成を示すブロック図である。

図２に示すタッチパネル１５は、近接検知部１０及びタッチ検知部２０を備えている。近接検知部１０は、ホバー操作によってユーザの指がタッチパネル１５に近接したことを検知する。近接検知部１０は、指がタッチパネル１５に近接した旨の近接通知を近接座標抽出部１００に出力する。

タッチ検知部２０は、タッチ操作によって指がタッチパネル１５にタッチしたことを検知する。タッチ検知部２０は、指がタッチパネル１５にタッチした旨の接触通知をタッチ座標抽出部２００に出力する。なお、近接検知部１０とタッチ検知部２０とはタッチパネル１５を用いて構成可能であり、図３では近接検知部１０とタッチ検知部２０とは別々の構成としているが、両者をタッチパネル１５として一纏めに構成しても良い。

図２に示すタッチパネルドライバ１４は、近接座標抽出部１００及びタッチ座標抽出部２００を備えている。近接座標抽出部１００は、近接検知部１０から出力された近接通知を基に、タッチパネル１５に対する指の位置を表す近接座標（ｘ、ｙ、ｚ）を算出して抽出する。タッチ座標抽出部２００は、タッチ検知部２０からの接触通知を基に、接触座標（ｘ、ｙ）を算出して抽出する。

近接座標（ｘ、ｙ、ｚ）のうち、ｘ成分及びｙ成分はタッチパネル１５の表面と平行な面における位置を表す座標値であって、ｚ成分は指とタッチパネル１５との間の距離、即ち、指のタッチパネル１５に対する高さを表す座標値である。近接座標抽出部１００は、抽出された近接座標（ｘ、ｙ、ｚ）の情報をセンサ情報取得部５１に出力する。

また、複数の指が同時にタッチパネル１５の表面に対して近接状態になった場合には、近接座標抽出部１００は、複数の指のそれぞれの位置を表す各近接座標の情報をセンサ情報取得部５１に出力する。

図２に示すプロセッサ１１は、図３に示すように、センサ情報取得部５１、指座標算出部５２、座標情報記憶部５３、指間距離算出部５４、イベント検知部５５、ポインタ座標算出部５６、入力情報通知部５７、アプリケーション処理部５８、時間管理部５９及び表示制御部６０を含む。

センサ情報取得部５１は、予め定められた所定条件を満たす時に、タッチパネル１５に関する情報を取得する。センサ情報取得部５１は、例えば、近接検知部１０の検知状態に変化が生じた時には、最新の状態において近接状態になっている各指の近接座標の情報を近接座標抽出部１００から取得する。また、センサ情報取得部５１は、タッチ検知部２０の検知状態に変化が生じた時には、最新の状態において接触状態になっている各指の接触座標のデータをタッチ座標抽出部２００から取得する。

指座標算出部５２は、センサ情報取得部５１が取得した各指の近接座標又は接触座標の情報を座標情報記憶部５３に記憶する。また、指座標算出部５２は、同時に複数の指の近接座標又は接触座標が抽出された場合には、複数の指の近接座標又は接触座標各情報を互いに関連付けて、時間管理部５９が管理する時刻毎に記憶する。また、指座標算出部５２は、例えば分解能の違いによりプロセッサ１１が管理している画面ＤＰ上の座標とタッチパネル１５の座標との間に違いがある場合には、必要に応じて座標変換の計算を行う。

座標情報記憶部５３は、所定時間前から現在までに取得した座標の情報を時刻に対応付けて一時的に記憶する。例えば図４に示す情報が座標情報記憶部５３に記憶される。座標情報記憶部５３が記憶する情報は、指座標算出部５２、指間距離算出部５４、ポインタ座標算出部５６によって追加又は更新される。座標情報記憶部５３が記憶している情報は必要に応じて参照される。

指間距離算出部５４は、複数の指が同時にタッチパネル１５に対して近接状態になっている時に、これら複数の指同士の距離を「指間距離」として算出する。例えば、図１に示す状態Ｃ１のように、２本の指Ｆ１，Ｆ２がタッチパネル１５に近接している時には、指Ｆ１の位置Ｐ１と指Ｆ２の位置Ｐ２との距離が「指間距離」として算出される。「指間距離」の情報は座標情報記憶部５３に記憶される。

イベント検知部５５は、所定の検知条件を満たす時に、上述した「所定の処理」を実行するために必要な「決定」の操作を受け付けたことを表す「決定イベント」を検知する。具体的には、複数の指が同時にタッチパネル１５に対して近接状態になって各指の「指間距離」が所定以下になった時に、上述した所定の検知条件が満たされ、イベント検知部５５は、「決定イベント」を検知する。

例えば、図１に示す状態Ｃ２から状態Ｃ３のように変化した場合、つまりユーザがホバー操作状態で指Ｆ１と指Ｆ２とを近づけて接触させた場合に、位置Ｐ１と位置Ｐ２との「指間距離」が小さくなって「決定イベント」が検知される。従って、入力装置１は、ユーザが指Ｆ１又は指Ｆ２をタッチパネル１５の操作面に接触させなくても、「決定イベント」を発生することができる。

ポインタ座標算出部５６は、現在の操作対象の画面上の位置を特定するためのポインタ座標を算出する。タッチパネル１５に対して近接状態になった指が１本だけの場合には、該当する指の位置とポインタ座標とが同等になる。しかし、同時に複数本の指が近接状態になった場合には、ポインタ座標算出部５６は、後述する計算によってポインタ座標を算出する。

具体的には、図１に示す状態Ｃ１のように、２本の指Ｆ１，Ｆ２がタッチパネル１５の面に対して近接状態になった場合には、ポインタ座標算出部５６は、指の位置Ｐ１，Ｐ２の中間点の位置Ｐｃを算出し、この位置Ｐｃをタッチパネル１５に垂直な軸に沿って画面ＤＰに投影した位置Ｐｃ２の座標をポインタ座標に決定する。これにより、入力装置１は、画面ＤＰ上で操作対象（例えばアイコン）が存在するポインタ座標の箇所を、ユーザに複数本の指の間から視認させることができ、操作の際に指の位置決めを容易にさせることができる。ポインタ座標の情報は、座標情報記憶部５３に記憶される。

入力情報通知部５７は、イベント検知部５５が「決定イベント」を検知した時に、「決定イベント」をアプリケーション処理部５８に通知する。また、入力情報通知部５７は、ポインタ座標算出部５６が算出したポインタ座標に変化が生じた時に、新しいポインタ座標をアプリケーション処理部５８に通知する。

アプリケーション処理部５８は、入力情報通知部５７から通知される「決定イベント」及びポインタ座標の情報に基づいてアプリケーションプログラムに関する処理を行う。例えば、表示部１３の画面ＤＰ上で現在のポインタ座標の位置に特定のアプリケーションプログラムのアイコン又はハイパーリンクが割り当てられている場合に「決定イベント」が発生すると、アプリケーション処理部５８は、「決定イベント」に対応するアプリケーションプログラムを起動する。

また、アプリケーション処理部５８は、既に起動しているアプリケーションプログラムの特定の機能が対応付けられた箇所をポインタ座標が指し示している時に「決定イベント」が発生すると、「決定イベント」に対応する機能を実行する。あるいは、アプリケーション処理部５８は、特定のコンテンツのアイコンが表示されている画面上の領域をポインタ座標が指し示している時に「決定イベント」が発生すると、「決定イベント」に対応するアイコンのコンテンツのデータファイルを所定のアプリケーションを用いて開き、表示又は再生を実行する。

時間管理部５９は、入力装置１における現在の時刻を把握し、ある時点からの経過時間などを必要に応じて管理する。

表示制御部６０は、ポインタ座標算出部５６が算出した最新のポインタ座標の位置に、図１に示すポインタＰＴを表示し、ポインタ座標の変化に伴ってポインタＰＴの表示を更新する。また、表示制御部６０は、アプリケーション処理部５８の処理の結果を表示部１３に表示させる。

なお、図３に示すプロセッサ１１の各機能については、入力装置１を管理する基本プログラム（オペレーティングシステム）に組み込んで使用することもできるし、個別のアプリケーションプログラムの中に組み込むこともできる。あるいは、専用のハードウェアとして実現することもできる。

＜使用する情報の具体例＞
図４は、座標情報記憶部５３に記憶される情報の具体的な構成例を示す模式図である。図４に示す例では、ユーザが２本の指を同時にタッチパネル１５の面に対して近接状態にした場合の結果として座標情報記憶部５３に保持される情報が示されている。

図４に示す例では、５種類の情報Ｄ１〜Ｄ５が、取得した時刻毎に区別して記憶されている。情報Ｄ１〜Ｄ５の内容は次の通りである。

情報Ｄ１は、時間情報であり、具体的には、情報を取得した時刻又はある時点からの相対的な経過時間を表す。情報Ｄ２は、指１座標であり、具体的には、近接状態になった第１番目の指の座標（ｘ１、ｙ１、ｚ１）を表す。情報Ｄ３は、指２座標であり、具体的には、近接状態になった第２番目の指の座標（ｘ２、ｙ２、ｚ２）を表す。情報Ｄ４は、指間距離であり、具体的には、情報Ｄ２に対応する指１座標と情報Ｄ３に対応する指２座標との間のｘ−ｙ平面における距離を表す。最後に、情報Ｄ５は、ポインタ座標であり、具体的には、情報Ｄ２に対応する指１座標と情報Ｄ３に対応する指２座標との中間点に相当する座標である。

図４に示す各時刻の情報Ｄ１，Ｄ２，Ｄ３は、指座標算出部５２により書き込まれる。情報Ｄ４は、指間距離算出部５４により書き込まれる。情報Ｄ５は、ポインタ座標算出部５６により書き込まれる。

＜入力装置１の動作＞
＜第１実施形態：複数指のタッチ操作検知＞
図５は、図３に示す入力装置１が「複数本の指のタッチ操作」を検知する場合の動作を説明するフローチャートである。ここで、「複数本の指のタッチ操作」とは、図１に示す状態Ｃ２から状態Ｃ３に遷移する場合のようなユーザの指Ｆ１，Ｆ２の操作を表す。つまり、ユーザがタッチパネル１５の操作面に近接している複数本の指Ｆ１，Ｆ２を、ホバー操作状態を維持したまま互いに近づけて接触させる又は「指間距離」を所定距離より小さくする操作が「複数本の指のタッチ操作」である。

図５において、ユーザが指をタッチパネル１５の操作面に近づけるように翳す時には、近接検知部１０は、指の近接を検知する（Ｓ１１）。近接座標抽出部１００は、近接検知部１０からの近接通知を基に、近接した指の位置を表す近接座標を算出して抽出する。

センサ情報取得部５１は、抽出された近接座標の情報を近接座標抽出部１００から取得し、同時に複数本の指が近接状態か否かを識別する（Ｓ１２）。複数本の指が近接状態でない場合には（Ｓ１２、ＮＯ）、入力装置１の動作はステップＳ１１に戻る。複数本の指が近接状態の場合には（Ｓ１２、ＹＥＳ）、センサ情報取得部５１は、複数本の指の各々の近接状態の空間上の位置を表す近接座標の情報を取得する。

即ち、複数本の指が近接状態であると同時に検知された場合には、指座標算出部５２は、センサ情報取得部５１から取得した複数の近接座標の情報を座標情報記憶部５３に書き込む（Ｓ１３）。例えば、２本の指が近接状態になった場合には、図４に示す各時刻の情報のように、指座標算出部５２は、現在の時間を表す情報Ｄ１、第１番目の指の位置を表す指１座標の情報Ｄ２、及び第２番目の指の位置を表す指２座標の情報Ｄ３を座標情報記憶部５３に書き込む。

ポインタ座標算出部５６は、複数本の指が近接状態になったことが同時に検知されると、座標情報記憶部５３を参照してポインタ座標を算出し、算出されたポインタ座標を情報Ｄ５として座標情報記憶部５３に書き込む（Ｓ１４）。ポインタ座標は、近接状態の複数本の指の各位置の中間点Ｐｃの座標を、タッチパネル１５に垂直な軸に沿って画面ＤＰに投影した位置Ｐｃ２である。

指間距離算出部５４は、複数本の指が近接状態になったことが同時に検知されると、座標情報記憶部５３を参照して指間距離を算出し、算出された指間距離を情報Ｄ４として座標情報記憶部５３に書き込む（Ｓ１５）。

イベント検知部５５は、座標情報記憶部５３に最後の時刻（現在の時刻）に記憶された情報Ｄ４の「指間距離」が所定値（指定値）Ｌｔｈ以下かどうかを識別する（Ｓ１６）。ここで、所定値（指定値）Ｌｔｈは、タッチパネル１５から離間した空間上において複数本の指が互いに接触した状態か否かを区別するための閾値であり、事前に定められた定数が用いられる。「指間距離」が所定値Ｌｔｈ以下の場合、つまり複数本の指が互いにタッチパネル１５から離間した空間上において接触したことが検知された場合には、イベント検知部５５は、「決定イベント」を発行する（Ｓ１７）。

「指間距離」が所定値Ｌｔｈ以下の場合（Ｓ１７、ＹＥＳ）、つまり複数本の指が互いにタッチパネル１５から離間した空間上において接触したことが検知された場合には、入力情報通知部５７は、ポインタ座標の情報及び「決定イベント」をアプリケーション処理部５８に通知する（Ｓ１８）。

「指間距離」が所定値Ｌｔｈを超える場合、つまり複数本の指が互いにタッチパネル１５から離間した空間上において接触していない場合には（Ｓ１７、ＮＯ）、入力情報通知部５７は、ポインタ座標をアプリケーション処理部５８に通知する（Ｓ１９）。

以上により、第１の実施形態の入力装置１は、図１に示す状態Ｃ３のように、複数本の指が互いにタッチパネル１５から離間した空間上において接触した時に、「決定イベント」をアプリケーション処理部５８に渡して所定の処理を実行させるように「決定」の操作を行うことができる。

これにより、入力装置１は、ユーザが複数本の指の指間距離を小さくした時に、ユーザがタッチパネルに触れることなく簡単な指の操作だけで、決定イベントを確実に発生させて、決定の入力操作を行わせることができる。また、入力装置１は、指をタッチパネル１５から離間した空間上において決定の入力操作を容易に行わせることができるため、画面が指の指紋で汚れることを防止できる。

また、入力装置１は、図１に示す状態Ｃ２のように複数本の指がタッチパネル１５から離間した空間上の位置において接触していない状態で例えば平行移動した場合には、アプリケーション処理部５８に渡すポインタ座標を逐次更新し、ポインタＰＴの表示位置を移動させることができる。

＜第２実施形態：複数指のタップ操作検知＞
図６は、図３に示す入力装置１が「複数本の指のタップ操作」を検知する場合の動作を説明するフローチャートである。ここで、「複数本の指のタップ操作」とは、図１に示す状態Ｃ２から状態Ｃ３に遷移した後で、接触した指Ｆ１，Ｆ２が直ぐに再び離間した場合のようなユーザの指の操作を表す。つまり、ユーザがタッチパネル１５の操作面に近接している複数本の指Ｆ１，Ｆ２を、ホバー操作状態を維持したまま互いに近づけて一瞬だけ接触させてから直ぐに離す操作が「複数本の指のタップ操作」である。

図６において、ユーザが指をタッチパネル１５の操作面に近づけるように翳す時には、近接検知部１０は、指の近接を検知する（Ｓ２１）。近接座標抽出部１００は、近接検知部１０からの近接通知を基に、近接した指の位置を表す近接座標を算出して抽出する。

センサ情報取得部５１は、抽出された近接座標の情報を近接座標抽出部１００から取得し、同時に複数本の指が近接状態か否かを識別する（Ｓ２２）。複数本の指が近接状態でない場合には（Ｓ２２、ＮＯ）、入力装置１の動作はステップＳ１１に戻る。複数本の指が近接状態の場合には（Ｓ２２、ＹＥＳ）、センサ情報取得部５１は、複数本の指の各々の近接状態の空間上の位置を表す近接座標の情報を取得する。

即ち、複数本の指が近接状態であると同時に検知された場合には、指座標算出部５２は、センサ情報取得部５１から取得した複数の近接座標の情報を座標情報記憶部５３に書き込む（Ｓ２３）。ここで、指座標算出部５２が書き込む情報は、近接座標の時系列変化が把握できるように、近接座標を検知した時刻或いは取得した時刻と関連付けて座標情報記憶部５３に記憶される。

例えば、２本の指が近接状態になった場合には、図４に示す各時刻の情報のように、指座標算出部５２は、現在の時間を表す情報Ｄ１、第１番目の指の位置を表す指１座標の情報Ｄ２、及び第２番目の指の位置を表す指２座標の情報Ｄ３を座標情報記憶部５３に書き込む。

ポインタ座標算出部５６は、複数本の指が近接状態になったことが同時に検知されると、座標情報記憶部５３を参照してポインタ座標を算出し、算出されたポインタ座標を情報Ｄ５として座標情報記憶部５３に書き込む（Ｓ２４）。ポインタ座標は、近接状態の複数本の指の各位置の中間点Ｐｃの座標を、タッチパネル１５に垂直な軸に沿って画面ＤＰに投影した位置Ｐｃ２である。また、ポインタ座標算出部５６は、算出されたポインタ座標を、時刻と関連付けて座標情報記憶部５３に記憶する。

指間距離算出部５４は、複数本の指が近接状態になったことが同時に検知されると、座標情報記憶部５３を参照して指間距離を算出し、算出された指間距離を情報Ｄ４として座標情報記憶部５３に書き込む（Ｓ２５）。また、指間距離算出部５４は、算出された指間距離を、時刻と関連付けて座標情報記憶部５３に記憶する。

イベント検知部５５は、座標情報記憶部５３に記憶されている情報の中で、現在から過去の所定時間以内、即ち、現在から所定時間前までの範囲の全ての「指間距離」の情報Ｄ４を検索し（Ｓ２６）、所定値Ｌｔｈ以下の指間距離の情報Ｄ４が１つ以上存在するか否かを識別する（Ｓ２７）。

所定値Ｌｔｈ以下の「指間距離」の情報Ｄ４が１つ以上存在する場合には（Ｓ２７、ＹＥＳ）、イベント検知部５５は、更に、時刻の情報Ｄ１が最後（つまり現在）の「指間距離」の情報Ｄ４を参照し、この「指間距離」が所定値Ｌｔｈ以上か否かを識別する（Ｓ２８）。

ステップＳ２７及びＳ２８の両方の条件を満たす場合、つまり近接状態の複数本の指の指間距離が過去所定時間以内に接触状態であり、しかも現在は近接状態の複数本の指の指間距離が非接触状態になっている場合には（Ｓ２７−ＹＥＳ、Ｓ２８−ＹＥＳ）、「複数本の指のタップ操作」が行われたとして、イベント検知部５５は、「決定イベント」を発行する（Ｓ２９）。

ステップＳ２７及びＳ２８の両方の条件を満たす場合には、入力情報通知部５７は、ポインタ座標及び「決定イベント」をアプリケーション処理部５８に通知する（Ｓ３０）。

Ｓ２７又はＳ２８の条件を満たさない場合には（Ｓ２７−ＮＯ又はＳ２８−ＮＯ）、入力情報通知部５７は、ポインタ座標をアプリケーション処理部５８に通知する（Ｓ３１）。

以上により、第２の実施形態の入力装置１は、図１に示す状態Ｃ３のように、複数本の指が互いにタッチパネル１５から離間した空間上において接触し、その直後に各指が互いに離れた場合には、「決定イベント」をアプリケーション処理部５８に渡して所定の処理を実行させるように決定操作を行うことができる。

＜第３実施形態：複数種類の操作を使い分ける場合＞
図７は、図３に示す入力装置１が２本指の操作の種類を識別する場合の動作を説明するフローチャートである。なお、図７では、図６に示すセンサ情報取得部５１、指座標算出部５２、指間距離算出部５４及びポインタ座標算出部５６の動作、即ち、ステップＳ２１からステップＳ２５の動作の図示を省略しているが、図６のステップＳ２１からステップＳ２５の動作と同様の動作は図７に示すステップＳ４１の動作の前に行われている。

図７において、イベント検知部５５は、複数本の指が近接状態であることが同時に検知された場合には、座標情報記憶部５３の内容を参照して、最後（最新又は現在）の時間の情報Ｄ１に対応する「指間距離」の情報Ｄ４を取得する（Ｓ４１）。イベント検知部５５は、取得された「指間距離」と所定値Ｌｔｈとを比較する（Ｓ４２）。「指間距離＜所定値Ｌｔｈ」の条件を満たす場合には、入力装置１の動作はステップＳ４３に進む。「指間距離＜所定値Ｌｔｈ」の条件を満たさない場合には、入力装置１の動作はステップＳ５１に進む。

つまり、複数本の指が互いにタッチパネル１５から離間した空間上において接触したことが検知されると、入力装置１の動作はステップＳ４３に進み、イベント検知部５５は一定時間（例えば１秒間）だけ待機する（Ｓ４３）。その後、入力装置１の動作はステップＳ４４に進む。また、イベント検知部５５がステップＳ４３において待機している間も、座標情報記憶部５３上には新たに取得した情報が順次に書き込まれる。

ステップＳ４３における待機が終了した後、イベント検知部５５は、座標情報記憶部５３に記憶されている情報の中で、現在から過去の所定時間以内、即ち、現在から所定時間前までの範囲の全ての「指間距離」の情報Ｄ４を取得し、「指間距離」の時系列変化を把握する（Ｓ４４）。

イベント検知部５５は、ステップＳ４４において把握した「指間距離」の時系列変化を予め定められた操作条件と比較することで、複数本の指による複数種類の操作を識別する（Ｓ４５〜Ｓ４９）。複数本の指による複数種類の操作とは、例えば、「２本の指によるダブルタップ操作」、「２本の指によるタップ操作」、「２本の指によるタッチ操作」の３種類である。

「２本の指によるダブルタップ操作」の操作条件とは、所定時間以内に、２本の指が２回接触し、即ち、２本の指の「指間距離」が所定値Ｌｔｈ以下の状態が２回連続的に発生してから離れた場合である。「２本指タップ操作」の操作条件とは、所定時間以内に、２本の指が１回接触し、即ち、２本の指の「指間距離」が所定値Ｌｔｈ以下の状態が１回発生してから離れた場合である。「２本指タッチ操作」の操作条件とは、２本の指が接触した場合である。

イベント検知部５５は、「２本の指によるダブルタップ操作」の操作条件を満たすか否かを識別する（Ｓ４５）。「２本の指によるダブルタップ操作」の操作条件を満たす場合には（Ｓ４５、ＹＥＳ）、イベント検知部５５は、「２本の指によるダブルタップ操作」の種別と共に「決定イベント」を発行する（Ｓ４６）。

「２本の指によるダブルタップ操作」の操作条件を満たさない場合には（Ｓ４５、ＮＯ）、イベント検知部５５は、「２本の指によるタップ操作」の操作条件を満たすか否かを識別する（Ｓ４７）。「２本の指によるタップ操作」の操作条件を満たす場合には（Ｓ４７、ＹＥＳ）、イベント検知部５５は、「２本の指によるタップ操作」の種別と共に「決定イベント」を発行する（Ｓ４８）。

「２本の指によるダブルタップ操作」及び「２本の指によるタップ操作」のいずれの操作条件も満たさない場合には（Ｓ４７、ＮＯ）、イベント検知部５５は、「２本の指によるタッチ操作」の種別と共に「決定イベント」を発行する（Ｓ４９）。

イベント検知部５５が「決定イベント」を発行した後、入力情報通知部５７は、ポインタ座標及び「決定イベント」をアプリケーション処理部５８に通知する（Ｓ５０）。入力情報通知部５７が通知する「決定イベント」には、イベントの種類、つまり「２本の指によるダブルタップ操作」、「２本の指によるタップ操作」及び「２本の指によるタッチ操作」の３種類を区別するための情報も含まれる。

ステップＳ４２において「指間距離＜所定値Ｌｔｈ」の条件を満たさない場合には、入力情報通知部５７は、ポインタ座標をアプリケーション処理部５８に通知する（Ｓ５１）。

以上により、第３の実施形態の入力装置１は、ユーザがポインタ座標において指定されている操作対象に対する処理の実行の「決定」操作を行う際に、「２本の指によるダブルタップ操作」、「２本の指によるタップ操作」、「２本の指によるタッチ操作」の３種類の操作に応じて、それぞれ異なる処理の実行を割り当てることができる。

これにより、入力装置１は、ユーザが複数本の指を操作するだけで、種類が異なる複数のイベントを発生することができ、操作の種類を使い分けることにより、複数種類の処理を必要に応じて実行することが可能になる。

また、入力装置１は、ユーザが２本の指を用いた簡単な操作の違いだけで、２種類又は３種類の入力操作を容易に識別することができる。

＜第４実施形態：３本の指を用いて操作の種類を使い分ける第１の動作例＞
上述した実施形態ではタッチパネル１５の操作面に対して近接状態で配置した２本の指を用いた操作を想定しているが、近接状態にある３本の指を同時に用いた操作を想定しても良い。

＜ポインタ座標の決定＞
３本の指を用いる場合には、ポインタ座標を決定する方法について、複数種類の方法が考えられる。図１１は、図３に示す入力装置１が３本の指の操作を識別する場合のｘ−ｙ平面における指の組み合わせとポインタ座標との関係の具体例を示す説明図である。

図１１に示す例では、ホバー操作状態、即ち、近接状態として検知されている３本の指（指Ａ，指Ｂ，指Ｃ）が存在する場合に、３種類のポインタ座標ｐｔ１、ｐｔ２、ｐｔ３を求める場合を想定している。なお、説明を簡単にするために、ユーザが操作する手が右手の場合の代表例を想定すると、「指Ａ」が親指、「指Ｂ」が人差し指、「指Ｃ」が中指に対応する。但し、図１１に示す例では、「指Ａ」が親指、「指Ｂ」が人差し指、「指Ｃ」が中指に対応することに限定されない。

図１１に示すポインタ座標ｐｔ１は、「指Ａ」の位置、「指Ｂ」の位置、「指Ｃ」の位置の３点の重心として算出される。このポインタ座標ｐｔ１を用いることにより、ポインタＰＴの正確な位置決めが可能になる。

図１１に示すポインタ座標ｐｔ２は、「指Ａ，指Ｂ，指Ｃ」の中から予め指定した２本の「指Ａ」，「指Ｂ」のみが選択され、選択された「指Ａ」の位置と「指Ｂ」の位置との中間点として算出される。このポインタ座標ｐｔ２を用いることにより、ユーザにとって複数本の指の制御が容易になる。

図１１に示すポインタ座標ｐｔ３は、「指Ａ」、「指Ｂ」、「指Ｃ」の３点の位置座標の中でｘ軸、ｙ軸の座標値の最大値及び最小値を求め、｛（最大値−最小値）／２｝として算出される。このポインタ座標ｐｔ３を用いることにより、入力装置１の計算量を減らすことが可能になる。

＜操作の種類＞
図１２は、図３に示す入力装置１が３本の指の操作を識別する場合のｘ−ｙ平面における指の組み合わせと発生イベントの種類との関係の具体例を示す説明図である。

図１２に示す例では、ホバー操作状態、即ち、近接状態として検知されている３本の指（指Ａ，指Ｂ，指Ｃ）が存在する場合に、これらの指の指間距離を操作して発生イベントの種類を指定する場合を想定している。

図１２の左端に示す組み合わせＣＯ１のように、「指Ａ」、「指Ｂ」、「指Ｃ」の３本の指の中で、「指Ａ」と「指Ｂ」との指間距離を小さくして「指Ａ」と「指Ｂ」とを接触させた場合には、入力装置１は、「第１イベント」を発生する。「第１イベント」とは、例えば「決定イベント」に相当し、マウスを操作する場合の「左クリック」操作又は「左ダブルクリック」操作と同様のイベントとして処理することが想定される。

また、図１２の左から２番目に示す組み合わせＣＯ２のように、「指Ａ」、「指Ｂ」、「指Ｃ」の３本の指の中で、「指Ａ」と「指Ｃ」との指間距離を小さくして「指Ａ」と「指Ｃ」とを接触させた場合には、入力装置１は、「第２イベント」を発生する。「第２イベント」とは、例えばポインタ座標で指示される特定の操作対象のオブジェクト（例えばコンテンツのファイルのアイコン）のプロパティ（属性）を変更するためのイベントとして処理することが想定される。つまり、「第２イベント」は、マウスを操作する場合の「右クリック」操作と同様のイベントとして扱うことができる。

また、図１２の左から３番目に示す組み合わせＣＯ３のように、「指Ａ」、「指Ｂ」、「指Ｃ」の３本の指の中で、「指Ｂ」と「指Ｃ」との指間距離を小さくして「指Ｂ」と「指Ｃ」とを接触させた場合には、入力装置１は、「第３イベント」を発生する。「第３イベント」とは、例えばポインタ座標で指示される特定の操作対象のオブジェクト（例えばコンテンツのファイルのアイコン）をコピーするためのイベントとして処理することが想定される。つまり、「第３イベント」は、マウスを操作する場合の「左右クリック」操作と同様のイベントとして扱うことができる。

また、図１２の右端に示す組み合わせＣＯ４のように、「指Ａ」、「指Ｂ」、「指Ｃ」の３本の指の指間距離を小さくして「指Ａ」と「指Ｂ」と「指Ｃ」とを接触させた場合には、入力装置１は、「第４イベント」を発生する。「第４イベント」とは、事前にコピーしたオブジェクト（例えばコンテンツのファイルのアイコン）をポインタ座標で指示される場所にペースト（貼り付ける）するためのイベントとして処理することが想定される。つまり、「第４イベント」は、マウスを操作する場合の「ダブルクリック」操作と同様のイベントとして扱うことができる。

このように、入力装置１は、指間距離を小さくして接触させる複数指の組み合わせを変えることにより、イベントの種類をユーザが簡易に切り替えることができる。

＜入力装置の動作＞
図８は、図３に示す入力装置１が３本指の操作の種類を識別する場合の第１の動作例を説明するフローチャートである。なお、図８では、図６に示すセンサ情報取得部５１、指座標算出部５２、指間距離算出部５４及びポインタ座標算出部５６の動作、即ち、ステップＳ２１からステップＳ２５の動作の図示を省略しているが、図６のステップＳ２１からステップＳ２５の動作と同様の動作は図８に示すステップＳ５１の動作の前に行われている。

図８において、イベント検知部５５は、複数本の指が近接状態であることが同時に検知された場合には、座標情報記憶部５３の内容を参照し、最後（最新又は現在）の時間の情報Ｄ１に対応する「指間距離」の情報Ｄ４を取得する（Ｓ６１）。イベント検知部５５は、取得された「指間距離」と所定値Ｌｔｈとを比較する（Ｓ６２）。「指間距離＜所定値Ｌｔｈ」の条件を満たす場合には、入力装置１の動作はステップＳ６３に進む。「指間距離＜所定値Ｌｔｈ」の条件を満たさない場合には、入力装置１の動作はステップＳ６７に進む。

なお、近接状態の指の数が３以上の場合には、指座標算出部５２は、複数の指間距離の中で最小の指間距離を、「指間距離」の情報Ｄ４として座標情報記憶部５３に記憶する。

イベント検知部５５は、座標情報記憶部５３が保持している情報を基に、近接状態として検知されている指の数が３本か否かを識別する（Ｓ６３）。入力装置１の動作は、３本の指を検知中であればステップＳ６４に進み、例えば２本の指だけを検知している場合にはステップＳ６５に進む。

ステップＳ６４では、イベント検知部５５は、３本の指の位置関係と、「指間距離＜所定値Ｌｔｈ」の条件を満たした指の組み合わせとに基づき、図１２に示すように操作の種類を識別し、操作の種類を含む「決定イベント」を発行する（Ｓ６４）。なお、図１２に示す３本の指の位置関係と、「指間距離＜所定値Ｌｔｈ」の条件を満たした指の組み合わせと操作の種類との関係を表すデータを事前に所定のテーブルが、入力装置１の記憶部１２ｃに記憶されている。イベント検知部５５は、この所定のテーブルを基にして、３本の指による操作の種類を識別する。

また、２本の指だけを検知している場合には、イベント検知部５５は、例えば「２本指タッチ操作」の種別と共に「決定イベント」を発行する（Ｓ６５）。

イベント検知部５５が「決定イベント」を発行した場合には、入力情報通知部５７は、ポインタ座標及び「決定イベント」をアプリケーション処理部５８に通知する（Ｓ６６）。入力情報通知部５７が通知する「決定イベント」には、イベントの種類、つまり３本の指による「第１イベント」、「第２イベント」、「第３イベント」、「第４イベント」又は「２本の指によるタッチ操作」の種類を区別するための情報も含まれる。

ステップＳ６２において「指間距離＜所定値Ｌｔｈ」の条件を満たさない場合には、入力情報通知部５７は、ポインタ座標をアプリケーション処理部５８に通知する（Ｓ６７）。

＜第５実施形態：３本の指を用いて操作の種類を使い分ける第２の動作例＞
図１２に示す例では、３本の指の中の２本又は３本の指の指間距離を小さくして１回だけ接触させる場合を想定しているが、接触させる指の組み合わせを順番に切り替えるように操作しても良い。この場合には、組み合わせを切り替えた順番の違いに応じて発生イベントの種類を切り替えることができる。この場合の入力装置の動作について以下に説明する。

図９は、図３に示す入力装置１が３本指の操作の種類を識別する場合の第２の動作例を説明するフローチャートである。なお、図８では、図６に示すセンサ情報取得部５１、指座標算出部５２、指間距離算出部５４及びポインタ座標算出部５６の動作、即ち、ステップＳ２１からステップＳ２５の動作の図示を省略しているが、図６のステップＳ２１からステップＳ２５の動作と同様の動作は図９に示すステップＳ５１の動作の前に行われている。

図９において、イベント検知部５５は、複数本の指が近接状態であることが同時に検知された場合には、座標情報記憶部５３の内容を参照し、最後（最新又は現在）の時間の情報Ｄ１に対応する「指間距離」の情報Ｄ４を取得する（Ｓ７１）。イベント検知部５５は、取得された「指間距離」と所定値Ｌｔｈとを比較する（Ｓ７２）。「指間距離＜所定値Ｌｔｈ」の条件を満たす場合には、入力装置１の動作はステップＳ７３に進む。「指間距離＜所定値Ｌｔｈ」の条件を満たさない場合には、入力装置１の動作はステップＳ７９に進む。

イベント検知部５５は、座標情報記憶部５３が保持している情報を基に、近接状態として検知されている指の数が３本か否かを識別する（Ｓ７３）。入力装置１の動作は、３本の指を検知中であればステップＳ７４に進み、例えば２本の指だけを検知している場合にはステップＳ７７に進む。

３本の指が互いにタッチパネル１５から離間した空間上において接触したことが同時に検知された場合には、イベント検知部５５は、ステップＳ７４において一定時間（例えば１秒間）だけ待機する（Ｓ７４）。その後、入力装置１の動作はステップＳ７５に進む。また、イベント検知部５５がステップＳ７４において待機している間も、座標情報記憶部５３には新たに取得した情報が順次に書き込まれる。また、近接状態の指の数が３の場合には、座標情報記憶部５３の「指間距離」の情報Ｄ４として３つの指間距離が記憶される。即ち、第１番目の指と第２番目の指との距離を表す第１指間距離と、第１番目の指と第３番目の指との距離を表す第２指間距離と、第２番目の指と第３番目の指との距離を表す第３指間距離とが情報Ｄ４として存在する。

ステップＳ７４における待機が終了した後、イベント検知部５５は、座標情報記憶部５３に記憶されている情報の中で、現在から過去の所定時間以内、即ち、現在から所定時間前まで範囲の全ての「指間距離」の情報Ｄ４を取得し、複数の「指間距離」の各々の時系列変化を把握する（Ｓ７５）。

イベント検知部５５は、ステップＳ７５により把握された「指間距離」の時系列変化を予め定められた操作条件と比較することで、複数種類の操作を識別する。具体的には、３本の指が接触した順番の違いに応じて次に示すように異なる操作として識別する。

「３本の指による第１操作」：図１２に示す組み合わせＣＯ１のように、「指Ａ」と「指Ｂ」とが接触した後に、同図に示す組み合わせＣＯ４のように更に「指Ｃ」が接触した場合。
「３本の指による第２操作」：図１２に示す組み合わせＣＯ２のように、「指Ａ」と「指Ｃ」とが接触した後に、同図に示す組み合わせＣＯ４のように更に「指Ｂ」が接触した場合。
「３本の指による第３操作」：図１２に示す組み合わせＣＯ１のように、「指Ａ」と「指Ｂ」とが接触した後に、同図に示す組み合わせＣＯ２のように「指Ａ」と「指Ｃ」とが接触した場合。
「３本の指による第４操作」：図１２に示す組み合わせＣＯ２のように「指Ａ」と「指Ｃ」とが接触した後に、同図に示す組み合わせＣＯ１のように「指Ａ」と「指Ｂ」とが接触した場合。

イベント検知部５５は、上述した「３本の指による第１操作」、「３本の指による第２操作」、「３本の指による第３操作」、「３本の指による第４操作」の各条件を満たすか否かを識別し、操作の種類を表す情報と共に「決定イベント」を発行する（Ｓ７６）。

また、２本の指だけを検知している場合には、イベント検知部５５は、例えば「２本の指によるタッチ操作」の種別と共に「決定イベント」を発行する（Ｓ７７）。

イベント検知部５５が「決定イベント」を発行した場合には、入力情報通知部５７は、ポインタ座標及び「決定イベント」をアプリケーション処理部５８に通知する（Ｓ７８）。入力情報通知部５７が通知する「決定イベント」には、イベントの種類、つまり「３本指の第１操作」、「３本指の第２操作」、「３本指の第３操作」、「３本指の第４操作」、「２本指タッチ操作」の５種類のうちいずれかの操作を区別するための情報も含まれる。

ステップＳ７２において「指間距離＜所定値Ｌｔｈ」の条件を満たさない場合には、入力情報通知部５７は、ポインタ座標をアプリケーション処理部５８に通知する（Ｓ７９）。

以上により、第４又は第５の実施形態の入力装置１は、ユーザがポインタ座標が指定している操作対象に対する処理の実行の「決定」操作を行う際に、操作する指の組み合わせ又は操作する指の組み合わせの接触する順番の違いにより、「３本指の第１操作」、「３本指の第２操作」、「３本指の第３操作」、「３本指の第４操作」に応じた処理を実行することができる。

これにより、入力装置１は、ユーザの３本指の簡単な操作の違いだけで、複数種類の入力操作を簡易に行わせることができる。

＜フォーカスの使用＞
上述した実施形態では、図１に示すように、操作対象のオブジェクト（例えばアイコン）或いはオブジェクト上の領域が、ポインタＰＴが指し示す画面上の位置（点）によって指定されている。このポインタＰＴの代わりにフォーカスを使用することもできる。

フォーカスとは、画面上で現在選択されている領域を意味している。フォーカスを当てる領域は、ある大きさを有する任意の形状の領域としても良いし、画面ＤＰ上に実在する様々なオブジェクトのそれぞれの表示領域としても良い。ポインタＰＴを用いる場合には、ポインタＰＴが指定する点は、ポインタ座標の移動に伴って連続的に移動するが、フォーカスを用いる場合には選択されている領域が離散的に移動する場合もある。

以下、上述した各実施形態の入力装置１がポインタＰＴの代わりにフォーカスを制御する場合の具体例について説明する。図１０は、各実施形態の入力装置１を操作する場合の状態遷移の具体例を示す説明図である。即ち、図１０では、状態Ｃ１から状態Ｃ２へ遷移し、続いて状態Ｃ２から状態Ｃ３へ遷移する様子が示されている。

図１０に示すように、入力装置１の操作面である筺体上面に表示部１３及びタッチパネル１５が配置されている。また、表示部１３の画面ＤＰ上には、操作可能なコンテンツの可視情報が表示されている。また、操作対象として選択されている領域３０３がフォーカスＦＣにより示されている。

フォーカスＦＣは、フォーカスＦＣにより示されていない他の領域の表示形態と識別可能となるように、操作対象として選択されている領域を異なる表示形態にて示している。例えば、該当する領域の明るさを通常とは異なる状態にしたり、該当する領域の表示を点滅したり、該当する領域内で表示する画素の密度を変更したり、表示色を変更するような制御を行う。これにより、フォーカスＦＣの当たっている領域を他の領域と区別した状態で表示することができる。従って、ユーザは画面ＤＰ上でフォーカスＦＣの当たっている領域とそれ以外の領域とを視覚的に区別することができる。図１０に示す例では、矩形の領域３０１，３０２，３０３，３０４のうちいずれか１つに対してフォーカスＦＣを当てる場合を想定している。

図１０に示す状態Ｃ１では、ユーザが２本の指Ｆ１及びＦ２を操作面（タッチパネル１５）に近接する位置に翳して、「ホバー操作」が行われている様子が示されている。但し、図１０に示す状態Ｃ１では、２本の指Ｆ１，Ｆ２の間はある程度離れている。指Ｆ１の位置Ｐ１は近接座標（ｘ１、ｙ１、ｚ１）で表され、指Ｆ２の位置Ｐ２は近接座標（ｘ２、ｙ２、ｚ２）で表される。

図１０に示す状態Ｃ１では、２本の指Ｆ１，Ｆ２が同時に翳されてあるため、入力装置１は、指Ｆ１の位置Ｐ１と指Ｆ２の位置Ｐ２との中間点である位置Ｐｃの座標（ｘｃ、ｙｃ、ｚｃ）を、フォーカスＦＣをあてるための座標として算出する。更に、入力装置１は、位置Ｐｃの直下にある操作面（タッチパネル１５）上の位置Ｐｃ２、即ち、位置Ｐｃの操作面（タッチパネル１５）に対応する画面ＤＰ上の位置である座標（ｘｃ、ｙｃ）を求め、位置Ｐｃ２の座標を基準としてフォーカスＦＣを当てる領域を決定する。

即ち、図１０の状態Ｃ１では、入力装置１は、フォーカスＦＣを当てることが可能な領域３０１〜３０４の中で、現在の基準位置である位置Ｐｃ２を含む領域３０３を選択し、この領域３０３に対してフォーカスＦＣを当てて表示している。なお、フォーカスＦＣを当てることが可能な領域３０１〜３０４の中に、現在の基準位置である位置Ｐｃ２を含む領域が存在しない場合は、入力装置１は、最も近い領域を選択してフォーカスＦＣを当てて表示する。

図１０に示す状態Ｃ２は、状態Ｃ１からユーザが指Ｆ１，Ｆ２を含む手全体を矢印Ａ１方向に平行移動した様子を示している。つまり、指Ｆ１の位置Ｐ１と指Ｆ２の位置Ｐ２との間隔が一定に維持されたまま、手の平行移動に伴って、位置Ｐ１，Ｐ２が矢印Ａ１方向に平行移動する。

図１０に示す状態Ｃ２のように、位置Ｐ１，Ｐ２が間隔を保持したまま平行移動する場合には、移動中及び移動後に、入力装置１は、フォーカスＦＣの表示位置を更新する。つまり、入力装置１は、手の平行移動により変化した位置Ｐ１，Ｐ２に基づいて、中間点の位置Ｐｃの座標（ｘｃ、ｙｃ、ｚｃ）を再び算出する。なお、ここに記載している平行移動とは、絶対的な平行でなく、絶対的な平行移動に近い略平行移動でも良い。位置Ｐ１とＰ２との間隔が所定値以内で変化し、絶対的な平行から多少ずれても良い。また、複数位置の同時移動に関して、時間的に多少の前後があっても良い。

更に、入力装置１は、位置Ｐｃの直下にある操作面（タッチパネル１５）上の位置Ｐｃ２の座標（ｘｃ、ｙｃ）を求め、求められた位置Ｐｃ２に基づいて領域３０１〜３０４の中からいずれか１つを選択し、該当する領域にフォーカスＦＣを当てて表示する。

図１０に示す状態Ｃ２では、位置Ｐｃ２が含まれる領域３０４に対してフォーカスＦＣが当てて表示されている。従って、入力装置１は、ユーザが指の位置を矢印Ａ１方向に移動することで、領域３０１〜３０４の各領域を、操作対象として選択している領域として順番に指定することができる。

図１０に示す状態Ｃ３は、状態Ｃ２からユーザが指Ｆ１と指Ｆ２とを互いに近づけて接触させた様子を示している。指Ｆ１と指Ｆ２との接触は、ユーザによる「決定」の操作を意味する。即ち、フォーカスＦＣにより示されている領域３０４内の操作対象物のオブジェクト（例えばコンテンツのアイコン）に対して処理を実行しても良いのかどうかを確定させるために、「決定」の操作を行う。

図１０に示す状態Ｃ３になると、入力装置１は、決定操作を受け付ける。具体的には、入力装置１は、指Ｆ１の位置Ｐ１と指Ｆ２の位置Ｐ２との距離が所定以下になったことを検知し、フォーカスＦＣが指定している操作対象のオブジェクトに対する決定操作を受け付ける。

なお、図１０に示す例では矩形の領域３０１〜３０４のいずれか１つを選択してフォーカスを当てる場合を想定しているが、画面ＤＰ上に存在する様々なオブジェクトのいずれか１つを選択してフォーカスを当てるようにしてもよい。例えば、様々なオブジェクトのアイコンが画面上に一定の間隔で並んでいるような場合には、指の位置に基づいて決定した基準位置Ｐｃ２に最も近いアイコンの領域を選択してフォーカスの表示ＦＣを行えばよい。

以上により、入力装置１の表示制御部６０は、図１０に示すように、画面ＤＰ上に表示されている操作可能な複数の表示要素（オブジェクト）の中で、ポインタ座標と位置が一致する表示要素、もしくは距離が近い表示要素を選択対象のオブジェクトとして他の表示要素と区別して表示する。これにより、入力装置１は、ユーザの操作対象の領域を、画面ＤＰ上に表示されるフォーカスＦＣを当てて表示させることで、容易に確認させることができる。

以上、図面を参照して各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、タッチパネルに対するユーザの入力操作に応じて、画面上に表示されたオブジェクトの直感的な決定処理を簡易に実現する入力装置、入力支援方法及びプログラムとして有用である。

１ 入力装置
１０ 近接検知部
１６ 電源制御部
１７ 通信制御部
２０ タッチ検知部
５１ センサ情報取得部
５２ 指座標算出部
５３ 座標情報記憶部
５４ 指間距離算出部
５５ イベント検知部
５６ ポインタ座標算出部
５７ 入力情報通知部
５８ アプリケーション処理部
５９ 時間管理部
６０ 表示制御部
１００ 近接座標抽出部
２００ タッチ座標抽出部

Claims (12)

1. 所定の画面にデータを表示する表示部と、
   前記画面に対する指の近接を検知するタッチパネルと、
   前記画面に近接した前記指の位置を表す近接座標を抽出する近接座標抽出部と、
   複数の指の近接が同時に検知されている場合に、前記複数の指の各近接座標を基に、前記複数の指の位置の中間点に対応する前記画面上の位置をポインタ座標として算出するポインタ座標算出部と、
   前記算出された前記画面上の位置に、前記ポインタ座標を表すインジケータを表示させる表示制御部と、
   前記複数の指の指間距離が所定距離以下となった場合に所定処理を実行するためのイベントを検知するイベント検知部と、を備える入力装置。
2. 請求項１に記載の入力装置であって、
   前記ポインタ座標算出部は、
   前記複数の指の位置の中間点を前記画面に垂直な軸に沿って前記画面に投影した位置を前記ポインタ座標として算出する入力装置。
3. 請求項１に記載の入力装置であって、
   前記ポインタ座標算出部は、
   前記複数の指が同時に略平行移動する状態が検知された場合に、移動中又は移動後の前記複数の指の各近接座標を基にして前記ポインタ座標を再計算する入力装置。
4. 請求項２又は３に記載の入力装置であって、
   前記イベント検知部は、
   前記複数の指の間の距離が所定距離以下となった場合に、前記画面上の前記ポインタ座標に対応する位置に存在する表示要素を操作対象として決定するための決定イベントを発生する入力装置。
5. 請求項４に記載の入力装置であって、
   前記イベント検知部は、
   前記複数の指の指間距離が所定距離以下となった場合に前記指間距離の変化を監視し、前記指間距離の変化を所定条件と比較して複数の操作状態を識別し、識別結果に応じた前記イベントを発生する入力装置。
6. 請求項５に記載の入力装置であって、
   前記イベント検知部は、
   ２本の指が接触した状態を第１のイベントとして識別し、前記２本の指が１回接触してから離れた状態を第２のイベントとして識別し、前記２本の指が２回接触してから離れた状態を第３のイベントとして識別する入力装置。
7. 請求項４に記載の入力装置であって、
   前記イベント検知部は、
   ３本以上の指の近接が同時に検知されている場合に、前記３本以上の指の中で指間距離が所定距離以下となった指の組み合わせを識別し、識別結果に応じたイベントを発生する入力装置。
8. 請求項４に記載の入力装置であって、
   前記イベント検知部は、
   ３本以上の指の近接が同時に検知されている場合に、前記３本以上の指の中で指間距離が所定距離以下となった指の組み合わせの変化を監視し、前記変化の順番に応じたイベントを発生する入力装置。
9. 請求項７又は８に記載の入力装置であって、
   前記表示制御部は、
   前記インジケータとして、前記ポインタ座標の位置を指示するポインタを前記画面上に表示する入力装置。
10. 請求項１に記載の入力装置であって、
    前記表示制御部は、
    前記画面上に表示されている操作可能な複数の表示要素の中で、前記ポインタ座標と位置が一致する表示要素又は距離が近い表示要素を選択オブジェクトとして他の表示要素と区別して表示する入力装置。
11. 所定の画面にデータを表示する表示部を含む入力装置の入力支援方法であって、
    前記画面に対する指の近接を検知するステップと、
    前記画面に近接した指の位置を表す近接座標を抽出するステップと、
    複数の指の近接が同時に検知されている場合に、前記複数の指の各近接座標を基に、前記複数の指の位置の中間点に対応する前記画面上の位置をポインタ座標として算出するステップと、
    前記算出された前記画面上の位置に、前記ポインタ座標を表すインジケータを表示させるステップと、
    前記複数の指の指間距離が所定距離以下となった場合に所定処理を実行するためのイベントを検知するステップと、を有する入力支援方法。
12. 所定の画面にデータを表示する表示部を含む入力装置であるコンピュータに、
    前記画面に対する指の近接を検知するステップと、
    前記画面に近接した指の位置を表す近接座標を抽出するステップと、
    複数の指の近接が同時に検知されている場合に、前記複数の指の各近接座標を基に、前記複数の指の位置の中間点に対応する前記画面上の位置をポインタ座標として算出するステップと、
    前記算出された前記画面上の位置に、前記ポインタ座標を表すインジケータを表示させるステップと、
    前記複数の指の指間距離が所定距離以下となった場合に所定処理を実行するためのイベントを検知するステップと、を実現させるためのプログラム。

Images