JP2009140368A - 入力装置、表示装置、入力方法、表示方法及びプログラム - Google Patents

Abstract

【課題】機器を手で保持しながら、片手での入力操作が可能な表示装置を提供する。
【解決手段】携帯電話１０の画像取得部１０５は、撮像素子および画像素子を含む素子から形成されたディスプレイ１３に、指を検知できる位置まで非接触に指を接近させるまたは接触させることにより指の画像を取得する。演算部１２０は、画像取得部１０５により取得された指の画像から指の重心位置を求める。情報生成部１２５は、指の移動に応じた指の重心位置の変位に基づき携帯電話１０を操作するための情報を生成する指の画像に基づき指と画面との接触面積を求める。判定部１１５は、求められた接触面積に基づき指が画面に接触したか否かを判定する。表示部１３０は、判定部１１５により指が画面に接触したと最初に判定された位置に指が接触する際の基準となるポイントを示したバーチャルサイン１４を表示する。
【選択図】図３

Description

本発明は、入力装置、表示装置、入力方法、表示方法及びプログラムに関し、特に、表示装置の画面上から情報を入力する装置のユーザインターフェースに関する。

近年、テレビジョン受像機などの液晶表示装置に対して情報を直接入力する技術が多数提案されている。例えば、特許文献１には、表示装置（情報入出力装置）の内側から外側に向かって出射された赤外線の光量と、その反射光の光量に基づいて、ユーザの動作に対応する情報や、ユーザが提示したカードに表されている情報を検出させることが開示されている。

特許文献２には、液晶表示装置に光学センサを内蔵し、光学センサによって外部からの光を検知することにより光を用いた情報の入力を可能とした表示パネルが開示されている。ナビゲーション機能、コンテンツの再生機能を有する車載装置にタッチパネルを搭載する機器も普及していて、特許文献３には、タッチパネルを用いた指によるジェスチャーにより、メニューの選択および表示の切り替えを行う技術が開示されている。これらによれば、ユーザは、マウスやキーボードを操作することなく、所定の情報を表示装置に入力することができる。

特開平１１−５３１１１号公報 特開２００４−１２７２７２号公報 特開２００５−３３９４２０号公報

しかしながら、タッチパネルを搭載する機器では、近年、その表示画面のサイズも大きくなっている。このような機器を片手で保持しながらさらに同じ手でタッチパネルの入力操作を行う場合、機器の重さや大きさにより機器の保持が不安定になったり、大きな画面に対する指の動きが不自由になって入力操作に誤りが生じてしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、機器を手で保持しながら、その手を表示画面上にて広範囲に移動させることなく入力操作が可能な、新規かつ改良された入力装置、表示装置、入力方法、表示方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子および画像素子を含む素子から形成された表示装置の画面に対して情報を入力するための物体を検知できる位置まで前記物体を非接触に接近させるまたは前記物体を接触させることにより前記物体の画像を取得する画像取得部と、前記画像取得部により取得された前記物体の画像から前記物体の重心位置を算出する演算部と、前記物体の移動に応じた前記物体の重心位置の変位に基づき、機器を操作するための情報を前記物体からの入力情報として生成する情報生成部とを備えた入力装置が提供される。

かかる構成によれば、物体（指など）の画像を取り込み、物体の接触状態または接近状態を画像処理することにより物体の重心位置の変位を求め、求められた変位に基づき機器を操作するための情報が前記物体からの入力情報として生成される。これにより、物体のわずかな動きも正確に捉えて物体からの入力情報に変換することができるため、機器を保持する手や指をほとんど表示画面上から動かさずに、片手で画面を操作することができる。また、指のわずかな動きに連動して簡単に画面を操作（スクロール、ズーム、チルトなど）することができるので、ユーザは、状況に応じていろいろな持ち方で機器を操作することができる。

前記画像取得部により取得された前記物体の画像に基づき前記物体を検知できる位置まで前記物体が前記表示装置に非接触に接近したかまたは接触したか否かを判定する判定部をさらに備えていてもよい。

前記判定部により前記物体が検知できる位置まで連続的に非接触に接近しているまたは連続的に接触していると判定されている間、前記演算部は、前記物体の重心位置の演算を繰り返し、前記情報生成部は、前記繰り返し演算された前記物体の重心位置の変位に基づき、前記機器を操作するための情報を生成し続けてもよい。

前記判定部により前記物体が前記表示装置から所定距離以上離れたと判定された場合、前記演算部は、前記物体の重心位置の演算を中止し、前記情報生成部は、前記機器を操作するための情報の生成を中止してもよい。

前記判定部により前記物体が複数点で検知できる位置まで前記表示装置に非接触に接近しているまたは連続的に接触していると判定された場合、前記情報生成部は、前記複数点での前記物体の重心位置の相対関係に基づき、前記機器を操作するための情報を生成してもよい。

これによれば、前記物体の重心位置の相対関係に基づき、異なるインタラクションを実現することができる。つまり、複数の物体の重心の位置の変位の相対関係により機器に異なる動作を実行させるようなユーザインターフェースを確立することができる。

前記判定部により前記物体が複数点で検知できる位置まで前記表示装置に非接触に接近しているまたは連続的に接触していると判定された場合、前記情報生成部は、前記複数点の各点に対する前記物体の重心位置の変位に基づき前記機器の異なる機能を実行するための情報を生成してもよい。

これによれば、物体が近接又は接触した位置によって、片手で簡単に機器に別操作を実行させることができる。

前記判定部により前記物体が複数点で検知できる位置まで前記表示装置に非接触に接近しているまたは連続的に接触していると判定された場合、前記情報生成部は、前記複数点の各点に対する前記物体の重心位置の変位の合計値に基づき前記機器を操作するための情報を生成してもよい。

これによれば、物体の動きに対してよりスピーディーに機器を操作することができる。

前記判定部は、前記取得された物体の画像の輝度に基づき前記物体が検知できる位置まで前記表示装置に非接触に接近したかまたは接触したか否かを判定してもよい。

前記物体の画像の輝度に基づき、前記物体と前記表示装置との距離を求め、前記物体に近い画像ほど前記物体から遠ざけて表示してもよい。

前記判定部により前記物体が検知できる位置まで前記表示装置に非接触に接近したと判定された後、前記画像取得部が取得した前記物体の画像から前記物体が前記表示装置に接触したと判定された場合、接触した物体の画像の輝度に基づき前記表示装置に別々に離れて表示された画像の選択範囲を定め、選択範囲内の画像を選択する選択部をさらに備えてもよい。

前記機器を操作するための情報は、前記表示装置に表示された画像のスクロール、ズームまたはチルトのいずれかの制御に用いられてもよい。

前記情報生成部は、前記物体の画像の輝度に基づき前記表示装置に表示された画像のスクロールの量、ズームの量またはチルトの量を変化させるように前記機器を操作するための情報を生成してもよい。

前記物体の重心位置の変位を示す情報には、前記物体が移動した軌跡上の任意の２点間の差分、前記物体が移動する方向、前記物体が移動する速度、前記物体の加速度の少なくともいずれかが含まれていてもよい。

前記機器は、携帯型機器であってもよい。

前記物体は、前記携帯型機器を保持するユーザの指であってもよい。

また、上記課題を解決するために、本発明の他の観点によれば、撮像素子および画像素子を含む素子から形成された表示装置の画面に対して、情報を入力するための物体を検知できる位置まで前記物体を非接触に接近するまたは前記物体を接触させることにより前記物体の画像を取得する画像取得部と、前記画像取得部により取得された前記物体の画像から前記物体の重心位置を算出する演算部と、前記物体の移動に応じた前記物体の重心位置の変位に基づき、機器を操作するための情報を生成する情報生成部と、前記画像取得部により取得された前記物体の画像の輝度に基づき前記物体を検知できる位置まで前記物体が前記表示装置に非接触に接近したかまたは接触したか否かを判定する判定部と、前記判定部により前記物体が前記位置まで非接触に接近したかまたは接触したと最初に判定された位置に前記物体を移動させる際の基準となるポイントを示したバーチャルサインを表示する表示部とを備えた表示装置が提供される。

かかる構成によれば、物体の画像を画像処理することにより物体の重心位置の変位を求め、求められた変位に基づき機器を操作するための情報が生成される。これにより、物体のわずかな動きも正確に捉えて物体からの入力情報に変換することができるため、機器を保持する手や指をほとんど表示画面上から動かさずに、片手で画面を操作することができる。また、バーチャルサインは、ソフトウエアにより実現されているため、ハードウエアにより実現されていた従来型の固定位置ではなく、ユーザの好きな位置に好きなタイミングで表示したり、表示を消したりすることができる。このため、ユーザが画面上で注視したい対象を指で隠蔽することを回避することができる。

前記判定部により前記物体が前記表示装置から所定距離以上離れたと判定された場合、前記表示部は、前記バーチャルサインの表示を中止してもよい。

前記判定部は、前記画像取得部により取得された前記物体の画像の輝度に基づき前記物体が前記表示装置に検知できる位置まで非接触に接近したかまたは接触したか否かを判定し、前記表示部は、前記物体の接近又は接触位置に近い画像ほど前記物体から遠ざけて表示してもよい。

また、上記課題を解決するために、本発明の他の観点によれば、撮像素子および画像素子を含む素子から形成された表示装置の画面上の固定位置に、情報を入力するための物体が接近または接触する際の基準となるポイントを示した単数または複数の固定バーチャルサインを表示する表示部と、前記単数又は複数の固定バーチャルサインに前記物体を検知できる位置まで前記物体を非接触に接近させるまたは接触させることにより前記物体の画像を取得する画像取得部と、前記画像取得部が取得した前記物体の画像から前記物体の重心位置を算出する演算部と、前記物体の動きに応じた前記物体の重心位置の変位に基づき、前記機器を操作するための情報を生成する情報生成部とを備えた表示装置が提供される。

かかる構成によれば、固定バーチャルサイン（擬似的入力デバイス）が、表示装置の画面上の固定位置にソフトウエアによって画像として表示される。これにより、画面内に収まる大きさ、位置であれば擬似的入力デバイスをどこにでもいくつでも好きなタイミングで配置することができる。

また、表示画面に触れている物体の画像から物体の大きさ（面積）を検出することができる。これにより、擬似的入力デバイスへの触り方をより忠実に的確に捉えた情報を入力することができる。たとえば、指先で擬似的入力デバイスに触れて動かすと小さい値の変位（数値の増減）が入力され、指の腹で擬似的入力デバイスに大きく触れると大きな値の変位が入力される。

前記固定バーチャルサインを、前記表示装置の画面上に映し出され、前記物体が前記固定バーチャルサインに接触する状態に応じて前記機器を操作するための入力情報が生成される疑似入力装置として機能させてもよい。

前記固定バーチャルサインは、一軸を中心として前記物体の移動に応じて仮想的に回転し、前記情報生成部は、前記固定バーチャルサインの回転方向の相対的変位または絶対的変位に基づき前記機器を操作するための情報を生成してもよい。

前記情報生成部は、前記固定バーチャルサインの回転方向の相対的変位または絶対的変位が所定の閾値を越えている場合、前記機器を操作するための情報を生成してもよい。

前記機器を操作するための情報を、前記固定バーチャルサインの回転方向の相対的変位または絶対的変位に基づき所望の数値を増減するために用いてもよい。

前記情報生成部は、前記物体と前記固定バーチャルサインとの接触位置に応じて前記数値の変化量が異なるように前記機器を操作するための情報を生成してもよい。

また、上記課題を解決するために、本発明の他の観点によれば、撮像素子および画像素子を含む素子から形成された表示装置の画面に対して、情報を入力するための物体を検知できる位置まで前記物体を前記表示装置に非接触に接近させるまたは接触させることにより前記物体の画像を取得するステップと、前記取得した前記物体の画像から前記物体の重心位置を算出するステップと、前記物体の移動に応じた前記物体の重心位置の変位に基づき、機器を操作するための情報を前記物体からの入力情報として生成するステップとを備えた情報の入力方法が提供される。

また、上記課題を解決するために、本発明の他の観点によれば、撮像素子および画像素子を含む素子から形成された表示装置に、情報を入力するための物体を検知できる位置まで前記物体を前記表示装置に非接触に接近させるまたは接触させることにより前記物体の画像を取得するステップと、前記取得された物体の画像から前記物体の重心位置を算出するステップと、前記物体の移動に応じた前記物体の重心位置の変位に基づき、機器を操作するための情報を生成するステップと、前記取得された物体の画像の輝度を求め、求められた輝度に基づき前記物体が前記表示装置に非接触に接近したかまたは接触したか否かを判定するステップと、前記物体が前記表示装置に非接触に接近したまたは接触したと最初に判定された位置に前記物体が接触する際の基準となるポイントを示したバーチャルサインを表示するステップとを備えた表示方法が提供される。

また、上記課題を解決するために、本発明の他の観点によれば、上記入力装置が有する機能をコンピュータに実現させるためのプログラムが提供される。

また、上記課題を解決するために、本発明の他の観点によれば、上記表示装置が有する機能をコンピュータに実現させるためのプログラムが提供される。

以上説明したように、本発明によれば、機器を手で保持しながらその手を表示画面上にて広範囲に移動させることなく、容易な入力操作を実現するユーザインターフェースを提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。但し、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

（第１実施形態）
まず、本発明の第１実施形態に係る表示装置（入力装置）の概要について、図１に示した携帯電話１０を例に挙げて説明する。携帯電話１０は、数字や文字を入力するためのボタン群１１、携帯電話に内蔵され、ＣＰＵやメモリを搭載したＩＣチップ１２、液晶ディスプレイ１３を有する。

液晶ディスプレイ１３は、撮像素子および画像素子が内蔵された表示装置であって、指などによる入力機能を有するため、機器を画面上から直接操作することができる。また、液晶ディスプレイ１３は、従来の静電容量式や感圧式ではなく、撮像素子を内蔵した特殊なＩ／Ｏ（ＩＮＰＵＴ／ＯＵＴＰＵＴ）ディスプレイであり、タッチパネルとしても機能する。すなわち、液晶ディスプレイ１３は、内蔵された画像素子によりディスプレイ１３上に画像を表示することができ、また、内蔵された撮像素子により指がディスプレイ１３へ多点で接触した時の接触状態を検出する。このとき、この入力デバイスは、画面に対する指の操作をビットマップ画像として検出する。指の接触ポイントにはバーチャルサイン１４が表示される。バーチャルサイン１４は、指が液晶ディスプレイ１３に最初に接触した位置を、その後の指の移動の基準ポイントとして指が画面から離れるまで示し続ける。

かかる構成により、携帯電話１０は、通常の通話および通信機能を有するとともに、タッチパネルのような情報の入力機能および入力情報に応じて携帯電話１０を操作するユーザインターフェース機能を有する。

次に、図２の機能ブロック図を参照しながら、携帯電話１０の機能構成について説明する。携帯電話１０は、撮像部１００、画像取得部１０５、画像処理部１１０、判定部１１５、演算部１２０、情報生成部１２５、表示部１３０、音声処理部１３５、選択部１４０、通話部１４５および通信部１５０にて示した機能を有する。

撮像部１００は、液晶ディスプレイ１３に内蔵された撮像素子を用いて、液晶ディスプレイ１３に接触した指の画像を撮影する。また、撮像部１００は、携帯電話１０に内蔵された図示しないカメラを用いてユーザが所望する画像を撮影する。なお、指は、液晶ディスプレイ１３を用いて所望の情報を機器に入力するための物体の一例であり、たとえば、携帯電話１０が検知できる位置まで非接触に接近させるまたは接触させることによりユーザが欲する操作を実現するための情報を入力する道具の一つである。

画像取得部１０５は、撮像部により撮影された画像（指の画像）をフレーム毎に取得する。画像処理部１１０は、取得された指の画像に対して２値化、ノイズ除去、ラベリング等の画像処理を施す。これにより、表示画面に対して指が接近している領域を入力部分として検出する。たとえば、画像処理部１１０は、画像処理後の画像のうち、輝度が高い部分を入力部分として検出する。輝度は、指が画面に接触している位置が陰がなく最も明るいことから、輝度値により指と画面との接触面積を導くことができる。画像処理部１１０は、検出した入力部分の情報、すなわち、入力部分の所定の特徴量である点情報をフレーム毎に生成する。

判定部１１５は、画像処理部１１０により画像処理された情報に基づき、指が液晶ディスプレイ１３に接触したか否かを判定する。特に、判定部１１５は、図１５に示したように、得られた画像の輝度に基づき、輝度が予め定められた閾値Ｓより大きいとき、指がディスプレイ１３の画面に接触していると判定し、輝度が予め定められた閾値Ｓより小さいが閾値Ｔより大きいとき、指が画面に対して所定距離以内の位置にて非接触に近接していると判定し、輝度が閾値Ｂより小さいとき、指はディスプレイ１３から離れていると判定する。

演算部１２０は、画像処理部１１０により画像処理された情報に基づきクラスタリングした後、クラスター毎の重心位置を求め、この重心位置を指の重心位置とする。

情報生成部１２５は、ユーザの指の移動に応じた指の重心位置の変位に基づき、ユーザの指からの入力情報として携帯電話１０を操作するための情報を生成する。具体的には、情報生成部１２５は、最初に押された指の重心位置と、押され続けている間の重心位置との差分から２次元の変位を計算し、その変位を指からの入力情報とする。地図ビューアでは、たとえば、この変位に基づき指が画面を押しながら移動し続けている間、地図をスクロールし続け、指を離したときスクロールを停止する。

表示部１３０は、判定部１１５により指がディスプレイ１３の表示画面に接触したと最初に判定された位置にバーチャルサイン１４を表示する。音声処理部１３５は、必要に応じて音声処理後、その音声を図示しないスピーカやマイクロホンから出力する。

選択部１４０は、判定部１１５により指がディスプレイ１３の表示画面に検知できる位置まで非接触に接近されたと判定された後、画像取得部１０５が取得した指の画像から指が表示画面に接触したと判定された場合、その接触面積に基づき接触位置を含む表示画面の任意の範囲を特定し、特定された範囲内に含まれる画像を選択する。

通話部１４５は、所望の相手と通話するための通信を確立しまたは切断する。通信部１５０は、ネットワークを介して他の機器との間で情報を送受信する。かかる構成により本実施形態にかかる携帯電話１０は、指の画像を用いて指先の微妙な動きに対する２次元の浮動小数点値の入力が可能なタッチパネル型の入力デバイスとして機能することができる。

なお、以上に説明した携帯電話１０の主な機能は、実際には、ＩＣチップ１２に内蔵されたＣＰＵが、これらの機能を実現する処理手順を記述したプログラムを記憶したメモリから該当プログラムを読み出し、そのプログラムを解釈して実行することにより達成される。

次に、携帯電話１０をタッチパネル型入力デバイスとして機能させた場合の動作について説明する。最初に、図３に示したフローチャートを参照しながら、指と画面とが一点で連続的に接触している場合、携帯電話１０の画面上にバーチャルサイン１４を表示しながら地図をスクロールする処理について説明する。

（単一のバーチャルサインを表示しながら地図を操作）
処理がステップ３００からスタートすると、表示部１３０はステップ３０５にて表ディスプレイ１３の画面に地図を表示させる。ステップ３１０に進んで、判定部１１５は指が画面をタッチしたか否かを判定する。タッチしていないと判定された場合、ステップ３０５に戻り、指が画面に接触したと判定されるまでステップ３０５，３１０を繰り返す。

ステップ３１０で指が画面に接触したと判定されると、ステップ３１５にて、撮像部１００は、ディスプレイ１３に埋め込まれた撮像素子を用いて指の画像を撮影し、画像取得部１０５は、撮影された指の画像を取得し、演算部１２０は、取得された指の画像に基づき指の重心位置を演算し、メモリに記憶する。つぎに、ステップ３１５に進んで、表示部１３０は、演算された指の重心位置にバーチャルサイン１４を表示する。図４（ａ）には、最初に指を画面上に接触させたときに初めてバーチャルサイン１４が位置Ａ１に現れた状態が示されている。バーチャルサイン１４は、指が接触する際の基準となるポイントとして指が連続的に接触している間、画面の位置Ａ１に表示され続ける。

判定部１１５により指がディスプレイ１３の画面に連続的に接触していると判定されている間、ステップ３２５〜３３５の処理が、たとえば、１／６０秒毎に繰り返される。すなわち、ステップ３２５にて、情報生成部１２５は、最初に押された指の重心位置Ａ１と画面に連続的に接触しながら移動した指の重心位置Ａ２の差分（距離）Ｄｓから、指の移動に応じた指の重心位置の変位（バーチャルサインとしての２次元の変位）を計算する。求められた変位は指からの入力情報として用いられる。

表示部１３０は、ステップ３３０にて、計算された変位に基づき指が連続的に接触している間、地図をスクロールし続ける。図４（ａ）（ｂ）に示した地図ビューアは、指を位置Ａ１から位置Ａ２まで距離Ｄｓだけ接触移動させた結果、地図が矢印と反対方向に所定量だけスクロールされたことを示す。

つぎに、ステップ３３５に進んで、判定部１１５により指が画面に触れていると判定された場合ステップ３２５に戻り、指が画面から離れたと判定された場合ステップ３４０にて先程表示されたバーチャルサイン１４を画面から消去し、ステップ３９５にて本処理を終了する。

以上に説明した処理によれば、携帯電話１０を保持する指をほとんど画面上から動かさずに、片手で画面をスクロールすることができる。また、バーチャルサインは、ソフトウエアにより実現されているため、ハードウエアにより実現されていた従来型の固定位置ではなく、ユーザの好きな位置に好きなタイミングで表示したり、表示を消したりすることができる。このため、ユーザが画面上で注視したい対象を指やバーチャルサインで隠蔽することを回避することができる。また、指のわずかな動きに連動して簡単に画面をスクロールすることができるので、ユーザは、状況に応じていろいろな持ち方で携帯電話１０を操作することができる。

（２つのバーチャルサインを表示しながら地図を操作）
次に、図５に示したフローチャートを参照しながら、指と画面とが複数点で連続的に接触している場合、携帯電話１０の画面上に複数のバーチャルサイン１４を表示しながら地図をズームイン／ズームアウトする処理について説明する。

図５の処理がステップ５００からスタートすると、表示部１３０はステップ５０５にてディスプレイ１３の画面に地図を表示させる。ステップ５１０にて判定部１１５は、２本の指が画面上の２点をタッチしたか否かを判定する。タッチしていないと判定された場合、ステップ５０５に戻り、２本の指が画面に接触したと判定されるまでステップ５０５，５１０を繰り返す。

ステップ５１０で、２本の指が画面に接触したと判定されると、ステップ５１５にて、撮像部１００は、ディスプレイ１３に埋め込まれた撮像素子を用いて２本の指の画像をそれぞれ撮影し、画像取得部１０５は、撮影された２本の指に対する２枚の指の画像を取得し、演算部１２０は、その２枚の指の画像に基づきそれぞれの指の重心位置を演算し、メモリに記憶する。つぎに、ステップ５２０に進んで、表示部１３０は、演算された２本の指の重心位置にそれぞれバーチャルサイン１４ａ，１４ｂを表示する。図６（ａ）は、最初に２本の指を画面上に接触させたとき、バーチャルサイン１４ａ，１４ｂが位置Ｂ１，Ｃ１に現れた状態を示す。

判定部１１５により指が画面に連続的に接触していると判定されている間、ステップ５２５〜５４０、５５０，５５５に含まれる処理が繰り返される。すなわち、ステップ５２５にて、情報生成部１２５は、画面に連続的に接触しながら移動した一方の指の重心位置Ｂ２と最初の重心位置Ｂ１との差分Ｄｓ１および他方の指の重心位置Ｃ１，Ｃ２の差分Ｄｓ２から、指の移動に応じた指の重心位置Ｂ，Ｃの変位をそれぞれ計算する。求められた変位は２本の指を用いた場合の入力情報として用いられる。

表示部１３０は、ステップ５３０にて、計算された変位に基づき最初に押された２本の指の重心位置Ｂ１，Ｃ１が２本の指を遠ざける方にずらされたか否かを判定する。図６（ｂ）では、指を傾ける（指を移動させてもよい）ことにより、２本の指の重心位置が外側に向けてずらされているので、ステップ５３５にて、表示部１３０は、計算された変位に応じた所定量だけ地図をズームインする。

つぎに、ステップ５４０に進んで、判定部１１５は、指が画面から離れたか否かを判定する。離れていないと判定された場合、ステップ５２５に戻り、２本の指の重心位置の差分を再度求め、ステップ５３０にて、求められた差分に基づき２本の指が遠ざける方向にずらされていると判定された場合、ステップ５３５にて地図を引き続きズームインし続ける。

一方、ステップ５３０にて、求められた差分から２本の指が遠ざける方向にずらされていないと判定され、ステップ５５０にて、求められた差分から２本の指が近づく方向にずらされていると判定された場合、ステップ５５５に進んで、表示部１３０は、計算された変位に応じた所定量だけ地図をズームアウトする。

以上の動作を２本の指が離されるまで行い、ステップ５４０にて指が離されたと判定された場合、ステップ５４５にてバーチャルサイン１４ａ，１４ｂを画面から消去し、ステップ５９５にて本処理を終了する。

以上に説明したズーム処理によれば、２つのバーチャルサイン１４ａ，１４ｂを用いることにより、異なるインタラクションを実現することができる。つまり、２つのバーチャルサイン１４ａ，１４ｂを指標とした２本の指の重心の位置の変位の相対関係により携帯電話１０に異なる動作を実行させるようなユーザインターフェースを確立することができる。

たとえば、上記処理フローでは、２本の指の重心位置を離す方向にずらすことにより、地図をズームインし、近づける方向にずらすことにより地図をズームアウトする操作を実現した。これは、ちょうど、地図を直接引っ張って伸ばす、縮めるような動作に相当する。しかし、たとえば、２本の指の重心位置を並行して右にずらした場合、２本の指の重心位置の相互作用および個々の指の重心位置の変位により、表示する地図を現在の右隣の様子を示した地図に切り替えた後、地図を左にスクロールさせたりすることができる。

なお、以上に説明したズーム処理によれば、指を２本画面に接触させながら地図をズームさせたが、これに限られず、画面の範囲内の複数接触が可能である。

また、以上の説明では、バーチャルサイン１４は任意の指の接触位置に出現させた。しかし、バーチャルサイン１４は画面上の固定位置に表示することも可能である。これにより、固定位置に表示された複数のバーチャルサイン１４に別の機能を持たせ、指の接触位置によって、携帯電話１０の別機能を実行することができる。たとえば、指が一のバーチャルサイン１４に触れた場合には地図のズームが実行され、他のバーチャルサイン１４に触れた場合には地図のスクロールが実行される例が挙げられる。

（第２実施形態）
つぎに、第２実施形態に係る表示装置（入力装置）ついて説明する。第２実施形態にかかる装置では、バーチャルサインが画面上の固定位置に表示される点で、指が最初に触れた位置にバーチャルサインを表示する第１実施形態に係る装置と相異する。よって、この相異点を中心に本実施形態を説明する。

（単一のダイヤル式固定バーチャルサインを表示しながら地図を操作）
次に、図７に示したフローチャートを参照しながら、バーチャルサインを指で操作することにより地図をズームする処理について説明する。

なお、ダイヤル式固定バーチャルサイン１５は、いままでハードウエアで実現されていたダイヤル式入力デバイスをソフトウエアで画面上に表示することにより、擬似的な（ダイヤル式）入力デバイスを実現したものである。より具体的には、ダイヤル式固定バーチャルサイン１５は、図８（ａ）（ｂ）に示しかつ後述するように、ディスプレイ１３の画面上に映し出され、指の移動に応じて一軸を中心として仮想的に回転する。ダイヤル式固定バーチャルサイン１５は、指がダイヤル式固定バーチャルサイン１５に接触する状態に応じて携帯電話１０を操作するための入力情報が生成される疑似入力装置として機能する。

さて、処理が図７のステップ７００からスタートすると、表示部１３０はステップ７０５にてディスプレイ１３の画面に地図を表示させ、ステップ７１０に進む。判定部１１５は、指が画面に触れているか否かを判定し、指が画面に触れるまでステップ７１０の処理を繰り返す。

指が画面に触れたと判定された場合、ステップ７１５に進み、判定部１１５は、指が画面上のダイヤル式固定バーチャルサイン１５に接触したか否かを判定する。ダイヤル式固定バーチャルサイン１５に接触していない場合、ステップ７１０に戻り、指がダイヤル式固定バーチャルサイン１５に触れたと判定されるまで処理を繰り返す。

ステップ７１５にて指がダイヤル式固定バーチャルサイン１５に接触したと判定されると、ステップ７２０にて、撮像部１００は、ディスプレイ１３に埋め込まれた撮像素子を用いてダイヤル式固定バーチャルサイン１５に接触している指の画像を撮影し、画像取得部１０５はその画像を取得し、演算部１２０は、取得された指の画像に基づき指の重心位置を演算し、その値を初期の重心位置としてメモリに記憶する。図８（ａ）では、重心位置Ａ１がメモリに記憶される。

つぎに、ステップ７２５に進んで、判定部１１５は、現時点で指が画面に触れているか否かを判定する。触れていない場合、ステップ７１０に戻り、触れている場合、判定部１１５は、さらに現時点でダイヤル式固定バーチャルサイン１５に指が触れているか否かを判定する。触れていない場合にはステップ７１０に戻り処理を繰り返す。

現時点でダイヤル式固定バーチャルサイン１５に指が触れていると判定された場合、ステップ７３５に進み、情報生成部１２５は、最初に押された指の重心位置Ａ１と、指がダイヤル式固定バーチャルサイン１５上をなぞることにより移動した指の重心位置Ａ２の差分Ｄｓから、指の移動に応じた指の重心位置の変位（ダイヤル式固定バーチャルサインとしての２次元の変位）を計算する。求められた変位は指からの入力情報として画面の操作に用いられる。

判定部１１５は、ステップ７４０にて、計算された変位が予め定められた閾値を超えているかを判定し、超えていない場合、ステップ７２５の処理に戻る。一方、計算された変位が予め定められた閾値を超えている場合、ステップ７４５に進んで、演算部１２０は、計算された重心位置の変位に基づき、ダイヤル式固定バーチャルサイン１５としての変位（回転量）を演算する。回転量は、指で擬似的入力装置を一方方向になぞることにより数値を増減させるときの変化量を示す。

つぎに、ステップ７５０にて、求められたダイヤル式固定バーチャルサイン１５の回転量に応じて地図をズームイン／ズームアウトし、ステップ７２５の処理に戻る。図８（ａ）（ｂ）に示した地図ビューアは、指を位置Ａ１から位置Ａ２まで距離Ｄｓだけ接触移動させた結果、地図がズームインされたことを示す。

以上に説明したズーム処理によれば、まず、指がダイヤル式固定バーチャルサイン１５に触れているか否かの判定（当たり判定）を行い、つぎに、ユーザの指がダイヤル式固定バーチャルサイン１５をなぞる動作を検出して、その検出結果を画面の操作の判定に反映する。地図ビューアでは、ダイヤル式固定バーチャルサイン１５の擬似的回転量と擬似的回転方向（なぞる量となぞる向き）によって地図をズームイン／ズームアウトさせることができる。

以上、ダイヤル式固定バーチャルサイン１５を用いたズーム処理について、この効果を従来との差を明確にしながら述べる。従来のタッチパネルでは、画面上に配置されたボタンやスクロールバーを押す、ずらすなどの操作を行うものが主流であった。物理的なボタンにより数値を上下させるようなインターフェイスでは、タッチパネルを複数回押す必要があり、スクロールバーではその値の範囲が限定されてしまう。また、物理的な入力デバイスでは、物理的な大きさ（面積および厚み）やデバイスのコストという制約が発生し、取り付ける位置や大きさ、個数はおのずと限定されてしまう。

しかしながら、本実施形態では、ソフトウエアにて画面上に擬似的入力デバイスを表示する。これにより、画面内に収まる大きさ、位置であれば擬似的入力デバイスをどこにでもいくつでも好きなタイミングで配置することができる。

また、本実施形態に係る携帯電話１０では、ディスプレイ１３の画面に触れている指をディスプレイ１３に内蔵された撮像素子が撮影し、撮影された指の画像から指の大きさ（面積）を検出することができる。これにより、擬似的入力デバイスへの触り方をより忠実に的確に捉えた情報を入力することができる。たとえば、指先で擬似的入力デバイスに触れて動かすと小さい値の変位（数値の増減）が入力され、指の腹で擬似的入力デバイスに大きく触れると大きな値の変位が入力される。

（２つのダイヤル式固定バーチャルサインを表示しながら地図を操作）
次に、図９に示したフローチャートを参照しながら、画面上の２つのダイヤル式固定バーチャルサイン１５を指で操作することにより地図をズームまたはチルトする処理について説明する。

処理が図９のステップ９００からスタートすると、ステップ９０５にてディスプレイ１３に地図が表示され、ステップ９１０にて指が画面に触れているか否かを判定し、指が画面に触れるまでこの処理が繰り返される。

指が画面に触れたと判定された場合、ステップ９１５に進み、判定部１１５は、指が図１０（ａ）の画面上の２つのダイヤル式固定バーチャルサインＰ１５ａまたはダイヤル式固定バーチャルサインＱ１５ｂのいずれかに接触したか否かを判定し、いずれのダイヤル式固定バーチャルサイン１５にも接触していない場合、ステップ９１０に戻り、指がいずれかのダイヤル式固定バーチャルサイン１５に触れたと判定されるまで処理を繰り返す。

ステップ９１５にて指がいずれかのダイヤル式固定バーチャルサイン１５に接触したと判定されると、ステップ９２０にて、撮像部１００は、接触している指の画像を撮影し、画像取得部１０５はその画像を取得し、演算部１２０は、取得された指の画像に基づき指の重心位置を演算し、その値を初期の重心位置としてメモリに記憶する。

図１０（ａ）では、指はダイヤル式固定バーチャルサインＰ１５ａに触れている。よって、図１０（ａ）では重心位置Ａ１が所定アドレスのメモリに記憶される。

つぎに、ステップ９２５に進んで、判定部１１５は、現時点で指が画面に触れているか否かを判定する。触れていない場合、ステップ９１０に戻り、触れている場合、判定部１１５は、さらに現時点でダイヤル式固定バーチャルサインＰ１５ａに指が触れているか否かを判定する。触れていない場合にはステップ９５５に進む。

現時点でダイヤル式固定バーチャルサインＰ１５ａに指が触れていると判定された場合、ステップ９３５に進み、情報生成部１２５は、最初に押された指の重心位置Ａ１と、指がダイヤル式固定バーチャルサインＰ１５ａ上をなぞることにより移動した指の重心位置Ａ２の差分Ｄｓから、指の移動に応じた指の重心位置の変位を計算する。求められた変位は指からの入力情報として画面の操作に用いられる。

判定部１１５は、ステップ９４０にて、計算された変位が予め定められた閾値１を超えているかを判定し、超えていない場合、ステップ９２５の処理に戻る。この場合、画面の表示は変わらない。

一方、計算された変位が予め定められた閾値１を超えている場合、ステップ９４５に進んで、演算部１２０は、計算された重心位置の変位に基づき、ダイヤル式固定バーチャルサインＰ１５ａの回転量（すなわち、ダイヤル式固定バーチャルサインＰ１５ａとしての変位）を演算する。

つぎに、ステップ９５０にて、求められたダイヤル式固定バーチャルサイン１５の回転量に応じて地図をチルトし、ステップ９２５の処理に戻る。図１０（ａ）（ｂ）に示した地図ビューアは、指を位置Ａ１から位置Ａ２まで距離Ｄｓだけ接触移動させた結果、地図が背面方向にチルトされたことを示す。

つぎに、指がダイヤル式固定バーチャルサインＱ１５ｂに接触した場合について、ステップ９１５から説明する。ステップ９１５にて、指がダイヤル式固定バーチャルサインＱ１５ｂに接触したと判定されると、ステップ９２０にて、演算部１２０は、接触している指の画像に基づき指の重心位置Ｂ１を演算し、その値をメモリの所定アドレスに記憶する。

つぎに、ステップ９２５にて指が画面に触れていると判定され、ステップ９３０に続くステップ９５５にて指がダイヤル式固定バーチャルサインＱ１５ｂに触れていると判定されると、ステップ９６０に進み、情報生成部１２５は、指の重心位置の差分（Ｂ１−Ｂ２）から、指の移動に応じた指の重心位置の変位を計算する。判定部１１５は、ステップ９６５にて、計算された変位が予め定められた閾値２を超えているかを判定し、超えていない場合、ステップ９２５の処理に戻る。この場合、画面の表示は変わらない。

一方、計算された変位が予め定められた閾値２を超えている場合、ステップ９７０に進んで、演算部１２０は、計算された重心位置の変位に基づき、ダイヤル式固定バーチャルサインＱ１５ｂの回転量（すなわち、ダイヤル式固定バーチャルサインＱ１５ｂとしての変位）を演算する。

つぎに、表示部１３０は、ステップ９７５にて、求められたダイヤル式固定バーチャルサインＱ１５ｂの変位に応じて地図をズームし、ステップ９２５の処理に戻る。

以上に説明した処理によれば、画面内に複数の固定バーチャルサイン１５を表示し、ソフトウエアにて各固定バーチャルサイン１５に別々の機能を割り振ることにより、様々なインタラクションを設計することができる。

（２つのダイヤル式固定バーチャルサインを利用して同時入力）
画面内に複数の固定バーチャルサイン１５を表示する他の方法としては、たとえば、複数の固定バーチャルサイン１５を図１２（ａ）（ｂ）に示したように同じ向きに隣接して配置し、両方の固定バーチャルサイン１５に対して同時に入力操作を行う場合が挙げられる。

この処理は、図１１に処理フローを示したように、ステップ１１０５〜１１２５にて図９のステップ９０５〜９２５と同一処理を実行し、ステップ１１３０にて固定バーチャルサイン１５Ｐ、１５Ｑの少なくともいずれかに接触しているか否かを判定し、接触している場合にはステップ１１３５に進んで接触している固定バーチャルサイン１５の変位（回転量）をそれぞれ演算する。ステップ１１４０にて接触している各固定バーチャルサイン１５の変位が所定の閾値を超えていると判定された場合には、ステップ１１４５にて各固定バーチャルサイン１５の変位の合計が算出され、ステップ１１５０にて変位の合計値に基づき地図がズームされる。図１２（ｂ）には、２本の指の移動の合計値に基づき地図がズームインしている様子が概念的に示されている。

また、画面内に複数の固定バーチャルサイン１５を表示する他の方法としては、たとえば、９０度傾けた向きに図示しない複数の固定バーチャルサイン１５を隣接して表示する方法が挙げられる。このように、縦に回転させる指の動作、横に回転させる指の動作を促す位置に２つの固定バーチャルサイン１５を配置することにより、各固定バーチャルサイン１５の表示位置が近くても、ユーザの誤操作を防止することができる。

（単一のダイヤル式固定バーチャルサインをなぞる位置に応じた入力）
なお、画面内に表示された単一の固定バーチャルサイン１５を用いた他の入力方法としては、図１４（ａ）（ｂ）に示したように、固定バーチャルサイン１５を指でなぞる位置に応じて変化量（回転量）を変えることが可能な固定バーチャルサイン１５を実現することもできる。

この処理は、図１３に処理フローを示したように、ステップ１３００〜１３４０にて図７のステップ７００〜７４０と同一処理を実行し、ステップ１３４５にて固定バーチャルサイン１５をなぞった場所に応じて変位の重み付けを変えながら、固定バーチャルサイン１５の回転量（変位）を求め、１３５０にて固定バーチャルサイン１５の回転量に基づき地図をズームする。図１４（ｂ）には、指でなぞる位置によりズームの程度が変わる様子が矢印にて示されている。すなわち、指が固定バーチャルサイン１５の左端部、中央部、右端部のいずれかをなぞると、それに応じて重み付された変化量（回転量）だけ地図がズームする。図１４（ｂ）では矢印に示したように、固定バーチャルサイン１５の右端をなぞるとズーム量が大きく、左側に行けば行く程ズーム量が小さくなる。

このように、本実施形態にかかるダイヤル式固定バーチャルサイン１５を用いた入力処理では、擬似的入力デバイスが表された画面上のいずれの位置に指をスライドさせるかによって、細かい値の調整から大きな変更まで正確に入力することができる。

なお、第２実施形態のダイヤル式固定バーチャルサイン１５を使用した画面入力では、初期の重心位置を絶対位置として指を動かした後の重心位置との変位（絶対的変化）を求め、求められた変位に基づき携帯電話１０の表示の操作量を決定した。しかしながら、前回以前の画像の重心位置を初期の重心位置とし、前回以前の画像の重心位置から今回の画像の重心位置までの変位（相対的変化）を求め、求められた変位に基づき携帯電話１０の表示の操作量を決定してもよい。

（第３実施形態）
つぎに、第３実施形態に係る表示装置（入力装置）ついて説明する。第３実施形態にかかる装置では、指を画面上のバーチャルサインに検知できる位置まで非接触に接近させることによりユーザが欲する操作を実現する点で、指を画面上のバーチャルサインに接触させることによりユーザが欲する操作を実現する第１、２実施形態に係る表示装置と相異する。よって、この相異点を中心に本実施形態を説明する。

前述したように、画面に接近してきた指の画像には、２値化、ノイズ除去、ラベリング等の画像処理が施され、輝度が高い部分の画像が入力部分として検出される。図１５の例では、指が接触していることを検出するための閾値Ｓと、指は、画面に接触していないけれども所定距離以内に存在することを検出するための閾値Ｔが図示されている。指が接触していないが所定の距離以内に存在する状態は、画面に情報を入力するための指を検知できる位置まで指を画面に非接触に接近させた状態ともいう。

右側の指の動きに対して検出された輝度値のピークは、閾値Ｓより大きい。この場合、判定部１１５は、指が画面に接触していると判定する。一方、左側の指の動きに対して検出された輝度値のピークは、閾値Ｔより大きいが閾値Ｓより小さい。この場合、判定部１１５は、指は接触していないが指を検知できる位置まで画面に非接触に接近していると判定する。なお、輝度値のピークが閾値Ｔより小さい場合には、指の存在は無視される。

表示部１３０は、たとえば図１６（ａ）のファイルを分散させて表示した通常の状態から、指は接触していないが指を検知できる位置まで非接触に接近していると判定された場合、図１６（ｂ）のように、指に最も近いファイルＦに近い位置に存在するファイルほどファイルＦからの通常の距離より遠ざけて表示し、ファイルＦに遠い位置に存在するファイルほどファイルＦからの通常の距離より近づけて表示することもできる。これにより、２次元でありながらファイルＦを中心として分散されたファイルを立体的に表示することができる。

判定部１１５により指を検知できる位置まで指が非接触に接近したと判定された後、画像取得部１０５により取得された別フレームの指の画像から、指が画面に接触したと判定された場合、選択部１４０は、その接触面積（輝度）に基づき画面の接触位置を含む任意の範囲を特定し、特定された範囲内のファイルを選択する。図１７では、ファイルＦを含む範囲Ｇに含まれるファイル群が選択される。選択されたファイル群については、所定時間経過後（たとえば、２秒）にその選択が確定する。指が画面をもう一度タッチすると、画面は初期状態（図１６（ａ））に戻る。

以上に説明したように、第３実施形態では、指を非接触に画面から所定距離以内まで近づけることにより、接触しない状態で携帯電話１０を操作することができる。なお、指を接触させた場合に実現される携帯電話の機能と、指を非接触に所定距離まで近づけた場合に実現される機能とを別々に設けたインターフェイスを実現することも可能である。

なお、表示部１３０は、指の遠近によってファイルの表示状態を変える代わりにファイルの色を変化させる等種々の表示形態をとることができる。

また、指を非接触に画面から所定距離内まで近づけ、接触しない状態で第１，２実施形態に記載したように携帯電話１０を操作することもできる。

以上、各実施形態にかかるタッチパネル式入力装置を搭載した携帯電話１０によれば、携帯電話１０を手で保持しながら、その手の指を表示画面上にて広範囲に移動させることなく、容易な入力操作を片手で実現することができる。

なお、情報生成部１２５は、指の画面の輝度（または、指と画面との接触面積の大きさ）に基づき、表示画面のスクロールの量、ズームの量またはチルトの量を変化させるように携帯電話１０を操作するための情報を生成してもよい。これによれば、たとえば、指を画面に強く押しつけるほど画面の変化量を大きくする制御が可能となる。

また、指の重心位置の変位を示す情報には、指が移動した軌跡上の任意の２点間の差分（絶対的差分または相対的差分）、指が移動する方向、指が移動する速度、指の加速度等が含まれていてもよい。これによれば、たとえば、指を早く移動させるほど画面の変化量を大きくする制御や、急激に早く移動させるほど画面の変化量を大きくする制御が可能となる。

なお、上記各実施形態にて説明したディスプレイ１３を搭載した携帯電話１０は、物体の移動に応じた物体の重心位置の変位に基づき、機器を操作するための情報を物体からの入力情報として生成する入力装置、およびそのようにして生成された入力情報に基づき機器の画面表示を操作する表示装置として機能する機器の一例である。

上記実施形態において、各部の動作はお互いに関連しており、互いの関連を考慮しながら、一連の動作として置き換えることができ、これにより、表示画面を利用した入力装置の実施形態を、表示画面を利用した入力方法の実施形態およびその入力装置が有する機能をコンピュータに実現させるためのプログラムの実施形態とすることができる。また、表示画面を利用して入力が可能な表示装置の実施形態を、表示画面を利用して入力が可能な表示装置を用いた表示方法の実施形態およびその表示装置が有する機能をコンピュータに実現させるためのプログラムの実施形態とすることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

たとえば、各実施形態では、表示装置（入力装置）を搭載した機器として携帯電話を例に挙げて説明したが、これに限られず、たとえば、ＰＤＡ等の携帯情報端末やＰＳＰ等のゲーム機のように、モバイル型機器に本発明の表示装置（入力装置）を用いてもよい。

第１〜第３実施形態にかかる携帯電話の概観図である。 各実施形態にかかる携帯電話の機能ブロックである。 第1実施形態にかかる画面操作処理を示したフローチャートである。 図４（ａ）（ｂ）は、図３のフローチャートが実行される際の画面の変化を説明するための図である。 第1実施形態にかかる他の画面操作処理を示したフローチャートである。 図６（ａ）（ｂ）は、図５のフローチャートが実行される際の画面の変化を説明するための図である。 第２実施形態にかかる画面操作処理を示したフローチャートである。 図８（ａ）（ｂ）は、図７のフローチャートが実行される際の画面の変化を説明するための図である。 第２実施形態にかかる他の画面操作処理を示したフローチャートである。 図１０（ａ）（ｂ）は、図９のフローチャートが実行される際の画面の変化を説明するための図である。 第２実施形態にかかる他の画面操作処理を示したフローチャートである。 図１２（ａ）（ｂ）は、図１１のフローチャートが実行される際の画面の変化を説明するための図である。 第２実施形態にかかる他の画面操作処理を示したフローチャートである。 図１４（ａ）（ｂ）は、図１３のフローチャートが実行される際の画面の変化を説明するための図である。 第３実施形態にかかる画面操作処理において非接触を検知する処理を説明するためのである。 図１６（ａ）（ｂ）は、第３実施形態にかかる画面操作処理時の画面の変化を説明するための図である。 第３実施形態にかかる画面操作処理時の画面の変化を説明するための図である。

符号の説明

１０ 携帯電話
１２ ＩＣチップ
１３ ディスプレイ
１４、１４ａ、１４ｂ バーチャルサイン
１５ 固定バーチャルサイン
１５ａ 固定バーチャルサインＰ
１５ｂ 固定バーチャルサインＱ
１００ 撮像部
１０５ 画像取得部
１１０ 画像処理部
１１５ 判定部
１２０ 演算部
１２５ 情報生成部
１３０ 表示部
１３５ 音声処理部
１４０ 選択部
１４５ 通話部
１５０ 通信部

Claims (27)

1. 撮像素子および画像素子を含む素子から形成された表示装置の画面に対して、情報を入力するための物体を検知できる位置まで前記物体を非接触に接近させるまたは接触させることにより前記物体の画像を取得する画像取得部と、
   前記画像取得部により取得された前記物体の画像から前記物体の重心位置を算出する演算部と、
   前記物体の移動に応じた前記物体の重心位置の変位に基づき、機器を操作するための情報を前記物体からの入力情報として生成する情報生成部とを備えた入力装置。
2. 前記画像取得部により取得された前記物体の画像に基づき前記物体を検知できる位置まで前記物体が前記表示装置に非接触に接近したかまたは接触したか否かを判定する判定部をさらに備えた請求項１に記載された入力装置。
3. 前記判定部により前記物体が検知できる位置まで連続的に非接触に接近しているまたは連続的に接触していると判定されている間、前記演算部は、前記物体の重心位置の演算を繰り返し、
   前記情報生成部は、前記繰り返し演算された前記物体の重心位置の変位に基づき、前記機器を操作するための情報を生成し続ける請求項１に記載された入力装置。
4. 前記判定部により前記物体が前記表示装置から所定距離以上離れたと判定された場合、前記演算部は、前記物体の重心位置の演算を中止し、
   前記情報生成部は、前記機器を操作するための情報の生成を中止する請求項３に記載された入力装置。
5. 前記判定部により前記物体が複数点で検知できる位置まで前記表示装置に非接触に接近しているまたは連続的に接触していると判定された場合、前記情報生成部は、前記複数点での前記物体の重心位置の相対関係に基づき、前記機器を操作するための情報を生成する請求項２に記載された入力装置。
6. 前記判定部により前記物体が複数点で検知できる位置まで前記表示装置に非接触に接近しているまたは連続的に接触していると判定された場合、前記情報生成部は、前記複数点の各点に対する前記物体の重心位置の変位に基づき前記機器の異なる機能を実行するための情報を生成する請求項２に記載された入力装置。
7. 前記判定部により前記物体が複数点で検知できる位置まで前記表示装置に非接触に接近しているまたは連続的に接触していると判定された場合、前記情報生成部は、前記複数点の各点に対する前記物体の重心位置の変位の合計値に基づき前記機器を操作するための情報を生成する請求項２に記載された入力装置。
8. 前記判定部は、前記取得された物体の画像の輝度に基づき前記物体が検知できる位置まで前記表示装置に非接触に接近したかまたは接触したか否かを判定する請求項２に記載された入力装置。
9. 前記判定部により前記物体が検知できる位置まで前記表示装置に非接触に接近したと判定された後、前記画像取得部により取得された前記物体の画像から前記物体が前記表示装置に接触したと判定された場合、接触した物体の画像の輝度に基づき前記表示装置の接触位置を含む任意の範囲を特定し、特定された範囲内の画像を選択する選択部をさらに備えた請求項８に記載された入力装置。
10. 前記機器を操作するための情報は、前記表示装置に表示された画像のスクロール、ズームまたはチルトのいずれかの制御に用いられる請求項１に記載された入力装置。
11. 前記情報生成部は、前記物体の画像の輝度に基づき前記表示装置に表示された画像のスクロールの量、ズームの量またはチルトの量を変化させるように前記機器を操作するための情報を生成する請求項１０に記載された入力装置。
12. 前記物体の重心位置の変位を示す情報には、前記物体が移動した軌跡上の任意の２点間の差分、前記物体が移動する方向、前記物体が移動する速度、前記物体の加速度の少なくともいずれかが含まれる請求項１に記載された入力装置。
13. 前記機器は、携帯型機器である請求項１に記載された入力装置。
14. 前記物体は、前記携帯型機器を保持するユーザの指である請求項１３に記載された入力装置。
15. 撮像素子および画像素子を含む素子から形成された表示装置の画面に対して、情報を入力するための物体を検知できる位置まで前記物体を非接触に接近させるまたは接触させることにより前記物体の画像を取得する画像取得部と、
    前記画像取得部により取得された前記物体の画像から前記物体の重心位置を算出する演算部と、
    前記物体の移動に応じた前記物体の重心位置の変位に基づき、機器を操作するための情報を生成する情報生成部と、
    前記画像取得部により取得された前記物体の画像の輝度に基づき前記物体を検知できる位置まで前記物体が前記表示装置に非接触に接近したかまたは接触したか否かを判定する判定部と、
    前記判定部により前記物体が前記位置まで非接触に接近したかまたは接触したと最初に判定された位置に前記物体を移動させる際の基準となるポイントを示したバーチャルサインを表示する表示部とを備えた表示装置。
16. 前記判定部により前記物体が前記表示装置から所定距離以上離れたと判定された場合、前記表示部は、前記バーチャルサインの表示を中止する請求項１５に記載された表示装置。
17. 前記判定部は、前記画像取得部により取得された前記物体の画像の輝度に基づき前記物体が前記表示装置に検知できる位置まで非接触に接近したかまたは接触したか否かを判定し、
    前記表示部は、前記物体の接近または接触位置に近い画像ほど前記物体から遠ざけて表示する請求項１５に記載された入力装置。
18. 撮像素子および画像素子を含む素子から形成された表示装置の画面上の固定位置に、情報を入力するための物体が接近または接触する際の基準となるポイントを示した単数または複数の固定バーチャルサインを表示する表示部と、
    前記単数又は複数の固定バーチャルサインに前記物体を検知できる位置まで前記物体を非接触に接近させるまたは接触させることにより前記物体の画像を取得する画像取得部と、
    前記画像取得部により取得された前記物体の画像から前記物体の重心位置を算出する演算部と、
    前記物体の動きに応じた前記物体の重心位置の変位に基づき、前記機器を操作するための情報を生成する情報生成部とを備えた表示装置。
19. 前記固定バーチャルサインは、前記表示装置の画面上に映し出され、前記物体が前記固定バーチャルサインに接触する状態に応じて前記機器を操作するための入力情報が生成される疑似入力装置として機能する請求項１８に記載された表示装置。
20. 前記固定バーチャルサインは、一軸を中心として前記物体の移動に応じて仮想的に回転し、
    前記情報生成部は、前記固定バーチャルサインの回転方向の相対的変位または絶対的変位に基づき前記機器を操作するための情報を生成する請求項１８に記載された表示装置。
21. 前記情報生成部は、前記固定バーチャルサインの回転方向の相対的変位または絶対的変位が所定の閾値を越えている場合、前記機器を操作するための情報を生成する請求項２０に記載された表示装置。
22. 前記機器を操作するための情報は、前記固定バーチャルサインの回転方向の相対的変位または絶対的変位に基づき所望の数値を増減するために用いられる請求項２０に記載された表示装置。
23. 前記情報生成部は、前記物体と前記固定バーチャルサインとの接触位置に応じて前記数値の変化量が異なるように前記機器を操作するための情報を生成する請求項２２に記載された表示装置。
24. 撮像素子および画像素子を含む素子から形成された表示装置の画面に対して、情報を入力するための物体を検知できる位置まで前記物体を前記表示装置に非接触に接近させるまたは接触させることにより前記物体の画像を取得するステップと、
    前記取得した前記物体の画像から前記物体の重心位置を算出するステップと、
    前記物体の移動に応じた前記物体の重心位置の変位に基づき、機器を操作するための情報を前記物体からの入力情報として生成するステップとを備えた情報の入力方法。
25. 撮像素子および画像素子を含む素子から形成された表示装置の画面に対して、情報を入力するための物体を検知できる位置まで前記物体を前記表示装置に非接触に接近させるまたは接触させることにより前記物体の画像を取得するステップと、
    前記取得された物体の画像から前記物体の重心位置を算出するステップと、
    前記物体の移動に応じた前記物体の重心位置の変位に基づき、機器を操作するための情報を生成するステップと、
    前記取得された物体の画像の輝度を求め、求められた輝度に基づき前記物体が前記表示装置に非接触に接近したかまたは接触したか否かを判定するステップと、
    前記物体が前記表示装置に非接触に接近したまたは接触したと最初に判定された位置に前記物体が接触する際の基準となるポイントを示したバーチャルサインを表示するステップとを備えた表示方法。
26. 請求項１〜１５に記載された入力装置が有する機能をコンピュータに実現させるためのプログラム。
27. 請求項１６〜２３に記載された表示装置が有する機能をコンピュータに実現させるためのプログラム。

Images