JP2008299474A - 表示制御装置および方法、表示装置、撮像装置、並びに、プログラム - Google Patents
表示制御装置および方法、表示装置、撮像装置、並びに、プログラム Download PDFInfo
- Publication number
- JP2008299474A JP2008299474A JP2007142946A JP2007142946A JP2008299474A JP 2008299474 A JP2008299474 A JP 2008299474A JP 2007142946 A JP2007142946 A JP 2007142946A JP 2007142946 A JP2007142946 A JP 2007142946A JP 2008299474 A JP2008299474 A JP 2008299474A
- Authority
- JP
- Japan
- Prior art keywords
- display
- data
- target
- maximum
- display number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】インデックス画面に表示されるデータの数を変更した場合に、所望のデータを確実に表示する。
【解決手段】インデックス画面２４１において、位置A41と位置B41で２本の指の近接または接触を開始し、２本の指の間の距離を距離d41から距離d42に拡げてから２本の指の近接および接触を解除したとき、位置A41と位置B41の中点である指示中心C41上の９番のインデックスデータが基準データに設定される。そして、２本の指の間の距離の拡大率に基づいて最大表示数を変更するとともに、指示中心C41を含む行または列に基準データが表示されるようにインデックスデータが再配置されたインデックス画面２４２または２４３が表示される。本発明は、例えば、デジタルカメラに適用することができる。
【選択図】図２０
【解決手段】インデックス画面２４１において、位置A41と位置B41で２本の指の近接または接触を開始し、２本の指の間の距離を距離d41から距離d42に拡げてから２本の指の近接および接触を解除したとき、位置A41と位置B41の中点である指示中心C41上の９番のインデックスデータが基準データに設定される。そして、２本の指の間の距離の拡大率に基づいて最大表示数を変更するとともに、指示中心C41を含む行または列に基準データが表示されるようにインデックスデータが再配置されたインデックス画面２４２または２４３が表示される。本発明は、例えば、デジタルカメラに適用することができる。
【選択図】図２０
Description
本発明は、表示制御装置および方法、表示装置、撮像装置、並びに、プログラムに関し、特に、例えば、インデックス画面の表示を行う表示制御装置および方法、表示装置、撮像装置、並びに、プログラムに関する。
従来、パネル上の点に対する入力が可能であり、入力があった点に関する情報を出力可能なパネルとして、静電式や感圧式のタッチパネルが普及している。タッチパネルでは、外部からの入力に対して、その入力があったタッチパネル上の点に関する情報（例えば、点の座標等）である点情報を、一度に１つの点についてのみ出力することができる。すなわち、タッチパネルでは、一度にパネル上の１つの点に対する入力および出力が可能である。
また、パネル上の複数の点に対する入力が可能であるとともに、一度に複数の点に関する情報を出力可能なパネルとして、例えば、液晶表示装置に光センサを内蔵させ、外部からの光の入力を光センサで検出することにより、光による入力が可能な表示パネル（以下、入出力パネルともいう）が提案されている（例えば、特許文献１参照）。
入出力パネルにおいて、光による入力を検出する方法としては、大きく分けて、LED(Light Emitting Diode)等の外部光源を持つ物体（例えば、ペンなど）をユーザに操作させる方法と、そのような外部光源を持たない指やペン等で入力操作させ、液晶表示装置が発する光、つまり、液晶表示装置のバックライトの透過光が、液晶表示装置の表示画面に近づいている指やペンで反射して液晶表示装置の内部に戻ってくる光を光センサで検出する方法とがある。
入出力パネルでは、一度に複数の点の点情報を出力することができ、すなわち、一度にパネル上の複数の点に対する入力および出力が可能であり、今後、従来のタッチパネルが適用されていた製品等のアプリケーションへの適用が期待されている。
ところで、タッチパネルを適用した製品の１つにデジタルカメラがある。タッチパネルを適用したデジタルカメラの中には、デジタルカメラが記憶している画像、または、デジタルカメラの機能を表すアイコンなどのデータを格子状に並べたインデックス画面を、タッチパネル上に表示する機能を有するものがある。ユーザは、インデックス画面を参照することにより、所望の画像や機能などを簡単かつ迅速に見つけることができ、見つけたデータを指やペンなどで指示することにより、所望の画像や機能などを簡単に選択することができる。
なお、以下、インデックス画面内に表示される画像やアイコンなどの個々のデータのことをインデックスデータと称する。
ところで、従来のデジタルカメラの中には、インデックス画面内に表示されるインデックスデータの数の最大値（以下、最大表示数と称する）を変更できる機能を有するものがある。例えば、図１に示されるように、最大表示数が縦３個×横３個の９個のインデックス画面１から、最大表示数が縦２個×横２個の４個のインデックス画面２に表示を切換えることにより、インデックス画面内の個々のインデックスデータを大きく表示することができる。逆に、インデックス画面２からインデックス画面１に切換えることにより、一度に多くのインデックスデータを表示することができる。
なお、インデックス画面１および２内の四角の各マスはインデックスデータを示しており、インデックスデータ内の番号は各インデックスデータに割り振られた番号であるインデックス番号を示している。
しかしながら、従来のデジタルカメラでは、インデックスデータの数を変更した場合、所望のインデックスデータが必ずしも表示されるとは限らない。例えば、図１に示される例の場合、９番のインデックスデータを大きく表示させるために、インデックス画面１からインデックス画面２に切換えた場合、９番のインデックスデータがインデックス画面２内に表示されないため、ユーザは、９番のインデックスデータを表示させるために、インデックス画面のページを切換える必要がある。
本発明は、このような状況に鑑みてなされたものであり、表示されるインデックスデータの数を変更した場合に、所望のインデックスデータを確実に表示するようにするものである。
本発明の第１の側面の表示制御装置は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御する表示制御装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる表示制御手段とを備える。
前記インデックス画面においては、前記データが格子状に配置されるようにすることができ、前記配置設定手段には、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置を含む行または列に配置されるように前記データの配置を設定させることができる。
前記表示装置は、表示画面上の複数の点に対する入力を可能とすることができ、前記取得手段には、前記表示画面上において指示された点の位置を前記指示位置として取得させることができる。
前記表示装置は、画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力部を有することができ、前記取得手段には、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得させ、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得させることができる。
本発明の第１の側面の表示装置の表示制御方法またはプログラムは、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御する表示制御方法、または、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御するコンピュータに実行させるプログラムであって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得し、前記増減情報に基づいて、前記データの最大表示数を設定し、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定し、前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させるステップを含む。
本発明の第２の側面の表示装置は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、前記最大表示数を変更した後の前記インデックス画面を表示させる表示制御手段とを備える。
前記インデックス画面においては、前記データが格子状に配置されるようにすることができ、前記配置設定手段には、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置を含む行または列に配置されるように前記データの配置を設定させることができる。
表示画面上の複数の点に対する入力を可能とすることができ、前記取得手段には、前記表示画面上において指示された点の位置を前記指示位置として取得させることができる。
画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力手段をさらに設け、前記取得手段には、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得させ、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得させることができる。
本発明の第３の側面の撮像装置は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示部を有する撮像装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、前記最大表示数を変更した後の前記インデックス画面を前記表示部に表示させる表示制御手段とを備える。
本発明の第１の側面においては、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報が取得され、前記増減情報に基づいて、前記データの最大表示数が設定され、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置が設定され、前記最大表示数を変更した後の前記インデックス画面が前記表示装置に表示される。
本発明の第２の側面においては、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報が取得され、前記増減情報に基づいて、前記データの最大表示数が設定され、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置が設定され、前記最大表示数を変更した後の前記インデックス画面が表示される。
本発明の第３の側面においては、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報が取得され、前記増減情報に基づいて、前記データの最大表示数が設定され、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置が設定され、前記最大表示数を変更した後の前記インデックス画面が前記表示部に表示される。
本発明の第１乃至第３の側面によれば、インデックス画面に表示されるデータの数を変更することができる。特に、本発明の第１乃至第３の側面によれば、インデックス画面に表示されるデータの数を変更した場合に、所望のデータを確実に表示することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の表示制御装置（例えば、図３のインデックス表示制御部１６１）は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置（例えば、図２の入出力パネル１１６）による表示を制御する表示制御装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段（例えば、図３の受信部１７１）と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段（例えば、図３の表示数設定部１７３）と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段（例えば、図３の配置設定部１７４）と、前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる表示制御手段（例えば、図３の画像データ生成部１７５）とを備える。
本発明の第１の側面の表示制御装置は、第２に、画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力部（例えば、図２の入出力ディスプレイ１３２）を有し、前記取得手段には、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得し、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得させることができる。
本発明の第１の側面の表示制御方法またはプログラムは、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置（例えば、図２の入出力パネル１１６）による表示を制御する表示制御方法、または、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置（例えば、図２の入出力パネル１１６）による表示を制御するコンピュータに実行させるプログラムであって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得し（例えば、図１５のステップＳ１０１）、前記増減情報に基づいて、前記データの最大表示数を設定し（例えば、図１５のステップＳ１０７）、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定し（例えば、図１５のステップＳ１０８）、前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる（例えば、図１５のステップＳ１０９）ステップを含む。
本発明の第２の側面の表示装置（例えば、図２の入出力パネル１１６）は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段（例えば、図３の受信部１７１）と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段（例えば、図３の表示数設定部１７３）と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段（例えば、図３の配置設定部１７４）と、前記最大表示数を変更した後の前記インデックス画面を表示させる表示制御手段（例えば、図３の画像データ生成部１７５）とを備える。
本発明の第２の側面の表示装置は、第２に、画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力手段（例えば、図２の入出力ディスプレイ１３２）をさらに備え、前記取得手段には、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得させ、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得させることができる。
本発明の第３の側面の撮像装置（例えば、図３０のデジタルカメラ６４１）は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示部（例えば、図３０の表示部６５２）を有する撮像装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段（例えば、図３の受信部１７１）と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段（例えば、図３の表示数設定部１７３）と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段（例えば、図３の配置設定部１７４）と、前記最大表示数を変更した後の前記インデックス画面を前記表示部に表示させる表示制御手段（例えば、図３の画像データ生成部１７５）とを備える。
以下、図面を参照して本発明を適用した実施の形態について説明する。
図２は、本発明を適用した表示システムの一実施の形態の構成例を示すブロック図である。
図２において、表示システム１０１は、例えば、携帯電話機やTV(Television)受像機等を構成する。
表示システム１０１は、アンテナ１１０、信号処理部１１１、制御部１１２、記憶部１１３、操作部１１４、通信部１１５、及び入出力パネル１１６から構成される。
信号処理部１１１は、アンテナ１１０で受信された地上波や衛星波等のテレビジョン放送の放送電波を復調し、その結果得られる画像データ及び音声データを制御部１１２に供給する。
制御部１１２は、操作部１１４から供給されるユーザの操作に対応する操作信号に基づいて、各種の処理を行い、その過程で一時的に記憶すべきデータを、記憶部１１３に供給する。
また、制御部１１２は、表示制御部１２１を含み、表示制御部１２１は、信号処理部１１１から供給される画像データ等を入出力パネル１１６に供給する。また、表示制御部１２１は、入出力パネル１１６から供給される、後述するターゲットとイベントの情報に基づいて、必要に応じて、画像データを、入出力パネル１１６の入出力ディスプレイ１３２に供給することにより、入出力ディスプレイ１３２の表示状態を変更させる等の表示制御を行う。
記憶部１１３は、例えば、RAM(Random Access Memory)から構成される。記憶部１１３は、制御部１１２から供給されるデータを一時的に記憶する。
操作部１１４は、例えば、テンキー、キーボード等から構成される。操作部１１４は、ユーザによって操作されることにより、その操作に対応する操作信号を生成し、制御部１１２に供給する。
通信部１１５は、例えば、図示せぬ無線局との間で無線電波を用いて通信を行う。
入出力パネル１１６は、制御部１１２から供給される画像データに対応する画像を入出力ディスプレイ１３２に表示するとともに、入出力ディスプレイ１３２から出力される受光信号から検出される１以上の点に対する入力の情報に、後述する統合処理と認識処理を施すことにより、ターゲットとイベントの情報を生成し、制御部１１２に供給する。
すなわち、入出力パネル１１６は、表示信号処理部１３１、入出力ディスプレイ１３２、受光信号処理部１３３、画像処理部１３４、及び生成部１３５から構成される。
表示信号処理部１３１は、制御部１１２から供給される画像データに対して、入出力ディスプレイ１３２に表示するための処理を施し、その結果得られる画像データを、入出力ディスプレイ１３２に供給する。
入出力ディスプレイ１３２は、画像の表示と、外部からの入力に対応する光の検出とを行う。すなわち、入出力ディスプレイ１３２は、表示信号処理部１３１から供給される画像データに対応する画像を、その表示画面に表示する。また、入出力ディスプレイ１３２は、例えば、表示画面全体に分布するように配置された複数の光センサ１３２Ａを内蔵し、外部から入射する光を受光し、その光の受光量に対応する受光信号を生成して、受光信号処理部１３３に供給する。
受光信号処理部１３３は、入出力ディスプレイ１３２から供給される受光信号に対して、所定の処理を施すことにより、入出力ディスプレイ１３２の表示画面に対して、ユーザの指等が近接または接触している部分と、何も近接および接触していない部分とで輝度が異なる画像を、フレームごとに得て、画像処理部１３４に供給する。
画像処理部１３４は、受光信号処理部１３３から供給される各フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、入出力ディスプレイ１３２の表示画面に指等の物体が近接または接触している部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の情報、すなわち、例えば、その入力部分を代表する表示画面上の点の座標である代表座標等の入力があった表示画面上の点に関する点情報、つまり、入力部分の点情報を得て、生成部１３５に供給する。
生成部１３５は、画像処理部１３４から供給される入力部分の点情報に、後述の統合処理を施すことにより、ターゲットの情報を生成する。さらに、生成部１３５は、ターゲットの情報に基づいて、後述の認識処理を行うことにより、ターゲットの状態の変化を表すイベントの情報を生成する。なお、統合処理でも、一部のイベントの情報が生成される。
すなわち、生成部１３５は、ターゲット生成部１４１、イベント生成部１４２、及び記憶部１４３から構成され、ターゲットとイベントの情報を、フレームごとに生成し、制御部１１２に供給する。
入出力ディスプレイ１３２に対しては、その表示画面に、例えば、指等を近接または接触することにより、入力を行うことができるが、この入出力ディスプレイ１３２に対する一連の入力が、ターゲットである。すなわち、例えば、入出力ディスプレイ１３２の表示画面に対して、指が近接または接触し、その近接または接触が維持されながら指が移動し、指の近接および接触が解除されるまでに行われる、入出力ディスプレイ１３２の表示画面への一連の入力がターゲットとなる。
また、イベントは、ターゲットの状態の変化を表し、例えば、ターゲットの位置が移動したことや、ターゲットが新たに出現した（生成された）こと、ターゲットが消滅した（削除された）こと等を表す。
生成部１３５のターゲット生成部１４１は、画像処理部１３４から供給されるフレームごとの入力部分の点情報に、統合処理を施すことにより、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成して、記憶部１４３に供給する。
いま、画像処理部１３４からターゲット生成部１４１に供給される入力部分の点情報が、時刻t+1の第t+1フレームの点情報であるとすると、ターゲット生成部１４１は、第t+1フレームの入力部分の点情報と、時間的に近い関係にある１つ前のフレームである時刻tの第tフレームのターゲットの情報とを比較する。
第tフレームのあるターゲットを、注目ターゲットとして注目することとすると、ターゲット生成部１４１は、注目ターゲットに対して、第t+1フレームの空間的に近い関係にある入力部分を、注目ターゲットとしての一連の入力における一部を構成する入力部分であるとして、注目ターゲットに統合する。
また、ターゲット生成部１４１は、注目ターゲットに対して、空間的に近い関係にある入力部分が第t+1フレームに存在しない場合には、注目ターゲットとしての一連の入力が終了したとして、注目ターゲットを削除する。
さらに、ターゲット生成部１４１は、ターゲットに統合されずに残った第t+1フレームの入力部分については、ターゲットとしての一連の入力が開始されたとして、新たなターゲットを生成する。そして、ターゲット生成部１４１は、統合されたターゲットの情報と新たに生成されたターゲットの情報を、第t+1フレームのターゲットの情報として記憶部１４３に供給する。
イベント生成部１４２は、ターゲットの情報に基づいて、ターゲットの状態の変化を表すイベントの情報を適宜生成し、記憶部１４３に供給する。すなわち、例えば、イベント生成部１４２は、第tフレームと第t+1フレームのそれぞれのターゲットの情報、あるいは、必要に応じて、記憶部１４３に記憶されている第tフレーム以前に発行されたイベントの情報等に基づいて、ターゲットの状態の変化を表すイベントを認識する。そして、イベント生成部１４２は、認識したイベントの内容を表すイベントの情報を生成するイベントの発行を行い、そのイベントの情報を第t+1フレームのイベントの情報として記憶部１４３に供給する。
また、イベント生成部１４２は、記憶部１４３から第t+1フレームのターゲットとイベントの情報を読み出し、制御部１１２に供給（出力）する。
記憶部１４３は、ターゲット生成部１４１から供給されるターゲットの情報と、イベント生成部１４２から供給されるイベントの情報とを記憶する。
図３は、表示制御部１２１の機能的構成の一部の例を示す図である。表示制御部１２１は、インデックス表示制御部１６１を含むように構成される。
インデックス表示制御部１６１は、インデックス画面の入出力ディスプレイ１３２による表示を制御する。なお、ここで、インデックス画面とは、インデックス画面内に表示されるインデックスデータの数の最大値である最大表示数に応じて所定の形式によりインデックスデータが配置されて表示される画面のことであり、上述した図１のインデックス画面はその一例である。また、表示システム１０１においては、後述するように、インデックス画面の最大表示数の変更が可能である。インデックス表示制御部１６１は、受信部１７１、基準データ設定部１７２、表示数設定部１７３、配置設定部１７４、および、画像データ生成部１７５を含むように構成される。
受信部１７１は、操作部１１４を介してユーザにより入力されたインデックス画面の表示の指令を受信し、受信した指令を画像データ生成部１７５に供給する。また、受信部１７１は、イベント生成部１４２により発行されたイベントの情報を受信し、必要に応じて、受信したイベントの情報を基準データ設定部１７２および表示数設定部１７３に供給する。
基準データ設定部１７２は、図１５などを参照して後述するように、入出力ディスプレイ１３２の表示画面に表示されているインデックス画面においてユーザにより指示された位置に最も近い位置に表示されているインデックスデータを基準データに設定し、設定した基準データを示す情報を配置設定部１７４に供給する。
表示数設定部１７３は、図１５などを参照して後述するように、取得したイベントの情報に基づいて、インデックス画面の最大表示数を設定する。表示数設定部１７３は、設定した最大表示数を示す情報を配置設定部１７４に供給する。
配置設定部１７４は、図１５などを参照して後述するように、表示数設定部１７３により設定された最大表示数に応じた形式に基づいてインデックスデータを配置するとともに、最大表示数を変更した後のインデックス画面において、基準データがユーザにより指示された位置またはその近傍に配置されるように、インデックスデータの配置を設定する。配置設定部１７４は、設定したインデックスデータの配置を示す情報を画像データ生成部１７５に供給する。
画像データ生成部１７５は、ユーザより入力されたインデックス画面の表示の指令を受信部１７１から取得した場合、その指令に基づくインデックス画面の画像データを生成し、表示信号処理部１３１に供給する。また、画像データ生成部１７５は、インデックスデータの配置を示す情報を配置設定部１７４から取得した場合、設定された配置に従ってインデックスデータを配置したインデックス画面の画像データを生成し、表示信号処理部１３１に供給する。さらに、画像データ生成部１７５は、入出力ディスプレイ１３２の表示画面に表示されているインデックス画面における各インデックスデータの種類や位置などを示す情報を受信部１７１、基準データ設定部１７２、表示数設定部１７３、および、配置設定部１７４に供給する。
次に、図４のフローチャートを参照して、表示システム１０１による表示受光制御処理について説明する。
表示システム１０１による表示受光制御処理は、例えば、ユーザが表示システム１０１の電源をオンにすると、開始される。
なお、以下においては、既に、表示受光制御処理のステップＳ１乃至Ｓ８の処理が第tフレームまで行われており、記憶部１４３には、少なくとも、第tフレーム以前のターゲットとイベントの情報が適宜記憶されているものとする。
ステップＳ１において、入出力ディスプレイ１３２の光センサ１３２Ａは、時刻t+1のフレームのタイミングで、表示画面に指が近接または接触している部分から反射した光等の外部からの光を受光し、その光の受光量に対応する受光信号を受光信号処理部１３３に供給する。
ステップＳ２において、受光信号処理部１３３は、入出力ディスプレイ１３２から供給される受光信号に所定の処理を施すことにより、入出力ディスプレイ１３２に対して、指等が近接または接触している部分と、何も近接および接触していない部分とで輝度が異なる画像を、第t+1フレームの画像として得て、画像処理部１３４に供給する。
ステップＳ３において、画像処理部１３４は、受光信号処理部１３３から供給される第t+1フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、第t+1フレームについて、入出力ディスプレイ１３２の表示画面に指等の物体が近接または接触した部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の点情報を得て、生成部１３５に供給する。
ステップＳ４において、生成部１３５のターゲット生成部１４１は、画像処理部１３４から供給される第t+1フレームの入力部分の点情報に、統合処理を施すことにより、第t+1フレームについて、ターゲットの情報を生成し、記憶部１４３に記憶させる。また、生成部１３５のイベント生成部１４２は、ターゲットの情報に基づいて、統合処理を行うことにより、第t+1フレームについて、特定のイベント、すなわち、例えば、ターゲットの生成及び削除（消滅）を表すイベントの情報を適宜生成し、記憶部１４３に記憶させる。統合処理の詳細については、図６乃至図１０を参照して、後述する。
ステップＳ５において、生成部１３５のイベント生成部１４２は、さらに、ターゲットの情報に基づいて、認識処理を行うことにより、第t+1フレームについて、ターゲットの状態の変化を表すイベントの情報を生成し、記憶部１４３に記憶させる。認識処理の詳細については、図１１乃至図１４を参照して後述する。
ステップＳ６において、生成部１３５のイベント生成部１４２は、記憶部１４３から第t+1フレームのターゲットとイベントの情報を読み出し、制御部１１２に供給（出力）する。
ステップＳ７において、制御部１１２は、入出力パネル１１６の生成部１３５から供給（出力）されるターゲットとイベントの情報に基づいて、必要に応じて、画像データを、表示信号処理部１３１を介して、入出力ディスプレイ１３２に供給することにより、入出力ディスプレイ１３２の表示状態を変更させる等の表示制御処理を行う。表示制御処理の詳細については、図１５乃至図２５を参照して後述する。
ステップＳ８において、入出力ディスプレイ１３２は、制御部１１２の表示制御に従い、それまでとは異なる表示状態、例えば、それまで表示されていた画像が時計周りに９０°回転して表示される表示状態で、画像を表示する。
その後、処理は、ステップＳ１に戻り、次の第t+2フレームについて、同様の処理が繰り返される。
図５は、図４の表示受光制御処理を行うソフトウエアの構成例を説明する図である。
ここで、入出力パネル１１６において表示受光制御処理を行うソフトウエアは、点情報の生成処理を行うソフトウエア、および、情報の整形処理を行うソフトウエアを含む。
図５において、入出力ディスプレイ１３２の光センサ１３２Ａは、外部からの光、例えば、表示画面に近接または接触している指等で反射した光を受光し、１フレームの受光信号を生成する。
受光信号処理の階層では、入出力ディスプレイ１３２から供給される１フレームの受光信号に、例えば、増幅やフィルタ処理等の受光信号処理が施されることにより、その受光信号に対応する１フレームの画像が得られる。
受光信号処理の階層の上位階層の点情報の生成処理の階層では、受光信号処理で得られる画像に対して、所定の画像処理、例えば、２値化、ノイズ除去、ラベリング等が施されることにより、入出力ディスプレイ１３２の表示画面の、物体が近接または接触している部分である入力部分が検出される。そして、入力部分の点情報がフレームごとに生成される。
点情報の生成処理の上位の情報の整形処理の階層では、点情報の生成処理で得られる点情報が、表示制御部１２１が望む形の情報に整形される。例えば、点情報に統合処理が施され、フレームごとのターゲットの情報が生成される。さらに、そのフレームのターゲットの情報に基づいて、特定のイベント、例えば、ターゲットの生成や削除（消滅）を表すイベントの情報が生成される。また、統合処理で生成されたターゲットの情報等に基づいて、ユーザの指の動きやジェスチャ等の認識処理が施されることにより、ターゲットの状態の変化を表すイベントの情報がフレームごとに生成される。統合処理で生成されたターゲット及びイベントの情報と、認識処理で生成されたイベントの情報が、フレームごとに表示制御部１２１に出力される。
表示制御部１２１は、情報の整形処理で出力されたターゲットとイベントの情報に基づいて、必要に応じて、表示に関しての指示、例えば、画像データを入出力ディスプレイ１３２に供給することにより、入出力ディスプレイ１３２の表示状態を変更する等の表示制御を行う。
次に、図６乃至図１０を参照して、図１の生成部１３５による統合処理の詳細について説明する。
図６は、時刻tの第tフレームに存在するターゲットを表している。
ここで、図６では（後述する図７及び図８でも同様）、フレームを表す長方形の内部に、説明の便宜上、マスを図示してある。
図６において、時刻tの第tフレームには、３つのターゲット#1，#2、及び#3が存在する。ターゲットには、ターゲットの属性であるターゲット属性を与えることができる。ターゲット属性には、例えば、各ターゲットを識別するための識別情報としてのターゲットID(Identifier)（識別番号）があり、図６では、３つのターゲットに対して、#1，#2、及び#3がそれぞれターゲットIDとして付されている。
例えば、ユーザが、３本の指を、入出力ディスプレイ１３２の表示画面に近接または接触させている場合に、図６に示したような３つのターゲット#1乃至#3が存在する状態となる。
図７は、時刻tの第tフレームより１フレーム後の時刻t+1の第t+1フレームの統合処理前の入力部分を表している。
図７において、第t+1フレームには、４つの入力部分#a乃至#dが存在する。
例えば、ユーザが、４本の指を、入出力ディスプレイ１３２の表示画面に近接または接触している場合に、図７に示したような４つの入力部分#a乃至#dが生じる。
図８は、図６に示した第tフレームと図７に示した第t+1フレームとを重ね合わせた状態を表している。
統合処理では、例えば、時間的に近い関係にある第tフレームのターゲットと第t+1フレームの入力部分とが比較される。そして、第tフレームのあるターゲットを、注目ターゲットとして注目すると、例えば、注目ターゲットに対して、空間的に近い関係にある入力部分、すなわち、注目ターゲットからの距離が、例えば、所定の距離（例えば、２マス分の距離）以内にある入力部分が、注目ターゲットとしての一連の入力の一部を構成する入力部分であるとして、注目ターゲットに統合される。
なお、注目ターゲットに対して、空間的に近い関係にある入力部分が、複数存在する場合には、例えば、その複数の入力部分のうちの、注目ターゲットに対して、最も近い入力部分が、注目ターゲットに統合される。
また、統合処理では、例えば、注目ターゲットに対して、空間的に近い関係にある入力部分が存在しない場合には、その注目ターゲットとしての一連の入力が終了したとして、注目ターゲットが削除される。
さらに、統合処理では、例えば、ターゲットに統合されずに残った入力部分、つまり、ターゲットに対して空間的に近い関係にない入力部分については、新たな一連の入力が開始されたとして、新たなターゲットが生成される。
したがって、図８に示される第t+1フレームの入力部分#a乃至#dと第tフレームのターゲット#1乃至#3を対象として、統合処理が行われると、ターゲット#1の近傍には、入力部分#aと#bが存在するが、入力部分#bの方が、入力部分#aに比べてより近いので、入力部分#bが、ターゲット#1に統合（マージ）される。
また、図８では、ターゲット#2の近傍には、入力部分が存在しないので、このターゲット#2は、削除される。そして、ターゲットが削除されたことを表すイベント「削除」が生成される。
さらに、図８では、ターゲット#3の近傍には、入力部分#cと#dが存在するが、入力部分#dの方が、入力部分#cに比べてより近いので、入力部分#dが、ターゲット#3に統合（マージ）される。
そして、ターゲット#1乃至#3のうちのいずれにも統合されずに残った入力部分#aと#cは、それぞれ新たなターゲットとして生成される。そして、ターゲットが生成されたことを表すイベント「生成」が生成される。
統合処理では、第tフレームのターゲットのうちの削除されずに残ったターゲットと、第t+1フレームの入力部分のうちの統合されずに残った入力部分について新たに生成されたターゲットとが、第t+1フレームのターゲットとなる。そして、第t+1フレームのターゲットの情報は、第t+1フレームの入力部分の点情報に基づいて、生成される。
ここで、入力部分の点情報は、受光信号処理部１３３から画像処理部１３４に供給される１フレームの画像である受光画像に対して、画像処理を施すことで得られる。
図９は、受光画像を示している。
図９の受光画像には、３つの入力部分#1乃至#3が存在する。
受光画像上の各入力部分は、例えば、表示画面の指が近接または接触している部分から反射した光が受光された部分であるので、表示画面の指が近接および接触していない部分に比べて、輝度の高いまたは低い部分となっている。画像処理部１３４は、受光画像の輝度の高いまたは低い領域を、入力部分として検出し、その入力部分の領域の特徴量を、その入力部分の点情報として出力する。
点情報としては、入力部分を代表する位置の座標である代表座標としての入力部分の領域の中心（例えば、入力部分を囲む最小の円の中心など）や重心、入力部分の領域（図中の斜線部分）の面積の情報である面積情報、入力部分の範囲を表す領域情報としての、例えば、入力部分を囲む最小の長方形の上端の座標、下端の座標、左端の座標、及び右端の座標等を採用することができる。
ターゲットの情報のうちのターゲットの属性であるターゲット属性は、ターゲットに統合される入力部分の点情報に基づいて、生成される。すなわち、ターゲットに入力部分が統合されるとき、ターゲットに固有の識別情報であるターゲットIDが維持され、それ以外のターゲット属性、例えば、ターゲットの代表座標、面積情報、領域情報等が、そのターゲットに統合される入力部分の点情報、すなわち、入力部分の代表座標、面積情報、領域情報等で置き換えられる。
また、ターゲット属性には、ターゲットしての一連の入力が開始したときの時刻を表す情報やターゲットしての一連の入力が終了したときの時刻を表す情報等が含まれてもよい。
ターゲットの情報には、上述したターゲット属性の他、例えば、生成部１３５が制御部１１２に出力するフレームごとのターゲットの数等を採用することができる。
次に、図１０のフローチャートを参照して、図４のステップＳ４で図１の生成部１３５が行う統合処理について説明する。
ステップＳ２１において、ターゲット生成部１４１は、記憶部１４３から第t+1フレームの時間的な近傍である第tフレームのターゲットの情報を読み出し、画像処理部１３４から供給される第t+1フレームの入力部分の点情報と、記憶部１４３から読み出した第tフレームのターゲットの情報とを比較する。
ステップＳ２２において、ターゲット生成部１４１は、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがあるかを判定する。ステップＳ２２において、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがあると判定された場合、ステップＳ２３において、ターゲット生成部１４１は、第tフレームのターゲットのうちの、まだ注目ターゲットとしていないターゲットのうちの１つを注目ターゲットとし、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在するかを判定する。
ステップＳ２３において、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在すると判定された場合、ステップＳ２４において、ターゲット生成部１４１は、ステップＳ２２で注目ターゲットの空間的な近傍にあると判定された第t+1フレームの入力部分を注目ターゲットに統合し、統合後の注目ターゲットの情報を、第t+1フレームのターゲットの情報として、記憶部１４３に記憶させる。
具体的には、ターゲット生成部１４１は、注目ターゲットのターゲットIDを維持し、それ以外のターゲット属性、例えば、注目ターゲットの代表座標等を、注目ターゲットに統合される入力部分の代表座標等で置き換え、第t+1フレームのターゲットの情報として、記憶部１４３に記憶させる。
一方、ステップＳ２３において、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在しないと判定された場合、ステップＳ２５において、ターゲット生成部１４１は、注目ターゲットの情報を記憶部１４３から削除する。
ステップＳ２６において、イベント生成部１４２は、ターゲット生成部１４１が注目ターゲットを削除すると、ターゲットが消滅したこと、すなわち、ターゲットとしての一連の入力が終了したことを表すイベント「削除」を新たに発行し、そのイベントの情報を第t+1フレームのイベントの情報として、記憶部１４３に記憶させる。図８の例では、ターゲット#2が注目ターゲットである場合、ターゲット#2が第t+1フレームで削除されたことを表すイベント「削除」が発行され、そのイベント「削除」の情報が記憶部１４３に記憶される。
ステップＳ２４，Ｓ２６の処理の後、処理は、ステップＳ２２に戻り、新たな注目ターゲットについて、同様の処理が実行される。
ステップＳ２２において、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがないと判定された場合、ステップＳ２７において、ターゲット生成部１４１は、画像処理部１３４から供給された第t+1フレームに、第tフレームのターゲットに統合されずに残っている入力部分が存在するかを判定する。
ステップＳ２７において、第t+1フレームに統合されずに残っている入力部分が存在すると判定された場合、ステップＳ２８において、ターゲット生成部１４１は、統合されずに残っている入力部分について、新しいターゲットを生成する。
すなわち、第tフレームのターゲットに統合されずに残った第t+1フレームの入力部分、つまり、ターゲットに対して空間的に近い関係にない入力部分については、新たな一連の入力が開始されたとして、新しいターゲットを生成する。そして、ターゲット生成部１４１は、新しいターゲットの情報を、第t+1フレームのターゲットの情報として、記憶部１４３に記憶させる。
ステップＳ２９において、イベント生成部１４２は、ターゲット生成部１４１が新しいターゲットを生成すると、イベント「生成」を新たに発行し、そのイベントの情報を、第t+1フレームのイベントの情報として、記憶部１４３に記憶させる。そして、統合処理を終了し、処理は、図４のステップＳ５にリターンする。
一方、ステップＳ２７において、第t+1フレームに残っている入力部分が存在しないと判定された場合、ステップＳ２８，Ｓ２９の処理はスキップされ、統合処理は終了する。そして、処理は、図４のステップＳ５にリターンする。
なお、上述した統合処理では、第tフレームのターゲットのうちの、第t+1フレームの入力部分が空間的に近い位置に存在しないターゲットの情報が削除されるように説明したが、その他、第tフレームのターゲットのうちの、第t+1フレームの入力部分が空間的に近い位置に存在しないターゲットの情報を、入力部分が空間的に近い位置にない場合に限って、その後も数フレーム連続して保持してから削除するようにしてもよい。これにより、ユーザが指の近接および接触を誤って一瞬解除してしまった場合でも、指の近接または接触を再開すれば、表示画面に近接または接触している指に対応する入力部分を、指の近接および接触を一瞬解除する前のターゲットに統合することが可能となる。
以上のように、統合処理では、入出力ディスプレイ１３２の表示画面に対して新たに入力があった入力部分のうちの、ターゲットの時間的及び空間的近傍にある入力部分が、ターゲットとしての一連の入力における一部を構成する入力部分としてそのターゲットに統合される。また、統合処理では、ターゲットの生成または消滅（削除）を表すイベントが適宜発行される。
図１１は、生成部１３５から出力されるターゲットとイベントの情報の例を表している。
図１１の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームのそれぞれの受光画像上の入力部分（図中、白丸で表す）を示している。また、図１１の下の図は、第nフレーム乃至第n+5フレームのそれぞれに出力されるターゲットとイベントの情報を示している。
図１１の上の図は、例えば、ユーザが、時刻nにおいて、１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始し、その後、時刻nからn+4までの間、入出力ディスプレイ１３２の表示画面に対する近接または接触をし続けながら、第n+2フレームで、表示画面に近接または接触している位置を、左から右方向に移動することを開始し、第n+4フレームで、その移動を停止して、時刻n+5において、入出力ディスプレイ１３２の表示画面に対する近接および接触を解除した場合に得られる入力部分#0を表している。
すなわち、第nフレームでは、ユーザが入出力ディスプレイ１３２の表示画面に対する近接または接触を開始することにより、図１１の上の図に示すように、入力部分#0が新たに出現している。
この場合、第nフレームの入力部分#0について、新たなターゲット#0が生成される。すなわち、第nフレームでは、図１１の下の図に示すように、ターゲットIDが0で、第nフレームの入力部分#0の位置情報（代表座標）等のターゲットID以外のターゲット属性（以下、ターゲット関連情報INFOという）を有する新たなターゲット#0が生成される。
なお、ターゲットの実体は、ターゲット属性を記憶する、メモリ等に確保される記憶領域である。
第nフレームでは、新たなターゲット#0が生成されたことに対応して、イベントが生成される。すなわち、第nフレームでは、図１１の下の図に示すように、イベントを識別する識別情報であるイベントIDが0で、イベントの種類を表すイベントタイプTypeが新たなターゲットの生成を表すCreateであり、イベントが状態を表すターゲットを特定する特定情報tidが、ターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#0が生成される。
なお、イベントタイプTypeが新たなターゲットの生成を表すCreateであるイベントが、イベント「生成」である。
このように、イベントは、イベントが状態を表すターゲットを特定する特定情報tidを、イベント属性の１つとして有するので、その特定情報tidによって、イベントが状態を表すターゲットを特定することができる。
なお、イベントの実体は、イベント属性を記憶する、メモリ等に確保される記憶領域である。
次に、第n+1フレームでは、図１１の上の図に示すように、入力部分#0が移動せずに、そのまま存在している。
この場合、その１フレーム前の第nフレームのターゲット#0に、第n+1フレームの入力部分#0が統合される。その結果、第n+1フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
第n+2フレームでは、図１１の上の図に示すように、入力部分#0が移動を開始している。
この場合、その１フレーム前の第n+1フレームのターゲット#0に、第n+2フレームの入力部分#0が統合される。その結果、第n+2フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
さらに、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１１の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレームで生成されたイベントのイベントIDとは異なる1で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#1が生成される。
次に、第n+3フレームでは、図１１の上の図に示すように、入力部分#0が移動中である。
この場合、その１フレーム前の第n+2フレームのターゲット#0に、第n+3フレームの入力部分#0が統合される。その結果、第n+3フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
第n+4フレームでは、図１１の上の図に示すように、入力部分#0が停止している。
この場合、その１フレーム前の第n+3フレームのターゲット#0に、第n+4フレームの入力部分#0が統合される。その結果、第n+4フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
さらに、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了されたこと、したがって、ターゲット#0の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１１の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレームまたは第n+2フレームで生成されたイベントのいずれのイベントIDとも異なる2で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#2が生成される。
第n+5フレームでは、ユーザが入出力ディスプレイ１３２の表示画面に対する指の近接および接触を解除することにより、図１１の上の図に示すように、入力部分#0が消滅している。
この場合、第n+5フレームでは、ターゲット#0が削除される。
さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベントが生成される。すなわち、第n+5フレームでは、図１１の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレーム、第n+2フレーム、または第n+4フレームで生成されたイベントのいずれのイベントIDとも異なる3で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#3が生成される。
なお、イベントタイプTypeがターゲットの削除を表すDeleteであるイベントが、イベント「削除」である。
図１２は、生成部１３５から出力されるターゲットとイベントの情報の他の例を表している。
図１２の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームのそれぞれの受光画像上の入力部分（図中、白丸で表す）を示している。図１２の下の図は、第nフレーム乃至第n+5フレームのそれぞれに出力されるターゲットとイベントの情報を示している。
図１２は、例えば、ユーザが、時刻nにおいて、ある１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始し、その後、時刻nからn+4までの間、入出力ディスプレイ１３２の表示画面に対する近接または接触をし続けながら、第n+2フレームで、表示画面に近接または接触している位置を、左から右方向に移動することを開始し、第n+4フレームで、その移動を停止して、時刻n+5において、入出力ディスプレイ１３２の表示画面に対する近接および接触を解除した場合に得られる入力部分を表している。
また、図１２は、ユーザが、時刻n+1において、他の１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始し、その後、時刻n+1からn+3までの間、入出力ディスプレイ１３２の表示画面に対する近接または接触をし続けながら、第n+2フレームで、表示画面に近接または接触している位置を、右から左方向に移動することを開始し、第n+3フレームで、その移動を停止して、時刻n+4において、入出力ディスプレイ１３２の表示画面に対する近接および接触を解除した場合に得られる入力部分を表している。
すなわち、第nフレームでは、ユーザが、ある１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始することにより、図１２の上の図に示すように、入力部分#0が新たに出現している。
この場合、第nフレームの入力部分#0について、図１１の場合と同様に新たなターゲット#0が生成される。すなわち、第nフレームでは、図１２の下の図に示すように、ターゲットIDが0で、ターゲット関連情報INFOが、第nフレームの入力部分#0の位置情報等になっているターゲット属性を有する新たなターゲット#0が生成される。
さらに、第nフレームでは、新たなターゲット#0が生成されたことに対応して、図１１の場合と同様に、イベントが生成される。すなわち、第nフレームでは、図１２の下の図に示すように、イベントIDが0で、イベントタイプTypeが新たなターゲットの生成を表すCreateであり、特定情報tidがターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#0が生成される。
次に、第n+1フレームでは、図１２の上の図に示すように、入力部分#0が移動せずに、そのまま存在している。
この場合、その１フレーム前の第nフレームのターゲット#0に、第n+1フレームの入力部分#0が統合される。その結果、第n+1フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分#0の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
また、第n+1フレームでは、ユーザが、他の１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始することにより、図１２の上の図に示すように、他の入力部分#1が新たに出現している。
この場合、第n+1フレームの新たな入力部分#1について、新たなターゲット#1が生成される。すなわち、第n+1フレームでは、図１２の下の図に示すように、ターゲットIDが、既に存在するターゲット#0のターゲットIDの0とは異なる1で、ターゲット関連情報INFOが、第n+1フレームの新たな入力部分#1の位置情報等になっているターゲット属性を有する新たなターゲット#1が生成される。
さらに、第n+1フレームでは、新たなターゲット#0が生成されたことに対応して、イベントが生成される。すなわち、第n+1フレームでは、図１２の下の図に示すように、イベントIDが、第nフレームで生成されたイベントのイベントIDの0とは異なる1で、イベントタイプTypeが新たなターゲットの生成を表すCreateであり、特定情報tidがターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#1が生成される。
第n+2フレームでは、図１２の上の図に示すように、入力部分#0と#1が移動を開始している。
この場合、その１フレーム前の第n+1フレームのターゲット#0に、第n+2フレームの入力部分#0が統合される。その結果、第n+2フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
同様に、第n+1フレームのターゲット#1に、第n+2フレームの入力部分#1が統合される。その結果、第n+2フレームでは、ターゲット#1は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#1の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが1のままで、第n+2フレームの入力部分#1の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
また、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0及び#1のイベントとは異なる2で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#2が生成される。
同様に、第n+2フレームでは、ターゲット#1に統合された入力部分#1の移動が開始されたこと、したがって、ターゲット#1の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#2のイベントIDとは異なる3で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#3が生成される。
次に、第n+3フレームでは、図１２の上の図に示すように、入力部分#0が移動中である。
この場合、その１フレーム前の第n+2フレームのターゲット#0に、第n+3フレームの入力部分#0が統合される。その結果、第n+3フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
また、第n+3フレームでは、入力部分#1が停止している。
この場合、その１フレーム前の第n+2フレームのターゲット#1に、第n+3フレームの入力部分#1が統合される。その結果、第n+3フレームでは、ターゲット#1は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#1の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが1のままで、第n+3フレームの入力部分#1の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
さらに、第n+3フレームでは、ターゲット#1に統合された入力部分#1の移動が終了されたこと、したがって、ターゲット#1の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+3フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#3のイベントIDとは異なるとは異なる4で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#4が生成される。
次に、第n+4フレームでは、ユーザが、指の近接および接触を解除することにより、図１２の上の図に示すように、入力部分#1が消滅している。
この場合、第n+4フレームでは、ターゲット#1が削除される。
また、第n+4フレームでは、図１２の上の図に示すように、入力部分#0が停止している。
この場合、その１フレーム前の第n+3フレームのターゲット#0に、第n+4フレームの入力部分#0が統合される。その結果、第n+4フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+4フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
また、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了されたこと、したがって、ターゲット#0の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#4のイベントとは異なる5で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#5が生成される。
同様に、第n+4フレームでは、入力部分#1が消滅したこと、したがって、ターゲット#1が削除されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#5のイベントIDとは異なる6で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#6が生成される。
第n+5フレームでは、ユーザが入出力ディスプレイ１３２の表示画面に対する近接および接触を解除することにより、図１２の上の図に示すように、入力部分#0が消滅している。
この場合、第n+5フレームでは、ターゲット#0が削除される。
さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベントが生成される。すなわち、第n+5フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#6のイベントIDとは異なる7で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#7が生成される。
次に、図１３および図１４を参照して、図４のステップＳ５における認識処理の一例として、イベント「拡大」または「縮小」を認識する拡大縮小の認識処理について説明する。
例えば、ユーザが表示画面に２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離（間隔）を拡げるか、または狭めるように２本の指を移動して、２本の指の近接および接触を解除した場合に、近接または接触を開始したときの２本の指の間の距離を基準として、２本の指の間の距離の変化量である拡大率または縮小率が所定の閾値以上または以下であるときに、イベント生成部１４２は、イベント「拡大」または「縮小」を発行する。
ここで、表示画面に対する２本の指の近接または接触を開始したときのフレームを開始フレームという。
図１３の左の図は、開始フレームの２つのターゲットを示し、図１３の右上の図は、２つのターゲットの間の距離が拡大した場合の第t+1フレームの２つのターゲットを示す。図１３の右下の図は、２つのターゲットの間の距離が縮小した場合の第t+1フレームの２つのターゲットを示す。
図１３の左の図及び図１３の右上の図では、開始フレームにおいて、ユーザが位置A1と位置B1で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を拡げるように２本の指を移動して、位置A2と位置B2で２本の指の近接および接触を解除した様子が示されている。
位置A1と位置B1の座標、すなわち、ユーザが指の近接または接触を開始したとき（開始フレーム）の２つのターゲットの代表座標を、それぞれ座標(Xa1, Ya1)、座標(Xb1, Yb1)とするとともに、位置A2と位置B2の座標、すなわち、ユーザが指の近接および接触を解除したときの２つのターゲットの代表座標を、それぞれ座標(Xa2, Ya2)、座標(Xb2, Yb2)とすると、位置A1と位置B1の間の距離d1=√((Xb1−Xa1)2+(Yb1−Ya1)2)を基準とした、位置A2と位置B2の間の距離d2=√((Xb2−Xa2)2+(Yb2−Ya2)2)の拡大率、つまり、２つのターゲットの間の距離の拡大率Eは、E=d2/d1と表される。
２つのターゲットの間の距離の拡大率Eが所定の閾値以上である場合に、イベント「拡大」が発行される。
図１３の左の図及び図１３の右下の図では、開始フレームにおいて、ユーザが位置A1と位置B1で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を狭めるように２本の指を移動して、位置A3と位置B3で２本の指の近接および接触を解除した様子が示されている。
位置A1と位置B1の座標、すなわち、ユーザが指の近接または接触を開始したとき（開始フレーム）の２つのターゲットの代表座標を、それぞれ座標(Xa1, Ya1)、座標(Xb1, Yb1)とするとともに、位置A3と位置B3の座標、すなわち、ユーザが指の近接および接触を解除したときの２つのターゲットの代表座標を、それぞれ座標(Xa3, Ya3)、座標(Xb3, Yb3)とすると、位置A1と位置B1の間の距離d1=√((Xb1−Xa1)2+(Yb1−Ya1)2)を基準とした、位置A3と位置B3の間の距離d3=√((Xb3−Xa3)2+(Yb3−Ya3)2)の縮小率、つまり、２つのターゲットの間の距離の縮小率Rは、R=d3/d1と表される。
２つのターゲットの間の距離の縮小率Rが所定の閾値以下である場合に、イベント「縮小」が発行される。
なお、拡大率Eと縮小率Rは、いずれも、第t+1フレームにおける２つのターゲットの間の距離を、開始フレームにおける２つのターゲットの間の距離で除算することで求められる。
イベント「拡大」またはイベント「縮小」は、イベントID、イベントタイプType、特定情報tidの他、イベントの付加的な情報を表す付加情報、例えば、拡大率Eまたは縮小率R、イベント「拡大」またはイベント「縮小」の始点座標としての開始フレームの２つのターゲットのそれぞれの代表座標である座標(Xa1, Ya1)と座標(Xb1, Yb1)、開始フレームの２つのターゲットの間の中心（以下、指示中心と称する）C1の座標((Xa1＋Xb1)／2,(Ya1＋Yb1)／2)等のイベント属性を有する。
次に、図１４のフローチャートを参照して、図４のステップＳ５で図１のイベント生成部１４２が行うイベント「拡大」及び「縮小」を認識する処理である拡大縮小の認識処理について説明する。
なお、拡大縮小の認識処理は、統合処理の後に行われるので、拡大縮小の認識処理の開始時において、統合処理後の第t+1フレームのターゲットとイベントの情報が、既に使用可能な状態になっている。
ステップＳ８１において、イベント生成部１４２は、２つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたかを判定する。ステップＳ８１において、２つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたと判定された場合、処理はステップＳ８２に進む。
ステップＳ８２において、イベント生成部１４２は、第t+1フレームの２つのターゲットのセットを注目セットとし、注目セットの２つのターゲットのそれぞれの代表座標を、２つのターゲットのそれぞれのターゲットIDと対応付けて、記憶部１４３に記憶させる。
ステップＳ８３において、イベント生成部１４２は、指示中心の座標を記憶する。具体的には、イベント生成部１４２は、注目セットの２つのターゲットの代表座標上の点を結ぶ線分の中点である指示中心の座標を求める。イベント生成部１４２は、求めた指示中心の座標を、２つのターゲットのターゲットIDと対応づけて、記憶部１４３に記憶させる。
一方、ステップＳ８１において、２つ目以外のターゲットに対してイベント「生成」が第t+1フレームで発行された場合、あるいは、イベント「生成」が第t+1フレームで発行されていない場合、ステップＳ８２およびＳ８３の処理はスキップされ、処理はステップＳ８４に進む。
ステップＳ８４において、イベント生成部１４２は、注目セットの２つのターゲットが第tフレームで存在し、かつ、注目セットの２つのターゲットのいずれかに対して、イベント「削除」が第t+1フレームで発行されたかを判定する。
ステップＳ８４において、注目セットが第tフレームで存在し、かつ、注目セットの２つのターゲットのいずれかに対して、イベント「削除」が第t+1フレームで発行されたと判定された場合、ステップＳ８５において、イベント生成部１４２は、記憶部１４３から注目セットの２つのターゲットのそれぞれのターゲットIDと対応付けられた開始フレームの注目セットの２つのターゲットのそれぞれの代表座標を読み出し、注目セットの２つのターゲットのそれぞれの開始フレームと第tフレームの代表座標から、注目セットの２つのターゲットの間の距離の拡大率E（すなわち、縮小率R）を求める。また、イベント生成部１４２は、同時に、記憶していた開始フレームの注目セットの２つのターゲットのそれぞれの代表座標を記憶部１４３から削除する。これにより、記憶部１４３の記憶領域の余計な浪費を防ぐことができる。
一方、ステップＳ８４において、注目セットが第tフレームで存在しないか、あるいは、注目セットの２つのターゲットのいずれに対しても、イベント「削除」が第t+1フレームで発行されていないと判定された場合、処理は、ステップＳ８５乃至ステップＳ８９をスキップする。そして、拡大縮小の認識処理は終了する。
ステップＳ８６において、イベント生成部１４２は、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の拡大率Eが所定の閾値以上であるかを判定する。ステップＳ８６において、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の拡大率Eが所定の閾値以上であると判定された場合、ステップＳ８７において、イベント生成部１４２は、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の拡大率Eと、始点座標としての注目セットの２つのターゲットのそれぞれの開始フレームの代表座標を付加情報とするイベント「拡大」を発行する。そして、拡大縮小の認識処理は終了する。
一方、ステップＳ８６において、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の拡大率Eが所定の閾値以上でないと判定された場合、ステップＳ８８において、イベント生成部１４２は、注目セットの２つのターゲットの間の距離の縮小率Rが所定の閾値以下であるかを判定する。ステップＳ８８において、注目セットの２つのターゲットの間の距離の縮小率Rが所定の閾値以下であると判定された場合、ステップＳ８９において、イベント生成部１４２は、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の縮小率Rと、始点座標としての注目セットの２つのターゲットのそれぞれの開始フレームの代表座標を付加情報とするイベント「縮小」を発行する。そして、拡大縮小の認識処理は終了する。
一方、ステップＳ８８において、縮小率Rが所定の閾値以下でないと判定された場合、拡大縮小の認識処理は終了する。
開始フレームの２つのターゲットの間の距離を基準とした、第tフレームの２つのターゲットの間の距離の拡大率Eが所定の閾値以上であるかを判定することにより、２つのターゲットの間の距離の拡大率が小さい場合にイベント「拡大」が誤って認識されることが抑制される。また、開始フレームの２つのターゲットの間の距離を基準とした、第tフレームの２つのターゲットの間の距離の縮小率Rが所定の閾値以下であるかを判定することにより、２つのターゲットの間の距離の縮小率が大きい場合にイベント「縮小」が誤って認識されることが抑制される。
このように、拡大縮小の認識処理を行うことにより、開始フレームの２つのターゲットの間の距離を基準として、第tフレームにおける２つのターゲットの間の距離が所定の閾値以上または以下の拡大率または縮小率で拡大または縮小するというイベントを認識することが可能となる。
ここで、認識処理により認識されるイベントの他の例について簡単に説明する。
例えば、ユーザが表示画面に指を近接または接触させたまま移動させた場合、すなわち、ターゲットが移動した場合、イベント生成部１４２は、イベント「移動」を発行する。
また、例えば、ユーザが表示画面に近接または接触させたまま移動させていた指を停止した場合、すなわち、ターゲットが停止した場合、イベント生成部１４２は、イベント「停止」を発行する。
さらに、例えば、ユーザが表示画面に対する指の近接または接触を開始し、近接または接触を継続しながら指を移動して、指の近接および接触を解除した場合に、近接または接触を開始したときの指の位置と近接および接触を終了したときの指の位置との間の距離が閾値以上であるときに、すなわち、ターゲットが所定の距離以上移動して消滅した場合、イベント生成部１４２は、イベント「投射」を発行する。
さらに、例えば、ユーザが表示画面に対する２本の指の近接または接触を開始し、近接または接触を継続しながら、表示画面上のある点を中心とした同心円を描くように２本の指を移動して、２本の指の近接および接触を解除した場合に、近接または接触を開始したときの２本の指のそれぞれの表示画面上の位置を結ぶ直線に対して、第tフレームの２本の指のそれぞれの表示画面上の位置を結ぶ直線が回転する回転角の絶対値が所定の閾値以上であるときに、すなわち、２つのターゲットが生成されてから消滅するまでの間にターゲット間を結ぶ直線の回転角の絶対値が所定の閾値以上である場合、イベント生成部１４２は、イベント「回転」を発行する。
また、例えば、ユーザが表示画面に対する３本の指の近接または接触を開始し、近接または接触を継続しながら、表示画面上のある点を中心とした同心円を描くように３本の指を移動して、３本の指の近接および接触を解除した場合に、近接または接触を開始したときの３本の指のうちの２本ずつの指の表示画面上の位置を結ぶ直線に対して、第tフレームの３本の指のうちの同じ２本ずつの指の表示画面上の位置を結ぶ直線が回転する回転角を、３本の指のうちの３通りの２本ずつの指のセット（組）について平均した回転角の絶対値が、所定の閾値以上であるときに、すなわち、３つのターゲットが生成されてから消滅するまでの間に各ターゲット間を結ぶ直線の回転角の平均値の絶対値が所定の閾値以上である場合、イベント生成部１４２は、イベント「３点回転」を発行する。
次に、図１５のフローチャートを参照して、図４のステップＳ７の表示制御処理の一例として、インデックス画面の表示制御処理について説明する。
なお、以下、図１６に示される、インデックスデータが格子状に配置されたインデックス画面を例に挙げながら説明する。図１６は、最大表示数が縦４個×横４個の１６個であるインデックス画面の例を示している。インデックス画面２０１Ｖは、インデックスデータが左上隅から縦方向に順に配置されたインデックス画面の例を示し、インデックス画面２０１Ｈは、インデックスデータが左上隅から横方向に配置されたインデックス画面の例を示している。なお、以下、インデックス画面２０１Ｖのように、インデックスデータが左上隅から縦方向に順に配置されたインデックス画面を例に挙げながら説明する。
ステップＳ１０１において、受信部１７１は、イベント「拡大」または「縮小」が発行されたかを判定する。受信部１７１は、上述した図１４のステップＳ８８において発行されたイベント「拡大」、または、ステップＳ８９において発行されたイベント「縮小」の情報をイベント生成部１４２から受信した場合、イベント「拡大」または「縮小」が発行されたと判定し、処理はステップＳ１０２に進む。
ステップＳ１０２において、受信部１７１は、インデックス画面が表示されているかを判定する。受信部１７１は、入出力ディスプレイ１３２にインデックス画面が表示されていると判定した場合、ステップＳ１０１において受信したイベント「拡大」または「縮小」の情報を基準データ設定部１７２および表示数設定部１７３に供給し、処理はステップＳ１０３に進む。
ステップＳ１０３において、基準データ設定部１７２は、指示中心上にインデックスデータが表示されているかを判定する。基準データ設定部１７２は、イベント「拡大」または「縮小」の情報に含まれる指示中心の座標が、表示中のインデックス画面内のインデックスデータのうちのいずれかの表示領域に含まれる場合、指示中心上にインデックスデータが表示されていると判定し、処理はステップＳ１０４に進む。
ステップＳ１０４において、基準データ設定部１７２は、指示中心上のインデックスデータを基準データに設定する。基準データ設定部１７２は、設定した基準データを示す情報を配置設定部１７４に供給する。
例えば、図１７の左側に示されるように、最大表示数が縦３個×横３個の９個のインデックス画面２１１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A11と位置B11で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d11から距離d12に拡げてから２本の指の近接および接触を解除したとき、位置A11の代表座標と位置B11の代表座標を結ぶ線分の中点である指示中心C11上に表示されている８番のインデックスデータが基準データに設定される。
また、図１８の左側に示されるように、最大表示数が縦２個×横２個の４個のインデックス画面２２１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A21と位置B21で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d21から距離d22に狭めてから２本の指の近接および接触を解除したとき、位置A21の代表座標と位置B21の代表座標を結ぶ線分の中点である指示中心C21上に表示されている８番のインデックスデータが基準データに設定される。
その後、処理はステップＳ１０７に進む。
一方、ステップＳ１０３において、基準データ設定部１７２は、イベント「拡大」または「縮小」の情報に含まれる指示中心の座標が、表示中のインデックス画面内のどのインデックスデータの表示領域にも含まれない場合、指示中心上にインデックスデータが表示されていないと判定し、処理はステップＳ１０５に進む。
例えば、図１９の左側に示されるように、最大表示数が縦２個×横２個の４個のインデックス画面２３１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A31と位置B31で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d31から距離d32に狭めてから２本の指の近接および接触を解除したとき、位置A31の代表座標と位置B31の代表座標を結ぶ線分の中点である指示中心C31上にはインデックスデータが表示されていないため、ステップＳ１０３において、指示中心上にインデックスデータが表示されていないと判定される。
ステップＳ１０５において、基準データ設定部１７２は、最大表示数を変更するかを判定する。例えば、指示中心上にインデックスデータが表示されていなくても、最大表示数を変更するように設定されている場合、基準データ設定部１７２は、最大表示数を変更すると判定し、処理はステップＳ１０６に進む。なお、指示中心上にインデックスデータが表示されていない場合に、最大表示数を変更するか否かは、例えば、設計者の設計方針やユーザの設定などに基づいて決定される。
ステップＳ１０６において、基準データ設定部１７２は、指示中心から最も近いインデックスデータを基準データに設定する。基準データ設定部１７２は、設定した基準データを示す情報を配置設定部１７４に供給する。
例えば、上述した図１９の左側のインデックス画面２３１の場合、指示中心C31に最も近い７番のインデックスデータが基準データに設定される。
ステップＳ１０７において、表示数設定部１７３は、最大表示数を設定する。具体的には、表示数設定部１７３は、現在のインデックス画面の最大表示数、および、イベント「拡大」の情報に示される拡大率またはイベント「縮小」の情報に示される縮小率に基づいて、最大表示数を設定する。
例えば、表示数設定部１７３は、現在のインデックス画面の最大表示数が縦３個×横３個の９個である場合、拡大率が所定の第１の閾値より大きく所定の第２の閾値以下のとき、最大表示数を縦２個×横２個の４個に設定し、拡大率が第２の閾値より大きいとき、最大表示数を縦１個×横１個の１個に設定し、縮小率が所定の第３の閾値より小さく所定の第４の閾値以上のとき、最大表示数を縦４個×横４個の１６個に設定し、縮小率が第４の閾値より小さいとき、最大表示数を縦５個×横５個の２５個に設定する。すなわち、イベント「拡大」の拡大率またはイベント「縮小」の縮小率が、インデックスデータの増加または減少の指示、および、増加または減少させる度合いを示しており、表示数設定部１７３は、拡大率または縮小率の値に基づいて、最大表示数を設定する。
なお、拡大率または縮小率の値の大小に関わらず、最大表示数を１段階だけ増加または減少させるようにするようにしてもよい。
表示数設定部１７３は、設定した最大表示数を示す情報を配置設定部１７４に供給する。
ステップＳ１０８において、配置設定部１７４は、インデックスデータの配置を設定する。具体的には、配置設定部１７４は、表示数設定部１７３により設定された最大表示数に応じた形式に基づいてインデックスデータを配置するとともに、最大表示数を変更した後のインデックス画面において、基準データが指示中心上または指示中心の近傍に表示されるようにインデックスデータの配置を設定する。
ここで、具体例として、図２０に示されるように、最大表示数が縦３個×横３個の９個のインデックス画面２４１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A41と位置B41で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d41から距離d42に拡げてから２本の指の近接および接触を解除し、最大表示数が９個から縦２個×横２個の４個に減らされたたときについて考える。このとき、位置A41の代表座標と位置B41の代表座標を結ぶ線分の中点である指示中心C41上に表示されている９番のインデックスデータが基準データに設定される。
例えば、配置設定部１７４は、最大表示数を変更した後のインデックス画面において、指示中心を含むインデックスデータの行および列に、基準データが表示されるようにインデックスデータを配置する。すなわち、図２０のインデックス画面２４２のように、指示中心C41上に９番のインデックスデータが表示されるようにインデックスデータが配置される。
あるいは、例えば、配置設定部１７４は、最大表示数を変更した後のインデックス画面において、指示中心を含むインデックスデータの行または列の少なくとも一方に基準データが表示されるようにインデックスデータを配置する。すなわち、基準データである９番のインデックスデータが、図２０のインデックス画面２４３のように、指示中心C41を含む右端の列上のいずれかの行に表示されるか、図示はしていないが、指示中心C41を含む下端の行上のいずれかの列に表示されるようにインデックスデータが配置される。
なお、例えば、先に参照した図１７の例においては、元のインデックス画面２１１において基準データに設定された８番のインデックスデータが、最大表示数を縦２個×横２個の４個に減らした後のインデックス画面２１２において、指示中心C11を含む右端の列の一番下の行に表示されるようにインデックスデータが配置される。
また、例えば、先に参照した図１８の例においては、元のインデックス画面２２１において基準データに設定された８番のインデックスデータが、最大表示数を縦３個×横３個の９個に増やした後のインデックス画面２２２において、指示中心C21上に表示されるようにインデックスデータが配置されるようにインデックスデータが配置される。
さらに、例えば、先に参照した図１９の例においては、元のインデックス画面２３１において基準データに設定された７番のインデックスデータが、最大表示数を３個×３個の９個に増やした後のインデックス画面２３２において、指示中心C31を含む右端の列の一番上の行に表示されるようにインデックスデータが配置されるようにインデックスデータが配置される。
なお、最大表示数を変更した後のインデックス画面において、指示中心を含むインデックスデータの行および列に基準データを表示しようとした場合、インデックス画面の先頭の行または列にインデックスデータが表示されない空白のマスができる場合がある。
例えば、図２１に示されるように、最大表示数が縦４個×横４個の１６個のインデックス画面２５１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A51と位置B51で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を狭めてから２本の指の近接および接触を解除し、最大表示数が縦５個×横５個の２５個に変更されたときについて考える。このとき、位置A51の代表座標と位置B51の代表座標を結ぶ線分の中点である指示中心C51上に表示されている６番のインデックスデータが基準データに設定されるが、最大表示数を２５個に増やした後のインデックス画面２５２において、指示中心C51を含むインデックスデータの行および列に基準データである６番のインデックスデータを表示しようとした場合、左端の列の先頭に空白のマスができてしまう。この場合、インデックス画面２５２をそのまま表示するようにしてもいいし、あるいは、先頭の空白のマスを埋めるように、インデックスデータを詰めて表示するようにしてもよい。
インデックスデータを詰めて表示するようにした場合、左端の列に１乃至５番のインデックスデータが表示され、左から２番目の列に６乃至１０番のインデックスデータが表示され、左から３番目の列に１１乃至１５番のインデックスデータが表示され、左から４番目の列に１６乃至２０番のインデックスデータが表示され、右端の列に２１乃至２５番のインデックスデータが表示される（ただし、２４，２５番のインデックスデータがない場合には表示されない）。
配置設定部１７４は、設定したインデックスデータの配置を示す情報を画像データ生成部１７５に供給する。
ステップＳ１０９において、画像データ生成部１７５は、インデックス画面の画像データを生成し、インデックス画面の表示制御処理は終了する。具体的には、画像データ生成部１７５は、配置設定部１７４により設定された配置に従ってインデックスデータを再配置した画像データを生成し、表示信号処理部１３１に供給する。これにより、上述した図４のステップＳ８において、最大表示数の変更に伴いインデックスデータが再配置されたインデックス画面が入出力ディスプレイ１３２の表示画面に表示される。
一方、ステップＳ１０５において、例えば、指示中心上にインデックスデータが表示されていない場合、最大表示数を変更しないように設定されている場合、基準データ設定部１７２は、最大表示数を変更しないと判定し、ステップＳ１０６乃至Ｓ１０９の処理はスキップされ、インデックス画面の表示制御処理は終了する。
この場合、例えば、図１９の例においては、図内のほぼ中央の下側の矢印により画面遷移が示されるように、インデックス画面２３１がそのまま継続して入出力ディスプレイ１３２の表示画面に表示される。
また、ステップＳ１０２において、インデックス画面が表示されていないと判定された場合、ステップＳ１０３乃至Ｓ１０９の処理はスキップされ、インデックス画面の表示制御処理は終了する。
さらに、ステップＳ１０１において、イベント「拡大」または「縮小」が発行されていないと判定された場合、ステップＳ１０２乃至Ｓ１０９の処理はスキップされ、インデックス画面の表示制御処理は終了する。
このようにして、インデックス画面の最大表示数を変更した後も、変更前に指示中心上または指示中心の近傍に表示されていた所望のインデックスデータを確実に表示することができる。また、最大表示数を変更した後のインデックス画面において、所望のインデックスデータが指示中心上または指示中心の近傍に表示されるので、ユーザは、所望のインデックスデータを迅速に見つけることができる。
なお、以上の説明では、インデックスデータが縦方向と横方向に同じ数だけ格子上に配置されたインデックス画面を例に挙げたが、もちろん、縦方向と横方向のインデックスデータの数が異なっている場合にも本発明を適用することが可能である。また、インデックスデータが格子状に配置されたインデックス画面以外のインデックス画面についても本発明を適用することが可能である。ここで、図２２乃至図２５を参照して、そのようなインデックス画面の例について説明する。
図２２および図２３には、インデックスデータを日付毎に分類して表示したインデックス画面の例が示されている。
図２２のインデックス画面２６１においては、左端には日付が表示されており、より具体的には、６月１１日と６月１２日の日付が表示されている。また、各日付の右側には、その日付に対応するインデックスデータ、例えば、その日に撮影された画像のサムネイルが表示されている。インデックス画面２６１においては、６月１１日の日付の右側に、インデックス番号が１番から６番までのインデックスデータが２行にわたって表示されており、１行目に左から順番に１番から４番までのインデックスデータが横方向に整列されて表示され、２行目には左から順番に５番から６番までのインデックスデータが横方向に整列されて表示されている。また、インデックス画面２６１の６月１２日の日付の右側には、インデックス番号が７番から１３番までのインデックスデータが２行にわたって表示されており、１行目（インデックス画面２６１全体では上から３行目）には左から順番に７番から１０番までのインデックスデータが横方向に整列されて表示され、２行目（インデックス画面２６１全体では上から４行目）には左から順番に１１番から１３番までのインデックスデータが横方向に整列されて表示されている。
例えば、インデックス画面２６１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A61と位置B61で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d61から距離d62に狭めてから２本の指の近接および接触を解除したときについて考える。
このとき、位置A61の代表座標と位置B61の代表座標を結ぶ線分の中点である指示中心C61上に表示されている８番のインデックスデータが基準データに設定される。また、インデックス画面２６１からインデックス画面２６２に入出力ディスプレイ１３２の表示が遷移する。
インデックス画面２６２においては、インデックス画面２６１と同様に、６月１１日と６月１２日の日付が表示され、日付の右側には、その日付に対応するインデックスデータが表示されている。ただし、インデックス画面２６２においては、インデックス画面２６１と比較して、最大表示数が減少し、インデックスデータの表示サイズが大きくなっている。インデックス画面２６２においては、６月１１日の日付の右側に、インデックス番号が１番から６番までのインデックスデータが２行にわたって表示されており、１行目には左から順番に１番から３番までのインデックスデータが横方向に整列されて表示され、２行目には左から順番に４番から６番までのインデックスデータが横方向に整列されて表示されている。また、インデックス画面２６２の６月１２日の日付の右側には、インデックス番号が７番から９番までのインデックスデータが左から順番に１行分だけ表示されるとともに、指示中心C61上に基準データであるインデックス番号が８番のインデックスデータが表示されている。インデックス画面２６１において表示されていたインデックス番号が１０番から１３番のインデックスデータは、インデックス画面２６２においては表示されていない。
次に、図２３に示されるように、インデックス画面２６２が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A71と位置B71で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d71から距離d72に狭めてから２本の指の近接および接触を解除したときについて考える。
このとき、位置A71の代表座標と位置B71の代表座標を結ぶ線分の中点である指示中心C71上に表示されている８番のインデックスデータが基準データに設定される。また、最大表示数が増加するとともに、基準データであるインデックス番号が８番のインデックスデータが指示中心C71上に表示されるように、インデックス画面２６２からインデックス画面２６１と同じ画面であるインデックス画面２６３に入出力ディスプレイ１３２の表示が遷移する。
図２４および図２５には、インデックスデータが曲名であり、収録されているアルバム毎に各曲名を分類して表示したインデックス画面の例が示されている。
図２４のインデックス画面２８１においては、アルバム名１およびアルバム名２の２つのアルバム名が画面の左端から表示されている。アルバム名１とアルバム名２の間には、アルバム名１のアルバムに収録されている曲名１乃至曲名５のインデックスデータが縦方向に並べて表示され、アルバム名２の下側には、アルバム名２のアルバムに収録されている曲名１乃至曲名５のインデックスデータが縦方向に並べて表示されている。また、各曲名は、アルバム名の表示が開始される位置よりも右方向にずれた位置から表示が開始されている。
例えば、インデックス画面２８１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A81と位置B81で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d81から距離d82に狭めてから２本の指の近接および接触を解除したときについて考える。
このとき、位置A81の代表座標と位置B81の代表座標を結ぶ線分の中点である指示中心C81上に表示されているアルバム１の曲名２が基準データに設定される。また、インデックス画面２８１からインデックス画面２８２に入出力ディスプレイ１３２の表示が遷移する。
インデックス画面２８２においては、最大表示数が減少し、各データの文字が拡大されて表示されている。また、基準データであるアルバム１の曲名２が指示中心C81上に表示され、アルバム１の曲名２を中心に、各アルバム名および各曲名がインデックス画面２８１と同じ順序で表示される。従って、インデックス画面２８２において、アルバム名１、および、アルバム名２の曲名１乃至４は表示されなくなり、アルバム１の曲名１乃至５の表示される文字数も短くなる。
なお、図２４および図２５において、インデックス画面２８２からはみ出している文字は、説明を分かりやすくするために記載しているものであり、実際にはユーザから見えない文字である。
次に、図２５に示されるように、インデックス画面２８２が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A91と位置B91で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d91から距離d92に狭めてから２本の指の近接および接触を解除したときについて考える。
このとき、位置A91の代表座標と位置B91の代表座標を結ぶ線分の中点である指示中心C91上に表示されているアルバム１の曲名２が基準データに設定される。また、最大表示数が増加するとともに、基準データであるアルバム１の曲名２が指示中心C91上に表示されるように、インデックス画面２８２からインデックス画面２８１と同じ画面であるインデックス画面２８３に入出力ディスプレイ１３２の表示が遷移する。
図２６は、本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。
図２６の表示システム３０１では、図１における制御部１１２に、入出力パネル１１６の生成部１３５が移動されている。
すなわち、図２６において、アンテナ３１０、信号処理部３１１、記憶部３１３、操作部３１４、通信部３１５、表示制御部３２１、表示信号処理部３３１、入出力ディスプレイ３３２、光センサ３３２Ａ、受光信号処理部３３３、画像処理部３３４、及び生成部３３５は、図２におけるアンテナ１１０、信号処理部１１１、記憶部１１３、操作部１１４、通信部１１５、表示制御部１２１、表示信号処理部１３１、入出力ディスプレイ１３２、光センサ１３２Ａ、受光信号処理部１３３、画像処理部１３４、及び生成部１３５と同様に構成されるので、表示システム３０１は、図２における表示システム１０１と同様に表示受光制御処理を行うことができる。ただし、図２の生成部１３５の記憶部１４３として、図２６では、記憶部３１３が使用されている。
図２７は、本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。
図２７の表示システム４０１では、図１における制御部１１２に、入出力パネル１１６の生成部１３５と画像処理部１３４が移動されている。
すなわち、図２７において、アンテナ４１０、信号処理部４１１、記憶部４１３、操作部４１４、通信部４１５、表示制御部４２１、表示信号処理部４３１、入出力ディスプレイ４３２、光センサ４３２Ａ、受光信号処理部４３３、画像処理部４３４、及び生成部４３５は、図２におけるアンテナ１１０、信号処理部１１１、記憶部１１３、操作部１１４、通信部１１５、表示制御部１２１、表示信号処理部１３１、入出力ディスプレイ１３２、光センサ１３２Ａ、受光信号処理部１３３、画像処理部１３４、及び生成部１３５と同様に構成されるので、表示システム４０１は、図２における表示システム１０１と同様に表示受光制御処理を行うことができる。
図２８は、本発明を適用した入出力パネル６０１の外観の構成の例を示している。図２８に示されるように、入出力パネル６０１はフラット型のモジュール形状をしている。入出力パネル６０１においては、例えば、絶縁性の基板６１１上に、液晶素子、薄膜トランジスタ、薄膜容量、受光素子等からなる画素をマトリックス状に集積形成した画素アレイ部６１３が設けられる。また、この画素アレイ部６１３を囲むように接着剤を配し、ガラス等の対向基板６１２が貼り付けられる。さらに、入出力パネル６０１には、外部から画素アレイ部６１３への信号等を入出力するためのコネクタ６１４Ａおよび６１４Ｂが設けられる。コネクタ６１４Ａおよび６１４Ｂは、例えば、ＦＰＣ（フレキシブルプリントサーキット）により構成される。
以上に説明した本発明における入出力パネルは、例えば、フラットパネル形状を有し、例えば、デジタルカメラ、ノート型パーソナルコンピュータ、携帯電話機、ビデオカメラなど、電子機器に入力された、または、電子機器内で生成した映像信号を、画像または映像として表示するあらゆる分野の電子機器のディスプレイに適用することが可能である。以下この様な入出力パネルが適用された電子機器の例を示す。
図２９には、本発明が適用されたテレビジョン受像機の一実施の形態が示されている。図２９のテレビジョン受像機６２１は、フロントパネル６３１Ａ、フィルターガラス６３１Ｂ等から構成される映像表示部６３１を含み、例えば、映像表示部６３１に本発明の入出力パネルが適用される。
図３０には、本発明が適用されたデジタルカメラの一実施の形態が示されており、上が正面図で下が背面図である。図３０のデジタルカメラ６４１は、撮像レンズ、フラッシュ用の発光部６５１、表示部６５２、コントロールスイッチ、メニュースイッチ、シャッター６５３等を含み、例えば、表示部６５２に本発明の入出力パネルが適用される。
図３１には、本発明が適用されたノート型パーソナルコンピュータの一実施の形態が示されている。図３１のパーソナルコンピュータ６６１の本体部６６１Ａは、文字等を入力するとき操作されるキーボード６７１を含み、本体カバー部６６１Ｂは、画像を表示する表示部６７２を含んでいる。例えば、表示部６７２に本発明の入出力パネルが適用される。
図３２には、本発明が適用された携帯端末装置の一実施の形態が示されており、左側の図が携帯端末装置を開いた状態を表し、右側の図が携帯端末装置を閉じた状態を表している。図３２の携帯端末装置６８１は、上側筐体６８１Ａと下側筐体６８１Ｂがヒンジ部６８１により連結され、ディスプレイ６９１、サブディスプレイ６９２、ピクチャーライト６９３、カメラ６９４等を含む。例えば、ディスプレイ６９１やサブディスプレイ６９２に本発明の入出力パネルが適用される。
図３３には、本発明が適用されたビデオカメラの一実施の形態が示されている。図２５のビデオカメラ７０１は、本体部７１１、前方を向いた側面に被写体撮影用のレンズ７１２、撮影時のスタート／ストップスイッチ７１３、モニタ７１４等を含み、例えば、モニタ７１４に本発明の入出力パネルが適用される。
なお、本発明は、この他にも、例えば、音楽プレイヤー、ビデオレコーダなど、インデックス画面を表示する装置に適用することが可能である。
なお、以上の説明では、入出力ディスプレイ上の２点を指示し、その２点間の中点を指示中心とする例を示したが、入出力ディスプレイ上の１点を指示中心として指またはペンなどで直接指示するようにしてもよい。この場合、上述したイベント「拡大」の拡大率、または、イベント「縮小」の縮小率に相当する値、すなわち、最大表示数の増加または減少の度合いを示す値を、例えば、ボタン、スイッチ、ポインティングスティック、円盤状のホイールなどの入力手段を用いて入力し、入力された値に基づいて、インデックス画面の最大表示数を設定するようにすることが考えられる。また、これらの入力手段に相当するボタンなどの入力インタフェースを入出力ディスプレイ上に表示するようにしてもよい。
また、この場合、パネル上で指示される点の数が１つなので、例えば、入出力パネルの代わりにタッチパネルを表示手段として適用することも可能である。図３４は、入出力パネルの代わりにタッチパネルを表示手段として適用した場合の表示システムの一実施の形態を示すブロック図である。なお、図中、図２と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
図３４の表示システム８０１は、アンテナ８１０、信号処理部８１１、制御部８１２、記憶部８１３、操作部８１４、通信部８１５、及び、タッチパネルモジュール付表示パネル８１６から構成される。
制御部８１２は、表示制御部８２１を含み、表示制御部８２１は、信号処理部８１１から供給される画像データ等をタッチパネルモジュール付表示パネル８１６に供給する。また、表示制御部８２１は、タッチパネルモジュール付表示パネル８１６から供給される点情報、および、操作部８１４から供給される操作信号に基づいて、必要に応じて、画像データを、タッチパネルモジュール付表示パネル８１６のディスプレイ（表示部）８４１に供給することにより、ディスプレイ８４１の表示状態を変更させる等の表示制御を行う。
この表示制御には、図１５乃至図２５を参照して上述したインデックス画面の表示制御が含まれる。すなわち、表示制御部８２１は、ディスプレイ８４１の表示面全体を覆うように配置されたタッチパネルモジュール８４２上において指示された１点を指示中心とし、操作部８１４からの操作信号に基づいて、最大表示数の増加または減少の度合いを設定し、さらに、インデックス画面の最大表示数を設定し、図１５乃至図２５を参照して上述したインデックス画面の表示制御を行う。
操作部８１４は、例えば、ボタン、スイッチ、ポインティングスティック、円盤状のホイール等から構成される。操作部８１４は、ユーザによって操作されることにより、その操作に対応する操作信号を生成し、制御部８１２に供給する。
タッチパネルモジュール付表示パネル８１６は、制御部８１２から供給される画像データに対応する画像をディスプレイ８４１に表示するとともに、タッチパネルモジュール８４２に指等の物体を接触させることにより入力される点情報を制御部８１２に供給する。
タッチパネルモジュール付表示パネル８１６は、表示信号処理部８３１、ディスプレイ８４１、および、タッチパネルモジュール８４２から構成される。
表示信号処理部８３１は、制御部８１２から供給される画像データに対して、ディスプレイ８４１に表示するための処理を施し、その結果得られる画像データを、ディスプレイ８４１に供給する。
ディスプレイ８４１は、表示信号処理部８３１から供給される画像データに対応する画像を表示する。
タッチパネルモジュール８４２は、指等の物体が接触している部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の点情報を制御部８１２に供給する。
図３５および図３６は、タッチパネルモジュール付表示パネル８１６が抵抗膜式タッチパネルにより構成される場合のタッチパネルモジュール８４２の構成の例を示す図である。
このタッチパネルモジュール８４２は、上部基板８６１ａおよび上部透明電極８６２ａから構成される上部パネル８５１Ａ、並びに、下部基板８６１ｂおよび下部透明電極８６２ｂから構成される下部パネル８５１Ｂから構成される。上部パネル８５１Ａと下部パネル８５１Ｂの間には非常に小さなスペーサ８７１が挟まれており、上部パネル８５１Ａ及び下部パネル８５１Ｂの対面する表面には、縦及び横の直交するITO（Indium Tin Oxide）の抵抗膜による上部透明電極８６２ａ、下部透明電極８６２ｂがそれぞれ設けられている。
通常状態ではスペーサ８７１によって上部透明電極８６２ａと下部透明電極８６２ｂが分離されているため電気は流れていない。一方、図３５に示すように、ペン先などで上部パネル８５１Ａを押下すると、その圧力で上部透明電極８６２ａと下部透明電極８６２ｂが接触して通電する。このとき、導通点を境に上部透明電極８６２ａ及び下部透明電極８６２ｂ上で生じる各抵抗値に基づく電圧比を測定することで、導通点のタッチパネル上の位置が検出される。
図３６は、抵抗膜式タッチパネルの構造及び動作回路を簡略化して例示した図である。上部透明電極８６２ａの抵抗膜によってＸ方向、下部透明電極８６２ｂの抵抗膜によってＹ方向の分圧比が測定されており、上部パネル８５１Ａの点Ａ（入力点）が押下されると、その圧力で上部透明電極８６２ａと下部透明電極８６２ｂが接触して通電する。
このとき、上部透明電極８６２ａにおいて、点Ａ（入力点）を境に生じる抵抗値Ｒｘ１とＲｘ２に応じた直流電圧Ｖｘ１及びＶｘ２が測定され、下部透明電極８６２ｂにおいて、点Ａ（入力点）を境に生じる抵抗値Ｒｙ１とＲｙ２に応じた直流電圧Ｖｙ１及びＶｙ２が測定される。
そして、測定した上部透明電極８６２ａ（Ｘ方向）の電圧比Ｖｘ１／Ｖｘ２、下部透明電極８６２ｂ（Ｙ方向）の電圧比Ｖｙ１／Ｖｙ２によって、タッチパネル上の点Ａ（入力点）の位置を検出することができる。
さらに、例えば、入出力パネルやタッチパネルの代わりに、パネル上の点に対する入力をできない表示手段を適用して、マウス、トラックパッド、トラックボールなどのポインティングデバイスを用いて画面内に表示されるカーソルなどにより指示中心を指示するようすることも可能である。
また、本発明の実施の形態においては、最大表示数を増減する前のインデックスデータの配置を記憶しておき、最大表示数を変更した後に最大表示数を元に戻した場合、最大表示数を増減する前と同様にインデックスデータを配置して表示するようにしてもよい。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１０１ 表示システム， １１６ 入出力パネル， １２１ 表示制御部， １３２ 入出力ディスプレイ， １３２Ａ 光センサ， １６１ インデックス表示制御部， １７１ 受信部， １７２ 基準データ設定部， １７３ 表示数設定部， １７４ 配置設定部， １７５ 画像データ生成部， ３０１ 表示システム， ３１６ 入出力パネル， ３２１ 表示制御部， ３３２ 入出力ディスプレイ， ３３２Ａ 光センサ， ４０１ 表示システム， ４１６ 入出力パネル， ４２１ 表示制御部， ４３２ 入出力ディスプレイ， ４３２Ａ 光センサ， ６０１ 入出力パネル， ６２１ テレビジョン受像機， ６３１ 映像表示部， ６４１ デジタルカメラ， ６５２ 表示部， ６６１ パーソナルコンピュータ， ６７２ 表示部， ６８１ 携帯端末装置， ６９１ ディスプレイ， ６９２ サブディスプレイ， ７０１ ビデオカメラ， ７１４ モニタ， ８０１ 表示システム， ８１６ タッチパネルモジュール付表示パネル， ８２１ 表示制御部， ８４１ ディスプレイ， ８４２ タッチパネルモジュール
Claims (11)
- 表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御する表示制御装置において、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、
前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、
前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる表示制御手段と
を含む表示制御装置。 - 前記インデックス画面においては、前記データが格子状に配置されており、
前記配置設定手段は、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置を含む行または列に配置されるように前記データの配置を設定する
請求項１に記載の表示制御装置。 - 前記表示装置は、表示画面上の複数の点に対する入力が可能であり、
前記取得手段は、前記表示画面上において指示された点の位置を前記指示位置として取得する
請求項１に記載の表示制御装置。 - 前記表示装置は、画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力部を有し、
前記取得手段は、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得し、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得する
請求項１に記載の表示制御装置。 - 表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御する表示制御方法において、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得し、
前記増減情報に基づいて、前記データの最大表示数を設定し、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定し、
前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる
ステップを含む表示制御方法。 - 表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御するコンピュータに実行させるプログラムにおいて、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得し、
前記増減情報に基づいて、前記データの最大表示数を設定し、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定し、
前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる
ステップを含むプログラム。 - 表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示装置において、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、
前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、
前記最大表示数を変更した後の前記インデックス画面を表示させる表示制御手段と
を含む表示装置。 - 前記インデックス画面においては、前記データが格子状に配置されており、
前記配置設定手段は、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置を含む行または列に配置されるように前記データの配置を設定する
請求項７に記載の表示装置。 - 表示画面上の複数の点に対する入力が可能であり、
前記取得手段は、前記表示画面上において指示された点の位置を前記指示位置として取得する
請求項７に記載の表示装置。 - 画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力手段を
さらに含み、
前記取得手段は、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得し、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得する
請求項７に記載の表示装置。 - 表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示部を有する撮像装置において、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、
前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、
前記最大表示数を変更した後の前記インデックス画面を前記表示部に表示させる表示制御手段と
を含む撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007142946A JP2008299474A (ja) | 2007-05-30 | 2007-05-30 | 表示制御装置および方法、表示装置、撮像装置、並びに、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007142946A JP2008299474A (ja) | 2007-05-30 | 2007-05-30 | 表示制御装置および方法、表示装置、撮像装置、並びに、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008299474A true JP2008299474A (ja) | 2008-12-11 |
| JP2008299474A5 JP2008299474A5 (ja) | 2010-07-01 |
Family
ID=40172971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007142946A Pending JP2008299474A (ja) | 2007-05-30 | 2007-05-30 | 表示制御装置および方法、表示装置、撮像装置、並びに、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008299474A (ja) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010277545A (ja) * | 2009-06-01 | 2010-12-09 | Panasonic Corp | 文字入力装置および文字変換方法 |
| JP2010277151A (ja) * | 2009-05-26 | 2010-12-09 | Sony Corp | 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器 |
| JP2011003977A (ja) * | 2009-06-16 | 2011-01-06 | Sony Corp | 表示装置、表示方法及び表示プログラム |
| JP2011008777A (ja) * | 2009-05-26 | 2011-01-13 | Sony Corp | 物体近接検出装置、物体近接検出方法および物体近接検出プログラム |
| EP2309370A2 (en) | 2009-10-02 | 2011-04-13 | Sony Corporation | Information processing apparatus, information processing method, and information processing program |
| JP2011141680A (ja) * | 2010-01-06 | 2011-07-21 | Kyocera Corp | 入力装置、入力方法および入力プログラム |
| JP2011150412A (ja) * | 2010-01-19 | 2011-08-04 | Sony Corp | 表示制御装置、表示制御方法及び表示制御プログラム |
| JP2011180288A (ja) * | 2010-02-26 | 2011-09-15 | Canon Inc | 表示制御装置、及びその制御方法 |
| JP2011257923A (ja) * | 2010-06-08 | 2011-12-22 | Sony Corp | 表示制御装置、表示制御方法、表示制御プログラム並びにこの表示制御プログラムが記録された記録媒体 |
| CN102609170A (zh) * | 2011-01-25 | 2012-07-25 | 仁宝电脑工业股份有限公司 | 电子装置及其信息呈现方法 |
| JP2012173890A (ja) * | 2011-02-18 | 2012-09-10 | Kddi Corp | 指のピンチ操作によってタイムスケールを切り替えるユーザインタフェースプログラム、端末及び方法 |
| JP2013506909A (ja) * | 2009-09-30 | 2013-02-28 | マイクロソフト コーポレーション | 動的画像表示方法及びシステム |
| JP2013120598A (ja) * | 2011-12-06 | 2013-06-17 | Lg Display Co Ltd | タッチ領域ラベリング方法及びタッチセンサ駆動装置 |
| JP2013137750A (ja) * | 2011-11-28 | 2013-07-11 | Kyocera Corp | 装置、方法、及びプログラム |
| JP2014112337A (ja) * | 2012-12-05 | 2014-06-19 | Fuji Xerox Co Ltd | 情報処理装置、およびプログラム |
| JP2015122120A (ja) * | 2013-01-25 | 2015-07-02 | 株式会社モルフォ | 画像表示装置、画像表示方法およびプログラム |
| JP2015184755A (ja) * | 2014-03-20 | 2015-10-22 | コニカミノルタ株式会社 | 操作パネル装置 |
| US9313406B2 (en) | 2012-08-29 | 2016-04-12 | Canon Kabushiki Kaisha | Display control apparatus having touch panel function, display control method, and storage medium |
| JP5971632B2 (ja) * | 2011-05-26 | 2016-08-17 | パナソニックＩｐマネジメント株式会社 | 電子機器および合成画像の編集方法 |
| JP2017134466A (ja) * | 2016-01-25 | 2017-08-03 | シャープ株式会社 | 画像処理装置、画像処理システム、移動体、画像処理方法、および画像処理プログラム |
| JP2018010476A (ja) * | 2016-07-13 | 2018-01-18 | 富士ゼロックス株式会社 | 表示制御装置及び表示制御プログラム |
| US9990354B2 (en) | 2013-01-31 | 2018-06-05 | Casio Computer Co., Ltd. | Information displaying apparatus, method of displaying information, information displaying system, and server apparatus and terminal device |
| US10152222B2 (en) | 2009-05-19 | 2018-12-11 | Sony Corporation | Digital image processing device and associated methodology of performing touch-based image scaling |
| CN110427887A (zh) * | 2019-08-02 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 一种基于智能的会员身份识别方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000033571A1 (en) * | 1998-11-30 | 2000-06-08 | Sony Corporation | Information providing device and method |
| JP2002311820A (ja) * | 2001-04-13 | 2002-10-25 | Fujitsu Ten Ltd | 情報処理装置 |
-
2007
- 2007-05-30 JP JP2007142946A patent/JP2008299474A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000033571A1 (en) * | 1998-11-30 | 2000-06-08 | Sony Corporation | Information providing device and method |
| JP2002311820A (ja) * | 2001-04-13 | 2002-10-25 | Fujitsu Ten Ltd | 情報処理装置 |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10152222B2 (en) | 2009-05-19 | 2018-12-11 | Sony Corporation | Digital image processing device and associated methodology of performing touch-based image scaling |
| JP2010277151A (ja) * | 2009-05-26 | 2010-12-09 | Sony Corp | 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器 |
| JP2011008777A (ja) * | 2009-05-26 | 2011-01-13 | Sony Corp | 物体近接検出装置、物体近接検出方法および物体近接検出プログラム |
| US9176625B2 (en) | 2009-05-26 | 2015-11-03 | Japan Display Inc. | Information input device, information input method, information input-output device, storage medium, and electronic unit |
| JP2010277545A (ja) * | 2009-06-01 | 2010-12-09 | Panasonic Corp | 文字入力装置および文字変換方法 |
| JP2011003977A (ja) * | 2009-06-16 | 2011-01-06 | Sony Corp | 表示装置、表示方法及び表示プログラム |
| EP2483770B1 (en) * | 2009-09-30 | 2020-09-02 | Microsoft Technology Licensing, LLC | Dynamic image presentation |
| US10037593B2 (en) | 2009-09-30 | 2018-07-31 | Microsoft Technology Licensing, Llc | Dynamic image presentation |
| JP2013506909A (ja) * | 2009-09-30 | 2013-02-28 | マイクロソフト コーポレーション | 動的画像表示方法及びシステム |
| US9383916B2 (en) | 2009-09-30 | 2016-07-05 | Microsoft Technology Licensing, Llc | Dynamic image presentation |
| US8847978B2 (en) | 2009-10-02 | 2014-09-30 | Sony Corporation | Information processing apparatus, information processing method, and information processing program |
| EP2309370A2 (en) | 2009-10-02 | 2011-04-13 | Sony Corporation | Information processing apparatus, information processing method, and information processing program |
| JP2011141680A (ja) * | 2010-01-06 | 2011-07-21 | Kyocera Corp | 入力装置、入力方法および入力プログラム |
| JP2011150412A (ja) * | 2010-01-19 | 2011-08-04 | Sony Corp | 表示制御装置、表示制御方法及び表示制御プログラム |
| JP2011180288A (ja) * | 2010-02-26 | 2011-09-15 | Canon Inc | 表示制御装置、及びその制御方法 |
| JP2011257923A (ja) * | 2010-06-08 | 2011-12-22 | Sony Corp | 表示制御装置、表示制御方法、表示制御プログラム並びにこの表示制御プログラムが記録された記録媒体 |
| CN102609170B (zh) * | 2011-01-25 | 2014-10-29 | 仁宝电脑工业股份有限公司 | 电子装置及其信息呈现方法 |
| CN102609170A (zh) * | 2011-01-25 | 2012-07-25 | 仁宝电脑工业股份有限公司 | 电子装置及其信息呈现方法 |
| JP2012155698A (ja) * | 2011-01-25 | 2012-08-16 | Renbao Computer Industry Co Ltd | 電子装置およびその情報表示方法 |
| JP2012173890A (ja) * | 2011-02-18 | 2012-09-10 | Kddi Corp | 指のピンチ操作によってタイムスケールを切り替えるユーザインタフェースプログラム、端末及び方法 |
| JP5971632B2 (ja) * | 2011-05-26 | 2016-08-17 | パナソニックＩｐマネジメント株式会社 | 電子機器および合成画像の編集方法 |
| JP2013137750A (ja) * | 2011-11-28 | 2013-07-11 | Kyocera Corp | 装置、方法、及びプログラム |
| US8847901B2 (en) | 2011-12-06 | 2014-09-30 | Lg Display Co., Ltd. | Labeling touch regions of a display device |
| US9182848B2 (en) | 2011-12-06 | 2015-11-10 | Lg Display Co., Ltd. | Labeling touch regions of a display device |
| JP2013120598A (ja) * | 2011-12-06 | 2013-06-17 | Lg Display Co Ltd | タッチ領域ラベリング方法及びタッチセンサ駆動装置 |
| US9313406B2 (en) | 2012-08-29 | 2016-04-12 | Canon Kabushiki Kaisha | Display control apparatus having touch panel function, display control method, and storage medium |
| JP2014112337A (ja) * | 2012-12-05 | 2014-06-19 | Fuji Xerox Co Ltd | 情報処理装置、およびプログラム |
| JP2015122120A (ja) * | 2013-01-25 | 2015-07-02 | 株式会社モルフォ | 画像表示装置、画像表示方法およびプログラム |
| US9990354B2 (en) | 2013-01-31 | 2018-06-05 | Casio Computer Co., Ltd. | Information displaying apparatus, method of displaying information, information displaying system, and server apparatus and terminal device |
| JP2015184755A (ja) * | 2014-03-20 | 2015-10-22 | コニカミノルタ株式会社 | 操作パネル装置 |
| JP2017134466A (ja) * | 2016-01-25 | 2017-08-03 | シャープ株式会社 | 画像処理装置、画像処理システム、移動体、画像処理方法、および画像処理プログラム |
| JP2018010476A (ja) * | 2016-07-13 | 2018-01-18 | 富士ゼロックス株式会社 | 表示制御装置及び表示制御プログラム |
| CN110427887A (zh) * | 2019-08-02 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 一种基于智能的会员身份识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008299474A (ja) | 表示制御装置および方法、表示装置、撮像装置、並びに、プログラム | |
| US10686990B2 (en) | Mobile terminal and method of controlling the same | |
| EP3226537B1 (en) | Mobile terminal and method for controlling the same | |
| US10212365B2 (en) | Method and apparatus for creating motion effect for image | |
| US9460689B2 (en) | Mobile terminal and method for controlling the same | |
| US9013368B1 (en) | Foldable mobile device and method of controlling the same | |
| US8441460B2 (en) | Apparatus and method for providing side touch panel as part of man-machine interface (MMI) | |
| KR101233562B1 (ko) | 3ｄ 리모콘에서 사용하기 위한 ｇｕｉ 애플리케이션 | |
| US10044928B2 (en) | Mobile terminal and method for controlling the same | |
| US20120032988A1 (en) | Display control apparatus that displays list of images onto display unit, display control method, and storage medium storing control program therefor | |
| KR101984673B1 (ko) | 복수 어플리케이션을 실행하는 디스플레이 장치 및 그 제어 방법 | |
| US10095386B2 (en) | Mobile device for displaying virtually listed pages and displaying method thereof | |
| US20110209080A1 (en) | Display method and electronic device for using the same | |
| CN112230914B (zh) | 小程序的制作方法、装置、终端及存储介质 | |
| JP4333768B2 (ja) | 表示装置 | |
| US20170142372A1 (en) | Method of displaying surveillance video and computer program product therefor | |
| US20160227269A1 (en) | Display apparatus and control method thereof | |
| CN112825040A (zh) | 用户界面的显示方法、装置、设备及存储介质 | |
| CN106250503B (zh) | 一种图片处理的方法及移动终端 | |
| US11119599B2 (en) | Display device | |
| CN108108098B (zh) | 一种图像选取方法及移动终端 | |
| KR101604815B1 (ko) | 이동 단말기 및 그의 플렉서블 디스플레이를 이용한 동영상 제어방법 | |
| KR20160000795A (ko) | 이동단말기 및 그 제어방법 | |
| KR102220306B1 (ko) | 이동단말기 및 그 제어방법 | |
| HK40037429A (en) | Mini-program production method and apparatus, terminal, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100513 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100513 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120223 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120321 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120330 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120529 |