JP2009175761A

JP2009175761A - 表示装置

Info

Publication number: JP2009175761A
Application number: JP2009114193A
Authority: JP
Inventors: Ryoichi Tsuzaki; 亮一津崎; Kazunori Yamaguchi; 和範山口; Tsutomu Harada; 勉原田; Mitsuru Tateuchi; 満建内
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-05-11
Filing date: 2009-05-11
Publication date: 2009-08-06

Abstract

【課題】表示画面の損傷および汚れを防止する。
【解決手段】画像の表示と外部からの入力に対応する光の検出とを行い、表示画面５１Ａ上の複数の点に対する入力が可能な入出力ディスプレイ２２の本体部５１の表示画面５１Ａに、透明なシート上の保護部材５２が接着され、表示画面５１が保護部材５２により覆われている。本発明は、例えば、入出力ディスプレイを有する携帯電話機等に適用できる。
【選択図】図２

Description

本発明は、表示装置に関し、特に、画像の表示と外部からの入力に対応する光の検出を行う入出力部を有する表示装置に関する。

パネル上の点に関する情報を、複数の点について出力可能なパネルとして、例えば、液晶表示装置に光センサを内蔵させ、外部からの光の入力を光センサで検出することにより、光による入力が可能な表示パネル（以下、入出力パネルとも称する）が提案されている（例えば、特許文献１参照）。

入出力パネルにおいて、光による入力を検出する方法としては、大きく分けて、LED(Light Emitting Diode)等の外部光源を持つ物体（例えば、ペンなど）をユーザに操作させる方法と、そのような外部光源を持たない指やペン等で入力操作させ、液晶表示装置が発する光、つまり、液晶表示装置のバックライトの透過光が、液晶表示装置の表示画面に近づいている指やペンで反射して液晶表示装置の内部に戻ってくる光を光センサで検出する方法とがある。

また、静電式や感圧式のタッチパネルでは、外部からの入力に対して、その入力があったタッチパネル上の点に関する情報（例えば、点の座標等）である点情報が出力されるが、その点情報は、１つの点についてのみ出力可能であった。

すなわち、例えば、ユーザが、タッチパネル上の２つの点にタッチしても、タッチパネルでは、その２つの点のうちの、圧力の強い方の点や、先にタッチされた方の点等の１つの点のみについて、点情報が出力される。

これに対して、入出力パネルでは、複数の点の点情報を出力することができ、今後、従来のタッチパネルが適用されていた製品等のアプリケーションへの適用が期待されている。

特開２００４−１２７２７２号公報

入出力パネルの表示画面は、画像の表示を行うととともに、外部から入射する光を受光する受光面でもある。従って、表示画面が損傷したり、埃、手垢などにより汚れたりすると、視認性とともに、受光感度も低下してしまう。

本発明は、このような状況に鑑みてなされたものであり、表示画面の損傷および汚れを防止できるようにするものである。

本発明の一側面の表示装置は、複数の画素による画像の表示と外部からの入力に対応する光の検出をフレーム単位で複数の光センサにより行う入出力部を有し、前記入出力部の表示画面上の複数の点に対する入力が可能であり、透明または半透明なシート状の保護部材が前記表示画面を覆うように接着され、前記外部からの異なるフレーム間の入力の変化に基づき前記表示画面状の表示状態を制御する制御部を備える。

前記保護部材の波長特性は、前記光センサの受光感度に合わせて設定することができる。

前記保護部材の前記表示画面に接着されている面は、粘着性のある樹脂素材にすることができる。

前記複数の光センサが受光した信号を処理して得られる前記表示画面内の位置情報を含むターゲット情報と、異なるフレーム間の前記ターゲット情報の変化から得られるイベント情報とを記憶する記憶部をさらに設け、前記制御部には、前記ターゲット情報およびイベント情報に基づき前記表示画面上の表示状態を制御させることができる。

前記保護部材の表面には、所定の形の凹または凸状の加工を施すことができる。

前記保護部材の表面には、前記表示画面に表示される操作部に対応した形の凹または凸状の加工を施すことができる。

本発明の一側面においては、画像の表示と外部からの入力に対応する光の検出を行う入出力部を有し、前記入出力部の表示画面上の複数の点に対する入力が可能な表示装置の表示画面に、透明または半透明なシート状の保護部材が前記表示画面を覆うように接着されている。

本発明の一側面によれば、画像の表示と外部からの入力に対応する光の検出を行う入出力部を有する表示装置の表示画面の損傷および汚れを防止することができ、表示装置の視認性および受光感度の低下を防止することができる。

本発明を適用した表示システムの一実施の形態の構成を示すブロック図である。入出力ディスプレイの外観の構成の例を模式的に示す図である。入出力ディスプレイの本体部の階層構造の例を模式的に示す図である。入出力ディスプレイの動作を制御するドライバの配置の例を示す図である。入出力ディスプレイの画素の１画素あたりの回路の構成の例を示す図である。表示システムによる表示受光制御処理を説明するフローチャートである。表示受光制御処理を行うソフトウェアの構成を説明する図である。時刻tの第tフレームに存在するターゲットを表す図である。第t+1フレームの統合処理前の入力部分を表す図である。第tフレームと第t+1フレームとを重ね合わせた状態を表す図である。受光画像を示す図である。図６のステップＳ４の統合処理を説明するフローチャートである。生成部から出力されるターゲットとイベントの情報の例を表す図である。生成部から出力されるターゲットとイベントの情報の他の例を表す図である。入出力ディスプレイの外観の構成の他の例を模式的に示す図である。入出力ディスプレイの外観の構成のさらに他の例を模式的に示す図である。入出力ディスプレイの外観の構成のさらに他の例を模式的に示す図である。本発明を適用した表示システムの他の一実施の形態の構成を示すブロック図である。本発明を適用した表示システムの他の一実施の形態の構成を示すブロック図である。本発明にかかる入出力パネルのモジュール構成を示す平面図である。本発明にかかる入出力パネルを備えたテレビジョンセットを示す斜視図である。本発明にかかる入出力パネルを備えたデジタルカメラを示す斜視図である。本発明にかかる入出力パネルを備えたノート型パーソナルコンピュータを示す斜視図である。本発明にかかる入出力パネルを備えた携帯端末装置を示す模式図である。本発明にかかる入出力パネルを備えたビデオカメラを示す斜視図である。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の表示装置は、画像の表示と外部からの入力に対応する光の検出を行う入出力部（例えば、図１の入出力ディスプレイ２２）を有し、前記入出力部の表示画面（例えば、図２の表示画面５１Ａ）上の複数の点に対する入力が可能であり、透明または半透明なシート状の保護部材（例えば、図２の保護部材５２、図１５の保護部材２１１、図１６の保護部材２３１、または、図１６の保護部材２６１）が前記表示画面を覆うように接着されている。

以下、図面を参照して本発明を適用した実施の形態について説明する。

図１は、本発明を適用した表示システムの一実施の形態の構成例を示すブロック図である。

図１において、表示システム１は、例えば、携帯電話機やTV(Television)受像機等を構成する。

表示システム１は、アンテナ１０、信号処理部１１、制御部１２、記憶部１３、操作部１４、通信部１５、及び入出力パネル１６から構成される。

信号処理部１１は、アンテナ１０で受信された地上波や衛星波等のテレビジョン放送の放送電波を復調し、その結果得られる画像データ及び音声データを制御部１２に供給する。

制御部１２は、操作部１４から供給されるユーザの操作に対応する操作信号に基づいて、各種の処理を行い、その過程で一時的に記憶すべきデータを、記憶部１３に供給する。また、制御部１２は、信号処理部１１から供給される画像データ等を入出力パネル１６に供給する。さらに、制御部１２は、入出力パネル１６から供給される、後述するターゲットとイベントの情報に基づいて、必要に応じて、画像データを、入出力パネル１６の入出力ディスプレイ２２に供給することにより、入出力ディスプレイ２２の表示状態を変更させる等の表示制御を行う。

記憶部１３は、例えば、RAM(Random Access Memory)から構成される。記憶部１３は、制御部１２から供給されるデータを一時的に記憶する。

操作部１４は、例えば、テンキー、キーボード等から構成される。操作部１４は、ユーザによって操作されることにより、その操作に対応する操作信号を生成し、制御部１２に供給する。

通信部１５は、例えば、図示せぬ無線局との間で無線電波を用いて通信を行う。

入出力パネル１６は、制御部１２から供給される画像データに対応する画像を入出力ディスプレイ２２に表示するとともに、入出力ディスプレイ２２から出力される受光信号から検出される１以上の点に対する入力の情報に、後述する統合処理と認識処理を施すことにより、ターゲットとイベントの情報を生成し、制御部１２に供給する。

すなわち、入出力パネル１６は、表示信号処理部２１、入出力ディスプレイ２２、受光信号処理部２３、画像処理部２４、及び生成部２５から構成される。

表示信号処理部２１は、制御部１２から供給される画像データに対して、入出力ディスプレイ２２に表示するための処理を施し、その結果得られる画像データを、入出力ディスプレイ２２に供給する。

入出力ディスプレイ２２は、画像の表示と、外部からの入力に対応する光の検出とを行う。すなわち、入出力ディスプレイ２２は、表示信号処理部２１から供給される画像データに対応する画像を、その表示画面に表示する。また、入出力ディスプレイ２２は、例えば、表示画面全体に分布するように配置された複数の光センサ２２Ａを内蔵し、外部から入射する光を受光し、その光の受光量に対応する受光信号を生成して、受光信号処理部２３に供給する。

受光信号処理部２３は、入出力ディスプレイ２２から供給される受光信号に対して、所定の処理を施すことにより、入出力ディスプレイ２２の表示画面に対して、ユーザの指等が近接または接触している部分と、何も近接および接触していない部分とで輝度が異なる画像を、フレームごとに得て、画像処理部２４に供給する。

画像処理部２４は、受光信号処理部２３から供給される各フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、入出力ディスプレイ２２の表示画面に指等の物体が近接または接触している部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の情報、すなわち、例えば、その入力部分を代表する表示画面上の点の座標である代表座標等の入力があった表示画面上の点に関する点情報、つまり、入力部分の点情報を得て、生成部２５に供給する。

生成部２５は、画像処理部２４から供給される入力部分の点情報に、後述の統合処理を施すことにより、ターゲットの情報を生成する。さらに、生成部２５は、ターゲットの情報に基づいて、後述の認識処理を行うことにより、ターゲットの状態の変化を表すイベントの情報を生成する。なお、統合処理でも、一部のイベントの情報が生成される。

すなわち、生成部２５は、ターゲット生成部３１、イベント生成部３２、及び記憶部３３から構成され、ターゲットとイベントの情報を、フレームごとに生成し、制御部１２に供給する。

入出力ディスプレイ２２に対しては、その表示画面に、例えば、指等を近接または接触することにより、入力を行うことができるが、この入出力ディスプレイ２２に対する一連の入力が、ターゲットである。すなわち、例えば、入出力ディスプレイ２２の表示画面に対して、指が近接または接触し、その近接または接触が維持されながら指が移動し、指の近接および接触が解除されるまでに行われる、入出力ディスプレイ２２の表示画面への一連の入力がターゲットとなる。

また、イベントは、ターゲットの状態の変化を表し、例えば、ターゲットの位置が移動したことや、ターゲットが新たに出現した（生成された）こと、ターゲットが消滅した（削除された）こと等を表す。

生成部２５のターゲット生成部３１は、画像処理部２４から供給されるフレームごとの入力部分の点情報に、統合処理を施すことにより、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成して、記憶部３３に供給する。

いま、画像処理部２４からターゲット生成部３１に供給される入力部分の点情報が、時刻t+1の第t+1フレームの点情報であるとすると、ターゲット生成部３１は、第t+1フレームの入力部分の点情報と、時間的に近い関係にある１つ前のフレームである時刻tの第tフレームのターゲットの情報とを比較する。

第tフレームのあるターゲットを、注目ターゲットとして注目することとすると、ターゲット生成部３１は、注目ターゲットに対して、第t+1フレームの空間的に近い関係にある入力部分を、注目ターゲットとしての一連の入力における一部を構成する入力部分であるとして、注目ターゲットに統合する。

また、ターゲット生成部３１は、注目ターゲットに対して、空間的に近い関係にある入力部分が第t+1フレームに存在しない場合には、注目ターゲットとしての一連の入力が終了したとして、注目ターゲットを削除する。

さらに、ターゲット生成部３１は、ターゲットに統合されずに残った第t+1フレームの入力部分については、ターゲットとしての一連の入力が開始されたとして、新たなターゲットを生成する。そして、ターゲット生成部３１は、統合されたターゲットの情報と新たに生成されたターゲットの情報を、第t+1フレームのターゲットの情報として記憶部３３に供給する。

イベント生成部３２は、ターゲットの情報に基づいて、ターゲットの状態の変化を表すイベントの情報を適宜生成し、記憶部３３に供給する。すなわち、例えば、イベント生成部３２は、第tフレームと第t+1フレームのそれぞれのターゲットの情報、あるいは、必要に応じて、記憶部３３に記憶されている第tフレーム以前に発行されたイベントの情報等に基づいて、ターゲットの状態の変化を表すイベントを認識する。そして、イベント生成部３２は、認識したイベントの内容を表すイベントの情報を生成するイベントの発行を行い、そのイベントの情報を第t+1フレームのイベントの情報として記憶部３３に供給する。

また、イベント生成部３２は、記憶部３３から第t+1フレームのターゲットとイベントの情報を読み出し、制御部１２に供給（出力）する。

記憶部３３は、ターゲット生成部３１から供給されるターゲットの情報と、イベント生成部３２から供給されるイベントの情報とを記憶する。

図２は、入出力ディスプレイ２２の外観の構成の例を模式的に示す図である。入出力ディスプレイ２２の本体部５１の画像を表示したり外部から入射する光を受光したりする表示画面５１Ａは、損傷や汚れを防止するためのシート状の保護部材５２により覆われている。

保護部材５２は、例えば、アクリル樹脂など、軽くて傷や汚れに強く、耐久性に優れ、加工しやすい透明な素材からなる薄い板により構成される。この場合、保護部材５２は、例えば、ネジなどにより表示画面５１Ａを覆うように固定されたり、セロファンテープ、接着剤などにより、表示画面５１Ａを覆うように表示画面５１Ａに接着される。

また、例えば、保護部材５２は、表示画面５１Ａと接触する面（以下、裏面とも称する）が、シリコン樹脂からなるシリコン膜など、軽くて粘着性がある透明な素材からなり、裏面と反対の面（以下、表面とも称する）が、PET（Polyethylene Terephthalate、ポリエチレンテレフタレート）など、軽くて傷や汚れに強く、耐久性に優れる透明な素材からなるフィルムにより構成される。この場合、保護部材５２は、表示画面５１Ａを覆うように表示画面５１Ａに接着される。

保護部材５２は、透明な素材からできているため、入出力ディスプレイ２２の視認性、および、受光感度を低下させることがない。また、入出力ディスプレイ２２の表示画面５１Ａには、ユーザの指やペンなどが頻繁に接触するが、保護部材５２により表示画面５１Ａの損傷や汚れが防止され、表示画面５１Ａの視認性および受光感度の低下が防止される。

なお、ユーザが指などを表示画面５１Ａに接触させようとした場合、結果的に保護部材５２に接触させることになるが、以下、説明を分かりやすくするために、指などを表示画面５１Ａに接触させるということにする。

図３は、入出力ディスプレイ２２の本体部５１の積層構造の例を模式的に示す図である。

入出力ディスプレイ２２の本体部５１は、ガラス等で構成された２枚の透明な基板であるTFT（Thin Film Transistor）基板６１と対向電極基板６２を互いに対向配置させ、その間隙に、例えば、ツイステッドネマチック（ＴＮ）液晶を封入した液晶層６３を設けた構成となっている。

TFT基板６１の液晶層６３側には、スイッチング素子としての薄膜トランジスタ（TFT）、画素電極、および、それらを絶縁・分離する絶縁層を含む、電極層６４が形成されている。対向電極基板６２の液晶層６３側には、対向電極６５及びカラーフィルタ６６が形成されている。そして、TFT基板６１、対向電極基板６２、液晶層６３、電極層６４、対向電極６５、および、カラーフィルタ６６により、透過型の液晶表示パネルが構成される。また、TFT基板６１および対向電極基板６２の液晶層６３側とは反対側に、それぞれ偏光板６７，６８が設けられている。

さらに、偏光板６８の対向電極基板６２側と反対の面を覆うように、保護部材５２が設けられている。

また、液晶表示パネルの背面側には、バックライト６９が設けられている。このバックライト６９によって、背面側から液晶表示パネルを照明することにより、カラー画像を表示することができる。バックライト６９は、例えば、複数の蛍光管や、複数の発光ダイオード等の、光源が配列された構成とすることができる。なお、バックライト６９は、比較的高速で点灯のオン・オフ制御ができるようにすることが望ましい。

さらに、電極層６４には、受光素子として、複数の光センサ２２Ａが形成されている。そして、液晶表示ディスプレイを構成する各発光素子に隣接して、光センサ２２Ａを配置することにより、発光（画像の表示）と受光（読み取り）とを、並行して行うことが可能となる。

図４は、入出力ディスプレイ２２の動作を制御するドライバの配置の例を示す図である。

図４に示されるように、入出力ディスプレイ２２の中央に、透明な表示エリア（センサエリア）８１が配置され、この表示エリア８１の４つの端面に、表示用水平ドライバ８２、表示用垂直ドライバ８３、センサ用垂直ドライバ８４、センサ読み出し用水平ドライバ８５が配置されている。

表示用水平ドライバ８２と表示用垂直ドライバ８３は、表示用の画像データとして画像信号線８６を介して供給されてくる表示信号と制御クロックとに基づいて、表示エリア８１にマトリクス状に配置されている画素の駆動を行う。

センサ用垂直ドライバ８４とセンサ読み出し用水平ドライバ８５は、外部から供給される読み出し用のクロック（図示せず）に同期して、受光センサ２２Ａから読み出した受光信号を、受光信号線８７を介して、図１の受光信号処理部２３に供給する。

図５は、入出力ディスプレイ２２の表示エリア８１に配置される画素の１画素あたりの回路の構成の例を示す図である。図５の画素１０１は、薄膜トランジスタ（TFT）から成る光センサ２２Ａ、スイッチング素子１１１、画素電極１１２、リセットスイッチ１１３、コンデンサ１１４、バッファアンプ１１５、および、スイッチ１１６から構成される。そのうち、スイッチング素子１１１および画素電極１１２が、表示機能を実現する表示部を構成し、光センサ２２Ａ、リセットスイッチ１１３、コンデンサ１１４、バッファアンプ１１５、および、スイッチ１１６が、受光機能を実現する受光部を構成する。

スイッチング素子１１１は、そのゲートが、水平方向に延びるゲート線１２１に接続され、そのドレインが、垂直方向に延びる表示信号線１２２に接続されている。すなわち、ゲート線１２１と表示信号線１２２の交点に、スイッチング素子１１１が配置されている。スイッチング素子１１１のソースは、画素電極１１２の一端に接続されている。画素電極１１２の一端であって、スイッチング素子１１１のソースに接続されている一端とは異なる一端は、配線１２３に接続されている。

スイッチング素子１１１は、ゲート線１２１を介して供給される信号により、オンまたはオフが制御され、表示信号線１２２を介して供給される信号により、画素電極１１２での表示状態が設定される。

光センサ２２Ａは、画素電極１１２に隣接した位置に配置され、その一端が電源電圧VDDが供給される電源線１２４に接続され、他の一端が、リセットスイッチ１１３の一端、コンデンサ１１４の一端、および、バッファアンプ１１５の入力端子に接続されている。リセットスイッチ１１３の一端であって、光センサ２２Ａの一端に接続されている一端とは異なる一端、および、コンデンサ１１４の一端であって、光センサ２２Ａの一端に接続されている一端とは異なる一端は接地端子VSSに接続されている。バッファアンプ１１５の出力端子は、読み出しスイッチ１１６を介して、センサ信号線１２５に接続されている。

リセットスイッチ１１３のオンまたはオフは、リセット線１２６から供給される信号により制御される。読み出しスイッチ１１６のオン・オフは、読み出し線１２７から供給される信号により制御される。

この光センサ２２Ａにおける動作は、以下のように行われる。

まず、リセットスイッチ１１３をオンにして、光センサ２２Ａの電荷のリセットを行う。その後、リセットスイッチ１１３をオフにすることにより、光センサ２２Ａにおける受光量に対応した電荷が、コンデンサ１１４に蓄積される。次に、読み出しスイッチ１１６をオンにすることにより、コンデンサ１１４に蓄積された電荷が、バッファアンプ１１５を介して、センサ信号線１２５に供給され、外部に出力される。

次に、図６のフローチャートを参照して、表示システム１による表示受光制御処理について説明する。

表示システム１による表示受光制御処理は、例えば、ユーザが表示システム１の電源をオンにすると、開始される。

なお、以下においては、既に、表示受光制御処理のステップＳ１乃至Ｓ８の処理が第tフレームまで行われており、記憶部３３には、少なくとも、第tフレーム以前のターゲットとイベントの情報が適宜記憶されているものとする。

ステップＳ１において、入出力ディスプレイ２２の光センサ２２Ａは、時刻t+1のフレームのタイミングで、表示画面５１Ａに指が近接または接触している部分から反射した光等の外部からの光を受光し、その光の受光量に対応する受光信号を受光信号処理部２３に供給する。

ステップＳ２において、受光信号処理部２３は、入出力ディスプレイ２２から供給される受光信号に所定の処理を施すことにより、入出力ディスプレイ２２に対して、指等が近接または接触している部分と、何も近接および接触していない部分とで輝度が異なる画像を、第t+1フレームの画像として得て、画像処理部２４に供給する。

ステップＳ３において、画像処理部２４は、受光信号処理部２３から供給される第t+1フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、第t+1フレームについて、入出力ディスプレイ２２の表示画面５１Ａに指等の物体が近接または接触した部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の点情報を得て、生成部２５に供給する。

ステップＳ４において、生成部２５のターゲット生成部３１は、画像処理部２４から供給される第t+1フレームの入力部分の点情報に、統合処理を施すことにより、第t+1フレームについて、ターゲットの情報を生成し、記憶部３３に記憶させる。また、生成部２５のイベント生成部３２は、ターゲットの情報に基づいて、統合処理を行うことにより、第t+1フレームについて、特定のイベント、すなわち、例えば、ターゲットの生成及び削除（消滅）を表すイベントの情報を適宜生成し、記憶部３３に記憶させる。統合処理の詳細については、図８乃至図１２を参照して、後述する。

ステップＳ５において、生成部２５のイベント生成部３２は、さらに、ターゲットの情報に基づいて、認識処理を行うことにより、第t+1フレームについて、ターゲットの状態の変化を表すイベントの情報を生成し、記憶部３３に記憶させる。

例えば、ユーザが表示画面５１Ａに指を近接または接触させたまま移動させた場合、すなわち、ターゲットが移動した場合、イベント生成部３２は、イベント「移動」を生成し、イベント「移動」の情報を記憶部３３に記憶させる。

また、例えば、ユーザが表示画面５１Ａに近接または接触させたまま移動させていた指を停止した場合、すなわち、ターゲットが停止した場合、イベント生成部３２は、イベント「停止」を生成し、イベント「停止」の情報を記憶部３３に記憶させる。

さらに、例えば、ユーザが表示画面５１Ａに対する指の近接または接触を開始し、近接または接触を継続しながら指を移動して、指の近接および接触を解除した場合に、近接または接触を開始したときの指の位置と近接および接触を終了したときの指の位置との間の距離が閾値以上であるときに、すなわち、ターゲットが所定の距離以上移動して消滅した場合、イベント生成部３２は、イベント「投射」を生成し、イベント「投射」の情報を記憶部３３に記憶させる。

また、例えば、ユーザが表示画面５１Ａに対する２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を拡げるか、または狭めるように２本の指を移動して、２本の指の近接および接触を解除した場合に、近接または接触を開始したときの２本の指の間の距離を基準として、２本の指の間の距離の拡大率または縮小率が所定の閾値以上または以下であるときに、すなわち、２つのターゲットが生成されてから消滅するまでの間にターゲット間の距離の拡大率または縮小率が所定の閾値以上または以下となった場合、イベント生成部３２は、イベント「拡大」または「縮小」を生成し、イベント「拡大」または「縮小」の情報を記憶部３３に記憶させる。

さらに、例えば、ユーザが表示画面５１Ａに対する２本の指の近接または接触を開始し、近接または接触を継続しながら、表示画面５１Ａ上のある点を中心とした同心円を描くように２本の指を移動して、２本の指の近接および接触を解除した場合に、近接または接触を開始したときの２本の指のそれぞれの表示画面５１Ａ上の位置を結ぶ直線に対して、第t+1フレームの２本の指のそれぞれの表示画面５１Ａ上の位置を結ぶ直線が回転する回転角の絶対値が所定の閾値以上であるときに、すなわち、２つのターゲットが生成されてから消滅するまでの間にターゲット間を結ぶ直線の回転角の絶対値が所定の閾値以上である場合、イベント生成部３２は、イベント「回転」を生成し、イベント「回転」の情報を記憶部３３に記憶させる。

また、例えば、ユーザが表示画面５１Ａに対する３本の指の近接または接触を開始し、近接または接触を継続しながら、表示画面５１Ａ上のある点を中心とした同心円を描くように３本の指を移動して、３本の指の近接および接触を解除した場合に、近接または接触を開始したときの３本の指のうちの２本ずつの指の表示画面５１Ａ上の位置を結ぶ直線に対して、第t+1フレームの３本の指のうちの同じ２本ずつの指の表示画面５１Ａ上の位置を結ぶ直線が回転する回転角を、３本の指のうちの３通りの２本ずつの指のセット（組）について平均した回転角の絶対値が、所定の閾値以上であるときに、すなわち、３つのターゲットが生成されてから消滅するまでの間に各ターゲット間を結ぶ直線の回転角の平均値の絶対値が所定の閾値以上である場合、イベント生成部３２は、イベント「３点回転」を生成し、イベント「３点回転」の情報を記憶部３３に記憶させる。

ステップＳ６において、生成部２５のイベント生成部３２は、記憶部３３から第t+1フレームのターゲットとイベントの情報を読み出し、制御部１２に供給（出力）する。

ステップＳ７において、制御部１２は、入出力パネル１６の生成部２５から供給（出力）されるターゲットとイベントの情報に基づいて、必要に応じて、画像データを、表示信号処理部２１を介して、入出力ディスプレイ２２に供給することにより、入出力ディスプレイ２２の表示状態を変更させる等の表示制御を行う。

ステップＳ８において、入出力ディスプレイ２２は、制御部１２の表示制御に従い、それまでとは異なる表示状態、例えば、それまで表示されていた画像が時計周りに９０°回転して表示される表示状態で、画像を表示する。

その後、処理は、ステップＳ１に戻り、次の第t+2フレームについて、同様の処理が繰り返される。

図７は、図６の表示受光制御処理を行うソフトウェアの構成例を説明する図である。

ここで、表示受光制御処理を行うソフトウェアは、受光信号処理を行うソフトウェア、点情報の生成処理を行うソフトウェア、統合処理を行うソフトウェア、認識処理を行うソフトウェア、出力処理を行うソフトウェア、及び上位のアプリケーションとしての表示制御ソフトウェアを含む。

図６において、入出力ディスプレイ２２の光センサ２２Ａは、外部からの光、例えば、表示画面５１Ａに近接または接触している指等で反射した光を受光し、１フレームの受光信号を生成する。

受光信号処理の階層では、入出力ディスプレイ２２から供給される１フレームの受光信号に、例えば、増幅やフィルタ処理等の受光信号処理が施されることにより、その受光信号に対応する１フレームの画像が得られる。

受光信号処理の階層の上位階層の点情報の生成処理の階層では、受光信号処理で得られる画像に対して、所定の画像処理、例えば、２値化、ノイズ除去、ラベリング等が施されることにより、入出力ディスプレイ２２の表示画面５１Ａの、物体が近接または接触している部分である入力部分が検出される。そして、入力部分の点情報がフレームごとに生成される。

点情報の生成処理の上位の統合処理の階層では、点情報の生成処理で得られる点情報に、統合処理が施され、フレームごとのターゲットの情報が生成される。さらに、そのフレームのターゲットの情報に基づいて、特定のイベント、例えば、ターゲットの生成や削除（消滅）を表すイベントの情報が生成される。

統合処理の上位階層の認識処理の階層では、統合処理で生成されたターゲットの情報等に基づいて、ユーザの指の動きやジェスチャ等の認識処理が施されることにより、ターゲットの状態の変化を表すイベントの情報がフレームごとに生成される。

認識処理の上位階層の出力処理の階層では、統合処理で生成されたターゲット及びイベントの情報と、認識処理で生成されたイベントの情報が、フレームごとに出力される。

出力処理の上位階層の上位のアプリケーションとしての、例えば、表示制御ソフトウェアの階層では、出力処理で出力されたターゲットとイベントの情報に基づいて、必要に応じて、画像データが、図１の入出力パネル１６の入出力ディスプレイ２２に供給されることにより、入出力ディスプレイ２２の表示状態が変更される等の表示制御が行われる。

次に、図８乃至図１２を参照して、図１の生成部２５による統合処理の詳細について説明する。

図８は、時刻tの第tフレームに存在するターゲットを表している。

ここで、図８では（後述する図９及び図１０でも同様）、フレームを表す長方形の内部に、説明の便宜上、マスを図示してある。

図８において、時刻tの第tフレームには、３つのターゲット#1，#2、及び#3が存在する。ターゲットには、ターゲットの属性であるターゲット属性を与えることができる。ターゲット属性には、例えば、各ターゲットを識別するための識別情報としてのターゲットID(Identifier)（識別番号）があり、図８では、３つのターゲットに対して、#1，#2、及び#3がそれぞれターゲットIDとして付されている。

例えば、ユーザが、３本の指を、入出力ディスプレイ２２の表示画面５１Ａに近接または接触させている場合に、図８に示したような３つのターゲット#1乃至#3が存在する状態となる。

図９は、時刻tの第tフレームより１フレーム後の時刻t+1の第t+1フレームの統合処理前の入力部分を表している。

図９において、第t+1フレームには、４つの入力部分#a乃至#dが存在する。

例えば、ユーザが、４本の指を、入出力ディスプレイ２２の表示画面５１Ａに近接または接触している場合に、図９に示したような４つの入力部分#a乃至#dが生じる。

図１０は、図８に示した第tフレームと図９に示した第t+1フレームとを重ね合わせた状態を表している。

統合処理では、例えば、時間的に近い関係にある第tフレームのターゲットと第t+1フレームの入力部分とが比較される。そして、第tフレームのあるターゲットを、注目ターゲットとして注目すると、例えば、注目ターゲットに対して、空間的に近い関係にある入力部分、すなわち、注目ターゲットからの距離が、例えば、所定の距離（例えば、２マス分の距離）以内にある入力部分が、注目ターゲットとしての一連の入力の一部を構成する入力部分であるとして、注目ターゲットに統合される。

なお、注目ターゲットに対して、空間的に近い関係にある入力部分が、複数存在する場合には、例えば、その複数の入力部分のうちの、注目ターゲットに対して、最も近い入力部分が、注目ターゲットに統合される。

また、統合処理では、例えば、注目ターゲットに対して、空間的に近い関係にある入力部分が存在しない場合には、その注目ターゲットとしての一連の入力が終了したとして、注目ターゲットが削除される。

さらに、統合処理では、例えば、ターゲットに統合されずに残った入力部分、つまり、ターゲットに対して空間的に近い関係にない入力部分については、新たな一連の入力が開始されたとして、新たなターゲットが生成される。

したがって、図１０に示される第t+1フレームの入力部分#a乃至#dと第tフレームのターゲット#1乃至#3を対象として、統合処理が行われると、ターゲット#1の近傍には、入力部分#aと#bが存在するが、入力部分#bの方が、入力部分#aに比べてより近いので、入力部分#bが、ターゲット#1に統合（マージ）される。

また、図１０では、ターゲット#2の近傍には、入力部分が存在しないので、このターゲット#2は、削除される。そして、ターゲットが削除されたことを表すイベント「削除」が生成される。

さらに、図１０では、ターゲット#3の近傍には、入力部分#cと#dが存在するが、入力部分#dの方が、入力部分#cに比べてより近いので、入力部分#dが、ターゲット#3に統合（マージ）される。

そして、ターゲット#1乃至#3のうちのいずれにも統合されずに残った入力部分#aと#cは、それぞれ新たなターゲットとして生成される。そして、ターゲットが生成されたことを表すイベント「生成」が生成される。

統合処理では、第tフレームのターゲットのうちの削除されずに残ったターゲットと、第t+1フレームの入力部分のうちの統合されずに残った入力部分について新たに生成されたターゲットとが、第t+1フレームのターゲットとなる。そして、第t+1フレームのターゲットの情報は、第t+1フレームの入力部分の点情報に基づいて、生成される。

ここで、入力部分の点情報は、受光信号処理部２３から画像処理部２４に供給される１フレームの画像である受光画像に対して、画像処理を施すことで得られる。

図１１は、受光画像を示している。

図１１の受光画像には、３つの入力部分#1乃至#3が存在する。

受光画像上の各入力部分は、例えば、表示画面５１Ａの指が近接または接触している部分から反射した光が受光された部分であるので、表示画面５１Ａの指が近接および接触していない部分に比べて、輝度の高いまたは低い部分となっている。画像処理部２４は、受光画像の輝度の高いまたは低い領域を、入力部分として検出し、その入力部分の領域の特徴量を、その入力部分の点情報として出力する。

点情報としては、入力部分を代表する位置の座標である代表座標としての入力部分の領域の中心（例えば、入力部分を囲む最小の円の中心など）や重心、入力部分の領域（図中の斜線部分）の面積の情報である面積情報、入力部分の範囲を表す領域情報としての、例えば、入力部分を囲む最小の長方形の上端の座標、下端の座標、左端の座標、及び右端の座標等を採用することができる。

ターゲットの情報のうちのターゲットの属性であるターゲット属性は、ターゲットに統合される入力部分の点情報に基づいて、生成される。すなわち、ターゲットに入力部分が統合されるとき、ターゲットに固有の識別情報であるターゲットIDが維持され、それ以外のターゲット属性、例えば、ターゲットの代表座標、面積情報、領域情報等が、そのターゲットに統合される入力部分の点情報、すなわち、入力部分の代表座標、面積情報、領域情報等で置き換えられる。

また、ターゲット属性には、ターゲットしての一連の入力が開始したときの時刻を表す情報やターゲットしての一連の入力が終了したときの時刻を表す情報等が含まれてもよい。

ターゲットの情報には、上述したターゲット属性の他、例えば、生成部２５が制御部１２に出力するフレームごとのターゲットの数等を採用することができる。

次に、図１２のフローチャートを参照して、図６のステップＳ４で図１の生成部２５が行う統合処理について説明する。

ステップＳ２１において、ターゲット生成部３１は、記憶部３３から第t+1フレームの時間的な近傍である第tフレームのターゲットの情報を読み出し、画像処理部２４から供給される第t+1フレームの入力部分の点情報と、記憶部３３から読み出した第tフレームのターゲットの情報とを比較する。

ステップＳ２２において、ターゲット生成部３１は、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがあるかを判定する。ステップＳ２２において、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがあると判定された場合、ステップＳ２３において、ターゲット生成部３１は、第tフレームのターゲットのうちの、まだ注目ターゲットとしていないターゲットのうちの１つを注目ターゲットとし、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在するかを判定する。

ステップＳ２３において、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在すると判定された場合、ステップＳ２４において、ターゲット生成部３１は、ステップＳ２２で注目ターゲットの空間的な近傍にあると判定された第t+1フレームの入力部分を注目ターゲットに統合し、統合後の注目ターゲットの情報を、第t+1フレームのターゲットの情報として、記憶部３３に記憶させる。

具体的には、ターゲット生成部３１は、注目ターゲットのターゲットIDを維持し、それ以外のターゲット属性、例えば、注目ターゲットの代表座標等を、注目ターゲットに統合される入力部分の代表座標等で置き換え、第t+1フレームのターゲットの情報として、記憶部３３に記憶させる。

一方、ステップＳ２３において、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在しないと判定された場合、ステップＳ２５において、ターゲット生成部３１は、注目ターゲットの情報を記憶部３３から削除する。

ステップＳ２６において、イベント生成部３２は、ターゲット生成部３１が注目ターゲットを削除すると、ターゲットが消滅したこと、すなわち、ターゲットとしての一連の入力が終了したことを表すイベント「削除」を新たに発行し、そのイベントの情報を第t+1フレームのイベントの情報として、記憶部３３に記憶させる。図１０の例では、ターゲット#2が注目ターゲットである場合、ターゲット#2が第t+1フレームで削除されたことを表すイベント「削除」が発行され、そのイベント「削除」の情報が記憶部３３に記憶される。

ステップＳ２４，Ｓ２６の処理の後、処理は、ステップＳ２２に戻り、新たな注目ターゲットについて、同様の処理が実行される。

ステップＳ２２において、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがないと判定された場合、ステップＳ２７において、ターゲット生成部３１は、画像処理部２４から供給された第t+1フレームに、第tフレームのターゲットに統合されずに残っている入力部分が存在するかを判定する。

ステップＳ２７において、第t+1フレームに統合されずに残っている入力部分が存在すると判定された場合、ステップＳ２８において、ターゲット生成部３１は、統合されずに残っている入力部分について、新しいターゲットを生成する。

すなわち、第tフレームのターゲットに統合されずに残った第t+1フレームの入力部分、つまり、ターゲットに対して空間的に近い関係にない入力部分については、新たな一連の入力が開始されたとして、新しいターゲットを生成する。そして、ターゲット生成部３１は、新しいターゲットの情報を、第t+1フレームのターゲットの情報として、記憶部３３に記憶させる。

ステップＳ２９において、イベント生成部３２は、ターゲット生成部３１が新しいターゲットを生成すると、イベント「生成」を新たに発行し、そのイベントの情報を、第t+1フレームのイベントの情報として、記憶部３３に記憶させる。そして、統合処理を終了し、処理は、図６のステップＳ５にリターンする。

一方、ステップＳ２７において、第t+1フレームに残っている入力部分が存在しないと判定された場合、ステップＳ２８，Ｓ２９の処理はスキップされ、統合処理は終了する。そして、処理は、図６のステップＳ５にリターンする。

なお、上述した統合処理では、第tフレームのターゲットのうちの、第t+1フレームの入力部分が空間的に近い位置に存在しないターゲットの情報が削除されるように説明したが、その他、第tフレームのターゲットのうちの、第t+1フレームの入力部分が空間的に近い位置に存在しないターゲットの情報を、入力部分が空間的に近い位置にない場合に限って、その後も数フレーム連続して保持してから削除するようにしてもよい。これにより、ユーザが指の近接および接触を誤って一瞬解除してしまった場合でも、指の近接または接触を再開すれば、表示画面５１Ａに近接または接触している指に対応する入力部分を、指の近接および接触を一瞬解除する前のターゲットに統合することが可能となる。

以上のように、統合処理では、入出力ディスプレイ２２の表示画面５１Ａに対して新たに入力があった入力部分のうちの、ターゲットの時間的及び空間的近傍にある入力部分が、ターゲットとしての一連の入力における一部を構成する入力部分としてそのターゲットに統合される。また、統合処理では、ターゲットの生成または消滅（削除）を表すイベントが適宜発行される。

図１３は、生成部２５から出力されるターゲットとイベントの情報の例を表している。

図１３の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームのそれぞれの受光画像上の入力部分（図中、白丸で表す）を示している。また、図１３の下の図は、第nフレーム乃至第n+5フレームのそれぞれに出力されるターゲットとイベントの情報を示している。

図１３の上の図は、例えば、ユーザが、時刻nにおいて、１本の指で、入出力ディスプレイ２２の表示画面５１Ａに対する近接または接触を開始し、その後、時刻nからn+4までの間、入出力ディスプレイ２２の表示画面５１Ａに対する近接または接触をし続けながら、第n+2フレームで、表示画面５１Ａに近接または接触している位置を、左から右方向に移動することを開始し、第n+4フレームで、その移動を停止して、時刻n+5において、入出力ディスプレイ２２の表示画面５１Ａに対する近接および接触を解除した場合に得られる入力部分#0を表している。

すなわち、第nフレームでは、ユーザが入出力ディスプレイ２２の表示画面５１Ａに対する近接または接触を開始することにより、図１３の上の図に示すように、入力部分#0が新たに出現している。

この場合、第nフレームの入力部分#0について、新たなターゲット#0が生成される。すなわち、第nフレームでは、図１３の下の図に示すように、ターゲットIDが0で、第nフレームの入力部分#0の位置情報（代表座標）等のターゲットID以外のターゲット属性（以下、ターゲット関連情報INFOという）を有する新たなターゲット#0が生成される。

なお、ターゲットの実体は、ターゲット属性を記憶する、メモリ等に確保される記憶領域である。

第nフレームでは、新たなターゲット#0が生成されたことに対応して、イベントが生成される。すなわち、第nフレームでは、図１３の下の図に示すように、イベントを識別する識別情報であるイベントIDが0で、イベントの種類を表すイベントタイプTypeが新たなターゲットの生成を表すCreateであり、イベントが状態を表すターゲットを特定する特定情報tidが、ターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#0が生成される。

なお、イベントタイプTypeが新たなターゲットの生成を表すCreateであるイベントが、イベント「生成」である。

このように、イベントは、イベントが状態を表すターゲットを特定する特定情報tidを、イベント属性の１つとして有するので、その特定情報tidによって、イベントが状態を表すターゲットを特定することができる。

なお、イベントの実体は、イベント属性を記憶する、メモリ等に確保される記憶領域である。

次に、第n+1フレームでは、図１３の上の図に示すように、入力部分#0が移動せずに、そのまま存在している。

この場合、その１フレーム前の第nフレームのターゲット#0に、第n+1フレームの入力部分#0が統合される。その結果、第n+1フレームでは、ターゲット#0は、図１３の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

第n+2フレームでは、図１３の上の図に示すように、入力部分#0が移動を開始している。

この場合、その１フレーム前の第n+1フレームのターゲット#0に、第n+2フレームの入力部分#0が統合される。その結果、第n+2フレームでは、ターゲット#0は、図１３の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

さらに、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１３の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレームで生成されたイベントのイベントIDとは異なる1で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#1が生成される。

次に、第n+3フレームでは、図１３の上の図に示すように、入力部分#0が移動中である。

この場合、その１フレーム前の第n+2フレームのターゲット#0に、第n+3フレームの入力部分#0が統合される。その結果、第n+3フレームでは、ターゲット#0は、図１３の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

第n+4フレームでは、図１３の上の図に示すように、入力部分#0が停止している。

この場合、その１フレーム前の第n+3フレームのターゲット#0に、第n+4フレームの入力部分#0が統合される。その結果、第n+4フレームでは、ターゲット#0は、図１３の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

さらに、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了されたこと、したがって、ターゲット#0の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１３の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレームまたは第n+2フレームで生成されたイベントのいずれのイベントIDとも異なる2で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#2が生成される。

第n+5フレームでは、ユーザが入出力ディスプレイ２２の表示画面５１Ａに対する指の近接および接触を解除することにより、図１３の上の図に示すように、入力部分#0が消滅している。

この場合、第n+5フレームでは、ターゲット#0が削除される。

さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベントが生成される。すなわち、第n+5フレームでは、図９の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレーム、第n+2フレーム、または第n+4フレームで生成されたイベントのいずれのイベントIDとも異なる3で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#3が生成される。

なお、イベントタイプTypeがターゲットの削除を表すDeleteであるイベントが、イベント「削除」である。

図１４は、生成部２５から出力されるターゲットとイベントの情報の他の例を表している。

図１４の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームのそれぞれの受光画像上の入力部分（図中、白丸で表す）を示している。図１４の下の図は、第nフレーム乃至第n+5フレームのそれぞれに出力されるターゲットとイベントの情報を示している。

図１４は、例えば、ユーザが、時刻nにおいて、ある１本の指で、入出力ディスプレイ２２の表示画面５１Ａに対する近接または接触を開始し、その後、時刻nからn+4までの間、入出力ディスプレイ２２の表示画面５１Ａに対する近接または接触をし続けながら、第n+2フレームで、表示画面５１Ａに近接または接触している位置を、左から右方向に移動することを開始し、第n+4フレームで、その移動を停止して、時刻n+5において、入出力ディスプレイ２２の表示画面５１Ａに対する近接および接触を解除した場合に得られる入力部分を表している。

また、図１４は、ユーザが、時刻n+1において、他の１本の指で、入出力ディスプレイ２２の表示画面５１Ａに対する近接または接触を開始し、その後、時刻n+1からn+3までの間、入出力ディスプレイ２２の表示画面５１Ａに対する近接または接触をし続けながら、第n+2フレームで、表示画面５１Ａに近接または接触している位置を、右から左方向に移動することを開始し、第n+3フレームで、その移動を停止して、時刻n+4において、入出力ディスプレイ２２の表示画面５１Ａに対する近接および接触を解除した場合に得られる入力部分を表している。

すなわち、第nフレームでは、ユーザが、ある１本の指で、入出力ディスプレイ２２の表示画面５１Ａに対する近接または接触を開始することにより、図１４の上の図に示すように、入力部分#0が新たに出現している。

この場合、第nフレームの入力部分#0について、図１３の場合と同様に新たなターゲット#0が生成される。すなわち、第nフレームでは、図１４の下の図に示すように、ターゲットIDが0で、ターゲット関連情報INFOが、第nフレームの入力部分#0の位置情報等になっているターゲット属性を有する新たなターゲット#0が生成される。

さらに、第nフレームでは、新たなターゲット#0が生成されたことに対応して、図１３の場合と同様に、イベントが生成される。すなわち、第nフレームでは、図１４の下の図に示すように、イベントIDが0で、イベントタイプTypeが新たなターゲットの生成を表すCreateであり、特定情報tidがターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#0が生成される。

次に、第n+1フレームでは、図１４の上の図に示すように、入力部分#0が移動せずに、そのまま存在している。

この場合、その１フレーム前の第nフレームのターゲット#0に、第n+1フレームの入力部分#0が統合される。その結果、第n+1フレームでは、ターゲット#0は、図１４の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分#0の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

また、第n+1フレームでは、ユーザが、他の１本の指で、入出力ディスプレイ２２の表示画面５１Ａに対する近接または接触を開始することにより、図１４の上の図に示すように、他の入力部分#1が新たに出現している。

この場合、第n+1フレームの新たな入力部分#1について、新たなターゲット#1が生成される。すなわち、第n+1フレームでは、図１４の下の図に示すように、ターゲットIDが、既に存在するターゲット#0のターゲットIDの0とは異なる1で、ターゲット関連情報INFOが、第n+1フレームの新たな入力部分#1の位置情報等になっているターゲット属性を有する新たなターゲット#1が生成される。

さらに、第n+1フレームでは、新たなターゲット#0が生成されたことに対応して、イベントが生成される。すなわち、第n+1フレームでは、図１４の下の図に示すように、イベントIDが、第nフレームで生成されたイベントのイベントIDの0とは異なる1で、イベントタイプTypeが新たなターゲットの生成を表すCreateであり、特定情報tidがターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#1が生成される。

第n+2フレームでは、図１４の上の図に示すように、入力部分#0と#1が移動を開始している。

この場合、その１フレーム前の第n+1フレームのターゲット#0に、第n+2フレームの入力部分#0が統合される。その結果、第n+2フレームでは、ターゲット#0は、図１４の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

同様に、第n+1フレームのターゲット#1に、第n+2フレームの入力部分#1が統合される。その結果、第n+2フレームでは、ターゲット#1は、図１４の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#1の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが1のままで、第n+2フレームの入力部分#1の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

また、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１４の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0及び#1のイベントとは異なる2で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#2が生成される。

同様に、第n+2フレームでは、ターゲット#1に統合された入力部分#1の移動が開始されたこと、したがって、ターゲット#1の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１４の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#2のイベントIDとは異なる3で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#3が生成される。

次に、第n+3フレームでは、図１４の上の図に示すように、入力部分#0が移動中である。

この場合、その１フレーム前の第n+2フレームのターゲット#0に、第n+3フレームの入力部分#0が統合される。その結果、第n+3フレームでは、ターゲット#0は、図１４の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

また、第n+3フレームでは、入力部分#1が停止している。

この場合、その１フレーム前の第n+2フレームのターゲット#1に、第n+3フレームの入力部分#1が統合される。その結果、第n+3フレームでは、ターゲット#1は、図１４の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#1の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが1のままで、第n+3フレームの入力部分#1の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

さらに、第n+3フレームでは、ターゲット#1に統合された入力部分#1の移動が終了されたこと、したがって、ターゲット#1の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+3フレームでは、図１４の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#3のイベントIDとは異なるとは異なる4で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#4が生成される。

次に、第n+4フレームでは、ユーザが、指の近接および接触を解除することにより、図１４の上の図に示すように、入力部分#1が消滅している。

この場合、第n+4フレームでは、ターゲット#1が削除される。

また、第n+4フレームでは、図１４の上の図に示すように、入力部分#0が停止している。

この場合、その１フレーム前の第n+3フレームのターゲット#0に、第n+4フレームの入力部分#0が統合される。その結果、第n+4フレームでは、ターゲット#0は、図１４の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+4フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。

また、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了されたこと、したがって、ターゲット#0の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１４の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#4のイベントとは異なる5で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#5が生成される。

同様に、第n+4フレームでは、入力部分#1が消滅したこと、したがって、ターゲット#1が削除されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１４の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#5のイベントIDとは異なる6で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#6が生成される。

第n+5フレームでは、ユーザが入出力ディスプレイ２２の表示画面５１Ａに対する近接および接触を解除することにより、図１４の上の図に示すように、入力部分#0が消滅している。

さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベントが生成される。すなわち、第n+5フレームでは、図１４の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#6のイベントIDとは異なる7で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#7が生成される。

以上のように、入出力パネル１６では、複数の点に対する入力がある場合でも、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、さらに、ターゲットの状態の変化を表すイベントの情報を生成して出力するので、複数の点に対する入力の情報を容易に扱うことが可能になる。

ここで、図１５乃至図１７を参照して、入出力ディスプレイの保護部材の他の例について説明する。

図１５には、図２の保護部材５２の代わりに保護部材２１１を用いた入出力ディスプレイ２０１が示されている。保護部材２１１は、保護部材５２とは異なり、有色の半透明の素材で出来ている。

このように保護部材２１１を有色とすることにより、入出力パネル１６のデザイン上の見栄えが向上する。

また、保護部材２１１は、半透明の素材で出来ているため、視認性および受光感度の低下を低く抑えることができる。なお、例えば、光センサ２２Ａが、460nm以下の波長の光（青または青に近い色の光）に対する受光感度が優れている場合、換言すれば、460nm以下の波長の光を拾いやすい特性がある場合、保護部材２１１の色を青色の半透明とすることにより、他の色にするよりも、光センサ２２Ａの受光感度を良好に保つことができる。

図１６には、図２の保護部材５２の代わりに保護部材２３１を用いた入出力ディスプレイ２２１が示されている。

保護部材２３１は、本体部５１に接触する面と反対の面に凹または凸状のガイド２３１Ａ乃至２３１Ｅの加工が施されている。ガイド２３１Ａ乃至２３１Ｅは、例えば、入出力ディスプレイ２２に表示される画像上のボタンやスイッチなどの操作部（UI（ユーザインタフェース）部品）に対応した形をしている。そして、保護部材２３１を本体部５１に装着した場合、表示画面５１Aにおいて、ガイド２３１Ａ乃至２３１Ｅのほぼ真下に対応する操作部が表示されるようになされている。これにより、ユーザは、表示画面５１Ａ上の操作部（UI部品）の種類および位置を手の感覚で知ることができ、例えば、表示画面５１Ａを見ずに操作することが可能となり、表示システム１の操作性が向上する。

図１７には、図２の保護部材５２の代わりに保護部材２６１を用いた入出力ディスプレイ２５１が示されている。

保護部材２６１は、本体部５１に接触する面と反対の面に保護部材２３１と同様のガイド２６１Ａ乃至２６１Ｅの加工が施されるとともに、有色の半透明の素材で出来ている。これにより、表示システム１の操作性を向上させるとともに、入出力パネル１６のデザイン上の見栄えを向上させることができる。

なお、保護部材の表面に所定の模様や文字などを凹または凸状に加工することにより、入出力パネル１６のデザイン上の見栄えを向上させたり、各種の情報を示したりすることも可能である。

また、保護部材を本体部５１に簡単に着脱可能な構成とすることにより、例えば、表示システム１において使用するアプリケーションの種類に応じて、すなわち、表示画面５１Ａに表示される画像上の操作部の種類、形、位置などの違いに応じて、保護部材を取り替えるようにして、さらにユーザの操作性を向上させることができる。

図１８は、本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。

図１８の表示システム３０１では、図１における制御部１２に、入出力パネル１６の生成部２５が移動されている。

すなわち、図１８において、アンテナ３１０、信号処理部３１１、記憶部３１３、操作部３１４、通信部３１５、表示信号処理部３２１、入出力ディスプレイ３２２、光センサ３２２Ａ、受光信号処理部３２３、画像処理部３２４、及び生成部３２５は、図１におけるアンテナ１０、信号処理部１１、記憶部１３、操作部１４、通信部１５、表示信号処理部２１、入出力ディスプレイ２２、光センサ２２Ａ、受光信号処理部２３、画像処理部２４、及び生成部２５と同様に構成されるので、表示システム３０１は、図１における表示システム１と同様に表示受光制御処理を行うことができる。ただし、図１の生成部２５の記憶部３３として、図１８では、記憶部３１３が使用されている。

図１９は、本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。

図１９の表示システム４０１では、図１における制御部１２に、入出力パネル１６の生成部２５と画像処理部２４が移動されている。

すなわち、図１９において、アンテナ４１０、信号処理部４１１、記憶部４１３、操作部４１４、通信部４１５、表示信号処理部４２１、入出力ディスプレイ４２２、光センサ４２２Ａ、受光信号処理部４２３、画像処理部４２４、及び生成部４２５は、図１におけるアンテナ１０、信号処理部１１、記憶部１３、操作部１４、通信部１５、表示信号処理部２１、入出力ディスプレイ２２、光センサ２２Ａ、受光信号処理部２３、画像処理部２４、及び生成部２５と同様に構成されるので、表示システム４０１は、図１における表示システム１と同様に表示受光制御処理を行うことができる。

図２０は、本発明を適用した入出力パネル６０１の外観の構成の例を示している。図２０に示されるように、入出力パネル６０１はフラット型のモジュール形状をしている。入出力パネル６０１においては、例えば、絶縁性の基板６１１上に、液晶素子、薄膜トランジスタ、薄膜容量、受光素子等からなる画素をマトリックス状に集積形成した画素アレイ部６１３が設けられる。また、この画素アレイ部６１３を囲むように接着剤を配し、ガラス等の対向基板６１２が貼り付けられる。さらに、入出力パネル６０１には、外部から画素アレイ部６１３への信号等を入出力するためのコネクタ６１４Ａおよび６１４Ｂが設けられる。コネクタ６１４Ａおよび６１４Ｂは、例えば、ＦＰＣ（フレキシブルプリントサーキット）により構成される。

以上に説明した本発明における入出力パネルは、例えば、フラットパネル形状を有し、例えば、デジタルカメラ、ノート型パーソナルコンピュータ、携帯電話機、ビデオカメラなど、電子機器に入力された、または、電子機器内で生成した映像信号を、画像または映像として表示するあらゆる分野の電子機器のディスプレイに適用することが可能である。以下この様な入出力パネルが適用された電子機器の例を示す。

図２１には、本発明が適用されたテレビジョン受像機の一実施の形態が示されている。図２１のテレビジョン受像機６２１は、フロントパネル６３１Ａ、フィルターガラス６３１Ｂ等から構成される映像表示部６３１を含み、例えば、映像表示部６３１に本発明の入出力パネルが適用される。

図２２には、本発明が適用されたデジタルカメラの一実施の形態が示されており、上が正面図で下が背面図である。図２２のデジタルカメラ６４１は、撮像レンズ、フラッシュ用の発光部６５１、表示部６５２、コントロールスイッチ、メニュースイッチ、シャッター６５３等を含み、例えば、表示部６５２に本発明の入出力パネルが適用される。

図２３には、本発明が適用されたノート型パーソナルコンピュータの一実施の形態が示されている。図２３のパーソナルコンピュータ６６１の本体部６６１Ａは、文字等を入力するとき操作されるキーボード６７１を含み、本体カバー部６６１Ｂは、画像を表示する表示部６７２を含んでいる。例えば、表示部６７２に本発明の入出力パネルが適用される。

図２４には、本発明が適用された携帯端末装置の一実施の形態が示されており、左側の図が携帯端末装置を開いた状態を表し、右側の図が携帯端末装置を閉じた状態を表している。図２４の携帯端末装置６８１は、上側筐体６８１Ａと下側筐体６８１Ｂがヒンジ部６８１により連結され、ディスプレイ６９１、サブディスプレイ６９２、ピクチャーライト６９３、カメラ６９４等を含む。例えば、ディスプレイ６９１やサブディスプレイ６９２に本発明の入出力パネルが適用される。

図２５には、本発明が適用されたビデオカメラの一実施の形態が示されている。図２５のビデオカメラ７０１は、本体部７１１、前方を向いた側面に被写体撮影用のレンズ７１２、撮影時のスタート／ストップスイッチ７１３、モニタ７１４等を含み、例えば、モニタ７１４に本発明の入出力パネルが適用される。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１表示システム，１６入出力パネル，２２入出力ディスプレイ，２２Ａ光センサ，５１本体部，５１Ａ表示画面，５２保護部材，６１ TFT基板，６２対向電極基板，６３液晶層，６４電極層，６５対向電極，６６カラーフィルタ，６７、６８偏光板，６９バックライト，１１１スイッチング素子，１１２画素電極，１１３リセットスイッチ，１１４コンデンサ，１１５バッファアンプ，１１６スイッチ，２０１入出力ディスプレイ，２１１保護部材，２２１入出力ディスプレイ，２３１保護部材，２３１Ａ乃至２３１Ｅガイド，２５１入出力ディスプレイ，２６１保護部材，２６１Ａ乃至２６１Ｅガイド，３０１表示システム，３１６入出力パネル，３２２入出力ディスプレイ，３２２Ａ光センサ，４０１表示システム，４１６入出力パネル，４２２入出力ディスプレイ，４２２Ａ光センサ，６０１入出力パネル，６２１テレビジョン受像機，６３１映像表示部，６４１デジタルカメラ，６５２表示部，６６１パーソナルコンピュータ，６７２表示部，６８１携帯端末装置，６９１ディスプレイ，６９２サブディスプレイ，７０１ビデオカメラ，７１４モニタ

Claims

複数の画素による画像の表示と外部からの入力に対応する光の検出をフレーム単位で複数の光センサにより行う入出力部を有し、前記入出力部の表示画面上の複数の点に対する入力が可能であり、透明または半透明なシート状の保護部材が前記表示画面を覆うように接着され、前記外部からの異なるフレーム間の入力の変化に基づき前記表示画面状の表示状態を制御する制御部を備える表示装置。
前記保護部材の波長特性は、前記光センサの受光感度に合わせて設定されている
請求項１に記載の表示装置。
前記保護部材の前記表示画面に接着されている面は、粘着性のある樹脂素材からなる
請求項１または２に記載の表示装置。
前記複数の光センサが受光した信号を処理して得られる前記表示画面内の位置情報を含むターゲット情報と、異なるフレーム間の前記ターゲット情報の変化から得られるイベント情報とを記憶する記憶部をさらに備え、
前記制御部は、前記ターゲット情報およびイベント情報に基づき前記表示画面上の表示状態を制御する
請求項１または２に記載の表示装置。
前記保護部材の表面に所定の形の凹または凸状の加工が施されている
請求項１または２に記載の表示装置。
前記保護部材の表面に前記表示画面に表示される操作部に対応した形の凹または凸状の加工が施されている
請求項５に記載の表示装置。