JP2011086179A - 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器 - Google Patents

Abstract

【課題】消費電力を削減しつつ良好な操作性を維持することが可能な情報入出力装置を提供する。
【解決手段】情報入力装置は、入出力パネルにおいて取得した物体の検出信号に対し所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得する。これらの接触点情報および近接点情報に基づいて、入出力パネルにおける駆動周期（ＭＬ，ＭＣ，ＭＨ）をダイナミックに変更または維持する。間欠的な受光駆動を行いつつも、フリック動作等の動きのある入力操作を認識し易くなる。
【選択図】図４

Description

本発明は、物体の接触や近接により情報入力を行う情報入力装置、情報入力方法、情報入力プログラム、情報入出力装置および電子機器に関する。
本発明は、

近年、指等を用いてディスプレイの表示画面に直接タッチすることにより、情報入力を行うことが可能なタッチセンサ内蔵型の表示装置の開発が進んでいる。タッチセンサには、電極の接触位置を検知する接触式や、静電容量の変化を利用した静電容量式のほか、光学的に指等を検知する光学式のもの等がある。例えば、光学式のタッチセンサでは、画像表示光等を利用して表示画面に近接する物体を照らし、その物体において反射された光に基づいて、物体の有無や位置等の検出を行う（例えば、特許文献１参照）。

このような光学式のタッチセンサでは、特に消費電力を削減することが重要な課題となっている。その一解決策として、物体の接触の有無に応じて、所定の画像処理を実行するソフトウェア画像処理部（ＭＰＵ）の動作状態を切り替える手法が提案されている（例えば、特許文献２参照）。通常、接触点を検出するためには、ＭＰＵにおいてラベリング等の高度な画像処理を実行する必要があるが、このような画像処理動作は負荷が大きく、電力を消費する。そのため、特許文献２では、物体の接触が有る場合にのみＭＰＵを処理実行状態とし、物体の接触が無い場合にはＭＰＵをスリープ状態に移行する制御を行っている。そして、そのようなＭＰＵの状態遷移に伴って、受光素子をフル駆動させるモードと間欠的に駆動させるモードとを切り替えている。

特開２００８−１４６１６５号公報 特開２００８−２６２５４８号公報

ところが、上記特許文献２のような間欠駆動を利用した手法では、物体の接触が無い状態（情報入力がない状態）では駆動周期が低く設定（例えば数フレーム／秒に設定）されるため、物体の接触を検出しにくくなる。また、物体が入力画面から離れてしまうと（非接触の近接状態にある場合）、その検出が困難となる。そのため、特に、フリック（入力画面上を指で素早くなぞるような動作）やダブルクリック等の所定の動きを伴う入力動作を認識することが難しく、この結果、タッチセンサとしての操作性が悪化してしまう。そのため、消費電力を削減しつつ、良好な操作性が維持されたタッチセンサ（情報入力装置）の実現が望まれている。

本発明はかかる問題点に鑑みてなされたもので、その目的は、消費電力を削減しつつ、良好な操作性を維持することが可能な情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器を提供することにある。

本発明の情報入力装置は、物体から検出信号を取得するための検出要素を含む入力パネルと、入力パネルにより得られた検出信号に対し所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得する画像処理部と、入力パネルにおける検出要素を所定の駆動周期で検出信号を取得するように駆動する駆動部と、画像処理部により取得された接触点情報および近接点情報に基づいて駆動周期を決定する制御部とを備えたものである。尚、本発明において、「接触」といった場合には、文字通り物体が入力画面に接触している場合のみを意味し、「近接」といった場合には、物体が入力画面に接触している場合に限らず、入力画面に非接触で、かつ入力画面から所定の高さまでの空間に存在する場合をも意味するものとする。

本発明の情報入力方法は、検出要素を含む入力パネルにより物体の検出信号を取得し、取得した検出信号に対し所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得し、入力パネルにおける検出要素を所定の駆動周期で検出信号を取得するように駆動し、接触点情報および近接点情報に基づいて駆動周期を決定するようにしたものである。

本発明の情報入出力装置は、物体から検出信号を取得するための検出要素を含むと共に、画像表示機能を有する入出力パネルと、入出力パネルにより得られた検出信号に対し所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得する画像処理部と、入出力パネルにおける検出要素を所定の駆動周期で検出信号を取得するように駆動する駆動部と、画像処理部により取得された接触点情報および近接点情報に基づいて、駆動周期を決定する制御部とを備えたものである。

本発明の情報入力プログラムは、検出要素を含む入力パネルにより物体の検出信号を取得するステップと、取得した検出信号に対し所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得するステップと、入力パネルにおける検出要素を所定の駆動周期で検出信号を取得するように駆動するステップと、接触点情報および近接点情報に基づいて、駆動周期を決定するステップとをコンピュータに実行させるようにしたものである。

本発明の電子機器は、上記本発明の情報入力装置を備えたものである。

本発明の情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器では、入力パネルにより取得した物体の検出信号に対し所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とが取得される。これらの接触点情報および近接点情報に基づいて、入力パネルにおける検出要素の駆動周期が決定される。

本発明の情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器によれば、入力パネルにおいて取得した物体の検出信号に対し所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得し、これらの接触点情報および近接点情報に基づいて、入力パネルにおける駆動周期を決定するようにしたので、間欠的な検出駆動を行いつつも、操作性が損なわれることを抑制することができる。よって、消費電力を削減しつつ良好な操作性を維持することが可能となる。

本発明の一実施の形態に係る情報入出力装置の構成を表すブロック図である。 図１に示した入出力パネルの詳細構成を表すブロック図である。 図１に示した入出力パネルの一部を拡大した断面図である。 各物体検出モード間遷移の一例を表す図である。 検出待機モード、接触点検出モードおよび近接点検出モードにおける物体（指）の各状態を説明するための模式図である。 画像処理（点情報検出処理）の一例を表す流れ図である。 検出待機モードから近接点検出モードおよび接触点検出モードへの各移行タイミングを説明するための模式図である。 近接点検出モードから接触点検出モードおよび検出待機モードへの各移行タイミングを説明するための模式図である。 接触点検出モードから近接点検出モードおよび検出待機モードへの各移行タイミングを説明するための模式図である。 比較例に係る間欠駆動動作を説明するための図である。 変形例１に係る各物体検出モード間遷移を表す図である。 図１１に示した近接点検出モードにおける遅延動作を説明するための模式図である。 図１１に示した接触点検出モードにおける遅延動作を説明するための模式図である。 図１１に示した接触点検出モードにおける遅延動作を説明するための模式図である。 変形例２に係る情報入出力装置の構成を表すブロック図である。 本発明の情報入出力装置の適用例１の外観を表す斜視図である。 （Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。 適用例３の外観を表す斜視図である。 適用例４の外観を表す斜視図である。 （Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．実施の形態（物体の接触点情報および近接点情報に基づいて、駆動周期を変更する情報入力処理の例）
２．変形例１（より低い駆動周期への変更タイミングを遅延させる例）
３．変形例２（情報入力装置の他の例）
４．適用例１〜５（電子機器への適用例）

＜実施の形態＞
［情報入出力装置１の全体構成］
図１は、本発明の一実施の形態に係る情報入出力装置（情報入出力装置１）の概略構成を表すものである。図２は、ディスプレイ１０の詳細構成を表すものであり、図３は、入出力パネル１１の断面の一部を拡大して示したものである。情報入出力装置１は、例えば指やスタイラス等を用いて情報入力を行う、いわゆるタッチセンサ機能を有する表示装置である。この情報入出力装置１は、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３および画像処理部１４を有しており、電子機器本体２０は、制御部２１を有している。尚、本発明の一実施の形態に係る情報入力方法および情報入力プログラムについては、本実施の形態の情報入出力装置１において具現化されるため、それらの説明を省略する。

（入出力パネル１１）
入出力パネル１１は、例えば図２に示したように、複数の画素１６がマトリクス状に配列されてなる液晶ディスプレイパネルであり、各画素１６は、表示要素１１ａ（表示セルＣＷ）および受光要素１１ｂ（受光セルＣＲ）を含んでいる。表示要素１１ａは、図示しないバックライトから出射された光を利用して、画像を表示するための液晶素子である。受光要素１１ｂは、受光した光を電気信号として出力する、例えばフォトダイオード等の受光素子である。ここでは、パネルに接触または近接する物体によって反射された後パネル内部へ戻ってきた反射光を受光して、受光信号（検出信号）を出力するようになっている。尚、各画素１６では、１つの表示セルＣＷに対応して１つの受光セルＣＲを設けられていてもよいし、複数の表示セルＣＷに対応して１つの受光セルＣＲが設けられていてもよい。

この入出力パネル１１は、複数の画素１６として、例えば次のような複数の表示受光セルＣＷＲを含んでいる。即ち、複数の表示受光セルＣＷＲは、図３に示したように、１対の透明基板３０Ａ，３０Ｂ間に液晶層３１が狭持されてなり、それぞれが隔壁３２によって互いに分離されている。各表示受光セルＣＷＲ内の一部に受光素子ＰＤが設けられており、この受光素子ＰＤに対応する領域が受光セルＣＲ（ＣＲ１，ＣＲ２，ＣＲ３，…））、その他の領域が表示セルＣＷ（ＣＷ１，ＣＷ２，ＣＷ３，…）となっている。尚、受光セルＣＲには、バックライトから出射された光ＬＢの入射を防止するために、透明基板３０Ａと受光素子ＰＤとの間に、遮光層３３が設けられている。これにより、各受光素子ＰＤでは、バックライト光ＬＢの影響を受けず、透明基板３０Ｂの側から入射した光（物体からの反射光）のみが検出される。このような入出力パネル１１の前段には表示信号処理部１２、後段には受光信号処理部１３がそれぞれ接続されている。

（表示信号処理部１２）
表示信号処理部１２は、表示データに基づく画像表示動作および受光動作を行うように入出力パネル１１を駆動する回路であり、例えば、表示信号保持制御部４０、表示側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている（図２）。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を、例えばＳＲＡＭ（Static Random Access Memory）等のフィールドメモリに格納して保持すると共に、表示側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３の動作を制御するものである。具体的には、表示側スキャナ４１に表示タイミング制御信号、受光側スキャナ４３には受光タイミング制御信号をそれぞれ出力すると共に、表示信号ドライバ４２には、フィールドメモリに保持された表示信号に基づく１水平ライン分の表示信号を出力する。これにより、入出力パネルにおいて、線順次表示動作および受光動作が行われる。

表示側スキャナ４１は、表示信号保持制御部４０から出力される表示タイミング制御信号に応じて、駆動対象の表示セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された表示用ゲート線を介して表示用選択信号を供給し、表示素子選択スイッチを制御する。つまり、表示用選択信号によりある画素１６の表示素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の表示動作がなされるようになっている。

表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の表示セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して、前述の表示側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。

受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて、駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の表示側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある表示セルＣＷから表示光として出射させた光を、物体において反射させ、その反射光を受光セルＣＲにおいて受光、検出することが可能となる。このような受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、受光動作に寄与するブロックを制御する機能も有する。尚、本実施の形態では、前述の表示用ゲート線および受光用ゲート線はそれぞれ各表示受光セルＣＷＲに対して別個に接続され、表示側スキャナ４１および受光側スキャナ４３は互いに独立して動作可能となっている。

本実施の形態では、この受光側スキャナ４３が、制御部２１の制御に応じて、時間軸に沿って間欠的なタイミングで受光駆動を行うように、所定の駆動周期（ｆｐｓ：フレーム／秒）で各受光セルＣＲを駆動するようになっている。尚、この受光駆動周期に同期して、バックライトについても間欠的に点灯するように駆動されることが望ましい。そして、後述の制御部２１が、この駆動周期を、物体の接触の有無および近接の有無に応じて、決定（具体的には、変更または維持）するようになっている。また、そのような駆動周期に対応して、複数の物体検出モード（ここでは、検出待機モード、近接点検出モードおよび接触点検出モードの３つの物体検出モード）を発現する。これらの各物体検出モードは、上記駆動周期を変更することによって、相互に移行可能である（図４のＡ〜Ｆ）。即ち、本実施の形態では、詳細は後述するが、物体の状態変化（接触状態、近接状態およびそれらのどちらでもない状態間の変化）に連動して駆動周期をダイナミックに変更することにより、物体検出モードを移行するようになっている。

具体的には、検出待機モードは、接触または近接する物体の無い（情報入力のない）状態（図５（Ａ））において発現されるモードであり、最も低い駆動周期ＭＬが用いられる。接触点検出モードは、物体（詳細には指の腹等の物体表面の一部）が入力画面（パネル表面）に接触している状態（図５（Ｂ））において発現されるモードであり、最も高い駆動周期ＭＨが用いられる。近接点検出モードは、物体が、入力画面から所定の高さ（距離）Ｈまでの空間に存在している状態（図５（Ｃ））において発現されるモードであり、駆動周期ＭＬ，ＭＨの中間の駆動周期ＭＣが用いられる。但し、駆動周期ＭＬ，ＭＣ，ＭＨの大小関係は、ＭＬ≦ＭＣ≦ＭＨとなっている。尚、本明細書において、「接触」といった場合には、文字通り物体が入力画面に接触している場合のみを意味し、「近接」といった場合には、物体が入力画面に接触している場合に限らず、入力画面に非接触で入力画面から所定の高さまでの空間に存在する場合をも意味するものとする。

（受光信号処理部１３）
受光信号処理部１３は、受光要素１１ｂからの受光信号を取り込み、信号の増幅やフィルタ処理等を行うものであり、例えば、受光信号レシーバ４５および受光信号保持部４６を備えている（図２）。

受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。

受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を、例えばＳＲＡＭ等のフィールドメモリに格納、保持するものである。受光信号保持部４６に格納された受光信号のデータは、画像処理部１４へ出力される。尚、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。

（画像処理部１４）
画像処理部１４は、受光信号処理部１３の後段に接続されており、受光信号処理部１３から撮像画像データを取り込み、所定の画像処理を施すことにより、物体に関する情報（点情報）を検出する回路である。具体的には、画像処理部１４は、撮像画像データに対し２値化や孤立点除去、ラベリング等の処理を行い、接触物体についての情報（接触点情報）や、近接物体についての情報（近接点情報）等を取得する。接触点情報には、物体の接触の有無に関する情報や、接触物体の位置や面積に関する情報等が含まれる。同様に、近接点情報には、物体の近接の有無に関する情報や、近接物体の位置や面積に関する情報等が含まれる。

（電子機器本体２０）
電子機器本体２０は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から上記点情報（接触点情報、近接点情報）が入力されるようになっている。この電子機器本体２０には、例えばＣＰＵ（Central Processing Unit）等によりなる制御部２１が設けられている。制御部２１は、表示データを生成したり、点情報に基づいて表示画像を変化させたりするようになっている。また、入力された点情報に基づいて、入出力パネル１１における駆動周期を決定する制御を行うようになっている。

［情報入出力装置１の作用・効果］
（１．画像表示動作、受光動作）
電子機器本体２０から出力された表示データが、表示信号処理部１２に入力されると、表示信号処理部１２は、その表示データに基づいて入出力パネル１１を表示駆動および受光駆動する。これにより、入出力パネル１１では、バックライト（図示せず）からの出射光を用いた表示要素１１ａ（表示セルＣＷ）による画像表示が行われる。一方、入出力パネル１１では、受光要素１１ｂ（受光セルＣＲ）が所定の駆動周期で駆動され、受光セルＣＲにおいて受光動作がなされる。

このように画像表示動作および受光動作がなされている状態で、入出力パネル１１の表示画面（入力画面）に、指等の物体が接触または近接すると、各表示要素１１ａから画像表示のために出射された光の一部が、物体の表面において反射される。反射された光は、入出力パネル１１の内部へ取り込まれ、受光要素１１ｂにおいて受光される。これにより、受光要素１１ｂから物体の受光信号が出力される。その受光信号に対し、受光信号処理部１３は、増幅等の処理を行うことにより受光信号を処理し、撮像画像を生成する。生成された撮像画像は、撮像画像データＤ０として画像処理部１４へ出力される。

（２．点情報検出処理）
図６は、画像処理部１４における画像処理（点情報検出処理）全体の流れを表すものである。画像処理部１４は、受光信号処理部１３から撮像画像データＤ０を取得し（ステップＳ１０）、この撮像画像データＤ０に対し、互いに異なる２つの閾値を用いた２値化処理を経て、接触点情報および近接点情報を取得する。具体的には、画像処理部１４は、予め設定された２つの閾値Ｓ１，Ｓ２（Ｓ１＞Ｓ２）を記憶しており、これらの閾値Ｓ１，Ｓ２をそれぞれ用いた次のような画像処理を行うことにより、接触点情報および近接点情報を取得する。

（接触点情報の取得：Ｓ１１〜Ｓ１４）
画像処理部１４は、取得した撮像画像データＤ０に対し、閾値Ｓ１（第１の閾値）を用いた２値化処理を行う（ステップＳ１１）。具体的には、撮像画像データＤ０を構成する画素毎の信号値をそれぞれ閾値Ｓ１と比較し、例えば閾値Ｓ１未満であれば「０（ゼロ）」、閾値Ｓ１以上であれば「１」に設定する。これにより、接触物体があれば、その物体において反射された光を受光した部分が「１」、他の部分が「０」となる。

続いて、画像処理部１４は、上記のような２値化後の撮像画像から、孤立点（ノイズ）を除去する（ステップＳ１２）。即ち、接触物体がある場合の２値化後の撮像画像では、「１」に設定された部分の集合領域が形成されることになるが、その「１」の集合領域から孤立して「１」に設定された部分がある場合には、この孤立部分を除去する処理を行う。

この後、画像処理部１４は、孤立点除去後の撮像画像に対し、ラベリング処理を施す（ステップＳ１３）。即ち、撮像画像のうち「１」の集合領域に対してラベリング処理を行い、そのラベリング処理後の「１」の集合領域を接触物体の検出点とする。このような検出点が存在する場合には、物体の接触が「有り」と判定し、検出点が存在しない場合には物体の接触が「無い」と判定する。また、検出点が存在する場合には、その検出点における位置座標や面積等を算出する。これにより、物体の接触の有無に関する情報や、その接触物体の位置等に関する情報を含む接触点情報を取得する（ステップＳ１４）。

（近接点情報の取得：Ｓ１５〜Ｓ１８）
画像処理部１４は、取得した撮像画像データＤ０に対し、閾値Ｓ２（第２の閾値）を用いた２値化処理を行う（ステップＳ１５）。具体的には、上記接触点情報を取得する場合と同様にして、撮像画像データＤ０を構成する画素毎の信号値をそれぞれ閾値Ｓ２と比較し、閾値Ｓ２以上となる部分を「１」、他の部分を「０」とする。続いて、上記ステップＳ１２と同様にして、その２値化後の撮像画像から、孤立点を除去する（ステップＳ１６）。この後、上記ステップＳ１３と同様にして、孤立点除去後の撮像画像に対し、ラベリング処理を施す（ステップＳ１７）。そして、ラベリング処理後の撮像画像において検出点が存在する場合には、物体の近接が「有り」と判定し、その近接物体の位置座標等を算出する。検出点が存在しない場合には、物体の近接が「無い」と判定する。これにより、物体の近接の有無に関する情報や、その近接物体の位置等に関する情報を含む近接点情報を取得する（ステップＳ１８）。

尚、これらの接触点情報取得ステップ（Ｓ１１〜Ｓ１４）および近接点情報取得ステップ（Ｓ１５〜Ｓ１８）は、並行して実行してもよいし、順番に実行する（例えば、ステップＳ１１〜Ｓ１４を実行した後、ステップＳ１５〜Ｓ１８を実行する）ようにしてもよい。また、点情報として、物体の位置情報や面積情報が不要である場合、即ち物体の接触の有無あるいは近接の有無についての情報のみを検出すれば足りる場合には、上述した２値化、孤立点除去およびラベリング等の複雑な画像処理を実行しなくともよい。その場合、接触物体の有無を検出する際には、例えば、撮像画像データＤ０を構成する画素毎の信号値をそれぞれ閾値Ｓ１と比較して、閾値Ｓ１以上となる画素数をカウントし、その閾値Ｓ１以上となる画素数の全画素数に対する比率を求める。この比率が所定の値以上となる場合には物体の接触が「有り」と判定し、その値未満となる場合には、物体の接触が「無い」と判定するようにしてもよい。近接物体の場合も同様で、閾値Ｓ２を用いて上記のような比率を求め、近接物体の有無を判定すればよい。

上記のような処理により、画像処理部１４では、物体が接触状態にある場合には、ステップＳ１１〜Ｓ１４により接触物体の検出点が得られ、「接触物体有り」の判定結果と共にその接触物体の位置等の情報を含む接触点情報が取得される。一方、物体が近接状態にある場合には、ステップＳ１１〜Ｓ１４において接触物体の検出点は得られない（「接触物体無し」の判定結果を含む接触点情報を得る）が、ステップＳ１５〜Ｓ１８により近接物体の検出点が得られ、「近接物体有り」の判定結果と共にその近接物体の位置等の情報を含む近接点情報が取得される。他方、物体が接触状態にも近接状態にもない場合には、ステップＳ１１〜Ｓ１４およびステップＳ１５〜Ｓ１８のいずれにおいても検出点は得られない。この場合には、「接触物体無し」の判定結果を含む接触点情報と、「近接物体無し」の判定結果を含む近接点情報とがそれぞれ取得される。このようにして取得された接触点情報および近接点情報等の点情報は、電子機器本体２０へ出力される。

電子機器本体２０では、入力された点情報に基づいて、制御部２１が表示データを生成し、例えば入出力パネル１１に表示されている現画像が変化するように、入出力パネル１１の表示駆動を行う。また、制御部２１は、その点情報に基づいて、駆動周期を変更し、物体検出モードを移行する制御を行う。以下、そのような点情報に基づく駆動周期変更動作について、詳細に説明する。

（３．駆動周期変更動作）
図７〜図９は、駆動周期変更タイミング（各物体検出モード間の移行タイミング）を説明するための模式図である。図７（Ａ），（Ｂ）は、検出待機モードから近接点検出モードおよび接触点検出モードへそれぞれ移行する場合を表している。図８（Ａ），（Ｂ）は、近接点検出モードから接触点検出モードおよび検出待機モードへそれぞれ移行する場合を表している。図９（Ａ），（Ｂ）は、接触点検出モードから近接点検出モードおよび検出待機モードへそれぞれ移行する場合を表している。尚、各図におけるフレーム（Ｆ）は、６０フレーム／秒で受光駆動した場合の各フレームに対応したものである。また、これらのフレームうち、実線で描かれたフレームは実際の受光駆動動作により取得された撮像画像に対応し、破線で描かれたフレームは実際には取得されない撮像画像に対応している。また、各フレームにおいて近接物体（３Ａ）を薄い点描模様の円、接触物体（３Ｂ）を濃い点描模様の円でそれぞれ模式的に表している。

検出待機モードにおける駆動周期ＭＬは、３つの物体検出モードの中で最も低い駆動周期であり、例えば６０フレーム／秒をフル駆動とした場合、例えばその１／２０〜１／４程度の駆動周期である。接触点検出モードにおける駆動周期ＭＨは、３つの物体検出モードの中で最も高い駆動周期であり、例えば６０フレーム／秒である。近接点検出モードにおける駆動周期ＭＣは、駆動周期ＭＬと駆動周期ＭＨの中間の値に設定されている。ここでは、駆動周期ＭＬとして例えばフル駆動の１／４の周期（１５フレーム／秒）、駆動周期ＭＣとして例えばフル駆動の１／２の周期（３０フレーム／秒）、駆動周期ＭＨとして例えば６０フレーム秒をそれぞれ用いた場合について説明する。

（Ａ．検出待機モードから近接点検出モードへの移行）
図７（Ａ）に示したように、検出待機モードにおいて、まず、フレームＦ(A+0)のタイミングにおける撮像画像に基づき、上述の画像処理（点情報検出処理）を行う。このタイミングでは、物体の接触および近接が無いとの判定結果を含む点情報が得られ、制御部２１は、そのような点情報に基づいて、駆動周期ＭＬを維持する（フレームＦ(A+0)〜Ｆ(A+4)）。続いて、例えばフレームＦ(A+3)のタイミングから、近接物体が現れた場合、次の検出フレームＦ(A+4)において、近接物体の検出点３Ａが得られる。即ち、近接物体有り（かつ接触物体無し）との判定結果を含む点情報が得られ、制御部２１は、そのような点情報に基づいて、駆動周期ＭＬを駆動周期ＭＣへ変更する。これにより、検出待機モードから近接点検出モードへの移行がなされる。

（Ｂ．検出待機モードから接触点検出モードへの移行）
図７（Ｂ）に示したように、検出待機モードにおいて、まず、フレームＦ(B+0)のタイミングでは、物体の接触および近接が無いため、上記フレームＦ(A+0)〜Ｆ(A+4)の場合と同様、制御部２１は、駆動周期ＭＬを維持する（フレームＦ(B+0)〜Ｆ(B+4)）。続いて、例えばフレームＦ(B+3)のタイミングから、接触物体が現れた場合、次の検出フレームＦ(B+4)において、接触物体の検出点３Ｂが得られる。即ち、接触物体有りとの判定結果を含む点情報が得られ、制御部２１は、そのような点情報に基づいて、駆動周期ＭＬを駆動周期ＭＨへ変更する。これにより、検出待機モードから接触点検出モードへの移行がなされる。

このように、制御部２１は、検出待機モードにおいて、接触物体および近接物体のいずれも無いと判定された場合には、駆動周期ＭＬをそのまま維持する。一方、近接物体が有り（かつ接触物体無し）と判定された場合には、駆動周期ＭＬを駆動周期ＭＣへ変更し、接触物体が有りと判定された場合には、駆動周期ＭＬを駆動周期ＭＨへ変更する制御を行う。

（Ｃ．近接点検出モードから接触点検出モードへの移行）
図８（Ａ）に示したように、近接点検出モードにおいて、まず、フレームＦ(C+1)のタイミングにおける撮像画像に基づき、上述の画像処理（点情報検出処理）を行う。このタイミングでは、近接物体の検出点３Ａが得られ、近接物体有りとの判定結果を含む点情報が取得される。制御部２１は、そのような点情報に基づいて、駆動周期ＭＣを維持する（フレームＦ(C+1)〜Ｆ(C+3)）。続いて、例えばフレームＦ(C+2)のタイミングにおいて、物体が近接状態から接触状態に遷移した場合、次の検出フレームＦ(C+3)において、接触物体の検出点３Ｂが得られる。即ち、接触物体有りとの判定結果を含む点情報が得られ、制御部２１は、そのような点情報に基づいて、駆動周期ＭＣを駆動周期ＭＨへ変更する。これにより、近接点検出モードから接触点検出モードへの移行がなされる。

（Ｄ．近接点検出モードから検出待機モードへの移行）
図８（Ｂ）に示したように、近接点検出モードにおいて、まず、フレームＦ(D+1)のタイミングでは、近接物体の検出点３Ａが得られるため、上記フレームＦ(C+1)〜Ｆ(C+3)と同様、制御部２１は駆動周期ＭＣを維持する（フレームＦ(D+1)〜Ｆ(D+3)）。続いて、例えばフレームＦ(D+2)のタイミングから、物体が近接状態でも接触状態でもなくなった場合、次の検出フレームＦ(D+3)において、接触物体無しかつ近接物体無しとの判定結果を含む点情報が得られる。制御部２１は、そのような点情報に基づいて、駆動周期ＭＣを駆動周期ＭＬへ変更する。これにより、近接点検出モードから検出待機モードへの移行がなされる。

このように、制御部２１は、近接点検出モードにおいて、近接物体が有り（かつ接触物体無し）と判定された場合には、駆動周期ＭＣをそのまま維持する。一方、接触物体が有りと判定された場合には、駆動周期ＭＣを駆動周期ＭＨへ変更し、接触物体および近接物体のいずれも無いと判定された場合には、駆動周期ＭＣを駆動周期ＭＬへ変更する制御を行う。

（Ｅ．接触点検出モードから近接点検出モードへの移行）
図９（Ａ）に示したように、接触点検出モードにおいて、まず、フレームＦ(E+0)〜Ｆ(E+2)の各タイミングにおいて、上述の画像処理（点情報検出処理）をそれぞれ行う。これらの各タイミングでは、接触物体の検出点３Ｂが得られ、接触物体有りとの判定結果を含む点情報が取得される。制御部２１は、そのような点情報に基づいて、駆動周期ＭＨを維持する（フレームＦ(E+0)〜Ｆ(E+3)）。続いて、例えばフレームＦ(E+3)のタイミングにおいて、物体が接触状態から近接状態に遷移した場合、フレームＦ(E+3)のタイミングでは、接触物体の検出点３Ａが得られる。即ち、近接物体有りとの判定結果を含む点情報が得られ、制御部２１は、そのような点情報に基づいて、駆動周期ＭＨを駆動周期ＭＣへ変更する。これにより、接触点検出モードから近接点検出モードへの移行がなされる。

（Ｆ．接触点検出モードから検出待機モードへの移行）
図９（Ｂ）に示したように、接触点検出モードにおいて、まず、フレームＦ(G+0)〜Ｆ(G+2)の各タイミングでは、接触物体の検出点３Ｂが得られるため、上記フレームＦ(E+0)〜Ｆ(E+2)と同様、制御部２１は駆動周期ＭＨを維持する（フレームＦ(G+0)〜Ｆ(G+3)）。続いて、例えばフレームＦ(G+3)のタイミングにおいて、物体の接触および近接が無くなった場合、フレームＦ(G+3)のタイミングでは、接触物体無しかつ近接物体無しとの判定結果を含む点情報が得られる。制御部２１は、そのような点情報に基づいて、駆動周期ＭＨを駆動周期ＭＬへ変更する。これにより、接触点検出モードから検出待機モードへの移行がなされる。

このように、制御部２１は、接触点検出モードにおいて、接触物体が有りと判定された場合には、駆動周期ＭＨをそのまま維持する。一方、近接物体が有り（かつ接触物体無し）と判定された場合には、駆動周期ＭＨを駆動周期ＭＣへ変更し、接触物体および近接物体のいずれも無いと判定された場合には、駆動周期ＭＨを駆動周期ＭＬへ変更する制御を行う。

尚、上述の点情報取得ステップにおいて、「接触物体有り」との判定結果を含む接触点情報と、「近接物体有り」との判定結果を含む近接点情報との両方が得られた場合には、物体が接触状態にあるものとして、検出待機モードあるいは近接点検出モードから接触点検出モードへの移行を行う。

以上のように、本実施の形態では、物体の撮像画像データＤ０に基づいて、物体の接触の有無および近接の有無に関する点情報を取得し、そのような点情報に基づいて駆動周期を変更する。即ち、物体の状態に応じてダイナミックに駆動周期を変更し、各検出モード間の移行を行う。

ここで、図１０を参照して、比較例に係る間欠受光駆動動作について説明する。比較例では、例えば３０フレーム／秒の駆動周期で受光セルＣＲを駆動するため、フル駆動（６０フレーム／秒）の場合に比べて、消費電力を削減することができる。また、バックライトを、受光セルＣＲの駆動周期に同期させつつ間欠駆動すれば、大幅な電力削減につながる。ところが、このような比較例では、例えばフレームＦ(H+0)〜Ｆ(H+4)のタイミングに渡って、フリック動作がなされた場合、その時間的に連続する動きを十分に認識することができない。即ち、フリック動作等の動きのある操作による情報入力が困難となる。また、このような弊害は、駆動周期が低くなる程、顕著なものとなる。

これに対し、本実施の形態では、物体が接触していない状態（検出待機モード，近接点検出モード）では、駆動周期を低く設定し（駆動周期ＭＬ，ＭＣ）、消費電力の削減を図っている。そして、これらの検出待機モードおよび近接点検出モードにおいて、物体の接触が検出された場合には、より高い駆動周期（駆動周期ＭＨ）へダイナミックに変更し、接触点検出モードへ移行する。これにより、例えば図７（Ａ）および図８（Ａ）に示したように、接触物体によるフリック動作を十分に認識することが可能となる。また、画像処理部１４における２値化処理において２つの閾値Ｓ１，Ｓ２を用い、物体の接触点情報だけでなく近接点情報についても取得することで、物体が入力画面に接触している場合だけでなく入力画面から所定の高さ離れた非接触の状態においても、入力操作ができるようになる。従って、受光セルＣＲを間欠的に駆動しつつも、操作性が損なわれることを抑制することができる。よって、消費電力を削減しつつ良好な操作性を維持することが可能となる。

＜変形例１＞
図１１は、上記実施の形態の変形例１に係る各物体検出モード間遷移を表す図である。本変形例は、物体検出モード間の移行タイミング（駆動周期の変更タイミング）が異なること以外は、上記実施の形態と同様のディスプレイ１０および電子機器本体２０に適用されるものである。具体的には、検出待機モード（駆動周期ＭＬ）、近接点検出モード（駆動周期ＭＣ）および接触点検出モード（駆動周期ＭＨ）の各モード間を相互に移行可能である点においては上記実施の形態と同様である。但し、本変形例では、より低い駆動周期へ変更する場合に、その変更タイミングを遅らせる制御を行うようになっている。具体的には、近接点検出モードから検出待機モードへの移行（Ｄ）、接触点検出モードから近接点検出モードへの移行（Ｅ）、および接触点検出モードから検出待機モードへの移行（Ｆ）の各場合において、所定の時間Ｒ１，Ｒ２、駆動周期の変更タイミングを遅らせる制御を行う。以下、これらのモード間における変更タイミングの一例について、図１２〜図１４を参照して説明する。

（Ｄ．近接点検出モードから検出待機モードへの移行）
図１２（Ａ），（Ｂ）は、近接点検出モードにおいて、接触物体無しかつ近接物体無しの判定が得られた際に、駆動周期変更のタイミングを所定の時間Ｒ１だけ遅延させた場合の模式図である。このように、あるフレームＦ(I+3)，Ｆ(J+3)において、接触物体無しかつ近接物体無しの判定が得られた場合であっても、時間Ｒ１の間は、駆動周期ＭＣを維持するようにする。時間Ｒ１は、例えば数フレーム分（ここでは２フレーム）に設定すればよい。

このように、駆動周期ＭＣから駆動周期ＭＬへの変更に際し、時間Ｒ１の猶予を設けることで、例えば図１２（Ａ）に示したように、その次の検出フレームＦ(I+4)から、再び近接物体が現れた場合にも逃さずに検出し易くなる（フレームＦ(I+5)）。尚、その後は、駆動周期ＭＣを維持する（フレームＦ(I+6)〜）。このような効果は特に、例えばダブルクリック等の、物体が入力画面に対して素早くタッチしたり離れたりする動作を伴う入力操作を認識する上で有効となる。一方、図１２（Ｂ）に示したように、時間Ｒ１の経過後、接触物体も近接物体も現れない場合（フレームＦ(J+5)）には、駆動周期ＭＣから駆動周期ＭＬへの変更を行えばよい。

（Ｅ．接触点検出モードから近接点検出モードへの移行）
図１３（Ａ），（Ｂ）は、接触点検出モードにおいて、物体が接触状態から近接状態へ遷移した際に、駆動周期変更のタイミングを所定の時間Ｒ２だけ遅延させた場合の模式図である。このように、あるフレームＦ(K+2)，Ｆ(L+2)において、近接物体有り（かつ接触物体無し）の判定が得られた場合であっても、時間Ｒ２の間は、駆動周期ＭＨを維持する。時間Ｒ２は、例えば数フレーム分（ここでは３フレーム）に設定すればよい。

このように、駆動周期ＭＨから駆動周期ＭＣへの変更に際し、時間Ｒ２の猶予を設けることで、例えば図１３（Ａ）に示したように、その後の検出フレームＦ(K+5)から、再び接触物体が現れた場合にも逃さずに検出し易くなる（フレームＦ(K+5)）。尚、その後は、駆動周期ＭＨを維持する（フレームＦ(K+6)〜）。このような効果は特に、例えばダブルクリック等の入力操作を認識する上で有効となる。一方、図１３（Ｂ）に示したように、時間Ｒ２の経過後、接触物体も近接物体も現れない場合（フレームＦ(L+5)）には、駆動周期ＭＨから駆動周期ＭＣへの変更を行えばよい。

（Ｆ．接触点検出モードから検出待機モードへの移行）
図１４（Ａ），（Ｂ）は、接触点検出モードにおいて、接触物体無しかつ近接物体無しの判定が得られた際に、駆動周期変更のタイミングを時間Ｒ２だけ遅延させた場合の模式図である。このように、あるフレームＦ(M+2)，Ｆ(N+2)において、接触物体無しかつ近接物体無しの判定が得られた場合であっても、時間Ｒ２の間は、駆動周期ＭＨを維持する。

このように、駆動周期ＭＨから駆動周期ＭＬへの変更に際し、時間Ｒ２の猶予を設けることで、例えば図１４（Ａ）に示したように、その後の検出フレームＦ(M+5)から、再び接触物体が現れた場合にも逃さずに検出し易くなる（フレームＦ(M+5)）。尚、その後は、駆動周期ＭＨを維持する（フレームＦ(M+6)〜）。このような効果は特に、例えばダブルクリック等の入力操作を認識する上で有効となる。一方、図１４（Ｂ）に示したように、時間Ｒ２の経過後、接触物体も近接物体も現れない場合（フレームＦ(N+5)）には、駆動周期ＭＨから駆動周期ＭＬへの変更を行えばよい。

以上のように、本変形例では、物体の接触の有無および近接の有無に基づき、より低い駆動周期へ変更する場合において、その変更タイミングを遅らせる制御を行うことで、例えばダブルクリック等の入力操作を良好に認識することができるようになる。よって、消費電力を削減しつつも、良好な操作性を維持することが可能となる。

＜変形例２＞
図１５は、変形例２に係る情報入出力装置２のブロック構成を表したものである。情報入出力装置２は、上記実施の形態の情報入出力装置１と同様、ディスプレイ１０と電子機器本体２０とを備えたものであるが、ディスプレイ１０には表示信号処理部１２、入出力パネル１１および受光信号処理部１３が設けられている。電子機器本体２０には、制御部２１および画像処理部１４が設けられている。即ち、本変形例では、画像処理部１４が、ディスプレイ１０ではなく、電子機器本体２０に設けられている。このように、画像処理部１４は、電子機器本体２０に設けられていてもよく、このような場合であっても、上記実施の形態の情報入出力装置１と同等の効果を得ることができる。

＜適用例＞
次に、図１６〜図２０を参照して、上記実施の形態および変形例で説明した情報入出力装置の適用例について説明する。上記実施の形態等の情報入出力装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態等の情報入出力装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。

（適用例１）
図１６は、テレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例２）
図１７は、デジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例３）
図１８は、ノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例４）
図１９は、ビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有している。そして、その表示部５４４は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例５）
図２０は、携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態等に係る情報入出力装置により構成されている。

以上、いくつかの実施の形態、変形例および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されず、種々の変形が可能である。例えば、上記実施の形態等では、物体の検出方式として、入出力パネル１１に設けた受光要素１１ｂにより、物体からの反射光を利用して検出を行う光学式を例に挙げて説明したが、他の検出方式、例えば接触式や静電容量式等を利用することも可能である。いずれの検出方式であっても、間欠的なタイミングで検出信号を取得するように駆動周期を設定し、この駆動周期を物体の接触や近接の有無に応じて、変更すればよい。

また、上記実施の形態等では、物体検出モードとして、検出待機モード、近接点検出モードおよび接触点検出モードの３つのモードを例に挙げて説明したが、本発明はこれら３つのモードに必ずしも限定される訳ではない。例えば、近接点検出モードを更に多段階のモードに分けて、４つ以上の物体検出モードを発現するようにしてもよい。即ち、近接点検出モードにおける駆動周期として多段階的に変化する複数の駆動周期を用い、物体の近接状況（物体が入力画面からどのくらい離れた高さに位置しているか等）を検出し、そのような状況に合わせて駆動周期を変更するようにしてもよい。

更に、上記実施の形態等では、接触点検出モードにおける駆動周期として、フル駆動（６０フレーム／秒）である場合を例に挙げて説明したが、これに限定されず、６０フレーム／秒以上の駆動周期、例えば１２０フレーム／秒としてもよい。また、検出待機モードおよび近接点検出モードにおける駆動周期についても同様で、上記実施の形態等で説明した１５フレーム秒および３０フレーム秒に限定される訳ではない。例えば、近接点検出モードにおける駆動周期を接触点検出モードにおける駆動周期と同等となるように設定してもよい。

加えて、上記実施の形態等では、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。

また、上記実施の形態等では、表示機能と検出機能（受光機能）とが一体化された入出力パネルを備えた情報入出力装置を例に挙げて説明したが、本発明はこれに限らず、例えば表示装置にタッチセンサが外付けされてなる情報入出力装置にも適用可能である。

更に、上記実施の形態等では、入出力パネルとして、液晶ディスプレイパネルを用いた場合を例に挙げたが、これに限定されず、有機エレクトロルミネッセンス（ＥＬ）パネル等であってもよい。入出力パネルとして有機ＥＬパネルを用いる場合には、例えば基板上に、表示要素としての複数の有機ＥＬ素子を設けると共に、受光要素としてのフォトダイオードを有機ＥＬ素子毎に配置するか、あるいは２以上の有機ＥＬ素子に対して１つ配置すればよい。また、この有機ＥＬ素子は、順方向バイアス電圧の印加によって発光する一方、逆方向バイアス電圧の印加によって受光し電流を発生するという性質を有している。従って、そのような有機ＥＬ素子特有の性質を利用すれば、フォトダイオードのような受光素子を別途設けなくとも、表示機能と検出機能とを一体化してなる入出力パネルを実現することも可能である。

加えて、上記実施の形態等では、表示機能および検出機能（表示要素および受光要素）を有する入出力パネルを備えた情報入出力装置を例に挙げて本発明を説明したが、本発明は、必ずしも表示機能（表示要素）を有していなくともよい。即ち、検出機能（受光要素）のみを有する入力パネルを備えた情報入力装置（撮像装置）にも適用可能である。また、そのような入力パネルと、表示機能を有する出力パネル（表示パネル）とを、別々に設けるようにしてもよい。

また、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。

１，２…情報入出力装置、１０…ディスプレイ、１１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１６…画素、２０…電子機器本体、２１…制御部、ＣＷＲ…表示受光セル、ＣＷ…表示セル、ＣＲ…受光セル。

Claims (14)

1. 物体から検出信号を取得するための検出要素を含む入力パネルと、
   前記入力パネルにより得られた検出信号に対し、所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得する画像処理部と、
   前記入力パネルにおける検出要素を、所定の駆動周期で前記検出信号を取得するように駆動する駆動部と、
   前記画像処理部により取得された前記接触点情報および前記近接点情報に基づいて、前記駆動周期を決定する制御部と
   を備えた情報入力装置。
2. 前記画像処理部は、前記検出信号に対し、第１の閾値を用いた比較処理を施すことにより前記接触点情報を検出すると共に、前記第１の閾値よりも低い第２の閾値を用いた比較処理を施すことにより前記近接点情報を取得する
   請求項１に記載の情報入力装置。
3. 前記制御部は、前記駆動周期として、物体が接触状態にも近接状態にもない検出待機モードでは第１の駆動周期、物体が近接状態にある近接点検出モードでは前記第１の駆動周期と同じかまたはそれよりも高い第２の駆動周期、物体が接触状態にある接触点検出モードでは、前記第２の駆動周期と同じかまたはそれよりも高い第３の駆動周期を用いる
   請求項２に記載の情報入力装置。
4. 前記制御部は、前記検出待機モードにおいて、
   物体が接触状態にも近接状態にもないと判断した場合には前記第１の駆動周期を維持し、
   物体が近接状態にあると判断した場合には、前記第１の駆動周期から前記第２の駆動周期へ変更することにより前記近接点検出モードへ移行し、
   物体が接触状態にあると判断した場合には、前記第１の駆動周期から前記第３の駆動周期へ変更することにより前記接触点検出モードへ移行する
   請求項３に記載の情報入力装置。
5. 前記制御部は、前記近接点検出モードにおいて、
   物体が近接状態にあると判断した場合には前記第２の駆動周期を維持し、
   物体が接触状態にあると判断した場合には、前記第２の駆動周期から前記第３の駆動周期へ変更することにより前記接触点検出モードへ移行し、
   物体が接触状態にも近接状態にもないと判断した場合には、前記第２の駆動周期から前記第１の駆動周期へ変更することにより前記検出待機モードへ移行する
   請求項３に記載の情報入力装置。
6. 前記近接点検出モードから前記検出待機モードへ移行する場合に、前記第２の駆動周期から前記第１の駆動周期への変更タイミングを遅らせる
   請求項５に記載の情報入力装置。
7. 前記制御部は、前記接触点検出モードにおいて、
   物体が接触状態にあると判断した場合には前記第３の駆動周期を維持し、
   物体が近接状態にあると判断した場合には、前記第３の駆動周期から前記第２の駆動周期へ変更することにより前記近接点検出モードへ移行し、
   物体が接触状態にも近接状態にもないと判断した場合には、前記第３の駆動周期から前記第１の駆動周期へ変更することにより前記検出待機モードへ移行する
   請求項３に記載の情報入力装置。
8. 前記接触点検出モードから前記検出待機モード、および前記接触点検出モードから前記近接点検出モードへ移行する各場合において、各駆動周期の変更タイミングを遅らせる
   請求項７に記載の情報入力装置。
9. 前記検出要素は、物体で反射された光を受光する複数の受光要素である
   請求項１に記載の情報入力装置。
10. 検出要素を含む入力パネルにより物体の検出信号を取得し、
    取得した検出信号に対し、所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得し、
    前記入力パネルにおける検出要素を、所定の駆動周期で前記検出信号を取得するように駆動し、
    前記接触点情報および前記近接点情報に基づいて、前記駆動周期を決定する
    情報入力方法。
11. 物体から検出信号を取得するための検出要素を含むと共に、画像表示機能を有する入出力パネルと、
    前記入出力パネルにより得られた検出信号に対し、所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得する画像処理部と、
    前記入出力パネルにおける検出要素を、所定の駆動周期で前記検出信号を取得するように駆動する駆動部と、
    前記画像処理部において取得された前記接触点情報および前記近接点情報に基づいて、前記駆動周期を決定する制御部と
    を備えた情報入出力装置。
12. 前記入出力パネルは、
    画像データに基づいて画像を表示する複数の表示要素を有し、
    前記検出要素として、物体で反射された光を受光する複数の受光要素とを有する
    請求項１１に記載の情報入出力装置。
13. 検出要素を含む入力パネルにより物体の検出信号を取得するステップと、
    取得した検出信号に対し、所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得するステップと、
    前記入力パネルにおける検出要素を、所定の駆動周期で前記検出信号を取得するように駆動するステップと、
    前記接触点情報および前記近接点情報に基づいて前記駆動周期を決定するステップと
    をコンピュータに実行させる情報入力プログラム。
14. 物体から検出信号を取得するための検出要素を含む入力パネルと、
    前記入力パネルにより得られた検出信号に対し、所定の画像処理を施すことにより、物体が接触状態にあるか否かについての接触点情報と、物体が近接状態にあるか否かについての近接点情報とを取得する画像処理部と、
    前記入力パネルにおける検出要素を、所定の駆動周期で前記検出信号を取得するように駆動する駆動部と、
    前記画像処理部により取得された前記接触点情報および前記近接点情報に基づいて、前記駆動周期を決定する制御部と
    を有する情報入力装置を備えた電子機器。
    
    

Images