JP2008015667A - 表示装置 - Google Patents

Abstract

【課題】外光の照度の変化による性能低下を防止する表示装置を提供する。
【解決手段】画像を表示するとともに光センサ回路を用いて物体を撮像する表示手段と、前記光センサ回路の撮像結果から階調傾向値を測定し、当該階調傾向値に基づいて前記光センサ回路の駆動条件を変更する駆動条件変更手段９３とを備え、駆動条件変更手段９３は、前記駆動条件の変更後、所定の待機時間を経過した後で階調傾向値を測定する。
【選択図】図７

Description

本発明は、外光の照度による性能低下を防止する表示装置に関する。

液晶パネルの画素に光センサ回路を備え、光センサ回路の検出結果を基に画素部上の認識対象物を認識する表示装置としては、例えば、特許文献１に記載のものがある。
特開２００４−９３８９４号公報

特許文献１に記載の表示装置では、外光の照度が変化すると認識率が低下することがある。具体的には、照度が低いときに高い認識率が得られるように光センサ回路の感度を設定しても、照度が高くなってしまうと認識率が低下してしまう場合がある。

また、液晶パネル背面に面光源を有する表示装置では、外光の照度が低いときは、面光源の輝度が高いと認識率が低下することがある。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、外光の照度の変化による性能低下を防止する表示装置を提供することにある。

上記目的を達成するため、請求項１記載の表示装置は、画像を表示するとともに光センサ回路を用いて物体を撮像する表示手段と、前記光センサ回路の撮像結果から階調傾向値を測定し、当該階調傾向値に基づいて前記光センサ回路の駆動条件を変更する駆動条件変更手段とを備え、前記駆動条件変更手段は、前記駆動条件の変更後、所定の待機時間を経過した後で前記階調傾向値を測定することを要旨とする。

請求項１記載の本発明では、光センサ回路の駆動条件の変更後、所定の待機時間が経過した後で階調傾向値を測定する。これにより、光センサ回路の露光特性が不安定な状態で撮像した撮像結果に基づいて誤った駆動条件を設定することを回避し、適切な駆動条件を光センサ回路に設定することで性能低下を防止することができる。また、外光の照度に応じて変動する光センサ回路の撮像画像に基づいて光センサ回路の駆動条件を変更することで、外光の照度の変化による性能低下を防止することができる。

請求項２記載の表示装置は、請求項１の表示装置において、前記駆動条件が、光センサ回路のプリチャージ電圧または露光時間であること、を要旨とする。

請求項２の本発明によれば、プリチャージ電圧または露光時間を変更することにより、光センサ回路の感度を調整し、物体の認識率をより向上させることができる。

請求項３記載の表示装置は、請求項１または請求項２の表示装置において、前記階調傾向値は、光センサ回路の撮像結果に基づく多階調画像のメジアンであること、を要旨とする。

請求項３の本発明によれば、多階調画像のメジアンに基づいて光センサ回路の駆動条件を変更することで、外光の照度の変化による性能低下を防止することができる。

請求項４記載の表示装置は、請求項１から請求項３のいずれかの表示装置において、前記所定の待機時間は、１フレーム期間であること、を要旨とする。

請求項４の本発明によれば、待機時間を１フレーム期間とすることで、光センサ回路の駆動条件の調整に要する時間が増大することを防止することができる。

本発明によれば、光センサ回路の駆動条件を外光の照度に応じて変更することで、外光の照度の変化による性能低下を防止することができる。また、光センサ回路の駆動条件の変更後に、所定の時間待機して階調傾向値を測定することにより、適切な駆動条件を光センサ回路に設定し、性能低下を防止することができる。

以下、本発明の実施の形態を説明する。

図１は、本発明の一実施の形態に係る表示装置の構成を示す平面図である。同図の表示装置は、ガラス製のアレイ基板１、当該アレイ基板１に形成された表示部２、センサ用ＩＣ(Integrated Circuit)４、表示用ＩＣ５、センサ用ＩＣ４のインタフェース（以下、「センサ用Ｉ／Ｆ」）６および表示用ＩＣ５のインタフェース（以下、「表示用Ｉ／Ｆ」）７と、を備える。

表示部２は、複数の信号線と複数の走査線とが交差するように配線され、各交差部に画素を備える。表示部２は、ホスト側のＣＰＵから表示用Ｉ／Ｆ７および表示用ＩＣ５を介して伝送されてくる映像信号に基づいて画像を表示する表示機能と、表示画面に近接してきた外部の物体の画像を撮影する光入力機能と、を備える。

センサ用ＩＣ４は、撮像された画像の処理を行い、この処理結果をセンサ用Ｉ／Ｆ６を介してホスト側のＣＰＵへ伝送する。表示用ＩＣ５は、表示処理の制御を行う。なお、本実施形態のセンサ用ＩＣ４および表示用ＩＣ５は、アレイ基板１上にＣＯＧ（チップオングラス）実装されているが、センサ用ＩＣ４および表示用ＩＣ５はアレイ基板１に接続されたフレキシブル基板上に形成されていることとしてもよい。

図２は、表示部２の構成を示す断面図である。アレイ基板１では画素内に光センサ８等が形成され、これを覆うように絶縁層９が形成される。アレイ基板１と、これに対向して配置されたガラス製の対向基板１２との間隙に液晶層１１が形成される。対向基板１２の外側にはバックライト１３が配置される。同図に示すように、光センサ８には、指等の物体２０によって遮られていない外光と、バックライト１３から放出され、物体２０で反射した光とが入射する。

図３は、アレイ基板１の回路ブロック図である。アレイ基板１の各回路は、例えば、ポリシリコンＴＦＴ（Thin Film Transistor :薄膜トランジスタ）により形成される。アレイ基板１は、下辺の信号線駆動回路１０１およびプリチャージ回路１０２と、右辺の走査線駆動回路１０３と、左辺の露光時間可変回路１０４と、上辺のＡ／Ｄ変換回路１０５およびＳ／Ｒ出力回路１０６と、を備える。

信号線駆動回路１０１は、表示用ＩＣ５からの映像信号を各信号線に分配する。プリチャージ回路１０２は、センサ用ＩＣ４の指示により、光センサ８に供給するプリチャージ電圧を変更する。走査線駆動回路１０３は、各画素のゲート線を開閉する。露光時間可変回路１０４は、センサ用ＩＣ４の指示により、光センサ８の露光時間を変更する。Ａ／Ｄ変換回路１０５は、光センサ８が出力するアナログ信号をデジタル信号に変換する。Ｓ／Ｒ出力回路１０６は、Ａ／Ｄ変換回路１０５から入力されたデジタル信号を、シリアルデータに変換してセンサ用ＩＣ４に出力する。

図４は、表示部２の画素の構成を示す回路図である。表示部２では、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の画素が規則的に配置されており、各画素は、表示回路３１として、スイッチ素子３３と、液晶容量ＬＣと、補助容量ＣＳとを備える。図４において、Ｇａｔｅ（ｍ）は走査線、Ｓｉｇ（ｎ）は信号線、ＣＳ（ｍ）は補助容量線である。スイッチ素子３３はＭＯＳ型であり、そのゲートが走査線に接続され、ソースは信号線に接続され、ドレインは補助容量ＣＳおよび液晶容量ＬＣに接続される。補助容量ＣＳの他方の端子は補助容量線に接続される。

ホスト側のＣＰＵから信号線を通じて伝送されてきた映像信号は、走査線に伝送されてきた走査信号によりスイッチ素子３３がオンしたときに、スイッチ素子３３を介して補助容量ＣＳおよび液晶容量ＬＣに与えられて表示に用いられる。

また、表示部２は、光センサ回路３２として、Ｒ，Ｇ，Ｂの３画素毎に光センサ８、センサ容量３７、出力制御スイッチ３４、ソースフォロアアンプ３５およびプリチャージ制御スイッチ３８を１個づつ備える。ここでは、光センサ８の一例として、ＰＩＮ型の光ダイオードを用いる。

光センサ８とセンサ容量３７は並列に接続される。これら光センサ８およびセンサ容量３７は、ソースフォロアアンプ３５、出力制御スイッチ３４を介して赤の信号線Ｓｉｇ（ｎ）に接続され、プリチャージ制御スイッチ３８を介して青の信号線Ｓｉｇ（ｎ＋２）に接続される。

出力制御スイッチ３４のオン・オフは、制御線ＯＰＴ（ｍ）上の信号により制御され、プリチャージ制御スイッチ３８のオン・オフは、制御線ＣＲＴ（ｍ）上の信号により制御される。

次に、光センサ回路３２の動作について説明する。プリチャージ制御スイッチ３８を通じて青の信号線から例えば４Ｖの電圧がセンサ容量３７にプリチャージされる。所定の露光時間の間、光センサ８に入射する光量に応じて光センサ８にリーク電流が発生すると、センサ容量３７の電位が変化する。センサ容量３７は、リーク電流が少なければほぼ４Ｖを維持し、リーク電流が多ければ０Ｖに近づく。一方で、赤の信号線を５Ｖにプリチャージした後、出力制御スイッチ３４をオンしてソースフォロアアンプ３５を赤の信号線に導通させる。センサ容量３７は、ソースフォロアアンプ３５のゲートに接続されているので、センサ容量３７の残存電圧が例えば４Ｖのままならソースフォロアアンプ３５はオンし、赤の信号線の電位は５Ｖから０Ｖに向かって変化する。センサ容量３７の残存電圧が０Ｖならソースフォロアアンプ３５はオフし、赤の信号線の電位は５Ｖのまま殆ど変化しない。

図５は、光センサ回路３２およびＡ／Ｄ変換回路１０５の動作を説明するための説明図である。図示すように、Ａ／Ｄ変換回路１０５のコンパレータ４１は、赤の信号線の電位と基準電源４０の基準電圧とを比較し、信号線の電位が基準電圧より大きい場合にはハイレベルの信号を出力し、信号線の電位が基準電圧より小さい場合にはローレベルの信号を出力する。なお、基準電圧は固定する。

これにより、コンパレータ４１は、光センサ８が所定値よりも明るい光を検出した場合にはハイレベルの信号を出力し、所定値よりも暗い光を検出した場合にはローレベルの信号を出力することになる。Ｓ／Ｒ出力回路１０６は、コンパレータ４１が出力したデジタル信号をシリアルデータに変換し、センサ用ＩＣ４へ送出する。

本実施形態の表示装置では、図６（ａ）に示すように、指などの物体を近接させるための領域として、白黒画像（ボタン）１０１を表示画面に表示させるものとする。すなわち、表示装置は、白黒画像１０１を含む認識時表示画像をあらかじめ記憶部（不図示）に記憶しておくものとする。

認識時表示画像は、２階調画像であり２階調値から構成される。２階調値が１（黒）を示すときは、それが表示された部分では光の透過量が少なく、２階調値が０（白）を示すときは、それが表示された部分では光の透過量が多い。

白黒画像１０１の大きさは、指の大きさに合わせて決められる。認識時表示画像１００における白黒画像１０１以外の部分の２階調値は０（白）になっている。

一方、図６（ｂ）に示すように、白黒画像１０１は、２階調値が１（黒）である複数の黒画像１０１１あるいは２階調値が１（黒）である部分を多く含む黒画像を含み、それらは相互に離間している。

図７は、センサ用ＩＣ４の構成を示す回路ブロック図である。同図のセンサ用ＩＣ４は、レベルシフタ９１、階調化回路９２、キャリブレーション回路９３、ＤＡＣ（Digital Analog Convertor）９４、フレーム間差分処理回路９６、エッジ検出回路９７、接触確率計算回路９８およびＲＡＭ(Random Access Memory)９５を備える。本実施形態においては、このキャリブレーション回路９３が請求項の駆動条件変更手段に相当する。

レベルシフタ９１は、表示部２との信号のやり取りのために信号の電圧を調整する。

階調化回路９２は、表示部２から伝送されてきたシリアルデータすなわち２階調画像を、多階調画像に変換する。この変換の手法としては、例えば、階調化回路９２は、２階調画像を構成する２階調値（０または１）の各画素について、近傍の画素各々の２階調値の平均値を算出し、対象となる画素の２階調値を当該平均値に置き換えることにより多階調画像に変換することが考えられる。なお、近傍の画素としては、対象となる画素の周囲の例えば１２画素×１２画素の正方形領域の画素が考えられる。

なお、多階調画像を構成する、各画素に対応する多階調値は、光センサ８に入射する光の強度が低くなるにしたがって、高くなる値である。

キャリブレーション回路９３は、階調化回路９２から取得した多階調画像に基づいて階調傾向値を測定（算出）し、光センサ回路３２の駆動条件であるプリチャージ電圧および露光時間を制御するための信号を出力する。階調傾向値は、多階調画像の全体的な階調の傾向を示す指標や統計量である。階調傾向値には、例えば、多階調画像を構成する各多階調値の中央値（メジアン）、平均値、上から１／３の値、積分値などを用いることが考えられる。

ＤＡＣ９４およびレベルシフタ９１は、キャリブレーション回路９３から出力された信号（駆動条件）をプリチャージ回路１０２および露光時間可変回路１０４に設定する。

フレーム間差分処理回路９６は、現在のフレームにおける多階調画像とＲＡＭ９５に格納されている過去のフレームの多階調画像との差分をとった差分画像を生成し、当該差分画像を２階調化して物体を示す領域を抽出する。エッジ検出回路９７は、各フレームの多階調画像について、エッジの強さおよび重心を算出する。接触確率計算回路９８は、階調化回路９２、フレーム間差分処理回路９６およびエッジ検出回路９７からそれぞれ出力された信号に基づいて接触確率を計算し、計算した接触確率をホスト側のＣＰＵに出力する。

次に、表示装置の処理について説明する。

［外部からの表示画像を表示する際の処理］
まず、外部から与えられる表示画像を表示する際の処理を説明する。

表示用ＩＣ５は、外部から与えられた表示画像を信号線駆動回路１０１に供給する。これにより、その後のフレーム期間における最初の水平走査期間では、信号線駆動回路１０１は、各信号線に供給する映像信号の電圧を、表示画像の例えば最上列における水平方向の対応位置の階調値に応じた電圧とする。一方、水平走査期間では、走査線駆動回路１０３は、最上列の画素に対応する走査線を駆動する。

これにより、走査線に接続されたスイッチ素子３３が導通し、当該スイッチ素子３３に接続された画素電極に映像信号（対応する階調値に応じた電圧）が書き込まれる。つまり、当該画素電極により構成される液晶容量ＬＣが当該階調値に応じてチャージされる。これにより、当該液晶容量ＬＣにおける光の透過量が、当該階調値に応じたものとなる。つまり、表示部２の最上列が表示画像の最上列を表示する。

続く水平走査期間では、最上列の表示を維持しつつ、同様な処理により、表示部２の第２列が表示画像の第２列を表示する。以下、同様な処理を順次行い、フレーム期間における最後の水平走査期間では、表示部２の最下列が表示画像の最下列を表示する。よって、当該フレーム期間で表示画像の全てが表示される。

また、当該フレーム期間での表示を、その後の各フレーム期間でも行うことで表示画像が継続的に表示される。

［指の接触の認識を行う際の処理］
次に、指の接触の認識を行う際の処理を説明する。

表示用ＩＣ５は、記憶部から認識時表示画像１００を読み出し、当該認識時表示画像１００を信号線駆動回路１０１に供給する。これにより、表示装置は、外部からの表示画像と同様に、認識時表示画像１００を表示する。

また、表示装置は、フレーム期間とフレーム期間の間の時間に、以下の処理を行う。

まず、この時間における最初の１期間では、プリチャージ回路１０２は、各信号線の電圧を、センサ用ＩＣ４が設定したプリチャージ電圧に制御する。また、プリチャージ回路１０２は、最上列の画素に対応する制御線ＣＲＴを例えば高電圧に制御する。最上列の画素では、センサ用ＩＣ４が設定したプリチャージ電圧がセンサ容量３７にプリチャージされる。

その後、プリチャージ回路１０２は、制御線ＣＲＴを、例えば低電圧に制御する。すると、バックライトからの光が指で反射したときの反射光および外光により、光センサ８にリーク電流が発生し、センサ容量３７の放電を開始する。

そして、露光時間可変回路１０４は、センサ用ＩＣが設定した露光時間が経過すると、制御線ＣＲＴを例えば高電圧に制御することでＡ／Ｄ変換回路１０５を動作させる。これにより、Ａ／Ｄ変換回路１０５は、図５で説明したように、そのときの信号線の電位を基準電圧とを比較し、ローレベルまたはハイレベルのデジタル信号をＳ／Ｒ出力回路１０６に出力する。そして、Ｓ／Ｒ出力回路１０６は、Ａ／Ｄ変換回路１０５が出力したデジタル信号をシリアルデータに変換して、当該シリアルデータをセンサ用ＩＣ４へ出力する。

続く１期間では、同様な処理により、Ｓ／Ｒ出力回路１０６は、第２列のシリアルデータをセンサ用ＩＣ４へ出力する。以下同様な処理を順次に行い、最後の１期間では、Ｓ／Ｒ出力回路１０６は、最下列のシリアルデータをセンサ用ＩＣ４へ出力する。これにより、フレーム期間とフレーム期間の間の時間に、センサ用ＩＣ４は、各シリアルデータつまり２階調画像を取得する。

また、このような処理を、その後においても行うことで、センサ用ＩＣ４は２階調画像を継続的に取得する。

センサ用ＩＣ４では、階調化回路９２が、所定の２階調画像を多階調画像に変換する。ここでは、２階調画像を構成する各２階調値を、近傍の２階調値の平均により置き換えることで、多階調画像を生成するものとする。

階調化回路９２がその後も同様に多階調画像を生成すると、フレーム間差分処理回路９６は、現在のフレームにおける多階調画像とＲＡＭ９５に格納されている過去のフレームの多階調画像との差分をとった差分画像を生成し、当該差分画像を２階調化して物体を示す領域を抽出する。そして、フレーム間差分処理回路９６は、抽出した領域の重心を算出し、確率計算の候補として、重心座標が白黒画像１０１の領域内にある場合に指が白黒画像１０１に接触した旨を示す信号を出力する。

エッジ検出回路９７は、各フレームの多階調画像について、エッジの強さ（階調の空間的変化の大きさ）およびエッジの中心を算出し、確率計算の候補として、重心座標が白黒画像１０１の領域内にある場合に指が白黒画像１０１に接触した旨を示す信号を出力する。

接触確率計算回路９８は、階調化回路９２、フレーム間差分処理回路９６およびエッジ検出回路９７からそれぞれ出力された信号に基づいて接触確率を計算し、計算した接触確率をホスト側のＣＰＵに出力する。ホスト側のＣＰＵでは、接触確率が所定の閾値を超える場合、指が白黒画像１０１に接触したと判断する。

ところで、指の接触領域の階調傾向を示すシグナル値を、接触領域でない領域の階調傾向を示すノイズ値で除して得られるＳ／Ｎ比が、外光の照度の変化によって低下し、これにより認識率が低下することがある。

図８（ａ）は、外光の照度が低照度領域にあるときのシグナル値とノイズ値と階調傾向値の相関関係を示す図である。図８（ｂ）は、外光の照度が高照度領域にあるときのシグナル値とノイズ値と階調傾向値の相関関係を示す図である。具体的には、図８（ａ）および図８（ｂ）では、露光時間とプリチャージ電圧とが一定であって、図８（ａ）では外光の照度が１０００１ｌｘ以下であり、図８（ｂ）では外光の照度が２００１ｌｘ以下である。

図８（ａ）に示すように、低照度領域では、ノイズ値は、階調傾向値が高くなるにしたがって低くなる。一方、シグナル値は、ピーク値（最大のＳ／Ｎ比）が得られるときの階調傾向値（すなわち理想階調傾向値）を境にして、それより階調傾向値が高くなるあるいは低くなるにしたがって低くなる。

図８（ｂ）に示すように、高照度領域では、シグナル値とノイズ値は、低照度領域でのシグナル値とノイズ値と同様に変化する。しかしながら、シグナル値のピーク値が得られるときの階調傾向値（すなわち理想階調傾向値）は、低照度領域のときの理想階調傾向値よりも高くなる。

例えば、外光の照度が低照度領域にあるとき、Ｓ／Ｎ比を最大とするために、階調傾向値をシグナル値のピークに合わせる。その後、外光の照度が高まり、高照度領域に入ると、階調傾向値は増加するものの、露光時間とプリチャージ電圧が一定ならば、Ｓ／Ｎ比は低下し、場合によっては黒つぶれが起きる。そのため、認識率が低下する。

逆に外光の照度が高照度領域にあるとき、Ｓ／Ｎ比を最大とするために、階調傾向値をシグナル値のピークに合わせる。その後、外光の照度が低下し、低照度領域に入ると、階調傾向値が減少するものの、露光時間とプリチャージ電圧が一定ならば、Ｓ／Ｎ比は低下し、場合によっては白つぶれが起きる。そのため識率が低下する。

すなわち、プリチャージ回路１０２および露光時間可変回路１０４に、最大のＳ／Ｎ比が得られるようにプリチャージ電圧および露光時間を設定しても、外光の照度が低照度領域から高照度領域へ、あるいは、高照度領域から低照度領域へ変化してしまうと、Ｓ／Ｎ比が低下し、これにより認識率が低下してしまう。

図９は、外光の照度と理想階調傾向値の相関関係を示す図である。

理想階調傾向値は、外光の照度が高くなるにしたがって高くなるが、高照度領域では理想階調傾向値の変化率が低い。このため、高照度領域に限れば、プリチャージ電圧および露光時間を変化させなくても、最大に近いＳ／Ｎ比が得られる。

一方、低照度領域では、理想階調傾向値の変化率は高く、外光の照度が変化すると理想階調傾向値が変化する。これにより、最大に近いＳ／Ｎ比が得られず、その結果、認識率が低下する。そこで、低照度領域での外光の照度の指標が必要となる。

図１０は、理想階調傾向値と傾き値の相関関係を示す図である。

傾き値は、露光時間を一定としたときのプリチャージ電圧の変化量に対する階調傾向値の変化量である。

理想階調傾向値は、傾き値が高くなるにしたがって高くなる。つまり、外光の照度が低照度領域内で変化したときに理想階調傾向値が変化することと同様に、傾き値が変化したときには理想階調傾向値が変化する。したがって、傾き値は、低照度領域での外光の照度の指標に好適であるといえる。

このような理由から、キャリブレーション回路９３は、図１０の関係を表した、以下の目標階調傾向値の算出式を備え、当該算出式に傾き値を代入する。そして、キャリブレーション回路９３は、代入した傾き値に対応する理想階調傾向値である目標階調傾向値を算出する。

目標階調傾向値＝（ａ × 傾き値） ＋ ｂ
ただし、ａ，ｂは定数
図１１は、目標階調傾向値と外光の照度との関係を示す図である。

高照度領域では、上述したように理想階調傾向値の変化率が小さい。そのため、高照度領域では、記憶部に記憶された一定の目標階調傾向値（上限値）を目標階調傾向値とする。そして、測定した階調傾向値が、目標階調傾向値を中心とする所定の目標範囲内におさまるようにする。

また、低照度領域では、理想階調傾向値の変化率が大きい。そのため、外光の照度の指標である傾き値を用いた目標階調傾向値の算出式により目標階調傾向値を変化させる。そして、低照度領域では、高照度領域と同様に、測定した階調傾向値が、算出した目標階調傾向値を中心とする所定の目標範囲内におさまるようにする。

なお、低照度領域における照度が低い領域では、記憶部に記憶された一定の目標階調傾向値（下限値）を目標階調傾向値とする。

［キャリブレーションの処理］
次に、キャリブレーション回路９３が、光センサ回路３２の駆動条件である露光時間およびプリチャージ電圧を設定する処理について説明する。

図１２は、キャリブレーション回路９３の処理のフローチャートである。

図示するキャリブレーション回路９３の処理では、測定した階調傾向値が目標階調傾向値を中心とする所定の目標範囲内にある場合の通常撮像処理（Ｓ１１，Ｓ１２）と、測定した階調傾向値が当該目標範囲内にない場合のキャリブレーション処理（Ｓ２０〜Ｓ８０）と、を有する。キャリブレーション処理では、階調化回路９２から取得した多階調画像に基づいて測定（算出）される階調傾向値が所定の目標範囲内に収まるように露光時間およびプリチャージ電圧を調整する。

通常撮像処理においては、キャリブレーション回路９３は、階調化回路９２から取得した多階調画像に基づいて、階調傾向値を測定する（Ｓ１１）。階調傾向値は、多階調画像の全体的な階調の傾向を示す指標や統計量であって、例えば、多階調画像を構成する各多階調値の中央値（メジアン）、平均値、上から１／３の値、積分値などを用いることが考えられる。

そして、キャリブレーション回路９３は、測定した階調傾向値が目標とする所定の目標範囲内にあるか否かを判別する（Ｓ１２）。なお、目標範囲は後述するキャリブレーション処理で設定され、記憶部に記憶されているものとする。

階調傾向値が目標範囲内に収まっている場合（Ｓ１２：ＹＥＳ）、光センサ回路３２での撮像が適正に行われる。そのため、キャリブレーション回路９３は、キャリブレーション処理をおこなうことなくＳ１１に戻り、通常撮像処理を繰り返し行う。

一方、階調傾向値が目標範囲外の場合（Ｓ１２：ＮＯ）、撮像を行っても誤動作してしまう。そのため、キャリブレーション回路９３は、所定の猶予期間が経過した後に、Ｓ２０に進み、キャリブレーション処理を行う。

なお、キャリブレーション回路９３は、光センサ回路３２に設定するプリチャージ電圧を記憶するためのプリチャージ電圧記憶部Ｖ（不図示）と、光センサ回路３２に設定する露光時間を記憶するための露光時間記憶部Ｅｘｐ（不図示）と、を有するものとする。

また、キャリブレーション回路９３は、プリチャージ電圧の最大値（以下、「最大プリチャージ電圧」）および最小値（以下、「最小プリチャージ電圧」）と、露光時間の最大値（以下、「最大露光時間」）および最小値（以下、「最小露光時間」）と、を記憶部（不図示）に記憶しているものとする。

キャリブレーション処理においては、キャリブレーション回路９３は、まず、初期設定処理（Ｓ２０）を行う。

すなわち、キャリブレーション回路９３は、記憶部から最大プリチャージ電圧および最大露光時間を読み出し、最大プリチャージ電圧をプリチャージ電圧記憶部Ｖに、最大露光時間を露光時間記憶部Ｅｘｐにそれぞれ設定する（Ｓ２１）。そして、キャリブレーション回路９３は、各記憶部Ｖ、Ｅｘｐに設定したプリチャージ電圧および露光時間を出力する。

ＤＡＣ９４およびレベルシフタ９１は、キャリブレーション回路９３から出力されたプリチャージ電圧をプリチャージ回路１０２に設定するとともに、露光時間を露光時間可変回路１０４に設定する。そして、プリチャージ回路１０２は、光センサ回路３２のセンサ容量３７が設定されたプリチャージ電圧になるまで、プリチャージするように、光センサ回路３２を制御する。また、露光時間可変回路１０４は、設定された露光時間だけ撮像するように光センサ回路３２を制御する。

そして、光センサ回路３２は、当該プリチャージ電圧および露光時間の駆動条件で撮像したアナログ信号を、Ａ／Ｄ変換回路１０５に出力する。そして、Ａ／Ｄ変換回路１０５およびＳ／Ｒ出力回路１０６は、光センサ回路から入力された信号を処理し、２階調画像である撮像画像（シリアルデータ）を階調化回路９２に出力する。階調化回路９２は、撮像画像から多階調画像を生成する。

そして、キャリブレーション回路９３は、階調化回路９２から取得した多階調画像に基づいて階調傾向値を測定し（Ｓ２２）、階調傾向値記憶部（不図示）に記憶する（Ｓ２３）。

次に、キャリブレーション回路９３は、露光時間が一定のときの、プリチャージ電圧の変化量（ｄｖ）に対する階調傾向値の変化量（ｄｍ）である傾き値（ｄｍ／ｄｖ）を算出する（Ｓ３０）。なお、露光時間は、初期設定処理（Ｓ２１）で設定された状態のままである。

図１３は、傾き値算出処理のフローチャートである。

まず、キャリブレーション回路９３は、所定の第１のプリチャージ電圧（ｄｖＬ）を特定し、当該第１のプリチャージ電圧をプリチャージ電圧記憶部Ｖに設定し、光センサ回路３２に出力する（Ｓ３１）。

光センサ回路３２は、キャリブレーション回路９３から指定された第１のプリチャージ電圧に駆動条件を変更して画像を撮像し、階調化回路９２は撮像画像（２階調画像）から多階調画像を生成する。

ここで、光センサ回路３２の駆動条件（プリチャージ電圧、露光時間）を変更した直後においては、光センサ回路３２の露光特性（所定の入射光に対しどれだけの光電流が発生するか）が安定しないことがある。そのため、キャリブレーション回路９３は、所定の時間待機する（Ｓ３２）。そして、所定の時間が経過した後、キャリブレーション回路９３は、階調化回路９２から入力される多階調画像に基づいて、第１のプリチャージ電圧（ｄｖＬ）における第１の階調傾向値（ｄｍＬ）を測定する（Ｓ３３）。

図１４は、光センサ回路３２の露光特性を具体的に説明する図である。

図１４の横軸は変更後のプリチャージ電圧であって、縦軸は階調傾向値である。図示する例では、４．５Ｖに設定されていたプリチャージ電圧を各プリチャージ電圧にそれぞれ変更し、変更後の各プリチャージ電圧における階調傾向値を、複数のタイミングで測定したものである。

図１４では、プリチャージ電圧を変更した直後（０フレーム期間後）に測定した階調傾向値の曲線１３０と、プリチャージ電圧を変更してから１フレーム期間経過後に測定した階調傾向値の曲線１３１と、プリチャージ電圧を変更してから２フレーム期間経過後に測定した階調傾向値の曲線１３２と、プリチャージ電圧を変更してから３フレーム期間経過後に測定した階調傾向値の曲線１３３と、が示されている。

図示するように、プリチャージ電圧を変更した直後の曲線１３０と、１フレーム期間経過後の曲線１３１との差は大きい。また、１フレーム期間経過後の曲線１３１と、２フレーム期間経過後以降の曲線１３２、１３３との差は小さい。すなわち、図示する例では、１フレーム期間待つと、露光特性が安定することを示している。

以上により、本実施形態では、光センサ回路３２の駆動条件を変更してから、所定の時間待機するものとする。なお、Ｓ３２の待ち時間は、光センサ回路３２の動作安定の観点からは、長いほど良い。しかしながら、待ち時間が長いと、キャリブレーション処理に時間を要してしまう。したがって、図１４の測定結果を考慮して、待ち時間を１フレーム期間程度にすることが好ましい。

そして、キャリブレーション回路９３は、所定の第２のプリチャージ電圧（ｄｖＲ）を特定し、Ｓ３１からＳ３３の処理と同様に、第２のプリチャージ電圧をプリチャージ電圧記憶部Ｖに設定し（Ｓ３４）、所定の時間待機した後（Ｓ３５）、第２のプリチャージ電圧（ｄｖＲ）における第２の階調傾向値（ｄｍＲ）を測定する（Ｓ３６）。

そして、キャリブレーション回路９３は、プリチャージ電圧の変化量（ｄｖ＝ｄｖＲ−ｄｖＬ）と、階調傾向値の変化量（ｄｍ＝ｄｍＲ−ｄｍＬ）とをそれぞれ算出し、下記の式により傾き値（ｄｍ／ｄｖ）を算出する（Ｓ３７）。

ｄｍ／ｄｖ＝（ｄｍＲ−ｄｍＬ）／（ｄｖＲ−ｄｖＬ）
次に、キャリブレーション回路９３は、目標階調傾向値を設定する（Ｓ４０）。

図１５は、目標階調傾向値の設定処理のフローチャートである。

本実施形態では、傾き値を複数の閾値でグルーピングし、各グループに応じた目標階調傾向値を設定するものとする。図示する例では、所定の第１の閾値、第２の閾値、第３の閾値および第４の閾値をあらかじめ設定し、傾き値を５つのグループにグルーピングする。なお、第１の閾値、第２の閾値、第３の閾値、第４の閾値の順に、値が大きくなるものとする。

また、キャリブレーション回路９３は、目標階調傾向値を記憶するための目標値記憶部Ｔ（不図示）を有するものとする。また、図示しない記憶部には、目標階調傾向値の下限値（最小値）および上限値（最大値）があらかじめ記憶されているものとする。

まず、キャリブレーション回路９３は、傾き値算出処理（図１３：Ｓ３０）で算出した傾き値が第１の閾値より小さいか否かを判別する（Ｓ４１）。傾き値が第１の閾値より小さい場合（Ｓ４１：ＹＥＳ）、キャリブレーション回路９３は、記憶部に記憶された目標階調傾向値の下限値を読み出し、目標値記憶部Ｔに設定する（Ｓ４２）。

傾き値が第１の閾値以上の場合（Ｓ４１：ＮＯ）、キャリブレーション回路９３は、傾き値が第２の閾値より小さいか否かを判別する（Ｓ４３）。傾き値が第２の閾値より小さい場合（Ｓ４３：ＹＥＳ）、キャリブレーション回路９３は、目標階調傾向値の算出式に用いる、当該傾き値のグループに対応する定数ａ１およびｂ１を記憶部から読み出す（Ｓ４４）。

そして、キャリブレーション回路９３は、下記の算出式の定数ａ、ｂに読み出したａ１、ｂ１を代入し、算出した傾き値を代入して目標階調傾向値を算出（Ｓ５０）、算出した目標階調傾向値を目標値記憶部Ｔに設定する（Ｓ５１）。

目標階調傾向値＝（ａ × 傾き値） ＋ ｂ
また、傾き値が第２の閾値以上の場合（Ｓ４３：ＮＯ）、キャリブレーション回路９３は、傾き値が第３の閾値より小さいか否かを判別する（Ｓ４５）。傾き値が第３の閾値より小さい場合（Ｓ４５：ＹＥＳ）、キャリブレーション回路９３は、当該傾き値のグループに対応する定数ａ２およびｂ２を記憶部から読み出す（Ｓ４６）。そして、目標階調傾向値を算出し、目標値記憶部Ｔに設定する（Ｓ５０、Ｓ５１）。

また、傾き値が第３の閾値以上の場合（Ｓ４５：ＮＯ）、キャリブレーション回路９３は、傾き値が第４の閾値より小さいか否かを判別する（Ｓ４７）。傾き値が第４の閾値より小さい場合（Ｓ４７：ＹＥＳ）、キャリブレーション回路９３は、当該傾き値のグループに対応する定数ａ３およびｂ３を記憶部から読み出す（Ｓ４８）。そして、目標階調傾向値を算出し、目標値記憶部Ｔに設定する（Ｓ５０、Ｓ５１）。

また、傾き値が第４の閾値より大きい場合（Ｓ４７：ＮＯ）、キャリブレーション回路９３は、記憶部に記憶された目標階調傾向値の上限値を読み出し、目標値記憶部Ｔに設定する（Ｓ４９）。

図１６は、今まで説明した目標階調傾向値と傾き値との関係を示す図である。

本実施形態では、図示するように傾き値に応じた目標階調傾向値を設定する。すなわち、傾き値が第１の閾値以上で第４の閾値未満の場合、計算により目標階調傾向値を算出する。このため、本実施形態では、各傾き値に対応する目標階調傾向値をあらかじめ記憶しておくための記憶部が不要となり、記憶容量を少なくすることができる。一方、傾き値が第１の閾値より小さい場合、または第４の閾値以上の場合、記憶部から目標階調傾向値の下限値または上限値を読み出す。この場合は、目標階調傾向値の計算は不要である。

次に、キャリブレーション回路９３は、露光時間を設定する（Ｓ６０）。

すなわち、キャリブレーション回路９３は、所定のプリチャージ電圧に固定した状態で、露光時間を適宜、調整・変更する。

図１７は、露光時間の設定処理のフローチャートである。なお、キャリブレーション回路９３は、露光時間を設定するために必要なデータを記憶するためのデータ記憶領域ＨＬおよびＨＲを、図示しない記憶部に有するものとする。

まず、キャリブレーション回路９３は、初期設定処理で（図１２：Ｓ２３）で階調傾向値記憶部に記憶した階調傾向値と、目標値記憶部Ｔに記憶した目標階調傾向値とを比較する（Ｓ６１）。階調傾向値が目標階調傾向値より小さい場合（Ｓ６１：ＹＥＳ）、キャリブレーション回路９３は、記憶部に記憶された最大露光時間を露光時間記憶部Ｅｘｐに設定し、後述するプリチャージ電圧設定処理（図１８：Ｓ８０）へ進む。

一方、階調傾向値が目標階調傾向値以上の場合（Ｓ６１：ＮＯ）、キャリブレーション回路９３は、ＨＬに最大露光時間最大をＨＲに最小露光時間を設定する（Ｓ６３）。そして、キャリブレーション回路９３は、プリチャージ電圧記憶部Ｖに最大プリチャージ電圧を設定する（Ｓ６４）。そして、キャリブレーション回路９３は、（ＨＬ＋ＨＲ）／２を算出し、算出結果を露光時間記憶部Ｅｘｐに設定する（Ｓ６５）。

そして、キャリブレーション回路９３は、Ｓ６４およびＳ６５で各記憶部Ｖ、Ｅｘｐに設定したプリチャージ電圧および露光時間を、光センサ回路３２に出力する。光センサ回路３２は、キャリブレーション回路９３から指定されたプリチャージ電圧および露光時間に駆動条件を変更して画像を撮像し、階調化回路９２は撮像画像（２階調画像）から多階調画像を生成する。

そして、キャリブレーション回路９３は、例えば１フレーム期間など所定の時間待機し（Ｓ６６）、その後、階調化回路９２から取得した多階調画像の階調傾向値を測定する（Ｓ６７）。

そして、キャリブレーション回路９３は、測定した階調傾向値が目標範囲内にあるか否かを判別する（Ｓ６８）。目標範囲は、目標値記憶部Ｔに記憶された目標階調傾向値から所定の値Ｒを減算した値（目標階調傾向値−Ｒ）を最小値とし、当該目標階調傾向値から所定の値Ｒを加算した値（目標階調傾向値＋Ｒ）を最大値とする範囲である。階調傾向値が目標範囲内にある場合は、通常撮像処理（Ｓ１１）に進む。

一方、階調傾向値が目標範囲の最小値（目標階調傾向値−Ｒ）より小さい場合は、キャリブレーション回路９３は、Ｓ６５で露光時間記憶部Ｅｘｐに設定した値（ＨＬ＋ＨＲ）／２を、ＨＲに設定する（Ｓ６９）。また、階調傾向値が目標範囲の最大値（目標階調傾向値＋Ｒ）より大きい場合は、キャリブレーション回路９３は、Ｓ６５で露光時間記憶部Ｅｘｐに設定した値（ＨＬ＋ＨＲ）／２を、ＨＬに設定する（Ｓ７０）。

そして、キャリブレーション回路９３は、ＨＬとＨＲが隣同士（すなわち、２水平期間差）であるか否かを判別する（Ｓ７１）。ＨＬとＨＲが隣同士でない場合（Ｓ７１：ＮＯ）、Ｓ６５に進み、以降の処理を繰り返し行う。

ＨＬとＨＲが隣同士の場合（Ｓ７１：ＹＥＳ）、キャリブレーション回路９３は、ＨＲが最小露光時間か否かを判別する（Ｓ７２）。ＨＲが最小露光時間でない場合（Ｓ７２：ＮＯ）、キャリブレーション回路９３は、露光時間記憶部ＥｘｐにＨＲの値を設定し（Ｓ７９）、プリチャージ電圧設定処理（図１８：Ｓ８０）へ進む。

一方、ＨＲが最小露光時間の場合（Ｓ７２：ＹＥＳ）、キャリブレーション回路９３は、最小露光時間を露光時間記憶部Ｅｘｐに設定し（Ｓ７３）、当該露光時間を光センサ回路３２に出力する。光センサ回路３２は、キャリブレーション回路９３から指定された露光時間に駆動条件を変更して画像を撮像し、階調化回路９２は撮像画像（２階調画像）から多階調画像を生成する。

そして、キャリブレーション回路９３は、例えば１フレーム期間など所定の時間待機し（Ｓ７４）、その後、階調化回路９２から取得した多階調画像の階調傾向値を測定する（Ｓ７５）。そして、キャリブレーション回路９３は、Ｓ６８と同様に、測定した階調傾向値が目標範囲内にあるか否かを判別する（Ｓ７６）。

階調傾向値が目標範囲内にある場合は、通常撮像処理（図１２：Ｓ１１）に進む。一方、階調傾向値が目標範囲の最小値より小さい場合は、キャリブレーション回路９３は、ＨＲの値を露光時間記憶部Ｅｘｐに設定し（Ｓ７７）、プリチャージ電圧設定処理（Ｓ８０：図１８）へ進む。また、階調傾向値が目標範囲の最大値より大きい場合は、キャリブレーション回路９３は、目標階調傾向値の上限値（例えば、２５５）を、目標範囲の最大値に設定し（Ｓ７８）、通常撮像処理（図１２：Ｓ１１）に進む。

次に、キャリブレーション回路９３は、プリチャージ電圧を設定する（Ｓ８０）。

すなわち、キャリブレーション回路９３は、露光時間設定処理（Ｓ６０）において、露光時間記憶部Ｅｘｐに記憶した露光時間に固定した状態で、プリチャージ電圧を適宜、調整・変更する。

図１８は、プリチャージ電圧の設定処理のフローチャートである。

なお、キャリブレーション回路９３は、プリチャージ電圧を設定するために必要なデータを記憶するためのデータ記憶領域ＶＬおよびＶＲを、図示しない記憶部に有するものとする。

キャリブレーション回路９３は、記憶部から最小プリチャージ電圧および最大プリチャージ電圧を読み出し、最小プリチャージ電圧をＶＬに、最大プリチャージ電圧をＶＲにそれぞれ設定する（Ｓ８１）。そして、キャリブレーション回路９３は、（ＶＬ＋ＶＲ）／２の値をプリチャージ電圧記憶部Ｖに記憶し（Ｓ８２）、当該記憶部Ｖに設定したプリチャージ電圧を光センサ回路３２に出力する。光センサ回路３２は、キャリブレーション回路９３から指定されたプリチャージ電圧に駆動条件を変更して画像を撮像し、階調化回路９２は撮像画像（２階調画像）から多階調画像を生成する。

そして、キャリブレーション回路９３は、例えば１フレーム期間など所定の時間待機し（Ｓ８３）、その後、階調化回路９２から取得した多階調画像の階調傾向値を測定する（Ｓ８４）。

そして、キャリブレーション回路９３は、測定した階調傾向値が前述した目標範囲内にあるか否かを判別する（Ｓ８５）。階調傾向値が目標範囲内にある場合は、通常撮像処理（図１２：Ｓ１１）に進む。

一方、階調傾向値が目標範囲の最小値（目標階調傾向値−Ｒ）より小さい場合は、キャリブレーション回路９３は、Ｓ８２でプリチャージ電圧記憶部Ｖに設定した値（ＨＶ＋ＨＶ）／２を、ＶＲに設定する（Ｓ８６）。また、階調傾向値が目標範囲の最大値（目標階調傾向値＋Ｒ）より大きい場合は、キャリブレーション回路９３は、Ｓ８２でプリチャージ電圧記憶部Ｖに設定した値（ＨＶ＋ＨＶ）／２を、ＶＬに設定する（Ｓ８７）。

そして、キャリブレーション回路９３は、ＶＬとＶＲが一致するか否かを判別する（Ｓ８８）。ＶＬとＶＲが一致しない場合（Ｓ８８：ＮＯ）、Ｓ８２に進み、以降の処理を繰り返し行う。ＶＬとＶＲが一致する場合（Ｓ８８：ＹＥＳ）、初期設定処理（図１２：Ｓ２１）へ進む。

以上説明したように、本実施形態の表示装置は、光センサ回路３２の駆動条件の変更後、所定の待機時間が経過した後で、階調傾向値を測定する。これにより、光センサ回路３２の露光特性が不安定な状態で撮像した撮像画像に基づいて誤った駆動条件を設定することを回避し、適切な駆動条件を光センサ回路３２に設定することで性能低下を防止することができる。また、待機時間を１フレーム期間とすることで、キャリブレーション処理に要する時間が増大することを防止することができる。

また、本実施形態では、外光の照度に応じて変動する光センサ回路３２の撮像画像に基づいて光センサ回路の駆動条件を変更する。これにより、外光の照度の変化による性能低下を防止することができる。

また、本実施形態の光センサ回路３２の駆動条件は、プリチャージ電圧および露光時間の少なくとも一方である。これにより、光センサ回路３２の感度を調整し、物体の認識率をより向上させることができる。

また、本実施形態では、プリチャージ電圧の変化量に対する階調傾向値の変化量である傾き値を算出し、当該傾き値に応じて目標階調傾向値を設定する。そして、設定した目標階調傾向値の目標範囲内の階調傾向値を得るように光センサ回路３２の駆動条件（感度）を調整する。これにより、本実施形態では、外光の照度の変化による性能低下を防止することができる。

また、本実施形態では、算出した傾き値が所定の範囲内の場合、計算式により目標階調傾向値を算出する。これにより、各傾き値に対応する目標階調傾向値をあらかじめ記憶しておくための記憶部が不要となる。一方、算出した傾き値が所定の範囲外の場合は、記憶部に記憶された目標階調傾向値の上限値または下限値を読み出すため、計算を行う必要がない。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、上記実施形態では、露光時間を一定としたときのプリチャージ電圧の変化量に対する階調傾向値の変化量を、傾き値として用いている。しかしながら、傾き値として、プリチャージ電圧を一定としたときの露光時間の変化量に対する階調傾向値の変化量を用いることとしてもよい。

本発明の一実施の形態における表示装置の構成を示す平面図である。 表示装置の表示部の構成を示す断面図である。 表示装置のアレイ基盤の回路ブロック図である。 表示部が備える画素の構成を示す回路図である。 光センサ回路およびＡ／Ｄ変換回路の動作を説明する説明図である。 認識時表示画像の一例を示す図である。 センサ用ＩＣの構成を示す回路ブロック図である。 指の接触領域のシグナル値と、接触領域以外のノイズ値と、階調傾向値との相関関係を示す図である。 外光の照度と理想階調傾向値との相関関係を示す図である。 理想階調傾向値と傾き値の相関関係を示す図である。 目標階調傾向値と外光の照度との相関関係を示す図である。 キャリブレーション回路の処理のフローチャートである。 傾き値の算出処理のフローチャートである。 光センサ回路の露光特性を説明する説明図である。 目標階調傾向値の算出処理のフローチャートである。 目標階調傾向値と傾き値との相関関係を示す図である。 露光時間の設定処理のフローチャートである。 プリチャージ電圧の設定処理のフローチャートである。

符号の説明

１…アレイ基板，２…表示部
４…センサ用ＩＣ
５…表示用ＩＣ
６…センサ用Ｉ／Ｆ
７…表示用Ｉ／Ｆ
８…光センサ，９…絶縁層
１１…液晶層，１２…対向基板
１３…バックライト，２０…物体
３１…表示回路，３２…光センサ回路
３３…スイッチ素子
３４…出力制御スイッチ
３５…ソースフォロアアンプ
３７…センサ容量
３８…プリチャージ制御スイッチ
４０…基準電源
４１…コンパレータ
９１…レベルシフタ
９２…階調化回路
９３…キャリブレーション回路
９４…ＤＡＣ
９５…ＲＡＭ
９６…フレーム間差分処理回路
９７…エッジ検出回路
９８…接触確率計算回路
１０１…信号線駆動回路
１０２…プリチャージ回路
１０３…走査線駆動回路
１０４…露光時間可変回路
１０５…Ａ／Ｄ変換回路
１０６…Ｓ／Ｒ出力回路

Claims (4)

1. 画像を表示するとともに、光センサ回路を用いて物体を撮像する表示手段と、
   前記光センサ回路の撮像結果から階調傾向値を測定し、当該階調傾向値に基づいて前記光センサ回路の駆動条件を変更する駆動条件変更手段と、を備え、
   前記駆動条件変更手段は、前記駆動条件の変更後、所定の待機時間を経過した後で前記階調傾向値を測定すること
   を特徴とする表示装置。
2. 前記駆動条件は、光センサ回路のプリチャージ電圧または露光時間であること
   を特徴とする請求項１記載の表示装置。
3. 前記階調傾向値は、前記光センサ回路の撮像結果に基づく多階調画像のメジアンであること
   を特徴とする請求項１または請求項２記載の表示装置。
4. 前記所定の待機時間は、１フレーム期間であること
   を特徴とする請求項１から請求項３のいずれか１項に記載の表示装置。

Images