JP2010119064A - 色検出装置、色検出プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出方法 - Google Patents

Abstract

【課題】接触した接触物の色を検出する装置の小型化を図ると共に、センサ面積の大きさを確保しつつ感度の低下及び解像度の劣化を防止する。
【解決手段】複数の画素回路３１と、画素回路３１毎に少なくとも１つ設けられた複数の光センサ６とを含むセンサ内蔵液晶パネル３０１と、領域ＰＰに含まれる画素回路３１を、Ｒ画素回路３１ｒ〜Ｂ画素回路３１ｂで、順次発色させる画像表示処理部１８と、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１を、Ｒ画素回路３１ｒ〜Ｂ画素回路３１ｂで発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像を、各光センサ６を用いてスキャンするスキャン処理部１２と、Ｒ画素回路３１ｒ〜Ｂ画素回路３１ｂで発色させる毎に、スキャン処理部１２によってスキャンされた、ペンＰの像のそれぞれに基づいて、ペンＰのセンサ内蔵液晶パネル３０１上における接触部分の色を検出する色判定処理部１４Ａを備える。
【選択図】図１

Description

本発明は、色検出装置、色検出プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出方法に関するものであり、より詳細には、面状部材上に接触した接触物の接触部分の色を検出する色検出装置、色検出プログラム及び該色検出プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに色検出方法色に関するものである。

携帯電話やＰＤＡ（Personal Digital Assistants）などの各種機器に、画像表示部として液晶ディスプレイを備えた画像表示装置が幅広く利用されていることは周知の通りである。

特に、ＰＤＡでは、古くからタッチセンサ（アナログ抵抗膜方式、静電容量方式）を備えることにより、直接指などを液晶ディスプレイに接触させることによって情報を入力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッチセンサを備えるセンサ内蔵型液晶表示装置の普及が期待されている。

一方、例えば、描画表示機能を有する電子黒板は、表示画面上に接触したペンなどの指示位置を認識し、その表示画面上の指示位置を含む所定領域において所定の色を発色させることで、表示画面上に描画できるようになっている。

このような電子黒板の機能を液晶ディスプレイなどの画像表示機能と組合せれば、ユーザの利便性をさらに向上させることができる。

表示画面上にペンなどを用いて電子的に描画する描画表示装置の従来例として、例えば、特許文献１には、電子黒板における入力色判定方法に関する技術が開示されている。

この電子黒板における入力色判定方法では、電子黒板に設けられたペンホルダから赤、青及び黒のフェルトペンのうちいずれの色のフェルトペンが残っているのかをペンホルダ内の色検出器により判定することで、ペンホルダ内に存在しない現在使用中のフェルトペンの色を判定するようになっている。

また、他の例として特許文献２には、ＣＡＤ（computer-aided design）における表示方法に関する技術が開示されている。

このＣＡＤにおける表示方法では、特定の色に対応したペン番号を入力できるようになっており、入力したペン番号に基づいて、当該ペン番号に対応する色で、表示画面上に描画できるようになっている。

また、さらに他の例として、特許文献３には、メッセージプリント方法に関する技術が開示されている。

このメッセージプリント方法では、写真データが表示された表示画面上にライトペンを用いてメッセージを書き込むことにより、写真データに手書きメッセージが書き込まれた状態でプリント写真がプリントアウトされるようになっている。なお、メッセージの色の選択は、表示画面に表示されたアイコン等をライトペンで選択することで行われるようになっている。
特開昭６１−２１３９１８号公報（１９８６年 ９月２２日公開） 特開平０２−１２１０７２号公報（１９９０年 ５月 ８日公開） 特開平１０−２６８４４０号公報（１９９８年１０月 ９日公開） 特開平 ４−２８２６０９号公報（１９９２年１０月 ７日公開） 特開平 １−１８８０６９号公報（１９８９年 ７月２７日公開） 特開平 ４−３１３７２２号公報（１９９２年１１月 ５日公開）

しかしながら、前記従来のセンサ内蔵型液晶表示装置では、液晶ディスプレイ上に接触する接触物の色を直接検出することができなかったため、例えば、液晶ディスプレイ上にペンなどの入力装置を用いて描画を行っているペン先の色などの検出はできなかった。

また、特許文献１〜３のいずれにも、表示画面上で電子的に描画を行っているペン先の色などを直接検出する方法については、開示されていない。

ところで、液晶ディスプレイに接触するペンなどのペン先の色を検出する方法としては、従来のＣＣＤ（Charge-coupled device）カメラの技術分野で行なわれている方法と同様にイメージセンサの前に３原色のフィルタを設けることなどにより色を検出することが考えられる。

このような従来の色検出方法に関する技術の一例として、特許文献４には、光源、イメージセンサ、カラーＴＦＴ液晶、及びカラーフィルタからなる超薄型入出力一体型情報処理装置に関する技術が開示されている。

この超薄型入出力一体型情報処理装置では、Ｒ（Red）、Ｇ（Green）及びＢ（Blue）の画素に対応してイメージセンサをそれぞれ配列することにより、カラーＴＦＴ液晶による画像表示と、表示画面上に載置された画像読み取り対象物のカラー画像の読み取りが可能となっている。

なお、この超薄型入出力一体型情報処理装置では、画像読み取り対象物のカラー画像の読み取りの際は、カラーＴＦＴ液晶のすべての画素を光が透過する状態とする点のみしか開示されていない。

また、この超薄型入出力一体型情報処理装置では、Ｒ、Ｇ及びＢの各画素に対応するサブピクセルごとにイメージセンサを設けている。

ここで、図１７（ａ）及び図１７（ｂ）に基づき、特許文献４に記載された超薄型入出力一体型情報処理装置の問題点について説明する。

図１７（ａ）及び図１７（ｂ）は、光源とイメージセンサとの間にカラーフィルタを設ける場合の、イメージセンサとカラーフィルタとの大きさの関係を説明するための概念図である（イメージセンサはカラーフィルタの下に配置）。

なお、以下では、１ピクセルの画素に３つのサブピクセルが存在している場合について説明する。

図１７（ａ）は、特許文献４に開示された超薄型入出力一体型情報処理装置におけるイメージセンサとカラーフィルタとの大きさの関係を概念的に示したものであり、イメージセンサ３つのサブピクセルにＲ、Ｇ及びＢの３原色フィルタをそれぞれ設けた場合を示している。

このように、サブピクセル毎に、イメージセンサを設ける方法では、精細な加工が必要となりコスト面に問題があると共に、Ｒ、Ｇ及びＢ、１色当たりのイメージセンサの面積が小さくなり感度が低下してしまうという問題点がある。

一方、例えば、図１７（ｂ）は、Ｒ、Ｇ及びＢの３原色フィルタのそれぞれのサイズを１ピクセルのサイズと同じ大きさとし、ピクセル毎にイメージセンサを設けた場合を概念的に示している。

この場合、３つのサブピクセル分の光を利用でき、イメージセンサのサイズも比較的大きくできるので、感度をおよそ３倍向上させることができるが、逆に解像度が１／３に低下してしまうという問題点がある。

本発明は、前記従来の問題点に鑑みなされたものであって、その目的は、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を、検出に必要なセンサ面積の大きさを確保しつつ感度の低下及び解像度の劣化を防止して、検出することができる色検出装置、色検出プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出方法を提供することにある。

本発明の色検出装置は、前記課題を解決するために、複数の単位画素と、前記単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材と、所定範囲に含まれる前記単位画素を、等色の原理を満たす第１色、第２色及び第３色で、順次発色させる発色制御手段と、前記発色制御手段が、前記所定範囲に含まれる単位画素を、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記撮像センサを用いて撮像する撮像制御手段と、前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御手段によって撮像された前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出手段を備えていることを特徴としている。

また、本発明の色検出方法は、前記課題を解決するために、複数の単位画素と、前記単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材を用いて実行される色検出方法であって、所定範囲に含まれる前記単位画素を、等色の原理を満たす第１色、第２色及び第３色で発色させる発色制御ステップと、前記発色制御ステップで、前記所定範囲に含まれる単位画素を、前記第１色、第２色及び第３色で、順次発色させる毎に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御ステップと、前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御ステップで撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出ステップを含んでいることを特徴としている。

前記構成又は方法によれば、面状部材は、複数の単位画素と、前記単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含んでいる。

したがって、面状部材の複数の単位画素を動作させることにより画像を、面状部材上（例えば、所定の表示面に表示する場合が考えられる。以下、このような場合について説明し、単に「表示面」という。）に表示することが可能である。

また、面状部材の複数の単位画素が、発色（発光）するときの光を利用して、表示面上の接触物に光を当て、その反射光を面状部材の複数の撮像センサで検出することにより表示面上の接触物の像を撮像することが可能である。

以上の構成によれば、画像表示部と、画像撮像部とを別々の装置で構成する必要がないので、入出力一体型装置の小型化が可能となる。

また、前記構成又は方法によれば、発色制御手段（発色制御ステップで）は、所定範囲に含まれる前記単位画素のそれぞれを、等色の原理を満たす第１色、第２色及び第３色で、順次発色させるようになっている。

また、撮像制御手段（撮像制御ステップで）は、前記発色制御手段が（前記発色制御ステップで）、前記所定範囲に含まれる単位画素を、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像するようになっている。

さらに、前記構成又は方法によれば、色検出手段（色検出ステップで）は、前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御手段によって（撮像制御ステップで）撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出するようになっている。

ここで、「等色の原理」とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。

また、対象物の色を検出するためには、等色の原理より、３つの異なる色を有する光を対象物に照射し、その反射光を検出すれば良い。

以上のように、前記第１色、第２色及び第３色で発色させて、接触物の接触部分の色を検出するようにすれば、接触物の接触部分の色が仮に第１色と同じ色であるような場合でも、残りの第２色及び第３色を発色させて撮像した撮像データを基に、色の検出を行うことができる。

また、「所定範囲」とは、例えば、面状部材上の表示面の全体から、表示面の部分的な特定の範囲までを含む広い概念である。

また、「第１色、第２色及び第３色で発色させる」とは、まず、第１色を発色させ、次に第２色を発色させ、さらに第３色を発色させることを意味する。

ここで、色検出の精度向上の観点からは、第１色、第２色及び第３色を１度に発色させて、これらの３色が混色した状態を撮像した１つの撮像データを解析して色検出を行うよりも、等色の原理を満たす３色を第１色、第２色及び第３色を、発色させて、前記第１色、第２色及び第３色で発色させる毎に各撮像センサを用いて撮像した、撮像データを３つ用意して、これらの３つの撮像データを解析する方が好ましい。

なぜなら、等色の原理を満たす第１色、第２色及び第３色が混色した状態を撮像した撮像データ１つを解析して色検出を行うよりも、第１色、第２色及び第３色のそれぞれを分離した状態の３つの撮像データを解析して色検出を行う方が、分析が遥かに容易であり、検出精度も高いからである。

以上の構成又は方法によれば、例えば、単位画素毎に撮像センサを設けた場合でも、各単位画素は、少なくとも１つの撮像センサで、第１色、第２色及び第３色の３色分の撮像データを別々に得ることができる。

色検出の検出精度の観点からは、色画素毎に撮像センサを配置することが好ましいが、前記構成又は方法によれば、撮像センサの数が少なくても色検出の検出精度が比較的高いので、現状のセンサ面積（例えば、単位画素の数：撮像センサの数＝１：１）及び色検出の検出精度を確保しつつ、検出感度の低下を防止することができる。

また、前記構成又は方法によれば、検出感度を上げるために、単位画素中の３つの色画素から出射されるすべての光を用いて１つの色を発色させるようにしなくても良いので、解像度の劣化も防止することができる。

以上より、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができる色検出装置及び色検出方法を提供することができる。

また、本発明の色検出装置は、前記接触物が前記面状部材に接触しているか否かを判定する接触判定手段を備えており、前記発色制御手段は、前記接触判定手段によって前記接触物が前記面状部材に接触していると判定された場合に、前記単位画素を発色させることが好ましい。

前記構成によれば、接触判定手段が、接触物が面状部材に接触していると判定している場合にしか単位画素を、前記第１色、第２色及び第３色で発色させないので、色検出ができない場合に、色検出を行ってしまうなどといった無駄な検出動作を防止することができる。

ここで、図１７（ｃ）に基づき、前記第１色、第２色及び第３色を発色させる構成が有する別の課題について説明する。

図１７（ｃ）は、従来のカラースキャナで、カラー画像に対してＲ（Red）、Ｇ（green）及びＢ（blue）の光を順次照射して、イメージセンサで画像の取り込みを行っているものを示す概念図である。

例えば、特許文献５及び６には、前記従来のカラースキャナの変形例として光源と原稿との間に液晶を設け、液晶にて光源色を変化させ色を取り込むスキャナが開示されている。

なお、特許文献５及び６に開示された技術では、いずれも画像表示用の画素を利用して色検出を行うという観点については、記載及び示唆されていない。また、レンズ等の別の光学系素子を用いており、装置の小型化の観点は考慮されていない。

ここで、カラースキャナの場合は、スキャン画面上に、原稿等を載置した状態で、原稿の画像データを取り込むので、スキャン画面にＲ、Ｇ及びＢの光が、順次照射されても、その光は、原稿等に隠れて、ユーザには、ほとんど見えない。

しかしながら、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を検出する場合には、表示面上に画像表示が行なわれている状態をユーザが見ている状態で、接触物の色を検出する関係上、前記第１色、第２色及び第３色を順次発色させると表示にチラツキが生じてしまうという別の課題が生じる。

そこで、このような課題を解決するため、本発明の色検出装置は、前記構成に加えて、前記撮像制御手段によって撮像された前記接触物の像に基づいて、前記面状部材上における前記接触物の接触部分を含む接触部分包含領域を特定する接触部分包含領域特定手段を備え、前記発色制御手段は、前記接触部分包含領域特定手段によって特定された前記接触部分包含領域を前記所定範囲として、前記単位画素のそれぞれを発色させることが好ましい。

前記構成によれば、発色制御手段は、面状部材上の接触部分包含領域（接触部分包含領域＝所定範囲）に含まれる単位画素を発色させる。

ここで、「接触部分包含領域」は、接触物の接触部分の領域であっても良いし、該接触部分及びその近傍を含む任意の大きさの閉じられた領域であっても良いが、表示のチラツキによるユーザへの影響を少なくする観点からは、できる限り小さくすることが好ましい。

これにより、接触部分包含領域の大きさを色検出が可能な範囲で、できるだけ小さくすることにより、前記表示のチラツキによるユーザへの影響を小さくすることができる。

すなわち、接触部分包含領域には、接触物が接触しているので、この接触部分包含領域における表示のチラツキは、該接触物に隠れてユーザには、ほとんど見えないようにすることができる。

以上より、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を、感度の低下及び解像度の劣化を防止しつつ、表示のチラツキによるユーザへの影響を少なくして、検出することができる色検出装置及び色検出方法を提供することができる。

また、本発明の色検出装置は、前記構成に加えて、前記第１色は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）及び白色からなる４色のうちのいずれかであり、
前記第２色は、該４色のうち、前記第１色でない残りの３色のうちのいずれかであり、
前記第３色は、該３色のうち、前記第２色でない残りの２色のうちのいずれかであることが好ましい。

前記構成によれば、画像表示装置に一般的に用いられているＲ画素、Ｇ画素及びＢ画素の集まりを単位画素とする画像表示装置に本願発明を適用することができる。

なお、単位画素を白色に発色させるには、Ｒ画素、Ｇ画素及びＢ画素のすべてを発色させれば良い。

また、本発明の色検出装置は、前記構成に加えて、前記発色制御手段は、前記色検出手段によって前記接触部分の色が検出された場合に、前記単位画素を前記第１色、第２色及び第３色で発色させる動作を終了することが好ましい。

前記構成によれば、色検出手段により接触物の接触部分の色が検出されるまで、前記単位画素を発色させる動作を続けるので、接触物の接触部分の色を、確実に検出することができる。

また、一旦、色が検出された後は、発色動作を終了するので、重ねて色を検出するといった無駄な動作などを防止することができる。

また、本発明の色検出装置は、前記構成に加えて、前記色検出手段が検出した前記接触物の接触部分の色を示す色情報を保持する記憶部を備えていることが好ましい。

前記構成によれば、前記色検出手段が検出した前記接触物の接触部分の色を示す色情報を保持するので、同じ接触物の色を再検出する必要がない。

なお、色情報を保持するタイミングについては、色検出手段が接触物の色を検出した直後であることが好ましい。

また、色情報を保持する期間としては、接触物が接触（例えば、接触判定手段が、接触物が接触していると判定）して、色検出されてから離れる（例えば、接触判定手段が、接触物が接触していないと判定する）までの期間などが例示できる。

また、保持した色を適宜必要な処理に利用することができる。例えば、検出したペンの色で、表示面に描画できるように構成すれば、画用紙に色鉛筆で描画するのと同じ感覚で、電子的な描画を行うことができる。

なお、前記色検出装置及び色検出方法における各手段、各機能、各ステップ及び各処理のそれぞれは、コンピュータによって実現してもよく、この場合には、コンピュータを各手段として動作させ、コンピュータに各機能を実現させ、若しくはコンピュータに各ステップ及び各処理を実行させることにより前記前記色検出装置及び色検出方法を、コンピュータにて実現させる色検出プログラム、並びにそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上より、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を、検出に必要なセンサ面積の大きさを確保しつつ感度の低下及び解像度の劣化を防止して、検出することができる色検出装置、色検出プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出方法を提供することができる。

本発明の色検出装置は、以上のように、複数の単位画素と、前記単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材と、所定範囲に含まれる前記単位画素を、等色の原理を満たす第１色、第２色及び第３色で、順次発色させる発色制御手段と、前記発色制御手段が、前記所定範囲に含まれる単位画素を、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記撮像センサを用いて撮像する撮像制御手段と、前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御手段によって撮像された前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出手段を備えているものである。

また、本発明の色検出方法は、以上のように、複数の単位画素と、前記単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材を用いて実行される色検出方法であって、所定範囲に含まれる前記単位画素を、等色の原理を満たす第１色、第２色及び第３色で、順次発色させる発色制御ステップと、前記発色制御ステップで、前記所定範囲に含まれる単位画素を、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御ステップと、前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御ステップで撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出ステップを含んでいる方法である。

それゆえ、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができる色検出装置及び色検出方法を提供するという効果を奏する。

本発明の一実施形態について図１〜図１３に基づいて説明すれば、以下の通りである。

〔実施の形態１〕
（データ表示／センサ装置の概観構成及びその機能の概要）
まず、図１に基づき、本発明の一実施形態であるデータ表示／センサ装置（色検出装置）１００の外観構成及びその機能の概要について説明する。

図１は、本発明の一実施形態に係るデータ表示／センサ装置１００の概観構成及びその機能の概要を示す模式図である。

図１に示すように、本実施形態に係るデータ表示／センサ装置１００の概観構成は、ヒンジＨで結合された２つ折りに折り畳み可能な筐体３００Ａ及び筐体３００Ｂを有し、筐体３００Ａ及び筐体３００Ｂを折り畳んだ状態で対向する２つの内面のそれぞれに、センサ内蔵液晶パネル（面状部材）３０１Ａ及びセンサ内蔵液晶パネル（面状部材）３０１Ｂ（以下、纏めてセンサ内蔵液晶パネル（面状部材）３０１と称する）が、互いに対向するようにそれぞれ配設されている構成である。

また、その機能の概要としては、それぞれのセンサ内蔵液晶パネル３０１に含まれる複数の画素回路（単位画素）３１（図８参照）及び画素回路３１毎に設けられた少なくとも１つの光センサ（撮像センサ）６（図２（ａ）・図２（ｂ）参照）を駆動させることにより、２つのセンサ内蔵液晶パネル３０１Ａ及びセンサ内蔵液晶パネル３０１Ｂのいずれかに接触したペン（接触物）Ｐのペン先（接触部分）の色を検出することが可能となっている。

なお、ここで、画素回路３１の括弧書きの括弧内に単位画素と記載しているが、図２（ａ）に示すように、「単位画素」は、例えば、液晶ディスプレイの場合、厳密には、少なくともカラーフィルタ５３ｒ、カラーフィルタ５３ｇ、及びカラーフィルタ５３ｂ、液晶層５２、バックライト３０７を含む１組のことであるが、以下の説明では、煩雑なので、画素回路３１を便宜上「単位画素」と称して説明する。なお、画素回路３１自体を説明している部分については、画素回路３１そのものを意味しているものとする。Ｒ画素回路（色画素，Ｒ画素）３１ｒ、Ｇ画素回路（色画素，Ｇ画素）３１ｇ、Ｂ画素回路（色画素，Ｂ画素）３１ｂのそれぞれの括弧内の表記についても同趣旨である。

また、詳細は後ほど説明するが、図１に示すように、データ表示／センサ装置１００は、ペンＰのペン先がセンサ内蔵液晶パネル３０１（図１では、センサ内蔵液晶パネル３０１Ｂに接触している）に接触したことを検知（判定）すると所定の大きさの領域ＰＰ（接触部分包含領域：なお、図１では、領域ＰＰの大きさを誇張して描いている）を特定するようになっており、領域ＰＰに含まれる画素回路３１のみが発色したときの特定色の光が、ペンＰに照射され、その反射光を複数の光センサ６で検出することにより、ペンＰのペン先の色を検出するようになっている。

なお、以下では、便宜上、領域ＰＰを、所定の限られた領域として説明している部分が存在しているが、領域ＰＰは、このような限られた領域に限定されるものではなく、ペンＰのペン先が接触する部分の領域であっても良いし、該接触する部分及びその近傍を含む任意の大きさの閉じられた領域であっても良い。また、センサ内蔵液晶パネル３０１の表示面全体の領域であっても良い。

また、データ表示／センサ装置１００は、少なくともペンＰがセンサ内蔵液晶パネル３０１に接触している間、検出した色を保持し、その色で、例えば、軌跡Ｌを描くことができるようになっている。

以上のように、センサ内蔵液晶パネル３０１は、複数の画素回路３１と、画素回路３１毎に少なくとも１つ設けられた複数の光センサ６を含んでいる。

したがって、センサ内蔵液晶パネル３０１の複数の画素回路３１を動作させることにより画像をセンサ内蔵液晶パネル３０１上の所定の表示面に表示することが可能である。また、センサ内蔵液晶パネル３０１の複数の画素回路３１が、発色するときの光を利用して、表示面上のペンＰに光を当て、その反射光をセンサ内蔵液晶パネル３０１の複数の光センサ６で検出することにより表示面上のペンＰの像を撮像することが可能である。

複数の光センサ６及び複数の画素回路３１のそれぞれの個数は、画像表示機能、及び、以下で説明する色検出機能を確保できる数であれば、任意であって良いが、例えば、個々の光センサ６のセンサ面積の観点からは、１対１で同数であることが好ましい。これにより、従来の微細加工技術で簡単にセンサ内蔵液晶パネル３０１を作成することができ、従来のセンサ面積を維持できる。

しかしながら、技術の進歩により、将来的にセンサ面積当たりの光センサ６の感度が向上し、微細加工技術が進歩することも予想されるので、色検出に必要なセンサ面積の大きさを確保可能であれば、複数の光センサ６及び複数の画素回路３１のそれぞれの個数が、１対３で、後者が前者の３倍の数であっても良い。このような構成を採用すれば、画素回路３１が、例えば、３つの色画素を有する場合に、個々の色画素が発色する光の光センサ６による検出の色ごとの独立性を確保できる。

なお、複数の光センサ６及び複数の画素回路３１のそれぞれの個数が、１対２で、後者が前者の２倍の数であっても良い。

すなわち、光センサ６は、複数の画素回路３１毎に、少なくとも１つ含んでいれば良い。

なお、複数の光センサ６及び複数の画素回路３１のそれぞれは、センサ内蔵液晶パネル３０１の面方向（表示画面の面内方向）の所定範囲に面状に並設されていることが好ましい。例えば、マトリクス状の配列などが例示できる。

また、複数の光センサ６及び複数の画素回路３１の位置関係は、例えば、それぞれの数が１対１で同数の場合であり、かつ以下で説明するように、画素回路３１が３つの色画素からなる場合、光センサ６の位置は、３つの色画素のいずれからも近い位置であることが好ましい（例えば、図２（ｂ）参照）。

以上の構成によれば、画像表示部と、画像撮像部とを別々の装置で構成する必要がないので、データ表示／センサ装置１００の小型化が可能となる。

センサ内蔵液晶パネル３０１のような面状部材としては、本実施形態のセンサ内蔵液晶パネルに限られない、例えば、ディスプレイの例としては、液晶ディスプレイの他、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ（Light Emitting）発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイなどが例示できるが、これらのディスプレイと撮像センサ（イメージセンサ、光センサ）とを一体化した入出力一体型ディスプレイが将来的に開発された場合でも、これらの入出力一体型ディスプレイに本発明を適用できることは、以下の説明から明白であろう。

まず、以下で、前記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。

（センサ内蔵液晶パネルの概要）
データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２（ａ）及び図２（ｂ）を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２（ａ）は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれる光センサ６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図２（ｂ）を参照しながら、光センサ６の配置方法の他の例について説明する。

図２（ｂ）は、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の他の例の１画素を示す模式図である。

図示のように、この例では、光センサ６が、カラーフィルタ５３ｒ、カラーフィルタ５３ｇ及びカラーフィルタ５３ｂのいずれからも近くなるように、直線状に併設されたカラーフィルタ５３ｒ、カラーフィルタ５３ｇ及びカラーフィルタ５３ｂの紙面に対して上側に配置されている。このような配置を採用することにより、光センサ６のサイズを大きくできるとともに、カラーフィルタ５３ｒ、カラーフィルタ５３ｇ及びカラーフィルタ５３ｂからのいずれからも感度良く光を検出することができる。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検出することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、光センサ６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検出する。これにより、対象物６４の反射像を検出することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検出することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検出することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、光センサ６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検出する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検出する光量が減る。これにより、対象物６２の影像を検出することができる。このように、センサ内蔵液晶パネル３０１は、影像を検出することにより、タッチした位置を検出することもできる。

上述のように、光センサ６は、バックライト３０７より出射された光の反射光（影像）を検出してもよいし、外光による影像を検出してもよい。また、前記２種類の検出方法を併用して、影像と反射像とを両方を同時に検出するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、前記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加して、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加して、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせたりするために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、前記スイッチの例としては、電源のオンとオフとを切り換える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、前記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、対象物が接近する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、前記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行うこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、前記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７（ａ）及び図７（ｂ）を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（主制御部の構成及び記憶部に記憶されるデータ）
次に、図９に基づき、主制御部８００の構成及び記憶部９０１に記憶される各種データについて説明する。

図９は、データ表示／センサ装置１００の要部構成のうち、主制御部８００及び記憶部９０１の詳細を示すブロック図である。

図示のように、主制御部８００は、スキャン処理部（撮像制御手段）１２、色判定処理部（色検出手段）１４Ａ及び画像表示処理部（発色制御手段）１８を含んでいる。

また、記憶部９０１は、スキャン属性情報記憶部２２、画像データ記憶部２３、及び原色画像データ記憶部２４の３つの記憶領域を含んでいる。なお、スキャン属性情報記憶部２２には、接触部分包含領域判定コマンド記憶部２２２及び色検出コマンド記憶部２２３の２つの記憶領域を含んでおり、画像データ記憶部２３は、接触部分包含領域特定用データ記憶部２３１及び接触部分包含領域特定結果記憶部２３２の２つの記憶領域を含んでおり、原色画像データ記憶部２４は、色判定用データ記憶部２４１及び色判定結果記憶部（記憶部）２４２の２つの記録領域を含んでいる。

画像表示処理部１８は、原色画像作成部（発色制御手段）１８１を備えており、原色画像作成部１８１が作成する原色画像データ（以下、例えば、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂを、順次発色させる場合には、それぞれ、Ｒ画像表示用データ、Ｇ画像表示用データ、Ｂ画像表示用データと称する）をデータ処理部７００（及び回路制御部６００）を介して表示／光センサ部３００に送信してセンサ内蔵液晶パネル３０１に含まれる画素回路３１のそれぞれを、等色の原理を満たす第１色、第２色及び第３色で、順次発色させるものである。

具体的には、例えば、第１色で発色させる場合は、原色画像作成部１８１が作成する原色画像データ全体を、第１色のみのデータとすれば良い。また、第２色で発色させる場合は、原色画像データ全体を第２色のみのデータとし、第３色で発色させる場合は、原色画像データ全体を第３色のみのデータとすれば良い。

ここで、「等色の原理」とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。具体的には、色の３原色や、光の３原色、また、１２色相環上で、環にそって４つおきに選択した３つの色（２次色など）などが好ましい。

また、ペンＰのペン先の色を検出するためには、等色の原理より、３つの異なる色を有する光をペンＰに照射し、その反射光を検出すれば良い。

例えば、ペンＰのペン先の色が赤色である場合には、ペン先は赤色の光を吸収する。したがって、ペン先に赤色、緑色、及び青色の光をそれぞれ照射したときには、緑色及び青色の光の反射光は検出されるが、赤色の光の反射光は全く検出されないか、あるいは検出される光の強度が他の２色と比べて小さくなる。これにより、ペン先が赤色であると判断することができる。

また、「所定範囲」とは、例えば、センサ内蔵液晶パネル３０１の所定の表示面の全体から、表示面の部分的な特定の範囲（例えば、領域ＰＰ）までを含む広い概念であるが、本実施形態では、便宜上、所定範囲＝領域ＰＰであるとして説明する。

また、「第１色、第２色及び第３色で発色させる」とは、まず、第１色を発色させ、次に第２色を発色させ、さらに第３色を発色させることを意味する。なお、第１色、第２色及び第３色のうちの特定の色から他の色への切り替えの速度は、検出感度の観点から可能な限り高速であることが好ましい。

なお、画素回路３１を、第１色、第２色及び第３色で発色させる構成としては、例えば、第１色、第２色及び第３色のそれぞれを発色可能な色画素の集まりを画素回路３１とすれば良い。

また、色画素としては、本実施形態のＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、及びＢ画素回路３１ｂのように、３原色フィルタ及び液晶を組合せ、バックライト３０７からの光を３原色フィルタへ透過させるか否かを該液晶で切り換える構成であっても良いし、例えば、ＬＥＤ素子を用いた色画素のように、バックライトを用いず、色画素自身が、その色を発光（発色）する構成であっても良い。

なお、原色画像作成部１８１は、以下で説明するように、色判定部（色検出手段）１４１によってペンＰのペン先の色が判定（検出）された場合に、画素回路３１を第１色、第２色及び第３色で発色させる一連の動作を終了するように構成する。

これによれば、色判定部１４１によりペンＰのペン先の色が検出されるまで、原色画像作成部１８１は、画素回路３１を第１色、第２色及び第３色で発色させる動作を続けるので、ペンＰのペン先の色を確実に検出することができる。

また、一端、色が検出された後は、原色画像作成部１８１は、発色動作を終了するので、重ねて色を検出するといった無駄な動作などを防止することができる。

また、画像表示処理部１８は、色判定結果表示画像作成部１８２を備えており、ペンＰのペン先が接触する領域ＰＰに、以下で説明する色判定処理部（色検出手段）１４Ａによって検出されたペンＰのペン先の色と同じ色で表示する（例えば、図１に示す軌跡Ｌを表示する）ための色判定結果表示画像を作成するものでもある。

等色の原理を満たす第１色、第２色及び第３色の例としては、第１色を、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）からなる３色のうちのいずれかとし、第２色を、該３色のうち、第１色でない２色のうちのいずれかとし、第３色を、該２色のうち、第２色でない残りの１色とする場合が例示できる。

また、等色の原理を満たす第１色、第２色及び第３色の他の例としては、第１色は、赤色、緑色及び青色のうちのいずれか２色、並びに白色からなる３色のうちのいずれかとし、第２色は、該３色のうち、第１色でない２色のうちのいずれかとし、第３色は、該２色のうち、第２色でない残りの１色とする場合が例示できる。

これにより、画像表示装置に一般的に用いられているＲ画素（Ｒ画素回路３１ｒ）、Ｇ画素（Ｇ画素回路３１ｇ）及びＢ画素（Ｂ画素回路３１ｂ）の集まりを単位画素（画素回路３１）とする画像表示装置に本願発明を適用することができる。

なお、画素回路３１を白色に発色させるには、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂのすべてを発色させれば良い。具体的には、原色画像作成部１８１が作成する原色画像データ全体を白色のみのデータとすれば良い。

スキャン処理部１２は、スキャン実行部（撮像制御手段）１３１を備えており、スキャン実行部１３１がデータ処理部７００（及び回路制御部６００）を介して表示／光センサ部３００の光センサ回路３２を動作させて、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１を、第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像を、各光センサ６を用いてスキャン（撮像）するものでもある。

また、スキャン処理部１２は、接触部分包含領域特定部（接触判定手段，接触部分包含領域特定手段）１３６Ａを備えており、ペンＰのペン先がセンサ内蔵液晶パネル３０１（センサ内蔵液晶パネル３０１Ａ及びセンサ内蔵液晶パネル３０１Ｂのいずれか）に接触しているか否かを判定するものでもある。

ここで、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触しているか否かの判定は、例えば、接触部分包含領域特定部１３６Ａは、上述したコマンドの「データ取得タイミング」が“イベント”に設定されている場合に、「部分画像データ」等がデータ処理部７００から主制御部８００に送信されたことをトリガとして、ペンＰがセンサ内蔵液晶パネル３０１に接触したことを判定するようにすれば良い。

また、逆に、接触部分包含領域特定部１３６Ａは、コマンドの「データ取得タイミング」が“イベント”に設定されている場合に、「部分画像データ」等が、所定時間、全く、データ処理部７００から主制御部８００に送信されないことをトリガとして、ペンＰがセンサ内蔵液晶パネル３０１から離れたことを判定するようにすれば良い。

これによれば、接触部分包含領域特定部１３６Ａが、ペンＰがセンサ内蔵液晶パネル３０１に接触していると判定した場合にしか画素回路３１に発色動作を実行させないので、色検出ができない場合に、色検出のための動作を行ってしまうなどといった無駄な動作を防止することができる。

なお、本実施形態では、接触部分包含領域特定部１３６Ａが、上述した接触判定機能と、以下で説明する接触部分包含領域特定機能とを併有している場合について説明するが、これらの機能を別々の機能ブロックで構成しても良い。

スキャンデータ格納部１３３は、スキャン（撮像）された、少なくとも部分画像データ及び代表座標を含む撮像データ（以下、単に「スキャンデータ」という）を、スキャンデータ／接触部分包含領域特定結果保持部１３４、画像データ記憶部２３の接触部分包含領域特定用データ記憶部２３１、原色画像データ記憶部２４の色判定用データ記憶部２４１に格納する制御を行うものである。

また、スキャン処理部１２は、スキャン属性情報設定部１３５を備えており、スキャン属性情報設定部１３５は、スキャン属性情報記憶部２２に記録されている各種コマンドデータを読み出して、データ表示／センサ装置１００のスキャン属性の設定を行うものである。

ここで、図１７（ｃ）に基づき、前記第１色、第２色及び第３色を発色させる構成が有する別の課題について説明する。

図１７（ｃ）は、従来のカラースキャナで、カラー画像に対してＲ、Ｇ及びＢの光を順次照射して、イメージセンサで画像の取り込みを行っているものを示す概念図である。

例えば、特許文献５及び６には、前記従来のカラースキャナの変形例として光源と原稿との間に液晶を設け、液晶にて光源色を変化させ色を取り込むスキャナが開示されている。

なお、特許文献５及び６に開示された技術では、いずれも画像表示用の画素を利用して色検出を行うという観点については、記載及び示唆されていない。また、レンズ等の別の光学系素子を用いており、装置の小型化の観点は考慮されていない。

ここで、カラースキャナの場合は、スキャン画面上に、原稿等を載置した状態で、原稿の画像データを取り込むので、スキャン画面にＲ、Ｇ及びＢの光が、順次照射されても、その光は、原稿等に隠れて、ユーザには、ほとんど見えない。

しかしながら、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を検出する場合には、表示面に画像表示が行なわれている状態をユーザが見ている状態で、接触物の色を検出する関係上、前記第１色、第２色及び第３色を順次発色させると表示にチラツキが生じてしまうという別の課題が生じる。

そこで、このような課題を解決するため、スキャン処理部１２の接触部分包含領域特定部（接触判定手段，接触部分包含領域特定手段）１３６Ａは、スキャンされたペンＰの像に基づいて、センサ内蔵液晶パネル３０１上におけるペンＰのペン先を含む所定の領域ＰＰを特定するようにしている。

また、接触部分包含領域特定部１３６Ａは、領域ＰＰを特定するとその結果をスキャンデータ／接触部分包含領域特定結果保持部１３４、又は、画像データ記憶部２３の接触部分包含領域特定結果記憶部２３２に記憶するようになっている。

スキャンデータ／接触部分包含領域特定結果保持部１３４は、各データを一時記憶させる部分である。一方、画像データ記憶部２３の接触部分包含領域特定結果記憶部２３２は、各データを一時的に記憶させても良いし、常時記憶する構成であっても良い。

また、画像表示処理部１８は、接触部分包含領域特定部１３６Ａによって特定された領域ＰＰに含まれる画素回路３１のみを発色させるようになっている。

具体的には、例えば、領域ＰＰを第１色で発色させる場合は、原色画像作成部１８１が作成する原色画像データの領域ＰＰに対応する部分を、第１色のみのデータとし、それ以外を無色のデータとすれば良い（ただし、動画像などのアプリケーションデータを表示している場合には、画像表示処理部１８は、アプリケーション画像データの領域ＰＰに相当する部分を無色のデータとしたアプリケーション画像データを作成し、原色画像データと重ねて送信することが好ましい。以下同じ）。

また、領域ＰＰを第２色で発色させる場合は、原色画像データの領域ＰＰに対応する部分を第２色のみのデータとし、それ以外を無色のデータとすれば良い。また、領域ＰＰを第３色で発色させる場合は、原色画像データの領域ＰＰに対応する部分を第３色のみのデータとし、それ以外を無色のデータとすれば良い。

これによれば、画像表示処理部１８は、センサ内蔵液晶パネル３０１上の領域ＰＰ（接触部分包含領域＝所定範囲）に含まれる単位画素を発色させる。

ここで、領域ＰＰは、ペンＰのペン先の接触部分の領域であっても良いし、該接触部分及びその近傍を含む任意の大きさの閉じられた領域であっても良いが、表示のチラツキによるユーザへの影響を少なくする観点からは、できる限り小さくすることが好ましい。

これにより、領域ＰＰの大きさを色検出が可能な範囲で、できるだけ小さくすることにより、前記表示のチラツキによるユーザへの影響を小さくすることができる。

すなわち、領域ＰＰには、ペンＰが接触しているので、この領域ＰＰにおける表示のチラツキは、ペンＰに隠れてユーザには、ほとんど見えないようにすることができる。

以上より、装置の小型化に有用な、センサ内蔵液晶パネル３０１の表示面上に接触したペンＰのペン先の色を、感度の低下及び解像度の劣化を防止しつつ、表示のチラツキによるユーザへの影響を少なくして、検出することができる、データ表示／センサ装置１００を提供することができる。

次に、色判定処理部（色検出手段）１４Ａは、色判定部１４１、色判定結果保持部（色検出手段）１４５を備えており、色判定部１４１は、原色画像データ記憶部２４の色判定用データ記憶部２４１に記憶されている、前記第１色、第２色及び第３色で発色させる毎に、各光センサ６を用いてスキャン（撮像）したスキャンデータを読み出して、これを解析（分析）して、ペンＰのペン先の色を判定（検出）するものである。

また、色判定処理部１４Ａは、色判定部１４１を備えており、色判定部１４１の色判定用データ解析部（色検出手段）１４２は、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１のそれぞれを、第１色、第２色及び第３色で発色させる毎に、スキャン処理部１２によってスキャンされた、ペンＰの像のそれぞれのスキャンデータを解析することで、ペンＰのセンサ内蔵液晶パネル３０１上におけるペンＰのペン先の色を特定（検出）するものである。

以上のように、第１色、第２色及び第３色で、順次発色させて、ペンＰのペン先の色を検出するようにすれば、ペンＰのペン先の色が仮に第１色と同じ色であるような場合でも、残りの第２色及び第３色を発色させてスキャンしたスキャンデータを基に、色の検出を行うことができる。

ここで、色検出の精度向上の観点からは、第１色、第２色及び第３色を１度に発色させて、これらの３色が混色した状態をスキャンした１つのスキャンデータを解析して色検出を行うよりも、等色の原理を満たす３色を第１色、第２色及び第３色を順次、発色させて、第１色、第２色及び第３色で発色させる毎に各光センサ６を用いてスキャンした、スキャンデータを３つ用意して、これらの３つのスキャンデータを解析する方が好ましい。

なぜなら、等色の原理を満たす第１色、第２色及び第３色が混色した状態をスキャンしたスキャンデータ１つを解析して色検出を行うよりも、第１色、第２色及び第３色のそれぞれを分離した状態の３つのスキャンデータを解析して色検出を行う方が遥かに容易であり、検出精度も高いからである。

以上によれば、例えば、画素回路３１毎に光センサ６を設けた場合でも、各画素回路３１は、１つの光センサ６で、第１色、第２色及び第３色の３色分のスキャンデータを別々に得ることができる。

色検出の検出精度の観点からは、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂの色画素毎に光センサ６を配置することが好ましいが、以上の構成を採用すれば、光センサ６の数が少なくても色検出の検出精度が比較的高いので、現状のセンサ面積（例えば、本実施形態の画素回路３１の数：光センサ６の数＝１：１）及び色検出の検出精度を確保しつつ、検出感度の低下を防止することができる。

また、以上の構成を採用すれば、検出感度を上げるために、画素回路３１中の３つの色画素から出射されるすべての光を用いて１つの色を発色させるようにしなくても良いので、解像度の劣化も防止することができる。

色判定結果格納部１４３は、色判定部１４１の色判定結果を、色判定結果保持部（記憶部）１４５、又は、原色画像データ記憶部２４の色判定結果記憶部（記憶部）２４２に記憶させるものである。

色判定結果保持部１４５は、色判定部１４１の色判定結果を一時記憶するものである。又は、原色画像データ記憶部２４の色判定結果記憶部２４２は、色判定部１４１の色判定結果を一時記憶させても良いし、常時記憶するようにしても良い。

これによれば、色判定部１４１が検出したペンＰのペン先の色を示す色情報を保持するので、同じ接触物の色を再検出する必要がない。

なお、色情報を保持するタイミングについては、色判定部１４１が接触物の色を検出した直後であることが好ましい。

また、色情報を保持する期間としては、ペンＰが接触（例えば、接触部分包含領域特定部１３６Ａが、ペンＰが接触していると判定）して、色検出されてから離れる（例えば、接触部分包含領域特定部１３６Ａが、ペンＰが接触していないと判定する）までの期間などが例示できる。

また、保持した色を適宜必要な処理に利用することができる。例えば、検出したペンＰのペン先の色で、表示面に描画できるように構成すれば、画用紙に色鉛筆で描画するのと同じ感覚で、電子的な描画を行うことができる。

ここで、図１１に基づき、上述した電子的な描画を行うための色判定結果表示画像作成部１８２の構成の詳細について説明する。

図１１は、色判定結果表示画像作成部１８２の各構成を示すブロック図である。図１１に示すように、色判定結果表示画像作成部１８２は、主として接触位置特定部（接触位置特定手段）１８２１、補間線特定部（補間線特定手段）１８２２、及び表示画像作成部（検出色表示制御手段）１８２３から構成されている。

接触位置特定部１８２１は、光センサ６によってスキャンされたペンＰの像のそれぞれに基づいて、ペンＰのセンサ内蔵液晶パネル３０１上におけるペンＰのペン先が検出された位置（接触位置）を特定（検出）するものである。

また、補間線特定部１８２２は、接触位置特定部１８２１により、第１の接触位置が特定された後に、第２の接触位置が特定された場合に、接触位置特定部１８２１が特定した、前記第１の接触位置及び前記第２の接触位置間を補間するための補間線を特定するようになっている。

また、表示画像作成部１８２３は、前記第１の接触位置、前記第２の接触位置、及び前記補間線を表示するための色検出結果表示画像を作成するようになっている。

これにより、第１の接触位置及び第２の接触位置間をスムーズに繋いで表示面に表示させることができる。

なお、本実施形態では、詳細は説明しないが、本発明に適用可能な補間方法として、０次補間（最近傍補間、最近傍点補間）、線形補間（直線補間、１次補間）及びキュービック補間（３次補間）などが例示できる。

また、３点以上の接触位置が特定された場合に、適当な補間関数を内挿しても良い。例えば、補間関数を用いた補間方法の例としては、ラグランジュ補間、スプライン補間、Ｓｉｎｃ関数を用いた補間、Ｌａｎｃｚｏｓ補間（ランツォシュ補間）などが例示できる。

以上より、装置の小型化に有用な、センサ内蔵液晶パネル３０１の表示面上に接触したペンＰのペン先の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができるデータ表示／センサ装置１００を提供することができる。

（各種コマンドとデータ表示／センサ装置の動作との関係）
ここで、データ表示／センサ装置１００における各種コマンドと、データ表示／センサ装置１００の動作との関係について説明する。

本実施形態では、データ表示／センサ装置１００の接触判定及び接触部分包含領域特定処理に関するコマンドの名称を「接触部分包含領域判定コマンド」と称し、予め接触部分包含領域判定コマンド記憶部２２２に記憶されているものとして説明する。

また、データ表示／センサ装置１００の色判定処理及び色判定結果表示処理に関するコマンドの名称を「色検出コマンド」と称し、予め、色検出コマンド記憶部２２３に記憶されているものとする。

なお、「接触部分包含領域判定コマンド」は、接触判定処理及び接触部分包含領域特定処理のため主としてスキャン処理部１２のスキャン属性を設定するためのコマンドである。

また、「色検出コマンド」は、色判定処理及び色判定結果表示処理のため主としてスキャン処理部１２のスキャン属性を設定するためのコマンドである。

まず、「接触部分包含領域判定コマンド」では、図６に示す「データ取得タイミング」フィールドの値を“01”（イベント）と指定する。

なぜなら、上述したように、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで、データ処理部７００から主制御部８００に画像データ等を送信することを指定するものであるから、これを利用することによって、接触判定処理及び接触部分包含領域特定処理を行うことが可能となるからである。

具体的には、「データ取得タイミング」フィールドの値が“イベント”であれば、ペンＰの接触により、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信される。

次に、「接触判定コマンド」の「データ種別」フィールドの値は、“010”（部分画像）を指定することが好ましい。

なぜなら、上述したように、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域（例えば、領域ＰＰ）を抽出し、該抽出した領域の画像データ（部分画像データ及び代表座標）を主制御部８００に送信するようにできるからである。

なお、以下では、便宜上、“部分画像”が占める領域をそのまま領域ＰＰとする場合について説明するが、上述した接触部分包含領域特定部１３６Ａは、画像データ記憶部２３の接触部分包含領域特定用データ記憶部２３１に記憶されている代表座標を中心として“部分画像”の領域と大きさの異なる領域を領域ＰＰとしても良い。

なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、ペンＰのペン先が接触する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。

スキャンデータ格納部１３３は、「部分画像データ」及び「代表座標」のそれぞれを画像データ記憶部２３の接触部分包含領域特定用データ記憶部２３１に記憶させる。

なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。

次に、「接触判定コマンド」の「スキャン方式」フィールドの値は、“00”（反射）を指定する。ペンＰのペン先に画素回路３１が発色する光を照射して、その反射光を検出するためである。

次に、「接触判定コマンド」の「スキャン画像階調」フィールドの値は、“00”（２値）、および“01”（多値）のいずれを指定しても良い。また、「接触判定コマンド」の「スキャン解像度」フィールドの値は、“0”（高）若しくは“1”（低）のいずれを指定しても良い。なぜなら、領域ＰＰの特定ができれば良く、２値階調でスキャンすれば充分だからである。なお、「スキャン解像度」フィールドの値は、領域ＰＰの特定精度の観点からは、“0”（高）に設定することが好ましい。

一方、「色検出コマンド」の色検出処理では、図６に示す「データ取得タイミング」フィールドの値を“00”（センス）を指定する。また、「色検出コマンド」の色検出処理では、検出色表示処理では、図６に示す「データ取得タイミング」フィールドの値を“01”（イベント）と指定する。

なぜなら、“センス”は、最新のデータを、データ処理部７００から主制御部８００に直ちに送信すること指定するものであるから、これにより、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１を、第１色、第２色及び第３色で、順次発色させる毎に、スキャン処理部１２によってスキャンされたスキャンデータを主制御部８００に送信されるようにできるから、これにより色検出処理が可能となるからである。

一方、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで、データ処理部７００から主制御部８００に画像データ等を送信することを指定するものであるから、これを利用することによって、現在のペン先の位置を特定することができ、特定された位置に応じて検出色表示処理を行うことが可能となるからである。

具体的には、「データ取得タイミング」フィールドの値が“イベント”であれば、ペンＰの移動に追随して、センサ制御部６０２から受信する画像データが、主制御部８００に送信される。

次に、「色検出コマンド」の「データ種別」フィールドの値は、色検出処理及び検出色表示処理のいずれにおいても“010”（部分画像）を指定することが好ましい。

なぜなら、色検出処理では、全画像データ上の部分画像データが占める領域（若しくは領域ＰＰ）に含まれる部分のみを特定色で発色させることで、表示のチラツキを防止できるからである。

また、検出色表示処理では、ペンＰの接触位置の特定ができれば、充分だからである。

なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、ペンＰのペン先が接触する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。

なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。

スキャンデータ格納部（撮像制御手段）１３３は、前記「部分画像データ」及び「代表座標」のそれぞれを、色判定結果保持部１４５、又は原色画像データ記憶部２４の色判定用データ記憶部２４１接触部分包含領域特定用データに記憶させる。

次に、「色検出コマンド」の「スキャン方式」フィールドの値は、色検出処理及び検出色表示処理のいずれにおいても“00”（反射）を指定する。ペンＰに画素回路３１が発色する光を照射して、その反射光を検出するためである。

次に、「色検出コマンド」の「スキャン画像階調」フィールドの値は、色検出処理では、“01”（多値）を指定する。なぜなら、色検出を可能とするためには、多値階調でスキャンする必要があるからである。

また、検出色表示処理では、“00”（２値）であれば良い。なぜなら、ペンＰの接触位置の特定ができれば、充分だからである。

また、「色検出コマンド」の「スキャン解像度」フィールドの値は、“0”（高）若しくは“1”（低）のいずれを指定しても良いが、色検出の精度の観点からは、“0”（高）に設定することが好ましい。

次に、データ表示／センサ装置１００の動作と「接触判定コマンド」及び「色検出コマンド」との関係の詳細について説明する。

最初に、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触していない状態では、スキャン属性情報設定部１３５は、接触部分包含領域判定コマンド記憶部２２２から予め記憶されている「接触部分包含領域判定コマンド」を読み出して「データ取得タイミング」のフィールド値を“イベント”に設定しているものとする。

ここで、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触すると、上述のように、「データ取得タイミング」が“イベント”に設定されているので、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触したことにより、センサデータ処理部７０３は、センサ制御部６０２から受信する画像データに変化が生じたと認識して、主制御部８００に得られたスキャンデータを送信する。

なお、接触部分包含領域特定部（接触判定手段，接触部分包含領域特定手段）１３６Ａは、主制御部８００にスキャンデータが送信されたことをトリガとして、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触したと判定する。

スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“イベント”に設定されているので、得られたスキャンデータを接触部分包含領域特定用データとして接触部分包含領域特定用データ記憶部２３１に記憶する。

また、その後、スキャンデータ格納部１３３は、スキャンデータを接触部分包含領域特定用データ記憶部２３１に記憶させたことを、接触部分包含領域特定部１３６Ａに通知し、接触部分包含領域特定部１３６Ａは、接触部分包含領域特定用データ記憶部２３１に記録されたスキャンデータに基づいて、領域ＰＰを特定する。この場合、スキャンデータに含まれる部分画像データの全画像データ上に占める領域をそのまま領域ＰＰとしても良いし、スキャンデータに含まれる代表座標を中心とする所定の大きさを有する領域を領域ＰＰとしても良い。

その後、接触部分包含領域特定部１３６Ａは、領域ＰＰを特定したことを画像表示処理部１８の原色画像作成部１８１に通知する。

原色画像作成部１８１は、上記通知を受けて、スキャン属性情報設定部１３５を駆動し、スキャン属性情報設定部１３５は、色検出コマンド記憶部２２３から予め記憶されている「色検出コマンド」を読み出し、「データ取得タイミング」のフィールド値を“センス”に切り換える。

原色画像作成部１８１は、第１色から第３色までの原色画像データを作成し、順次、データ処理部７００（及び回路制御部６００）を介して表示／光センサ部３００に、原色画像データを送信する。

その後、スキャンデータ格納部１３３は、「データ取得タイミング」のフィールド値が“センス”に設定されているので、第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされたスキャンデータを、データ処理部７００から受信する。

スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“センス”に設定されているので、色判定用データとして、色判定用データ記憶部２４１に記憶する。

スキャンデータ格納部１３３は、色判定用データを色判定用データ記憶部２４１に記憶させると、色判定用データ解析部１４２にその旨を通知する。

色判定用データ解析部１４２は、上記通知を受けて、色判定用データを色判定用データ記憶部２４１から読み出し、その色判定用データを解析して、ペンＰのペン先の色を特定（検出）し、その色判定結果を色情報として、色判定結果記憶部２４２に記憶する。

また、色判定用データ解析部１４２は、色情報を色判定結果記憶部２４２に記憶させると、その旨をスキャン属性情報設定部１３５に通知する。

次に、スキャン属性情報設定部１３５は、上記通知を受けて、接触部分包含領域判定コマンド記憶部２２２から予め記憶されている「色検出コマンド」を読み出して「データ取得タイミング」のフィールド値を“イベント”に切り換える。

ここで、上述のように、「データ取得タイミング」が“イベント”に設定されているので、ペンＰのペン先が移動すると、センサデータ処理部７０３が、センサ制御部６０２から受信する画像データに変化が生じたと認識して、主制御部８００に得られたスキャンデータを送信する。

スキャンデータ格納部１３３は、得られたスキャンデータを接触位置特定用データとして画像データ記憶部２３に記憶する。

また、その後、スキャンデータ格納部１３３は、スキャンデータを画像データ記憶部２３に記憶させたことを、接触位置特定部１８２１に通知し、接触位置特定部１８２１は、画像データ記憶部２３に記録されたスキャンデータに基づいて、接触物の接触位置を特定する。なお、本実施形態では、上述した、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データ（Ｘａ,Ｙａ）が特定されるものとする。

その後、接触位置特定部１８２１は、接触物の接触位置を特定したことを補間線特定部１８２２に通知する。

補間線特定部１８２２は、上記通知を受けて、接触位置特定部１８２１によって特定された接触位置が、１つの場合には、その接触位置を、画像データ記憶部２３に記憶し、その旨を表示画像作成部１８２３に通知する。

一方、補間線特定部１８２２は、接触位置特定部１８２１により、第１の接触位置が特定された後に、第２の接触位置が特定された場合に、接触位置特定部１８２１が特定した、前記第１の接触位置及び前記第２の接触位置間を補間するための補間線を特定し、第１の接触位置、第２の接触位置、補間線に関するすべてのデータを画像データ記憶部２３に記憶し、その旨を表示画像作成部１８２３に通知する。

また、表示画像作成部１８２３は、上記通知を受けて、前記接触位置、若しくは、前記第１の接触位置、前記第２の接触位置、及び前記補間線を表示するための接触位置特定結果表示画像を作成するようになっている。

なお、前記接触位置、若しくは、前記第１の接触位置、前記第２の接触位置、及び前記補間線を表示するための色は、検出（判定された）された色を採用する。

これにより、第１の接触位置及び第２の接触位置間をスムーズに繋いで表示面に表示させることができる。

（データ表示／センサ装置の動作）
次に、図１０〜図１３に基づき、データ表示／センサ装置１００の動作の詳細について説明する。

図１０は、データ表示／センサ装置１００の色検出動作を概念的に示す模式図であり、図１０の（ａ）は、色検出動作の時間経過を示し、図１０の（ｂ）は、色検出動作の際の画面表示の様子を示す。

まず、図１０の（ａ）に示すように、センサ内蔵液晶パネル３０１にペンＰのペン先が接触（ペンタッチ）したと判定されると、白塗り矢印が示す位置から原色画像作成部１８１の原色画像データの作成動作が開始する。

その後、Ｒ画像表示用データ、Ｇ画像表示用データ、及びＢ画像表示用データが、順次作成される。ここで、Ｒ画素点灯期間Ｔ_Ｒは、ペンタッチがあって、Ｒ画像表示用データが表示されてからその表示が終了するまでの時間、Ｇ画素点灯期間Ｔ_Ｇは、Ｇ画像表示用データが表示されてからその表示が終了するまでの時間、Ｂ画素点灯期間Ｔ_Ｂは、Ｂ画像表示用データが表示されてからその表示が終了するまでの時間である。

ここで、発色動作の時間Ｔ＝Ｒ画素点灯期間Ｔ_Ｒ＋Ｇ画素点灯期間Ｔ_Ｇ＋Ｂ画素点灯期間Ｔ_Ｂは、表示のチラツキ防止の観点からは、できるだけ短い方が好ましい。

また、図１０の（ｂ）に示すように、スキャン処理部１２において部分画像データ（領域ＰＰ）及び代表座標の取得は、周期的に常時行なわれている（接触部分包含領域判定用のスキャンデータでも、色検出用のスキャンデータでも部分画像データ及び代表座標を取得できるので、座標検出は可能である）が、ペンＰのペン先の色を検出するための色検出処理（ペン先の色と座標を検出）におけるＲ画像表示用データ、Ｇ画像表示用データ、及びＢ画像表示用データの発色動作は、色判定部１４１によりペンＰのペン先の色が判定されると、ただちに終了し、接触判定処理（座標検出）に戻る。

なお、図１０では、１回の色検出処理終了後、ただちに接触判定処理に戻っているが、何らかの理由により、色検出ができなかった場合、再度、色検出処理を行う。

次に、図１２に示すフローチャートに基づき、接触部分包含領域特定ステップのフローについて説明する。図１２は、データ表示／センサ装置１００の動作（接触部分包含領域特定ステップ）を示すフローチャートである。

図１２に示すように、データ表示／センサ装置１００の電源スイッチが入ってセンサ内蔵液晶パネル３０１の表示がＯＮになると、スキャン属性情報設定部１３５が、スキャン属性情報記憶部２２に予め記憶されている「接触部分包含領域判定コマンド」の各フィールドの値を読み出してそのスキャン属性情報を設定してスタートとなる。

ステップＳ１（以下、「ステップ」は、省略する）では、スキャン実行部１３１から送られる「接触部分包含領域判定用コマンド」により、センサ制御部６０２が、光センサ駆動回路３０５を介して光センサ６によりスキャンを行って、そのスキャンデータ（ここでは、全体画像データを含む）をデータ処理部７００の画像データバッファ７０４に蓄積（保持）する動作を所定のタイミングＴＣ２で繰り返している。

次に、Ｓ２で、ユーザが、特定色の色鉛筆であるペンＰをセンサ内蔵液晶パネル３０１Ｂに接触させると、Ｓ３に進む。

Ｓ３では、センサデータ処理部７０３は、スキャン実行部１３１から送られる「接触部分包含領域判定用コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサ制御部６０２から受信する画像データから、ペンＰの接触により、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出された場合には、該抽出した領域の画像データ（部分画像データ及び代表座標）を主制御部８００に送信し、「ＹＥＳ」となり、Ｓ４に進む。

一方、Ｓ３で、ペンＰの接触により、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出されなかった場合は、「ＮＯ」となり、センサデータ処理部７０３は、Ｓ１の動作に戻る。

Ｓ４では、スキャンデータ格納部１３３は、「接触部分包含領域判定用コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサデータ処理部７０３から主制御部８００におくられたスキャンデータ（部分画像データ及び代表座標）を接触部分包含領域特定用データ記憶部２３１に記憶（保持）させてＳ５に進む。

Ｓ５では、接触部分包含領域特定部１３６Ａは、「接触部分包含領域判定用コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサデータ処理部７０３から主制御部８００にスキャンデータ（部分画像データ及び代表座標）が送られることをトリガとして、「ペンＰが、センサ内蔵液晶パネル３０１Ｂに接触した」と判定し、領域ＰＰを特定（接触部分包含領域特定処理）して「結合子Ａ」に進む。

この接触部分包含領域特定処理では、接触部分包含領域特定部１３６Ａは、スキャンデータに含まれる部分画像データの全画像データに占める領域を領域ＰＰとして特定しても良いし、スキャンデータに含まれる代表座標に基づいて、該代表座標を中心とする所定の大きさの領域を領域ＰＰとして特定しても良い。

なお、以下では、接触部分包含領域特定部１３６Ａが、スキャンデータに含まれる部分画像データの全画像データに占める領域を領域ＰＰとして特定した場合について説明する。

次に、図１３は、データ表示／センサ装置１００の動作（色検出ステップ）を示すフローチャートである。

「結合子Ａ」からＳ６に進み、Ｓ６では、接触部分包含領域特定部１３６Ａが、色判定用データ解析部１４２によって色判定が既に行われている場合には、「ＹＥＳ」となり、Ｓ１０に進む。

一方、Ｓ６で、色判定用データ解析部１４２によって色判定が既に行われていない場合には、「ＮＯ」となり、Ｓ７に進む。

Ｓ７では、接触部分包含領域特定部１３６Ａは、領域ＰＰを特定したことを画像表示処理部１８に通知する。

画像表示処理部１８は、上記通知を受けて、原色画像作成部１８１を駆動し、原色画像作成部１８１は、接触部分包含領域特定用データ記憶部２３１からスキャンデータを読み出して領域ＰＰの全画像データ上に占める領域のみを等色の原理を満たすＲ、Ｇ及びＢ表示としたＲ画像表示用データ、Ｇ画像表示用データ、Ｂ画像表示用データを作成し、順次、データ処理部７００に送信する。これにより、センサ内蔵液晶パネル３０１の領域ＰＰに含まれる画素回路３１のそれぞれを、等色の原理を満たすＲ、Ｇ及びＢで、順次発色（表示）させて、Ｓ８に進む。

Ｓ８では、原色画像作成部１８１は、スキャン属性情報設定部１３５を駆動し、スキャン属性情報設定部１３５は、色検出コマンド記憶部２２３から予め記憶されている「色検出コマンド」を読み出し、「データ取得タイミング」のフィールド値を“オール”に切り換える。

その後、スキャンデータ格納部１３３は、「データ取得タイミング」のフィールド値が“オール”に設定されているので、Ｒ、Ｇ及びＢで発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像を、各光センサ６を用いてスキャンされたスキャンデータを、データ処理部７００から受信する。

スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“オール”に設定されている場合は、色判定用データとして、色判定用データ記憶部２４１に記憶させる。このとき、スキャンデータ格納部１３３は、色判定用データ記憶部２４１に、Ｒ、Ｇ及びＢで発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされた３つのスキャンデータをすべて記憶させると、色判定処理部１４Ａにその旨を通知してＳ９に進む。

Ｓ９では、色判定処理部１４Ａが、上記通知を受けて色判定部１４１を駆動し、色判定部１４１は、色判定用データ記憶部２４１に記憶されている３つのスキャンデータに基づいて、Ｒ、Ｇ及びＢのそれぞれの光による反射光の強度を解析して、センサ内蔵液晶パネル３０１Ｂに接触したペンＰのペン先の色を判定し、その色判定結果（色情報）を出力する。その後、色判定結果格納部１４３は、出力された色判定結果を色判定結果保持部１４５又は、色判定結果記憶部２４２に記憶させてＳ１０に進む。

Ｓ１０では、色判定処理部１４Ａの色判定部１４１が、色判定結果を出力したことを色判定結果表示画像作成部１８２の接触位置特定部１８２１に通知する。

接触位置特定部１８２１は、上記通知を受けて、Ｓ４にて、接触部分包含領域判定コマンド記憶部２２２又は色判定用データ記憶部２４１に記憶されているスキャンデータ（部分画像データ及び代表座標）の代表座標に基づいて、ペンＰの接触位置を特定し、その接触位置特定結果を補間線特定部１８２２に送信してＳ１１に進む。

Ｓ１１では、接触位置特定結果が、２つ以上の接触位置を特定するものである場合には、「ＹＥＳ」となり、Ｓ１２に進む。

一方、Ｓ１１で接触位置特定結果が、１つのみの接触位置を特定するものである場合には、「ＮＯ」となり、Ｓ１４に進む。

Ｓ１２では、補間線特定部１８２２が、順次特定される接触位置間のそれぞれの補間線を特定してＳ１３に進む。

Ｓ１３では、表示画像作成部１８２３が、特定された２つ以上の接触位置と、順次特定される接触位置間のそれぞれの補間線のすべてを、検出した色で表示した表示画像データを作成してＳ１５に進む。

また、Ｓ１４では、特定された１つの接触位置を検出した色で表示した表示画像データを作成してＳ１５に進む。

Ｓ１５では、表示画像作成部１８２３が、データ処理部７００を介して表示／光センサ部３００に、作成した表示画像データを送信し、センサ内蔵液晶パネル３０１に検出した色の描画像が表示されてＳ１６に進む。

Ｓ１６では、表示画像作成部１８２３が色の描画像を表示したことを接触部分包含領域特定部１３６Ａに通知する。

接触部分包含領域特定部１３６Ａは、上記通知を受けて、ペンＰの接触状態が解除されたか否かの判定を行い、ペンＰの接触状態が解除されている場合には、「ＥＮＤ」となりデータ表示／センサ装置１００は動作を終了する（若しくは、図１２の「ＳＴＡＲＴ」に戻る）。

一方、ペンＰの接触状態が解除されたか否かの判定を行い、ペンＰの接触状態が解除されていない場合には、「ＹＥＳ」となり、Ｓ４に戻る。

以上より、装置の小型化に有用な、入出力一体型ディスプレイ（センサ内蔵液晶パネル３０１）の表示面上に接触したペンＰのペン先の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができるデータ表示／センサ装置１００を提供することができる。

〔実施の形態２〕
本発明の他の実施の形態について図１４及び図１５に基づいて説明すれば、以下の通りである。なお、本実施の形態において説明すること以外の構成は、前記実施の形態１と同じである。また、説明の便宜上、前記の実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

本実施形態では、図４の表示制御部６０１及びセンサ制御部６０２のそれぞれの機能をハードウェアロジックで構成した場合について説明する。

図１４は、データ表示／センサ装置１００の要部構成をハードで実装した場合の一例を示すブロック図である。

図１４に示すように、本実施形態（データ表示／センサ装置Ａという）の要部構成は、光センサ６、シフトレジスタ（発色制御手段）４０１、インバータ（発色制御手段）４０２ｒ、ＸＮＯＲ回路（発色制御手段）４０２ｇ、インバータ（発色制御手段）４０２ｂ、ＡＮＤ回路（撮像制御手段）４０３、シフトクロック生成部（発色制御手段）４０４、トランジスタ（撮像制御手段）４０５ｒ、トランジスタ（撮像制御手段）４０５ｇ及びトランジスタ（撮像制御手段）４０５ｂ、インバータ付きトランジスタ（撮像制御手段）４０６ｒ、インバータ付きトランジスタ（撮像制御手段）４０６ｇ及びインバータ付きトランジスタ（撮像制御手段）４０６ｂ、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂ、座標演算部１３６Ｂ、色演算部１４Ｂ、並びに、色記憶（記憶部）４０７ｒ、色記憶（記憶部）４０７ｇ及び色記憶（記憶部）４０７ｂからなる構成である。

図１４は、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂがすべて点灯している場合（白表示）を示している。

シフトレジスタ（発色制御手段）４０１は、シフトクロック生成部４０４の駆動により、「１１０００００００００」の情報を順次、１つずつ、循環させて出力するものである。

図１４では、インバータ４０２ｒ及びＸＮＯＲ回路４０２ｇに対して「０」（ＬＯＷレベル）が出力され、ＸＮＯＲ回路４０２ｇ及びインバータ４０２ｂに対して「１」（ＨＩＧＨレベル）が出力されている様子を示している。

インバータ４０２ｒは、「０」が入力されているので、「１」を出力する。これにより、Ｒ画素回路３１ｒが点灯する。

ＸＮＯＲ回路４０２ｇは、「００」が入力されているので、「１」を出力する。これにより、Ｇ画素回路３１ｇが点灯する。

インバータ４０２ｂは、「０」が入力されているので、「１」を出力する。これにより、Ｂ画素回路３１ｂが点灯する。

これにより、光センサ６は、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。

ここで、ＡＮＤ回路４０３は、「１１１」が入力されているので「１」を出力するが、トランジスタ４０５ｒ〜トランジスタ４０５ｂのゲートには、すべて「１」が入力されているので、トランジスタ４０５ｒ〜トランジスタ４０５ｂのゲートは開放される。

しかしながら、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂは、ＡＮＤ回路４０３からの「１」がインバータによって反転して「０」がトランジスタのゲートに入力されるので、光センサ６の検出信号は、色記憶４０７ｒ〜色記憶４０７ｂには流れない。

すなわち、図１４の状態では、色検出処理が行なわれていない状態を示している。

ここで、ペンＰのペン先が接触すると、座標演算部１３６Ｂは、光センサ６の検出信号に基づいて、座標演算を行い「座標情報」が出力される。

座標演算部１３６Ｂは、このとき、シフトクロック生成部４０４を駆動する。そして、シフトクロック生成部４０４は、シフトレジスタ４０１を駆動して図１５（ａ）に示す状態が実現される。

図１５（ａ）は、データ表示／センサ装置Ａの要部構成をハードで実装した場合においてＲ画素が点灯している様子を示す図であり、図１５（ｂ）は、Ｇ画素が点灯している様子を示す図であり、図１５（ｃ）は、Ｂ画素が点灯している様子を示す図である。

まず、図１５（ａ）に示すように、シフトレジスタ４０１が駆動されて、インバータ４０２ｒには、「０」が入力されるので、インバータ４０２ｒは、「１」を出力する。これにより、Ｒ画素回路３１ｒが点灯する。

また、ＸＮＯＲ回路４０２ｇには、「０１」が入力されるので、ＸＮＯＲ回路４０２ｇは、「０」を出力する。これにより、Ｇ画素回路３１ｇは、点灯しない。

また、インバータ４０２ｂは、「１」が入力されるので、インバータ４０２ｂは、「０」を出力する。これにより、Ｂ画素回路３１ｂは、点灯しない。

このとき、光センサ６は、Ｒ画素回路３１ｒが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。

ここで、ＡＮＤ回路４０３には、「１００」が入力されるので、ＡＮＤ回路４０３は、「０」を出力する。

ここで、インバータ４０２ｒ〜インバータ４０２ｂには、ＡＮＤ回路４０３より「０」が入力されるので、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートには、すべて「１」が入力されて、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートは開放される。

一方、トランジスタ４０５ｒ〜トランジスタ４０５ｂでは、トランジスタ４０５ｒのみゲートに「１」が入力されるので、トランジスタ４０５ｒのみゲートが開放される。

これにより、色記憶４０７ｒに光センサ６の検出信号による検出情報が記憶される。その後、シフトクロック生成部４０４がシフトレジスタ４０１を駆動して、図１５（ｂ）の状態に進む。

図１５（ｂ）では、シフトレジスタ４０１が駆動されて、インバータ４０２ｒには、「１」が入力されるので、インバータ４０２ｒは、「０」を出力する。これにより、Ｒ画素回路３１ｒが点灯しない。

また、ＸＮＯＲ回路４０２ｇには、「１１」が入力されるので、ＸＮＯＲ回路４０２ｇは、「１」を出力する。これにより、Ｇ画素回路３１ｇは、点灯する。

また、インバータ４０２ｂは、「１」が入力されるので、インバータ４０２ｂは、「０」を出力する。これにより、Ｂ画素回路３１ｂは、点灯しない。

このとき、光センサ６は、Ｇ画素回路３１ｇが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。

ここで、ＡＮＤ回路４０３には、「０１０」が入力されるので、ＡＮＤ回路４０３は、「０」を出力する。

ここで、インバータ４０２ｒ〜インバータ４０２ｂには、ＡＮＤ回路４０３より「０」が入力されるので、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートには、すべて「１」が入力されて、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートは開放される。

一方、トランジスタ４０５ｒ〜トランジスタ４０５ｂでは、トランジスタ４０５ｇのみゲートに「１」が入力されるので、トランジスタ４０５ｇのみゲートが開放される。

これにより、色記憶４０７ｇに光センサ６の検出信号による検出情報が記憶される。

同様に、図１５（ｃ）では、シフトレジスタ４０１が駆動されて、インバータ４０２ｒには、「１」が入力されるので、インバータ４０２ｒは、「０」を出力する。これにより、Ｒ画素回路３１ｒが点灯しない。

また、ＸＮＯＲ回路４０２ｇには、「１０」が入力されるので、ＸＮＯＲ回路４０２ｇは、「０」を出力する。これにより、Ｇ画素回路３１ｇは、点灯しない。

また、インバータ４０２ｂには、「０」が入力されるので、インバータ４０２ｂは、「１」を出力する。これにより、Ｂ画素回路３１ｂは、点灯する。

このとき、光センサ６は、Ｂ画素回路３１ｂが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。

ここで、ＡＮＤ回路４０３には、「００１」が入力されるので、ＡＮＤ回路４０３は、「０」を出力する。

ここで、インバータ４０２ｒ〜インバータ４０２ｂには、ＡＮＤ回路４０３より「０」が入力されるので、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートには、すべて「１」が入力されて、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートは開放される。

一方、トランジスタ４０５ｒ〜トランジスタ４０５ｂでは、トランジスタ４０５ｂのみゲートに「１」が入力されるので、トランジスタ４０５ｂのみゲートが開放される。

これにより、色記憶４０７ｂに光センサ６の検出信号による検出情報が記憶される。

以上説明した、図１５（ａ）〜図１５（ｃ）までの一連の動作により、色記憶４０７ｒ〜色記憶４０７ｂのすべてに検出情報が記録されることをトリガとして、色演算部１４Ｂは、ペンＰのペン先の色を解析し、色情報を出力する。

以上より、装置の小型化に有用な、入出力一体型ディスプレイ（センサ内蔵液晶パネル３０１）の表示面上に接触したペンＰのペン先の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができるデータ表示／センサ装置Ａを提供することができる。

〔実施の形態３〕
本発明のさらに他の実施の形態について図１６に基づいて説明すれば、以下の通りである。なお、本実施の形態において説明すること以外の構成は、前記実施の形態１及び２と同じである。また、説明の便宜上、前記の実施の形態１及び２の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

図１６は、本実施形態のデータ表示／センサ装置（データ表示／センサ装置Ｂと呼ぶ）の要部構成をハードで実装した場合の他の例を示すブロック図である。

本実施形態が実施の形態２と異なる点は、まず、トランジスタ４０５ｂが無いことと、インバータ付きトランジスタ４０６ｂに替えて、トランジスタ（撮像制御手段）４０６ｗが設けられている点のみであり、それ以外の構成は、実施の形態２と同じである。なお、動作については、実施の形態２と同様なので、ここでは、説明を省略し、実施の形態２と本実施形態との作用の違いについて説明する。

実施の形態２のデータ表示／センサ装置Ａでは、Ｒ、Ｇ及びＢのそれぞれの光が順次、発光し、Ｒ、Ｇ及びＢのそれぞれの光が、光センサ６によって検出された検出情報として色記憶４０７ｒ〜色記憶４０７ｂに記録される。

一方、実施の形態３では、Ｒ、Ｇ及び白（Ｒ〜Ｇのすべて点灯）のそれぞれの光が順次、発光し、Ｒ、Ｇ及白のそれぞれの光が、光センサ６によって検出された検出情報として色記憶４０７ｒ〜色記憶（記憶部）４０７ｗに記録される。

以上より、装置の小型化に有用な、入出力一体型ディスプレイ（センサ内蔵液晶パネル３０１）の表示面上に接触したペンＰのペン先の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができるデータ表示／センサ装置Ｂを提供することができる。

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組合せて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、データ表示／センサ装置１００の各ブロック、特に主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、前記プログラムを格納したＲＯＭ（read only memory）、前記プログラムを展開するＲＡＭ（random access memory）、前記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、前記データ表示／センサ装置１００に供給し、そのコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、複数の単位画素及び複数の撮像センサを備えた表示装置に適用できる。具体的には、表示装置として、例えば、アクティブマトリクス型の液晶表示装置に用いることができると共に、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイにも利用することができる。

本発明の一実施形態に係るデータ表示／センサ装置の概観構成及びその機能の概要を示す模式図である。 （ａ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面の一例を示す模式図であり、（ｂ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの他の例の１画素を示す模式図である。 （ａ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、（ｂ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 前記データ表示／センサ装置の要部構成を示すブロック図である。 前記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 （ａ）は、前記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データであり、（ｂ）は、前記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 前記データ表示／センサ装置の要部構成のうち、主制御部及び記憶部の詳細を示すブロック図である。 前記データ表示／センサ装置の色検出動作を概念的に示す模式図であり、（ａ）は、前記色検出動作の時間経過を示し、（ｂ）は、前記色検出動作の際の画面表示の様子を示す。 前記主制御部の要部構成のうち、色判定結果表示画像作成部の詳細を示すブロック図である。 前記データ表示／センサ装置の動作（接触部分包含領域特定ステップ）を示すフローチャートである。 前記データ表示／センサ装置の動作（色検出ステップ）を示すフローチャートである。 前記データ表示／センサ装置の要部構成をハードで実装した場合の一例を示すブロック図である。 （ａ）は、前記データ表示／センサ装置の要部構成をハードで実装した場合においてＲ画素が点灯している様子を示す図であり、（ｂ）は、Ｇ画素が点灯している様子を示す図であり、（ｃ）は、Ｂ画素が点灯している様子を示す図である。 前記データ表示／センサ装置の要部構成をハードで実装した場合の他の例を示すブロック図である。 （ａ）及び（ｂ）は、従来のカラースキャナにおいて、光源とイメージセンサとの間にカラーフィルタを設ける場合の、イメージセンサとカラーフィルタとの大きさの関係を説明するための概念図であり、（ｃ）は、従来のカラースキャナにおいて、赤、青及び緑のＬＥＤ（light-emitting diode）を順次点灯させて、それぞれの光をスキャンする様子を示す図である。

符号の説明

６ 光センサ（撮像センサ）
１２ スキャン処理部（撮像制御手段）
１４Ａ 色判定処理部（色検出手段）
１４Ｂ 色演算部（色検出手段）
１８ 画像表示処理部（発色制御手段）
２２ スキャン属性情報記憶部
２３ 画像データ記憶部
２４ 原色画像データ記憶部
３１ 画素回路（単位画素）
３１ｒ Ｒ画素回路（色画素,Ｒ画素）
３１ｇ Ｇ画素回路（色画素,Ｇ画素）
３１ｂ Ｂ画素回路（色画素,Ｂ画素）
１００ データ表示／センサ装置（色検出装置）
１３１ スキャン実行部（撮像制御手段）
１３２ スキャン実行指示部（撮像制御手段）
１３３ スキャンデータ格納部（撮像制御手段）
１３４ スキャンデータ／接触部分包含領域特定結果保持部
１３５ スキャン属性情報設定部
１３６Ａ 接触部分包含領域特定部（接触判定手段,接触部分包含領域特定手段）
１３６Ｂ 座標演算部（接触判定手段,接触部分包含領域特定手段）
１４１ 色判定部（色検出手段）
１４２ 色判定用データ解析部（色検出手段）
１４３ 色判定結果格納部（色検出手段）
１４５ 色判定結果保持部（記憶部）
１８１ 原色画像作成部
１８２ 色判定結果表示画像作成部
２２２ 接触部分包含領域判定コマンド
２２３ 色検出コマンド
２３１ 接触部分包含領域特定用データ記憶部
２３２ 接触部分包含領域特定結果記憶部
２４１ 色判定用データ記憶部
２４２ 色判定結果記憶部（記憶部）
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
３０１Ａ センサ内蔵液晶パネル（面状部材）
３０１Ｂ センサ内蔵液晶パネル（面状部材）
４０１ シフトレジスタ（発色制御手段）
４０２ｒ インバータ（発色制御手段）
４０２ｇ ＸＮＯＲ回路（発色制御手段）
４０２ｂ インバータ（発色制御手段）
４０３ ＡＮＤ回路（撮像制御手段）
４０４ シフトクロック生成部（発色制御手段）
４０５ｒ,４０５ｇ,４０５ｂ トランジスタ（撮像制御手段）
４０６ｒ,４０６ｇ,４０６ｂ インバータ付きトランジスタ（撮像制御手段）
４０６ｗ トランジスタ（撮像制御手段）
４０７ｒ,４０７ｇ,４０７ｂ 色記憶（記録部）
４０７ｗ 色記憶（記録部）
６００ 回路制御部
６０１ 表示制御部
６０２ センサ制御部
６０３ バックライト制御部
７００ データ処理部
７０１ 表示データ処理部
７０３ センサデータ処理部
８００ 主制御部
９０１ 記憶部
９０３ 操作部
１８２１ 接触位置特定部（接触位置特定手段）
１８２２ 補間線特定部（補間線特定手段）
１８２３ 表示画像作成部（検出色表示制御手段）
Ｐ ペン（接触物）
ＰＰ 領域（接触部分包含領域）
Ｌ 軌跡
Ｈ ヒンジ
Ｔ_Ｒ Ｒ画素点灯期間
Ｔ_Ｇ Ｇ画素点灯期間
Ｔ_Ｂ Ｂ画素点灯期間

Claims (9)

1. 複数の単位画素と、前記単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材と、
   所定範囲に含まれる前記単位画素を、等色の原理を満たす第１色、第２色及び第３色で、順次発色させる発色制御手段と、
   前記発色制御手段が、前記所定範囲に含まれる単位画素を、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記撮像センサを用いて撮像する撮像制御手段と、
   前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御手段によって撮像された前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出手段を備えていることを特徴とする色検出装置。
2. 前記接触物が前記面状部材に接触しているか否かを判定する接触判定手段を備えており、
   前記発色制御手段は、前記接触判定手段によって前記接触物が前記面状部材に接触していると判定された場合に、前記単位画素を発色させることを特徴とする請求項１に記載の色検出装置。
3. 前記撮像制御手段によって撮像された前記接触物の像に基づいて、前記面状部材上における前記接触物の接触部分を含む接触部分包含領域を特定する接触部分包含領域特定手段を備え、
   前記発色制御手段は、前記接触部分包含領域特定手段によって特定された前記接触部分包含領域を前記所定範囲として、前記単位画素のそれぞれを発色させることを特徴とする請求項１又は２に記載の色検出装置。
4. 前記第１色は、赤色、緑色、青色及び白色からなる４色のうちのいずれかであり、
   前記第２色は、該４色のうち、前記第１色でない残りの３色のうちのいずれかであり、
   前記第３色は、該３色のうち、前記第２色でない残りの２色のうちのいずれかであることを特徴とする請求項１から３までのいずれか１項に記載の色検出装置。
5. 前記発色制御手段は、前記色検出手段によって前記接触部分の色が検出された場合に、前記単位画素を前記第１色、第２色及び第３色で発色させる動作を終了することを特徴とする請求項１から４までのいずれか１項に記載の色検出装置。
6. 前記色検出手段が検出した前記接触物の接触部分の色を示す色情報を保持する記憶部を備えていることを特徴とする請求項１から４までのいずれか１項に記載の色検出装置。
7. 請求項１から６までのいずれか１項に記載の色検出装置における各手段としてコンピュータを動作させるための色検出プログラム。
8. 請求項７に記載の色検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
9. 複数の単位画素と、前記単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材を用いて実行される色検出方法であって、
   所定範囲に含まれる前記単位画素を、等色の原理を満たす第１色、第２色及び第３色で、順次発色させる発色制御ステップと、
   前記発色制御ステップで、前記所定範囲に含まれる単位画素を、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御ステップと、
   前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御ステップで撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出ステップを含んでいることを特徴とする色検出方法。

Images