JP2011150583A - 撮像装置付き画像表示装置 - Google Patents

Abstract

【課題】感圧センサを設けること無く、ポインティグデバイスの機能を付加することができる撮像装置付き画像表示装置を提供する。
【解決手段】撮像装置付き画像表示装置は、（Ａ）発光素子を含む画素を複数配置して成る画像表示部１０、（Ｂ）画像表示部１０に設けられた光透過領域３０、（Ｃ）画像表示部１０の背面側に配置された撮像装置２０、（Ｄ）光透過領域３０を通過した光を撮像装置２０に集光する集光手段２１、並びに、（Ｅ）撮像装置２０を介して取得された画像情報に基づき、被写体の位置情報を求める位置検出手段７１を有する。
【選択図】 図１

Description

本発明は、撮像装置付き画像表示装置に関し、より具体的には、画像表示部の背面側に撮像装置が配置された画像表示装置に関する。

近年、フラットパネル表示装置（ＦＰ表示装置）として、有機エレクトロルミネッセンス表示装置（以下、単に、『有機ＥＬ表示装置』と略称する場合がある）に関心が高まっている。現在、ＦＰ表示装置として液晶表示装置（ＬＣＤ）が主流を占めているが、自発光デバイスではなく、バックライトや偏光板等の部材を必要とする。それ故、ＦＰ表示装置の厚さが増す、輝度が不足するなどの問題点がある。一方、有機ＥＬ表示装置は自発光デバイスであり、バックライト等の部材が原理的に不要であり、薄型化、高輝度であるなど、ＬＣＤと比較して多数の利点を有する。特に、各画素にスイッチング素子を配したアクティブマトリクス型有機ＥＬ表示装置は、各画素をホールド点灯させることで消費電流を低く抑えることができ、しかも、大画面化及び高精細化が比較的容易に行えることから、各社で開発が進められており、次世代ＦＰ表示装置の主流になると期待されている。

画像表示装置に画像表示以外の機能を付加する試みも盛んに行われている。例えば、画像表示装置の画像表示面に所謂感圧センサを設けることでポインティグデバイスの機能を付加した画像表示装置が広く知られている。また、特開２００５−１７６１５１や特開２００５−０１０４０７には、撮像装置付きのＦＰ表示装置が開示されている。

特開２００５−１７６１５１ 特開２００５−０１０４０７

ポインティグデバイスの機能を付加した画像表示装置にあっては、感圧センサを設ける必要があるので、画像表示装置の製造コストが上昇するといった問題があるし、感圧センサを通して画像を眺めるので、画像表示装置によって表示される画像の品質が低下するといった問題もある。

特開２００５−１７６１５１に開示されている技術では、画像表示装置の画像表示部を構成する画素の間に微小レンズを有する開口部を複数設け、これら複数の開口部を通過した光を複数のカメラで撮像する。ここで、画像表示装置を見る使用者の顔を複数の異なる角度から撮像し、得られた複数の画像を処理して使用者を正面から捉えた像を生成する。しかしながら、この特許公開公報に開示された技術にあっては、微小レンズを開口部に設ける必要があり、しかも、正確に像を撮像装置に結ぶためには高精度の微小レンズが必要とされるため、画像表示装置の製造コストの増加を招く。しかも、使用者の正面の顔を撮像しているわけではなく、異なる角度から撮像した複数の画像から正面の画像を作り出すため、実写ではなく、所謂ＣＧ画像を相手側に提供するため、実際には違和感が大きい。

特開２００５−０１０４０７に開示されている技術では、例えば、その図１５、図１６に示されているように、複数の画素内に設けられた１つ光透過部を通過した光に基づき撮像装置において撮像するので、撮像装置に十分な光量の光を集光させることが困難である。

従って、本発明の目的は、感圧センサを設けること無く、ポインティグデバイスの機能を付加することができ、低コストで製造することができ、撮像装置に十分な光量の光を集光させることができる撮像装置付き画像表示装置を提供することにある。

上記の目的を達成するための本発明の撮像装置付き画像表示装置は、
発光素子を含む画素を複数配置して成る画像表示部、
画像表示部に設けられた光透過領域、
画像表示部の背面側に配置された撮像装置、
光透過領域を通過した光を撮像装置に集光する集光手段、並びに、
撮像装置を介して取得された画像情報に基づき、被写体の位置情報を求める位置検出手段、
を有する。

本発明の撮像装置付き画像表示装置にあっては、撮像装置を介して取得された画像情報に基づき被写体の位置情報を求める位置検出手段を備えている。ここで、位置検出手段によって被写体（例えば、手や指、眼球）の位置情報を時系列に連続して求めれば、被写体（例えば、手や指、眼球、視線）の動きを求めることができ、被写体（例えば、手や指、眼球、視線）の動きに対応した各種の処理を行うことが可能となる。あるいは又、位置検出手段によって被写体の向いている方向を求めれば、被写体の向いている方向に対応した各種の処理を行うことが可能となる。また、手やペン等の向きから画像表示部の対応する指示点を特定することが可能となるので、所謂ポインタ機能を撮像装置付き画像表示装置に付加することができる。しかも、撮像装置が画像表示部の背面側に配置されているので、画面の背面以外に撮像装置を配置した場合に比べて、一層正確に被写体を撮像することができるし、画像表示部に正対している使用者の顔、目、動作等を撮像装置によって正確に撮像することができる。そしてこれにより、被写体の位置情報も正確に求めることができ、高性能な位置情報の検出機能を提供することができる。

図１の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置付き画像表示装置を正面及び側面から眺めた模式図であり、図１の（Ｃ）は、画像表示部を構成する複数の画素の配置を模式的に示す図である。 図２は、実施例の撮像装置付き画像表示装置の模式的な一部断面図である。 図３の（Ａ）及び（Ｂ）は、実施例１の撮像装置付き画像表示装置、及び、撮像装置が画像表示部の外側に固定された画像表示装置の概念図である。 図４は、スリットによる回折現象を説明する模式図である。 図５の（Ａ）及び（Ｂ）は、それぞれ、撮像装置の手前に透明なガラス板を配置して撮影して得られた画像、及び、撮像装置の手前に或る形状、大きさ、分布を有する光透過部の集合体である光透過領域を設けた透明なガラス板を配置して撮影して得られた画像である。 図６は、実施例２の撮像装置付き画像表示装置のブロック図である。 図７の（Ａ）及び（Ｂ）は、実施例２における光透過領域を構成する光透過部の形状を模式的に示す図である。 図８は、実施例２における光透過領域を構成する光透過部の別の形状を模式的に示す図である。 図９は、実施例３の撮像装置付き画像表示装置のブロック図である。 図１０の（Ａ）及び（Ｂ）は、実施例４における光透過領域を構成する光透過部の形状を模式的に示す図である。 図１１の（Ａ）及び（Ｂ）は、それぞれ、ノート型パーソナルコンピュータ及び携帯電話の模式図である。

以下、図面を参照して、実施例に基づき本発明を説明するが、本発明は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
１．本発明の第１の態様及び第２の態様に係る撮像装置付き画像表示装置、全般に関する説明
２．実施例１（本発明の第１の態様に係る撮像装置付き画像表示装置）
３．実施例２（実施例１の変形、本発明の第１の構成）
４．実施例３（実施例２の変形、本発明の第２の構成）
５．実施例４（本発明の第２の態様に係る撮像装置付き画像表示装置）、その他

［本発明の撮像装置付き画像表示装置、全般に関する説明］
本発明の撮像装置付き画像表示装置において、光透過領域は、複数の画素に設けられている構成とすることができる。尚、このような構成を有する本発明の撮像装置付き画像表示装置を、便宜上、『本発明の第１の態様に係る撮像装置付き画像表示装置』と呼ぶ。あるいは又、光透過領域は、少なくとも１つ以上（好ましくは、少なくとも２つ以上）の画素の周囲に設けられている構成とすることもでき、この場合、光透過領域は、画素の全ての周囲に設けられていてもよいし、画素の周囲の一部に（具体的には、画素の境界に相当する辺の内の連続する２辺以上に）設けられていてもよいが、後者の場合、画素の全周の１／４倍以上の長さ（連続する２辺にあっては、各一辺の長さの１／２倍以上）に亙り光透過領域が設けられていることが好ましい。尚、このような構成を有する本発明の撮像装置付き画像表示装置を、便宜上、『本発明の第２の態様に係る撮像装置付き画像表示装置』と呼ぶ。これらの本発明の第１の態様あるいは第２の態様に係る撮像装置付き画像表示装置にあっては、複数の画素に設けられた光透過領域を通過した光が撮像装置に集光され、あるいは又、少なくとも１つ以上の画素の周囲に設けられた光透過領域を通過した光が撮像装置に集光される。従って、正確に像を撮像装置に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置に十分な光量の光を集光させることができる。

本発明の第１の態様あるいは第２の態様に係る撮像装置付き画像表示装置を含む本発明の撮像装置付き画像表示装置（以下、これらを総称して、単に、『本発明の撮像装置付き画像表示装置等』と呼ぶ場合がある）にあっては、光透過領域が複数の光透過部から構成されており、各光透過部が画素に設けられている場合、光透過領域を構成する光透過部において回折現象が生じる結果、撮像装置に結像する像にボケが生じ、あるいは又、鮮明さに欠ける場合がある。このような場合には、撮像装置を介して取得された画像情報や、撮像装置を介して取得された、画像表示部に表示すべきその他の画像データ（例えば、撮像装置によって使用者等を撮影して得られた、画像表示部に表示すべき画像データであり、このようなその他の画像データを、単に、『画像データ』と呼ぶ場合がある）に対して、光透過領域を構成する光透過部において生じる回折の補正を施す回折補正手段を更に備えている構成とすることが好ましい。尚、このような構成を、便宜上、『本発明の第１の構成』と呼ぶ。

そして、本発明の第１の構成において、光透過領域を構成する光透過部の一部又は全部は、画像表示部の第１の方向及び第２の方向に沿って周期的に設けられており、
第１の方向に沿った光透過部の長さをＬ_tr-1、第１の方向に沿った画素のピッチをＰ_px-1としたとき、第１の方向の線開口率Ｌ_tr-1／Ｐ_px-1は、
Ｌ_tr-1／Ｐ_px-1≧０．５
好ましくは、Ｌ_tr-1／Ｐ_px-1≧０．８
を満足することが好ましい。更には、第２の方向に沿った光透過部の長さをＬ_tr-2、第２の方向に沿った画素のピッチをＰ_px-2としたとき、第２の方向の線開口率Ｌ_tr-2／Ｐ_px-2は、
Ｌ_tr-2／Ｐ_px-2≧０．５
好ましくは、Ｌ_tr-2／Ｐ_px-2≧０．８
を満足することが好ましい。尚、第１の方向と第２の方向とは、直交している場合もあるし、場合によっては、９０度以外の角度で交わっている場合もある。後者の場合、光透過部の一部又は全部は、画像表示部の第１の方向及び第２の方向だけでなく、第３の方向、第４の方向・・・に沿って周期的に設けられている場合もあり、このような場合には、各方向の内の少なくとも２方向に沿った光透過部の長さと、これらの少なくとも２方向に沿った画素のピッチとが、上記の関係（具体的には、０．５倍以上）を満足していることが好ましい。線開口率Ｌ_tr-1／Ｐ_px-1、Ｌ_tr-2／Ｐ_px-2の上限値には、光透過部が形成できる限りにおいて、特段の制約はない。ここで、第１の方向に沿った光透過部の長さＬ_tr-1は、第１の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第１の方向に沿った画素のピッチＰ_px-1は、第１の方向に沿った画素の１周期当たりの長さを意味する。同様に、第２の方向に沿った光透過部の長さＬ_tr-2は、第２の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第２の方向に沿った画素のピッチＰ_px-2は、第２の方向に沿った画素の１周期当たりの長さを意味する。

本発明の第１の構成において、具体的には、光透過部の形状、大きさ、分布に基づき（場合によっては、更に、外光の波長に基づき）算出されるＭＴＦ（Moduration Transfer Function）逆変換処理を、画像情報や画像データに対して施すことが好ましい。光透過部の形状、大きさ、分布は、回折補正手段に予め記憶しておけばよい。回折補正手段は、例えば、入出力部を有するＣＰＵとメモリから構成された回路とすることができるし、場合によっては、撮像装置付き画像表示装置に備えられたパーソナルコンピュータから回折補正手段を構成することもできる。外光の波長を考慮することで、外光（外部照明環境）に依らず、最適な画像を得ることができる。

以上の好ましい構成を含む本発明の撮像装置付き画像表示装置等においては、外光の波長分布を測定する波長分布測定手段を更に備えている構成とすることができる。尚、このような構成を、便宜上、『本発明の第２の構成』と呼ぶ。このような構成を採用することで、撮像装置を介して取得された画像情報や画像データの精度の向上（例えば、色情報の精度向上）を図ることができるし、ＭＴＦ逆変換処理の精度向上を図ることができる。波長分布測定手段は、例えば、ホトセンサ等の受光装置から構成することができる。波長分布測定手段の制御は、撮像装置付き画像表示装置によって行えばよいし、場合によっては、撮像装置付き画像表示装置に備えられたパーソナルコンピュータによって行うこともできる。

以上に説明した各種の好ましい構成を含む本発明の撮像装置付き画像表示装置等において、発光素子は自発光型の発光素子であることが望ましく、有機エレクトロルミネッセンス素子（有機ＥＬ素子）から成る形態とすることがより好ましい。尚、液晶表示装置を構成する液晶表示素子は、外部からの光（バックライトからの光あるいは外光）の通過を制御するものであり、画素が発光素子を含むものではない。発光素子を有機ＥＬ素子から構成する場合、有機ＥＬ素子を構成する有機層（発光部）は有機発光材料から成る発光層を備えているが、具体的には、例えば、正孔輸送層と発光層と電子輸送層との積層構造、正孔輸送層と電子輸送層を兼ねた発光層との積層構造、正孔注入層と正孔輸送層と発光層と電子輸送層と電子注入層との積層構造から構成することができる。また、電子輸送層、発光層、正孔輸送層及び正孔注入層を『タンデムユニット』とする場合、有機層は、第１のタンデムユニット、接続層、及び、第２のタンデムユニットが積層された２段のタンデム構造も有していてもよく、更には、３つ以上のタンデムユニットが積層された３段以上のタンデム構造も有していてもよく、これらの場合、発光色を赤色、緑色、青色と各タンデムユニットで変えることで、全体として白色を発光する有機層を得ることができる。

有機層の厚さの最適化を図ることで、例えば、第１電極と第２電極との間で発光層において発光した光を共振させ、この光の一部を第２電極を介して外部に出射する構成とすることもできる。

更には、以上に説明した各種の好ましい構成、形態を含む本発明の撮像装置付き画像表示装置等において、画像表示部は、
（ａ）第１基板、
（ｂ）第１基板上に設けられた駆動回路、
（ｃ）駆動回路を覆う層間絶縁層、
（ｄ）層間絶縁層上に設けられた発光部、
（ｅ）発光部上に設けられた保護層、
（ｆ）保護層上に設けられた遮光層、及び、
（ｇ）保護層及び遮光層を覆う第２基板、
を備えており、
各画素は、該駆動回路及び該発光部を備えており、
遮光層には、開口部が設けられており、
開口部、並びに、開口部の下方に位置する保護層の部分及び層間絶縁層の部分によって光透過領域を構成する光透過部が構成されており、
第２基板と対向しない第１基板の面の側に、集光手段及び撮像装置が配置されている形態とすることができる。発光部で発光した光は、保護層及び第２基板を介して外部に出射される。光透過部は画素に設けられている。

ここで、画素の配列として、例えば、ストライプ配列、ダイアゴナル配列、デルタ配列、レクタングル配列を挙げることができる。また、第１基板として、あるいは又、第２基板として、高歪点ガラス基板、ソーダガラス（Ｎａ₂Ｏ・ＣａＯ・ＳｉＯ₂）基板、硼珪酸ガラス（Ｎａ₂Ｏ・Ｂ₂Ｏ₃・ＳｉＯ₂）基板、フォルステライト（２ＭｇＯ・ＳｉＯ₂）基板、鉛ガラス（Ｎａ₂Ｏ・ＰｂＯ・ＳｉＯ₂）基板、表面に絶縁膜が形成された各種ガラス基板、石英基板、表面に絶縁膜が形成された石英基板、表面に絶縁膜が形成されたシリコン基板、ポリメチルメタクリレート（ポリメタクリル酸メチル，ＰＭＭＡ）やポリビニルアルコール（ＰＶＡ）、ポリビニルフェノール（ＰＶＰ）、ポリエーテルスルホン（ＰＥＳ）、ポリイミド、ポリカーボネート、ポリエチレンテレフタレート（ＰＥＴ）に例示される有機ポリマー（高分子材料から構成された可撓性を有するプラスチック・フィルムやプラスチック・シート、プラスチック基板といった高分子材料の形態を有する）を挙げることができる。駆動回路は、例えば、１又は複数の薄膜トランジスタ（ＴＦＴ）等から構成すればよい。層間絶縁層の構成材料として、ＳｉＯ₂、ＢＰＳＧ、ＰＳＧ、ＢＳＧ、ＡｓＳＧ、ＰｂＳＧ、ＳｉＯＮ、ＳＯＧ（スピンオングラス）、低融点ガラス、ガラスペーストといったＳｉＯ₂系材料；ＳｉＮ系材料；ポリイミド等の絶縁性樹脂を、単独あるいは適宜組み合わせて使用することができる。画素を有機ＥＬ素子から構成する場合、発光部は上述したとおりである。保護膜を構成する材料として、発光部で発光した光に対して透明であり、緻密で、水分を透過させない材料を用いることが好ましく、具体的には、例えば、アモルファスシリコン（α−Ｓｉ）、アモルファス炭化シリコン（α−ＳｉＣ）、アモルファス窒化シリコン（α−Ｓｉ_1-xＮ_x）、アモルファス酸化シリコン（α−Ｓｉ_1-yＯ_y）、アモルファスカーボン（α−Ｃ）、アモルファス酸化・窒化シリコン（α−ＳｉＯＮ）、Ａｌ₂Ｏ₃を挙げることができる。遮光膜（ブラックマトリクス）は周知の材料から構成すればよい。必要に応じて、カラーフィルターを設けてもよい。

以上に説明した各種の好ましい構成、形態を含む本発明の撮像装置付き画像表示装置等（以下、これらを総称して、単に、『本発明』と呼ぶ場合がある）において、被写体として、例えば、画像表示部を観察する観察者（使用者）の手や指、眼球、使用者が手に持っている棒状の物体等を挙げることができる。そして、位置検出手段によって被写体［例えば、手や指、眼球、棒状の物体（例えば、ペンや鉛筆等）］の位置情報を時系列に連続して求めれば、被写体の動きを求めることができ、この被写体の動きに対応した各種の処理（例えば、パーソナルコンピュータのモニタにおける画像の上下、左右への移動、画面を閉じる処理、別の画面を開く処理等）を行うことが可能となる。尚、被写体の動きと各種の処理との関係を位置検出手段に登録しておけばよい。あるいは又、位置検出手段によって被写体の向いている方向を求めれば、被写体の向いている方向に対応した各種の処理を行うことが可能となる。また、手やペン等の向きから画像表示部の対応する指示点を特定することが可能となるので、ポインタ機能を撮像装置付き画像表示装置に付加することができる。位置検出手段は、例えば、入出力部を有するＣＰＵとメモリから構成された回路とすることができるし、場合によっては、撮像装置付き画像表示装置に備えられたパーソナルコンピュータから位置検出手段を構成することもできる。撮像装置によって得られた信号（データ）は、位置検出手段に送られ、位置検出手段において処理されるが、係る処理は周知の方法（周知のアルゴリズムやソフトウエア）に基づいて行えばよい。各種の処理の実行に際しては、各種の処理の実行の確認を、画像表示部に表示したり、音声で求めてもよい。尚、画面背面以外の部位に撮像素子を設ける場合と比較すると、画面背面以外の部位に撮像素子から被写体を撮像することにより、被写体の画面に対して平面方向（上下左右方向）の位置情報や動きの情報について、より正確な位置情報を得ることができる。

本発明において、画像表示部は、発光素子を含む画素ユニットを複数配置して成るが、ここで、画素ユニットの数を（Ｍ，Ｎ）で表したとき、ＶＧＡ（６４０，４８０）、Ｓ−ＶＧＡ（８００，６００）、ＸＧＡ（１０２４，７６８）、ＡＰＲＣ（１１５２，９００）、Ｓ−ＸＧＡ（１２８０，１０２４）、Ｕ−ＸＧＡ（１６００，１２００）、ＨＤ−ＴＶ（１９２０，１０８０）、Ｑ−ＸＧＡ（２０４８，１５３６）の他、（１９２０，１０３５）、（７２０，４８０）、（８５４，４８０）、（１２８０，９６０）等、画像表示用解像度の幾つかを例示することができるが、これらの値に限定するものではない。尚、カラー表示を行う画像表示部において、１つの画素ユニットは、例えば、赤色を発光する赤色発光画素、緑色を発光する緑色発光画素、及び、青色を発光する青色発光画素の３種の画素から構成され、あるいはまた、これらの３種の画素に加え、輝度向上のために白色光を発光する画素、色再現範囲を拡大するために補色を発光する画素、色再現範囲を拡大するためにイエローを発光する画素、色再現範囲を拡大するためにイエロー及びシアンを発光する画素等、４種、あるいはそれ以上の画素から構成することもできる。

本発明の第１の態様に係る撮像装置付き画像表示装置において、光透過領域は複数の画素に設けられているが、ここで、具体的には、例えば、限定するものではないが、３個以上の画素に設けられていることが望ましく、光透過領域を構成する光透過部の外形形状は、本質的には任意であり、長方形や正方形といった四角形を挙げることができる。また、本発明の第２の態様に係る撮像装置付き画像表示装置において、光透過領域は、少なくとも１つ以上の画素の周囲に設けられているが、ここで、具体的には、例えば、限定するものではないが、３個以上の画素の周囲に設けられていることが望ましく、光透過領域の外形形状は、本質的には任意であり、「Ｌ」字形状（光透過領域が、画素の境界に相当する辺の内の連続する２辺に設けられている形態）、「コ」の字形状（光透過領域が、画素の境界に相当する辺の内の連続する３辺に設けられている形態）、「ロ」の字形状（光透過領域が、画素の境界に相当する辺の全てに設けられている形態）、井桁状の形状（光透過領域が、画素の境界に相当する辺の全てに設けられており、しかも、隣接する画素の間に共通して設けられている形態）を例示することができる。あるいは又、光透過領域を、撮像装置に備えられたレンズの射影像が含まれる画素群に設け、係る画素群の周囲に設ける構成とすることが好ましい。

本発明において、撮像装置は、画像表示部の背面側に配置されていればよいが、画像表示部の中央部に配置されていることが好ましい。これにより、画面表示部に正対する被写体の位置情報を、より広範囲にわたって正確に求めることができるからである。撮像装置は、１個であってもよいし、複数個であってもよい。撮像装置は、例えば、ＣＣＤ素子やＣＭＯＳセンサを備えた周知、市販の固体撮像素子を用いればよい。尚、周知、市販のビデオカメラやウェブカメラといった固体撮像装置を用いることもでき、これらの場合には、集光手段と撮像装置が一体化している。

光透過領域を通過した光を撮像装置に集光する集光手段として、周知のレンズを挙げることができる。レンズとして、具体的には、両凸レンズ、平凸レンズ、メニスカス凸レンズのいずれかから構成することができるし、反射鏡やフレネルレンズから構成してもよいし、これらの各種の凸レンズを組み合わせて構成することもできるし、更には、凹レンズとこれらの各種の凸レンズとを組み合わせて構成することもできる。

本発明において、画像表示部に入射し、光透過領域を通過し、画像表示部から出射し、集光手段に入射する光の光路には、カラーフィルターを配置しないことが好ましく、また、マイクロレンズ等の結像系を配置しないことが好ましい。

本発明は、例えば、パーソナルコンピュータを構成するモニター装置の代替として使用することができるし、ノート型パーソナルコンピュータに組み込まれたモニター装置の代替として使用することができるし、携帯電話やＰＤＡ（携帯情報端末，Personal Digital Assistant）、ゲーム機器に組み込まれたモニター装置、従来のテレビジョン受像機の代替として使用することができる。

実施例１は、本発明の撮像装置付き画像表示装置、具体的には、本発明の第１の態様に係る撮像装置付き画像表示装置に関する。実施例１の撮像装置付き画像表示装置を正面及び側面から眺めた概念図を図１の（Ａ）及び（Ｂ）に示し、画像表示部を構成する複数の画素の配置を模式的に図１の（Ｃ）に示し、撮像装置付き画像表示装置の模式的な一部断面図を図２に示す。

実施例１の撮像装置付き画像表示装置は、
（Ａ）発光素子を含む画素１１（１１Ｒ，１１Ｇ，１１Ｂ）を複数配置して成る画像表示部１０、
（Ｂ）画像表示部１０に設けられた光透過領域３０、
（Ｃ）画像表示部１０の背面側に配置された撮像装置２０、
（Ｄ）光透過領域３０を通過した光を撮像装置２０に集光する集光手段２１、並びに、
（Ｅ）撮像装置２０を介して取得された画像情報に基づき、被写体の位置情報を求める位置検出手段７１、
を有する。ここで、実施例１にあっては、具体的には、光透過領域３０は、複数の画素１１に設けられている。即ち、光透過領域３０は、複数の画素１１に設けられた光透過部３１の集合体から成る。

実施例１あるいは後述する実施例２〜実施例４において、発光素子は、自発光型の発光素子、具体的には、有機ＥＬ素子から成り、画像表示部１０は、カラー表示のＸＧＡタイプの有機ＥＬ表示装置から成る。即ち、画素ユニットの数を（Ｍ，Ｎ）で表したとき、（１０２４，７６８）である。また、１つの画素ユニットは、赤色を発光する赤色発光画素１１Ｒ、緑色を発光する緑色発光画素１１Ｇ、及び、青色を発光する青色発光画素１１Ｂの３つの画素から構成されている。尚、図１の（Ｃ）、図７の（Ａ）、（Ｂ）、図８、図１０の（Ａ）、（Ｂ）においては、画素の外縁を点線で示した。撮像装置２０は、画像表示部１０の背面側、より具体的には、画像表示部１０の背面側の中央部に配置されており、備えられた撮像装置２０は１つである。ここで、撮像装置２０及び集光手段２１は、これらが一体化された、即ち、ＣＣＤ素子を備えた周知、市販のビデオカメラから成る。実施例１の撮像装置付き画像表示装置は、パーソナルコンピュータを構成するモニター装置の代替として使用される。また、実施例１の撮像装置付き画像表示装置には、パーソナルコンピュータ７０が備えられている。パーソナルコンピュータ７０と画像表示部１０及び撮像装置２０とはケーブル７２，７３で接続されている。

光透過領域３０は、限定するものではないが、６×３＝１８個の画素１１に設けられている。１つの画素に１つの光透過部３１が設けられている。集光手段２１は、光透過領域３０（具体的には、これらの６×３＝１８個の画素１１における光透過部３１の集合体）を通過した光を撮像装置２０に集光する。各画素１１に設けられた光透過部３１の形状は長方形である。

実施例１あるいは後述する実施例２〜実施例４において、画像表示部１０には、各走査線を駆動する走査信号供給ＩＣ、及び、映像信号を供給する映像信号供給ＩＣが配されている。そして、走査信号供給ＩＣには走査線制御回路が、映像信号供給ＩＣには信号線制御回路が、それぞれ、接続されている。画像表示部１０に入射し、光透過領域３０を通過し、画像表示部１０から出射し、集光手段２１に入射する光の光路には、カラーフィルターは配置されていないし、マイクロレンズ等の結像系も配置されていない。

実施例１あるいは後述する実施例２〜実施例４において、具体的には、画像表示部１０は、
（ａ）第１基板４０、
（ｂ）第１基板４０上に設けられた駆動回路、
（ｃ）駆動回路を覆う層間絶縁層４１、
（ｄ）層間絶縁層４１上に設けられた発光部（有機層６３）、
（ｅ）発光部（有機層６３）上に設けられた保護層６４、
（ｆ）保護層６４上に設けられた遮光層６５、及び、
（ｇ）保護層６４及び遮光層６５を覆う第２基板６７、
を備えている。

そして、各画素１１は、駆動回路及び発光部を備えており、遮光層６５には、開口部６５Ａが設けられており、開口部６５Ａ、並びに、開口部６５Ａの下方に位置する保護層６４の部分、第２電極６２の部分、及び、層間絶縁層４１の部分等によって光透過領域３０を構成する光透過部３１が構成されている。集光手段２１及び撮像装置２０は、第２基板６７と対向しない第１基板４０の面の側に配置されている。

より具体的には、ソーダガラスから成る第１基板４０上には駆動回路が設けられている。駆動回路は、複数のＴＦＴから構成されている。ＴＦＴは、第１基板４０上に形成されたゲート電極５１、第１基板４０及びゲート電極５１上に形成されたゲート絶縁膜５２、ゲート絶縁膜５２上に形成された半導体層に設けられたソース／ドレイン領域５３、並びに、ソース／ドレイン領域５３の間であって、ゲート電極５１の上方に位置する半導体層の部分が相当するチャネル形成領域５４から構成されている。図示した例にあっては、ＴＦＴをボトムゲート型としたが、トップゲート型であってもよい。ＴＦＴのゲート電極５１は、走査線（図示せず）に接続されている。そして、層間絶縁層４１（４１Ａ，４１Ｂ）が、第１基板４０及び駆動回路を覆っている。また、有機ＥＬ素子を構成する第１電極６１は、ＳｉＯ_XやＳｉＮ_Y、ポリイミド樹脂等から成る層間絶縁層４１Ｂ上に設けられている。ＴＦＴと第１電極６１とは、層間絶縁層４１Ａに設けられたコンタクトプラグ４２、配線４３、コンタクトプラグ４４を介して電気的に接続されている。図面においては、１つの有機ＥＬ素子駆動部につき、１つのＴＦＴを図示した。

層間絶縁層４１上には、開口４６を有し、開口４６の底部に第１電極６１が露出した絶縁層４５が形成されている。絶縁層４５は、平坦性に優れ、しかも、有機層６３の水分による劣化を防止して発光輝度を維持するために吸水率の低い絶縁材料、具体的には、ポリイミド樹脂から構成されている。開口４６の底部に露出した第１電極６１の部分の上から、開口４６を取り囲む絶縁層４５の部分に亙り設けられ、有機発光材料から成る発光層を備えた有機層６３が形成されている。有機層６３は、例えば、正孔輸送層、及び、電子輸送層を兼ねた発光層の積層構造から構成されているが、図面では１層で表す。第２電極６２上には、有機層６３への水分の到達防止を目的として、プラズマＣＶＤ法に基づき、アモルファス窒化シリコン（α−Ｓｉ_1-xＮ_x）から成る絶縁性の保護層６４が設けられている。保護層６４の上には、黒色のポリイミド樹脂から成る遮光層６５が形成されており、保護層６４及び遮光層６５上にはソーダガラスから成る第２基板６７が配されている。保護層６４及び遮光層６５と第２基板６７とは、アクリル系接着剤から成る接着層６６によって接着されている。第１電極６１をアノード電極として用い、第２電極６２をカソード電極として用いる。具体的には、第１電極６１は、厚さ０．２μｍ〜０．５μｍのアルミニウム（Ａｌ）、銀（Ａｇ）、あるいは、これらの合金で構成される光反射材料から成り、第２電極６２は、厚さ０．１μｍのＩＴＯやＩＺＯといった透明導電材料や、厚さ５ｎｍ程度の銀（Ａｇ）、マグネシウム（Ｍｇ）等の光を或る程度透過する金属薄膜（半透明金属薄膜）から成る。第２電極６２はパターニングされておらず、１枚のシート状に形成されている。場合によっては、有機層６３と第２電極６２との間に、厚さ０．３ｎｍのＬｉＦから成る電子注入層（図示せず）を形成してもよい。

以上、纏めると、実施例１あるいは後述する実施例２〜実施例４の発光素子の詳しい構成は、以下の表１のとおりである。

［表１］
第２基板６７ ：ソーダガラス
接着層６６ ：アクリル系接着剤
遮光層６５ ：黒色のポリイミド樹脂
保護層６４ ：ＳｉＮ_x層（厚さ：５μｍ）
第２電極（カソード電極）６２：ＩＴＯ層（厚さ：０．１μｍ）あるいは半透明金属薄膜
電子注入層 ：ＬｉＦ層（厚さ：０．３ｎｍ）
有機層６３ ：上述したとおり
第１電極（アノード電極）６１：Ａｌ−Ｎｄ層（厚さ：０．２μｍ）
層間絶縁層４１ ：ＳｉＯ₂層
ＴＦＴ ：駆動回路を構成
第１基板４０ ：ソーダガラス

図３の（Ａ）及び（Ｂ）は、実施例１の撮像装置付き画像表示装置、及び、撮像装置が画像表示部の外側に固定された画像表示装置の概念図である。図３の（Ｂ）に示すように、撮像装置が画像表示部の外側に固定されている場合、撮像装置は画像表示装置の使用者を斜めから撮影することになり、係る画像を画像表示部にて表示したとき、画像表示部には、斜めから撮影された使用者の画像が表示される。従って、使用者の顔を正確に表示することができないし、画像表示部のどこを使用者が注視しているかを正確に判別することもできない。更には、使用者が画像表示部に近づいた場合には、撮像範囲外になってしまう可能性が大である。一方、実施例１の撮像装置付き画像表示装置にあっては、図３の（Ａ）に示すように、撮像装置が画像表示部の背面側の中央部に配置されているので、撮像装置付き画像表示装置の使用者を、撮像装置は正面から撮影することができ、係る画像を画像表示部にて表示したとき、画像表示部には、正面から撮影された使用者の画像が表示される。従って、使用者の顔を正確に表示することができるし、画像表示部のどこを使用者が注視しているかを容易に、しかも、正確に判別することができる。また、使用者が画像表示部に近づいた場合でも、使用者の撮像を行うことができる。

位置検出手段７１は、撮像装置付き画像表示装置に備えられたパーソナルコンピュータ７０からを構成されており、撮像装置２０によって得られた信号（データ）は、位置検出手段７１に送られ、位置検出手段７１において処理される。ここで、係る処理は周知の方法（周知のアルゴリズムやソフトウエア）に基づいて行われる。即ち、撮像装置２０を介して取得された被写体の位置情報が位置検出手段７１によって求められるが、具体的には、被写体を、例えば、手や指、眼球、棒状の物体（例えば、ペンや鉛筆等）とすればよい。尚、被写体を特定するために、使用者が被写体の名称等をパーソナルコンピュータ７０に入力してもよい。あるいは又、被写体の名称等を画像表示部１０に表示し、被写体を選択できるような構成としてもよい。撮像装置２０を介して取得された被写体の位置の解析、動きの解析、被写体の向いている方向の解析は、パーソナルコンピュータ７０の備えられた周知のアルゴリズムやソフトウエアに基づき行うことができる。各種の処理の実行に際しては、各種の処理の実行の確認を画像表示部１０に表示したり、音声で求めてもよい。また、被写体の動きと各種の処理との関係は、予め、位置検出手段７１に登録しておけばよい。

このように、実施例１の撮像装置付き画像表示装置では、光透過領域３０を通過した光が集光手段２１によって撮像装置２０に集光され、撮像装置２０を介して取得されたデータに基づき位置検出手段７１によって被写体の位置情報が求められる。それ故、被写体の位置情報を時系列に連続して求めれば、被写体の動きを求めることができ、被写体の動きに対応した各種の処理を行うことが可能となる。あるいは又、被写体の向いている方向を求めることができ、被写体の動きに対応した各種の処理を行うことが可能となる。また、手やペン等の向きから画像表示部の対応する指示点を特定することが可能となるので、ポインタ機能を撮像装置付き画像表示装置に付加することができる。しかも、画像表示部１０の背面側に撮像装置２０が配置されているので、被写体を撮像装置２０によって正確に撮像することができるし、観察者が撮像装置２０を意識することもない。

そして、実施例１の撮像装置付き画像表示装置にあっては、画像表示部１０に設けられた光透過領域３０（複数の光透過部３１）を通過した光が撮像装置２０に集光される。従って、正確に像を撮像装置２０に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置２０に十分な光量の光を集光させることができる。更には、使用者の顔や目、手の動き、周辺の明るさなども撮像画像から分かるので、様々の情報を撮像装置付き画像表示装置から得て、種々のシステムに送出することが可能となり、撮像装置付き画像表示装置の付加価値を高めることができる。

実施例２は、実施例１の変形であり、本発明の第１の構成に関する。実施例２にあっては、一層高品質な撮像画像を得るために撮像画像に処理を行う。

一般に、微小な光透過部３１を光が通過するとき、光透過部３１において所謂回折現象が発生する。スリットによる回折現象を説明する模式図を図４に示す。ここで、光透過部３１がスリットとして作用し、回折現象によって、画像「Ｃ」と同じ画像が等ピッチで画像「Ａ」及び画像「Ｂ」として出現する結果、画像にボケが生じる。撮像装置２０の手前に透明なガラス板を配置して撮影して得られた画像を図５の（Ａ）に示し、撮像装置２０の手前に或る形状、大きさ、分布を有する光透過部を設けた透明なガラス板を配置して撮影して得られた画像を図５の（Ｂ）に示す。図５の（Ｂ）に示す画像にはボケが認められる。一方、図５の（Ａ）に示す画像にはボケが認められない。回折光の強度と分布は、光透過部３１の形状、大きさ、分布、並びに、入射光（外光）の波長に依存する。回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行う必要は無いが、高品質な撮像画像を必要とする場合には、回折光による影響を補正（補償）する必要がある。

実施例２の撮像装置付き画像表示装置は、撮像装置２０を介して取得された画像情報及び画像データに対して、光透過部３１において生じる回折の補正（補償）を施す回折補正手段１００を更に備えている。

回折分布Ｐ_diffは、光透過部３１のパターン形状、大きさ、分布、並びに、入射光（外光）の波長が決定している場合、式（１）で算出することが可能である。尚、二重積分においては、ｘ及びｙに関して−∞から＋∞まで積分する。

Ｐ_diff（ｋ_x，ｋ_y）＝∬Ｐ_at（ｘ，ｙ）・ｅｘｐ［−ｊ（ｋ_x・ｘ＋ｋ_y・ｙ）］ｄｘｄｙ
（１）
但し、
ｋ_x＝（２π／λ）ｓｉｎ（θ_x）
ｋ_y＝（２π／λ）ｓｉｎ（θ_y）

ここで、Ｐ_at（ｘ，ｙ）は光透過部３１のｘｙ平面での２次元パターンであり、λは入射光（外光）の波長であり、θ_x，θ_yはｘ方向及びｙ方向の回折角である。実施例２にあっては、計算を簡素化するために入射光（外光）の波長λの値を５２５ｎｍ一定とした。

式（１）は、Ｐ_at（ｘ，ｙ）の２次元フーリエ変換であるので、高速フーリエ変換（以下、『ＦＦＴ』と略す）を用いることで高速に算出することが可能である。尚、Ｐ_diff（ｋ_x，ｋ_y）は位相情報を含んでいるが、実際には、撮像装置では回折光強度Ｈ_diff（ｋ_x，ｋ_y）を検出する。回折光強度Ｈ_diff（ｋ_x，ｋ_y）は、Ｐ_diff（ｋ_x，ｋ_y）の絶対値の二乗に等しい。

Ｈ_diff（ｋ_x，ｋ_y）＝｜Ｐ_diff（ｋ_x，ｋ_y）｜² （２）

ここで、回折光により撮像装置の空間解像度に変調が加えられたとして、以下の式（３）からＭＴＦ（Moduration Transfer Function）を算出する。尚、『ＦＦＴ［ ］』は、高速フーリエ変換を実行することを意味し、『ＩＦＦＴ［ ］』は、高速逆フーリエ変換を実行することを意味する。

ＭＴＦ（ｆ_x，ｆ_y）＝｜ＦＦＴ［Ｈ_diff（ｋ_x，ｋ_y）］｜² （３）

ここで、ｆ_x，ｆ_yは、撮像装置を構成する各々の撮像素子におけるｘ方向及びｙ方向の空間周波数を表す。そして、撮像装置２０上での光透過部３１を通した画像Ｉ_cam(x,y)と、光透過部３１を通さないとしたときの原画像Ｉ_ral(x,y)との間には、以下の関係が成立する。

ＦＦＴ［Ｉ_cam(x,y)］＝ＦＦＴ［Ｉ_ral(x,y)］×ＭＴＦ（ｆ_x，ｆ_y） （４）

即ち、空間周波数領域において、画像Ｉ_cam(x,y)は、原画像Ｉ_ral(x,y)とＭＴＦの積となる。よって、画像Ｉ_cam(x,y)から原画像Ｉ_ral(x,y)を得るには、以下の式（５）に基づいた処理を行えばよい。云い換えれば、光透過部３１の形状、大きさ、分布、並びに、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理を、画像情報及び画像データに対して施せばよい。

Ｉ_ral(x,y)＝ＩＦＦＴ［ＦＦＴ［Ｉ_cam(x,y)］／ＭＴＦ（ｆ_x，ｆ_y）］ （５）

ここで、ＭＴＦは、光透過部３１の大きさ、形状、分布が決まれば、光透過部３１の２次元パターンをフーリエ変換したものを入射光（外光）の波長によりスケーリングすればよいので、容易に求めることができ、式（５）で示した関係から、原画像を容易に復元することができる。

実施例２の撮像装置付き画像表示装置のブロック図を図６に示す。撮像装置２０を介して取得された画像情報及び画像データが、回折補正手段１００を構成するＭＴＦ逆変換部に送られ、ＭＴＦ逆変換部では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）毎の外光の波長（但し、実施例２にあっては、計算の簡素化のために、上述した１種類の波長）と２次元ＦＦＴにて得られている光透過部３１のＭＴＦ形状データを用いて、ＭＦＴ逆変換を行い、原画像に復元し、制御部１２に送出する。制御部１２では、この復元画像から、例えば、使用者の視線検出、使用者の手の動作の被写体の検出等、多様な検出を行い、位置検出手段７１によって被写体の位置情報、被写体の動き、被写体の向いている方向を求め、また、表示画像部に反映させる。尚、制御部１２は位置検出手段７１を兼ねている。光透過部３１の大きさ、形状、分布といったＭＴＦ形状データは、回折補正手段１００を構成するＭＦＴ形状記憶部に記憶されている。制御部１２は、撮像装置付き画像表示装置（あるいは画像表示部）に備えられ、あるいは又、撮像装置付き画像表示装置に備えられたパーソナルコンピュータ７０から構成されている。回折補正手段１００も、撮像装置付き画像表示装置（あるいは画像表示部）に備えられ、あるいは又、撮像装置付き画像表示装置に備えられたパーソナルコンピュータ７０から構成されている。

画像表示部１０における画像表示は、制御部１２の制御によって行われる。即ち、制御部１２から表示データ及びタイミング信号等が表示用タイミングコントローラ１３に送られ、表示用タイミングコントローラ１３から表示データ及び水平タイミング信号が信号線制御回路（図示せず）に送られ、一方、垂直タイミング信号が走査線制御回路（図示せず）に送られる。そして、画像表示部１０において、周知の方法に基づき画像表示がなされる。一方、制御部１２から、撮像タイミング信号、シャッター制御信号、ゲイン制御信号等が撮像用タイミングコントローラ１４に送られ、撮像用タイミングコントローラ１４から、これらの信号が撮像装置２０に送られ、撮像装置２０の動作が制御される。

光透過部３１の形状を、図７の（Ａ）、（Ｂ）及び図８に例示する。光透過部３１の一部又は全部は、画像表示部の第１の方向（水平方向）及び第２の方向（垂直方向）に沿って周期的に設けられている。ここで、図７の（Ａ）に示す例にあっては、画素の下部を第１の方向（水平方向）に沿って延びる光透過部３１Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられており、第２の方向（垂直方向）に沿って延びる光透過部３１Ｖは、各画素１１Ｒ，１１Ｇ，１１Ｂに設けられ、しかも、画素と画素との間に設けられている。図７の（Ｂ）に示す例にあっては、光透過部３１Ｈと光透過部３１とが繋がっている。図８に示す例にあっては、光透過部３１Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられているが、図７の（Ａ）とは異なり、２つの部分から構成されている。第１の方向に沿った光透過部３１の長さをＬ_tr-1、第１の方向に沿った画素１１のピッチをＰ_px-1としたとき、第１の方向の線開口率Ｌ_tr-1／Ｐ_px-1は、
Ｌ_tr-1／Ｐ_px-1≧０．５
を満足し、第２の方向に沿った光透過部３１の長さをＬ_tr-2、第２の方向に沿った画素１１のピッチをＰ_px-2としたとき、第２の方向の線開口率Ｌ_tr-2／Ｐ_px-2は、
Ｌ_tr-2／Ｐ_px-2≧０．５
を満足する。これは、ＭＴＦの定義から説明できる。

ＭＴＦは、式（２）及び式（３）から導かれる以下の式（６）に示すように、光透過部３１のｘｙ平面での２次元パターンＰ_at（ｘ，ｙ）から得られる回折分布を二乗したものを高速フーリエ変換し、その結果を更に二乗したものとして得られる。

ＭＴＦ（ｆ_x，ｆ_y）＝｜ＦＦＴ［｜Ｐ_diff（ｋ_x，ｋ_y）｜²］｜² （６）

そして、所謂ウィナー・キンチンの定理から、自己相関関数のフーリエ変換はパワースペクトラムに等しいので、ＭＴＦは、光透過部３１で生ずる回折分布の自己相関関数の絶対値の二乗に等しい。自己相関関数が、空間周波数領域において所謂無相関である点（即ち、０になる点）が存在しない条件は、
Ｌ_tr-1／Ｐ_px-1≧０．５
Ｌ_tr-2／Ｐ_px-2≧０．５
である。ＭＴＦが０になる点を持たない場合、式（５）は特異点を持たないので、原画像の再現が容易になる。それ故、第１の方向の線開口率Ｌ_tr-1／Ｐ_px-1及び第２の方向の線開口率Ｌ_tr-2／Ｐ_px-2の値は０．５以上であるといった要請を満足することが好ましい。

実施例３は、実施例２の変形であり、本発明の第２の構成に関する。実施例２において説明したように、光透過部３１のｘｙ平面での回折分布Ｐ_diff（ｋ_x，ｋ_y）を求める式（１）には、入射光（外光）の波長λが含まれている。従って、外光の波長分布を測定することで、各波長のＭＴＦを外部環境に応じて適合させることが可能となり、一層正確に回折に対する補正、補償を行うことができ、より高品質な撮像画像を得ることができる。

実施例３の撮像装置付き画像表示装置のブロック図を図９に示す。実施例３にあっては、外光の波長分布を測定する波長分布測定手段１１０を更に備えている。具体的には、波長分布測定手段１１０は、赤色フィルターが取り付けられたホトセンサ、緑色フィルターが取り付けられたホトセンサ、及び、青色フィルターが取り付けられたホトセンサの組から構成されている。このような波長分布測定手段１１０を設けることで、外光の波長分布（光のスペクトル）を得ることができる。そして、得られた外光の波長分布と撮像装置の分光スペクトルを掛け合わせることで、撮像画像の各原色（赤色、緑色、青色）毎の波長分布を得ることができる。そして、各波長毎にＭＴＦ逆変換処理した画像を撮像画像の波長分布で重み付けすることで、一層正確に回折に対する補正、補償を行なうことができる。

実施例３にあっては、このような構成を採用することで、一層正確に回折に対する補正、補償を行うことができるだけでなく、撮像装置２０を介して取得された画像情報及び画像データの精度の向上（例えば、色情報の精度向上）を図ることができる。尚、回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行う必要は無いが、このような場合にあっても、外光の波長分布を測定する波長分布測定手段１１０を更に備えることで、撮像装置２０を介して取得された画像情報及び画像データの精度の向上を図ることができる。

実施例４は、本発明の第２の態様に係る撮像装置付き画像表示装置に関する。図１０の（Ａ）あるいは（Ｂ）に、実施例４の撮像装置付き画像表示装置における画像表示部を構成する複数の画素１１（１１Ｒ，１１Ｇ，１１Ｂ）の配置を模式的に示すように、実施例４の撮像装置付き画像表示装置は、
（Ａ）発光素子を含む画素１１（１１Ｒ，１１Ｇ，１１Ｂ）を複数配置して成る画像表示部１０、
（Ｂ）少なくとも１つ以上の画素１１の周囲に設けられた、複数の光透過領域４３０、
（Ｃ）画像表示部１０の背面側に配置された撮像装置２０、
（Ｄ）光透過領域４３０を通過した光を撮像装置２０に集光する集光手段２１、並びに、
（Ｅ）撮像装置２０を介して取得された画像情報に基づき、被写体の位置情報を求める位置検出手段７１、
を有する。

図１０の（Ａ）に示す例にあっては、光透過領域４３０は、画素１１の全ての周囲に設けられており、井桁状の形状を有する。また、図１０の（Ｂ）に示す例にあっては、光透過領域４３０は、画素１１の周囲の一部に設けられており、「Ｌ」字形状を有する。実施例４の撮像装置付き画像表示装置において、光透過領域４３０は、少なくとも１つ以上の画素１１の周囲に設けられているが、具体的には、６×３＝１８個の画素１１の周囲に設けられている。

以上の点を除き、撮像装置付き画像表示装置は、実施例１〜実施例３の撮像装置付き画像表示装置と同様の構成、構造とすることができるので、詳細な説明は省略する。

このように、実施例４の撮像装置付き画像表示装置にあっては、少なくとも１つ以上の画素１１の周囲に設けられた光透過領域４３０を通過した光が撮像装置２０に集光される。従って、正確に像を撮像装置２０に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置２０に十分な光量の光を集光させることができる。また、使用者の顔や目、手の動き、周辺の明るさなども撮像画像から分かるので、様々の情報を撮像装置付き画像表示装置から得て、種々のシステムに送出することが可能となり、撮像装置付き画像表示装置の付加価値を高めることができる。

以上、本発明を好ましい実施例に基づき説明したが、本発明はこれらの実施例に限定するものではない。実施例において説明した撮像装置付き画像表示装置の構成、構造は例示であり、適宜、変更することができる。本発明の撮像装置付き画像表示装置は、ノート型パーソナルコンピュータ（図１１の（Ａ）参照）に組み込まれたモニター装置の代替として使用することができるし、携帯電話（図１１の（Ｂ）参照）やＰＤＡ、ゲーム機器に組み込まれたモニター装置、従来のテレビジョン受像機の代替として使用することができる。

また、撮像装置を、画像表示部の裏面側に複数（例えば２つ）、配置すれば、被写体の位置、動きを正確に把握することが可能となるだけでなく、撮像装置からの画像情報に基づき画像表示部から被写体までの距離を正確に計測することが可能となる。あるいは又、１つの画素ユニットを、３種の画素１１Ｒ，１１Ｇ，１１Ｂに加え、輝度向上のために白色光を発光する画素、色再現範囲を拡大するために補色を発光する画素、色再現範囲を拡大するためにイエローを発光する画素、色再現範囲を拡大するためにイエロー及びシアンを発光する画素等、４種、あるいはそれ以上の画素から構成することもできる。場合によっては、被写体の位置情報から被写体の形状（例えば、身体や手の形で表現される形状や、指の組合せで表現される形状、仕草等）を位置検出手段によって周知のアルゴリズムやソフトウエアに基づいて求めることで、係る被写体の形状に対応した各種の処理を行ってもよい。

また、本発明の撮像装置付き画像表示装置において、
撮像装置２０を介して取得された、画像表示部１０に表示すべき画像データを送出する情報送出手段、及び、
外部から入力された、画像表示部１０に表示すべき画像データに基づく画像を画像表示部１０に表示する表示手段、
を更に備えており、
撮像装置２０を介して取得された、画像表示部１０に表示すべき画像データを情報送出手段によって外部に送出し、
外部から入力された、画像表示部１０に表示すべき画像データに基づく画像を表示手段によって画像表示部１０に表示する構成とすることができる。このような撮像装置付き画像表示装置を複数台（２台以上）、通信回線やネットワーク等を介して結ぶことで、所謂、テレビジョン電話会議システム（テレビ電話装置）を構築することができる。

ここで、撮像装置２０を介して取得された、画像表示部１０に表示すべき画像データを送出する情報送出手段、及び、外部から入力された、画像表示部１０に表示すべき画像データに基づく画像を画像表示部１０に表示する表示手段は、例えば、テレビジョン電話会議システム（テレビ電話装置）にて用いられている周知の手段を用いればよい。撮像装置付き画像表示装置（あるいは画像表示部）に、操作用のスイッチやボタン、キーボード等を配置することが好ましい。場合によっては、撮像装置付き画像表示装置に備えられたパーソナルコンピュータから情報送出手段及び表示手段を構成することもでき、この場合には、パーソナルコンピュータを通信回線やネットワーク等に接続すればよい。また、情報送出手段及び表示手段は、例えば、制御部１２に組み込めばよい。このような撮像装置付き画像表示装置を複数台、通信回線やネットワーク等を介して結ぶことで、所謂、テレビジョン電話会議システム（テレビ電話装置）を構築することができる。そして、撮像装置が画像表示部の背面側に配置されているので、画像表示部正面に位置する使用者の顔を撮像することができ、画像表示部に映し出される相手側の使用者の顔が自分の方を向いているため、従来のＴＶ電話システムにあった互いの視線が合わないといった違和感を与えることがない。

光透過領域が複数の光透過部から構成されており、各光透過部が画素に設けられている場合、光透過領域を構成する光透過部において回折現象が生じることを抑制するために、各実施例において、
（ケース−Ａ）複数の光透過部の大きさをランダムとする。
（ケース−Ｂ）複数の光透過部の形状をランダムとする。
（ケース−Ｃ）複数の光透過部の配置ピッチをランダムとする。
といった３種の形態の内、少なくとも１種の形態を採用してもよい。即ち、（ケース−Ａ）を単独で採用してもよいし、（ケース−Ｂ）を単独で採用してもよいし、（ケース−Ｃ）を単独で採用してもよいし、（ケース−Ａ）と（ケース−Ｂ）を組み合わせて採用してもよいし、（ケース−Ａ）と（ケース−Ｃ）を組み合わせて採用してもよいし、（ケース−Ｂ）と（ケース−Ｃ）を組み合わせて採用してもよいし、（ケース−Ａ）と（ケース−Ｂ）と（ケース−Ｃを組み合わせて採用してもよい。更には、実施例２において説明した回折補正手段１００との組合せを採用してもよい。光透過部の大きさの最小値や最小形状は、光透過部を設けるためのフォトリソグラフィ技術やエッチング技術における最小加工寸法（例えば、０．５μｍ）に依存する。

尚、複数の光透過部の大きさをランダムとするが、具体的には、１つの光透過部（便宜上、『光透過部Ａ』と呼ぶ）に隣接する少なくとも２つの光透過部（便宜上、『光透過部Ｂ、光透過部Ｃ』と呼ぶ）、好ましくは、水平方向に配置された２つの光透過部、より好ましくは、光透過部Ａに隣接する３つの光透過部（便宜上、『光透過部Ｂ、光透過部Ｃ、光透過部Ｄ』と呼ぶ）、より一層好ましくは、光透過部Ａに隣接する４つの光透過部（便宜上、『光透過部Ｂ、光透過部Ｃ、光透過部Ｄ、光透過部Ｅ』と呼ぶ）の大きさを異ならせることが望ましい。即ち、光透過部Ａと光透過部Ｂの大きさを異ならせ、また、光透過部Ａと光透過部Ｃの大きさを異ならせ、また、光透過部Ａと光透過部Ｄの大きさを異ならせ、また、光透過部Ａと光透過部Ｅの大きさを異ならせる。同様に、複数の光透過部の形状をランダムとするが、具体的には、１つの光透過部（光透過部Ａ）に隣接する少なくとも２つの光透過部（光透過部Ｂ、光透過部Ｃ）、好ましくは、水平方向に配置された２つの光透過部、より好ましくは、光透過部Ａに隣接する３つの光透過部（光透過部Ｂ、光透過部Ｃ、光透過部Ｄ）、より一層好ましくは、光透過部Ａに隣接する４つの光透過部（光透過部Ｂ、光透過部Ｃ、光透過部Ｄ、光透過部Ｅ）の形状を異ならせることが望ましい。即ち、光透過部Ａと光透過部Ｂの形状を異ならせ、また、光透過部Ａと光透過部Ｃの形状を異ならせ、また、光透過部Ａと光透過部Ｄの形状を異ならせ、また、光透過部Ａと光透過部Ｅの形状を異ならせる。同様に、複数の光透過部の配置ピッチをランダムとするが、具体的には、１つの光透過部（光透過部Ａ）に隣接する少なくとも２つの光透過部（光透過部Ｂ、光透過部Ｃ）、好ましくは、水平方向に配置された２つの光透過部、より好ましくは、光透過部Ａに隣接する３つの光透過部（光透過部Ｂ、光透過部Ｃ、光透過部Ｄ）、より一層好ましくは、光透過部Ａに隣接する４つの光透過部（光透過部Ｂ、光透過部Ｃ、光透過部Ｄ、光透過部Ｅ）の配置ピッチを異ならせることが望ましい。即ち、光透過部Ａと光透過部Ｂの配置ピッチを異ならせ、また、光透過部Ａと光透過部Ｃの配置ピッチを異ならせ、また、光透過部Ａと光透過部Ｄの配置ピッチを異ならせ、また、光透過部Ａと光透過部Ｅの配置ピッチを異ならせる。

あるいは又、光透過領域が複数の光透過部から構成されており、各光透過部が画素に設けられている場合、光透過領域を構成する光透過部において回折現象が生じることを抑制するために、各実施例において、光透過部を二重環状構造（二重中抜き構造）としてもよい。具体的には、光透過部を第１光透過部と第２光透過部から構成し、第１光透過部を取り囲むように第２光透過部を配置する構造を採用してもよい。第１光透過部及び第２光透過部の大きさ、形状、配置状態、第１光透過部と第２光透過部との位置関係の最適化を図ることで、回折現象が生じることを確実に抑制することができる。更には、実施例２において説明した回折補正手段１００との組合せを採用してもよい。

１０・・・画像表示部、１１，１１Ｒ，１１Ｇ，１１Ｂ・・・画素、１２・・・制御部、１３・・・表示用タイミングコントローラ、１４・・・撮像用タイミングコントローラ、２０・・・撮像装置、２１・・・集光手段、３０，４３０・・・光透過領域、３１・・・光透過部、４０・・・第１基板、４１・・・層間絶縁層、４２，４４・・・コンタクトプラグ、４３・・・配線、４５・・・絶縁層、４６・・・開口、５１・・・ゲート電極、５２・・・ゲート絶縁膜、５３・・・ソース／ドレイン領域、５４・・・チャネル形成領域、６１・・・第１電極、６２・・・第２電極、６３・・・有機層、６４・・・保護層、６５・・・遮光層、６５Ａ・・・開口部、６６・・・接着層、６７・・・第２基板、７０・・・パーソナルコンピュータ、７１・・・位置検出手段、７２，．７３・・・ケーブル、１００・・・回折補正手段、１１０・・・波長分布測定手段

Claims (9)

1. 発光素子を含む画素を複数配置して成る画像表示部、
   画像表示部に設けられた光透過領域、
   画像表示部の背面側に配置された撮像装置、
   光透過領域を通過した光を撮像装置に集光する集光手段、並びに、
   撮像装置を介して取得された画像情報に基づき、被写体の位置情報を求める位置検出手段、
   を有する撮像装置付き画像表示装置。
2. 光透過領域は、複数の画素に設けられている請求項１に記載の撮像装置付き画像表示装置。
3. 光透過領域は、少なくとも１つ以上の画素の周囲に設けられている請求項１に記載の撮像装置付き画像表示装置。
4. 光透過領域は複数の光透過部から構成されており、
   各光透過部は画素に設けられており、
   撮像装置を介して取得された画像情報に対して、光透過部において生じる回折の補正を施す回折補正手段を更に備えている請求項１乃至請求項３のいずれか１項に記載の撮像装置付き画像表示装置。
5. 光透過領域を構成する光透過部の一部又は全部は、画像表示部の第１の方向及び第２の方向に沿って周期的に設けられており、
   第１の方向に沿った光透過部の長さをＬ_tr-1、第１の方向に沿った画素のピッチをＰ_px-1としたとき、
   Ｌ_tr-1／Ｐ_px-1≧０．５
   を満足する請求項４に記載の撮像装置付き画像表示装置。
6. 第２の方向に沿った光透過部の長さをＬ_tr-2、第２の方向に沿った画素のピッチをＰ_px-2としたとき、
   Ｌ_tr-2／Ｐ_px-2≧０．５
   を満足する請求項５に記載の撮像装置付き画像表示装置。
7. 外光の波長分布を測定する波長分布測定手段を更に備えている請求項１乃至請求項６のいずれか１項に記載の撮像装置付き画像表示装置。
8. 発光素子は、有機エレクトロルミネッセンス素子から成る請求項１乃至請求項７のいずれか１項に記載の撮像装置付き画像表示装置。
9. 画像表示部は、
   （ａ）第１基板、
   （ｂ）第１基板上に設けられた駆動回路、
   （ｃ）駆動回路を覆う層間絶縁層、
   （ｄ）層間絶縁層上に設けられた発光部、
   （ｅ）発光部上に設けられた保護層、
   （ｆ）保護層上に設けられた遮光層、及び、
   （ｇ）保護層及び遮光層を覆う第２基板、
   を備えており、
   各画素は、該駆動回路及び該発光部を備えており、
   遮光層には、開口部が設けられており、
   開口部、並びに、開口部の下方に位置する保護層の部分及び層間絶縁層の部分によって光透過領域を構成する光透過部が構成されており、
   第２基板と対向しない第１基板の面の側に、集光手段及び撮像装置が配置されている請求項１乃至請求項７のいずれか１項に記載の撮像装置付き画像表示装置。