JP2015158640A - 表示装置及びその制御方法 - Google Patents

Abstract

【課題】カラー電子ペーパー表示の長所である低消費電力、眼への負担の低減と、透明ディスプレイ表示の長所である画像再現性、情報認識の容易さを両立する。
【解決手段】非表示状態で透明となる第１の表示パネルと、前記第１の表示パネルの背面に設けられ、光の透過率を調節可能な調節パネルと、前記調節パネルの背面に設けられる電子ペーパー方式の第２の表示パネルと、入力される画像の内容に基づき、画像の領域ごとに、前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する判定手段と、前記判定手段により前記第２の表示パネルで表示すると判定された領域において、前記第１の表示パネルを非表示状態とするとともに、前記調節パネルを透過状態とする制御手段と、を備える表示装置。
【選択図】図１

Description

本発明は、表示装置及びその制御方法に関するものである。

電子ペーパーを用いた表示装置が普及してきている。ｗｅｂ画像や雑誌など、文字と画像で構成された画像を読むのに適している。またモノクロ表示だけではなく、カラー表示可能な電子ペーパーの開発も進んでおり、カラー電子ペーパーを用いた表示装置の実用化も近いと予想される。電子ペーパーの長所として、電源供給を停止しても表示状態を保持するため低消費電力な表示デバイスであることがあげられる。また、反射型表示のためユーザの眼の負担が少ない。短所は、書き換えが低速であり、動画の表示が困難である。電子インクを用いており、発色原理は通常のインクと同様で、インク１ドットで中間色を表現できず、周辺複数ドットを組み合わせたディザリング処理を行って中間色を表現する。そのため、カラー電子ペーパーでは高い色再現性を得ることが困難である。

一方、透明ディスプレイも実用化が進んできている。透明ディスプレイの長所として、毎秒数１０フレーム以上の書き換えが可能で、動画表示が可能であることがあげられる。また画素単体で中間色を表現できるため、色再現性が高い。短所は、自発光型のため消費電力が大きくなること、発光素子を直視するためユーザの眼への負担が大きいことである。

電子ペーパーに透明ディスプレイを重ねることで、両者の長所を持ち合わせたデバイスが提案されている（例えば、特許文献１参照）。

特開２００８−１９７６３４号公報

カラー表示が含まれる画像のカラー部分を、全てカラー電子ペーパーのみで表示すると、１ドットで中間色を表現できないことから、表示画像が劣化して、精細な画像の表現、高い色再現性を得ることが困難である。また、カラー電子ペーパーはコントラストの高い表示が困難であるため、ユーザが着目するべき警告や重要メッセージなども十分に目立たせて表示することができない。一方、カラー画像を全て、透明ディスプレイ側で表示すると、消費電力、眼への負担の点でカラー電子ペーパーの有する長所を十分に利用できないという課題があった。

そこで、本発明は、カラー電子ペーパー表示の長所である低消費電力、眼への負担の低減と、透明ディスプレイ表示の長所である画像再現性、情報認識の容易さを両立した表示装置及びその制御方法を提供することを目的とする。

本発明は、非表示状態で透明となる第１の表示パネルと、
前記第１の表示パネルの背面に設けられ、光の透過率を調節可能な調節パネルと、
前記調節パネルの背面に設けられる電子ペーパー方式の第２の表示パネルと、
入力される画像の内容に基づき、画像の領域ごとに、前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する判定手段と、
前記判定手段により前記第２の表示パネルで表示すると判定された領域において、前記第１の表示パネルを非表示状態とするとともに、前記調節パネルを透過状態とする制御手段と、
を備える表示装置である。

本発明は、非表示状態で透明となる第１の表示パネルと、
前記第１の表示パネルの背面に設けられ、光の透過率を調節可能な調節パネルと、
前記調節パネルの背面に設けられる電子ペーパー方式の第２の表示パネルと、
を備える表示装置の制御方法であって、
入力される画像の内容に基づき、画像の領域ごとに、前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する判定工程と、
前記判定工程により前記第２の表示パネルで表示すると判定された領域において、前記第１の表示パネルを非表示状態とするとともに、前記調節パネルを透過状態とする制御工程と、
を有する表示装置の制御方法である。

本発明によれば、カラー電子ペーパー表示の長所である低消費電力、眼への負担の低減と、透明ディスプレイ表示の長所である画像再現性、情報認識の容易さを両立した表示装置及びその制御方法を提供することができる。

実施例１の表示装置の構成を示すブロック図 実施例１の表示装置の実施例を示す構成図 実施例１の表示装置の画像表示例を示す図 実施例１のカラー電子ペーパーと透明ディスプレイの表示例を示す図 実施例１の表示装置の画像表示例を示す図 実施例１のカラー電子ペーパーと透明発光ディスプレイの表示例を示す図 実施例１の表示装置のデバイス選択判定条件を示す表 実施例１の画像表示処理を示すフローチャート 実施例１の表示画像解析処理を示すフローチャート 実施例１の透明ディスプレイ表示制御処理を示すフローチャート 実施例１のカラー電子ペーパー表示制御処理を示すフローチャート

（実施例１）
本発明の一実施例である表示装置のブロック図を図１に示す。本実施例の表示装置は、電子ペーパー透明ディスプレイ積層デバイス（以下、積層デバイスと称する）１０１と制御システム部１０６とで、構成されている。
積層デバイス１０１は、カラー電子ペーパー１０２（第２の表示パネル）、液晶シャッター１０３、透明発光パネル１０４（第１の表示パネル）、タッチパネル１０５が積層された構成となっている。

カラー電子ペーパー１０２はカラー表示可能な電子ペーパー方式の表示パネルである。カラーの電子インクを解像度ドット分、配列した構成となっている。カラー電子インクはＣＭＹＫ（Cyan, Magenta, Yellow, Black）など複数種類配置され、それらの表示／非表示状態の組み合わせでカラー表示を実現する。カラー電子ペーパー１０２は反射型の表示デバイスであり、電力供給がなくても表示状態を保持できる特性を持つ。カラー電子ペーパー１０２は液晶シャッター１０３の背面に設けられる。

液晶シャッター１０３は、解像度分の液晶素子が配列された構成となっている。液晶シャッター１０３の各画素は、制御電圧に応じて、光の透過率を調節可能な調節パネルであり、透過と非透過の状態を制御することができる。液晶シャッター１０３の各画素は、電圧を印加した際に、非透過状態となり、電圧を印加しない場合は透過状態となる。すなわち透過状態においては電力消費がない、もしくは非常に小さいという特性をもつ。液晶シャッター１０３は透明発光パネル１０４の背面に設けられる。

透明発光パネル１０４は、解像度分の自発光素子が配列された構成となっている。透明発光パネル１０４の各画素の素子は電圧印加により発光をするエレクトロルミネッセンス特性を持ち、例えば有機ＥＬを用いた素子である。透明発光パネル１０４は１画素につきＲＧＢ各色で発光する３種類の自発光素子で構成される。ＲＧＢ各色の印加電圧を独立に制御することでＲＧＢ各色の発光強度を制御でき、このＲＧＢ各色の発光状態の組み合わせによりカラー表示を実現する。ＲＧＢ各色が全て非発光状態の時、その画素は透明状態となり、背面から入射する光が透過する。本実施例では、透明発光パネル１０４の透明状態では液晶シャッター１０３を透過した光が透明発光パネル１０４を透過し、結果としてカラー電子ペーパー１０２の表示画像を観察することができる。

液晶シャッター１０３と透明発光パネル１０４を、画素を一致させて重ね合わせることで、画素ごとにカラー表示と透過率が制御可能な透明ディスプレイが構成できる。さらに、カラー電子ペーパー１０２を、画素を一致させて重ね合わせることで、画素ごとにカラー電子ペーパー表示と透明ディスプレイ表示を切り替え可能な積層デバイス１０１が構成できる。

タッチパネル１０５は透明なパネル表面にタッチセンサが設けられており、タッチ操作の検知を行う。タッチ操作の検知では、画面（パネル表面）への接触を検知し、接触箇所の位置（座標）、接触箇所の変位（移動方向、移動速度など）を検出する。

制御システム部１０６は、表示画像の取得、表示データの生成、積層デバイス１０１の制御など、画像表示における一連の全体システム動作の制御を担う。制御システム部１０６は、積層デバイス１０１を駆動するドライバや、ソフトウェア実行のためのハードウェアを有する。制御システム部１０６は、外部との通信、ユーザインターフェース制御といった画像表示制御以外の処理も行う。

制御システム部１０６は、画像解析判定部１０７、画像データバス１１１、カラー電子ペーパー制御部１１２、透明ディスプレイ制御部１１５、システムバス１１９、ＲＡＭ１２０、ＣＰＵ１２１、画像蓄積部１２２、外部通信部１２３、ＵＩ制御部１２４を有する。

画像解析判定部１０７は、表示する画像を解析し、画像を構成する要素ごとに、表示するデバイスの選択判定を行う。画像解析判定部１０７は、画像分割部１０８、情報属性取得部１０９、デバイス選択判定部１１０で構成される。

画像分割部１０８は、画像データバス１１１から入力される画像情報を解析し、構成要素に分割する。表示画像は、１以上の構成要素からなる。各構成要素は、画像内のひとまとまりで扱われる部分又は領域であり、各構成要素は、例えば写真、文字、イラスト、見出しなどの内容を持つ。入力画像を構成要素に分割した結果は、各構成要素の内容を示すオブジェクト情報や位置を示す座標情報を有するデータとしてＲＡＭ１２０に保持される。

情報属性取得部１０９は、画像の各構成要素が持つ情報や内容の特徴を示す属性を各構
成要素について取得し、各構成要素の属性に応じたフラグを各構成要素に付加する処理を行う。具体的には、情報属性取得部１０９は、ＲＡＭ１２０に保持された構成要素のデータにフラグ情報を追加又は変更する。情報属性を示すフラグを予め付加することで、後の処理ではこのフラグを参照することで構成要素に応じた適切な制御をすることができる。情報属性は、画像自身に既に付加されている場合と、情報内容を判定してその結果を付加する場合がある。例えば、画像が埋め込まれたｗｅｂページであれば、ｗｅｂページ内のある領域に画像が含まれることが示されているため、その情報をそのまま情報属性として取得することができる。より詳細な情報属性が必要となる場合や、システムの状態に依存して属性値が変化する場合などは、制御システム部１０６内で、構成要素の内容の解析、判定を行い、情報属性を求めて付加する。

デバイス選択判定部１１０では、取得した情報属性と判定条件に従って、カラー電子ペーパー側で表示するか、透明ディスプレイ側で表示するかを判定する。判定条件の詳細については後述する。

カラー電子ペーパー制御部１１２は、画像データバス１１１を介して入力される表示画像データと、デバイス選択判定部１１０からの判定結果に基づいて、カラー電子ペーパー１０２の表示制御を行う。カラー電子ペーパー制御部１１２は、電子ペーパー表示データ生成部１１３と、電子ペーパー表示制御部１１４で構成されている。

電子ペーパー表示データ生成部１１３は、入力される表示画像データに対しディザリング処理を行い、カラー電子ペーパーの電子インクのドットで表示可能な画像に変換する。また、透明ディスプレイ側と判定された構成要素と、カラー電子ペーパー側と判定された構成要素では、カラー電子ペーパー１０２の表示方法が異なるため、電子ペーパー表示データ生成部１１３は、デバイス選択判定結果に応じて画像データを生成する。画像データの生成方法、生成された結果の詳細については後述する。電子ペーパー表示データ生成部１１３において生成された画像データは電子ペーパー表示制御部１１４に送出される。

電子ペーパー表示制御部１１４は、画像データを、カラー電子ペーパー１０２の駆動信号に変換し、送出する。カラー電子ペーパー１０２はこの制御信号に従って表示を行う。

透明ディスプレイ制御部１１５は、画像データバス１１１を介して入力される表示画像データと、デバイス選択判定部１１０からの判定結果に基づいて、液晶シャッター１０３の透過制御及び透明発光パネル１０４の表示制御を行う。透明ディスプレイ制御部１１５は、透明ディスプレイ表示データ生成部１１６、透明度制御部１１７、発光層制御部１１８で構成されている。デバイス選択判定の結果、透明ディスプレイ側と判定された構成要素と、カラー電子ペーパー側と判定された構成要素とでは、液晶シャッター１０３と透明発光パネル１０４の表示方法が異なる。そのため、透明ディスプレイ制御部１１５は、デバイス選択判定結果に応じて画像データ及び透明度データを生成する。データの生成方法、生成された結果の詳細については後述する。

透明ディスプレイ表示データ生成部１１６において生成された透明度データは、透明度制御部１１７に送出される。透明度制御部１１７は透明度データを、液晶シャッター１０３の駆動信号に変換し、送出する。液晶シャッター１０３はこの制御信号に従って液晶画素の透過率を変化させて、透明度の調整を行う。

透明ディスプレイ表示データ生成部１１６において生成された画像データは、発光層制御部１１８に送出される。発光層制御部１１８は画像データを、透明発光パネル１０４の駆動信号に変換し、送出する。透明発光パネル１０４はこの制御信号に従って、各画素のＲＧＢの発光を制御することで画像データに基づく画像を表示する。

ＲＡＭ１２０、ＣＰＵ１２１、システムバス１１９は、おもにソフトウェアによる制御を実現する部分である。ＲＡＭ１２０にはプログラムや制御データなど各種データが格納される。ＣＰＵ１２１はＲＡＭ１２０からデータを読み取り、それに応じて、制御コマンドをシステムバス１１９に送出する。システムバス１１９は制御システム部１０６を構成する各部を接続するバスである。データ、コマンドの送受信は、システムバス１１９を経由して行われ、ＣＰＵ１２１は各部を制御する。

画像蓄積部１２２は、表示する画像データを保存している。画像蓄積部１２２は、システムの制御に従い、蓄積している画像データを、システムバス１１９を介して画像データバス１１１に送出する。
外部通信部１２３は、外部との通信を担い、画像データを外部より取得する。取得した画像データはシステムバス１１９を介して画像蓄積部１２２に保存される。
ＵＩ制御部１２４はタッチ入力のユーザインターフェース制御を行う。タッチ入力された座標情報を受け取ってタッチ操作を検出し、検出した結果を、システムバス１１９を介してＣＰＵ１２１に送出する。検出結果に従って動作制御を行い、タッチ入力ユーザインターフェースを実現する。

なお、外部通信部１２３は画像データ以外の種々のコンテンツのデータを取得しても良い。例えばテキストデータやｗｅｂページを記述するＨＴＭＬ形式のデータを取得してもよい。
画像解析判定部１０７は、画像蓄積部１２２から画像データを取得して解析する例を説明したが、画像データ以外の種々のコンテンツのデータを解析する構成でもよい。例えばＨＴＭＬ形式のデータを取得してレンダリングすることで表示画像を生成する構成では、ＨＴＭＬを解析することで、表示画像のどの位置（領域）にどのような属性（テキスト、写真、広告など）の画像要素が配置されるか判定できる。このように、画像解析判定部１０７は、メタデータや画像に関連するデータを解析することで表示画像内の領域毎にどのような属性の画像が表示されるか解析するようにしてもよい。

次に本発明の一実施例である表示装置の実装概略図について説明する。実装概略図を図２に示す。タッチパネル２０２、透明発光パネル２０３、液晶シャッター２０４、カラー電子ペーパー２０５が順に積層されている。これが図１中の積層デバイス１０１に相当し、前面ベゼル２０１とシステム実装部２０６の間に挟み込まれて、固定、支持される。システム実装部２０６には図１中の制御システム部１０６に相当する基板、各種デバイス、電源、充電池などが実装されている。

次に本発明の一実施例である表示装置の動作を、表示画面例を用いて説明する。表示画面例を図３に示す。表示カラー画像３０１が表示される画像の全体を示す。表示画像には、文字、見出し、イラスト、写真（自然画像）などの様々な構成要素が含まれる。表示カラー画像３０１は、自然画像３０２、ロゴ３０３、アイコン３０４、サムネイル画像（１）３０５、サムネイル画像（２）３０６、見出し文字（１）３０７、イラスト（１）３０８、文字領域（１）３０９、見出し文字（２）３１０、イラスト（２）３１１、文字領域（２）３１２、重要メッセージ３１３、背景３１４で構成されている。

各構成要素は、カラー電子ペーパー側と透明ディスプレイ側のそれぞれに表示されて、合わせて一つの画像として観察されるように表示される。図３では、表示の一例として自然画像３０２と重要メッセージ３１３を透明ディスプレイ側に表示し、その他の構成要素は全てカラー電子ペーパー側に表示するものとする。自然画像３０２のように、多様な色を含む精細な画像で、かつ、表示される全体画像内の大きな領域を占める画像は、ユーザが着目するため、透明ディスプレイ側に表示して、色再現性、精細度の高い表示を行う。
また、重要メッセージ３１３は、ユーザにとって、情報認識が容易となるように高コントラスト表示であることが望ましい。しかしながら、カラー電子ペーパー表示では、反射型のためコントラストを上げることは困難である。反射型表示の見え方、コントラストは環境光に依存するため、環境光が必要なコントラストを得られる程十分あるとは限らないためである。従って、重要メッセージ３１３は、高コントラスト表示が可能な透明ディスプレイ側で表示する。

以上のように、図３の例では、表示画像を構成する複数の構成要素のうち、自然画像３０２と重要メッセージ３１３が、その表示内容や表示情報に応じて、透明ディスプレイ側での表示が適すると判断され、透明ディスプレイ側で表示される。また、その他の構成要素は、カラー電子ペーパー側に表示する。これにより、電力消費とユーザの眼への負担を抑えることができる。

図４に、図３の表示カラー画像３０１を、カラー電子ペーパー側の表示と透明ディスプレイ側の表示それぞれに分離して示す。図４（ａ）にカラー電子ペーパー側の表示、図４（ｂ）に透明ディスプレイ側の表示をそれぞれ示している。カラー電子ペーパー表示４０１において、カラー電子ペーパー表示領域４０２は、表示カラー画像３０１のうち、カラー電子ペーパー１０２に表示している領域である。自然画像３０２に対応するカラー電子ペーパー非表示領域（１）４０３と、重要メッセージ３１３に対応するカラー電子ペーパー非表示領域（２）４０４は、カラー電子ペーパー１０２では表示不要であり所定の画像を表示（ここでは黒画像を表示）としている。なお、ここでは、カラー電子ペーパー非表示領域に黒を表示する例を説明したが、この領域は液晶シャッター１０３において非透過とされるため、表示内容はユーザに観察されない。従ってどのような表示内容でも観察される表示に違いはないため、表示内容は黒表示に限られない。例えば自然画像３０２や重要メッセージ３１３の内容をそのまま表示していてもよいし、他の色の単色表示でも良い。

透明ディスプレイ表示４０５において、透明領域４０６は透明となっている。図４（ｂ）の透明領域４０６に示す市松模様は透明部分を意味している。自然画像３０２に対応する透明ディスプレイ表示領域（１）４０７と、重要メッセージ３１３に対応する透明ディスプレイ表示領域（２）４０８は、非透過状態として透明ディスプレイ側に表示している。非透過とする理由は、透明ディスプレイ表示の色再現性を高めるためである。本実施例では、カラー電子ペーパー側を黒表示としているがＣＭＹＫのインクドットで表現される黒は理想的な黒色でないことが予想されるため、背面の黒表示を透過させない方が色再現性向上の観点で望ましい。また、背面のカラー電子ペーパーが黒表示でない場合も想定され、その場合にはカラー電子ペーパー表示が透過するのを防ぐ必要がある。図４（ａ）のカラー電子ペーパー表示４０１と図４（ｂ）の透明ディスプレイ表示４０５を重ね合わせて、図３の表示を実現する。

次に、ユーザが操作をして、画面表示を更新したユースケースについて説明する。表示カラー画像３０１を見ていたユーザが、サムネイル画像（１）３０５を拡大表示させる操作をした場合を想定する。サムネイル画像（１）３０５の状態では、画像サイズが小さく、精細な表示は不要であり、消費電力の抑制を優先して、カラー電子ペーパーでの表示としている。

画面更新後の表示画面例を図５に示す。表示カラー画像５０１に示す通り、サムネイル画像（１）３０５に関連付けられた自然画拡大画像５０２が表示カラー画像５０１の表示領域の中央部に大きく表示されている。サムネイル画像と異なり、表示カラー画像５０１の表示領域において自然画拡大画像５０２が占める領域が大きい。また、サムネイル画像（１）３０５をユーザが選択する操作は、ユーザが当該サムネイル画像（１）３０５に関
連付けられた自然画拡大画像５０２を詳細に確認又は鑑賞する意図を持っていることが予想される。そのため、自然画拡大画像５０２は、高い色再現性をもって高精細に表示することが望ましい。そこで、本実施例では、自然画拡大画像５０２は透明ディスプレイ側に表示する。

図６に、図５の表示カラー画像５０１を、カラー電子ペーパー側の表示と透明ディスプレイ側の表示に分離して示す。図６（ａ）にカラー電子ペーパー側の表示、図６（ｂ）に透明ディスプレイ側の表示をそれぞれ示している。カラー電子ペーパー表示領域６０２が、カラー電子ペーパー側に表示している領域である。自然画拡大画像５０２に対応するカラー電子ペーパー非表示領域６０３は、カラー電子ペーパー側では表示不要であり黒表示としている。

透明ディスプレイ表示６０４において、透明領域６０５は透明となっている。図４（ｂ）と同様、透明領域６０５に示す市松模様は透明部分を意味している。自然画拡大画像５０２に対応する透明ディスプレイ表示領域６０６は、非透過として透明ディスプレイ側に表示している。図６（ａ）のカラー電子ペーパー表示６０１と図６（ｂ）の透明ディスプレイ表示６０４を重ね合わせて、図５の表示を実現する。ユーザ操作による表示画像の遷移（変化）により図３から図５のように表示が更新された場合であっても、表示の更新の度に、表示内容の構成要素ごとに表示を担当する表示デバイスを選択し、最適な表示を行う。

図７に、表示するデバイス選択の判定条件を示す。本実施例では、表示デバイスを選択、決定する際、構成要素の情報属性と優先する表示特性に基づいて、どの表示デバイスを選択するか判定を行う。透明ディスプレイの表示特性には、高コントラスト、高い色再現性、高精細度表示が可能であることがあげられる。カラー電子ペーパーの表示特性には、低消費電力、眼の負担が少ない表示が可能であることがあげられる。

表示画像の構成要素の情報、内容、属性に対し、優先する表示特性を対応付けできる。重要情報、警告は、ユーザの注意を引き、確実に認識させるために、高コントラストの表示であるべきである。従って、重要情報や警告の情報属性を有する構成要素は、透明ディスプレイを選択して表示する。ユーザが指定した画像（拡大表示の指示をした画像）など、ユーザが着目、注目していると想定される画像は、自発光の表示にして目立たせるのが望ましい。高解像度の写真、拡大画像は、高い色再現性と高精細な表示が求められるため、透明ディスプレイを選択して表示する。一方、写真であっても、低解像度のサムネイル画像は、詳細な観察の対象とはならないと予想されるため、色再現性や高精細表示よりも消費電力の抑制を優先し、カラー電子ペーパーを選択する。同様に、カラーイラスト、文字、背景は、消費電力と眼への負担を抑制することを優先して、カラー電子ペーパーを選択する。以上説明した、表示画像を構成する構成要素の情報、内容、属性と表示を担当する表示デバイスとの対応関係は、一例であってこれに限られない。例えば、外部の撮像装置により撮像、認識させることを目的とするバーコードやＱＲコード（登録商標）のような画像は、イラストやアイコン、サムネイルに分類される可能性があるが、確実な認識のために高コントラスト表示するのが望ましい。よって透明ディスプレイを選択するようにしても良い。また、動画像表示は透明ディスプレイで行うことが望ましい。従って、動画像等の動きの有る構成要素は透明ディスプレイを選択するようにしても良い。

図３と図５に構成要素ごとに最適な表示デバイスを選択して表示する例を示した。この表示を実現する処理フローと回路動作を、図８から図１１のフローチャートと図１の構成図を用いて説明する。

本実施例の表示処理における全体処理フローを図８に示す。まず、ＣＰＵ１２１が画面
表示処理を開始すると、ステップＳ８０１にて表示画像データを取得する。表示画像データとは例えば、画像データそのものや、レンダリングにより画像データを生成することができるソースとなるデータ、例えばｗｅｂページのＨＴＭＬファイルや、カラー雑誌の電子ブックのデータである。外部通信部１２３が外部から受信した表示画像データが画像蓄積部１２２に保存されており、ＣＰＵ１２１は画像蓄積部１２２から表示画像データを取得することができる。

次にステップＳ８０２に進み、ＣＰＵ１２１は、表示先デバイス選択判定条件取得を行う。表示先デバイス選択判定条件とは、図７に示すような表示画像の構成要素が持つ情報属性や内容と、表示を担当するデバイスとの対応関係である。図７に示す、画像の構成要素の属性とその属性の構成要素を表示させる表示パネルとの対応関係の情報は、デバイス選択判定部１１０が内部に有するメモリ（記憶装置）に記憶されていても良いし、外部の記憶装置に記憶されているのをＣＰＵ１２１が取得してもよい。表示先デバイス選択判定条件は、図７に示す一覧表形式のデータベースとして取得されてもよい、プログラム内で条件式として規定されたデータであってもよい。取得した表示先デバイス選択判定条件のデータは、ＲＡＭ１２０に格納され後の処理に用いられる。

ステップＳ８０３に進み、画像解析判定部１０７が表示画像解析処理を行う。この処理の詳細は、図９に示すフローチャートを用いて後述する。

次に、画像解析判定部１０７から送出された判定結果を用いて、ステップＳ８０４の透明ディスプレイ表示制御と、ステップＳ８０５のカラー電子ペーパー表示制御処理が並列で行われる。ステップＳ８０４の透明ディスプレイ表示制御は、透明ディスプレイ制御部１１５により実行される。この処理の詳細は図１０に示すフローチャートを用いて後述する。ステップＳ８０５のカラー電子ペーパー表示制御は、カラー電子ペーパー制御部１１２により実行される。この処理の詳細は図１１に示すフローチャートを用いて後述する。

続いてステップＳ８０６に進み、積層デバイス１０１における画像の表示が行われる。ここでは、ステップＳ８０４の結果である透明ディスプレイ制御部１１５の出力と、ステップＳ８０５の結果であるカラー電子ペーパー制御部１１２の出力とに従って積層デバイス１０１が動作して、表示動作が実行される。これにより、積層デバイス１０１に、例えば図３のような表示が行われている状態となる。ステップＳ８０６では、さらに、次の表示画像データの入力やユーザ操作待ちとなる。ユーザが例えばタッチパネル１０５を操作すると、それをＵＩ制御部１２４が検知し、ＣＰＵ１２１に通知して待ち状態から次のステップに進む。

ステップＳ８０７において、ユーザの操作が終了操作であるかを判定する。終了操作であれば、動作を終了する。終了操作でなければ、ステップＳ８０１に戻り、表示画像データの取得から、表示までの一連の処理を繰り返し実行する。

表示画像解析処理のフローを図９に示す。図９のフローは、ステップＳ８０３の表示画像解析処理の詳細を示すフローであり、画像解析判定部１０７で実行される。画像データが画像データバス１１１から画像解析判定部１０７に入力され、表示画像解析処理が開始する。

ステップＳ９０１において、画像解析判定部１０７は、画像を構成要素に分割する。この処理は画像分割部１０８において実行される。図３の例では、画像分割部１０８は、表示カラー画像３０１を解析して、自然画像３０２から背景３１４までの構成要素を認識する。構成要素を認識した結果は、ＲＡＭ１２０に格納される。

続いてステップＳ９０２に進み、情報属性取得部１０９は、構成要素の表示する情報や内容に関する情報である属性情報を取得する。例えば、図３中の自然画像３０２の構成要素の場合、情報属性取得部１０９は、属性情報として、表示画像サイズ、解像度、画像フォーマット、メタデータなどの情報を取得する。取得した属性情報は、ＲＡＭ１２０に格納される。

ステップＳ９０３に進み、デバイス選択判定部１１０は、属性情報を表示先デバイス選択判定条件と照合する。表示先デバイス選択判定条件とは、例えば図７に示すような、属性情報と表示を担当するデバイスとの対応関係であり、ＲＡＭ１２０内に格納されている。ステップＳ９０４に進み、デバイス選択判定部１１０は、構成要素ごとに判定処理を実行する。判定の結果、透明ディスプレイで表示する必要があると判定された構成要素については、ステップＳ９０５の処理が行われる。透明ディスプレイで表示する必要はないと判定された構成要素については、ステップＳ９０６の処理が行われる。ステップＳ９０５では、デバイス選択判定部１１０は、表示デバイス選択フラグを透明ディスプレイ側に設定する。表示デバイス選択フラグは、構成要素の属性情報の１つであり、表示を担当するデバイスに関する情報を有する。ステップＳ９０６では、デバイス選択判定部１１０は、表示デバイス選択フラグをカラー電子ペーパー側に設定する。上記、ステップＳ９０３からステップＳ９０７までの処理は、デバイス選択判定部１１０にて実行される。

図３中の自然画像３０２を例に説明する。自然画像３０２の属性情報のうち、画像サイズが閾値以上のサイズとなっている。画像サイズの閾値は予め設定されているとする。画像サイズが閾値以上の場合、サムネイル画像ではないと判断される。また、解像度、画像フォーマットに関する属性情報から、自然画（写真）であることが判別される。なお、自然画であることの判別は画像認識により行ってもよい。例えば、構成要素を構成する画素の色分布や色数、周波数を解析し、閾値以上の色数を持つ画像や、広範な色分布を有する画像、閾値以上の周波数を有する画像を自然画と判別し、それ以外をアイコンやイラスト等と判別する。次に、図７の表示先デバイス選択判定条件に従って、自然画像３０２は透明ディスプレイ側に表示するべき構成要素であると決定される。自然画像３０２には、表示デバイス選択フラグとして透明ディスプレイ側を示す値が追加される。

図３中のアイコン３０４を例にとると、この構成要素はイラスト表示であり、図７の表示先デバイス選択判定条件に従って、消費電力と見やすさを優先して、カラー電子ペーパー側に表示すると決定される。よって、アイコン３０４には、表示デバイス選択フラグとしてカラー電子ペーパー側を示す値が追加される。

次に、ステップＳ９０７に進み、表示画像を構成する全ての構成要素について表示先デバイスの判定が完了したかを判定する。完了していれば、画像解析判定部１０７は、表示画像解析処理を終了する。完了していなければ、画像解析判定部１０７は、ステップＳ９０２に進み、全ての構成要素について判定が完了するまで、ステップＳ９０２からステップＳ９０６までの処理を繰り返す。判定結果は、画像解析判定部１０７の出力として、後段のカラー電子ペーパー制御部１１２と透明ディスプレイ制御部１１５に入力される。

透明ディスプレイ表示制御処理のフローを図１０に示す。このフローはステップＳ８０４の透明ディスプレイ表示制御処理の詳細を示すフローであり、透明ディスプレイ制御部１１５にて実行される。画像データバス１１１からの表示画像データの入力と、画像解析判定部１０７からの表示デバイス選択フラグが入力されると、この処理が開始される。以降の処理は、画素ごとの処理である。全画素に対して処理を繰り返すことで、表示画像全体の処理が完了する。

まず、ステップＳ１００１において、透明ディスプレイ表示データ生成部１１６は、表
示画素（注目画素、処理対象（処理中）の画素）が属している構成要素を判別する。透明ディスプレイ表示データ生成部１１６は、処理中の画素の座標情報が、表示画像データのどの位置に相当するかを取得して、位置情報に基づき、処理中の画素が画像分割部１０８にて分割されたどの構成要素に含まれるかを判別する。

次にステップＳ１００２に進み、透明ディスプレイ表示データ生成部１１６は、処理中の画素が属する構成要素の表示デバイス選択フラグのデータをＲＡＭ１２０から取得する。

ステップＳ１００３において、透明ディスプレイ表示データ生成部１１６は、取得した表示デバイス選択フラグが透明ディスプレイ側か否かを判定する。透明ディスプレイ側であれば、ステップＳ１００４に進む。透明ディスプレイ側でなければ、ステップＳ１００６に進む。ステップＳ１００１からステップＳ１００３までの処理は、透明ディスプレイ表示データ生成部１１６にて実行される。

ステップＳ１００３において、表示デバイス選択フラグが透明ディスプレイ側であった場合、ステップＳ１００４にて液晶シャッター１０３の該当画素を遮蔽する（非透過にする）制御が行われる。具体的には、透明ディスプレイ表示データ生成部１１６は、透明度制御部１１７に、該当画素を非透過にするデータを送出し、そのデータに従って透明度制御部１１７は液晶シャッター１０３の該当画素に適切な電圧を印加する制御を行う。

ステップＳ１００５では透明発光パネル１０４において該当画素の表示制御が行われる。具体的には、透明ディスプレイ表示データ生成部１１６は、発光層制御部１１８に該当画素の画素値データ（例えばＲＧＢの各階調データ）を送出する。そのデータに従って、発光層制御部１１８は、透明発光パネル１０４の該当画素に対して、画素値データに応じた発色をさせるための電圧印加制御を行う。

ステップＳ１００３において、表示デバイス選択フラグが透明ディスプレイ側でなかった場合、ステップＳ１００６にて、液晶シャッター１０３の該当画素を透明にする制御が行われる。具体的には、透明ディスプレイ表示データ生成部１１６は、透明度制御部１１７に該当画素を透過させるデータを送出し、そのデータに従って透明度制御部１１７は液晶シャッター１０３の該当画素に電圧印加しない制御を行う。本実施例では、電圧印加しないことが透過させることに対応しているためここでは電圧印加しない制御を行ったが、透過させるために所定の電圧印加が必要な液晶シャッターの場合には当該電圧印加を行うこととする。

ステップＳ１００７では透明発光パネル１０４の該当画素を非表示にする制御が行われる。具体的には、透明ディスプレイ表示データ生成部１１６は、発光層制御部１１８に該当画素を非発光とするデータを送出し、発光層制御部１１８は、透明発光パネル１０４の該当画素に対して、電圧印加しない制御をすることにより、当該画素を非発光とする。

ステップＳ１００８に進み、上記処理を全ての画素について完了したかを判定する。完了すれば、終了する。完了していなければ、透明ディスプレイの全ての画素について上記処理が完了するまで繰り返す。また、透明度制御部１１７と発光層制御部１１８の出力は、ラスターデータであり、フレームレートに合わせて連続的に出力される。
図１０に示すフローにより、例えば図４（ｂ）に示すような透明ディスプレイ表示４０５が実現される。

カラー電子ペーパー表示制御処理のフローを図１１に示す。このフローはステップＳ８０５のカラー電子ペーパー表示制御処理の詳細を示すフローであり、カラー電子ペーパー
制御部１１２にて実行される。画像データバス１１１からの表示画像データの入力と、画像解析判定部１０７からの表示デバイス選択フラグが入力されると、この処理が開始される。以降の処理は、画素ごとの処理である。全画素に対して処理を繰り返すことで、表示画像全体の処理が完了する。

まず、ステップＳ１１０１にて、電子ペーパー表示データ生成部１１３は、表示画像全体をディザリング処理する。この処理では、ＲＢＧで構成されている画像データをカラー電子ペーパー表示可能なＣＭＹＫのデータに変換する。カラーコピー機などで行われている処理と同等である。

次にステップＳ１１０２にて、電子ペーパー表示データ生成部１１３は、表示画素（注目画素、処理対象（処理中）の画素）が属する構成要素を判別し、ステップＳ１１０３にて該当する構成要素の表示デバイス選択フラグを取得する。具体的な処理内容は、ステップＳ１００１とステップＳ１００２で述べた説明と同等である。ステップＳ１１０４において、電子ペーパー表示データ生成部１１３は、取得した表示デバイス選択フラグがカラー電子ペーパー側か否かを判定する。ステップＳ１１０１からステップＳ１１０４までの処理は、電子ペーパー表示データ生成部１１３にて実行される。

ステップＳ１１０４において、表示デバイス選択フラグがカラー電子ペーパー側であれば、ステップＳ１１０５に進む。ステップＳ１１０５ではカラー電子ペーパー１０２の該当画素の表示制御が行われる。ステップＳ１１０４において、表示デバイス選択フラグがカラー電子ペーパー側でなければ、ステップＳ１１０６に進む。ステップＳ１１０６ではカラー電子ペーパー１０２の該当画素を黒表示させる制御が行われる。

具体的なカラー電子ペーパー表示制御では、電子ペーパー表示データ生成部１１３から、電子ペーパー表示制御部１１４に処理中の画素のＣＭＹＫデータを送出し、そのデータに従って電子ペーパー表示制御部１１４がカラー電子ペーパー１０２の制御を行う。カラー電子ペーパー１０２は一旦表示をした後、電圧供給を停止しても、表示内容は保持される。したがって、電子ペーパー表示制御部１１４は、表示データの更新がある場合のみ、カラー電子ペーパー１０２の書き換え制御を行う。これにより、カラー電子ペーパー１０２の消費電力を必要最小限に抑えることができる。
図１１に示すフローにより、例えば図４（ａ）に示すようなカラー電子ペーパー表示４０１が実現される。

以上の構成、処理により、構成要素ごとに最適なデバイス側に表示された画像を観察することができる。本実施例によれば、１つの表示画像内で、高い色再現性や高精細表示が要求される写真等を表示する部分は自発光の透明ディスプレイで表示され、文字やアイコン等を表示する部分はカラー電子ペーパーで表示される。従って、自発光ディスプレイの長所である高い色再現性や高精細表示や動きのある表示と、カラー電子ペーパーの長所である低消費電力や眼への低負担とを両立させた表示装置が実現される。

１０２：カラー電子ペーパー、１０３：液晶シャッター、１０４：透明発光パネル、１０７：画像解析判定部、１１０：デバイス選択判定部、１１２：カラー電子ペーパー制御部、１１５：透明ディスプレイ制御部

Claims (19)

1. 非表示状態で透明となる第１の表示パネルと、
   前記第１の表示パネルの背面に設けられ、光の透過率を調節可能な調節パネルと、
   前記調節パネルの背面に設けられる電子ペーパー方式の第２の表示パネルと、
   入力される画像の内容に基づき、画像の領域ごとに、前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する判定手段と、
   前記判定手段により前記第２の表示パネルで表示すると判定された領域において、前記第１の表示パネルを非表示状態とするとともに、前記調節パネルを透過状態とする制御手段と、
   を備える表示装置。
2. 前記制御手段は、前記判定手段により前記第１の表示パネルで表示すると判定された領域において、前記第２の表示パネルに所定の画像を表示させる請求項１に記載の表示装置。
3. 前記制御手段は、前記判定手段により前記第１の表示パネルで表示すると判定された領域において、前記調節パネルを非透過状態とする請求項２に記載の表示装置。
4. 前記所定の画像は、黒画像である請求項２又は３に記載の表示装置。
5. 前記判定手段は、入力される画像を構成する構成要素ごとに、前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する請求項１〜４のいずれか１項に記載の表示装置。
6. 前記判定手段は、前記構成要素の属性に応じて前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する請求項５に記載の表示装置。
7. 前記構成要素の属性は、当該構成要素のサイズ、色、周波数、当該構成要素により示される情報、内容、又は、当該構成要素の表示に係るユーザもしくは表示装置による指示、の少なくともいずれかに関する情報である請求項６に記載の表示装置。
8. 前記判定手段は、
   前記構成要素の属性について、サイズが閾値以上の場合、色数が閾値以上の場合、周波数が閾値以上の場合、前記構成要素により示される情報がユーザに通知するための重要情報もしくは警告である場合、前記構成要素の内容が写真、動画像、もしくは外部の撮像装置に画像認識させることを想定した画像である場合、又は、前記構成要素がユーザもしくは表示装置の拡大表示の指示により生成された画像である場合、当該構成要素を前記第１の表示パネルで表示すると判定し、
   前記構成要素の属性について、サイズが閾値より小さい場合、色数が閾値より少ない場合、周波数が閾値より小さい場合、前記構成要素により示される情報が重要情報もしくは警告ではない場合、又は、前記構成要素により示される内容が文字、イラスト、アイコン、背景、もしくはサムネイル画像である場合、当該構成要素を前記第２の表示パネルで表示すると判定する請求項７に記載の表示装置。
9. 入力される画像を構成要素に分割し、各構成要素を解析して各構成要素に属性の情報を付加する解析手段と、
   構成要素の属性ごとに、その属性の構成要素を表示させる表示パネルの情報を対応付けた対応関係の情報を記憶する記憶手段と、
   を更に備え、
   前記判定手段は、各構成要素に付加された属性の情報と前記対応関係の情報とに基づき、構成要素ごとに前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する請求項５〜８のいずれか１項に記載の表示装置。
10. 前記第１の表示パネルの前面に設けられ、タッチセンサを備えた透明のタッチパネルを更に備える請求項１〜９のいずれか１項に記載の表示装置。
11. 非表示状態で透明となる第１の表示パネルと、
    前記第１の表示パネルの背面に設けられ、光の透過率を調節可能な調節パネルと、
    前記調節パネルの背面に設けられる電子ペーパー方式の第２の表示パネルと、
    を備える表示装置の制御方法であって、
    入力される画像の内容に基づき、画像の領域ごとに、前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する判定工程と、
    前記判定工程により前記第２の表示パネルで表示すると判定された領域において、前記第１の表示パネルを非表示状態とするとともに、前記調節パネルを透過状態とする制御工程と、
    を有する表示装置の制御方法。
12. 前記制御工程では、前記判定工程により前記第１の表示パネルで表示すると判定された領域において、前記第２の表示パネルに所定の画像を表示させる請求項１１に記載の表示装置の制御方法。
13. 前記制御工程では、前記判定工程により前記第１の表示パネルで表示すると判定された領域において、前記調節パネルを非透過状態とする請求項１２に記載の表示装置の制御方法。
14. 前記所定の画像は、黒画像である請求項１２又は１３に記載の表示装置の制御方法。
15. 前記判定工程では、入力される画像を構成する構成要素ごとに、前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する請求項１１〜１４のいずれか１項に記載の表示装置の制御方法。
16. 前記判定工程では、前記構成要素の属性に応じて前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する請求項１５に記載の表示装置の制御方法。
17. 前記構成要素の属性は、当該構成要素のサイズ、色、周波数、当該構成要素により示される情報、内容、又は、当該構成要素の表示に係るユーザもしくは表示装置による指示、の少なくともいずれかに関する情報である請求項１６に記載の表示装置の制御方法。
18. 前記判定工程では、
    前記構成要素の属性について、サイズが閾値以上の場合、色数が閾値以上の場合、周波数が閾値以上の場合、前記構成要素により示される情報がユーザに通知するための重要情報もしくは警告である場合、前記構成要素の内容が写真、動画像、もしくは外部の撮像装置に画像認識させることを想定した画像である場合、又は、前記構成要素がユーザもしくは表示装置の拡大表示の指示により生成された画像である場合、当該構成要素を前記第１の表示パネルで表示すると判定し、
    前記構成要素の属性について、サイズが閾値より小さい場合、色数が閾値より少ない場合、周波数が閾値より小さい場合、前記構成要素により示される情報が重要情報もしくは警告ではない場合、又は、前記構成要素により示される内容が文字、イラスト、アイコン、背景、もしくはサムネイル画像である場合、当該構成要素を前記第２の表示パネルで表
    示すると判定する請求項１７に記載の表示装置の制御方法。
19. 入力される画像を構成要素に分割し、各構成要素を解析して各構成要素に属性の情報を付加する解析工程を更に有し、
    前記判定工程では、構成要素の属性ごとにその属性の構成要素を表示させる表示パネルの情報を対応付けた対応関係の情報を記憶手段から読み込み、各構成要素に付加された属性の情報と前記対応関係の情報とに基づき、構成要素ごとに前記第１の表示パネルで表示するか前記第２の表示パネルで表示するか判定する請求項１５〜１８のいずれか１項に記載の表示装置の制御方法。

Images