JP4203081B2 - 画像表示装置および画像表示方法 - Google Patents

Description

本発明は、表示画像の視覚的なコントラストを高めることが可能な画像表示装置および画像表示方法に関する。

近年、液晶表示装置に代表される、光源と、光源からの光強度を変調する光変調素子とを備えた画像表示装置が、広く普及している。しかし、これらの画像表示装置では、光変調素子が理想的な変調特性を有していないために、特に黒を表示した際に、光変調素子からの光漏れに起因するコントラストの低下を招く。

このコントラスト低下を抑制するために、入力画像に応じて、入力画像の補正と、光源の強度変調とを組み合わせて行う方法が複数提案されている。例えば特許文献１では、入力画像の最小輝度レベル、最大輝度レベル及び平均輝度レベルを検出し、入力画像の最大輝度レベルと最小輝度レベルにより決定される入力画像のダイナミックレンジを、画像表示装置に表示可能な最大ダイナミックレンジまで増幅し、同時に平均輝度レベルに基づき画像表示装置の光源を制御している。また、非特許文献１では、入力画像の最大輝度レベルを検出し、最大輝度レベルを、画像表示装置に表示可能な最大階調まで伸張し、伸張後の最大階調が、検出された最大輝度レベルと一致するよう、画像表示装置の光源を制御している。
特許第３２１５３８８号 ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ、Ｖｏｌｕｍｅ ３６、Ｉｓｓｕｅ １、ｐｐ．１３８０−１３８３

上記技術は、いずれも、入力画像に応じて、入力画像の補正と光源の発光強度とを制御することにより、一定の光源輝度による画像表示装置に比べ、コントラストを増幅させることが可能である。しかし、上記技術は、入力画像を画像表示装置に表示可能な最大のダイナミックレンジまで、入力画像のダイナミックレンジを伸張する方式であり、入力画像が本来表示すべきダイナミックレンジが考慮されていない。すなわち、上記技術では、入力画像のダイナミックレンジを過度に伸張する可能性がある。

本発明は、視覚的なコントラストの優れた画像を表示できる画像表示装置および画像表示方法を提供する。

本発明の一態様としての画像表示装置は、光源輝度を調整可能な光源部と、与えられた画像に基づいて前記光源部からの光の透過率または反射率を変調することにより画像表示を行う光変調素子部と、を有する画像表示部と、入力画像の最小階調及び最大階調を検出する階調範囲検出部と、前記最小階調によって表示されるべき輝度である最小輝度を前記光変調素子部に表示できる最大の光源輝度としての第１の光源輝度と、前記最大階調によって表示されるべき輝度である最大輝度を前記光変調素子部に表示できる最小の光源輝度としての第２の光源輝度とを求め、求めた前記第１の光源輝度と前記第２の光源輝度とから前記光源部に設定する光源輝度を求め、求めた光源輝度を前記光源部に設定する光源輝度設定部と、前記求めた光源輝度により決まる前記光変調素子部の階調−輝度特性において前記最小輝度及び前記最大輝度に相当する階調まで、前記入力画像をヒストグラム伸張し、ヒストグラム伸張後の入力画像を前記光変調素子部に与えるヒストグラム伸張部と、を備える。

本発明の一態様としての画像表示装置は、光源輝度を調整可能な光源部と、与えられた画像に基づいて前記光源部からの光の透過率または反射率を変調することにより画像表示を行う光変調素子部と、を備えた画像表示装置において実行する画像表示方法であって、入力画像の最小階調及び最大階調を検出し、 前記最小階調によって表示されるべき輝度である最小輝度を前記光変調素子部に表示できる最大の光源輝度としての第１の光源輝度と、前記最大階調によって表示されるべき輝度である最大輝度を前記光変調素子部に表示できる最小の光源輝度としての第２の光源輝度とを求め、求めた前記第１の光源輝度と前記第２の光源輝度とから前記光源部に設定する光源輝度を求め、求めた光源輝度を前記光源部に設定し、 前記求めた光源輝度により決まる前記光変調素子部の階調−輝度特性において前記最小輝度及び前記最大輝度に相当する階調まで、前記入力画像をヒストグラム伸張し、ヒストグラム伸張した前記入力画像を前記光変調素子部に与える、ことを特徴とする。

本発明によれば、視覚的なコントラストの優れた画像を表示できる。

（第１の実施形態）
図１に、本発明の第１の実施形態による画像表示装置の構成を示す。第１の実施形態による画像表示装置は、階調範囲検出部１１、光源輝度設定部１２、ヒストグラム伸張部１３、画像表示部１４により構成される。画像表示部１４は、光変調素子部としての液晶パネル２１と、液晶パネル２１の背面に設置された光源部としてのバックライト２２とにより構成される液晶表示部（以下ＬＣＤと呼ぶ）である。入力画像は、階調範囲検出部１１及びヒストグラム伸張部１３に入力される。階調範囲検出部１１では、入力画像の最小階調と最大階調を検出する。光源輝度設定部１２では、階調範囲検出部１１で検出された最小階調及び最大階調に基づき、バックライト２２の発光輝度（光源輝度）を設定する。ヒストグラム伸張部１３では、液晶パネル２１のガンマ特性と、光源輝度設定部１２に設定されたバックライト発光輝度とに基づき、入力画像のヒストグラム伸張を行う。最後に、ヒストグラム伸張された入力画像が液晶パネル２１に書き込まれ、同時に、光源輝度設定部１２に設定されたバックライト発光輝度でバックライト２２が発光する。これにより画像表示部１４に画像が表示される。すなわち液晶パネル２１に画像が表示される。

次に、図１の画像表示装置における各部の動作を、図２に示す画像表示装置の動作フローを示すフローチャートを参照しながら説明する。

（階調範囲検出部）
階調範囲検出部１１では、入力画像の最小階調と最大階調を検出する（ステップＳ１１）。入力画像には逆ガンマ処理がかけられていることが一般的でありここでも入力画像には逆ガンマ処理がかけられているとする。ただしこれは一例であり本発明はこの一例に制限されない。入力画像が動画である場合、１つの画像を構成する１フレームの入力画像に対し、最小階調と最大階調を検出する。最小階調と最大階調の検出方法は、どのようなものを用いても良いが、例えば、入力画像のヒストグラム（例えば横軸を階調、縦軸を画素数）を求め、このヒストグラムから最小階調と最大階調を求める方法等がある。入力画像の最小階調と最大階調を検出する手法は、一般に様々な方法があり、いずれの方法も、本発明には適用可能であるため、ここでは、詳細な説明は省略する。

（光源輝度設定部）
光源輝度設定部１２では、階調範囲検出部１１で検出された入力画像の最小階調及び最大階調に基づき、バックライト２２の光源輝度を設定する。以下これについて詳細に説明する。

光源輝度設定部１２には、予め、液晶パネル２１の特性とバックライト光源の輝度変調範囲とに基づく、画像表示部１４の最大ダイナミックレンジを設定しておく。最大ダイナミックレンジは、解析的には数式１で表される。

ここで、Ｄ_ｍｉｎ、Ｄ_ｍａｘは、それぞれ、画像表示部１４で表示可能な最小表示輝度、最大表示輝度を表す。Ｉ_ｍｉｎ、Ｉ_ｍａｘは、それぞれ、バックライト光源の変調範囲である最小変調輝度、最大変調輝度を表す。Ｔ_ｍｉｎ、Ｔ_ｍａｘは、それぞれ、液晶パネル２１の最小透過率、最大透過率を表す。なお、解析的には最大ダイナミックレンジは数式１のように表現されるが、Ｄ_ｍｉｎ、Ｄ_ｍａｘは、実際には、液晶パネル２１に表示可能な最小階調（８ビット表現が可能な液晶パネルであれば、０階調）を、バックライト２２の輝度変調範囲の最小のバックライト輝度で表示した場合における画像表示部１４の測定輝度を、画像表示部１４で表示可能な最小表示輝度とし、また、液晶パネルに表示可能な最大階調（８ビット表現が可能な液晶パネルであれば、２５５階調）を、バックライト２２の輝度変調範囲の最大のバックライト輝度で表示した場合における画像表示部１４の測定輝度を画像表示部１４で表示可能な最大表示輝度とすれば良い。

光源輝度設定部１２は、上記最大ダイナミックレンジ内において、入力画像の最小輝度及び最大輝度を、階調範囲検出部１１で検出された入力画像の最小階調及び最大階調に基づき求める（ステップＳ１２）。最小輝度及び最大輝度は数式２に基づき算出することができる。

ここで、Ｙ_ｍｉｎ、Ｙ_ｍａｘは、最小輝度及び最大輝度を表す。Ｌ_ｍｉｎ、Ｌ_ｍａｘは、最小階調及び最大階調を表す。γは、入力画像の補正に利用されているガンマ値を示している。ガンマ値は、一般に２．２が用いられている。数式２は、いわゆる逆ガンマ補正処理であるが、本実施形態では、逆ガンマ補正を、画像表示部１４の最大ダイナミックレンジ間に適用する。すなわちＹ_ｍｉｎ、Ｙ_ｍａｘが最大ダイナミックレンジに入るような逆ガンマ補正を行う。

なお、最小輝度及び最大輝度は、数式２を用いて算出しても良いが、以下のようにしてもよい。例えばＤ_ｍｉｎ、Ｄ_ｍａｘを定めた上で、階調Ｌと輝度Ｙとの関係から、階調Ｌと輝度Ｙとを対応づけたルックアップテーブル（LUT：Look Up Table）データを作成しておく。テーブルデータの一例を図３に示す。そして作成したテーブルデータを、図７に示すように、光源輝度設定部１２によってアクセス可能なＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５等に格納しておく。ＲＯＭは例えばテーブル格納部に対応する。最小輝度Ｙ_ｍｉｎ及び最大輝度Ｙ_ｍａｘを求める際は、光源輝度設定部１２は、入力画像より検出された最小階調Ｌ_ｍｉｎ及び最大階調Ｌ_ｍａｘによりＲＯＭ１５を参照することで、それぞれのＹ_ｍｉｎ、Ｙ_ｍａｘを求める。Ｄ_ｍｉｎ、Ｄ_ｍａｘの値の組み合わせに応じて複数のテーブルデータをROM１５に用意しておき、該当する組み合わせのテーブルデータを参照するようにしてもよい。

次に、このようにして算出した最小輝度及び最大輝度と、バックライトの相対輝度及び液晶パネルのガンマ特性の関係とから、バックライト発光輝度を求める（ステップＳ１３）。バックライト発光輝度の算出方法を、図４を用いて詳細に説明する。

図４は、２つの対数座標系が左右に並置されている。紙面向かって左側の座標系において、横軸は入力画像の階調、縦軸は表示相対輝度である。右側の座標系において、横軸はバックライト相対輝度、縦軸は表示相対輝度である。

左側の座標系にグラフＧ１が示される。グラフＧ１は、上記で求めた画像表示部１４の最大ダイナミックレンジにおいて、入力画像の階調と表示相対輝度との関係を示している。ガンマ値は、２．２とし、Ｄ_ｍａｘは１、Ｄ_ｍｉｎは０とした（すなわち、バックライト輝度の最小光源輝度は０）。この関係は、数式２に相当している。例えば、最大階調が、図４に示すように、１５０階調であった場合、その時の表示相対輝度は、約０．３となる（最大相対輝度を１とした場合）。この値は、数式２のＹ_ｍａｘに相当する。同様に、最小階調が、１１階調であった場合、その時の表示相対輝度は、約０．００１となる。この値は、数式２のＹ_ｍｉｎに相当する。

右側の座標系には実線のグラフＧ２と破線のグラフＧ３とが示される。グラフＧ２、Ｇ３は、バックライト２２の相対輝度と液晶パネル２１のガンマ特性との関係を示している。より詳細には、グラフＧ２は、液晶パネル２１に２５５階調を表示した場合における、表示相対輝度とバックライト２２の相対輝度との関係（２５５階調のＬＣＤ表示相対輝度曲線）を示している。また、グラフＧ３は、液晶パネル２１に０階調を表示した場合における、表示相対輝度とバックライト２２の相対輝度との関係（０階調のＬＣＤ表示相対輝度曲線）を示している。グラフＧ２、Ｇ３のいずれにおいても、バックライト相対輝度が低下するほど、表示相対輝度が低下する。

ここで、あるバックライト相対輝度においてＬＣＤに表示可能なダイナミックレンジは、グラフＧ３（０階調のＬＣＤ表示相対輝度曲線）と、グラフＧ２（２５５階調のＬＣＤ相対輝度曲線）との間となる。例えば入力画像の最大階調が１５０階調の場合、その表示相対輝度は、左側のグラフＧ１より、約０．３となる。この表示相対輝度は、液晶パネル２１に２５５階調を表示した場合、右側のグラフＧ２より、バックライト相対輝度を約０．３以上とすれば表示可能であることが分かる。この値が、最大光源輝度（第１の光源輝度）Ｉ_Ｙｍａｘとなる。同様に、入力画像の最小階調が１１階調の場合、その表示相対輝度は、左側のグラフＧ１より、約０．００１となる。この表示相対輝度は、液晶パネル２１に０階調を表示した場合、右側のグラフＧ３より、バックライト相対輝度を約０．４８以下とすれば表示可能であることが分かる。この値が、最小光源輝度（第２の光源輝度）Ｉ_Ｙｍｉｎとなる。

以上より、バックライト２２の光源輝度を最大光源輝度である０．３以上、最小光源輝度である０．４８以下の値に設定すれば、入力画像は、画像表示部１４の上記最大ダイナミックレンジ（D_min〜D_max）で表示可能であることが分かる。バックライト２２の光源輝度は、最大光源輝度と最小光源輝度の間のいずれの値としても良いが、できるだけ低下させた方が、消費電力の増加を抑制するという点で有利である。そこで、本実施形態では、最大光源輝度と最小光源輝度の間で最も光源輝度が小さくなる最大光源輝度を、バックライト２２の光源輝度として設定することとする。

上記では、最大光源輝度Ｉ_Ｙｍａｘが最小光源輝度Ｉ_Ｙｍｉｎ以下である場合についてのバックライト２２の光源輝度の設定方法について述べたが、入力画像によっては、最大光源輝度が最小光源輝度に比べ大きくなる場合がある。この場合のバックライトの光源輝度の設定方法を、図５を用いて説明する。

図５は、図４と同様のグラフを示している。左側のグラフＧ１１が、入力画像の階調（横軸）と表示相対輝度（縦軸）との関係、右側のグラフＧ１２、Ｇ１３が、バックライト相対輝度（横軸）と表示相対輝度（縦軸）との関係を示している。図５では、入力画像の最大階調が２００階調であり、そのときの表示相対輝度は、約０．５９（Y_max）となる。この表示相対輝度は、液晶パネル２１に２５５階調を表示した場合、右側のグラフＧ２により、バックライト相対輝度を約０．５９（I_Ymax）以上とすれば表示可能であることが分かる。一方、入力画像の最小階調は、図４と同様に、１１階調であるため、その表示相対輝度は、左側のグラフＧ１より、約０．００１（Y_min）となる。この表示相対輝度は、液晶パネル２１に０階調を表示した場合、右側のグラフＧ３により、バックライト相対輝度を約０．４８（I_Ymin）以下とすれば表示可能である。すなわち、入力階調の最大階調に相当する表示相対輝度を表示するためには、バックライト相対輝度を０．５９以上とする必要があり、入力階調の最小階調に相当する表示相対輝度を表示するためには、バックライト相対輝度を０．４８以下とする必要がある。このため、入力画像の最小階調から最大階調を、画像表示部の上記最大ダイナミックレンジに、一意のバックライト相対輝度で表示することができない。この場合は、入力画像の最大輝度を維持するために、最大光源輝度をバックライト２２の光源輝度として設定する。また、その他の方法としては、入力画像の平均階調を求め、平均階調に基づき、最小光源輝度と最大光源輝度との間で、バックライト２２の光源輝度を設定する方法でも良い。すなわち、入力画像の平均階調が大きいほど、最大光源輝度側にバックライト２２の光源輝度を設定する。これは、平均階調が大きい場合は、入力画像に階調の大きい画素が多く含まれているため、最大輝度をより正しく表示した方が良く、反対に平均階調が小さい場合は、入力画像に階調の小さい画素が多く含まれているため、最小輝度をより正しく表現した方が良いためである。平均階調に基づきバックライト２２の光源輝度を設定する場合、バックライト光源輝度Ｉは、最小光源輝度Ｉ_Ｙｍｉｎ、最大光源輝度Ｉ_Ｙｍａｘを用いて、数式３で求められる。

ここで、αは、０以上１以下で与えられる、入力階調の平均階調から求められる係数であり、平均階調が大きいほど、１に近づく関数として与えることができる。

なお、入力画像の最小階調及び最大階調と、設定されるバックライト２２の光源輝度との関係は、テーブルデータとしてＲＯＭ等に保持しておいてもよい。この場合、上で説明した処理を全てを行う必要はなくなる。すなわち、図６に示すように、予め、入力画像の最小階調及び最大階調と、バックライト２２の光源輝度とを対応づけたルックアップテーブル（LUP:Look Up Table）データを用意しておく。ただし、最小階調≦最大階調なので、テーブルの対角線より下半分には値を保持する必要はない。そして、このテーブルデータを図７に示すように光源輝度設定部１２によりアクセス可能なＲＯＭ１５に格納しておく。光源輝度設定部１２は、階調範囲検出部１１により得られた最小階調および最大階調をもとにＲＯＭ１５内のテーブルデータを参照して、バックライト２２の光源輝度を求める。更に、バックライト２２の光源輝度を求めるのに平均階調が必要な場合は、同様に、入力画像の最小階調、最大階調及び平均階調と、バックライト２２の光源輝度とを対応づけたテーブルデータをＲＯＭ１５内に用意し、光源輝度設定部１２は、このテーブルデータを参照してバックライト２２の光源輝度を求めれば良い。

（ヒストグラム伸張部）
ヒストグラム伸張部１３では、上記光源輝度設定部１２により求められたバックライト２２の光源輝度に基づき、入力画像のヒストグラムを伸張する（ステップＳ１４）。ヒストグラム伸張の動作を、図８を用いて説明する。

図８は、入力画像の最小階調が１１階調、最大階調が１５０階調で、かつ、光源輝度設定部１２により、バックライト２２の光源輝度が０．３に設定された場合の、ヒストグラム伸張の様子を示している。

２つのグラフＧ２１、Ｇ２２が、左右に並置されている。紙面向かって左側のグラフＧ２１が、入力画像の階調（横軸）と、表示相対輝度（縦軸）との関係を示している。右側のグラフＧ２２が、ヒストグラム伸張後の出力階調（表示階調）（横軸）と表示相対輝度（縦軸）との関係を示している。図８の左側のグラフは、図４の左側のグラフと同様であるため説明は省略する。

右側のグラフＧ２２は、バックライト２２の相対輝度（光源輝度）が０．３に設定された場合の、ＬＣＤ（画像表示部）のガンマ特性（液晶パネルのガンマ特性）を表す。入力画像の最小階調及び最大階調に相当する最小輝度及び最大輝度は、左側のグラフＧ２１からそれぞれ０．００１及び０．３である。よって、右側のグラフＧ２２より、１２階調をＬＣＤに表示することで、最小輝度を表示でき、２５５階調をＬＣＤに表示することで最大輝度を表示できることが分かる。すなわち１２階調以上２５５階調以下の範囲の階調をＬＣＤに表示することで入力画像の最小輝度から最大輝度までを表示できる。すなわち、入力画像の１１階調から１５０階調を、１２階調から２５５階調にヒストグラム伸張する。

なお、光源輝度設定部１２において、最大光源輝度が最小光源輝度に比べ大きくなる場合、すなわち、一意のバックライト２２の光源輝度で、入力画像の最小輝度から最大輝度を表示できない場合は、液晶パネル（光変調素子）２１の表示可能な最大のレンジ（８ビットであれば、０階調から２５５階調）にヒストグラム伸張を行う。

以上に説明したヒストグラム伸張部１３による処理を、解析的に示すと、以下のようになる。

まず、光源輝度設定部１２により設定されたバックライト光源輝度に基づき、入力画像の最小階調及び最大階調を、出力画像（表示画像）の最小階調及び最大階調に数式４を用いて変換する。

ここで、ｌ_ｍｉｎ、ｌ_ｍａｘは、ヒストグラム伸張後の最小階調及び最大階調であり、Γは、表示する画像表示部（ＬＣＤ）のガンマ値である。一般にガンマ値は２．２であり、入力画像のガンマ値であるγと一致する。

次に、入力画像の最小階調Ｌ_ｍｉｎ、最大階調Ｌ_ｍａｘ、出力画像の最小階調ｌ_ｍｉｎ、最大階調ｌ_ｍａｘを用いて、入力画像のヒストグラム伸張を行うゲインとオフセットを、数式５を用いて算出する。

ここで、Ｇ及びＯは、入力画像のヒストグラム伸張を行うゲインとオフセットを表している。

最後に求めたゲイン、オフセットを用いて、数式６により、入力画像の各画素の階調をヒストグラム伸張する。

ここで、Ｌ（ｘ、ｙ）は、入力画像上の位置（ｘ、ｙ）における階調を表し、ｌ（ｘ、ｙ）は、ヒストグラム伸張後の出力画像上の位置（ｘ、ｙ）の階調を示している。

これまでと同様に、上述した演算は、必ずしも行う必要は無く、以下のようにしてもよい。すなわち、最小階調及び最大階調とゲインとを対応づけたルックアップテーブルデータ（第１のテーブルデータ）を用意し、また最小階調及び最大階調とオフセットとを対応づけたルックアップテーブルデータ（第２のテーブルデータ）を用意する。第１のテーブルデータの一例を図１０に、第２のテーブルデータの一例を図１１に示す。ただし、図１０及び図１１のテーブルデータにおいて、最小階調≦最大階調なので、対角線より下半分には値を保持する必要はない。このようにして用意した第１および第２のテーブルデータを図９に示すようにヒストグラム伸張部１３によりアクセス可能なＲＯＭ１６等に格納しておく。ヒストグラム伸張の際は、入力画像から最小階調及び最大階調を検出し、検出した最小階調及び最大階調に基づき、第１及び第２のテーブルデータを参照してゲインＧとオフセットＯとを取得する。この後は、数式６にしたがった計算を行うことで入力画像のヒストグラムを伸張することができる。

（画像表示部）
上述したように、画像表示部１４は、光変調素子部としての液晶パネル２１と、光源の輝度を変調可能な、液晶パネル２１の背面に設置されたバックライト２２とより構成される。画像表示部１４では、ヒストグラム伸張部１３で伸張された入力画像を、液晶パネル（光変調素子）２１に書き込み、光源輝度設定部１２で設定されたバックライト（光源部）２２の光源輝度でバックライトを点灯することにより、入力画像の表示を行う（ステップＳ１５）。

ここで、バックライト２２の光源としては、冷陰極管や発光ダイオード（ＬＥＤ）等を用いることができる。これらは、印加する電圧や電流を制御することにより、その輝度を変調することが可能である。ただし、一般的には、発光と非発光の期間を高速に切り替えることにより輝度を変調するＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御が用いられる。本実施形態では、比較的発光強度の制御が容易であるＬＥＤ光源をＰＷＭ制御により変調する手法を用いることとした。

以上では、画像表示部の構成は、液晶パネル２１とバックライト２２とを組み合わせた透過型ＬＣＤとしたが、これ以外にも、図１２に示すように、ハロゲン光源３１等の光源と、液晶パネル２１と、レンズ２３とを組み合わせた投射型の画像表示部（プロジェクタ）３２でも良い。図１２では、単板（１つの液晶パネルを利用する）方式の投射型の画像表示部であるが、単板方式のみでなく、液晶パネルを複数（一般には赤、青、緑用の３枚）利用した投射型の画像表示部でも良い。

更に、図１３に示すように、ハロゲン光源４１等の光源からの光の反射を制御することにより画像を表示するデジタルマイクロミラーデバイス４３を光変調素子として利用する投射型の画像表示部４４でも良い。ハロゲン光源４１とデジタルマイクロミラーデバイス４３との間には、すなわち、白色の光を出射する光源の光軸上には、色を表すためのカラーホイール４２が設置される。カラーホイール４２は、例えば、透過色が赤、緑、青になるような領域に分割されている。光源の光軸上のカラーホイール４２が赤の時に、デジタルマイクロミラーデバイス４３に到達する光源の色は、赤となり、同時に、デジタルマイクロミラーデバイス４３に入力画像の赤成分の画像が表示される。デジタルマイクロミラーデバイス４３で反射した光はレンズ４５を介して出力される。以下同様に緑、青についても行い、この切り替えを非常に高速に行うことで、カラー画像を表示する。よって、図１３に示すハロゲン光源４１の輝度を、光軸上のカラーホイール４２の色によって変調し、同時に、デジタルマイクロミラーデバイス４３に表示する入力画像の各色成分の画像を、本実施形態に従ってヒストグラム伸張すればよい。

以上のように、本実施形態によれば、入力画像が本来有するダイナミックレンジで、視覚的なコントラストの優れた画像を表示することが可能となる。

（第２の実施形態）
図１４に本発明の第２の実施形態における画像表示装置の構成を示す。第２の実施形態による画像表示装置は、基本的な構成は、第１の実施形態と同様であるが、バックライト５７が、赤光源５６ａ、緑光源５６ｂ、青光源５６ｃからなる三原色の光源５６と、導光板５５とからなる点が異なる。各光源５６ａ〜５６ｃの輝度は独立に制御可能である。以下に各部の動作を説明する。

（階調範囲検出部）
階調範囲検出部５１では、入力画像の赤、緑、青の成分毎に、最小階調、最大階調を検出する。周知の通り、一般的には、カラー画像は、赤、緑、青の各成分の強度の割合により構成されており、本実施形態による階調範囲検出部５１では、この成分毎に最小階調、最大階調を独立に検出する。

（光源輝度設定部）
光源輝度設定部５２では、階調範囲検出部５１で検出された赤、緑、青それぞれの最小階調値、最大階調値を用いて、赤、緑、青の光源輝度を設定する。各光源輝度の設定方法は、第１の実施形態と同様であるため、ここでの説明は省略する。

ここでは、赤、緑、青の各光源の発光輝度を独立に求める構成としたが、各光源輝度が大きく乖離しないように、各光源輝度を補正する方法を用いることもできる。すなわち、各光源輝度のうち、最大の光源輝度を有する発光色の光源輝度に対する比率が所定の値未満である発光色の光源輝度を、最大の光源輝度に対する比率が上記所定の値以上となるように補正する。より具体的には、所定の値（比率）が０．７と設定されている場合に、赤、緑、青の光源輝度が、１、０．５、０．８と求められた場合に、緑の光源輝度０．５は、赤の光源輝度１．０に対し、０．５の比率となるため、緑の光源輝度を０．７に補正する。このような補正は、以下の場合において効果的である。

一般に、液晶パネルには画素毎に赤、緑、青のカラーフィルタが設置されており、カラーフィルタを光が通ることにより、各カラーフィルタの色に光が着色され、液晶パネル上にカラー画像が表示される。このカラーフィルタの分光特性と、赤、緑、青の光源（発光ダイオードが良く使われる）の分光特性は、通常異なっているため、例えば、緑の光源のみが発光し、液晶パネルの赤、青のカラーフィルタが設置されている画素に０階調の赤および青が書き込まれている場合でも、赤、青の画素から、緑の光源の発光が漏れてしまう。そのため、赤、緑、青の光源輝度が大きく異なっている場合、この漏れ光により、表示画像に色シフトが発生する。そこで、赤、緑、青の光源輝度の比率をある比率以上になるよう補正し、各光源輝度の差を小さくすることにより、色シフトの発生を抑制することができる。なお、比率の大きさは、使用する液晶パネルと、使用する光源との組み合わせにより異なる値とするべきであるが、通常０．５〜０．８程度の比率に設定すれば良い。更には、比率の大きさは、入力画像によって、異なる値とする構成としても良い。

（ヒストグラム伸張部）
ヒストグラム伸張部５３では、光源輝度設定部５２により設定された、赤、緑、青の光源輝度に基づき、入力画像の赤、緑、青の成分について独立にヒストグラム伸張を行う。ヒストグラム伸張処理は、入力画像の赤、緑、青の成分毎に第１の実施形態と同様の処理を行えば良いので、ここでの説明は省略する。

（画像表示部）
本実施形態における画像表示部５９は、光変調素子部としての液晶パネル５８と、バックライト５７とからなる透過型の液晶表示部とし、バックライト５７は、赤、緑、青の三原色の発光輝度を独立に制御可能な光源５６（赤光源５６ａ、緑光源５６ｂ、青光源５６ｃ）と、導光板５５とから構成される。各光源５６ａ〜５６ｃは、赤、緑、青の発光ダイオード（ＬＥＤ）とした。ただし、画像表示部の構成は、上記構成に限定されるものではない。

例えば、図１５に示すように、光変調素子部としてデジタルマイクロミラーデバイス７１と、赤、緑、青の三原色のＬＥＤ光源７２ａ〜７２ｃと、レンズ７４とを組み合わせた投射型の画像表示部７３でも構わない。ＬＥＤ光源７２ａ〜７２ｃの赤、緑、青の発光を時間的に高速に切り替えることにより図１４と同様の効果を得ることができる。

以上のように、本実施形態によれば、入力画像が本来有するダイナミックレンジで、視覚的なコントラストの優れた画像を表示することが可能となる。

（第３の実施形態）
図１６に本発明の第３の実施形態における画像表示装置の構成を示す。第３の実施形態による画像表示装置は、基本的に、第１の実施形態と同様であるが、階調範囲検出部８２の前に、低域通過フィルタ部８１が新たに設置されている点が異なっている。以下に各部の動作を説明する。

（低域通過フィルタ部）
低域通過フィルタ部８１では、入力画像を低域通過フィルタに通すことにより、入力画像の高域成分（高周波成分）を抑制する。低域通過フィルタとしては、様々な方法が考えられるが、本実施形態では、５タップのカーネルを入力画像に畳み込む方法とした。５タップのカーネルの係数は、数式７に示すように、標準偏差１のガウシアンフィルタとした。

数式７に示されるカーネルを入力画像に畳み込むことにより、入力画像の高域成分は、抑制される。

次に、低域通過フィルタ部８１による効果を説明する。入力画像にはアナログノイズや、圧縮ノイズ等、様々なノイズ成分が含まれている。このような入力画像から、そのまま最小階調や最大階調を検出した場合、これらのノイズの影響により入力画像の本来の最小階調、最大階調ではなく、ノイズ成分を最小階調や最大階調として検出してしまう可能性がある。また、入力画像において空間的に孤立したような点領域が含まれていた場合、やはりそのまま最小階調、最大階調を検出した場合、非常に小さい領域の最小階調や最大階調を検出する可能性がある。第１および第２の実施形態では、入力画像のダイナミックレンジを、入力画像の最小階調から最大階調として検出している。しかし、ノイズや空間的に非常に小さい領域を含む入力画像のダイナミックレンジを正しく表示しても、画像表示装置の観察者にとって特に視覚的コントラストを高める効果は期待できない。そこで、本実施形態のように入力画像に対し低域通過フィルタを施すことにより、入力画像の高域成分を抑制して、視覚的コントラストをより高めることが可能になる。

ここでは、階調範囲検出部８２の前に低域通過フィルタ部８１を設置する構成を示したが、例えば、図１７に示すように、階調範囲検出部８８に階調補正部８９を追加する構成としても良い。階調補正部８９は、入力画像において最小階調の画素から全画素数の所定の比率の画素を検出し、検出した各画素の階調を全て、その検出した画素に含まれる最大の階調に補正する。同様に最大階調の画素から全画素数の上記所定の比率の画素を検出し、検出した各画素の階調を全て、その検出した画素に含まれる最小の階調に補正する。具体例を以下に示す。

所定の比率を０．０１とし、入力画像の最小階調を１０、最大階調を１５０とする。また、最小階調の画素から数えて（入力画像の全画素数）×０．０１個の各画素における最大階調を１５、最大階調の画素から数えて（入力画像の全画素数）×０．０１個の各画素における最小階調を１４０とする。この場合、入力画像の１０階調から１５階調の画素は、全て１５階調に、１４０階調から１５０階調に含まれる画素は、全て１４０階調に補正される。この構成により、入力画像に含まれる階調の外れ値を除外することができるため、低域通過フィルタと同様の効果を得ることができる。

（階調範囲検出部）
図１６に戻り、階調範囲検出部８２では、低域通過フィルタ部８１により高域成分の抑制された入力画像に対し第１の実施形態と同様の動作により最小階調及び最大階調を検出する。具体的な動作は、第１の実施形態と同様であるため、ここでの説明は省略する。

（光源輝度設定部）
光源輝度設定部８３の動作も、第１の実施形態と同様であるため、ここでの説明は省略する。

（ヒストグラム伸張部）
ヒストグラム伸張部８４では、第１の実施形態と同様に、入力画像のヒストグラム伸張を行う。ただし、低域通過フィルタ部８１または階調補正部８９のために、階調範囲検出部で求められる最小階調および最大階調が、実際の入力画像の最小階調と最大階調と異なる値である可能性がある。そこで、これに対処するための追加の処理を行う。より詳しくは以下の通りである。

階調範囲検出部８２または階調範囲検出部８８で検出される最小階調は、入力画像の最小階調に比べ大きく、また、階調範囲検出部で検出される最大階調は、入力画像の最大階調に比べ小さい値となっている可能性がある。そのため、入力画像のヒストグラム伸張を行った結果、画像表示部８５（液晶パネル８６およびバックライト８７から構成される）で表示可能な最小階調（０階調）未満の階調に変換されたり、画像表示部で表示可能な最大階調（８ビットであれば２５５階調）より大きい階調に変換されたりする場合が発生する。そこで、本実施形態におけるヒストグラム伸張部８４では、入力画像のヒストグラム伸張処理の結果、画像表示部８５で表示可能な最小階調未満の階調に変換された階調は、画像表示部８５で表示可能な最小階調に、画像表示部８５で表示可能な最大階調より大きい階調に変換された階調は、画像表示部８５で表示可能な最大階調に補正する。補正対象となる画素は、入力画像中で僅かな画素であるため、上述のような処理を行っても視覚上問題とはならない。

（画像表示部）
画像表示部８５の動作は、第１の実施形態と同様であるため、ここでの説明は省略する。

以上のように、本実施形態によれば、入力画像にノイズ成分が含まれていたとしても、入力画像本来のダイナミックレンジで、視覚的なコントラストの優れた画像を表示することが可能となる。

本発明の第１の実施形態による画像表示装置の構成を示す図。 画像表示装置の動作フローを示すフローチャート。 階調と輝度とを対応づけたルックアップテーブルデータを示す図。 ２つの対数座標系と各座標系に描かれたグラフとを示す図。 ２つの対数座標系と各座標系に描かれたグラフとを示す図。 入力画像の最小階調及び最大階調と、バックライトの光源輝度とを対応づけたルックアップテーブルデータを示す図。 光源輝度設定部にＲＯＭを接続した構成を示す図。 ヒストグラム伸張の様子を示している。 ヒストグラム伸張部にＲＯＭを接続した構成を示す図。 最小階調及び最大階調とゲインとを対応づけたルックアップテーブルデータ（第１のテーブルデータ）を示す図。 最小階調及び最大階調とオフセットとを対応づけたルックアップテーブルデータ（第２のテーブルデータ）を示す図。 投射型の画像表示部を示す図。 デジタルマイクロミラーデバイスを用いた投射型の画像表示部を示す図。 本発明の第２の実施形態における画像表示装置の構成を示す図。 デジタルマイクロミラーデバイスと、赤、緑、青の三原色のＬＥＤ光源とを用いた投射型の画像表示部を示す図。 本発明の第３の実施形態における画像表示装置の構成を示す図。 階調範囲検出部に階調補正部を追加した構成を示す図。

符号の説明

１１、５１、８２、８８：階調範囲検出部
１２、５２、８３：光源輝度設定部
１３、５３、８４：ヒストグラム伸張部
１４、３２、４４、５９、７３、８５：画像表示部
１５、１６：ＲＯＭ（テーブル格納部）
２１、５８、８６：液晶パネル（光変調素子部）
２２、８７：バックライト（光源部）
３１、４１：ハロゲン光源
４２：カラーホイール
４３：デジタルマイクロミラーデバイス
４５：レンズ
５５：：光導板
５６：三原色光源
５６ａ、７２ａ：赤光源
５６ｂ、７２ｂ：緑光源
５６ｃ、７２ｃ：青光源
８１：低域通過フィルタ部
８９：階調補正部

Claims (21)

1. 光源輝度を調整可能な光源部と、与えられた画像に基づいて前記光源部からの光の透過率または反射率を変調することにより画像表示を行う光変調素子部と、を有する画像表示部と、
   入力画像の最小階調及び最大階調を検出する階調範囲検出部と、
   前記最小階調によって表示されるべき輝度である最小輝度を前記光変調素子部に表示できる最大の光源輝度としての第１の光源輝度と、前記最大階調によって表示されるべき輝度である最大輝度を前記光変調素子部に表示できる最小の光源輝度としての第２の光源輝度とを求め、求めた前記第１の光源輝度と前記第２の光源輝度とから前記光源部に設定する光源輝度を求め、求めた光源輝度を前記光源部に設定する光源輝度設定部と、
   前記求めた光源輝度により決まる前記光変調素子部の階調−輝度特性において前記最小輝度及び前記最大輝度に相当する階調まで、前記入力画像をヒストグラム伸張し、ヒストグラム伸張後の入力画像を前記光変調素子部に与えるヒストグラム伸張部と、
   を備えた画像表示装置。
2. 前記光源輝度設定部は、予め定められた前記光源部の輝度変調範囲における最小変調輝度及び最大変調輝度と、前記光変調素子部の最小透過率及び最大透過率または最小反射率及び最大反射率とによって決まる、前記光変調素子部で表示可能な最小表示輝度及び最大表示輝度の範囲内に、与えられた階調を変換する関数を有し、前記関数に前記最小階調及び前記最大階調を入力することにより前記最小輝度及び前記最大輝度を計算することを特徴とする請求項１に記載の画像表示装置。
3. 前記関数は、逆ガンマ補正の項を含むことを特徴とする請求項１または２に記載の画像表示装置。
4. 階調と輝度とを対応づけたテーブルを格納するテーブル格納部をさらに備え、
   前記光源輝度設定部は、前記最小階調及び前記最大階調に基づいて前記テーブルを参照することにより前記最小輝度及び前記最大輝度を計算することを特徴とする請求項１に記載の画像表示装置。
5. 前記光源輝度設定部は、光源輝度と前記光変調素子部のガンマ特性との関係を表す情報に基づいて、前記最小輝度から前記第１の光源輝度を求め、前記最大輝度から前記第２の光源輝度を求めることを特徴とする請求項１ないし４のいずれか一項に記載の画像表示装置。
6. 前記光源輝度設定部は、前記第１の光源輝度が前記第２の光源輝度以上である場合、前記第２の光源輝度を前記光源部に設定すべき光源輝度として決定することを特徴とする請求項１ないし５のいずれか一項に記載の画像表示装置。
7. 前記光源輝度設定部は、前記第１の光源輝度が前記第２の光源輝度よりも小さい場合、前記第１の光源輝度と前記第２の光源輝度との間における光源輝度を、前記光源部に設定すべき光源輝度として決定することを特徴とする請求項１ないし５のいずれか一項に記載の画像表示装置。
8. 前記光源輝度設定部は、前記入力画像の平均階調をさらに用いて前記光源部に設定すべき光源輝度を決定することを特徴とする請求項７に記載の画像表示装置。
9. 最小階調及び最大階調と光源輝度とを対応づけたテーブルを格納するテーブル格納部をさらに備え、
   前記光源輝度設定部は、前記入力画像の最小階調及び最大階調に基づいて、前記テーブルを参照することにより前記光源部に設定すべき光源輝度を求めることを特徴とする請求項１に記載の画像表示装置。
10. 最小階調及び最大階調とゲインとを対応づけた第１のテーブルと、最小階調及び最大階調とオフセットとを対応づけた第２のテーブルとを格納するテーブル格納部をさらに備え、
    前記ヒストグラム伸張部は、前記入力画像に含まれる最小階調及び前記最大階調に基づき、前記第１及び第２のテーブルを参照することにより、前記ゲインと前記オフセットとを取得し、前記入力画像に含まれる各画素の階調をＬ、取得したゲインをＧ、取得したオフセットをＯとした場合に、（Ｇ×Ｌ）＋Ｏを計算することによりヒストグラム伸張を行うことを特徴とする請求項１ないし９のいずれか一項に記載の画像表示装置。
11. 前記光変調素子部の階調−輝度特性は、前記光変調素子部のガンマ特性であることを特徴とする請求項１ないし１０のいずれか一項に記載の画像表示装置。
12. 前記光源部は、複数の発光色の発光を独立に制御し、
    前記光源輝度設定部は、前記入力画像における前記発光色に相当する画像の前記最小輝度及び前記最大輝度から、前記発光色毎の前記第１の光源輝度及び第２の光源輝度を計算し、前記発光色毎の前記光源輝度を決定し、
    前記ヒストグラム伸張部は、前記入力画像における前記発光色に相当する画像毎に前記ヒストグラム伸張を行うことを特徴とする請求項１ないし１１のいずれか一項に記載の画像表示装置。
13. 前記光源輝度設定部は、前記発光色毎の前記光源輝度のうち最大の光源輝度に対する比率が所定の値未満である光源輝度を、前記最大の光源輝度に対する比率が前記所定の値以上となるように補正することを特徴とする請求項１２に記載の画像表示装置。
14. 前記光源部における前記複数の発光色は、赤、緑、青の三原色であることを特徴とする請求項１２または１３に記載の画像表示装置。
15. 前記入力画像の高周波成分を抑制する低域通過フィルタ部をさらに備え、
    前記階調範囲検出部は、前記低域通過フィルタ部により高周波成分が抑制された入力画像から前記最小階調及び前記最大階調を検出し、
    前記ヒストグラム伸張部は、前記階調−輝度特性において前記最小輝度及び前記最大輝度に相当する階調まで前記入力画像をヒストグラム伸張した際、前記入力画像の階調が、前記光変調素子部に表示可能な最小表示階調未満または最大表示階調より大きい場合、当該階調を前記最小表示階調または前記最大表示階調に補正することを特徴とする請求項１に記載の画像表示装置。
16. 前記階調範囲検出部は、前記入力画像において階調が最も大きいものから全画素数の所定比率の画素を検出し検出した各画素の階調を前記検出された画素の中で最も小さい階調に補正し、また階調が最も小さいものから全画素数の所定比率の画素を検出し検出した各画素の階調を前記検出された画素の中で最も大きい階調に補正し、
    前記ヒストグラム伸張部は、前記階調−輝度特性において前記最小輝度及び前記最大輝度に相当する階調まで前記入力画像をヒストグラム伸張した際、前記入力画像の階調が、前記光変調素子部に表示可能な最小表示階調未満または最大表示階調より大きい場合、当該階調を前記最小表示階調または前記最大表示階調に補正することを特徴とする請求項１に記載の画像表示装置。
17. 前記画像表示部は、前記光変調素子部としての液晶パネルと、前記液晶パネルの前面または背面より光を照射する前記光源部と、を有する投射型または透過型の液晶表示部であることを特徴とする請求項１に記載の画像表示装置。
18. 前記画像表示部は、前記光変調素子部としてのデジタルマイクロミラーデバイスと、前記デジタルマイクロミラーデバイスの前面から光を照射する前記光源部とを有する投射型の表示部であることを特徴とする請求項１に記載の画像表示装置。
19. 前記光源部は、発光ダイオードであることを特徴とする請求項１７または１８に記載の画像表示装置。
20. 前記光源部は、赤、緑、青の三原色の発光ダイオードであることを特徴とする請求項１９に記載の画像表示装置。
21. 光源輝度を調整可能な光源部と、与えられた画像に基づいて前記光源部からの光の透過率または反射率を変調することにより画像表示を行う光変調素子部と、を備えた画像表示装置において実行する画像表示方法であって、
    入力画像の最小階調及び最大階調を検出し、
    前記最小階調によって表示されるべき輝度である最小輝度を前記光変調素子部に表示できる最大の光源輝度としての第１の光源輝度と、前記最大階調によって表示されるべき輝度である最大輝度を前記光変調素子部に表示できる最小の光源輝度としての第２の光源輝度とを求め、求めた前記第１の光源輝度と前記第２の光源輝度とから前記光源部に設定する光源輝度を求め、求めた光源輝度を前記光源部に設定し、
    前記求めた光源輝度により決まる前記光変調素子部の階調−輝度特性において前記最小輝度及び前記最大輝度に相当する階調まで、前記入力画像をヒストグラム伸張し、ヒストグラム伸張した前記入力画像を前記光変調素子部に与える、
    ことを特徴とする画像表示方法。

Images