JP4969135B2 - 画像調整方法 - Google Patents

Description

本発明は、ディスプレイの輝度、コントラストおよびその他の性能を強化するための方法およびシステムに関する。

図１Ａおよび図１Ｂは、従来のバックライトＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）システムを示す図であり、図１Ａはバックライト光源として蛍光灯２を使った例を示し、図１Ｂはバックライト光源としてＬＥＤ１０を使った例を示す。周知のように、光源２又は１０からの光はディフューザ４で分散されて、ＬＣＤ偏光層６に供給され、ＬＣＤピクセル８を通して視認される。
代表的なディスプレイデバイスは、固定されたレンジのルミネンス（輝度）レベルを使用して画像を表示する。多くのディスプレイに対し、ルミネンスレンジは０から２５５に均一に離間した２５６レベルを有する。画像コード値は一般にこれらのレベルに直接割り当てられている。

大きなディスプレイを有する多くの電子デバイスでは、ディスプレイは主要な電力消費部品となっている。例えば、ラップトップコンピュータでは、ディスプレイはシステム内の他の部品のどれよりも多くの電力を消費し易い。電力の利用度が限られた多くのディスプレイ、例えば電池給電式デバイスで見られるディスプレイは、電力消費量を管理するのを助けるためにいくつかの照度（ｉｌｌｕｍｉｎａｔｉｏｎ）、すなわち輝度（ｂｒｉｇｈｔｎｅｓｓ）レベルを使用できる。あるシステムは電源、例えばＡＣ電源にプラグインした時にフルパワーモードを使用でき、バッテリー電源で作動する際には省電モードを使用できる。

一部のデバイスでは、ディスプレイは自動的に省電モードになることができ、このモードでは電力を無駄にしないよう、ディスプレイの照度を下げるようになっている。これらデバイスは、照度を段階的に下げる多数の省電モードを有することができる。一般に、ディスプレイの照度を下げると画質も同じように低下する。最大輝度レベルを下げると、ディスプレイのダイナミックレンジも小さくなり、画像コントラストにも問題が生じる。従って、代表的な省電モードの作動中はコントラストおよびその他の画質が低下する。

多くのディスプレイデバイス、例えば液晶ディスプレイ（ＬＣＤ）またはデジタルマイクロミラーデバイス（ＤＭＤ）は、一方向または別の方向からバックライト照明、サイドライト照明またはフロントライト照明される光バルブを使用している。バックライトバルブディスプレイ、例えばＬＣＤでは、液晶パネルの後方にバックライトが位置している。このバックライトはＬＣパネルを通して光を放射し、ＬＣパネルは画像に整合するように光を変調する。カラーディスプレイではルミネンスおよびカラーを変調できる。個々のＬＣピクセルはバックライトからＬＣパネルを通り、ユーザの目またはその他の対象まで送られる光量を変調する。一部のケースでは、前記対象を光センサ、例えば電荷結合素子（ＣＣＤ）とすることができる。

一部のディスプレイでは、画像を整合するのに光エミッタも使用できる。これらディスプレイ、例えば発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイは、別の光源からの光を反射するのではなく光を放出する画素を使用している。

本発明の第１の技術手段は、トーンスケール調整された画像を生成するため、トーンスケール調整モデルを画像に適用するステップと、ゲインが強化され、調整された画像を生成するため、ゲインマップ関数を前記トーンスケール調整された画像に適用するステップとを備えたことを特徴としたものである。

第２の技術手段は、トーンスケール調整された画像を生成するため、トーンスケール調整モデルを画像に適用するステップと、前記トーンスケール調整された画像からハイパス画像およびローパス画像を計算するステップと、調整されたハイパス画像を生成するため、ゲインマップ関数を前記ハイパス画像に適用するステップと、強化された画像を形成するため、前記ローパス画像を前記調整されたハイパス画像に加算するステップとを備えたことを特徴としたものである。

本発明の一部の実施形態は、減少された光源の照明強度を補償するか、または固定された光源照明レベルでの画質を改善するように、光バルブ変調されたピクセルのルミネンス変調レベルを変えるためのシステムおよび方法に関する。

本発明の一部の実施形態は、画像を整合するのに光エミッタを使用するディスプレイと共に使用することもできる。これらディスプレイ、例えば発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイは、別の光源からの光を反射するのではなく、発光する画素を使用している。本発明の実施形態は、これらデバイスによって生成される画像を強化するのに使用される。これら実施形態では、特定の画像周波数バンドのダイナミックレンジ、ルミネンスレンジおよびその他の画像のサブ分割を強化するのにピクセルの輝度を調整できる。

添付図面を参照し、本発明の次の詳細な説明を検討すれば、本発明の上記およびそれ以外の目的、特徴および利点がより容易に理解できよう。

図面を参照すれば、本発明の実施例について最良に理解できよう。全図を通して、同様な部分には同様な番号を付して示す。図面は次の詳細な説明の一部として援用する。

本明細書において、一般的に説明し、図に示す本発明の部分は、広範な種々の異なる構造で配置し、設計できることが容易に理解できよう。従って、本発明の方法およびシステムの実施例の次のより詳細な説明は、発明の範囲を限定するものではなく、単に本発明の現在のところ好ましい実施例を示すにすぎない。

本発明の実施例の要素はハードウェア、ファームウェアおよび／またはソフトウェアで具現化できる。本明細書に開示する実施例はこれら形態のうちの１つしか記述できないが、当業者であれば本発明の範囲内において、これら要素をこれら形態のうちのいずれかで実現できると理解すべきである。

光バルブ変調器、例えばＬＣ変調器およびその他の変調器を使用するディスプレイデバイスは光を反射でき、ここでは（画面を見ている者（以下ビューワーと称す）に向いた）正面に光を放射し、変調パネル層を通過した後にビューワーに再び戻るように配置される。ディスプレイデバイスはまた透過性であり、ここでは変調パネル層の背面に光が放射され、変調層を通ってビューワーまで進むことができる。反射能力と透過能力とを組み合わせた反射透過性であるディスプレイデバイスもある。このデバイスでは、光は背面から変調層を通って正面に進むことができ、一方、別の光源からの光は変調層の正面から進入した後に反射されるようになっている。これらケースのいずれにおいても、変調層内の要素、例えば個々のＬＣ要素は１つのピクセルのうちの知覚できる輝度を制御できる。

バックライト、正面ライトおよびサイドライトディスプレイでは、光源は一連の蛍光管、ＬＥＤアレイまたはその他の光源とし得る。ディスプレイが約１８インチの代表的サイズよりも大きい場合、デバイスのための電力消費量の大部分は光源によって消費される電力である。あるアプリケーション用および所定のマーケットでは、電力消費量を削減することが重要である。しかしながら、電力の削減は光源の光束を低減することを意味し、従ってディスプレイの最大輝度を低減することを意味する。

現在のガンマ補正された光バルブ変調器のグレイレベルコード値、ＣＶ、光源レベルＬ_{ｓｏｕｒｃｅ}および出力光レベルＬ_ｏｕｔに関する基本方程式は次のとおりである。

ここで、ｇは較正ゲインであり、ｄａｒｋは光バルブのダークレベルであり、ａｍｂｉｅｎｔは室内条件からディスプレイに入射する光である。この方程式から、バックライト用の光源をｘ％だけ低減すると、光出力もｘ％低減されることが判る。

光バルブの変調値を変えることにより、特に、これら値を増加することによって、光源レベルの低下を補償できる。実際に（１−ｘ％）未満の光レベルを正しく再現できるが、追加光源または光源の強度を増加することなく、（１−ｘ％）を越える光レベルを再現することはできない。

元の低下した光源からの光出力を設定すると、（ｄａｒｋおよびａｍｂｉｅｎｔが０であると仮定した場合に）ｘ％の低減に対してコード値を補正するのに使用できる基本コード値の補正が得られる。このコード値は次のとおりである。

図２Ａはこの調整を示すものであり、図２Ａおよび図２Ｂでは、元のディスプレイの値はライン１２に沿ったポイントに対応する。バックライトまたは光源が省電モードとなっており、光源の照明量が低減されるときは、光バルブが光源の照明量の低減に抗して作用できるよう、ディスプレイコード値を増加しなければならない。これら増加した値は、ライン１４に沿ったポイントに一致する。しかしながら、このような調整の結果、コード値１８はディスプレイが生成できる値（例えば、８ビットディスプレイでは２５５）よりも大きくなる。従って、これら値は図２Ｂに示されるようにクリッピングされる（２０）。このように調整された画像は、ハイライトがウォッシュアウトされ、不自然に見え、かつ一般に画質が低下するという問題が生じ得る。

このような簡単な調整モデルを使用した場合、低減された光源照明モードとなっている間、フルパワー光源で発生するレベルに等しいルミネンスレベルでクリッピングポイント１５よりも下のコード値（本実施例では入力コード値２３０）が表示される。省電を生じさせる低パワーでも同じルミネンスが発生する。画像のコード値の組はクリッピングポイント１５を下回るレンジに制限された場合、ユーザが気づくことなく省電モードを作動できる。不幸なことに、コード値がクリッピングポイント１５を越えた場合、ルミネンスが低下し、細部が失われる。本発明の実施形態は、ルミネンスレンジのハイエンドで生じ得るクリッピングアーティファクトを低減しながら、ＬＣＤまたは光バルブコード値を変更し、大きい輝度（または省電モードでの輝度低下がない）アルゴリズムを提供できる。

低パワーで表示される画像ルミネンスと大きなレンジの値に対してフルパワーで表示される画像ルミネンスとを一致させることにより、ディスプレイの光源のパワーを低減することに関連する輝度の低下を除去できる本発明の実施形態もある。これら実施形態では、出力ルミネンスを特定のファクター除算する光源またはバックライトパワーの低減を、レシプロカルファクターだけ画像データを増加（ブースト）することによって補償する。

ダイナミックレンジの制限を無視することにより、フルパワーで表示される画像と低パワーで表示される画像とを同じにすることができる。その理由は、（低減された光源の照明に対する）除算と（増加したコード値に対する）乗算とは、大きなレンジにわたって実質的に相殺するからである。画像データの（コード値増加に対する）乗算がディスプレイの最大値を超える場合はいつも、ダイナミックレンジの制限によってクリッピングアーティファクトが生じ得る。ダイナミックレンジの制限によって生じるクリッピングアーティファクトは、コード値の上端で増加をロールオフすることによって解消または低減できる。このロールオフは、最大忠実度ポイント（ＭＦＰ）でスタートでき、このポイントを超えるとルミネンスは元のルミネンスに一致できなくなる。

本発明の一部の実施形態では、画像強化のために光源照明低減または仮想的な低減を補償するのに次のステップを実行できる。
１）ルミネンス低減パーセントに換算した光源（バックライト）の低減レベルを決定する。
２）低パワー出力とフルパワー出力との一致からのロールオフが生じる最大忠実度ポイント（ＭＦＰ）を決定する。
３）補償トーンスケール演算子を決定する。
ａ．ＭＦＰより下では、トーンスケールを増加し、ディスプレイのルミネンスの低下を補償する。
ｂ．ＭＦＰより上では、トーンスケールを徐々にロールオフする（一部の実施例では、連続微分値を維持する）。
４．トーンスケールマッピング演算子を画像に適用し、
５．これをディスプレイに送る。

これら実施形態の主な利点は、狭いカテゴリーの画像に対するわずかな変更だけで省電を達成できることである。（ＭＦＰより上で違いが生じるだけであり、この違いはピーク輝度が下がることと、明るい細部が一部失われることである）。フルパワーモードと同じルミネンスの省電力モードでＭＦＰより下の画像値を表示することができ、これによって、これら画像の領域はフルパワーモードと区別できなくなる。

本発明の一部の実施形態では、電力の低減およびディスプレイガンマ値に依存するが、画像データには依存しないトーンスケールマップを使用できる。これら実施形態は２つの利点を有する。第１の利点は、フレームを処理することによって生じるフリッカアーティファクトが発生しないことであり、第２の利点は、アルゴリズムの実施上の複雑さが極めて低いことである。一部の実施例では、オフライントーンスケールデザインとオンライントーンスケールマッピングを使用できる。ＭＦＰを指定することにより、ハイライトのクリッピング減少を制御できる。

図３を参照して本発明の実施形態の特徴を説明できる。図３は、いくつかの状況におけるルミネンスに対してプロットされた画像コード値を示すグラフである。点線で示された第１曲線３２は、１００％のパワーで作動する光源に対する元のコード値を示す。一点鎖線の曲線で示される第２曲線３０は、光源がフルパワーのうちの８０％で作動するときの元のコード値のルミネンスを示す。点線曲線で示される第３曲線３６は、光源がフルパワーのうちの８０％で作動するときの１００％の光源照明量で提供されるルミネンスに一致するためにコード値を増加したときのルミネンスを示す。実線で示される第４曲線３４は、データのハイエンドでのクリッピングの効果を低減するために、ロールオフ曲線と共に増加したデータを示している。

図３に示されたこの実施例では、コード値１８０でのＭＦＰ３５を使用した。コード値１８０よりも下方において、増加した曲線３４は元の１００％のパワーディスプレイによりルミネンス出力３２と一致している。１８０より上では、増加曲線は８０％のディスプレイで可能な最大出力までスムーズに移行している。このようなスムーズさによって、クリッピングおよび量子化アーティファクトが低減されている。一部の実施形態では、ＭＦＰ３５で示される過渡ポイントにおいてスムーズに一致するために、トーンスケール関数を断片的に定めることができる。ＭＦＰ３５より下では、増加したトーンスケール関数を使用できる。ＭＦＰ３５より上では、曲線は、ＭＦＰにおいて増加したトーンスケール曲線のエンドポイントにスムーズにはめ込まれ、最大コード値「２５５」にてエンドポイント３７にはめ込まれている。一部の実施形態では、曲線の傾きを、ＭＦＰ３５における増加したトーンスケール曲線／ラインの傾きに一致させることができる。このことは、ＭＦＰにおけるラインの微分値と曲線関数の微分値を等しくし、そのポイントにおけるラインの値と曲線関数の値を一致させることにより、ＭＦＰより下のラインの傾きとＭＦＰより上の曲線の傾きとを一致させることによって達成できる。曲線関数に対する別の制限は、最大値ポイント「２５５、２５５」３７を強制的に通過させることである。一部の実施形態では、曲線の傾きを最大値ポイント３７で０に設定でき、別の実施形態では、１８０のＭＦＰ値は２０％の光源電力低減率に対応し得る。

本発明の一部の実施形態では、最大忠実度ポイント（ＭＦＰ）よりも下方において、ゲインｇとの線形関係によりトーンスケール曲線を定義できる。この曲線と第１微分とがＭＦＰで連続するように、ＭＦＰよりも上で更にトーンスケールを定義できる。この連続性はトーンスケール関数での次の形態を意味する。

次のようにディスプレイガンマ値および輝度低減比によりゲインを決定できる。

一部の実施形態では、ハイライトの詳細部の保存と絶対輝度の保存とを手でバランスさせることにより、ＭＦＰの値をチューニングできる。
最大ポイントで傾きを０とする旨の制限を課すことによりＭＦＰを決定できる。このことは次の式を意味する。

一部の実施例では、簡単な増加データに対するコード値、増加データをそれぞれクリッピングデータおよび補正データにより計算するのに次の式を使用できる。

定数Ａ、ＢおよびＣは、曲線がポイント「２５５、２５５」を通過するように、ＭＦＰでのスムーズなはめ込みが行えるように選択される。図４にはこれら関数のプロットが示されている。

図４は、元のコード値と調整されたコード値との関係を示すプロット図である。元のコード値は元のデータライン４０に沿ったポイントとして示されており、これらポイントは調整された値と調整を行わない元の値との１：１の関係を示している。本発明の実施形態によれば、これら値はより高いルミネンスレベルを示すように増加または調整できる。上記「トーンスケール増加」方程式による簡単な増加手順の結果、増加ライン４２に沿った値が得られる。これら値をディスプレイする結果、ライン４６としてグラフで示され、かつ上記「トーンスケールクリッピングされた」方程式で数式で示されるクリッピングが生じるので、調整は曲線４４に沿った最大忠実度ポイント４５から最大値ポイント４７までテーパ減となり得る。一部の実施形態では、上記「トーンスケール補正された」方程式でこの関係を数学的に教示できる。

これら概念を使用した場合、光源が１００％のパワーで作動しているときにディスプレイによって表示されるルミネンス値は、それよりも低いパワーレベルで光源が作動している場合のディスプレイによって表示できる。このことは、光源の照明の損失を補償するように光バルブを更に実質的に開放させるトーンスケールの増加によって達成される。しかしながら、全コード値レンジにわたってこのような増加を簡単に適用する結果、レンジのハイエンドでクリッピングアーティファクトが生じる。これらアーティファクトを防止または低減するために、トーンスケール関数をスムーズにロールオフできる。このようなロールオフは、ＭＦＰパラメータによって制御できる。ＭＦＰの大きな値は、広いインターバルにわたってルミネンスを一致させるが、コード値のハイエンドで見ることができるような量子化／クリッピングアーティファクトを増加させる。

本発明の実施形態は、コード値を調整することによって作動できる。簡単なガンマディスプレイモデルでは、コード値のスケーリングは異なるスケールファクターと共にルミネンス値のスケーリングを与える。より現実的なディスプレイモデルでこのような関係が維持されるかどうかを判断するために、ガンマオフセットゲイン−フレア（ＧＯＧ−Ｆ）モデルを検討できる。バックライトパワーのスケーリングはリニア減少方程式に対応し、ここではパーセントｐはａｍｂｉｅｎｔではなくディスプレイの出力に適用される。ゲインをファクターｐだけ減少することは、ゲインを変更しないまま残し、データ、コード値およびオフセットをディスプレイガンマによって決定されたファクターによりスケーリングすることに等価的であることがわかっている。数学的に、適当に変形できれば、パワー関数に乗算ファクターを引き込むことができる。この変形ファクターは、コード値およびオフセットの双方をスケーリングできる。

図５を参照し、本発明の一部の実施形態について説明できる。これら実施形態では、画像処理に先立ち、トーンスケール調整をオフラインで設計または計算でき、もしくは画像処理中にオンラインで調整を設計し、計算してもよい。トーンスケール調整５６は、作動のタイミングに関係なく、ディスプレイガンマ５０、効率ファクター５２および最大忠実度ポイント（ＭＦＰ）５４のうちの少なくとも１つに基づき、設計し、計算できる。これらファクターは、トーンスケール調整モデル５８を作成するように、トーンスケール設計プロセス５６で処理できる。このトーンスケール調整モデルは、アルゴリズム、ルックアップテーブル（ＬＵＴ）または画像データに適用できるその他のモデルの形態をとり得る。

調整モデル５８を一旦作成すると、これを画像データに適用できる。図６を参照し、この調整モデルの応用について説明できる。これら実施例では、画像を入力し（６２）、画像コード値を調整するように画像に対してトーンスケール調整モデル５８を適用する（６４）。このプロセスの結果、ディスプレイに送ることができる出力画像６６が得られる。トーンスケール調整の適用６４は一般にオンラインプロセスであるが、条件が認めた場合、画像表示前に実行してもよい。

本発明の一部の実施形態は、発光ピクセル変調器、例えばＬＥＤディスプレイ、プラズマディスプレイおよびその他のタイプのディスプレイを使ったディスプレイに表示される画像を強化するためのシステムおよび方法を含む。フルパワーモードまたは他の態様で作動する光源と共に、光バルブピクセル変調器を使用するディスプレイで表示される画像を強化するために、これら同じシステムおよび方法を使用できる。

これら実施形態は前に説明した実施形態と同じように作動するが、少なくされた光源照明量を補償するのではなく、これら実施形態は、単に光源が少なくされたかのようにピクセルのレンジのルミネンスを増加するにすぎない。このように画像の全体の輝度が改善される。

これら実施形態では、大きな範囲の値にわたって元のコード値が増加される。他の実施形態に対してこれまで説明したように、このようなコード値の調整を実行できるが、実際の光源の照明量の低減が行われない点が異なっている。従って、画像輝度は広いレンジのコード値にわたって大幅に増加する。

図３を参照し、同じようにこれら実施形態の一部について説明できる。これら実施形態では、元の画像に対するコード値は曲線３０に沿ったポイントとして示されており、これら値は、より高いルミネンスレベルを有する値まで増加または調整できる。これら増加された値は曲線３４に沿ったポイントとして表示でき、曲線３４はゼロポイント３３から最大忠実度ポイント３５まで延び、更に最大値ポイント３７まで傾きが徐々に減少する。

本発明の一部の実施形態は、アンシャープマスキング方法を含む。これら実施形態の一部では、アンシャープマスキングは空間的に変化するゲインを使用できる。このようなゲインは、画像の値および変形トーンスケール曲線の傾きによって決定できる。一部の実施形態では、ゲインアレイを使用することにより、ディスプレイパワーの制限に起因して画像輝度を再現できないときでも、画像コントラストをマッチングすることが可能となる。

本発明の一部の実施形態は、次のプロセスステップをとり得る。
１．トーンスケール調整モデルを計算する。
２．ハイパス画像を計算する。
３．ゲインアレイを計算する。
４．ハイパス画像をゲインによって重み付けする。
５．ローパス画像と重み付けされたハイパス画像とを加算する。
６．ディスプレイへ送る。
本発明の別の実施形態は、次のプロセスステップをとり得る。
１．トーンスケール調整モデルを計算する。
２．ローパス画像を計算する。
３．画像とローパス画像との差としてハイパス画像を計算する。
４．画像値および変更されたトーンスケール曲線の傾きを使ってゲインアレイを計算する。
５．ハイパス画像をゲインで重み付けする。
６．ローパス画像と重み付けされたハイパス画像とを加算する。
７．パワーが小さくされたディスプレイへ送る。

本発明の一部の実施形態を使用することにより、画像の狭いカテゴリーをわずかに変えるだけで、省電力を達成できる。（ＭＦＰより上でしか差が生じず、この差は、ピーク輝度の減少と明るい細部のある損失とから成る）。フルパワーモードと同じルミネンスの省電力モードでＭＦＰより下の画像値を表示することができ、これによって、これら画像の領域はフルパワーモードと区別できなくなる。本発明のその他の実施形態は、明るい細部の損失を少なくすることによってこの性能を改善できる。

これら実施形態は、明るい細部を保存するために空間的に変化するアンシャープマスキングをすることを含むことができる。他の実施例と同じように、オンラインコンポーネントとオフラインコンポーネントの双方を使用できる。一部の実施例では、トーンスケール関数の他にゲインマップを計算することにより、オフラインコンポーネントを拡張できる。ゲインマップは画像値に基づき、適用するためのシャープでないフィルタゲインを指定できる。トーンスケール関数の傾きを使って、ゲインマップ値を決定できる。一部の実施形態では、特定ポイント“Ｐ”でのゲインマップ値を、ポイント“Ｐ”におけるトーンスケール関数の傾きに対するＭＦＰよりも下のトーンスケール関数の傾きの比として計算できる。一部の実施形態では、トーンスケール関数はＭＦＰよりも下でリニアであるので、ゲインはＭＦＰよりも下の単位となる。

図７を参照し、本発明の一部の実施形態について説明できる。これら実施形態では、画像処理前にオフラインでトーンスケール調整を設計または計算することができるし、または画像処理中にオンラインで調整を設計し、計算できる。作動タイミングに拘わらず、ディスプレイガンマ７０、効率ファクター７２および最大忠実度ポイント（ＭＦＰ）７４のうちの少なくとも１つに基づき、トーンスケール調整７６を設計または計算できる。これらファクターは、トーンスケール調整モデル７８を作成するのにトーンスケール設計プロセス７６で処理できる。このトーンスケール調整モデルは、アルゴリズム、ルックアップテーブル（ＬＵＴ）または上記他の実施例に関連して説明したような画像データに適用できる他のあるモデルの形態をとり得る。これら実施形態では、別個のゲインマップ７７も計算する（７５）。このゲインマップ７７は、特定の画像のサブ分割、例えば周波数レンジに適用できる。一部の実施形態では、画像の周波数分割された部分にゲインマップを適用できるし、一部の実施形態ではハイパス画像サブ分割にゲインマップを適用できるし、特定の画像周波数レンジまたはその他の画像サブ分割にもゲインマップを適用できる。

図８を参照して、トーンスケール調整モデルの一例について説明する。これら実施例では（光源低減を補償する実施例に使用されるＭＦＰに類似する）関数過渡ポイント（ＦＴＰ）８４を選択し、ＦＴＰ８４より下の値に対する第１ゲイン関係８２を提供するようにゲイン関数を選択する。一部の実施形態では、第１ゲイン関係はリニア関係とすることができるが、他の関係および関数を使ってコード値を強化されたコード値に変換してもよい。ＦＴＰ８４より上で第２ゲイン関係８６を使用できる。この第２ゲイン関係８６は、ＦＴＰ８４と最大値ポイント８８とを接合する関数とすることができる。一部の実施形態では、第２ゲイン関係８６はＦＴＰ８４において第１ゲイン関係８２の値および傾きを一致させることができ、最大値ポイント８８を通過できる。他の実施形態を参照してこれまで説明した他の関係およびその他の関係も、第２ゲイン関係８６として作動できる。

一部の実施形態では、図８に示されるようなトーンスケール調整モデルに関連してゲインマップ７７を計算できる。図９を参照し、ゲインマップ７７の一例について説明する。これら実施形態では、ゲインマップ関数は、トーンスケール調整モデルの傾きの関数としてトーンスケール調整モデル７８に関連しており、一部の実施形態では、特定のコード値でのゲインマップ関数の値は、ＦＴＰより下のコード値におけるトーンスケール調整モデルの傾きの、この特定コード値におけるトーンスケール調整モデルの傾きに対する比によって決定される。一部の実施形態では、次の方程式において、この関係を数学的に表記できる。

これら実施形態では、リニア増加をトーンスケール調整モデルが生じさせるようなＦＴＰより下の関数にゲインマップ関数が等しくなっている。ＦＴＰよりも上のコード値に対して、トーンスケール調整モデルの傾きが徐々に減少するにつれ、ゲインマップ関数が急に増加する。このようなゲインマップ関数のシャープな増加は、この関数を適用する画像部分のコントラストを強化する。

８０％のディスプレイパーセント（光源低減率）、２.２のディスプレイガンマおよび１８０の最大忠実度ポイントを使って、図８に示されたトーンスケール調整ファクターの例および図９に示されたゲインマップ関数の例を計算した。

本発明の一部の実施形態では、トーンスケール調整モデルの適用に従うように、アンシャープマスキング動作を適用できる。これら実施形態では、アンシャープマスキング技術によってアーティファクトを減少できる。

図１０を参照し、本発明の一部の実施形態について説明する。これら実施形態では、元の画像１０２を入力し、この画像に対してトーンスケール調整モデル１０３を適用する。ゲインマップを生じさせるゲインマッピングプロセス１０５への入力として元の画像１０２も使用する。次に、ローパスフィルタ１０４を通してトーンスケール調整された画像を処理し、この結果、ローパス調整された画像が生じる。次に、トーンスケール調整された画像からローパス調整された画像を減算し（１０６）、ハイパス調整された画像を発生する。次に、ゲインマップ内の適当な値をこのハイパス調整された画像に乗算し（１０７）、ゲイン調整されたハイパス画像を提供し、このゲイン調整されたハイパス画像を次にローパス調整された画像へ加算（１０８）する。このローパス調整された画像は、既にトーンスケール調整モデルによって調整されたものである。この加算の結果、輝度が増加し、高周波コントラストが改善された出力画像１０９が得られる。

これら実施形態のうちのいくつかでは、画像の各ピクセルの各成分に対し、ゲインマップおよびそのピクセルにおける画像の値からゲイン値を決定する。トーンスケール調整モデルを適用する前の元の画像１０２を使用してゲインを決定できる。ハイパス画像の各ピクセルの各成分を、ローパス画像に戻すように加える前に、対応するゲイン値によってスケーリングすることもできる。ゲインマップ関数が１であるポイントでは、アンシャープマスキング動作では画像値を変更しない。ゲインマップ関数が１を超えるポイントでは、コントラストが高められる。

本発明の一部の実施形態では、画像を多数の周波数バンドに分解することによって、コード値の輝度を高めたときのハイエンドコード値におけるコントラストの損失を解決する。一部の実施形態では、ローパスバンドにトーンスケール関数を適用し、画像データの輝度を高め、低パワー設定時の光源ルミネンスの低下を補償するか、または表示された画像の輝度を単に高めることができる。これと並行に、ハイパスバンドに一定ゲインを適用し、より小さいディスプレイパワーに起因して平均絶対輝度が低下している領域でも、画像のコントラストを保存できる。アルゴリズムの一例の動作は次のように示される。

１．元の画像の周波数分解を実行する。
２．ローパス画像に対して輝度保存、トーンスケールマップを適用する。
３．ハイパス画像に対して一定の乗数を適用する。
４．ローパス画像とハイパス画像とを加算する。
５．その結果をディスプレイに送る。

元の画像のフルパワーディスプレイと光源照明低減アプリケーションのためのプロセス画像の低パワーディスプレイとの間の光度を一致させることにより、オフラインでトーンスケール関数と一定ゲインとを決定できる。輝度強化アプリケーションのために、トーンスケール関数をオフラインで決定することもできる。

適当なＭＦＰ値に対して、これら一定ハイパスゲインの実施形態とアンシャープマスキングの実施形態とは、それらの性能でほとんど区別することはできない。これら一定ハイパスゲインの実施形態は、アンシャープマスキングの実施形態と比較して主に３つの利点を有する。すなわち、ノイズによる影響が少ないこと、より大きいＭＦＰ／ＦＴＰを使用できること、およびディスプレイシステムにおいて現在の処理ステップを使用できることである。アンシャープマスキング実施形態は、トーンスケール曲線の傾きの逆数であるゲインを使用するものであり、この曲線の傾きが小さいとき、このゲインは大きな増幅ノイズを招く。このノイズの増幅は、ＭＦＰ／ＦＴＰのサイズに実用的な限界も課し得る。第２の利点は、任意のＭＦＰ／ＦＴＰ値に拡張できることである。第３の利点は、システムにおけるアルゴリズムの設定を検査することから得られるものであり、一定ハイパスゲイン実施形態とアンシャープマスキング実施形態の双方は周波数分解を使用している。一定ハイパスゲイン実施形態は、まず最初にこのような動作を実行するが、一方、一部のアンシャープマスキング実施形態は、まず周波数分解の前にトーンスケール関数を適用する。一部のシステム処理、例えば逆コンチュアリングは、輝度保存アルゴリズムの前に周波数分解を実行する。これらのケースでは、一部の一定ハイパス実施形態によってこのような周波数分解を使用し、よって変換ステップを省略できるが、他方、一部のアンシャープマスキング実施形態は周波数分解を反転し、トーンスケール関数を適用し、別の周波数分解を実行しなければならない。

本発明の一部の実施形態は、トーンスケール関数の適用に先立ち、空間周波数に基づき画像を分割することにより、ハイエンドコード値におけるコントラストの損失を防止している。これら実施形態では、画像のローパス（ＬＰ）成分に対して、ロールオフを伴うトーンスケール関数を適用できる。光源照明低減補償アプリケーションでは、このことはローパス画像成分の全体のルミネンスの一致を生じさせる。これら実施形態ではハイパス（ＨＰ）成分は一様に増加（一定ゲイン）される。周波数分割された信号を再結合し、必要に応じてクリッピングできる。ハイパス成分はトーンスケール関数のロールオフを通過しないので、細部が保存される。ローパストーンスケール関数のスムーズなロールオフは、増加されたハイパスコントラストを追加するためのヘッドルームを保存する。このような最終組み合わせで生じ得るクリッピングは、細部を大幅に低下するものであるとは判っていない。

次に図１１を参照し、本発明の一部の実施形態について説明する。これら実施形態は、周波数分割または分解ステップ１１１と、ローパストーンスケールマッピングステップ１１２と、一定ハイパスゲインステップすなわち増加ステップ１１６と、強化された画像成分の加算または再結合ステップ１１５とを備える。

これら実施例では、入力画像１１０を空間周波数バンドに分解する。２つのバンドを使用する実施例では、ローパス（ＬＰ）フィルタ１１１を使用してこのような分解を実行できる。周波数分割は、ローパスフィルタ１１１を介してＬＰ信号を計算し、元の信号からＬＰ信号を減算（１１３）し、ハイパス（ＨＰ）信号１１８を形成することによって実行される。実施例では、この分解のために空間５×５レクトフィルタを使用できるが、別のフィルタを使用してもよい。

前述の実施形態で説明したように、トーンスケールマッピングを適用することによって、次にＬＰ信号を処理できる。実施例では、この処理は光度マッチングＬＵＴを用いて達成できる。これら実施形態では、フィルタリングステップ１１１において、ほとんどの細部が既に抽出されているので、前に述べた一部のアンシャープマスキング実施形態と比較してより高い値のＭＦＰ／ＦＴＰを使用できる。コントラストを追加すべき一部のヘッドルームを保存すべきであるので、一般にクリッピングを使用すべきではない。

一部の実施形態では、ＭＦＰ／ＦＴＰを自動的に決定し、トーンスケール曲線の傾きが上限で０となるようにＭＦＰ／ＦＴＰを設定できる。図１２には、このように決定された一連のトーンスケール関数が示されている。これら実施形態では、トーンスケール関数が２５５で傾きが０となるようにＭＦＰ／ＦＴＰの最大値を決定できる。この最大値は、クリッピングを生じさせない最大のＭＦＰ／ＦＴＰ値である。

図１１を参照して説明した本発明の一部の実施形態では、ＨＰ信号１１８の処理は、ローパス信号を処理するのに使用されるＭＦＰ／ＦＴＰの選択と独立している。電力／光源照度が低減されるか、または輝度を改善するために画像コード値を増加するときに、コントラストを保存する一定ゲイン１１６によりＨＰ信号１１８を処理する。フルバックライトパワーおよび低減されたバックライトパワー（ＢＬ）およびディスプレイのガンマ値に関するＨＰ信号のゲイン１１６に対する式を、次にハイパスゲイン方程式として示す。ゲインは一般に小さい（例えば、ゲインは８０％の電力の低減およびガンマ値２.２に対して１.１である）ので、ＨＰコントラストの増加はノイズに対して強い。

一部の実施形態では、ＬＵＴ処理または他の方法により、ＬＰ信号に対して一旦トーンスケールマッピング１１２を適用し、ＨＰ信号に対して一定ゲイン１１６を適用すると、これら周波数成分を加算（１１５）し、一部のケースではクリッピングできる。ＬＰ値に加算された増加したＨＰ値が２５５を超えるときにクリッピングが必要となる。このことは、一般にハイコントラストの輝度信号に対してのみ該当する。一部の実施形態では、トーンスケールＬＵＴの構造により、ＬＰ信号が上限を超えないように保証されている。ＨＰ信号は加算時にクリッピングを生じさせ得るが、ＨＰ信号の負の値はクリッピングが生じた場合でもクリッピングされず、一部のコントラストを維持できる。

これまで明細書で使用した用語および表現は、発明を説明する用語であり、発明を制限する用語として使用したものでなく、かかる用語および表現の使用にあたり、明細書に説明し、図示した特徴およびその一部の均等物を排除するものではない。本発明の範囲は、特許請求の範囲のみによって定義され、限定されるものである。

光源に蛍光灯を使用した従来のバックライトＬＣＤシステムを示す図である。 光源にＬＥＤを使用した従来のバックライトＬＣＤシステムを示す図である。 元の画像コード値と増加した画像コード値との間の関係を示すグラフである。 元の画像コード値とクリッピングにより増加した画像コード値との間の関係を示すグラフである。 種々のコード値変更方式に対するコード値に関連したルミネンスレベルを示すグラフである。 元の画像コード値と、種々の変更方式に従って変更された画像コード値との間の関係を示すグラフである。 トーンスケール調整モデル生成の一例を示す図である。 トーンスケール調整モデルの適用の一例を示す図である。 トーンスケール調整モデルの一例およびゲインマップ生成の例を示す図である。 トーンスケール調整モデルの一例を示すグラフである。 ゲインマップの一例を示すグラフである。 トーンスケール調整モデルおよびゲインマップを画像に適用したプロセスの一例を示すフローチャートである。 画像の周波数バンドにトーンスケール調整モデルを適用し、画像の別の周波数バンドにゲインマップを適用するプロセスの一例を示すフローチャートである。 ＭＦＰが変化する際のトーンスケール調整モデルの変化を示すグラフである。

符号の説明

２…蛍光バックライトシステム、４…ディフューザ、８…ＬＣＤピクセル、１０…ＬＥＤバックライトアレイ。

Claims (7)

1. ａ）画像データのコード値をトーンスケール調整モデルを用いて変換することにより、該コード値が調整された第１の画像データを生成するステップと、
   ｂ）前記第１の画像データにローパスフィルタを適用して前記第１の画像データのローパス成分を形成し、前記第１の画像データから該第１の画像データのローパス成分を減算して得た第２の画像データのコード値のゲインをゲインマップ関数を用いて決定し、決定されたゲインを用いてコード値が調整された第３の画像データを前記第２の画像データから生成し、該第３の画像データに前記第１の画像データのローパス成分を加えることにより第４の画像データを生成するステップとを備え、
   前記第１の画像データを生成するステップが、予め指定されたコード値よりも下の第１の範囲のコード値のゲインを調整する第１のステップと、前記予め指定されたコード値よりも上の第２の範囲のコード値を増加させる第２のステップとを含み、前記トーンスケール調整モデルは直線グラフと曲線グラフからなり、該直線グラフは、前記第１のステップにおけるゲインの調整前の第１の範囲のコード値に対する該ゲインの調整後の第１の範囲のコード値を示すものであり、前記曲線グラフは、前記増加前の第２の範囲のコード値に対する前記増加後の第２の範囲のコード値を示し、かつ、前記増加前の第２の範囲のコード値の増加に従い接線の傾きが徐々に小さくなり、該曲線グラフに応じて前記第２の範囲のコード値の増加量は決定され、該曲線グラフにより示される前記増加後の第２の範囲のコード値の最小値は、前記予め指定されたコード値に対して前記第１のステップにおけるゲインの調整により得られる値と一致し、前記曲線グラフにより示される前記増加後の第２の範囲のコード値の最大値は、ディスプレイにおける表示処理において設定し得るコード値の最大値と一致し、
   前記ゲインマップ関数は、あるコード値が入力された場合に、該コード値における前記トーンスケール調整モデルの傾きに対する前記直線グラフの傾きの比を前記第３の画像データを生成するステップにおいて用いられるゲインとして出力する関数であることを特徴とする画像調整方法。
2. 前記第１の範囲のコード値のゲインの調整が、前記第１の範囲のコード値に乗算されるゲインを一定ゲインとする調整であることを特徴とする請求項１に記載の画像調整方法。
3. 前記ゲインマップ関数が、ディスプレイガンマ、効率ファクターおよび前記予め指定されたコード値のうちの少なくとも１つに依存することを特徴とする、請求項１に記載の画像調整方法。
4. 前記第１の範囲において前記ゲインが調整される前のコード値に対する該ゲインが調整された後のコード値を示すグラフの前記予め指定されたコード値における傾きが、前記曲線グラフの前記予め指定されたコード値における接線の傾きに一致することを特徴とする、請求項１に記載の画像調整方法。
5. 前記曲線グラフにおける接線は、前記増加後の第２の範囲のコード値が最大値となる点で０の傾きを有することを特徴とする、請求項１に記載の画像調整方法。
6. 前記第１のステップでは、第１の関数を用いて該第１の範囲のコード値のゲインを調整し、前記第２のステップでは、前記予め指定されたコード値に対して前記ゲインの調整により得られる値から、前記ディスプレイにおける表示処理において設定し得るコード値の最大値まで前記第２の範囲のコード値を変化させる第２の関数を用いて、該第２の範囲のコード値を増加させることを特徴とする、請求項１に記載の画像調整方法。
7. 前記ゲインマップ関数は、前記第１の範囲に含まれるコード値のゲインを該コード値に係わらず一定にし、前記第２の範囲に含まれるコード値のゲインを該コード値の増加に応じて増加させる関数であることを特徴とする、請求項１に記載の画像調整方法。

Images