JP2007507008A

JP2007507008A - 空間的にオフセットされたサブフレームの生成および表示

Info

Publication number: JP2007507008A
Application number: JP2006528193A
Authority: JP
Inventors: ダメラ‐ヴェンカタ，ニランジャン; トレッター，ダニエル・アール
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2003-09-26
Filing date: 2004-09-24
Publication date: 2007-03-22
Also published as: US20050069209A1; US7190380B2; EP1665224A1; WO2005031695A1

Abstract

【課題】擬似高解像度画像を生成し表示する方法及びシステムを提供する。
【解決手段】表示装置を使用して画像を表示する方法は、第１の画像の画像データの第１の集合を受け取るステップを含む。画像データの第１の集合に対応する第１のサブフレーム及び第２のサブフレームが生成される。量子化式の第１の集合に基づいて第１のサブフレーム及び第２のサブフレームのビット深度が低減され、それによって第１のディザリングサブフレーム及び第２のディザリングサブフレームが生成される。本方法は、第１のディザリングサブフレームを第１の位置に表示することと、第２のディザリングサブフレームを第１の位置から空間的にオフセットされた第２の位置に表示することとを交互に行うステップを含む。
【選択図】図１

Description

本発明は、一般的に表示システムに関連しており、特に空間的にオフセットされたサブフレームの生成および表示に関連する。

本出願は、２００２年８月７日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２１３，５５５号と、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，１９５号と、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，５４５号と、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３１，６８１号と、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３２，０４２号と、本出願と同日の出願である「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６７２，５４４号（整理番号２００３１２４３３−１）とに関連する。上記の各米国特許出願は、本願の出願人に譲渡されており、本願の参考文献である。

ディスプレイ、プロジェクタ、その他の画像システム等の画像を表示する従来のシステムまたは装置は、横の列や縦の列、菱形格子、またはその他のパターンにより配置された個々の画素またはピクセルの配列をアドレス指定することによって表示画像を生成する。横の列と縦の列を有するピクセルパターンを持つ表示画像の解像度は、表示画像を形成する個々のピクセルの横の列と縦の列の数として定義される。表示画像の解像度は、表示装置自体の解像度及び表示装置が処理し表示画像の生成に使用される画像データの解像度の影響を受ける。

通常、表示画像の解像度を上げるためには、表示装置の解像度及び表示画像の生成に使用される画像データの解像度を上げなければならない。しかしながら、表示装置の解像度を上げると、表示装置のコスト及び複雑度が増加する。さらに、解像度のより高い画像データが利用できず、または生成が難しい場合がある。

本発明は、上記事情に鑑みてなされたものであり、擬似高解像度画像を生成し表示する方法及びシステムを提供することを目的とする。

本発明の１つの形態は、第１の画像の画像データの第１の集合を受け取ることを含む表示装置を使用して画像を表示する方法を提供する。画像データの第１の集合に対応する第１のサブフレームと第２のサブフレームが生成される。量子化式の第１の集合に基づいて第１のサブフレームと第２のサブフレームのビット深度が低減され、それによって第１のディザリングサブフレームと第２のディザリングサブフレームが生成される。本方法は、第１のディザリングサブフレームを第１の位置に表示することと、第２のディザリングサブフレームを第１の位置から空間的にオフセットされた第２の位置に表示することと交互に行うことを含む。

以下の好ましい実施形態の詳細な説明では、本明細書の一部を成し、本発明を実施することができる特定の実施形態を例示する添付図面を参照する。他の実施形態を利用することも可能であり、本発明の範囲から逸脱することなく構造的または論理的な変更を行うことができることを理解されたい。したがって、以下の詳細な説明は限定的な意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲によって定義される。

Ｉ．サブフレームの空間的かつ時間的なシフト
デジタルライトプロジェクタ等の表示システムの中には、いくつかの高解像度画像を表示するのに十分な解像度を有さないものがある。このようなシステムは、より低い解像度画像を空間的かつ時間的にシフトして表示することによって、人間の目に対して解像度をより高く見せるように構成することができる。低解像度画像をサブフレームと呼ぶ。本発明の実施形態により対処するサブフレーム生成の問題は、表示されるサブフレームの見かけが、サブフレームが導き出される元となった高解像度画像が仮にそのまま表示された場合の見かけに近くなるように、サブフレームに対して適切な値を決定することである。

サブフレームの時間的かつ空間的なシフトを通して見かけの解像度の向上を提供する表示システムの一実施形態が、参照文献として上記に引用した米国特許出願に記載されており、図１から図４Ｅを参照しながら以下に要約する。

図１は、本発明の一実施形態による画像表示システム１０を示すブロック図である。画像表示システム１０は、表示画像１４を生成するための画像１２の処理を容易にする。画像１２は、任意の絵図、グラフィックス、またはテキストキャラクタ、シンボル、イラスト、または他の情報表現を含むものと定義される。画像１２は、たとえば、画像データ１６によって表される。画像データ１６は、画像１２の個々の画素またはピクセルを含む。１枚の画像が画像表示システム１０により処理されるものとして図示し説明するが、複数または一連の画像を画像表示システム１０によって処理し表示できることを理解されたい。

一実施形態においては、画像表示システム１０は、フレームレート変換ユニット２０と、画像フレームバッファ２２と、画像処理ユニット２４と、表示装置２６とを備える。以下に説明するように、フレームレート変換ユニット２０と画像フレームバッファ２２は、画像１２の画像データ１６を受け取ってバッファリングし、画像１２の画像フレーム２８を生成する。画像処理ユニット２４は画像フレーム２８を処理して、画像フレーム２８に対して１つまたは複数の画像サブフレーム３０を定義し、表示装置２６は画像サブフレーム３０を時間的かつ空間的に表示して表示画像１４を生成する。

フレームレート変換ユニット２０及び画像処理ユニット２４を含む画像表示システム１０は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせを含む。一実施形態においては、フレームレート変換ユニット２０及び画像処理ユニット２４を含む画像表示システム１０の１つまたは複数の構成要素は、コンピュータ、コンピュータサーバ、または一連の論理動作を行うことができる他のマイクロプロセッサベースのシステムに含まれる。さらに、処理をシステム全体に分散させ、個々の部分を別個のシステム構成要素で実施することができる。

画像データ１６は、デジタル画像データ１６１またはアナログ画像データ１６２を含む。アナログ画像データ１６２を処理するために、画像表示システム１０はアナログデジタル（Ａ／Ｄ）変換器３２を含む。したがって、Ａ／Ｄ変換器３２はアナログ画像データ１６２を後続処理のためにデジタル形式に変換する。こうして、画像表示システム１０は、画像１２のデジタル画像データ１６１またはアナログ画像データ１６２を受け取って処理することができる。

フレームレート変換ユニット２０は、画像１２の画像データ１６を受け取り、画像データ１６を画像フレームバッファ２２にバッファリングまたは記憶する。より具体的には、フレームレート変換ユニット２０は、画像１２の個々のラインまたはフィールドを表す画像データ１６を受け取り、画像データ１６を画像フレームバッファ２２にバッファリングして画像１２の画像フレーム２８を生成する。画像フレームバッファ２２は、画像フレーム２８の画像データをすべて受け取って記憶することにより画像データ１６をバッファリングし、フレームレート変換ユニット２０は、その後、画像フレーム２８のすべての画像データを画像フレームバッファ２２から取得または抽出することによって画像フレーム２８を生成する。したがって、画像フレーム２８は、画像１２の全体を表す画像データ１６の複数の個々のラインまたはフィールドを含むものと定義される。このため、画像フレーム２８は、画像１２を表す個々のピクセルの複数の列及び複数の行を含む。

フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像データ１６をプログレッシブ画像データまたはインタレース画像データとして受け取って処理することができる。プログレッシブ画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２の画像データ１６のシーケンシャルフィールドを受け取って記憶する。したがって、フレームレート変換ユニット２０は、画像１２の画像データ１６のシーケンシャルフィールドを取得することによって画像フレーム２８を生成する。インタレース画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２の画像データ１６の奇数フィールド及び偶数フィールドを受け取って記憶する。たとえば、画像データ１６のすべての奇数フィールドを受け取って記憶し、画像データ１６のすべての偶数フィールドを受け取って記憶する。したがって、フレームレート変換ユニット２０は画像データ１６をデインタレースし、画像１２の画像データ１６から奇数フィールド及び偶数フィールドを取得することによって画像フレーム２８を生成する。

画像フレームバッファ２２は、各画像１２の１つまたは複数の画像フレーム２８の画像データ１６を記憶するメモリを含む。したがって、画像フレームバッファ２２は１つまたは複数の画像フレーム２８のデータベースを構成する。画像フレームバッファ２２の例としては不揮発性メモリ（たとえば、ハードディスクドライブまたは他の永続的な記憶装置）があり、また揮発性メモリ（たとえば、ランダムアクセスメモリ（ＲＡＭ））でもよい。

フレームレート変換ユニット２０において画像データ１６を受け取り、画像フレームバッファ２２を使用して画像データ１６をバッファリングすることにより、画像データ１６の入力タイミングを表示装置２６のタイミング要件と切り離すことができる。より具体的には、画像フレームバッファ２２が画像フレーム２８の画像データ１６を受け取って記憶するため、入力として任意のレートで画像データ１６を得ることができる。したがって、画像フレーム２８のフレームレートを表示装置２６のタイミング要件に変換することができる。したがって、画像フレーム２８の画像データ１６は、表示装置２６のフレームレートで画像フレームバッファ２２から抽出することができる。

一実施形態においては、画像処理ユニット２４は解像度調整ユニット３４とサブフレーム生成ユニット３６を備える。以下に説明するように、解像度調整ユニット３４は、画像フレーム２８の画像データ１６を受け取り、画像データ１６の解像度を表示装置２６での表示に合わせて調整し、サブフレーム生成ユニット３６は画像フレーム２８に複数の画像サブフレーム３０を生成する。より具体的には、画像処理ユニット２４は、画像フレーム２８の画像データ１６を元々の解像度で受け取り、画像データ１６を処理することにより、画像データ１６の解像度を上げる、下げる、またはそのままにしておく。したがって、画像処理ユニット２４を用いることにより、画像表示システム１０は種々の解像度の画像データ１６を受け取って表示することができる。

サブフレーム生成ユニット３６は、画像フレーム２８の画像データ１６を受け取って処理し、画像フレーム２８の複数の画像サブフレーム３０を定義する。解像度調整ユニット３４が画像データ１６の解像度を調整した場合は、サブフレーム生成ユニット３６は、画像データ１６を調整後の解像度で受け取る。画像データ１６の調整後の解像度は、画像フレーム２８の画像データ１６の元々の解像度よりも高くても低くても、または同じであってもよい。サブフレーム生成ユニット３６は、表示装置２６の解像度に合う解像度を有する画像サブフレーム３０を生成する。画像サブフレーム３０は画像フレーム２８に等しいエリアのそれぞれである。サブフレーム３０はそれぞれ、画像１２の画像データ１６の部分集合を表す個々のピクセルの複数の列及び複数の行を含み、表示装置２６の解像度に合う解像度を有する。

各画像サブフレーム３０は、画像フレーム２８のピクセルの行列または配列を含む。画像サブフレーム３０は、それぞれが、異なるピクセルまたはピクセル部分を含むように互いに空間的にオフセットされる。したがって、画像サブフレーム３０は、以下に説明するように垂直距離および水平距離、または、垂直距離または水平距離だけ互いにオフセットされる。

表示装置２６は、画像サブフレーム３０を画像処理ユニット２４から受け取り、その後、画像サブフレーム３０を表示して表示画像１４を生成する。より具体的には、画像サブフレーム３０が互いに空間的にオフセットされているため、以下に説明するように、表示装置２６は、画像サブフレーム３０の空間的なオフセットに従って画像サブフレーム３０を異なる位置に表示する。したがって、表示装置２６は画像フレーム２８の画像サブフレーム３０を交互に表示して表示画像１４を生成する。このため、表示装置２６は画像フレーム２８の全体のサブフレーム３０を一度に表示する。

一実施形態においては、表示装置２６は、各画像フレーム２８の画像サブフレーム３０を表示するという１サイクルを行う。表示装置２６は、互いに空間的かつ時間的にオフセットされるように画像サブフレーム３０を表示する。一実施形態においては、表示装置２６は画像サブフレーム３０を光学的に操作して表示画像１４を生成する。したがって、表示装置２６の個々のピクセルを複数のロケーションにアドレス指定する。

一実施形態においては、表示装置２６は画像シフト装置３８を備える。画像シフト装置３８は、表示装置２６が表示する画像サブフレーム３０の位置を空間的に変更またはオフセットさせる。より具体的には、画像シフト装置３８は、以下に説明するように画像サブフレーム３０の表示位置を変えて表示画像１４を生成する。

一実施形態においては、表示装置２６は入射光線を変調する光変調器を備える。光変調器は、たとえば、マイクロミラーデバイス配列を形成するように配置された複数のマイクロミラーデバイスを備える。したがって、各マイクロミラーデバイスは表示装置２６の１つのセルまたはピクセルを構成する。表示装置２６はディスプレイ、プロジェクタ、または他の画像システムの一部を成すことができる。

一実施形態においては、画像表示システム１０はタイミングジェネレータ４０を備える。タイミングジェネレータ４０は、たとえば、フレームレート変換ユニット２０と、解像度調整ユニット３４とサブフレーム生成ユニット３６とを含む画像処理ユニット２４と、画像シフト装置３８を含む表示装置２６と通信する。したがって、タイミングジェネレータ４０は、画像データ１６をバッファリングして変換し画像フレーム２８を生成することと、画像フレーム２８を処理して画像データ１６の解像度を調整し画像サブフレーム３０を生成することと、画像サブフレーム３０の位置を決定して表示し表示画像１４を生成することとを同期させる。したがって、タイミングジェネレータ４０は、画像１２のサブフレームの全体が表示装置２６により表示画像１４として時間的かつ空間的に表示されるように画像表示システム１０のタイミングを制御する。

一実施形態においては、図２Ａ及び図２Ｂに示すように、画像処理ユニット２４は画像フレーム２８の２つの画像サブフレーム３０を定義する。より具体的には、画像処理ユニット２４は、画像フレーム２８の第１のサブフレーム３０１及び第２のサブフレーム３０２を定義する。したがって、第１のサブフレーム３０１及び第２のサブフレーム３０２はそれぞれ、画像データ１６の個々のピクセル１８の複数の列及び複数の行を含む。したがって、第１のサブフレーム３０１及び第２のサブフレーム３０２はそれぞれ、画像データ１６の部分集合の画像データ配列またはピクセル行列を構成する。

一実施形態においては、図２Ｂに示すように、第２のサブフレーム３０２は第１のサブフレーム３０１から垂直距離５０及び水平距離５２だけオフセットされる。したがって、第２のサブフレーム３０２は第１のサブフレーム３０１から所定の距離だけ空間的にオフセットされる。ある具体例では、垂直距離５０及び水平距離５２はそれぞれおよそピクセル半個分である。

図２Ｃに示すように、表示装置２６は、第１のサブフレーム３０１を第１の位置に表示することと、第２のサブフレーム３０２を第１の位置から空間的にオフセットされた第２の位置に表示することとを交互に行う。より具体的には、表示装置２６は、第２のサブフレーム３０２の表示を第１のサブフレーム３０１の表示に対して垂直距離５０及び水平距離５２だけシフトさせる。したがって、第１のサブフレーム３０１のピクセルが第２のサブフレーム３０２のピクセルに重なる。一実施形態においては、表示装置２６は、第１のサブフレーム３０１を画像フレーム２８の第１の位置に表示することと、第２のサブフレーム３０２を画像フレーム２８の第２の位置に表示することという１サイクルを行う。したがって、第２のサブフレーム３０２は、第１のサブフレーム３０１と比較して空間的かつ時間的に表示される。本明細書では、２つの時間的かつ空間的にシフトしたサブフレームをこのようにして表示することを、２位置処理（ｔｗｏ−ｐｏｓｉｔｉｏｎｐｒｏｃｅｓｓｉｎｇ）と呼ぶ。

別の実施形態においては、図３Ａから図３Ｄに示すように、画像処理ユニット２４は画像フレーム２８の４つの画像サブフレーム３０を定義する。より具体的には、画像処理ユニット２４は、画像フレーム２８の第１のサブフレーム３０１と、第２のサブフレーム３０２と、第３のサブフレーム３０３と、第４のサブフレーム３０４とを定義する。したがって、第１のサブフレーム３０１と、第２のサブフレーム３０２と、第３のサブフレーム３０３と、第４のサブフレーム３０４とはそれぞれ、画像データ１６の個々のピクセル１８の複数の列及び複数の行を含む。

一実施形態においては、図３Ｂから図３Ｄに示すように、第２のサブフレーム３０２は、第１のサブフレーム３０１から垂直距離５０及び水平距離５２だけオフセットされ、第３のサブフレーム３０３は、第１のサブフレーム３０１から水平距離５４だけオフセットされ、第４のサブフレーム３０４は、第１のサブフレーム３０１から垂直距離５６だけオフセットされる。したがって、第２のサブフレーム３０２と、第３のサブフレーム３０３と、第４のサブフレーム３０４とはそれぞれ互いに空間的にオフセットされ、第１のサブフレーム３０１から空間的に所定の距離だけオフセットされる。ある具体例では、垂直距離５０と、水平距離５２と、水平距離５４と、垂直距離５６とはそれぞれおよそピクセル半個分である。

図３Ｅに概略的に示すように、表示装置２６は、第１のサブフレーム３０１を第１の位置Ｐ₁に表示することと、第２のサブフレーム３０２を第１の位置から空間的にオフセットされた第２の位置Ｐ₂に表示することと、第３のサブフレーム３０３を第１の位置から空間的にオフセットされた第３の位置Ｐ₃に表示することと、第４のサブフレーム３０４を第１の位置から空間的にオフセットされた第４の位置Ｐ₄に表示することとを交互に行う。より具体的には、表示装置２６は、第２のサブフレーム３０２の表示と、第３のサブフレーム３０３の表示と、第４のサブフレーム３０４の表示とを第１のサブフレーム３０１に対してそれぞれ所定の距離だけシフトさせる。したがって、第１のサブフレーム３０１と、第２のサブフレーム３０２と、第３のサブフレーム３０３と、第４のサブフレーム３０４との各ピクセルは互いに重なる。

一実施形態においては、表示装置２６は、画像フレーム２８の第１のサブフレーム３０１を第１の位置に表示することと、第２のサブフレーム３０２を第２の位置に表示することと、第３のサブフレーム３０３を第３の位置に表示することと、第４のサブフレーム３０４を第４の位置に表示することという１サイクルを行う。したがって、第２のサブフレーム３０２と、第３のサブフレーム３０３と、第４のサブフレーム３０４とは相互に比較して時間的かつ空間的に表示され、第１のサブフレーム３０１と比較しても時間的かつ空間的に表示される。本明細書では、４つの時間的かつ空間的にシフトされたサブフレームをこのように表示することを４位置処理（ｆｏｕｒ−ｐｏｓｉｔｉｏｎｐｒｏｃｅｓｓｉｎｇ）と呼ぶ。

図４Ａから図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示することと、第２のサブフレーム３０２からのピクセル１８２を第２の位置に表示することと、第３のサブフレーム３０３からのピクセル１８３を第３の位置に表示することと、第４のサブフレーム３０４からのピクセル１８４を第４の位置に表示することという１サイクルを実行する一実施形態を示す。より具体的には、図４Ａは、第１の位置における第１のサブフレーム３０１からのピクセル１８１の表示を示し、図４Ｂは、第２の位置における第２のサブフレーム３０２からのピクセル１８２の表示を示し（第１の位置を破線で示す）、図４Ｃは、第３の位置における第３のサブフレーム３０３からのピクセル１８３の表示を示し（第１の位置及び第２の位置を破線で示す）、図４Ｄは、第４の位置における第４のサブフレーム３０４からのピクセル１８４の表示を示し（第１の位置、第２の位置、第３の位置を破線で示す）、図４Ｅは、第１の位置における第１のサブフレーム３０１からのピクセル１８１の表示を示す（第２の位置、第３の位置、第４の位置を破線で示す）。

ＩＩ．サブフレームのビット深度
本発明の一形態においては、画像表示システム１０（図１）は、パルス幅変調方式（ＰＷＭ）を用いて、時間にわたって積分し可変グレートーンを生成する可変幅の光パルスを生成し、画像シフト装置３８（図１）は離散マイクロミラーデバイス（ＤＭＤ）配列を備えており、フレーム時間内に表示されるサブフレーム３０のサブピクセルシフトを生成する。一実施形態においては、さらに以下に説明するように、１フレームの時間スロット（すなわち、フレーム時間またはフレーム時間スロット）は、カラーホイールを使用して三色（たとえば、赤、緑、青）に分割される。１フレーム当たりの色に利用可能な時間スロット（すなわち、カラー時間スロット）及びＤＭＤ配列の切り替え速度により、各フレームの色毎に得ることができるレベル数、ひいてはグレースケールビット数が決まる。図１から図４Ｅを参照して上述した２位置処理及び４位置処理の場合、時間スロットはＤＭＤ配列の空間位置にさらに分割される。これは、２位置処理及び４位置処理の各位置当たりのビット数が、他の処理の場合のビット数よりも少ないことを意味する。１フレーム当たりの位置数が多いほど、投影される画像の空間解像度が高い。しかし、１フレーム当たりの位置数が多いほど、各位置当たりのビット数は少なくなり、これは輪郭アーティファクト（ｃｏｎｔｏｕｒｉｎｇａｒｔｉｆａｃｔｓ）に繋がる恐れがある。２位置処理及び４位置処理に通常関連するビット深度の損失について、図５から図８を参照しながら以下さらに詳述する。

図５は、本発明の一実施形態によるフレーム時間スロット４０２を示す図である。図示の実施形態においては、フレーム時間スロット４０２の長さは１／６０秒である。フレーム時間スロット４０２は、３つのカラー時間スロット４０４Ａから４０４Ｃ（まとめてカラー時間スロット４０４と呼ぶ）を含む。図示の実施形態においては、時間スロット４０４Ａは赤時間スロットであり、時間スロット４０４Ｂは緑時間スロットであり、時間スロット４０４Ｃは青時間スロットである。図示の実施形態においては、３つのカラー時間スロット４０４の長さは等しい（たとえば、１／１８０秒）。別の実施形態においては、３つのカラー時間スロット４０４の長さは異なる。さらに別の実施形態においては、赤、緑、青、白のカラー時間スロット等、４つ以上のカラー時間スロット４０４が使用できる。

一実施形態においては、表示装置２６はＲＧＢ（赤緑青）カラーホイールを使用して赤色光、緑色光、青色光を生成する。赤時間スロット４０４Ａは、１フレーム当たりの赤色光に割り当てられる時間量を表す。緑時間スロット４０４Ｂは、１フレーム当たりの緑色光に割り当てられる時間量を表す。青時間スロット４０４Ｃは、１フレーム当たりの青色光に割り当てられる時間量を表す。

三色それぞれのビット深度は、以下の式Ｉに示すように、画像シフト装置３８の切り替え速度及びその色に割り当てられるフレーム時間スロット４０２の割合に依存する。

式Ｉ

（式Ｉ）

ここで、
Ｂ＝その色のビット数、
ｇ＝その色に割り当てられるフレーム時間スロット４０２の割合
Ｔ_switch＝画像シフト装置３８の最小切り替え時間
である。

式Ｉ中の、式の右辺を取り囲む括弧のように見える記号は「フロア」演算を表す。フロア演算を行うと、フロア演算の括弧内の値以下の最大の整数が得られる。三色のそれぞれがフレーム時間スロット４０２の１／３を占め（すなわち、ｇ＝１／３）、画像シフト装置３８の切り替え時間Ｔ_switchが２１マイクロ秒であると仮定すると、式Ｉは、三色のそれぞれのビット深度が８ビット（すなわち、Ｂ＝８ビット）であることを示す。画像シフト装置３８によっては、２１マイクロ秒の切り替え時間を実現することができないものもある。したがって、切り替え時間Ｔ_switchが、画像シフト装置３８によってはより妥当な４２マイクロ秒に変わると仮定すると、式Ｉは、三色のそれぞれのビット深度は７ビット（すなわち、Ｂ＝７ビット）に低減することを示し、１色当たりのいくつかの光強度レベル数が半減する。

図６は、本発明の一実施形態による１つのカラー時間スロット４０４Ａの光パルス集合の例を示す図である。一実施形態において表示装置２６は、パルス幅変調方式（ＰＷＭ）を用いて、幅（すなわち持続時間）が可変である光パルスを生成し、それによってさまざまな光強度を表す。図６に示す例の場合、赤カラー時間スロット４０４Ａの光強度値は「９」である。光強度値「９」のビット表現は「１００１」（すなわち、１＊２³＋０＊２²＋０＊２¹＋１＊２⁰＝９）である。この例での最下位ビットは狭光パルス４１４に対応する。最下位ビットに対応する光パルス４１４の定時（ｏｎ−ｔｉｍｅ）を最下位ビット（ＬＳＢ）時間と呼ぶ。したがって、たとえば、画像シフト装置３８が最小切り替え時間Ｔ_switch２１マイクロ秒を有する場合、ＬＳＢ時間は２１マイクロ秒となる。より幅の広いパルスは、ＬＳＢ時間の倍数である定時を有する。この例での最上位ビットは、より幅の広い光パルス４１２に対応する。人間の視覚系はこれら２つの別個のパルス４１２及び４１４を平均化するため、光強度は見かけ上、値「９」である。同様に、パルス幅変調方式を使用して、緑カラー時間スロット４０４Ｂ及び青カラー時間スロット４０４Ｃの所望の光パルスを生成する。

光パルス４１２及び４１４等、比較的幅の広い光パルス及び比較的幅の狭い光パルスを使用すると、切り替えの低周波により表示画像にちらつきが発生する恐れがある。人間の視覚系はこういった低周波に対して敏感である。一実施形態においては、画像表示システム１０はビット分割を利用してちらつきを軽減する。ビット分割を利用すると、より幅の狭い光パルスがカラー時間スロット４０４Ａにわたってより一様に分散して、より高い周波数表現が得られる。たとえば、図６に示すように、幅の広い光パルス４１２が、幅の広い光パルス４１２と同じである総定時を有する３つのより幅の狭い光パルス４１６と、４１８と、４２０とに分割される。図示の実施形態においては、幅の狭い光パルス４２２は幅の狭い光パルス４１４と同じである。したがって、光の総定時は両方の場合で同じであるが、光パルス４１６〜４２２の周波数がより高いため、ちらつきが軽減される。

図７は、本発明の一実施形態による２×フィールドシーケンシャルカラー（ＦＳＣ）を使用した表示システム１０のフレーム時間スロット４０２を示す図である。図示の実施形態においては、フレーム時間スロット４０２は１／６０秒の長さである。フレーム時間スロット４０２は、６つのカラー時間スロット４０４Ａ−１と、４０４Ｂ−１と、４０４Ｃ−１と、４０４Ａ−２と、４０４Ｂ−２と、４０４Ｃ−２と（まとめてカラー時間スロット４０４と呼ぶ）を含む。図示の実施形態においては、時間スロット４０４Ａ−１及び４０４Ａ−２は赤時間スロットであり、時間スロット４０４Ｂ−１及び４０４Ｂ−２は緑時間スロットであり、時間スロット４０４Ｃ−１及び４０４Ｃ−２は青時間スロットである。図示の実施形態においては、６つのカラー時間スロット４０４の長さは等しい（たとえば、１／３６０秒）。

一実施形態においては、表示装置２６はＲＧＢ（赤緑青）カラーホイールを使用して赤色光、緑色光、及び青色光を生成し、カラーホイールは、各フレーム時間スロット４０２毎に完全に２回転し、これを２×フィールドシーケンシャルカラーと呼ぶ。赤時間スロット４０４Ａ−１及び４０４Ａ−２は、１フレーム当たりの赤色光に割り当てられた総時間量を表す。緑時間スロット４０４Ｂ−１及び４０Ｂ−２は、１フレーム当たりの緑色光に割り当てられた総時間量を表す。青時間スロット４０４Ｃ−１及び４０４Ｃ−２は、１フレーム当たりの青色光に割り当てられた総時間量を表す。

図７は、赤カラー時間スロット４０４Ａ−１及び４０４Ａ−２の光パルス集合の例も示す。図７に示す光パルス４１６〜４２２は、図６に示す光パルス４１６〜４２２と同じであり、光強度値「９」を表す。赤色に割り当てられる１フレーム当たりの時間は２つの赤カラー時間スロット４０４Ａ−１及び４０４Ａ−２により共有されるため、光パルスのうちの２つである４１６と４１８が時間スロット４０４Ａ−１内に生成され、その他の２つである光パルス４２０と４２２が時間スロット４０４Ａ−２内に生成される。

図８は、本発明の一実施形態によるフレーム時間スロット４０２に対応する２つのサブフレーム３０Ａ及び３０Ｂを示す図である。図示の実施形態においては、フレーム時間スロット４０２は１／６０秒の長さであり、サブフレーム３０Ａ及び３０Ｂはそれぞれフレーム時間の半分を占める（すなわち、１／１２０秒が各サブフレーム３０Ａ及び３０Ｂに割り当てられる）。フレーム時間スロット４０２は、６つのカラー時間スロット４０４Ａ−１と、４０４Ｂ−１と、４０４Ｃ−１と、４０４Ａ−２と、４０４Ｂ−２と、４０４Ｃ−２と（まとめてカラー時間スロット４０４と呼ぶ）を含む。図示の実施形態においては、時間スロット４０４Ａ−１及び４０４Ａ−２は赤時間スロットであり、時間スロット４０４Ｂ−１及び４０４Ｂ−２は緑時間スロットであり、時間スロット４０４Ｃ−１及び４０４Ｃ−２は青時間スロットである。図示の実施形態においては、６つのカラー時間スロット４０４の長さは等しい（たとえば、１／３６０秒）。時間スロット４０４Ａ−１と、４０４Ｂ−１と、４０４Ｃ−１とはサブフレーム３０Ａに対応し、時間スロット４０４Ａ−２と、４０４Ｂ−２と、４０４Ｃ−２とはサブフレーム３０Ｂに対応する。

図５を参照して上述したように、切り替え時間Ｔ_switchが２１マイクロ秒の場合、三色それぞれのビット深度は８ビットである。一実施形態においては、ビット深度が８ビットの場合、表すことができる最大光強度レベルは「２５２」である。２位置処理または４位置処理が用いられる場合、フレーム時間スロット４０２の総ビット数を２つ以上のサブフレームで共有するため、ビット深度及び表すことができる最大光強度レベルは低くなる。

たとえば、２位置処理の場合、サブフレーム３０Ａ及び３０Ｂはそれぞれフレーム時間スロット４０２の半分を占め、フレーム時間スロット４０２の総ビット数の半分を使用する。したがって、２位置処理の場合、かつ切り替え時間Ｔ_switchが２１マイクロ秒である場合は、三色それぞれのサブフレーム３０Ａまたは３０Ｂ当たりのビット深度は７ビットであり、１サブフレーム当たりで表すことができる最大光強度レベルは「１２６」である。ビット深度が７ビットの場合、１２７の強度レベルを表すことができる（たとえば、０，１，２，…，１２６）。２位置処理の場合、かつ切り替え時間Ｔ_switchが４２マイクロ秒である場合、三色それぞれのサブフレーム３０Ａまたは３０Ｂ当たりのビット深度は６ビットであり、１サブフレーム当たりで表すことができる最大光強度レベルは「１２６」である。ビット深度が６ビットの場合、６４の強度レベルを表すことができる（たとえば、０，２，４，…，１２６）。

別の例として、４位置処理の場合、各サブフレームはフレーム時間スロット４０２の四分の一を占め、フレーム時間スロット４０２の総ビット数の四分の一を使用する。したがって、４位置処理の場合、かつ切り替え時間Ｔ_switchが２１マイクロ秒である場合、三色それぞれの１サブフレーム当たりのビット深度は６ビットであり、１サブフレーム当たりで表すことができる最大光強度レベルは「６２」である。ビット深度が６ビットの場合、６３の強度レベルを表すことができる（たとえば、０，１，２，…，６２）。４位置処理の場合、かつ切り替え時間Ｔ_switchが４２マイクロ秒である場合、三色それぞれの１サブフレーム当たりのビット深度は５ビットであり、１サブフレーム当たりで表すことができる最大光強度レベルは「６２」である。ビット深度が５ビットの場合、３２の強度レベルを表すことができる（たとえば、０，２，４，…，６２）。

上述のように、２位置処理及び４位置処理に関連するビット深度の低下は、表示画像の輪郭アーティファクトに繋がる恐れがある。一実施形態においては、初期サブフレームがサブフレーム生成器３６により生成され、次いでサブフレームは時空間的にディザリングされる。ディザリングされたサブフレームの表示により、輪郭アーティファクトの低減または消失に繋がる。時空間的なディザリングについてさらに詳細に説明する前に、初期サブフレームを生成する技法について図９から図１２を参照して以下説明する。

ＩＩＩ．初期サブフレームの生成
サブフレーム生成ユニット３６（図１）は、画像フレーム２８内の画像データに基づいてサブフレーム３０を生成する。サブフレーム生成ユニット３６が行う機能はハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実施できることが当業者に理解されよう。これはマイクロプロセッサ、プログラマブルロジックデバイス、または状態機械を介して実施することができる。本発明の構成要素は、１つまたは複数のコンピュータ可読媒体内のソフトウェアに常駐することができる。本明細書において用いるコンピュータ可読媒体という用語は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、及びランダムアクセスメモリ等、揮発性または不揮発性の任意の種類のメモリを含む。

本発明の一形態では、サブフレーム３０は画像フレーム２８よりも低い解像度を有する。したがって、サブフレーム３０を本明細書では低解像度画像３０とも呼び、画像フレーム２８を本明細書では高解像度画像２８とも呼ぶ。本明細書では、低解像度及び高解像度という用語は相対的に用いられ、特定のピクセル最小数またはピクセル最大数のいずれにも限定されないことが当業者に理解されよう。一実施形態においては、サブフレーム生成ユニット３６は、図９を参照して以下説明する最近傍技法に基づいてサブフレーム３０を生成するように構成される。別の実施形態においては、サブフレーム生成ユニット３６は、擬似高解像度画像と所望の高解像度画像２８の間の誤差最小化に基づいてサブフレーム３０を生成するように構成される。擬似高解像度画像と所望の高解像度画像２８の間の誤差最小化に基づいてサブフレーム３０を生成する技法については、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３１，６８１号、と２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３２，０４２号とに記載されており、これらを参照するとともに、図１０から図１２を参照して以下に説明する。

図９は、本発明の一実施形態による最近傍アルゴリズムを用いて元の高解像度画像２８から低解像度サブフレーム３０Ａ及び３０Ｂ（まとめてサブフレーム３０と呼ぶ）を生成することを示す図である。図示の実施形態においては、高解像度画像２８は４列及び４行のピクセルを含み、総計で１６個のピクセルＨ１からＨ１６を含む。最近傍アルゴリズムの一実施形態においては、高解像度画像２８の１行目中のピクセルを１つ置きにとり、高解像度画像２８の２行目を飛ばし、高解像度画像２８の３行目中のピクセルを１つ置きにとり、このプロセスを、高解像度画像２８全体を通して繰り返すことによって第１のサブフレーム３０Ａが生成される。したがって、図９に示すように、サブフレーム３０Ａの１行目にはピクセルＨ１及びＨ３があり、サブフレーム３０Ａの２行目にはピクセルＨ９及びＨ１１がある。本発明の一形態では、第２のサブフレーム３０Ｂが第１のサブフレーム３０Ａと同じ様式で生成されるが、処理は、第１のピクセルＨ１から１行下かつ１列となりにシフトされたピクセルＨ６から開始される。したがって、図９に示すように、サブフレーム３０Ｂの１行目にはピクセルＨ６及びＨ８があり、サブフレーム３０Ｂの２行目にはピクセルＨ１４及びＨ１６がある。

一実施形態においては、最近傍アルゴリズムは、３つのフィルタ係数「０」を有し、４つ目のフィルタ係数が「１」であり、高解像度画像からピクセル値の加重和を生成する２×２フィルタで実施できる。上述した２位置処理を用いてサブフレーム３０Ａ及び３０Ｂを表示すると、見かけの解像度がより高い画像になる。最近傍アルゴリズムは４位置処理にも適用することができ、図９に示す数のピクセルを有する画像に限定されない。

図１０及び図１１は、擬似高解像度画像を生成するシステムを示す。上で触れたように、一実施形態においては、サブフレーム３０は擬似高解像度画像と所望の高解像度画像２８の間の誤差最小化に基づいて生成される。図１０及び図１１に示す擬似高解像度画像を生成するシステムは、さらに以下詳述するように、適切な時空間的ディザ配列を設計する一実施形態においても使用できる。

図１０は、本発明の一実施形態による８×４ピクセル低解像度サブフレーム３０Ｃの分割不可能なアップサンプリングに基づいた２位置処理の場合の擬似高解像度画像６１０を生成するシステム６００を示すブロック図である。一実施形態においては、低解像度サブフレームデータは別個のサブフレームによって表され、これらは対角サンプリング行列に基づいて別個にアップサンプリング（すなわち、分割可能なアップサンプリング）される。別の実施形態においては、図１０を参照して以下説明するように、低解像度サブフレームデータは単一のサブフレームによって表され、これは非対角サンプリング行列に基づいてアップサンプリング（すなわち、分割不可能なアップサンプリング）される。

図１０に示すように、システム６００は、５点アップサンプリング（ｑｕｉｎｃｕｎｘｕｐｓａｍｐｌｉｎｇ）工程６０２と、畳み込み工程６０６と、乗算工程６０８とを含む。サブフレーム３０Ｃは、５点サンプリング行列Ｑに基づいて５点アップサンプリング工程６０２によりアップサンプリングされ、それによってアップサンプリング画像６０４を生成する。アップサンプリング画像６０４中の暗いピクセルはサブフレーム３０Ｃの３２個のピクセルを表し、アップサンプリング画像６０４中の明るいピクセルはゼロ値を表す。２位置処理の場合、サブフレーム３０Ｃは、２つの４×４ピクセルサブフレームのピクセルデータを含む。アップサンプリング画像６０４の１行目、３行目、５行目、７行目中の暗いピクセルは第１の４×４ピクセルサブフレームのピクセルを表し、アップサンプリング画像６０４の２行目、４行目、６行目、８行目中の暗いピクセルは第２の４×４ピクセルサブフレームのピクセルを表す。

アップサンプリング画像６０４は、畳み込み工程６０６において補間フィルタで畳み込まれ、それによってブロック画像を生成する。図示の実施形態においては、補間フィルタは、フィルタ係数「１」を有し、畳み込みの中心が２×２行列の左上にある、２×２フィルタである。畳み込み工程６０６により生成されるブロック画像は、乗算工程６０８において係数０．５を乗じて、８×８ピクセルの擬似高解像度画像６１０を生成する。

図１１は、本発明の一実施形態によるサブフレーム３０Ｄに基づく４位置処理の場合に擬似高解像度画像７０６を生成するシステム７００を示すブロック図である。図１１に示す実施形態においては、サブフレーム３０Ｄは８×８ピクセルの配列を持つ。サブフレーム３０Ｄは、４位置処理の場合に４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１からＡ１６は第１の４×４ピクセルサブフレームのピクセルを表し、ピクセルＢ１からＢ１６は第２の４×４ピクセルサブフレームのピクセルを表し、ピクセルＣ１からＣ１６は第３の４×４ピクセルサブフレームのピクセルを表し、ピクセルＤ１からＤ１６は第４の４×４ピクセルサブフレームのピクセルを表す。

サブフレーム３０Ｄは、畳み込み工程７０２にて補間フィルタで畳み込まれ、それによってブロック画像を生成する。図示の実施形態において、補間フィルタは、フィルタ係数「１」を有し、畳み込みの中心が２×２行列の左上にある２×２フィルタである。畳み込み工程７０２により生成されたブロック画像は、乗算工程７０４にて係数０．２５で乗算され、８×８ピクセルの擬似高解像度画像７０６を生成する。一実施形態においては、サブフレーム３０Ｄで表される４つのサブフレームのそれぞれが、色に割り当てられた時間あたり時間スロットの四分の一の間しか表示されないため、画像データは乗算工程７０４において係数０．２５で乗算される。別の実施形態においては、乗算工程７０４において係数０．２５を乗算するのではなく、補間フィルタのフィルタ係数を係数０．２５に対応して減ずる。

上述したように、システム６００（図１０）及びシステム７００（図１１）はそれぞれ、低解像度サブフレームに基づいて擬似高解像度画像６１０及び７０６を生成する。最適なサブフレームの場合、擬似高解像度画像は元の高解像度画像２８に可能な限り近くなる。平均二乗誤差、加重平均二乗誤差、並びに他を含む種々の誤差測度を用いて、擬似高解像度画像が元の高解像度画像にどれくらい近いかを測ることができる。

図１２は、本発明の一実施形態による擬似高解像度画像６１０、７０６と、所望の高解像度画像２８との比較を示すブロック図である。擬似高解像度画像６１０または７０６は、減算工程８０２において高解像度画像２８からピクセル単位で減算される。一実施形態においては、得られた誤差画像データは、人間視覚系（ＨＶＳ）加重フィルタ（Ｗ）８０４によってフィルタリングされる。本発明の一形態では、ＨＶＳ加重フィルタ８０４は、人間視覚系の特性に基づいて誤差画像データをフィルタリングする。一実施形態においては、ＨＶＳ加重フィルタ８０４は、低周波誤差を低減するか、または取り除く。次いで、フィルタリングされたデータの平均二乗誤差が工程８０６において決定され、擬似高解像度画像６１０または７０６が所望の高解像度画像２８にどの程度近いかがわかる。

一実施形態においては、システム６００及び７００は、擬似高解像度画像６１０または７０６と、元の高解像度画像２８との差を測定する誤差コスト式（ｅｒｒｏｒｃｏｓｔｅｑｕａｔｉｏｎ）で数学的に表される。最適なサブフレームは、擬似高解像度画像と所望の高解像度画像との差が最小となるようなサブフレームデータを求めるための誤差コスト式を解くことにより決定できる。

ＩＶ．時空間的ディザリング
図５から図８を参照して上述したように、２位置処理及び４位置処理に関連するビット深度の損失があるため、ビット制約付き表示システムにおいて輪郭アーティファクトに繋がる恐れがある。本発明の一形態は、フレームに依存する時空間的ディザリングを使用して、ビット制約付き２位置処理及び４位置処理に関連する輪郭アーティファクトを大幅に低減または除去する。

一実施形態においては、初期サブフレーム３０は、まるでビット深度が制約されていないかのように生成される。本発明の一形態では、初期サブフレーム３０は、図９を参照して上述したように最近傍アルゴリズムに基づいてサブフレーム生成器３６（図１）により生成される。別の実施形態においては、初期サブフレーム３０は、所望の高解像度画像２８と擬似高解像度画像の間の誤差を最小化することに基づいて生成される。次いで、初期サブフレーム３０は、結果として生じる投影対象の高解像度画像が、サブフレームデータの空間的平均化により個々のサブフレーム３０に存在するレベルよりも高いレベルを有するように、サブフレーム生成器３６によってまとめて量子化される。本発明の一形態では、いくつかのサブフレームのピクセルは、連続フレームにわたる平均化によりさらにより多くのグレーレベルを回収できるように量子化される。本発明の一形態による時空間的ディザリングについて図１３から図２０を参照して以下さらに詳述する。

図１３は、本発明の一実施形態による２位置処理に基づく連続フレーム９０２Ａ及び９０２Ｂのサブフレーム３０の表示を示す図である。フレーム９０２Ａは２つのサブフレーム３０Ｅと３０Ｆとから成り、次いで連続フレーム９０２Ｂは２つのサブフレーム３０Ｇと３０Ｈとから成る。一実施形態においては、サブフレーム３０Ｅ（すなわち、２つの連続フレームのうちの第１のフレームの第１のサブフレーム）の各ピクセルのピクセル値は以下の式ＩＩに従って量子化される。
式ＩＩ

ここで、
ａ’＝量子化されたピクセル値
ａ＝元のピクセル値
である。

このように、式ＩＩに示すように、サブフレーム３０Ｅの量子化されたピクセル値は、元のピクセル値を４で割った結果に対してフロア演算を行い、その結果に４を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｆ（すなわち、２つの連続フレームのうちの第１のフレームの第２のサブフレーム）内の各ピクセルのピクセル値は、以下の式ＩＩＩに従って量子化される。
式ＩＩＩ

このように、式ＩＩＩに示すように、サブフレーム３０Ｆの量子化されたピクセル値は、元のピクセル値に２を加えた結果を４で割り、その結果に対してフロア演算を行い、さらに４を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｇ（すなわち、２つの連続フレームのうちの第２のフレームの第１のサブフレーム）内の各ピクセルのピクセル値は、以下の式ＩＶ
に従って量子化される。
式ＩＶ

このように、式ＩＶに示すように、サブフレーム３０Ｇの量子化されたピクセル値は、元のピクセル値に１を加えた結果を４で割り、その結果に対してフロア演算を行い、さらに４を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｈ（すなわち、２つの連続フレームのうちの第２のフレームの第２のサブフレーム）内の各ピクセルのピクセル値は、以下の式Ｖに従って量子化される。
式Ｖ

このように、式Ｖに示すように、サブフレーム３０Ｈの量子化されたピクセル値は、元のピクセル値に３を加えた結果を４で割り、その結果に対してフロア演算を行い、さらに４を乗ずることによって得られる。

たとえば、元のピクセル値が８ビットの場合、上記式ＩＩから式Ｖの量子化により、各ピクセルの可能な値は６５個あり、範囲は０，４，８，…，２５６である。一実施形態においては、各ピクセルの可能な値が６４個あり（すなわち、６ビット）、範囲が０，４，８，…，２５２となるように、２５２を上回る量子化値は取り除かれる。上記式ＩＩから式Ｖに示すように、個々の各フレームの２つのサブフレーム３０は別々に量子化され、連続フレーム内の対応するサブフレーム（たとえば、サブフレーム３０Ｅ及び３０Ｇ）は別々に量子化される。単一フレームに異なる量子化関数を使用することで空間ディザリング機能が提供でき、フレーム毎に異なる量子化関数を使用することで時間ディザリング機能が提供できる。このように、異なる量子化関数を使用することを、本明細書では時空間的ディザリングと呼ぶ。

本発明の一実施形態によるサブフレームの時空間的ディザリングは、個々のサブフレームに存在する強度レベルよりも高い強度レベルを、表示画像に生成する。時空間的ディザリングに基づいたさらなる強度レベルの生成について２つの例を用いて以下さらに詳述する。２位置処理を使用する第１の例について、図１４から図１６を参照して説明する。４位置処理を使用する第２の例については、図１８から図２０を参照して説明する。これら２つの例のそれぞれにおいて、２つの連続フレームの擬似高解像度画像が、時空間的ディザリングされたサブフレームに基づいて生成される。時空間的ディザリングされたサブフレームが実際に２位置処理または４位置処理を使用して表示された場合に、擬似高解像度画像は、実際に表示される画像がどのように見えるかを示す。

図１４は、本発明の一実施形態による２位置処理及びサブフレームのディザリングに基づいて、２つの連続フレームのうちの第１のフレームに対応する擬似高解像度画像９２２の生成を示す図である。低解像度サブフレーム３０Ｅ−１及び３０Ｆ−１の初期集合が、元の高解像度画像２８に基づいて生成される。図示の実施形態においては、サブフレーム３０Ｅ−１及び３０Ｆ−１の初期集合は、図９を参照して上述した最近傍アルゴリズムの一実施形態を用いて生成される。

サブフレームのビット深度が６ビットに制限され、可能な値の範囲が０，４，８，…，２５２であると仮定すると、たとえば「３」であるピクセル値はサブフレームで表現することができない。したがって、サブフレーム３０Ｅ−１及び３０Ｆ−１の初期集合内のピクセル値は、上記指定の範囲内の適切な値に量子化される。サブフレーム３０Ｅ−１は上記式ＩＩに基づいて量子化され、対応する量子化サブフレーム３０Ｅ−２を生成する。サブフレーム３０Ｆ−１は上記式ＩＩＩに基づいて量子化され、対応する量子化サブフレーム３０Ｆ−２を生成する。量子化サブフレーム３０Ｅ−２及び３０Ｆ−２はアップサンプリングされて、アップサンプリング画像９２０を生成する。アップサンプリング画像９２０は補間フィルタ９２４で畳み込まれ、それによってブロック画像を生成し、次いでブロック画像が係数０．５で乗算されて擬似高解像度画像９２２を生成する。

一実施形態においては、補間フィルタ９２４は、フィルタ係数「１」を有する２×２フィルタであり、畳み込みの中心が２×２行列の左上位置にある。補間フィルタ９２４の右下ピクセル９２６は、画像９２０の各ピクセル上に置かれ、そのピクセル位置のブロック値を決める。たとえば、図１４に示すように、補間フィルタ９２４の右下ピクセル９２６は、画像９２０の３行目かつ４列目にある、値「０」を有するピクセル上に置かれる。そのピクセル位置のブロック値は、フィルタ係数をフィルタ９２４のウィンドウ内のピクセル値を乗じ、その結果を加算することによって求められる。フレーム外の値は「０」とみなされる。図示の実施形態においては、画像９２０の３行目かつ４列目にあるピクセルのブロック値は以下の式ＶＩによって与えられる。
式ＶＩ
（１×０）＋（１×４）＋（１×０）＋（１×０）＝４

次いで、式ＶＩの値に係数０．５を乗じ、その結果（すなわち２）が、擬似高解像度画像９２２の３列目及び４列目にあるピクセル９２８のピクセル値である。

図１５は、本発明の一実施形態による２位置処理及びサブフレームのディザリングに基づく２つの連続フレームのうちの第２のフレームに対応する、擬似高解像度画像９３２の生成を示す図である。低解像度サブフレーム３０Ｇ−１及び３０Ｈ−１の初期集合が、元の高解像度画像２８に基づいて生成される。図示の実施形態においては、サブフレーム３０Ｇ−１及び３０Ｈ−１の初期集合は、図９を参照して上述した最近傍アルゴリズムの一実施形態を用いて生成される。

サブフレーム３０Ｇ−１は上記式ＩＶに基づいて量子化され、対応する量子化サブフレーム３０Ｇ−２を生成する。サブフレーム３０Ｈ−１は上記式Ｖに基づいて量子化され、対応する量子化サブフレーム３０Ｈ−２を生成する。量子化サブフレーム３０Ｇ−２及び３０Ｈ−２はアップサンプリングされて、アップサンプリング画像９３０を生成する。アップサンプリング画像９３０は補間フィルタ９２４（図１４）で畳み込まれ、それによってブロック画像を生成し、次いでブロック画像が係数０．５で乗算されて擬似高解像度画像９３２を生成する。

図１６は、図１４及び図１５にそれぞれ示す擬似高解像度画像９２２及び９３２の平均を表す高解像度画像９５０を示す図である。高解像度画像９５０内の各ピクセルは、擬似高解像度画像９２２及び９３２内の対応するピクセルの平均である。人間の視覚系は時間とともに平均化する傾向がある。したがって、２つのフレーム（または２つのフレームのサブフレーム）が比較的素早く連続して表示されると、人間の視覚系はえてして２つのフレームを平均化する。このため、２位置処理を用いて量子化サブフレーム３０Ｅ−２及び３０Ｆ−２を表示し、その後、２位置処理を用いて量子化サブフレーム３０Ｇ−２及び３０Ｈ−２を表示すると、人間の視覚系には高解像度画像９５０として見える。高解像度画像９５０内の大半のピクセルは値「３」を有する。したがって、時空間的ディザリングにより、すべて３から成る所望の高解像度画像２８に非常に近い結果画像が得られる（図１４及び図１５）。サブフレームがビット制約を有する、たとえばビット深度が６ビットに制約される場合であっても、表示画像はより高いビット深度（たとえば、８ビット）を有することになる。

これとは対照的に、仮に上述した時空間的ディザリングではなく一様な量子化が行われた場合は、付加的な強度レベルを回復できず、輪郭アーティファクトが生じることがある。たとえば、単に各ピクセルを４で割った結果にフロア演算を行い、さらに４を乗ずる等の一様な規則を各ピクセルに用いると、サブフレーム３０Ｅ−２及び３０Ｆ−２（図１４）並びにサブフレーム３０Ｇ−２及び３０Ｈ−２（図１５）内のピクセルはすべてゼロになる。このため、レベル「３」は表現できない。

図１７は、本発明の一実施形態による４位置処理に基づく連続フレーム９６２Ａ及び９６２Ｂのサブフレームの表示を示す図である。フレーム９６２Ａは４つのサブフレーム３０Ｉから３０Ｌから成り、次の連続フレーム９６２Ｂは４つのサブフレーム３０Ｍから３０Ｐから成る。一実施形態においては、サブフレーム３０Ｉ（すなわち、２つの連続フレームのうちの第１のフレームの第１のサブフレーム）内の各ピクセルのピクセル値は以下の式ＶＩＩに従って量子化される。
式ＶＩＩ

このように、式ＶＩＩに示すように、サブフレーム３０Ｉの量子化されたピクセル値は、元のピクセル値を８で割った結果に対してフロア演算を行い、さらに８を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｊ（すなわち、２つの連続フレームのうちの第１のフレームの第２のサブフレーム）内の各ピクセルのピクセル値は以下の式ＶＩＩＩに従って量子化される。
式ＶＩＩＩ

このように、式ＶＩＩＩに示すように、サブフレーム３０Ｊの量子化されたピクセル値は、元のピクセル値に２を加えた結果を８で割り、その結果に対してフロア演算を行い、さらに８を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｋ（すなわち、２つの連続フレームのうちの第１のフレームの第３のサブフレーム）内の各ピクセルのピクセル値は以下の式ＩＸに従って量子化される。
式ＩＸ

このように、式ＩＸに示すように、サブフレーム３０Ｋの量子化されたピクセル値は、元のピクセル値に４を加えた結果を８で割り、その結果に対してフロア演算を行い、さらに８を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｌ（すなわち、２つの連続フレームのうちの第１のフレームの第４のサブフレーム）内の各ピクセルのピクセル値は以下の式Ｘに従って量子化される。
式Ｘ

このように、式Ｘに示すように、サブフレーム３０Ｌの量子化されたピクセル値は、元のピクセル値に６を加えた結果を８で割り、その結果に対してフロア演算を行い、さらに８を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｍ（すなわち、２つの連続フレームのうちの第２のフレームの第１のサブフレーム）内の各ピクセルのピクセル値は以下の式ＸＩに従って量子化される。
式ＸＩ

このように、式ＸＩに示すように、サブフレーム３０Ｍの量子化されたピクセル値は、元のピクセル値に１を加えた結果を８で割り、その結果に対してフロア演算を行い、さらに８を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｎ（すなわち、２つの連続フレームのうちの第２のフレームの第２のサブフレーム）内の各ピクセルのピクセル値は以下の式ＸＩＩに従って量子化される。
式ＸＩＩ

このように、式ＸＩＩに示すように、サブフレーム３０Ｎの量子化されたピクセル値は、元のピクセル値に３を加えた結果を８で割り、その結果に対してフロア演算を行い、さらに８を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｏ（すなわち、２つの連続フレームのうちの第２のフレームの第３のサブフレーム）内の各ピクセルのピクセル値は以下の式ＸＩＩＩに従って量子化される。
式ＸＩＩＩ

このように、式ＸＩＩＩに示すように、サブフレーム３０Ｏの量子化されたピクセル値は、元のピクセル値に５を加えた結果を８で割り、その結果に対してフロア演算を行い、さらに８を乗ずることによって得られる。

一実施形態においては、サブフレーム３０Ｐ（すなわち、２つの連続フレームのうちの第２のフレームの第４のサブフレーム）内の各ピクセルのピクセル値は以下の式ＸＩＶに従って量子化される。
式ＸＩＶ

このように、式ＸＩＶに示すように、サブフレーム３０Ｐの量子化されたピクセル値は、元のピクセル値に７を加えた結果を８で割り、その結果に対してフロア演算を行い、さらに８を乗ずることによって得られる。

たとえば、元のピクセル値が８ビットの場合、上記式ＶＩＩから式ＸＩＶの量子化によって、各ピクセルに可能な値は３３個あり、範囲は０，８，１６，…，２５６である。一実施形態においては、各ピクセルの可能な値が３２個あり（すなわち、５ビット）、範囲が０，８，１６，…，２４８となるように、２４８を上回る量子化値は取り除かれる。上記式ＶＩＩから式ＸＩＶに示すように、個々の各フレームの４つのサブフレーム３０は別々に量子化され、連続フレーム内の対応するサブフレーム（たとえば、サブフレーム３０Ｉ及び３０Ｍ）は別々に量子化され、これにより時空間的ディザリングが提供できる。

本発明の一実施形態によるサブフレームの時空間的ディザリングは、個々のサブフレームに存在する強度レベルよりも高い強度レベルを、表示画像に生成する。時空間的ディザリング及び４位置処理に基づいたさらなる強度レベルの生成については、図１８から図２０に示す例を参照して以下詳述する。

図１８は、本発明の一実施形態による４位置処理及びサブフレームのディザリングに基づく、２つの連続フレームのうちの第１のフレームに対応する擬似高解像度画像９７２の生成を示す図である。低解像度サブフレーム３０Ｉ−１、３０Ｊ−１、３０Ｋ−１、３０Ｌ−１の初期集合が、元の高解像度画像２８に基づいて生成される。図示の実施形態においては、サブフレーム３０Ｉ−１、３０Ｊ−１、３０Ｋ−１、３０Ｌ−１の初期集合は、図９を参照して上述した最近傍アルゴリズムの一実施形態を用いて生成される。

サブフレームがビット深度５ビットに制限され、可能な値の範囲が０，８，１６，…，２４８であると仮定すると、たとえば「３」であるピクセル値はサブフレームで表現することができない。したがって、サブフレーム３０Ｉ−１、３０Ｊ−１、３０Ｋ−１、３０Ｌ−１の初期集合内のピクセル値は、上記指定の範囲内の適切な値に量子化される。サブフレーム３０Ｉ−１は上記式ＶＩＩに基づいて量子化され、対応する量子化サブフレーム３０Ｉ−２を生成する。サブフレーム３０Ｊ−１は上記式ＶＩＩＩに基づいて量子化され、対応する量子化サブフレーム３０Ｊ−２を生成する。サブフレーム３０Ｋ−１は上記式ＩＸに基づいて量子化され、対応する量子化サブフレーム３０Ｋ−２を生成する。サブフレーム３０Ｌ−１は上記式Ｘに基づいて量子化され、対応する量子化サブフレーム３０Ｌ−２を生成する。量子化サブフレーム３０Ｉ−２、３０Ｊ−２、３０Ｋ−２、３０Ｌ−２を図１１に示すように結合して、画像９７０を生成する。画像９７０は補間フィルタ９２４（図１４）で畳み込まれ、それによってブロック画像を生成し、次いでブロック画像が係数０．２５で乗算されて擬似高解像度画像９７２を生成する。

図１９は、本発明の一実施形態による４位置処理及びサブフレームのディザリングに基づく、２つの連続フレームのうちの第２のフレームに対応する擬似高解像度画像９８２の生成を示す図である。低解像度サブフレーム３０Ｍ−１、３０Ｎ−１、３０Ｏ−１、３０Ｐ−１の初期集合が、元の高解像度画像２８に基づいて生成される。図示の実施形態においては、サブフレーム３０Ｍ−１、３０Ｎ−１、３０Ｏ−１、３０Ｐ−１の初期集合は、図９を参照して上述した最近傍アルゴリズムの一実施形態を用いて生成される。

サブフレーム３０Ｍ−１は上記式ＸＩに基づいて量子化され、対応する量子化サブフレーム３０Ｍ−２を生成する。サブフレーム３０Ｎ−１は上記式ＸＩＩに基づいて量子化され、対応する量子化サブフレーム３０Ｎ−２を生成する。サブフレーム３０Ｏ−１は上記式ＸＩＩＩに基づいて量子化され、対応する量子化サブフレーム３０Ｏ−２を生成する。サブフレーム３０Ｐ−１は上記式ＸＩＶに基づいて量子化され、対応する量子化サブフレーム３０Ｐ−２を生成する。量子化サブフレーム３０Ｍ−２、３０Ｎ−２、３０Ｏ−２、３０Ｐ−２を図１１に示すように結合して、画像９８０を生成する。画像９８０は補間フィルタ９２４（図１４）で畳み込まれ、それによってブロック画像を生成し、次いでブロック画像が係数０．２５で乗算されて擬似高解像度画像９８２を生成する。

図２０は、図１８及び図１９にそれぞれ示す擬似高解像度画像９７２及び９８２の平均を表す高解像度画像９９０を示す図である。高解像度画像９９０内の各ピクセルは、擬似高解像度画像９７２及び９８２内の対応するピクセルの平均である。上述したように人間の視覚系は時間とともに平均化する傾向があるため、４位置処理を用いて量子化サブフレーム３０Ｉ−２、３０Ｊ−２、３０Ｋ−２、３０Ｌ−２を表示し、その後、４位置処理を用いて量子化サブフレーム３０Ｍ−２、３０Ｎ−２、３０Ｏ−２、３０Ｐ−２を表示すると、人間の視覚系には高解像度画像９９０として見える。高解像度画像９９０内の大半のピクセルは値「３」を有する。したがって、時空間的ディザリングにより、すべて３から成る所望の高解像度画像２８に非常に近い結果画像が得られる（図１８及び図１９）。

上述したように、一実施形態においては、２つの連続フレームのうちの第１のフレームに対応する各サブフレームは、元のピクセル値に偶数（たとえば、０、２、４、または６）を加算することによって量子化され、２つの連続フレームのうちの第２のフレームに対応する各サブフレームは、元のピクセル値に奇数（たとえば、１、３、５、または７）を加算することによって量子化される。本発明の別の実施形態においては、各サブフレームは、サブフレーム内のピクセルのいくつかには偶数を使用し、サブフレーム内のその他のピクセルには奇数を使用して量子化される。

たとえば、再び図１７を参照すると、第１のフレーム９６２Ａの場合、サブフレーム３０Ｉから３０Ｌ内の左上ピクセル及び右下ピクセルは、上述したように偶数ディザ値を使用して量子化されるが、これらサブフレームの右上ピクセル及び左下ピクセルは奇数ディザ値を使用して量子化される。一実施形態においては、サブフレーム３０Ｉ内の右上ピクセル及び左下ピクセルは１を加算する（すなわち、式ＸＩ）ことによって量子化され、サブフレーム３０Ｊ内の右上ピクセル及び左下ピクセルは３を加算する（すなわち、式ＸＩＩ）ことによって量子化され、サブフレーム３０Ｋ内の右上ピクセル及び左下ピクセルは５を加算する（すなわち、式ＸＩＩＩ）ことによって量子化され、サブフレーム３０Ｌ内の右上ピクセル及び左下ピクセルは７を加算する（すなわち、式ＸＩＶ）ことによって量子化される。

同様に、第２のフレーム９６２Ｂの場合、サブフレーム３０Ｍから３０Ｐ内の左上ピクセル及び右下ピクセルは上述したように奇数ディザ値を使用して量子化されるが、これらサブフレーム内の右上ピクセル及び左下ピクセルは偶数ディザ値を使用して量子化される。一実施形態においては、サブフレーム３０Ｍ内の右上ピクセル及び左下ピクセルはゼロを加算する（すなわち、式ＶＩＩ）ことによって量子化され、サブフレーム３０Ｎ内の右上ピクセル及び左下ピクセルは２を加算する（すなわち、式ＶＩＩＩ）ことによって量子化され、サブフレーム３０Ｏ内の右上ピクセル及び左下ピクセルは４を加算する（すなわち、式ＩＸ）ことによって量子化され、サブフレーム３０Ｐ内の右上ピクセル及び左下ピクセルは６を加算する（すなわち、式Ｘ）ことによって量子化される。このようにして単一フレーム上で奇数ディザ値及び偶数ディザ値を交互に使用することにより、高周波格子状空間的ディザを提供できる。

一実施形態においては、時空間的ディザリングは、時空間的ディザ配列ｓｔ_i（Ｍ，Ｎ，Ｔ）を使用して表示システム１０で実施できる。時空間的配列は、ディザ値のＭ×Ｎ×Ｔ配列であり、ここで「ｉ」はサブフレームを識別するインデックスであり、「Ｍ」は配列中の空間的な行の数を表し、「Ｎ」は配列中の空間的な列の数を表し、「Ｔ」は配列中のフレームの数を表す（これは配列の時間的な次元である）。時空間的配列は、以下の式ＸＶに示すように量子化サブフレームピクセル値を生成する際に使用される。
式ＸＶ

ここで、
ｉ＝サブフレームを識別するインデックス、
ｘ_i（ｍ，ｎ，ｔ）＝ｔ番目のフレームのｍ行ｎ列に対応するｉ番目のサブフレーム内の元のピクセルの値、
ｘ’_i（ｍ，ｎ，ｔ）＝ピクセルｘ_i（ｍ，ｎ，ｔ）の量子化値、
Ｓ＝２^(B1-B2)、
Ｂ１＝量子化前のサブフレーム内のビット数、
Ｂ２＝量子化後のサブフレーム内のビット数、
ｓｔ_i＝０からＳ−１の値を有する時空間的配列
である。

上記式ＸＶに示すように、いま考えている現サブフレーム（すなわち、ｔ番目のフレームに対応するｉ番目のサブフレーム）のｍ行ｎ列にある量子化ピクセル値（ｘ’_i）は、フロア演算の結果を値Ｓで乗算したものに等しい。フロア演算は、いま考えている現サブフレームのｍ行ｎ列にある元のピクセル値と、配列位置（ｍｍｏｄＭ、ｎｍｏｄＮ、ｔｍｏｄＴ）にある時空間的配列（ｓｔ_i）の値との和を値Ｓで割った結果に対して行われる。演算ｍｍｏｄＭの結果は、ｍをＭで割った余りである。同様に、演算ｎｍｏｄＮ及びｔｍｏｄＴの結果はそれぞれ、ｎをＮで割った余り及びｔをＴで割った余りである。演算ｍｍｏｄＭ、ｎｍｏｄＮ、ｔｍｏｄＴにより、画像全体の時空間的配列のタイリングに繋がる。式ＸＶによって表される量子化により、サブフレームのビット深度をＢ１ビットからＢ２ビットに低減する。

式ＸＶから求められる量子化ピクセル値ｘ’_i（ｍ，ｎ，ｔ）が値ｆｌｏｏｒ（（２^B1−１）／Ｓ）^*Ｓよりも大きい場合、量子化ピクセル値は上記式ＸＶではなく以下の式ＸＶＩから求められる。
式ＸＶＩ

上記式ＸＶＩは、Ｂ２ビット範囲を超える値を取り除く。

時空間的配列についていくつかの例でさらに詳述する。Ｍ＝Ｎ＝１、Ｔ＝２、かつＢ１＝８ビットからＢ２＝６ビットへのビット深度の低減が望まれると仮定すると、Ｓは値２^(8-6)＝４を有することになる。時空間的配列ｓｔ_i（Ｍ，Ｎ，Ｔ）は、０からＳ−１（すなわち、０から３）の範囲の値を有する。Ｂ１＝８ビットの場合、量子化されていないピクセルｘ_i（ｍ，ｎ，ｔ）の可能な値の範囲は０から２５５になる。上記式ＸＶから得られる量子化ピクセルｘ’_i（ｍ，ｎ，ｔ）の可能な値は０，４，８，１２，…，２５６になる。上記値に基づいて、最大量子化ピクセル値は以下の式ＸＶＩＩにより与えられる。
式ＸＶＩＩ
ｘ’_i（ｍ，ｎ，ｔ）＝ｆｌｏｏｒ（（２５５＋３）／４）^*４＝２５６

最大量子化ピクセル値（すなわち、２５６）はｆｌｏｏｒ（（２^B1−１）／Ｓ）^*Ｓよりも大きいため、式ＸＶＩにより２５２を超える値は取り除かれる。したがって、量子化ピクセルの可能な値は０，４，８，１２，…，２５２である。

図１３を参照して上述したもの等、一実施形態による２位置処理の場合、Ｍ＝Ｎ＝１、Ｔ＝２であり、時空間的配列は以下の式ＸＶＩＩＩから式ＸＸＩによって与えられるディザ値を有する。
式ＸＶＩＩＩ
ｓｔ_A（０，０，０）＝０
式ＸＩＸ
ｓｔ_A（０，０，１）＝１
式ＸＸ
ｓｔ_B（０，０，０）＝２
式ＸＸＩ
ｓｔ_B（０，０，１）＝３

一実施形態による２位置処理の場合、２つのサブフレーム（たとえば、サブフレームＡ及びサブフレームＢ）が各フレームに対して生成される。したがって、上記式ＸＶＩＩＩから式ＸＸＩでは、時空間的配列ｓｔ_i（ｍ，ｎ，ｔ）のインデックスｉは文字Ａ及びＢで置き換えられる。

図１７を参照して上述したもの等、一実施形態による４位置処理の場合、Ｍ＝Ｎ＝１、Ｔ＝２であり、時空間的配列は以下の式ＸＸＩＩから式ＸＸＩＸにより与えられるディザ値を有する。
式ＸＸＩＩ
ｓｔ_A（０，０，０）＝０
式ＸＸＩＩＩ
ｓｔ_A（０，０，１）＝１
式ＸＸＩＶ
ｓｔ_B（０，０，０）＝２
式ＸＸＶ
ｓｔ_B（０，０，１）＝３
式ＸＸＶＩ
ｓｔ_C（０，０，０）＝４
式ＸＸＶＩＩ
ｓｔ_C（０，０，１）＝５
式ＸＸＶＩＩＩ
ｓｔ_D（０，０，０）＝６
式ＸＸＩＸ
ｓｔ_D（０，０，１）＝７

一実施形態による４位置処理の場合、４つのサブフレーム（たとえば、サブフレームＡ、サブフレームＢ、サブフレームＣ、サブフレームＤ）が各フレームに対して生成される。したがって、上記式ＸＸＩＩから式ＸＸＩＸでは、時空間的配列ｓｔ_i（ｍ，ｎ，ｔ）のインデックスｉは文字Ａ、Ｂ、Ｃ、Ｄで置き換えられる。

一実施形態による交互の「格子状」ディザを使用する４位置処理の場合、Ｍ＝Ｎ＝２、Ｔ＝２であり、時空間的配列は以下の式ＸＸＸから式ＸＬＶにより与えられるディザ値を有する。
式ＸＸＸ
ｓｔ_A（０，０，０）＝０
式ＸＸＸＩ
ｓｔ_A（０，０，１）＝１
式ＸＸＸＩＩ
ｓｔ_A（０，１，０）＝１
式ＸＸＸＩＩＩ
ｓｔ_A（０，１，１）＝０
式ＸＸＸＩＶ
ｓｔ_B（０，０，０）＝２
式ＸＸＸＶ
ｓｔ_B（０，０，１）＝３
式ＸＸＸＶＩ
ｓｔ_B（０，１，０）＝３
式ＸＸＸＶＩＩ
ｓｔ_B（０，１，１）＝２
式ＸＸＸＶＩＩＩ
ｓｔ_C（０，０，０）＝４
式ＸＸＸＩＸ
ｓｔ_C（０，０，１）＝５
式ＸＬ
ｓｔ_C（０，１，０）＝５
式ＸＬＩ
ｓｔ_C（０，１，１）＝４
式ＸＬＩＩ
ｓｔ_D（０，０，０）＝６
式ＸＬＩＩＩ
ｓｔ_D（０，０，１）＝７
式ＸＬＩＶ
ｓｔ_D（０，１，０）＝７
式ＸＬＶ
ｓｔ_D（０，１，１）＝６

一実施形態による交互の「格子状」ディザを使用する４位置処理の場合、４つのサブフレーム（たとえば、サブフレームＡ、サブフレームＢ、サブフレームＣ、サブフレームＤ）が各フレームに対して生成される。したがって、上記式ＸＸＸから式ＸＬＶでは、時空間的配列ｓｔ_i（ｍ，ｎ，ｔ）のインデックスｉは文字Ａ、Ｂ、Ｃ、Ｄで置き換えられる。

一実施形態において、時空間的配列ｓｔ_i（Ｍ，Ｎ，Ｔ）は、人間視覚系（ＨＶＳ）フィルタを使用して設計される。このような設計の一実施形態について以下に説明する。空の時空間的配列を、Ｓ個の値０、１、２、…、Ｓ−１でランダムに満たす。サブフレームが、テスト画像シーケンスの集合に対して生成される。サブフレームが既存の時空間的配列（すなわち、ランダム値を有する配列）を使用してディザリングされ、ディザリングサブフレームを生成する。ディザリングサブフレームから、擬似高解像度画像が算出される。擬似高解像度画像と、実際の高解像度画像シーケンスとの間の誤差が算出される。算出された誤差がＨＶＳモデルに基づいて加重される。一実施形態においてＨＶＳモデルは、誤差を線形フィルタでフィルタリングすることによって適用できる。加重誤差は平均化されて、誤差の割合としてある単一の数を算出する。時空間的配列の値が交換され（たとえば、位置（１，０，１）にある１が位置（０，０，１）にある３と交換され）、誤差が再度算出される。値の交換を何度か反復することにより、加重平均誤差をさらに低くすることができる。反復回数が上限に達すると、最小の平均的な誤差の割合をもたらす配列構成を保持する。

本発明の一形態は、２位置処理または４位置処理を行うとともに、時空間的ディザリングを行い、ビット深度の制限に関連する表示画像の輪郭アーティファクトを低減または除去するように構成された表示システム１０を提供する。一実施形態において、時空間的ディザは特に、２位置処理または４位置処理等、サブフレームの空間的なシフト及び時間的なシフトを行うシステムに対して設計される。時空間的ディザの一形態は、Ｎ位置処理の数学的モデルに基づいており、ここで、Ｎは、上述した実施形態においては２または４であるが、他の実施形態においては異なる値を有することができる。このモデルを考慮しない方法は最善ではないことがある。本発明の一形態は、ビット深度が１色当たりの限られた時間スロットとＤＭＤ配列の切り替え速度とにより制約を受ける実用的なシステムにおいて使用できる、２位置処理または４位置処理の方法を提供する。一実施形態においては、ディザパターンは、２つのフレームのサブフレーム全体に時間的に分散され、そして反復される。別の実施形態においてディザパターンは、３つ以上のフレームのサブフレーム全体に時間的に分散されたのち反復される。

本発明の一実施形態による時空間的ディザリングを使用して、２位置処理を行うように構成し、１色当たり６ビットに制約した表示システム１０は、１色当たり８ビットを使用する解像度のより高いＤＭＤ配列を使用する表示システムと知覚的に同等の結果を生み出すことができる。これとは対照的に、同表示システムは、１色当たり６ビットを生成するため、一様の量子化を使用する場合には深刻な輪郭削り（ｃｏｎｔｏｕｒｉｎｇ）の影響を受ける。

表示システムの輪郭削りを低減する種々の技法が提案されている。たとえば、米国特許第５，７５１，３７９号（「‘３７９特許」）には、表示システムにおいて認められる輪郭削りを低減する方法が開示されている。しかし、‘３７９特許に開示されているシステムは、サブフレームの時空間的シフトを行わず（たとえば、上述した２位置処理または４位置処理を行わず）、ディザ設計の際にこのような処理の数学的モデルを考慮していない。‘３７９特許は、追加のＬＳＢが１つおきのフレームに表示されることを開示している。この追加のＬＳＢの表示はタイミング回路を複雑にする。‘３７９特許に開示されている手法は、時間的なディザに基づいており、時空間的なディザを取り入れていない。

既存のディザ技法はＮ位置処理を考慮しておらず、また複数のサブフレームをまとめて量子化することを含んでいないため、このような既存のディザ技法を使用しても、一実施形態による時空間的ディザリングによりもたらされるものと同じ恩恵を受けることはできない。

特定の実施形態について、好ましい実施形態を説明するために本明細書に図示し説明したが、本発明の範囲から逸脱することなく、図示し説明した特定の実施形態を多種多様な代替または等価の実施態様で代用できることが当業者には理解されよう。機械、電子機械、電気、コンピュータの分野の熟練者には、本発明を広く多種多様な実施形態で実施できることを容易に理解されたい。本出願は、本明細書において考察した好ましい実施形態のいずれの適合または変形も包含することを意味する。したがって、本発明は特許請求の範囲及びその等価物によってのみ限定されることを明らかに意味する。

本発明の一実施形態による画像表示システムを示すブロック図である。本発明の一実施形態による２つのサブフレームの表示を示す概略図である。本発明の一実施形態による４つのサブフレームの表示を示す概略図である。本発明の一実施形態による画像表示システムを使用してのピクセルの表示を示す概略図である。本発明の一実施形態によるフレーム時間スロットを示す図である。本発明の一実施形態による１カラー時間スロットの光パルス集合の例を示す図である。本発明の一実施形態による２×フィールドシーケンシャルカラー（ＦＳＣ）を使用した表示システムのフレーム時間スロットを示す図である。本発明の一実施形態によるフレーム時間スロットに対応する２つのサブフレームを示す図である。本発明の一実施形態による最近傍アルゴリズムを使用して元の高解像度画像から低解像度サブフレームを生成することを示す図である。本発明の一実施形態による分割不可能なアップサンプリングに基づいた２位置処理の擬似高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態による４位置処理の擬似高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態による擬似高解像度画像と所望の高解像度画像の比較を示すブロック図である。本発明の一実施形態による２位置処理に基づいて連続フレームのサブフレームの表示を示す図である。本発明の一実施形態によるサブフレームの２位置処理及びディザリングに基づいた２つの連続フレームのうちの第１のフレームに対応する擬似高解像度画像の生成を示す図である。本発明の一実施形態によるサブフレームの２位置処理及びディザリングに基づいた２つの連続フレームのうちの第２のフレームに対応する擬似高解像度画像の生成を示す図である。図１４及び図１５に示す擬似高解像度画像の平均を表す高解像度画像を示す図である。本発明の一実施形態による４位置処理に基づいた連続フレームのサブフレームの表示を示す図である。本発明の一実施形態によるサブフレームの４位置処理及びディザリングに基づいた２つの連続フレームのうちの第１のフレームに対応する擬似高解像度画像の生成を示す図である。本発明の一実施形態によるサブフレームの４位置処理及びディザリングに基づいた２つの連続フレームのぅちの第２のフレームに対応する擬似高解像度画像の生成を示す図である。図１８及び図１９に示す擬似高解像度画像の平均を表す高解像度画像を示す図である。

符号の説明

１２画像
１４表示画像
１６１デジタル画像データ
１６２アナログ画像データ
２０フレームレート変換
２２フレームバッファ
２４画像処理
２６表示装置
２８画像フレーム
３０画像サブフレーム
３０Ａ、３０Ｂサブフレーム
３２Ａ／Ｄ変換器
３４解像度調整
３６サブフレーム生成
３８画像シフト装置
４０タイミングジェネレータ
４０４Ａ赤
４０４Ａ−１、４０４Ａ−２赤
４０４Ｂ緑
４０４Ｂ−１、４０４Ｂ−２緑
４０４Ｃ青
４０４Ｃ−１、４０４Ｃ−２青
６０２５点アップサンプリング
６０６フィルタとの畳み込み演算
６１０、７０６擬似高解像度画像
７０２フィルタとの畳み込み演算
８０４ＨＶＳ加重フィルタ

Claims

第１の画像の画像データの第１の集合を受け取るステップと、
前記画像データの第１の集合に対応する第１のサブフレーム及び第２のサブフレームを生成するステップと、
量子化式の第１の集合に基づいて前記第１のサブフレーム及び前記第２のサブフレームレームのビット深度を低減し、それによって第１のディザリングサブフレーム及び第２のディザリングサブフレームを生成するステップと、
前記第１のディザリングサブフレームを第１の位置に表示することと、前記第２のディザリングサブフレームを前記第１の位置から空間的にオフセットされた第２の位置に表示することとを交互に行うステップと
を含む、表示装置を使用して画像を表示する方法。
前記量子化式の第１の集合は２つの異なる量子化式を含み、前記第１のサブフレームの前記ビット深度は、前記２つの量子化式のうちの第１の量子化式に基づいて低減され、前記第２のサブフレームの前記ビット深度は前記２つの量子化式のうちの第２の量子化式に基づいて低減される、請求項１に記載の画像を表示する方法。
前記量子化式の第１の集合は４つの異なる量子化式を含み、前記第１のサブフレームの前記ビット深度は、前記４つの量子化式のうちの第１の量子化式及び第２の量子化式に基づいて低減され、前記第２のサブフレームの前記ビット深度は前記４つの量子化式のうちの第３の量子化式及び第４の量子化式に基づいて低減される、請求項１に記載の画像を表示する方法。
前記画像データの第１の集合に対応する第３のサブフレーム及び第４のサブフレームを生成するステップと、
前記量子化式の第１の集合に基づいて前記第３のサブフレーム及び前記第４のサブフレームのビット深度を低減し、それによって第３のディザリングサブフレーム及び第４のディザリングサブフレームを生成するステップと
をさらに含み、ここで、前記第１のディザリングサブフレームを表示することと、前記第２のディザリングサブフレームを表示することとを交互に行うステップは、前記第１のディザリングサブフレームを前記第１の位置に表示することと、前記第２のディザリングサブフレームを前記第２の位置に表示することと、前記第３のディザリングサブフレームを前記第１の位置及び前記第２の位置から空間的にオフセットされた第３の位置に表示することと、前記第４のディザリングサブフレームを前記第１の位置と前記第２の位置と前記第３の位置とから空間的にオフセットされた第４の位置に表示することとを交互に行うステップをさらに含む、請求項１に記載の画像を表示する方法。
第２の画像の画像データの第２の集合を受け取るステップと、
前記画像データの第２の集合に対応する第３のサブフレーム及び第４のサブフレームを生成するステップと、
量子化式の第２の集合に基づいて前記第３のサブフレーム及び前記第４のサブフレームのビット深度を低減し、それによって第３のディザリングサブフレーム及び第４のディザリングサブフレームを生成するステップと、
交互に、前記第３のディザリングサブフレームを前記第１の位置に表示し、前記第４のディザリングサブフレームを前記第２の位置に表示するステップと
をさらに含む、請求項１に記載の画像を表示する方法。
前記第１の画像及び前記第２の画像は連続した画像である、請求項５に記載の画像を表示する方法。
ビット深度を低減するステップは、ディザ値の少なくとも１つの配列を使用して行われ、
前記第１のサブフレーム及び前記第２のサブフレーム内の各ピクセルの前記少なくとも１つの配列から、該ピクセルの空間的な位置及び該ピクセルを含む前記サブフレームの時間的な位置に基づいてディザ値を特定するステップと、
前記第１のサブフレーム及び前記第２のサブフレーム内の各ピクセルのビット深度を、そのピクセルの特定された前記ディザ値に基づいて低減するステップと
をさらに含む、請求項１に記載の画像を表示する方法。
前記ディザ値の少なくとも１つの配列は、高解像度画像のテストシーケンスと、ディザリングサブフレームから生成される擬似高解像度画像との間の誤差を最小化することに基づいて構成される、請求項７に記載の画像を表示する方法。
前記誤差は、人間視覚系の特性に基づいて加重される、請求項８に記載の画像を表示する方法。
第１の画像の画像データの第１の集合を受け取ることに適応しているバッファと、
前記画像データの第１の集合に対応する第１のサブフレーム及び第２のサブフレームを定義し、ディザ値の第１の集合を使用して前記第１のサブフレームのピクセル値を量子化し、ディザ値の第２の集合を使用して前記第２のサブフレームのピクセル値を量子化することによって、対応する第１のディザリングサブフレーム及び第２のディザリングサブフレームを生成するように構成される画像処理ユニットと、
前記第１のディザリングサブフレームを第１の位置に表示することと、前記第２のディザリングサブフレームを前記第１の位置から空間的にオフセットされた第２の位置に表示することとを交互に行うことに適応している表示装置と
を備える、画像を表示するシステム。