JP2008219848A - 画像ファイルの復号表示回路及び画像表示方法 - Google Patents

Abstract

【課題】
圧縮された画像ファイルの復号及び表示に有効なメモリーのための画像ファイルの復号表示回路及び画像表示方法を提供する。
【解決手段】
好ましい実施例は、データ入力部と接続した復号装置、復号装置と接続したサイズ変更ユニット、サイズ変更ユニットと接続したメモリー及びこのメモリーと接続した記録装置から構成される。復号装置は、データ入力によって提供される画像を解凍し、一方、サイズ変更ユニットは、第一のサイズから第二のサイズに解凍された画像データのサイズを変更する。メモリーがサイズ変更された画像を保存し、データ並べ替えユニットが画像データを表示に適した形式に再配列する。次に続く処理の前に画像データをサイズ変更することによって、メモリー要求量（保存スペースと帯域）が減少される。
【選択図】図２a

Description

本発明は一般的な画像表示のシステム及びその方法に関し、特に圧縮された画像ファイルを効果的に復号及び表示するメモリーシステムとその方法に関する。

今日の世界では、フルカラー画像が、ドキュメント、ウェブページにおける単純な図、スケッチ、及び白黒画像等に取って代わってきている。フルカラー画像はそれらの見栄えの良さとともに情報量を多く提供することができるために好ましいものである。しかしながら、フルカラー画像は単純な図、スケッチ及び白黒画像よりもサイズが著しく大きい。それらの大きなサイズのために、フルカラー画像を含むドキュメントの伝送は時間がかかり不便である。

したがって、多くの画像圧縮技術とアルゴリズムがフルカラー画像のサイズを減すために開発されてきた。JPEG画像圧縮と呼ばれる技術は、良い画像品質を保ちながらフルカラー画像のサイズを著しく減すために不可逆性データ圧縮アルゴリズムを用いている。JPEG画像圧縮の長所は、画像品質は減らされた画像のサイズに対し容易にその見返りが得られることである。

図1a及び図1bに、一般的に利用されているJPEG画像圧縮の形式のデータ配列を説明する図及び、一般的に利用されているJPEG画像復号装置及び表示装置150の高水準ブロック図を示す。図1aに示される図は4:2:2ダウンサンプリングファクターのJPEG圧縮画像のデータ配列を表す。人間の目が画像のY成分（輝度成分）を、Cb(青色度成分）及びCr（赤色度成分）よりもより細く見ることができるため、JPEG復号装置はこの事実を利用することで、より効果的に圧縮するように設計される。4:2:2ダウンサンプリングにおいて、Cb及びCr成分のデータは二つのファクターによって減らされる。JPEG圧縮の他のバリエーションは、4:4:4(ダウンサンプリング無し）及び4:2:0(すべての成分を二つのファクターによってダウンサンプリングする)である。

図1aに示される図は、三つのグループに配置された画像に関連したデータを説明している。第一のグループ105はY成分データを含み、第二のグループ110はCb成分データを含み、そして第三のグループ115はCr成分データを含む。圧縮を行う時、画像データは二つの連続したブロック（ブロック106及びブロック107）がY成分のデータを含むように8x×8ブロックの中に保存される。ブロック106及び107はそれから、Cb成分データを含む一個のブロック（ブロック111）が続く。ブロック111はそれからCr成分を含む他の一個のブロック（ブロック116）が続く。この順序付けはすべての画像データに対して続けて使用される。データ処理は特に以下の順序：ブロック106、ブロック107、ブロック111及びブロック116に含まれるデータへのアクセスが必要である。この順序のデータへのアクセスは、画像データすべてがアクセスされるまで続く。

図1b中に示されるJPEG画像復号装置及び表示装置150は、見る目的でJPEG圧縮された画像を復号するために要求されるJPEG復号アルゴリズムの実行の役割を担うJPEG復号装置155を含む。JPEG復号装置155は圧縮された画像ファイルをオリジナルの画像ファイルと同サイズの画像ファイルに戻すように変換する。JPEG画像復号装置及び表示装置150は、JPEG復号及び表示の間に要求されるバッファー空間を提供するのと同様にJPEG画像を保存するために使用できるメモリー160をも含む。JPEG画像データの並べ替え及び縮小に使用される並べ替えアドレス生成装置165、JPEG画像データを表示目的のために必要な順序に並べ替えるために用いられるデータ並べ替えユニット170、それから、CRT端末、LCD表示装置、テレビ等の表示装置上に、並べ替えられたJPEG画像データを表示するために使用される表示符号装置/制御装置175もまた含まれる。

従来技術の欠点のひとつは、JPEG画像の復号及び表示は、JPEG画像の復号が画像の表示に先立って起こるため最も大きくサポートされた画像サイズの大きさ程度のバッファーが必要であることである。フルカラー画像（ピクセルあたり24バイトのカラー情報）のため、バッファーは最大JPEGのサポートされた画像サイズをサポートするために12.3ギガバイトの大きさであることが必要である。

本発明は、これらの問題及び他の問題を、全般的に解決あるいは回避し、また技術的な利点が達成される圧縮された画像ファイルを効果的に復号及び表示する回路及び画像表示方法を提供する。

本発明の好ましい実施例によると、一つの回路が提供される。その回路はデータ入力部に接続された復号装置、復号装置に接続されたサイズ変更ユニット、サイズ変更ユニットに接続されたメモリー、及びメモリーに接続されたデータ並べ替えユニットを含む。復号装置は、データ入力によって提供されたデータを復号し、サイズ変更ユニットは、復号されたデータを第一のサイズから第二のサイズに変更する一方、メモリーはサイズが変更されたデータを保存し、データ並べ替えユニットは、データを表示に適した形式に再配列する。

本発明の好ましい実施形態によると、圧縮された画像データを含む画像を表示する方法が提供される。その方法は圧縮されたデータを解凍すること、解凍されたデータを第一の軸に沿ってサイズ変更すること、及び、第一の軸に沿ってサイズ変更されている解凍されたデータを第二の軸に沿ってサイズ変更することを含む。その方法は、また解凍されたデータを保存することと解凍された画像データを表示することも含む。ここで解凍されたデータは第一の軸と第二の軸に沿ってサイズ変更がなされている。

本発明の別の好ましい実施例によると、サイズMのピクセルの第一ピクセルグループをサイズNのピクセルの第二ピクセルグループへのサイズ変更のための方法である。この方法は、第一ピクセルグループから第一のピクセルを処理すること、Nの大きさ分ずつカウンターを増加させることを含む。本方法は、さらにカウンターの中の値がM以上であることを決定することに応じて、ピクセルを、第二ピクセルグループのひとつとして計算すること、カウンター中の値からMを減じることを含む。本方法は、さらに、ピクセルの第一グループ中の残りのピクセルに対し、処理、増加、決定を繰り返して、そして計算することを含む。

本発明の好ましい実施例の長所は、要求されるバッファーサイズが著しく減少されることである。したがって、JPEG復号装置及び表示装置に関わるコストを減少することができる。

本発明の好ましい実施例のさらなる長所は、メモリー必要量の減少がメモリ（バッファー）への、そしてメモリーからの大量のデータの移動の必要性を減少することである。したがって、JPEG復号及び表示がより迅速に行われる。これはメモリーの大域要求量を軽減することができ、JPEG復号及び表示がより迅速に行われる。

前述の説明は、以下に続く発明の詳細な説明がより良く理解されるために、本発明の特徴と技術的長所の概略を、説明した。本発明の請求項の主題を形成する本発明のさらなる特徴や長所は以下に記載される。概念と開示された特定の実施例が本発明と同様の目的を実行するために他の構造や方法を一部修正したり設計したりするためのベースとして容易に利用されることは当業者によって推察されることである。またこのような均等の構造は添付の請求項に説明されているように本発明の思想と範囲から離れるものではないことは当業者によって認識されるものである。

本発明によれば、圧縮された画像ファイルを効果的に復号及び表示する回路及び画像表示方法を提供できる。

目下の好ましい実施形態の構築と使用法とを以下に詳細に説明する。しかしながら、本発明は広範囲な特定の状況において、具体化されうる多くの利用可能な発明概念を提供することを、認識されたい。検討される特定の実施例は、本発明の特定の製造及び使用方法の単なる説明にすぎず、本発明の範囲はこれに制限されるものではない。

本発明は特殊な状況、すなわちJPEG圧縮された画像ファイル用の復号装置及び表示装置における好ましい実施例に関して説明される。しかしながら本発明は、ファイルの内容にアクセスする前に、それ全体を解凍する必要のある他の圧縮されたファイルに対しても適応されうる。

図2aと図2bに、本発明の回路の１つであるJPEGの復号・表示装置200の高水準ブロック図と復号・表示装置200のサイズ変更の詳細なブロック図が示されている。復号・表示装置200は、JPEG圧縮された画像ファイルに含まれた圧縮された画像データを復号するのに用いられるJPEGの復号装置205を含む。解凍された画像データは、それから圧縮されていない画像データを、表示するのに適する解像度に変更するために使用されるサイズ変更ユニット210に提供される。例えば、もし元の画像サイズが、512ピクセル×512ピクセルのサイズで、表示目的のものである場合、すべての画像は75パーセント減少させられ、それからサイズ変更ユニット210は512×512の元の画像を128×128の縮小された画像にサイズ変更する。サイズ変更ユニット210は水平方向サイズ変更ユニット212と垂直方向サイズ変更ユニット214を含み、それらは各々の軸に沿った画像のサイズ変更を行う。サイズ変更された画像はそれからSDRAMメモリー等のメモリー215（あるいはバッファー）に保存される。

その後、（メモリー215に保存された）サイズ変更された画像は、データ並べ替えユニット220に提供される。データ並べ替えユニット220は、JPEGデータの順序で保存されたデータを表示に適切な順序に並べ替えるのに使用される。例えば、データの並べ替えに先立ち、データの順序は2Y成分ブロック、Cb成分の1ブロック、Cr成分の1ブロック等の順序である。データの並べ替え後は、データはY成分、Cb成分、Cr成分等の順序にある。並べ替えられたデータは、画像を表示するためのデータに必要な、すべての必要な符号化のために表示符号装置/制御装置230に提供される前にメモリー225に保存される。

図2bに示される図式はJPEG復号装置及び表示装置200のサイズ変更ユニット210の詳細を提供することを示している。上述に検討したように、解凍された画像データのブロック（ブロック250のような）は、JPEG復号装置及び表示装置200のサイズ変更ユニット210に提供される。JPEG技術基準に従い、ブロック250はサイズ8×8である。しかし、他のサイズのブロックも可能であり、8×8ブロックの検討は、本発明の範囲と思想のどちらにも制限されていると解釈されるべきではない。

ブロック250は水平方向サイズ変更ユニット212において水平方向サイズ変更を受ける。例えば、サイズ8×8のブロックはサイズ8×3のブロックにサイズ変更される、再び、8×3の値は検討の対象とされ、水平方向サイズ変更ユニット212は、入力ブロックを広範囲のサイズにサイズ変更することができる。次にサイズ変更されたブロックは、水平方向バッファー255に保存される。水平方向サイズ変更ユニット212はユニットの入力に達し、水平方向バッファー255へ保存されているブロックのサイズ変更を続けることができる。

水平方向バッファー255が、少なくとも所定の量に達している時、水平方向バッファー255の内容は垂直方向サイズ変更ユニット214に提供され、そこで、水平方向バッファーの内容は垂直方向にサイズ変更される。例えば、水平方向バッファー255に、16ピクセル相当よりも多い情報がそこに含まれるまで保存された時、水平方向バッファーの内容は垂直方向サイズ変更ユニット214に提供され、ここでサイズ8×3のブロックはサイズ5×3のブロックにサイズ変更される。再び、5×3の値は検討対象となり、垂直方向サイズ変更ユニット214は入力ブロックを広範囲のサイズにサイズ変更することができる。垂直方向サイズ変更後、垂直方向サイズ変更ユニット214の出力は垂直方向バッファー260に保存される。一旦垂直方向バッファー260に、少なくとも所定の量、例えば、ピクセル情報が16ラインより大きい量が、蓄積されると、垂直方向バッファー260の内容は、データ並べ替えユニット220に提供される。図と説明では垂直方向サイズ変更の前に水平方向サイズ変更が実施されると説明するが、代替実施においては、水平方向サイズ変更の前に垂直方向サイズ変更が実施されてもよい。

JPEGの復号装置205と水平方向サイズ変更ユニット212の間には剰余レジスタ270があってもよい。剰余レジスタ270はブロック境界を超えたサイズ変更(縮小)が生じる時にピクセル値の保存に使用される。例えば、サイズ変更操作を遂行するのにピクセル数が不十分な場合、加えられるピクセルがサイズ変更を遂行するために必要なピクセル数に到着するまで、そのピクセルは剰余レジスタ270に保持される。剰余レジスタ270のサイズは遂行されるサイズ変更の量に依存する。

図３に、JPEG圧縮された画像の復号及び表示における一連の事象300を説明する図を示す。一連の事象300はJPEGの復号・表示装置200（図2a）等のJPEG復号装置と表示装置において発生する操作を表す。JPEG圧縮画像の復号及び表示は、JPEG圧縮された画像ファイルのブロック（ブロック305）の受信とともに始まる。JPEG技術基準によると、ブロックは8×8ピクセルのサイズである。次にこのブロックは、最初のサイズ変更ユニットによって、第一の軸に沿って、例えば、水平方向軸（ブロック310）に沿ってサイズ変更され、それから第一のバッファー（ブロック315）に保存される。

画像ファイルのブロックの受信、サイズ変更及び最初の保存が続く。一旦、第一のバッファーが最初の閾値を超える点まで蓄積されると（ブロック320）、第一のバッファーの中身は、第二の軸、例えば垂直方向軸（ブロック325）に沿ってブロックをサイズ変更する第二のサイズ変更ユニットに提供される。第二のサイズ変更ユニットの出力は第二のバッファー（ブロック330）に保存される。第二のサイズ変更と第二の保存は第二のバッファーが空になるまで続く。

一旦、第二のバッファーが第二の閾値を超える点まで蓄積されると（ブロック335）、第二のバッファーに含まれるブロックはデータ並べ替えユニットに提供され、ここで、ブロックは表示目的のために並べ替えられ（ブロック340）、並べ替えられたデータは第三バッファーに保存される（ブロック345）。この並べ替えと第三の保存は、画像データのサイズ変更が完了するまで続く（ブロック350）。一旦サイズ変更が完了すると、サイズ変更された画像データが表示される（ブロック355）。

図4aと図4bにより、ピクセルのサイズ変更に用いられる技術とピクセルのサイズ変更のためのアルゴリズムを説明する図が示される。図4aに示される図は、画像のピクセルを、開始ピクセルサイズから終了ピクセルサイズまでサイズ変更する、例えば11ピクセル（開始ピクセルサイズ）を3ピクセル（終了ピクセルサイズ）へのサイズ変更技術を説明している。ピクセルのサイズ変更は、11ピクセルグループを、3ピクセルグループに置き換える。以下の説明は11ピクセルグループから3ピクセルグループへのサイズ変更についてであるが、この技術説明は、任意の開始ピクセルサイズから任意の終了ピクセルサイズへのサイズ変更を説明することができる。したがって、この検討は本発明の範囲と、思想のいずれにも限定されていると解釈されるべきではない。

第一の数列405は、開始ピクセルを表すピクセルのグループを表示し、図示のごとく、開始ピクセルグループは11ピクセルからなる。この技術は、ステップの増分が、終了ピクセルサイズに等しく、最初に0値でスタートするカウンターを使用する。第二の数列410は、サイズ変更技術としてのカウンター値を表し、第三の数列415は、カウンターリセット値を表す数列を表す。最後に、第四の数列420は、終了ピクセルを表すピクセルグループを表示し、図示のごとく3個のピクセルからなる。

カウンターは初期値が0で始まり425、開始ピクセル426が処理されるにしたがって、カウンターは値を3まで増加する427。それから、第二の開始ピクセル428として処理されるにしたがって、カウンターは6の値まで増加する429。カウンターは、カウンターが開始ピクセル以上になるまで、終了ピクセルサイズと同じステップで増加を続け(11)。カウンターは、第四の開始ピクセル430が処理されると、開始ピクセルサイズを超え、値が12と等しくなる（ブロック431）。

一旦、カウンターが開始ピクセルサイズ以上の値に達すると、最終ピクセル、例えば、第一の終了ピクセル432が出力される。終了ピクセルは例えば処理された開始ピクセルの平均である（最初のピクセル426、第二のピクセル428、第三のピクセル及び第四のピクセル430）。あるいは、その代表として生成される最終ピクセルは、処理された開始ピクセルのある加重平均（あるいは、その他の加重関数）である。第一の終了ピクセル432が生成されると、カウンターはリセットされる。カウンターは、ブロック433に示されるように、カウンター（12）の現在値から開始ピクセルサイズ（11）または（1）引き算した値にリセットされる。

開始ピクセルの処理は続き、カウンターが開始ピクセルサイズ以上の値に達する度に、別の終了ピクセルが出力される。開始ピクセルの処理は、カウンターが、ブロック434に示されるように、11番目の開始ピクセルが処理された時に達する開始ピクセルのサイズ（11）と等しい値に達した時に完了する。

図4bに示される図はピクセルのサイズ変更のためのアルゴリズム450を説明する。アルゴリズム450は開始ピクセルグループを終了ピクセルグループにサイズ変更する時に用いられ、開始ピクセルのグループを、終了ピクセルの大きさの終了ピクセルのグループを有する開始ピクセルにサイズ変更し、置き換える。

ピクセルのサイズ変更は、好ましくは初期値がゼロ（0）を有するカウンターのリセットとともに始まる（ブロック455）。サイズ変更は、初期開始ピクセルの処理を続ける（ブロック460）。この処理は、開始ピクセルの移動平均とともに続く。あるいは、この処理は、開始ピクセル値の加重平均の計算を行う。開始ピクセルが処理されるに従い、カウンターは終了ピクセルサイズと等しい値ずつ増加される（ブロック465）。カウンターが増加された後、カウンター値のチェックが実行される（ブロック470）。このチェックにより、カウンター値が開始ピクセルクサイズ以上かどうかを決定する。もし、カウンター値が開始ピクセルサイズ以上でないなら、サイズ変更は、次の開始ピクセルに進み、カウンターを増加させて継続する。

もし、カウンター値が開始ピクセルサイズ以上であるなら、カウンター値から開始ピクセルサイズを差し引いた値に等しい値で再初期化され（ブロック475）、そして終了ピクセルは計算されて出力される（ブロック480）。終了ピクセルの計算は処理された開始ピクセルの平均値の計算か、あるいは、処理された開始ピクセルの他の何らかの数学的組合せを含む。終了ピクセルの計算及び出力後、チェックが、サイズ変更が完了したかどうかの決定のために実行される（ブロック485）。もし、サイズ変更が完了してないなら、サイズ変更はカウンター値をリセットし、繰り返される。

本発明とその利点は詳細に説明されたが、この中で様々な変化、置換、代替が添付された請求項に定義されているように、本発明の思想及び範囲から外れることなく、なされ得ることを理解すべきである。さらに、本出願の範囲は、当業者が、本発明の開示から容易に認識できるので、ここに説明したことに相当する実施例とほぼ同様の機能を実行し、あるいはほぼ同様の結果を達成する現在存在している、あるいは今後開発されるであろう、明細書中に記述された処理、機械、製造、物質の成分、手法、方法及び工程の特定の実施例によって制限されると解釈されるべきではない。従って、添付の請求項はそれらのプロセス、機械、製造、物質の成分、方法、あるいは工程の範囲内に含まれるとみなされる。

従来技術のJPEG画像圧縮形式のデータ配列図である。 従来技術のJPEG復号装置と表示装置の高水準ブロック図である。 本発明の好ましい実施例の復号・表示装置の高水準ブロック図である。 本発明の好ましい実施例の復号・表示装置のサイズ変更の詳細なブロック図である。 本発明の好ましい実施例の圧縮された画像の復号化及び表示化における一連の事象の流れ図である。 本発明の好ましい実施例のピクセルのサイズ変更に用いられる技術の図である。 本発明の好ましい実施例のピクセルのサイズ変更のためのアルゴリズムのフローチャートである。

符号の説明

200 復号・表示装置（回路）
205 復号装置
210 サイズ変更ユニット
212 水平方向サイズ変更ユニット
214 垂直方向サイズ変更ユニット
215、225 メモリー
220 データ並べ替えユニット
230 表示符号装置/制御装置
250 ブロック
255 水平方向バッファー
260 垂直方向バッファー
270 剰余レジスタ
300 一連の事象

Claims (12)

1. データ入力部と接続され、前記データ入力部によって提供されるデータを解凍する復号装置と、
   前記復号装置に接続され、前記復号装置で解凍されたデータを第一のサイズから第二のサイズに変更するサイズ変更ユニットと、
   前記サイズ変更ユニットに接続され、前記サイズ変更ユニットでサイズ変更されたデータを保存するメモリーと、
   前記メモリーに接続され、前記メモリーに保存されたデータを表示に適した形式に再配列するデータ並べ替えユニットと
   から構成されることを特徴とする回路。
2. 前記データ並べ替えユニットに接続され、前記データ並べ替えユニットで並び替えたデータを保存する第二のメモリーを有することを特徴とする請求項1記載の回路。
3. 前記第二のメモリーに接続された表示符号化装置を有し、前記表示符号化装置は、データを表示するのに用いられる表示装置に適合する形式に前記データ並べ替えユニットで並び替えたデータを符号化することを特徴とする請求項2記載の回路。
4. 前記サイズ変更ユニットが、
   前記復号装置に接続され、前記復号装置で解凍されたデータを垂直軸に沿ってサイズ変更する水平方向サイズ変更ユニットと、
   前記水平方向サイズ変更ユニットに接続され、前記復号装置で解凍されたデータを垂直軸に沿ってサイズ変更する垂直方向サイズ変更ユニットと
   から構成されることを特徴とする請求項1記載の回路。
5. 前記復号装置と前記サイズ変更ユニットとの間に接続された剰余レジスタを有し、前記剰余レジスタは、データ数がサイズ変更を実行するのに十分でない時にサイズ変更の前にピクセル値を保存することを特徴とする請求項1記載の回路。
6. 圧縮された画像データを含む画像表示方法であって、
   前記圧縮された画像データを解凍する解凍ステップと、
   前記解凍手段によって解凍された画像データを、第一の軸に沿ってサイズ変更する第一のサイズ変更ステップと、
   前記第一のサイズ変更ステップよってサイズ変更された画像データを、第二の軸に沿ってサイズ変更する第二のサイズ変更ステップと
   前記第一のサイズ変更ステップ及び前記第二のサイズ変更ステップによってサイズ変更された画像データを保存する保存ステップと、
   前記第一のサイズ変更ステップ及び前記第二のサイズ変更ステップによってサイズ変更された画像データを表示する表示ステップと
   を有することを特徴とする画像表示方法。
7. 前記第一のサイズ変更ステップ後、前記第一のサイズ変更ステップでサイズ変更された画像データを第一のバッファーに保存し、前記第一のバッファーが第一の所定量に達した時、前記第一のバッファー中に保存された画像データが提供されることを特徴とする請求項6記載の画像表示方法。
8. 前記第二のサイズ変更ステップ後、前記第一の軸及び前記第二の軸に沿ってサイズ変更された画像データを第二のバッファーに保存し、前記第二のバッファーが第二の所定量に達した時、前記第二のバッファー中に保存された画像データが提供されることを特徴とする請求項7記載の画像表示方法。
9. 前記保存ステップ後、前記第一の軸と前記第二の軸とに沿ってサイズ変更された画像データが、画像を表示するために用いられる表示に適した配列に並べ替えられることを特徴とする請求項6記載の画像表示方法。
10. サイズMの第一ピクセルグループをサイズNの第二ピクセルグループにサイズ変更するための方法であって、
    前記第一ピクセルグループから第一のピクセルを処理する処理ステップと、
    カウンターをNずつ増加させる増加ステップと、
    前記カウンター内の値がM以上との決定に応答して、ピクセルを前記第二ピクセルグループの数として計算する計算ステップと、
    前記カウンター内の値からMを差し引く差し引きステップと、
    前記処理ステップ、前記増加ステップ、前記決定、前記差し引きステップ、及び前記第一ピクセルグループ内の残留ピクセルに対する計算を繰り返す繰り返しステップと
    を有することを特徴とする方法。
11. 前記計算ステップが、先に前記カウンター内の値からMを差し引きした後、処理された前記第一ピクセルグループ内のピクセルの関数を計算することを含むことを特徴とする請求項10記載の方法。
12. 前記関数が移動平均を含むことを特徴とする請求項11記載の方法。
    

Images