JP4010063B2 - ウェーブレット復号化装置及び方法 - Google Patents
ウェーブレット復号化装置及び方法 Download PDFInfo
- Publication number
- JP4010063B2 JP4010063B2 JP29401198A JP29401198A JP4010063B2 JP 4010063 B2 JP4010063 B2 JP 4010063B2 JP 29401198 A JP29401198 A JP 29401198A JP 29401198 A JP29401198 A JP 29401198A JP 4010063 B2 JP4010063 B2 JP 4010063B2
- Authority
- JP
- Japan
- Prior art keywords
- band
- signal
- wavelet
- transform
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の効率的伝送もしくは蓄積を行うシステムに供することのできるものであり、特に、ウェーブレット変換符号化を用いて符号化されたビットストリームを入力して、任意の有理数倍の解像度変換を伴う復号化を実現するウェーブレット復号化装置及び方法に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式としては、ＩＳＯ（Internatioal Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic Coding Experts Group）方式がある。これはＤＣＴ（discrete cosine transform）を用いて主に静止画像信号を圧縮符号化する方式であり、比較的高いビットが割り当てられる場合には良好な符号化・復号画像を供することが知られている。しかし、当該ＤＣＴの場合、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に、最近は、フィルタバンクと呼ばれるハイパスフィルタとローパスフィルタを組み合わせたフィルタを用いて画像信号を複数の帯域に分割し、それらの各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット符号化は、ＤＣＴにて問題になる高圧縮でブロック歪みが顕著になる、という欠点が無いことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
現在の電子スチルカメラやビデオムービ等の製品では、画像圧縮方式にＪＰＥＧやＭＰＥＧ（Moving Picture image coding Experts Group）を使用し、変換方式にＤＣＴを用いているが、今後は、上記ウェーブレット変換をベースにした変換方式を採用した製品が市場に出現するものと推測される。
【０００５】
【発明が解決しようとする課題】
ところが、符号化方式の効率向上のための検討は各研究機関で盛んに行われているが、ウェーブレット変換の特徴を生かした具体的な製品化を目指した発明は未だ少ない。
【０００６】
また、従来の解像度変換を伴ったウェーブレット復号化では、その性質上、２のべき乗分の１でしか解像度を縮小することができない。これは、通常のウェーブレット変換が２分割フィルタバンクを用いていることに起因している。従って、復号化過程における合成フィルタバンクでは、２のべき乗分の１でしか低域成分を合成できないことになり、このため、復号画像の縮小率は２のべき乗分の１に制限されている。
【０００７】
一方で、原画像の解像度が大きくなると、２のべき乗分の１以外の解像度でデコードする要求も増えて来ると考えられる。すなわち、２のべき乗分の１だけでなくそれ以外も含む任意有理数の解像度でデコード（復号化）することができるようになれば、端末側の制約条件に左右されることが無くなるため、非常に用途が広まると考えられる。
【０００８】
そこで、本発明はこのような状況に鑑みてなされたものであり、変換方式にウェーブレット変換を用いて圧縮符号化がなされた画像信号を、端末側の制約条件に左右されること無く、任意有理数の解像度でデコード（復号化）可能とし、その結果として、例えば電子スチルカメラやプリンタ等で多用されるいわゆるサムネイル画像や原画像を解像度変換した画像（縮小した画像）の記憶・表示を効率的に行えるようにし、各種の製品への使用用途を大幅に広げることを可能とする、ウェーブレット復号化装置及び方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係るウェーブレット復号化装置及び方法は、符号化ビットストリームをエントロピー復号化して量子化係数を送出し、量子化係数を逆量子化して変換係数を送出し、変換係数を所定の方法でスキャニングして変換係数を並び換え、並び換えられた変換係数を逆変換して復号画像を生成し、ウェーブレット逆変換の際には、解像度変換倍率に応じて高域成分の変換係数の持つ帯域幅を制限すると共に、複数のアップサンプラ及び合成フィルタからなるウェーブレット逆変換基本構成のうち、高域側の復号化を行うアップサンプラ及び合成フィルタにおけるアップサンプリング処理及び合成フィルタリング処理の所定レベルの該高域成分を省略すると共に、所望の解像度変換倍率に対応する縮小率の帯域を含むウェーブレット逆変換の際に用いる帯域幅の高域成分に対して上記帯域幅の制限処理を行って上記縮小率に見合った帯域幅を抽出し、さらにダウンサンプラにおけるダウンサンプリング処理によって上記所望の解像度変換倍率に応じた画像を間引いて、所望の大きさの上記復号画像を供することにより、上述の課題を解決する。
【００１０】
【発明の実施の形態】
本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１１】
本発明実施の形態は、画像の効率的伝送もしくは蓄積を行うシステムに好適なものであり、特にウェーブレット変換符号化を用いて符号化されたビットストリームを入力して、任意の有理数倍の解像度変換を伴う復号化を実現するウェーブレット復号化装置及び方法を実現するものである。具体的な応用例としては、電子カメラ、携帯・移動体画像送受信端末（ＰＤＡ）、プリンタ、衛星画像、医用画像等の圧縮・伸張器またはそのソフトウェアモジュール、ゲーム、３次元ＣＧで用いるテクスチャの伸張器またはそのソフトウェアモジュール等がある。
【００１２】
図１には、本発明のウェーブレット復号化装置及び方法が適用される一実施の形態のウェーブレット復号化装置の全体構成を示す。
【００１３】
この図１に示す本発明実施の形態のウェーブレット復号化装置は、符号化ビットストリーム１００をエントロピー復号化するエントロピー復号化部１と、量子化係数１０１を逆量子化して変換係数１０２を送出する逆量子化部２と、変換係数１０２を所定の方法でスキャニングして並び換えた変換係数１０３を送出する変換係数逆スキャニング部３と、並び換えられた変換係数１０３を逆変換して復号画像１０４を供するウェーブレット逆変換部４とを備えてなるものである。
【００１４】
より具体的に説明すると、エントロピー復号化部１は、ウェーブレット符号化装置または符号化モジュールより送出された符号化ビットストリーム１００に対して所定のエントロピー復号化を行う。ここで、エントロピー復号化としては、一般的に用いられているハフマン復号化や算術復号化を用いれば良い。但し当然であるが、ウェーブレット符号化装置等で行われたエントロピー符号化処理と対応する手法を行う必要がある。
【００１５】
逆量子化部２は、エントロピー復号化部１により復号化されて出力された量子化係数１０１を逆量子化して変換係数１０２を出力する。この逆量子化部２も、ウェーブレット符号化装置で行われた量子化処理と表裏一体の動作を行う必要がある。
【００１６】
変換係数逆スキャニング部３は、逆量子化部２で得られた変換係数１０２を並び換えて、新たな変換係数１０３を出力する。ここでの逆スキャニング方法は、ウェーブレット符号化装置で行われたスキャニング処理の逆処理を行うことになる。
【００１７】
ウェーブレット逆変換部４は、変換係数１０３を逆変換して最終的な復号画像信号１０４を供する。
【００１８】
ここで、本発明実施の形態のウェーブレット復号化装置では、上記ウェーブレット逆変換部４に、所定の解像度変換倍率に応じて変換係数の帯域を適応的に制限する帯域制限手段を設け、さらにアップサンプラ、ダウンサンプラ及び合成フィルタの何れか又は複数を適応的に配置することにより、任意の有理数倍率に解像度変換を行う機能を実現している。
【００１９】
本実施の形態のウェーブレット復号化装置における上記任意有理数倍率の解像度変換処理のための構成及び動作の詳細な説明を行う前に、図２〜図６を用いて通常のウェーブレット変換処理及びウェーブレット逆変換処理のための構成及び動作について以下に説明する。
【００２０】
図２には、通常のウェーブレット符号化装置の基本的構成を示す。
【００２１】
図２に示すウェーブレット符号化装置は、ウェーブレット変換部５と、変換係数スキャニング部６と、量子化部７と、エントロピー符号化部８を、その基本構成要素として有する。
【００２２】
ウェーブレット変換部５は、入力された画像信号１０５をウェーブレット変換してその変換係数１０６を出力する。
変換係数スキャニング部６は、ウェーブレット変換部５からの変換係数１０６を並び換えて、新たな変換係数１０７を出力する。なお、前記図１の変換係数逆スキャニング部３でのスキャニングは、当該変換係数スキャニング部６でのスキャニングの反対の並び換え処理である。
【００２３】
量子化部７は、変換係数スキャニング部６から供給された変換係数１０７を量子化し、その量子化係数１０８を出力する。なお、前記図１の逆量子化部２での処理は、当該量子化部７での処理と対を成すものである。
【００２４】
エントロピー符号化部８は、量子化部７から供給された量子化係数１０８に所定のエントロピー符号化を施し、その符号化ビットストリーム１００を出力する。なおここでのエントロピー符号化としては、一般的に用いられているハフマン符号化や算術符号化を用いれば良く、前記図１のエントロピー復号化部１での処理は、当該エントロピー符号化部８での処理と対応している。
【００２５】
図３には、通常のウェーブレット変換処理を行う構成を示す。この図３の構成は、幾つかある手法の中で最もポピュラーなウェーブレット変換処理であるオクターブ分割を複数レベルに渡って行う場合の構成例である。なお、図３の場合はレベル数が３（レベル１〜レベル３）であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を取っている。また、図３では、便宜上、１次元の信号（例えば画像の水平成分）についてのウェーブレット変換処理を例に挙げているが、これを２次元に拡張することで２次元画像信号に対応することができる。
【００２６】
図３において、入力画像信号１０５は、先ず分析用ローパスフィルタ８１と分析用ハイパスフィルタ８２とによって帯域分割され、得られた低域側の信号１１３と高域側の信号１１９は、それぞれ対応するダウンサンプラ８３，８４によって解像度が２分の１倍に間引かれる（レベル１）。
【００２７】
上記ダウンサンプラ８３，８４からの出力のうち、低域側の信号１１４は分析用ローパスフィルタ８５と分析用ハイパスフィルタ８６によってさらに帯域分割される。これら帯域分割により得られた信号１１６，１１５はさらにダウンサンプラ８７，８８によって解像度がそれぞれ２分の１倍に間引かれる（レベル２）。
【００２８】
上記ダウンサンプラ８７，８８からの出力のうち、低域側の信号１１７は分析用ローパスフィルタ８９と分析用ハイパスフィルタ９０によってさらに帯域分割される。これら帯域分割により得られた信号１１９，１１８はさらにダウンサンプラ９１，９２によって解像度がそれぞれ２分の１倍に間引かれる（レベル３）。
【００２９】
このような処理を所定のレベルまで行うことで、低域側の信号を階層的に帯域分割した各帯域の信号が順次生成されていくことになる。図３の例では、レベル３まで帯域分割した結果、ＬＬＬ信号１０９、ＬＬＨ信号１１０、ＬＨ信号１１１、Ｈ信号１１２が生成されていることを示している。なお、上記ＬＬＬ信号１０９やＬＬＨ信号１１０のＬは低域成分であることを表し、Ｈは高域成分であることを表している。
【００３０】
図４には、レベル２まで２次元画像を帯域分割した結果得られる帯域成分を図示する。ただし、この図４でのＬ及びＨの表記法は１次元信号を扱った図３とは異なる。なお、図４中のＬＬは水平・垂直成分が共にＬ（低域）であること、ＬＨは水平成分がＨ（高域）で垂直成分がＬ（低域）であることを意味している。また、図中のＸ＿ＳＩＺＥは垂直方向（Ｘ方向）の解像度を、Ｙ＿ＳＩＺＥは水平方向（Ｙ方向）の解像度を意味している。
【００３１】
すなわちこの図４において、２次元の原画像は、先ずレベル１の帯域分割（水平・垂直方向）により４つの成分ＬＬ、ＬＨ、ＨＬ、ＨＨに分けられ、次いで、ＬＬ成分は、レベル２の帯域分割（水平・垂直方向）により更に４つの成分ＬＬＬＬ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＨＨに分けられる。
【００３２】
図５には、図４の帯域分割を実際の画像に応用した場合の画像例を示しており、この図５から、画像は低域の成分にその大部分の情報が含まれていることがわかる。
【００３３】
次に、図６には、解像度変換の動作を行わない通常のウェーブレット逆変換処理を行う構成を示す。
【００３４】
図３で説明したウェーブレット変換部の出力である各帯域成分（ＬＬＬ信号１０９、ＬＬＨ信号１１０、ＬＨ信号１１１、Ｈ信号１１２）のうち、ＬＬＬ信号１０９及びＬＬＨ信号１１０は、それぞれアップサンプラ９，１１によって２倍の解像度にアップサンプルされる。
【００３５】
上記アップサンプラ９にてＬＬＬ信号１０９をアップサンプルして生成された信号は合成用ローパスフィルタ１０により、また、アップサンプラ１１にてＬＬＨ信号１１０をアップサンプルして生成された信号は合成用ハイパスフィルタ１２によって、それぞれフィルタリングされて加算器１３に送られる。
【００３６】
加算器１３では、両者の信号を帯域合成する。ここまでの処理により、上記レベル３の逆変換が完了する。
【００３７】
以下同様に、上述の処理をレベル１まで繰り返すことで、最終的な逆変換後の復号画像１０４が出力されることになる。
【００３８】
すなわち、加算器１３の出力信号は、更にアップサンプラ１４にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ１５にてフィルタリングされて加算器１８に送られる。
【００３９】
また、ＬＨ信号１１１は、アップサンプラ１６によって２倍の解像度にアップサンプルされた後、合成用ハイパスフィルタ１７にてフィルタリングされて加算器１８に送られる。
【００４０】
加算器１８では、合成用ローパスフィルタ１５と合成用ハイパスフィルタ１７からの両者の信号を帯域合成する。ここまでの処理により、上記レベル２の逆変換が完了する。
【００４１】
この加算器１８の出力信号は、更にアップサンプラ１９にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ２０にてフィルタリングされて加算器２３に送られる。
【００４２】
また、Ｈ信号１１２は、アップサンプラ２１によって２倍の解像度にアップサンプルされた後、合成用ハイパスフィルタ２２にてフィルタリングされて加算器２３に送られる。
【００４３】
加算器２３では、合成用ローパスフィルタ２０と合成用ハイパスフィルタ２２からの両者の信号を帯域合成する。ここまでの処理により、上記レベル１の逆変換が完了する。
【００４４】
以上が、通常のウェーブレット変換処理及びウェーブレット逆変換処理の基本構成及び基本動作である。
【００４５】
ところで、上記図６において、ＬＬＬ信号１０９そのものは、原画像の８分の１の縮小画像に相当する。また、アップサンプラ９で２倍にアップサンプルされ、さらに合成用ローパスフィルタ１０を通過したレベル３の低域側の信号１２０と、同じくアップサンプラ１１で２倍にアップサンプルされ、さらに合成用ハイパスフィルタ１２を通過したレベル３の高域側の信号１２１とを、加算器１３で帯域合成した信号１２２は、原画像の４分の１の縮小画像に相当する。同様に、レベル２の加算器１８の出力信号１２３は、原画像の２分の１の縮小画像に相当する。
【００４６】
したがって、それらＬＬＬ信号１０９や信号１２２，１２３を取り出せば、２のべき乗分の１の縮小画像を生成できることになる。なお、他のレベル数であっても同様な方法で２のべき乗分の１の縮小画像を生成できる。
【００４７】
図７は、上記図６の各入力信号（ＬＬＬ信号１０９、ＬＬＨ信号１１０、ＬＨ信号１１１、Ｈ信号１１２）の帯域分割特性を示したものである。ここで本発明は、ディジタル信号を対象としているので、図７において、横軸は０、２πに近づくほど低域成分を、πに近づくほど高域成分を示していることになる。また、図６における各信号１０９，１２２，１２３に対応する各縮小画像、及び原解像度の復号画像信号１０４は、それぞれ図７に示したような帯域幅を有しており、このことから復号画像の縮小率と各画像における帯域幅の占有率（帯域占有率）とは一致していることがわかる。
【００４８】
したがって、例えば任意有理数倍の縮小変換を行うためには、その縮小率に見合った帯域幅を抽出する必要がある。しかし、図７の帯域分割特性からもわかるように、ウェーブレット変換・逆変換ではその性質上、２のべき乗分の１の帯域占有率でしか帯域幅を合成できない。
【００４９】
このようなことから、図１に示したウェーブレット復号化装置のウェーブレット逆変換部４では、その縮小率を規範として制限すべき帯域を決定し、その決定の際には、当該縮小率で与えられる有効帯域幅とウェーブレット逆変換の際に用いる帯域幅との差が最小となるようにすることで、上述したような縮小率に見合った帯域幅の抽出と、任意有理数倍の縮小変換を実現している。
【００５０】
本発明実施の形態の第１の具体例では、任意有理数倍の解像度変換の一例として、３分の１の縮小変換を伴うウェーブレット逆変換について説明する。
【００５１】
先に述べたように、縮小率が３分の１である場合には、帯域占有率も３分の１にしなければならない。つまり、図８に示すように、帯域１２８の帯域幅を抽出する必要がある。この場合、先ずＬＨ信号１１１に対して帯域制限処理を行って、図８における帯域１２４（斜線部）を取り出し、これと帯域１２２を合成すれば、上記３分の１の帯域１２８の抽出が可能となる。
【００５２】
図９には、当該第１の具体例として、前記の処理を実現する３分の１の縮小変換を伴うウェーブレット逆変換部４の概略構成を示す。なお、この図９の構成において、前記図６と同じ構成要素には図６と同一の指示符号を付している。また、図９中の点線にて示す高域側の経路は、図６に示した通常のウェーブレット復号化装置には設けられている経路であるが、本実施の形態のウェーブレット復号化装置では省略された経路を表している。
【００５３】
すなわち図９に示す第１の具体例のウェーブレット逆変換部４において、ＬＬＬ信号１０９及びＬＬＨ信号１１０は、それぞれアップサンプラ９，１１によって２倍の解像度にアップサンプルされ、さらにそれぞれ対応する合成用ローパスフィルタ１０と合成用ハイパスフィルタ１２によりフィルタリングされた後、加算器１３にて両者の信号が帯域合成される。当該加算器１３での帯域合成により得られた信号１２２（図８の帯域１２２の信号）は、原画像の４分の１の縮小画像に相当し、ここまでの処理により、レベル３の逆変換が完了する。
【００５４】
当該加算器１３の出力信号１２２は、更にアップサンプラ１４にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ１５にてフィルタリングされて加算器１８に送られる。
【００５５】
また、ＬＨ信号１１１は、帯域制限部３０にて後述するように帯域幅が制限される。この帯域制限部３０にて帯域制限された信号１２４（図８の帯域１２４の信号）は、アップサンプラ１６によって２倍の解像度にアップサンプルされる。このアップサンプル後の信号１２７は、さらに合成用ハイパスフィルタ１７にてフィルタリングされ、信号１２５として加算器１８に送られる。
【００５６】
加算器１８では、合成用ローパスフィルタ１５と合成用ハイパスフィルタ１７からの信号１２６及び１２５を帯域合成する。当該加算器１８での帯域合成により得られた信号１２８（図８の帯域１２８の信号）は、更にアップサンプラ１９にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ２０にてフィルタリングされる。当該合成用ローパスフィルタ２０からの出力信号１２９は原画像と同じ解像度の画像に相当する。
【００５７】
この第１の具体例では、最終的に３分の１の解像度に復号化された画像を生成するため、上記ローパスフィルタ２０からの信号１２９はさらにダウンサンプラ３１にて３分の１の解像度にダウンサンプル（間引き処理）される。これにより、３分の１の縮小画像に相当する復号画像信号１３０が得られることになる。また、この第１の具体例のように、３分の１の帯域信号しか必要ない場合には、Ｈ信号１１２は不要となる。したがって、図６のようにＨ信号１１２を入力とする２倍のアップサンプラ及び合成用ハイパスフィルタの処理は不要になるので、計算量の削減ができる。
【００５８】
ここで、当該第１の具体例の場合の帯域制限部３０は、アップサンプラ１６及び合成フィルタ１７の前段部に置かれ、ＬＨ信号１１１（高域成分）の変換係数のフィルタリング処理を行うが、当該ＬＨ信号１１１はウェーブレット符号化装置にてダウンサンプルされたものであるため、その解像度での帯域に対応したフィルタとして設計する必要がある。
【００５９】
図１０には、図３に示したウェーブレット変換部において、ＬＨ信号１１１を生成する際の各生成過程での周波数帯域の状態を示す。なお、図中のカッコ内の数字は、前述した各図に示した信号に対応しており、図中の斜線部は抽出すべき前記帯域１２４を示している。また、図の横軸のωは正規化角周波数を意味する。
【００６０】
この図１０において、前記入力画像信号１０５に含まれる帯域は、状態１３１で示される。当該入力画像信号１０５を前記分析用ローパスフィルタ８１にて処理した信号１１３の帯域は、高域がカットされているため状態１３２となり、更に前記信号１１４の帯域はダウンサンプラ８３にて２分の１倍にダウンサンプルされているため状態１３３のような帯域になっている。また、前記信号１１５の帯域は、前記分析用ハイパスフィルタ８６での処理によって低域側がカットされているため状態１３４のような帯域となり、さらにダウンサンプラ８８によって２分の１倍のダウンサンプルが行われてＬＨ信号１１１が生成されている。このＬＨ信号１１１もダウンサンプルの影響のため、状態１３５のような帯域となる。当該状態１３５では、帯域が２π側にずれて低域側への折り返し成分が発生することになるため、図１１に示すように、状態１３６として見なすことができる。従って、ＬＨ信号１１１の解像度においては、前記図８の帯域１２４が図１１の帯域１３７に相当している。このため、ＬＨ信号１１１に対して図９のように帯域制限部３０を配置した場合、図１２に示すようなフィルタ特性（振幅）をもつハイパスフィルタを当該帯域制限部３０として使用することになる。
【００６１】
以上が、第１の具体例として縮小率が３分の１のときのウェーブレット逆変換部４の構成及び動作である。この第１の具体例のウェーブレット逆変換部４によれば、前記処理によってウェーブレット変換領域における帯域幅が３分の１になるため、エリアシングといったノイズや高域成分の欠落によるボケの発生を防ぐことができる。つまり、該縮小率から与えられる有効帯域の高精度な抽出方法により、復号画像の品質向上の効果を生み出している。
【００６２】
次に、本発明実施の形態の第２の具体例として、５分の１の縮小変換を行うウェーブレット復号化装置について説明する。
【００６３】
前記第１の具体例と同様に、縮小率が５分の１である場合には、帯域占有率も５分の１にしなければならない。このためには、図１３に示すように、帯域１４０の帯域幅を抽出する必要がある。この場合、ＬＬＨ信号１１０に対して帯域制限処理を行って帯域１３８（斜線部）を取り出し、これとＬＬＬ信号１０９が持つ帯域を合成することで、図１３における帯域１４０の抽出が可能となる。
【００６４】
図１４には、当該第２の具体例として、図１のウェーブレット復号化装置において解像度を５分の１に縮小して復号化する場合の、ウェーブレット逆変換部４の概略構成を示す。なお、この図１４の構成において、前記各図と同じ構成要素には各図と同一の指示符号を付している。また、図１４中の点線にて示す各高域側の経路は、図６に示した通常のウェーブレット復号化装置には設けられている経路であるが、本実施の形態のウェーブレット復号化装置では省略された経路を表している。
【００６５】
すなわち図１４に示す第２の具体例のウェーブレット逆変換部４において、ＬＬＬ信号１０９はアップサンプラ９によって２倍の解像度にアップサンプルされ、さらに合成用ローパスフィルタ１０によりフィルタリングされた後、加算器１３に送られる。
【００６６】
一方、レベル３の高域成分であるＬＬＨ信号１１０は、帯域制限部３２にて後述するように帯域幅が制限される。当該帯域制限された信号１３８（図１３の帯域１３８の信号）は、アップサンプラ１０にて２倍の解像度にアップサンプルされ、さらに合成用ローパスフィルタ１０によりフィルタリングされる。このフィルタリング後の信号１３９が加算器１３に送られる。
【００６７】
当該加算器１３の出力信号１４０（図１３の帯域１４０の信号）は、更にアップサンプラ１４にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ１５にてフィルタリングされる。
【００６８】
このフィルタリング後の信号１４１は、更にアップサンプラ１９にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ２０にてフィルタリングされる。当該合成用ローパスフィルタ２０からの出力信号１２９は原画像と同じ解像度の画像となる。
【００６９】
この第２の具体例では、最終的に５分の１の解像度に復号化された画像を生成するため、上記出力信号１２９はさらにダウンサンプラ３３にて５分の１の解像度にダウンサンプル（間引き処理）される。これにより、５分の１の縮小画像の復号画像信号１４２が得られることになる。このように、５分の１の帯域成分しか必要ない場合には、ＬＨ信号１１１とＨ信号１１２は不要となる。したがって、図６のようにＬＨ信号１１１とＨ信号１１２をそれぞれ入力とする２倍のアップサンプラ及び合成用ハイパスフィルタの処理は不要になるので、計算量の削減ができる。
【００７０】
ここで、当該第２の具体例の場合の帯域制限部３２は、アップサンプラ１０及び合成フィルタ１２の前段部に置かれ、ＬＬＨ信号１１０（高域成分）の変換係数のフィルタリング処理を行うが、当該ＬＬＨ信号１１０はウェーブレット符号化装置にてダウンサンプルされたものであるため、その解像度での帯域に対応したフィルタとして設計する必要がある。
【００７１】
図１５には、図３のウェーブレット変換部において、ＬＬＨ信号１１０を生成する際の各生成過程での周波数帯域の状態を示す。なお、図中のカッコ内の数字は、前述した各図に示した信号に対応しており、図中の斜線部は抽出すべき前記帯域１３８を示している。また、図の横軸のωは正規化角周波数を意味する。さらに、状態１４３の帯域は、前記信号１１４の帯域に対応しており、この信号１１４を生成するまでの周波数帯域は、図１０における状態１３１から状態１３３（但し、斜線部を除く）で既に示されている。
【００７２】
この図１５において、前記信号１１４の出力以降の処理では、前記分析用ローパスフィルタ８５により高域がカットされた信号１１６が生成され、この信号１１６の帯域成分は状態１４４になる。さらに、前記ダウンサンプラ８７での２分の１のダウンサンプルにより信号１１７が生成され、この信号１１７の帯域は状態１４５で表わされる。次に、レベル３での処理に移り、信号１１７に対して前記分析用ハイパスフィルタ８２による帯域制限が行われ、信号１１８が生成される。この信号１１８は、低域がカットされているため、その帯域は図１５中の状態１４６になる。最後に、ダウンサンプラ９２による２分の１のダウンサンプルが行われ、ＬＬＨ信号１１０が生成される。ＬＬＨ信号１１０の帯域は、状態１４７で表わされる。当該状態１４７では、帯域が２π側にずれて低域側への折り返し成分が発生することになるため、図１６に示すような状態１４８として見なすことができる。従って、ＬＬＨ信号１１０の解像度においては、図１３の帯域１３８は、図１６の帯域１４９に相当している。このため、ＬＬＨ信号１１０に対して図１４のように帯域制限部３２を配置した場合、図１７に示したフィルタ特性（振幅）をもつハイパスフィルタを帯域制限部３２として使用することになる。
【００７３】
以上が、第２の具体例として縮小率が５分の１のときのウェーブレット逆変換部４の構成及び動作である。この第２の具体例のウェーブレット逆変換部４によれば、前記処理によってウェーブレット変換領域における帯域幅が５分の１になるため、エリアシングといったノイズや高域成分の欠落によるボケの発生を防ぐことができる。つまり、該縮小率から与えられる有効帯域の高精度な抽出方法により、復号画像の品質向上の効果を生み出している。
【００７４】
次に、本発明実施の形態の第３の具体例として、３分の２の縮小変換を行うウェーブレット復号化装置について説明する。
【００７５】
前記第１，２の具体例と同様に、縮小率が３分の２である場合には、帯域占有率も３分の２にしなければならない。このためには、図１８に示すように、帯域１５３の帯域幅を抽出する必要がある。この場合、Ｈ信号１１２に対して帯域制限処理を行って帯域１５０（斜線部）を取り出し、これと信号１２３が持つ帯域を合成することで、図１８における３分の２の帯域１５３の抽出が可能となる。
【００７６】
図１９には、当該第３の具体例として、図１のウェーブレット復号化装置において解像度を３分の２に縮小して復号化する場合の、ウェーブレット逆変換部４の概略構成を示す。なお、この図１９の構成において、前記各図と同じ構成要素には各図と同一の指示符号を付している。また、図１９中の点線にて示す各高域側の経路は、図６に示した通常のウェーブレット復号化装置には設けられることになる経路であるが、本実施の形態のウェーブレット復号化装置には設けられない経路を表している。
【００７７】
すなわち図１９に示す第３の具体例のウェーブレット逆変換部４において、ＬＬＬ信号１０９とＬＬＨ信号１１０は、アップサンプラ９，１１によってそれぞれ２倍の解像度にアップサンプルされ、さらに合成用ローパスフィルタ１０，１２によりそれぞれフィルタリングされた後、加算器１３にて両者の帯域合成がなされる。当該加算器１３で帯域合成した信号１２２は、原画像の４分の１の縮小画像に相当し、ここまでの処理により、レベル３の逆変換が完了する。
【００７８】
当該加算器１３の出力信号１２２は、更にアップサンプラ１４にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ１５にてフィルタリングされて加算器１８に送られる。
【００７９】
また、ＬＨ信号１１１は、アップサンプラ１６によって２倍の解像度にアップサンプルされた後、合成用ハイパスフィルタ１７にてフィルタリングされ、加算器１８に送られる。
【００８０】
加算器１８では、合成用ローパスフィルタ１５と合成用ハイパスフィルタ１７からの信号の帯域合成を行うする。ここまでの処理により、上記レベル２の逆変換が完了する。 当該加算器１８による帯域合成後の信号１２３は、更にアップサンプラ１９にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ２０にてフィルタリングされて加算器２３に送られる。
【００８１】
また、Ｈ信号１１２は、帯域制限部３４にて後述するように帯域幅が制限される。当該帯域制限された信号１５０（図１８の帯域１５０の信号）は、アップサンプラ２１にて２倍の解像度にアップサンプルされ、さらに合成用ハイパスフィルタ２２によりフィルタリングされる。このフィルタリング後の信号１５１が加算器２３に送られる。
【００８２】
加算器２３では、合成用ローパスフィルタ２０と合成用ハイパスフィルタ２２からの信号の帯域合成を行う。ここまでの処理により、上記レベル１の逆変換が完了する。
【００８３】
この第３の具体例では、最終的に３分の２の解像度に復号化された画像を生成するため、上記信号１５３はアップサンプラ２４にて２倍の解像度（原画像の２倍の解像度）にアップサンプルされた後、合成用ローパスフィルタ２５によりフィルタリングされ、さらにこの信号１５４はダウンサンプラ３１にて３分の１の解像度にダウンサンプル（間引き処理）される。これにより、３分の２の縮小画像の復号画像信号１４２が得られることになる。このようにレベル０までの逆変換を行ったとしても、第３の具体例では、レベル０の高域側に２倍のアップサンプラ及び合成用ハイパスフィルタがは不要である。
【００８４】
ここで、当該第３の具体例の場合の帯域制限部３４は、アップサンプラ２１及び合成フィルタ２２の前段部に置かれ、レベル１のＨ信号１１２（高域成分）の変換係数のフィルタリング処理を行うが、当該Ｈ信号１１２はウェーブレット符号化装置にてダウンサンプルされたものであるため、その解像度での帯域に対応したフィルタとして設計する必要がある。
【００８５】
図２０には、図３のウェーブレット変換部において、Ｈ信号１１２を生成する際の各生成過程での周波数帯域の状態を示す。なお、図中のカッコ内の数字は、前述した各図に示した信号成分に対応しており、図中の斜線部は抽出すべき帯域１５０を示している。また、図の横軸のωは正規化角周波数を意味する。
【００８６】
この図２０において、入力画像信号１０５に含まれる帯域は、状態１５６で示される。次に、この状態１０５に対して分析用ハイパスフィルタ８２処理を施した信号１１９の帯域は、低域がカットされるために状態１５７となり、更にダウンサンプラ８４にて２分の１倍のダウンサンプルが行われた信号１１２の帯域は状態１５８のような帯域になる。状態１５８では、帯域が２π側にずれて低域側への折り返し成分が発生することになるため、帯域分布を状態１５９として見なすことができる。従って、図１８の帯域１５０は、Ｈ信号１１２の解像度においては、図２０の帯域１６０に相当している。このため、Ｈ信号１１２に対して図１９のように帯域制限部３４を配置した場合、前記図１２に示したフィルタ特性（振幅）を有するハイパスフィルタを帯域制限部３４として使用することになる。
【００８７】
以上が、第３の具体例として縮小率が３分の２のときのウェーブレット逆変換部４の構成及び動作である。この第３の具体例のウェーブレット逆変換部４によれば、前記処理によってウェーブレット変換領域における帯域幅が３分の２になるため、エリアシングといったノイズや高域成分の欠落によるボケの発生を防ぐことができる。つまり、該縮小率から与えられる有効帯域の高精度な抽出方法により、復号画像の品質向上の効果を生み出している。
【００８８】
次に、本発明実施の形態の第４の具体例として、第１の具体例のように３分の１の縮小変換を行うウェーブレット復号化装置について説明する。
【００８９】
図２１には、当該第４の具体例として、図１のウェーブレット復号化装置において解像度を３分の１に縮小して復号化する場合の、ウェーブレット逆変換部４の概略構成を示す。なお、この図２１の構成において、前記各図と同じ構成要素には各図と同一の指示符号を付している。また、解像度を３分の１にする場合、前記第１の具体例と同様に、帯域占有率も３分の１にする。
ここで、この図２１に示す第４の具体例の構成は、前記第１の具体例における図９の帯域制限部と、アップサンプラ１６及び合成用ハイパスフィルタ１７の配置を入れ替えた以外は、前記図９と同じ構成になる。
【００９０】
すなわちこの図２１において、ＬＨ信号１１１１は、アップサンプラ１６によって２倍の解像度にアップサンプルされる。アップサンプルされた信号１６１は合成用ハイパスフィルタ１７にてフィルタリングされ、信号１６２として帯域性弁部３６に送られる。
【００９１】
当該第４の具体例の場合、帯域制限の対象となる信号１６２は、アップサンプラ１６での２倍のアップサンプルと合成用ハイパスフィルタ１７の処理により、解像度がＬＨ信号１１１の２倍になっている。従って、帯域制限部３６は、この解像度での帯域に基づいてフィルタを設計する必要がある。
【００９２】
図２２には、ＬＨ信号１１１から２倍のアップサンプル及びハイパスフィルタ（合成）の処理によって信号１６２を生成する各過程での周波数帯域の状態を示す。なお、図中のカッコ内の数字は、前述した各図に示した信号に対応しており、また、図の横軸のωは正規化角周波数を意味する。
【００９３】
この図２２において、状態１６３は、前記図１１における状態１３６と同じ信号１１１の帯域を示しており、図中の斜線部が抽出すべき信号１２５の帯域になる。信号１１１を２倍にアップサンプルした信号１６１は、状態１６４で示されたような帯域分布になる。なお、図中点線で示された帯域は、イメージング成分（アップサンプリングにより新たに生じるスペクトル成分）を示している。更に、信号１６１に対してハイパスフィルタ処理した信号１６２の信号はイメージング成分がカットされ、その帯域は状態１６５で示されるような分布になる。
【００９４】
以上から、当該第４の具体例の場合は、図２１における信号１２５の帯域を抽出するには、図２３に示すようなフィルタ特性（振幅）をもつバンドパスフィルタを帯域制限部３４として使用する。
【００９５】
上述したように、本発明実施の形態においては、任意有理数倍率の解像度変換を伴うウェーブレット復号化を実現することができる。すなわち例えば縮小の場合、帯域制限の対象となるレベル以下の高域成分については、それを復号化のプロセスから省略することにより、計算量を削減する効果がある。従って、ハードウェア化した際のコスト減につながる。更に、縮小率から与えられる有効帯域の高精度な抽出方法により、エリアシングといったノイズや高域成分の欠落によるボケの発生を防ぎ、復号画像の品質向上の効果を生み出している。
【００９６】
また、本実施の形態によれば、ウェーブレット符号化装置側には一切制約条件が無い。従って、通常の最も一般的なウェーブレット変換及びウェーブレット符号化装置で生成された符号化ビットストリームを入力して、任意有理数の解像度変換を伴うウェーブレット復号化画像を得ることができるという効果もある。
【００９７】
【発明の効果】
本発明のウェーブレット復号化装置及び方法においては、ウェーブレット逆変換の際に、解像度変換倍率に応じて変換係数の帯域制限を行うと共に、所定の解像度変換倍率に応じてアップサンプリング、ダウンサンプリング、合成フィルタリングを適応的に行うことにより、変換方式にウェーブレット変換を用いて圧縮符号化がなされた画像信号を、端末側の制約条件に左右されること無く、任意有理数の解像度でデコード（復号化）可能となり、その結果として、例えば電子スチルカメラやプリンタ等で多用されるいわゆるサムネイル画像や原画像を解像度変換した画像（縮小又は拡大した画像）の記憶・表示を効率的に行え、各種の製品への使用用途を大幅に広げることが可能となる。
【００９８】
すなわち本発明によれば、必要に応じて画像メモリ内に記憶された帯域画像をサムネイル画像または縮小画像として画面表示できるので、帯域分割画像を生成する過程と符号化を行う過程とを共通化することで、処理の効率化が実現できるという効果がある。従って、特別に、サムネイル画像等を生成する回路が必要無いので、ハードウェア規模の削減という効果もある。さらに、例えば外部記憶媒体を本発明装置に付加して、これに符号化ビットストリームを記憶・保持させることにより、多くの画像の符号化ビットストリームを該外部記憶媒体に記憶・保持させることができる。また、常にサムネイル画像または縮小画像を画像メモリに記憶・保持させておく必要がないので、見たいサムネイル画像または縮小画像の符号化ビットストリームを、外部記憶媒体から随時読み出して、復号化して画面表示すれば良いので、使用効率が向上する効果もある。
【図面の簡単な説明】
【図１】本発明実施の形態のウェーブレット復号化装置の全体構成を示すブロック回路図である。
【図２】本発明実施の形態のウェーブレット復号化装置に対応するウェーブレット符号化装置の全体構成を示すブロック回路図である。
【図３】通常のウェーブレット変換部の基本構成（レベル３まで）を示すブロック回路図である。
【図４】２次元画像の帯域分割（分割レベル＝２）を示す図である。
【図５】実際の画像に対して帯域分割（分割レベル＝２）した場合の各帯域画像を示す図である。
【図６】通常のウェーブレット逆変換部の基本構成（レベル３まで）を示すブロック回路図である。
【図７】帯域分割特性（オクターブ分割）を示す図である。
【図８】３分の１倍の解像度変換時に処理対象となる帯域分割特性を示す図である。
【図９】第１の具体例として、３分の１倍の縮小解像度変換を伴うを伴うウェーブレット逆変換部の構成を示すブロック回路図である。
【図１０】ウェーブレット変換部によるＬＨ信号の生成過程での周波数帯域を示す図である。
【図１１】ＬＨ信号の解像度における周波数帯域を示す図である。
【図１２】第１の具体例の帯域制限部に用いるハイパスフィルタの振幅特性を示す図である。
【図１３】５分の１倍の解像度変換時に処理対象となる帯域分割特性を示す図である。
【図１４】第２の具体例として、５分の１倍の縮小解像度変換を伴うを伴うウェーブレット逆変換部の構成を示すブロック回路図である。
【図１５】ウェーブレット変換部によるＬＬＨ信号の生成過程での周波数帯域を示す図である。
【図１６】ＬＬＨ信号の解像度における周波数帯域を示す図である。
【図１７】第２の具体例の帯域制限部に用いるハイパスフィルタの振幅特性を示す図である。
【図１８】３分の２倍の解像度変換時に処理対象となる帯域分割特性を示す図である。
【図１９】第３の具体例として、３分の２倍の縮小解像度変換を伴うを伴うウェーブレット逆変換部の構成を示すブロック回路図である。
【図２０】ウェーブレット変換部によるＨ信号の生成過程での周波数帯域を示す図である。
【図２１】第４の具体例として、３分の１倍の縮小解像度変換を伴うを伴うウェーブレット逆変換部の構成を示すブロック回路図である。
【図２２】ＬＨ信号に対しアップサンプル、ハイパスフィルタ処理を行う過程での周波数帯域を示す図である。
【図２３】第３の具体例の帯域制限部に用いるバンドパスフィルタの振幅特性を示す図である。
【符号の説明】
１ エントロピー復号化部、 ２ 逆量子化部、 ３ 変換係数逆スキャニング部、 ４ ウェーブレット逆変換部、 ５ ウェーブレット変換部、 ６ 変換係数スキャニング部、 ７ 量子化部、 ８ エントロピー符号化部、 ９ ２倍のアップサンプラ、 １０，１５，２０，２５ 合成用ローパスフィルタ、１２，１７，２２ 合成用ハイパスフィルタ、 １２，１８，１２ 加算器、８１，８５，８９ 分析用ローパスフィルタ、 ８２，８６，９０ 分析用ハイパスフィルタ、 ８３，８４，８７，８８，９１，９２ ２分の１倍のダウンサンプラ、 ３１ ３分の１倍のダウンサンプラ、 ３３ ５分の１倍のダウンサンプラ、 ３０，３２，３４，３６ 帯域制限部
【発明の属する技術分野】
本発明は、画像の効率的伝送もしくは蓄積を行うシステムに供することのできるものであり、特に、ウェーブレット変換符号化を用いて符号化されたビットストリームを入力して、任意の有理数倍の解像度変換を伴う復号化を実現するウェーブレット復号化装置及び方法に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式としては、ＩＳＯ（Internatioal Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic Coding Experts Group）方式がある。これはＤＣＴ（discrete cosine transform）を用いて主に静止画像信号を圧縮符号化する方式であり、比較的高いビットが割り当てられる場合には良好な符号化・復号画像を供することが知られている。しかし、当該ＤＣＴの場合、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に、最近は、フィルタバンクと呼ばれるハイパスフィルタとローパスフィルタを組み合わせたフィルタを用いて画像信号を複数の帯域に分割し、それらの各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット符号化は、ＤＣＴにて問題になる高圧縮でブロック歪みが顕著になる、という欠点が無いことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
現在の電子スチルカメラやビデオムービ等の製品では、画像圧縮方式にＪＰＥＧやＭＰＥＧ（Moving Picture image coding Experts Group）を使用し、変換方式にＤＣＴを用いているが、今後は、上記ウェーブレット変換をベースにした変換方式を採用した製品が市場に出現するものと推測される。
【０００５】
【発明が解決しようとする課題】
ところが、符号化方式の効率向上のための検討は各研究機関で盛んに行われているが、ウェーブレット変換の特徴を生かした具体的な製品化を目指した発明は未だ少ない。
【０００６】
また、従来の解像度変換を伴ったウェーブレット復号化では、その性質上、２のべき乗分の１でしか解像度を縮小することができない。これは、通常のウェーブレット変換が２分割フィルタバンクを用いていることに起因している。従って、復号化過程における合成フィルタバンクでは、２のべき乗分の１でしか低域成分を合成できないことになり、このため、復号画像の縮小率は２のべき乗分の１に制限されている。
【０００７】
一方で、原画像の解像度が大きくなると、２のべき乗分の１以外の解像度でデコードする要求も増えて来ると考えられる。すなわち、２のべき乗分の１だけでなくそれ以外も含む任意有理数の解像度でデコード（復号化）することができるようになれば、端末側の制約条件に左右されることが無くなるため、非常に用途が広まると考えられる。
【０００８】
そこで、本発明はこのような状況に鑑みてなされたものであり、変換方式にウェーブレット変換を用いて圧縮符号化がなされた画像信号を、端末側の制約条件に左右されること無く、任意有理数の解像度でデコード（復号化）可能とし、その結果として、例えば電子スチルカメラやプリンタ等で多用されるいわゆるサムネイル画像や原画像を解像度変換した画像（縮小した画像）の記憶・表示を効率的に行えるようにし、各種の製品への使用用途を大幅に広げることを可能とする、ウェーブレット復号化装置及び方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係るウェーブレット復号化装置及び方法は、符号化ビットストリームをエントロピー復号化して量子化係数を送出し、量子化係数を逆量子化して変換係数を送出し、変換係数を所定の方法でスキャニングして変換係数を並び換え、並び換えられた変換係数を逆変換して復号画像を生成し、ウェーブレット逆変換の際には、解像度変換倍率に応じて高域成分の変換係数の持つ帯域幅を制限すると共に、複数のアップサンプラ及び合成フィルタからなるウェーブレット逆変換基本構成のうち、高域側の復号化を行うアップサンプラ及び合成フィルタにおけるアップサンプリング処理及び合成フィルタリング処理の所定レベルの該高域成分を省略すると共に、所望の解像度変換倍率に対応する縮小率の帯域を含むウェーブレット逆変換の際に用いる帯域幅の高域成分に対して上記帯域幅の制限処理を行って上記縮小率に見合った帯域幅を抽出し、さらにダウンサンプラにおけるダウンサンプリング処理によって上記所望の解像度変換倍率に応じた画像を間引いて、所望の大きさの上記復号画像を供することにより、上述の課題を解決する。
【００１０】
【発明の実施の形態】
本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１１】
本発明実施の形態は、画像の効率的伝送もしくは蓄積を行うシステムに好適なものであり、特にウェーブレット変換符号化を用いて符号化されたビットストリームを入力して、任意の有理数倍の解像度変換を伴う復号化を実現するウェーブレット復号化装置及び方法を実現するものである。具体的な応用例としては、電子カメラ、携帯・移動体画像送受信端末（ＰＤＡ）、プリンタ、衛星画像、医用画像等の圧縮・伸張器またはそのソフトウェアモジュール、ゲーム、３次元ＣＧで用いるテクスチャの伸張器またはそのソフトウェアモジュール等がある。
【００１２】
図１には、本発明のウェーブレット復号化装置及び方法が適用される一実施の形態のウェーブレット復号化装置の全体構成を示す。
【００１３】
この図１に示す本発明実施の形態のウェーブレット復号化装置は、符号化ビットストリーム１００をエントロピー復号化するエントロピー復号化部１と、量子化係数１０１を逆量子化して変換係数１０２を送出する逆量子化部２と、変換係数１０２を所定の方法でスキャニングして並び換えた変換係数１０３を送出する変換係数逆スキャニング部３と、並び換えられた変換係数１０３を逆変換して復号画像１０４を供するウェーブレット逆変換部４とを備えてなるものである。
【００１４】
より具体的に説明すると、エントロピー復号化部１は、ウェーブレット符号化装置または符号化モジュールより送出された符号化ビットストリーム１００に対して所定のエントロピー復号化を行う。ここで、エントロピー復号化としては、一般的に用いられているハフマン復号化や算術復号化を用いれば良い。但し当然であるが、ウェーブレット符号化装置等で行われたエントロピー符号化処理と対応する手法を行う必要がある。
【００１５】
逆量子化部２は、エントロピー復号化部１により復号化されて出力された量子化係数１０１を逆量子化して変換係数１０２を出力する。この逆量子化部２も、ウェーブレット符号化装置で行われた量子化処理と表裏一体の動作を行う必要がある。
【００１６】
変換係数逆スキャニング部３は、逆量子化部２で得られた変換係数１０２を並び換えて、新たな変換係数１０３を出力する。ここでの逆スキャニング方法は、ウェーブレット符号化装置で行われたスキャニング処理の逆処理を行うことになる。
【００１７】
ウェーブレット逆変換部４は、変換係数１０３を逆変換して最終的な復号画像信号１０４を供する。
【００１８】
ここで、本発明実施の形態のウェーブレット復号化装置では、上記ウェーブレット逆変換部４に、所定の解像度変換倍率に応じて変換係数の帯域を適応的に制限する帯域制限手段を設け、さらにアップサンプラ、ダウンサンプラ及び合成フィルタの何れか又は複数を適応的に配置することにより、任意の有理数倍率に解像度変換を行う機能を実現している。
【００１９】
本実施の形態のウェーブレット復号化装置における上記任意有理数倍率の解像度変換処理のための構成及び動作の詳細な説明を行う前に、図２〜図６を用いて通常のウェーブレット変換処理及びウェーブレット逆変換処理のための構成及び動作について以下に説明する。
【００２０】
図２には、通常のウェーブレット符号化装置の基本的構成を示す。
【００２１】
図２に示すウェーブレット符号化装置は、ウェーブレット変換部５と、変換係数スキャニング部６と、量子化部７と、エントロピー符号化部８を、その基本構成要素として有する。
【００２２】
ウェーブレット変換部５は、入力された画像信号１０５をウェーブレット変換してその変換係数１０６を出力する。
変換係数スキャニング部６は、ウェーブレット変換部５からの変換係数１０６を並び換えて、新たな変換係数１０７を出力する。なお、前記図１の変換係数逆スキャニング部３でのスキャニングは、当該変換係数スキャニング部６でのスキャニングの反対の並び換え処理である。
【００２３】
量子化部７は、変換係数スキャニング部６から供給された変換係数１０７を量子化し、その量子化係数１０８を出力する。なお、前記図１の逆量子化部２での処理は、当該量子化部７での処理と対を成すものである。
【００２４】
エントロピー符号化部８は、量子化部７から供給された量子化係数１０８に所定のエントロピー符号化を施し、その符号化ビットストリーム１００を出力する。なおここでのエントロピー符号化としては、一般的に用いられているハフマン符号化や算術符号化を用いれば良く、前記図１のエントロピー復号化部１での処理は、当該エントロピー符号化部８での処理と対応している。
【００２５】
図３には、通常のウェーブレット変換処理を行う構成を示す。この図３の構成は、幾つかある手法の中で最もポピュラーなウェーブレット変換処理であるオクターブ分割を複数レベルに渡って行う場合の構成例である。なお、図３の場合はレベル数が３（レベル１〜レベル３）であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を取っている。また、図３では、便宜上、１次元の信号（例えば画像の水平成分）についてのウェーブレット変換処理を例に挙げているが、これを２次元に拡張することで２次元画像信号に対応することができる。
【００２６】
図３において、入力画像信号１０５は、先ず分析用ローパスフィルタ８１と分析用ハイパスフィルタ８２とによって帯域分割され、得られた低域側の信号１１３と高域側の信号１１９は、それぞれ対応するダウンサンプラ８３，８４によって解像度が２分の１倍に間引かれる（レベル１）。
【００２７】
上記ダウンサンプラ８３，８４からの出力のうち、低域側の信号１１４は分析用ローパスフィルタ８５と分析用ハイパスフィルタ８６によってさらに帯域分割される。これら帯域分割により得られた信号１１６，１１５はさらにダウンサンプラ８７，８８によって解像度がそれぞれ２分の１倍に間引かれる（レベル２）。
【００２８】
上記ダウンサンプラ８７，８８からの出力のうち、低域側の信号１１７は分析用ローパスフィルタ８９と分析用ハイパスフィルタ９０によってさらに帯域分割される。これら帯域分割により得られた信号１１９，１１８はさらにダウンサンプラ９１，９２によって解像度がそれぞれ２分の１倍に間引かれる（レベル３）。
【００２９】
このような処理を所定のレベルまで行うことで、低域側の信号を階層的に帯域分割した各帯域の信号が順次生成されていくことになる。図３の例では、レベル３まで帯域分割した結果、ＬＬＬ信号１０９、ＬＬＨ信号１１０、ＬＨ信号１１１、Ｈ信号１１２が生成されていることを示している。なお、上記ＬＬＬ信号１０９やＬＬＨ信号１１０のＬは低域成分であることを表し、Ｈは高域成分であることを表している。
【００３０】
図４には、レベル２まで２次元画像を帯域分割した結果得られる帯域成分を図示する。ただし、この図４でのＬ及びＨの表記法は１次元信号を扱った図３とは異なる。なお、図４中のＬＬは水平・垂直成分が共にＬ（低域）であること、ＬＨは水平成分がＨ（高域）で垂直成分がＬ（低域）であることを意味している。また、図中のＸ＿ＳＩＺＥは垂直方向（Ｘ方向）の解像度を、Ｙ＿ＳＩＺＥは水平方向（Ｙ方向）の解像度を意味している。
【００３１】
すなわちこの図４において、２次元の原画像は、先ずレベル１の帯域分割（水平・垂直方向）により４つの成分ＬＬ、ＬＨ、ＨＬ、ＨＨに分けられ、次いで、ＬＬ成分は、レベル２の帯域分割（水平・垂直方向）により更に４つの成分ＬＬＬＬ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＨＨに分けられる。
【００３２】
図５には、図４の帯域分割を実際の画像に応用した場合の画像例を示しており、この図５から、画像は低域の成分にその大部分の情報が含まれていることがわかる。
【００３３】
次に、図６には、解像度変換の動作を行わない通常のウェーブレット逆変換処理を行う構成を示す。
【００３４】
図３で説明したウェーブレット変換部の出力である各帯域成分（ＬＬＬ信号１０９、ＬＬＨ信号１１０、ＬＨ信号１１１、Ｈ信号１１２）のうち、ＬＬＬ信号１０９及びＬＬＨ信号１１０は、それぞれアップサンプラ９，１１によって２倍の解像度にアップサンプルされる。
【００３５】
上記アップサンプラ９にてＬＬＬ信号１０９をアップサンプルして生成された信号は合成用ローパスフィルタ１０により、また、アップサンプラ１１にてＬＬＨ信号１１０をアップサンプルして生成された信号は合成用ハイパスフィルタ１２によって、それぞれフィルタリングされて加算器１３に送られる。
【００３６】
加算器１３では、両者の信号を帯域合成する。ここまでの処理により、上記レベル３の逆変換が完了する。
【００３７】
以下同様に、上述の処理をレベル１まで繰り返すことで、最終的な逆変換後の復号画像１０４が出力されることになる。
【００３８】
すなわち、加算器１３の出力信号は、更にアップサンプラ１４にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ１５にてフィルタリングされて加算器１８に送られる。
【００３９】
また、ＬＨ信号１１１は、アップサンプラ１６によって２倍の解像度にアップサンプルされた後、合成用ハイパスフィルタ１７にてフィルタリングされて加算器１８に送られる。
【００４０】
加算器１８では、合成用ローパスフィルタ１５と合成用ハイパスフィルタ１７からの両者の信号を帯域合成する。ここまでの処理により、上記レベル２の逆変換が完了する。
【００４１】
この加算器１８の出力信号は、更にアップサンプラ１９にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ２０にてフィルタリングされて加算器２３に送られる。
【００４２】
また、Ｈ信号１１２は、アップサンプラ２１によって２倍の解像度にアップサンプルされた後、合成用ハイパスフィルタ２２にてフィルタリングされて加算器２３に送られる。
【００４３】
加算器２３では、合成用ローパスフィルタ２０と合成用ハイパスフィルタ２２からの両者の信号を帯域合成する。ここまでの処理により、上記レベル１の逆変換が完了する。
【００４４】
以上が、通常のウェーブレット変換処理及びウェーブレット逆変換処理の基本構成及び基本動作である。
【００４５】
ところで、上記図６において、ＬＬＬ信号１０９そのものは、原画像の８分の１の縮小画像に相当する。また、アップサンプラ９で２倍にアップサンプルされ、さらに合成用ローパスフィルタ１０を通過したレベル３の低域側の信号１２０と、同じくアップサンプラ１１で２倍にアップサンプルされ、さらに合成用ハイパスフィルタ１２を通過したレベル３の高域側の信号１２１とを、加算器１３で帯域合成した信号１２２は、原画像の４分の１の縮小画像に相当する。同様に、レベル２の加算器１８の出力信号１２３は、原画像の２分の１の縮小画像に相当する。
【００４６】
したがって、それらＬＬＬ信号１０９や信号１２２，１２３を取り出せば、２のべき乗分の１の縮小画像を生成できることになる。なお、他のレベル数であっても同様な方法で２のべき乗分の１の縮小画像を生成できる。
【００４７】
図７は、上記図６の各入力信号（ＬＬＬ信号１０９、ＬＬＨ信号１１０、ＬＨ信号１１１、Ｈ信号１１２）の帯域分割特性を示したものである。ここで本発明は、ディジタル信号を対象としているので、図７において、横軸は０、２πに近づくほど低域成分を、πに近づくほど高域成分を示していることになる。また、図６における各信号１０９，１２２，１２３に対応する各縮小画像、及び原解像度の復号画像信号１０４は、それぞれ図７に示したような帯域幅を有しており、このことから復号画像の縮小率と各画像における帯域幅の占有率（帯域占有率）とは一致していることがわかる。
【００４８】
したがって、例えば任意有理数倍の縮小変換を行うためには、その縮小率に見合った帯域幅を抽出する必要がある。しかし、図７の帯域分割特性からもわかるように、ウェーブレット変換・逆変換ではその性質上、２のべき乗分の１の帯域占有率でしか帯域幅を合成できない。
【００４９】
このようなことから、図１に示したウェーブレット復号化装置のウェーブレット逆変換部４では、その縮小率を規範として制限すべき帯域を決定し、その決定の際には、当該縮小率で与えられる有効帯域幅とウェーブレット逆変換の際に用いる帯域幅との差が最小となるようにすることで、上述したような縮小率に見合った帯域幅の抽出と、任意有理数倍の縮小変換を実現している。
【００５０】
本発明実施の形態の第１の具体例では、任意有理数倍の解像度変換の一例として、３分の１の縮小変換を伴うウェーブレット逆変換について説明する。
【００５１】
先に述べたように、縮小率が３分の１である場合には、帯域占有率も３分の１にしなければならない。つまり、図８に示すように、帯域１２８の帯域幅を抽出する必要がある。この場合、先ずＬＨ信号１１１に対して帯域制限処理を行って、図８における帯域１２４（斜線部）を取り出し、これと帯域１２２を合成すれば、上記３分の１の帯域１２８の抽出が可能となる。
【００５２】
図９には、当該第１の具体例として、前記の処理を実現する３分の１の縮小変換を伴うウェーブレット逆変換部４の概略構成を示す。なお、この図９の構成において、前記図６と同じ構成要素には図６と同一の指示符号を付している。また、図９中の点線にて示す高域側の経路は、図６に示した通常のウェーブレット復号化装置には設けられている経路であるが、本実施の形態のウェーブレット復号化装置では省略された経路を表している。
【００５３】
すなわち図９に示す第１の具体例のウェーブレット逆変換部４において、ＬＬＬ信号１０９及びＬＬＨ信号１１０は、それぞれアップサンプラ９，１１によって２倍の解像度にアップサンプルされ、さらにそれぞれ対応する合成用ローパスフィルタ１０と合成用ハイパスフィルタ１２によりフィルタリングされた後、加算器１３にて両者の信号が帯域合成される。当該加算器１３での帯域合成により得られた信号１２２（図８の帯域１２２の信号）は、原画像の４分の１の縮小画像に相当し、ここまでの処理により、レベル３の逆変換が完了する。
【００５４】
当該加算器１３の出力信号１２２は、更にアップサンプラ１４にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ１５にてフィルタリングされて加算器１８に送られる。
【００５５】
また、ＬＨ信号１１１は、帯域制限部３０にて後述するように帯域幅が制限される。この帯域制限部３０にて帯域制限された信号１２４（図８の帯域１２４の信号）は、アップサンプラ１６によって２倍の解像度にアップサンプルされる。このアップサンプル後の信号１２７は、さらに合成用ハイパスフィルタ１７にてフィルタリングされ、信号１２５として加算器１８に送られる。
【００５６】
加算器１８では、合成用ローパスフィルタ１５と合成用ハイパスフィルタ１７からの信号１２６及び１２５を帯域合成する。当該加算器１８での帯域合成により得られた信号１２８（図８の帯域１２８の信号）は、更にアップサンプラ１９にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ２０にてフィルタリングされる。当該合成用ローパスフィルタ２０からの出力信号１２９は原画像と同じ解像度の画像に相当する。
【００５７】
この第１の具体例では、最終的に３分の１の解像度に復号化された画像を生成するため、上記ローパスフィルタ２０からの信号１２９はさらにダウンサンプラ３１にて３分の１の解像度にダウンサンプル（間引き処理）される。これにより、３分の１の縮小画像に相当する復号画像信号１３０が得られることになる。また、この第１の具体例のように、３分の１の帯域信号しか必要ない場合には、Ｈ信号１１２は不要となる。したがって、図６のようにＨ信号１１２を入力とする２倍のアップサンプラ及び合成用ハイパスフィルタの処理は不要になるので、計算量の削減ができる。
【００５８】
ここで、当該第１の具体例の場合の帯域制限部３０は、アップサンプラ１６及び合成フィルタ１７の前段部に置かれ、ＬＨ信号１１１（高域成分）の変換係数のフィルタリング処理を行うが、当該ＬＨ信号１１１はウェーブレット符号化装置にてダウンサンプルされたものであるため、その解像度での帯域に対応したフィルタとして設計する必要がある。
【００５９】
図１０には、図３に示したウェーブレット変換部において、ＬＨ信号１１１を生成する際の各生成過程での周波数帯域の状態を示す。なお、図中のカッコ内の数字は、前述した各図に示した信号に対応しており、図中の斜線部は抽出すべき前記帯域１２４を示している。また、図の横軸のωは正規化角周波数を意味する。
【００６０】
この図１０において、前記入力画像信号１０５に含まれる帯域は、状態１３１で示される。当該入力画像信号１０５を前記分析用ローパスフィルタ８１にて処理した信号１１３の帯域は、高域がカットされているため状態１３２となり、更に前記信号１１４の帯域はダウンサンプラ８３にて２分の１倍にダウンサンプルされているため状態１３３のような帯域になっている。また、前記信号１１５の帯域は、前記分析用ハイパスフィルタ８６での処理によって低域側がカットされているため状態１３４のような帯域となり、さらにダウンサンプラ８８によって２分の１倍のダウンサンプルが行われてＬＨ信号１１１が生成されている。このＬＨ信号１１１もダウンサンプルの影響のため、状態１３５のような帯域となる。当該状態１３５では、帯域が２π側にずれて低域側への折り返し成分が発生することになるため、図１１に示すように、状態１３６として見なすことができる。従って、ＬＨ信号１１１の解像度においては、前記図８の帯域１２４が図１１の帯域１３７に相当している。このため、ＬＨ信号１１１に対して図９のように帯域制限部３０を配置した場合、図１２に示すようなフィルタ特性（振幅）をもつハイパスフィルタを当該帯域制限部３０として使用することになる。
【００６１】
以上が、第１の具体例として縮小率が３分の１のときのウェーブレット逆変換部４の構成及び動作である。この第１の具体例のウェーブレット逆変換部４によれば、前記処理によってウェーブレット変換領域における帯域幅が３分の１になるため、エリアシングといったノイズや高域成分の欠落によるボケの発生を防ぐことができる。つまり、該縮小率から与えられる有効帯域の高精度な抽出方法により、復号画像の品質向上の効果を生み出している。
【００６２】
次に、本発明実施の形態の第２の具体例として、５分の１の縮小変換を行うウェーブレット復号化装置について説明する。
【００６３】
前記第１の具体例と同様に、縮小率が５分の１である場合には、帯域占有率も５分の１にしなければならない。このためには、図１３に示すように、帯域１４０の帯域幅を抽出する必要がある。この場合、ＬＬＨ信号１１０に対して帯域制限処理を行って帯域１３８（斜線部）を取り出し、これとＬＬＬ信号１０９が持つ帯域を合成することで、図１３における帯域１４０の抽出が可能となる。
【００６４】
図１４には、当該第２の具体例として、図１のウェーブレット復号化装置において解像度を５分の１に縮小して復号化する場合の、ウェーブレット逆変換部４の概略構成を示す。なお、この図１４の構成において、前記各図と同じ構成要素には各図と同一の指示符号を付している。また、図１４中の点線にて示す各高域側の経路は、図６に示した通常のウェーブレット復号化装置には設けられている経路であるが、本実施の形態のウェーブレット復号化装置では省略された経路を表している。
【００６５】
すなわち図１４に示す第２の具体例のウェーブレット逆変換部４において、ＬＬＬ信号１０９はアップサンプラ９によって２倍の解像度にアップサンプルされ、さらに合成用ローパスフィルタ１０によりフィルタリングされた後、加算器１３に送られる。
【００６６】
一方、レベル３の高域成分であるＬＬＨ信号１１０は、帯域制限部３２にて後述するように帯域幅が制限される。当該帯域制限された信号１３８（図１３の帯域１３８の信号）は、アップサンプラ１０にて２倍の解像度にアップサンプルされ、さらに合成用ローパスフィルタ１０によりフィルタリングされる。このフィルタリング後の信号１３９が加算器１３に送られる。
【００６７】
当該加算器１３の出力信号１４０（図１３の帯域１４０の信号）は、更にアップサンプラ１４にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ１５にてフィルタリングされる。
【００６８】
このフィルタリング後の信号１４１は、更にアップサンプラ１９にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ２０にてフィルタリングされる。当該合成用ローパスフィルタ２０からの出力信号１２９は原画像と同じ解像度の画像となる。
【００６９】
この第２の具体例では、最終的に５分の１の解像度に復号化された画像を生成するため、上記出力信号１２９はさらにダウンサンプラ３３にて５分の１の解像度にダウンサンプル（間引き処理）される。これにより、５分の１の縮小画像の復号画像信号１４２が得られることになる。このように、５分の１の帯域成分しか必要ない場合には、ＬＨ信号１１１とＨ信号１１２は不要となる。したがって、図６のようにＬＨ信号１１１とＨ信号１１２をそれぞれ入力とする２倍のアップサンプラ及び合成用ハイパスフィルタの処理は不要になるので、計算量の削減ができる。
【００７０】
ここで、当該第２の具体例の場合の帯域制限部３２は、アップサンプラ１０及び合成フィルタ１２の前段部に置かれ、ＬＬＨ信号１１０（高域成分）の変換係数のフィルタリング処理を行うが、当該ＬＬＨ信号１１０はウェーブレット符号化装置にてダウンサンプルされたものであるため、その解像度での帯域に対応したフィルタとして設計する必要がある。
【００７１】
図１５には、図３のウェーブレット変換部において、ＬＬＨ信号１１０を生成する際の各生成過程での周波数帯域の状態を示す。なお、図中のカッコ内の数字は、前述した各図に示した信号に対応しており、図中の斜線部は抽出すべき前記帯域１３８を示している。また、図の横軸のωは正規化角周波数を意味する。さらに、状態１４３の帯域は、前記信号１１４の帯域に対応しており、この信号１１４を生成するまでの周波数帯域は、図１０における状態１３１から状態１３３（但し、斜線部を除く）で既に示されている。
【００７２】
この図１５において、前記信号１１４の出力以降の処理では、前記分析用ローパスフィルタ８５により高域がカットされた信号１１６が生成され、この信号１１６の帯域成分は状態１４４になる。さらに、前記ダウンサンプラ８７での２分の１のダウンサンプルにより信号１１７が生成され、この信号１１７の帯域は状態１４５で表わされる。次に、レベル３での処理に移り、信号１１７に対して前記分析用ハイパスフィルタ８２による帯域制限が行われ、信号１１８が生成される。この信号１１８は、低域がカットされているため、その帯域は図１５中の状態１４６になる。最後に、ダウンサンプラ９２による２分の１のダウンサンプルが行われ、ＬＬＨ信号１１０が生成される。ＬＬＨ信号１１０の帯域は、状態１４７で表わされる。当該状態１４７では、帯域が２π側にずれて低域側への折り返し成分が発生することになるため、図１６に示すような状態１４８として見なすことができる。従って、ＬＬＨ信号１１０の解像度においては、図１３の帯域１３８は、図１６の帯域１４９に相当している。このため、ＬＬＨ信号１１０に対して図１４のように帯域制限部３２を配置した場合、図１７に示したフィルタ特性（振幅）をもつハイパスフィルタを帯域制限部３２として使用することになる。
【００７３】
以上が、第２の具体例として縮小率が５分の１のときのウェーブレット逆変換部４の構成及び動作である。この第２の具体例のウェーブレット逆変換部４によれば、前記処理によってウェーブレット変換領域における帯域幅が５分の１になるため、エリアシングといったノイズや高域成分の欠落によるボケの発生を防ぐことができる。つまり、該縮小率から与えられる有効帯域の高精度な抽出方法により、復号画像の品質向上の効果を生み出している。
【００７４】
次に、本発明実施の形態の第３の具体例として、３分の２の縮小変換を行うウェーブレット復号化装置について説明する。
【００７５】
前記第１，２の具体例と同様に、縮小率が３分の２である場合には、帯域占有率も３分の２にしなければならない。このためには、図１８に示すように、帯域１５３の帯域幅を抽出する必要がある。この場合、Ｈ信号１１２に対して帯域制限処理を行って帯域１５０（斜線部）を取り出し、これと信号１２３が持つ帯域を合成することで、図１８における３分の２の帯域１５３の抽出が可能となる。
【００７６】
図１９には、当該第３の具体例として、図１のウェーブレット復号化装置において解像度を３分の２に縮小して復号化する場合の、ウェーブレット逆変換部４の概略構成を示す。なお、この図１９の構成において、前記各図と同じ構成要素には各図と同一の指示符号を付している。また、図１９中の点線にて示す各高域側の経路は、図６に示した通常のウェーブレット復号化装置には設けられることになる経路であるが、本実施の形態のウェーブレット復号化装置には設けられない経路を表している。
【００７７】
すなわち図１９に示す第３の具体例のウェーブレット逆変換部４において、ＬＬＬ信号１０９とＬＬＨ信号１１０は、アップサンプラ９，１１によってそれぞれ２倍の解像度にアップサンプルされ、さらに合成用ローパスフィルタ１０，１２によりそれぞれフィルタリングされた後、加算器１３にて両者の帯域合成がなされる。当該加算器１３で帯域合成した信号１２２は、原画像の４分の１の縮小画像に相当し、ここまでの処理により、レベル３の逆変換が完了する。
【００７８】
当該加算器１３の出力信号１２２は、更にアップサンプラ１４にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ１５にてフィルタリングされて加算器１８に送られる。
【００７９】
また、ＬＨ信号１１１は、アップサンプラ１６によって２倍の解像度にアップサンプルされた後、合成用ハイパスフィルタ１７にてフィルタリングされ、加算器１８に送られる。
【００８０】
加算器１８では、合成用ローパスフィルタ１５と合成用ハイパスフィルタ１７からの信号の帯域合成を行うする。ここまでの処理により、上記レベル２の逆変換が完了する。 当該加算器１８による帯域合成後の信号１２３は、更にアップサンプラ１９にて２倍の解像度にアップサンプルされた後、合成用ローパスフィルタ２０にてフィルタリングされて加算器２３に送られる。
【００８１】
また、Ｈ信号１１２は、帯域制限部３４にて後述するように帯域幅が制限される。当該帯域制限された信号１５０（図１８の帯域１５０の信号）は、アップサンプラ２１にて２倍の解像度にアップサンプルされ、さらに合成用ハイパスフィルタ２２によりフィルタリングされる。このフィルタリング後の信号１５１が加算器２３に送られる。
【００８２】
加算器２３では、合成用ローパスフィルタ２０と合成用ハイパスフィルタ２２からの信号の帯域合成を行う。ここまでの処理により、上記レベル１の逆変換が完了する。
【００８３】
この第３の具体例では、最終的に３分の２の解像度に復号化された画像を生成するため、上記信号１５３はアップサンプラ２４にて２倍の解像度（原画像の２倍の解像度）にアップサンプルされた後、合成用ローパスフィルタ２５によりフィルタリングされ、さらにこの信号１５４はダウンサンプラ３１にて３分の１の解像度にダウンサンプル（間引き処理）される。これにより、３分の２の縮小画像の復号画像信号１４２が得られることになる。このようにレベル０までの逆変換を行ったとしても、第３の具体例では、レベル０の高域側に２倍のアップサンプラ及び合成用ハイパスフィルタがは不要である。
【００８４】
ここで、当該第３の具体例の場合の帯域制限部３４は、アップサンプラ２１及び合成フィルタ２２の前段部に置かれ、レベル１のＨ信号１１２（高域成分）の変換係数のフィルタリング処理を行うが、当該Ｈ信号１１２はウェーブレット符号化装置にてダウンサンプルされたものであるため、その解像度での帯域に対応したフィルタとして設計する必要がある。
【００８５】
図２０には、図３のウェーブレット変換部において、Ｈ信号１１２を生成する際の各生成過程での周波数帯域の状態を示す。なお、図中のカッコ内の数字は、前述した各図に示した信号成分に対応しており、図中の斜線部は抽出すべき帯域１５０を示している。また、図の横軸のωは正規化角周波数を意味する。
【００８６】
この図２０において、入力画像信号１０５に含まれる帯域は、状態１５６で示される。次に、この状態１０５に対して分析用ハイパスフィルタ８２処理を施した信号１１９の帯域は、低域がカットされるために状態１５７となり、更にダウンサンプラ８４にて２分の１倍のダウンサンプルが行われた信号１１２の帯域は状態１５８のような帯域になる。状態１５８では、帯域が２π側にずれて低域側への折り返し成分が発生することになるため、帯域分布を状態１５９として見なすことができる。従って、図１８の帯域１５０は、Ｈ信号１１２の解像度においては、図２０の帯域１６０に相当している。このため、Ｈ信号１１２に対して図１９のように帯域制限部３４を配置した場合、前記図１２に示したフィルタ特性（振幅）を有するハイパスフィルタを帯域制限部３４として使用することになる。
【００８７】
以上が、第３の具体例として縮小率が３分の２のときのウェーブレット逆変換部４の構成及び動作である。この第３の具体例のウェーブレット逆変換部４によれば、前記処理によってウェーブレット変換領域における帯域幅が３分の２になるため、エリアシングといったノイズや高域成分の欠落によるボケの発生を防ぐことができる。つまり、該縮小率から与えられる有効帯域の高精度な抽出方法により、復号画像の品質向上の効果を生み出している。
【００８８】
次に、本発明実施の形態の第４の具体例として、第１の具体例のように３分の１の縮小変換を行うウェーブレット復号化装置について説明する。
【００８９】
図２１には、当該第４の具体例として、図１のウェーブレット復号化装置において解像度を３分の１に縮小して復号化する場合の、ウェーブレット逆変換部４の概略構成を示す。なお、この図２１の構成において、前記各図と同じ構成要素には各図と同一の指示符号を付している。また、解像度を３分の１にする場合、前記第１の具体例と同様に、帯域占有率も３分の１にする。
ここで、この図２１に示す第４の具体例の構成は、前記第１の具体例における図９の帯域制限部と、アップサンプラ１６及び合成用ハイパスフィルタ１７の配置を入れ替えた以外は、前記図９と同じ構成になる。
【００９０】
すなわちこの図２１において、ＬＨ信号１１１１は、アップサンプラ１６によって２倍の解像度にアップサンプルされる。アップサンプルされた信号１６１は合成用ハイパスフィルタ１７にてフィルタリングされ、信号１６２として帯域性弁部３６に送られる。
【００９１】
当該第４の具体例の場合、帯域制限の対象となる信号１６２は、アップサンプラ１６での２倍のアップサンプルと合成用ハイパスフィルタ１７の処理により、解像度がＬＨ信号１１１の２倍になっている。従って、帯域制限部３６は、この解像度での帯域に基づいてフィルタを設計する必要がある。
【００９２】
図２２には、ＬＨ信号１１１から２倍のアップサンプル及びハイパスフィルタ（合成）の処理によって信号１６２を生成する各過程での周波数帯域の状態を示す。なお、図中のカッコ内の数字は、前述した各図に示した信号に対応しており、また、図の横軸のωは正規化角周波数を意味する。
【００９３】
この図２２において、状態１６３は、前記図１１における状態１３６と同じ信号１１１の帯域を示しており、図中の斜線部が抽出すべき信号１２５の帯域になる。信号１１１を２倍にアップサンプルした信号１６１は、状態１６４で示されたような帯域分布になる。なお、図中点線で示された帯域は、イメージング成分（アップサンプリングにより新たに生じるスペクトル成分）を示している。更に、信号１６１に対してハイパスフィルタ処理した信号１６２の信号はイメージング成分がカットされ、その帯域は状態１６５で示されるような分布になる。
【００９４】
以上から、当該第４の具体例の場合は、図２１における信号１２５の帯域を抽出するには、図２３に示すようなフィルタ特性（振幅）をもつバンドパスフィルタを帯域制限部３４として使用する。
【００９５】
上述したように、本発明実施の形態においては、任意有理数倍率の解像度変換を伴うウェーブレット復号化を実現することができる。すなわち例えば縮小の場合、帯域制限の対象となるレベル以下の高域成分については、それを復号化のプロセスから省略することにより、計算量を削減する効果がある。従って、ハードウェア化した際のコスト減につながる。更に、縮小率から与えられる有効帯域の高精度な抽出方法により、エリアシングといったノイズや高域成分の欠落によるボケの発生を防ぎ、復号画像の品質向上の効果を生み出している。
【００９６】
また、本実施の形態によれば、ウェーブレット符号化装置側には一切制約条件が無い。従って、通常の最も一般的なウェーブレット変換及びウェーブレット符号化装置で生成された符号化ビットストリームを入力して、任意有理数の解像度変換を伴うウェーブレット復号化画像を得ることができるという効果もある。
【００９７】
【発明の効果】
本発明のウェーブレット復号化装置及び方法においては、ウェーブレット逆変換の際に、解像度変換倍率に応じて変換係数の帯域制限を行うと共に、所定の解像度変換倍率に応じてアップサンプリング、ダウンサンプリング、合成フィルタリングを適応的に行うことにより、変換方式にウェーブレット変換を用いて圧縮符号化がなされた画像信号を、端末側の制約条件に左右されること無く、任意有理数の解像度でデコード（復号化）可能となり、その結果として、例えば電子スチルカメラやプリンタ等で多用されるいわゆるサムネイル画像や原画像を解像度変換した画像（縮小又は拡大した画像）の記憶・表示を効率的に行え、各種の製品への使用用途を大幅に広げることが可能となる。
【００９８】
すなわち本発明によれば、必要に応じて画像メモリ内に記憶された帯域画像をサムネイル画像または縮小画像として画面表示できるので、帯域分割画像を生成する過程と符号化を行う過程とを共通化することで、処理の効率化が実現できるという効果がある。従って、特別に、サムネイル画像等を生成する回路が必要無いので、ハードウェア規模の削減という効果もある。さらに、例えば外部記憶媒体を本発明装置に付加して、これに符号化ビットストリームを記憶・保持させることにより、多くの画像の符号化ビットストリームを該外部記憶媒体に記憶・保持させることができる。また、常にサムネイル画像または縮小画像を画像メモリに記憶・保持させておく必要がないので、見たいサムネイル画像または縮小画像の符号化ビットストリームを、外部記憶媒体から随時読み出して、復号化して画面表示すれば良いので、使用効率が向上する効果もある。
【図面の簡単な説明】
【図１】本発明実施の形態のウェーブレット復号化装置の全体構成を示すブロック回路図である。
【図２】本発明実施の形態のウェーブレット復号化装置に対応するウェーブレット符号化装置の全体構成を示すブロック回路図である。
【図３】通常のウェーブレット変換部の基本構成（レベル３まで）を示すブロック回路図である。
【図４】２次元画像の帯域分割（分割レベル＝２）を示す図である。
【図５】実際の画像に対して帯域分割（分割レベル＝２）した場合の各帯域画像を示す図である。
【図６】通常のウェーブレット逆変換部の基本構成（レベル３まで）を示すブロック回路図である。
【図７】帯域分割特性（オクターブ分割）を示す図である。
【図８】３分の１倍の解像度変換時に処理対象となる帯域分割特性を示す図である。
【図９】第１の具体例として、３分の１倍の縮小解像度変換を伴うを伴うウェーブレット逆変換部の構成を示すブロック回路図である。
【図１０】ウェーブレット変換部によるＬＨ信号の生成過程での周波数帯域を示す図である。
【図１１】ＬＨ信号の解像度における周波数帯域を示す図である。
【図１２】第１の具体例の帯域制限部に用いるハイパスフィルタの振幅特性を示す図である。
【図１３】５分の１倍の解像度変換時に処理対象となる帯域分割特性を示す図である。
【図１４】第２の具体例として、５分の１倍の縮小解像度変換を伴うを伴うウェーブレット逆変換部の構成を示すブロック回路図である。
【図１５】ウェーブレット変換部によるＬＬＨ信号の生成過程での周波数帯域を示す図である。
【図１６】ＬＬＨ信号の解像度における周波数帯域を示す図である。
【図１７】第２の具体例の帯域制限部に用いるハイパスフィルタの振幅特性を示す図である。
【図１８】３分の２倍の解像度変換時に処理対象となる帯域分割特性を示す図である。
【図１９】第３の具体例として、３分の２倍の縮小解像度変換を伴うを伴うウェーブレット逆変換部の構成を示すブロック回路図である。
【図２０】ウェーブレット変換部によるＨ信号の生成過程での周波数帯域を示す図である。
【図２１】第４の具体例として、３分の１倍の縮小解像度変換を伴うを伴うウェーブレット逆変換部の構成を示すブロック回路図である。
【図２２】ＬＨ信号に対しアップサンプル、ハイパスフィルタ処理を行う過程での周波数帯域を示す図である。
【図２３】第３の具体例の帯域制限部に用いるバンドパスフィルタの振幅特性を示す図である。
【符号の説明】
１ エントロピー復号化部、 ２ 逆量子化部、 ３ 変換係数逆スキャニング部、 ４ ウェーブレット逆変換部、 ５ ウェーブレット変換部、 ６ 変換係数スキャニング部、 ７ 量子化部、 ８ エントロピー符号化部、 ９ ２倍のアップサンプラ、 １０，１５，２０，２５ 合成用ローパスフィルタ、１２，１７，２２ 合成用ハイパスフィルタ、 １２，１８，１２ 加算器、８１，８５，８９ 分析用ローパスフィルタ、 ８２，８６，９０ 分析用ハイパスフィルタ、 ８３，８４，８７，８８，９１，９２ ２分の１倍のダウンサンプラ、 ３１ ３分の１倍のダウンサンプラ、 ３３ ５分の１倍のダウンサンプラ、 ３０，３２，３４，３６ 帯域制限部
Claims (2)
- 符号化ビットストリームをエントロピー復号化して量子化係数を送出するエントロピー復号化手段と、
上記量子化係数を逆量子化して変換係数を送出する逆量子化手段と、
上記変換係数を所定の方法でスキャニングして変換係数を並び換える変換係数逆スキャニング手段と、
上記並び換えられた変換係数を逆変換して復号画像を供するウェーブレット逆変換手段とを備え、
上記ウェーブレット逆変換手段は、解像度変換倍率に応じて高域成分の変換係数の持つ帯域幅を制限する帯域制限手段を有し、複数のアップサンプラ及び合成フィルタからなるウェーブレット逆変換基本構成のうち、高域側の復号化を行うアップサンプラ及び合成フィルタにおけるアップサンプリング処理及び合成フィルタリング処理の所定レベルの該高域成分を省略すると共に、所望の解像度変換倍率に対応する縮小率の帯域を含むウェーブレット逆変換の際に用いる帯域幅の高域成分に対して上記帯域制限手段による帯域制限処理を行って上記縮小率に見合った帯域幅を抽出し、さらにダウンサンプラにおけるダウンサンプリング処理によって上記所望の解像度変換倍率に応じた画像を間引いて、所望の大きさの上記復号画像を供することを特徴とするウェーブレット復号化装置。 - 符号化ビットストリームをエントロピー復号化して量子化係数を送出し、
上記量子化係数を逆量子化して変換係数を送出し、
上記変換係数を所定の方法でスキャニングして変換係数を並び換え、
上記並び換えられた変換係数を逆変換して復号画像を生成し、
上記ウェーブレット逆変換の際には、解像度変換倍率に応じて高域成分の変換係数の持つ帯域幅を制限すると共に、複数のアップサンプラ及び合成フィルタからなるウェーブレット逆変換基本構成のうち、高域側の復号化を行うアップサンプラ及び合成フィルタにおけるアップサンプリング処理及び合成フィルタリング処理の所定レベルの該高域成分を省略すると共に、所望の解像度変換倍率に対応する縮小率の帯域を含むウェーブレット逆変換の際に用いる帯域幅の高域成分に対して上記帯域幅の制限処理を行って上記縮小率に見合った帯域幅を抽出し、さらにダウンサンプラにおけるダウンサンプリング処理によって上記所望の解像度変換倍率に応じた画像を間引いて、所望の大きさの上記復号画像を供することを特徴とするウェーブレット復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29401198A JP4010063B2 (ja) | 1998-10-15 | 1998-10-15 | ウェーブレット復号化装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29401198A JP4010063B2 (ja) | 1998-10-15 | 1998-10-15 | ウェーブレット復号化装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000125293A JP2000125293A (ja) | 2000-04-28 |
| JP4010063B2 true JP4010063B2 (ja) | 2007-11-21 |
Family
ID=17802104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29401198A Expired - Fee Related JP4010063B2 (ja) | 1998-10-15 | 1998-10-15 | ウェーブレット復号化装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4010063B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7228000B2 (en) | 2002-03-15 | 2007-06-05 | Ricoh Co., Ltd. | Image data generation with reduced amount of processing |
| EP1349393A1 (en) | 2002-03-15 | 2003-10-01 | Ricoh Company | Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program |
| JP4003945B2 (ja) | 2002-08-26 | 2007-11-07 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| JP3988990B2 (ja) | 2002-08-27 | 2007-10-10 | 株式会社リコー | 符号変換装置、符号変換方法、プログラム及び記録媒体 |
| US7558441B2 (en) | 2002-10-24 | 2009-07-07 | Canon Kabushiki Kaisha | Resolution conversion upon hierarchical coding and decoding |
| JP2008228327A (ja) * | 2008-04-08 | 2008-09-25 | Canon Inc | 復号方法及び装置 |
-
1998
- 1998-10-15 JP JP29401198A patent/JP4010063B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000125293A (ja) | 2000-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3464767B2 (ja) | ウェーブレット復号装置及び方法 | |
| JP3512346B2 (ja) | ウェーブレット復号化装置及び方法 | |
| Taubman et al. | JPEG2000: Standard for interactive imaging | |
| Jasmi et al. | Comparison of image compression techniques using huffman coding, DWT and fractal algorithm | |
| US8098947B2 (en) | Method and apparatus for processing image data by rearranging wavelet transform data | |
| US20070189622A1 (en) | Image data generation with reduced amount of processing | |
| JP2011130275A (ja) | カメラシステム及び画像処理方法 | |
| JP2000184204A (ja) | 画像処理装置及び方法及び記憶媒体 | |
| US7412100B2 (en) | Apparatus and method for sub-sampling images in a transform domain | |
| JP3613983B2 (ja) | 画像生成装置及び方法、並びに電子スチルカメラ | |
| US7298910B2 (en) | Wavelet inverse transform method and apparatus and wavelet decoding method and apparatus | |
| JP4010063B2 (ja) | ウェーブレット復号化装置及び方法 | |
| US8155462B2 (en) | System of master reconstruction schemes for pyramid decomposition | |
| US7630568B2 (en) | System and method for low-resolution signal rendering from a hierarchical transform representation | |
| Marcellin et al. | JPEG2000 for digital cinema | |
| JP2002152517A (ja) | 変換符号の画像伸長装置 | |
| JP2004147096A (ja) | 符号化方法 | |
| JP3809303B2 (ja) | 画像処理装置及びその方法 | |
| JP2000050262A (ja) | 画像復号装置及び方法、並びに画像符号化装置及び方法 | |
| JPH0779350A (ja) | 画像データ圧縮処理方法および画像データ再構成方法 | |
| Skodras | The JPEG2000 image compression standard in mobile health | |
| JP4231386B2 (ja) | 解像度スケーラブル復号化方法及び装置 | |
| Pau et al. | Image coding with rational spatial scalability | |
| JPH09182074A (ja) | 画像信号符号化方法及び装置、画像信号復号方法及び装置 | |
| JP5858098B2 (ja) | カメラシステム及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060307 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060508 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070604 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |