JP2011015260A - 画像復号化装置およびその方法 - Google Patents

Abstract

【課題】復号化時に動きベクトル検出を実行することなく、低演算量で、高精度な動き補償により高解像度画像データを得る画像復号化装置提供する。
【解決手段】低解像度画像符号化ストリームに含まれる画像データを復号し、低解像度の画像信号を生成する低解像度画像復号化部と、高解像度の第１画像信号に拡大する画像拡大部と、高解像度画像符号化ストリームに含まれる画像データを復号し、高解像度の画像信号を生成する高解像度画像復号化部と、低解像度画像符号化ストリームに含まれる画像データの復号処理において生成される情報のうち、少なくとも復号処理がなされているピクチャの動き情報と、差分情報とを取得する情報取得部と、高解像度画像復号化部によって得られる画像信号と、高解像度の第２画像信号を生成する予測画像生成部と、第１画像信号と第２画像信号とを所定の比率で加算し、動画信号として出力する画像合成部とを備える画像復号化装置。
【選択図】図１

Description

本発明は、高解像度を有する映像の復号化、画像処理に関する。

ディスプレイの進化に伴い、高解像度かつ高フレームレートの映像データの符号化、復号化、画像処理に関する技術が注目されている。

高解像度かつ高フレームレートの映像データは、情報量が多く、符号化、復号化、画像処理に必要となる処理量が膨大で、転送や保存に要するデータ量も多くなることが課題となる。

こうした課題を改善する目的で、空間解像度は低いが時間解像度の高い第１の映像データ（例えば、動画データ等）と、空間解像度は高いが時間解像度が低い第２の映像データ（例えば、静止画データの系列等）とを組み合わせて、第１の映像データからフレーム間の動きベクトルを予測し、その動きベクトルと第２の映像データとを用いて、第１の映像データの高周波成分を補償することで、高い空間解像度及び時間解像度を有する映像データを生成する技術が開示されている（特に、特許文献１参照）。

また、高解像度の映像データを部分的に縮小した上で符号化し、復号化時に高解像度化することにより、高解像度のままで符号化・復号化する場合に比べて、符号量を低減する技術が開示されている（特に特許文献２及び、特許文献３参照）。

従来例のブロック図を図６に示す。図中に示すように、従来例の画像復号化装置は、符号列解析部７０１、予測誤差復号化部７０２、モード復号部７０３、画面内予測／動き補償復号部７０５、フレームメモリ７０７、加算演算部７０８、参照画像切替部７１１、低解像度画像復号部７１２、フレームメモリ７１３、動き補償部１０１、動き検出部１０２、制御部１０３とから構成される。

次に、従来例の動作について、特徴となる部分について説明する。本従来例の画像復号化装置は、図７（ｂ）および図７（ｃ）に示す画像データ列が符号化された符号化列を復号化する。図７（ａ）は符号化前の入力高解像度画像データ列、図７（ｂ）は図７（ａ）の画像データ列のうち、Ｉ、Ｐピクチャのみ高解像度として符号化し、Ｂピクチャは縮小して低解像度として符号化する場合の入力画像データ列、図７（ｃ）は図７（ａ）の画像データ列のうち、Ｉピクチャのみを高解像度として符号化し、Ｐ、Ｂピクチャは縮小して低解像度として符号化する場合の入力画像データ列を示す。

符号列は符号列解析部７０１に入力され、低解像度画像の符号列と高解像度画像の符号列とに分離し、低解像度画像の符号列は、低解像度画像復号部７１２に対して出力され、低解像度画像復号部７１２で復号処理が施され、復号された低解像度画像はフレームメモリ７１３に蓄積される。

一方、符号列解析部７０１で分離された高解像度画像の符号列は、Ｉピクチャおよび高解像度画像データを参照画像として符号化されたＰピクチャについては、予測誤差復号化部７０２、モード復号部７０３、画面内予測／動き補償復号部７０５、フレームメモリ７０７、加算演算部７０８、参照画像切替部７１１の系で符号化され、低解像度画像データを参照画像として符号化されたＰピクチャおよびＢピクチャについては、動き補償部１０１、動き検出部１０２、制御部１０３にて、低解像度画像により画素単位で求めた動きベクトルを用いて動き補償画像を生成し、参照用高解像度画像データとし、高解像度画像データが復号化され、高解像度画像データ列が出力される。

以上のように従来例の画像復号方法では、復号化された低解像度画像を用いて、画像符号化時と画像復号化時とで同じ方法により動きベクトルを検出し、高解像度画像の動き補償に用いるので、動きベクトル情報を符号列中に記述する必要がなく、符号量低減が可能となる。また、画像符号化時および画像復号化時に、画素単位の動きベクトルを算出することにより、高精度で低解像度画像から高解像度画像への動き補償が可能となるという特徴がある。

特開２００８−３１２１６３号公報 特開２００７−９６７０９号公報 特開２００８−７９１５２号公報

従来例においては、復号化時に画素単位の動きベクトル検出を実行する必要があり、処理量が増加するという課題があった。また、処理量低減のために、動きベクトル検出を画素単位からブロック単位に変更すると、動き検出精度が低下するという課題があった。

上記課題を解決するために、本発明の画像復号化装置は、低解像度画像符号化ストリームに含まれる画像データと、高解像度画像符号化ストリームに含まれる画像データとを基に、当該低解像度画像符号化ストリームに含まれる画像データを高解像度画像データに解像度変換し、解像度変換された画像データと、前記高解像度画像符号化ストリームに含まれる画像データとが復号化され動画信号として出力する画像復号化装置であって、
前記低解像度画像符号化ストリームに含まれる画像データを復号化し、低解像度の画像信号を生成する低解像度画像復号化部と、
前記低解像度の画像信号を、高解像度の第１画像信号に拡大する画像拡大部と、
前記高解像度画像符号化ストリームに含まれる画像データを復号化し、高解像度の画像信号を生成する高解像度画像復号化部と、
低解像度画像符号化ストリームに含まれる画像データの復号化処理過程において生成される情報のうち、少なくとも復号化処理がなされているピクチャの動き情報と、差分情報とを取得する情報取得部と、
前記第高解像度画像復号化部によって得られる画像信号と、前記動き情報とを基に動き補償を行い、高解像度の第２画像信号を生成する予測画像生成部と、
前記差分情報を基に、第１画像信号と第２画像信号とを所定の比率で加算し、動画信号として出力する画像合成部とを備える。

本発明により、低解像度から高解像度への変換の際に、低解像度画像データの復号化情報に含まれる動きベクトル情報と差分画素情報を利用することで、復号化時に動きベクトル検出を実行することなく、低演算量で、高精度な動き補償により高解像度画像データを生成することが可能となる。

本発明の実施の形態１のブロック図 （ａ）本実施例の低解像度画像のＩピクチャとＰピクチャとに対応した高解像度画像を同時に符号化する場合の説明図、（ｂ）本実施例の低解像度画像のＩピクチャのみに対応した高解像度画像を同時に符号化する場合の説明図 低解像度画像および差分情報の拡大に関する説明図、（ａ）低解像度復号化画像もしくは低解像度差分画像を示す図、（ｂ）拡大後復号化画像もしくは拡大後差分画像を示す図 重みづけ加算による高解像度画像生成に関する説明図 重みづけ加算の計算例を示す図 従来例の画像復号化装置の構成を示すブロック図 （ａ）従来例の高解像度画像からなる符号化前の動画像の入力画像を示す図、（ｂ）従来例のＩピクチャとＰピクチャとを高解像度画像として符号化する場合の解像度切替の説明図、（ｃ）従来例のＩピクチャのみを高解像度画像として符号化する場合の解像度切替の説明図

以下、本発明の実施の形態を、図面を参照しながら説明する。

（実施の形態１）
図１に本発明の実施の形態１のブロック図を示す。図中で、１００１は低解像度画像復号化手段、１００２は高解像度画像復号化手段、１００３は動きベクトル変換手段、１００４は高解像度動き補償手段、１００５は動き信頼度情報生成手段、１００６は重みづけ加算手段、１００７は画像出力手段、１００８は差分情報拡大手段、１００９は画像拡大手段、１０１０は可変長復号化手段、１０１１は逆量子化逆直交変換手段、１０１２はイントラ予測画像生成手段、１０１３はフレームメモリ、１０１４は低解像度動き補償手段、１０１５は加算手段である。

低解像度画像復号化手段１００１は、可変長復号化手段１０１０、逆量子化逆直交変換手段１０１１、イントラ予測画像生成手段１０１２、フレームメモリ１０１３、低解像度動き補償手段１０１４、加算手段１０１５から構成される。

次に、本実施の形態１の動作について説明する。高解像度画像符号化ストリームは高解像度画像復号化手段１００２へ、低解像度画像符号化ストリームは、低解像度画像復号化手段１００１の可変長復号化手段１０１０に入力される。入力される高解像度画像符号化ストリームと低解像度画像符号化ストリームについて、符号化時の関係を図２に示す。図２（ａ）は、本実施例の低解像度画像のＩピクチャとＰピクチャとに対応した高解像度画像を同時に符号化する場合の説明図で、図２（ｂ）は、本実施例の低解像度画像のＩピクチャのみに対応した高解像度画像を同時に符号化する場合の説明図である。図２のような関係にある高解像度画像列と低解像度画像列を、各々、所定の画像符号化方式にて符号化したストリームが本実施の形態１の画像復号化装置に入力される。なお、高解像度画像と低解像度画像の符号化方式については、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣやＭＰＥＧ２などが想定され、高解像度画像と低解像度画像とで同じ符号化方式を用いても構わない。低解像度画像の符号化については、画面間予測を含む画像符号化方式で、動き情報と差分情報を符号化する方式であればよい。また、高解像度画像の符号化については、画面間予測を含まないＪＰＥＧやＪＰＥＧ２０００、ＡＶＣ−Ｉｎｔｒａなどの画像符号化方式を適用しても構わない。

可変長復号化手段１０１０は、入力された低解像度画像符号化ストリームを可変長復号し、量子化情報および直交変換係数を逆量子化逆直交変換手段１０１１へ、マクロブロック情報を動き信頼度情報生成手段１００５へ、動きベクトル情報を、低解像度動き補償手段１０１４および動きベクトル変換手段１００３へ出力する。

逆量子化逆直交変換手段１０１１で、逆量子化、逆直交変換が実行され、差分情報が生成され、差分情報拡大手段１００８および加算手段１０１５に出力され、加算手段１０１５にて、低解像度動き補償手段１０１４から出力された低解像度動き補償画像情報と差分情報を加算して、フレームメモリ１０１３に記憶する。

低解像度動き補償手段１０１４は、動きベクトル情報とフレームメモリ１０１３から読み出した参照画像情報とから低解像度動き補償画像情報を生成し、加算手段１０１５に出力する。低解像度画像復号化手段１００１が、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣなどのイントラ予測技術を含む場合は、イントラ符号化マクロブロックについては、イントラ予測画像生成手段１０１２にて、復号化済みの隣接画素情報を用いて予測画像を生成し、加算手段１０１５に出力する。

加算手段１０１５は、差分情報と低解像度動き補償情報、もしくは差分情報とイントラ予測画像情報を加算し、低解像度復号化画像として、フレームメモリ１０１３に記憶する。

画像拡大手段１００９は、低解像度画像復号化手段１００１のフレームメモリ１０１３に記憶された低解像度画像情報を読み出して拡大し、第１の高解像度画像情報として、重みづけ加算手段１００６に出力する。図３に低解像度画像および差分情報の拡大に関する説明図を示す。図３（ａ）は低解像度復号化画像もしくは低解像度差分画像で図３（ｂ）は拡大後復号化画像もしくは拡大後差分画像である。図３では、視覚的にわかりやすいように市松模様を拡大する場合の例で、（ａ）の１画素を（ｂ）の４画素にコピーする例である。拡大については、単純に４画素コピーしても構わないし、所定のフィルタ処理と組み合わせて拡大しても構わない。

高解像度画像復号化手段１００２は、高解像画像符号化ストリームを復号化し、高解像度復号化画像を出力する。この高解像度復号化画像を参照画像として、高解像度の動き補償画像を生成する。

動きベクトル変換手段１００３は、低解像度画像復号化手段１００１から入力された低解像度画像用動きベクトル情報を、高解像度画像の動きベクトル情報に変換し、高解像度動き補償手段１００４に出力する。例えば、高解像度画像が低解像度画像に対して、水平、垂直が各々２倍の場合は、動きベクトルについても、水平、垂直成分ともに２倍に変換する。また、高解像度画像と低解像度画像の画素位置のずれがある場合は、ずれを考慮して変換する。

高解像度動き補償手段１００４は、高解像度画像動きベクトル情報と高解像度復号化画像に基づいて、高解像度動き補償画像情報を生成し、第２の高解像度画像情報として、重みづけ加算手段１００６に出力する。ＭＰＥＧ２やＨ．２６４／ＭＰＥＧ４−ＡＶＣの場合は、低解像度画像の動きベクトル情報は、水平方向に１６画素、８画素、４画素、垂直方向に１６画素、８画素、４画素の組み合わせで構成されるブロック単位の情報であり、ブロック単位での動き補償が実行される。高解像度画像用に変換された動きベクトル情報は、対応する低解像度画像のブロックサイズの水平、垂直、各々２倍のサイズのブロックに対して１つであり、水平・垂直２倍のブロックサイズでの動き補償を実行する。また、低解像度画像用動きベクトル情報が１／４画素精度の場合は、高解像度画像の場合は、１／２画素精度に相当するため、補間画素を生成の上で動き補償を実行する。

差分情報拡大手段１００８は、低解像度画像復号化手段１００１から入力された差分情報を拡大して高解像度差分情報を生成し、動き信頼度情報生成手段１００５に出力する。拡大方法については、図３に示すとおりである。

動き信頼度情報生成手段１００５は、差分情報拡大手段１００８から入力された高解像度差分情報とマクロブロック情報に基づいて、動きベクトル情報の動き信頼度を評価し、動き信頼度に基づいて、第１の高解像度画像情報と第２の高解像度画像情報とを加算する際の重みづけ係数を算出し、重みづけ加算係数を重みづけ加算手段１００６に出力する。動きベクトル情報はブロック単位の情報であるが、差分情報は画素単位の情報であるため、画素単位で重みづけ係数を設定することが可能である。高解像度差分情報で、差分画素の値が大きい画素は、動き予測の信頼度が低いと判断し、差分画素の値が小さい画素は、動き予測の信頼度が高いと判断する。

なお、マクロブロック情報に基づき、スキップマクロブロックの場合は、動き補償が当たる確率が高いと判断し、差分情報に依らず、第２の高解像度画像情報の重みづけを高めるよう重みづけ係数を設定する。また、マクロブロック情報に基づき、イントラ符号化マクロブロックの場合は、動き補償が当たる確率が低いと判断し、第１の高解像度画像情報の重みづけを高めるよう重みづけ係数を設定する。

重みづけ加算手段１００６は、重みづけ加算係数に基づき、第１の高解像度画像情報と第２の高解像度画像情報を重みづけ加算した結果を画像出力手段１００７に出力する。

画像出力手段１００７は、所定のタイミングで、高解像度復号化画像と重みづけ加算手段１００６から入力された高解像度画像とを切り替えて出力する。

図４に重みづけ加算による高解像度画像生成に関する説明図を示す。図中で、Ｓ０、Ｓ１は低解像度画像復号化手段１００１により復号化された低解像度復号化画像列、Ｌ０は高解像度画像復号化手段１００２で復号化された高解像度復号化画像列で、Ｓ０とＬ０は時刻Ｔ０、Ｓ１は時刻Ｔ１のタイミングで記録されたピクチャである。Ｓ１はＳ０からの動き補償予測により生成され、ＭＶ１がＳ１とＳ０間の動きベクトル情報、Ｄ１が差分情報である。ＬＳ１は、画像拡大手段１００９にて、Ｓ１を水平・垂直２倍に拡大した第１の高解像度画像データである。ＬＤ１は、差分情報拡大手段１００８にて、Ｄ１を水平、垂直２倍に拡大した拡大差分情報であり、動き信頼度情報生成手段１００５により、重みづけ情報Ｗ１に変換される。重みづけ情報Ｗ１は高解像度に対応したデータ数で構成される。ＬＭＶ１は、動きベクトル変換手段１００３にて、低解像度画像の動きベクトルＭＶ１をスケール変換して求められた高解像度用動きベクトル情報である。ＭＬ１は、高解像度動き補償手段１００４にて、ＬＭＶ１を用いてＬ０を動き補償して生成された、第２の高解像度動き補償画像である。Ｌ１は、高解像度出力画像で、重みづけ加算手段１００６にて、ＭＬ１とＬＳ１について、重みづけ係数Ｗ１により重みづけ加算され、高解像度出力画像Ｌ１が生成される。Ｌ０およびＬ１は、画像出力手段１００７から所定のタイミングで、高解像度出力画像列として出力される。

重みづけ加算の計算例としては、ＬＳ１の画素値をＡ、ＭＬ１の画素値をＢ、Ｌ１の加算結果の画素値をＣ、重みづけ係数をｗ、差分情報をｄとした場合、図５に示すような計算式により求められる。図５の場合は、重みづけに加えて、差分情報が１６以上の場合は、動き信頼度が極めて低いと判断し、低解像度画像からの拡大で求められた第１の高解像度画像ＬＳ１を選択するような計算式となっている。なお、この計算式は、一例であり、差分画素の値が大きい画素は、動き予測の信頼度が低く、差分画素の値が小さい画素は、動き予測の信頼度が高くなるような計算式であればよい。

以上のように、低解像度から高解像度への変換の際に、低解像度画像データの復号化情報に含まれる動きベクトル情報と差分画素情報を利用することで、復号化時に動きベクトル検出を実行することなく、低演算量で、高精度な動き補償により高解像度画像データを生成することが可能となる。

本発明の画像復号化装置では、高解像度映像データを低コストで蓄積、伝送する用途に有用である。

１０１ 動き補償部
１０２ 動き検出部
１０３ 制御部
７０１ 符号列解析部
７０３ モード復号部
７０５ 画面内予測／動き補償復号部
７０７、７１３ フレームメモリ
７１２ 低解像度画像復号部
１００１ 低解像度画像復号化手段
１００２ 高解像度画像復号化手段
１００３ 動きベクトル変換手段
１００４ 高解像度動き補償手段
１００５ 動き信頼度情報生成手段
１００６ 重みづけ加算手段
１００７ 画像出力手段
１００８ 差分情報拡大手段
１００９ 画像拡大手段
１０１０ 可変長復号化手段
１０１１ 逆量子化逆直交変換手段
１０１２ イントラ予測画像生成手段
１０１３ フレームメモリ
１０１４ 低解像度動き補償手段
１０１５ 加算手段

Claims (8)

1. 低解像度画像符号化ストリームに含まれる画像データと、高解像度画像符号化ストリームに含まれる画像データとを基に、当該低解像度画像符号化ストリームに含まれる画像データを高解像度画像データに解像度変換し、解像度変換された画像データと、前記高解像度画像符号化ストリームに含まれる画像データとが復号化され動画信号として出力する画像復号化装置であって、
   前記低解像度画像符号化ストリームに含まれる画像データを復号化し、低解像度の画像信号を生成する低解像度画像復号化部と、
   前記低解像度の画像信号を、高解像度の第１画像信号に拡大する画像拡大部と、
   前記高解像度画像符号化ストリームに含まれる画像データを復号化し、高解像度の画像信号を生成する高解像度画像復号化部と、
   低解像度画像符号化ストリームに含まれる画像データの復号化処理過程において生成される情報のうち、少なくとも復号化処理がなされているピクチャの動き情報と、差分情報とを取得する情報取得部と、
   前記高解像度画像復号化部によって得られる画像信号と、前記動き情報とを基に動き補償を行い、高解像度の第２画像信号を生成する予測画像生成部と、
   前記差分情報を基に、第１画像信号と第２画像信号とを所定の比率で加算し、動画信号として出力する画像合成部と、
   を備える画像復号化装置。
2. 前記高解像度画像符号化ストリームに含まれる画像データは、前記低解像度符号化ストリームに含まれる画像データのうち、ＩピクチャもしくはＰピクチャに対応する時刻の画像データであることを特徴とする請求項１記載の画像復号化装置。
3. 前記高解像度画像符号化ストリームに含まれる画像データは、前記低解像度符号化ストリームに含まれる画像データのうち、Ｉピクチャのみに対応する時刻の画像データであることを特徴とする請求項１記載の画像復号化装置。
4. 前記低解像度画像復号化部と前記高解像度画像復号化部とは、符号化方式の異なるストリームを復号化可能であることを特徴とする請求項１記載の画像復号化装置。
5. 前記情報取得部は、前記動き情報と前記差分情報の他に、マクロブロック情報を取得し、マクロブロック情報に基づき、スキップマクロブロックの場合は、前記画像合成部において、前記差分情報に依らず、前記第２画像信号の加算比率を高めることを特徴とする請求項１記載の画像復号化装置。
6. 前記情報取得部は、前記動き情報と前記差分情報の他に、マクロブロック情報を取得し、マクロブロック情報に基づき、イントラ符号化マクロブロックの場合は、前記画像合成部において、前記差分情報に依らず、前記第１画像信号の加算比率を高めることを特徴とする請求項１記載の画像復号化装置。
7. 低解像度画像符号化ストリームに含まれる画像データと、高解像度画像符号化ストリームに含まれる画像データとを基に、当該低解像度画像符号化ストリームに含まれる画像データを高解像度画像データに解像度変換し、解像度変換された画像データと、前記高解像度画像符号化ストリームに含まれる画像データとが復号化され動画信号として出力する画像復号化方法であって、
   前記低解像度画像符号化ストリームに含まれる画像データを復号化し、低解像度の画像信号を生成する低解像度画像復号化ステップと、
   前記低解像度の画像信号を、高解像度の第１画像信号に拡大する画像拡大ステップと、
   前記高解像度画像符号化ストリームに含まれる画像データを復号化し、高解像度の画像信号を生成する高解像度画像復号化ステップと、
   低解像度画像符号化ストリームに含まれる画像データの復号化処理過程において生成される情報のうち、少なくとも復号化処理がなされているピクチャの動き情報と、差分情報とを取得する情報取得ステップと、
   前記高解像度画像復号化ステップによって得られる画像信号と、前記動き情報とを基に動き補償を行い、高解像度の第２画像信号を生成する予測画像生成ステップと、
   前記差分情報を基に、第１画像信号と第２画像信号とを所定の比率で加算し、動画信号として出力する画像合成ステップと、
   を備える画像復号化方法。
8. 低解像度画像符号化ストリームに含まれる画像データと、高解像度画像符号化ストリームに含まれる画像データとを基に、当該低解像度画像符号化ストリームに含まれる画像データを高解像度画像データに解像度変換し、解像度変換された画像データと、前記高解像度画像符号化ストリームに含まれる画像データとが復号化され動画信号として出力する画像復号化集積回路であって、
   前記低解像度画像符号化ストリームに含まれる画像データを復号化し、低解像度の画像信号を生成する低解像度画像復号化回路と、
   前記低解像度の画像信号を、高解像度の第１画像信号に拡大する画像拡大回路と、
   前記高解像度画像符号化ストリームに含まれる画像データを復号化し、高解像度の画像信号を生成する高解像度画像復号化回路と、
   低解像度画像符号化ストリームに含まれる画像データの復号化処理過程において生成される情報のうち、少なくとも復号化処理がなされているピクチャの動き情報と、差分情報とを取得する情報取得回路と、
   前記高解像度画像復号化回路によって得られる画像信号と、前記動き情報とを基に動き補償を行い、高解像度の第２画像信号を生成する予測画像生成回路と、
   前記差分情報を基に、第１画像信号と第２画像信号とを所定の比率で加算し、動画信号として出力する画像合成回路と、
   を備える画像復号化集積回路。

Images