JP2010166329A - 動画像復号化装置 - Google Patents

Abstract

【課題】マルチ画面表示に際して、子画面の画像数の増加もしくは減少、表示画面の解像度または優先度の変化に柔軟に対応可能な動画像復号化装置を提供すること。
【解決手段】動画像復号化装置１００１は、複数の動画像符号化ストリームＡ、Ｂ、Ｃのデコード処理が可能な動画像復号部１００６〜１０１２、１０１４と制御部１００４を具備する。デコード処理によるマルチ画面表示に先立ち、制御部１００４は動画像符号化ストリームに含まれる複数の属性情報を取得する。この属性情報(ストリーム)を使用して、動画像復号部が動画像符号化ストリームのデータ処理量削減の伴わない通常復号処理を行う能力が有るかが判断される。能力が無いと判断された場合には、動画像復号部が動画像符号化ストリームのデータ処理量削減の伴う簡易復号処理の実行を決定する。簡易復号処理の実行に際して、制御部１００４は、属性情報を使用してデータ処理量削減の削減量を決定する。
【選択図】図１

Description

本発明は、動画像信号を復号化する動画像復号化装置に関するもので、特にマルチ画面表示に際して子画面の画像数の増加もしくは減少、表示画面の解像度または優先度の変化に柔軟に対応可能な動画像復号化装置を提供するのに有益な技術に関する。

従来の動画像復号化技術では、ＭＰＥＧ−２や規格Ｈ．２６４等に代表される圧縮動画像の標準規格に定められた信号処理が一般的に行われている。このような従来の復号化方式は、動画像標準化規格に準拠した復号化装置であれば全て同じ復号画像が得られることから、復号画像が復号化装置の製造者に依存しないという利点がある。その反面、復号処理時の処理量の削減に限界がある。

これに対して、必ずしも動画像標準化規格に準拠した復号処理を行わずに、その代わりに簡易な復号処理を行う簡易復号化方式が提案されている。この方式によれば、標準規格に準拠した復号画像と比較すると、画質が劣化する反面、規格準拠の復号化方式に比べて処理量を大幅に向上することが可能である。

例えば、下記特許文献１には、簡易型の映像信号復号化部において、ＤＣＴ係数のＤＣ成分のみ逆量子化器で逆量子化して逆量子化器の出力を逆変換器で逆変換することで演算処理量を軽減する簡易復号化方式が記載されている。すなわち、下記特許文献１では、この簡易型の映像信号復号化部の映像出力と非簡易型の映像信号復号化部の映像出力がオーバーレイ部でオーバーレイされることで、デジタル放送受信時に子画面として複数の裏番組を簡易に表示することを可能としたものである。

特開平１１−８８８７６号 公報

本発明者等は本発明に先立って、近年の種々のマルチメディア志向に対応可能であり、種々の動作環境に柔軟に対応可能なマルチ画面表示を行う動画像復号化装置の研究・開発に従事した。

このようなマルチ画面表示に際して上記特許文献１に記載のような簡易復号化方式は、放送の多チャネル化や、映像のマルチソース化(放送、インターネット、プライベート撮影等)によって、ユーザーが処理する映像コンテンツの数および種類が膨大となっている近年において、その重要性が高まっている。

すなわち、図１０は、テレビ画面に表示されるマルチ画面表示の一例を示す図である。

図１０において、画面Ａはユーザーがメインで視聴する映像チャネルであり、その他の小画面がＢ、Ｃ、Ｄ、Ｅであった場合を想定する。この時に、小画面Ｂ、Ｃ、Ｄ、Ｅのチャネル映像の解像度は画面Ａと同様であるが、小画面Ｂ、Ｃ、Ｄ、Ｅの表示サイズがメイン画面Ａの表示サイズよりも小さいものとする。このような場合、小画面Ｂ〜Ｅで表示される映像では、有る程度の画質の劣化は許容されるものと考えられる。この小画面Ｂ〜Ｅに簡易復号化方式を適用することによって、演算量および消費電力の削減と伴に表示可能な小画面の画素数を増加することができると言った効果を期待することができる。

しかしながら、上記特許文献１に記載のような簡易型の復号化方式では、その復号化処理が、圧縮映像の表示画面解像度や優先度に依存せずに、常に一定となっている。従って、復号化対象の子画面の圧縮映像の数が増減するか、それらの表示画面の解像度または優先度が変化した場合には、復号化処理の演算量が増加して、処理可能な子画面の映像数が限定されると言う問題が有ることが本発明者等による明らかとされた。

本発明は、以上のような本発明に先立った本発明者等の検討の結果、なされたものである。

従って、本発明の目的とするところは、マルチ画面表示に際して、子画面の画像数の増加もしくは減少、表示画面の解像度または優先度の変化に柔軟に対応可能な動画像復号化装置を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。

すなわち、本発明の代表的な動画像復号化装置(２００１)は、
外部から供給される複数の動画像符号化ストリーム(Ａ、Ｂ、Ｃ)のデコード処理が可能な動画像復号部(１００６〜１０１２、１０１４)と、
前記動画像復号部による前記デコード処理の制御を行う制御部(１００４)とを具備する(図１、図２参照)。

前記動画像復号部による前記デコード処理によってマルチ画面表示を行うに先立って、前記制御部(１００４)は前記複数の動画像符号化ストリームに含まれる複数の属性情報を取得する。

前記複数の属性情報を使用して、前記制御部は前記動画像復号部が前記複数の動画像符号化ストリームのデータ処理量削減の伴わない通常復号処理を行う能力が有るかの判断を実行する(図８のステップＳ８０１、８０２参照)。

前記判断によって前記能力が無いとされた場合には、前記制御部は前記動画像復号部が前記複数の動画像符号化ストリームのデータ処理量削減の伴う簡易復号処理の実行を決定する(図８のステップＳ８０３参照)。

前記簡易復号処理を実行するに際して、前記制御部は、前記複数の属性情報を使用して前記データ処理量削減の削減量を決定することを特徴とするものである(図６参照)。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。すなわち、マルチ画面表示に際して、子画面の画像数の増加もしくは減少、表示画面の解像度または優先度の変化に柔軟に対応可能な動画像復号化装置を提供することができる。

《代表的な実施の形態》
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態による動画像復号化装置(２００１)は、
外部から供給される複数の動画像符号化ストリーム(Ａ、Ｂ、Ｃ)のデコード処理が可能な動画像復号部(１００６〜１０１２、１０１４)と、
前記動画像復号部による前記デコード処理の制御を行う制御部(１００４)とを具備する(図１、図２参照)。

前記動画像復号部による前記複数の動画像符号化ストリームの前記デコード処理によってマルチ画面表示を行うに先立って、前記制御部(１００４)は前記複数の動画像符号化ストリームに含まれる複数の属性情報を取得する。

前記複数の属性情報を使用して、前記制御部は前記動画像復号部が前記複数の動画像符号化ストリームのデータ処理量削減の伴わない通常復号処理(図５(Ａ)参照)を行う能力が有るかの判断を実行する(図８のステップＳ８０１、Ｓ８０２参照)。

前記判断によって前記能力が無いとされた場合には、前記制御部は前記動画像復号部が前記複数の動画像符号化ストリームのデータ処理量削減の伴う簡易復号処理(図５(Ｂ)参照)を実行することを決定する(図８のステップＳ８０３参照)。

前記簡易復号処理を実行するに際して、前記制御部は、前記複数の属性情報を使用して前記データ処理量削減の削減量を決定することを特徴とするものである(図５(Ｂ)、図７参照)。

前記実施の形態によれば、マルチ画面表示に際して、子画面の画像数の増加もしくは減少、表示画面の解像度または優先度の変化に柔軟に対応可能な動画像復号化装置を提供することができる。

好適な実施の形態によれば、前記複数の属性情報の各属性情報は、前記複数の動画像符号化ストリームの各ストリームのオリジナル画面解像度と表示画面解像度と優先度とフレームレートとのいずれかを含むことを特徴とする(図９参照)。

他の好適な実施の形態は、前記簡易復号処理はＤＣＴ係数のＤＣ係数のみをデコードする処理を含むことを特徴とする(図３参照)。

更に他の好適な実施の形態は、前記簡易復号処理はマクロブロック(ＭＢ)の画像処理を間引く処理を含むことを特徴とする(図４参照)。

より好適な実施の形態は、前記簡易復号処理はデブロック処理を省略する処理を含むことを特徴とする(図６参照)。

更により好適な実施の形態は、前記簡易復号処理は前記複数の動画像符号化ストリーム(Ａ、Ｂ、Ｃ)のいずれかのストリームのいくつかのフレームをスキップする処理を含むことを特徴とする(図６参照)。

《実施の形態の説明》
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。

［実施の形態１］
本発明の実施の形態１の動画像復号化装置は、複数の符号化ストリームが供給可能であって、表示されるストリーム数と個々のストリームの解像度に応じて、簡易符号化処理を行うものである。

≪コーデックの構成≫
図１は、本発明の一実施の形態によるコーデックの構成を示す図である。

図１のコーデック１００１は、入力バッファ１００２に格納される符号化ストリームの可変長復号処理を行う可変長復号部(ＶＬＤ)１００８、可変長復号部(ＶＬＤ)１００８で得られる動きベクトルと参照フレームメモリ１００３に格納された参照画像とから予測画像を生成する動き補償部(ＭＣ)１００９、可変長復号部(ＶＬＤ)１００８で得られる量子化予測差分信号(周波数成分)を逆量子化する逆量子化部(ＩＱ)１０１０、逆量子化部(ＩＱ)１０１０で得られた予測差分信号(周波数成分)を逆変換する逆変換部(ＩＤＣＴ)１０１１、逆変換部(ＩＤＣＴ)１０１１で得られる予測差分画像と動き補償部(ＭＣ)１００９で得られる予測画像とを加算する加算器１０１４、加算器１０１４で得られるマクロブロック毎のデコード画像のブロックノイズを除去するフィルタ処理を行うデブロック部(ＤＥＢ)１０１２を有する。デブロック部(ＤＥＢ)１０１２で得られるデコード画像は、出力フレームメモリ１０１３に格納される。

またコーデック１００１は、上記の復号化処理の制御を行うための制御部１００４を有する。制御部１００４は、コーデック１００１を利用するアプリケーションに対してアプリケーションプログラムインターフェース(ＡＰＩ：Application Program Interface)やレジスタ設定等のインターフェースを提供するインターフェース部１００５と、マクロブロック毎に前記の処理ブロックの制御を行うマクロブロック(ＭＢ)制御部１００６と、簡易デコード処理を制御する簡易デコード制御部１００７を有する。

≪動画像復号化装置の構成≫
図２は、図１に示す本発明の一実施の形態によるコーデック１００１を含む動画像復号化装置２００１の構成を示す図である。

図２の動画像復号化装置２００１は、複数の符号化ストリームを、コーデック１００１を用いてデコードし、デコードされた複数の画像を同時に一画面に表示すると言うマルチ画面表示の機能を有する。

動画像ファイルはネットワークインターフェース部２００８を介して動画像復号化装置２００１に供給され、蓄積部２００４に蓄積される。図２の例ではインターネット等のネットワークを介して動画像ファイルを取得する場合を想定しているが、メモリカード等の外部メモリインタフェースを介するファイルの供給も可能である。図示されていない撮像カメラと動画像符号化処理部とによって、動画像復号化装置２００１の内部で動画像ファイルが生成され、蓄積部２００４に蓄積されることも可能である。

蓄積部２００４に蓄積された動画像ファイルは、多重分離部２００３にて動画像符号化ストリームと音声符号化ストリームとに分離される。分離された動画像符号化ストリームは入力バッファ部１００２に格納された後にコーデック１００１に供給され、コーデック１００１にてデコードが行われる。コーデック１００１がデコード時に必要とする入力バッファ１００２、参照フレームメモリ１００３、出力フレームメモリ１０１３、ＡＰＩメモリ１０１７は、メモリ２００７の一部から確保され、そのアドレスがコーデック１００１のインターフェース部１００５に供給される。尚、ＡＰＩメモリ１０１７は、アプリケーションプログラムインターフェースを経由して動画像復号処理の機能の関数である種々のストリーム情報を格納する。

コーデック１００１によって復号化されたデコード後の動画像データは、出力フレームメモリ１０１３に格納される。出力フレームメモリ１０１３に格納されたデコード動画像データは、次のフレームをデコードする際の参照フレームとして、参照フレームメモリ１００３に供給される。また、描画処理部２００５は、出力フレームメモリ１０１３に格納された個々の符号化ストリームのデコード画像を、図示されてない表示用メモリに書き込むものである。この時に必要に応じて、個々のデコード画像は拡大縮小が行われることも可能である。そして表示制御部２００６にて表示メモリ内の画像データが表示される。中央処理ユニット(ＣＰＵ)によって構成可能な端末制御部２００２は、図２の動画像復号化装置２００１の各ブロック１００１、２００３〜２００８での処理動作の全体制御を実行するものである。

尚、図２に示す動画像復号化装置２００１のメモリ２００７以外の回路ブロック１００１、２００２〜２００６、２００８はコア機能システムＬＳＩチップの内部に集積化されることが可能である一方、メモリ２００７はチップ外部のＳＤＲＡＭ(同期型ダイナミックランダムアクセスメモリ)として構成されている。

≪簡易復号処理≫
以下に、図２の動画像復号化装置２００１に含まれる図１に示す本発明の一実施の形態によるコーデック１００１によって実行される簡易復号処理について、詳細に説明する。この簡易復号処理では、以下の４種類の簡略化処理が実行されるものである。

簡略化処理(１)：ＤＣ係数のみデコード
簡略化処理(２)：デブロック処理省略
簡略化処理(３)：マクロブロック画像処理の間引き
簡略化処理(４)：フレームスキップ
図３は、図２の動画像復号化装置２００１に含まれる図１に示す本発明の一実施の形態によるコーデック１００１によって実行される簡易復号処理の１つであるＤＣ係数のみデコードの処理を説明する図である。

簡略化処理(１)である「ＤＣ係数のみデコード」の処理は、図１に示すコーデック１００１の逆変換部(ＩＤＣＴ)１０１１にて実行される。図3は、ＭＰＥＧの動画復号化の処理単位であるマクロブロックＭＢを示している。マクロブロックＭＢは通常、１６×１６画素の大きさのブロックであり、その内部を更に細かな単位のブロックに分割して、動き補償や周波数変換が行われる。規格Ｈ．２６４では、マクロブロックは更に１６個の、４×４画素単位のブロックに分割される。個々の４×４の周波数成分ブロックは、４×４の２次元ＤＣＴ変換が施され、量子化され、更に図3に示すようなジグザグスキャンによって１次元信号に変換されて可変長符号化が施される。このように４×４の各ブロックには最大で１６個の周波数成分が存在し、これらから予測差分画像を生成するためには、４×４の２次元逆ＤＣＴ変換処理が必要となる。これに対して、図3に示した４×４画素の左上のＤＣＴ(離散コサン変換：Discrete Cosine Transform)係数のＤＣ係数(直流成分)のみをデコードする場合、ＤＣ係数はその定義上、予測差分画像の平均値と等しくなるため、演算処理量の大きなＤＣＴ変換処理が不要となる。すなわち、４×４画素の予測差分画像として全てＤＣ係数(ＤＣＴ係数のＤＣ成分)を代入することによって、予測差分画像の劣化は伴うものの、復号化における処理量を削減することが可能となる。

尚、「ＤＣ係数のみデコード」の処理はマクロブロック(ＭＢ)単位でのオン／オフが可能であって、この処理を行うマクロブロック数を変更することで、後述するようにデコード処理量の削減量を柔軟に変更することが可能である。

簡略化処理(２)である「デブロック処理省略」の処理は、図１に示すコーデック１００１のデブロック部(ＤＥＢ)１０１２の処理を省略するものである。デブロック処理を省略することによって、ブロック境界ノイズが軽減されない反面、デブロック処理におけるノイズ除去フィルタ処理に必要な処理量が軽減されることができる。符号化ストリームの画面解像度に対して、表示解像度が小さい場合には、縮小処理によってノイズが目立ちにくくなる可能性が高いため、処理量軽減の効果が高いと考えられる。デブロック処理を省略するか否かはマクロブロック(ＭＢ)制御部１００６からの設定によって切り換えられる。尚、デブロック処理は、デブロッキングフィルタを使用することによって、マクロブロック境界付近で隣接するマクロブロックと画素値が大きく異なるために見える歪を抑制する処理である。

簡略化処理(３)である「マクロブロック画像処理の間引き」の処理は、各マクロブロック(ＭＢ)の可変長復号(ＶＬＤ)の後の動き補償(ＭＣ)、逆量子化(ＩＱ)、逆変換処理(ＩＤＣＴ)の画像処理を一定間隔のマクロブロック間隔で間引くものである(図4参照)。

図４は、図１に示すコーデック１００１によって実行される簡易復号処理の１つである「マクロブロック画像処理の間引き」の処理を説明する図である。

図４に示すマクロブロック画像処理の間引きの処理によって間引かれたマクロブロックは、スキップマクロブロックとして解釈されることで、スキップマクロブロックの周囲のマクロブロックの動きベクトル情報と参照フレーム画像とを用いて、スキップマクロブロックの位置での間引かれたマクロブロックの簡易デコード画像が生成されることができる。尚、間引きされないマクロブロックは通常の復号化処理を行う必要があるため、間引きの対象となるマクロブロックであっても、その可変長復号化処理は省略しない。

また当然、間引かれたマクロブロックにおける画質の劣化は大きいが、符号化ストリームの画面解像度に対して表示解像度が小さい場合には、この画質劣化は目立ちにくくなる。個々のマクロブロックの画像処理を間引くか否かの設定は、マクロブロック(ＭＢ)制御部１００６での設定によって可能とされる。

簡略化処理(４)である「フレームスキップ」の処理は、フレーム単位でのデコード処理を省略するものである。「フレームスキップ」の処理におけるスキップのパターンとしては、(Ａ)双方向予測フレーム(Ｂフレーム)等の通常は参照フレームとして使用されないフレームをスキップする方式、(Ｂ)画面内予測フレーム(Ｉフレーム)以外のフレームを全てスキップする方式、(Ｃ)参照フレームとなるＩフレームやPフレームであっても、強制的にスキップさせる方式、等がある。スキップする間隔によって映像の滑らかさに影響が出るが、方式(Ａ)と方式(Ｂ)の場合はスキップされずに表示されるフレーム画像の画質そのものは劣化しないために、削減される処理量に対して画質劣化が目立ちにくく、効率が良い。個々のフレームをスキップするか否かの設定は、マクロブロック(ＭＢ)制御部１００６での設定によって可能とされ、スキップされる場合は１枚のフレームに含まれる複数のマクロブロック(ＭＢ)の処理は全く実行されない。

図８は、図２の動画像復号化装置２００１に含まれる図１に示す本発明の一実施の形態によるコーデック１００１によって実行されるマルチ画面表示に際しての簡易復号処理のフローを説明する図である。

図８に示す簡易復号処理のフローの最初のステップＳ８０１では、コーデック１００１の制御部１００４の簡易デコード制御部１００７は、メモリ２００７の一部から確保されたＡＰＩメモリ１０１７からストリーム情報を取得する。このストリーム情報は、インターフェース部１００５を介して上位のＣＰＵによって構成可能な端末制御部２００２によって設定される。このインターフェース部１００５には、オペレーティングシステム(ＯＳ)やプログラミング言語で準備された動画像復号機能ライブラリのアプリケーションプログラムインターフェース(ＡＰＩ)の関数であるストリーム情報が入力される。

≪ストリーム情報≫
図９は、図８に示すマルチ画面表示に際しての簡易復号処理において簡易デコード制御部１００７によってメモリ２００７から取得されるストリーム情報を示す図である。
や、ハードウェアレジストリなどが挙げられる。このストリーム情報の構造の一例を図9に示す。

図9に示すストリーム情報には、「ストリーム数(Ｎ)」、複数のストリーム１〜Ｎの各ストリームの「オリジナル画面解像度」と「表示画面解像度」と「優先度」と「フレームレート」と「簡略処理フラグ」とが含まれる。

「オリジナル画面解像度」は、符号化された圧縮映像そのものの解像度であり、標準規格準拠の復号処理を行った場合に生成される映像の画面解像度である。

「表示画面解像度」は、符号化ストリームのデコード画像を動画像復号化装置２００１が表示制御部２００６にマルチ画面表示する場合の画面解像度である。オリジナル画面解像度に対する表示画面解像度の比率が小さいほど、復号処理を簡易化した場合の画質劣化が主観的に目立ちにくくなると推測される。

「優先度」は、個々のストリームの画質に対する要求の程度を相対的に示す値である。後述するように、優先度が高いほど、画質に対する要求が高いため、簡易復号化処理によって画質が劣化することが許容されにくくなる。

「フレームレート」は単位時間当たり(通常は１秒)のフレーム数である。フレームレートにより、個々のフレームの表示時間間隔が推測できるため、後述するデコード処理のスケジュールの目的でフレームレートが利用される。ただしフレームレートが存在しない場合には、既に復号済みフレームのデコード時刻の間隔からフレームレートを推測することも可能である。

「簡略処理フラグ」は、各ストリームのデコード処理で簡略処理を行う(オン)か否(オフ)かを示すフラグである。すなわち、簡略処理フラグがオフの場合には、後述の簡易復号処理は行わずに規格に準拠した通常の復号処理を行うものである。

≪デコードスケジューリング≫
次に、図８に示す簡易復号処理の残りのフローを説明する。図８の簡易復号処理の次のステップ８０２では、デコードスケジューリングが実行される。デコードスケジューリングは、図１に示すコーデック１００１の制御部１００４の簡易デコード制御部１００７によって実行される。

図５は、図１に示すコーデック１００１の制御部１００４の簡易デコード制御部１００７によってマルチ画面表示に際して実行されるデコードスケジューリングを説明する図である。

図５では、複数のストリームＡ〜Ｃは、その属性情報として下記のようなストリーム情報が含まれている。

(１)ストリームＡ：「オリジナル画面解像度」＝６４０画素×４８０画素、「表示画面解像度」＝６４０画素×４８０画素、「優先度」＝４、「フレームレート」＝３０ｆｐｓ、「簡略処理フラグ」＝オン。

(２)ストリームＢ：「オリジナル画面解像度」＝１７６画素×１４４画素、「表示画面解像度」＝９６画素×７２画素、「優先度」＝２、「フレームレート」＝１５ｆｐｓ、「簡略処理フラグ」＝オン。

(３)ストリームＣ：「オリジナル画面解像度」＝３２０画素×２４０画素、「表示画面解像度」＝１６０画素×１２０画素、「優先度」＝３、「フレームレート」＝１５ｆｐｓ、簡略処理フラグ＝オン。

尚、ストリームＡは複数のフレームＡ０、Ａ１、Ａ２…Ａ５を含み、ストリームＢは複数のフレームＢ０、Ｂ１…Ｂ３を含み、ストリームＣは複数のフレームＣ０、Ｃ１、Ｃ２…を含んでいる。また、コーデック１００１は、これら３つのストリームＡ、Ｂ、Ｃをフレーム単位で切り換えてデコードするものである。尚、フレーム単位でストリームを切り換えた場合であっても、ストリーム毎に参照フレームや入力バッファなどのリソースも切り換えられるため、複数のストリームのフレームを全て連続でデコードした場合とデコード結果は同様なものとなる。

図８の簡易復号処理のステップ８０２で実行されるデコードスケジューリングで、図５(Ａ)に示すように簡易デコード制御部１００７は、複数のストリームＡ、Ｂ、Ｃに対してそれぞれの「オリジナル画面解像度」から得られるマクロブロック数、１つのマクロブロック当たりの処理時間およびフレームレートから、通常の動画像デコード処理を行う場合の各フレームのデコード時刻とデコード時間とを推定する。デコード時刻はデコード開始時刻(ｓｔａｒｔ)とデコード終了時刻(ｅｎｄ)とによって指定され、デコード時間はデコード開始時刻(ｓｔａｒｔ)とデコード終了時刻(ｅｎｄ)との差で決定される。尚、一つのマクロブロック当たりの処理時間はマクロブロック(ＭＢ)制御部１００６に保持され、コーデック１００１の処理能力はコーデック１００１の上限動作クロック周波数からあるいはソフトウェア処理によって過去の処理時間の実績から推測することができる。また、複数のストリームの各フレームの符号化タイプ(画面内予測フレーム(Ｉフレーム)／前方向予測フレーム(Pフレーム)／双方向予測フレーム(Ｂフレーム))は、過去のフレームの出現パターンから類推することができる。ただし、ストリームの動画像のデコード開始時には、デフォルトとしてＩフレーム、Ｐフレーム、Ｐフレーム、Ｐフレーム…のパターンと推測するものである。

この通常の動画像デコード処理のデコード時刻およびデコード時間の推定によって、デコーダー部１００１が図５(Ａ)に示す３つのストリームＡ、Ｂ、Ｃを、簡易復号処理することなく、通常復号処理である通常の動画像デコード処理を行う能力が有るか否かが判定される。図５(Ａ)の通常復号処理の例では、ストリームＡのフレームＡ１の処理とストリームＢのフレームＢ０の処理とストリームＣのフレームＣ０の処理との並列処理において処理能力不足が発生している。また、図５(Ａ)の例では、ストリームＡのフレームＡ３の処理とストリームＢのフレームＢ１の処理とストリームＣのフレームＣ１の処理との並列処理において処理能力不足が発生して、ストリームＡのフレームＡ５の処理とストリームＢのフレームＢ２の処理とストリームＣのフレームＣ２の処理との並列処理において処理能力不足が発生している。この処理能力不足の発生に応答して、図１に示すコーデック１００１の制御部１００４の簡易デコード制御部１００７はデコーダー部１００１が図５(Ａ)に示す３つのストリームＡ、Ｂ、Ｃの通常復号処理を行う能力が無いと判断する。

このようにデコーダー部１００１による複数のストリームの並列処理の能力不足の判断に応答して、簡易デコード制御部１００７は下記のようなデコードスケジューリングを実行する。

すなわち、簡易デコード制御部１００７は、コーデック１００１が３つのストリームＡ、Ｂ、Ｃの各フレームをシーケンシャルにデコードできるように図５(Ｂ)のように各フレームのデコード時刻とデコード時間を調整する。この調整の際には、図５(Ｂ)に示すように簡易デコード時の各フレームのデコード終了時刻(＝デコード開始時刻＋デコード時間)がそれぞれ図５(Ａ)の通常デコード時での各フレームのデコード終了時刻よりも前の時刻になるように設定する。これは、通常のデコード終了時刻よりも簡易デコード時のデコード終了時刻が遅延することで、動画像デコード処理以降の画面表示が遅延することを防ぐためである。

図５(Ｂ)に示す例では、ストリームＡ、B、Cのデコード時間のそれぞれ３０％削減、５０％削減および４０％削減を実行して、それぞれのフレームのデコード開始時刻も調整される。またコーデック１００１での３つのストリームＡ、B、Cの動画像デコード処理がフレーム毎に順番に切り換えるように、スケジューリングが行われている。

図５(Ｂ)に示す例での各ストリームのデコード時間の削減量は、各ストリームの優先度や表示画像解像度等から決定されるものである。

図７は、図１に示したコーデック１００１によって実行される簡易復号処理におけるストリームの動画像デコード時間の削減のための処理量削減率と優先度の値との関係を示す図である。

図７に示す図では、ストリームに含まれた属性情報としてのストリーム情報の１つである「優先度」の値とそれに対応する動画像デコードでの「処理量削減率」の値が設定されている。図７の例では、「優先度」の値が５の場合には「処理量削減率」の値は０％とされ、「優先度」の値が４の場合には「処理量削減率」の値は０〜３０％とされ、「優先度」の値が３の場合には「処理量削減率」の値は０〜４０％とされ、「優先度」の値が２の場合には「処理量削減率」の値は０〜６０％とされ、「優先度」の値が１の場合には「処理量削減率」の値は０〜１００％とされる。尚、本発明の好適な実施の形態によれば、図７に示す「優先度」の値とそれに対応する「処理量削減率」の値との関係を規定したルックアップテーブル(ＬＵＴ)は、コーデック１００１の制御部１００４の簡易デコード制御部１００７の内部に内蔵されている。このルックアップテーブル(ＬＵＴ)は、リードオンリーメモリ(ＲＯＭ)もしくはフラッシュメモリ等の不揮発性メモリによって構成される。

図５(Ｂ)の例では、ストリームＡは優先度が４であり、基準の処理削減率は０〜３０％であるが、他のストリームＢ、Ｃの動画像デコードの処理能力が不足するとの判断結果に従って、ストリームＡの処理削減率を３０％に設定している。またストリームＢは優先度が２であり、基準の処理削減率は０〜６０％であるが、動画像デコードの処理時間には余裕が有ると判断結果に従って、ストリームBの処理削減率を５０％に設定している。更にストリームＣは優先度が３であり、基準の処理削減率は０〜４０％であるが、動画像デコードの処理時間にそれ程余裕が無いと判断結果に従って、ストリームBの処理削減率を４０％に設定している。

≪簡易処理方法の決定≫
このようにしてデコードスケジューリングが完了すると、図８の簡易復号処理の次のステップ８０３では、図８のステップ８０２のデコードスケジューリングで決定された複数のストリームＡ、B、Cの各処理削減率を実現するための簡易処理方法が決定される。

図６は、図８のステップ８０２のデコードスケジューリングで決定された複数のストリームＡ、B、Cの各処理削減率を実現するための各種の簡易処理方法と画質劣化の程度との関係を示す図である。尚、本発明の好適な実施の形態によれば、図６に示す関係を規定したルックアップテーブル(ＬＵＴ)は、コーデック１００１の制御部１００４の簡易デコード制御部１００７の内部に内蔵されるリードオンリーメモリ(ＲＯＭ)もしくはフラッシュメモリ等の不揮発性メモリによって構成されることが可能である。

従って、簡易復号処理ではストリームの個々のフレームに対し、デコードスケジューリングで決定された処理削減率を実現するための簡易処理方法を決定するものである。

簡易デコード制御部１００７は図６に示す関係を規定したルックアップテーブル(ＬＵＴ)を参照することによって、可能な限り画質劣化が少なくデコードスケジューリングにて決定された処理削減率を実現可能な簡略復号処理方法を決定する。

例えば、ストリームＡで処理削減率３０％を実現するために、デブロック(ＤＥＢ)処理を省略して１０％の処理削減を行い、更に１フレーム中の２／３のマクロブロック(ＭＢ)において「ＤＣ係数のみデコード」の処理を行い２０％の処理削減を行うことで、トータルで３０％の処理削減を実現する。ストリームBでは５０％削減するために、１フレーム中の全てのマクロブロック(ＭＢ)において「ＤＣ係数のみデコード」の処理を行い３０％の処理削減を行い、デブロック(ＤＥＢ)処理を省略して１０％の処理削減を行い、更に１フレーム中の１／１０のマクロブロック(ＭＢ)の画像処理を間引いて１０％の処理削減を行うことで、トータルで５０％処理削減を実現する。

上記のような調整でもデコードスケジューリングで決めた削減率を実現することができない場合には適宜「フレームスキップ」を行っても良いし、デコードスケジューリングをし直しても良い。

以上に述べたように、本発明の実施の形態１によれば、符号化ストリームの数や解像度、優先度に応じて簡易処理内容を柔軟に制御することができるので、解像度の低い、多数の符号化ストリームをデコードする場合や、比較的解像度の高い少数の符号化ストリームをデコードする場合など、様々な数や解像度の符号化ストリームにおいて、復号処理の効率を大幅に向上させることが可能である。

［実施の形態２］
≪ディジタルテレビジョン放送受信装置用の高機能システムＬＳＩ≫
図１１は、上記で説明した実施の形態によるコーデック１００１を内蔵する高機能システムＬＳＩとして構成された半導体集積回路の構成を示す図である。

図１１に示す高機能システムＬＳＩとして構成された半導体集積回路５００の半導体チップには、中央処理ユニット(ＣＰＵ)５０１、ＭＰＥＧビデオ・デコード・エンジン５０２、バス５０３、トランスポート・ストリーム・入出力ユニット５０４、周辺インターフェースユニット５０５、メモリコントローラ５０６、２次元・３次元グラフィック映像信号処理ユニット５０７、映像・音声・入出力ユニット５０８が集積化されている。図１１に示す高機能システムＬＳＩに内蔵されたＭＰＥＧビデオ・デコード・エンジン５０２が、上記で説明した実施の形態によるコーデック１００１によって構成されているものである。

半導体集積回路５００の外部の地上波ディジタルチューナー２０１と衛星ディジタルチューナー２０２とを含むＲＦインターフェース２００とＩＰネットワークからディジタル放送を受信するためのイーサーネットワーク・インターフェース２０３とは、トランスポート・ストリーム・入出力ユニット５０４に接続可能とされている。受信機のスクランブル解除処理制御のために各視聴者の契約内容情報ＥＭＣが書き込まれるＢ−ＣＡＳカード２０４が、周辺インターフェースユニット５０５に接続可能とされている。周辺インターフェースユニット５０５には、更にリムーバブル・フラッシュメモリカード２０５、ハードディスクドライブ(ＨＤＤ)磁気記憶装置２０６、ＤＶＤ記録装置２０７が接続可能とされている。またメモリコントローラ５０６には、大容量・高速のダイナミックランダムアクセスメモリ(ＤＲＡＭ)２０８と大容量のフラッシュ不揮発性半導体メモリ２０９とが接続可能とされている。

半導体集積回路５００に接続可能とされたＨＤＤ磁気記憶装置２０６とフラッシュ不揮発性半導体メモリ２０９とのいずれか一方に、番組名・選局情報管理テーブルを含む情報記憶部が構築されることができる。

ＣＰＵ５０１はＢ−ＣＡＳカード２０４に書き込まれた視聴者の契約内容情報を参照する一方、ＨＤＤ磁気記憶装置２０６とフラッシュ不揮発性半導体メモリ２０９の一方に構築された番組名・選局情報管理テーブルを検索することで高速選局を可能としている。すなわち、ＣＰＵ５０１はＨＤＤ磁気記憶装置２０６とフラッシュ不揮発性半導体メモリ２０９との一方に構築された番組名・選局情報管理テーブルの検索の結果から得られた選局情報としての識別子(ＰＩＤ)をトランスポート・ストリーム・入出力ユニット５０４に設定する。

その結果、ＲＦインターフェース２００またはイーサーネットワーク・インターフェース２０３によって受信される多数のディジタル放送からユーザーが視聴を希望する放送番組の復号化された映像・音声エレメンタリー・ストリームが、トランスポート・ストリーム・入出力ユニット５０４で抽出されることができる。抽出された復号化映像・音声エレメンタリー・ストリームはトランスポート・ストリーム・入出力ユニット５０４からＭＰＥＧビデオ・デコード・エンジン５０２に転送され、エンジン５０２では高速リアルタイム・ＭＰＥＧ・デコードが実行される。その結果、ＭＰＥＧビデオ・デコード・エンジン５０２にて形成された復号化映像・音声信号は２次元・３次元グラフィック映像信号処理ユニット５０７で処理されてから、映像・音声・入出力ユニット５０８に転送されるものである。

［他の実施の形態］
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、属性情報としてのストリーム情報に優先度が与えられていないような場合であっても、表示画面解像度を元にコーディク１００１の内部で優先度を自動的に生成することも可能である。例えば、表示画面解像度が小さいほど優先度を小さくしたり、オリジナル画面解像度に対して表示画面解像度の比率が小さいほど優先度を小さくすると言う方針として、表示画面解像度やフレームレートに対して適切に優先度を割り当ることが可能となる。

また、図５(Ｂ)の例では１つのストリーム内の全てのフレームに対して同一の処理削減率を設定しているが、フレーム単位で処理削減率を変更してもよい。また更に、上述したデコードスケジューリングは一定の時間間隔または任意の時刻で更新されることができる。

図１は、本発明の一実施の形態によるコーデックの構成を示す図である。 図２は、図１に示す本発明の一実施の形態によるコーデックを含む動画像復号化装置の構成を示す図である。 図３は、図２の動画像復号化装置に含まれる図１に示す本発明の一実施の形態によるコーデックによって実行される簡易復号処理の１つであるＤＣ係数のみデコードの処理を説明する図である。 図４は、図１に示すコーデックによって実行される簡易復号処理の１つであるマクロブロック画像処理の間引きの処理を説明する図である。 図５は、図１に示すコーデックの制御部の簡易デコード制御部によってマルチ画面表示に際して実行されるデコードスケジューリングを説明する図である。 図６は、図８のステップ８０２のデコードスケジューリングで決定された複数のストリームの各処理削減率を実現するための各種の簡易処理方法と画質劣化の程度との関係を示す図である。 図７は、図１に示したコーデックによって実行される簡易復号処理におけるストリームの動画像デコード時間の削減のための処理量削減率と優先度の値との関係を示す図である。 図８は、図２の動画像復号化装置に含まれる図１に示す本発明の一実施の形態によるコーデックによって実行されるマルチ画面表示に際しての簡易復号処理のフローを説明する図である。 図９は、図８に示すマルチ画面表示に際しての簡易復号処理において簡易デコード制御部によってメモリから取得されるストリーム情報を示す図である。 図１０は、テレビ画面に表示されるマルチ画面表示の一例を示す図である。 図１１は、上記で説明した実施の形態によるコーデックを内蔵する高機能システムＬＳＩとして構成された半導体集積回路の構成を示す図である。

１００１ コーデック
１００２ 入力バッファ
１００３ 参照フレームメモリ
１００４ 制御部
１００５ インターフェース部
１００６ マクロブロック(ＭＢ)制御部
１００７ 簡易デコード制御部
１００８ 可変長復号部(ＶＬＤ)
１００９ 動き補償部(ＭＣ)
１０１０ 逆量子化部(ＩＱ)
１０１１ 逆変換部(ＩＤＣＴ)
１０１２ デブロック部(ＤＥＢ)
１０１３ 出力フレームメモリ
１０１４ 加算器
２００１ 動画像復号化装置
２００２ 端末制御部
２００３ 多重分離部
２００４ 蓄積部
２００５ 描画処理部
２００６ 表示制御部
２００７ メモリ

Claims (6)

1. 外部から供給される複数の動画像符号化ストリームのデコード処理が可能な動画像復号部と、
   前記動画像復号部による前記デコード処理の制御を行う制御部とを具備して、
   前記動画像復号部による前記複数の動画像符号化ストリームの前記デコード処理によってマルチ画面表示を行うに先立って、前記制御部は前記複数の動画像符号化ストリームに含まれる複数の属性情報を取得して、
   前記複数の属性情報を使用して、前記制御部は前記動画像復号部が前記複数の動画像符号化ストリームのデータ処理量削減の伴わない通常復号処理を行う能力が有るかの判断を実行して、
   前記判断によって前記能力が無いとされた場合には、前記制御部は前記動画像復号部が前記複数の動画像符号化ストリームのデータ処理量削減の伴う簡易復号処理を実行することを決定して、
   前記簡易復号処理を実行するに際して、前記制御部は、前記複数の属性情報を使用して前記データ処理量削減の削減量を決定することを特徴とする動画像復号化装置。
2. 前記複数の属性情報の各属性情報は、前記複数の動画像符号化ストリームの各ストリームのオリジナル画面解像度と表示画面解像度と優先度とフレームレートとのいずれかを含むことを特徴とする請求項１に記載の動画像復号化装置。
3. 前記簡易復号処理はＤＣＴ係数のＤＣ係数のみをデコードする処理を含むことを特徴とする請求項２に記載の動画像復号化装置。
4. 前記簡易復号処理はマクロブロックの画像処理を間引く処理を含むことを特徴とする請求項２に記載の動画像復号化装置。
5. 前記簡易復号処理はデブロック処理を省略する処理を含むことを特徴とする請求項２に記載の動画像復号化装置。
6. 前記簡易復号処理は前記複数の動画像符号化ストリームのいずれかのストリームのいくつかのフレームをスキップする処理を含むことを特徴とする請求項２に記載の動画像復号化装置。

Images