JP2012004660A

JP2012004660A - 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置

Info

Publication number: JP2012004660A
Application number: JP2010135164A
Authority: JP
Inventors: Taku Maekawa; 琢前川
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2010-06-14
Filing date: 2010-06-14
Publication date: 2012-01-05

Abstract

【課題】動画像データにエラーが混入した際の動画像の乱れの影響を軽減する。
【解決手段】動画像符号化方法は、分離と動画像符号化と多重化と出力のステップを含む。分離ステップは所定の解像度の原動画像フレーム１００を、低解像度の第１動画像フレーム１００Ａと第２動画像フレーム１００Ｂに分離する。動画像符号化ステップは、第１と第２の動画像フレームを第１と第２の動画像符号化処理１０２Ａ、１０２Ｂによって第１と第２の動画像符号化情報１０３Ａ、１０３Ｂに符号化する。多重化ステップは、第１動画像符号化情報を含む第１パケットデータ１０５＿０、２と第２動画像符号化情報を含む第２パケットデータ１０５＿１、３とを含む多重化ストリーム１０５を形成する。出力ステップは、１０５を動画像符号化出力信号として出力する。
【選択図】図３

Description

本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置に関するものであり、特に動画像データにエラーが混入した際の動画像の乱れの影響を軽減するのに有効な技術に関するものである。

ＭＰＥＧ−２と呼ばれる動画像の一般的な圧縮方式は、ＩＳＯ／ＩＥＣ１３８１８−２で標準化された規格であり、例えば、下記非特許文献１に記載されている。ＭＰＥＧ−２は、ビデオストリームから冗長な情報を削除することによって、ビデオ記憶容量と必要な帯域幅とを削減すると言う原理に基づいている。尚、ＭＰＥＧは、Moving Picture Experts Groupの略である。

ＭＰＥＧ−２の規格はエンコードプロセスによるビットストリームのシンタックス(圧縮符号化データ列の規則または符号化データのビットストリームの構成方法)のみを規定しているので、衛星放送・サービス、ケーブルテレビジョン、インターラクティブテレビジョン、インターネット等の種々の状況で十分利用可能なようにフレキシブルなものである。

一方、下記特許文献１には、動画圧縮規格を採用した符号化動画像データに混入したエラーの修復のためのエラーコンシールメント処理を実行するかまたは修復を停止するかの選択をエラー発生のＩフレームから次の到来Ｉフレームまでの時間間隔に基づいて選択する動画像復号装置が記載されている。

この動画像復号装置によれば、上述の時間間隔が所定のしきい値よりも大きい場合にはエラーコンシールメント処理が実行されて、上述の時間間隔が所定のしきい値よりも小さい場合にはエラーコンシールメント処理は不動作とされて、次のＩフレームまでスキップ処理が行われる。

特開２００８−４２７６９号公報

ＩＮＴＥＲＮＡＴＩＯＮＡＬＳＴＡＮＤＡＲＤ１３８１８−２，ＲＥＣＯＭＭＥＮＤＡＴＩＯＮＩＴＵ−ＴＨ．２６２， "ＩＮＦＯＲＭＡＴＩＯＮＴＥＣＨＮＯＬＯＧＹ−ＧＥＮＥＲＩＣＣＯＤＩＮＧＯＦＭＯＶＩＮＧＰＩＣＴＵＲＥＳＡＮＤＡＳＳＯＣＩＡＴＥＤＡＵＤＩＯＩＮＦＯＲＭＡＴＩＯＮ：ＶＩＤＥＯ"ｈｔｔｐ：／／ｎｅｕｒｏｎ２．ｎｅｔ／ｌｉｂｒａｒｙ／ｍｐｅｇ２／ｉｓｏ１３８１８−２．ｐｄｆ[平成２１年１０月０５日検索]

２００６年４月１日、日本国内で移動端末等を主たる対象とした地上デジタルテレビ放送の１セグメント部分受信サービス「ワンセグ」が開始された。ワンセグでは、地上デジタルテレビ放送の１３チャンネル〜６２チャンネルまでの物理チャンネルの１チャンネル当たりの周波数帯域６ＭＨｚを１３セグメントに分割した１つのセグメントを使用して放送することで、情報量を必要最小限に制限している。従って、移動端末等の情報処理能力が比較的小さな端末でも、適切な受信が可能とされる。特徴としては、映像、音声以外にデータ放送を同時に受信可能なものである。

ＩＳＤＢ−Ｔｍｍと呼ばれる次世代ワンセグ放送は、ワンセグよりも、高画質・高音質のストリーム放送だけではなく、映像コンテンツのダウンロード・サービス等の新しいサービスの実現を目指している。尚、ＩＳＤＢ−Ｔｍｍは、Integrated Service Digital Broadcasting-Terrestrial for mobile multimediaの略である。

本発明者等は、本発明に先立って、上述したＩＳＤＢ−Ｔｍｍと呼ばれる次世代ワンセグ放送を受信可能な携帯電話機端末に搭載されるアプリケーションプロセッサと呼ばれる半導体集積回路の開発に従事した。

このＩＳＤＢ−Ｔｍｍと呼ばれる次世代ワンセグ放送では、高画質・高音質のストリーム放送と映像コンテンツのダウンロード・サービスに対応することが必要なことから、標準ワンセグ放送と比較して、次世代ワンセグ放送のＭＰＥＧ２−ＴＳのビットレートが非常に高くなることが予想された。

しかし、次世代ワンセグ放送では、大都市部での電波障害によって動画圧縮規格を採用した符号化動画像データにエラーが混入して動画像の乱れが発生することも予想された。

このような背景から、本発明者等は本発明に先立って、ＭＰＥＧ−２の規格に準拠する動画像符号化方式と動画像復号方式とに関して検討を行った。

図１は、本発明に先立って本発明者等によって検討されたＭＰＥＧ−２の規格に準拠する動画像復号処理装置によりデコードされる符号化データのビットストリームを生成するためのＭＰＥＧの動画符号化方式における階層構造を説明する図である。

図１に示すように、ＭＰＥＧの動画符号化方式は動画像の全体に対応するシーケンス(Sequence)１０から離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)の処理単位のブロック(Block)１５、１６、１７までの６階層の構造を有する。すなわち、第１階層はシーケンス(Sequence)１０、第２階層はグループオブピクチャ(ＧＯＰ)１１、第３階層はピクチャー(Picture)１２、第４階層はスライス(Slice)１３、第５階層はマクロブロック(Macro-block)１４、第６階層はブロック(Block)１５、１６、１７である。この階層構造は動画像構造をベースとしたものであるが、グループオブピクチャ(ＧＯＰ)１１に含まれるピクチャー(Picture)１２の数もしくはスライス(Slice)１３に含まれるマクロブロック(Macro-block)１４の数は比較的柔軟となっている。

図２は、図１に示した階層構造のＭＰＥＧ−２の動画符号化方式によってエンコードされた典型的なビデオストリームを示す図である。

図２に示すビデオストリームは、シーケンスレベル２１１、グループオブピクチャ(ＧＯＰ)レベル２２１、ピクチャーレベル２３１、スライスレベル２４１、マクロブロック(ＭＢ)レベル２５１の異なったレベルの重ね合った階層となっている。従って、次の各レベルは、以前の各レベルの一部となっている。シーケンスレベル２１１はシーケンスの連続で、各シーケンスは複数のグループオブピクチャー(ＧＯＰ)のグループを含んでいる。グループオブピクチャ(ＧＯＰ)レベル２２１のグループはピクチャーのグループの連続で、各ＧＯＰは１つまたは多数のピクチャーを含んでいる。ピクチャーレベル２３１はピクチャー(Ｉフレーム、Ｐフレーム、Ｂフレームを含む)の連続で、各ピクチャー２３０は１つまたは多数のスライス２４０を含んでいる。スライスレベル２４２はスライス２４０の連続で、各スライス２４０は１つまたは多数のマクロブロック２５０を含んでいる。マクロブロック(ＭＢ)レベル２５１は、マクロブロックの連続である。

図２に示すビデオストリームをデコードするためにはビデオストリームに関する確実な情報が必要であり、しばしばこの情報はビデオストリームに含まれるヘッダーに含まれている。従って、ビデオストリームの各レベルのデータの各ブロックは、一般にビデオストリームのエンコーディングとデコーディングに関係する関連情報を含むヘッダーを有している。例えば、シーケンスレベル２１１でシーケンス２１０はシーケンスヘッダー２１２を有し、ＧＯＰレベル２２１でＧＯＰ２２０はＧＯＰヘッダー２２２を有し、ピクチャーレベル２３１でピクチャー２３０はピクチャーヘッダー２３２を有し、スライスレベル２４１でスライス２４０はスライスヘッダー２４２を有し、ＭＢレベル２５１ではマクロブロック(ＭＢ)２５０はマクロブロック(ＭＢ)ヘッダー２５２を有している。

一方、次世代ワンセグ放送では、電波障害によって動画像データにエラーが混入して動画像の乱れが発生した場合には、上記特許文献１に記載のように、エラーの修復のためのエラーコンシールメント処理が実行される。このエラーコンシールメント処理によって、画像にエラーが発生した部分にエラー発生前の復号済みの画像の画素データをコピーすると言う手法が採用される。しかし、エラーコンシールメント処理は完全なエラー訂正技術ではないので、エラーコンシールメント処理によるエラーの修復後の画像には多少の乱れが発生するものとなる。

更に、良く知られているように、ＭＰＥＧ−２の動画符号化方式のピクチャーには、Ｉフレーム(イントラ符号化フレーム)とＰフレーム(片方向予測符号化フレーム)とＢフレーム(双方向予測符号化フレーム)との３種類のタイプが存在する。Ｉフレームは他のフレームからの予測を使用せずに符号化されたフレームであり、Ｐフレームは過去のＩフレームまたは過去のＰフレームからの予測を使用して符号化されたフレームであり、Ｂフレームは過去および未来のＩフレームまたはＰフレームからの予測を使用して符号化されたフレームである。一方、シーケンスに含まれるグループオブピクチャー(ＧＯＰ)は、符号化ビデオストリーム中の連続したピクチャーのグループであって、ＩフレームとＰフレームとＢフレームの順序を指定するものである。

このグループオブピクチャー(ＧＯＰ)は常にＩフレームによって開始され、このＩフレームを基準として符号化されたＰフレームとＢフレームとを含むものである。しかし、ＢフレームとＩフレームとで符号伝送順序が逆転するので、グループオブピクチャー(ＧＯＰ)の実際の開始のフレームは、Ｉフレームではなく、Ｂフレームとなる場合が多い。グループオブピクチャー(ＧＯＰ)の構造は、ＮとＭとの２つのパラメータで記述されることが可能である。最初のパラメータＮは、１つのグループオブピクチャー(ＧＯＰ)に含まれるピクチャーの総数であって、１つのグループオブピクチャー(ＧＯＰ)に含まれたＩフレームと次のグループオブピクチャー(ＧＯＰ)に含まれるＩフレームとの間のピクチャー数すなわちＧＯＰ長である。次のパラメータＭは、１つのグループオブピクチャー(ＧＯＰ)に含まれた近接する２つのＰフレームの間の距離である。従って、１つのグループオブピクチャー(ＧＯＰ)には、このグループオブピクチャー(ＧＯＰ)に含まれる複数のＰフレームとＢフレームとの符号化の基準とされる１つのＩフレームが含まれている。２つのパラメータＮ、Ｍの設定は自由で、種々のＧＯＰが存在するが、最も一般的なＧＯＰではＮ＝１５、Ｍ＝３にそれぞれ設定される。

一方、上述のように電波障害によって動画像データにエラーが混入して動画像の乱れが発生した場合には、エラーコンシールメント処理を実行しても動画像の乱れは、少なくとも１つのＧＯＰの期間中は継続される。すなわち、次のＧＯＰの受信の際に電波障害が発生せずに動画像データ中にエラーが混入することなく次のＧＯＰが正常に受信されるまで、動画像の乱れが継続されるものである。この理由は、下記の通りである。

すなわち、電波障害が発生して、１つのグループオブピクチャー(ＧＯＰ)に含まれる１つのＩフレームに画像の乱れが発生した場合には、Ｉフレームを基準として符号化されたＰフレームとＢフレームとにも画像の乱れが波及するためである。従って、次のグループオブピクチャー(ＧＯＰ)に含まれる１つのＩフレームが正常に受信されるまで、動画像の乱れが継続されるものである。

本発明は、以上のような本発明に先立った本発明者等による検討の結果、なされたものである。

従って、本発明の目的とするところは、動画像データにエラーが混入した際の動画像の乱れの影響を軽減することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。

すなわち、本発明の代表的な実施の形態は、分離ステップと、動画像符号化ステップと、多重化ステップと、出力ステップとを含む動画像符号化方法である。

前記分離ステップは、所定の解像度を有する原動画像フレーム(１００)を前記所定の解像度よりも小さな低解像度を有する第１動画像フレーム(１００Ａ)と第２動画像フレーム(１００Ｂ)とに分離する。

前記動画像符号化ステップは、前記第１動画像フレームと前記第２動画像フレームとを第１動画像符号化処理(１０２Ａ)と第２動画像符号化処理(１０２Ｂ)とによって第１動画像符号化情報(１０３Ａ)と第２動画像符号化情報(１０３Ｂ)にそれぞれ符号化する。

前記多重化ステップは、前記第１動画像符号化情報を含む第１パケットデータ(１０５＿０、１０５＿２)と前記第２動画像符号化情報を含む第２パケットデータ(１０５＿１、１０５＿３)とを含む多重化ストリーム(１０５)を形成する。

前記出力ステップは、前記多重化ステップによって形成された前記多重化ストリームを動画像符号化出力信号として出力することを特徴とする(図３、図５参照)。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。

すなわち、本発明によれば、動画像データにエラーが混入した際の動画像の乱れの影響を軽減することができる。

図１は、本発明に先立って本発明者等によって検討されたＭＰＥＧ−２の規格に準拠する動画像復号処理装置によりデコードされる符号化データのビットストリームを生成するためのＭＰＥＧの動画符号化方式における階層構造を説明する図である。図２は、図１に示した階層構造のＭＰＥＧ−２の動画符号化方式によってエンコードされた典型的なビデオストリームを示す図である。図３は、本発明の実施の形態１による動画像符号化方法および動画像符号化装置の構成を示す図である。図４は、本発明の実施の形態１による動画像復号方法および動画像復号装置の構成を示す図である。図５は、本発明の実施の形態２による動画像符号化方法および動画像符号化装置の構成を示す図である。図６は、本発明の実施の形態２による動画像復号方法および動画像復号装置の構成を示す図である。図７は、本発明の実施の形態３による動画像符号化装置および動画像復号装置の構成を示す図である。

１．実施の形態の概要
まず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号は、それが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の第１の観点による実施の形態は、分離ステップと、動画像符号化ステップと、多重化ステップと、出力ステップとを含む動画像符号化方法である。

前記分離ステップは、所定の解像度を有する原動画像フレーム(１００)を前記所定の解像度よりも小さな低解像度を有する第１動画像フレーム(１００Ａ)と第２動画像フレーム(１００Ｂ)とに分離するものである。

前記動画像符号化ステップは、前記分離ステップによって分離された前記第１動画像フレームと前記第２動画像フレームとを第１動画像符号化処理(１０２Ａ)と第２動画像符号化処理(１０２Ｂ)とによって第１動画像符号化情報(１０３Ａ)と第２動画像符号化情報(１０３Ｂ)にそれぞれ符号化するものである。

前記多重化ステップは、前記第１動画像符号化情報を含む第１パケットデータ(１０５＿０、１０５＿２)と前記第２動画像符号化情報を含む第２パケットデータ(１０５＿１、１０５＿３)とを含む多重化ストリーム(１０５)を形成するものである。

前記実施の形態によれば、動画像データにエラーが混入した際の動画像の乱れの影響を軽減することができる。

好適な実施の形態では、前記所定の解像度を有する前記原動画像フレーム(１００)は、所定数の水平方向走査線を含み、前記低解像度を有する前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)とは前記所定数の水平方向走査線よりも数が少ない第１水平方向走査線と第２水平方向走査線とをそれぞれ含むことを特徴とする(図３参照)。

他の好適な実施の形態では、前記所定の解像度を有する前記原動画像フレームは、所定数のフレームレートの複数の原動画像フレーム(Ｆｒａｍｅ＿０、１、２、３)を含み、前記低解像度を有する前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)は前記所定数の前記フレームレートよりも数が少ない低フレームレートの第１の複数の動画像フレーム(Ｆｒａｍｅ＿０、２)と第２の複数の動画像フレーム(Ｆｒａｍｅ＿１、３)とをそれぞれ含むことを特徴とする(図５参照)。

より好適な実施の形態では、前記第１動画像符号化情報(１０３Ａ)には、前記第１動画像フレーム(１００Ａ)の動画像情報が含まれ、前記第２動画像フレーム(１００Ｂ)の動画像情報が含まれず、前記第２動画像符号化情報(１０３Ｂ)には、前記第１動画像フレーム(１００Ａ)の動画像情報が含まれず、前記第２動画像フレーム(１００Ｂ)の動画像情報が含まれたことを特徴とするものである(図３、図５参照)。

具体的な実施の形態では、前記第１動画像符号化情報(１０３Ａ)には、前記第１動画像フレーム(１００Ａ)の前記動画像情報としてＩフレームとＰフレームとＢフレームとを有する第１のグループオブピクチャー(１１Ａ)が含まれ、前記第２動画像符号化情報(１０３Ｂ)には、前記第２動画像フレーム(１００Ｂ)の前記動画像情報としてＩフレームとＰフレームとＢフレームとを有する第２のグループオブピクチャー(１１Ｂ)が含まれたことを特徴とするものである。

〔２〕本発明の第２の観点の代表的な実施の形態は、入力ステップと、分離ステップと、動画像復号ステップと、合成ステップと、出力ステップとを含む動画像復号方法である。

前記入力ステップによって、前記本発明の第１の観点による実施の形態で規定された前記多重化ストリーム(１０５)が入力されるものである。

前記分離ステップによって、前記入力ステップによって入力される前記多重化ストリーム(１０５)を分離することによって前記本発明の第１の観点による実施の形態で規定された前記第１動画像符号化情報(ＴＳ＿Ａ)と前記第２動画像符号化情報(ＴＳ＿Ｂ)とが分離されるものである。

前記動画像復号ステップによって、前記分離ステップによって分離された前記第１動画像符号化情報と前記第２動画像符号化情報とを、第１動画像復号処理(２０２Ａ)と第２動画像復号処理(２０２Ｂ)とによって、前記本発明の第１の観点による実施の形態で規定された前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)とにそれぞれ復号するものである。

前記合成ステップによって、前記動画像復号ステップによって復号された前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)とを合成することによって、前記本発明の第１の観点による実施の形態で規定された前記所定の解像度を有する前記原動画像フレーム(１００)を再生するものである。

前記出力ステップは、前記合成ステップによって再生された前記動画像フレームを動画像復号出力信号として出力することを特徴とする(図４、図６参照)。

好適な実施の形態では、前記動画像復号ステップの前記第１動画像復号処理(２０２Ａ)にてエラーが発生した場合には第１動画像復号エラー信号(ＥｒｒｏｒＡ)が生成されて、前記動画像復号ステップの前記第２動画像復号処理(２０２Ｂ)にてエラーが発生した場合には第２動画像復号エラー信号(ＥｒｒｏｒＢ)が生成されるものである。

前記合成ステップでは、前記第１動画像復号エラー信号に応答して前記動画像復号ステップによって復号された前記第１動画像フレーム(１００Ａ)は不使用とされ、前記第２動画像復号エラー信号に応答して前記動画像復号ステップによって復号された前記第２動画像フレーム(１００Ｂ)は不使用とされることを特徴とする(図４参照)。

他の好適な実施の形態による動画像復号方法は、補間ステップを更に含むものである。

前記補間ステップでは、前記合成ステップで不使用とされるフレームの代用として、前記合成ステップで使用されるフレームの補間処理によって補間フレームが生成される。

前記合成ステップでは、前記使用されるフレームと前記補間フレームとを合成することを特徴とする(図４参照)。

より好適な実施の形態では、前記合成ステップで再生される前記所定の解像度を有する前記原動画像フレーム(１００)は、所定数の水平方向走査線を含み、前記動画像復号ステップによって復号される前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)とは前記所定数の水平方向走査線よりも数が少ない第１水平方向走査線と第２水平方向走査線とをそれぞれ含むことを特徴とする(図３参照)。

具体的な実施の形態では、前記合成ステップで再生される前記所定の解像度を有する前記原動画像フレームは、所定数のフレームレートの複数の動画像フレーム(Ｆｒａｍｅ＿０…３)を含み、前記動画像復号ステップによって復号される前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)は前記所定数の前記フレームレートよりも数が少ない低フレームレートの第１の複数の動画像フレーム(Ｆｒａｍｅ＿０、２)と第２の複数の動画像フレーム(Ｆｒａｍｅ＿１、３)とをそれぞれ含むことを特徴とする(図５参照)。

〔３〕本発明の第３の観点による実施の形態は、分離器としての機能と、動画像符号化器としての機能と、多重化器としての機能と、出力器としての機能とを具備する動画像符号化装置である。

前記分離器としての機能は、所定の解像度を有する原動画像フレーム(１００)を前記所定の解像度よりも小さな低解像度を有する第１動画像フレーム(１００Ａ)と第２動画像フレーム(１００Ｂ)とに分離するものである。

前記動画像符号化器としての機能は、前記分離器としての機能によって分離された前記第１動画像フレームと前記第２動画像フレームとを第１動画像符号化処理(１０２Ａ)と第２動画像符号化処理(１０２Ｂ)によって第１動画像符号化情報(１０３Ａ)と第２動画像符号化情報(１０３Ｂ)にそれぞれ符号化するものである。

前記多重化器としての機能は、前記第１動画像符号化情報を含む第１パケットデータ(１０５＿０、１０５＿２)と前記第２動画像符号化情報を含む第２パケットデータ(１０５＿１、１０５＿３)とを含む多重化ストリーム(１０５)を形成するものである。

前記出力器としての機能は、前記多重化器としての機能によって形成された前記多重化ストリームを動画像符号化出力信号として出力することを特徴とする(図３、図５参照)。

〔４〕本発明の第４の観点の代表的な実施の形態は、入力器としての機能と、分離器としての機能と、動画像復号器としての機能と、合成器としての機能と、出力器としての機能とを含む動画像復号装置である。

前記入力器としての機能によって、前記本発明の第３の観点による実施の形態で規定された前記多重化ストリーム(１０５)が入力されるものである。

前記分離器としての機能によって、前記入力器としての機能によって入力される前記多重化ストリーム(１０５)を分離することによって前記本発明の第３の観点による実施の形態で規定された前記第１動画像符号化情報(ＴＳ＿Ａ)と前記第２動画像符号化情報(ＴＳ＿Ｂ)とが分離されるものである。

前記動画像復号器としての機能によって、前記分離器としての機能によって分離された前記第１動画像符号化情報と前記第２動画像符号化情報とを、第１動画像復号処理(２０２Ａ)と第２動画像復号処理(２０２Ｂ)とによって、前記本発明の第３の観点による実施の形態で規定された前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)とにそれぞれ復号するものである。

前記合成器としての機能によって、前記動画像復号器としての機能によって復号された前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)とを合成することによって、前記本発明の第３の観点による実施の形態で規定された前記所定の解像度を有する前記原動画像フレーム(１００)を再生するものである。

前記出力器としての機能は、前記合成器としての機能によって再生された前記動画像フレームを動画像復号出力信号として出力することを特徴とする(図４、図６参照)。

好適な実施の形態では、前記動画像復号器としての機能の前記第１動画像復号処理(２０２Ａ)にてエラーが発生した場合には第１動画像復号エラー信号(ＥｒｒｏｒＡ)が生成されて、前記動画像復号器としての機能の前記第２動画像復号処理(２０２Ｂ)にてエラーが発生した場合には第２動画像復号エラー信号(ＥｒｒｏｒＢ)が生成されるものである。

前記合成器としての機能では、前記第１動画像復号エラー信号に応答して前記動画像復号器としての機能によって復号された前記第１動画像フレーム(１００Ａ)は不使用とされ、前記第２動画像復号エラー信号に応答して前記動画像復号器としての機能によって復号された前記第２動画像フレーム(１００Ｂ)は不使用とされることを特徴とする(図４参照)。

他の好適な実施の形態による動画像復号装置は、補間器としての機能を更に具備するものである。

前記補間器としての機能では、前記合成器としての機能で不使用とされるフレームの代用として、前記合成器としての機能で使用されるフレームの補間処理によって補間フレームが生成される。

前記合成器としての機能では、前記使用されるフレームと前記補間フレームとを合成することを特徴とする(図４参照)。

より好適な実施の形態では、前記合成器としての機能で再生される前記所定の解像度を有する前記原動画像フレーム(１００)は、所定数の水平方向走査線を含み、前記動画像復号器としての機能によって復号される前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)とは前記所定数の水平方向走査線よりも数が少ない第１水平方向走査線と第２水平方向走査線とをそれぞれ含むことを特徴とする(図３参照)。

具体的な実施の形態では、前記合成器としての機能で再生される前記所定の解像度を有する前記原動画像フレームは、所定数のフレームレートの複数の動画像フレーム(Ｆｒａｍｅ＿０…３)を含み、前記動画像復号器としての機能によって復号される前記第１動画像フレーム(１００Ａ)と前記第２動画像フレーム(１００Ｂ)は前記所定数の前記フレームレートよりも数が少ない低フレームレートの第１の複数の動画像フレーム(Ｆｒａｍｅ＿０、２)と第２の複数の動画像フレーム(Ｆｒａｍｅ＿１、３)とをそれぞれ含むことを特徴とする(図５参照)。

２．実施の形態の詳細
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。

［実施の形態１］
《実施の形態１による動画像符号化方法および動画像符号化装置の構成》
図３は、本発明の実施の形態１による動画像符号化方法および動画像符号化装置の構成を示す図である。

図３に示すように、例えばＩＳＤＢ−Ｔｍｍの次世代ワンセグ放送のテレビカメラによって撮影された１枚の画像フレームは、シンクロナスＤＲＡＭ等によって構成されたフレームメモリ１００中に格納される。従って、フレームメモリ１００に格納された１枚の画像フレームは、水平方向走査線の奇数走査線のライン０、ライン２、ライン４、ライン６…の画像データと偶数走査線のライン１、ライン３、ライン５、ライン７…の画像データとを含んでいる。実際には、テレビカメラによって撮影される動画像は時間的に連続した複数の動画像フレームによって構成され、連続した複数の動画像フレームはフレームメモリ１００に順次に格納される。

水平方向走査線の奇数走査線のライン０、ライン２、ライン４、ライン６…の画像データと偶数走査線のライン１、ライン３、ライン５、ライン７…の画像データとを含む１枚の画像フレームは、一例では、インターレース走査方式による奇数走査線のライン０、ライン２、ライン４、ライン６…の画像データを含んだトップフィールドと偶数走査線のライン１、ライン３、ライン５、ライン７…の画像データを含んだボトムフィールドとである。また、他の例では、この１枚の画像フレームは、プログレッシブ走査方式による奇数走査線のライン０、ライン２、ライン４、ライン６…の画像データと、偶数走査線のライン１、ライン３、ライン５、ライン７…の画像データを含むものである。このように、図３に示す本発明の実施の形態１では、フレームメモリ１００に格納された１枚の画像フレームは、インターレース走査方式とプログレッシブ走査方式とのいずれであっても良い。フレームメモリ１００中に格納された１枚の画像フレームの連続した複数のライン０、ライン１、ライン２、ライン３、ライン４、ライン５、ライン６、ライン７…の画像データが順次に読み出されて、読み出された複数の画像データは動画像符号化装置１５０に供給される。実際には、動画像を構成する複数の動画像フレームの各動画像フレームに関して、連続した複数のライン０、ライン１、ライン２、ライン３、ライン４、ライン５、ライン６、ライン７…の画像データが順次に読み出され、読み出された複数の画像データは動画像符号化装置１５０に供給される。

図３に示した動画像符号化装置１５０は、画像データ分離器１０１と、第１バッファメモリ１００Ａと、第２バッファメモリ１００Ｂと、第１動画像符号化器１０２Ａと、第２動画像符号化器１０２Ｂと、トランスポートストリーム多重化器１０４を含んでいる。尚、第１バッファメモリ１００Ａと第２バッファメモリ１００Ｂは、フレームメモリ１００と同様にシンクロナスＤＲＡＭ等によって構成されることが可能である。

フレームメモリ１００に格納された１枚の画像フレームから順次に読み出された連続した複数のライン０、ライン１、ライン２、ライン３、ライン４、ライン５、ライン６、ライン７…の画像データが画像データ分離器１０１の入力端子に順次に供給されることによって、画像データ分離器１０１の第１出力端子と第２出力端子とから奇数走査線のライン０、ライン２、ライン４、ライン６…の画像データと偶数走査線のライン１、ライン３、ライン５、ライン７…の画像データとがそれぞれ順次に生成される。実際には、画像データ分離器１０１の入力端子に動画像を構成する複数の動画像フレームが順次に供給されることによって、画像データ分離器１０１の第１出力端子と第２出力端子とから動画像を構成する複数の動画像フレームの各動画像フレームの奇数走査線の複数のラインの画像データと偶数走査線の複数のラインの画像データがそれぞれ順次に生成される。

画像データ分離器１０１の第１出力端子から順次に生成される動画像を構成する複数の動画像フレームの奇数走査線のライン０、ライン２、ライン４、ライン６…の画像データは第１バッファメモリ１００Ａ中に順次に格納されて、画像データ分離器１０１の第２出力端子から順次に生成される動画像を構成する複数の動画像フレームの偶数走査線のライン１、ライン３、ライン５、ライン７…の画像データは第２バッファメモリ１００Ｂ中に順次に格納される。

第１動画像符号化器１０２Ａは第１バッファメモリ１００Ａから動画像を構成する複数の動画像フレームの各動画像フレームの奇数走査線のライン０、ライン２、ライン４、ライン６…の画像データを順次に読み出し第１動画像符号化処理１０３Ａを実行する一方、第２動画像符号化器１０２Ｂは第２バッファメモリ１００Ｂから動画像を構成する複数の動画像フレームの各動画像フレームの偶数走査線のライン１、ライン３、ライン５、ライン７…の画像データを順次に読み出し第２動画像符号化処理１０３Ｂを実行する。

第１動画像符号化器１０２Ａにより実行される第１動画像符号化処理１０３Ａは、フレームメモリ１００に格納された動画像を構成する複数の動画像フレームの各動画像フレームの奇数走査線のライン０、ライン２、ライン４、ライン６…の画像データのみから、第１シーケンス１０Ａ、第１グループオブピクチャ１１Ａ、第１ピクチャー１２Ａ、第１スライス１３Ａ、第１マクロブロック１４Ａ、第１ブロック１５Ａ、１６Ａ、１７Ａからなる第１系統の動画符号化階層構造を形成するものである。実際には、この第１系統の動画符号化階層構造は、第１動画像符号化器１０２Ａの出力端子から生成される第１トランスポートストリームＴＳ＿Ａによって表現される。また第２動画像符号化器１０２Ｂにより実行される第２動画像符号化処理１０３Ｂは、フレームメモリ１００に格納された動画像を構成する複数の動画像フレームの各動画像フレームの偶数走査線のライン１、ライン３、ライン５、ライン７…の画像データのみから、第２シーケンス１０Ｂ、第２グループオブピクチャ１１Ｂ、第２ピクチャー１２Ｂ、第２スライス１３Ｂ、第２マクロブロック１４Ｂ、第２ブロック１５Ｂ、１６Ｂ、１７Ｂからなる第２系統の動画符号化階層構造を形成するものである。実際には、この第２系統の動画符号化階層構造は、第２動画像符号化器１０２Ｂの出力端子から生成される第２トランスポートストリームＴＳ＿Ｂによって表現される。

また、第１動画像符号化器１０２Ａによって実行されるマクロブロック単位の動きベクトル検出も、フレームメモリ１００に格納された動画像を構成する複数の動画像フレームの各動画像フレームの奇数走査線のライン０、ライン２、ライン４、ライン６…の画像データのみに関して実行される。また同様に、第２動画像符号化器１０２Ｂによって実行されるマクロブロック単位の動きベクトル検出も、フレームメモリ１００に格納された動画像を構成する複数の動画像フレームの各動画像フレームの偶数走査線のライン１、ライン３、ライン５、ライン７…の画像データのみに関して実行される。

トランスポートストリーム多重化器１０４は第１動画像符号化器１０２Ａの出力端子から生成される第１トランスポートストリームＴＳ＿Ａと第２動画像符号化器１０２Ｂの出力端子から生成される第２トランスポートストリームＴＳ＿Ｂとを多重化することで、その出力端子から多重化トランスポートストリーム(ＴＳ＿Ｍｕｌｔｉ)１０５を生成する。多重化トランスポートストリーム(ＴＳ＿Ｍｕｌｔｉ)１０５には、１８８バイト長の複数のトランスポートストリームパケットが含まれている。このトランスポートストリームパケットは、４バイトのトランスポートストリームヘッダと、最大１８４バイトの動画像ペイロードデータとを含むものである。

従って、多重化トランスポートストリーム１０５に含まれる時間的に連続した複数のトランスポートストリームパケットには、第１系統の動画符号化階層構造の第１の動画符号化情報と第２系統の動画符号化階層構造の第２の動画符号化情報とが時分割方式で順次かつ交互に含まれている。尚、第１と第２の動画符号化情報の多重化方式としては、時分割多重、パケット多重等のいずれかの方式を採用することが可能である。すなわち、トランスポートストリーム多重化器１０４の出力端子から生成される多重化トランスポートストリーム１０５の奇数番目である１番目のトランスポートストリームパケット１０５＿０、３番目のトランスポートストリームパケット１０５＿２…中には第１系統の動画符号化階層構造の第１の動画符号化情報が含まれ、トランスポートストリーム多重化器１０４の出力端子から生成される多重化トランスポートストリーム１０５の偶数番目である２番目のトランスポートストリームパケット１０５＿１、４番目のトランスポートストリームパケット１０５＿３…中には第２系統の動画符号化階層構造の第２の動画符号化情報が含まれる。

図３に示すように、電波障害によるエラー１０６が図３のタイミングで発生したと想定すると、電波障害によるエラー１０６はトランスポートストリーム多重化器１０４の出力端子から２番目に生成されるトランスポートストリームパケット１０５＿１のみに悪影響を与えるものとなる。従って、図３に示した電波障害によるエラー１０６は、第２系統の動画符号化階層構造の第２の動画符号化情報にのみに悪影響を与えるが、第１系統の動画符号化階層構造の第１の動画符号化情報には悪影響を与えることはない。

《本発明の実施の形態１による動画像復号方法および動画像復号装置の構成》
図４は、本発明の実施の形態１による動画像復号方法および動画像復号装置の構成を示す図である。

図４に示すように動画像復号装置２５０の入力端子には、図３に示した動画像符号化装置１５０の多重化トランスポートストリーム１０５の出力端子から生成される多重化トランスポートストリーム１０５が供給される。この多重化トランスポートストリーム１０５には、奇数番目である１番目のトランスポートストリームパケット１０５＿０、３番目のトランスポートストリームパケット１０５＿２…と偶数番目である２番目のトランスポートストリームパケット１０５＿１、４番目のトランスポートストリームパケット１０５＿３…とが時分割方式で順次かつ交互に含まれている。尚、奇数番目と偶数番目のトランスポートストリームパケットの多重化方式には、時分割多重、パケット多重等のいずれかの方式を採用することが可能である。

実際には、ＩＳＤＢ−Ｔｍｍの次世代ワンセグ放送の放送局の図３に示す動画像符号化装置１５０の出力端子から生成される多重化トランスポートストリーム１０５はＲＦ送信信号中に含まれて、放送局からＲＦ送信信号が送信される。ＲＦ送信信号は携帯電話機端末に搭載されるワンセグ放送受信チューナーによって受信され、ワンセグ放送受信チューナーの出力端子から多重化トランスポートストリーム１０５が生成され、携帯電話機端末に搭載されるアプリケーションプロセッサに内蔵される図４に示す動画像復号装置２５０の入力端子に供給される。

図４に示した動画像復号装置２５０は、トランスポートストリーム分離器２０１と、第１動画像復号器２０２Ａと、第２動画像復号器２０２Ｂと、第１バッファメモリ２０３Ａと、第２バッファメモリ２０３Ｂと、動画像合成器２０５と、動画像補間器２０６とを含んでいる。尚、第１バッファメモリ２０３Ａと第２バッファメモリ２０３Ｂは、シンクロナスＤＲＡＭ等によって構成されることが可能である。

多重化トランスポートストリーム１０５の時間的に連続した複数のトランスポートストリームパケットに含まれた第１系統の動画符号化階層構造の第１の動画符号化情報と第２系統の動画符号化階層構造の第２の動画符号化情報とが順序にかつ交互にトランスポートストリーム分離器２０１の入力端子に供給されることによって、トランスポートストリーム分離器２０１の第１出力端子と第２出力端子から第１トランスポートストリームＴＳ＿Ａと第２トランスポートストリームＴＳ＿Ｂとがそれぞれ生成される。従って、トランスポートストリーム分離器２０１の第１出力端子と第２出力端子からそれぞれ生成される第１トランスポートストリームＴＳ＿Ａと第２トランスポートストリームＴＳ＿Ｂとが第１動画像復号器２０２Ａの入力端子と第２動画像復号器２０２Ｂの入力端子とにそれぞれ供給されることによって、第１動画像復号器２０２Ａの出力端子と第２動画像復号器２０２Ｂの出力端子からフレームメモリ１００に格納された動画像を構成する複数の動画像フレームの各動画像フレームの奇数走査線の復号画像データと偶数走査線の復号画像データとが生成される。尚、トランスポートストリーム分離器２０１による多重化トランスポートストリーム１０５からの第１トランスポートストリームＴＳ＿Ａと第２トランスポートストリームＴＳ＿Ｂとの分離は、多重化トランスポートストリーム１０５の４バイトのトランスポートストリームヘッダに含まれる１３ビットのバケット識別子(ＰＩＤ)を利用することで可能となる。

また図４に示した動画像復号装置２５０では、第１動画像復号器２０２Ａにより実行される第１動画像復号処理２０４Ａは、第１トランスポートストリームＴＳ＿Ａに含まれる第１シーケンス１０Ａ、第１グループオブピクチャ１１Ａ、第１ピクチャー１２Ａ、第１スライス１３Ａ、第１マクロブロック１４Ａ、第１ブロック１５Ａ、１６Ａ、１７Ａからなる第１系統の動画符号化階層構造からフレームメモリ１００に格納されていた動画像を構成する複数の動画像復号フレームの各動画像復号フレームの奇数走査線のライン０、ライン２、ライン４、ライン６…の動画像復号データのみを形成するものである。また更に、第２動画像復号器２０２Ｂにより実行される第２動画像復号処理２０４Ｂは、第２トランスポートストリームＴＳ＿Ｂに含まれる第２シーケンス１０Ｂ、第２グループオブピクチャ１１Ｂ、第２ピクチャー１２Ｂ、第２スライス１３Ｂ、第２マクロブロック１４Ｂ、第２ブロック１５Ｂ、１６Ｂ、１７Ｂからなる第２系統の動画符号化階層構造からフレームメモリ１００に格納されていた動画像を構成する複数の動画像復号フレームの各動画像復号フレームの偶数走査線のライン１、ライン３、ライン５、ライン７…の動画像復号データのみを形成するものである。

また、第１動画像復号器２０２Ａによって実行されるマクロブロック単位の動き補償も、第１トランスポートストリームＴＳ＿Ａに含まれる第１シーケンス１０Ａ、第１グループオブピクチャ１１Ａ、第１ピクチャー１２Ａ、第１スライス１３Ａ、第１マクロブロック１４Ａ、第１ブロック１５Ａ、１６Ａ、１７Ａからなる第１系統の動画符号化階層構造のみに関して実行される。また、同様に、第２動画像復号器２０２Ｂにより実行されるマクロブロック単位の動き補償も、第２トランスポートストリームＴＳ＿Ｂに含まれる第２シーケンス１０Ｂ、第２グループオブピクチャ１１Ｂ、第２ピクチャー１２Ｂ、第２スライス１３Ｂ、第２マクロブロック１４Ｂ、第２ブロック１５Ｂ、１６Ｂ、１７Ｂからなる第２系統の動画符号化階層構造のみに関して実行される。

また図４に示した動画像復号装置２５０では、第１動画像復号器２０２Ａの出力端子から生成される複数の動画像復号フレームの各動画像復号フレームの奇数走査線の動画像復号データは動画像合成器２０５の第１入力端子と動画像補間器２０６の第１入力端子に供給される一方、第２動画像復号器２０２Ｂの出力端子から生成される複数の動画像復号フレームの各動画像復号フレームの偶数走査線の動画像復号データは動画像合成器２０５の第２入力端子と動画像補間器２０６の第２入力端子とに供給される。

一方、電波障害による動画像データへのエラー混入等によって第１動画像復号器２０２Ａで実行される第１動画像復号処理２０４Ａに復号エラーが発生した場合には、第１動画像復号エラー信号ＥｒｒｏｒＡが第１動画像復号器２０２Ａから生成され、動画像合成器２０５の第１制御入力端子と動画像補間器２０６の第１制御入力端子に供給される。また上述のエラー混入等によって第２動画像復号器２０２Ｂで実行される第２動画像復号処理２０４Ｂに復号エラーが発生した場合には、第２動画像復号エラー信号ＥｒｒｏｒＢが第２動画像復号器２０２Ｂから生成され、動画像合成器２０５の第２制御入力端子と動画像補間器２０６の第２制御入力端子に供給される。

まず、電波障害による動画像データへのエラー混入が全く発生しない場合には、第１動画像復号器２０２Ａと第２動画像復号器２０２Ｂから第１動画像復号エラー信号ＥｒｒｏｒＡと第２動画像復号エラー信号ＥｒｒｏｒＢが生成されない。この場合には、第１動画像復号器２０２Ａの出力端子から生成される複数の動画像復号フレームの各動画像復号フレームの奇数走査線の動画像復号データと第２動画像復号器２０２Ｂの出力端子から生成される複数の動画像復号フレームの各動画像復号フレームの偶数走査線の動画像復号データとを使用して、動画像合成器２０５はフレームメモリ１００に格納されていた動画像を再生するための複数の動画像復号フレームを生成する。

次に、電波障害によって動画像データに軽微のエラー混入が発生した場合には、例えば、第１動画像復号器２０２から第１動画像復号エラー信号ＥｒｒｏｒＡは生成されないが、第２動画像復号器２０２Ｂから第２動画像復号エラー信号ＥｒｒｏｒＢが生成されたとする。この場合には、動画像合成器２０５は第１動画像復号器２０２Ａの出力端子から生成される複数の動画像復号フレームの各動画像復号フレームの奇数走査線の動画像復号データは使用するが、第２動画像復号器２０２Ｂの出力端子から生成される複数の動画像復号フレームの各動画像復号フレームの偶数走査線の動画像復号データは不使用として、フレームメモリ１００に格納されていた動画像を再生するための複数の動画像復号フレームを生成する。

好ましい実施の形態では、この場合には、不使用とされた第２動画像復号器２０２Ｂの出力端子から生成される複数の動画像復号フレームの各動画像復号フレームの偶数走査線の動画像復号データの代用として、動画像補間器２０６の出力信号が動画像合成器２０５に供給される。すなわち、この場合に、動画像補間器２０６は、第１動画像復号器２０２Ａの出力端子から生成される複数の動画像復号フレームの各動画像復号フレームの奇数走査線の動画像復号データの補間処理により複数の動画像復号フレームの各動画像復号フレームの偶数走査線の代用動画像復号データを生成して動画像合成器２０５に供給するものである。

最後に、電波障害によって動画像データに深刻なエラー混入が発生した場合には、第１動画像復号器２０２Ａと第２動画像復号器２０２Ｂとから第１動画像復号エラー信号ＥｒｒｏｒＡと第２動画像復号エラー信号ＥｒｒｏｒＢが生成され、図４に示した動画像復号装置２５０はエラーコンシールメント処理を実行するものとなる。

尚、第１動画像復号器２０２Ａと第２動画像復号器２０２Ｂは、電波障害による動画像データへのエラー混入時に復号ビットストリームに発生するシンタックスエラーに基づいて、第１動画像復号エラー信号ＥｒｒｏｒＡと第２動画像復号エラー信号ＥｒｒｏｒＢとを生成すことが可能である。

《本発明の実施の形態１による動画像符号化方法と動画像復号方法による効果》
以上、図３と図４とを参照して説明した本発明の実施の形態１による動画像符号化方法と動画像復号方法とによれば、下記に説明する効果を得ることが可能である。

(１)．図３に示す本発明の実施の形態１の動画像符号化方法および動画像符号化装置によれば、フレームメモリ１００に格納される１枚の原動画像フレームから画像データ分離器１０１によって原動画像フレームの水平方向走査線の半分の奇数走査線の動画像フレームと偶数走査線の動画像フレームとが生成される。

原動画像フレームと比較すると解像度が半分となった奇数走査線の動画像フレームと偶数走査線の動画像フレームとは、第１動画像符号化器１０２Ａと第２動画像符号化器１０２Ｂによってそれぞれ独立した第１動画符号化情報と第２動画符号化情報とに符号化される。

動画像符号化装置１５０のトランスポートストリーム多重化器１０４は、第１動画符号化情報のトランスポートストリームパケット１０５＿０、１０５＿２と第２動画符号化情報のトランスポートストリームパケット１０５＿１、１０５＿３とを時分割方式で順次かつ交互に含む多重化トランスポートストリーム１０５を生成して、動画像復号装置２５０の入力端子に供給する。その結果、動画像符号化装置１５０のトランスポートストリーム多重化器１０４の出力端子から動画像復号装置２５０の入力端子に時分割方式で順次かつ交互に転送される第１動画符号化情報のトランスポートストリームパケットと第２動画符号化情報のトランスポートストリームパケットとに、電波障害によるエラーの悪影響が平行して出現する可能性は低い。

(２)．図４に示した本発明の実施の形態１の動画像復号方法および動画像復号装置によれば、第２動画像復号器２０２Ｂの出力に電波障害によるエラーの悪影響が出現する一方、第１動画像復号器２０２Ａの出力に電波障害によるエラーの悪影響が出現しない場合には、第２動画像復号器２０２Ｂの出力を不使用とする一方、第１動画像復号器２０２Ａの出力を使用して動画像再生のための複数の動画像の復号フレームを生成する。

その結果、解像度が半分となっても、動画像の再生が可能となる。特に、グループオブピクチャー(ＧＯＰ)において動画像の重大な乱れに影響するＩフレームを、解像度が半分に低下しても再生を可能としたものである。従って、グループオブピクチャー(ＧＯＰ)中に含まれるＰフレームやＢフレームへの画像の乱れの波及を軽減することが可能となる。

(３)．図４に示した本発明の実施の形態１の動画像復号方法および動画像復号装置によれば、第１動画像復号器２０２Ａの出力と第２動画像復号器２０２Ｂの出力とに電波障害によるエラーの悪影響が出現しない場合には、動画像合成器２０５は第１動画像復号器２０２Ａの出力と第２動画像復号器２０２Ｂの出力とを使用して、原動画像フレームと同一の高い解像度を有する動画像復号フレームを生成するものである。

［実施の形態２］
《実施の形態２による動画像符号化方法および動画像符号化装置の構成》
図５は、本発明の実施の形態２による動画像符号化方法および動画像符号化装置の構成を示す図である。

図５に示す本発明の実施の形態２による動画像符号化方法および動画像符号化装置が、図３に示す本発明の実施の形態１による動画像符号化方法および動画像符号化装置と相違するのは、下記の点である。

すなわち、図５に示す本発明の実施の形態２ではＩＳＤＢ−Ｔｍｍの次世代ワンセグ放送のテレビカメラによって撮影された連続した複数の動画像フレームＦｒａｍｅ＿０、１、２、３は、フレームメモリ１００に順次に格納される。

フレームメモリ１００から読み出された連続した複数の動画像フレームＦｒａｍｅ＿０、１、２、３が図５に示す動画像符号化装置１５０の画像データ分離器１０１の入力端子に順次に供給されることにより、画像データ分離器１０１の第１出力端子と第２出力端子とから奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２と偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３とがそれぞれ順次に生成される。画像データ分離器１０１の第１出力端子から順次に生成される奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２の画像データは第１バッファメモリ１００Ａ中に順次に格納され、画像データ分離器１０１の第２出力端子から順次に生成される偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３の画像データは第２バッファメモリ１００Ｂ中に順次に格納される。

第１動画像符号化器１０２Ａは第１バッファメモリ１００Ａから動画像を構成する奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…の画像データを順次に読み出して第１動画像符号化処理１０３Ａを実行する一方、第２動画像符号化器１０２Ｂは第２バッファメモリ１００Ｂから動画像を構成する偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の画像データを順次に読み出し第２動画像符号化処理１０３Ｂを実行する。

第１動画像符号化器１０２Ａにより実行される第１動画像符号化処理１０３Ａは、フレームメモリ１００に格納された動画像を構成する複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…の画像データのみから、第１シーケンス１０Ａ、第１グループオブピクチャ１１Ａ、第１ピクチャー１２Ａ、第１スライス１３Ａ、第１マクロブロック１４Ａ、第１ブロック１５Ａ、１６Ａ、１７Ａからなる第１系統の動画符号化階層構造を形成する。実際には、この第１系統の動画符号化階層構造は、第１動画像符号化器１０２Ａの出力端子から生成される第１トランスポートストリームＴＳ＿Ａによって表現される。また第２動画像符号化器１０２Ｂにより実行される第２動画像符号化処理１０３Ｂは、フレームメモリ１００に格納された動画像を構成する複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の画像データのみから、第２シーケンス１０Ｂ、第２グループオブピクチャ１１Ｂ、第２ピクチャー１２Ｂ、第２スライス１３Ｂ、第２マクロブロック１４Ｂ、第２ブロック１５Ｂ、１６Ｂ、１７Ｂからなる第２系統の動画符号化階層構造を形成するものである。実際には、この第２系統の動画符号化階層構造は、第２動画像符号化器１０２Ｂの出力端子から生成される第２トランスポートストリームＴＳ＿Ｂによって表現される。

また、第１動画像符号化器１０２Ａによって実行されるマクロブロック単位の動きベクトル検出も、フレームメモリ１００に格納された動画像を構成する複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…の画像データのみに関して実行される。また同様に、第２動画像符号化器１０２Ｂによって実行されるマクロブロック単位の動きベクトル検出も、フレームメモリ１００に格納された動画像を構成する複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の画像データのみに関して実行される。

トランスポートストリーム多重化器１０４は第１動画像符号化器１０２Ａの出力端子から生成される第１トランスポートストリームＴＳ＿Ａと第２動画像符号化器１０２Ｂの出力端子から生成される第２トランスポートストリームＴＳ＿Ｂを多重化することで、その出力端子から多重化トランスポートストリーム１０５を生成する。多重化トランスポートストリーム１０５には、１８８バイト長の複数のトランスポートストリームパケットが含まれている。このトランスポートストリームパケットは、４バイトのトランスポートストリームヘッダと、最大１８４バイトの動画像ペイロードデータとを含むものである。

図５に示すように、電波障害によるエラー１０６が図５のタイミングで発生したと想定すると、電波障害によるエラー１０６はトランスポートストリーム多重化器１０４の出力端子から２番目に生成されるトランスポートストリームパケット１０５＿１のみに悪影響を与えるものとなる。従って、図５に示した電波障害によるエラー１０６は、第２系統の動画符号化階層構造の第２の動画符号化情報にのみに悪影響を与えるが、第１系統の動画符号化階層構造の第１の動画符号化情報には悪影響を与えることはない。

《本発明の実施の形態２による動画像復号方法および動画像復号装置の構成》
図６は、本発明の実施の形態２による動画像復号方法および動画像復号装置の構成を示す図である。

図６に示すように動画像復号装置２５０の入力端子には、図５に示した動画像符号化装置１５０の多重化トランスポートストリーム１０５の出力端子から生成される多重化トランスポートストリーム１０５が供給される。この多重化トランスポートストリーム１０５には、奇数番目である１番目のトランスポートストリームパケット１０５＿０、３番目のトランスポートストリームパケット１０５＿２…と偶数番目である２番目のトランスポートストリームパケット１０５＿１、４番目のトランスポートストリームパケット１０５＿３…とが時分割方式で順次かつ交互に含まれている。

実際には、ＩＳＤＢ−Ｔｍｍの次世代ワンセグ放送の放送局の図５に示す動画像符号化装置１５０の出力端子から生成される多重化トランスポートストリーム１０５はＲＦ送信信号中に含まれて、放送局からＲＦ送信信号が送信される。ＲＦ送信信号は携帯電話機端末に搭載されるワンセグ放送受信チューナーによって受信され、ワンセグ放送受信チューナーの出力端子から多重化トランスポートストリーム１０５が生成され、携帯電話機端末に搭載されるアプリケーションプロセッサに内蔵される図６に示す動画像復号装置２５０の入力端子に供給される。

図６に示した動画像復号装置２５０は、トランスポートストリーム分離器２０１と、第１動画像復号器２０２Ａと、第２動画像復号器２０２Ｂと、第１バッファメモリ２０３Ａと、第２バッファメモリ２０３Ｂと、動画像合成器２０５と、動画像補間器２０６とを含んでいる。

多重化トランスポートストリーム１０５の時間的に連続した複数のトランスポートストリームパケットに含まれた第１系統の動画符号化階層構造の第１の動画符号化情報と第２系統の動画符号化階層構造の第２の動画符号化情報とが順序にかつ交互にトランスポートストリーム分離器２０１の入力端子に供給されることによって、トランスポートストリーム分離器２０１の第１出力端子と第２出力端子から第１トランスポートストリームＴＳ＿Ａと第２トランスポートストリームＴＳ＿Ｂとがそれぞれ生成される。従って、トランスポートストリーム分離器２０１の第１出力端子と第２出力端子からそれぞれ生成される第１トランスポートストリームＴＳ＿Ａと第２トランスポートストリームＴＳ＿Ｂとが第１動画像復号器２０２Ａの入力端子と第２動画像復号器２０２Ｂの入力端子とにそれぞれ供給されることによって、第１動画像復号器２０２Ａの出力端子と第２動画像復号器２０２Ｂの出力端子からフレームメモリ１００に格納された動画像を構成する複数の動画像を構成する複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…の復号画像データと複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の復号画像データが生成される。尚、トランスポートストリーム分離器２０１による多重化トランスポートストリーム１０５からの第１トランスポートストリームＴＳ＿Ａと第２トランスポートストリームＴＳ＿Ｂとの分離は、多重化トランスポートストリーム１０５の４バイトのトランスポートストリームヘッダに含まれる１３ビットのバケット識別子(ＰＩＤ)を利用することで可能となる。

また図６に示した動画像復号装置２５０では、第１動画像復号器２０２Ａにより実行される第１動画像復号処理２０４Ａは、第１トランスポートストリームＴＳ＿Ａに含まれる第１シーケンス１０Ａ、第１グループオブピクチャ１１Ａ、第１ピクチャー１２Ａ、第１スライス１３Ａ、第１マクロブロック１４Ａ、第１ブロック１５Ａ、１６Ａ、１７Ａからなる第１系統の動画符号化階層構造からフレームメモリ１００に格納されていた動画像を構成する複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…の動画像復号データのみを形成するものである。また更に第２動画像復号器２０２Ｂにより実行される第２動画像復号処理２０４Ｂは、第２トランスポートストリームＴＳ＿Ｂに含まれる第２シーケンス１０Ｂ、第２グループオブピクチャ１１Ｂ、第２ピクチャー１２Ｂ、第２スライス１３Ｂ、第２マクロブロック１４Ｂ、第２ブロック１５Ｂ、１６Ｂ、１７Ｂからなる第２系統の動画符号化階層構造からフレームメモリ１００に格納されていた動画像を構成する複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の動画像復号データのみを形成するものである。

また図６に示す動画像復号装置２５０では、第１動画像復号器２０２Ａの出力端子から生成される複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…の動画像復号データは動画像合成器２０５の第１入力端子と動画像補間器２０６の第１入力端子に供給される一方、第２動画像復号器２０２Ｂの出力端子から生成される複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の動画像復号データは動画像合成器２０５の第２入力端子と動画像補間器２０６の第２入力端子とに供給される。

まず、電波障害による動画像データへのエラー混入が全く発生しない場合には、第１動画像復号器２０２Ａと第２動画像復号器２０２Ｂから第１動画像復号エラー信号ＥｒｒｏｒＡと第２動画像復号エラー信号ＥｒｒｏｒＢが生成されない。この場合には、第１動画像復号器２０２Ａの出力端子から生成される複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…の動画像復号データと第２動画像復号器２０２Ｂの出力端子から生成される複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の動画像復号データとを使用して、動画像合成器２０５はフレームメモリ１００に格納されていた動画像を再生するための複数の動画像復号フレームを生成する。

次に、電波障害によって動画像データに軽微のエラー混入が発生した場合には、例えば、第１動画像復号器２０２から第１動画像復号エラー信号ＥｒｒｏｒＡは生成されないが、第２動画像復号器２０２Ｂから第２動画像復号エラー信号ＥｒｒｏｒＢが生成されたとする。この場合には、動画像合成器２０５は第１動画像復号器２０２Ａの出力端子から生成される複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…の動画像復号データは使用するが、第２動画像復号器２０２Ｂの出力端子から生成される複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の動画像復号データは不使用として、フレームメモリ１００に格納されていた動画像を再生するための複数の動画像復号フレームを生成する。

好ましい実施の形態では、この場合には、不使用とされた第２動画像復号器２０２Ｂの出力端子から生成される複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の動画像復号データの代用として、動画像補間器２０６の出力信号が動画像合成器２０５に供給される。すなわち、この場合には、動画像補間器２０６は、第１動画像復号器２０２Ａの出力端子から生成される複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…の動画像復号データの補間処理により複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…の動画像復号データの代用動画像復号データを生成して動画像合成器２０５に供給するものである。

最後に、電波障害によって動画像データに深刻なエラー混入が発生した場合には、第１動画像復号器２０２Ａと第２動画像復号器２０２Ｂとから第１動画像復号エラー信号ＥｒｒｏｒＡと第２動画像復号エラー信号ＥｒｒｏｒＢが生成され、図６に示した動画像復号装置２５０はエラーコンシールメント処理を実行するものとなる。

《本発明の実施の形態２による動画像符号化方法と動画像復号方法による効果》
以上、図５と図６とを参照して説明した本発明の実施の形態２による動画像符号化方法と動画像復号方法とによれば、下記に説明する効果を得ることが可能である。

(１)．図５に示す本発明の実施の形態２の動画像符号化方法および動画像符号化装置によれば、フレームメモリ１００中に格納される２Ｘ枚の原動画像フレームから画像データ分離器１０１によって原動画像フレームの枚数の半分のＸ枚の複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…とＸ枚の複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…とが生成される。

２Ｘ枚の原動画像フレームと比較するとフレームレートの解像度が半分となった複数の奇数番目の動画像フレームＦｒａｍｅ＿０、Ｆｒａｍｅ＿２…と複数の偶数番目の動画像フレームＦｒａｍｅ＿１、Ｆｒａｍｅ＿３…とは、第１動画像符号化器１０２Ａと第２動画像符号化器１０２Ｂによってそれぞれ独立した第１動画符号化情報と第２動画符号化情報とに符号化される。

(２)．図６に示した本発明の実施の形態２の動画像復号方法および動画像復号装置によれば、第２動画像復号器２０２Ｂの出力に電波障害によるエラーの悪影響が出現する一方、第１動画像復号器２０２Ａの出力に電波障害によるエラーの悪影響が出現しない場合には、第２動画像復号器２０２Ｂの出力を不使用とする一方、第１動画像復号器２０２Ａの出力を使用して動画像再生のための複数の動画像の復号フレームを生成する。

(３)．図６に示した本発明の実施の形態２の動画像復号方法および動画像復号装置によれば、第１動画像復号器２０２Ａの出力と第２動画像復号器２０２Ｂの出力とに電波障害によるエラーの悪影響が出現しない場合には、動画像合成器２０５は第１動画像復号器２０２Ａの出力と第２動画像復号器２０２Ｂの出力とを使用して、原動画像フレームと同一の高いフレームレートの解像度を有する動画像復号フレームを生成するものである。

［実施の形態３］
《実施の形態３による動画像符号化方法および動画像符号化装置の構成》
図７は、本発明の実施の形態３による動画像符号化装置および動画像復号装置の構成を示す図である。

上述した図３に示した本発明の実施の形態１による動画像符号化装置１５０と図５に示した本発明の実施の形態２による動画像符号化装置１５０の各動画像符号化装置は、画像データ分離器１０１、第１バッファメモリ１００Ａ、第２バッファメモリ１００Ｂ、第１動画像符号化器１０２Ａ、第２動画像符号化器１０２Ｂ、トランスポートストリーム多重化器１０４の共通の動画像符号化ハードウェアリソースを含んでいた。

また、上述した図４に示した本発明の実施の形態１による動画像復号装置２５０と図６に示した本発明の実施の形態２による動画像復号装置２５０の各動画像復号装置は、トランスポートストリーム分離器２０１、第１動画像復号器２０２Ａ、第２動画像復号器２０２Ｂ、第１バッファメモリ２０３Ａ、第２バッファメモリ２０３Ｂ、動画像合成器２０５、動画像補間器２０６の共通の動画像復号ハードウェアリソースを含んでいた。

従って、図７に示した本発明の実施の形態３による動画像符号化装置１５０は、画像データ分離器１０１、第１バッファメモリ１００Ａ、第２バッファメモリ１００Ｂ、第１動画像符号化器１０２Ａ、第２動画像符号化器１０２Ｂ、トランスポートストリーム多重化器１０４の共通の動画像符号化ハードウェアリソースを含むものである。しかし、この共通の動画像符号化ハードウェアリソースを含む動画像符号化装置１５０は、外部から供給される動作指示信号によって第１動作モードと第２動作モードとのいずれの動作モードに任意に設定されることが可能とされている。すなわち、第１動作モードに設定された図７の本発明の実施の形態３による動画像符号化装置１５０は図３の本発明の実施の形態１による動画像符号化装置１５０と全く同様に動作する一方、第２動作モードに設定された図７の本発明の実施の形態３による動画像符号化装置１５０は図５の本発明の実施の形態２による動画像符号化装置１５０と全く同様に動作する。

また、図７に示した本発明の実施の形態３による動画像復号装置２５０は、トランスポートストリーム分離器２０１、第１動画像復号器２０２Ａ、第２動画像復号器２０２Ｂ、第１バッファメモリ２０３Ａ、第２バッファメモリ２０３Ｂ、動画像合成器２０５、動画像補間器２０６の共通の動画像復号ハードウェアリソースを含むものである。しかし、この共通の動画像復号ハードウェアリソースを含む動画像復号装置２５０は、外部から供給される動作指示信号によって第１動作モードと第２動作モードとのいずれの動作モードに任意に設定されることが可能とされている。すなわち、第１動作モードに設定された図７の本発明の実施の形態３による動画像復号装置２５０は図４の本発明の実施の形態１による動画像復号装置２５０と全く同様に動作する一方、第２動作モードに設定された図７の本発明の実施の形態３による動画像復号装置２５０は図６の本発明の実施の形態２による動画像復号装置２５０と全く同様に動作する。

ＩＳＤＢ−Ｔｍｍの次世代ワンセグ放送の放送局は、各放送局の独自のポリシーや各放送局の電波環境に従って、放送局の動画像符号化装置１５０から生成される多重化トランスポートストリーム１０５のフォーマットを第１動作モードと第２動作モードとのいずれかの動作モードに任意に設定することが可能となる。すなわち、放送局は、遅くとも放送番組の放送開始前に、決定された動作モードの情報を含む動作指示信号を図７に示した本発明の実施の形態３による動画像符号化装置１５０に供給する。

放送局から送信されたＲＦ送信信号は携帯電話機端末に搭載されるワンセグ放送受信チューナーによって受信されて、ワンセグ放送受信チューナーの出力端子から動作指示信号を含む放送番組情報が図７に示した本発明の実施の形態３による動画像復号装置２５０に供給される。従って、図７に示す本発明の実施の形態３による動画像復号装置２５０は、放送番組情報に含まれた動作指示信号に従って、第１動作モードと第２動作モードとのいずれの動作モードに任意に設定されるものである。この時に、図７に示した本発明の実施の形態３による動画像符号化装置１５０と動画像復号装置２５０とで動作指示信号は共通であるので、動画像符号化装置１５０と動画像復号装置２５０とは共通の動作モードに設定されるものである。

以上、本発明者によってなされた発明を種々の実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、図３に示した本発明の実施の形態１による動画像符号化装置１５０において、第１動画像符号化器１０２Ａと第２動画像符号化器１０２Ｂとが、それぞれ別々のハードウェアリソースによって構成される以外に、単一のハードウェアリソースにより構成されることが可能である。すなわち、第１動画像符号化器１０２Ａの機能と第２動画像符号化器１０２Ｂの機能とは、単一のハードウェアリソースの機能を時分割で切り換えることで実現されることが可能である。

更に、図４に示した本発明の実施の形態１による動画像復号装置２５０において、第１動画像復号器２０２Ａと第２動画像復号器２０２Ｂとが、それぞれ別々のハードウェアリソースによって構成される以外に、単一のハードウェアリソースにより構成されることが可能である。すなわち、第１動画像復号器２０２Ａの機能と第２動画像復号器２０２Ｂの機能とは、単一のハードウェアリソースの機能を時分割で切り換えることで実現されることが可能である。

また更に、図３に示した本発明の実施の形態１による動画像符号化装置１５０において、第１動画像符号化器１０２Ａと第２動画像符号化器１０２Ｂがハードウェアリソースによって構成される以外に、中央処理ユニット(ＣＰＵ)等のハードウェアで実行されるソフトウェア処理によって実現されることも可能である。

また更に、図４に示した本発明の実施の形態１による動画像復号装置２５０において、第１動画像復号器２０２Ａと第２動画像復号器２０２Ｂがハードウェアリソースによって構成される以外にも、中央処理ユニット(ＣＰＵ)等のハードウェアで実行されるソフトウェア処理によって実現されることも可能である。

１００…フレームメモリ
１５０…動画像符号化装置
１０１…画像データ分離器
１００Ａ…第１バッファメモリ
１００Ｂ…第２バッファメモリ
１０２Ａ…第１動画像符号化器
１０２Ｂ…第２動画像符号化器
１０４…トランスポートストリーム多重化器
ＴＳ＿Ａ…第１トランスポートストリーム
ＴＳ＿Ｂ…第２トランスポートストリーム
１０５…多重化トランスポートストリーム
１０５＿０、１０５＿２…奇数番目のトランスポートストリームバケット
１０５＿１、１０５＿３…偶数番目のトランスポートストリームバケット
１０６…電波障害によるエラー
１０３Ａ…第１動画像符号化処理
１０３Ｂ…第２動画像符号化処理
１０Ａ、１０Ｂ…第と第２の１シーケンス
１１Ａ、１１Ｂ…第１と第２のグループオブピクチャ
１２Ａ、１２Ｂ…第１と第２のピクチャー
１３Ａ、１３Ｂ…第１と第２のスライス
１４Ａ、１４Ｂ…第１と第２のマクロブロック
１５Ａ、１６Ａ、１７Ａ…第１ブロック
１５Ｂ、１６Ｂ、１７Ｂ…第２ブロック
２５０…動画像復号装置
２０１…トランスポートストリーム分離器
２０２Ａ…第１動画像復号器
２０２Ｂ…第２動画像復号器
２０３Ａ…第１バッファメモリ
２０３Ｂ…第２バッファメモリ
２０５…動画像合成器
２０６…動画像補間器
２０４Ａ…第１動画像復号処理
２０４Ｂ…第２動画像復号処理
ＥｒｒｏｒＡ…第１動画像復号エラー信号
ＥｒｒｏｒＢ…第２動画像復号エラー信号
Ｆｒａｍｅ＿０、１、２、３…複数の動画像フレーム

Claims

分離ステップと、動画像符号化ステップと、多重化ステップと、出力ステップとを含む動画像符号化方法であって、
前記分離ステップは、所定の解像度を有する原動画像フレームを前記所定の解像度よりも小さな低解像度を有する第１動画像フレームと第２動画像フレームとに分離するものであり、
前記動画像符号化ステップは、前記分離ステップによって分離された前記第１動画像フレームと前記第２動画像フレームとを第１動画像符号化処理と第２動画像符号化処理とによって第１動画像符号化情報と第２動画像符号化情報にそれぞれ符号化するものであり、
前記多重化ステップは、前記第１動画像符号化情報を含む第１パケットデータと前記第２動画像符号化情報を含む第２パケットデータとを含む多重化ストリームを形成するものであり、
前記出力ステップは、前記多重化ステップによって形成された前記多重化ストリームを動画像符号化出力信号として出力することを特徴とする動画像符号化方法。
請求項１において、
前記所定の解像度を有する前記原動画像フレームは、所定数の水平方向走査線を含み、前記低解像度を有する前記第１動画像フレームと前記第２動画像フレームとは前記所定数の水平方向走査線よりも数が少ない第１水平方向走査線と第２水平方向走査線とをそれぞれ含むことを特徴とする動画像符号化方法。
請求項１において、
前記所定の解像度を有する前記原動画像フレームは、所定数のフレームレートの複数の原動画像フレームを含み、前記低解像度を有する前記第１動画像フレームと前記第２動画像フレームは前記所定数の前記フレームレートよりも数が少ない低フレームレートの第１の複数の動画像フレームと第２の複数の動画像フレームとをそれぞれ含むことを特徴とする動画像符号化方法。
請求項１において、
前記第１動画像符号化情報には、前記第１動画像フレームの動画像情報が含まれ、前記第２動画像フレームの動画像情報が含まれず、前記第２動画像符号化情報には、前記第１動画像フレームの動画像情報が含まれず、前記第２動画像フレームの動画像情報が含まれたことを特徴とする動画像符号化方法。
請求項４において、
前記第１動画像符号化情報には、前記第１動画像フレームの前記動画像情報としてＩフレームとＰフレームとＢフレームとを有する第１のグループオブピクチャーが含まれ、前記第２動画像符号化情報には、前記第２動画像フレームの前記動画像情報としてＩフレームとＰフレームとＢフレームとを有する第２のグループオブピクチャーが含まれたことを特徴とする動画像符号化方法。
入力ステップと、分離ステップと、動画像復号ステップと、合成ステップと、出力ステップとを含む動画像復号方法であって、
前記入力ステップによって、請求項１で規定された前記多重化ストリームが入力されるものであり、
前記分離ステップによって、前記入力ステップによって入力される前記多重化ストリームを分離することによって請求項１で規定された前記第１動画像符号化情報と前記第２動画像符号化情報とが分離されるものであり、
前記動画像復号ステップによって、前記分離ステップによって分離された前記第１動画像符号化情報と前記第２動画像符号化情報とを、第１動画像復号処理と第２動画像復号処理とによって、請求項１で規定された前記第１動画像フレームと前記第２動画像フレームとにそれぞれ復号するものであり、
前記合成ステップによって、前記動画像復号ステップによって復号された前記第１動画像フレームと前記第２動画像フレームとを合成することによって、請求項１で規定された前記所定の解像度を有する前記原動画像フレームを再生するものであり、
前記出力ステップは、前記合成ステップによって再生された前記動画像フレームを動画像復号出力信号として出力することを特徴とする動画像復号方法。
請求項６において、
前記動画像復号ステップの前記第１動画像復号処理にてエラーが発生した場合には第１動画像復号エラー信号が生成されて、前記動画像復号ステップの前記第２動画像復号処理にてエラーが発生した場合には第２動画像復号エラー信号が生成されるものであり、
前記合成ステップでは、前記第１動画像復号エラー信号に応答して前記動画像復号ステップによって復号された前記第１動画像フレームは不使用とされ、前記第２動画像復号エラー信号に応答して前記動画像復号ステップによって復号された前記第２動画像フレームは不使用とされることを特徴とする動画像復号方法。
請求項７において、
補間ステップを更に含むものであり、
前記補間ステップでは、前記合成ステップで不使用とされるフレームの代用として、前記合成ステップで使用されるフレームの補間処理によって補間フレームが生成され、
前記合成ステップでは、前記使用されるフレームと前記補間フレームとを合成することを特徴とする動画像復号方法。
請求項８において、
前記合成ステップで再生される前記所定の解像度を有する前記原動画像フレームは、所定数の水平方向走査線を含み、前記動画像復号ステップによって復号される前記第１動画像フレームと前記第２動画像フレームとは前記所定数の水平方向走査線よりも数が少ない第１水平方向走査線と第２水平方向走査線とをそれぞれ含むことを特徴とする動画像復号方法。
請求項８において、
前記合成ステップで再生される前記所定の解像度を有する前記原動画像フレームは、所定数のフレームレートの複数の動画像フレームを含み、前記動画像復号ステップによって復号される前記第１動画像フレームと前記第２動画像フレームは前記所定数の前記フレームレートよりも数が少ない低フレームレートの第１の複数の動画像フレームと第２の複数の動画像フレームとをそれぞれ含むことを特徴とする動画像復号方法。
分離器としての機能と、動画像符号化器としての機能と、多重化器としての機能と、出力器としての機能とを具備する動画像符号化装置であって、
前記分離器としての機能は、所定の解像度を有する原動画像フレームを前記所定の解像度よりも小さな低解像度を有する第１動画像フレームと第２動画像フレームとに分離するものであり、
前記動画像符号化器としての機能は、前記分離器としての機能によって分離された前記第１動画像フレームと前記第２動画像フレームとを第１動画像符号化処理と第２動画像符号化処理とによって第１動画像符号化情報と第２動画像符号化情報にそれぞれ符号化するものであり、
前記多重化器としての機能は、前記第１動画像符号化情報を含む第１パケットデータと前記第２動画像符号化情報を含む第２パケットデータとを含む多重化ストリームを形成するものであり、
前記出力器としての機能は、前記多重化器としての機能によって形成された前記多重化ストリームを動画像符号化出力信号として出力することを特徴とする動画像符号化装置。
請求項１１において、
前記所定の解像度を有する前記原動画像フレームは、所定数の水平方向走査線を含み、前記低解像度を有する前記第１動画像フレームと前記第２動画像フレームとは前記所定数の水平方向走査線よりも数が少ない第１水平方向走査線と第２水平方向走査線とをそれぞれ含むことを特徴とする動画像符号化装置。
請求項１１において、
前記所定の解像度を有する前記原動画像フレームは、所定数のフレームレートの複数の原動画像フレームを含み、前記低解像度を有する前記第１動画像フレームと前記第２動画像フレームは前記所定数の前記フレームレートよりも数が少ない低フレームレートの第１の複数の動画像フレームと第２の複数の動画像フレームとをそれぞれ含むことを特徴とする動画像符号化装置。
請求項１１において、
前記第１動画像符号化情報には、前記第１動画像フレームの動画像情報が含まれ、前記第２動画像フレームの動画像情報が含まれず、前記第２動画像符号化情報には、前記第１動画像フレームの動画像情報が含まれず、前記第２動画像フレームの動画像情報が含まれたことを特徴とする動画像符号化装置。
請求項１４において、
前記第１動画像符号化情報には、前記第１動画像フレームの前記動画像情報としてＩフレームとＰフレームとＢフレームとを有する第１のグループオブピクチャーが含まれ、前記第２動画像符号化情報には、前記第２動画像フレーム)の前記動画像情報としてＩフレームとＰフレームとＢフレームとを有する第２のグループオブピクチャーが含まれたことを特徴とする画像符号化装置。
入力器としての機能と、分離器としての機能と、動画像復号器としての機能と、合成器としての機能と、出力器としての機能とを含む動画像復号装置であって、
前記入力器としての機能によって、請求項１１で規定された前記多重化ストリームが入力されるものであり、
前記分離器としての機能によって、前記入力器としての機能によって入力される前記多重化ストリームを分離することによって請求項１１で規定された前記第１動画像符号化情報と前記第２動画像符号化情報とが分離されるものであり、
前記動画像復号器としての機能によって、前記分離器としての機能によって分離された前記第１動画像符号化情報と前記第２動画像符号化情報とを、第１動画像復号処理と第２動画像復号処理とによって、請求項１１で規定された前記第１動画像フレームと前記第２動画像フレームとにそれぞれ復号するものであり、
前記合成器としての機能によって、前記動画像復号器としての機能によって復号された前記第１動画像フレームと前記第２動画像フレームとを合成することによって、請求項１１で規定された前記所定の解像度を有する前記原動画像フレームを再生するものであり、
前記出力器としての機能は、前記合成器としての機能によって再生された前記動画像フレームを動画像復号出力信号として出力することを特徴とする動画像復号装置。
請求項１６において、
前記動画像復号器としての機能の前記第１動画像復号処理にてエラーが発生した場合には第１動画像復号エラー信号が生成されて、前記動画像復号器としての機能の前記第２動画像復号処理にてエラーが発生した場合には第２動画像復号エラー信号が生成されるものであり、
前記合成器としての機能では、前記第１動画像復号エラー信号に応答して前記動画像復号器としての機能によって復号された前記第１動画像フレームは不使用とされ、前記第２動画像復号エラー信号に応答して前記動画像復号器としての機能によって復号された前記第２動画像フレームは不使用とされることを特徴とする動画像復号装置。
請求項１７において、
補間器としての機能を更に具備するものであり、
前記補間器としての機能では、前記合成器としての機能で不使用とされるフレームの代用として、前記合成器としての機能で使用されるフレームの補間処理によって補間フレームが生成され、
前記合成器としての機能では、前記使用されるフレームと前記補間フレームとを合成することを特徴とする動画像復号装置。
請求項１８において、
前記合成器としての機能で再生される前記所定の解像度を有する前記原動画像フレームは、所定数の水平方向走査線を含み、前記動画像復号器としての機能によって復号される前記第１動画像フレームと前記第２動画像フレームとは前記所定数の水平方向走査線よりも数が少ない第１水平方向走査線と第２水平方向走査線とをそれぞれ含むことを特徴とする動画像復号装置。
請求項１８において、
前記合成器としての機能で再生される前記所定の解像度を有する前記原動画像フレームは、所定数のフレームレートの複数の動画像フレームを含み、前記動画像復号器としての機能によって復号される前記第１動画像フレームと前記第２動画像フレームは前記所定数の前記フレームレートよりも数が少ない低フレームレートの第１の複数の動画像フレームと第２の複数の動画像フレームとをそれぞれ含むことを特徴とする動画像復号装置。