JP2010045705A - 符号化データ編集方法、編集装置、プログラム、及び媒体 - Google Patents

Abstract

【課題】映像に一部に画像処理を施し、編集結果の符号化データを作成する編集処理において、画像処理を施したピクチャ全体に対して再符号化処理をすれば、膨大な処理負荷と、画質の劣化が発生する。処理負荷を抑制し、かつ画質劣化を発生させないためには、可能な限り、動き予測やＤＣＴ変換等の高負荷処理を行わずに、編集前の符号化情報を流用する必要がある。
【解決手段】画像処理を施すことによって、符号化データに与える影響をマクロブロックレベルで検出し、影響を受けないマクロブロックの符号化データから得られる、画面内予測情報、動き予測情報、残差情報を編集結果の符号化データ作成に流用し、可変長符号化のみを実施することで、高速に符号化データを生成することを特徴とする、Ｈ．２６４符号化データ編集装置、プログラムおよび媒体。
【選択図】図６

Description

本発明は、ＰＣ上で動作するソフトウェアで、圧縮された画像を編集する技術に関する。

近年、パーソナルコンピュータ（以下ＰＣ）を用いて、映像の編集が盛んに行われており、ビデオカメラで撮影した映像をＰＣ上で確認し、編集、保存するという機能を持つアプリケーションが数多く存在する。

一方、映像分野ではハイビジョン化が進み、ＨＤ解像度のＭＰＥＧ−２コーデックを用いた高画質な映像がビデオカメラ等で作成できるようになった。高解像度で高画質な映像を実現するには、高ビットレートでのＭＰＥＧ−２エンコードが必要となる。そこで、新たな動画コーデックであるＨ．２６４（ＭＰＥＧ−４ ＡＶＣ）に対する期待が高まっている。Ｈ．２６４は従来のＭＰＥＧ−２やＭＰＥＧ−４と比較し、２倍から３倍の圧縮効率を実現することが出来ると言われている。

ＭＰＥＧ２規格やＨ．２６４規格の動画像データの圧縮の手法においては、動き検出と呼ばれる技術が用いられている。そして動き検出の逆処理に相当する動き補償処理と呼称される処理を行って画像を復号する。動き検出とは簡単に言うと、連続するフレーム間で写っている要素がどのように動いたかを検出して効率よく圧縮する方法である。ＭＰＥＧ２規格の動き検出においてはマクロブロック（例えば１６画素×１６画素のブロック）ごとに、そのマクロブロックが前後のフレームにおいて、どの方向へどの程度動いているかという動きベクトルを求める。そして動きベクトルと、それに対応するマクロブロックの各画素との差分データを求める。そして動き補償処理において画像を復元する際には、この動きベクトルと画素の差分データを合成して元の画像を再現する。差分データは本来の画素データと比較するとデータサイズがかなり小さくなるので、高圧縮が可能となっている。圧縮前に比して、データサイズを小さくできることから、データ転送の速度が、圧縮しない場合に比べて、かなり速くなるという効果を得られる。

Ｈ．２６４は圧縮率を向上させるための様々な手法が盛り込まれており、ＭＰＥＧ−２と比較して、エンコードやデコードに膨大な処理を必要とする。特に、Ｈ．２６４のエンコードには、膨大な処理が必要となる。Ｈ．２６４については、以下の非特許文献１に記載されている。

ビデオカメラで撮影した映像を編集するパターンとして、大きく以下の２つパターンが想定される。

・不要な箇所の削除
・映像編集を施して、新たな映像を作成する
映像編集を施して、新たな映像を作成する代表的な操作として、以下の２つのパターンが想定される。

・切り替え効果を適用して、２つの映像を繋ぎ合わせる
・映像の上にタイトルやテロップを挿入した映像を作成する
符号化された圧縮データに、映像編集を施して、元の符号化方式で圧縮された新たな映像を作成するには、一般的に、以下のステップを実行する必要がある。

（１） 元の映像を復号して、非圧縮の映像データを得る
（２） 得られた非圧縮の映像データに、画像処理を施す
（３） 画像処理を施した映像データを、元の符号化方式で符号化する
一般的に、映像の符号化には、多くの処理量が必要であるため、必要最小限の区間のみを符号化する、部分エンコード方式がとられる。部分エンコード方式は、画像処理を施す映像の区間、および、画像処理を施す区間の前後のランダムアクセス可能なピクチャ位置のみをエンコードし、その他の画像処理を施さない区間と結合することにより、符号化処理を施す区間を抑える方式である。

この部分エンコードする方式は、切り替え効果など、画像処理を施す区間が比較的短い場合には有効であるが、タイトルやテロップの挿入などの場合は、画像処理を施す区間が長くなる可能性があり、長時間に渡り、タイトルやテロップを挿入した場合には、符号化に要する区間が長くなり、部分エンコード方式は有効に機能しなくなる。

タイトルやテロップの挿入など、映像の一部分に別の映像を合成する方式に関しては、以下の特許技術文献２に示すように、合成映像を美しく作成する方式はあるが、符号化データを高速に作成するための方式ではない。

編集操作を行うユーザにとっては、より短い時間で、編集結果の符号化データを得たいという要望があることは、容易に想定できる。
ＩＴＵ−Ｔ（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓＵｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓｔａｎｄａｒｄｉｚａｔｉｏｎｓｅｃｔｏｒ）Ｈ．２６４規格書 特開平１１−３４１２６３号公報

本発明は、タイトル挿入など、元の映像に画像処理を加えて、新たな非圧縮映像を作成し、その非圧縮映像を符号化する技術に関する。

本発明は、長時間に渡りタイトルやテロップを挿入し、符号化に要する区間が長くなり、部分エンコード方式が有効に機能しなくなるため、編集結果の符号化データを得るまでに要する時間が膨大になる、という課題を解決する。

上記の課題を解決するために、本発明の符号化データ編集方法では、
画像処理を施す前の第１の符号化データを復号する復号ステップと、
復号ステップで得られた第１の非圧縮映像データと、第１の非圧縮映像データの一部に画像処理を施した第２の非圧縮映像データを比較し、差分を検出する検出ステップと、
検出ステップで得られる差分情報を用いて、復号ステップで得られる、第１の符号化データの第１のマクロブロック情報を、編集後の第２の符号化データに適用可能かを判定する第１の判定ステップと、
第１の判定ステップで適用可能と判定した場合に、第１のマクロブロック情報を可変長符号化し、第２の符号化データを生成する第１の符号化ステップと、
第１の判定ステップで適用不可能と判定した場合に、新規に該当マクロブロック位置の第２のマクロブロック情報を生成するマクロブロック情報生成ステップと、
マクロブロック情報生成ステップで生成した第２のマクロブロック情報を可変長符号化し、第２の符号化データを生成する第２の符号化ステップ
を有することを特徴とする。

また、上記の課題を解決するために、本発明の符号化データ編集装置では、
画像処理を施す前の第１の符号化データを復号する復号手段と、
復号手段で得られた第１の非圧縮映像データと、第１の非圧縮映像データの一部に画像処理を施した第２の非圧縮映像データを比較し、差分を検出する検出手段と、
検出手段で得られる差分情報を用いて、復号手段で得られる、第１の符号化データの第１のマクロブロック情報を、編集後の第２の符号化データに適用可能かを判定する第１の判定手段と、
第１の判定手段で適用可能と判定した場合に、第１のマクロブロック情報を可変長符号化し、第２の符号化データを生成する第１の符号化手段と、
第１の判定手段で適用不可能と判定した場合に、新規に該当マクロブロック位置の第２のマクロブロック情報を生成するマクロブロック情報生成手段と、
第１の判定手段で適用可能と判定した場合に第１のマクロブロック情報を、
マクロブロック情報生成手段で生成した第２のマクロブロック情報をそれぞれ可変長符号化し、第２の符号化データを生成する第２の符号化手段
を備えることを特徴とする。

映像の一部に画像処理を施した編集結果の符号化データを得る際に、符号化時に発生する動き予測、ＤＣＴ変換等の高負荷処理を可能な限り抑制しつつ、画質の劣化を最小限に抑えることができる。符号化時に発生する動き予測、ＤＣＴ変換等の高負荷処理を抑制することで、映像編集にかける時間を短縮することができる。

（実施の形態）
近年、ハイビジョンビデオカメラ等で採用されている映像規格では、Ｈ．２６４を使用しているケースが多いため、Ｈ．２６４の符号化を実施するケースを例に挙げる。

映像規格で採用されているＨ．２６４のデータ構成を図１に示す。
本来、Ｈ．２６４には、Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ（ＧＯＰ）という概念はないが、映像再生時にランダムアクセスするために、映像規格でピクチャの構成を制限し、ＭＰＥＧ−２などと同じＧＯＰの概念を実現している。

Ｈ．２６４では、ＮＡＬ Ｕｎｉｔと呼ばれるデータの単位を定義しており、識別子を付加することで、データの内容が識別できる。

ＮＡＬ Ｕｎｉｔのデータの種別には、再生に最低限必要な情報として、以下のものがある。

・Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ（ＡＵ Ｄｅｌｉｍｉｔｅｒ）
ピクチャの境界と直後のピクチャのタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を示す情報を格納。

・Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ （ＳＰＳ）
ピクチャの解像度、フレームレート、アスペクト比など、映像の基本となる情報を格納。以降のピクチャをデコードするためには必須のＮＡＬ Ｕｎｉｔ。

・Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ （ＰＰＳ）
符号化モード、符号化ツールの有無など、以降のピクチャをデコードするために必須の情報を格納。

・Ｓｌｉｃｅ Ｄａｔａ
スライスヘッダとマクロブロック情報から構成されている。

スライスヘッダには、同スライス内のマクロブロックをデコードするために必要な格納されている。

マクロブロックは、１６ｘ１６ピクセル分に相当する圧縮された映像情報が格納されている。マクロブロックは大別すると、以下の２種類がある。

・イントラマクロブック
該当マクロブロックが含まれるピクチャ内の復号された映像情報を用いて、該当ブロックのデータを予測し、データを圧縮する、フレーム内圧縮を用いるマクロブロック。

・インターマクロブロック
既に復号された別のピクチャ内の映像情報を用いて、該当マクロブロックのデータを予測し、データを圧縮する、フレーム間圧縮を用いるマクロブロック。

各マクロブロックは、イントラ／インターの種別によって、以下のような情報が格納される。

イントラマクロブロックの場合
・マクロブロックの種別
・画面内予測モード
・残差情報
インターマクロブロックの場合
・マクロブロックの種別
・動きベクトル
・残差情報
・Ｅｎｄ ｏｆ Ｓｅｑｕｅｎｃｅ （ＥＯＳ）
Ｈ．２６４のシーケンスの終端を示す情報を格納。

Ｈ．２６４規格では、スライスの種別を以下のように分類しており、スライスタイプとしてスライスヘッダに格納されている。

・Ｉスライス
イントラマクロブロックしか含まないスライス。

Ｉスライスの中でも、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが５のスライスは、ＩＤＲ Ｉスライスと称される。

・Ｐスライス
イントラマクロブロックとインターマクロブロックを含むスライス。

インターマクロブロックは、前方方向のフレーム間圧縮のみを使用し、後方方向のフレーム間圧縮は使用しない。

・Ｂスライス
イントラマクロブロックとインターマクロブロックを含むスライス。

インターマクロブロックは、前方方向、後方方向、または双方向のフレーム間圧縮を使用する。

Ｈ．２６４規格におけるフレーム間圧縮は、参照ピクチャインデックスとモーションベクトルを用いる。ＭＰＥＧ−２規格では、参照可能なピクチャは１つしかないが、Ｈ．２６４規格では、複数の参照ピクチャの中から選択が可能であり、スライス単位で参照可能なピクチャのリストが生成される。８ｘ８画素を最小の単位として、参照可能なピクチャのリストのインデックスがマクロブロック情報の中に格納される。

参照可能なピクチャのリストは、Ｈ．２６４規格で「Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ （ＤＰＢ）」と称される、既にデコードされた複数のピクチャの非圧縮画像のバッファと、スライスのタイプ、およびスライスヘッダに格納されている参照ピクチャリストのオペレーション情報によって、一意に定まる。

Ｈ．２６４規格によれば、ＩＤＲ Ｉピクチャをデコードするタイミングで、ＤＰＢに溜まっている非圧縮画像のリストはフラッシュされ、以降、ｎａｌ＿ｒｅｆ＿ｉｄｃ ＞ ０ のスライスを格納しているピクチャ（被参照ピクチャ）をデコードし、ＤＰＢに順に格納される。ＤＰＢに格納する非圧縮画像の最大格納数は、ＳＰＳに格納されているｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓフィールドによって定まる。ＤＰＢに既に最大格納数分の非圧縮画像が格納されている状態で、次の被参照ピクチャをＤＰＢに格納する場合は、Ｈ．２６４規格で定義される手順に従って、ＤＰＢを更新する。

Ｈ．２６４規格によれば、デコード順にピクチャを並べた場合、ＩＤＲ Ｉピクチャをまたぐ参照関係でのフレーム間圧縮は、存在しない。逆に、ＩＤＲ Ｉピクチャをまたがなければ、ＰピクチャがＩピクチャをまたいで、別のＢピクチャを参照することも可能である。

図２は、Ｈ．２６４規格におけるＰピクチャ参照関係を示しており、図３は、Ｈ．２６４規格におけるＢピクチャ参照関係を示している。ランダムアクセスは、ＩＤＲ Ｉピクチャの挿入する間隔で可能となる。ＭＰＥＧ−２規格とは異なり、Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ（ＧＯＰ）という概念はない。

一方で、Ｈ．２６４を利用する映像規格では、従来のＭＰＥＧ−２規格を利用した映像規格と概念を合わせるため、Ｈ．２６４規格に制限を加えて運用されるケースがある。例えば、以下のような制限を加え、ＭＰＥＧ−２規格におけるＧＯＰの概念をＨ．２６４規格で実現するケースがある。
・ピクチャに含まれるスライスタイプの制限
Ｉピクチャには、Ｉスライスのみ使用可能。

Ｐピクチャには、Ｐスライスのみ使用可能。

Ｂピクチャには、Ｂスライスのみ使用可能。
・フレーム間圧縮における参照関係の制限
Ｉピクチャは、他のピクチャを参照しない。

Ｐピクチャは、ＩピクチャまたはＰピクチャを参照可能。ただし、デコード順にピクチャを並べた場合の、Ｉピクチャをまたぐ参照はしない。

Ｂピクチャは、表示順に並べた場合の、直前のＩピクチャまたはピクチャから、直後のＩピクチャまたはＰピクチャまでのピクチャを参照可能。

これらの制限を加えることで、Ｈ．２６４規格において、ＧＯＰの概念が導入できる。
図４に示すように、ＩＤＲ ＩピクチャをＧＯＰの境界として、Ｃｌｏｓｅｄ ＧＯＰの概念を実現し、ＧＯＰ単位でのランダムアクセスが可能となる。また、図５に示すように、ＩピクチャをＧＯＰの境界として、先に述べた参照関係の制約を加えることで、Ｏｐｅｎ ＧＯＰの概念を実現できる。
Ｏｐｅｎ ＧＯＰは、Ｃｌｏｓｅｄ ＧＯＰと比較して、圧縮効率を向上できるため、Ｈ．２６４を利用する映像規格において、しばしば利用される。

本発明では、Ｈ．２６４符号化データに対し、タイトルやテロップ挿入など、映像の一部分に対して画像処理を施し、その編集結果の符号化データを得るところに着目する。

図６に本発明の映像編集装置の全体構成を示す。映像編集装置２００は、タイトルなどを挿入した編集後の非圧縮データ１００と、編集を施す前の該当フレームの符号化データ１０１を入力とし、編集が施された映像を圧縮した、編集結果の符号化データ３００を出力する。

映像編集装置２００は、まず、編集前の符号化データ１０１を復号処理装置２０１で復号し、編集前の非圧縮映像データ２０３と、復号処理過程で得られるマクロブロック情報２０２を得る。

次に、差分検出装置２０４で、編集した非圧縮データ１００と、編集前の非圧縮データ２０３を比較し、特定のブロックの単位で差分を抽出し、差分マップ２０５を得る。

そして、前記２０２で得られた編集前のマクロブロック情報２０２と、前記２０４で得られた差分マップ２０５を用いて、各マクロブロックに対して、編集前のマクロブロック情報が、編集後の符号化データにもそのまま適用可能かどうかを、マクロブロック流用可否判定装置２０６で判定する。

判定装置２０６で、該当するマクロブロック情報２０２が、編集結果の符号化データに流用できない場合は、マクロブロックエンコーダ２０７にて、マクロブロック情報を新規に作成し、作成したマクロブロック情報を可変長符号化装置２０８に入力して、編集結果の符号化データ３００を得る。

判定装置２０６で、該当するマクロブロック情報２０２が、編集結果の符号化データに流用できる場合は、該当するマクロブロック情報２０２を、可変長符号化装置２０８に入力して、編集結果の符号化データ３００を得る。

可変長符号化装置２０８に入力されたマクロブロック情報を基に、次回のピクチャに含まれるマクロブロックのエンコードに備え、フレームバッファ作成装置２０９で、フレームバッファ２１０を作成し、保持する。

図７に、復号装置２０１の構成を示す。復号装置２０１に入力された編集前の符号化データ１０１は、まず、可変長符号を復号する可変長符号復号装置２０１１で、マクロブロック単位で情報を抽出し、マクロブロック情報２０１２を得る。

マクロブロック情報に含まれる情報としては、以下のものがある。

・マクロブロックの種別（ＭＢ＿ＴＹＰＥ）
画面内予測および動き補償を行う上で予測単位と用いる画素のサイズによって、８種類に分類される。

−Ｉ＿ＰＣＭ
−Ｉｎｔｒａ＿１６ｘ１６
−Ｉｎｔｒａ＿８ｘ８
−Ｉｎｔｒａ＿４ｘ４
−Ｉｎｔｅｒ＿１６ｘ１６
−Ｉｎｔｅｒ＿１６ｘ８
−Ｉｎｔｅｒ＿８ｘ１６
−Ｉｎｔｅｒ＿８ｘ８
Ｉｎｔｅｒ＿８ｘ８の場合には、さらに以下の４種類のサブマクロブロックタイプを４つ保持する。

−Ｉｎｔｅｒ＿８ｘ８
−Ｉｎｔｅｒ＿８ｘ４
−Ｉｎｔｅｒ＿４ｘ８
−Ｉｎｔｅｒ＿４ｘ４
・残差情報
逆ＤＣＴ変換に必要な、以下の情報を保持する。

−量子化係数
−ＤＣＴ係数
ＤＣＴ係数は、輝度成分、色差成分（ＣｂおよびＣｒ）がある。

・予測情報
イントラマクロブロックの場合は、予測情報として、画面内予測モードがある。

インターマクロブロックの場合は、予測情報として、動きベクトルがある。

−画面内予測モード
マクロブロックの種別が、Ｉｎｔｒａ＿１６ｘ１６の場合は、Ｈ．２６４規格で定義されるＩｎｔｒａ１６ｘ１６ＰｒｅｄＭｏｄｅおよびｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅを保持し、Ｉｎｔｒａ＿８ｘ８の場合は、Ｈ．２６４規格で定義されるＩｎｔｒａ８ｘ８ＰｒｅｄＭｏｄｅおよびｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅを保持し、Ｉｎｔｒａ＿４ｘ４の場合は、Ｈ．２６４規格で定義されるＩｎｔｒａ４ｘ４ＰｒｅｄＭｏｄｅおよびｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅを保持し、それ以外のマクロブロックタイプの場合は、情報を持たない。

−動きベクトル
動きベクトルは、マクロブロック種別に応じて、以下の情報を複数個保持する。

−前方参照ピクチャインデックス
−前方参照モーションベクトルの水平成分
−前方参照モーションベクトルの垂直成分
−後方参照ピクチャインデックス
−後方参照モーションベクトルの水平成分
−後方参照モーションベクトルの垂直成分
このマクロブロック情報を基に、残差情報を利用して、逆量子化処理２０１３、逆ＤＣＴ変換処理２０１４を施し、残差を得る。

また、イントラマクロブロックの場合は、画面内予測モードに従って、画面内予測処理２０１５を、インターマクロブロックの場合は、動き補償処理２０１６を施し、予測結果を得る。

予測結果と残差を加算し、マクロブロック単位で復号映像２０３を順次生成していく。
また、復号映像２０３は、次のピクチャの動き補償で使用するフレームバッファ２０１７として復号処理装置内で保持する。

復号過程で得られたマクロブロック情報２０１２を、全マクロブロック分まとめて、マクロブロック情報２０２として、出力する。

図８に、差分検出装置２０４の構成を示す。差分検出装置２０４は、編集後の非圧縮映像データ１００と、前記復号装置２０１で得られた編集前の非圧縮映像データ２０３を入力とし、差分マップ２０５を生成する。

比較する２つのフレームの表示時間は、揃える必要がある。

まず、編集後の非圧縮映像１００と、編集前の非圧縮映像２０３を、特定の大きさブロックで領域を分割する。分割する単位は、例えば、マクロブロックと同じ１６ｘ１６ピクセルでも良いし、さらに細かい単位として、４ｘ４ピクセル単位で分割してもよい。

このブロック単位で、順次、編集前後の差分をとり、差分が検出したブロックを抽出することで、差分マップ２０５を得る。

図９に、マクロブロック情報流用可否判定装置２０６の構成を示す。マクロブロック情報流用可否判定装置２０６は、映像編集が施される前の符号化データから得られるマクロブロック情報が、編集結果の符号化データ生成に適用できるかどうかを判定する。

マクロブロック情報流用可否判定は、マクロブロック種別（ＭＢ＿ＴＹＰＥ）で、イントラマクロブロックか、インターマクロブロックかを判別し、イントラマクロブロックの場合は、イントラマクロブロック判定装置２０６１、インターマクロブロックの場合は、インターマクロブロック判定装置２０６２で、判定する。

判定結果が、「マクロブロック情報が流用可能」の場合には、編集前の符号化データから得られるマクロブロック情報２０２を、編集後の符号化データ作成に流用し、マクロブロック情報２０２を、可変長符号化装置２０８に入力する。

判定結果が、「マクロブロック情報が流用不可能」の場合には、マクロブロックエンコーダ２０７を用いて、該当マクロブロック位置のマクロブロック情報を作成する。

図１０に、マクロブロックエンコード装置２０７の構成を示す。マクロブロックエンコード装置２０７は、編集後の非圧縮映像の該当マクロブロックのマクロブロック情報２０７９を生成し、生成したマクロブロック情報２０７９を可変長符号化装置２０８に入力する。

マクロブロックエンコード装置２０７では、該当マクロブロックのマクロブロック種別をイントラマクロブロックにするか、インターマクロブロックにするかを、ＭＢ＿ＴＹＰＥ決定処理２０７１で行う。

イントラマクロブロックの場合は、画面内予測２０７２を行い、画面内予測モードを得る。インターマクロブロックの場合は、動き予測２０７３を行い、動きベクトルを得る。

次に、予測結果と非圧縮データとの差分の、ＤＣＴ変換処理２０７４を行い、目標レートに合わせて、量子化処理２０７５を行い、残差情報を得る。

得られたマクロブロック種別、残差情報、予測情報をマクロブロック２０７９に保持する。

また、以降のピクチャのマクロブロックエンコードに備えて、動き予測用フレームバッファ２０７８を生成する。残差情報を、Ｈ．２６４規格に従って、逆量子化２０７６、逆ＤＣＴ変換２０７７し、予測結果と加算することで、動き予測用フレームバッファ２０７８を生成する。

図１１に、可変長符号化装置の構成を示す。可変長符号化装置２０８は、マクロブロック情報を入力とし、Ｈ．２６４規格に従って、符号化データ３００を生成する。

入力するマクロブロック情報は、編集前の符号化データから抽出したマクロブロック情報２０２、あるいは、マクロブロックエンコーダ２０７が生成したマクロブロック情報２０７９の２系統あるが、処理内容は同じである。

以上の処理過程の中で、最も重要処理は、マクロブロック情報流用可否判定２０６で、編集前の符号化データから得られるマクロブロック情報２０２を、いかに多く流用し、編集後の符号化データに適用するかが、処理負荷を大きく左右する。

編集前の符号化データから得られるマクロブロック情報が、編集後の符号化データに適用できるかどうかは、編集前のマクロブロック情報を符号化し、その符号化データを復号した際に、非圧縮映像にて、同じ映像になる必要がある。同じ映像になるための条件は、以下の条件をすべて満たす場合である。

・予測結果が編集前後で同じ
・残差が編集前後で同じ
該当マクロブロックが、イントラマクロブロックの場合、予測には、画面内予測が用いられる。画面内予測は、図１２に示すように、該当ブロックの周辺の復号済み非圧縮ＹＵＶ成分を用いて、画面内予測モードに従って、演算処理を施すことによって得られる。

画面内予測モードには、Ｉｎｔｒａ４ｘ４、Ｉｎｔｒａ８ｘ８でそれぞれ９種類、Ｉｎｔｒａ１６ｘ１６には４種類あり、モードによって、使用する周辺の復号済非圧縮ＹＵＶデータの配置が異なる。

画面内予測を実施する際、周辺の復号済ＹＵＶデータが、編集前と編集後で同一であれば、画面内予測の処理結果は、編集前と編集後で一致する。

一方、残差は、予測結果と実際の映像との差分を表しているため、編集前と編集後で、予測結果が同じであれば、残差も編集前と編集後で一致する。

従って、該当マクロブロック位置の、編集前の符号化データから得られたマクロブロック情報が、編集後の符号化データに適用可能かどうかを判定する際には、以下の３パターンに分けて判定すれば良い。
（１） 編集前と編集後の該当位置の非圧縮データが一致し、かつ、画面内予測で使用する周辺の画素の値が一致している（図１２における、該当ブロックパターン１）
この条件下では、画面内予測結果と、残差は、編集の前後で変化しないため、 流用が可能である。
（２） 該当マクロブロック位置が、画像処理を施した領域に該当する（図１２における、該当ブロックパターン２）
この条件下では、編集の前後で非圧縮ＹＵＶデータに差異があるため、マクロブロック情報を流用すれば、正しい編集後の映像データにならない。従って、編集前のマクロブロック情報の流用はできない。
（３） 編集前と編集後の該当位置の非圧縮データは一致しているが、画面内予測で使用する周辺の画素の値が一致していない（図１２における、該当ブロックパターン３）
この条件下では、画面内予測の結果が、編集の前後で異なるので、マクロブロック情報を流用すれば、正しい編集後の映像データにならない。従って、編集前のマクロブロック情報の流用はできない。

また、該当マクロブロックが、インターマクロブロックの場合、予測には、動き予測が用いられる。動き予測は、図１３に示すように、すでに復号済の異なるフレームの映像領域を用いて、演算処理を施すことによって得られる。

動き予測を行う単位は、図１３に示すように、マクロブロック種別に決定される分割タイプにより、７パターンあり、予測に用いる領域は、それぞれ異なる。また、Ｈ．２６４規格によれば、動きベクトルは、１／４画素まで参照することが可能で、画素間の補完処理に６タップフィルタを適用する。

画面内予測同様に、動き予測においても、予測に必要な非圧縮画素データが、編集の前後ですべて一致すれば、動き予測の処理結果は、編集前と編集後で一致する。

従って、該当マクロブロック位置の、編集前の符号化データから得られたマクロブロック情報が、編集後の符号化データに適用可能かどうかを判定する際には、以下の２パターンに分けて判定すれば良い。
（１） 編集前と編集後の該当位置の非圧縮データが一致し、かつ、動き予測で使用する参照フレームの該当画素の値が編集前と編集後で一致している（図１３における、該当ブロックパターン２および参照パターン１）
この条件下では、動き予測結果と、残差は、編集の前後で変化しないため、流用が可能である。
（２） 該当マクロブロック位置が、画像処理を施した領域に該当する（図１３における、該当ブロックパターン１）
この条件下では、編集の前後で非圧縮ＹＵＶデータに差異があるため、マクロブロック情報を流用すれば、正しい編集後の映像データにならない。従って、編集前のマクロブロック情報の流用はできない。
（３） 編集前と編集後の該当位置の非圧縮データは一致しているが、画面内予測で使用する周辺の画素の値が一致していない（図１３における、参照パターン２）
この条件下では、動き予測の結果が、編集の前後で異なるので、マクロブロック情報を流用すれば、正しい編集後の映像データにならない。従って、編集前のマクロブロック情報の流用はできない。

図１４は、１つのマクロブロックに対し、以上の判定方式から、符号化データを得るまでの手順を示したフローチャートである。

まず、編集前の符号化データから得られるマクロブロック情報２０２の内、符号化対象位置のマクロブロック種別が、イントラマクロブロックかインターマクロブロックかを、判定ステップＳ００１で判定する。イントラマクロブロックの場合は、判定処理ステップ２０５１を行い、インターマクロブロックの場合は、判定処理ステップ２０５２を行う。判定処理ステップ２０５１、または、判定処理ステップ２０５２で得られた判定結果が、「流用可能」か、「流用不可能」かを、判定ステップＳ００２で判定し、「流用可能」な場合は、編集前のマクロブロック情報２０２を、可変長符号化処理ステップ２０８に入力し、「流用不可能」な場合は、マクロブロックエンコード処理ステップ２０７で、新規に該当位置のマクロブロック情報２０７９を生成し、生成したマクロブロック情報２０７９を可変長符号化処理ステップ２０８に入力する。可変長符号化処理ステップ２０８で、マクロブロック情報を、可変長符号化し、該当マクロブロックの符号化データを得る。

判定処理ステップ２０５１は、図１５に示す手順で、イントラマクロブロックの流用が可能かどうかを判定する。まず、判定ステップＳ２０１で、符号化対象のマクロブロックが、差分マップ上の、差分のあるブロック上に位置するかどうかを判定する。

対象位置が差分のあるブロック上に位置する場合は、処理ステップＳ２０４で、該当マクロブロックは「流用不可能」に設定する。

対象位置が差分のあるブロック上に位置しない場合は、次の判定ステップＳ２０２に進む。

判定ステップＳ２０２では、該当マクロブロック情報から得られる、画面内予測モードを用いて、画面内予測に必要な周辺画素が、差分のあるブロック上に位置するかを判定する。

画面内予測に必要な周辺画素が、差分のあるブロック上に位置する場合は、処理ステップＳ２０４で、該当マクロブロックは「流用不可能」に設定する。

画面内予測に必要な周辺画素が、差分のあるブロック上に位置しない場合は、処理ステップＳ２０３で、該当マクロブロックは「流用可能」に設定する。

判定処理ステップ２０５２は、図１６に示す手順で、インターマクロブロックの流用が可能かどうかを判定する。

まず、判定ステップＳ３０１で、符号化対象のマクロブロックが、差分マップ上の、差分のあるブロック上に位置するかどうかを判定する。

対象位置が差分のあるブロック上に位置する場合は、処理ステップＳ３０４で、該当マクロブロックは「流用不可能」に設定する。

対象位置が差分のあるブロック上に位置しない場合は、次の判定ステップＳ３０２に進む。
判定ステップＳ３０２では、該当マクロブロック情報から得られる、動きベクトルを用いて、動き予測に必要な参照ピクチャにおいて、参照位置の画素が差分のあるブロック上に位置するかを判定する。

動き予測に必要な画素が、差分のあるブロック上に位置する場合は、処理ステップＳ３０４で、該当マクロブロックは「流用不可能」に設定する。

動き予測に必要な画素が、差分のあるブロック上に位置しない場合は、処理ステップＳ３０３で、該当マクロブロックは「流用可能」に設定する
以上の手順を、全てのマクロブロックに対し、順次適用することで、１フレーム分の符号化データを得ることができる。また、画像処理を施した全フレームに対し、本発明の編集装置を適用することで、画像処理を施した編集結果を得ることができる。

本発明に係る画像符号化データ編集装置は、Ｈ．２６４の規格にしたがって圧縮された映像ストリームを編集する装置として活用することができる。

映像規格で採用されているＨ．２６４データ構成を表した図 Ｈ．２６４での参照関係（Ｐピクチャ）を表した図 Ｈ．２６４での参照関係（Ｂピクチャ）を表した図 映像規格で定義されているＣｌｏｓｅｄ ＧＯＰでの参照関係を表した図 映像規格で定義されているＯｐｅｎ ＧＯＰでの参照関係を表した図 本発明の映像編集装置の全体構成を表したブロック図 復号装置の構成を表したブロック図 差分検出装置の構成を表したブロック図 マクロブロック情報流用可否判定装置の構成を表したブロック図 マクロブロックエンコード装置の構成を表したブロック図 可変長符号化装置の構成を表したブロック図 イントラマクロブロック流用可否を表した図 インターマクロブロック流用可否を表した図 マクロブロックの符号化手順を表したフローチャート イントラマクロブロック流用可否判定の手順を表したフローチャート インターマクロブロック流用可否判定の手順を表したフローチャート

符号の説明

１００ フレームの一部に画像処理を施した非圧縮映像データ
１０１ 画像処理を施す前の映像の符号化データ
２００ 本発明の符号化データ編集装置
２０１ 復号装置
２０２ 編集前の符号化データから得られるマクロブロック情報
２０３ 編集前の符号化データを復号して得られる非圧縮映像データ
２０４ 差分検出装置
２０５ 差分マップ
２０６ マクロブロック流用可否判定装置
２０７ マクロブロックエンコーダ
２０８ 可変長符号化装置
２０９ フレームバッファ作成装置
２１０ フレームバッファ
３００ 編集結果の符号化データ
２０１１ 可変長符号復号装置
２０１２ マクロブロック情報
２０１３ 逆量子化装置
２０１４ 逆ＤＣＴ変換装置
２０１５ 画面内予測装置
２０１６ 動き補償装置
２０１７ 動き補償用フレームバッファ
２０６１ イントラマクロブロック流用可否判定装置
２０６２ インターマクロブロック流用可否判定装置
２０７１ マクロブロック種別決定装置
２０７２ 画面内予測装置
２０７３ 動き予測装置
２０７４ ＤＣＴ変換装置
２０７５ 量子化装置
２０７６ 逆量子化装置
２０７７ 逆ＤＣＴ変換装置
２０７９ 新規に生成したマクロブロック情報

Claims (11)

1. 画像処理を施す前の第１の符号化データを復号する復号ステップと、
   前記復号ステップで得られた第１の非圧縮映像データと、第１の非圧縮映像データの一部に画像処理を施した第２の非圧縮映像データを比較し、差分を検出する検出ステップと、
   前記検出ステップで得られる差分情報を用いて、前記復号ステップで得られる、第１の符号化データの第１のマクロブロック情報を、編集後の第２の符号化データに適用可能かを判定する第１の判定ステップと、
   前記第１の判定ステップで適用可能と判定した場合に、第１のマクロブロック情報を可変長符号化し、第２の符号化データを生成する第１の符号化ステップと、
   前記第１の判定ステップで適用不可能と判定した場合に、新規に該当マクロブロック位置の第２のマクロブロック情報を生成するマクロブロック情報生成ステップと、
   前記マクロブロック情報生成ステップで生成した第２のマクロブロック情報を可変長符号化し、第２の符号化データを生成する第２の符号化ステップ
   を有することを特徴とする符号化データ編集方法。
2. 前記第１の判定ステップは、
   該当マクロブロックの領域の画素が、第１の非圧縮映像と第２の非圧縮映像とで異なるか否かを判定する第２の判定ステップと、
   前記第２の判定ステップで、該当マクロブロックの領域の画素が、第１の非圧縮映像と、第２の非圧縮映像で、同一と判定した場合に、第１のマクロブロック情報で得られる予測情報に従って予測処理をした結果が、第１の非圧縮映像と第２の非圧縮映像とで異なるか否かを判定する第３の判定ステップと、
   前記第３の判定ステップで、第１のマクロブロック情報で得られる予測情報に従って予測処理をした結果が、第１の非圧縮映像と第２の非圧縮映像とで同一と判定した場合に、前記復号ステップで得られる、第１の符号化データの第１のマクロブロック情報を、編集後の第２の符号化データに適用可能と判定する第４の判定ステップと、
   を有することを特徴とする、請求項１に記載の符号化データ編集方法。
3. 前記第３の判定ステップは、
   該当マクロブロックが、イントラマクロブロックの場合に、画面内予測に用いる周辺画素が、第１の非圧縮映像と第２の非圧縮映像とで異なるか否かで、該当する第１のイントラマクロブロック情報が第２の符号化データ生成に適用可能かを判定することを特徴とする、請求項２に記載の符号化データ編集方法。
4. 前記第３の判定ステップは、
   該当マクロブロックが、インターマクロブロックの場合に、動き予測に用いる参照ピクチャの参照画素が、第１の非圧縮映像と第２の非圧縮映像とで異なるか否かで、該当する第１のインターマクロブロック情報が第２の符号化データ生成に適用可能かを判定することを特徴とする、請求項２に記載の符号化データ編集方法。
5. 画像処理を施す前の第１の符号化データを復号する復号手段と、
   前記復号手段で得られた第１の非圧縮映像データと、第１の非圧縮映像データの一部に画像処理を施した第２の非圧縮映像データを比較し、差分を検出する検出手段と、
   前記検出手段で得られる差分情報を用いて、前記復号手段で得られる、第１の符号化データの第１のマクロブロック情報を、編集後の第２の符号化データに適用可能かを判定する第１の判定手段と、
   前記第１の判定手段で適用不可能と判定した場合に、新規に該当マクロブロック位置の第２のマクロブロック情報を生成するマクロブロック情報生成手段と、
   前記第１の判定手段で適用可能と判定した場合に第１のマクロブロック情報を、
   前記マクロブロック情報生成手段で生成した第２のマクロブロック情報をそれぞれ可変長符号化し、第２の符号化データを生成する第１の符号化手段
   を備えることを特徴とする符号化データ編集装置。
6. 前記第１の判定手段は、
   該当マクロブロックの領域の画素が、第１の非圧縮映像と第２の非圧縮映像とで異なるか否かを判定する第２の判定手段と、
   前記第２の判定手段で、該当マクロブロックの領域の画素が、第１の非圧縮映像と、第２の非圧縮映像で、同一と判定した場合に、第１のマクロブロック情報で得られる予測情報に従って予測処理をした結果が、第１の非圧縮映像と第２の非圧縮映像とで異なるか否かを判定する第３の判定手段と、
   前記第３の判定手段で、第１のマクロブロック情報で得られる予測情報に従って予測処理をした結果が、第１の非圧縮映像と第２の非圧縮映像とで同一と判定した場合に、前記復号手段で得られる、第１の符号化データの第１のマクロブロック情報を、編集後の第２の符号化データに適用可能と判定する第４の判定手段
   を備えることを特徴とする、請求項５に記載の符号化データ編集装置。
7. 前記第３の判定手段は、
   該当マクロブロックが、イントラマクロブロックの場合に、画面内予測に用いる周辺画素が、第１の非圧縮映像と第２の非圧縮映像とで異なるか否かで、該当する第１のイントラマクロブロック情報が第２の符号化データ生成に適用可能かを判定することを特徴とする、請求項６に記載の符号化データ編集装置。
8. 前記第３の判定手段は、
   該当マクロブロックが、インターマクロブロックの場合に、動き予測に用いる参照ピクチャの参照画素が、第１の非圧縮映像と第２の非圧縮映像とで異なるか否かで、該当する第１のインターマクロブロック情報が第２の符号化データ生成に適用可能かを判定することを特徴とする、請求項６に記載の符号化データ編集装置。
9. Ｈ．２６４符号化データを編集することを特徴とする請求項５に記載の符号化データ編集装置。
10. 請求項１から請求項４のいずれかの請求項に記載の編集方法を実行させるプログラム。
11. 請求項１０に記載したプログラムを記録した媒体。