JP3830013B2

JP3830013B2 - Dissolve image encoding device

Info

Publication number: JP3830013B2
Application number: JP2000060538A
Authority: JP
Inventors: 暁夫米山; 康之中島
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2000-03-06
Filing date: 2000-03-06
Publication date: 2006-10-04
Anticipated expiration: 2020-03-06
Also published as: JP2001251628A

Description

【０００１】
【発明の属する技術分野】
本発明はディゾルブ画像の符号化装置に関し、特にフレーム間動き補償予測符号化を用いたディゾルブ画像の符号化装置に関する。
【０００２】
【従来の技術】
動画像のシーンチェンジ時に挿入する特殊効果の一つとして、シーンチェンジに時間的遷移区間を設けて、図１に示されているように、その遷移区間内で徐々にシーンチェンジ前の画像（動画像Ａとする）からシーンチェンジ後の画像（動画像Ｂとする）へと変化させる“ディゾルブ”がある。ディゾルブでは、遷移区間内の映像、２つ入力画像の合成画像となる。
【０００３】
ディジタル動画像は、連続的なディジタル静止画像の連続で表現される。また、ディジタル静止画像は空間的に等間隔に配置された画素の集合により表現される。ディジタル動画像において“ディゾルブ”を用いた場合には、合成画像の各画素値は下記の式(1) で表される（図２参照）。
【０００４】
Ｄt （ｙ，ｘ）＝｛（ｔout −ｔ）／（ｔout −ｔin）｝・Ａt （ｙ，ｘ）＋｛（ｔ−ｔin）／（ｔout −ｔin）｝・Ｂt （ｙ，ｘ） …(1)
【０００５】
ここに、Ｄt （ｙ，ｘ）は時刻ｔの合成画像内の座標（ｙ，ｘ）の画素値、Ａt （ｙ，ｘ）は時刻ｔの切替わり前の画像内の座標（ｙ，ｘ）の画素値、Ｂt（ｙ，ｘ）は時刻ｔの切替わり後の画像内の座標（ｙ，ｘ）の画素値、ｔinは遷移区間開始時刻、ｔout は遷移区間終了時刻である。
【０００６】
しかし、動画像情報は、その情報量の多さから画像情報の圧縮符号化が盛んに利用されている。特に、圧縮効率を高めるためには時間的に近隣する画像の情報からの動き補償予測情報を利用するフレーム間予測符号化が利用される。ＭＰＥＧビデオ符号化などがこの方式を利用している。
【０００７】
このようなフレーム間予測符号化を用いた圧縮符号化を施された動画像から、遷移区間にディゾルブ効果を用いた合成画像を作成するためには、例えば図１７に示されているような動作をさせる必要がある。はじめに対象となる符号化動画像Ａ６１を第１の動画像復号部６３において復号再生し、また符号化動画像Ｂ６２を第２の動画像復号部６４において復号再生する。該復号再生された画像情報Ａ，Ｂは画像合成部６５へと送られる。画像合成部６５においてディゾルブ区間の合成画像作成処理が行われ、作成された合成画像Ｄは動画像再符号化部６６へ送られる。動画像再符号化部６６においては、入力された合成画像Ｄからフレーム間予測を利用した動画像の再符号化が行われ、符号化動画像Ｅ６７が出力される。
【０００８】
図１８は、図１７内の動画像再符号化部６６の詳細を説明したブロック図である。入力された合成画像Ｄから、動き探索部７１により、画像蓄積部７２に蓄積されている既に処理された画像との間で動き探索処理を行い、合成画像の再符号化時に利用される動き補償情報ａを決定する。次に、得られた動き補償情報ａと画像蓄積部７２に蓄積されている画像ｂを用いて、動き補償部７３において動き補償画像ｃの作成を行う。
【０００９】
フレーム内／フレーム間符号化決定部７４では、該動き補償画像ｃおよび入力合成画像Ｄの特徴から、フレーム内符号化を行うか、フレーム間符号化を行うかを決定する。該決定結果により、切替えスイッチＳを操作し、フレーム内符号化の場合には入力合成画像Ｄそのものを、フレーム間符号化の場合には、入力合成画像Ｄから動き補償画像ｃを減算した画像を動き補償予測誤差情報ｄとして出力する。該動き補償予測誤差情報ｄは、変換部７５において離散コサイン変換等を用いて変換され変換領域情報ｅとなり、該変換領域情報ｅは符号化部７６において符号化され、符号化動画像Ｅとして出力される。
【００１０】
一方、変換部７５から出力された変換領域情報ｅは、逆変換部７７で元の動き補償予測誤差量に戻され、動き補償画像と加算されることにより復号再生画像ｆとなり画像蓄積部７２に蓄積され、以降の画像符号化の際に参照画像として利用される。
【００１１】
【発明が解決しようとする課題】
しかしながら、前記した従来方式ではディゾルブ画像の合成後の動画像再符号化部６６に動き探索部７１を含む。該動き探索部７１で行う動き探索処理は、対象画像または対象画像内の小ブロックの画像が、参照する画像内のどの部分の画像と類似しているかを探索する処理であり、非常に多くの演算量を必要とする。そのため従来方式では合成画像の再符号化に処理時間がかかるという問題があった。また、動き探索部７１を持たない構成では、動画像の再符号化を行うことができないという問題もある。
【００１２】
本発明の目的は、前記した従来技術の問題点を解決し、圧縮符号化動画像を入力として遷移区間にディゾルブを実現した圧縮符号化動画像を作成する際に、動き探索処理を行わずに、あるいは該動き探索処理の演算量を大幅に低減して、高速に動画像圧縮符号化処理を行うことのできるディゾルブ画像の符号化装置を提供することにある。
【００１３】
【問題を解決するための手段】
前記目的を達成するために、本発明は、合成画像の再符号化時の動き補償情報を動き探索処理を行わず、合成画像の入力である２つの符号化動画像からそれぞれの動き補償情報を抽出し、その抽出された動き補償情報と、処理対象としている合成画像の時間的位置情報から、合成画像における動き補償情報を決定する手段を具備した点に第１の特徴がある。
【００１４】
また、本発明は、決定された動き補償情報の示す位置を起点とし、周辺の小領域動き探索を行うことにより、符号化効率を向上させる手段を具備した点に第２の特徴がある。
【００１５】
また、本発明は、各合成画像における２つの入力画像の入力比率の高い画像の持つ動き補償情報を利用する手段を具備した点に第３の特徴がある。
【００１６】
また、本発明は、２つの入力画像の動き補償情報の選択の基準となる入力比率に、各入力画像の特徴量を反映させ、その結果を元に動き補償情報を利用する入力画像を決定する手段を具備した点に第４の特徴がある。
【００１７】
また、本発明は、入力画像の特徴量として、模様情報を利用する手段を具備した点、画像内分散量や画像内平均値との絶対誤差和を利用する手段を具備した点に第５の特徴がある。
【００１８】
また、本発明は、ディゾルブ区間の中央付近において、２つの入力画像の入力比率の差が小さい場合には、画面内符号化方式を選択する手段を具備した点に第６の特徴がある。
【００１９】
また、本発明は、合成画像の再符号化じに、動き補償情報を参照する画像の符号化方式と同一とする手段を具備した点に第７の特徴がある。
【００２０】
また、演算により求めらてた動き補償情報参照画像の切替え時刻を、近隣するフレームの符号化方式により変更する手段を具備した点に第８の特徴がある。
【００２１】
また、本発明は、符号化ディゾルブ画像を作成する際に、入力符号化画像データを画素領域情報まで復号して合成作業の後に再符号化する方式と、入力画像データを変換領域情報まで復号して合成作業の後に再符号化を行う方式を選択できる手段を具備した点に第９の特徴がある。
【００２２】
また、本発明は、動き補償情報を参照する画像と、再符号化する画像との間で予測フレーム間隔が異なる場合には、動き補償情報を予測フレーム間隔の比に応じてスケーリングする手段を具備した点に第１０の特徴がある。
【００２３】
前記した特徴によれば、従来の方式で行われていた演算量が非常にかかる動き探索処理を用いずに再符号化処理を行うことが可能となるため、従来の問題を解消することができる。
【００２４】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図３は本発明の符号化装置の一実施形態を示すブロック図である。
【００２５】
ディゾルブ効果により結合する前の符号化動画像情報を符号化動画像Ａおよび符号化動画像Ｂとする。第１，第２の動画像復号部１，２は、それぞれ、入力される符号化動画像Ａ，Ｂを復号する。該動画像復号部１，２は、それぞれ、順次入力されてくる符号化画像情報から、動きベクトル情報や予測フレーム間隔情報等の動き補償情報ｐ，ｑを抽出し、動き補償情報決定部３に送信する。この動き補償情報ｐ，ｑとは、対象画像の空間的な一部分または全体が、どの参照画像のどの部分を参照しているかを示すものである。
【００２６】
動き補償情報決定部３においては、２つの符号化動画像Ａ，Ｂから抽出された動き補償情報ｐ，ｑから、ディゾルブ区間における動き補償情報ｒを決定する。また、決定した動き補償情報ｒは動画像再符号化部５に送られる。一方、画像合成部４は、ディゾルブ区間において、復号再生画像Ａ１，Ｂ１を合成し、合成画像Ｄ１を生成する。
【００２７】
動画像再符号化部５では、入力される合成画像Ｄ１を、動き補償情報決定部３から入力される動き補償情報ｒを利用して動き補償、符号化を行い、生成された符号化動画像Ｅを出力する。
【００２８】
図４は図３の動画像復号部１の詳細を説明したブロック図である。入力される符号化画像Ａは、復号部１１で復号される。該復号された情報のうち、変換領域情報ｐ1 は逆変換部１２へと送られ、該逆変換部１２において逆離散コサイン変換等の直交変換を施され、動き補償予測誤差情報ｐ2 が再生される。一方、復号部１１で復号された動き補償情報ｐは動き補償部１４と動き補償情報決定部３へと送られる。
【００２９】
動き補償部１４は、動き補償情報ｐおよび画像蓄積部１３に蓄積されている既に復号された画像データから動き補償処理を行い、該処理で得られた画像ｐ3 と動き補償予測誤差情報ｐ2 との和により画像を再生し、復号再生画像Ａ１として出力する。図３の動画像復号部２も、符号化動画像Ｂについて動画像復号部１と同様の処理を行い、復号再生画像Ｂ１を出力する。
【００３０】
図５は、図３の動画像再符号化部５の詳細を説明したブロック図である。該動画像再符号化部５は、フレーム内／フレーム間符号化判定部２１、変換部２２、符号化部２３、逆変換部２４、画像蓄積部２５および動き補償部２６からなり、図１８に示した従来装置の動画像再符号化部６６とは、動き探索部７１の存在の有無が異なる。従来装置では、動き補償情報は画像蓄積部７２に蓄積されている画像と合成画像Ｄとの間での動き探索処理により求められる。これに対し、本発明の実施形態においては、図５に示すように動き探索処理を行わず、動き補償情報決定部３から入力される動き補償情報ｒを利用して、動き補償部２６が動き補償処理を行う。
【００３１】
図６は、前記動き補償情報決定部３が行うディゾルブ区間における動き補償情報の決定方法の一具体例を説明する図である。以下に、ディゾルブ画像の符号化処理について説明する。
【００３２】
入力符号化動画像Ａから入力符号化動画像Ｂへと変わる画像の遷移域にディゾルブを利用したシーンの切替えを行い、新しい符号化動画像Ｅを作成する。時刻ｔinをディゾルブ先頭時刻、時刻ｔout をディゾルブ終端時刻とすると、ｔin〜ｔout 間がディゾルブ区間となる。
【００３３】
符号化動画像Ｅにおけるフレーム番号１〜３番は、ディゾルブ区間前の画像となるため、入力符号化動画像Ａの情報と同じとなる。フレーム番号４〜７番は、ディゾルブ区間内に存在するフレームである。また、図には、各フレームにおける入力符号化動画像Ａおよび入力符号化動画像Ｂの入力比率（％）を記してある。入力符号化動画像Ａおよび入力符号化動画像Ｂをそれぞれ復号し、各フレームの入力比率に従って合成画像Ｄ１を作成する。その後、該合成画像を再符号化して符号化動画像Ｅを作成する。
【００３４】
これらのフレームの中で、フレーム番号４、５番は入力符号化動画像Ａの入力比率が入力符号化動画像Ｂの入力比率より高い。したがって、これらの合成画像の再符号化の際には入力符号化動画像Ａの動き補償情報を利用する。一方フレーム番号６，７番は、入力符号化動画像Ｂの入力比率が入力符号化動画像Ａの入力比率より高い。したがって、これらの合成画像の再符号化の際には入力符号化動画像Ｂの動き補償情報を利用する。合成画像Ｄ１におけるフレーム番号８〜１０番は、ディゾルブ区間後の画像となるため、入力符号化動画像Ｂの情報と同じとなる。
【００３５】
図６において、動き補償情報を利用する入力符号化画像が、フレーム番号５番と６番の間で切替わる。この切替わりの時刻をｔc とすると、ｔc は下記の式(2-1) で表すことができ、また、合成された符号化動画像Ｅの動き補償情報ｒ（＝ＭＶ）Eは下記の式(2-2) で表すことができる。ここでＭＶA ，ＭＶB は、それぞれ符号化入力動画像Ａ，符号化入力動画像Ｂの動き補償情報を表す。
ｔc ＝ｔin＋（ｔout −ｔin）／２ …(2-1)
if ｔ≦ｔc ，ＭＶE ＝ＭＶA 、else ＭＶE ＝ＭＶB …(2-2)
【００３６】
また、上式におけるｔc を、入力比率からではなく２つの入力画像の特徴量に応じて設定する方式も可能である。入力画像特徴に応じて参照画像を切替える時刻を決定する場合には、下記の式(3) により求めることが可能である。ここで、ＦA ，ＦB は、それぞれ、ディゾルブ区間内の符号化入力画像Ａおよび符号化入力画像Ｂの特徴量を表す。
ｔc ＝ｔin＋ＦA （ｔout −ｔin）／（ＦA ＋ＦB ） …(3)
【００３７】
上式における特徴量には、各入力符号化画像の模様情報を反映させた値を利用することが可能である。この模様情報を反映させる値として、各符号化入力画像の符号化ブロック毎のブロック内画素分散値や、ブロック内の平均値との絶対誤差和、ＤＣＴ等の変換領域データでの係数の絶対値和といった値を反映させることが可能である。
【００３８】
図７は、本発明の第２の実施形態を示す。図７において、図３と同一の符号は、同一または同等物を示す。
【００３９】
この実施形態は、動き補償情報決定部３が、動き補償情報ｒの決定に、入力画像の動き補償情報ｐ，ｑだけでなく、入力画像の画像特徴情報ｓを利用するようにした点に特徴がある。本実施形態では、動画像復号部１および動画像復号部２から出力される復号再生画像Ａ１，Ｂ１を画像特徴解析部７にも送信し、該画像特徴解析部７において、復号された画像の特徴量の算出、例えば模様情報の算出を行い、算出結果である画像特徴情報ｓを動き補償情報決定部３へと送信する。
【００４０】
さらに、動き補償情報を利用する符号化入力画像をディゾルブ区間の１箇所のみで切り替えるのではなく、以下の式のように入力比率と特徴量の積によって動き補償情報を利用する符号化入力画像を選択する方式も可能である。
if ＦA ×ＲA ＞ＦB ×ＲB ，ＭＶD ＝ＭＶA 、else ＭＶD ＝ＭＶB
上式において、ＲA ，ＲB は、それぞれ、ディゾルブ区間内の同時刻における入力画像Ａおよび入力画像Ｂの入力比率を表す。
【００４１】
次に、ディゾルブ区間内の各画像の符号化方式について説明する。フレーム間予測符号化を行う動画像符号化方式においては、高能率符号化と復号再生の利便性から、以下の３種類の画像符号化方式を組み合わせて利用されている。
【００４２】
Ｐフレーム：片方向予測フレーム。フレーム間予測フレームのひとつ。過去に符号化された画像からフレーム間動き補償予測符号化により符号化される。この予測は順方向予測となる。該画像は復号再生され、次のＰフレーム符号化のための参照画像となる。参照される画像と参照する画像の類似性が高い場合には符号化効率が向上する。
【００４３】
Ｂフレーム：双方向予測フレーム。フレーム間予測ピクチャのひとつ。過去に符号化された時間的前後２枚の画像からフレーム間動き補償予測により符号化される。該フレームは参照画像として利用されることはない。
【００４４】
Ｉフレーム：フレーム内符号化フレーム。画像間の動きと相関は利用せず、１枚の画像を独立して符号化する。したがって独立したフレームの復号が可能である。
【００４５】
本発明においては、ディゾルブ区間内の各フレームの符号化方式は、動き補償情報を参照する画像の符号化方式と同一とさせることを特徴とする。これにより、再符号化時の画質の劣化を低減することが可能となる。さらに、ディゾルブ区間中の動き補償情報を参照する画像を切替えるタイミングｔc を、ｔc 前後に隣接する連続するＢフレームの枚数の合計が少なくなる位置ｔ'cへ変更することを特徴とする。これにより、後述する動き補償情報のスケーリング処理の回数を減らすことができ、画質の劣化の低減、および演算回数の低減が可能となる。
【００４６】
図８に上記の説明図を示す。同図(a) では、ディゾルブ区間に含まれる画像１０フレームのうち、ｔc がその中央となっている場合を示す。したがって、前半５フレームは入力符号化動画像Ａの各フレームの符号化方式および動き補償情報を利用し、後半５フレームは入力符号化動画像Ｂの各フレームの符号化方式および動き補償情報を利用する。この場合には、線ｘで囲まれた５枚の画像における動き補償情報は、予測フレーム間隔が変化するために、後述する動き補償情報のスケーリングを行う必要が生じる。
【００４７】
一方、同図(b) はｔc の位置を、同図(a) から１フレーム後方のｔ'cに遅らせた例である。この例では、動き補償情報のスケーリングを必要とするフレーム数が２枚となるため、例▲１▼と比較して、画質の劣化の低減、および処理速度の向上が可能である。
【００４８】
次に、入力画像と再符号化画像における予測フレーム間隔が異なる場合の処理である、動きベクトル情報のスケーリングについて述べる。動き補償情報は、動きベクトル情報と予測フレーム間隔情報により表現され、上述のように、入力符号化画像における予測フレーム間隔は、ディゾルブ合成画像の再符号化における予測フレーム間隔と異なる場合もある。
【００４９】
このような場合には、予測フレーム間隔の比に応じた動きベクトル情報のスケーリングを行う。図９に予測フレーム間隔の比に応じた動きベクトルのスケーリングを説明する。同図(a) は予測フレーム間隔が３フレームの入力画像から予測フレーム間隔が２フレームでの符号化を行う場合を示したものである。この場合には動きベクトル情報に対して２／３のスケーリングを施す。
【００５０】
また予測方向が順方向予測と逆方向予測のように異なる場合には、マイナス値を掛けることによってベクトルを反転させることで対処可能である。図９の同図(b) では逆方向予測でフレーム間隔が２フレームである動きベクトルから予測フレーム間隔が１フレームの動きベクトル情報を生成するものを示している。そのため、動きベクトル情報に対して−１／２のスケーリングを施す。
【００５１】
さらに、画像のブロック毎の符号化では、フレーム間での動き補償予測を行う動き補償予測符号化以外に、動き補償予測を行わなずに符号化するフレーム内符号化方式がある。この場合には、対象となる領域は動き補償情報を持たない。本発明では、参照した符号化入力画像の対象位置に動き補償情報が存在しない場合には、動きベクトル情報をゼロベクトルに設定し、これを動き補償情報とする。
【００５２】
次に、本発明の第３実施形態を図１０を参照して説明する。図１０において、図３と同一の符号は、同一または同等物を示す。
【００５３】
符号化動画像Ａは、第１の動画像復号部３１において復号され、復号変換領域情報Ａ２として出力される。この復号変換領域情報Ａ２は、動き補償情報と、動き補償予測誤差の変換領域情報とから、変換領域での動き補償を用いて得られた変換領域情報である。例えばＭＰＥＧ符号化方式においてはＤＣＴ係数で表される。また、第２の動画像復号部３２において、符号化動画像Ｂが復号され、復号変換領域情報Ｂ２として出力される。また、動き補償情報ｐ，ｑは，動き補償情報決定部３へと送られる。
【００５４】
次に、動画像復号部３１および動画像復号部３２より出力された復号変換領域情報Ａ２および復号変換領域情報Ｂ２から、変換領域画像合成部３３においてディゾルブ区間の合成画像である変換領域合成画像情報Ｄ２を作成する。動画像再符号化部３４は、動き補償情報決定部３から送られてくる動き補償情報を利用して、変換領域合成画像情報Ｄ２を再符号化する。そして、該再符号化された情報を符号化動画像情報Ｅとして出力する。
【００５５】
図１１に、図１０における動画像復号部３１の詳細を説明したブロック図を示す。符号化動画像Ａはまず復号部４１において復号され、動き補償情報ｐは動き補償情報決定部３および変換領域動き補償部４２へと送られる。また、復号部４１からは動き補償予測誤差変換領域情報ｕが出力される。
【００５６】
変換領域動き補償部４２は、動き補償情報ｐを用いて、変換領域情報蓄積部４３に蓄積されている既に復号された画像情報の変換領域情報に変換領域での動き補償処理を行う。該動き補償処理で得られた変換領域動き補償情報ｖは、復号部４１から出力される動き補償予測誤差変換領域情報ｕと加算され、復号変換領域情報Ａ２として出力される。図１０における第２の動画像復号部３２は、符号化画像Ｂに対して第１の動画像復号部３１と同じ処理を行い、復号変換領域情報Ｂ２を出力する。
【００５７】
図１２は、図１０の動画像再符号化部３４の詳細を説明した図である。動き補償情報決定部３から送られてくる動き補償情報ｒは、変換領域動き補償部５１へと入力され、該変換領域動き補償部５１において、既に処理されて変換領域画像情報蓄積部５２に蓄積されている復号変換領域画像情報を、該動き補償情報ｒにより変換領域上での動き補償を行い、該補償結果を変換領域動き補償画像情報ｙとしてフレーム内／フレーム間符号化判定部５３へと送る。
【００５８】
フレーム内／フレーム間符号化判定部５３は、入力された変換領域動き補償画像情報ｙと、画像変換領域情報とから、フレーム内符号化、フレーム間符号化のどちらの符号化効率が高くなるか予測を行い、その結果をフレーム内／フレーム間符号化切替え部Ｓへと送る。該切替え部Ｓでは、フレーム内符号化を行う場合には画像変換領域情報を、フレーム間符号化を行う場合には画像変換領域情報と変換領域動き補償画像情報ｙとの差ｗを符号化部５４へと出力する。符号化部５４では、可変長符号化処理を行い、結果を符号化動画像情報Ｅとして出力する。
【００５９】
また、符号化部５４へ入力される動き補償予測誤差変換領域情報ｗは、変換領域動き補償部５１から出力される変換領域動き補償情報ｙと加算され、復号変換領域画像情報ｚとして変換領域画像情報蓄積部５２に蓄積される。本実施形態においては、直交変換、および逆直交変換を行う処理が存在しないので演算量を大幅に削減でき、高速処理が可能になる。
【００６０】
図１３は、本発明の第４の実施形態を示すブロック図である。この実施形態は、ディゾルブ区間内の時間的中央付近の画像については、符号化入力画像Ａと符号化入力画像Ｂの入力比率の差が小さく、どちらの入力符号化画像とも相関が低くなることから、どちらの符号化情報も使用せずに、合成画像における各ブロックの符号化方式を強制的にフレーム内符号化方式とする点に特徴がある。
【００６１】
図示されているように、動き補償情報決定部３は、ディゾルブ区間内の時間的中央付近の画像については、フレーム内符号化制御信号ｒ1 を動画像再符号化部５に出力し、ディゾルブ区間内の時間的中央付近以外の画像については、前記第１〜３実施形態で決定された動き補償情報を用いる。なお、図１３中の図３、図７および図１０と同一の符号は、同一または同等物を示す。
【００６２】
図１４は、図１３の動画像再符号化部５の詳細を示すブロック図である。合成画像Ｄ１の再符号化時に、フレーム内／フレーム間符号化判定部２１において、フレーム内符号化を行うかフレーム間符号化を行うかを決定する処理を行うが、動き補償情報決定部３からフレーム内符号化制御信号ｒ1 が送られてきた場合には、強制的にフレーム内符号化方式を選択し、切替えスイッチＳをフレーム内符号化方式の側に切替える。
【００６３】
次に、本発明の第５の実施形態を図１５に示す。この実施形態では、動き補償情報決定部３から送られる動き補償情報ｒは、小領域動き探索部２７へ入力される。いま、動き補償情報決定部３から送られてきた動き補償情報が、図１６に示されている動き補償情報ｘm であったとすると、小領域動き探索部２７では、該動き補償情報ｘm を中心とした小領域ｘ'mで動き探索処理を行い、その中の最適な位置を新たな動き補償情報ｒ2 として、動き補償部２６へと送信する。この実施形態によれば、従来の図１８における動き探索部７１の探索領域が例えばｘsであったのに対して小領域ｘ'mでよく、動き補償の精度を落とすことなく、動き探索に要する演算量を大幅に低減することができる。
【００６４】
なお、前記第１〜第４実施形態の全ての処理、例えば動き補償情報決定部３等の処理は、該第５の実施形態に適用することができるが、その説明は省略する。
【００６５】
【発明の効果】
以上の説明から明らかなように、本発明によれば、２つの符号化動画像情報からディゾルブ効果を挿入した符号化動画像を作成する処理をする際に、動画像再符号化部が動き探索部を持たなくても、前記処理が可能となる。また、たとえ、動き探索を施したとしても、演算処理量の小さい動き探索処理をすればよいので高速処理を実現することができるようになる。
【図面の簡単な説明】
【図１】ディゾルブの概要を示す図である。
【図２】ディゾルブ区間の遷移状態を説明する図である。
【図３】本発明のディゾルブ画像符号化装置の第１実施形態を示すブロック図である。
【図４】図３の動画像復号部の詳細を示すブロック図である。
【図５】図３の動画像再符号化部の詳細を示すブロック図である。
【図６】本発明における動き補償情報の決定方法を示す説明図である。
【図７】本発明の第２実施形態の構成を示すブロック図である。
【図８】本発明の動き補償情報参照画像切替え時刻の変更を説明する図である。
【図９】本発明の動き補償情報のスケーリングを示す図である。
【図１０】本発明の第３実施形態の構成を示すブロック図である。
【図１１】図１０の動画像復号部の詳細を示すブロック図である。
【図１２】図１０の動画像再符号化部の詳細を示すブロック図である。
【図１３】本発明の第４実施形態の構成を示すブロック図である。
【図１４】図１３の動画像再符号化部の詳細を示すブロック図である。
【図１５】本発明の第５実施形態の動画像再符号化部の構成を示すブロック図である。
【図１６】本発明における小領域動き探索方式を説明する図である。
【図１７】従来装置の構成を示すブロック図である。
【図１８】従来装置の再符号化部の詳細を示すブロック図である。
【符号の説明】
１、２…第１、第２の動画像復号部、３…動き補償情報決定部、４…画像合成部、５…動画像再符号化部、７…画像特徴解析部、１１…復号部、１４…動き補償部、２１…フレーム内／フレーム間符号化判定部、２６…動き補償部、２７…小領域動き探索部、３１、３２…第１、第２の動画像復号部、３３…変換領域画像合成部、３４…動画像再符号化部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a dissolve image encoding apparatus, and more particularly to a dissolve image encoding apparatus using interframe motion compensated prediction encoding.
[0002]
[Prior art]
As one of the special effects to be inserted at the time of a scene change of a moving image, a temporal transition section is provided in the scene change, and as shown in FIG. There is a “dissolve” that changes from an image A) to a scene-changed image (moving image B). In the dissolve, a video in the transition section and a composite image of two input images are obtained.
[0003]
A digital moving image is represented by a sequence of continuous digital still images. A digital still image is represented by a set of pixels arranged at equal intervals in space. When “dissolve” is used in a digital moving image, each pixel value of the synthesized image is expressed by the following equation (1) (see FIG. 2).
[0004]
Dt (y, x) = {(tout-t) / (tout-tin)}. At (y, x) + {(t-tin) / (tout-tin)}. Bt (y, x) ( 1)
[0005]
Here, Dt (y, x) is the pixel value of the coordinate (y, x) in the composite image at time t, and At (y, x) is the coordinate (y, x) in the image before switching at time t. , Bt (y, x) is the pixel value of the coordinates (y, x) in the image after switching at time t, tin is the transition section start time, and tout is the transition section end time.
[0006]
However, compression encoding of image information is actively used for moving image information because of its large amount of information. In particular, in order to increase the compression efficiency, inter-frame predictive coding that uses motion compensation prediction information from temporally neighboring image information is used. MPEG video encoding uses this method.
[0007]
In order to create a composite image using a dissolve effect in a transition section from a moving image that has been subjected to compression encoding using such inter-frame predictive encoding, for example, an operation as shown in FIG. It is necessary to let First, the target encoded video A61 is decoded and reproduced by the first video decoder 63, and the encoded video B62 is decoded and reproduced by the second video decoder 64. The decoded and reproduced image information A and B is sent to the image composition unit 65. The image composition unit 65 performs a composite image creation process in the dissolve section, and the created composite image D is sent to the moving image re-encoding unit 66. The moving image re-encoding unit 66 re-encodes a moving image using inter-frame prediction from the input composite image D, and outputs an encoded moving image E67.
[0008]
FIG. 18 is a block diagram illustrating details of the moving image re-encoding unit 66 in FIG. Motion compensation is performed by the motion search unit 71 from the input composite image D with the already processed image stored in the image storage unit 72, and used for re-encoding the composite image Information a is determined. Next, using the obtained motion compensation information a and the image b stored in the image storage unit 72, the motion compensation unit 73 creates a motion compensated image c.
[0009]
The intra-frame / inter-frame encoding determination unit 74 determines whether to perform intra-frame encoding or inter-frame encoding from the features of the motion compensated image c and the input composite image D. According to the determination result, the changeover switch S is operated, and in the case of intra-frame coding, the input composite image D itself is obtained, and in the case of inter-frame coding, an image obtained by subtracting the motion compensation image c from the input composite image D is obtained. Output as motion compensation prediction error information d. The motion compensation prediction error information d is converted by the conversion unit 75 using discrete cosine transform or the like to be converted region information e. The converted region information e is encoded by the encoding unit 76 and output as an encoded moving image E. Is done.
[0010]
On the other hand, the transform area information e output from the transform unit 75 is returned to the original motion compensated prediction error amount by the inverse transform unit 77 and is added to the motion compensated image to become a decoded reconstructed image f. Accumulated and used as a reference image in subsequent image coding.
[0011]
[Problems to be solved by the invention]
However, in the above-described conventional method, the motion search unit 71 is included in the moving image re-encoding unit 66 after the synthesis of the dissolve image. The motion search process performed by the motion search unit 71 is a process for searching for which part of the image to be referred to is similar to the target image or the image of the small block in the target image. Requires computational complexity. Therefore, the conventional method has a problem that it takes a long time to re-encode the composite image. In addition, there is a problem in that the moving image cannot be re-encoded in the configuration without the motion search unit 71.
[0012]
An object of the present invention is to solve the above-described problems of the prior art and to perform a motion search process when creating a compression-encoded video that realizes a dissolve in a transition section using the compression-encoded video as an input. Alternatively, it is an object of the present invention to provide a dissolve image encoding apparatus capable of performing moving image compression encoding processing at high speed while greatly reducing the amount of calculation of the motion search processing.
[0013]
[Means for solving problems]
In order to achieve the above object, the present invention does not perform motion search processing on motion compensation information at the time of re-encoding a composite image, and obtains motion compensation information from two encoded moving images that are inputs of the composite image. There is a first feature in that a means for determining motion compensation information in a composite image from the extracted motion compensation information and temporal position information of the composite image to be processed is included.
[0014]
In addition, the present invention has a second feature in that it has means for improving coding efficiency by performing a small area motion search in the vicinity from the position indicated by the determined motion compensation information.
[0015]
The third feature of the present invention is that it includes means for using motion compensation information of an image having a high input ratio of two input images in each composite image.
[0016]
Further, the present invention reflects the feature amount of each input image in the input ratio which is a reference for selecting motion compensation information of the two input images, and determines an input image using the motion compensation information based on the result. The fourth feature is that the device is provided.
[0017]
The fifth aspect of the present invention is that a means for using pattern information is provided as a feature quantity of an input image, and a means for using an absolute error sum with a dispersion amount in an image and an average value in an image is provided. There are features.
[0018]
Further, the present invention has a sixth feature in that it includes means for selecting an intra-screen coding method when the difference between the input ratios of two input images is small near the center of the dissolve section.
[0019]
In addition, the present invention has a seventh feature in that it comprises means for making the re-encoding of the composite image the same as the image encoding method that refers to the motion compensation information.
[0020]
In addition, an eighth feature is that a means for changing the switching time of the motion compensation information reference image obtained by calculation is changed according to the encoding method of the neighboring frame.
[0021]
The present invention also provides a method of decoding input encoded image data up to pixel region information and re-encoding it after composition work when creating an encoded dissolve image, and decoding input image data up to transform region information. A ninth feature is that a means for selecting a re-encoding method after the synthesis operation is provided.
[0022]
The present invention also includes means for scaling the motion compensation information according to the ratio of the prediction frame intervals when the prediction frame interval is different between the image referring to the motion compensation information and the image to be re-encoded. This is the tenth feature.
[0023]
According to the above-described feature, it is possible to perform the re-encoding process without using the motion search process that requires a large amount of calculation performed in the conventional method, and thus it is possible to solve the conventional problem. .
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 3 is a block diagram showing an embodiment of the encoding apparatus of the present invention.
[0025]
The encoded moving image information before being combined by the dissolve effect is referred to as an encoded moving image A and an encoded moving image B. The first and second moving image decoding units 1 and 2 decode input encoded moving images A and B, respectively. The moving image decoding units 1 and 2 extract motion compensation information p and q such as motion vector information and prediction frame interval information from sequentially input encoded image information, and send them to the motion compensation information determination unit 3. Send. The motion compensation information p and q indicates which part of which reference image is referred to by a spatial part or the whole of the target image.
[0026]
The motion compensation information determination unit 3 determines the motion compensation information r in the dissolve section from the motion compensation information p and q extracted from the two encoded moving images A and B. The determined motion compensation information r is sent to the moving image re-encoding unit 5. On the other hand, the image synthesizing unit 4 synthesizes the decoded reproduced images A1 and B1 in the dissolve section to generate a synthesized image D1.
[0027]
The moving image re-encoding unit 5 performs motion compensation and encoding on the input composite image D1 using the motion compensation information r input from the motion compensation information determination unit 3, and generates the generated encoded moving image E is output.
[0028]
FIG. 4 is a block diagram illustrating details of the moving picture decoding unit 1 of FIG. The input encoded image A is decoded by the decoding unit 11. Of the decoded information, the transform area information p1 is sent to the inverse transform unit 12, where orthogonal transform such as inverse discrete cosine transform is performed, and motion compensated prediction error information p2 is reproduced. . On the other hand, the motion compensation information p decoded by the decoding unit 11 is sent to the motion compensation unit 14 and the motion compensation information determination unit 3.
[0029]
The motion compensation unit 14 performs a motion compensation process from the motion compensation information p and the already decoded image data stored in the image storage unit 13, and the image p3 obtained by the process and the motion compensation prediction error information p2 The image is reproduced by summation and output as a decoded reproduction image A1. The moving image decoding unit 2 in FIG. 3 also performs the same processing as the moving image decoding unit 1 on the encoded moving image B, and outputs a decoded reproduction image B1.
[0030]
FIG. 5 is a block diagram illustrating details of the moving image re-encoding unit 5 of FIG. The moving image re-encoding unit 5 includes an intra-frame / inter-frame encoding determination unit 21, a conversion unit 22, an encoding unit 23, an inverse conversion unit 24, an image storage unit 25, and a motion compensation unit 26. The presence or absence of the motion search unit 71 is different from the moving image re-encoding unit 66 of the conventional apparatus shown. In the conventional apparatus, the motion compensation information is obtained by motion search processing between the image stored in the image storage unit 72 and the composite image D. In contrast, in the embodiment of the present invention, the motion compensation unit 26 does not perform motion search processing using the motion compensation information r input from the motion compensation information determination unit 3 without performing motion search processing as shown in FIG. Perform compensation processing.
[0031]
FIG. 6 is a diagram illustrating a specific example of a method for determining motion compensation information in a dissolve section performed by the motion compensation information determination unit 3. The dissolve image encoding process will be described below.
[0032]
The scene is switched using the dissolve in the transition region of the image that changes from the input encoded video A to the input encoded video B, and a new encoded video E is created. Assuming that time tin is the dissolve start time and time tout is the dissolve end time, the period from tin to tout is the dissolve interval.
[0033]
Frame numbers 1 to 3 in the encoded moving image E are the same as the information of the input encoded moving image A because they are the images before the dissolve section. Frame numbers 4 to 7 are frames existing in the dissolve section. Further, the figure shows the input ratio (%) of the input encoded moving image A and the input encoded moving image B in each frame. The input encoded moving image A and the input encoded moving image B are respectively decoded, and a composite image D1 is created according to the input ratio of each frame. Thereafter, the synthesized image is re-encoded to generate an encoded moving image E.
[0034]
Among these frames, frame numbers 4 and 5 have an input ratio of the input encoded moving picture A higher than that of the input encoded moving picture B. Therefore, the motion compensation information of the input encoded moving image A is used when re-encoding these synthesized images. On the other hand, in the frame numbers 6 and 7, the input ratio of the input encoded moving picture B is higher than the input ratio of the input encoded moving picture A. Therefore, the motion compensation information of the input encoded moving image B is used when re-encoding these synthesized images. Since the frame numbers 8 to 10 in the composite image D1 are the images after the dissolve section, they are the same as the information of the input encoded moving image B.
[0035]
In FIG. 6, the input encoded image using motion compensation information is switched between frame numbers 5 and 6. If the switching time is tc, tc can be expressed by the following equation (2-1), and the motion compensation information r (= MV) E of the synthesized encoded video E is expressed by the following equation: (2-2). Here, MVA and MVB represent motion compensation information of the encoded input moving image A and the encoded input moving image B, respectively.
tc = tin + (tout-tin) / 2 (2-1)
if t ≦ tc, MVE = MVA, else MVE = MVB (2-2)
[0036]
In addition, a method of setting tc in the above equation according to the feature amount of two input images instead of the input ratio is also possible. When the time for switching the reference image is determined according to the input image feature, it can be obtained by the following equation (3). Here, FA and FB represent the feature amounts of the encoded input image A and the encoded input image B in the dissolve section, respectively.
tc = tin + FA (tout-tin) / (FA + FB) (3)
[0037]
As the feature amount in the above equation, a value reflecting the pattern information of each input encoded image can be used. As a value reflecting this pattern information, the pixel variance value in each block of each encoded input image, the absolute error sum with the average value in the block, and the absolute value of the coefficient in the transform area data such as DCT It is possible to reflect a value such as a sum.
[0038]
FIG. 7 shows a second embodiment of the present invention. 7, the same reference numerals as those in FIG. 3 denote the same or equivalent parts.
[0039]
This embodiment is characterized in that the motion compensation information determination unit 3 uses not only the motion compensation information p and q of the input image but also the image feature information s of the input image to determine the motion compensation information r. There is. In this embodiment, the decoded reproduction images A1 and B1 output from the moving image decoding unit 1 and the moving image decoding unit 2 are also transmitted to the image feature analysis unit 7, and the image feature analysis unit 7 The feature amount is calculated, for example, the pattern information is calculated, and the image feature information s as the calculation result is transmitted to the motion compensation information determination unit 3.
[0040]
Further, instead of switching the encoded input image using motion compensation information at only one place in the dissolve section, the encoded input image using motion compensation information is calculated by the product of the input ratio and the feature amount as in the following equation. The method of selection is also possible.
if FA x RA> FB x RB, MVD = MVA, else MVD = MVB
In the above equation, RA and RB respectively represent the input ratios of the input image A and the input image B at the same time within the dissolve section.
[0041]
Next, an encoding method for each image in the dissolve section will be described. In a moving picture coding system that performs interframe predictive coding, the following three kinds of video coding systems are used in combination for the convenience of high-efficiency coding and decoding / reproduction.
[0042]
P frame: One-way prediction frame. One of the inter-frame prediction frames. Encoding is performed from an image encoded in the past by interframe motion compensation prediction encoding. This prediction is a forward prediction. The image is decoded and reproduced and becomes a reference image for the next P frame encoding. When the similarity between the referenced image and the referenced image is high, the encoding efficiency is improved.
[0043]
B frame: Bidirectional prediction frame. One of the inter-frame prediction pictures. Encoding is performed by inter-frame motion compensation prediction from two images before and after encoding in the past. The frame is not used as a reference image.
[0044]
I frame: An intra-frame encoded frame. The motion and correlation between images are not used, and one image is encoded independently. Therefore, independent frame decoding is possible.
[0045]
The present invention is characterized in that the encoding method of each frame in the dissolve section is the same as the encoding method of an image referring to motion compensation information. As a result, it is possible to reduce degradation of image quality during re-encoding. Further, the timing tc for switching the image referring to the motion compensation information in the dissolve section is changed to a position t′c where the total number of consecutive B frames adjacent to before and after tc is reduced. As a result, the number of times of scaling processing of motion compensation information, which will be described later, can be reduced, and image quality degradation and the number of computations can be reduced.
[0046]
FIG. 8 shows the above explanatory diagram. FIG. 6A shows a case where tc is the center of 10 frames included in the dissolve section. Therefore, the first 5 frames use the encoding method and motion compensation information of each frame of the input encoded moving image A, and the latter 5 frames use the encoding method and motion compensation information of each frame of the input encoded moving image B. To do. In this case, the motion compensation information in the five images surrounded by the line x needs to be scaled for motion compensation information, which will be described later, because the prediction frame interval changes.
[0047]
On the other hand, FIG. 6B shows an example in which the position of tc is delayed to t′c one frame backward from FIG. In this example, since the number of frames that require scaling of motion compensation information is two, compared to Example (1), it is possible to reduce image quality degradation and improve processing speed.
[0048]
Next, scaling of motion vector information, which is a process when the prediction frame interval between the input image and the re-encoded image is different, will be described. The motion compensation information is expressed by motion vector information and prediction frame interval information. As described above, the prediction frame interval in the input encoded image may be different from the prediction frame interval in re-encoding of the dissolve composite image.
[0049]
In such a case, the motion vector information is scaled according to the prediction frame interval ratio. FIG. 9 illustrates the scaling of motion vectors according to the ratio of predicted frame intervals. FIG. 4A shows a case where encoding is performed with an estimated frame interval of 2 frames from an input image with an estimated frame interval of 3 frames. In this case, 2/3 scaling is applied to the motion vector information.
[0050]
If the prediction direction is different, such as forward prediction and backward prediction, it can be dealt with by inverting the vector by multiplying by a negative value. FIG. 9B shows a case where motion vector information having a prediction frame interval of 1 frame is generated from a motion vector having a frame interval of 2 frames in reverse prediction. Therefore, -1/2 scaling is applied to the motion vector information.
[0051]
Furthermore, in the coding for each block of an image, there is an intra-frame coding method that performs coding without performing motion compensation prediction, in addition to motion compensation prediction coding that performs motion compensation prediction between frames. In this case, the target region does not have motion compensation information. In the present invention, when motion compensation information does not exist at the target position of the referenced encoded input image, the motion vector information is set to a zero vector, which is used as motion compensation information.
[0052]
Next, a third embodiment of the present invention will be described with reference to FIG. 10, the same reference numerals as those in FIG. 3 denote the same or equivalent parts.
[0053]
The encoded moving image A is decoded by the first moving image decoding unit 31 and is output as decoded conversion area information A2. The decoded transform area information A2 is transform area information obtained by using motion compensation in the transform area from the motion compensation information and the motion compensation prediction error transform area information. For example, in the MPEG encoding method, it is represented by a DCT coefficient. In addition, the second moving image decoding unit 32 decodes the encoded moving image B and outputs the decoded moving image B as decoded conversion area information B2. The motion compensation information p and q is sent to the motion compensation information determination unit 3.
[0054]
Next, from the decoded transformation area information A2 and the decoded transformation area information B2 output from the moving picture decoding section 31 and the moving picture decoding section 32, the transformed area synthesized image information which is a synthesized image of the dissolve section in the transformed area image synthesis section 33. Create D2. The moving image re-encoding unit 34 re-encodes the transform region synthesized image information D2 using the motion compensation information sent from the motion compensation information determining unit 3. Then, the re-encoded information is output as encoded moving image information E.
[0055]
FIG. 11 is a block diagram illustrating details of the moving picture decoding unit 31 in FIG. The encoded moving image A is first decoded by the decoding unit 41, and the motion compensation information p is sent to the motion compensation information determination unit 3 and the transform domain motion compensation unit 42. Also, the motion compensation prediction error conversion area information u is output from the decoding unit 41.
[0056]
The transform region motion compensation unit 42 performs motion compensation processing in the transform region on the transform region information of the already decoded image information stored in the transform region information storage unit 43 using the motion compensation information p. The transform region motion compensation information v obtained by the motion compensation process is added to the motion compensation prediction error transform region information u output from the decoding unit 41, and is output as decoded transform region information A2. The second moving image decoding unit 32 in FIG. 10 performs the same processing as the first moving image decoding unit 31 on the encoded image B, and outputs the decoded transformation area information B2.
[0057]
FIG. 12 is a diagram illustrating details of the moving image re-encoding unit 34 in FIG. The motion compensation information r sent from the motion compensation information determination unit 3 is input to the transform region motion compensation unit 51, where it has already been processed and stored in the transform region image information storage unit 52. The decoded transformed region image information is subjected to motion compensation on the transformed region by the motion compensation information r, and the compensation result is converted to motion region motion compensated image information y to the intra-frame / interframe coding determination unit 53. send.
[0058]
The intra-frame / inter-frame coding determination unit 53 determines which of the intra-frame coding and the inter-frame coding has higher coding efficiency from the input transform area motion compensated image information y and image transform area information. Prediction is performed, and the result is sent to the intra-frame / inter-frame coding switching unit S. The switching unit S encodes the image transformation region information when performing intraframe coding, and the difference w between the image transformation region information and the transformation region motion compensation image information y when performing interframe coding. To 54. The encoding unit 54 performs variable length encoding processing and outputs the result as encoded moving image information E.
[0059]
Also, the motion compensation prediction error transform region information w input to the encoding unit 54 is added to the transform region motion compensation information y output from the transform region motion compensation unit 51, and the transform region image is obtained as decoded transform region image information z. It is stored in the information storage unit 52. In the present embodiment, since there is no processing for performing orthogonal transformation and inverse orthogonal transformation, the amount of calculation can be greatly reduced, and high-speed processing is possible.
[0060]
FIG. 13 is a block diagram showing a fourth embodiment of the present invention. In this embodiment, the difference between the input ratios of the encoded input image A and the encoded input image B is small for an image near the temporal center in the dissolve section, and the correlation between both input encoded images is low. This method is characterized in that the coding method of each block in the synthesized image is forcibly set to the intra-frame coding method without using any coding information.
[0061]
As shown in the figure, the motion compensation information determination unit 3 outputs an intra-frame coding control signal r1 to the moving image re-encoding unit 5 for an image near the temporal center in the dissolve interval, and within the dissolve interval. The motion compensation information determined in the first to third embodiments is used for images other than near the temporal center. In FIG. 13, the same reference numerals as those in FIGS. 3, 7, and 10 denote the same or equivalent components.
[0062]
FIG. 14 is a block diagram showing details of the moving image re-encoding unit 5 in FIG. At the time of re-encoding the composite image D1, the intra-frame / inter-frame encoding determination unit 21 performs a process of determining whether to perform intra-frame encoding or inter-frame encoding. When the intraframe coding control signal r1 is sent, the intraframe coding system is forcibly selected, and the changeover switch S is switched to the intraframe coding system side.
[0063]
Next, FIG. 15 shows a fifth embodiment of the present invention. In this embodiment, the motion compensation information r sent from the motion compensation information determination unit 3 is input to the small region motion search unit 27. Now, assuming that the motion compensation information sent from the motion compensation information determination unit 3 is the motion compensation information xm shown in FIG. 16, the small region motion search unit 27 focuses on the motion compensation information xm. The motion search process is performed in the small region x′m, and the optimum position in the small region x′m is transmitted to the motion compensation unit 26 as new motion compensation information r2. According to this embodiment, the search area of the conventional motion search unit 71 in FIG. 18 is, for example, xs, but may be a small area x′m, which is required for motion search without reducing the accuracy of motion compensation. The amount of calculation can be greatly reduced.
[0064]
In addition, although all the processes of the said 1st-4th embodiment, for example, the processes of the motion compensation information determination part 3 etc., can be applied to this 5th Embodiment, the description is abbreviate | omitted.
[0065]
【The invention's effect】
As is clear from the above description, according to the present invention, the moving image re-encoding unit performs motion search when performing processing to create an encoded moving image in which a dissolve effect is inserted from two pieces of encoded moving image information. Even if there is no part, the process can be performed. Further, even if motion search is performed, high-speed processing can be realized because motion search processing with a small amount of calculation processing may be performed.
[Brief description of the drawings]
FIG. 1 is a diagram showing an outline of a dissolve.
FIG. 2 is a diagram for explaining a transition state of a dissolve section.
FIG. 3 is a block diagram showing a first embodiment of a dissolve image encoding apparatus according to the present invention.
4 is a block diagram illustrating details of a moving image decoding unit in FIG. 3. FIG.
FIG. 5 is a block diagram illustrating details of a moving image re-encoding unit in FIG. 3;
FIG. 6 is an explanatory diagram showing a method for determining motion compensation information in the present invention.
FIG. 7 is a block diagram showing a configuration of a second exemplary embodiment of the present invention.
FIG. 8 is a diagram illustrating a change in motion compensation information reference image switching time according to the present invention.
FIG. 9 is a diagram illustrating scaling of motion compensation information according to the present invention.
FIG. 10 is a block diagram showing a configuration of a third exemplary embodiment of the present invention.
11 is a block diagram illustrating details of a moving image decoding unit in FIG.
12 is a block diagram illustrating details of a moving image re-encoding unit in FIG.
FIG. 13 is a block diagram showing a configuration of a fourth exemplary embodiment of the present invention.
14 is a block diagram illustrating details of a moving image re-encoding unit in FIG.
FIG. 15 is a block diagram illustrating a configuration of a moving image re-encoding unit according to a fifth embodiment of the present invention.
FIG. 16 is a diagram illustrating a small area motion search method according to the present invention.
FIG. 17 is a block diagram showing a configuration of a conventional apparatus.
FIG. 18 is a block diagram showing details of a re-encoding unit of a conventional apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1, 2 ... 1st, 2nd moving image decoding part, 3 ... Motion compensation information determination part, 4 ... Image composition part, 5 ... Moving image re-encoding part, 7 ... Image feature analysis part, 11 ... Decoding part, DESCRIPTION OF SYMBOLS 14 ... Motion compensation part, 21 ... Intraframe / interframe encoding determination part, 26 ... Motion compensation part, 27 ... Small area motion search part, 31, 32 ... 1st, 2nd moving image decoding part, 33 ... Conversion Area image composition unit 34... Moving image re-encoding unit.

Claims

In a dissolve image encoding apparatus for creating compressed encoded video data E using a dissolve effect from input encoded video data A and input encoded video data B using motion compensation prediction between two frames,
A video decoding unit for decoding the input encoded video data A and the input encoded video data B;
A motion compensation information determining unit that determines motion compensation information of a dissolve section from the motion compensation information output from the video decoding unit;
An image synthesis unit that synthesizes the decoded image information output from the first and second moving image decoding units in a dissolve section;
A moving image re-encoding unit that re-encodes the combined image output from the image combining unit;
The motion compensation information determination unit includes at least one of an intra-image variance value of the input encoded video data A and B in the dissolve section , an absolute error sum with an intra-image average value, and an absolute value sum of DCT coefficients. The motion compensation information of the larger one of the pattern information of the image consisting of is used as motion compensation information of the dissolve section, and the moving image re-encoding unit does not perform motion search, and the motion determined by the motion compensation information determining unit An apparatus for encoding a dissolve image, wherein re-encoding is performed using compensation information.

In a dissolve image encoding apparatus for creating compressed encoded video data E using a dissolve effect from input encoded video data A and input encoded video data B using motion compensation prediction between two frames,
A video decoding unit for decoding the input encoded video data A and the input encoded video data B;
A motion compensation information determining unit that determines motion compensation information of a dissolve section from the motion compensation information output from the video decoding unit;
An image synthesis unit that synthesizes the decoded image information output from the first and second moving image decoding units in a dissolve section;
A moving image re-encoding unit that re-encodes the combined image output from the image combining unit;
The motion compensation information determination unit includes at least one of an intra-image variance value of the input encoded moving image data A and B in the dissolve section , an absolute error sum with an intra-image average value, and an absolute value sum of DCT coefficients. The motion compensation information of the larger one of the pattern information of the image consisting of is used as motion compensation information of the dissolve section, and the moving image re-encoding unit performs motion search on the motion compensation information determined by the motion compensation information determination unit. An apparatus for encoding a dissolve image, characterized in that, as a starting point, a motion search process is performed only in the surrounding small area, and the result is re-encoded.

The motion compensation information determination unit further determines motion compensation information of a dissolve section using a value reflecting an input ratio of input encoded video data A and B synthesized by the image synthesis unit. The dissolve image encoding device according to claim 1 or 2.

The moving image re-encoding unit sets an encoding mode at the time of re-encoding to an intra-screen encoding mode in the vicinity of the center of the dissolve section where the difference in input ratio between the input encoded moving image data A and B is small. The dissolve image encoding apparatus according to claim 3 .

The moving picture re-encoding unit, a coding method for each frame in the dissolve section, to any of the claims 1-4, characterized in that the same as the encoding method of the image referencing the motion compensation information The dissolve image encoding device described.

The moving image re-encoding unit sets one or a plurality of bi-directional prediction frames adjacent to each other at a temporal position at which an image referring to the motion compensation information is switched from a position obtained by calculation using the pattern information. encoding apparatus dissolve image according to any one of claims 1 to 5, the total number is equal to or be changed to less becomes close position.

After decoding the input encoded moving image data A and B up to the pixel region, a dissolve image is synthesized, and then re-encoding using the motion compensation processing in the pixel region based on the determined motion compensation information The dissolve image encoding device according to any one of claims 1 to 6 , characterized in that:

After decoding the input encoded moving image data A and B up to the transform region, a dissolve image is synthesized, and then re-encoded using motion compensation processing in the transform region based on the determined motion compensation information. encoding apparatus dissolve image according to any one of claims 1 to 6, characterized in that reduction.

The video re-encoding unit scales the target motion compensation information according to the ratio of the prediction frame intervals when the prediction frame interval is different between the image referring to the motion compensation information and the image to be re-encoded. The dissolve image encoding device according to any one of claims 1 to 6 .