JP4763241B2

JP4763241B2 - 動き予測情報検出装置

Info

Publication number: JP4763241B2
Application number: JP2004021328A
Authority: JP
Inventors: 晴久加藤; 康之中島
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2004-01-29
Filing date: 2004-01-29
Publication date: 2011-08-31
Anticipated expiration: 2024-01-29
Also published as: JP2005217746A

Description

本発明は、動き予測情報検出装置に関し、特に、重み付き動き補償において処理対象画像に対する近似画像の誤差を最小にする重み情報を決定する動き予測情報検出装置に関する。

連続して入力される動画像信号を符号化する符号化方式のひとつとして、フレーム間予測符号化方式がある。フレーム間予測符号化方式では、時間的相関の予測効率が高められた動き補償を行うために動き予測情報が用いられる。

明るさが時間的に変化するフェードシーンや２つのシーンが混ざり合うクロスフェード（ディゾルブ）シーンにおいては、従来の単純な動き補償では効率的な圧縮を行うことができないため、いくつかの対策が提案されている。

例えば、特許文献１，２にはフレーム平均輝度差分による補正を行うことが記載されており、特許文献３，４，５にはそれぞれ、ビット配分、エンコーダそのもの、動き探索の誤差評価関数を適応的に変化させることによってフェードシーンにおける符号化効率の劣化を防ぐというように、フェード区間の符号化処理に工夫を凝らすことが提案されている。また、特許文献６にはフェードと判断したシーンでは動きベクトルを強制的に０にすることによってランダムな動きベクトルの発生を抑制することが提案されている。

映像圧縮方式の国際標準規格MPEG-4 AVC/H.264(ISO/IEC 14496-10)では従来の動き補償方式に加えて重み付き動き補償方式の採用を決定しており、特許文献７では重み付き動き補償方式がフェードシーンの圧縮に効果があることが示されている。ただし、MPEG-4 AVC/H.264(ISO/IEC 14496-10)では重み係数の決定方法は規定していないので、特許文献７では重み係数を0，0.5，1，2だけに制限し、フレーム平均差分の遷移をもとに重み係数が決定されている。
特開平６−４６４１２号公報特開平８−６５６８４号公報特開平１０−３３６６４１号公報特開２００１−５１０９６４号公報特開２００３−８７７９５号公報特開２００２−５１３４１号公報特開２００３−２８４０７５号公報

特許文献１の技術では付加情報を必要とするため、既存の圧縮方式と互換性がないという課題があり、特許文献２の技術ではマクロブロック（ＭＢ）単位の処理を行うので、計算量が増加するという課題がある。フレーム平均輝度差分を用いる方式では、大域的なフレーム平均輝度差分が局所的な変化に正しく当てはまらず、正しく機能しないことが起こり得る。例えば、フェードの始点または終点付近で画素値が取り得る範囲を逸脱した場合、最小値または最大値で丸めるとフェードによる変化とは異なる効果がフレーム平均輝度差分に現れることになる。

特許文献３，４，５の技術では並進だけを前提とした単純な動き補償を対象としており、これでは自ずと圧縮率の面で限界がある。また、特許文献６では誤った動きベクトルによる無駄な情報を発生させないことだけを目的としており、これでは圧縮効率が改善されるとは限らない。

さらに、特許文献７の技術では本来任意の値を設定可能である重み係数が制限されているので、指数的または対数的に遷移する非線形なフェードなどに対応できない。しかも、最適な重み係数を決定する方法は、フレーム平均輝度の遷移によるフェード検出に依存するので、フレーム平均輝度差分を用いる方式と同じ問題を抱える。

本発明の目的は、上記課題を解決し、任意の重み付き動き予測方式の重み情報を高速かつ高精度に決定できる動き予測情報検出装置を提供することにある。

上記課題を解決するため、本発明は、１枚以上の任意の枚数の参照画像から動き補償された近似画像に重み付けするために使用され、近似画像の精度を向上させて処理対象画像との誤差を最小にする重み情報を決定する動き予測情報検出装置において、部分領域ごとに処理対象画像が参照する参照画像の任意の枚数が与えられ、該枚数に応じた重み付き補償方式での各参照画像についての重み情報を同時に決定するのに必要な導出式を導く導出式決定手段と、前記導出式決定手段で導かれた導出式に応じて処理対象画像の画素値および参照画像の画素値の組合せによる演算結果から部分領域ごとの重み情報を決定する動き予測情報導出手段を備え、前記重み付き補償方式および重み情報の要素数は任意に与えられ、前記導出式決定手段は、枚数に応じた重み付き補償方式の重み情報の決定に必要な複数の導出式を予め導出しておき、前記動き予測情報導出手段は、前記導出式決定手段により予め導出された複数の導出式を適宜選択して部分領域ごとの重み情報を決定するように構成されている点に基本的な特徴がある。

本発明によれば、重み付き動き補償方式に応じた導出式を導き、この導出式に応じて重み情報を決定するので、参照画像および処理対象画像の画素値から、重み付き動き補償の参照画像数に依存せず、任意の参照画像数に応じて最適な重み情報を決定することができる。また、重み情報の決定に際し、計算処理に工夫を施すことにより計算量を大幅に削減し、処理負担を軽減することができる。

まず、本発明の原理について説明する。動画像の各フレームを圧縮する過程において、処理対象画像をＰ_ｃと定義する。また、処理対象画像Ｐ_ｃを構成する画素を走査順に並べたとき、ｉ番目の画素の画素値をｐ(i;c)で表現する。このとき、処理対象画像Ｐ_ｃからｓフレーム離れた任意の参照画像Ｐ_ｃ＋ｓおよび従来の動き予測情報ｕ_ｓを用いて再構成された近似画像Ｐ^′ _ｃの画素の画素値は、ｐ(i＋u_ｓ;c＋s)で与えられる。

一方、j＝1,2,・・・,mをパラメータとし、重み情報ｗ_ｊにより変換された画素値をｐ"(i;c)とすると、重み付き動き補償された再構成画像の画素値は、重み関数ｆ( )を用いて式(1)で表される。なお、重み関数は重み付き動き補償方式を規定する。

ｐ"(i;c)＝ｆ(p(i＋u_ｓ;c＋s), w_ｊ) (1)

また、複数の参照画像を用いる場合には、さらに処理対象画像Ｐ_ｃからｒフレーム離れた別の参照画像Ｐ_ｃ＋ｒの画素値ｐ(i;c＋r)および動き予測情報ｕ_ｒを用いるとすると、重み付き動き補償された再構成画像の画素値は、重み関数ｇ( )を用いて式(2)で表わされる。

ｐ"(i;c)＝ｇ(p(i＋u_ｓ;c＋s), ｐ(i＋u_ｒ;c＋r), w_ｊ) (2)

重み情報を決定することは、上記の手法で得られた画素値ｐ"(i;c)と原画像の画素値ｐ(i;c)を一致させる重み情報ｗ_１，ｗ_２，・・・，ｗ_ｍを求めることである。

そこで、処理対象画像Ｐ_ｃの画素値ｐ(i;c)と重み付き動き補償された画素値ｐ"(i;c)の類似度を測る尺度として、両画素値の２乗誤差の総和ｅを式(3)で定義し、ｅを最小にするｗ_ｊを最適な重み情報とする。

重み情報ｗ_ｊが２乗誤差の総和ｅを最小にするためには、ｅを個々の重み情報ｗ_ｊで偏微分した式(4)がそれぞれ０にならなくてはならない。

ここで、ｐ_ｏｉ＝ｐ(i;c)、ｐ_１ｉ＝ｆ(p(i＋u_ｓ;c＋s), w_ｊ)、ｐ_ｇｉ＝ｇ(p(i＋u_ｓ;c＋s), p(i＋u_ｒ;c＋r),w_ｊ)と略記すると、式(4)は式(5)あるいは式(6)で表される。

一般に、重み関数ｆ( )およびｇ( )は未知の重み情報ｗ_ｊに対して線形であり、ｍ個の未知数ｗ_ｊに対して拘束式もｍ個存在するので、重み情報ｗ_ｊは代数的に導出することができる。

(5)式あるいは(6)式は、重み関数を重み情報によって偏微分した項と重み付き動き補償によって得られた近似画像による誤差成分の項とを乗算した和が０となる、重み予測情報ｗ_ｊの導出式である。

(5)式あるいは(6)式は、例えば、未知の重み情報ｗ_ｊと掛け算する項と掛け算しない項とに分離できる。ここで、重み関数ｆ( )の導関数と重み関数ｆ( )そのものの積、および重み関数ｇ( )の導関数と重み関数ｇ( )そのものの積に個々の画素値を代入した総和を要素として持つ行列を〈Ａ〉とし、重み関数ｆ( )の導関数と処理対象画素の積、あるいは重み関数ｇ( )の導関数と処理対象画素の積に個々の画素値を代入した総和を要素として持つベクトルを〈ｂ〉と定義すると、重み情報〈ｗ_ｊ〉は〈Ａ〉^−１〈ｂ〉で求めることができる。なお、〈〉付き小文字はベクトルを表し、〈〉付き大文字は行列を表す。

次に、図面を参照して本発明の実施形態について説明する。図１は、上記原理による本発明に係る動き予測情報検出装置における処理手順を示すフロー図である。

本例の処理手順は、重み関数の導関数と重み関数の積和からなる行列〈Ａ〉を算出するステップ（Ｓ１）、重み関数の導関数と画素値の積和からなるベクトル〈ｂ〉を算出するステップ（Ｓ２）、および重み情報〈ｗ_ｊ〉を算出するステップ（Ｓ３）からなる。

Ｓ１では、重み関数ｆ( )の導関数と重み関数ｆ( )そのものの積、あるいは重み関数ｇ( )の導関数と重み関数ｇ( )そのものの積に個々の画素値を代入した総和を要素として持つ行列〈Ａ〉を算出する。

Ｓ２では、重み関数ｆ( )の導関数と処理対象画素の積、あるいは重み関数ｇ( )の導関数と処理対象画素の積に個々の画素値を代入した総和を要素として持つベクトル〈ｂ〉を算出する。なお、Ｓ１およびＳ２で処理対象とする画素は処理対象画像の全画素である必要はなく、その一部であってもよい。また、重み関数およびそのパラメータは任意であり、複数の重み関数およびパラメータに対する行列〈Ａ〉およびベクトル〈ｂ〉を予め計算しておき、適宜選択できるようにすることもできる。

Ｓ３では、Ｓ１およびＳ２で算出された行列〈Ａ〉およびベクトル〈ｂ〉から〈Ａ〉^−１〈ｂ〉を算出して重み情報〈ｗ_ｊ〉を求める。

次に、参照画像を用いて重み情報を決定する手順を具体的に説明する。以下では、参照画像が１枚である場合と２枚である場合について説明するが、参照画像の枚数は任意であり、その場合でも同様の手順で実施できる。

まず、参照画像が１枚である場合について説明する。処理対象画像Ｐ_ｃの任意の参照画像Ｐ_ｃ＋ｓにおいて動き補償された画素値を式(7)で略記すると、重み付き動き補償による画素値ｐ"(i;c)は重み関数ｆ( )を用いて式(8)で与えられる。なお、ここでは重み情報として、重み係数ｗ_１およびオフセット係数ｗ_２を定義した。

ｐ_１ｉ＝ｐ(i＋u_ｓ;c＋s) (7)

ｐ"(i;c)＝ｆ(p_１ｉ, w_ｊ)
＝w_１p_１ｉ＋w_２ (1≦i≦n) (8)

このとき、処理対象画像Ｐｃの画素値ｐ０ｉと重み付き動き補償による画素値との２乗誤差の総和ｅは、式(9)で表される。ｎは処理対象画素数を表すが、処理対象画素は処理対象画像の一部から構成する。

重み関数ｆ( )の重み情報ｗ_ｊによる偏微分項は、式(10)となり、２乗誤差の総和ｅの未知変数（ｗ_１，ｗ_２）による偏微分は式(11)となる。ただし、式(11)の係数における［
］はガウス（Gauss）の和の記号であり、例えば［ｐ_０］は式(12)で表されるように画素値ｐ_０ｉのｎ個の和を示す。

式(11)は、処理対象画像の画素値の和、参照画像の画素値の和と２乗和、両画像の画素値の積和、処理対象画素数を係数とする連立１次方程式であり、これによりにより重み情報ｗ_ｊを求めることができる。

〈ｗ〉＝(w_１, w_２)^ｔとして式(11)をベクトルおよび行列の形で表すと、式(13)になる。

〈Ａ_１〉〈ｗ〉−〈ｂ_１〉＝〈０〉 (13)

ここで、行列〈Ａ_１〉は式(14)で与えられ、ベクトル〈ｂ_１〉は式(15)で与えられる。

式(14)および式(15)から明らかなように、処理対象画像Ｐ_ｃにおける個々の画素値ｐ_０ｉ、参照画像から動き補償で得た個々の画素値ｐ_１ｉ、両者の積および処理対象画像の画素数ｎから、行列〈Ａ_１〉およびベクトル〈ｂ_１〉の各要素を求めることができる。１枚の参照画像を用いる重み情報のベクトル〈ｗ〉＝(w_１, w_２)^ｔは〈Ａ_１〉^−１〈ｂ_１〉を計算することにより得ることができる。

また、〈Ａ_１〉は対称行列であるので逆行列〈Ａ_１〉^−１を計算することなく、コレスキー（Cholesky）分解によって〈Ａ_１〉を下三角行列と上三角行列に分解し、〈ｂ_１〉対し下三角行列の後退代入および上三角行列の後退代入を段階的に行ことによっても重み情報のベクトル〈ｗ〉を求めることができる。

下三角行列〈Ｌ_１〉は〈Ａ_１〉＝〈Ｌ_１〉〈Ｌ_１〉^ｔで計算でき、〈Ａ_１〉〈ｗ〉−〈ｂ_１〉＝〈０〉より式(16)と変形することができるので、まず、後退代入によって〈Ｌ_１〉^ｔ〈ｗ〉を求め、続けて〈ｗ〉を求める。

〈Ｌ_１〉（〈Ｌ_１〉^ｔ〈ｗ〉）＝〈ｂ_１〉 (16)

また、式(11)または式(13)を代数的に解くと式(17)が得られるので、これによっても重み情報ｗ_ｊを求めることもできる。

次に、参照画像が２枚である場合について説明する。処理対象画像Ｐ_ｃの任意の参照画像Ｐ_ｃ＋ｓおよびＰ_ｃ＋ｒにおいて動き補償された画素値ｐ_１ｉ，ｐ_２ｉをそれぞれ式(18)で略記すると、重み付き動き補償による画素値ｐ"(i;c)は重み関数ｇ( )を用いて式(19)で与えられる。なお、ここでは重み情報として、重み係数ｗ_１，ｗ_２およびオフセット係数ｗ_３を定義した。

ｐ_１ｉ＝ｐ(i＋u_ｓ;c＋s)
ｐ_２ｉ＝ｐ(i＋u_ｒ;c＋r) (18)

ｐ"(i;c)＝ｇ(p_１ｉ, p_２ｉ, w_ｊ)
＝w_１p_１ｉ＋w_２p_２ｉ＋w_３ (1≦i≦n) (19)

このとき、処理対象画像Ｐ_ｃの画素値ｐ_０ｉと重み付き動き補償による画素値との２乗誤差の総和ｅは、式(20)で表される。ｎは処理対象画素数を表すが、処理対象画素は処理対象画像の全画素あるいはその一部から構成する。

重み関数ｇ( )の重み情報ｗ_ｊによる偏微分項は、式(21)となる。よって、２乗誤差の総和ｅの未知変数(w_１, w_２,w_３)による偏微分は式(22)となる。ただし、式(22)の係数における［］は、ガウス（Gauss）の和の記号であり、例えば［ｐ_０］は式(23)で表されるように画素値ｐ_０ｉのｎ個の和を示す。

式(22)は、処理対象画像の画素値の和、参照画像の画素値の和と２乗和、２つの画像の画素値の積和、処理対象画素数を係数とする連立１次方程式であり、これによりにより重み情報ｗ_ｊを求めることができる。

〈ｗ〉＝(w_１, w_２, w_３)^ｔとして式(22)をベクトルおよび行列の形で表すと、式(24)になる。

〈Ａ_２〉〈ｗ〉−〈ｂ_２〉＝〈０〉 (24)

ここで、行列〈Ａ_２〉は式(25)で与えられ、ベクトル〈ｂ_２〉は式(26)で与えられる。

式(14)および式(15)から明らかなように、処理対象画像Ｐ_ｃにおける個々の画素値ｐ_０ｉ、参照画像から動き補償で得た個々の画素値ｐ_１ｉ、ｐ_２ｉ、これら画素値の積および処理対象画像の画素数ｎから、行列〈Ａ_２〉およびベクトル〈ｂ_２〉の各要素を求めることができる。２枚の参照画像を用いる重み情報のベクトル〈ｗ〉＝(w_１, w_２, w_３)^ｔは〈Ａ_２〉^−１〈ｂ_２〉を計算することにより得ることができる。

また、〈Ａ_２〉は対称行列であるので逆行列〈Ａ_２〉^−１を計算することなく、コレスキー分解によって〈Ａ_２〉を下三角行列と上三角行列に分解し、〈ｂ_２〉対し下三角行列の後退代入および上三角行列の後退代入を段階的に行ことによっても重み情報のベクトル〈ｗ〉を求めることができる。

下三角行列〈Ｌ_２〉は〈Ａ_２〉＝〈Ｌ_２〉〈Ｌ_２〉^ｔで計算でき、〈Ａ_２〉〈ｗ〉−〈ｂ_２〉＝〈０〉より式(27)と変形することができるので、まず、後退代入によって〈Ｌ_２〉^ｔ〈ｗ〉を求め、続けて〈ｗ〉を求める。

〈Ｌ₂〉（〈Ｌ₂〉^ｔ〈ｗ〉）＝〈ｂ₂〉 (27)

また、式(22)または式(24)を代数的に解くと式(28)が得られるので、これによって重み情報ｗ_ｊを求めることもできる。

本発明によれば、参照画像および処理対象画像の画素値から、重み付き動き補償の参照画像数に依存せず、任意の参照画像数に応じて最適な重み情報を決定することができる。これにより決定された重み情報を用いればMPEG-4 AVC/H.264において従来の動き補償より効果的な圧縮効率を実現することができる。また、フェードやディゾルブのシーンでは本発明によって決定された重み情報は従来の動き補償より圧縮効率を改善するので、本発明は、圧縮効率が改善された場所を精査してフェードやディゾルブのシーンを検出する用途にも適用できる。

本発明に係る動き予測情報検出装置における処理手順を示すフロー図である。

符号の説明

Ｓ１・・・行列〈Ａ〉の算出ステップ、Ｓ２・・・ベクトル〈ｂ〉の算出ステップ、Ｓ３・・・重み情報〈ｗ_ｊ〉の算出ステップ

Claims

１枚以上の任意の枚数の参照画像から動き補償された近似画像に重み付けするために使用され、近似画像の精度を向上させて処理対象画像との誤差を最小にする重み情報を決定する動き予測情報検出装置において、
部分領域ごとに処理対象画像が参照する参照画像の任意の枚数が与えられ、該枚数に応じた重み付き補償方式での各参照画像についての重み情報を同時に決定するのに必要な導出式を導く導出式決定手段と、
前記導出式決定手段で導かれた導出式に応じて処理対象画像の画素値および参照画像の画素値の組合せによる演算結果から部分領域ごとの重み情報を決定する動き予測情報導出手段を備え、
前記重み付き補償方式および重み情報の要素数は任意に与えられ、
前記導出式決定手段は、枚数に応じた重み付き補償方式の重み情報の決定に必要な複数の導出式を予め導出しておき、前記動き予測情報導出手段は、前記導出式決定手段により予め導出された複数の導出式を適宜選択して部分領域ごとの重み情報を決定するように構成されていることを特徴とする動き予測情報検出装置。
前記導出式決定手段は、重み情報の精度評価基準として処理対象画像の画素値と重み付き動き補償によって得られた画素値との２乗誤差を用いることを特徴とする請求項１に記載の動き予測情報検出装置。
前記導出式決定手段は、重み付き補償方式における重み関数を重み情報によって偏微分した項と重み付き動き補償によって得られた近似画像による誤差成分の項とを乗算した和が０となる複数の導出式を導くことを特徴とする請求項２記載の動き予測情報検出装置。
前記導出式決定手段は、処理対象画像の画素値における和、参照画像の画素値における和と２乗和、処理対象画像と参照画像の内の２つの画像の画素値の積和および処理対象画像の画素数を係数とする連立１次方程式からなる導出式を決定することを特徴とする請求項２に記載の動き予測情報検出装置。
前記予測情報導出手段は、連立１次方程式の係数として構成される導出式を解くことによって重み情報を決定する導出手段を備えることを特徴とする請求項４に記載の動き予測情報検出装置。
前記導出式決定手段は重み付き動き補償方式における重み関数から導出式を導き、前記動き予測情報導出手段は、前記導出式決定手段で導かれた導出式の係数を実際の画素値をもとに算出し、該導出式を解くことによって重み情報を決定することを特徴とする請求項１に記載の動き予測情報検出装置。
前記動き予測情報導出手段は、導出式の解法として導出式の中で重み情報に掛かる係数を要素とする係数行列の逆行列と、それ以外の係数からなる係数ベクトルとを乗算することで重み情報を決定することを特徴とする請求項６に記載の動き予測情報検出装置。
請求項７の動き予測情報導出手段に代えて、コレスキー分解に基づき係数行列を下三角形行列および上三角形行列に分解し、係数ベクトルに対し下三角形行列の後退代入および上三角形行列の後退代入を段階的に行うことによって係数行列の逆行列算出処理を省略して重み情報を決定することを特徴とする動き予測情報検出装置。