JP5560009B2 - 動画像符号化装置 - Google Patents

Description

本発明は、動画像符号化装置に係り、画面間で予測をおこなうインタ予測処理と画面内で予測をおこなうイントラ予測処理の両予測処理をおこなう動画像符号化装置であって、予測精度を良くし、符号化効率を高めるのに用いて好適な動画像符号化装置に関する。

今日、動画像によって伝送されるデータ量は日々増加している。例として、アナログテレビのデータ量を考える。現在の日本の標準テレビ場合、画素数は、水平方向に７２０画素、垂直方向に４８０画素である。各画素は、８ビットの輝度データと、二つの色差データ（８ビット）を持っており、一秒間の動画は、３０枚の画面から構成されている。現在は輝度のデータに対して、色成分を半分とする形式を用いているため、１秒間のデータ量としては、
７２０×４８０×（８＋８×１／２＋８×１／２）×３０＝１２４４１６０００ビット、伝送レートとしては、約１２０Ｍｂｐｓが必要となる。

しかしながら、現在家庭用ブロードバンドとして普及している光ファイバであっても、１００Ｍｂｐｓ程度であり、映像を非圧縮で伝送する事は現実的には不可能である。今後、２０１１年に切り替わる地上デジタル放送のデータ量は、１．５Ｇｂｐｓと言われており、高効率圧縮技術は今後必要とされる技術の一つであると言える。

現在、高効率の圧縮技術の規格として、普及が期待されている技術として、Ｈ．２６４／ＡＶＣ（以下、Ｈ．２６４）がある。Ｈ．２６４は、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector：国際電気通信連合 電気通信標準化部門）のビデオ符号化専門家グループＶＣＥＧ（Video Coding Experts Group）と、ＩＳＯ（International Organization for Standardization：国際標準化機構）／ＩＥＣ（International Electrotechnical Commission：国際電気標準会議）の動画像符号化専門家グループＭＰＥＧ（Moving Picture Expert Group）が２００１年１２月に共同で設立したＪＶＴ（Joint Video Team）によって開発された動画像符号化の最新の国際標準である。

このＨ．２６４の規格は、ＩＴＵ−Ｔでは勧告として、２００３年５月に承認されている。また、ＩＳＯ／ＩＥＣ ＪＴＣ １（Joint Technical Committee 1：第一合同技術委員会）では、２００３年にＭＰＥＧ−４ Part 10 Advanced Video Coding（ＡＶＣ）として標準化されている。さらに、色空間や画素階調に関する拡張作業もおこなわれ、Fidelity Range Extension（ＦＲＥｘｔ）として２００４年７月に最終標準案が作成されている。

Ｈ．２６４の主な特徴は以下の通りである。
・従来方式のＭＰＥＧ−２やＭＰＥＧ−４に比べて約２倍の符号化効率で同程度の画質を実現することができる。
・圧縮アルゴリズム：フレーム間予測、量子化、エントロピー符号を採用している。
・携帯電話等の低ビットレートからハイビジョンＴＶ等の高ビットレートまで幅広く利用可能である。

ここで、図１ないし図７を用いて一般的なＨ．２６４の符号化処理について説明する。
図１は、一般的なＨ．２６４の構成図である。
図２は、Ｈ．２６４のインタ予測処理の概念を説明する図である。
図３は、Ｈ．２６４のインタ予測処理における予測動きベクトルの生成処理を説明する図である。
図４は、Ｈ．２６４のインタ予測処理における動き探索の一例であるスパイラル探索について説明する図である。
図５は、Ｈ．２６４のインタ予測処理における動き探索に関わるベクトルについて説明する図である。
図６および図７は、Ｈ．２６４のインタ予測処理における予測動きベクトル生成の例外処理について説明する図である。

Ｈ．２６４では、画面内で予測画像を生成するイントラ予測（Intra prediction）１０４と、画面間で予測画像を生成するインタ予測（Inter Prediction）１０５が規定されている。予測画像生成処理では、イントラ予測１０４とインタ予測１０５でそれぞれ予測画像を生成し、対象とする入力画像との差分結果が小さくなる予測処理を用いて最終的な予測画像を生成する。ここで生成した差分データに対して、図１に示されるように、以降の直交変換１０２、量子化１０３をおこない、量子化後のデータに対して符号化１１０をおこなう。符号化にあたっては、Ｈ．２６４では差分画像のみを符号化し、伝送することにとって高い符号化効率を実現している。

以下、インタ予測処理について、図２ないし図５を用いて説明する。

インタ予測は、図２に示すように、予測対象の入力画像２０１の前後のフレーム２００／２０２から予測画像を生成する処理である。

インタ予測では、図３に示すように、予測対象ブロック３０４の予測動きベクトルｐｍｖ３０５を生成する。図３の矢印は、ブロックごとに、動きベクトルをデータとして保持することを示している。一般に、動きベクトルは、周囲ブロックの動きベクトルと強い相関があるため、周囲ブロックからの動きベクトル予測をおこない、その差分ベクトルのみを符号化することによって、符号量を削減している。Ｈ．２６４では周囲ブロックの動きベクトル３００／３０１／３０２のＭｅｄｉａｎ値（中央値）を用いて、動きベクトルを予測する仕組みが取り入れられている。

図２中では、予測動きベクトルｐｍｖ３０５は予測対象ブロック３０４のブロックＡ（左）、ブロックＢ（上）、ブロックＣ（右上）のブロックの動きベクトル（ｍｖＡ３００，ｍｖＢ３０１，ｍｖＣ３０２）から、水平成分および垂直成分それぞれについてＭｅｄｉａｎ値を求め、予測動きベクトルｐｍｖ３０５とする。予測動きベクトルは以下の（式１）、（式２）、（式３）、（式４）によって表される。

そして、式（１）で求められた予測動きベクトルによって、動き探索の初期探索開始地点を決定し、動き探索をおこなう。ここでは、動き探索の一例として、整数画素精度スパイラル探索を用いて説明をおこなう。整数精度スパイラル探索は、図４に示すＳｅａｒｃｈ Ｃｅｎｔｅｒ５００を初期探索開始地点として、その周りを、図４の各ブロックに付された螺旋状のような順番で動き探索をおこない、動きベクトルを探索する方法である。この時、図４中の各番号順に予測対象ブロックとの絶対誤差総和を計算し、絶対誤差総和が最小となるブロックを求める。そして、図５に示すように誤差最小となるブロック６０４を予測画像として、予測対象ブロックとの差分画像を算出し、予測対象ブロックからの動きベクトル６０２と予測動きベクトルｐｍｖ６０１との差分ベクトル６０３をｄｍｖとして、差分画像と共に符号化して伝送する。以上がインタ予測における予測処理の流れである。

また、イントラ予測は、１枚の画像の中で、近接する画素の空間的相関を利用して、予測画像を生成する処理である。

特許文献１には、動きベクトルが割り付けられていない注目画素に対して、動きベクトルを補って割り付ける画像処理装置が開示されている。

特許文献２には、動きベクトルの検出の初期点を算出する画像符号化回路が開示されている。

特許文献３には、動きベクトルをメモリに保持し、ブロック属性に応じて取出すことにより、少ない演算量で動きベクトルを求めることができる画像符号化装置が開示されている。

特開２００７−１１０４６１号公報 特開２００６−２００９５号公報 特開２００６−１４１８３号公報

インタ予測処理において、予測動きベクトルを生成する際に、図３で示すように周辺ブロックＡ，Ｂ，Ｃの動きベクトル３００／３０１／３０２のＭｅｄｉａｎ値を予測動きベクトルとしているが、Ｈ．２６４では以下に述べる例外処理が規定されている。

図６に示されるように、ブロックＢおよび、ブロックＣの両方がピクチャやスライスの外にあるなどの原因によって、動きベクトル７０１／７０２が得られない場合には、ブロックＡの動きベクトル７００を予測動きベクトルとして用いることとされている。さらに、前述の例外処理に加えて、図７に示されるように、左側の周囲ブロックがイントラ予測によって符号化されている場合には、参照する動きベクトルが存在せず、周囲ブロックの動きベクトルを参照することはできない。この場合の予測動きベクトルは、前後の画像の同じ位置、ｐｍｖ（０，０）：零ベクトルを初期探索開始地点として、動き探索をおこなうこととなる。

ここで、図８および図９を用いて本発明における課題について述べる。
図８は、Ｈ．２６４のインタ予測処理における動き探索の様子を説明する図である。
図９は、Ｈ．２６４のインタ予測処理における動き探索の探索範囲を説明する図である。

現在画像における予測対象ブロック９００に対して、インタ予測処理をおこなう場合を考える。このとき、予測動きベクトルは前述のように、周囲ブロックの動きベクトルのＭｅｄｉａｎ値を用いるが、周囲ブロックＢ／Ｃがスライス境界の外にあるため、動きベクトルを参照することはできない。さらに、左側のブロックがイントラ予測によって、符号化されている場合には、参照する動きベクトルが存在しない状態になる。よって、予測動きベクトルは前後の画像９０１の同位置９０３となる。このとき、動き探索によって求められる誤差最小ブロックが９０２に存在すると仮定すると、動き探索を前後画像９０１の全範囲に対しておこなう場合には、誤差最小ブロックを求めることが可能である。

しかし、全探索を実施する場合、各ブロックにおいて、予測対象ブロックとの差分結果を計算して、比較する必要があり、膨大な処理時間を要する。一般的に、動画像符号化において符号化処理時間は性能を決定する重要な要素の一つである。放送局等で用いられる放送素材伝送を例に挙げると、中継放送等の司会者との掛け合いのようなリアルタイム性が要求される用途においては、この処理時間は大きな問題となる。そのため、特に低遅延での処理を要求される用途においては、動き探索は前後画像の全範囲に対しておこなわず、ある程度探索範囲を絞った動き探索が用いられる。

ここで、図９に示すような、縦軸が誤差総和、横軸が画素ブロックのグラフで考えた場合、動き探索は誤差最小となるブロックを探すことから、勾配法のように誤差が小さくなる方向へ移動する手法であると考えることが出来る。そして、この時、ハッチングした枠１００４／１００５が、限定された探索範囲を示している。この図では初期探索開始地点（Ａ）１００１が初期探索開始地点であれば、誤差最小ブロック１０００を求めることができるが、初期探索開始地点（Ｂ）１００２の場合には、局所的誤差最小ブロック１００３が誤差最小ブロックとなり、この場合、インタ予測における予測精度は１０００に比べて低いことが分かる。

このように、特に低遅延での処理を要求される動画像符号化装置においては、動き探索において探索範囲を限定する必要があり、さらに、予測動きベクトルを参照できない場合には、初期探索開始地点が前後画像の同位置となり入力画像によっては予測精度が低下し、差分画像の情報量が増大することで、発生符号量も増大し、全体の符号化効率を圧迫してしまうため、画質が低下するという問題点があった。

本発明は、上記問題点を解決するためになされもので、その目的は、Ｈ．２６４規格のようなインタ予測で予測ベクトルを用いる符号圧縮方法に係る動画像符号化装置で、予測精度を良くし、符号化効率を向上させる動画像符号化装置を提供することにある。

動画像符号化にあたり、Ｎ×Ｍ画素ブロック毎に画面間で予測をおこなうインタ予測処理と、画面内で予測をおこなうイントラ予測処理をおこなう動画像符号化装置において、インタ予測処理にあたって生成される符号化画像の画素ブロックの動きベクトルを予め保持しておく。

そして、予測対象ブロックの上側ブロック、右上ブロック、左側ブロックの動きベクトルを参照して、予測動きベクトルを生成し、初期動き探索開始地点を決定する予測処理で、予測対象ブロックの上側ブロック、右上ブロック、左側ブロックの動きベクトルのいずれかが参照できない場合に、参照できない画素ブロックの動きベクトルに対して、保持されている動きベクトルを参照して、予測対象ブロックの仮の予測動きベクトルを生成して参照し、前後の符号化画像の動き探索処理の初期探索開始地点を決定する。符号化にあたっては、動きベクトルをそのまま差分ベクトルとして符号化する。

以上の構成によれば、予測画像生成処理において、動きベクトルを予め保持することで、本発明では周囲ブロックの動きベクトルを参照できない場合においても、仮の予測動きベクトルを用いることで、効率的に動き探索処理の初期探索開始地点を設定することが可能である。特に、低遅延処理を求められる場合においては、スライスを細かくして、パイプライン処理をおこなうため、予測動きベクトルを参照できない場合が増加し、インタ予測処理における予測画像生成の精度が低下することが予想されるが、本発明では仮の予測動きベクトルを用いるため、予測精度は低下しない。

本発明によれば、Ｈ．２６４規格のようなインタ予測で予測ベクトルを用いる符号圧縮方法に係る動画像符号化装置で、予測精度を良くし、符号化効率を向上させる動画像符号化装置を提供することができる。

一般的なＨ．２６４の構成図である。 Ｈ．２６４のインタ予測処理の概念を説明する図である。 Ｈ．２６４のインタ予測処理における予測動きベクトルの生成処理を説明する図である。 Ｈ．２６４のインタ予測処理における動き探索の一例であるスパイラル探索について説明する図である。 Ｈ．２６４のインタ予測処理における動き探索に関わるベクトルについて説明する図である。 Ｈ．２６４のインタ予測処理における予測動きベクトル生成の例外処理について説明する図である（その一）。 Ｈ．２６４のインタ予測処理における予測動きベクトル生成の例外処理について説明する図である（その二）。 Ｈ．２６４のインタ予測処理における動き探索の様子を説明する図である。 Ｈ．２６４のインタ予測処理における動き探索の探索範囲を説明する図である。 一般的な動画像符号化装置の予測画像生成処理の構成図である。 本発明の一実施形態に係る動画像符号化装置の予測画像生成処理の構成図である。 予測対象ブロックが画面上端にあり、その予測対象ブロックの左側ブロックがイントラ予測処理によって符号化されている場合の予測動きベクトルの生成を説明する図である。 予測対象ブロックが画面上端の左端にある場合の予測動きベクトルの生成を説明する図である。

以下、本発明に係る一実施形態を、図１０ないし図１３を説明する。

本発明の動画像符号化装置は、インタ予測処理において予測対象ブロックの予測動きベクトルを生成するとき、周囲ブロックの動きベクトルを参照できない場合であっても、予めその周囲ブロックの動きベクトルを保持しておき、保持しておいた動きベクトルを仮の予測動きベクトルとして参照し、初期探索開始地点を決定することにより、効率的に動き探索を実行するものである。そして、その仮の予測動きベクトルを用いて、誤差最小ブロックを決定し、動きベクトルが求まった際には、この動きベクトルを差分ベクトルとして符号化し、伝送するものである。

先ず、図１０および図１１を用いて一般的な動画像符号化装置の予測画像生成処理と、本実施形態に係る動画像符号化装置の予測画像生成処理を対比して説明する。
図１０は、一般的な動画像符号化装置の予測画像生成処理の構成図である。
図１１は、本発明の一実施形態に係る動画像符号化装置の予測画像生成処理の構成図である。

予測画像生成処理は前述のとおり、イントラ予測１１０１とインタ予測１１０２の２つの処理部から構成され、参照画像１１００から両方の処理部で予測画像を生成し、それぞれの予測画像１１０３／１１０４と予測対象画像１１０９との予測誤差１１０６を計算し、より誤差が小さくなる処理を最終的に採用して、差分画像を生成し、直交変換、量子化、符号化がおこなわれる。

よって、予測画像生成処理において、予測対象ブロックの周囲ブロックが最終的にイントラ予測１１０１によって符号化されていたとしても、インタ予測処理１１０２によって動きベクトル１１０５は計算されている。

従来技術に係る動画像符号化装置の予測画像生成処理では、図７に示したように、予測対象ブロックの周りのブロックの動きベクトルがイントラ予測１１０１によって符号化されている場合には、そのインタ予測処理１１０２によって計算されているブロックの動きベクトルは用いられることはなかった。

本実施形態では、このような場合でも、この動きベクトルを保持しておくことにより、次のインタ予測処理の際に、仮の予測動きベクトルとして参照することを可能とする。また、図６に示したように、周囲ブロックＢ，Ｃがスライス境界の外にある場合においても、仮の予測動きベクトルとして参照し、動き探索によって求まった動きベクトルを差分ベクトルとして伝送することも可能とするものである。

本実施形態の動画像符号化装置の予測画像処理の構成では、図１０に示した処理構成に加えて、インタ予測部１４０２から出力される動きベクトルを保持するための動きベクトル保持回路１４１０を追加し、インタ予測部１４０２において、周囲ブロックの動きベクトルが参照できない場合に、動きベクトル保持回路１４１０から動きベクトルを出力し、インタ予測部１４０２において、仮の予測動きベクトルを生成するものである。

以下、図１２および図１３を用いて、具体例に基づき予測動きベクトルの生成について説明する。
図１２は、予測対象ブロックが画面上端にあり、その予測対象ブロックの左側ブロックがイントラ予測処理によって符号化されている場合の予測動きベクトルの生成を説明する図である。
図１３は、予測対象ブロックが画面上端の左端にある場合の予測動きベクトルの生成を説明する図である。

第一の例として、図１２に示されるように、画面上端で図３の周囲ブロックＢ，Ｃがなく、さらに左側ブロックがイントラ予測処理によって符号化されている場合を考える。

このとき、予測対象ブロックで参照する動きベクトルは存在しないが、本実施形態の動画像符号化装置では、周囲ブロックＡの動きベクトル１２０２を保持しているので、この動きベクトルを仮の予測動きベクトルｐｍｖ′１２０３として参照し、初期探索開始地点１２０４を決定し、動き探索をおこなう。そして、動き探索処理後の誤差最小ブロック１２０５が求まると、予測対象ブロックからの動きベクトル１２０７を求めることができる。

従来の動きベクトルの符号化では、図５に示されるように、動きベクトルｍｖ６０２と、予測動きベクトルｐｍｖ６０１の差分のベクトルを、差分ベクトルｄｍｖ６０３として符号化していた。

この例では、本来規格上は、予測対象ブロックの参照可能な動きベクトルは存在せず、あくまで、仮の予測動きベクトルｐｍｖ′１２０３により、動き探索をおこなったに過ぎない。そのため、予測動きベクトルを０ベクトルであると考えて、動きベクトル１２０７を、符号化する際の差分ベクトルｄｍｖ１２０６そのものとして符号化する。このとき、復号化処理では、予測動きベクトルがないときには、予測動きベクトルが零ベクトルであるものとして、予測動きベクトルと差分ベクトルから、動きベクトルを生成する復号化処理をおこなえば、既存の復号化処理とも矛盾を生じない。

第二の例として、図１３に示されるように、予測対象ブロックが、画面左端で図３の周囲ブロックＡがない場合を考える。このとき、周囲ブロックＢ，Ｃがスライスの外側にある場合、予測対象ブロック１３００で参照可能な動きベクトルは存在しないが、本実施形態の動画像符号化装置では、予め周囲ブロックＢ，Ｃの動きベクトル１３０１／１３０２を保持しておき、この動きベクトルのＭｅｄｉａｎを用いて仮の予測動きベクトルｐｍｖ′１３０３を生成する。そして、この仮の予測動きベクトルを用いて動き探索の初期探索開始地点１３０４を決定し、誤差最小ブロック１３０５を算出する。そして、ここで算出される動きベクトルｍｖ１３０７を差分ベクトルｄｍｖ１３０６そのものとして符号化することで、復号処理も可能となる。この場合にも、第一の例と同様予測動きベクトルを０ベクトルであると考えて、動きベクトルｍｖ１３０７と差分ベクトルｄｍｖ１３０６が一致するものとみなしている。

１０１…入力画像、１０２…直交変換、１０３…量子化、１０４…イントラ予測、１０５…インタ予測、１０６…再構成画像、１０７…フィルタ、１０８…逆直交変換、１０９…逆量子化、１１０…符号化。

Claims (2)

1. 動画像符号化にあたり、入力画像を画素ブロックに分割し、画素ブロック毎に予測処理をおこなう動画像符号化装置において、
   前の符号化画像の画素ブロックから現在の入力画像の予測画像を生成する予測画像生成部と、前記入力画像と前記予測画像との差の情報を符号化する符号化部を備え、
   前記予測画像生成部は、
   画面内予測により予測画像を生成するイントラ予測部と、
   動きベクトルを用いた画面間予測により予測画像を生成するインタ予測部と、
   前記イントラ予測部とインタ予測部による予測画像の予測誤差を計算する予測誤差計算部と、
   前記イントラ予測部よりも前記インタ予測部により生成された予測画像の予測誤差の方が大きい画素ブロックを含む前記画素ブロックについて、前記インタ予測部により生成された当該画素ブロックの動きベクトルを、スライス境界を越えて保持する動きベクトル保持回路とを有し、
   前記インタ予測部は、予測対象ブロックがスライス境界にあり前記予測対象ブロックの周辺ブロックがスライス境界の外側にあるために、前記周辺ブロックが符号化された動きベクトルを有するにも拘わらず、前記予測対象ブロックの予測動きベクトルを生成する際に該周辺ブロックの動きベクトルを参照できないときに、
   前記動きベクトル保持回路が保持している、前記予測対象ブロックの複数の周辺ブロックの動きベクトルから、前記予測対象ブロックに対する仮の予測動きベクトルを生成して、該仮の予測動きベクトルを前記予測対象ブロックの動き探索処理の初期探索開始地点とすることを特徴とする動画像符号化装置。
2. 前記インタ予測部は、Ｎ×Ｍ画素ブロック毎に画面間で予測をおこなうインタ予測処理であって、
   予測対象ブロックの上側ブロック、右上ブロック、左側ブロックの動きベクトルを参照して、予測動きベクトルを生成し、初期動き探索開始地点を決定する予測処理で、
   前記予測対象ブロックの上側ブロック及び右上ブロックの動きベクトルが参照できず、且つ左側ブロックが存在しない場合に、
   前記動きベクトル保持回路は、前記予測対象ブロックの上側ブロック及び右上ブロックの動きベクトルを予め保持しておき、
   前記インタ予測部は、前記保持された予測対象ブロックの上側ブロック及び右上ブロックの動きベクトルから、前記予測対象ブロックに対する仮の予測動きベクトルを生成して、該仮の予測動きベクトルが示す位置を前記予測対象ブロックの動き探索処理の初期探索開始地点とし、動き探索によって動き探索の誤差最小ブロックを決定し、前記予測対象ブロックから該誤差最小ブロックを指し示す動きベクトルを差分ベクトルそのものとして符号化することを特徴とする請求項１記載の動画像符号化装置。

Images