JP4752631B2 - 画像符号化装置、及び画像符号化方法 - Google Patents

Description

本発明は、動画像を高能率に符号化する画像符号化装置および画像符号化方法に関し、特に時間的に前後の画像を用いて符号化を行う動き補償画面間予測符号化に関する。

ＴＶ信号などの動画像データを高能率に符号化して記録あるいは伝送する手法としてＭＰＥＧ（Moving Picture Experts Group）方式等の符号化方式が策定され、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格等として国際標準の符号化方式となっている。また、さらに圧縮率を向上させる方式として、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）規格等が定められている。

一般に動画像符号化では、符号化対象画像を同一画面内の符号化済み画像を参照画像として利用する画面内予測符号化モードと、時間軸上で前後の画面を参照画像として利用する動き補償画面間予測符号化モードの２つの符号化モードが適応的に用いられる。

Ｈ．２６４／ＡＶＣ規格では、ＭＰＥＧ−２規格などと同様、階層からなるデータ構造をなしているが、画面内予測符号化モードと動き補償画面間予測符号化モードとの２つの符号化モードを切り替える単位としてスライスが用いられる。ＭＰＥＧ−２規格などでは符号化モードを切り替える単位をピクチャとしているのに対して、Ｈ．２６４／ＡＶＣではこのピクチャの次の下位階層であるスライスを切り替え単位とするものである。

上記のスライスについて、画面内予測符号化を行うスライスをＩスライスと呼ぶ。また、左記に加えて、すでに符号化済みである時間軸上で過去の画面から参照画像ブロック１つを参照して動き補償画面間予測符号化を行うことが可能なスライスをＰスライスと呼ぶ。更に、左記に加えて同様にすでに符号化済みである時間軸上の過去の画面または未来の画面の中から任意の組み合わせで２つの参照画像ブロックを参照して動き補償画面間予測符号化を行うことが可能なスライスをＢスライスと呼ぶ。

次に、画面間予測符号化を行う際のブロックサイズは、これを小さくするほうがより細かな予測を行うことが出来るため、符号化対象画像と予測画像の差分を小さくすることが可能である。一方、ブロックサイズを小さくするとブロックごとに動きベクトル情報を符号化しなければならないため、そのための符号量が増えてしまう。そのため、多くの動画像符号化方式では複数のブロックサイズを設け、この中から最適なブロックサイズを切り替えて用いられる手法が取り入れられている。

最適な符号化モードを選択する手法として、例えば、ＪＭ（Ｊｏｉｎｔ Ｍｏｄｅｌ）と呼ばれる標準化委員会の提供するリファレンスソフトウェアでは簡略化方式とＲａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ最適化(ＲＤ−ｏｐｔ)方式の２通りが用意されており、上述の各モードについてそれぞれ一定の式によって符号化コストを計算し、符号化コストが最小となる符号化モードを選択するよう処理を行っている。

「Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol. 15, no. 6, pp.74-90, (November, 1998).

上記の非特許文献１におけるＲＤ−ｏｐｔ方式では各符号化モード／ブロックサイズに対して、予測誤差の計算、ＤＣＴ変換、量子化、発生符号量計算、逆量子化、逆ＤＣＴ変換、歪み量計算といった符号化／復号化処理を行う必要があるため、符号化を行うための演算処理が膨大になってしまう。一方、簡略化方式については各モードごとに符号化／復号化処理を行う必要がないためＲＤ−ｏｐｔ方式と比較して演算負荷は軽減されるが、その場合でも各符号化モード／ブロックサイズに関してそれぞれ符号化コストを算出して比較を行う点はＲＤ−ｏｐｔ方式同様である。上記ＲＤ−ｏｐｔ方式および簡略化方式において、スライス種別がＰスライスの場合は参照画像ブロックＡによる片方向予測のみについて動きベクトル探索範囲内で動き探索を行うことになるが、Ｂスライスの場合は、
（１）参照画像ブロックＡを参照画像とした片方向予測
（２）参照画像ブロックＢを参照画像とした片方向予測
（３）参照画像ブロックＡと参照画像ブロックＢを参照画像とした双予測
の３通りについて動き探索を行い、符号化コストを計算するため、演算処理が膨大となる。

本発明は上記従来技術に鑑みて、高い圧縮率を維持したままで、演算処理を軽減する画像符号化装置および画像符号化方法を提供することを目的とする。

本発明は、符号化済みの１つ以上の参照画像ブロックを用いて画像の符号化を行う画像符号化装置において、１つの参照ブロックから符号化を行う第１の符号化コスト情報を出力する第１の予測動き探索部と、前記第１の予測動き探索部により出力された第１の符号化コスト情報を用い、２つの参照ブロックから符号化を行う第２の符号化コスト情報を出力する第２の予測動き探索部と、を有し、前記画像符号化装置は、前記第１の符号化コスト情報及び前記第２の符号化コスト情報を用いて画像の符号化を行うことを特徴とする。

本発明によると、高い圧縮率を維持したままで、演算処理を軽減する画像符号化装置および画像符号化方法を提供することが可能となる。

まず、動き補償画面間予測符号化モードについて以下に詳細を説明する。
符号化対象画像の各画素値と参照画像の左記符号化対象画像と同一空間位置にあたる各画素値との差分値を算出し、これを符号化する手法を画面間予測符号化モードと呼ぶが、上記手法はこれに動き補償を加えたものである。動き補償は、符号化対象画像を複数のブロックに分割し、各符号化対象ブロックについて参照画像からの動き量（動きベクトル）を推定して予測画像を生成し、符号化対象画像と予測画像との差分値（予測誤差）を更に小さくする手法である。なお、復号側で符号化データを復号する際に上記動きベクトルの情報もあわせて必要となるため、符号化側では予測誤差に加えて動きベクトルの情報も符号化して記録あるいは伝送するものである。

図１２は、１画面のスライスによるデータ構造を模式的に示す図である。Ｈ．２６４／ＡＶＣでは図示するように１画面を複数のスライスに分割することが可能であり、それぞれのスライスはＩ，Ｐ，Ｂスライスのいずれかである。これらＩ，Ｐ，Ｂスライスのいずれも、スライスの下位階層のブロックであるＭＢ（マクロブロック）を単位として（即ちＭＢ毎に）符号化が行われるが、ＭＢでの選択可能な符号化モードはＩ，Ｐ，Ｂスライス毎に異なる。具体的には、ＩスライスのＭＢでは画面内予測符号化モードのみが選択可能である。ＰスライスのＭＢでは、画面内予測符号化モードと時間軸上で過去の参照画面内の参照画像ブロック１つを参照する動き補償画面間予測符号化モードが選択可能である。ＢスライスのＭＢでは、画面内予測符号化モードと、時間軸上で過去の参照画面内の参照画像ブロック１つあるいは時間軸上で未来の参照画面内の参照画像ブロック１つを参照画像とした動き補償画面間予測符号化モードに加えて、時間軸上で過去または未来の参照画面内から参照画像ブロック２つを参照する動き補償画面間予測符号化モードが選択可能である。このうち、参照画像ブロックを２つ用いた場合の動き補償画面間予測符号化モードについて以下に更に詳細を説明する。

２つの参照画像ブロックを用いる予測について、ＭＰＥＧ−２では図１３に示すように符号化対象画面内の符号化対象ブロックに対して時間軸上の過去の参照画面内の参照画像ブロック１つと未来の参照画面内の参照画像ブロック１つを同時に参照し、その２つの参照画像ブロックの平均値を参照画像ブロックとして符号化を行う「双方向予測」という手法が用いられている。Ｈ．２６４／ＡＶＣではこのＭＰＥＧ−２の双方向予測を拡張し、図１４に示すように同じ方向にある２枚の参照画面からそれぞれ参照画像ブロックを選択して使用する予測や、図１５に示すように同一参照画面内から２つの参照画像ブロックを選択して使用する予測が可能となっており、時間軸上の過去の画面１枚＋時間軸上の未来の画面１枚という制約にとらわれず、過去、未来に関係なく任意の参照画面から参照画像ブロック２つを選択することが可能となっている。そのため、これを従来の「双方向予測」と区別して「双予測」と呼ぶ。なお、説明の都合上、双予測で参照する２枚の参照画像ブロックをそれぞれ「参照画像ブロックＡ」、「参照画像ブロックＢ」と呼ぶことにする。「参照画像ブロックＡ」、「参照画像ブロックＢ」は時間軸上でそれぞれ符号化対象画面に対して前後の参照画面内に存在するブロックであってもよいし、前だけあるいは後ろだけであってもよいが、以下では説明を簡易にするため、図１３のように、時間軸上の過去の参照画面内から参照画像ブロックＡを、時間軸上で未来の参照画面内から参照画像ブロックＢを割り当てることとする。

また上記の双予測に対して参照画面を１枚のみ用いて動き補償画面間予測符号化を行う手法を以下では「片方向予測」と呼ぶこととする。以下の説明では、Ｐスライスで参照する画像ブロックは参照画像ブロックＡとなる。

Ｈ．２６４／ＡＶＣでは、動き補償画面間予測符号化を行うためのブロックサイズとして図１６に示すように（１）１６×１６〜（４）８×８の４種類と、更に（４）の８×８のブロックサイズが選択された場合には、各々の８画素×８画素のブロックに対して（５）８×４〜（７）４×４の３種類が使用できるため、合計で７種類のブロックサイズが使用可能である。

以上のように、Ｈ．２６４／ＡＶＣにおけるＰスライスでは上記の合計７種類のブロックサイズによる動き補償画面間予測符号化モード（参照画像ブロックＡを使用した片方向予測のみ）と画面内予測符号化モードの中から、Ｂスライスでは上記の合計７種類のブロックサイズによる動き補償画面間予測符号化モード（参照画像ブロックＡを使用した片方向予測、参照画像ブロックＢを使用した片方向予測、参照画像ブロックＡと参照画像ブロックＢを使用した双予測の３種類）と画面内予測符号化モードの中から、それぞれ最適な符号化モードを選択することによって圧縮率を上げることが可能となる。

簡略化方式では、符号化コストは式(1)に示されるように、原画像と予測画像との誤差をアダマール変換し、変換後の各係数の絶対値和を算出したＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ）と、符号化モード毎に定められるバイアス値（Ｂｉａｓ）の和として計算される。

一方、RD−ｏｐｔ方式では、符号化コストの算出にラグランジュ乗数を用いる。符号化コストは式(2)で示されるように、原画像と復号画像の２乗誤差和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）と、レート項Ｒ及びラグランジュパラメータλ_MODEによって計算される。レート項は、その符号化モードを選択した場合の合計符号量である。ラグランジュパラメータは、異なる特徴を持つ様々なテスト画像を符号化した時の符号量と量子化パラメータ（ＱＰ）の関係から求められた値である。

ＲＤ−ｏｐｔ方式および簡略化方式について、以下に図１０を用いて説明する。
図１０は従来の符号化装置を示す図であり、図１１は図１０における動き探索・評価部（１１５）の動作を詳細に示す図である。なお、図１０における上記動き探索・評価部（１１５）以外の各部については後述する図１と同一機能を有するため詳細は後述する。

図１１において、（２０１）は参照画像ブロックＡを参照画像とした場合の片方向予測動き探索部、（２０２）は参照画像ブロックＢを参照画像とした場合の片方向予測動き探索部、（２０３）は参照画像ブロックＡと参照画像ブロックＢを参照画像とした場合の双予測動き探索部を示す。（２０４）、（２０５）および（２０６）は参照画像ブロックＡを参照画像とした場合の片方向予測動き探索部（２０１）において、それぞれブロックサイズをＭ１×Ｎ１、Ｍ２×Ｎ２、Ｍｍ×Ｎｎとして動き探索を行う動き探索部である。同様に、（２０７）、（２０８）および（２０９）は参照画像ブロックＢを参照画像とした場合の片方向予測動き探索部（２０２）において、それぞれブロックサイズをＭ１×Ｎ１、Ｍ２×Ｎ２、Ｍｍ×Ｎｎとして動き探索を行う動き探索部である。また、（２１０）、（２１１）および（２１２）は参照画像ブロックＡおよび参照画像ブロックＢを参照画像とした場合の双予測動き探索部（２０３）において、それぞれブロックサイズをＭ１×Ｎ１、Ｍ２×Ｎ２、Ｍｍ×Ｎｎとして動き探索を行う動き探索部である。（２１３）は上記（２０４）〜（２１２）の各動き探索部での動き探索結果から符号化コストが最小となる予測方向およびブロックサイズを決定する動き探索評価部である。ここで、Ｐスライスの場合には参照画像Ａのみを使用するため（２０１）のみの動き探索処理を行い、（２０２）および（２０３）の動き探索処理は不要である。一方、Ｂスライスの場合は（２０２）（２０３）の各動き探索もあわせて行うため、Ｐスライスと比べて演算処理が膨大となるものである。

以下、本発明の実施形態を図１を参照して説明する。

図１は、本発明の第１の実施形態の画像符号化装置の構成ブロック図である。
図１に示す画像符号化装置は減算器（１００）、ＤＣＴ部（１０１）、量子化部（１０２）、逆量子化部（１０３）、ＩＤＣＴ部（１０４）、加算部（１０５）、デブロッキング部（１０６）、フレームメモリ（１０７）、動き探索・評価部（１０８）、可変長符号化部（１１３）、バッファ部（１１４）を備える。このうち、動き探索・評価部（１０８）は、片方向予測動き探索部（１０９）および（１１０）、双予測動き探索部（１１１）、動き探索評価部（１１２）を備える。上記の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。なお、図１の上記各部について、図１０に示す従来の画像符号化装置と同一番号を付したブロックは同一機能を有することとする。
以下に、図１に示した画像符号化装置の動作について説明する。

映像信号は図示しない画像ブロック分割部によって分割される。分割された入力画像ブロックは減算器（１００）において、後述の動き探索・評価部（１０８）より出力される参照画像ブロックとの減算処理が行われる。ＤＣＴ部（１０１）は減算器（１００）から出力される差分画像信号を画像ブロック毎に直交変換して量子化部（１０２）に出力する。量子化部（１０２）は入力されたＤＣＴ変換データを量子化する。量子化されたデータは可変長符号化部（１１３）に入力される。可変長符号化部（１１３）は入力データを可変長符号化する。可変長符号化された符号化データはバッファ部（１１４）に一旦格納される。バッファ部（１１４）は入力された符号化データを伝送回線にあわせて出力する。

一方、量子化部（１０２）によって生成された量子化データは逆量子化部（１０３）に入力される。逆量子化部（１０３）は量子化データを逆量子化する。逆量子化された画像ブロックデータはＩＤＣＴ部（１０４）に入力される。ＩＤＣＴ部（１０４）はこのデータを逆直交変換して差分ブロックとして復元する。復元された差分ブロックは加算器（１０５）を経由して局部復号画像が生成され、デブロッキング部（１０６）を経由してフレームメモリ（１０７）に格納される。デブロッキング部（１０６）は画像符号化時に発生したブロック歪を軽減させるためのフィルタ処理を行うものである。フレームメモリ（１０７）に格納された局部復号画像は、入力画像を画面間予測符号化する際に参照画像として読み出され、動き探索・評価部（１０８）に入力される。動き探索・評価部（１０８）は、入力された映像信号の画像ブロックに対してフレームメモリ（１０７）より読み出された画像を参照画像として動き探索を行い、符号化コストが最小となるブロックサイズと動きベクトルを決定する。動き探索・評価部（１０８）で選択されたブロックサイズおよび動きベクトルに相当する参照画像ブロックは上述の減算器（１００）に供給される。また、動き探索・評価部（１０８）で選択された動きベクトル情報は可変長符号化部（１１３）に供給され、量子化部（１０２）から出力される量子化データとともに可変長符号化される。

図２は上記の動き探索・評価部（１０８）の動作について、更に詳細を説明したものである。図２において、（２００）は参照画像Ａを参照画像とした場合の片方向予測動き探索部、（２１０）は参照画像Ｂを参照画像とした場合の片方向予測動き探索部、（２２０）は参照画像Ａと参照画像Ｂを参照画像とした場合の双予測動き探索部（２３０）は、片方向予測動き探索部（２００）、片方向予測動き探索部（２１０）、双予測動き探索部（２２０）の中から符号化コストが最小となる画面間予測符号化モード、ブロックサイズおよび動きベクトルを決定する動き探索評価部である。

片方向予測動き探索部（２００）において、（２０１）、（２０２）および（２０３）は参照画像ブロックＡを参照画像とした場合の動き探索のうち、それぞれブロックサイズをＭ１×Ｎ１、Ｍ２×Ｎ２、Ｍｍ×Ｎｎとして動き探索を行う動き探索部である。動き探索評価部（２０４）は動き探索部（２０１）〜（２０３）の中から、符号化コストが最小となるブロックサイズと動きベクトルを決定し、この時の符号化コストとともに動き探索評価部（２３０）へ出力する。また、上記で決定したブロックサイズを双予測動き探索部（２２０）へ出力する。同様に、片方向予測動き探索部（２１０）において、（２１１）、（２１２）および（２１３）は参照画像ブロックＢを参照画像とした場合の動き探索のうち、それぞれブロックサイズをＭ１×Ｎ１、Ｍ２×Ｎ２、Ｍｍ×Ｎｎとして動き探索を行う動き探索部である。動き探索評価部（２１４）は動き探索部（２１１）〜（２１３）の中から、符号化コストが最小となるブロックサイズと動きベクトルを決定し、この時の符号化コストとともに動き探索評価部（２３０）へ出力する。また、上記で決定したブロックサイズを双予測動き探索部（２２０）へ出力する。

双予測動き探索部（２２０）において、動き探索部（２２１）は、参照画像ブロックＡによる片方向予測動き探索部（２００）より通知されるブロックサイズに基づいて双予測動き探索を行うものである。動き探索部（２２２）は参照画像Ｂによる片方向予測動き探索部（２１０）より通知されるブロックサイズに基づいて双予測動き探索を行うものである。動き探索評価部（２２３）は双予測動き探索部（２２１）と双予測動き探索部（２２２）のうち符号化コストの小さい方のブロックサイズと動きベクトルを決定し、この時の符号化コストとともに動き探索評価部（２３０）へ出力する。

以上のように、本発明の第１の実施形態の画像符号化装置では、双予測動き探索を行うブロックサイズとして、参照画像ブロックＡによる片方予測での動き探索により選択されるブロックサイズと、参照画像ブロックＢによる片方予測での動き探索により選択されるブロックサイズの２通りに限定されるため、双予測の動き探索に要する符号化処理を軽減する効果がある。なお、本発明において双予測探索に用いるブロックサイズは片方向予測での動き探索において選択されるブロックサイズに基づいて決定するため、符号化効率についても出来るだけ高く維持することが可能となる。

次に、本発明の第２の実施形態を説明する。本発明の第２の実施形態の画像符号化装置の構成ブロック図は前記第１の実施形態における図１と同一であるため説明を省略する。以下では動き探索・評価部（１０８）の動作について、図３を参照して説明する。図３において、片方向予測動き探索部（２００）および（２１０）、動き探索評価部（２３０）については図２と同一であるため説明を省略する。双予測動き探索部（２２０）において、双予測動き探索ブロックサイズ設定部（２２４）は、片方向予測動き探索部（２００）と片方向予測動き探索部（２１０）より通知されるブロックサイズから、双予測探索を行う際のブロックサイズを決定する。動き探索部（２２５）は、双予測動き探索ブロックサイズ設定部（２２４）より通知されるブロックサイズに基づいて双予測動き探索を行い、符号化コストが最小となる時の動きベクトルと符号化コストを動き探索評価部（２３０）へ出力する。

上述の双予測動き探索ブロックサイズ設定部（２２４）においてブロックサイズを決定する具体的な一実施例を以下に示す。片方向予測動き探索部（２００）より通知されるブロックサイズをM_A×N_A、片方向予測動き探索部（２００）より通知されるブロックサイズをM_Ｂ×N_Ｂとした時、双予測を行うブロックサイズM_C×N_Cを以下のように求める。

式(3)において、GCM(a , b)はaとbの最大公約数を求める関数とする。

以上のように、本発明の第２の実施形態の画像符号化装置では、双予測動き探索を行うブロックサイズとして、参照画像ブロックＡによる片方予測での探索結果および参照画像ブロックＢによる片方予測での探索結果から１通りに限定されるため、双予測の動き探索に要する符号化処理を軽減する効果がある。なお、本発明における双予測探索に用いるブロックサイズについて、参照画像ブロックＡによる片方向予測で選択されるブロックサイズと参照画像ブロックＢによる片方向予測で選択されるブロックサイズが等しい場合は双予測で選択されるブロックサイズも上記片方向予測と同一ブロックサイズとなり、また、参照画像ブロックＡによる片方向予測で選択されるブロックサイズと参照画像ブロックＢによる片方向予測で選択されるブロックサイズが異なる場合においても、両ブロックサイズの最大公約数となるブロックサイズが選択される（例えば、参照画像ブロックＡで選択されるブロックサイズが１６×１６、参照画像ブロックＢで選択されるブロックサイズが１６×８の時は双予測動き探索に設定されるブロックサイズは１６×８）ことにより、片方向予測で符号化コストが最小となるブロックサイズを双予測の動き探索時のブロックサイズとして出来るだけ反映することが出来るため、符号化効率についても高く維持することが可能となる。

前記の第２の実施形態では、双予測動き探索ブロックサイズ設定部（２２４）の動作に関して、片方向予測動き探索部（２００）で選択されるブロックサイズと片方向予測動き探索部（２１０）で選択されるブロックサイズの全ての組み合わせについて双予測動き探索を行う設定動作例を示しているが、別の実施例として例えば図４のように設定することも可能である。

図４において、片方向予測動き探索部（２００）より通知されるブロックサイズ（M_A×N_A）と片方向予測動き探索部（２００）より通知されるブロックサイズ（M_Ｂ×N_Ｂ）が等しいか否かを判定する（図４のＳ４０１）。Ｓ４０１の判定において、ブロックサイズ（M_A×N_A）とブロックサイズ（M_Ｂ×N_Ｂ）が等しい場合（図４のＳ４０１の“ＹＥＳ“の場合）は双予測動き探索を行うか否かを示す識別フラグ（Bi-pred-flag）を１にセットする（（図４のＳ４０３）。次に、双予測動き探索を行う際のブロックサイズ（M_C×N_c）をセットする（図４のＳ４０４）。一方、Ｓ４０１の判定において、ブロックサイズ（M_A×N_A）とブロックサイズ（M_Ｂ×N_Ｂ）が等しくない場合（図４のＳ４０１の“ＮＯ“の場合）は双予測動き探索を行うか否かを示す識別フラグ（Bi-pred-flag）を０にセット（図４のＳ４０２）して処理を終了する。図３の双予測動き探索部（２２５）は上記の識別フラグ（Bi-pred-flag）を参照し、本フラグが１の場合はブロックサイズ（M_C×N_c）にて双予測動き探索を行う。一方、上記の識別フラグ（Bi-pred-flag）が０の場合は双予測動き探索を行わない。この場合、動き探索評価部（２３０）は、片方向予測動き探索部（２００）および片方向予測動き探索部（２１０）の中から符号化コストが最小となる画面間予測符号化モード、ブロックサイズおよび動きベクトルを決定する。

以上の例では片方向予測動き探索部（２００）で選択されるブロックサイズと片方向予測動き探索部（２１０）で選択されるブロックサイズが同一の場合のみ双予測動き探索を行うよう制御を行うものであるため、双予測の動き探索に要する符号化処理を更に軽減することが可能となる。

次に、本発明の第３の実施形態を説明する。本発明の第３の実施形態の画像符号化装置の構成ブロック図は前記第１の実施形態における図１と同一であるため説明を省略する。以下では動き探索・評価部（１０８）の動作について、図５を参照して説明する。図５において、片方向予測動き探索部（２００）および（２１０）、動き探索評価部（２３０）については図２と同一であるため説明を省略する。双予測動き探索部（２２０）において、双予測動き探索中心設定部（２４１）は、参照画像ブロックＡを参照画像とした場合の片方向予測動き探索部（２００）で選択された動きベクトルに基づいて、双予測動き探索を行う際に参照画像ブロックＡが属する参照画面内での動き探索の探索中心を設定する。双予測動き探索中心設定部（２４０）は、参照画像ブロックＢを参照画像とした場合の片方向予測動き探索部（２１０）で選択された動きベクトルに基づいて、双予測動き探索を行う際に参照画像ブロックＢが属する参照画面内での動き探索の探索中心を設定する。動き探索部（２４２）〜（２４４）は双予測動き探索中心設定部（２４０）、（２４１）より通知される探索中心を中心として、それぞれブロックサイズをＭ１×Ｎ１、Ｍ２×Ｎ２、Ｍｍ×Ｎｎとして動き探索を行う動き探索部である。動き探索評価部（２４５）は動き探索部（２４２）〜（２４４）のうち符号化コストが最小となるブロックサイズと動きベクトルを決定し、この時の符号化コストとともに動き探索評価部（２３０）へ出力する。

上記の双予測動き探索中心設定部（２４１）の動作について以下に更に詳細を説明する。なお、Ｈ．２６４／ＡＶＣでは図１６に示すように１６×１６〜４×４まで７種類のブロックサイズが使用可能であるが、以下では説明の簡易化のためブロックサイズを図１６のうち（１）１６×１６〜（４）８×８の４通りを適用した場合を例としている。また、１ＭＢ中に複数個のブロックが存在する場合に各ブロックを識別するため、図１６（１）〜（４）において０〜３のブロック番号を付する。ブロックサイズ＝１６×１６の時にはブロック番号は０のみとなる。ブロックサイズ＝１６×８の時には１ＭＢ中に１６×８のブロックが上下に２個存在するため、上側のブロックのブロック番号を０、下側のブロックのブロック番号を１とする。同様に、ブロックサイズ＝８×１６の時には１ＭＢ中に８×１６のブロックが左右に２個存在するため、左側のブロックのブロック番号を０、右側のブロックのブロック番号を１とする。ブロックサイズ＝８×８の時には１ＭＢ中には８×８のブロックが上下左右に４個存在するため、左上ブロックのブロック番号を０、右上ブロックのブロック番号を１、左下ブロックのブロック番号を２、右下ブロックのブロック番号を３とする。

図６は、片方向予測動き探索部（２００）で選択されたブロックサイズを１６×１６、動きベクトルを
動きベクトル（ｘ、ｙ）＝（ＭＶ０ｘ、ＭＶ０ｙ） ［ブロック番号＝０］
とした場合において、双予測動き探索部（２４２）〜（２４４）で動き探索を行う際の探索中心点を設定する動作例を示したものである。

また、図７は、片方向予測動き探索部（２００）で選択されたブロックサイズを１６×８、ブロック番号＝０、ブロック番号＝１における動きベクトルをそれぞれ、
動きベクトル（ｘ、ｙ）＝（ＭＶ１ｘ、ＭＶ１ｙ） ［ブロック番号＝０］
動きベクトル（ｘ、ｙ）＝（ＭＶ２ｘ、ＭＶ２ｙ） ［ブロック番号＝１］
とした場合において、双予測動き探索部（２４２）〜（２４４）で動き探索を行う際の探索中心点を設定する動作例を示したものである。図７において、
ＭＶａｖｅ１ｘ＝（ＭＶ１ｘ＋ＭＶ２ｘ）／２
ＭＶａｖｅ１ｙ＝（ＭＶ１ｙ＋ＭＶ２ｙ）／２
である。

また、図８は、片方向予測動き探索部（２００）で選択されたブロックサイズを８×１６、ブロック番号＝０、ブロック番号＝１における動きベクトルをそれぞれ、
動きベクトル（ｘ、ｙ）＝（ＭＶ３ｘ、ＭＶ３ｙ） ［ブロック番号＝０］
動きベクトル（ｘ、ｙ）＝（ＭＶ４ｘ、ＭＶ４ｙ） ［ブロック番号＝１］
とした場合において、双予測動き探索部（２４２）〜（２４４）で動き探索を行う際の探索中心点を設定する動作例を示したものである。図８において、
ＭＶａｖｅ２ｘ＝（ＭＶ３ｘ＋ＭＶ４ｘ）／２
ＭＶａｖｅ２ｙ＝（ＭＶ３ｙ＋ＭＶ４ｙ）／２
である。

また、図９は、片方向予測動き探索部（２００）で選択されたブロックサイズを８×８、ブロック番号＝０〜３における動きベクトルをそれぞれ、
動きベクトル（ｘ、ｙ）＝（ＭＶ５ｘ、ＭＶ５ｙ） ［ブロック番号＝０］
動きベクトル（ｘ、ｙ）＝（ＭＶ６ｘ、ＭＶ６ｙ） ［ブロック番号＝１］
動きベクトル（ｘ、ｙ）＝（ＭＶ７ｘ、ＭＶ７ｙ） ［ブロック番号＝２］
動きベクトル（ｘ、ｙ）＝（ＭＶ８ｘ、ＭＶ８ｙ） ［ブロック番号＝３］
とした場合において、双予測動き探索部（２４２）〜（２４４）で動き探索を行う際の探索中心点を設定する動作例を示したものである。図９において、
ＭＶａｖｅ３ｘ＝（ＭＶ５ｘ＋ＭＶ６ｘ＋ＭＶ７ｘ＋ＭＶ８ｘ）／４
ＭＶａｖｅ３ｙ＝（ＭＶ５ｙ＋ＭＶ６ｙ＋ＭＶ７ｙ＋ＭＶ８ｙ）／４
ＭＶａｖｅ４ｘ＝（ＭＶ５ｘ＋ＭＶ６ｘ）／２
ＭＶａｖｅ４ｙ＝（ＭＶ５ｙ＋ＭＶ６ｙ）／２
ＭＶａｖｅ５ｘ＝（ＭＶ７ｘ＋ＭＶ８ｘ）／２
ＭＶａｖｅ５ｙ＝（ＭＶ７ｙ＋ＭＶ８ｙ）／２
ＭＶａｖｅ６ｘ＝（ＭＶ５ｘ＋ＭＶ７ｘ）／２
ＭＶａｖｅ６ｙ＝（ＭＶ５ｙ＋ＭＶ７ｙ）／２
ＭＶａｖｅ７ｘ＝（ＭＶ６ｘ＋ＭＶ８ｘ）／２
ＭＶａｖｅ７ｙ＝（ＭＶ６ｙ＋ＭＶ８ｙ）／２
である。

上記では双予測動き探索中心設定部（２４１）の動作について説明したが、双予測動き探索中心設定部（２４０）についても同様である。

以上のように、本発明の第３の実施形態の画像符号化装置では、双予測動き探索を行う際の探索中心点を片方向予測動き探索の結果から設定しているため、双予測動き探索時の探索範囲を片方向予測動き探索時の探索範囲より小さく設定することが可能となる。これにより双予測動き探索に要する符号化処理を軽減する効果がある。また、本発明において双予測探索の探索中心点は片方向予測での動き探索において選択される動きベクトル情報に基づいて決定するため、符号化効率についても出来るだけ高く維持することが可能となる。

なお、上記第１および第２の実施形態に記載した画像符号化装置と上記第３の実施形態に記載の画像符号化装置を組み合わせることにより、具体的には、片方向予測での動き探索の結果から双予測動き探索を行う際のブロックサイズおよび動き探索中心点を決定する手法を用いても同様の効果を得ることが可能である。

本発明の第１の実施形態の画像符号化装置の構成ブロック図である。 図１における動き探索部の詳細を示す構成ブロック図である。 本発明の第２の実施形態における動き探索部の詳細を示す構成ブロック図である。 図３における双予測動き探索ブロックサイズ設定部の処理の一例を示すフローチャートである。 本発明の第３の実施形態における動き探索部の詳細を示す構成ブロック図である。 図５における双予測動き探索中心設定部の処理動作の一具体例の説明図である。 図５における双予測動き探索中心設定部の処理動作の一具体例の説明図である。 図５における双予測動き探索中心設定部の処理動作の一具体例の説明図である。 図５における双予測動き探索中心設定部の処理動作の一具体例の説明図である。 従来の画像符号化装置の構成ブロック図である。 図１０における動き探索部の詳細を示す構成ブロック図である。 １画面のスライスによるデータ構造を模式的に示す説明図である。 Ｈ．２６４／ＡＶＣにおける双予測動作を示す説明図である。 Ｈ．２６４／ＡＶＣにおける双予測動作を示す説明図である。 Ｈ．２６４／ＡＶＣにおける双予測動作を示す説明図である。 Ｈ．２６４／ＡＶＣにおける動き補償画面間予測符号化時のブロックサイズを示す説明図である。

符号の説明

１００…減算器
１０１…ＤＣＴ部
１０２…量子化部
１０３…逆量子化部
１０４…ＩＤＣＴ部
１０５…加算器
１０６…デブロッキング部
１０７…フレームメモリ
１０８…動き探索・評価部
１０９，１１０…片方向予測動き探索部
１１１…双予測動き探索部
１１２…動き探索評価部
１１３…可変長符号化部
１１４…バッファ部
２００，２１０…片方向予測動き探索部
２２０…双予測動き探索部
２０１，２０２，２０３，２１１，２１２，２１３，２２１，２２２，２２５，２４２，２４３，２４４…動き探索部
２０４，２１４，２２３，２３０…動き探索評価部
２２４…双予測動き探索ブロックサイズ設定部
２４０，２４１…双予測動き探索中心設定部

Claims (12)

1. 片方向予測と、双予測とを含む符号化モードを備え、符号化コストから用いる符号化モードをブロック単位に決めて、符号化を行う画像符号化装置において、
   該ブロック単位ごとに、これを１以上の所定のブロックサイズに分割し、
   所定のブロックサイズ毎に第１参照画像から第１片方向予測を行い、符号化コストを求め、該第１片方向予測において最小符号化コストとなる第１ブロックサイズと該最小符号化コストである第１符号化コストとを求め、
   所定のブロックサイズ毎に第２参照画像から第２片方向予測を行い、符号化コストを求め、該第２片方向予測において最小符号化コストとなる第２ブロックサイズと該最小符号化コストである第２符号化コストとを求め、
   前記第１ブロックサイズと前記第２ブロックサイズを基に、前記第１参照画像と前記第２参照画像を参照する双予測で、所定のブロックサイズから最小符号化コストとなる第３ブロックサイズと該最小符号化コストである第３符号化コストとを求め、
   前記第１片方向予測、前記第２片方向予測、双方向予測のうちで、符号化コストが最小となる、画面間予測符号化モードとブロックサイズとを、前記各符号化モードにおける最小符号化コストである第１符号化コスト、第２符号化コスト及び第３符号化コストから求めることを特徴とする画像符号化装置。
2. 請求項１において、
   前記第３ブロックサイズは、前記第1ブロックサイズ又は前記第２ブロックサイズであることを特徴とする画像符号化装置。
3. 請求項１において、
   前記双予測は、過去の参照画像と未来の参照画像を参照する双方向予測であり、
   前記第１片方向予測は、前記過去の参照画像を参照し、
   前記第２片方向予測は、前記未来の参照画像を参照することを特徴とする画像符号化装置。
4. 請求項１において、
   前記第３ブロックサイズは、前記第１ブロックサイズと前記第２ブロックサイズの最大公約数となるブロックサイズであることを特徴とする画像符号化装置。
5. 請求項１において、
   前記双予測は、前記第１ブロックサイズと前記第２ブロックサイズとが同じ場合に行うことを特徴とする画像符号化装置。
6. 請求項１において、
   前記双予測は、前記第１ブロックサイズと前記第２ブロックサイズとが異なる場合に行わないことを特徴とする画像符号化装置。
7. 片方向予測と、双予測とを含む符号化モードを備え、符号化コストから用いる符号化モードをブロック単位に決めて符号化を行う画像符号化方法において、
   該ブロック単位ごとに、これを１以上の所定のブロックサイズに分割し、
   所定のブロックサイズ毎に第１参照画像から第１片方向予測を行い、符号化コストを求め、該第１片方向予測において最小符号化コストとなる第１ブロックサイズと該最小符号化コストである第１符号化コストとを求め、
   所定のブロックサイズ毎に第２参照画像から第２片方向予測を行い、符号化コストを求め、該第２片方向予測において最小符号化コストとなる第２ブロックサイズと該最小符号化コストである第２符号化コストとを求め、
   前記第１ブロックサイズと前記第２ブロックサイズを基に、前記第１参照画像と前記第２参照画像を参照する双予測で、所定のブロックサイズから最小符号化コストとなる第３ブロックサイズと該最小符号化コストである第３符号化コストとを求め、
   前記第１片方向予測、前記第２片方向予測、双方向予測のうちで、符号化コストが最小となる、画面間予測符号化モードとブロックサイズとを、前記各符号化モードにおける最小符号化コストである第１符号化コスト、第２符号化コスト及び第３符号化コストから求めることを特徴とする画像符号化方法。
8. 請求項７において、
   前記第３ブロックサイズは、前記第1ブロックサイズ又は前記第２ブロックサイズであることを特徴とする画像符号化方法。
9. 請求項７において、
   前記双予測は、過去の参照画像と未来の参照画像を参照する双方向予測であり、
   前記第１片方向予測は、前記過去の参照画像を参照し、
   前記第２片方向予測は、前記未来の参照画像を参照することを特徴とする画像符号化方法。
10. 請求項７において、
    前記第３ブロックサイズは、前記第１ブロックサイズと前記第２ブロックサイズの最大公約数となるブロックサイズであることを特徴とする画像符号化方法。
11. 請求項７において、
    前記双予測は、前記第１ブロックサイズと前記第２ブロックサイズとが同じ場合に行うことを特徴とする画像符号化方法。
12. 請求項７において、
    前記双予測は、前記第１ブロックサイズと前記第２ブロックサイズとが異なる場合に行わないことを特徴とする画像符号化方法。

Images