JP2009111647A - 動きベクトル検出装置および動きベクトル検出方法 - Google Patents

Abstract

【課題】画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることができる動きベクトル検出装置および動きベクトル検出方法を提供する。
【解決手段】符号化対象ピクチャと前記複数の参照ピクチャの画素値を記憶している画像データメモリ１０１と、逐次探索の初期探索開始位置として符号化対象としているブロックに対して０ベクトルの指し示す位置以外も選択し得る初期探索開始位置決定部１０２と、逐次探索により動きベクトル探索を行なう動き探索部１０３とを有し、初期探索開始位置決定部１０２は、符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とする。
【選択図】図１

Description

本発明は、画像を光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディア上に圧縮記録する画像圧縮符号化装置において、符号化対象画像に含まれる符号化対象ブロックの動きベクトルを検出する装置に関するものであり、特にＨ．２６４符号化方式の符号化装置における動きベクトルを検出する装置に関する。

デジタル映像技術の発展と共に、増大するデータ量を処理するために、データを圧縮する技術がデジタル映像データに使用され、発展しつつある。その発展は、映像データの特性を生かした映像データに特化した圧縮技術となって現れている。また、コンピュータなどの情報処理機器の処理能力の向上に伴い、圧縮技術における複雑な演算も可能となり、映像データの圧縮率は大幅に向上しつつある。例えば、衛星、地上波デジタルハイビジョン放送で採用されている圧縮技術はＭＰＥＧ２と呼ばれる方式であり、衛星デジタルハイビジョン放送はＭＰＥＧ２によって映像データを約１／３０に圧縮している。

ＭＰＥＧ２の次の映像圧縮技術として規格化されたＭＰＥＧ４ ＡＶＣ／Ｈ．２６４は、ＭＰＥＧ２の約２倍の圧縮率を実現すると言われている。ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４は、光ディスクの規格であるＢｌｕ−ｒａｙや、ハイビジョン映像をビデオカメラで記録するための規格であるＡＶＣＨＤの動画圧縮方式としても採用されており、幅広い分野での利用が期待されている。しかし、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４では、多くの圧縮技術を実装し、それらを組み合わせることで高い圧縮率を実現している（例えば、非特許文献１参照）。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行なう。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方又は後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行ない、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行なう。ここで、ピクチャとは１枚の画面を表す用語である。

予測画像を作成せずに画面内予測符号化を行なうものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照して画面間予測符号化を行なうものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行なうことのできるものをＢピクチャと呼ぶ。Ｂピクチャは、表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照ピクチャの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、動きベクトル）を検出し、当該動き量を考慮した予測を行なうことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を削減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

動きベクトルはブロック単位で検出されており、具体的には、符号化対象ピクチャ側のブロックを固定しておき、参照ピクチャ側のブロックを探索範囲内で移動させ、符号化対象ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。この動きベクトルを探索する処理を、動きベクトル検出と呼ぶ。

動きベクトル検出では、対象ブロックを参照ピクチャの任意の位置のブロックと比較し、最も似通ったブロックの位置を検出する。似通っているかどうかの判断としては、対象ブロックと参照ブロックの比較誤差を使用するのが一般的であり、特に絶対値差分和（ＳＡＤ：Ｓｕｍｍｅｄ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）がよく用いられる。なお、参照ピクチャ全体の中で参照ブロックを探索すると演算量が膨大となるため、参照ピクチャの中で探索する範囲を絞り込み、その絞り込んだ範囲を探索範囲と呼ぶ。

動きベクトル検出は、動画像符号化処理の中で、最も演算量が多い処理として知られている。従来から、動きベクトル検出の演算量を削減する探索方法が多く検討されており、例えば逐次探索がある（例えば、特許文献１参照）。逐次探索では、探索開始位置となる参照ブロックとその周辺の参照ブロックについてＳＡＤを求め、ＳＡＤの最も小さい位置を次のステップの探索開始位置とし、再び参照ブロックとその周辺の参照ブロックについてＳＡＤを求めるという処理を繰り返し、現在のステップの探索開始位置のＳＡＤが最小となるまで続ける。このため、初期探索開始位置と動きベクトルとして検出すべき位置の間にＳＡＤの極小点となる位置が存在した場合、ＳＡＤの極小点となる位置で探索が打ち切られてしまい、動きベクトルとして検出すべき位置まで辿り着けないという課題がある。この課題を解決するためには、初期探索開始位置を動きベクトルとして検出すべき位置からできる限り近い位置に設定する必要がある。

初期探索開始位置としては、予測動きベクトル（以下、ＰＭＶ）の指し示す位置や、過去に符号化した同一位置関係にあるブロックの動きベクトルから求めた位置や、０ベクトル（符号化対象ブロックと同じ位置関係にあること）の指し示す位置を用いることが多い。ＰＭＶの指し示す位置を初期探索開始位置とすることで、画面全体（又は画面の部分領域）で一様な動きをしているシーンにおいて動きベクトルの検出精度を上げることができる。また、過去に符号化した同一位置関係にあるブロックの動きベクトルから求めた位置を初期探索開始位置とすることで、等速な動きをしているシーンにおいて動きベクトルの検出精度を上げることができる。また、０ベクトルの指し示す位置を初期探索開始位置とすることで、静止領域の動きベクトルの検出精度を上げることができるため、字幕や動いている物体を追跡する際に効果的である。また、ＰＭＶの指し示す位置と、０ベクトルの指し示す位置の両方を初期探索開始位置とする技術が開示されている（例えば、特許文献２参照）。
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ 特開２００５−２７８１５６号公報 特開２００７−９７０２８号公報

しかしながら、上記特許文献２の方法では、各参照ピクチャ全てについて、ＰＭＶの指し示す位置と０ベクトルの指し示す位置の両方を初期探索開始位置とする探索を行なっているため、符号化対象ブロックあたりで参照ピクチャの総数×２回の探索を行なっており、演算量が大きくなってしまうという課題がある。

本発明は、かかる問題を解決するためになされたものであり、画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることができる動きベクトル検出装置および動きベクトル検出方法を提供することを目的とする。

上記目的を達成するために、本発明に係る動きベクトル検出方法は、複数の参照ピクチャを用いて、逐次探索により動きベクトル探索を行なう動きベクトル検出方法であって、前記逐次探索の初期探索開始位置として符号化対象としているブロックに対して０ベクトルの指し示す位置以外も選択し得る初期探索開始位置決定ステップと、前記逐次探索により動きベクトル探索を行なう動き探索ステップとを有し、前記初期探索開始位置決定ステップでは、符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とする。

このように、符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とすることで、入力画像に静止領域が含まれているときの符号化効率を高めることができる。また、上記特許文献２のように各参照ピクチャに対して複数の初期探索開始位置を設定して探索を行なうことにより符号化効率を高める方法に比べて回路規模、演算量を削減することができる。したがって、画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることが可能となる。

好ましくは、前記初期探索開始位置決定ステップでは、同一パリティの関係にある前記参照ピクチャのうち、前記符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャの初期探索開始位置を０ベクトルとする。

このように、符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャのうち、符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とすることで、入力画像の動いている領域の符号化効率を下げることなく静止領域の符号化効率を高めることができる。したがって、画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることが可能となる。

また好ましくは、前記初期探索開始位置決定ステップでは、同一パリティの関係にある前記参照ピクチャのうち、前記参照ピクチャの枚数が多い方の予測方向に含まれる参照ピクチャの初期探索開始位置を０ベクトルとする。

このように、符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャのうち、参照ピクチャの枚数が多い方の予測方向に含まれる参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とすることで、入力画像の動いている領域の符号化効率を下げることなく静止領域の符号化効率を高めることができる。したがって、画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることが可能となる。

さらに好ましくは、前記初期探索開始位置決定ステップでは、前記動き探索ステップから得られた動きベクトル情報に応じて、前記参照ピクチャの初期探索開始位置を０ベクトルとするかどうかを決定する。

このように、動き探索ステップから得られた動きベクトル情報に応じて、参照ピクチャの初期探索開始位置を０ベクトルとするかどうかを決定することで、入力画像に静止領域が含まれているときのみ、参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とすることで、入力画像の動いている領域の符号化効率を下げることなく静止領域の符号化効率を高めることができる。したがって、画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることが可能となる。

なお、本発明は、このような手段を備える動きベクトル検出装置として実現することができるだけでなく、動きベクトル検出装置に含まれる手段をステップとする動きベクトル検出方法として実現したり、動きベクトル検出装置に含まれる手段を備える集積回路として実現したり、動きベクトル検出装置に含まれる手段としてコンピュータを機能させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。

本発明によると、動きベクトル検出処理の演算量、および消費電力を削減することができる。さらに、符号化効率の向上、高速化、および低消費電力化を実現することができる。

以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。

図１は、本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。本実施の形態の画像符号化装置では、入力画像が入力され、Ｈ．２６４符号化したストリームとして出力する。

また、Ｈ．２６４符号化では１つのピクチャを１つ又は複数のスライスに分割し、そのスライスを処理単位とする。本実施の形態のＨ．２６４符号化では、１つのピクチャが１つのスライスであるとする。

画像符号化装置１００は、画像データメモリ１０１と、符号化部１０４と、動きベクトル検出部１０５を備えている。

画像データメモリ１０１は、請求項に記載の画像記憶手段に相当し、符号化対象ピクチャおよび参照ピクチャの画像データを記憶している。符号化対象ピクチャの画像データは、符号化の対象となる画面の画像データである。また、参照ピクチャの画像データは、動きベクトルの検出の際に参照される画面の画像データであり、ローカルデコードされた画面の画像データである。例えば、符号化対象ピクチャおよび参照ピクチャは、ともに１９２０画素×１０８８画素で構成される画面である。また、画像データは、画面に含まれる画素の画素値である。

符号化部１０４は、動画像をブロック単位で符号化し、符号化されたストリームを出力する。符号化部１０４は、入力画像とローカルデコード画面の画像データ、および動きベクトル検出部１０５により検出された動きベクトルを受け取る。これらを受けた符号化部１０４は、ローカルデコード画面の画像データおよび動きベクトル検出部１０５により検出された動きベクトルから、ブロック単位で動き補償をした予測画像を生成し、その予測画像と入力画像との差分の画像データおよび動きベクトルの符号化処理を行ない、符号化されたストリームを出力する。

動きベクトル検出部１０５は、符号化対象ブロックの動きベクトルを検出する部位である。動きベクトル検出部１０５は、初期探索開始位置決定部１０２、動き探索部１０３を備える。

初期探索開始位置決定部１０２は、請求項に記載の初期探索開始位置決定手段に相当し、動き探索部１０３の初期探索開始位置を決定する。

動き探索部１０３は、請求項に記載の動き探索手段に相当し、初期探索開始位置決定部１０２で決定した位置を初期探索開始位置として、画像データメモリ１０１に含まれる複数の参照ピクチャから符号化対象ブロックに最も近似する画像ブロックの位置を探索し、符号化対象ブロックの動きベクトルを検出する。なお、符号化対象ブロックは、動き補償の対象となる画像の単位であり、符号化対象ピクチャに含まれる画像の一部である。符号化対象ブロックは、例えば、１６画素×１６画素、又は１６画素×８画素、又は８画素×１６画素、又は８画素×８画素、又は８画素×４画素、又は４画素×８画素、又は４画素×４画素で構成される。

図２は、本発明の実施の形態に係る画像符号化装置１００に含まれる符号化部１０４の構成を示すブロック図である。符号化部１０４は、入力画像、ローカルデコード画像および動きベクトル検出部１０５により検出された動きベクトルを用いて、符号化された画像データのストリームを出力する。

符号化部１０４は、面内予測部２０１、動き補償部２０２、減算器２０３、直交変換部２０４、量子化部２０５、逆量子化部２０６、逆直交変換部２０７、加算器２０８、スイッチ２０９、およびエントロピー符号化部２１０を備える。

画像データメモリ１０１および動きベクトル検出部１０５は、図１および図２に共通する部位であるため同じ参照符号を付しており、ここでの説明は省略する。

入力画像は、圧縮前の画像データである。入力画像は、面内予測部２０１、画像データメモリ１０１、および減算器２０３に入力される。

動き補償部２０２は、動きベクトルとローカルデコード画像とを用いて予測画像を生成する。動き補償部２０２は、動きベクトル検出部１０５によって検出された動きベクトルを取得し、画像データメモリ１０１に格納されているローカルデコード画像から予測画像の生成に最適な画像領域を取り出し、取り出した画像領域に動きベクトルを適用して予測画像を生成する。

面内予測部２０１は、同一画面内の画素値を用いて予測画像を生成する。面内予測部２０１は、入力画像およびローカルデコード画像の画素値を用いて面内予測を行なうことにより、予測画像を生成する。

スイッチ２０９は、データの入力元の切り替えを行なう。スイッチ２０９は、減算器２０３および加算器２０８に入力するデータを、面内予測および面間予測のいずれかに切り替える。

減算器２０３は、入力された二つの画像の差分を計算する。減算器２０３は、入力画像に含まれる画素の画素値および予測画像に含まれる画素の画素値の差分を算出し、直交変換部２０４に出力する。

直交変換部２０４は、画像データを周波数係数に変換する。直交変換部２０４は、減算器２０３より入力された差分値を周波数係数に変換し、量子化部２０５に出力する。

量子化部２０５は、周波数係数の量子化を行なう。量子化部２０５は、直交変換部２０４から入力された周波数係数を量子化し、量子化値をエントロピー符号化部２１０に出力する。

逆量子化部２０６は、逆量子化を行なう。逆量子化部２０６は、量子化部２０５から入力された量子化値を逆量子化することにより周波数係数に復元し、逆直交変換部２０７に出力する。

逆直交変換部２０７は、周波数係数を画素値に変換する。逆直交変換部２０７は、逆量子化部２０６から入力された周波数係数を逆周波数変換することで画素差分値に変換し、その画素差分値を加算器２０８に出力する。

加算器２０８は、入力された２つの画像データの加算することにより画像データを生成する。加算器２０８は、スイッチ２０９の切り換えに従って面内予測部２０１および動き補償部２０２のいずれかから出力される予測画像と画素差分値とを加算し、ローカルデコード画像を生成する。

エントロピー符号化部２１０は、エントロピー符号化の処理を行なう。エントロピー符号化部２１０は、量子化値および動きベクトル等をエントロピー符号化し、それにより得られるストリームを出力する。

次に、このように構成された画像符号化装置１００の動きベクトル検出部１０５において実行される処理について、図３、図４、図５を参照して説明する。

まず、初期探索開始位置決定部１０２は動き探索部１０３の初期探索開始位置を決定する。初期探索開始位置決定部１０２の詳細は後述する。次に、符号化対象ピクチャの符号化対象ブロックの画素データと、参照ピクチャの画素データのうち探索に必要な画素データが画像データメモリ１０１から読み出される。次に、動き探索部１０３は参照ピクチャの探索範囲内で逐次探索を実行し、符号化対象ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルを検出する。

図３は、符号化対象ピクチャをＰピクチャとして符号化する場合の参照関係の一例を示す図である。ピクチャＩ０はＩピクチャとして符号化するピクチャ、ピクチャＰ１、ピクチャＰ６およびピクチャＰ７はＰピクチャとして符号化するピクチャ、ピクチャＢ２、ピクチャＢ３、ピクチャＢ４およびピクチャＢ５はＢピクチャとして符号化するピクチャを表しており、表示時間順序で表示されている。矢印は、矢印の根元にあたるピクチャが符号化対象ピクチャであるときに、矢印の先にあたるピクチャを参照ピクチャとすることを示す。

図３に示すように、初期探索開始位置決定部１０２は、符号化対象ピクチャをＰピクチャとして符号化する場合（図３のピクチャＰ６、ピクチャＰ７が該当）、トップフィールドであるピクチャＰ６は参照ピクチャとしてピクチャＩ０、ピクチャＰ１を選ぶ。そして、同一パリティの関係にある参照ピクチャＩ０の初期探索開始位置を０ベクトルの指し示す位置とする。参照ピクチャＰ１の初期探索開始位置にはＰＭＶの指し示す位置を選んでもよいし、過去に符号化した同一位置関係にあるブロックの動きベクトルから求めた位置を選んでもよいし、その他の方法で決めた位置を選んでもよい。また、ボトムフィールドであるピクチャＰ７は参照ピクチャとしてピクチャＰ１、ピクチャＰ６を選ぶ。そして、同一パリティの関係にある参照ピクチャＰ１の初期探索開始位置を０ベクトルの指し示す位置とする。参照ピクチャＰ６の初期探索開始位置にはＰＭＶの指し示す位置を選んでもよいし、過去に符号化した同一位置関係にあるブロックの動きベクトルから求めた位置を選んでもよいし、その他の方法で決めた位置を選んでもよい。

なお、同一パリティの関係にあるとは、同じフィールド関係にあることを意味し、例えば符号化対象ピクチャがトップフィールドであれば、同一パリティの参照ピクチャもトップフィールドに属する。

また、図４は符号化対象ピクチャが時間的にＰピクチャの次に位置するフレームに属し、かつＢピクチャとして符号化する場合の、参照関係の一例を示す図である。図の中の記号、矢印の意味は図３と同様である。

図４に示すように、初期探索開始位置決定部１０２は、符号化対象ピクチャが時間的にＰピクチャの次に位置するフレームに属し、かつＢピクチャとして符号化する場合（図４のピクチャＢ２、ピクチャＢ３が該当）、トップフィールドであるピクチャＢ２は、参照ピクチャとしてピクチャＩ０、ピクチャＰ１又はピクチャＰ６を選ぶ。そして、同一パリティの関係にある参照ピクチャのうちで、符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャＰ６の初期探索開始位置を０ベクトルの指し示す位置とする。参照ピクチャＩ０、参照ピクチャＰ１の初期探索開始位置にはＰＭＶの指し示す位置を選んでもよいし、過去に符号化した同一位置関係にあるブロックの動きベクトルから求めた位置を選んでもよいし、その他の方法で決めた位置を選んでもよい。また、ボトムフィールドであるピクチャＢ３は、参照ピクチャとしてピクチャＰ１、ピクチャＢ２又はピクチャＰ７を選ぶ。そして、同一パリティの関係にある参照ピクチャのうちで、符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャＰ７の初期探索開始位置を０ベクトルの指し示す位置とする。参照ピクチャＰ１、参照ピクチャＢ２の初期探索開始位置にはＰＭＶの指し示す位置を選んでもよいし、過去に符号化した同一位置関係にあるブロックの動きベクトルから求めた位置を選んでもよいし、その他の方法で決めた位置を選んでもよい。

また、図５は符号化対象ピクチャが時間的にＰピクチャの直前に位置するフレームに属し、かつＢピクチャとして符号化する場合の、参照関係の一例を示す図である。図の中の記号、矢印の意味は図３と同様である。

図５に示すように、初期探索開始位置決定部１０２は、符号化対象ピクチャが時間的にＰピクチャの直前に位置するフレームに属し、かつＢピクチャとして符号化する場合（図６のピクチャＢ４、ピクチャＢ５が該当）、トップフィールドであるピクチャＢ４は参照ピクチャとしてピクチャＩ０、ピクチャＰ６、ピクチャＰ７を選ぶ。そして、同一パリティの関係にある参照ピクチャのうちで、符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャＩ０の初期探索開始位置を０ベクトルの指し示す位置とする。参照ピクチャＰ６、参照ピクチャＰ７の初期探索開始位置にはＰＭＶの指し示す位置を選んでもよいし、過去に符号化した同一位置関係にあるブロックの動きベクトルから求めた位置を選んでもよいし、その他の方法で決めた位置を選んでもよい。また、ボトムフィールドであるピクチャＢ５は、参照ピクチャとしてピクチャＢ４、ピクチャＰ１又はピクチャＰ７を選ぶ。そして、同一パリティの関係にある参照ピクチャのうちで、符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャＰ１の初期探索開始位置を０ベクトルの指し示す位置とする。参照ピクチャＢ４、参照ピクチャＰ７の初期探索開始位置にはＰＭＶの指し示す位置を選んでもよいし、過去に符号化した同一位置関係にあるブロックの動きベクトルから求めた位置を選んでもよいし、その他の方法で決めた位置を選んでもよい。

以上のように本実施の形態では、複数の参照ピクチャのうちで、符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャのうち、符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とする。これは符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャが、動いている部分では符号化対象ピクチャとの相関が少ないため参照ピクチャとして選ばれにくい傾向にあるからである。これにより、入力画像の動いている領域の符号化効率を下げることなく静止領域の符号化効率を高めることができる。したがって、画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることが可能となる。

以上、本発明の実施の形態について説明したが、本発明はこれに限定されるものではない。

例えば、本実施の形態では、符号化対象ピクチャをＢピクチャとして符号化する場合に、同一パリティの関係にある参照ピクチャのうちで、符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャの初期探索開始位置を０ベクトルの指し示す位置としたが、参照ピクチャの枚数が多い方の予測方向に含まれる参照ピクチャの初期探索開始位置を０ベクトルとしてもよい。その場合、初期探索開始位置決定部１０２は、符号化対象ピクチャがピクチャＢ２である場合、参照ピクチャＩ０の初期探索開始位置を０ベクトルの指し示す位置とする。また、符号化対象ピクチャがＢ３である場合、参照ピクチャＰ１の初期探索開始位置を０ベクトルの指し示す位置とする。また、符号化対象ピクチャがピクチャＢ４である場合、参照ピクチャＰ６の初期探索開始位置を０ベクトルの指し示す位置とする。また、符号化対象ピクチャがＢ５である場合、参照ピクチャＰ１の初期探索開始位置を０ベクトルの指し示す位置とする。

また、本実施の形態では、少なくとも１つの参照ピクチャの初期探索開始位置について必ず０ベクトルの指し示す位置となるように決定したが、符号化部１０４の出力した動きベクトル情報を用いて適応的に０ベクトルの指し示す位置を初期探索開始位置にするかどうかを決めてもよい。その場合は例えば、符号化した動きベクトルのうち、０ベクトルに近いベクトルの本数を集計し、その本数が一定値以上の場合のみ少なくとも１つの参照ピクチャの初期探索開始位置を０ベクトルの指し示す位置としてもよい。

また、本実施の形態では１つの参照ピクチャの初期探索開始位置について０ベクトルの指し示す位置となるように決定したが、０ベクトルの指し示す位置を初期探索開始位置とする参照ピクチャを２枚としてもよいし、それ以上の枚数になるよう設定してもよい。

また、本実施の形態では最大３枚を参照ピクチャが存在する場合で説明したが、でも最大４枚の参照ピクチャが存在してもよいし、最大２枚の参照ピクチャが存在してもよい。

また、本実施の形態では符号化方式としてＨ．２６４を用いた場合を説明したが、例えば、符号化方式としてＭＰＥＧ１、ＭＰＥＧ２、ＶＣ１を用いてもよい。

このように、本発明の動きベクトル検出装置は、初期探索開始位置決定部１０２において、初期探索開始位置を決定し、動き探索部１０３における逐次探索の初期探索開始位置とする。このため、複数の参照ピクチャのうちで、符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とすることで、入力画像の動いている領域の符号化効率を下げることなく静止領域の符号化効率を高めることができる。したがって、画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることが可能となる。

さらに例えば、図１、図２に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されてもよいし、複数チップ化されてもよい（例えばメモリ以外の機能ブロックが１チップ化されていてもよい。）。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行なってもよい。バイオ技術の適応等が可能性として有り得る。

また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、別構成としてもよい。

本発明の動きベクトル検出装置によれば、より小さな回路規模、消費電力でＨ．２６４による映像の符号化を実現することができ、パーソナルコンピュータや、ＨＤＤレコーダ、ＤＶＤレコーダなどの他、カメラ付き携帯電話機等に適用できる。

本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。 本発明の実施の形態に係る画像符号化装置の画像符号化部の詳細な構成を示すブロック図である。 実施の形態に係る符号化対象ピクチャの参照関係の第一の例を示す図である。 実施の形態に係る符号化対象ピクチャの参照関係の第二の例を示す図である。 実施の形態に係る符号化対象ピクチャの参照関係の第三の例を示す図である。

符号の説明

１００ 画像符号化装置
１０１ 画像データメモリ
１０２ 初期探索開始位置決定部
１０３ 動き探索部
１０４ 符号化部
１０５ 動きベクトル検出部
２０１ 面内予測部
２０２ 動き補償部
２０３ 減算器
２０４ 直交変換部
２０５ 量子化部
２０６ 逆量子化部
２０７ 逆直交変換部
２０８ 加算器
２０９ スイッチ
２１０ エントロピー符号化部

Claims (9)

1. 複数の参照ピクチャを用いて、逐次探索により動きベクトル探索を行なう動きベクトル検出方法であって、
   前記逐次探索の初期探索開始位置として符号化対象としているブロックに対して０ベクトルの指し示す位置以外も選択し得る初期探索開始位置決定ステップと、
   前記逐次探索により動きベクトル探索を行なう動き探索ステップとを有し、
   前記初期探索開始位置決定ステップでは、符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とする
   ことを特徴とする動きベクトル検出方法。
2. 前記符号化対象ピクチャをＰピクチャとして符号化する
   ことを特徴とする請求項１に記載の動きベクトル検出方法。
3. 前記符号化対象ピクチャをＢピクチャとして符号化する
   ことを特徴とする請求項１に記載の動きベクトル検出方法。
4. 前記初期探索開始位置決定ステップでは、同一パリティの関係にある前記参照ピクチャのうち、前記符号化対象ピクチャに対して表示順序で最も時間的距離の遠い位置にある参照ピクチャの初期探索開始位置を０ベクトルとする
   ことを特徴とする請求項３に記載の動きベクトル検出方法。
5. 前記初期探索開始位置決定ステップでは、同一パリティの関係にある前記参照ピクチャのうち、前記参照ピクチャの枚数が多い方の予測方向に含まれる参照ピクチャの初期探索開始位置を０ベクトルとする
   ことを特徴とする請求項３に記載の動きベクトル検出方法。
6. 前記初期探索開始位置決定ステップでは、前記動き探索ステップから得られた動きベクトル情報に応じて、前記参照ピクチャの初期探索開始位置を０ベクトルとするかどうかを決定する
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の動きベクトル検出方法。
7. 複数の参照ピクチャを用いて、逐次探索により動きベクトル探索を行なう動きベクトル検出装置であって、
   符号化対象ピクチャと前記複数の参照ピクチャの画素値を記憶している画像記憶手段と、
   前記逐次探索の初期探索開始位置として符号化対象としているブロックに対して０ベクトルの指し示す位置以外も選択し得る初期探索開始位置決定手段と、
   前記逐次探索により動きベクトル探索を行なう動き探索手段とを有し、
   前記初期探索開始位置決定手段は、前記符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とする
   ことを特徴とする動きベクトル検出装置。
8. 複数の参照ピクチャを用いて、逐次探索により動きベクトル探索を行なう集積回路であって、
   符号化対象ピクチャと前記複数の参照ピクチャの画素値を記憶している画像記憶手段と、
   前記逐次探索の初期探索開始位置として符号化対象としているブロックに対して０ベクトルの指し示す位置以外も選択し得る初期探索開始位置決定手段と、
   前記逐次探索により動きベクトル探索を行なう動き探索手段とを有し、
   前記初期探索開始位置決定手段は、前記符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とする
   ことを特徴とする集積回路。
9. 複数の参照ピクチャを用いて、逐次探索により動きベクトル探索を行なう、コンピュータに実行させるための動きベクトル検出プログラムであって、
   前記逐次探索の初期探索開始位置として符号化対象としているブロックに対して０ベクトルの指し示す位置以外も選択し得る初期探索開始位置決定ステップと、
   前記逐次探索により動きベクトル探索を行なう動き探索ステップとを有し、
   前記初期探索開始位置決定ステップでは、符号化対象ピクチャと同一パリティの関係にある少なくとも一つの参照ピクチャの初期探索開始位置を、符号化対象としているブロックに対して０ベクトルの指し示す位置とする
   ことを特徴とする動きベクトル検出プログラム。

Images