JP4241021B2 - 動きベクトル検出方法、動きベクトル検出装置、画像符号化装置 - Google Patents
動きベクトル検出方法、動きベクトル検出装置、画像符号化装置 Download PDFInfo
- Publication number
- JP4241021B2 JP4241021B2 JP2002365409A JP2002365409A JP4241021B2 JP 4241021 B2 JP4241021 B2 JP 4241021B2 JP 2002365409 A JP2002365409 A JP 2002365409A JP 2002365409 A JP2002365409 A JP 2002365409A JP 4241021 B2 JP4241021 B2 JP 4241021B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- motion vector
- block data
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、映像信号の高能率符号化など際に動きベクトルを検出するための動きベクトル検出方法、動きベクトル検出装置、およびこれらの動きベクトル検出装置を備えた画像符号化装置に関するものである。
【０００２】
【従来の技術】
動きベクトル検出処理は、映像信号の高能率符号化などに用いられるフレーム間相関を除去する動き補償予測に用いられる主要な技術である。動き補償予測は、符号化されるべき画像の所定ブロックと類似したブロックを既に符号化された画像の復号画像などの参照画像中から検出して、そのブロック同士のフレーム間差分の低減を利用するというものである。参照画面中から符号化されるべき画像の所定ブロックと類似したブロックを探し出し、そのブロックの相対位置関係を示す動きベクトルを算出する処理が、動きベクトル検出処理である。
【０００３】
動きベクトル検出は、通常以下のようなブロックマッチングと呼ばれる方法が用いられる。符号化されるべき画像を所定のブロックサイズに分割し、各ブロックにおける動きを、参照画面中の所定の探索領域から同一サイズのブロックを一定間隔で位置をずらして選択しながら、符号化ブロックとの予測誤差評価値を順次算出、比較していき、最も予測誤差の小さくなる位置を求め、符号化対象ブロックとそのブロックに対する予測誤差最小となる参照ブロックとの相対位置を動きベクトルとする。予測誤差評価値の算出には、差分自乗和や差分絶対値和がよく用いられる。
【０００４】
図1は、従来の代表的な動きベクトル検出方法による装置の構成を示す図である。図中、符号化される画像201が入力されるフレームメモリ20、参照画像202が入力されるフレームメモリ21が設けられ、参照画像202が収められるフレームメモリ21にはブロックデータを一定間隔で位置をずらして選択するシフト部22が接続されている。また、位置ずらしの設定のために候補ベクトル設定部23がシフト部22に接続されている。フレームメモリ20及びシフト部22には各ブロックにおける動きベクトルを検出する動きベクトル検出器24が接続されている。
【０００５】
次に動作について説明する。図中、符号化される画像201はフレームメモリ20に入力され、動き探索の単位であるブロックデータ203に分割して読み出される。一方、フレームメモリ21は参照画像202を入力され、参照ブロックデータ204を出力する。候補ベクトル設定部23は所定の候補ベクトルを発生させシフト部22に送出する。シフト部22では、候補ベクトル設定部23で設定された候補ベクトルに従って参照ブロックデータ204を空間的にシフトする。動きベクトル検出器24においては、符号化対象ブロックデータ203とシフトされた参照ブロックデータ205とから、上述のブロックマッチング演算が行われて、動きベクトルが出力される。
【０００６】
ブロックマッチング演算の最も基本的な一例をとして、予測誤差評価演算を差分絶対値和、所定のブロックサイズをＮｘＮ画素、参照画像の探索領域を水平±Ｈ、垂直±Ｖとした場合、１符号化ブロック当りの累算演算回数Ｃは、
【０００７】
【数１】
【０００８】
となる。上式で具体的にブロックサイズ１６ｘ１６画素、参照画像の探索領域を水平、垂直共に±６４とすると、１２９（水平のベクトル検索ブロック数）ｘ１２９（垂直のベクトル検索ブロック数）ｘ２５６（1ブロック中の画素データ数）＝４２６００９６回もの差分絶対値累算を行う必要がある。映像信号をリアルタイムに処理する場合、この演算量を1ブロック処理期間に行う必要がある。上式からわかるように、より大きな動きにも追従できるように参照画像の探索領域（±Ｈ、±Ｖ）を広げることは、演算量の増加に結びつく。リアルタイム処理の場合、より高速な演算が必要となる。
【０００９】
これを解決するために従来から動きベクトル検出の演算量を少なくする方法が検討されている。そのひとつであるステップ探索法は、まず、最終的に検出する動きベクトルの単位よりも大きい単位（４画素単位、２画素単位等）で、参照画像の探索領域内でブロックデータをずらしながら選択して、最も予測誤差の小さかった参照画像の探索領域内ブロック位置を検出し、次に、その最も予測誤差の小さかった参照画像の探索領域内ブロック位置近傍でより細かい動きベクトルの単位で動きベクトル検出をするものであり、総合的なベクトル探索点数を削減して演算量の低減を図ったものである。また、１ベクトル変位当りの予測誤差評価値の演算において、あらかじめ定められた適当な間隔で画素を間引いて演算をするサブサンプル法がある。演算の削減量を稼ぐには1/4サブサンプル以上を用いることもあり、さらにこれらの方法は組み合わせて使用されることもある。
【００１０】
図２は、従来の特許003175914や特開平10-42300記載のサブサンプル法とステップ法によるベクトル探索点の一例を示す。図中、●がサブサンプル後のベクトル探索点であり、○は探索されないベクトル点である。従来の方法では、単純に画素の間引き位置を均等あるいは五の目上にラインオフセットを付けた位置に設定している。図２の例は、五の目上にラインオフセットを付けた1/4間引き位置の例である。図中、符号化画像のブロック(フレームフォーマット)は101、参照画像の探査領域は103、参照画像のブロックは102である。
【００１１】
符号化画像及び参照画像が飛び越し走査の画像であるとき、高能率符号化方式の国際標準 MPEG2などでは動き補償予測のブロック単位をフレームフォーマットブロックのみならずフィールドフォーマットの上側に位置するラインで構成されるトップフィールドブロックと下側に位置するラインで構成されるボトムフィールドブロックでも同時に探索を行う。
【００１２】
【特許文献１】
特許第３１７５９１４号公報
【特許文献２】
特開平１０−４２３００号公報
【００１３】
【発明が解決しようとする課題】
しかし、従来の動きベクトル検出方法では、動きベクトル検出時の非常に多くの演算量を削減するためにベクトル探索点を間引いて多段探索を行ったり、予測誤差評価値の演算画素数を間引いたりする場合に、間引き位置を均等あるいは五の目上にラインオフセットを付けた位置に設定していたため、飛び越し走査画像のフィールドフォーマットにおけるベクトル探索位置が単純均等位置となり、動きベクトル検出精度が低下するという問題があった。
【００１４】
この発明は上記のような問題点を解決するためになされたもので、飛び越し走査画像を対象とした動き補償予測においても、少ない演算量で精度が高く且つ符号化効率のよい動きベクトルを検出する動きベクトル検出方法、動きベクトル検出装置、およびこれらの動きベクトル検出装置を備えた画像符号化装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明の動きベクトル検出方法、および動きベクトル検出装置、画像符号化装置では、ライン上のベクトル探索点を水平方向に所定数毎に均等に間引くとともに、ライン毎に水平方向のベクトル探索点位置を前のラインで選択したベクトル探索点位置より上記均等間引きの際の所定数の１／２より小さい値ずつ周期的にずらして配置し、この配置された各ベクトル探索点に基づく候補ブロックデータを上記参照画像における所定領域内の候補ブロックデータから選択し、この選択された各候補ブロックデータ内のベクトル探索点のみを用いて第一のブロックマッチング演算により基準ベクトル点を選択し、この基準ベクトル点を中心とした近隣の上記間引かれたベクトル探索点を範囲とする候補ブロックデータから第二のブロックマッチング演算により動きベクトルを検出することを特徴とする。
【００１６】
【発明の実施の形態】
実施の形態１．
図３は、フレームフォーマット、トップフィールド及びボトムフィールドフォーマットの３ブロックに対する動きベクトル検出を行う本実施の形態１の動きベクトル検出器等の構成例である。図３に示すように、本実施の形態１の動きベクトル検出器２４は、トップフィールドブロック差分値和を演算してトップフィールドベクトルを求めると共にその最小値を比較したトップフィールドベクトルと、同様にボトムフィールドブロック差分値和を演算してボトムフィールドベクトルを求めると共にその最小値を比較したボトムフィールドベクトルと、トップフィールドベクトルとボトムフィールドベクトルと加算したフレームベクトルの最小値を比較したフレームベクトルとを出力するものである。その他、すなわち動きベクトル検出器２４以外は、図１に示す従来の動きベクトル検出器のものと同じであるため、同一符号を付してその説明は省略する。
【００１７】
図４には、動きベクトル検出におけるベクトル探索点の選択の本発明による方法を示す図である。
図４において、黒丸●は探索するベクトル点で、白丸○は探索を省かれた点である。また、図中、101は符号化画像のフレームフォーマットブロックデータ、102は参照画像のフレームフォーマットブロックデータ、103は参照画像領域である。さらに、101ａは符号化画像のトップフィールドブロックデータ、102ａは参照画像のトップフィールドブロックデータ、103ａは参照画像領域のトップフィールド、101ｂは符号化画像のボトムフィールドブロックデータ、102ｂは参照画像のボトムフィールドブロックデータ、103ｂは参照画像領域のボトムフィールドである。同図の例は、ベクトル探索点を1/4、すなわち水平方向にベクトル探索点を４つずつ均等に間引いて削減する場合を示している。
そして、本実施の形態１では、１ライン毎の周期的に水平方向のベクトル探索点位置を、ライン毎に１画素ずつずらしてブロックデータを選択するようにしている。
【００１８】
次に従来技術の場合と比較しながら動作を説明する。
まず、従来技術のサブサンプル法とステップ法では、図２に示すように、従来の飛び越し走査画像のフィールドフォーマットにおけるベクトル探索点が単純な水平均等間引き位置となってしまう。つまり、図２は図４と同様に、ベクトル探索点を1/4、すなわち水平方向にベクトル探索点を４つずつ均等に間引いて削減する場合であるので、従来技術のサブサンプル法とステップ法では、図２に示すように、１ライン毎の周期的に水平方向のベクトル探索点位置を、ライン毎に２画素ずつずらしてブロックデータを選択している。
【００１９】
その結果、図２に示す従来の動きベクトル検出方法によるベクトル探索点では、フレームフォーマットでのベクトル探索点は、探索を削除した点との最大距離が１画素、また、フィールドフォーマットでのベクトル探索点は探索を削除した点との最大距離が２画素となるので、探索されなかったベクトル点と探索されたベクトル点との最大距離は２画素となってしまう。
【００２０】
これに対し、本発明の実施の形態１の動きベクトル検出器２４では、飛び越し走査の画像を対象としたＭＰＥＧ２などの高能率符号化方式を採用し、フレーム予測、フィールド予測と呼ばれる符号化画像のブロックデータを、フレームフォーマットのブロックデータ101、このフレームフォーマットのブロックデータ101の上側からの奇数行のみで構成するトップフィールドのブロックデータ101ａ、及びフレームフォーマットのブロックデータ101の上側からの偶数行のみで構成するボトムフィールドのブロックデータ101ｂとの３つの符号化画像のブロックデータに対する各々の動きベクトル検出を行う。
【００２１】
このとき、実施の形態１の動きベクトル検出器２４では、図４に示すように、フレームフォーマットの符号化画像のブロックデータ101と、類似のブロックを検出するにあたり、参照画像領域はフレームフォーマットの101から参照画像のブロックデータをフレームフォーマットで選択する位置を水平方向に４画素おきにし、且つ、次のラインでは４画素×１／２より小さい、すなわち先のラインで選択した位置より１画素ずらした位置にしている。
【００２２】
これにより、図４に示すように、フレームフォーマットでのベクトル探索点は、探索を削除した点との最大距離が√２画素、また、フィールドフォーマットでのベクトル探索点は探索を削除した点との最大距離が１画素となり、探索されなかったベクトル点と探索されたベクトル点との最大距離を√２にすることができる。
【００２３】
以上のように、実施の形態１によれば、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にするようにしているので、従来の動きベクトル検出方法によるベクトル探索点よりも探索されなかったベクトル点と探索されたベクトル点との最大距離を短縮することができる。
【００２４】
その結果、一般的に画像では、近隣する画素ほど相関が強いとされているため、探索されなかったベクトル点と探索されたベクトル点との最大距離は短いということは、真の最適なベクトル点が探索されなかった点に存在したとしても、真の最適なベクトル点に最も近い探索されたベクトル点を示す可能性が高くなり、動き補償予測の効率を改善できる。
【００２５】
さらに、ステップ探索を行う場合においても、探索されなかったベクトル点と探索されたベクトル点との最大距離は短いということは、真の最適なベクトル点が探索されなかった点に存在したとしても、真の最適なベクトル点に最も近い探索されたベクトル点を示すため、この探索結果のベクトルを中心に次ステップの探索を行うと真の最適ベクトルを狭い探索範囲から効率的に見つけ出すことができる。
【００２６】
したがって、実施の形態１によれば、ベクトル探索点を削減して動きベクトル検出における演算量を削減しても、符号化効率の良い動きベクトルを検出できる動きベクトル検出方法を得ることができる。
【００２７】
実施の形態２．
以上の実施の形態１では、ベクトル探索点を水平方向に均等に間引いて選択し、且つ、周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にするようにしたものであるが、次に予測誤差評価演算を行う場合に上記のベクトル探索点を少なくとも含むように間引くようにした動きベクトル検出方法の実施の形態を示す。
【００２８】
つまり、図４において、予測誤差評価演算を行う場合に、演算に供する符号化画像のブロック内画素及び参照画像のブロック内画素をベクトル探索点にあたる黒丸●の画素とする。同図の例では、ブロックデータは８画素ｘ８画素＝６４画素であるが、予測誤差評価演算時に黒丸●のみの画素とするとブロック当り２画素ｘ８画素＝１６画素での演算となる。動きベクトル検出のベクトル探索点は実施の形態１と同様に維持した状態で動きベクトル検出にかかる演算量をさらに削減できる。
【００２９】
以上のように、実施の形態２によれば、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にするようにし、予測誤差評価演算を行う場合に上記のベクトル探索点を少なくとも含むように間引いて演算するようにしたので、ベクトル探索点の削減と予測誤差評価演算の画素数を減らすことにより動きベクトル検出にかかる演算量を削減し且つ符号化効率の良い動きベクトルを検出できる動きベクトル検出方法を得ることができる。
【００３０】
なお、上記実施の形態の説明では、ベクトル探索点を水平方向に均等に間引いて選択し、且つ、周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらすように説明したが、本実施の形態では、これに限らず、１／２画素ずつや、３／２画素ずつなど、水平方向のベクトル探索点位置をライン毎に均等間引きの際の所定数（上記実施の形態１では４）の値の１／２より小さい値ずつずらしてブロックデータを選択すれば、上記と同様の効果が得られる。なお、１／２画素ずつや、３／２画素ずつ等の半画素が出てくる場合には、隣接する画素の平均値を使用すれば問題ない。
【００３１】
【発明の効果】
以上のように、この発明によれば、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にすれば、従来の動きベクトル検出方法によるベクトル探索点よりも探索されなかったベクトル点と探索されたベクトル点との最大距離を短縮することができるので、ベクトル探索点を削減して動きベクトル検出のおける演算量を削減しても、符号化効率の良い動きベクトルを検出できる。
【００３２】
また、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にしたまま、予測誤差評価演算を行う場合に上記のベクトル探索点を少なくとも含むように間引いて演算するようにしたので、ベクトル探索点の削減と予測誤差評価演算の画素数を減らすことにより動きベクトル検出にかかる演算量を削減し且つ符号化効率の良い動きベクトルを検出できる動きベクトル検出方法を得ることができる。
【図面の簡単な説明】
【図１】 従来の動きベクトル検出器等の構成を示す図。
【図２】 従来のサブサンプル法とステップ法によるベクトル探索点の一例を示す図。
【図３】 本実施の形態１の動きベクトル検出器等の構成例を示す図。
【図４】 本実施の形態１による動きベクトル検出におけるベクトル探索点の選択の一例を示す図。
【符号の説明】
２０ フレームメモリ、２１ フレームメモリ、２２ シフト部、２３ 候補ベクトル設定部、２４ 動きベクトル検出器、２０１ 符号化画像、２０２ 参照画像。
【発明の属する技術分野】
この発明は、映像信号の高能率符号化など際に動きベクトルを検出するための動きベクトル検出方法、動きベクトル検出装置、およびこれらの動きベクトル検出装置を備えた画像符号化装置に関するものである。
【０００２】
【従来の技術】
動きベクトル検出処理は、映像信号の高能率符号化などに用いられるフレーム間相関を除去する動き補償予測に用いられる主要な技術である。動き補償予測は、符号化されるべき画像の所定ブロックと類似したブロックを既に符号化された画像の復号画像などの参照画像中から検出して、そのブロック同士のフレーム間差分の低減を利用するというものである。参照画面中から符号化されるべき画像の所定ブロックと類似したブロックを探し出し、そのブロックの相対位置関係を示す動きベクトルを算出する処理が、動きベクトル検出処理である。
【０００３】
動きベクトル検出は、通常以下のようなブロックマッチングと呼ばれる方法が用いられる。符号化されるべき画像を所定のブロックサイズに分割し、各ブロックにおける動きを、参照画面中の所定の探索領域から同一サイズのブロックを一定間隔で位置をずらして選択しながら、符号化ブロックとの予測誤差評価値を順次算出、比較していき、最も予測誤差の小さくなる位置を求め、符号化対象ブロックとそのブロックに対する予測誤差最小となる参照ブロックとの相対位置を動きベクトルとする。予測誤差評価値の算出には、差分自乗和や差分絶対値和がよく用いられる。
【０００４】
図1は、従来の代表的な動きベクトル検出方法による装置の構成を示す図である。図中、符号化される画像201が入力されるフレームメモリ20、参照画像202が入力されるフレームメモリ21が設けられ、参照画像202が収められるフレームメモリ21にはブロックデータを一定間隔で位置をずらして選択するシフト部22が接続されている。また、位置ずらしの設定のために候補ベクトル設定部23がシフト部22に接続されている。フレームメモリ20及びシフト部22には各ブロックにおける動きベクトルを検出する動きベクトル検出器24が接続されている。
【０００５】
次に動作について説明する。図中、符号化される画像201はフレームメモリ20に入力され、動き探索の単位であるブロックデータ203に分割して読み出される。一方、フレームメモリ21は参照画像202を入力され、参照ブロックデータ204を出力する。候補ベクトル設定部23は所定の候補ベクトルを発生させシフト部22に送出する。シフト部22では、候補ベクトル設定部23で設定された候補ベクトルに従って参照ブロックデータ204を空間的にシフトする。動きベクトル検出器24においては、符号化対象ブロックデータ203とシフトされた参照ブロックデータ205とから、上述のブロックマッチング演算が行われて、動きベクトルが出力される。
【０００６】
ブロックマッチング演算の最も基本的な一例をとして、予測誤差評価演算を差分絶対値和、所定のブロックサイズをＮｘＮ画素、参照画像の探索領域を水平±Ｈ、垂直±Ｖとした場合、１符号化ブロック当りの累算演算回数Ｃは、
【０００７】
【数１】
となる。上式で具体的にブロックサイズ１６ｘ１６画素、参照画像の探索領域を水平、垂直共に±６４とすると、１２９（水平のベクトル検索ブロック数）ｘ１２９（垂直のベクトル検索ブロック数）ｘ２５６（1ブロック中の画素データ数）＝４２６００９６回もの差分絶対値累算を行う必要がある。映像信号をリアルタイムに処理する場合、この演算量を1ブロック処理期間に行う必要がある。上式からわかるように、より大きな動きにも追従できるように参照画像の探索領域（±Ｈ、±Ｖ）を広げることは、演算量の増加に結びつく。リアルタイム処理の場合、より高速な演算が必要となる。
【０００９】
これを解決するために従来から動きベクトル検出の演算量を少なくする方法が検討されている。そのひとつであるステップ探索法は、まず、最終的に検出する動きベクトルの単位よりも大きい単位（４画素単位、２画素単位等）で、参照画像の探索領域内でブロックデータをずらしながら選択して、最も予測誤差の小さかった参照画像の探索領域内ブロック位置を検出し、次に、その最も予測誤差の小さかった参照画像の探索領域内ブロック位置近傍でより細かい動きベクトルの単位で動きベクトル検出をするものであり、総合的なベクトル探索点数を削減して演算量の低減を図ったものである。また、１ベクトル変位当りの予測誤差評価値の演算において、あらかじめ定められた適当な間隔で画素を間引いて演算をするサブサンプル法がある。演算の削減量を稼ぐには1/4サブサンプル以上を用いることもあり、さらにこれらの方法は組み合わせて使用されることもある。
【００１０】
図２は、従来の特許003175914や特開平10-42300記載のサブサンプル法とステップ法によるベクトル探索点の一例を示す。図中、●がサブサンプル後のベクトル探索点であり、○は探索されないベクトル点である。従来の方法では、単純に画素の間引き位置を均等あるいは五の目上にラインオフセットを付けた位置に設定している。図２の例は、五の目上にラインオフセットを付けた1/4間引き位置の例である。図中、符号化画像のブロック(フレームフォーマット)は101、参照画像の探査領域は103、参照画像のブロックは102である。
【００１１】
符号化画像及び参照画像が飛び越し走査の画像であるとき、高能率符号化方式の国際標準 MPEG2などでは動き補償予測のブロック単位をフレームフォーマットブロックのみならずフィールドフォーマットの上側に位置するラインで構成されるトップフィールドブロックと下側に位置するラインで構成されるボトムフィールドブロックでも同時に探索を行う。
【００１２】
【特許文献１】
特許第３１７５９１４号公報
【特許文献２】
特開平１０−４２３００号公報
【００１３】
【発明が解決しようとする課題】
しかし、従来の動きベクトル検出方法では、動きベクトル検出時の非常に多くの演算量を削減するためにベクトル探索点を間引いて多段探索を行ったり、予測誤差評価値の演算画素数を間引いたりする場合に、間引き位置を均等あるいは五の目上にラインオフセットを付けた位置に設定していたため、飛び越し走査画像のフィールドフォーマットにおけるベクトル探索位置が単純均等位置となり、動きベクトル検出精度が低下するという問題があった。
【００１４】
この発明は上記のような問題点を解決するためになされたもので、飛び越し走査画像を対象とした動き補償予測においても、少ない演算量で精度が高く且つ符号化効率のよい動きベクトルを検出する動きベクトル検出方法、動きベクトル検出装置、およびこれらの動きベクトル検出装置を備えた画像符号化装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明の動きベクトル検出方法、および動きベクトル検出装置、画像符号化装置では、ライン上のベクトル探索点を水平方向に所定数毎に均等に間引くとともに、ライン毎に水平方向のベクトル探索点位置を前のラインで選択したベクトル探索点位置より上記均等間引きの際の所定数の１／２より小さい値ずつ周期的にずらして配置し、この配置された各ベクトル探索点に基づく候補ブロックデータを上記参照画像における所定領域内の候補ブロックデータから選択し、この選択された各候補ブロックデータ内のベクトル探索点のみを用いて第一のブロックマッチング演算により基準ベクトル点を選択し、この基準ベクトル点を中心とした近隣の上記間引かれたベクトル探索点を範囲とする候補ブロックデータから第二のブロックマッチング演算により動きベクトルを検出することを特徴とする。
【００１６】
【発明の実施の形態】
実施の形態１．
図３は、フレームフォーマット、トップフィールド及びボトムフィールドフォーマットの３ブロックに対する動きベクトル検出を行う本実施の形態１の動きベクトル検出器等の構成例である。図３に示すように、本実施の形態１の動きベクトル検出器２４は、トップフィールドブロック差分値和を演算してトップフィールドベクトルを求めると共にその最小値を比較したトップフィールドベクトルと、同様にボトムフィールドブロック差分値和を演算してボトムフィールドベクトルを求めると共にその最小値を比較したボトムフィールドベクトルと、トップフィールドベクトルとボトムフィールドベクトルと加算したフレームベクトルの最小値を比較したフレームベクトルとを出力するものである。その他、すなわち動きベクトル検出器２４以外は、図１に示す従来の動きベクトル検出器のものと同じであるため、同一符号を付してその説明は省略する。
【００１７】
図４には、動きベクトル検出におけるベクトル探索点の選択の本発明による方法を示す図である。
図４において、黒丸●は探索するベクトル点で、白丸○は探索を省かれた点である。また、図中、101は符号化画像のフレームフォーマットブロックデータ、102は参照画像のフレームフォーマットブロックデータ、103は参照画像領域である。さらに、101ａは符号化画像のトップフィールドブロックデータ、102ａは参照画像のトップフィールドブロックデータ、103ａは参照画像領域のトップフィールド、101ｂは符号化画像のボトムフィールドブロックデータ、102ｂは参照画像のボトムフィールドブロックデータ、103ｂは参照画像領域のボトムフィールドである。同図の例は、ベクトル探索点を1/4、すなわち水平方向にベクトル探索点を４つずつ均等に間引いて削減する場合を示している。
そして、本実施の形態１では、１ライン毎の周期的に水平方向のベクトル探索点位置を、ライン毎に１画素ずつずらしてブロックデータを選択するようにしている。
【００１８】
次に従来技術の場合と比較しながら動作を説明する。
まず、従来技術のサブサンプル法とステップ法では、図２に示すように、従来の飛び越し走査画像のフィールドフォーマットにおけるベクトル探索点が単純な水平均等間引き位置となってしまう。つまり、図２は図４と同様に、ベクトル探索点を1/4、すなわち水平方向にベクトル探索点を４つずつ均等に間引いて削減する場合であるので、従来技術のサブサンプル法とステップ法では、図２に示すように、１ライン毎の周期的に水平方向のベクトル探索点位置を、ライン毎に２画素ずつずらしてブロックデータを選択している。
【００１９】
その結果、図２に示す従来の動きベクトル検出方法によるベクトル探索点では、フレームフォーマットでのベクトル探索点は、探索を削除した点との最大距離が１画素、また、フィールドフォーマットでのベクトル探索点は探索を削除した点との最大距離が２画素となるので、探索されなかったベクトル点と探索されたベクトル点との最大距離は２画素となってしまう。
【００２０】
これに対し、本発明の実施の形態１の動きベクトル検出器２４では、飛び越し走査の画像を対象としたＭＰＥＧ２などの高能率符号化方式を採用し、フレーム予測、フィールド予測と呼ばれる符号化画像のブロックデータを、フレームフォーマットのブロックデータ101、このフレームフォーマットのブロックデータ101の上側からの奇数行のみで構成するトップフィールドのブロックデータ101ａ、及びフレームフォーマットのブロックデータ101の上側からの偶数行のみで構成するボトムフィールドのブロックデータ101ｂとの３つの符号化画像のブロックデータに対する各々の動きベクトル検出を行う。
【００２１】
このとき、実施の形態１の動きベクトル検出器２４では、図４に示すように、フレームフォーマットの符号化画像のブロックデータ101と、類似のブロックを検出するにあたり、参照画像領域はフレームフォーマットの101から参照画像のブロックデータをフレームフォーマットで選択する位置を水平方向に４画素おきにし、且つ、次のラインでは４画素×１／２より小さい、すなわち先のラインで選択した位置より１画素ずらした位置にしている。
【００２２】
これにより、図４に示すように、フレームフォーマットでのベクトル探索点は、探索を削除した点との最大距離が√２画素、また、フィールドフォーマットでのベクトル探索点は探索を削除した点との最大距離が１画素となり、探索されなかったベクトル点と探索されたベクトル点との最大距離を√２にすることができる。
【００２３】
以上のように、実施の形態１によれば、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にするようにしているので、従来の動きベクトル検出方法によるベクトル探索点よりも探索されなかったベクトル点と探索されたベクトル点との最大距離を短縮することができる。
【００２４】
その結果、一般的に画像では、近隣する画素ほど相関が強いとされているため、探索されなかったベクトル点と探索されたベクトル点との最大距離は短いということは、真の最適なベクトル点が探索されなかった点に存在したとしても、真の最適なベクトル点に最も近い探索されたベクトル点を示す可能性が高くなり、動き補償予測の効率を改善できる。
【００２５】
さらに、ステップ探索を行う場合においても、探索されなかったベクトル点と探索されたベクトル点との最大距離は短いということは、真の最適なベクトル点が探索されなかった点に存在したとしても、真の最適なベクトル点に最も近い探索されたベクトル点を示すため、この探索結果のベクトルを中心に次ステップの探索を行うと真の最適ベクトルを狭い探索範囲から効率的に見つけ出すことができる。
【００２６】
したがって、実施の形態１によれば、ベクトル探索点を削減して動きベクトル検出における演算量を削減しても、符号化効率の良い動きベクトルを検出できる動きベクトル検出方法を得ることができる。
【００２７】
実施の形態２．
以上の実施の形態１では、ベクトル探索点を水平方向に均等に間引いて選択し、且つ、周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にするようにしたものであるが、次に予測誤差評価演算を行う場合に上記のベクトル探索点を少なくとも含むように間引くようにした動きベクトル検出方法の実施の形態を示す。
【００２８】
つまり、図４において、予測誤差評価演算を行う場合に、演算に供する符号化画像のブロック内画素及び参照画像のブロック内画素をベクトル探索点にあたる黒丸●の画素とする。同図の例では、ブロックデータは８画素ｘ８画素＝６４画素であるが、予測誤差評価演算時に黒丸●のみの画素とするとブロック当り２画素ｘ８画素＝１６画素での演算となる。動きベクトル検出のベクトル探索点は実施の形態１と同様に維持した状態で動きベクトル検出にかかる演算量をさらに削減できる。
【００２９】
以上のように、実施の形態２によれば、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にするようにし、予測誤差評価演算を行う場合に上記のベクトル探索点を少なくとも含むように間引いて演算するようにしたので、ベクトル探索点の削減と予測誤差評価演算の画素数を減らすことにより動きベクトル検出にかかる演算量を削減し且つ符号化効率の良い動きベクトルを検出できる動きベクトル検出方法を得ることができる。
【００３０】
なお、上記実施の形態の説明では、ベクトル探索点を水平方向に均等に間引いて選択し、且つ、周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらすように説明したが、本実施の形態では、これに限らず、１／２画素ずつや、３／２画素ずつなど、水平方向のベクトル探索点位置をライン毎に均等間引きの際の所定数（上記実施の形態１では４）の値の１／２より小さい値ずつずらしてブロックデータを選択すれば、上記と同様の効果が得られる。なお、１／２画素ずつや、３／２画素ずつ等の半画素が出てくる場合には、隣接する画素の平均値を使用すれば問題ない。
【００３１】
【発明の効果】
以上のように、この発明によれば、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にすれば、従来の動きベクトル検出方法によるベクトル探索点よりも探索されなかったベクトル点と探索されたベクトル点との最大距離を短縮することができるので、ベクトル探索点を削減して動きベクトル検出のおける演算量を削減しても、符号化効率の良い動きベクトルを検出できる。
【００３２】
また、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より１画素ずらした位置にしたまま、予測誤差評価演算を行う場合に上記のベクトル探索点を少なくとも含むように間引いて演算するようにしたので、ベクトル探索点の削減と予測誤差評価演算の画素数を減らすことにより動きベクトル検出にかかる演算量を削減し且つ符号化効率の良い動きベクトルを検出できる動きベクトル検出方法を得ることができる。
【図面の簡単な説明】
【図１】 従来の動きベクトル検出器等の構成を示す図。
【図２】 従来のサブサンプル法とステップ法によるベクトル探索点の一例を示す図。
【図３】 本実施の形態１の動きベクトル検出器等の構成例を示す図。
【図４】 本実施の形態１による動きベクトル検出におけるベクトル探索点の選択の一例を示す図。
【符号の説明】
２０ フレームメモリ、２１ フレームメモリ、２２ シフト部、２３ 候補ベクトル設定部、２４ 動きベクトル検出器、２０１ 符号化画像、２０２ 参照画像。
Claims (3)
- 符号化されるべき画像における所定のブロックデータと動きベクトルが検出されるべき参照画像における所定領域内の候補ブロックデータとから、ブロックマッチング演算により動きベクトルを検出する動きベクトル検出方法において、
ライン上のベクトル探索点を水平方向に所定数毎に均等に間引くとともに、ライン毎に水平方向のベクトル探索点位置を前のラインで選択したベクトル探索点位置より上記均等間引きの際の所定数の１／２より小さい値ずつ周期的にずらして配置し、
この配置された各ベクトル探索点に基づく候補ブロックデータを上記参照画像における所定領域内の候補ブロックデータから選択し、
この選択された各候補ブロックデータ内のベクトル探索点のみを用いて第一のブロックマッチング演算により基準ベクトル点を選択し、
この基準ベクトル点を中心とした近隣の上記間引かれたベクトル探索点を範囲とする候補ブロックデータから第二のブロックマッチング演算により動きベクトルを検出する
ことを特徴とする動きベクトル検出方法。 - 符号化されるべき画像における所定のブロックデータと動きベクトルが検出されるべき参照画像における所定領域内の候補ブロックデータとから、ブロックマッチング演算により動きベクトルを検出する動きベクトル検出装置において、
ライン上のベクトル探索点を水平方向に所定数毎に均等に間引くとともに、ライン毎に水平方向のベクトル探索点位置を前のラインで選択したベクトル探索点位置より上記均等間引きの際の所定数の１／２より小さい値ずつ周期的にずらして配置し、
この配置された各ベクトル探索点に基づく候補ブロックデータを上記参照画像における所定領域内の候補ブロックデータから選択し、
この選択された各候補ブロックデータ内のベクトル探索点のみを用いて第一のブロックマッチング演算により基準ベクトル点を選択し、
この基準ベクトル点を中心とした近隣の上記間引かれたベクトル探索点を範囲とする候補ブロックデータから第二のブロックマッチング演算により動きベクトルを検出する
ことを特徴とする動きベクトル検出装置。 - 請求項２記載の動きベクトル検出装置を備え、上記符号化されるべき画像から動きベクトルを検出し、動きベクトルに基づいて動き補償予測符号化することを特徴とする画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002365409A JP4241021B2 (ja) | 2002-12-17 | 2002-12-17 | 動きベクトル検出方法、動きベクトル検出装置、画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002365409A JP4241021B2 (ja) | 2002-12-17 | 2002-12-17 | 動きベクトル検出方法、動きベクトル検出装置、画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004200894A JP2004200894A (ja) | 2004-07-15 |
| JP4241021B2 true JP4241021B2 (ja) | 2009-03-18 |
Family
ID=32762969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002365409A Expired - Fee Related JP4241021B2 (ja) | 2002-12-17 | 2002-12-17 | 動きベクトル検出方法、動きベクトル検出装置、画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4241021B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5353719B2 (ja) * | 2010-01-08 | 2013-11-27 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム |
| JP6154643B2 (ja) * | 2013-03-29 | 2017-06-28 | Kddi株式会社 | 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム |
-
2002
- 2002-12-17 JP JP2002365409A patent/JP4241021B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004200894A (ja) | 2004-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7012649B2 (en) | Image processing apparatus and method, program, and recording medium | |
| EP0896300A2 (en) | Device and method for motion vector detection | |
| US7362379B2 (en) | Image processing apparatus and method, recording medium, and program | |
| US8130835B2 (en) | Method and apparatus for generating motion vector in hierarchical motion estimation | |
| KR20050089886A (ko) | 배경 움직임 벡터 검출 | |
| US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
| JP4626158B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
| JP4241021B2 (ja) | 動きベクトル検出方法、動きベクトル検出装置、画像符号化装置 | |
| JP2005167976A (ja) | 動きベクトル検出装置及び動きベクトル検出プログラム | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| US20040247032A1 (en) | Motion vector detection device and motion vector detection method | |
| JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
| JP3276073B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JPH06205403A (ja) | インテグラルプロゼクションを利用した動きベクター検出方法 | |
| JP4035903B2 (ja) | 動きベクトル検出方法及び装置 | |
| JP4250598B2 (ja) | 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法 | |
| JP2007129333A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| JP3528115B2 (ja) | 動き予測ベクトル検出回路 | |
| JP2001169296A (ja) | デジタル入力ビデオ信号の動き推定方法 | |
| JPH1042300A (ja) | 動きベクトル検出装置 | |
| JP2000165883A (ja) | 動きベクトル検出装置 | |
| JPH08172632A (ja) | 画像処理装置 | |
| JPH09162747A (ja) | 動きベクトル検出装置およびその方法 | |
| JPH07288817A (ja) | 動きベクトル検出装置 | |
| KR100205146B1 (ko) | 디지탈 비데오 인코더 시스템에서 움직임 예측 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040709 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |