JP4245695B2

JP4245695B2 - Image motion vector detection method and apparatus

Info

Publication number: JP4245695B2
Application number: JP26940598A
Authority: JP
Inventors: 創竹澤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-09-24
Filing date: 1998-09-24
Publication date: 2009-03-25
Anticipated expiration: 2018-09-24
Also published as: JP2000099744A

Description

【０００１】
【発明の属する技術分野】
本発明は、時間的に連続した複数枚の画像の画像全体の動きを検出する方法およびその装置に関する。さらに詳しくは、携帯情報端末やＰＣ（ｐｅｒｓｏｎａｌｃｏｍｐｕｔｅｒ）等のカメラアプリケーション（シームレス合成等）、またはビデオカメラの手ブレ補正機能等を実現する際に用いられる方法およびその装置である。
【０００２】
【従来の技術】
画像全体の動きを検出するには時間的に連続した複数の画像中の複数箇所において局所的動きベクトルの検出を行い、その結果から全体の動きを算出する方法が使われている。局所的動きベクトルの検出方法に関しては、代表点マッチング、ブロックマッチング等さまざまな方法が知られている。
【０００３】
以下、ブロックマッチングを用いた場合を一例として、従来の画像動きベクトルの検出方法について説明する。
【０００４】
まず、図４に示す２枚の画像のうち、図４（ａ）に示す画像を基準側画像１１１とし、図４（ｂ）に示す画像を比較対象側画像１１２とする。この基準側画像１１１の任意の箇所を注目点１１３とし、その周辺から予め定められた大きさおよび形状の微小画像を取り出す。通常、この微小画像の大きさは数ピクセルから十数ピクセルであり、形状は長方形もしくは正方形である。このような微小画像をブロック１１４という。また、比較対象側画像１１２の任意の位置を注目点とし、基準側画像１１１と同様にブロック１１６を切り出し、両ブロック間の相関を示す値を算出する。次式（１）は、この相関を示す値を算出する際に用いられる式であり、左辺のＣ_SSDは相関を示す値であり、右辺では、それぞれのブロック１１３，１１６内の対応する位置にあるピクセルの画素値の差の自乗の合計を算出している。なお、式（１）において、ｆ（ｉ，ｊ）は、基準側画像１１１に含まれるブロック１１３内のあるピクセルの画素値を示し、ｇ（ｉ，ｊ）は、比較対象側画像１１２に含まれるブロック１１６内のあるピクセルの画素値を示す。
【０００５】
【数１】

【０００６】
つまり、基準側画像１１１および比較対象側画像１１２のブロック同士が近似している程、相関を示す値Ｃ_SSDは小さくなる。この相関を示す値Ｃ_SSDを最小にする、すなわち、比較対象側画像上の複数のブロック１１６から、基準側画像１１１から切り出したあるブロック１１４に最も近似しているブロック１１６を探索し、前記基準側画像１１１のあるブロック１１４の注目点１１３と、探索したブロック１１６の注目点１１５との相対的な位置ベクトルを、基準側画像１１１の注目点における局所的動きベクトルとする。
【０００７】
また、前記ブロックマッチング等による局所的動きベクトル検出を複数箇所で行い、検出された複数箇所の局所的動きベクトルから画像全体の動きを算出する方法には、一般に、多数決方式といわれる方法が用いられる。すなわち、複数箇所の局所的動きベクトルの中で最も多い局所的動きベクトルを画像全体の動きであるとする方法である。この多数決方式を実施することは、局所的動きベクトルのヒストグラムを生成し、その最大値を検出することと等価である。
【０００８】
【発明が解決しようとする課題】
従来の画像動きベクトル検出方法においては、局所的動きベクトル検出の計算量が大きくなるので、性能を損なわない範囲で可能な限り少ない箇所での局所的動きベクトルの検出のみから画像動きベクトルを算出することが必要とされる。
【０００９】
しかしながら、単純な多数決方式は、原理的に充分に多くの箇所での局所的動きベクトルの検出を行わないと、安定した画像動きベクトル検出結果を得ることができない。すなわち、局所的動きベクトルの検出数が充分でない場合、さまざまな要因から発生する画像全体の動きとは異なる局所的動きベクトルを誤って画像動きベクトルとして検出してしまう可能性がある。
【００１０】
例えば、背景が平坦な箇所では局所的動きベクトルの検出は不安定になり、誤検出を起こす割合が増加する。このような領域が画像上で大きな面積を占めている場合、局所的動きベクトルの誤検出が増大するため、これに基づき生成したヒストグラムはノイズが多くなると同時に求める画像全体の動きベクトルにあたる箇所のピークが低くなり、単純な多数決論理による方法、すなわち単純にヒストグラム上の最大値をとるベクトルを画像動きベクトルとする方法では画像動きベクトルの検出を安定して行うことができなくなる。
【００１１】
また、物体の移動などによって画像中の対応する箇所が影に隠れてしまった場合等のように局所的動きベクトルの検出が不可能な場合に局所的動きベクトルが無意味な値をとることがある。これも、誤検出の一種である。このような形で誤検出された局所的動きベクトルもヒストグラム上では同様にノイズとなるため、画像動きベクトルの検出の安定性を損なう要因となる。
【００１２】
本発明はこのような問題を解決すべく創案されたもので、より少ない箇所での局所的動きベクトルの検出結果から安定した画像全体の動きベクトルの算出ができる画像動きベクトル検出方法およびその装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の画像動きベクトル検出方法は、動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出方法であって、複数枚の入力画像を画像記憶部に記憶する手順と、複数枚の入力画像のうちの１枚の画像から第１の局所的な画像を複数箇所切り出す手順と、残りの入力画像上から第２の局所的な画像を切り出し、この第２の局所的な画像と第１の局所的な画像との間の近似度を計算する処理を、第２の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、第１の局所的な画像との間の近似度が一番高い第２の局所的な画像を探索する手順と、第１の局所的な画像の複雑さを示す重み係数として第１の局所的な画像の画素値の分散の値を計算する手順と、第１の局所的な画像および第２の局所的な画像間の相関の度合から重み係数を計算する手順と、複雑さを示す重み係数と相関の度合から計算された重み係数とを用いて最終的な重みを計
算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する手順と、探索手順で求めた局所的動きベクトルと前記決定手順で決定した各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成する手順と、作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定する手順と、を含むものである。
【００１４】
また、前記第１の局所的な画像の複雑さを示す重み係数を計算する手順では、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくする。
【００１５】
また、前記第１の局所的な画像の複雑さを示す重み係数を計算する手順では、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくする。
【００１６】
また、本発明の画像動きベクトル検出装置は、動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出装置であって、前記複数枚の入力画像を記憶する画像記憶部と、前記複数枚の入力画像のうちの１枚の画像から第１の局所的な画像を複数箇所切り出す切り出し部と、残りの入力画像上から第２の局所的な画像を切り出し、この第２の局所的な画像と前記第１の局所的な画像との間の近似度を計算する処理を、第２の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、前記第１の局所的な画像との間の近似度が一番高い第２の局所的な画像を探索する第２の局所的画像探索部と、前記第１の局所的な画像の複雑さを示す重み係数として第１の局所的な画像の画素値の分散の値を計算する複雑さ計算部と、第１の局所的な画像および第２の局所的な画像間の相関の度合から重み係数を計算する相関値計算部と、前記複雑さ計算部で計算された複雑さを示す重み係数と前記相関値計算部で計算された相関の度合から求められた重み係数とを用いて最終的な重みを計算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する重み決定部と、前記第２の局所的画像探索部で探索された局所的動きベクトルと前記重み決定部で決定された各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成するヒストグラム作成部と、作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定するピーク検出部と、を備えたものである。
【００１７】
また、前記複雑さ計算部は、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくする。さらに、前記複雑さ計算部は、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくする。
【００１８】
【発明の実施の形態】
本発明の画像動きベクトル検出方法およびその装置の実施の形態について図面を参照しつつ説明する。
【００１９】
図１は、本発明の画像動きベクトル検出方法の一実施の形態を示すフローチャートであり、図２は、本発明の画像動きベクトル検出方法を実施する際に使用される画像動きベクトル検出装置を示すブロック図である。なお、図２に示す検出装置を構成する各要素の内、カメラ１以外の回路要素は汎用の計算機上でソフトウエアのみによって実現する事も容易である。また、このカメラ１は写真機のような静止画像を撮影するものに限定されず、例えば、ビデオカメラのような動画像を撮影し得るものをカメラ１として用いてもよい。
【００２０】
第１の手順として局所的動きベクトルの検出を行うために、まず、カメラ１によって２枚の画像を入力する。本実施の形態においても図４に示す２枚の画像を入力された２枚の画像の一例とする。通常、この２枚の画像としては、動画像中の時間的に近接または隣接する２枚の画像が用いられる。この入力された２枚の画像のうち、一方（図４（ａ）に示す画像）を基準側画像１１１として基準側画像メモリ２に格納し、他方（図４（ｂ）に示す画像）を比較対象側画像１１２として比較対象側画像メモリ３に格納する。次いで、基準側画像１１１上で予め定められた複数の（本実施の形態では１６個）注目点１１３全てに関し、局所的動きベクトルの検出を行う（Ｓ１）。
【００２１】
具体的には、まず、基準側画像１１１上で予め定められた複数の注目点１１３から一つの注目点１１３を選択し、この注目点１１３周辺の部分画像を第１ブロック切り出し部４において取り出す。この切り出された部分画像は第１の局所的な画像であり、本実施の形態においてはブロック１１４という。
【００２２】
次いで、比較対象側画像１１２上で、切り出された前記ブロック１１４に最も似ている箇所を検索する。この検索は、比較対象側画像１１２上から第２の局所的な画像を切り出すことと、この第２の局所的な画像と第１の局所的な画像（ブロック１１４）との間の近似度を計算することとを切り出し位置を変えながら繰り返して行い、第１の局所的な画像（ブロック１１４）との間の近似度が一番高い第２の局所的な画像を第２の局所的画像探索部によって探索することによって行われる。この第２の局所的画像探索部は、第２ブロック切り出し部５と第２相関値計算部６と局所動きベクトル探索部７とから構成されている。この第２ブロック切り出し部５は、比較対象側画像１１２上から第２の局所的な画像を切り出すために設けられている。なお、本実施の形態においては、第２の局所的な画像をブロック１１６という。また、第２相関値計算部６は、基準側画像１１１から切り出されたブロック１１４と比較対象側画像１１２から切り出されたブロック１１６との相関の度合を計算するために設けられ、局所動きベクトル探索部７は、ブロック１１４，１１６同士の相関の度合が最も高くなるブロック１１６を探索するために設けられる。
【００２３】
この相関の度合の計算方法としてはさまざまな方法が知られている。前記式１や、次に示す式２および式３はよく知られた相関の計算方法である。式１は画素値の差の自乗の合計を算出する式であり、その解は一般にＣ_SSDと呼ばれる。式２は画素値の差の絶対値の合計を算出する式であり、その解は一般にＣ_SADと呼ばれる。
【００２４】
【数２】

【００２５】
式３は、複数ある正規化相互関数を算出するための式の１つであり、その解はＣ_RCCと呼ばれる。
【００２６】
【数３】

【００２７】
本発明においては、いずれの相関の度合を算出する式も容易に適用可能であるが、本実施の形態では式１を用いている。式１においては計算された値Ｃ_SSDがより小さいほど相関の度合が高い。
【００２８】
前記基準側画像１１１上の注目点１１３の位置と、相関の度合が最も高くなるブロック１１６を切り出したときの比較対象側画像１１２上の注目点１１５の位置との間の相対位置ベクトルが、基準側画像１１１の注目点１１３における局所的動きベクトルである。
【００２９】
同様にして、前述の局所的動きベクトルの検出を基準側画像１１１の全ての注目点１１３に関して繰り返し行い、全ての注目点１１３における局所的動きベクトルを得る。なお、本実施の形態においては、１つの画像を複数のブロックに区切って行う、いわゆるブロックマッチングによる局所的動きベクトル検出手順を使用しているが、本発明は他の局所的動きベクトル検出手順も容易に適用可能である。
【００３０】
さらに、第２の手順として、前述の手順によって求められたそれぞれの注目点１１３における局所的動きベクトルに対し重み付けを行う（Ｓ２）。
【００３１】
具体的には、まず、注目点１１３付近の画像の複雑さを示す重み付け係数Ｗｃｏｍｐｌｅｘを複雑さ計算部８において決定する。例えば、前記重み付け係数Ｗｃｏｍｐｌｅｘを次に示す式４〜式６の解であるＳ²、ＳまたはＤと定義した場合、複雑さ計算部８において式４〜式６の解を計算し重み付け係数Ｗｃｏｍｐｌｅｘを決定する。
【００３２】
式４は、分散Ｓ²を求める計算式の一例である。右辺の１／ｍｎは１／（ｍｎ−１）とする場合もあるが、本実施の形態においては、除算を高速に処理するために１／（ｍｎ−１）の代わりに近似的に１／ｍｎを採用している。また、式５に示すように標準偏差Ｓを式４で求めた分散Ｓ²から容易に求めることができる。なお、ｍ×ｎはブロック１１４中の画素数を示し、ｍは縦方向、ｎは横方向のブロックの大きさを示す。
【００３３】
【数４】

【００３４】
【数５】

【００３５】
また、式６は、画素値の絶対値の合計を算出する計算式の一例である。画素値の微分による計算式としては本実施の形態で例示したものの他にもさまざまな計算式がある。
【００３６】
【数６】

【００３７】
前述の式４および式６はいずれも本発明に容易に適用できるが、本実施の形態においては式４を適用、すなわち前記ブロックマッチングにおいて基準側画像１１１から切り出したブロックの画素値の分散の値を重み付け係数Ｗｃｏｍｐｌｅｘとして使用する。また、本実施の形態では、画像の複雑さの計算に使用する画素値としてブロックマッチングで使用したブロックの画素値を使用しているが、必ずしも両者が同一である必要はない。なお、画像が複雑である程、この画像に関わる局所的動きベクトルを信用できるので、重みを大きくする。
【００３８】
例えば、図４（ａ）において、右から１番目、上から１番目の注目点１１３ａと、右から１番目、上から３番目の注目点１１３ｂとを比較した場合、注目点１１３ａを含むブロック１１４ａには背景しか含まれておらず、注目点１１３ｂを含むブロック１１４ｂには背景と車の一部が含まれている。そのため、注目点１１３ｂを含むブロック１１４ｂは、注目点１１３ａを含むブロック１１４ａよりも複雑な画像であると判断される。従って、注目点１１３ｂに関する局所的動きベクトルの重み付け係数Ｗｃｏｍｐｌｅｘは、注目点１１３ａに関する局所的動きベクトルの重み付け係数Ｗｃｏｍｐｌｅｘよりも大きくなる。
【００３９】
次いで、前記ブロックマッチングにおける基準側画像１１１から切り出したブロックと、それとの相関が最も高かった比較対象側画像１１２から切り出したブロックとの相関の度合から重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅを第１相関値計算部９において計算する。
【００４０】
先に、ブロックマッチングの説明のところでも述べたように、相関の度合の計算式としてはさまざまな式があり、本発明にそれらを適用することは容易である。本実施の形態においては、ブロックマッチングと同様に式１の解であるＣ_SSDを重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅと定義する。ただし、ブロックマッチングを行う場合や重み付け係数を計算する場合において、相関の度合の計算式や、使用するブロックのサイズや形状は必ずしも同一である必要はない。なお、相関の度合いが高い程、局所的動きベクトルを信用できるので、重みを大きくする。
【００４１】
例えば、図４（ａ）において、右から１番目、上から３番目の注目点１１３ｂと、右から１番目、上から４番目の注目点１１３ｃとを比較した場合、注目点１１３ｂは、図４（ｂ）中の右から１番目、上から３番目の注目点１１５ａと対応しており、注目点１１３ｃは、図４（ｂ）中の右から１番目、上から４番目の注目点１１５ｂと対応している。図４から明らかなように、図４（ｂ）中の注目点１１５ａを含むブロック１１６ａは、図４（ａ）中の注目点１１３ｂを含むブロック１１４ｂとほぼ一致しており相関の度合が高く、図４（ｂ）中の注目点１１５ｂを含むブロック１１６ｂは、図４（ａ）中の注目点１１３ｃを含むブロック１１４ｃと比べて、右にシフトしており相関の度合が低い。従って、注目点１１３ｂに関する局所的動きベクトルの重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅは、注目点１１３ｃに関する局所的動きベクトルの重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅよりも大きくなる。
【００４２】
最後に、前述の手順によって求めた各重みを統合し、一つの局所的動きベクトル検出結果に対する最終的な重みを重み決定部１０において決定する。本実施の形態においては、式７に示すように、最終的な重みＷｔｏｔａｌを計算するために１つの注目点１１３ごとに重み付け係数Ｗｃｏｍｐｌｅｘと重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅとの積を算出している。なお、最終的な重みＷｔｏｔａｌを計算する際には、重み付け係数Ｗｃｏｍｐｌｅｘと重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅとの積の他に、例えば重み付け係数Ｗｃｏｍｐｌｅｘと重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅとの和を計算する等、さまざまな算出手順があり、本発明に対してこれらを適用することは容易である。
【００４３】
【数７】

【００４４】
前記最終的な重みＷ_TOTALを全ての注目点１１３に関して計算し、全ての注目点１１３における局所的動きベクトルの重みを決定する。
【００４５】
さらに、第３の手順として、局所的動きベクトル探索部７において求めた局所的動きベクトルと、重み決定部１０において求めた各局所的動きベクトルの重み付け係数とから、重み付けを行った後の局所的動きベクトルのヒストグラムをヒストグラム作成部１１において作成する（Ｓ３）。
【００４６】
図３は、作成されたヒストグラムの一例を示すグラフである。なお、図３は１次元のヒストグラムとなっているが、これは説明を簡便にするためであり、本実施の形態におけるヒストグラムは動きベクトルの水平成分および垂直成分を軸とする２次元のヒストグラムが作成される。
【００４７】
さらに、第４の手順として、前述の手順で作成されたヒストグラムに対し、ピーク検出部１２においてピーク検出を行う（Ｓ４）。本実施の形態においては、予め設定しておいた大きさのウィンドウＷを使用し、ウィンドウＷ内のヒストグラム値の合計の最大になる箇所をピークＰとしている。すなわち、次式８を満足する（ｘ，ｙ）を求めてこれをピークとする。なお、（ｘ，ｙ）は、ヒストグラム上のある座標を示し、ｈ（ｘ＋ｉ，ｙ＋ｊ）は、ヒストグラム上のある座標における最終的な重みＷｔｏｔａｌの合計を示す。
【００４８】
【数８】

【００４９】
ピーク検出手順は、前述のもの以外に、単純に最大値を検索する方法や、クラスタリングによる方法等、さまざまな方法が有り、これらさまざまなピーク検出方法は本発明に容易に適用できる。
【００５０】
前記ピーク検出によって得られたピークＰに関わる局所的動きベクトル、すなわち式８を満足する（ｘ，ｙ）に関わる局所的動きベクトルが、基準側画像１１１と比較対象側画像１１２との間の画像動きベクトルである。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、従来よりも少ない局所的動きベクトル検出結果から画像全体の動きベクトルを安定して検出することができる。従って、回路によって実現する場合には回路規模の縮小ができ、汎用の計算機上でソフトウエアによって実現する場合にはより計算能力の小さい計算機を用いて実施することができる。また、それによりコストダウンや消費電力の軽減が可能となる。
【図面の簡単な説明】
【図１】本発明の画像動きベクトル検出方法の一実施の形態を示すフローチャートである。
【図２】本発明の画像動きベクトル検出方法を実施する際に使用される画像動きベクトル検出装置を示すブロック図である。
【図３】作成されたヒストグラムの一例を示すグラフである。
【図４】カメラから入力された２枚の画像の一例を示す説明図である。
【符号の説明】
１カメラ
２基準側画像メモリ
３比較対象側画像メモリ
４第１ブロック切り出し部
５第２ブロック切り出し部
６第２相関値計算部
７局所動きベクトル探索部
８複雑さ計算部
９第１相関値計算部
１０重み決定部
１１ヒストグラム作成部
１２ピーク検出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for detecting movement of an entire image of a plurality of temporally continuous images. More specifically, the present invention relates to a method and apparatus used for realizing a camera application (seamless synthesis or the like) such as a portable information terminal or a PC (personal computer), or a camera shake correction function of a video camera.
[0002]
[Prior art]
In order to detect the motion of the entire image, a method is used in which local motion vectors are detected at a plurality of locations in a plurality of temporally continuous images, and the total motion is calculated from the result. As for the local motion vector detection method, various methods such as representative point matching and block matching are known.
[0003]
Hereinafter, a conventional method for detecting an image motion vector will be described using a case where block matching is used as an example.
[0004]
First, of the two images shown in FIG. 4, the image shown in FIG. 4A is a reference side image 111, and the image shown in FIG. 4B is a comparison target side image 112. An arbitrary portion of the reference-side image 111 is set as the attention point 113, and a minute image having a predetermined size and shape is taken out from the periphery. Usually, the size of this minute image is from several pixels to several tens of pixels, and the shape is rectangular or square. Such a minute image is referred to as a block 114. Further, with an arbitrary position of the comparison target side image 112 as a point of interest, the block 116 is cut out similarly to the reference side image 111, and a value indicating the correlation between the two blocks is calculated. The following expression (1) is an expression used when calculating a value indicating this correlation, C _{SSD on} the left side is a value indicating the correlation, and on the right side, the corresponding position in each of the

blocks

113 and 116 is set. The sum of the squares of the pixel value differences of a certain pixel is calculated. In Expression (1), f (i, j) indicates the pixel value of a certain pixel in the block 113 included in the reference side image 111, and g (i, j) is included in the comparison target side image 112. The pixel value of a pixel in the block 116 is shown.
[0005]
[Expression 1]

[0006]
That is, the closer the blocks of the reference side image 111 and the comparison target side image 112 are, the smaller the value C _SSD indicating the correlation. A value C _SSD indicating this correlation is minimized, that is, the block 116 closest to a certain block 114 cut out from the reference side image 111 is searched from a plurality of blocks 116 on the comparison side image, and the reference A relative position vector between the target point 113 of the block 114 having the side image 111 and the target point 115 of the searched block 116 is set as a local motion vector at the target point of the reference side image 111.
[0007]
In addition, a method called a majority method is generally used as a method of performing local motion vector detection by block matching or the like at a plurality of locations and calculating the motion of the entire image from the detected local motion vectors at a plurality of locations. . That is, this is a method in which the most local motion vector among the local motion vectors at a plurality of locations is the motion of the entire image. Implementing this majority method is equivalent to generating a histogram of local motion vectors and detecting the maximum value.
[0008]
[Problems to be solved by the invention]
In the conventional image motion vector detection method, the amount of calculation of local motion vector detection becomes large, so that the image motion vector is calculated only from the detection of local motion vectors at as few points as possible within a range that does not impair the performance. Is needed.
[0009]
However, the simple majority voting method cannot obtain a stable image motion vector detection result unless local motion vectors are detected at sufficiently many points in principle. That is, when the number of local motion vectors detected is not sufficient, there is a possibility that a local motion vector different from the motion of the entire image generated due to various factors is erroneously detected as an image motion vector.
[0010]
For example, in a place where the background is flat, the detection of the local motion vector becomes unstable, and the rate of causing false detection increases. When such an area occupies a large area on the image, the false detection of local motion vectors increases, so the histogram generated based on this increases the noise and at the same time the peak corresponding to the motion vector of the entire image to be obtained Therefore, the method based on the simple majority logic, that is, the method using the vector having the maximum value on the histogram simply as the image motion vector cannot detect the image motion vector stably.
[0011]
In addition, the local motion vector may take a meaningless value when it is impossible to detect the local motion vector, such as when the corresponding part in the image is hidden by the shadow due to the movement of the object. is there. This is also a kind of false detection. Since the local motion vector erroneously detected in this way also becomes noise on the histogram, it becomes a factor that impairs the stability of detection of the image motion vector.
[0012]
The present invention was devised to solve such a problem, and an image motion vector detection method and apparatus capable of stably calculating a motion vector of an entire image from detection results of local motion vectors in fewer places. It is to provide.
[0013]
[Means for Solving the Problems]
The image motion vector detection method of the present invention detects local motion vectors between images at a plurality of detection locations of a plurality of input images that are temporally close or adjacent to each other in a moving image, and detects local motion vectors. An image motion vector detection method for calculating a motion vector of an entire image from a result, comprising: a step of storing a plurality of input images in an image storage unit; and a first of a plurality of input images from one image A procedure for cutting out a plurality of local images, a second local image is cut out from the remaining input image, and the degree of approximation between the second local image and the first local image is determined. By repeating the calculation process while changing the cut-out position of the second local image, the second local image having the highest degree of approximation with the first local image is searched for. Procedure and first local A procedure for calculating the variance of the first local image pixel value as a weight coefficient indicating the complexity of the image, the degree of correlation between the first local image and a second local image By performing the process of calculating the final weight using the procedure for calculating the weighting factor and the weighting factor indicating the complexity and the weighting factor calculated from the degree of correlation, all the detection points are detected. Weighted local motion based on a procedure for determining a weighting factor of a local motion vector at a location, a local motion vector obtained in the search procedure, and a weighting factor of each local motion vector determined in the determination procedure The procedure for creating a vector histogram and the local motion vector related to the peak obtained by peak detection of the created histogram are determined as the image motion vector between the input images. Is intended to include a forward, the.
[0014]
In the procedure of calculating the weighting coefficient indicating the complexity of the first local image , the calculation result is calculated when calculating the complexity of the peripheral image including the location where the local motion vector is detected. Based on the image, the weighting factor is increased as the image becomes more complicated.
[0015]
Further, in the procedure of calculating the weighting coefficient indicating the complexity of the first local image, when calculating the degree of correlation between locations where the local motion vectors in the plurality of input images are detected, The weight is increased as the degree of correlation is higher based on the calculation result.
[0016]
Further, the image motion vector detection device of the present invention detects local motion vectors between images at a plurality of detection locations of a plurality of input images that are temporally close or adjacent to each other in a moving image, and detects local motion An image motion vector detection apparatus that calculates a motion vector of an entire image from a vector detection result, wherein an image storage unit that stores the plurality of input images and a first image out of one of the plurality of input images A cutout unit that cuts out one local image at a plurality of locations, a second local image is cut out from the remaining input image, and between the second local image and the first local image The second local area having the highest degree of approximation with the first local image is obtained by repeatedly performing the process of calculating the degree of approximation of the second local image while changing the cutout position of the second local image. The right image A second local image search section, and complexity calculation unit for calculating a value of the variance of the first local image pixel value as a weight coefficient indicating the complexity of the first local image, the A correlation value calculation unit for calculating a weighting factor from the degree of correlation between one local image and a second local image, a weighting factor indicating the complexity calculated by the complexity calculation unit, and the correlation value By performing the process of calculating the final weight using the weighting factor obtained from the degree of correlation calculated by the calculation unit for all the detection points, the weighting factor of the local motion vector at all the detection points Based on the weight determination unit that determines the weight, the local motion vector searched by the second local image search unit, and the weight coefficient of each local motion vector determined by the weight determination unit. Local motion vector histogram A histogram creation unit that creates a beam, in which and a peak detector to determine an image motion vector between the input local motion vector image related to the peak obtained by the peak detection of the generated histogram.
[0017]
In addition, when calculating the complexity of the image of the peripheral portion including the location where the local motion vector is detected, the complexity calculation unit increases the weighting factor as the image becomes more complex based on the calculation result. Further, when calculating the degree of correlation between locations where local motion vectors are detected in the plurality of input images, the complexity calculation unit increases the weight as the degree of correlation is higher based on the calculation result. .
[0018]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of an image motion vector detection method and apparatus according to the present invention will be described with reference to the drawings.
[0019]
FIG. 1 is a flowchart showing an embodiment of an image motion vector detection method of the present invention, and FIG. 2 shows an image motion vector detection device used when implementing the image motion vector detection method of the present invention. It is a block diagram. Of the elements constituting the detection apparatus shown in FIG. 2, circuit elements other than the camera 1 can be easily realized by software alone on a general-purpose computer. The camera 1 is not limited to a camera that captures a still image such as a camera. For example, a camera such as a video camera that can capture a moving image may be used as the camera 1.
[0020]
In order to detect a local motion vector as a first procedure, first, two images are input by the camera 1. Also in this embodiment, the two images shown in FIG. 4 are taken as an example of two input images. Usually, as the two images, two images that are temporally adjacent or adjacent to each other in the moving image are used. Of the two input images, one (the image shown in FIG. 4A) is stored in the reference-side image memory 2 as the reference-side image 111, and the other (the image shown in FIG. 4B) is compared. The target side image 112 is stored in the comparison target side image memory 3. Next, local motion vectors are detected for all of a plurality of (in the present embodiment, 16) attention points 113 determined in advance on the reference-side image 111 (S1).
[0021]
Specifically, first, one attention point 113 is selected from a plurality of predetermined attention points 113 on the reference side image 111, and a partial image around the attention point 113 is taken out by the first block cutout unit 4. This cut out partial image is a first local image, and is referred to as a block 114 in the present embodiment.
[0022]
Next, the most similar part to the extracted block 114 is searched on the comparison target side image 112. In this search, the second local image is cut out from the comparison target side image 112, and the degree of approximation between the second local image and the first local image (block 114) is calculated. The second local image search is performed for the second local image having the highest degree of approximation with the first local image (block 114) by repeating the calculation while changing the cutout position. This is done by searching by part. The second local image search unit includes a second block cutout unit 5, a second correlation value calculation unit 6, and a local motion vector search unit 7. The second block cutout unit 5 is provided to cut out a second local image from the comparison target side image 112. In the present embodiment, the second local image is referred to as a block 116. The second correlation value calculation unit 6 is provided to calculate the degree of correlation between the block 114 cut out from the reference side image 111 and the block 116 cut out from the comparison target side image 112, and a local motion vector search is performed. The unit 7 is provided to search for the block 116 having the highest degree of correlation between the

blocks

114 and 116.
[0023]
Various methods are known for calculating the degree of correlation. Formula 1 and Formulas 2 and 3 shown below are well-known correlation calculation methods. Equation 1 is an equation for calculating the sum of squares of pixel value differences, and its solution is generally called C _SSD . Equation 2 is an equation for calculating the sum of absolute values of pixel value differences, and its solution is generally called C _SAD .
[0024]
[Expression 2]

[0025]
Equation 3 is one of the equations for calculating a plurality of normalized mutual functions, and the solution is called _CRCC .
[0026]
[Equation 3]

[0027]
In the present invention, any equation for calculating the degree of correlation can be easily applied, but Equation 1 is used in the present embodiment. In Equation 1, the smaller the calculated value C _{SSD, the} higher the degree of correlation.
[0028]
A relative position vector between the position of the attention point 113 on the reference side image 111 and the position of the attention point 115 on the comparison target side image 112 when the block 116 having the highest degree of correlation is cut out is a reference position vector. This is a local motion vector at the attention point 113 of the side image 111.
[0029]
Similarly, the above-described local motion vector detection is repeatedly performed for all the attention points 113 of the reference-side image 111, and the local motion vectors at all the attention points 113 are obtained. In this embodiment, a local motion vector detection procedure based on so-called block matching, in which one image is divided into a plurality of blocks, is used. However, the present invention also includes other local motion vector detection procedures. It is easily applicable.
[0030]
Furthermore, as a second procedure, weighting is performed on the local motion vector at each target point 113 obtained by the above-described procedure (S2).
[0031]
Specifically, first, the complexity calculator 8 determines a weighting coefficient Wcomplex indicating the complexity of the image near the point of interest 113. For example, when the weighting coefficient Wcomplex is defined as S ² , S, or D which are solutions of the following expressions 4 to 6, the complexity calculation unit 8 calculates the solutions of the expressions 4 to 6, and sets the weighting coefficient Wcomplex to decide.
[0032]
Formula 4 is an example of a calculation formula for obtaining the variance S ² . Although 1 / mn on the right side may be 1 / (mn-1), in the present embodiment, in order to perform division at high speed, 1 / mn is approximately replaced with 1 / (mn-1). mn is adopted. Further, as shown in Equation 5, the standard deviation S can be easily obtained from the variance S ² obtained in Equation 4. Note that m × n indicates the number of pixels in the block 114, m indicates the vertical direction, and n indicates the horizontal block size.
[0033]
[Expression 4]

[0034]
[Equation 5]

[0035]
Expression 6 is an example of a calculation expression for calculating the sum of absolute values of pixel values. There are various calculation formulas other than those exemplified in this embodiment as calculation formulas based on differentiation of pixel values.
[0036]
[Formula 6]

[0037]
Although both the above-described Expression 4 and Expression 6 can be easily applied to the present invention, Expression 4 is applied in the present embodiment, that is, the variance value of the pixel value of the block cut out from the reference-side image 111 in the block matching. Is used as the weighting factor Wcomplex. In the present embodiment, the pixel value of the block used in the block matching is used as the pixel value used for calculating the complexity of the image. However, the two values are not necessarily the same. Note that the more complex the image, the more reliable the local motion vector associated with this image, so the weight is increased.
[0038]
For example, in FIG. 4A, when the first attention point 113a from the right and the first attention point 113a from the right is compared with the first attention point 113b from the right and the third from the top, the block 114a including the attention point 113a. Includes only the background, and the block 114b including the attention point 113b includes the background and a part of the car. Therefore, it is determined that the block 114b including the attention point 113b is a more complicated image than the block 114a including the attention point 113a. Therefore, the local motion vector weighting coefficient Wcomplex for the attention point 113b is larger than the local motion vector weighting coefficient Wcomplex for the attention point 113a.
[0039]
Next, the weighting coefficient Wcorrelative is calculated in the first correlation value calculation unit 9 from the degree of correlation between the block cut out from the reference side image 111 in the block matching and the block cut out from the comparison side image 112 having the highest correlation with the block. calculate.
[0040]
As described above in the description of the block matching, there are various formulas for calculating the degree of correlation, and it is easy to apply them to the present invention. In the present embodiment, C _SSD as a solution of Equation 1 is defined as a weighting coefficient Wcorrelative as in block matching. However, when performing block matching or calculating weighting coefficients, the calculation formula for the degree of correlation and the size and shape of the block to be used need not necessarily be the same. Note that the higher the degree of correlation, the more reliable the local motion vector, so the weight is increased.
[0041]
For example, in FIG. 4A, when comparing the first attention point 113b from the right and the third attention point 113b from the right with the first attention point 113c from the right and the fourth from the top, the attention point 113b is It corresponds to the first attention point 115a from the right and third from the top in (b), and the attention point 113c is the first attention point 115b from the right and the fourth attention point 115b from the top in FIG. It corresponds. As is clear from FIG. 4, the block 116a including the attention point 115a in FIG. 4 (b) almost coincides with the block 114b including the attention point 113b in FIG. 4 (a), and the degree of correlation is high. The block 116b including the attention point 115b in FIG. 4B is shifted to the right and has a lower degree of correlation than the block 114c including the attention point 113c in FIG. Accordingly, the local motion vector weighting coefficient Wcorrelative for the attention point 113b is larger than the local motion vector weighting coefficient Wcorrelative for the attention point 113c.
[0042]
Finally, the weights obtained by the above-described procedure are integrated, and the final weight for one local motion vector detection result is determined by the weight determination unit 10. In the present embodiment, as shown in Expression 7, in order to calculate the final weight Wtotal, the product of the weighting coefficient Wcomplex and the weighting coefficient Wcorrelative is calculated for each attention point 113. In addition, when calculating the final weight Wtotal, there are various calculation procedures such as calculating the sum of the weighting coefficient Wcomplex and the weighting coefficient Wcorrelative in addition to the product of the weighting coefficient Wcomplex and the weighting coefficient Wcorrelative. These are easy to apply to the present invention.
[0043]
[Expression 7]

[0044]
The final weight W _TOTAL is calculated for all the attention points 113, and the weights of local motion vectors at all the attention points 113 are determined.
[0045]
Further, as a third procedure, the local motion vector obtained after weighting is calculated from the local motion vector obtained by the local motion vector search unit 7 and the weighting coefficient of each local motion vector obtained by the weight determination unit 10. A histogram of the motion vector is created in the histogram creation unit 11 (S3).
[0046]
FIG. 3 is a graph showing an example of the created histogram. Although FIG. 3 shows a one-dimensional histogram, this is for ease of explanation, and the histogram in the present embodiment is a two-dimensional histogram with the horizontal and vertical components of the motion vector as axes. Created.
[0047]
Further, as a fourth procedure, the peak detection unit 12 performs peak detection on the histogram created by the above-described procedure (S4). In the present embodiment, a window W having a preset size is used, and the peak P is a portion where the total of the histogram values in the window W is maximum. That is, (x, y) that satisfies the following expression 8 is obtained and set as a peak. Note that (x, y) represents a certain coordinate on the histogram, and h (x + i, y + j) represents a final total of the weights Wtotal at a certain coordinate on the histogram.
[0048]
[Equation 8]

[0049]
In addition to the above-described peak detection procedure, there are various methods such as a method of simply searching for the maximum value and a clustering method, and these various peak detection methods can be easily applied to the present invention.
[0050]
The local motion vector related to the peak P obtained by the peak detection, that is, the local motion vector related to (x, y) satisfying Expression 8 is an image between the reference side image 111 and the comparison target side image 112. It is a motion vector.
[0051]
【The invention's effect】
As described above, according to the present invention, it is possible to stably detect the motion vector of the entire image from the local motion vector detection results fewer than in the past. Therefore, the circuit scale can be reduced when realized by a circuit, and when realized by software on a general-purpose computer, it can be implemented using a computer having a smaller calculation capability. In addition, this makes it possible to reduce costs and reduce power consumption.
[Brief description of the drawings]
FIG. 1 is a flowchart showing an embodiment of an image motion vector detection method of the present invention.
FIG. 2 is a block diagram showing an image motion vector detection device used when implementing the image motion vector detection method of the present invention.
FIG. 3 is a graph showing an example of a created histogram.
FIG. 4 is an explanatory diagram illustrating an example of two images input from a camera.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Camera 2 Reference | standard side image memory 3 Comparison object side image memory 4 1st block cutout part 5 2nd block cutout part 6 2nd correlation value calculation part 7 Local motion vector search part 8 Complexity calculation part 9 1st correlation value calculation part DESCRIPTION OF SYMBOLS 10 Weight determination part 11 Histogram preparation part 12 Peak detection part

Claims

Local motion vectors between images are detected at a plurality of detection positions of a plurality of input images that are temporally close or adjacent to each other in a moving image, and a motion vector of the entire image is calculated from the local motion vector detection result. An image motion vector detection method comprising:
A procedure for storing a plurality of input images in the image storage unit;
A procedure of cutting out a plurality of first local images from one image among a plurality of input images;
A process of cutting out the second local image from the remaining input image and calculating the degree of approximation between the second local image and the first local image is performed using the second local image. A procedure for searching for a second local image having the highest degree of approximation with the first local image by repeatedly performing the image cut-out position, and
Calculating a variance value of pixel values of the first local image as a weighting factor indicating the complexity of the first local image ;
Calculating a weighting factor from the degree of correlation between the first local image and the second local image;
By performing the process of calculating the final weight using the weighting factor indicating complexity and the weighting factor calculated from the degree of correlation for all the detection points, the weight of the local motion vector at all the detection points A procedure for determining the coefficients;
A step of creating a weighted local motion vector histogram based on the local motion vector obtained in the search procedure and the weighting coefficient of each local motion vector determined in the determination procedure;
And a procedure for determining a local motion vector related to a peak obtained by peak detection of the created histogram as an image motion vector between input images.

In the procedure of calculating the weighting coefficient indicating the complexity of the first local image, when calculating the complexity of the peripheral image including the location where the local motion vector is detected, the image is based on the calculation result. The image motion vector detection method according to claim 1, wherein the weighting factor is increased as the complexity of.

In the procedure of calculating the weighting coefficient indicating the complexity of the first local image, the calculation result is obtained when calculating the degree of correlation between locations where the local motion vectors are detected in the plurality of input images. The image motion vector detection method according to claim 1, wherein the weight is increased as the degree of correlation is higher based on the method.

Local motion vectors between images are detected at a plurality of detection positions of a plurality of input images that are temporally close or adjacent to each other in a moving image, and a motion vector of the entire image is calculated from the local motion vector detection result. An image motion vector detection device comprising:
An image storage unit for storing the plurality of input images;
A cutout unit that cuts out a plurality of first local images from one image of the plurality of input images;
A process of cutting out the second local image from the remaining input image and calculating the degree of approximation between the second local image and the first local image is performed using the second local image. A second local image search unit for searching for a second local image having the highest degree of approximation with the first local image by repeatedly performing a change of the cut-out position of the correct image; ,
A complexity calculation unit that calculates a variance value of pixel values of the first local image as a weighting factor indicating the complexity of the first local image ;
A correlation value calculation unit for calculating a weighting factor from the degree of correlation between the first local image and the second local image;
A process of calculating a final weight using a weighting factor indicating the complexity calculated by the complexity calculating unit and a weighting factor obtained from the degree of correlation calculated by the correlation value calculating unit, A weight determination unit for determining a weight coefficient of a local motion vector in all detection points by performing the detection points;
Based on the local motion vector searched by the second local image search unit and the weight coefficient of each local motion vector determined by the weight determination unit, a histogram of the weighted local motion vector is created. A histogram generator to
An image motion vector detection apparatus comprising: a peak detection unit that determines a local motion vector related to a peak obtained by peak detection of a created histogram as an image motion vector between input images.

The complexity calculation unit, when calculating the complexity of an image of a peripheral portion including a location where a local motion vector is detected, increases the weight coefficient as the image is more complex based on the calculation result. The image motion vector detecting device according to claim 4.

When calculating the degree of correlation between locations where local motion vectors are detected in the plurality of input images, the complexity calculation unit increases the weight as the degree of correlation is higher based on the calculation result. 5. The image motion vector detection device according to claim 4,