JP2008141616A - 動きベクトル算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置 - Google Patents

Abstract

【課題】階層型動きベクトル算出方法において、絵柄が単調な部分においても不必要に高い精度で動き補償をおこない、無駄に処理負荷が大きくなることを防止する。
【解決手段】分割した領域内において、各画素の輝度値の分散を算出し、得られた分散の値を基にその領域を更に複数のエリアに分割するか否かを判別する。細かく分割した領域においては高い精度で動きベクトルを算出し、大きく分割した領域においては必要最低限の精度で動きベクトルを算出する。
【選択図】 図１

Description

本発明は、動画圧縮における動きベクトルの算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置に関し、特に、階層型動きベクトル算出方法を用いた動きベクトル算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置に関する。

一般的に、動画像は近接するフレーム同士では画像としての類似性が高く、両者の差分はごく小さい。そこで動画像の圧縮においては、近接フレームの差分をとり、その差分情報のみを保存することでファイルサイズを軽減している。

図１６においては、近接フレームで異なるのは飛行機の位置のみで背景の差は皆無である。従って、「飛行機が右下に移動した」という情報のみを保存する。

このように、動体が移動する方向と大きさを「動きベクトル」といい、それを用いて次のフレームを復元することを「動き補償」という。

図１７を用いて、基本的な動きベクトル算出方法（ブロックマッチング方式）を説明する。

ここでは、ブロックサイズが１６画素×１６画素、１画素精度で動きベクトルを求める場合を例にする。

図１７のように、参照フレーム（ｎフレーム目）内に参照ブロック１６１（基準座標（１６ｉ、１６ｊ））が、被符号化フレーム（ｎ＋１フレーム目）内に、参照ブロック１６１から（ｄｘ、ｄｙ）だけずれた位置にある対象ブロック１６２（基準座標（１６ｉ＋ｄｘ、１６ｊ＋ｄｙ））が設定されている。

ｉ、ｊはそれぞれブロック水平位置、垂直位置を示し、フレームサイズを７２０画素×４８０画素とすると、ｉ＝０〜４４、ｊ＝０〜２９の値をとる。

またｄｘ、ｄｙは、それぞれ動きベクトルの水平成分、垂直成分であり、ここではｄｘ＝−１５〜１５、ｄｙ＝−１５〜１５の範囲とし、これは図１７（ｂ）に示す単位ブロックサーチレンジ１６３に該当する。

ここで、動きベクトルを求めるために、参照ブロック内の点の輝度値と、対応する対象ブロック内の点の輝度値の差分をとる。

即ち、参照ブロック内の点（１６ｉ＋ｘ、１６ｊ＋ｙ）と対応する対象ブロック内の点（１６ｉ＋ｘ＋ｄｘ、１６ｊ＋ｙ＋ｄｙ）の輝度値の差分を（０、０）≦（ｘ、ｙ）≦（１５、１５）の座標全てに対して求め、その絶対値誤差ＡＥを求める。

ｎフレーム目の座標（１６ｉ＋ｘ、１６ｊ＋ｙ）の点における輝度をＰ_ｎ（１６ｉ＋ｘ、１６ｊ＋ｙ）とすると、ＡＥは次式で表される。

このＡＥに最小値を与える（ｄｘ，ｄｙ）が参照ブロック１６１の動きベクトルとなる。

このように動きベクトルが求められるが、この処理を全てのブロックで行うと、膨大な処理負荷がかかる。

例えば、フレームサイズ７２０画素×４８０画素の動画においては、ブロック数は水平４５個、垂直３０個、計１３５０個となる。

そこで、一般的には、階層型動きベクトル算出という方法を用いて動きベクトルを算出する。

図１８を用いて、階層型動きベクトル算出について説明する。

階層型動きベクトル算出方法においては、まずブロック内の画素数をサブサンプリングによって縦、横とも１／２に縮小した画像を作成し、さらに縦、横とも１／２に縮小した画像を作成する。これは元画像に対して縦、横とも１／４に縮小した画像となる。

まず初めに縦横を１／４に縮小した画像で、即ち４画素単位で、前述したブロックマッチングを行い、動きベクトルの算出を行う。

元画像に対して縦、横を１／４に縮小した画像であるので、ブロックマッチングをおこなうブロックサイズを８×８とすると、３２画素×３２画素のブロックサイズに分割して行っていることになる。

このようにサブサンプリングされた画像で求めた、４画素精度での動きベクトル１８１は、精度も落ちている。

したがって、精度を上げて再探索を行う必要がある。

そこで次に、縦、横とも１／２に縮小した画像、即ち２画素単位に精度を上げ、４画素単位で得た動きベクトルの最小値の位置に原点を移動し、近傍８画素に対してのみブロックマッチングを行い、２画素精度での動きベクトル１８２を求める。

最後に、元画像、即ち１画素単位で同様の方法を用いて１画素精度での動きベクトル１８３を求め、これら３つの動きベクトルの和を最終的な動きベクトル１８４とする。

これらは、「１段階精度の低い動きベクトルの近傍に最適な動きベクトルが存在する」という仮定に基づいた方法である。

この方法の場合、まず４画素単位での動きベクトル探索の演算量が、縦横とも１／４の縮小画像であるので、基本型と比べて１／１６の負荷で済む。また２画素単位以降の探索では、算出済み動きベクトルの近傍８画素のみを探索の対象としており、８×８のブロックサイズ全体で行った場合での６４画素対象と比べて１／８の処理負荷となる。

以上により、図１８で示した３段階階層の例では、１／１６×（１＋１／８＋１／８）となり、計５／６４の処理負荷で済む。

特許文献１には、動きベクトル誤算出の可能性を回避するようにした階層型動きベクトル算出方法が記載されており、特許文献２には、メモリアクセス量の増大を抑えた階層型動きベクトル算出方法及びその装置が記載されている。
特開平７−１５４８０１号公報 特開平８−２６５７７３号公報

しかしながら、従来の階層型動きベクトル算出方法では、全画面で一様な精度で動きベクトル算出を行っており、絵柄が単調もしくは動きの小さな部分においても不必要に高い精度で動き補償を行う可能性があり、無駄に処理負荷が大きくなることがあった。

特にＨ．２６４のように高圧縮率と高画質を両立させた規格では、１／４画素単位までの精度が要求されており上述の階層数が多くなるため、効率よく動き補償を行う必要がある。

そこで、高精度を要する部分とそうでない部分とを区別し、演算量を必要最低限にする事が必要になってくる。

本発明はこのような事情を鑑みて、低処理負荷で、なおかつ高画質な圧縮動画を得る為の装置およびその方法を提供する。

前記目的を達成するために本発明に係る動きベクトル算出装置は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出手段と、前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における輝度値の分散または標準偏差を求めて、求めた分散または標準偏差からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

前記判定手段は、前記算出手段で得た分散または標準偏差が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた輝度値の分散または標準偏差が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

また、分散または標準偏差が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成するために本発明に係る動画像圧縮記録装置は、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出手段と、前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記前記探索領域内における分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における輝度値の分散または標準偏差を求めて、求めた分散または標準偏差からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

前記判定手段は、前記算出手段で得た分散または標準偏差が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた輝度値の分散または標準偏差が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

また、分散または標準偏差が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成するために本発明に係る撮像装置は、被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出手段と、前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における輝度値の分散または標準偏差を求めて、求めた分散または標準偏差からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

前記判定手段は、前記算出手段で得た分散または標準偏差が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた輝度値の分散または標準偏差が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

また、分散または標準偏差が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成するために本発明に係る動きベクトル算出方法は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出ステップと、前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における輝度値の分散または標準偏差を求めて、求めた分散または標準偏差からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法を提供することができる。

前記目的を達成するために本発明に係る動きベクトル算出方法をコンピュータに実行させるプログラムは、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出ステップと、前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における輝度値の分散または標準偏差を求めて、求めた分散または標準偏差からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法をコンピュータに実行させるプログラムを提供することができる。

前記目的を達成するために本発明に係る動きベクトル算出装置は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出手段と、前記算出手段で得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、それぞれのフレームの分割した領域内における輝度値の差分値を求めて、求めた差分値からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

前記判定手段は、前記算出手段で得た差分値が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた差分値が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

また、差分値が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成するために本発明に係る動画像圧縮記録装置は、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出手段と、前記算出手段で得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、それぞれのフレームの分割した領域内における輝度値の差分値を求めて、求めた差分値からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

前記判定手段は、前記算出手段で得た差分値が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた差分値が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

また、差分値が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成するために本発明に係る撮像装置は、被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出手段と、前記算出手段で得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、それぞれのフレームの分割した領域内における輝度値の差分値を求めて、求めた差分値からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

前記判定手段は、前記算出手段で得た差分値が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた差分値が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

また、差分値が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成するために本発明に係る動きベクトル算出方法は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出ステップと、前記算出ステップで得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、それぞれのフレームの分割した領域内における輝度値の差分値を求めて、求めた差分値からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法を提供することができる。

前記目的を達成するために本発明に係る動きベクトル算出方法をコンピュータに実行させるプログラムは、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出ステップと、前記算出ステップで得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、それぞれのフレームの分割した領域内における輝度値の差分値を求めて、求めた差分値からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法をコンピュータに実行させるプログラムを提供することができる。

本発明によれば、階層型動きベクトル算出方法において、絵柄が緻密であるかどうかを判定するために、分割した領域内における輝度値の分散または標準偏差を求めて、求めた分散または標準偏差からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、緻密でない絵柄では２段階目以降のベクトル算出を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

また、分散または標準偏差が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

以下、添付図面に従って本発明に係る動きベクトル算出装置の好ましい実施の形態について説明する。

＜第１の実施の形態＞
図１は本発明に係る動きベクトル算出装置の第１の実施の形態のブロック図である。

この動きベクトル算出装置は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。

ＣＰＵ１２は、所定のプログラムに従ってカメラ１０を制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。

バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ１７には、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。

また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域及びＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。

切り替えスイッチ２２及びメニュー／ＯＫキー２６により動画撮影モードが設定され撮影ボタン２４が操作されると、動画の撮影が開始される。

ＡＦ検出回路６２及びＡＥ／ＡＷＢ検出回路６４の検出結果から、ＣＰＵ１２に制御されるレンズ駆動部４６及び絞り駆動部４８が、レンズユニット４０のフォーカスレンズ４２及び絞り４４を適正に駆動し、焦点と絞りが調整される。

レンズユニット４０を介してＣＣＤ３８に結像された被写体像は、各フォトダイオードによって入射光量に応じた量のＲ、Ｇ、Ｂの信号電荷に変換される。

各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいてＣＤＳ／ＡＭＰ５２回路に送られ、ここで相関二重サンプリング処理された後増幅され、Ａ／Ｄ変換器５４に加えられる。

Ａ／Ｄ変換器５４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ５６を介してメモリ１８に記憶される。

画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１２の指令に従って処理し、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）に変換するとともに、ガンマ補正等の所定の処理も行い、再びメモリ１８に格納する。

画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。

ビデオエンコーダ６０は、ＶＲＡＭ２０からバス１４を介して入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。

撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。

またメモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介してメディアソケット３０に挿入された記録メディア３２に記録される。例えば、ＭＰＥＧ形式で記録される。

このデータ圧縮では、動き補償予測符号化後に離散コサイン変換（ＤＣＴ）がおこなわれ、その後、ＤＣＴ係数の量子化、符号化がおこなわれる。

分散算出回路６７は、この動き補償予測における動きベクトルを算出する際に用いられる回路である。

次に、本発明の第１の実施の形態に係る、階層型動きベクトル算出方法における階層の決定方法について、図２〜図６を用いて説明する。

本発明の第１の実施の形態に係るカメラ１０は、動き補償予測を階層型動きベクトル算出方法を用いて行うが、輝度のばらつきが大きい部分は絵柄が緻密であり、動き補償予測を行うにあたって高精度を要する部分であると判断し、深い階層まで動きベクトルの算出を行う。

逆に、輝度のばらつきが小さい部分は、動き補償予測を行うにあたって精度を要しない部分であると判断し、深い階層まで動きベクトルの算出をおこなわない。

図２は被符号化フレームのブロック分割を示した図であり、図３〜図５はブロック分割の流れを示すフローチャートであり、図６は分散算出回路６７の回路構成図である。

図２（ａ）に示すように、まず被符号化フレームを３２画素×３２画素のブロックに分割する（ステップＳ３１）。

本実施の形態では、６４０画素×４８０画素の動画であるので、横ｉ＝２０、縦ｊ＝１５、計２０×１５＝３００のブロックに分割される。

次に、左上（ｉ＝１、ｊ＝１）のブロックから、ブロック内の各画素の輝度値の分散ｓ^２（ｉ＿４、ｊ＿４）を算出する（ステップＳ３２）。

ここで、図６を用いて輝度値の分散ｓ^２の算出方法を説明する。

図６は分散算出回路６７の内部構成を示す図であり、１０１はメモリ１８から読み出されたｎ番目の画素の輝度信号Ｙ_ｎが数値化されたＸ_ｎであり、１０２は定数−１であり、１０３は１ブロック内の画素数であり、ここでは３２×３２＝１０２４が入力されている。

乗算器１０４の乗算結果−Ｘ_ｎ ^２と乗算器１０５の乗算結果Ｎ×Ｘ_ｎが加算器１０６により加算され、加算器１０６の出力Ｎ×Ｘ_ｎ−Ｘ_ｎ ^２が導かれる。

この加算器１０６の出力が、１ＣＬＫ遅延素子１０８によって遅延された前回（ｎ−１番目）までの加算結果Σ（Ｎ×Ｘ_ｎ−１−Ｘ_ｎ−１ ^２）と加算器１０７によって加算され、加算器１０７の出力＝Σ（Ｎ×Ｘ_ｎ−Ｘ_ｎ ^２）が出力される。

これをｎ＝１０２４（＝３２×３２）まで繰り返して分散算出回路６７の出力１０９＝Σ（Ｎ×Ｘ_ｎ−Ｘ_ｎ ^２）を算出する。

ＣＰＵ１２によりこの分散算出回路６７の算出結果をＮ×（Ｎ−１）（＝３２×３１）で除算すると、ブロック内の各画素の輝度値の分散ｓ２（ｉ＿４、ｊ＿４）が導かれる。

ＣＰＵ１２は、このように算出されたブロック内の各画素の輝度値の分散ｓ^２（ｉ＿４、ｊ＿４）と、あらかじめ設定されているブロック分割閾値ａ（４）の比較を行う（ステップＳ３３）。

分散ｓ^２（ｉ＿４、ｊ＿４）がａ（４）より小さい場合、即ちブロック内の輝度のばらつきが小さいと判断された場合は、（ｉ＿４、ｊ＿４）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ３５）、次のブロックの処理へ移行する。逆に、分散ｓ^２（ｉ＿４、ｊ＿４）がａ（４）より大きい場合、即ちブロック内の輝度のばらつきが大きいと判断された場合は、サブルーチンＡへ移行する（ステップＳ３４）。

図４はサブルーチンＡの処理を示すフローチャートである。

ここではまず、該当する（ｉ＿４、ｊ＿４）の３２画素×３２画素のブロックを、図２（ｂ）に示すように、１６画素×１６画素のブロック４個に分割する（ステップＳ４１）。

３２画素×３２画素のブロックのときと同様に、分散算出回路６７を用いて、各ブロックにおけるブロック内の各画素の輝度値の分散ｓ^２（ｉ＿２、ｊ＿２）を算出する（ステップＳ４２）。なおここでは、変数１０３（１ブロック内の画素数）は、１６×１６＝２５６になる。

ＣＰＵ１２は、ここで求められたブロック内の各画素の輝度値の分散ｓ^２（ｉ＿２、ｊ＿２）と、あらかじめ設定されているブロック分割閾値ａ（２）の比較を行う（ステップＳ４３）。

分散ｓ^２（ｉ＿２、ｊ＿２）がａ（２）より小さい場合、即ちブロック内の輝度のばらつきが小さいと判断された場合は、（ｉ＿２、ｊ＿２）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ４５）、次のブロックの処理へ移行する。逆に、分散ｓ^２（ｉ＿２、ｊ＿２）がａ（２）より大きい場合、即ちブロック内の輝度のばらつきが大きいと判断された場合は、サブルーチンＢへ移行する（ステップＳ４４）。

図５はサブルーチンＢの処理を示すフローチャートである。

ここではまず、該当する（ｉ＿２、ｊ＿２）の１６画素×１６画素のブロックを、図２（ｃ）に示すように、８画素×８画素のブロック４個に分割する（ステップＳ５１）。

３２画素×３２画素のブロックのときと同様に、分散算出回路６７を用いて、各ブロックにおけるブロック内の各画素の輝度値の分散ｓ^２（ｉ＿１、ｊ＿１）を算出する（ステップＳ５２）。なおここでは、変数１０３（１ブロック内の画素数）は、８×８＝６４になる。

ＣＰＵ１２は、ブロック内の各画素の輝度値の分散ｓ^２（ｉ＿１、ｊ＿１）と、あらかじめ設定されているブロック分割閾値ａ（１）の比較を行う（ステップＳ５３）。

分散ｓ^２（ｉ＿１、ｊ＿１）がａ（１）より小さい場合、即ちブロック内の輝度のばらつきが小さいと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを１６画素×１６画素周辺動き推定の対象とし（ステップＳ５５）、次のブロックの処理へ移行する。逆に、ブロック内の各画素の輝度値の分散ｓ^２（ｉ＿１、ｊ＿１）がａ（１）より大きい場合、即ちブロック内の輝度のばらつきが大きいと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを８画素×８画素周辺動き推定の対象とし（ステップＳ５４）、次のブロックの処理へ移行する。

このように、全てのブロックについて輝度値の分散ｓ^２を求め、さらにブロック分割を行い、探索領域内の探索精度を上げるかどうかの判定を行う。ここで、ブロック分割閾値については、ａ（４）＜ａ（２）＜ａ（１）の関係であることが好ましい。

全てのブロックについて終了後（ステップＳ３６）、ＣＰＵ１２はこれらのブロック分割データに基づいて、階層型動きベクトル算出方法を用いて動きベクトルの算出を行う。

まず初めに、４画素単位でブロックマッチングを行い、動きベクトルの算出を行う。

ここで求めた動きベクトルの位置が、３２画素×３２画素動き推定の対象の場合は、これ以上の動きベクトルの算出を行わないが、１６画素×１６画素周辺動き推定の対象となっている場合は、２画素単位に精度を上げ、４画素単位で得た動きベクトルの最小値の位置に原点を移動し、近傍８画素に対してのみブロックマッチングを行い、動きベクトルを求める。

ここで求めた動きベクトルの位置が１６画素×１６画素動き推定の対象の場合は、これ以上の動きベクトルの算出を行わないが、さらに８画素×８画素周辺動き推定の対象となっている場合は、１画素単位に精度を上げ、２画素単位で得た動きベクトルの最小値の位置に原点を移動し、近傍８画素に対してのみブロックマッチングを行い、動きベクトルを求める。

このように、高精度を要する部分は深い階層で動きベクトル算出を行い、そうでない部分は必要最低限な階層で動きベクトル算出を行うことにより、低処理負荷で、なおかつ高画質な圧縮動画を得ることができる。

この実施例では、ブロック分割を行うか否かの判断を分散を用いて行ったが、標準偏差を用いてもよい。

＜第２の実施の形態＞
図７は本発明に係る動きベクトル算出装置の第２の実施の形態の内部構成の一例を示すブロック図であり、図１に示した第１の実施の形態のブロック図とは分散算出回路６７が存在しない点が異なる。

本発明に係る動きベクトル算出装置の第２の実施の形態では、ＣＰＵ１２がＲＯＭ１６に格納された分散算出プログラムを実行することにより、ブロック内の各画素の輝度値の分散ｓ^２を算出する。

図３、図４、図５で示した動作フローは同じであるが、それぞれの分散算出工程ステップＳ３２、ステップＳ４２、ステップＳ５２で、ソフトウェアを用いるところが異なる。

図８のフローチャートを用いて、ＣＰＵ１２が実行する分散算出プログラムの流れを説明する。

まず、ブロック内の画素数をカウントするｎを１に、及び各画素のＡ_ｎ＝Ｎ×Ｘ_ｎ−Ｘ_ｎ ^２の合計値Ｓｕｍを０にクリアする（ステップＳ８１）。ｎ＝１の画素のＡ_ｎ＝Ｎ×Ｘ_ｎ−Ｘ_ｎ ^２を求める（ステップＳ８２）。ＡｎをＳｕｍに加算する（ステップＳ８３）。ｎ＝Ｎであるかを比較し（ステップＳ８４）、そうでない場合はｎをインクリメントして（ステップＳ８５）同様の処理を行う。ｎ＝Ｎまで繰り返したら、即ちブロック内の全ての画素について処理が終了したら、求められたＳｕｍをＮ（Ｎ−１）で除算して、ブロック内の各画素の輝度値の分散ｓ^２を算出する（ステップＳ８６）。

このように分散ｓ^２を算出し、ブロック分割の処理を行っていく。第１の実施の形態と比較して、ＣＰＵ１２の負荷は大きくなるが、分散算出回路６７が不要であるので、回路規模が小さくでき、低コストで実現できる。

＜第３の実施の形態＞
本発明の第３の実施の形態では、動き補償予測するにあたって、フレーム間の輝度の差が大きい部分は絵柄が大きく変化したということであり、高精度を要する部分であると判断する。

図９は本発明に係る動きベクトル算出装置の第３の実施の形態の内部構成の一例を示すブロック図であり、図１に示した第１の実施の形態とは分散算出回路６７の代わりに輝度差分値算出回路６８が存在する点が異なる。

本発明の第３の実施の形態に係る階層型動きベクトル算出方法における階層の決定方法について、図１０〜図１４を用いて説明する。

図１０は参照フレームであるｍフレーム目と、被符号化フレームであるｍ＋１フレーム目のブロック分割を示した図であり、図１１〜図１３はブロック分割の流れを示すフローチャートであり、図１４は輝度差分値算出回路６８の回路構成図である。

図１０（ａ）に示すように、まずｍフレーム目を３２画素×３２画素のブロックに分割する（ステップＳ１１１）。

また同様に、図１０（ａ’）に示すように、ｍ＋１フレーム目も３２画素×３２画素のブロックに分割する（ステップＳ１１２）。

ｍフレーム目及びｍ＋１フレーム目は、第１の実施の形態と同様に、横ｉ＝２０、縦ｊ＝１５、計２０×１５＝３００のブロックに分割される。

次に、ｍフレーム目の左上（ｉ＝１、ｊ＝１）のブロックから、ブロック内の各画素の輝度値の平均値Ａｖ_ｍを算出する（ステップＳ１１３）。

ここで、図１４を用いて輝度値の平均値Ａｖ_ｍの算出方法を説明する。

１１０はメモリ１８から読み出されたｍフレーム目のｎ番目の画素の輝度信号Ｙ_ｎが数値化されたＸ_ｍｎであり、１１１は加算器である。Ｘ_ｍｎと、１ＣＬＫ遅延素子１０８によって遅延された前回（ｎ−１番目）までの加算結果ΣＸ_ｍｎ−１とが加算器１１１によって加算され、加算器１１１からはΣＸ_ｍｎが出力される。これをｎ＝１０２４（＝３２×３２）まで繰り返してΣＸ_ｍｎを算出する。

この計算結果ΣＸ_ｍｎを、ＣＰＵ１２によりブロック内の画素数Ｎ（＝１０２４）で除算すると、ブロック内の各画素の輝度値の平均値Ａｖ_ｍ（ｉ＿４、ｊ＿４）が導かれる。

同様に、ｍ＋１フレーム目の左上（ｉ＝１、ｊ＝１）のブロックから、ブロック内の各画素の輝度値の平均値Ａｖ_ｍ＋１を算出し（ステップＳ１１４）、それぞれのブロック内の各画素の輝度値の平均値の算出が終わったら、ＣＰＵ１２はこれらの差ｄｉｆ（ｉ＿４，ｊ＿４）＝Ａｖ_ｍ（ｉ＿４、ｊ＿４）−Ａｖ_ｍ＋１（ｉ＿４、ｊ＿４）を求める（ステップＳ１１５）。

ＣＰＵ１２は、このように算出されたブロック内の各画素の輝度値の平均値の差分ｄｉｆ（ｉ＿４、ｊ＿４）と、あらかじめ設定されているブロック分割閾値ｂ（４）の比較を行う（ステップＳ１１６）。

平均値の差分ｄｉｆ（ｉ＿４、ｊ＿４）がｂ（４）より小さい場合、即ちフレーム間の輝度の差が小さいと判断された場合は、（ｉ＿４、ｊ＿４）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ１１８）、次のブロックの処理へ移行する。逆に、平均値の差分ｄｉｆ（ｉ＿４、ｊ＿４）がｂ（４）より大きい場合、即ちフレーム間の輝度の差が大きいと判断された場合は、サブルーチンＣへ移行する（ステップＳ１１７）。

図１２はサブルーチンＣの処理を示すフローチャートである。

ここではまず、該当するｍフレーム目の（ｉ＿４、ｊ＿４）の３２画素×３２画素のブロックを、図１０（ｂ）に示すように、１６画素×１６画素のブロック４個に分割する（ステップＳ１２１）。また、該当するｍ＋１フレーム目の（ｉ＿４、ｊ＿４）の３２画素×３２画素のブロックを、図１０（ｂ’）に示すように、１６画素×１６画素のブロック４個に分割する（ステップＳ１２２）。

３２画素×３２画素のブロックのときと同様に、輝度差分値算出回路６８を用いて、各ブロックにおけるフレーム間の各画素の輝度値の差分値ｄｉｆ（ｉ＿２、ｊ＿２）を算出する（ステップＳ１２３〜ステップＳ１２５）。ＣＰＵ１２は、ここで求められたフレーム間の各画素の輝度値の差分値ｄｉｆ（ｉ＿２、ｊ＿２）と、あらかじめ設定されているブロック分割閾値ｂ（２）の比較を行う（ステップＳ１２６）。

差分値ｄｉｆ（ｉ＿２、ｊ＿２）がｂ（２）より小さい場合、即ちフレーム間の輝度の差が小さいと判断された場合は、（ｉ＿２、ｊ＿２）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（図１２−Ｓ１２８）、次のブロックの処理へ移行する。逆に、差分値ｄｉｆ（ｉ＿２、ｊ＿２）がｂ（２）より大きい場合、即ちフレーム間の輝度の差が大きいと判断された場合は、サブルーチンＤへ移行する（ステップＳ１２７）。

図１３はサブルーチンＤの処理を示すフローチャートである。

ここではまず、該当するｍフレーム目の（ｉ＿２、ｊ＿２）の１６画素×１６画素のブロックを、図１０（ｃ）に示すように、８画素×８画素のブロック４個に分割する（ステップＳ１３１）。また、該当するｍ＋１フレーム目の（ｉ＿２、ｊ＿２）の１６画素×１６画素のブロックを、図１０（ｃ’）に示すように、８画素×８画素のブロック４個に分割する（ステップＳ１３２）。

３２画素×３２画素のブロックのときと同様に、輝度差分値算出回路６８を用いて、各ブロックにおけるフレーム間の各画素の輝度値の差分値ｄｉｆ（ｉ＿１、ｊ＿１）を算出する（ステップＳ１３３〜ステップＳ１３５）。ＣＰＵ１２は、ここで求められたフレーム間の各画素の輝度値の差分値ｄｉｆ（ｉ＿１、ｊ＿１）と、あらかじめ設定されているブロック分割閾値ｂ（１）の比較を行う（ステップＳ１３６）。

差分値ｄｉｆ（ｉ＿１、ｊ＿１）がｂ（１）より小さい場合、即ちフレーム間の輝度の差が小さいと判断された場合は、（ｉ＿１、ｊ＿１）のブロックをこれ以上の分割を行わない、即ち１６画素×１６画素周辺動き推定の対象とし（ステップＳ１３８）、次のブロックの処理へ移行する。逆に、差分値ｄｉｆ（ｉ＿１、ｊ＿１）がｂ（１）より大きい場合、即ちフレーム間の輝度の差が大きいと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを８画素×８画素周辺動き推定の対象とし（ステップＳ１３７）、次のブロックの処理へ移行する。

このように、全てのブロックについて輝度値の差分値ｄｉｆを求め、さらにブロック分割を行うかの判定を行う。ここで、ブロック分割閾値については、ｂ（４）＜ｂ（２）＜ｂ（１）の関係であることが好ましい。

全てのブロックについて終了後（ステップＳ１１９）、ＣＰＵ１２はこれらのブロック分割データに基づいて、階層型動きベクトル算出方法を用いて動きベクトルの算出を行う。

＜第４の実施の形態＞
本発明に係る動きベクトル算出装置の第４の実施の形態の内部構成のブロック図は、第２の実施の形態の内部構成と同様に図７で表され、図９に示した第３の実施の形態のブロック図とは輝度差分値算出回路６８が存在しない点が異なる。

本発明に係る動きベクトル算出装置１０の第４の実施の形態では、ＣＰＵ１２がＲＯＭ１６に格納された差分値算出プログラムを実行することにより、フレーム間の各画素の輝度値の平均値の差分値ｄｉｆを算出する。

図１１、図１２、図１３で示した動作フローは同じであるが、そのぞれの平均値算出工程及び差分値算出工程である、ステップＳ１１３〜ステップＳ１１５、ステップＳ１２３〜ステップＳ１２５、ステップＳ１３３〜ステップＳ１３５にソフトウェアを用いるところが異なる。

図１５のフローチャートを用いて、ＣＰＵ１２が実行する差分値算出プログラムの流れを説明する。

まず、ブロック内の画素数をカウントするｎを１に、及び各画素の輝度値の合計値Ｓｕｍを０にクリアする（ステップＳ１５１）。ｍフレーム目のｎ＝１番目の画素の輝度値をＳｕｍに加算する（ステップＳ１５２）。ｎ＝Ｎであるかを比較し（ステップＳ１５３）、そうでない場合はｎをインクリメントして（ステップＳ１５４）同様の処理を行う。

ｎ＝Ｎまで繰り返したら、即ちブロック内の全ての画素について処理が終了したら、求められたＳｕｍをＮ（該当ブロックの画素数）で除算し、ブロック内の各画素の輝度値の平均値Ａｖ_ｍを算出する（ステップＳ１５５）。

次に再び、ブロック内の画素数をカウントするｎを１に、及び各画素の輝度値の合計値Ｓｕｍを０にクリアする（ステップＳ１５６）。ｍ＋１フレーム目のｎ＝１番目の画素の輝度値をＳｕｍに加算する（ステップＳ１５７）。ｎ＝Ｎであるかを比較し（ステップＳ１５８）、そうでない場合はｎをインクリメントして（ステップＳ１５９）同様の処理を行う。

ｎ＝Ｎまで繰り返したら、即ちブロック内の全ての画素について処理が終了したら、求められたＳｕｍをＮ（該当ブロックの画素数）で除算し、ブロック内の各画素の輝度値の平均値Ａｖ_ｍ＋１を算出し（ステップＳ１６０）、それぞれ求めたＡｖ_ｍとＡｖ_ｍ＋１の差分をとる（ステップＳ１６１）。

このように、フレーム間の輝度の平均値の差分値ｄｉｆを算出し、ブロック分割の処理を行っていく。

第３の実施の形態と比較して、ＣＰＵ１２の負荷は大きくなるが、輝度差分値算出回路６８が不要であるので、回路規模が小さくでき、低コストで実現できる。

なお、輝度値の標準偏差と、近接フレーム間の輝度値の差分の両方の値を基に、その領域をさらに複数のエリアに分割するかどうか判別してもよい。この場合は、ブロック分割閾値（ｅｘ：ａ（４）とｂ（４））のバランスによって、重み付けを任意に変えることができる。

図１は本発明に係る動きベクトル算出装置（デジタルカメラ）の内部構成の一例を示すブロック図である。 図２は本発明に係る第１の実施の形態の参照フレームの画面分割を示した図である。 図３は本発明に係る第１の実施の形態の動作を示すフローチャートである。 図４は本発明に係る第１の実施の形態の動作を示すフローチャートである。 図５は本発明に係る第１の実施の形態の動作を示すフローチャートである。 図６は本発明に係る第１の実施の形態の標準偏差算出回路の構成図である。 図７は本発明に係る第２の実施の形態の内部構成の一例を示すブロック図である。 図８は本発明に係る第２の実施の形態のプログラム処理を示すフローチャートである。 図９は本発明に係る第３の実施の形態の内部構成の一例を示すブロック図である。 図１０は本発明に係る第３の実施の形態の参照フレームの画面分割を示した図である。 図１１は本発明に係る第３の実施の形態の動作を示すフローチャートである。 図１２は本発明に係る第３の実施の形態の動作を示すフローチャートである。 図１３は本発明に係る第３の実施の形態の動作を示すフローチャートである。 図１４は本発明に係る第３の実施の形態の輝度差分値算出回路の構成図である。 図１５は本発明に係る第４の実施の形態のプログラム処理を示すフローチャートである。 図１６は動きベクトルを説明するための図である。 図１７は従来のブロックマッチング方式を説明するための図である。 図１８は従来の階層型動きベクトル算出方法を説明するための図である。

符号の説明

１２…ＣＰＵ、１６…ＲＯＭ、１８…メモリ、２０…ＶＲＡＭ、３２…記録メディア、３８…ＣＣＤ、６４…ＣＣＤ、５８…画像信号処理回路、６６…圧縮伸張回路、６７…標準偏差算出回路、６８…輝度差分値算出回路

Claims (16)

1. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、
   前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出手段と、
   前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
   前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出装置。
2. 前記判定手段は、前記算出手段で得た分散または標準偏差が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項１に記載の動きベクトル算出装置。
3. 時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、
   前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出手段と、
   前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
   前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動画像圧縮記録装置。
4. 前記判定手段は、前記算出手段で得た分散または標準偏差が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項３に記載の動画像圧縮記録装置。
5. 被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、
   前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出手段と、
   前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
   前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする撮像装置。
6. 前記判定手段は、前記算出手段で得た分散または標準偏差が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項５に記載の撮像装置。
7. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、
   前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出ステップと、
   前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
   前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法。
8. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、
   前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の分散または標準偏差を算出する算出ステップと、
   前記算出手段で得た分散または標準偏差を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
   前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法をコンピュータに実行させるプログラム。
9. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、
   前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出手段と、
   前記算出手段で得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
   前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出装置。
10. 前記判定手段は、前記算出手段で得た差分値が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項９に記載の動きベクトル算出装置。
11. 時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、
    前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出手段と、
    前記算出手段で得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
    前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動画像圧縮記録装置。
12. 前記判定手段は、前記算出手段で得た差分値が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項１１に記載の動画像圧縮記録装置。
13. 被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、
    前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出手段と、
    前記算出手段で得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
    前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする撮像装置。
14. 前記判定手段は、前記算出手段で得た差分値が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項１３に記載の撮像装置。
15. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、
    前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出ステップと、
    前記算出ステップで得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
    前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法。
16. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームと間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、
    前期参照フレームと前記被符号化フレームをそれぞれある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の各画素の輝度値の平均値を算出し、それぞれのフレームの同一座標領域ごとに、輝度値の平均値の差分値を算出する算出ステップと、
    前記算出ステップで得た差分値を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
    前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法をコンピュータに実行させるプログラム。

Images