JPH0865681A - 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム - Google Patents
動きベクトル検出装置およびそれを使用した動き補償予測符号化システムInfo
- Publication number
- JPH0865681A JPH0865681A JP6200662A JP20066294A JPH0865681A JP H0865681 A JPH0865681 A JP H0865681A JP 6200662 A JP6200662 A JP 6200662A JP 20066294 A JP20066294 A JP 20066294A JP H0865681 A JPH0865681 A JP H0865681A
- Authority
- JP
- Japan
- Prior art keywords
- block
- frame
- feature extraction
- motion vector
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
(57)【要約】
【目的】フレーム動きベクトルとフィールド動きベクト
ルを同時に検出する場合に回路規模を小さくする。 【構成】メモリ20より基準フレームブロックを特徴抽
出回路21Aに供給し、メモリ30より検索フレームブ
ロックを特徴抽出回路31Aに供給する。抽出回路21
A,31Aでは、フレームブロックを小ブロックに分割
し、各小ブロックを構成する画素を積分してフレーム用
マッチング要素を得る。抽出回路21A,31Aより得
られるマッチング要素を使用してマッチング処理をし、
フレーム動きベクトルを得る。抽出回路21,31Aよ
り得られるマッチング要素をデータ分割回路24,34
で分割して得られる奇数フィールド用マッチング要素及
び偶数フィールド用マッチング要素を使用してマッチン
グ処理をし、奇数フィールド動きベクトル及び偶数フィ
ールド動きベクトルを得る。フィールド用マッチング要
素を得るための特徴抽出回路が不要となる。
ルを同時に検出する場合に回路規模を小さくする。 【構成】メモリ20より基準フレームブロックを特徴抽
出回路21Aに供給し、メモリ30より検索フレームブ
ロックを特徴抽出回路31Aに供給する。抽出回路21
A,31Aでは、フレームブロックを小ブロックに分割
し、各小ブロックを構成する画素を積分してフレーム用
マッチング要素を得る。抽出回路21A,31Aより得
られるマッチング要素を使用してマッチング処理をし、
フレーム動きベクトルを得る。抽出回路21,31Aよ
り得られるマッチング要素をデータ分割回路24,34
で分割して得られる奇数フィールド用マッチング要素及
び偶数フィールド用マッチング要素を使用してマッチン
グ処理をし、奇数フィールド動きベクトル及び偶数フィ
ールド動きベクトルを得る。フィールド用マッチング要
素を得るための特徴抽出回路が不要となる。
Description
【0001】
【産業上の利用分野】この発明は、動きベクトル検出装
置およびそれを使用した動き補償予測符号化システムに
関する。
置およびそれを使用した動き補償予測符号化システムに
関する。
【0002】
【従来の技術】図37は、ビデオ信号のデータ圧縮をす
るDCT(離散コサイン変換)を使用した動き補償フレ
ーム間予測符号化システムを示している。図において、
デジタルビデオ信号DVは減算器2に供給され、予測ビ
デオ信号PDVとの間で減算されて予測誤差信号PER
が得られる。ビデオ信号DVにはフレーム間に相関があ
るため、予測誤差信号PERは小さな値となる。減算器
2より出力される予測誤差信号PERはDCT回路3に
供給される。DCT回路3では、各符号化ブロックのデ
ータに対して離散コサイン変換が行われる。
るDCT(離散コサイン変換)を使用した動き補償フレ
ーム間予測符号化システムを示している。図において、
デジタルビデオ信号DVは減算器2に供給され、予測ビ
デオ信号PDVとの間で減算されて予測誤差信号PER
が得られる。ビデオ信号DVにはフレーム間に相関があ
るため、予測誤差信号PERは小さな値となる。減算器
2より出力される予測誤差信号PERはDCT回路3に
供給される。DCT回路3では、各符号化ブロックのデ
ータに対して離散コサイン変換が行われる。
【0003】DCT回路3より出力される変換係数デー
タTCDは量子化器4に供給されて量子化される。この
場合、急激に変化するところは粗く量子化しても目立ち
にくいという人間の視角特性が考慮され、量子化器4で
はゼロ近傍で量子化ステップ幅が小さくされ、ゼロから
離れるにしたがって量子化ステップ幅が大きくされる。
このように非線形量子化が行われることで、データ圧縮
が図られる。量子化器4より出力される量子化データは
可変長符号器5で符号化された後にコードデータDTと
して出力される。
タTCDは量子化器4に供給されて量子化される。この
場合、急激に変化するところは粗く量子化しても目立ち
にくいという人間の視角特性が考慮され、量子化器4で
はゼロ近傍で量子化ステップ幅が小さくされ、ゼロから
離れるにしたがって量子化ステップ幅が大きくされる。
このように非線形量子化が行われることで、データ圧縮
が図られる。量子化器4より出力される量子化データは
可変長符号器5で符号化された後にコードデータDTと
して出力される。
【0004】また、量子化器4からの量子化データは逆
量子化器6で逆量子化処理される。逆量子化器6より出
力される変換係数データTCDp(変換係数データTC
Dに近い)は逆DCT回路7に供給されて逆離散コサイ
ン変換処理が行われる。逆DCT回路7より出力される
予測誤差信号PERpは加算器8に供給されて予測ビデ
オ信号PDVと加算される。そして、加算器8より出力
されるビデオ信号はフレームメモリ9で1フレーム期間
遅延された後に動き補償回路10で動き補償されて予測
ビデオ信号PDVとされる。
量子化器6で逆量子化処理される。逆量子化器6より出
力される変換係数データTCDp(変換係数データTC
Dに近い)は逆DCT回路7に供給されて逆離散コサイ
ン変換処理が行われる。逆DCT回路7より出力される
予測誤差信号PERpは加算器8に供給されて予測ビデ
オ信号PDVと加算される。そして、加算器8より出力
されるビデオ信号はフレームメモリ9で1フレーム期間
遅延された後に動き補償回路10で動き補償されて予測
ビデオ信号PDVとされる。
【0005】また、11は動きベクトル検出回路であ
る。この動きベクトル検出回路11にはデジタルビデオ
信号DVおよびフレームメモリ9より出力される1フレ
ーム前のビデオ信号が供給され、周知の方法によって動
きベクトルの検出が行われる。上述した動き補償回路1
0では、動きベクトル検出回路11で検出される動きベ
クトルの情報によって補償量が決定される。
る。この動きベクトル検出回路11にはデジタルビデオ
信号DVおよびフレームメモリ9より出力される1フレ
ーム前のビデオ信号が供給され、周知の方法によって動
きベクトルの検出が行われる。上述した動き補償回路1
0では、動きベクトル検出回路11で検出される動きベ
クトルの情報によって補償量が決定される。
【0006】ところで、図37に示す動き補償フレーム
間予測符号化システムの動きベクトル検出回路11等で
マッチング法によって動きベクトルを検出する場合、図
38に示すように基準フレーム内を等しいブロック(基
準ブロック)に分割し、各ブロックが過去又は未来のフ
レーム(検索フレーム)内で最もマッチングするブロッ
ク(検索ブロック)を探し、その距離を動きベクトルと
する。
間予測符号化システムの動きベクトル検出回路11等で
マッチング法によって動きベクトルを検出する場合、図
38に示すように基準フレーム内を等しいブロック(基
準ブロック)に分割し、各ブロックが過去又は未来のフ
レーム(検索フレーム)内で最もマッチングするブロッ
ク(検索ブロック)を探し、その距離を動きベクトルと
する。
【0007】一般に最もマッチングするブロックを探す
際には、2ブロック内の全ての画素同士の引算を行い、
その絶対値和または二乗和を求め、その値が最小となる
位置を動きベクトルとする。ここで、16画素×16ラ
インのブロックで考えてみると、一点の検索に256回
の減算、絶対値化と255回の加算が必要になる。検索
範囲を水平、垂直方向共に−8から+7画素の範囲とす
ると、全検索点は256点となる。したがって、非常に
膨大な計算が必要となり、ハードウェアの回路規模も非
常に大きくなるという問題点がある。
際には、2ブロック内の全ての画素同士の引算を行い、
その絶対値和または二乗和を求め、その値が最小となる
位置を動きベクトルとする。ここで、16画素×16ラ
インのブロックで考えてみると、一点の検索に256回
の減算、絶対値化と255回の加算が必要になる。検索
範囲を水平、垂直方向共に−8から+7画素の範囲とす
ると、全検索点は256点となる。したがって、非常に
膨大な計算が必要となり、ハードウェアの回路規模も非
常に大きくなるという問題点がある。
【0008】そこで従来、回路規模を削減する方法が提
案されている。すなわち、図40Aに示す(m×n)画
素のフレームブロックを、同図Bに示すように(a×
b)画素毎に小ブロックに分割し、各小ブロック毎に全
要素の積分を行ってそれぞれの代表値とする。このよう
にあるブロックの要素をそれよりも少ない要素に変換す
ることを特徴抽出と呼ぶことにする。
案されている。すなわち、図40Aに示す(m×n)画
素のフレームブロックを、同図Bに示すように(a×
b)画素毎に小ブロックに分割し、各小ブロック毎に全
要素の積分を行ってそれぞれの代表値とする。このよう
にあるブロックの要素をそれよりも少ない要素に変換す
ることを特徴抽出と呼ぶことにする。
【0009】上述した特徴抽出によって、(m×n)画
素だけあったマッチング要素を(n×m)/(a×b)
に減少させることができ、回路規模の削減が可能とな
る。なお、図40Cのハッチング領域は特徴抽出後の2
次元周波数成分を示しており、破線枠内の領域は特徴抽
出前の2次元周波数成分を示している。ここで、横軸は
水平周波数fh[cpw]であり、縦軸は垂直周波数fv[c
ph]である。また、fsvは1フレームのライン数(例え
ばNTSC方式では525)を示し、fshは1ラインの
サンプル数(例えばNTSC方式でサンプリング周波数
が4fsc(fscは色副搬送波周波数)であるときは91
0)を示している。
素だけあったマッチング要素を(n×m)/(a×b)
に減少させることができ、回路規模の削減が可能とな
る。なお、図40Cのハッチング領域は特徴抽出後の2
次元周波数成分を示しており、破線枠内の領域は特徴抽
出前の2次元周波数成分を示している。ここで、横軸は
水平周波数fh[cpw]であり、縦軸は垂直周波数fv[c
ph]である。また、fsvは1フレームのライン数(例え
ばNTSC方式では525)を示し、fshは1ラインの
サンプル数(例えばNTSC方式でサンプリング周波数
が4fsc(fscは色副搬送波周波数)であるときは91
0)を示している。
【0010】図40の例はフレーム動きベクトルを検出
する場合の例であるが、フィールド動きベクトルを検出
する場合には、奇数、偶数のフィールドで図41Aに示
す(m×n/2)画素のフィールドブロックを、同図B
に示すように(a×b/2)画素毎に小ブロックに分割
し、各小ブロック毎に全要素の積分を行ってそれぞれの
代表値とする。このような特徴抽出によって、(m×n
/2)画素だけあったマッチング要素を(n×m)/
(a×b)に減少させることができ、回路規模の削減が
可能となる。なお、図41Cのハッチング領域は特徴抽
出後の2次元周波数成分を示しており、破線枠内の領域
は特徴抽出前の2次元周波数成分を示している。
する場合の例であるが、フィールド動きベクトルを検出
する場合には、奇数、偶数のフィールドで図41Aに示
す(m×n/2)画素のフィールドブロックを、同図B
に示すように(a×b/2)画素毎に小ブロックに分割
し、各小ブロック毎に全要素の積分を行ってそれぞれの
代表値とする。このような特徴抽出によって、(m×n
/2)画素だけあったマッチング要素を(n×m)/
(a×b)に減少させることができ、回路規模の削減が
可能となる。なお、図41Cのハッチング領域は特徴抽
出後の2次元周波数成分を示しており、破線枠内の領域
は特徴抽出前の2次元周波数成分を示している。
【0011】図39は、特徴抽出によって回路規模を削
減したフレーム/フィールド動きベクトル検出装置を示
している。図において、20は基準フレームの画素信号
が蓄えられたフレームメモリである。コントロール回路
50の制御によってフレームメモリ20より読み出され
るある基準フレームブロックの画素信号は特徴抽出回路
21に供給される。特徴抽出回路21では、図40Bに
示すようにフレームブロックが小ブロックに分割され、
各小ブロック毎に全要素の積分を行ってそれぞれの代表
値とする特徴抽出が行われ、その代表値はマッチング回
路40FLにマッチング要素として供給される。
減したフレーム/フィールド動きベクトル検出装置を示
している。図において、20は基準フレームの画素信号
が蓄えられたフレームメモリである。コントロール回路
50の制御によってフレームメモリ20より読み出され
るある基準フレームブロックの画素信号は特徴抽出回路
21に供給される。特徴抽出回路21では、図40Bに
示すようにフレームブロックが小ブロックに分割され、
各小ブロック毎に全要素の積分を行ってそれぞれの代表
値とする特徴抽出が行われ、その代表値はマッチング回
路40FLにマッチング要素として供給される。
【0012】また、30は検索フレームの画素信号が蓄
えられたフレームメモリである。コントロール回路50
の制御によってフレームメモリ30より読み出される検
索フレームブロックの画素信号は特徴抽出回路31に供
給される。特徴抽出回路31では、図40Bに示すよう
にフレームブロックが小ブロックに分割され、各小ブロ
ック毎に全要素の積分を行ってそれぞれの代表値とする
特徴抽出が行われ、その代表値はマッチング回路40F
Lにマッチング要素として供給される。
えられたフレームメモリである。コントロール回路50
の制御によってフレームメモリ30より読み出される検
索フレームブロックの画素信号は特徴抽出回路31に供
給される。特徴抽出回路31では、図40Bに示すよう
にフレームブロックが小ブロックに分割され、各小ブロ
ック毎に全要素の積分を行ってそれぞれの代表値とする
特徴抽出が行われ、その代表値はマッチング回路40F
Lにマッチング要素として供給される。
【0013】マッチング回路40FLでは基準フレーム
ブロックおよび検索フレームブロックで特徴抽出された
各要素間で差分がとられ、その絶対値和または二乗和が
演算され、その演算結果が評価値として評価回路41F
Lに供給される。上述せずもコントロール回路50の制
御によってフレームメモリ30よりある基準フレームブ
ロックに対して複数の検索フレームブロックの画素信号
が読み出され、特徴抽出回路31で特徴抽出が行われる
ため、マッチング回路40FLから評価回路41FLに
は複数の検索フレームブロックのそれぞれ対応して評価
値が供給される。
ブロックおよび検索フレームブロックで特徴抽出された
各要素間で差分がとられ、その絶対値和または二乗和が
演算され、その演算結果が評価値として評価回路41F
Lに供給される。上述せずもコントロール回路50の制
御によってフレームメモリ30よりある基準フレームブ
ロックに対して複数の検索フレームブロックの画素信号
が読み出され、特徴抽出回路31で特徴抽出が行われる
ため、マッチング回路40FLから評価回路41FLに
は複数の検索フレームブロックのそれぞれ対応して評価
値が供給される。
【0014】評価回路41FLでは、全検索フレームブ
ロックに対応した評価値の中から、ある基準フレームブ
ロックに最もマッチングする検索フレームブロックが選
択され、その検索フレームブロックの基準フレームブロ
ックからの位置がフレーム動きベクトルとして出力され
る。そして、このようなフレーム動きベクトルの検出動
作が、フレームメモリ20より読み出される複数の基準
フレームブロックのそれぞれに対応して行われる。
ロックに対応した評価値の中から、ある基準フレームブ
ロックに最もマッチングする検索フレームブロックが選
択され、その検索フレームブロックの基準フレームブロ
ックからの位置がフレーム動きベクトルとして出力され
る。そして、このようなフレーム動きベクトルの検出動
作が、フレームメモリ20より読み出される複数の基準
フレームブロックのそれぞれに対応して行われる。
【0015】また、コントロール回路50の制御によっ
てフレームメモリ20より読み出されるある基準奇数フ
ィールドブロックの画素信号は奇数フィールドブロック
の特徴抽出回路22に供給される。特徴抽出回路21で
は、図41Bに示すように奇数フィールドブロックが小
ブロックに分割され、各小ブロック毎に全要素の積分を
行ってそれぞれの代表値とする特徴抽出が行われ、その
代表値はマッチング回路40FOにマッチング要素とし
て供給される。
てフレームメモリ20より読み出されるある基準奇数フ
ィールドブロックの画素信号は奇数フィールドブロック
の特徴抽出回路22に供給される。特徴抽出回路21で
は、図41Bに示すように奇数フィールドブロックが小
ブロックに分割され、各小ブロック毎に全要素の積分を
行ってそれぞれの代表値とする特徴抽出が行われ、その
代表値はマッチング回路40FOにマッチング要素とし
て供給される。
【0016】また、コントロール回路50の制御によっ
てフレームメモリ30より読み出される検索奇数フィー
ルドブロックの画素信号は奇数フィールドブロックの特
徴抽出回路32に供給される。特徴抽出回路32では、
図41Bに示すように奇数フィールドブロックが小ブロ
ックに分割され、各小ブロック毎に全要素の積分を行っ
てそれぞれの代表値とする特徴抽出が行われ、その代表
値はマッチング回路40FOにマッチング要素として供
給される。
てフレームメモリ30より読み出される検索奇数フィー
ルドブロックの画素信号は奇数フィールドブロックの特
徴抽出回路32に供給される。特徴抽出回路32では、
図41Bに示すように奇数フィールドブロックが小ブロ
ックに分割され、各小ブロック毎に全要素の積分を行っ
てそれぞれの代表値とする特徴抽出が行われ、その代表
値はマッチング回路40FOにマッチング要素として供
給される。
【0017】マッチング回路40FOでは基準奇数フィ
ールドブロックおよび検索奇数フィールドブロックで特
徴抽出された各要素間で差分がとられ、その絶対値和ま
たは二乗和が演算され、その演算結果が評価値として評
価回路41FOに供給される。上述せずもコントロール
回路50の制御によってフレームメモリ30よりある基
準奇数フィールドブロックに対して複数の検索奇数フィ
ールブロックの画素信号が読み出され、特徴抽出回路3
2で特徴抽出が行われるため、マッチング回路4FOか
ら評価回路41FOには複数の検索奇数フィールドブロ
ックのそれぞれ対応して評価値が供給される。
ールドブロックおよび検索奇数フィールドブロックで特
徴抽出された各要素間で差分がとられ、その絶対値和ま
たは二乗和が演算され、その演算結果が評価値として評
価回路41FOに供給される。上述せずもコントロール
回路50の制御によってフレームメモリ30よりある基
準奇数フィールドブロックに対して複数の検索奇数フィ
ールブロックの画素信号が読み出され、特徴抽出回路3
2で特徴抽出が行われるため、マッチング回路4FOか
ら評価回路41FOには複数の検索奇数フィールドブロ
ックのそれぞれ対応して評価値が供給される。
【0018】評価回路41FOでは、全検索奇数フィー
ルドブロックに対応した評価値の中から、ある基準奇数
フィールドブロックに最もマッチングする検索奇数フィ
ールドブロックが選択され、その検索奇数フィールドブ
ロックの基準奇数フィールドブロックからの位置が奇数
フィールド動きベクトルとして出力される。そして、こ
のような奇数フィールド動きベクトルの検出動作が、フ
レームメモリ20より読み出される複数の基準奇数フィ
ールドブロックのそれぞれに対応して行われる。
ルドブロックに対応した評価値の中から、ある基準奇数
フィールドブロックに最もマッチングする検索奇数フィ
ールドブロックが選択され、その検索奇数フィールドブ
ロックの基準奇数フィールドブロックからの位置が奇数
フィールド動きベクトルとして出力される。そして、こ
のような奇数フィールド動きベクトルの検出動作が、フ
レームメモリ20より読み出される複数の基準奇数フィ
ールドブロックのそれぞれに対応して行われる。
【0019】また、23,33は偶数フィールドブロッ
クの特徴抽出回路、40FEはマッチング回路、41F
Eは評価回路でって、それぞれ上述した奇数フィールド
ブロックに係る特徴抽出回路22,32、マッチング回
路40FO、評価回路41FOに対応しており、フレー
ムメモリ20より読み出される複数の基準偶数フィール
ドブロックのそれぞれに対応して評価回路41FEより
偶数フィールド動きベクトルが出力される。
クの特徴抽出回路、40FEはマッチング回路、41F
Eは評価回路でって、それぞれ上述した奇数フィールド
ブロックに係る特徴抽出回路22,32、マッチング回
路40FO、評価回路41FOに対応しており、フレー
ムメモリ20より読み出される複数の基準偶数フィール
ドブロックのそれぞれに対応して評価回路41FEより
偶数フィールド動きベクトルが出力される。
【0020】ここで、フレームブロックの特徴抽出回路
21,31の具体例を説明する。この例では、フレーム
ブロックを構成する(m×n)画素のデータが(m/2
×n/2)のデータ(代表値)に変換される例である。
この場合、図42Aの(m×n)画素のデータが同図B
の2次元フィルタ(LPF)を介されて同図Cに示すよ
うなデータとされ、その後にこのデータの黒色部分がサ
ブサンプルされて同図Dに示すように(m/2×n/
2)のデータが得られる。なお、図42Bの2次元フィ
ルタにおいて、Z-1は1画素ディレイ、Z-Lはフレーム
構造時の1ラインディレイである。また、図42Eのハ
ッチング領域は特徴抽出後の2次元周波数成分を示して
おり、破線枠内は特徴抽出前の2次元周波数成分を示し
ている。
21,31の具体例を説明する。この例では、フレーム
ブロックを構成する(m×n)画素のデータが(m/2
×n/2)のデータ(代表値)に変換される例である。
この場合、図42Aの(m×n)画素のデータが同図B
の2次元フィルタ(LPF)を介されて同図Cに示すよ
うなデータとされ、その後にこのデータの黒色部分がサ
ブサンプルされて同図Dに示すように(m/2×n/
2)のデータが得られる。なお、図42Bの2次元フィ
ルタにおいて、Z-1は1画素ディレイ、Z-Lはフレーム
構造時の1ラインディレイである。また、図42Eのハ
ッチング領域は特徴抽出後の2次元周波数成分を示して
おり、破線枠内は特徴抽出前の2次元周波数成分を示し
ている。
【0021】
【発明が解決しようとする課題】図39の例に示すよう
に、特徴抽出によって回路規模を削減した簡易型動きベ
クトル検出を行っても、フレーム動きベクトルとフィー
ルド動きベクトルを同時に検出する場合、フレーム動き
ベクトルまたはフィールド動きベクトルを検出する場合
に比べて回路規模が大きくなる等の問題点があった。
に、特徴抽出によって回路規模を削減した簡易型動きベ
クトル検出を行っても、フレーム動きベクトルとフィー
ルド動きベクトルを同時に検出する場合、フレーム動き
ベクトルまたはフィールド動きベクトルを検出する場合
に比べて回路規模が大きくなる等の問題点があった。
【0022】また、従来はローパスフィルタによる特徴
抽出が行われているが、そのブロックの特徴を取り出す
のに不十分であった。以下、その理由を説明する。
抽出が行われているが、そのブロックの特徴を取り出す
のに不十分であった。以下、その理由を説明する。
【0023】図43A,Bは、フィールド間で形状の変
化がなく、物体の動きもない場合における奇数フィール
ド、偶数フィールドの垂直方向の波形を1次元的に切り
出して示したものである。同図C,Dは、それぞれを垂
直方向のサンプリング間隔でサンプリングしたデータを
示している。フレームブロックのようにビデオ信号をフ
レーム構造として取り扱う場合には、同図Eに示すよう
に奇数フィールドおよび偶数フィールドのサンプリング
データがマージされる。
化がなく、物体の動きもない場合における奇数フィール
ド、偶数フィールドの垂直方向の波形を1次元的に切り
出して示したものである。同図C,Dは、それぞれを垂
直方向のサンプリング間隔でサンプリングしたデータを
示している。フレームブロックのようにビデオ信号をフ
レーム構造として取り扱う場合には、同図Eに示すよう
に奇数フィールドおよび偶数フィールドのサンプリング
データがマージされる。
【0024】この場合、奇数フィールドおよび偶数フィ
ールドで物体の動きがないので、マージされた信号は、
図43Eに示すように連続的な波形となる。このときの
周波数成分は図44Cに示すようになる。すなわち、フ
レーム構造時の垂直方向のサンプリング周波数をfsと
すると、fs/2の周波数成分がない状態となる。これ
は、図43C,Dに示した奇数フィールド、偶数フィー
ルドのサンプリングデータの周波数成分がそれぞれ図4
4A,Bに示すようになり、fs/2の周波数成分が1
80゜ずれていて、打ち消されるためである。
ールドで物体の動きがないので、マージされた信号は、
図43Eに示すように連続的な波形となる。このときの
周波数成分は図44Cに示すようになる。すなわち、フ
レーム構造時の垂直方向のサンプリング周波数をfsと
すると、fs/2の周波数成分がない状態となる。これ
は、図43C,Dに示した奇数フィールド、偶数フィー
ルドのサンプリングデータの周波数成分がそれぞれ図4
4A,Bに示すようになり、fs/2の周波数成分が1
80゜ずれていて、打ち消されるためである。
【0025】また、図45A,Bは、フィールド間で形
状の変化がなく、物体の動きがある場合における奇数フ
ィールド、偶数フィールドの垂直方向の波形を1次元的
に切り出して示したものである。同図C,Dは、それぞ
れを垂直方向のサンプリング間隔でサンプリングしたデ
ータを示している。そして、同図Eは各フィールドでサ
ンプリングされたデータがマージされた状態を示してい
る。
状の変化がなく、物体の動きがある場合における奇数フ
ィールド、偶数フィールドの垂直方向の波形を1次元的
に切り出して示したものである。同図C,Dは、それぞ
れを垂直方向のサンプリング間隔でサンプリングしたデ
ータを示している。そして、同図Eは各フィールドでサ
ンプリングされたデータがマージされた状態を示してい
る。
【0026】この場合、奇数フィールドおよび偶数フィ
ールドで物体の動きがあるので、マージされた信号は、
図45Eに示すように不連続的な波形となる。このとき
の周波数成分は図46Cに示すようになる。この場合、
fs/2の周波数成分が打ち消されないのは、図45
C,Dに示した奇数フィールド、偶数フィールドのサン
プリングデータの周波数成分(それぞれ図46A,Bに
図示)におけるfs/2の周波数成分が180゜+αだ
けずれているためである。
ールドで物体の動きがあるので、マージされた信号は、
図45Eに示すように不連続的な波形となる。このとき
の周波数成分は図46Cに示すようになる。この場合、
fs/2の周波数成分が打ち消されないのは、図45
C,Dに示した奇数フィールド、偶数フィールドのサン
プリングデータの周波数成分(それぞれ図46A,Bに
図示)におけるfs/2の周波数成分が180゜+αだ
けずれているためである。
【0027】また、図47A,Bは、フィールド間で形
状の変化があり、物体の動きもある場合における奇数フ
ィールド、偶数フィールドの垂直方向の波形を1次元的
に切り出して示したものである。同図C,Dは、それぞ
れを垂直方向のサンプリング間隔でサンプリングしたデ
ータを示している。そして、同図Eは各フィールドでサ
ンプリングされたデータがマージされた状態を示してい
る。
状の変化があり、物体の動きもある場合における奇数フ
ィールド、偶数フィールドの垂直方向の波形を1次元的
に切り出して示したものである。同図C,Dは、それぞ
れを垂直方向のサンプリング間隔でサンプリングしたデ
ータを示している。そして、同図Eは各フィールドでサ
ンプリングされたデータがマージされた状態を示してい
る。
【0028】この場合、奇数フィールドおよび偶数フィ
ールドで形状の変化および物体の動きがあるので、マー
ジされた信号は、図47Eに示すように不連続的な波形
となる。このときの周波数成分は図48Cに示すように
なる。すなわち、fs/2の高域成分を大きく含み、場
合によっては低域よりも高域の方が大きな信号成分を持
つことも考えられる。このように、fs/2の周波数成
分を大きく含むのは、図47C,Dに示した奇数フィー
ルド、偶数フィールドのサンプリングデータの周波数成
分(それぞれ図48A,Bに図示)におけるfs/2の
周波数成分の位相が大きくずれるためである。
ールドで形状の変化および物体の動きがあるので、マー
ジされた信号は、図47Eに示すように不連続的な波形
となる。このときの周波数成分は図48Cに示すように
なる。すなわち、fs/2の高域成分を大きく含み、場
合によっては低域よりも高域の方が大きな信号成分を持
つことも考えられる。このように、fs/2の周波数成
分を大きく含むのは、図47C,Dに示した奇数フィー
ルド、偶数フィールドのサンプリングデータの周波数成
分(それぞれ図48A,Bに図示)におけるfs/2の
周波数成分の位相が大きくずれるためである。
【0029】図49は、物体の動きの有無と垂直方向解
像度の違いによる周波数成分を示している。図よりも明
かなようにフレーム構造の信号の高域成分は、動きがな
い場合には、垂直方向の解像度の大小に拘らず、小さい
ことがわかる。そして、動きが大きく、かつ形状の変化
が生じるに従って、フレーム構造の信号の高域成分が増
大する。このように、高域成分が大きく存在する場合に
は、ローパスフィルタによって低域成分のみを取り出し
て、ブロックの特徴抽出を行うと、動きベクトルの検出
精度が劣化するものと考えられる。
像度の違いによる周波数成分を示している。図よりも明
かなようにフレーム構造の信号の高域成分は、動きがな
い場合には、垂直方向の解像度の大小に拘らず、小さい
ことがわかる。そして、動きが大きく、かつ形状の変化
が生じるに従って、フレーム構造の信号の高域成分が増
大する。このように、高域成分が大きく存在する場合に
は、ローパスフィルタによって低域成分のみを取り出し
て、ブロックの特徴抽出を行うと、動きベクトルの検出
精度が劣化するものと考えられる。
【0030】そこで、この発明では、フレーム動きベク
トルとフィールド動きベクトルを同時に検出する場合に
回路規模を小さくできる動きベクトル検出装置を提供す
るものである。また、この発明では、特徴抽出によって
回路規模を削減した簡易型動きベクトル検出を行う場合
に検出精度を高めることができる動きベクトル検出装置
を提供するものである。さらに、これらの動きベクトル
検出装置を使用した動き補償予測符号化システムを提供
するものである。
トルとフィールド動きベクトルを同時に検出する場合に
回路規模を小さくできる動きベクトル検出装置を提供す
るものである。また、この発明では、特徴抽出によって
回路規模を削減した簡易型動きベクトル検出を行う場合
に検出精度を高めることができる動きベクトル検出装置
を提供するものである。さらに、これらの動きベクトル
検出装置を使用した動き補償予測符号化システムを提供
するものである。
【0031】
【課題を解決するための手段】請求項1の発明に係る動
きベクトル検出装置は、基準フレームブロックを複数の
小ブロックに分割して各小ブロックを構成する画素の代
表値をフレーム用マッチング要素とする基準フレームブ
ロック特徴抽出手段と、検索フレームブロックを複数の
小ブロックに分割して各小ブロックを構成する画素の代
表値をフレーム用マッチング要素とする検索フレームブ
ロック特徴抽出手段と、基準フレームブロック特徴抽出
手段および検索フレームブロック特徴抽出手段よりそれ
ぞれ得られるフレーム用マッチング要素に基づき、基準
フレームブロックに対して最もマッチングする検索フレ
ームブロックを求めてフレーム動きベクトルを発生する
フレーム動きベクトル発生手段と、基準フレームブロッ
ク特徴抽出手段より得られるフレーム用マッチング要素
を奇数フィールド用マッチング要素および偶数フィール
ド用マッチング要素に分割する第1のデータ分割手段
と、検索フレームブロック特徴抽出手段より得られるフ
レーム用マッチング要素を奇数フィールド用マッチング
要素および偶数フィールド用マッチング要素に分割する
第2のデータ分割手段と、第1および第2のデータ分割
手段よりそれぞれ得られる奇数フィールド用マッチング
要素に基づき、基準奇数フィールドブロックに対して最
もマッチングする検索奇数フィールドブロックを求めて
奇数フィールド動きベクトルを発生する奇数フィールド
動きベクトル発生手段と、第1および第2のデータ分割
手段よりそれぞれ得られる偶数フィールド用マッチング
要素に基づき、基準偶数フィールドブロックに対して最
もマッチングする検索偶数フィールドブロックを求めて
偶数フィールド動きベクトルを発生する偶数フィールド
動きベクトル発生手段とを備えるものである。
きベクトル検出装置は、基準フレームブロックを複数の
小ブロックに分割して各小ブロックを構成する画素の代
表値をフレーム用マッチング要素とする基準フレームブ
ロック特徴抽出手段と、検索フレームブロックを複数の
小ブロックに分割して各小ブロックを構成する画素の代
表値をフレーム用マッチング要素とする検索フレームブ
ロック特徴抽出手段と、基準フレームブロック特徴抽出
手段および検索フレームブロック特徴抽出手段よりそれ
ぞれ得られるフレーム用マッチング要素に基づき、基準
フレームブロックに対して最もマッチングする検索フレ
ームブロックを求めてフレーム動きベクトルを発生する
フレーム動きベクトル発生手段と、基準フレームブロッ
ク特徴抽出手段より得られるフレーム用マッチング要素
を奇数フィールド用マッチング要素および偶数フィール
ド用マッチング要素に分割する第1のデータ分割手段
と、検索フレームブロック特徴抽出手段より得られるフ
レーム用マッチング要素を奇数フィールド用マッチング
要素および偶数フィールド用マッチング要素に分割する
第2のデータ分割手段と、第1および第2のデータ分割
手段よりそれぞれ得られる奇数フィールド用マッチング
要素に基づき、基準奇数フィールドブロックに対して最
もマッチングする検索奇数フィールドブロックを求めて
奇数フィールド動きベクトルを発生する奇数フィールド
動きベクトル発生手段と、第1および第2のデータ分割
手段よりそれぞれ得られる偶数フィールド用マッチング
要素に基づき、基準偶数フィールドブロックに対して最
もマッチングする検索偶数フィールドブロックを求めて
偶数フィールド動きベクトルを発生する偶数フィールド
動きベクトル発生手段とを備えるものである。
【0032】請求項2の発明に係る動きベクトル検出装
置は、請求項1の発明において、基準フレームブロック
特徴抽出手段および検索フレームブロック特徴抽出手段
では、各小ブロックを構成する奇数フィールド画素およ
び偶数フィールド画素のそれぞれに対応して代表値を得
るものである。
置は、請求項1の発明において、基準フレームブロック
特徴抽出手段および検索フレームブロック特徴抽出手段
では、各小ブロックを構成する奇数フィールド画素およ
び偶数フィールド画素のそれぞれに対応して代表値を得
るものである。
【0033】請求項3の発明に係る動きベクトル検出装
置は、請求項1または請求項2の発明において、基準フ
レームブロック特徴抽出手段および検索フレームブロッ
ク特徴抽出手段では、フレームブロックが水平方向にm
画素、かつ垂直方向にn画素で構成されるとき、水平方
向にm画素、かつ垂直方向にb(b<n)画素の小ブロ
ックを垂直方向に順次形成すると共に、水平方向にa
(a<m)画素、かつ垂直方向にn画素の小ブロックを
水平方向に順次形成するものである。
置は、請求項1または請求項2の発明において、基準フ
レームブロック特徴抽出手段および検索フレームブロッ
ク特徴抽出手段では、フレームブロックが水平方向にm
画素、かつ垂直方向にn画素で構成されるとき、水平方
向にm画素、かつ垂直方向にb(b<n)画素の小ブロ
ックを垂直方向に順次形成すると共に、水平方向にa
(a<m)画素、かつ垂直方向にn画素の小ブロックを
水平方向に順次形成するものである。
【0034】請求項4の発明に係る動きベクトル検出装
置は、基準奇数フィールドブロックを複数の小ブロック
に分割して各小ブロックを構成する画素の代表値を奇数
フィールド用マッチング要素とする基準奇数フィールド
ブロック特徴抽出手段と、検索奇数フィールドブロック
を複数の小ブロックに分割して各小ブロックを構成する
画素の代表値を奇数フィールド用マッチング要素とする
検索奇数フィールドブロック特徴抽出手段と、基準奇数
フィールドブロック特徴抽出手段および検索奇数フィー
ルドブロック特徴抽出手段よりそれぞれ得られる奇数フ
ィールド用マッチング要素に基づき、基準奇数フィール
ドブロックに対して最もマッチングする検索奇数フィー
ルドブロックを求めて奇数フィールド動きベクトルを発
生する奇数フィールド動きベクトル発生手段と、基準偶
数フィールドブロックを複数の小ブロックに分割して各
小ブロックを構成する画素の代表値を偶数フィールド用
マッチング要素とする基準偶数フィールドブロック特徴
抽出手段と、検索偶数フィールドブロックを複数の小ブ
ロックに分割して各小ブロックを構成する画素の代表値
を偶数フィールド用マッチング要素とする検索偶数フィ
ールドブロック特徴抽出手段と、基準偶数フィールドブ
ロック特徴抽出手段および検索偶数フィールドブロック
特徴抽出手段よりそれぞれ得られる偶数フィールド用マ
ッチング要素に基づき、基準偶数フィールドブロックに
対して最もマッチングする検索偶数フィールドブロック
を求めて偶数フィールド動きベクトルを発生する偶数フ
ィールド動きベクトル発生手段と、基準奇数フィールド
ブロック特徴抽出手段および基準偶数フィールドブロッ
ク特徴抽出手段より得られる奇数フィールド用マッチン
グ要素および偶数フィールド用マッチング要素を合成し
てフレーム用マッチング要素を得る第1のデータ合成手
段と、検索奇数フィールドブロック特徴抽出手段および
検索偶数フィールドブロック特徴抽出手段より得られる
奇数フィールド用マッチング要素および偶数フィールド
用マッチング要素を合成してフレーム用マッチング要素
を得る第2のデータ合成手段と、第1および第2のデー
タ合成手段よりそれぞれ得られるフレーム用マッチング
要素に基づき、基準フレームブロックに対して最もマッ
チングする検索フレームブロックを求めてフレーム動き
ベクトルを発生するフレーム動きベクトル発生手段とを
備えるものである。
置は、基準奇数フィールドブロックを複数の小ブロック
に分割して各小ブロックを構成する画素の代表値を奇数
フィールド用マッチング要素とする基準奇数フィールド
ブロック特徴抽出手段と、検索奇数フィールドブロック
を複数の小ブロックに分割して各小ブロックを構成する
画素の代表値を奇数フィールド用マッチング要素とする
検索奇数フィールドブロック特徴抽出手段と、基準奇数
フィールドブロック特徴抽出手段および検索奇数フィー
ルドブロック特徴抽出手段よりそれぞれ得られる奇数フ
ィールド用マッチング要素に基づき、基準奇数フィール
ドブロックに対して最もマッチングする検索奇数フィー
ルドブロックを求めて奇数フィールド動きベクトルを発
生する奇数フィールド動きベクトル発生手段と、基準偶
数フィールドブロックを複数の小ブロックに分割して各
小ブロックを構成する画素の代表値を偶数フィールド用
マッチング要素とする基準偶数フィールドブロック特徴
抽出手段と、検索偶数フィールドブロックを複数の小ブ
ロックに分割して各小ブロックを構成する画素の代表値
を偶数フィールド用マッチング要素とする検索偶数フィ
ールドブロック特徴抽出手段と、基準偶数フィールドブ
ロック特徴抽出手段および検索偶数フィールドブロック
特徴抽出手段よりそれぞれ得られる偶数フィールド用マ
ッチング要素に基づき、基準偶数フィールドブロックに
対して最もマッチングする検索偶数フィールドブロック
を求めて偶数フィールド動きベクトルを発生する偶数フ
ィールド動きベクトル発生手段と、基準奇数フィールド
ブロック特徴抽出手段および基準偶数フィールドブロッ
ク特徴抽出手段より得られる奇数フィールド用マッチン
グ要素および偶数フィールド用マッチング要素を合成し
てフレーム用マッチング要素を得る第1のデータ合成手
段と、検索奇数フィールドブロック特徴抽出手段および
検索偶数フィールドブロック特徴抽出手段より得られる
奇数フィールド用マッチング要素および偶数フィールド
用マッチング要素を合成してフレーム用マッチング要素
を得る第2のデータ合成手段と、第1および第2のデー
タ合成手段よりそれぞれ得られるフレーム用マッチング
要素に基づき、基準フレームブロックに対して最もマッ
チングする検索フレームブロックを求めてフレーム動き
ベクトルを発生するフレーム動きベクトル発生手段とを
備えるものである。
【0035】請求項5の発明に係る動きベクトル検出装
置は、請求項4の発明において、基準奇数フィールドブ
ロック特徴抽出手段、基準偶数フィールドブロック特徴
抽出手段、検索奇数フィールドブロック特徴抽出手段お
よび検索偶数フィールドブロック特徴抽出手段では、フ
ィールドブロックが水平方向にm画素、かつ垂直方向に
n/2画素で構成されるとき、水平方向にm画素、かつ
垂直方向にb(b<n/2)画素の小ブロックを垂直方
向に順次形成すると共に、水平方向にa(a<m)画
素、かつ垂直方向にn/2画素の小ブロックを水平方向
に順次形成するものである。
置は、請求項4の発明において、基準奇数フィールドブ
ロック特徴抽出手段、基準偶数フィールドブロック特徴
抽出手段、検索奇数フィールドブロック特徴抽出手段お
よび検索偶数フィールドブロック特徴抽出手段では、フ
ィールドブロックが水平方向にm画素、かつ垂直方向に
n/2画素で構成されるとき、水平方向にm画素、かつ
垂直方向にb(b<n/2)画素の小ブロックを垂直方
向に順次形成すると共に、水平方向にa(a<m)画
素、かつ垂直方向にn/2画素の小ブロックを水平方向
に順次形成するものである。
【0036】請求項6の発明に係る動きベクトル検出装
置は、基準フレームブロックを実質的に複数の小ブロッ
クに分割して各小ブロックを構成する画素の代表値をフ
レーム用マッチング要素とする基準フレームブロック特
徴抽出手段と、検索フレームブロックを実質的に複数の
小ブロックに分割して各小ブロックを構成する画素の代
表値をフレーム用マッチング要素とする検索フレームブ
ロック特徴抽出手段と、基準フレームブロック特徴抽出
手段および検索フレームブロック特徴抽出手段よりそれ
ぞれ得られるフレーム用マッチング要素に基づき、基準
フレームブロックに対して最もマッチングする検索フレ
ームブロックを求めてフレーム動きベクトルを発生する
フレーム動きベクトル発生手段とを備え、基準フレーム
ブロック特徴抽出手段および検索フレームブロック特徴
抽出手段では、各小ブロックを構成する奇数フィールド
画素および偶数フィールド画素のそれぞれに対応して代
表値を得るものである。
置は、基準フレームブロックを実質的に複数の小ブロッ
クに分割して各小ブロックを構成する画素の代表値をフ
レーム用マッチング要素とする基準フレームブロック特
徴抽出手段と、検索フレームブロックを実質的に複数の
小ブロックに分割して各小ブロックを構成する画素の代
表値をフレーム用マッチング要素とする検索フレームブ
ロック特徴抽出手段と、基準フレームブロック特徴抽出
手段および検索フレームブロック特徴抽出手段よりそれ
ぞれ得られるフレーム用マッチング要素に基づき、基準
フレームブロックに対して最もマッチングする検索フレ
ームブロックを求めてフレーム動きベクトルを発生する
フレーム動きベクトル発生手段とを備え、基準フレーム
ブロック特徴抽出手段および検索フレームブロック特徴
抽出手段では、各小ブロックを構成する奇数フィールド
画素および偶数フィールド画素のそれぞれに対応して代
表値を得るものである。
【0037】請求項7の発明に係る動きベクトル検出装
置は、請求項6の発明において、基準フレームブロック
特徴抽出手段および検索フレームブロック特徴抽出手段
では、フレーム用マッチング要素の垂直方向のサンプル
位相が等間隔となるように各小ブロックを構成する奇数
フィールド画素および偶数フィールド画素に重み付けし
て代表値を演算するものである。
置は、請求項6の発明において、基準フレームブロック
特徴抽出手段および検索フレームブロック特徴抽出手段
では、フレーム用マッチング要素の垂直方向のサンプル
位相が等間隔となるように各小ブロックを構成する奇数
フィールド画素および偶数フィールド画素に重み付けし
て代表値を演算するものである。
【0038】請求項8の発明に係る動きベクトル検出装
置は、基準奇数フィールドブロックを実質的に複数の小
ブロックに分割して各小ブロックを構成する画素の代表
値を奇数フィールド用マッチング要素とする基準奇数フ
ィールドブロック特徴抽出手段と、基準偶数フィールド
ブロックを実質的に複数の小ブロックに分割して各小ブ
ロックを構成する画素の代表値を偶数フィールド用マッ
チング要素とする基準偶数フィールドブロック特徴抽出
手段と、基準奇数フィールドブロック特徴抽出手段およ
び基準偶数フィールドブロック特徴抽出手段より得られ
る奇数フィールド用マッチング要素および偶数フィール
ド用マッチング要素を合成してフレーム用マッチング要
素を得る第1のデータ合成手段と、検索奇数フィールド
ブロックを実質的に複数の小ブロックに分割して各小ブ
ロックを構成する画素の代表値を奇数フィールド用マッ
チング要素とする検索奇数フィールドブロック特徴抽出
手段と、検索偶数フィールドブロックを実質的に複数の
小ブロックに分割して各小ブロックを構成する画素の代
表値を偶数フィールド用マッチング要素とする検索偶数
フィールドブロック特徴抽出手段と、検索奇数フィール
ドブロック特徴抽出手段および検索偶数フィールドブロ
ック特徴抽出手段より得られる奇数フィールド用マッチ
ング要素および偶数フィールド用マッチング要素を合成
してフレーム用マッチング要素を得る第2のデータ合成
手段と、第1および第2のデータ合成手段よりそれぞれ
得られるフレーム用マッチング要素に基づき、基準フレ
ームブロックに対して最もマッチングする検索フレーム
ブロックを求めてフレーム動きベクトルを発生するフレ
ーム動きベクトル発生手段とを備えるものである。
置は、基準奇数フィールドブロックを実質的に複数の小
ブロックに分割して各小ブロックを構成する画素の代表
値を奇数フィールド用マッチング要素とする基準奇数フ
ィールドブロック特徴抽出手段と、基準偶数フィールド
ブロックを実質的に複数の小ブロックに分割して各小ブ
ロックを構成する画素の代表値を偶数フィールド用マッ
チング要素とする基準偶数フィールドブロック特徴抽出
手段と、基準奇数フィールドブロック特徴抽出手段およ
び基準偶数フィールドブロック特徴抽出手段より得られ
る奇数フィールド用マッチング要素および偶数フィール
ド用マッチング要素を合成してフレーム用マッチング要
素を得る第1のデータ合成手段と、検索奇数フィールド
ブロックを実質的に複数の小ブロックに分割して各小ブ
ロックを構成する画素の代表値を奇数フィールド用マッ
チング要素とする検索奇数フィールドブロック特徴抽出
手段と、検索偶数フィールドブロックを実質的に複数の
小ブロックに分割して各小ブロックを構成する画素の代
表値を偶数フィールド用マッチング要素とする検索偶数
フィールドブロック特徴抽出手段と、検索奇数フィール
ドブロック特徴抽出手段および検索偶数フィールドブロ
ック特徴抽出手段より得られる奇数フィールド用マッチ
ング要素および偶数フィールド用マッチング要素を合成
してフレーム用マッチング要素を得る第2のデータ合成
手段と、第1および第2のデータ合成手段よりそれぞれ
得られるフレーム用マッチング要素に基づき、基準フレ
ームブロックに対して最もマッチングする検索フレーム
ブロックを求めてフレーム動きベクトルを発生するフレ
ーム動きベクトル発生手段とを備えるものである。
【0039】請求項9の発明に係る動きベクトル検出装
置は、請求項8の発明において、基準奇数フィールドブ
ロック特徴抽出手段、基準偶数数フィールドブロック特
徴抽出手段、検索奇数フィールドブロック特徴抽出手段
および検索偶数フィールドブロック特徴抽出手段では、
第1および第2のデータ合成手段で合成されて得られる
フレーム用マッチング要素の垂直方向のサンプル位相が
等間隔となるように各小ブロックを構成する画素に重み
付けして代表値を演算するものである。
置は、請求項8の発明において、基準奇数フィールドブ
ロック特徴抽出手段、基準偶数数フィールドブロック特
徴抽出手段、検索奇数フィールドブロック特徴抽出手段
および検索偶数フィールドブロック特徴抽出手段では、
第1および第2のデータ合成手段で合成されて得られる
フレーム用マッチング要素の垂直方向のサンプル位相が
等間隔となるように各小ブロックを構成する画素に重み
付けして代表値を演算するものである。
【0040】請求項10の発明に係る動きベクトル検出
装置は、基準フレームブロックを実質的に複数の小ブロ
ックに分割して各小ブロックを構成する画素の代表値を
フレーム用マッチング要素とする基準フレームブロック
特徴抽出手段と、検索フレームブロックを実質的に複数
の小ブロックに分割して各小ブロックを構成する画素の
代表値をフレーム用マッチング要素とする検索フレーム
ブロック特徴抽出手段と、基準フレームブロック特徴抽
出手段および検索フレームブロック特徴抽出手段よりそ
れぞれ得られるフレーム用マッチング要素に基づき、基
準フレームブロックに対して最もマッチングする検索フ
レームブロックを求めてフレーム動きベクトルを発生す
るフレーム動きベクトル発生手段とを備え、基準フレー
ムブロック特徴抽出手段および検索フレームブロック特
徴抽出手段では高域成分を取り出すことができる第1の
特徴抽出処理および高域成分を取り出すことができない
第2の特徴抽出処理が行われ、これら第1および第2の
特徴抽出処理は動き情報に基づいて選択的に切り換えら
れるものである。
装置は、基準フレームブロックを実質的に複数の小ブロ
ックに分割して各小ブロックを構成する画素の代表値を
フレーム用マッチング要素とする基準フレームブロック
特徴抽出手段と、検索フレームブロックを実質的に複数
の小ブロックに分割して各小ブロックを構成する画素の
代表値をフレーム用マッチング要素とする検索フレーム
ブロック特徴抽出手段と、基準フレームブロック特徴抽
出手段および検索フレームブロック特徴抽出手段よりそ
れぞれ得られるフレーム用マッチング要素に基づき、基
準フレームブロックに対して最もマッチングする検索フ
レームブロックを求めてフレーム動きベクトルを発生す
るフレーム動きベクトル発生手段とを備え、基準フレー
ムブロック特徴抽出手段および検索フレームブロック特
徴抽出手段では高域成分を取り出すことができる第1の
特徴抽出処理および高域成分を取り出すことができない
第2の特徴抽出処理が行われ、これら第1および第2の
特徴抽出処理は動き情報に基づいて選択的に切り換えら
れるものである。
【0041】請求項11の発明に係る動き補償予測符号
化システムは、入力ビデオ信号より予測ビデオ信号を減
算して得られる予測誤差信号を符号化すると共に、この
符号化された予測誤差信号を復号化して予測ビデオ信号
に加算した後に動き補償回路で入力ビデオ信号より検出
される動きベクトルに基づいて動き補償をして予測ビデ
オ信号を得るようにされた動き補償予測符号化システム
において、動きベクトルを検出する装置として請求項1
〜請求項10のいずれかの発明の動きベクトル検出装置
を使用するものである。
化システムは、入力ビデオ信号より予測ビデオ信号を減
算して得られる予測誤差信号を符号化すると共に、この
符号化された予測誤差信号を復号化して予測ビデオ信号
に加算した後に動き補償回路で入力ビデオ信号より検出
される動きベクトルに基づいて動き補償をして予測ビデ
オ信号を得るようにされた動き補償予測符号化システム
において、動きベクトルを検出する装置として請求項1
〜請求項10のいずれかの発明の動きベクトル検出装置
を使用するものである。
【0042】
【作用】請求項1の発明においては、フレームブロック
特徴抽出回路で得られるフレーム用マッチング要素を分
割して奇数フィールド用マッチング要素、偶数フィール
ド用マッチング要素を得るようにしているため、奇数フ
ィールド用マッチング要素、偶数フィールド用マッチン
グ要素を得るための特徴抽出回路を不要とでき、回路規
模を小さくすることが可能となる。
特徴抽出回路で得られるフレーム用マッチング要素を分
割して奇数フィールド用マッチング要素、偶数フィール
ド用マッチング要素を得るようにしているため、奇数フ
ィールド用マッチング要素、偶数フィールド用マッチン
グ要素を得るための特徴抽出回路を不要とでき、回路規
模を小さくすることが可能となる。
【0043】請求項2の発明においては、各小ブロック
を構成する奇数フィールド画素および偶数フィールド画
素のそれぞれに対応してフレーム用マッチング要素とな
る代表値を得るため、フレーム用マッチング要素として
高域成分を取り出すことができ、フィールド間に大きな
動きや形状変化があって信号に高域成分が多く存在する
場合にも特徴抽出が良好に行われ、フレーム動きベクト
ルの検出精度を高めることが可能となる。
を構成する奇数フィールド画素および偶数フィールド画
素のそれぞれに対応してフレーム用マッチング要素とな
る代表値を得るため、フレーム用マッチング要素として
高域成分を取り出すことができ、フィールド間に大きな
動きや形状変化があって信号に高域成分が多く存在する
場合にも特徴抽出が良好に行われ、フレーム動きベクト
ルの検出精度を高めることが可能となる。
【0044】請求項3の発明においては、フレームブロ
ック特徴抽出手段では、垂直方向および水平方向の積分
射影による特徴抽出が行われるため、フレーム用マッチ
ング要素を少なくでき、回路規模をさらに縮小すること
が可能となる。
ック特徴抽出手段では、垂直方向および水平方向の積分
射影による特徴抽出が行われるため、フレーム用マッチ
ング要素を少なくでき、回路規模をさらに縮小すること
が可能となる。
【0045】請求項4の発明においては、フィールドブ
ロック特徴抽出回路で得られる奇数フィールド用マッチ
ング要素および偶数フィールド用マッチング要素を合成
してフレーム用マッチング要素を得るようにしているた
め、フレーム用マッチング要素を得るための特徴抽出回
路を不要とでき、回路規模を小さくすることが可能とな
る。
ロック特徴抽出回路で得られる奇数フィールド用マッチ
ング要素および偶数フィールド用マッチング要素を合成
してフレーム用マッチング要素を得るようにしているた
め、フレーム用マッチング要素を得るための特徴抽出回
路を不要とでき、回路規模を小さくすることが可能とな
る。
【0046】請求項5の発明においては、フィールドブ
ロック特徴抽出手段では、垂直方向および水平方向の積
分射影による特徴抽出が行われるため、フィールド用マ
ッチング要素を少なくでき、回路規模をさらに縮小する
ことが可能となる。
ロック特徴抽出手段では、垂直方向および水平方向の積
分射影による特徴抽出が行われるため、フィールド用マ
ッチング要素を少なくでき、回路規模をさらに縮小する
ことが可能となる。
【0047】請求項6の発明においては、フレームブロ
ック特徴抽出手段では各小ブロックを構成する奇数フィ
ールド画素および偶数フィールド画素のそれぞれに対応
してフレームマッチング要素となる代表値を得るため、
フレーム用マッチング要素として高域成分を取り出すこ
とができ、フィールド間に大きな動きや形状変化があっ
て信号に高域成分が多く存在する場合に特徴抽出が良好
に行われ、フレーム動きベクトルの検出精度を高めるこ
とが可能となる。
ック特徴抽出手段では各小ブロックを構成する奇数フィ
ールド画素および偶数フィールド画素のそれぞれに対応
してフレームマッチング要素となる代表値を得るため、
フレーム用マッチング要素として高域成分を取り出すこ
とができ、フィールド間に大きな動きや形状変化があっ
て信号に高域成分が多く存在する場合に特徴抽出が良好
に行われ、フレーム動きベクトルの検出精度を高めるこ
とが可能となる。
【0048】請求項7の発明においては、フレームブロ
ック特徴抽出手段ではフレーム用マッチング要素の垂直
方向のサンプル位相が等間隔となるように各小ブロック
を構成する画素に重み付けされて代表値の演算が行われ
るため、フレーム用マッチング要素として高域成分を良
好に取り出すことが可能となる。
ック特徴抽出手段ではフレーム用マッチング要素の垂直
方向のサンプル位相が等間隔となるように各小ブロック
を構成する画素に重み付けされて代表値の演算が行われ
るため、フレーム用マッチング要素として高域成分を良
好に取り出すことが可能となる。
【0049】請求項8の発明においては、フィールドブ
ロック特徴抽出手段より得られる奇数フィールド用マッ
チング要素および偶数フィールド用マッチング要素を合
成してフレーム用マッチング要素を得るため、フレーム
用マッチング要素として高域成分を取り出すことがで
き、フィールド間に大きな動きや形状変化があって信号
に高域成分が多く存在する場合に特徴抽出が良好に行わ
れ、フレーム動きベクトルの検出精度を高めることが可
能となる。
ロック特徴抽出手段より得られる奇数フィールド用マッ
チング要素および偶数フィールド用マッチング要素を合
成してフレーム用マッチング要素を得るため、フレーム
用マッチング要素として高域成分を取り出すことがで
き、フィールド間に大きな動きや形状変化があって信号
に高域成分が多く存在する場合に特徴抽出が良好に行わ
れ、フレーム動きベクトルの検出精度を高めることが可
能となる。
【0050】請求項9の発明においては、フィールドブ
ロック特徴抽出手段では、奇数フィールドマッチング要
素および偶数フィールドマッチング要素が合成されて得
られるフレーム用マッチング要素の垂直方向のサンプル
位相が等間隔となるように各小ブロックを構成する画素
に重み付けされて代表値の演算が行われるため、フレー
ム用マッチング要素として高域成分を良好に取り出すこ
とが可能となる。
ロック特徴抽出手段では、奇数フィールドマッチング要
素および偶数フィールドマッチング要素が合成されて得
られるフレーム用マッチング要素の垂直方向のサンプル
位相が等間隔となるように各小ブロックを構成する画素
に重み付けされて代表値の演算が行われるため、フレー
ム用マッチング要素として高域成分を良好に取り出すこ
とが可能となる。
【0051】請求項10の発明においては、フレームブ
ロック特徴抽出手段では高域成分を取り出すことができ
る第1の特徴抽出処理および高域成分を取り出すことが
できない第2の特徴抽出処理が動き情報に基づいて選択
的に切り換えられるため、フレームブロック特徴抽出手
段では画像の動きに適応した特徴抽出処理を行うことが
可能となる。
ロック特徴抽出手段では高域成分を取り出すことができ
る第1の特徴抽出処理および高域成分を取り出すことが
できない第2の特徴抽出処理が動き情報に基づいて選択
的に切り換えられるため、フレームブロック特徴抽出手
段では画像の動きに適応した特徴抽出処理を行うことが
可能となる。
【0052】請求項11の発明においては、動きベクト
ルを検出する装置として回路規模を小さくでき、また検
出精度を高めた動きベクトル検出装置を使用するため、
全体としての回路規模を小さくできると共に、高精度の
動きベクトルに基づいて動き補償が行われることから符
号化を効率良く行うことが可能となる。
ルを検出する装置として回路規模を小さくでき、また検
出精度を高めた動きベクトル検出装置を使用するため、
全体としての回路規模を小さくできると共に、高精度の
動きベクトルに基づいて動き補償が行われることから符
号化を効率良く行うことが可能となる。
【0053】
【実施例】以下、図1を参照しながら、この発明に係る
動きベクトル検出装置の第1実施例について説明する。
この図1において、図39と対応する部分には同一符号
を付し、その詳細説明は省略する。
動きベクトル検出装置の第1実施例について説明する。
この図1において、図39と対応する部分には同一符号
を付し、その詳細説明は省略する。
【0054】本例では、特徴抽出によってフレーム用の
マッチング要素が得られると共に、このフレーム用のマ
ッチング要素が分割されてフィールド用のマッチング要
素が得られる。すなわち、図2Aに示す(m×n)画素
のフレームブロックが、同図Bに示すように(a×b)
画素毎に小ブロックに分割され、各小ブロック毎に同じ
フィールド同士の画素の積分が行われて同図Dに示すよ
うに代表値としてのマッチング要素ao,aeが算出され
る。例えば、図Cに示すように小ブロックが(2×4)
画素(奇数フィールド画素ao1〜ao4,偶数フィールド
画素ae1〜ae4)で構成されるとき、ao=ao1+ao2
+ao3+ao4、ae=ae1+ae2+ae3+aae4とな
る。
マッチング要素が得られると共に、このフレーム用のマ
ッチング要素が分割されてフィールド用のマッチング要
素が得られる。すなわち、図2Aに示す(m×n)画素
のフレームブロックが、同図Bに示すように(a×b)
画素毎に小ブロックに分割され、各小ブロック毎に同じ
フィールド同士の画素の積分が行われて同図Dに示すよ
うに代表値としてのマッチング要素ao,aeが算出され
る。例えば、図Cに示すように小ブロックが(2×4)
画素(奇数フィールド画素ao1〜ao4,偶数フィールド
画素ae1〜ae4)で構成されるとき、ao=ao1+ao2
+ao3+ao4、ae=ae1+ae2+ae3+aae4とな
る。
【0055】また、図2Dに示すように得られるフレー
ム用のマッチング要素が、それぞれのフィールドに分割
されることで、同図Eに示すように奇数フィールド用の
マッチング要素が得られると共に、同図Fに示すように
偶数フィールド用のマッチング要素が得られる。
ム用のマッチング要素が、それぞれのフィールドに分割
されることで、同図Eに示すように奇数フィールド用の
マッチング要素が得られると共に、同図Fに示すように
偶数フィールド用のマッチング要素が得られる。
【0056】なお、図3Aのハッチング領域は特徴抽出
によるフレーム用のマッチング要素の2次元周波数成分
を示しており、破線枠内の領域は特徴抽出前の2次元周
波数成分を示している。図より明かなように、フレーム
用のマッチング要素の2次元周波数成分として垂直方向
に高い成分が取り出されていることがわかる。また、図
3BおよびCはそれぞれ奇数フィールド用および偶数フ
ィールド用のマッチング要素の2次元周波数成分を示し
ている。
によるフレーム用のマッチング要素の2次元周波数成分
を示しており、破線枠内の領域は特徴抽出前の2次元周
波数成分を示している。図より明かなように、フレーム
用のマッチング要素の2次元周波数成分として垂直方向
に高い成分が取り出されていることがわかる。また、図
3BおよびCはそれぞれ奇数フィールド用および偶数フ
ィールド用のマッチング要素の2次元周波数成分を示し
ている。
【0057】図1に示す第1実施例においては、フレー
ムメモリ20より読み出されるある基準フレームブロッ
クの画素信号は特徴抽出回路21Aに供給される。特徴
抽出回路21Aでは図2を使用して説明したように特徴
抽出が行われてフレーム用のマッチング要素(図2Dに
図示)が得られ、このフレーム用のマッチング要素はマ
ッチング回路40FLに供給される。また、フレームメ
モリ30より読み出される検索フレームブロックの画素
信号は特徴抽出回路31Aに供給される。特徴抽出回路
31Aでは、特徴抽出回路21Aと同様に特徴抽出が行
われてフレーム用のマッチング要素が得られ、このフレ
ーム用のマッチング要素はマッチング回路40FLに供
給される。マッチング回路40FLおよび評価回路41
FLは図39の例と同様に動作し、評価回路41FLか
らはフレームメモリ20より読み出される複数の基準フ
レームブロックのそれぞれに対応してフレーム動きベク
トルが出力される。
ムメモリ20より読み出されるある基準フレームブロッ
クの画素信号は特徴抽出回路21Aに供給される。特徴
抽出回路21Aでは図2を使用して説明したように特徴
抽出が行われてフレーム用のマッチング要素(図2Dに
図示)が得られ、このフレーム用のマッチング要素はマ
ッチング回路40FLに供給される。また、フレームメ
モリ30より読み出される検索フレームブロックの画素
信号は特徴抽出回路31Aに供給される。特徴抽出回路
31Aでは、特徴抽出回路21Aと同様に特徴抽出が行
われてフレーム用のマッチング要素が得られ、このフレ
ーム用のマッチング要素はマッチング回路40FLに供
給される。マッチング回路40FLおよび評価回路41
FLは図39の例と同様に動作し、評価回路41FLか
らはフレームメモリ20より読み出される複数の基準フ
レームブロックのそれぞれに対応してフレーム動きベク
トルが出力される。
【0058】また、特徴抽出回路21Aより出力される
フレーム用のマッチング要素はデータ分割回路24に供
給され、図2を使用して説明したように奇数フィールド
用および偶数フィールド用のマッチング要素(図2Eお
よびFに図示)に分割される。そして、データ分割回路
24より出力される奇数フィールド用および偶数フィー
ルド用のマッチング要素はそれぞれマッチング回路40
FOおよび40FEに供給される。また、特徴抽出回路
31Aより出力されるフレーム用のマッチング要素はデ
ータ分割回路34に供給され、データ分割回路24と同
様に奇数フィールド用および偶数フィールド用のマッチ
ング要素に分割される。そして、データ分割回路34よ
り出力される奇数フィールド用および偶数フィールド用
のマッチング要素はそれぞれマッチング回路40FOお
よび40FEに供給される。マッチング回路40FO,
40FEおよび評価回路41FO,41FEは、それぞ
れ図39の例と同様に動作し、評価回路41FOおよび
41FEからはフレームメモリ20より読み出される複
数の基準フレームブロックのそれぞれに対応してそれぞ
れ奇数フィールド動きベクトルおよび偶数フィールド動
きベクトルが出力される。
フレーム用のマッチング要素はデータ分割回路24に供
給され、図2を使用して説明したように奇数フィールド
用および偶数フィールド用のマッチング要素(図2Eお
よびFに図示)に分割される。そして、データ分割回路
24より出力される奇数フィールド用および偶数フィー
ルド用のマッチング要素はそれぞれマッチング回路40
FOおよび40FEに供給される。また、特徴抽出回路
31Aより出力されるフレーム用のマッチング要素はデ
ータ分割回路34に供給され、データ分割回路24と同
様に奇数フィールド用および偶数フィールド用のマッチ
ング要素に分割される。そして、データ分割回路34よ
り出力される奇数フィールド用および偶数フィールド用
のマッチング要素はそれぞれマッチング回路40FOお
よび40FEに供給される。マッチング回路40FO,
40FEおよび評価回路41FO,41FEは、それぞ
れ図39の例と同様に動作し、評価回路41FOおよび
41FEからはフレームメモリ20より読み出される複
数の基準フレームブロックのそれぞれに対応してそれぞ
れ奇数フィールド動きベクトルおよび偶数フィールド動
きベクトルが出力される。
【0059】このように本例においては、フレーム用の
マッチング要素を分割してフィールド用のマッチング要
素を得るようにしているので、フィールド用のマッチン
グ要素を得るための特徴抽出回路を不要とでき、回路規
模を小さくできる。また、本例においては、フレーム用
のマッチング要素の2次元周波数成分として垂直方向に
高い成分が取り出されるので(図3A参照)、例えば動
きが大きく、かつ形状の変化が大きい場合であって信号
に高周波成分が多く存在する場合に特徴抽出を良好に行
うことができ、フレーム動きベクトルの検出精度を高め
ることができる。
マッチング要素を分割してフィールド用のマッチング要
素を得るようにしているので、フィールド用のマッチン
グ要素を得るための特徴抽出回路を不要とでき、回路規
模を小さくできる。また、本例においては、フレーム用
のマッチング要素の2次元周波数成分として垂直方向に
高い成分が取り出されるので(図3A参照)、例えば動
きが大きく、かつ形状の変化が大きい場合であって信号
に高周波成分が多く存在する場合に特徴抽出を良好に行
うことができ、フレーム動きベクトルの検出精度を高め
ることができる。
【0060】次に、図4を参照しながら、この発明に係
る動きベクトル検出装置の第2実施例について説明す
る。この図4において、図39と対応する部分には同一
符号を付し、その詳細説明は省略する。
る動きベクトル検出装置の第2実施例について説明す
る。この図4において、図39と対応する部分には同一
符号を付し、その詳細説明は省略する。
【0061】本例では、特徴抽出によって奇数フィール
ド用および偶数フィールド用のマッチング要素が得られ
ると共に、これらのマッチング要素が合成されてフレー
ム用のマッチング要素が得られる。すなわち、奇数、偶
数の各フィールドで図5Aに示す(m×n/2)画素の
フィールドブロックが、同図Bに示すように(a×b/
2)画素毎に小ブロックに分割され、各小ブロック毎に
全要素の積分が行われて同図Dに示すようにマッチング
要素ao,aeが算出される。例えば、同図Cに示すよう
に、奇数、偶数フィールドの小ブロックがそれぞれ(2
×2)画素((ao1〜ao4,ae1〜ae4)で構成される
とき、ao=ao1+ao2+ao3+ao4、ae=ae1+ae2
+ae3+ae4となる。また、図2Dに示すように得られ
る奇数、偶数フィールド用のマッチング要素が合成され
ることで、同図Eに示すようにフレーム用のマッチング
要素が得られる。この場合も、奇数フィールド用および
偶数フィールド用のマッチング要素の2次元周波数成分
はそれぞれ図3BおよびCのハッチング領域で示され、
またフレーム用のマッチング要素の2次元周波数成分は
同図Aのハッチング領域で示される。
ド用および偶数フィールド用のマッチング要素が得られ
ると共に、これらのマッチング要素が合成されてフレー
ム用のマッチング要素が得られる。すなわち、奇数、偶
数の各フィールドで図5Aに示す(m×n/2)画素の
フィールドブロックが、同図Bに示すように(a×b/
2)画素毎に小ブロックに分割され、各小ブロック毎に
全要素の積分が行われて同図Dに示すようにマッチング
要素ao,aeが算出される。例えば、同図Cに示すよう
に、奇数、偶数フィールドの小ブロックがそれぞれ(2
×2)画素((ao1〜ao4,ae1〜ae4)で構成される
とき、ao=ao1+ao2+ao3+ao4、ae=ae1+ae2
+ae3+ae4となる。また、図2Dに示すように得られ
る奇数、偶数フィールド用のマッチング要素が合成され
ることで、同図Eに示すようにフレーム用のマッチング
要素が得られる。この場合も、奇数フィールド用および
偶数フィールド用のマッチング要素の2次元周波数成分
はそれぞれ図3BおよびCのハッチング領域で示され、
またフレーム用のマッチング要素の2次元周波数成分は
同図Aのハッチング領域で示される。
【0062】図4に示す第2実施例において、奇数フィ
ールド動きベクトルおよび偶数フィールド動きベクトル
の検出系に関しては図39の例と同様に構成されてお
り、評価回路41FOおよび41FEからはフレームメ
モリ20より読み出される複数の基準奇数フィールドブ
ロックおよび基準偶数フィールドブロックのそれぞれに
対応して奇数フィールド動きベクトルおよび偶数フィー
ルド動きベクトルが出力される。
ールド動きベクトルおよび偶数フィールド動きベクトル
の検出系に関しては図39の例と同様に構成されてお
り、評価回路41FOおよび41FEからはフレームメ
モリ20より読み出される複数の基準奇数フィールドブ
ロックおよび基準偶数フィールドブロックのそれぞれに
対応して奇数フィールド動きベクトルおよび偶数フィー
ルド動きベクトルが出力される。
【0063】また、特徴抽出回路22および23から得
られる奇数フィールド用および偶数フィールド用のマッ
チング要素はデータ合成回路25に供給されて合成さ
れ、フレーム用のマッチング要素(図5Eに図示)が得
られる。そして、このフレーム用のマッチング要素はマ
ッチング回路40FLに供給される。また、特徴抽出回
路32および33から得られる奇数フィールド用および
偶数フィールド用のマッチング要素はデータ合成回路3
5に供給されて合成され、フレーム用のマッチング要素
が得られる。そして、このフレーム用マッチング要素は
マッチング回路40FLに供給される。マッチング回路
40FLおよび評価回路41FLは図39の例と同様に
動作し、評価回路41FLからはフレームメモリ20よ
り読み出される複数の基準奇数フィールドブロックおよ
び基準偶数フィールドブロックのそれぞれに対応してフ
レーム動きベクトルが出力される。
られる奇数フィールド用および偶数フィールド用のマッ
チング要素はデータ合成回路25に供給されて合成さ
れ、フレーム用のマッチング要素(図5Eに図示)が得
られる。そして、このフレーム用のマッチング要素はマ
ッチング回路40FLに供給される。また、特徴抽出回
路32および33から得られる奇数フィールド用および
偶数フィールド用のマッチング要素はデータ合成回路3
5に供給されて合成され、フレーム用のマッチング要素
が得られる。そして、このフレーム用マッチング要素は
マッチング回路40FLに供給される。マッチング回路
40FLおよび評価回路41FLは図39の例と同様に
動作し、評価回路41FLからはフレームメモリ20よ
り読み出される複数の基準奇数フィールドブロックおよ
び基準偶数フィールドブロックのそれぞれに対応してフ
レーム動きベクトルが出力される。
【0064】このように本例においては、フレーム用の
マッチング要素を奇数フィールド用および偶数フィール
ド用のマッチング要素を合成して得るようにしているの
で、フレーム用のマッチング要素を得るための特徴抽出
回路を不要とでき、回路規模を小さくできる。また、本
例においては、図1の例と同様にフレーム用のマッチン
グ要素の2次元周波数成分として垂直方向に高い成分が
取り出されるので、例えば動きが大きく、かつ形状の変
化が大きい場合であって信号に高周波成分が多く存在す
る場合に特徴抽出を良好に行うことができ、フレーム動
きベクトルの検出精度を高めることができる。
マッチング要素を奇数フィールド用および偶数フィール
ド用のマッチング要素を合成して得るようにしているの
で、フレーム用のマッチング要素を得るための特徴抽出
回路を不要とでき、回路規模を小さくできる。また、本
例においては、図1の例と同様にフレーム用のマッチン
グ要素の2次元周波数成分として垂直方向に高い成分が
取り出されるので、例えば動きが大きく、かつ形状の変
化が大きい場合であって信号に高周波成分が多く存在す
る場合に特徴抽出を良好に行うことができ、フレーム動
きベクトルの検出精度を高めることができる。
【0065】次に、図6を参照しながら、この発明に係
る動きベクトル検出装置の第3実施例について説明す
る。この図6において、図39と対応する部分には同一
符号を付し、その詳細説明は省略する。
る動きベクトル検出装置の第3実施例について説明す
る。この図6において、図39と対応する部分には同一
符号を付し、その詳細説明は省略する。
【0066】本例においては、マッチング回路40FO
および40FEより出力される演算結果(基準フィール
ドブロックおよび検索フィールドブロックで特徴抽出さ
れた各マッチング要素間の差分の絶対値和または二乗
和)が加算器42に供給されて加算された後に評価回路
41FLに供給される。この場合、加算器42の出力は
図4の例のマッチング回路40FLの出力と一致したも
のとなる。したがって、評価回路41FLからは図4の
例と同様にフレーム動きベクトルが出力される。本例に
よれば、図4の例と同様の作用効果を得ることができる
他、フレーム動きベクトル検出系にデータ合成回路2
5,35やマッチング回路40FLが不要となるので、
一層回路規模を小さくできる。
および40FEより出力される演算結果(基準フィール
ドブロックおよび検索フィールドブロックで特徴抽出さ
れた各マッチング要素間の差分の絶対値和または二乗
和)が加算器42に供給されて加算された後に評価回路
41FLに供給される。この場合、加算器42の出力は
図4の例のマッチング回路40FLの出力と一致したも
のとなる。したがって、評価回路41FLからは図4の
例と同様にフレーム動きベクトルが出力される。本例に
よれば、図4の例と同様の作用効果を得ることができる
他、フレーム動きベクトル検出系にデータ合成回路2
5,35やマッチング回路40FLが不要となるので、
一層回路規模を小さくできる。
【0067】ところで従来、複数の軸の方向に積分射影
することで特徴抽出することが知られている。
することで特徴抽出することが知られている。
【0068】フレーム構造の特徴抽出では、図7Aに示
す(m×n)画素、従って水平方向にm画素、かつ垂直
方向にn画素のフレームブロックを、例えば同図Bに示
すように(m×b)画素毎、従って水平方向にm画素、
かつ垂直方向にb(b<n)画素毎の小ブロックに分割
し、さらに(a×n)画素毎、従って水平方向にa(a
<m)画素、かつ垂直方向にn画素毎の小ブロックに分
割する。そして、各小ブロック毎に全要素の積分を行っ
てそれぞれの代表値とする。同図Cのハッチング領域は
特徴抽出後の2次元周波数成分を示しており、破線枠内
の領域は特徴抽出前の2次元周波数成分を示している。
す(m×n)画素、従って水平方向にm画素、かつ垂直
方向にn画素のフレームブロックを、例えば同図Bに示
すように(m×b)画素毎、従って水平方向にm画素、
かつ垂直方向にb(b<n)画素毎の小ブロックに分割
し、さらに(a×n)画素毎、従って水平方向にa(a
<m)画素、かつ垂直方向にn画素毎の小ブロックに分
割する。そして、各小ブロック毎に全要素の積分を行っ
てそれぞれの代表値とする。同図Cのハッチング領域は
特徴抽出後の2次元周波数成分を示しており、破線枠内
の領域は特徴抽出前の2次元周波数成分を示している。
【0069】このような積分射影による特徴抽出によれ
ば、マッチング要素を少なくできる。例えば、(a×
b)画素毎に小ブロックに分割するものでは(m/a×
n/b)個のマッチング要素が得られるが、上述した積
分射影によれば(m/a+n/b)個のマッチング要素
となる。なお、図7Cと図40Cとを比較すると、上述
した積分射影によっても、垂直方向および水平方向に充
分な周波数成分をもって特徴抽出が行われていることが
わかる。これらのことは、以下のフレーム構造の特徴抽
出、フィールド構造の特徴抽出の場合でも同様である。
ば、マッチング要素を少なくできる。例えば、(a×
b)画素毎に小ブロックに分割するものでは(m/a×
n/b)個のマッチング要素が得られるが、上述した積
分射影によれば(m/a+n/b)個のマッチング要素
となる。なお、図7Cと図40Cとを比較すると、上述
した積分射影によっても、垂直方向および水平方向に充
分な周波数成分をもって特徴抽出が行われていることが
わかる。これらのことは、以下のフレーム構造の特徴抽
出、フィールド構造の特徴抽出の場合でも同様である。
【0070】また、フレーム構造の特徴抽出では、図7
Aに示す(m×n)画素のフレームブロックを、例えば
同図Dに示すように(m×b)画素毎の小ブロックに分
割し、さらに(a×n/2)画素毎の小ブロックに分割
する。そして、各小ブロック毎に全要素の積分を行って
それぞれの代表値とする。同図Eのハッチング領域は特
徴抽出後の2次元周波数成分を示しており、破線枠内の
領域は特徴抽出前の2次元周波数成分を示している。
Aに示す(m×n)画素のフレームブロックを、例えば
同図Dに示すように(m×b)画素毎の小ブロックに分
割し、さらに(a×n/2)画素毎の小ブロックに分割
する。そして、各小ブロック毎に全要素の積分を行って
それぞれの代表値とする。同図Eのハッチング領域は特
徴抽出後の2次元周波数成分を示しており、破線枠内の
領域は特徴抽出前の2次元周波数成分を示している。
【0071】次に、フィールド構造の特徴抽出では、図
8Aに示すように、奇数、偶数の各フィールドで(m×
n/2)画素のブロックを、同図Bに示すように(a×
n/2)画素毎に小ブロックに分割し、さらに(m×
b)画素毎に小ブロックに分割する。そして、各小ブロ
ック毎に全要素の積分を行ってそれぞれの代表値とす
る。同図Cのハッチング領域は特徴抽出後の2次元周波
数成分を示しており、破線枠内の領域は特徴抽出前の2
次元周波数成分を示している。
8Aに示すように、奇数、偶数の各フィールドで(m×
n/2)画素のブロックを、同図Bに示すように(a×
n/2)画素毎に小ブロックに分割し、さらに(m×
b)画素毎に小ブロックに分割する。そして、各小ブロ
ック毎に全要素の積分を行ってそれぞれの代表値とす
る。同図Cのハッチング領域は特徴抽出後の2次元周波
数成分を示しており、破線枠内の領域は特徴抽出前の2
次元周波数成分を示している。
【0072】次に、図9を参照しながら、この発明に係
る動きベクトル検出装置の第4実施例について説明す
る。この図9において、図1と対応する部分には同一符
号を付し、その詳細説明は省略する。
る動きベクトル検出装置の第4実施例について説明す
る。この図9において、図1と対応する部分には同一符
号を付し、その詳細説明は省略する。
【0073】図において、21B,31Bはそれぞれ特
徴抽出回路であり、図1の例の特徴抽出回路21A,3
1Aに相当するものである。特徴抽出回路21B,31
Bでは積分射影による特徴抽出が行われ、フレーム用の
マッチング要素が得られる。すなわち、図10Aに示す
(m×n)画素のフレームブロックが、同図Bに示すよ
うに(a×n)画素毎に小ブロックに分割され、さらに
(n×b)画素毎に小ブロックに分割され、各小ブロッ
ク毎に同じフィールド同士の画素の積分が行われて同図
Dに示すようにマッチング要素aox,aex,aoy,aey
が算出される。例えば、図Cに示すように(a×n)画
素の小ブロックが(1×n)画素(aox 1,aox2,a
ox3,・・・,aex1,aex2,aex3,・・・)で構成さ
れるとき、aox=aox1+aox2+aox3+・・・、aex
=aex1+aex2+aex3+・・・となる。また、図Cに
示すように(m×b)画素の小ブロックが(m×2)画
素(a o1y,ao2y,ao3Y,・・・,ae1y,ae2y,
ae3y,・・・で構成されるとき、a oy=ao1y+ao2y
+ao3y+・・・、aey=ae1y+ae2y+ae3y+・・・
となる。
徴抽出回路であり、図1の例の特徴抽出回路21A,3
1Aに相当するものである。特徴抽出回路21B,31
Bでは積分射影による特徴抽出が行われ、フレーム用の
マッチング要素が得られる。すなわち、図10Aに示す
(m×n)画素のフレームブロックが、同図Bに示すよ
うに(a×n)画素毎に小ブロックに分割され、さらに
(n×b)画素毎に小ブロックに分割され、各小ブロッ
ク毎に同じフィールド同士の画素の積分が行われて同図
Dに示すようにマッチング要素aox,aex,aoy,aey
が算出される。例えば、図Cに示すように(a×n)画
素の小ブロックが(1×n)画素(aox 1,aox2,a
ox3,・・・,aex1,aex2,aex3,・・・)で構成さ
れるとき、aox=aox1+aox2+aox3+・・・、aex
=aex1+aex2+aex3+・・・となる。また、図Cに
示すように(m×b)画素の小ブロックが(m×2)画
素(a o1y,ao2y,ao3Y,・・・,ae1y,ae2y,
ae3y,・・・で構成されるとき、a oy=ao1y+ao2y
+ao3y+・・・、aey=ae1y+ae2y+ae3y+・・・
となる。
【0074】また、図10Dに示すように特徴抽出回路
21B,31Bより得られるフレーム用のマッチング要
素は、それぞれデータ分割回路24B,34Bでそれぞ
れのフィールドに分割され、同図Eに示すように奇数フ
ィールド用のマッチング要素が得られると共に、同図F
に示すように偶数フィールド用のマッチング要素が得ら
れる。
21B,31Bより得られるフレーム用のマッチング要
素は、それぞれデータ分割回路24B,34Bでそれぞ
れのフィールドに分割され、同図Eに示すように奇数フ
ィールド用のマッチング要素が得られると共に、同図F
に示すように偶数フィールド用のマッチング要素が得ら
れる。
【0075】なお、図11Aのハッチング領域は特徴抽
出によるフレーム用のマッチング要素の2次元周波数成
分を示しており、破線枠内の領域は特徴抽出前の2次元
周波数成分を示している。図より明かなように、フレー
ム用のマッチング要素の2次元周波数成分として垂直方
向に高い成分が取り出されていることがわかる。また、
図11BおよびCはそれぞれ奇数フィールド用および偶
数フィールド用のマッチング要素の2次元周波数成分を
示している。
出によるフレーム用のマッチング要素の2次元周波数成
分を示しており、破線枠内の領域は特徴抽出前の2次元
周波数成分を示している。図より明かなように、フレー
ム用のマッチング要素の2次元周波数成分として垂直方
向に高い成分が取り出されていることがわかる。また、
図11BおよびCはそれぞれ奇数フィールド用および偶
数フィールド用のマッチング要素の2次元周波数成分を
示している。
【0076】特徴抽出回路21B,31Bより得られる
フレーム用のマッチング要素はマッチング回路40FL
に供給される。また、データ分割回路24B,34Bで
分割される奇数フィールド用のマッチング要素はマッチ
ング回路40FOに供給されると共に、データ分割回路
24B,34Bで分割される偶数フィールド用のマッチ
ング要素はマッチング回路40FEに供給される。
フレーム用のマッチング要素はマッチング回路40FL
に供給される。また、データ分割回路24B,34Bで
分割される奇数フィールド用のマッチング要素はマッチ
ング回路40FOに供給されると共に、データ分割回路
24B,34Bで分割される偶数フィールド用のマッチ
ング要素はマッチング回路40FEに供給される。
【0077】本例においてその他の構成は図1の例と同
様に構成されるため、図1の例と同様に評価回路41F
Lからはフレーム動きベクトルが出力され、評価回路4
1FOからは奇数フィールド動きベクトルが出力され、
さらに評価回路41FEからは偶数フィールド動きベク
トルが出力される。本例においても、図1の例と同様の
作用効果を得ることができる他に、特徴抽出に積分射影
を利用しているので回路規模をさらに縮小できる利益が
ある。
様に構成されるため、図1の例と同様に評価回路41F
Lからはフレーム動きベクトルが出力され、評価回路4
1FOからは奇数フィールド動きベクトルが出力され、
さらに評価回路41FEからは偶数フィールド動きベク
トルが出力される。本例においても、図1の例と同様の
作用効果を得ることができる他に、特徴抽出に積分射影
を利用しているので回路規模をさらに縮小できる利益が
ある。
【0078】次に、図12を参照しながら、この発明に
係る動きベクトル検出装置の第5実施例について説明す
る。この図12において、図4と対応する部分には同一
符号を付し、その詳細説明は省略する。
係る動きベクトル検出装置の第5実施例について説明す
る。この図12において、図4と対応する部分には同一
符号を付し、その詳細説明は省略する。
【0079】図において、22B,23B,32B,3
3Bはそれぞれ特徴抽出回路であり、図4の例の特徴抽
出回路22,23,32,33に相当するものである。
特徴抽出回路22B,23B,32B,33Bでは積分
射影による特徴抽出が行われ、奇数フィールド用および
偶数フィールド用のマッチング要素が得られる。すなわ
ち、図13Aに示すように奇数、偶数の各フィールドで
(m×n/2)画素のフィールドブロックが、同図Bに
示すように(a×n/2)画素毎に小ブロックに分割さ
れ、さらに(m×b/2)画素毎に小ブロックに分割さ
れ、各小ブロック毎に全要素の積分が行われて同図Dに
示すようにマッチング要素aox,aoy,aex,aeyが算
出される。例えば、同図Cに示すように、奇数フィール
ドの小ブロックが(1×n/2)画素(aox1,aox2,
aox3,・・・)および(m×1)画素(ao1y,
ao2y,ao3y,・・・)で構成されるとき、aox=a
ox1+aox 2+aox3+・・・、aoy=ao1y+ao2y+a
o3y+・・・となる。同様に、偶数フィールドの小ブロ
ックが(1×n/2)画素(aex1,aex2,aex3,・
・・)および(m×1)画素(ae1y,ae2y,ae3y,
・・・)で構成されるとき、aex=aex1+aex2+a
ex3+・・・、aey=ae1y+ae2y+ae3y+・・・とな
る。
3Bはそれぞれ特徴抽出回路であり、図4の例の特徴抽
出回路22,23,32,33に相当するものである。
特徴抽出回路22B,23B,32B,33Bでは積分
射影による特徴抽出が行われ、奇数フィールド用および
偶数フィールド用のマッチング要素が得られる。すなわ
ち、図13Aに示すように奇数、偶数の各フィールドで
(m×n/2)画素のフィールドブロックが、同図Bに
示すように(a×n/2)画素毎に小ブロックに分割さ
れ、さらに(m×b/2)画素毎に小ブロックに分割さ
れ、各小ブロック毎に全要素の積分が行われて同図Dに
示すようにマッチング要素aox,aoy,aex,aeyが算
出される。例えば、同図Cに示すように、奇数フィール
ドの小ブロックが(1×n/2)画素(aox1,aox2,
aox3,・・・)および(m×1)画素(ao1y,
ao2y,ao3y,・・・)で構成されるとき、aox=a
ox1+aox 2+aox3+・・・、aoy=ao1y+ao2y+a
o3y+・・・となる。同様に、偶数フィールドの小ブロ
ックが(1×n/2)画素(aex1,aex2,aex3,・
・・)および(m×1)画素(ae1y,ae2y,ae3y,
・・・)で構成されるとき、aex=aex1+aex2+a
ex3+・・・、aey=ae1y+ae2y+ae3y+・・・とな
る。
【0080】また、図13Dに示すように特徴抽出回路
22B,23Bおよび32B,33Bより得られる奇
数、偶数フィールド用のマッチング要素は、それぞれデ
ータ合成回路25Bおよび35Bで合成され、同図Eに
示すようにフレーム用のマッチング要素が得られる。こ
の場合も、奇数フィールド用および偶数フィールド用の
マッチング要素の2次元周波数成分はそれぞれ図11B
およびCのハッチング領域で示され、またフレーム用の
マッチング要素の2次元周波数成分は同図Aのハッチン
グ領域で示される。
22B,23Bおよび32B,33Bより得られる奇
数、偶数フィールド用のマッチング要素は、それぞれデ
ータ合成回路25Bおよび35Bで合成され、同図Eに
示すようにフレーム用のマッチング要素が得られる。こ
の場合も、奇数フィールド用および偶数フィールド用の
マッチング要素の2次元周波数成分はそれぞれ図11B
およびCのハッチング領域で示され、またフレーム用の
マッチング要素の2次元周波数成分は同図Aのハッチン
グ領域で示される。
【0081】データ合成回路25B,35Bより得られ
るフレーム用のマッチング要素はマッチング回路40F
Lに供給される。また、特徴抽出回路22B,32Bよ
り得られる奇数フィールド用のマッチング要素はマッチ
ング回路40FOに供給されると共に、特徴抽出回路2
3B,33Bより得られる偶数フィールド用のマッチン
グ要素はマッチング回路40FEに供給される。
るフレーム用のマッチング要素はマッチング回路40F
Lに供給される。また、特徴抽出回路22B,32Bよ
り得られる奇数フィールド用のマッチング要素はマッチ
ング回路40FOに供給されると共に、特徴抽出回路2
3B,33Bより得られる偶数フィールド用のマッチン
グ要素はマッチング回路40FEに供給される。
【0082】本例においてその他の構成は図4の例と同
様に構成されるため、図4の例と同様に評価回路41F
Lからはフレーム動きベクトルが出力され、評価回路4
1FOからは奇数フィールド動きベクトルが出力され、
さらに評価回路41FEからは偶数フィールド動きベク
トルが出力される。本例においても、図4の例と同様の
作用効果を得ることができる他に、特徴抽出に積分射影
を利用しているので回路規模をさらに縮小できる利益が
ある。
様に構成されるため、図4の例と同様に評価回路41F
Lからはフレーム動きベクトルが出力され、評価回路4
1FOからは奇数フィールド動きベクトルが出力され、
さらに評価回路41FEからは偶数フィールド動きベク
トルが出力される。本例においても、図4の例と同様の
作用効果を得ることができる他に、特徴抽出に積分射影
を利用しているので回路規模をさらに縮小できる利益が
ある。
【0083】なお、図9に示す第4実施例および図12
に示す第5実施例はそれぞれ図1に示す第1実施例およ
び図4に示す第2実施例に対応した例であるが、図6に
示す第3実施例に関しても、特徴抽出回路22,23,
32,33の部分を図12に示す第5実施例と同様に積
分射影によって特徴抽出を行う特徴抽出回路22B,2
3B,32B,33Bに置き換えて構成することができ
る。
に示す第5実施例はそれぞれ図1に示す第1実施例およ
び図4に示す第2実施例に対応した例であるが、図6に
示す第3実施例に関しても、特徴抽出回路22,23,
32,33の部分を図12に示す第5実施例と同様に積
分射影によって特徴抽出を行う特徴抽出回路22B,2
3B,32B,33Bに置き換えて構成することができ
る。
【0084】次に、より具体的な実施例について説明す
る。図14は、フレーム構造の基準ブロックと検索ブロ
ック、さらには検索ブロック範囲を示している。フレー
ムブロックは(4×4)画素で構成される。R1〜R16
の画素を持つ基準ブロックとS1〜S49の画素を持つ検
索ブロック範囲の中の16通りの検索ブロックとのマッ
チング処理が行われ、最もマッチしている検索ブロック
の位置がフレーム動きベクトルとされる。
る。図14は、フレーム構造の基準ブロックと検索ブロ
ック、さらには検索ブロック範囲を示している。フレー
ムブロックは(4×4)画素で構成される。R1〜R16
の画素を持つ基準ブロックとS1〜S49の画素を持つ検
索ブロック範囲の中の16通りの検索ブロックとのマッ
チング処理が行われ、最もマッチしている検索ブロック
の位置がフレーム動きベクトルとされる。
【0085】図15は、フィールド構造の奇数フィール
ドおよび偶数フィールドの基準ブロックと検索ブロック
を示している。フィールドブロックは(4×2)画素で
構成される。R1,R3,・・,R11,R15の奇数フィー
ルド画素を持つ基準ブロックとS1〜S48の画素を持つ
検索ブロック範囲の中の16通りの検索ブロックとのマ
ッチング処理が行われれ、最もマッチしている検出ブロ
ックの位置が奇数フィールド動きベクトルとされる。一
方、R2,R4,・・,R12,R16の偶数フィールド画素
を持つ基準ブロックとS2〜S49の画素を持つ検索ブロ
ック範囲の中の16通りの検索ブロックとのマッチング
処理が行われ、最もマッチしている検出ブロックの位置
が偶数フィールド動きベクトルとされる。
ドおよび偶数フィールドの基準ブロックと検索ブロック
を示している。フィールドブロックは(4×2)画素で
構成される。R1,R3,・・,R11,R15の奇数フィー
ルド画素を持つ基準ブロックとS1〜S48の画素を持つ
検索ブロック範囲の中の16通りの検索ブロックとのマ
ッチング処理が行われれ、最もマッチしている検出ブロ
ックの位置が奇数フィールド動きベクトルとされる。一
方、R2,R4,・・,R12,R16の偶数フィールド画素
を持つ基準ブロックとS2〜S49の画素を持つ検索ブロ
ック範囲の中の16通りの検索ブロックとのマッチング
処理が行われ、最もマッチしている検出ブロックの位置
が偶数フィールド動きベクトルとされる。
【0086】ここで、奇数フィールドの動きベクトルを
MVo(X,Y)、偶数フィールドの動きベクトルをM
Ve(X,Y)とすると、この位置のフィールド検索ブ
ロックの画素が、フレーム動きベクトルMV(X,2
Y)の位置のフレーム検索ブロックの画素と一致してい
る。よって、フィールドの特徴抽出によって得られたマ
ッチング要素をフレーム用のマッチング要素とするに
は、この関係が保たれるようにすればよい。
MVo(X,Y)、偶数フィールドの動きベクトルをM
Ve(X,Y)とすると、この位置のフィールド検索ブ
ロックの画素が、フレーム動きベクトルMV(X,2
Y)の位置のフレーム検索ブロックの画素と一致してい
る。よって、フィールドの特徴抽出によって得られたマ
ッチング要素をフレーム用のマッチング要素とするに
は、この関係が保たれるようにすればよい。
【0087】図14および図15より明かなように、基
準フレームブロックは16通りの検索フレームブロック
とマッチング処理を行う必要があり、基準フィールドブ
ロックは奇数、偶数の各フィールドでそれぞれ16通り
の検索フィールドブロックとマッチング処理を行う必要
がある。一般には、このマッチング処理は基準フレーム
ブロックの画素数に等しい16クロックで処理しなけれ
ばならない。したがって、検索ブロックの1つを1クロ
ックで処理し、かつフレーム、奇数フィールド、偶数フ
ィールドを同時に処理する必要がある。
準フレームブロックは16通りの検索フレームブロック
とマッチング処理を行う必要があり、基準フィールドブ
ロックは奇数、偶数の各フィールドでそれぞれ16通り
の検索フィールドブロックとマッチング処理を行う必要
がある。一般には、このマッチング処理は基準フレーム
ブロックの画素数に等しい16クロックで処理しなけれ
ばならない。したがって、検索ブロックの1つを1クロ
ックで処理し、かつフレーム、奇数フィールド、偶数フ
ィールドを同時に処理する必要がある。
【0088】フレーム用およびフィールド用のマッチン
グ要素を個々に得るものでは、例えば以下のようにして
フレーム構造およびフィールド構造の特徴抽出が行われ
る。フレーム構造の特徴抽出では、図16Aに示す(4
×4)画素のフレームブロックが、同図Bに示すように
(1×4)画素毎に小ブロックに分割れ、さらに(4×
1)画素毎に小ブロックに分割される。そして、各小ブ
ロック毎に全要素が積分されて同図Cに示すようにフレ
ーム用のマッチング要素が算出される。同図Dのハッチ
ング領域は特徴抽出後の2次元周波数成分を示してお
り、破線枠内の領域は特徴抽出前の2次元周波数成分を
示している。
グ要素を個々に得るものでは、例えば以下のようにして
フレーム構造およびフィールド構造の特徴抽出が行われ
る。フレーム構造の特徴抽出では、図16Aに示す(4
×4)画素のフレームブロックが、同図Bに示すように
(1×4)画素毎に小ブロックに分割れ、さらに(4×
1)画素毎に小ブロックに分割される。そして、各小ブ
ロック毎に全要素が積分されて同図Cに示すようにフレ
ーム用のマッチング要素が算出される。同図Dのハッチ
ング領域は特徴抽出後の2次元周波数成分を示してお
り、破線枠内の領域は特徴抽出前の2次元周波数成分を
示している。
【0089】また、フィールド構造の特徴抽出では、図
17Aに示すように、奇数、偶数の各フィールドで(4
×2)画素のフィールドブロックが、例えば同図Bに示
すように(1×2)画素毎の小ブロックに分割され、さ
らに(4×1)画素毎の小ブロックに分割される。そし
て、各小ブロック毎に全要素が積分されて同図Cに示す
ように奇数フィールド用および偶数フィールド用のマッ
チング要素が算出される。同図Dのハッチング領域は特
徴抽出後の2次元周波数成分を示しており、破線枠内の
領域は特徴抽出前の2次元周波数成分を示している。
17Aに示すように、奇数、偶数の各フィールドで(4
×2)画素のフィールドブロックが、例えば同図Bに示
すように(1×2)画素毎の小ブロックに分割され、さ
らに(4×1)画素毎の小ブロックに分割される。そし
て、各小ブロック毎に全要素が積分されて同図Cに示す
ように奇数フィールド用および偶数フィールド用のマッ
チング要素が算出される。同図Dのハッチング領域は特
徴抽出後の2次元周波数成分を示しており、破線枠内の
領域は特徴抽出前の2次元周波数成分を示している。
【0090】図9に示す第4実施例のように特徴抽出に
よってフレーム用のマッチング要素を得ると共に、この
フレーム用のマッチング要素を分割してフィールド用の
マッチング要素を得るものでは、以下のように処理され
る。すなわち、図18Aに示す(4×4)画素のフレー
ムブロックが、同図Bに示すように(1×4)画素毎に
小ブロックに分割され、さらに(4×1)画素毎に小ブ
ロック毎に分割され、各小ブロック毎に同じフィールド
同士の画素の積分が行われて同図Dに示すようにマッチ
ング要素aox,aex,aoy,aeyが算出される。例え
ば、同図Cに示すように(1×4)画素の小ブロックが
画素(aox1,aox2,aex1,aex2)で構成されると
き、aox=aox1+aox2、aex=aex1+aex2となる。
また、同図Cに示すように(4×1)画素の小ブロック
が画素(ao1y,ao2y,ao3y,ao4y)や画素
(ae1y,ae2y,ae3y,ae4y)で構成されるとき、a
oy=ao1y+ao 2y+ao3y+ao4y、aey=ae1y+ae2y
+ae3y+ae4yとなる。
よってフレーム用のマッチング要素を得ると共に、この
フレーム用のマッチング要素を分割してフィールド用の
マッチング要素を得るものでは、以下のように処理され
る。すなわち、図18Aに示す(4×4)画素のフレー
ムブロックが、同図Bに示すように(1×4)画素毎に
小ブロックに分割され、さらに(4×1)画素毎に小ブ
ロック毎に分割され、各小ブロック毎に同じフィールド
同士の画素の積分が行われて同図Dに示すようにマッチ
ング要素aox,aex,aoy,aeyが算出される。例え
ば、同図Cに示すように(1×4)画素の小ブロックが
画素(aox1,aox2,aex1,aex2)で構成されると
き、aox=aox1+aox2、aex=aex1+aex2となる。
また、同図Cに示すように(4×1)画素の小ブロック
が画素(ao1y,ao2y,ao3y,ao4y)や画素
(ae1y,ae2y,ae3y,ae4y)で構成されるとき、a
oy=ao1y+ao 2y+ao3y+ao4y、aey=ae1y+ae2y
+ae3y+ae4yとなる。
【0091】また、図18Dに示すように得られるフレ
ーム用のマッチング要素がそれぞれのフィールドに分割
され、同図Eに示すように奇数フィールド用のマッチン
グ要素が得られると共に、同図Fに示すように偶数フィ
ールド用のマッチング要素が得られる。
ーム用のマッチング要素がそれぞれのフィールドに分割
され、同図Eに示すように奇数フィールド用のマッチン
グ要素が得られると共に、同図Fに示すように偶数フィ
ールド用のマッチング要素が得られる。
【0092】なお、図19Aのハッチング領域は特徴抽
出によるフレーム用のマッチング要素の2次元周波数成
分を示しており、破線枠内の領域は特徴抽出前の2次元
周波数成分を示している。図より明かなように、フレー
ム用のマッチング要素の2次元周波数成分として垂直方
向に高い成分が取り出されていることがわかる。また、
同図BおよびCはそれぞれ奇数フィールド用および偶数
フィールド用のマッチング要素の2次元周波数成分を示
している。
出によるフレーム用のマッチング要素の2次元周波数成
分を示しており、破線枠内の領域は特徴抽出前の2次元
周波数成分を示している。図より明かなように、フレー
ム用のマッチング要素の2次元周波数成分として垂直方
向に高い成分が取り出されていることがわかる。また、
同図BおよびCはそれぞれ奇数フィールド用および偶数
フィールド用のマッチング要素の2次元周波数成分を示
している。
【0093】また、図12に示す第5実施例のように特
徴抽出によって奇数フィールド用および偶数フィールド
用のマッチング要素を得ると共に、これら奇数フィール
ド用および偶数フィールド用のマッチング要素を合成し
てフレーム用のマッチング要素を得るものでは、以下の
ように処理される。すなわち、図20Aに示すように奇
数、偶数の各フィールドで(4×2)画素のフィールド
ブロックが、同図Bに示すように(1×2)画素毎に小
ブロックに分割され、さらに(4×1)画素毎に小ブロ
ックに分割され、各小ブロック毎に全要素の積分が行わ
れて同図Dに示すようにマッチング要素aox,aoy,a
ex,aeyが算出される。例えば、同図Cに示すように、
奇数フィールドの小ブロックが画素(aox1,aox2)お
よび画素(ao1y,ao2y,ao3y,ao4y)で構成される
とき、aox=aox1+aox2、aoy=ao1y+ao2y+a
o3y+ao4yとなる。同様に、偶数フィールドの小ブロッ
クが画素(aex1,aex2)および画素(ae1y,ae2y,
ae3y,ae4y)で構成されるとき、aex=aex1+
aex2、aey=ae1y+ae2y+ae3y+ae4yとなる。
徴抽出によって奇数フィールド用および偶数フィールド
用のマッチング要素を得ると共に、これら奇数フィール
ド用および偶数フィールド用のマッチング要素を合成し
てフレーム用のマッチング要素を得るものでは、以下の
ように処理される。すなわち、図20Aに示すように奇
数、偶数の各フィールドで(4×2)画素のフィールド
ブロックが、同図Bに示すように(1×2)画素毎に小
ブロックに分割され、さらに(4×1)画素毎に小ブロ
ックに分割され、各小ブロック毎に全要素の積分が行わ
れて同図Dに示すようにマッチング要素aox,aoy,a
ex,aeyが算出される。例えば、同図Cに示すように、
奇数フィールドの小ブロックが画素(aox1,aox2)お
よび画素(ao1y,ao2y,ao3y,ao4y)で構成される
とき、aox=aox1+aox2、aoy=ao1y+ao2y+a
o3y+ao4yとなる。同様に、偶数フィールドの小ブロッ
クが画素(aex1,aex2)および画素(ae1y,ae2y,
ae3y,ae4y)で構成されるとき、aex=aex1+
aex2、aey=ae1y+ae2y+ae3y+ae4yとなる。
【0094】また、図20Dに示すように得られる奇
数、偶数フィールド用のマッチング要素は合成されるこ
とで、同図Eに示すようにフレーム用のマッチング要素
が得られる。この場合も、奇数フィールド用および偶数
フィールド用のマッチング要素の2次元周波数成分はそ
れぞれ図19BおよびCのハッチング領域で示され、ま
たフレーム用のマッチング要素の2次元周波数成分は同
図Aのハッチング領域で示される。
数、偶数フィールド用のマッチング要素は合成されるこ
とで、同図Eに示すようにフレーム用のマッチング要素
が得られる。この場合も、奇数フィールド用および偶数
フィールド用のマッチング要素の2次元周波数成分はそ
れぞれ図19BおよびCのハッチング領域で示され、ま
たフレーム用のマッチング要素の2次元周波数成分は同
図Aのハッチング領域で示される。
【0095】図21は、この発明に係る動きベクトル検
出装置の第6実施例を示す構成図である。本例は、フィ
ールドブロックが(4×2)画素で構成されると共に、
積分射影による特徴抽出によって奇数フィールド用およ
び偶数フィールド用のマッチング要素が得られると共
に、これらのマッチング要素が合成されてフレーム用の
マッチング要素が得られるものである(図20参照)。
出装置の第6実施例を示す構成図である。本例は、フィ
ールドブロックが(4×2)画素で構成されると共に、
積分射影による特徴抽出によって奇数フィールド用およ
び偶数フィールド用のマッチング要素が得られると共
に、これらのマッチング要素が合成されてフレーム用の
マッチング要素が得られるものである(図20参照)。
【0096】図において、基準奇数フィールドブロック
(図20Aに図示)が特徴抽出回路61vo,61hoに供
給されると共に、基準偶数フィールドブロック(図20
Aに図示)が特徴抽出回路61ve,61heに供給され
る。特徴抽出回路61voでは垂直方向の積分射影による
奇数フィールド用のマッチング要素aox(図20Dに図
示)が算出されてレジスタ62voに格納される。特徴抽
出回路61hoでは水平方向の積分射影による奇数フィー
ルド用のマッチング要素aoy(図20Dに図示)が算出
されてレジスタ62hoに格納される。特徴抽出回路61
veでは垂直方向の積分射影による偶数フィールド用のマ
ッチング要素aex(図20Dに図示)が算出されてレジ
スタ62veに格納される。特徴抽出回路61heでは水平
方向の積分射影による偶数フィールド用のマッチング要
素aey(図20Dに図示)が算出されてレジスタ62he
に格納される。
(図20Aに図示)が特徴抽出回路61vo,61hoに供
給されると共に、基準偶数フィールドブロック(図20
Aに図示)が特徴抽出回路61ve,61heに供給され
る。特徴抽出回路61voでは垂直方向の積分射影による
奇数フィールド用のマッチング要素aox(図20Dに図
示)が算出されてレジスタ62voに格納される。特徴抽
出回路61hoでは水平方向の積分射影による奇数フィー
ルド用のマッチング要素aoy(図20Dに図示)が算出
されてレジスタ62hoに格納される。特徴抽出回路61
veでは垂直方向の積分射影による偶数フィールド用のマ
ッチング要素aex(図20Dに図示)が算出されてレジ
スタ62veに格納される。特徴抽出回路61heでは水平
方向の積分射影による偶数フィールド用のマッチング要
素aey(図20Dに図示)が算出されてレジスタ62he
に格納される。
【0097】また、検索奇数フィールドブロック(図2
0Aに図示)が特徴抽出回路63vo,63hoに供給され
ると共に、検索偶数フィールドブロック(図20Aに図
示)が特徴抽出回路63ve,63heに供給される。特徴
抽出回路63voでは垂直方向の積分射影による奇数フィ
ールド用のマッチング要素aox(図20Dに図示)が算
出されてレジスタ64voに格納される。特徴抽出回路6
3hoでは水平方向の積分射影による奇数フィールド用の
マッチング要素aoy(図20Dに図示)が算出されてレ
ジスタ64hoに格納される。特徴抽出回路63veでは垂
直方向の積分射影による偶数フィールド用のマッチング
要素aex(図20Dに図示)が算出されてレジスタ64
veに格納される。特徴抽出回路63heでは水平方向の積
分射影による偶数フィールド用のマッチング要素a
ey(図20Dに図示)が算出されてレジスタ64heに格
納される。
0Aに図示)が特徴抽出回路63vo,63hoに供給され
ると共に、検索偶数フィールドブロック(図20Aに図
示)が特徴抽出回路63ve,63heに供給される。特徴
抽出回路63voでは垂直方向の積分射影による奇数フィ
ールド用のマッチング要素aox(図20Dに図示)が算
出されてレジスタ64voに格納される。特徴抽出回路6
3hoでは水平方向の積分射影による奇数フィールド用の
マッチング要素aoy(図20Dに図示)が算出されてレ
ジスタ64hoに格納される。特徴抽出回路63veでは垂
直方向の積分射影による偶数フィールド用のマッチング
要素aex(図20Dに図示)が算出されてレジスタ64
veに格納される。特徴抽出回路63heでは水平方向の積
分射影による偶数フィールド用のマッチング要素a
ey(図20Dに図示)が算出されてレジスタ64heに格
納される。
【0098】そして、検索フィールドブロックのそれぞ
れに対応してレジスタ62vo,64voに格納された奇数
フィールド用のマッチング要素aoxがマッチング回路6
5voに供給されてマッチング処理が行われる。すなわ
ち、レジスタ62vo,64voにそれぞれ格納された各4
個のマッチング要素aoxの差が減算器65aでとられた
後に絶対値化回路65bで絶対値化されて加算器65c
で加算される。また、検索フィールドブロックのそれぞ
れに対応してレジスタ62ve,64veに格納された偶数
フィールド用のマッチング要素aexがマッチング回路6
5veに供給され、上述したマッチング回路65voと同様
にマッチング処理が行われる。
れに対応してレジスタ62vo,64voに格納された奇数
フィールド用のマッチング要素aoxがマッチング回路6
5voに供給されてマッチング処理が行われる。すなわ
ち、レジスタ62vo,64voにそれぞれ格納された各4
個のマッチング要素aoxの差が減算器65aでとられた
後に絶対値化回路65bで絶対値化されて加算器65c
で加算される。また、検索フィールドブロックのそれぞ
れに対応してレジスタ62ve,64veに格納された偶数
フィールド用のマッチング要素aexがマッチング回路6
5veに供給され、上述したマッチング回路65voと同様
にマッチング処理が行われる。
【0099】また、検索フィールドブロックのそれぞれ
に対応してレジスタ62ho,64hoに格納された奇数フ
ィールド用のマッチング要素aoyがマッチング回路65
hoに供給されてマッチング処理が行われる。すなわち、
レジスタ62ho,64hoにそれぞれ格納された各2個の
マッチング要素aoyの差が減算器65dでとられた後に
絶対値化回路65eで絶対値化されて加算器65fで加
算される。また、検索フィールドブロックのそれぞれに
対応してレジスタ62he,64heに格納された偶数フィ
ールド用のマッチング要素aeyがマッチング回路65he
に供給され、上述したマッチング回路65hoと同様にマ
ッチング処理が行われる。
に対応してレジスタ62ho,64hoに格納された奇数フ
ィールド用のマッチング要素aoyがマッチング回路65
hoに供給されてマッチング処理が行われる。すなわち、
レジスタ62ho,64hoにそれぞれ格納された各2個の
マッチング要素aoyの差が減算器65dでとられた後に
絶対値化回路65eで絶対値化されて加算器65fで加
算される。また、検索フィールドブロックのそれぞれに
対応してレジスタ62he,64heに格納された偶数フィ
ールド用のマッチング要素aeyがマッチング回路65he
に供給され、上述したマッチング回路65hoと同様にマ
ッチング処理が行われる。
【0100】検索フィールドブロックのそれぞれに対応
してマッチング回路65vo,65hoより得られる信号は
加算器66FOで加算され、その加算信号は評価値とし
て最小値検出部67FOに供給される。最小値検出部6
7FOからは、図15に示す16通りの検索フィールド
ブロック(奇数)に対する評価値のうち最も小さな評価
値に対応した検索フィールドブロックの位置が奇数フィ
ールド動きベクトルMVo(X,Y)として出力され
る。
してマッチング回路65vo,65hoより得られる信号は
加算器66FOで加算され、その加算信号は評価値とし
て最小値検出部67FOに供給される。最小値検出部6
7FOからは、図15に示す16通りの検索フィールド
ブロック(奇数)に対する評価値のうち最も小さな評価
値に対応した検索フィールドブロックの位置が奇数フィ
ールド動きベクトルMVo(X,Y)として出力され
る。
【0101】また、検索フィールドブロックのそれぞれ
に対応してマッチング回路65ve,65heより得られる
信号は加算器66FEで加算され、その加算信号は評価
値として最小値検出部67FEに供給される。最小値検
出部67FEからは、図15に示す16通りの検索フィ
ールドブロック(偶数)に対する評価値のうち最も小さ
な評価値に対応した検索フィールドブロックの位置が偶
数フィールド動きベクトルMVe(X,Y)として出力
される。
に対応してマッチング回路65ve,65heより得られる
信号は加算器66FEで加算され、その加算信号は評価
値として最小値検出部67FEに供給される。最小値検
出部67FEからは、図15に示す16通りの検索フィ
ールドブロック(偶数)に対する評価値のうち最も小さ
な評価値に対応した検索フィールドブロックの位置が偶
数フィールド動きベクトルMVe(X,Y)として出力
される。
【0102】また、マッチング回路65vo,65veの減
算器65aより得られる各4つの差信号はそれぞれマッ
チング回路71の加算器71aで加算された後に絶対値
化回路71bで絶対値化されて加算器71cで加算され
る。このマッチング回路71の出力信号は加算器72に
供給される。また、マッチング回路65ho,65heの出
力信号は加算器73で加算され、その加算信号は加算器
72に供給される。そして、加算器72の出力信号は評
価値として最小値検出部67FLに供給される。最小値
検出部67FLからは、図14に示す16通りの検索フ
レームブロックに対する評価値のうち最も小さな評価値
に対応した検索フィールドブロックの位置がフレーム動
きベクトルMV(X,Y)として出力される。
算器65aより得られる各4つの差信号はそれぞれマッ
チング回路71の加算器71aで加算された後に絶対値
化回路71bで絶対値化されて加算器71cで加算され
る。このマッチング回路71の出力信号は加算器72に
供給される。また、マッチング回路65ho,65heの出
力信号は加算器73で加算され、その加算信号は加算器
72に供給される。そして、加算器72の出力信号は評
価値として最小値検出部67FLに供給される。最小値
検出部67FLからは、図14に示す16通りの検索フ
レームブロックに対する評価値のうち最も小さな評価値
に対応した検索フィールドブロックの位置がフレーム動
きベクトルMV(X,Y)として出力される。
【0103】本例においては、奇数フィールド用および
偶数フィールド用のマッチング要素を得るための特徴抽
出回路を備えるのみで構成でき、フレーム用のマッチン
グ要素を得るための特徴抽出回路を不要とできるので、
上述実施例と同様に回路規模を縮小できる等の効果があ
る。
偶数フィールド用のマッチング要素を得るための特徴抽
出回路を備えるのみで構成でき、フレーム用のマッチン
グ要素を得るための特徴抽出回路を不要とできるので、
上述実施例と同様に回路規模を縮小できる等の効果があ
る。
【0104】次に、図22を参照しながら、この発明に
係る動きベクトル検出装置の第7実施例を説明する。こ
の図22において、図21と対応する部分には同一符号
を付し、その詳細説明は省略する。
係る動きベクトル検出装置の第7実施例を説明する。こ
の図22において、図21と対応する部分には同一符号
を付し、その詳細説明は省略する。
【0105】本例においては、加算器66FO,66F
Eの出力信号、従って奇数フィールド用、偶数フィール
ド用の評価値が加算器74で加算され、その加算信号が
フレーム用の評価値として最小値検出部67FLに供給
され、この最小値検出部67FLよりフレーム動きベク
トルMV(X,Y)が出力される。その他は図21に示
す第6実施例と同様に構成される。本例によれば、図2
1に示す第6実施例におけるマッチング回路71が不要
となるので、さらに回路規模を縮小できる利益がある。
Eの出力信号、従って奇数フィールド用、偶数フィール
ド用の評価値が加算器74で加算され、その加算信号が
フレーム用の評価値として最小値検出部67FLに供給
され、この最小値検出部67FLよりフレーム動きベク
トルMV(X,Y)が出力される。その他は図21に示
す第6実施例と同様に構成される。本例によれば、図2
1に示す第6実施例におけるマッチング回路71が不要
となるので、さらに回路規模を縮小できる利益がある。
【0106】ところで、従来のフレーム特徴抽出回路で
は、例えば図42Aに示すように(m×n)画素のデー
タを(m/2×n/2)のデータに変換する場合、同図
Bに示すような2次元フィルタ(LPF)が使用され、
さらに同図Cの黒色部分がサブサンプルされていたの
で、フィールド間で動きが大きく、かつ形状の変化があ
る等で信号に垂直方向の高域成分が多く存在する場合に
はブロックの特徴抽出を充分に行うことができなかった
が、以下のようにすることで垂直方向の高域成分も取り
出すことが可能となり、ブロックの特徴抽出を改善する
ことができる。
は、例えば図42Aに示すように(m×n)画素のデー
タを(m/2×n/2)のデータに変換する場合、同図
Bに示すような2次元フィルタ(LPF)が使用され、
さらに同図Cの黒色部分がサブサンプルされていたの
で、フィールド間で動きが大きく、かつ形状の変化があ
る等で信号に垂直方向の高域成分が多く存在する場合に
はブロックの特徴抽出を充分に行うことができなかった
が、以下のようにすることで垂直方向の高域成分も取り
出すことが可能となり、ブロックの特徴抽出を改善する
ことができる。
【0107】すなわち、フレームブロックを構成する
(m×n)画素のデータを(m/2×n/2)のデータ
(代表値)に変換する場合、図23Aの(m×n)画素
のデータが同図Bの2次元フィルタ(LPF)を介され
て同図Cに示すようなデータとされ、その後にこのデー
タの黒色部分がサブサンプルされて同図Dに示すように
(m/2×n/2)のデータが得られる。なお、図23
Bの2次元フィルタにおいて、Z-1は1画素ディレイ、
Z-Lはフレーム構造時の1ラインディレイである。ま
た、同図Eのハッチング領域は特徴抽出後の2次元周波
数成分を示しており、破線枠内は特徴抽出前の2次元周
波数成分を示している。
(m×n)画素のデータを(m/2×n/2)のデータ
(代表値)に変換する場合、図23Aの(m×n)画素
のデータが同図Bの2次元フィルタ(LPF)を介され
て同図Cに示すようなデータとされ、その後にこのデー
タの黒色部分がサブサンプルされて同図Dに示すように
(m/2×n/2)のデータが得られる。なお、図23
Bの2次元フィルタにおいて、Z-1は1画素ディレイ、
Z-Lはフレーム構造時の1ラインディレイである。ま
た、同図Eのハッチング領域は特徴抽出後の2次元周波
数成分を示しており、破線枠内は特徴抽出前の2次元周
波数成分を示している。
【0108】このように図23Bに示すように垂直方向
に2ラインディレイを有する2次元フィルタ(LPF)
が使用されると共に、同図Cの黒色部分がサブサンプル
されるようにすることで、同図Eに示すように特徴抽出
後の2次元周波数成分として高域成分を持つようになる
ため、フィールド間で動きが大きく、かつ形状の変化が
ある等で信号に垂直方向の高域成分が多く存在する場合
にブロックの特徴抽出を向上させることができ、フレー
ム動きベクトルの検出精度を改善できる。
に2ラインディレイを有する2次元フィルタ(LPF)
が使用されると共に、同図Cの黒色部分がサブサンプル
されるようにすることで、同図Eに示すように特徴抽出
後の2次元周波数成分として高域成分を持つようになる
ため、フィールド間で動きが大きく、かつ形状の変化が
ある等で信号に垂直方向の高域成分が多く存在する場合
にブロックの特徴抽出を向上させることができ、フレー
ム動きベクトルの検出精度を改善できる。
【0109】ここで、図23Bに示す2次元フィルタを
垂直方向に1次元的に考えると、図24に示すようにな
る。図25Aはフレーム構造のデータを垂直方向のサン
プリング間隔でサンプリングしたデータであって、
「●」は奇数フィールドデータを示し、「×」は偶数フ
ィールドデータを示している。同図Bはその垂直方向の
周波数成分を示している。なお、fsはフレーム構造時
の垂直方向のサンプリング周波数である。
垂直方向に1次元的に考えると、図24に示すようにな
る。図25Aはフレーム構造のデータを垂直方向のサン
プリング間隔でサンプリングしたデータであって、
「●」は奇数フィールドデータを示し、「×」は偶数フ
ィールドデータを示している。同図Bはその垂直方向の
周波数成分を示している。なお、fsはフレーム構造時
の垂直方向のサンプリング周波数である。
【0110】また、図25Cは図24に示すフィルタを
通した後のデータであって、「○」は奇数フィールドデ
ータを示し、「△」は偶数フィールドデータを示してい
る。同図Dはその垂直方向の周波数成分を示している。
図25Dで破線は図24に示すフィルタの理想的な周波
数特性を示している。図25Dよりfs/2の部分に信
号成分が残っていることがわかる。また、図25Cの奇
数フィールドデータ、偶数フィールドデータをそれぞれ
サブサンブルすると、同図E,Gに示すようになり、そ
れぞれの周波数成分は同図F,Hに示すようになる。
通した後のデータであって、「○」は奇数フィールドデ
ータを示し、「△」は偶数フィールドデータを示してい
る。同図Dはその垂直方向の周波数成分を示している。
図25Dで破線は図24に示すフィルタの理想的な周波
数特性を示している。図25Dよりfs/2の部分に信
号成分が残っていることがわかる。また、図25Cの奇
数フィールドデータ、偶数フィールドデータをそれぞれ
サブサンブルすると、同図E,Gに示すようになり、そ
れぞれの周波数成分は同図F,Hに示すようになる。
【0111】一方、図26Aの「●」はフィールド構造
の奇数フィールドデータであり、同図Bはその垂直方向
の周波数成分を示している。そして、同図Cの「○」は
図24に示すフィルタを通した後のデータであり、同図
Dはその垂直方向の周波数成分を示している。また、図
26Eの「×」はフィールド構造の偶数フィールドデー
タであり、同図Fはその垂直方向の周波数成分を示して
いる。そして、同図Gの「△」は図24に示すフィルタ
を通した後のデータであり、同図Hはその垂直方向の周
波数成分を示している。
の奇数フィールドデータであり、同図Bはその垂直方向
の周波数成分を示している。そして、同図Cの「○」は
図24に示すフィルタを通した後のデータであり、同図
Dはその垂直方向の周波数成分を示している。また、図
26Eの「×」はフィールド構造の偶数フィールドデー
タであり、同図Fはその垂直方向の周波数成分を示して
いる。そして、同図Gの「△」は図24に示すフィルタ
を通した後のデータであり、同図Hはその垂直方向の周
波数成分を示している。
【0112】図25F,Hに示す周波数成分と図26
D,Hに示す周波数成分とは一致したものとなる。すな
わち、奇数フィールドデータおよび偶数フィールドデー
タをフレーム構造にマージした後にフィルタに通してサ
ブサンプルしたものと、フィールド構造のままでフィル
タに通したものとは全く同じになる。これを逆に考えれ
ば、フィールド構造の奇数フィールドデータおよび偶数
フィールドデータをフィルタに通し、これをマージすれ
ばフレーム構造のデータをフィルタに通したものと等し
くなる。
D,Hに示す周波数成分とは一致したものとなる。すな
わち、奇数フィールドデータおよび偶数フィールドデー
タをフレーム構造にマージした後にフィルタに通してサ
ブサンプルしたものと、フィールド構造のままでフィル
タに通したものとは全く同じになる。これを逆に考えれ
ば、フィールド構造の奇数フィールドデータおよび偶数
フィールドデータをフィルタに通し、これをマージすれ
ばフレーム構造のデータをフィルタに通したものと等し
くなる。
【0113】以上のことから、図23に示したフレーム
信号の特徴抽出を、図27に示すように行っても同様の
作用効果を得ることが可能となる。すなわち、図27A
の(m×n/2)画素の奇数、偶数のフィールドブロッ
クのデータが同図Bの2次元フィルタ(LPF)を介さ
れて同図Cに示すようなデータとされ、その後にこのデ
ータの黒色部分、ハッチング部分がそれぞれサブサンプ
ルされて同図Dに示すように(m/2×n/4)の奇
数、偶数のフィールドデータが得られる。そして、これ
ら奇数、偶数のフィールドデータがマージされることで
同図Eに示すように(m/2×n/2)のデータが得ら
れる。なお、同図Fのハッチング領域は特徴抽出後の2
次元周波数成分を示しており、図23Eに示すものと等
しくなる。
信号の特徴抽出を、図27に示すように行っても同様の
作用効果を得ることが可能となる。すなわち、図27A
の(m×n/2)画素の奇数、偶数のフィールドブロッ
クのデータが同図Bの2次元フィルタ(LPF)を介さ
れて同図Cに示すようなデータとされ、その後にこのデ
ータの黒色部分、ハッチング部分がそれぞれサブサンプ
ルされて同図Dに示すように(m/2×n/4)の奇
数、偶数のフィールドデータが得られる。そして、これ
ら奇数、偶数のフィールドデータがマージされることで
同図Eに示すように(m/2×n/2)のデータが得ら
れる。なお、同図Fのハッチング領域は特徴抽出後の2
次元周波数成分を示しており、図23Eに示すものと等
しくなる。
【0114】以下、図28を参照しながら、この発明に
係る動きベクトル検出装置の第8実施例について説明す
る。この図28において、図39と対応する部分には同
一符号を付し、その詳細説明は省略する。
係る動きベクトル検出装置の第8実施例について説明す
る。この図28において、図39と対応する部分には同
一符号を付し、その詳細説明は省略する。
【0115】本例では、図23で説明した方法による特
徴抽出で得られるフレーム用マッチング要素が用いられ
てフレーム動きベクトルが出力されるようにしたもので
ある。すなわち、図29Aに示すように(m×n)画素
のフレームブロックが、同図Bに示すように(a×b)
画素毎に小ブロックに分割され、各小ブロック毎に同じ
フィールド同士の画素の積分が行われて同図Dに示すよ
うにマッチング要素a o,aeが算出される。例えば、図
Cに示すように小ブロックが(2×4)画素(奇数フィ
ールド画素ao1〜ao4,偶数フィールド画素ae1〜
ae4)で構成されるとき、ao=ao1+ao2+ao3+a
o4、ae=ae1+ae2+ae3+aae4となる。図29E
のハッチング領域は特徴抽出によるフレーム用のマッチ
ング要素の2次元周波数成分を示しており、破線枠内の
領域は特徴抽出前の2次元周波数成分を示している。
徴抽出で得られるフレーム用マッチング要素が用いられ
てフレーム動きベクトルが出力されるようにしたもので
ある。すなわち、図29Aに示すように(m×n)画素
のフレームブロックが、同図Bに示すように(a×b)
画素毎に小ブロックに分割され、各小ブロック毎に同じ
フィールド同士の画素の積分が行われて同図Dに示すよ
うにマッチング要素a o,aeが算出される。例えば、図
Cに示すように小ブロックが(2×4)画素(奇数フィ
ールド画素ao1〜ao4,偶数フィールド画素ae1〜
ae4)で構成されるとき、ao=ao1+ao2+ao3+a
o4、ae=ae1+ae2+ae3+aae4となる。図29E
のハッチング領域は特徴抽出によるフレーム用のマッチ
ング要素の2次元周波数成分を示しており、破線枠内の
領域は特徴抽出前の2次元周波数成分を示している。
【0116】なお、(a×b)画素毎に小ブロックに分
割し、各小ブロック毎に同じフィールド同士の画素を積
分してフレーム用のマッチング要素を得る部分を、図2
3で説明したように2次元ローパスフィルタとサブサン
プル処理で行うこともできるが、その方法ではサブサン
プルされる部分以外のサンプル値も2次元ローパスフィ
ルタで演算することとなるので効率の悪いものとなる。
以下の各実施例においても同様である。
割し、各小ブロック毎に同じフィールド同士の画素を積
分してフレーム用のマッチング要素を得る部分を、図2
3で説明したように2次元ローパスフィルタとサブサン
プル処理で行うこともできるが、その方法ではサブサン
プルされる部分以外のサンプル値も2次元ローパスフィ
ルタで演算することとなるので効率の悪いものとなる。
以下の各実施例においても同様である。
【0117】図28に示す第8実施例においては、フレ
ームメモリ20より読み出されるある基準フレームブロ
ックの画素信号は特徴抽出回路21Cに供給される。特
徴抽出回路21Cでは図29を使用して説明したように
特徴抽出が行われてフレーム用のマッチング要素(図2
9Dに図示)が得られ、このフレーム用マッチング要素
はマッチング回路40FLに供給される。また、フレー
ムメモリ30より読み出される検索フレームブロックの
画素信号は特徴抽出回路31Cに供給される。特徴抽出
回路31Cでは、特徴抽出回路21Cと同様に特徴抽出
が行われてフレーム用のマッチング要素が得られ、この
フレーム用のマッチング要素はマッチング回路40FL
に供給される。マッチング回路40FLおよび評価回路
41FLは図39の例と同様に動作し、評価回路41F
Lからはフレームメモリ20より読み出される複数の基
準フレームブロックのそれぞれに対応してフレーム動き
ベクトルが出力される。
ームメモリ20より読み出されるある基準フレームブロ
ックの画素信号は特徴抽出回路21Cに供給される。特
徴抽出回路21Cでは図29を使用して説明したように
特徴抽出が行われてフレーム用のマッチング要素(図2
9Dに図示)が得られ、このフレーム用マッチング要素
はマッチング回路40FLに供給される。また、フレー
ムメモリ30より読み出される検索フレームブロックの
画素信号は特徴抽出回路31Cに供給される。特徴抽出
回路31Cでは、特徴抽出回路21Cと同様に特徴抽出
が行われてフレーム用のマッチング要素が得られ、この
フレーム用のマッチング要素はマッチング回路40FL
に供給される。マッチング回路40FLおよび評価回路
41FLは図39の例と同様に動作し、評価回路41F
Lからはフレームメモリ20より読み出される複数の基
準フレームブロックのそれぞれに対応してフレーム動き
ベクトルが出力される。
【0118】次に、図30を参照しながら、この発明に
係る動きベクトル検出装置の第9実施例について説明す
る。この図28において、図39と対応する部分には同
一符号を付し、その詳細説明は省略する。
係る動きベクトル検出装置の第9実施例について説明す
る。この図28において、図39と対応する部分には同
一符号を付し、その詳細説明は省略する。
【0119】本例では、図27で説明した方法による特
徴抽出で得られるフレーム用マッチング要素が用いられ
てフレーム動きベクトルが出力されるようにしたもので
ある。すなわち、奇数、偶数の各フィールドで図31A
に示す(m×n/2)画素のフィールドブロックが、同
図Bに示すように(a×b/2)画素毎に小ブロックに
分割され、各小ブロック毎に全要素の積分が行われて同
図Dに示すように奇数、偶数のフィールドデータao,
aeが算出される。例えば、同図Cに示すように、奇
数、偶数フィールドの小ブロックがそれぞれ(2×2)
画素(ao1〜ao4,ae1〜ae4)で構成されるとき、a
o=ao1+ao2+ao3+ao4、ae=ae1+a e2+ae3+
ae4となる。また、図31Dに示すように得られる奇
数、偶数のフィールドデータが合成されることで、同図
Eに示すようにフレーム用のマッチング要素が得られ
る。なお、同図Fのハッチング領域は特徴抽出後の2次
元周波数成分を示しており、図29Eに示すものと等し
くなる。
徴抽出で得られるフレーム用マッチング要素が用いられ
てフレーム動きベクトルが出力されるようにしたもので
ある。すなわち、奇数、偶数の各フィールドで図31A
に示す(m×n/2)画素のフィールドブロックが、同
図Bに示すように(a×b/2)画素毎に小ブロックに
分割され、各小ブロック毎に全要素の積分が行われて同
図Dに示すように奇数、偶数のフィールドデータao,
aeが算出される。例えば、同図Cに示すように、奇
数、偶数フィールドの小ブロックがそれぞれ(2×2)
画素(ao1〜ao4,ae1〜ae4)で構成されるとき、a
o=ao1+ao2+ao3+ao4、ae=ae1+a e2+ae3+
ae4となる。また、図31Dに示すように得られる奇
数、偶数のフィールドデータが合成されることで、同図
Eに示すようにフレーム用のマッチング要素が得られ
る。なお、同図Fのハッチング領域は特徴抽出後の2次
元周波数成分を示しており、図29Eに示すものと等し
くなる。
【0120】図30に示す第9実施例において、フレー
ムメモリ20より読み出されるある基準の奇数、偶数フ
ィールドブロックは特徴抽出回路22C,23Cに供給
される。特徴抽出回路22C,23Cでは図31を使用
して説明したようにして特徴抽出が行われて奇数、偶数
のフィールドデータ(図31Dに図示)が得られる。こ
れら奇数、偶数のフィールドデータはデータ合成回路2
5Cに供給されて合成され、フレーム用のマッチング要
素(図31Eに図示)としてマッチング回路40FLに
供給される。また、フレームメモリ30より読み出され
る検索フィールドブロックは特徴抽出回路32C,33
Cに供給される。特徴抽出回路32C,33Cでは、特
徴抽出回路22C,23Cと同様に特徴抽出が行われて
奇数、偶数のフィールドデータが得られる。これら奇
数、偶数のフィールドデータはデータ合成回路35Cに
供給されて合成され、フレーム用のマッチング要素とし
てマッチング回路40FLに供給される。マッチング回
路40FLおよび評価回路41FLは図39の例と同様
に動作し、評価回路41FLからはフレームメモリ20
より読み出される基準の奇数、偶数フィールドブロック
のそれぞれに対応してフレーム動きベクトルが出力され
る。
ムメモリ20より読み出されるある基準の奇数、偶数フ
ィールドブロックは特徴抽出回路22C,23Cに供給
される。特徴抽出回路22C,23Cでは図31を使用
して説明したようにして特徴抽出が行われて奇数、偶数
のフィールドデータ(図31Dに図示)が得られる。こ
れら奇数、偶数のフィールドデータはデータ合成回路2
5Cに供給されて合成され、フレーム用のマッチング要
素(図31Eに図示)としてマッチング回路40FLに
供給される。また、フレームメモリ30より読み出され
る検索フィールドブロックは特徴抽出回路32C,33
Cに供給される。特徴抽出回路32C,33Cでは、特
徴抽出回路22C,23Cと同様に特徴抽出が行われて
奇数、偶数のフィールドデータが得られる。これら奇
数、偶数のフィールドデータはデータ合成回路35Cに
供給されて合成され、フレーム用のマッチング要素とし
てマッチング回路40FLに供給される。マッチング回
路40FLおよび評価回路41FLは図39の例と同様
に動作し、評価回路41FLからはフレームメモリ20
より読み出される基準の奇数、偶数フィールドブロック
のそれぞれに対応してフレーム動きベクトルが出力され
る。
【0121】次に、図32を参照しながら、この発明に
係る動きベクトル検出装置の第10実施例について説明
する。この図32において、図28と対応する部分には
同一符号を付し、その詳細説明は省略する。
係る動きベクトル検出装置の第10実施例について説明
する。この図32において、図28と対応する部分には
同一符号を付し、その詳細説明は省略する。
【0122】上述したようにフィールド間で動きが生じ
た場合、図49に示すようにフレーム構造にマージされ
た信号は高域成分を持つ。本例においては、フィールド
間での動き量を検出し、その量に応じて適応的に特徴抽
出の方法を変えるものである。つまり、フィールド間で
動きが大きい場合には、垂直方向の周波数成分ができる
だけ取り出されるような特徴抽出が行われる。
た場合、図49に示すようにフレーム構造にマージされ
た信号は高域成分を持つ。本例においては、フィールド
間での動き量を検出し、その量に応じて適応的に特徴抽
出の方法を変えるものである。つまり、フィールド間で
動きが大きい場合には、垂直方向の周波数成分ができる
だけ取り出されるような特徴抽出が行われる。
【0123】図32に示す第10実施例においては、フ
レームメモリ20より読み出されるある基準フレームブ
ロックの画素信号はフィールド間動き検出回路81に供
給される。この動き検出回路81では、1フレームを構
成する奇数フィールドおよび偶数フィールドの間で相関
がとられ、相関がない場合にはフィールド間で動きが大
きいと判断される。ここで、フィールド間の相関は、動
きベクトルを検出するブロック毎に検出することもでき
るが、1フレームの相関を求めて1フレーム単位で切り
換えることも可能である。ブロック毎に切り換える場合
には、後述する遅延回路82,83は1ブロックの遅延
で済み、1フレーム単位で切り換える場合には遅延回路
82,83は1フレームの遅延が必要となる。
レームメモリ20より読み出されるある基準フレームブ
ロックの画素信号はフィールド間動き検出回路81に供
給される。この動き検出回路81では、1フレームを構
成する奇数フィールドおよび偶数フィールドの間で相関
がとられ、相関がない場合にはフィールド間で動きが大
きいと判断される。ここで、フィールド間の相関は、動
きベクトルを検出するブロック毎に検出することもでき
るが、1フレームの相関を求めて1フレーム単位で切り
換えることも可能である。ブロック毎に切り換える場合
には、後述する遅延回路82,83は1ブロックの遅延
で済み、1フレーム単位で切り換える場合には遅延回路
82,83は1フレームの遅延が必要となる。
【0124】また、フレームメモリ20より読み出され
るある基準フレームブロックの画素信号は上述した動き
検出回路81による時間遅れに対応した時間調整用の遅
延回路82を介して特徴抽出回路21Dに供給される。
この特徴抽出回路21Dには動き検出回路81の検出信
号によって特徴抽出の方法が変えられる。動き検出回路
81で動きが大きいと判断される場合には、例えば図2
9で説明した方法で特徴抽出が行われ、垂直方向の高域
成分も取り出されるようにされる。
るある基準フレームブロックの画素信号は上述した動き
検出回路81による時間遅れに対応した時間調整用の遅
延回路82を介して特徴抽出回路21Dに供給される。
この特徴抽出回路21Dには動き検出回路81の検出信
号によって特徴抽出の方法が変えられる。動き検出回路
81で動きが大きいと判断される場合には、例えば図2
9で説明した方法で特徴抽出が行われ、垂直方向の高域
成分も取り出されるようにされる。
【0125】これに対して、動き検出回路81で動きが
小さいと判断される場合には、例えば以下のような方法
で特徴抽出が行われる。すなわち、図33Aに示すよう
に(m×n)画素のフレームブロックが、同図Bに示す
ように(a×b)画素毎に小ブロックに分割され、各小
ブロック毎に全画素の積分が行われて同図Dに示すよう
にマッチング要素aoeが算出される。例えば、図Cに示
すように小ブロックが(2×2)画素(奇数フィールド
画素ao1,ao2、偶数フィールド画素ae1,a e2)で構
成されるとき、aoe=ao1+ao2+ae1+ae2となる。
図33Eのハッチング領域は特徴抽出によるフレーム用
のマッチング要素の2次元周波数成分を示しており、こ
の場合は垂直方向の高域成分が取り出されなくなる。た
だしこの場合、マッチング要素の個数が少なくなり、演
算処理が容易となる。
小さいと判断される場合には、例えば以下のような方法
で特徴抽出が行われる。すなわち、図33Aに示すよう
に(m×n)画素のフレームブロックが、同図Bに示す
ように(a×b)画素毎に小ブロックに分割され、各小
ブロック毎に全画素の積分が行われて同図Dに示すよう
にマッチング要素aoeが算出される。例えば、図Cに示
すように小ブロックが(2×2)画素(奇数フィールド
画素ao1,ao2、偶数フィールド画素ae1,a e2)で構
成されるとき、aoe=ao1+ao2+ae1+ae2となる。
図33Eのハッチング領域は特徴抽出によるフレーム用
のマッチング要素の2次元周波数成分を示しており、こ
の場合は垂直方向の高域成分が取り出されなくなる。た
だしこの場合、マッチング要素の個数が少なくなり、演
算処理が容易となる。
【0126】図32に戻って、特徴抽出回路21Dより
得られるフレーム用のマッチング要素はマッチング回路
40FLに供給される。また、フレームメモリ30より
読み出される検索フレームブロックの画素信号は動き検
出回路81による時間遅れに対応した時間調整用の遅延
回路83を介して特徴抽出回路31Dに供給される。特
徴抽出回路31Dでは特徴抽出回路21Dと同様に特徴
抽出が行われてフレーム用のマッチング要素が得られ、
このフレーム用のマッチング要素はマッチング回路40
FLに供給される。マッチング回路40FLおよび評価
回路41FLは図28の例と同様に動作し、評価回路4
1FLからはフレームメモリ20より読み出される複数
の基準フレームブロックのそれぞれに対応してフレーム
動きベクトルが出力される。
得られるフレーム用のマッチング要素はマッチング回路
40FLに供給される。また、フレームメモリ30より
読み出される検索フレームブロックの画素信号は動き検
出回路81による時間遅れに対応した時間調整用の遅延
回路83を介して特徴抽出回路31Dに供給される。特
徴抽出回路31Dでは特徴抽出回路21Dと同様に特徴
抽出が行われてフレーム用のマッチング要素が得られ、
このフレーム用のマッチング要素はマッチング回路40
FLに供給される。マッチング回路40FLおよび評価
回路41FLは図28の例と同様に動作し、評価回路4
1FLからはフレームメモリ20より読み出される複数
の基準フレームブロックのそれぞれに対応してフレーム
動きベクトルが出力される。
【0127】次に、図34を参照しながら、この発明に
係る動きベクトル検出装置の第11実施例について説明
する。この図34において、図32と対応する部分には
同一符号を付し、その詳細説明は省略する。
係る動きベクトル検出装置の第11実施例について説明
する。この図34において、図32と対応する部分には
同一符号を付し、その詳細説明は省略する。
【0128】本例では、評価回路41FLより出力され
るフレーム動きベクトルが動きベクトル用メモリ84供
給されて保存される。そして、特徴抽出回路21D,3
1Dで現フレームの所定ブロックを処理する場合、メモ
リ84よりその所定ブロックの1フレーム前の動きベク
トルが読み出されて動き領域予測回路85に供給され、
現フレームの動きが予測される。特徴抽出回路21D,
31Dは動き領域予測回路85の予測出力で特徴抽出の
方法が変えられ、例えば動きが大きいと予測される場合
には図29で説明した方法で特徴抽出が行われ、一方動
きが小さいと予測される場合には図33で説明した方法
で特徴抽出が行われる。その他は図32の例と同様に構
成される。
るフレーム動きベクトルが動きベクトル用メモリ84供
給されて保存される。そして、特徴抽出回路21D,3
1Dで現フレームの所定ブロックを処理する場合、メモ
リ84よりその所定ブロックの1フレーム前の動きベク
トルが読み出されて動き領域予測回路85に供給され、
現フレームの動きが予測される。特徴抽出回路21D,
31Dは動き領域予測回路85の予測出力で特徴抽出の
方法が変えられ、例えば動きが大きいと予測される場合
には図29で説明した方法で特徴抽出が行われ、一方動
きが小さいと予測される場合には図33で説明した方法
で特徴抽出が行われる。その他は図32の例と同様に構
成される。
【0129】ところで、フレームブロックの画素信号を
図23Bの2次元フィルタを通した後、同図Cの黒部分
をサブサンプルして特徴抽出を行うものによれば、その
黒部分の位置からも明かなように垂直方向のサンプル位
相が等間隔でなく、このようなサンプル位相では図23
Eのハッチング領域で示す周波数成分を効率よく取り出
すことができない。このような不都合は、以下のように
特徴抽出をすることで解決できる。
図23Bの2次元フィルタを通した後、同図Cの黒部分
をサブサンプルして特徴抽出を行うものによれば、その
黒部分の位置からも明かなように垂直方向のサンプル位
相が等間隔でなく、このようなサンプル位相では図23
Eのハッチング領域で示す周波数成分を効率よく取り出
すことができない。このような不都合は、以下のように
特徴抽出をすることで解決できる。
【0130】すなわち、図35Aの(m×n/2)画素
の奇数、偶数のフィールドブロックのデータがそれぞれ
同図Bの別個の2次元フィルタ(LPF)を介されて同
図Cに示すようなデータとされ、その後にこのデータの
黒色部分、ハッチング部分がそれぞれサブサンプルされ
て同図Dに示すように(m/2×n/4)の奇数、偶数
のフィールドデータが得られる。そして、これら奇数、
偶数のフィールドデータがマージされることで同図Eに
示すように(m/2×n/2)のデータが得られる。な
お、同図Fのハッチング領域は特徴抽出後の2次元周波
数成分を示している。
の奇数、偶数のフィールドブロックのデータがそれぞれ
同図Bの別個の2次元フィルタ(LPF)を介されて同
図Cに示すようなデータとされ、その後にこのデータの
黒色部分、ハッチング部分がそれぞれサブサンプルされ
て同図Dに示すように(m/2×n/4)の奇数、偶数
のフィールドデータが得られる。そして、これら奇数、
偶数のフィールドデータがマージされることで同図Eに
示すように(m/2×n/2)のデータが得られる。な
お、同図Fのハッチング領域は特徴抽出後の2次元周波
数成分を示している。
【0131】図36は、図35で説明した方法で特徴抽
出を行う場合にサンプル位相が等間隔になることを示し
ている。すなわち、奇数フィールドブロックのサンプル
位相は「○」で示され、各ラインの係数比の関係から2
次元フィルタを通過した後のサンプル位相は「□」で示
されるため、サブサンプル後のサンプル位相は「□′」
で示される。また、偶数フィールドブロックのサンプル
位相は「×」で示され、各ラインの係数比の関係から2
次元フィルタを通過した後のサンプル位相は「△」で示
されるため、サブサンプル後のサンプル位相は「△′」
で示される。したがって、マージされたデータ(フレー
ム用のマッチング要素)のサンプル位相は等間隔とな
る。
出を行う場合にサンプル位相が等間隔になることを示し
ている。すなわち、奇数フィールドブロックのサンプル
位相は「○」で示され、各ラインの係数比の関係から2
次元フィルタを通過した後のサンプル位相は「□」で示
されるため、サブサンプル後のサンプル位相は「□′」
で示される。また、偶数フィールドブロックのサンプル
位相は「×」で示され、各ラインの係数比の関係から2
次元フィルタを通過した後のサンプル位相は「△」で示
されるため、サブサンプル後のサンプル位相は「△′」
で示される。したがって、マージされたデータ(フレー
ム用のマッチング要素)のサンプル位相は等間隔とな
る。
【0132】なお、図35の例はフレームブロックの画
素信号を2次元フィルタを通した後、サブサンプルをし
て特徴抽出を行う場合に適用したものであるが、図31
の例に示すように小ブロックに分割した後、各小ブロッ
クの全画素を積分処理するものにも同様に適用すること
ができる。この場合、例えば図31に示すような小ブロ
ックに分割されるとき、奇数フィールドデータao、偶
数フィールドデータaeを、それぞれao=(ao1+
ao2)/4+3(ao3+ao4)/4、ae=3(ae1+
ae2)/4+(ae3+aae4)/4のように算出すれば
よい。
素信号を2次元フィルタを通した後、サブサンプルをし
て特徴抽出を行う場合に適用したものであるが、図31
の例に示すように小ブロックに分割した後、各小ブロッ
クの全画素を積分処理するものにも同様に適用すること
ができる。この場合、例えば図31に示すような小ブロ
ックに分割されるとき、奇数フィールドデータao、偶
数フィールドデータaeを、それぞれao=(ao1+
ao2)/4+3(ao3+ao4)/4、ae=3(ae1+
ae2)/4+(ae3+aae4)/4のように算出すれば
よい。
【0133】また、詳細説明は省略するが、図23、図
29に示すようにしてフレームブロックよりフレーム用
マッチング要素を得る場合にあっても、奇数、偶数のフ
ィールドデータを得る際に2次元フィルタを取り替えた
り、あるいは各画素の加算係数を変化させることで、同
様に垂直方向のサンプル位相を等間隔にできることは勿
論である。
29に示すようにしてフレームブロックよりフレーム用
マッチング要素を得る場合にあっても、奇数、偶数のフ
ィールドデータを得る際に2次元フィルタを取り替えた
り、あるいは各画素の加算係数を変化させることで、同
様に垂直方向のサンプル位相を等間隔にできることは勿
論である。
【0134】
【発明の効果】請求項1の発明によれば、フレームブロ
ック特徴抽出回路で得られるフレーム用マッチング要素
を分割して奇数フィールド用マッチング要素、偶数フィ
ールド用マッチング要素を得るようにしているため、奇
数フィールド用マッチング要素、偶数フィールド用マッ
チング要素を得るための特徴抽出回路を不要とでき、回
路規模を小さくできる等の効果がある。
ック特徴抽出回路で得られるフレーム用マッチング要素
を分割して奇数フィールド用マッチング要素、偶数フィ
ールド用マッチング要素を得るようにしているため、奇
数フィールド用マッチング要素、偶数フィールド用マッ
チング要素を得るための特徴抽出回路を不要とでき、回
路規模を小さくできる等の効果がある。
【0135】請求項2の発明によれば、各小ブロックを
構成する奇数フィールド画素および偶数フィールド画素
のそれぞれに対応してフレーム用マッチング要素となる
代表値を得るため、フレーム用マッチング要素として高
域成分を取り出すことができ、フィールド間に大きな動
きや形状変化があって信号に高域成分が多く存在する場
合にも特徴抽出が良好に行われ、フレーム動きベクトル
の検出精度を高めることができる等の効果がある。
構成する奇数フィールド画素および偶数フィールド画素
のそれぞれに対応してフレーム用マッチング要素となる
代表値を得るため、フレーム用マッチング要素として高
域成分を取り出すことができ、フィールド間に大きな動
きや形状変化があって信号に高域成分が多く存在する場
合にも特徴抽出が良好に行われ、フレーム動きベクトル
の検出精度を高めることができる等の効果がある。
【0136】請求項3の発明によれば、フレームブロッ
ク特徴抽出手段では、垂直方向および水平方向の積分射
影による特徴抽出が行われるため、フレーム用マッチン
グ要素を少なくでき、さらに回路規模を縮小できる等の
効果がある。
ク特徴抽出手段では、垂直方向および水平方向の積分射
影による特徴抽出が行われるため、フレーム用マッチン
グ要素を少なくでき、さらに回路規模を縮小できる等の
効果がある。
【0137】請求項4の発明によれば、フィールドブロ
ック特徴抽出回路で得られる奇数フィールド用マッチン
グ要素および偶数フィールド用マッチング要素を合成し
てフレーム用マッチング要素を得るようにしているた
め、フレーム用マッチング要素を得るための特徴抽出回
路を不要とでき、回路規模を小さくできる等の効果があ
る。
ック特徴抽出回路で得られる奇数フィールド用マッチン
グ要素および偶数フィールド用マッチング要素を合成し
てフレーム用マッチング要素を得るようにしているた
め、フレーム用マッチング要素を得るための特徴抽出回
路を不要とでき、回路規模を小さくできる等の効果があ
る。
【0138】請求項5の発明によれば、フィールドブロ
ック特徴抽出手段では、垂直方向および水平方向の積分
射影による特徴抽出が行われるため、フィールド用マッ
チング要素を少なくできるため、さらに回路規模を小さ
くできる等の効果がある。
ック特徴抽出手段では、垂直方向および水平方向の積分
射影による特徴抽出が行われるため、フィールド用マッ
チング要素を少なくできるため、さらに回路規模を小さ
くできる等の効果がある。
【0139】請求項6の発明によれば、フレームブロッ
ク特徴抽出手段では各小ブロックを構成する奇数フィー
ルド画素および偶数フィールド画素のそれぞれに対応し
てフレームマッチング要素となる代表値を得るため、フ
レーム用マッチング要素として高域成分を取り出すこと
ができ、フィールド間に大きな動きや形状変化があって
信号に高域成分が多く存在する場合に特徴抽出が良好に
行われ、フレーム動きベクトルの検出精度を高めること
ができる等の効果がある。
ク特徴抽出手段では各小ブロックを構成する奇数フィー
ルド画素および偶数フィールド画素のそれぞれに対応し
てフレームマッチング要素となる代表値を得るため、フ
レーム用マッチング要素として高域成分を取り出すこと
ができ、フィールド間に大きな動きや形状変化があって
信号に高域成分が多く存在する場合に特徴抽出が良好に
行われ、フレーム動きベクトルの検出精度を高めること
ができる等の効果がある。
【0140】請求項7の発明によれば、フレームブロッ
ク特徴抽出手段ではフレーム用マッチング要素の垂直方
向のサンプル位相が等間隔となるように各小ブロックを
構成する画素に重み付けされて代表値の演算が行われる
ため、フレーム用マッチング要素として高域成分を良好
に取り出すことができる等の効果がある。
ク特徴抽出手段ではフレーム用マッチング要素の垂直方
向のサンプル位相が等間隔となるように各小ブロックを
構成する画素に重み付けされて代表値の演算が行われる
ため、フレーム用マッチング要素として高域成分を良好
に取り出すことができる等の効果がある。
【0141】請求項8の発明によれば、フィールドブロ
ック特徴抽出手段より得られる奇数フィールド用マッチ
ング要素および偶数フィールド用マッチング要素を合成
してフレーム用マッチング要素を得るため、フレーム用
マッチング要素として高域成分を取り出すことができ、
フィールド間に大きな動きや形状変化があって信号に高
域成分が多く存在する場合に特徴抽出が良好に行われ、
フレーム動きベクトルの検出精度を高めることができる
等の効果がある。
ック特徴抽出手段より得られる奇数フィールド用マッチ
ング要素および偶数フィールド用マッチング要素を合成
してフレーム用マッチング要素を得るため、フレーム用
マッチング要素として高域成分を取り出すことができ、
フィールド間に大きな動きや形状変化があって信号に高
域成分が多く存在する場合に特徴抽出が良好に行われ、
フレーム動きベクトルの検出精度を高めることができる
等の効果がある。
【0142】請求項9の発明によれば、フィールドブロ
ック特徴抽出手段では、奇数フィールドマッチング要素
および偶数フィールドマッチング要素が合成されて得ら
れるフレーム用マッチング要素の垂直方向のサンプル位
相が等間隔となるように各小ブロックを構成する画素に
重み付けされて代表値の演算が行われるため、フレーム
用マッチング要素として高域成分を良好に取り出すこと
ができる等の効果があある。
ック特徴抽出手段では、奇数フィールドマッチング要素
および偶数フィールドマッチング要素が合成されて得ら
れるフレーム用マッチング要素の垂直方向のサンプル位
相が等間隔となるように各小ブロックを構成する画素に
重み付けされて代表値の演算が行われるため、フレーム
用マッチング要素として高域成分を良好に取り出すこと
ができる等の効果があある。
【0143】請求項10の発明によれば、フレームブロ
ック特徴抽出手段では高域成分を取り出すことができる
第1の特徴抽出処理および高域成分を取り出すことがで
きない第2の特徴抽出処理が動き情報に基づいて選択的
に切り換えられるため、フレームブロック特徴抽出手段
では画像の動きに適応した特徴抽出処理を行うことがで
きる等の効果がある。
ック特徴抽出手段では高域成分を取り出すことができる
第1の特徴抽出処理および高域成分を取り出すことがで
きない第2の特徴抽出処理が動き情報に基づいて選択的
に切り換えられるため、フレームブロック特徴抽出手段
では画像の動きに適応した特徴抽出処理を行うことがで
きる等の効果がある。
【0144】請求項11の発明によれば、動きベクトル
を検出する装置として回路規模を小さくでき、また検出
精度を高めた動きベクトル検出装置を使用するため、全
体としての回路規模を小さくできると共に、高精度の動
きベクトルに基づいて動き補償が行われることから符号
化を効率良く行うことができる等の効果がある。
を検出する装置として回路規模を小さくでき、また検出
精度を高めた動きベクトル検出装置を使用するため、全
体としての回路規模を小さくできると共に、高精度の動
きベクトルに基づいて動き補償が行われることから符号
化を効率良く行うことができる等の効果がある。
【図1】この発明に係る動きベクトル検出装置の第1実
施例を示す構成図である。
施例を示す構成図である。
【図2】フレーム用/フィールド用マッチング要素を説
明するための図である。
明するための図である。
【図3】フレーム用/フィールド用マッチング要素の2
次元周波数成分を示す図である。
次元周波数成分を示す図である。
【図4】この発明に係る動きベクトル検出装置の第2実
施例を示す構成図である。
施例を示す構成図である。
【図5】フレーム用/フィールド用マッチング要素を説
明するための図である。
明するための図である。
【図6】この発明に係る動きベクトル検出装置の第3実
施例を示す構成図である。
施例を示す構成図である。
【図7】積分射影による特徴抽出(フレーム構造)を説
明するための図である。
明するための図である。
【図8】積分射影による特徴抽出(フィールド構造)を
説明するための図である。
説明するための図である。
【図9】この発明に係る動きベクトル検出装置の第4実
施例を示す構成図である。
施例を示す構成図である。
【図10】フレーム用/フィールド用マッチング要素を
説明するための図である。
説明するための図である。
【図11】フレーム用/フィールド用マッチング要素の
2次元周波数成分を示す図である。
2次元周波数成分を示す図である。
【図12】この発明に係る動きベクトル検出装置の第5
実施例を示す構成図である。
実施例を示す構成図である。
【図13】フレーム用/フィールド用マッチング要素を
説明するための図である。
説明するための図である。
【図14】フレーム動きベクトルの説明のための図であ
る。
る。
【図15】フィールド動きベクトルの説明のための図で
ある。
ある。
【図16】フレーム構造の特徴抽出回路の説明のための
図である。
図である。
【図17】フィールド構造の特徴抽出回路の説明のため
の図である。
の図である。
【図18】フレーム用/フィールド用マッチング要素を
説明するための図である。
説明するための図である。
【図19】フレーム用/フィールド用マッチング要素の
2次元周波数成分を示す図である。
2次元周波数成分を示す図である。
【図20】フレーム用/フィールド用マッチング要素を
説明するための図である。
説明するための図である。
【図21】この発明に係る動きベクトル検出装置の第6
実施例を示す構成図である。
実施例を示す構成図である。
【図22】この発明に係る動きベクトル検出装置の第7
実施例を示す構成図である。
実施例を示す構成図である。
【図23】特徴抽出回路の一例の説明のための図であ
る。
る。
【図24】2次元フィルタ(垂直方向に1次元的に考え
た場合)を示す図である。
た場合)を示す図である。
【図25】フレーム構造時の信号処理を説明するための
図である。
図である。
【図26】フィールド構造時の信号処理を説明するため
の図である。
の図である。
【図27】特徴抽出回路の一例の説明のための図であ
る。
る。
【図28】この発明に係る動きベクトル検出装置の第8
実施例を示す構成図である。
実施例を示す構成図である。
【図29】フレーム用マッチング要素を説明するための
図である。
図である。
【図30】この発明に係る動きベクトル検出装置の第9
実施例を示す構成図である。
実施例を示す構成図である。
【図31】フレーム用マッチング要素を説明するための
図である。
図である。
【図32】この発明に係る動きベクトル検出装置の第1
0実施例を示す構成図である。
0実施例を示す構成図である。
【図33】フレーム用マッチング要素を説明するための
図である。
図である。
【図34】この発明に係る動きベクトル検出装置の第1
1実施例を示す構成図である。
1実施例を示す構成図である。
【図35】特徴抽出回路の一例を説明するための図であ
る。
る。
【図36】特徴抽出処理におけるサンプル位相の説明の
ための図である。
ための図である。
【図37】動き補償フレーム間予測符号化システムの一
例を示す構成図である。
例を示す構成図である。
【図38】動きベクトル検出動作の説明のための図であ
る。
る。
【図39】フレーム/フィールド動きベクトル検出装置
の従来例を示す構成図である。
の従来例を示す構成図である。
【図40】回路規模を削減する方法(フレーム動きベク
トル)を説明するための図である。
トル)を説明するための図である。
【図41】回路規模を削減する方法(フィールド動きベ
クトル)を説明するための図である。
クトル)を説明するための図である。
【図42】特徴抽出回路の一例の説明のための図であ
る。
る。
【図43】マージされた信号(フィールド間で形状変化
なし、物体の動きなし)を説明するための図である。
なし、物体の動きなし)を説明するための図である。
【図44】マージされた信号の周波数成分(フィールド
間で形状変化なし、物体の動きなし)を説明するための
図である。
間で形状変化なし、物体の動きなし)を説明するための
図である。
【図45】マージされた信号(フィールド間で形状変化
なし、物体の動きあり)を説明するための図である。
なし、物体の動きあり)を説明するための図である。
【図46】マージされた信号の周波数成分(フィールド
間で形状変化なし、物体の動きあり)を説明するための
図である。
間で形状変化なし、物体の動きあり)を説明するための
図である。
【図47】マージされた信号(フィールド間で形状変化
あり、物体の動きあり)を説明するための図である。
あり、物体の動きあり)を説明するための図である。
【図48】マージされた信号の周波数成分(フィールド
間で形状変化あり、物体の動きあり)を説明するための
図である。
間で形状変化あり、物体の動きあり)を説明するための
図である。
【図49】動きの有無と垂直方向解像度の違いによる周
波数成分を示す図である。
波数成分を示す図である。
2 減算器 3 DCT回路 4 量子化器 5 可変長符号器 6 逆量子化器 7 逆DCT回路 8 加算器 9 フレームメモリ 10 動き補償回路 11 動きベクトル検出回路 20 基準ブロック用のフレームメモリ 21A,21B〜23B,21C〜23C,21D,3
1A,31B〜33B ,31C〜33C,31D 特徴抽出回路 24,24B,34,34B データ分割回路 25,25B,35,35B データ合成回路 30 検索ブロック用のフレームメモリ 40FL,40FO,40FE マッチング回路 41FL,41FO,41FE 評価回路 42 加算器 50 コントロール回路 61vo,61ho,61ve,61he,63vo,63ho,6
3ve,63he 特徴抽出回路 62vo,62ho,62ve,62he,64vo,64ho,6
4ve,64he レジスタ 65vo,65ho,65ve,65he,71 マッチング回
路 66FO,66FE,72,73,74 加算器 67FO,67FE,67FL 最小値検出部 81 フィールド間動き検出回路 82,83 遅延回路 84 動きベクトル用メモリ 85 動き領域予測回路
1A,31B〜33B ,31C〜33C,31D 特徴抽出回路 24,24B,34,34B データ分割回路 25,25B,35,35B データ合成回路 30 検索ブロック用のフレームメモリ 40FL,40FO,40FE マッチング回路 41FL,41FO,41FE 評価回路 42 加算器 50 コントロール回路 61vo,61ho,61ve,61he,63vo,63ho,6
3ve,63he 特徴抽出回路 62vo,62ho,62ve,62he,64vo,64ho,6
4ve,64he レジスタ 65vo,65ho,65ve,65he,71 マッチング回
路 66FO,66FE,72,73,74 加算器 67FO,67FE,67FL 最小値検出部 81 フィールド間動き検出回路 82,83 遅延回路 84 動きベクトル用メモリ 85 動き領域予測回路
Claims (11)
- 【請求項1】 基準フレームブロックを複数の小ブロッ
クに分割して各小ブロックを構成する画素の代表値をフ
レーム用マッチング要素とする基準フレームブロック特
徴抽出手段と、 検索フレームブロックを複数の小ブロックに分割して各
小ブロックを構成する画素の代表値をフレーム用マッチ
ング要素とする検索フレームブロック特徴抽出手段と、 上記基準フレームブロック特徴抽出手段および上記検索
フレームブロック特徴抽出手段よりそれぞれ得られるフ
レーム用マッチング要素に基づき、上記基準フレームブ
ロックに対して最もマッチングする検索フレームブロッ
クを求めてフレーム動きベクトルを発生するフレーム動
きベクトル発生手段と、 上記基準フレームブロック特徴抽出手段より得られるフ
レーム用マッチング要素を奇数フィールド用マッチング
要素および偶数フィールド用マッチング要素に分割する
第1のデータ分割手段と、 上記検索フレームブロック特徴抽出手段より得られるフ
レーム用マッチング要素を奇数フィールド用マッチング
要素および偶数フィールド用マッチング要素に分割する
第2のデータ分割手段と、 上記第1および第2のデータ分割手段よりそれぞれ得ら
れる奇数フィールド用マッチング要素に基づき、基準奇
数フィールドブロックに対して最もマッチングする検索
奇数フィールドブロックを求めて奇数フィールド動きベ
クトルを発生する奇数フィールド動きベクトル発生手段
と、 上記第1および第2のデータ分割手段よりそれぞれ得ら
れる偶数フィールド用マッチング要素に基づき、基準偶
数フィールドブロックに対して最もマッチングする検索
偶数フィールドブロックを求めて偶数フィールド動きベ
クトルを発生する偶数フィールド動きベクトル発生手段
とを備えることを特徴とする動きベクトル検出装置。 - 【請求項2】 上記基準フレームブロック特徴抽出手段
および上記検索フレームブロック特徴抽出手段では、各
小ブロックを構成する奇数フィールド画素および偶数フ
ィールド画素のそれぞれに対応して上記代表値を得るこ
とを特徴とする請求項1に記載の動きベクトル検出装
置。 - 【請求項3】 上記基準フレームブロック特徴抽出手段
および上記検索フレームブロック特徴抽出手段では、上
記フレームブロックが水平方向にm画素、かつ垂直方向
にn画素で構成されるとき、水平方向にm画素、かつ垂
直方向にb(b<n)画素の小ブロックを垂直方向に順
次形成すると共に、水平方向にa(a<m)画素、かつ
垂直方向にn画素の小ブロックを水平方向に順次形成す
ることを特徴とする請求項1または請求項2に記載の動
きベクトル検出装置。 - 【請求項4】 基準奇数フィールドブロックを複数の小
ブロックに分割して各小ブロックを構成する画素の代表
値を奇数フィールド用マッチング要素とする基準奇数フ
ィールドブロック特徴抽出手段と、 検索奇数フィールドブロックを複数の小ブロックに分割
して各小ブロックを構成する画素の代表値を奇数フィー
ルド用マッチング要素とする検索奇数フィールドブロッ
ク特徴抽出手段と、 上記基準奇数フィールドブロック特徴抽出手段および上
記検索奇数フィールドブロック特徴抽出手段よりそれぞ
れ得られる奇数フィールド用マッチング要素に基づき、
上記基準奇数フィールドブロックに対して最もマッチン
グする検索奇数フィールドブロックを求めて奇数フィー
ルド動きベクトルを発生する奇数フィールド動きベクト
ル発生手段と、 基準偶数フィールドブロックを複数の小ブロックに分割
して各小ブロックを構成する画素の代表値を偶数フィー
ルド用マッチング要素とする基準偶数フィールドブロッ
ク特徴抽出手段と、 検索偶数フィールドブロックを複数の小ブロックに分割
して各小ブロックを構成する画素の代表値を偶数フィー
ルド用マッチング要素とする検索偶数フィールドブロッ
ク特徴抽出手段と、 上記基準偶数フィールドブロック特徴抽出手段および上
記検索偶数フィールドブロック特徴抽出手段よりそれぞ
れ得られる偶数フィールド用マッチング要素に基づき、
上記基準偶数フィールドブロックに対して最もマッチン
グする検索偶数フィールドブロックを求めて偶数フィー
ルド動きベクトルを発生する偶数フィールド動きベクト
ル発生手段と、 上記基準奇数フィールドブロック特徴抽出手段および上
記基準偶数フィールドブロック特徴抽出手段より得られ
る奇数フィールド用マッチング要素および偶数フィール
ド用マッチング要素を合成してフレーム用マッチング要
素を得る第1のデータ合成手段と、 上記検索奇数フィールドブロック特徴抽出手段および上
記検索偶数フィールドブロック特徴抽出手段より得られ
る奇数フィールド用マッチング要素および偶数フィール
ド用マッチング要素を合成してフレーム用マッチング要
素を得る第2のデータ合成手段と、 上記第1および第2のデータ合成手段よりそれぞれ得ら
れるフレーム用マッチング要素に基づき、基準フレーム
ブロックに対して最もマッチングする検索フレームブロ
ックを求めてフレーム動きベクトルを発生するフレーム
動きベクトル発生手段とを備えることを特徴とする動き
ベクトル検出装置。 - 【請求項5】 上記基準奇数フィールドブロック特徴抽
出手段、上記基準偶数フィールドブロック特徴抽出手
段、上記検索奇数フィールドブロック特徴抽出手段およ
び上記検索偶数フィールドブロック特徴抽出手段では、
上記フィールドブロックが水平方向にm画素、かつ垂直
方向にn/2画素で構成されるとき、水平方向にm画
素、かつ垂直方向にb(b<n/2)画素の小ブロック
を垂直方向に順次形成すると共に、水平方向にa(a<
m)画素、かつ垂直方向にn/2画素の小ブロックを水
平方向に順次形成することを特徴とする請求項4に記載
の動きベクトル検出装置。 - 【請求項6】 基準フレームブロックを実質的に複数の
小ブロックに分割して各小ブロックを構成する画素の代
表値をフレーム用マッチング要素とする基準フレームブ
ロック特徴抽出手段と、 検索フレームブロックを実質的に複数の小ブロックに分
割して各小ブロックを構成する画素の代表値をフレーム
用マッチング要素とする検索フレームブロック特徴抽出
手段と、 上記基準フレームブロック特徴抽出手段および上記検索
フレームブロック特徴抽出手段よりそれぞれ得られるフ
レーム用マッチング要素に基づき、上記基準フレームブ
ロックに対して最もマッチングする検索フレームブロッ
クを求めてフレーム動きベクトルを発生するフレーム動
きベクトル発生手段とを備え、 上記基準フレームブロック特徴抽出手段および上記検索
フレームブロック特徴抽出手段では、各小ブロックを構
成する奇数フィールド画素および偶数フィールド画素の
それぞれに対応して上記代表値を得ることを特徴とする
動きベクトル検出装置。 - 【請求項7】 上記基準フレームブロック特徴抽出手段
および上記検索フレームブロック特徴抽出手段では、上
記フレーム用マッチング要素の垂直方向のサンプル位相
が等間隔となるように各小ブロックを構成する奇数フィ
ールド画素および偶数フィールド画素に重み付けして上
記代表値を演算することを特徴とする請求項6に記載の
動きベクトル検出装置。 - 【請求項8】 基準奇数フィールドブロックを実質的に
複数の小ブロックに分割して各小ブロックを構成する画
素の代表値を奇数フィールド用マッチング要素とする基
準奇数フィールドブロック特徴抽出手段と、 基準偶数フィールドブロックを実質的に複数の小ブロッ
クに分割して各小ブロックを構成する画素の代表値を偶
数フィールド用マッチング要素とする基準偶数フィール
ドブロック特徴抽出手段と、 上記基準奇数フィールドブロック特徴抽出手段および上
記基準偶数フィールドブロック特徴抽出手段より得られ
る奇数フィールド用マッチング要素および偶数フィール
ド用マッチング要素を合成してフレーム用マッチング要
素を得る第1のデータ合成手段と、 検索奇数フィールドブロックを実質的に複数の小ブロッ
クに分割して各小ブロックを構成する画素の代表値を奇
数フィールド用マッチング要素とする検索奇数フィール
ドブロック特徴抽出手段と、 検索偶数フィールドブロックを実質的に複数の小ブロッ
クに分割して各小ブロックを構成する画素の代表値を偶
数フィールド用マッチング要素とする検索偶数フィール
ドブロック特徴抽出手段と、 上記検索奇数フィールドブロック特徴抽出手段および上
記検索偶数フィールドブロック特徴抽出手段より得られ
る奇数フィールド用マッチング要素および偶数フィール
ド用マッチング要素を合成してフレーム用マッチング要
素を得る第2のデータ合成手段と、 上記第1および第2のデータ合成手段よりそれぞれ得ら
れるフレーム用マッチング要素に基づき、基準フレーム
ブロックに対して最もマッチングする検索フレームブロ
ックを求めてフレーム動きベクトルを発生するフレーム
動きベクトル発生手段とを備えることを特徴とする動き
ベクトル検出装置。 - 【請求項9】 上記基準奇数フィールドブロック特徴抽
出手段、上記基準偶数フィールドブロック特徴抽出手
段、上記検索奇数フィールドブロック特徴抽出手段およ
び上記検索偶数フィールドブロック特徴抽出手段では、
上記第1および第2のデータ合成手段で合成されて得ら
れるフレーム用マッチング要素の垂直方向のサンプル位
相が等間隔となるように各小ブロックを構成する画素に
重み付けして上記代表値を演算することを特徴とする請
求項8に記載の動きベクトル検出装置。 - 【請求項10】 基準フレームブロックを実質的に複数
の小ブロックに分割して各小ブロックを構成する画素の
代表値をフレーム用マッチング要素とする基準フレーム
ブロック特徴抽出手段と、 検索フレームブロックを実質的に複数の小ブロックに分
割して各小ブロックを構成する画素の代表値をフレーム
用マッチング要素とする検索フレームブロック特徴抽出
手段と、 上記基準フレームブロック特徴抽出手段および上記検索
フレームブロック特徴抽出手段よりそれぞれ得られるフ
レーム用マッチング要素に基づき、上記基準フレームブ
ロックに対して最もマッチングする検索フレームブロッ
クを求めてフレーム動きベクトルを発生するフレーム動
きベクトル発生手段とを備え、 上記基準フレームブロック特徴抽出手段および上記検索
フレームブロック特徴抽出手段では高域成分を取り出す
ことができる第1の特徴抽出処理および上記高域成分を
取り出すことができない第2の特徴抽出処理が行われ、
これら第1および第2の特徴抽出処理は動き情報に基づ
いて選択的に切り換えられることを特徴とする動きベク
トル検出装置。 - 【請求項11】 入力ビデオ信号より予測ビデオ信号を
減算して得られる予測誤差信号を符号化すると共に、こ
の符号化された上記予測誤差信号を復号化して上記予測
ビデオ信号に加算した後に動き補償回路で上記入力ビデ
オ信号より検出される動きベクトルに基づいて動き補償
をして上記予測ビデオ信号を得るようにされた動き補償
予測符号化システムにおいて、 上記動きベクトルを検出する装置として請求項1〜請求
項10のいずれかに記載の動きベクトル検出装置を使用
することを特徴とする動き補償予測符号化システム。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6200662A JPH0865681A (ja) | 1994-08-25 | 1994-08-25 | 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム |
| US08/515,527 US5973741A (en) | 1994-08-25 | 1995-08-15 | Motion vector detection apparatus and predictive coding system for compensating for movement with the apparatus |
| EP95305831A EP0701378A3 (en) | 1994-08-25 | 1995-08-21 | Motion vector detection |
| CN95116645A CN1129882A (zh) | 1994-08-25 | 1995-08-25 | 运动矢量检测装置和用其对运动进行补偿的预测编码系统 |
| US08/869,678 US5768430A (en) | 1994-08-25 | 1997-06-05 | Motion vector detection apparatus and predictive coding system for compensating for movement with the apparatus |
| US08/869,577 US6147718A (en) | 1994-08-25 | 1997-06-05 | Motion vector detection apparatus and predictive coding system for compensating for movement with the apparatus |
| US08/869,675 US6128042A (en) | 1994-08-25 | 1997-06-05 | Motion vector detection apparatus and predictive coding system for compensating for movement with apparatus |
| US08/869,680 US5880787A (en) | 1994-08-25 | 1997-06-05 | Motion vector detection apparatus and predictive coding system for compensating for movement with the apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6200662A JPH0865681A (ja) | 1994-08-25 | 1994-08-25 | 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0865681A true JPH0865681A (ja) | 1996-03-08 |
Family
ID=16428144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6200662A Pending JPH0865681A (ja) | 1994-08-25 | 1994-08-25 | 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム |
Country Status (4)
| Country | Link |
|---|---|
| US (5) | US5973741A (ja) |
| EP (1) | EP0701378A3 (ja) |
| JP (1) | JPH0865681A (ja) |
| CN (1) | CN1129882A (ja) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3988205B2 (ja) * | 1997-05-27 | 2007-10-10 | ソニー株式会社 | 映像信号記録再生装置、映像信号記録再生方法、映像信号再生装置及び映像信号再生方法 |
| CN100459715C (zh) * | 1997-07-31 | 2009-02-04 | 日本胜利株式会社 | 数字视频信号块间预测编码/解码装置及编码/解码方法 |
| JP3667105B2 (ja) * | 1997-10-01 | 2005-07-06 | 松下電器産業株式会社 | 動きベクトル検出方法及びその方法を実施する装置 |
| KR100258111B1 (ko) * | 1997-10-31 | 2000-06-01 | 전주범 | 이진형상신호적응적부호화장치 |
| US6137916A (en) * | 1997-11-17 | 2000-10-24 | Sony Electronics, Inc. | Method and system for improved digital video data processing using 8-point discrete cosine transforms |
| US6215909B1 (en) * | 1997-11-17 | 2001-04-10 | Sony Electronics, Inc. | Method and system for improved digital video data processing using 4-point discrete cosine transforms |
| US6317460B1 (en) | 1998-05-12 | 2001-11-13 | Sarnoff Corporation | Motion vector generation by temporal interpolation |
| US6546052B1 (en) * | 1998-05-29 | 2003-04-08 | Canon Kabushiki Kaisha | Image processing apparatus and method, and computer-readable memory |
| US6463164B1 (en) * | 1998-08-20 | 2002-10-08 | Lucent Technologies Inc. | Motion vector estimation based on statistical features of an image frame |
| US7330886B2 (en) * | 1999-10-27 | 2008-02-12 | American Power Conversion Corporation | Network appliance management |
| US6714977B1 (en) * | 1999-10-27 | 2004-03-30 | Netbotz, Inc. | Method and system for monitoring computer networks and equipment |
| US7392309B2 (en) * | 1999-10-27 | 2008-06-24 | American Power Conversion Corporation | Network appliance management |
| US6483876B1 (en) | 1999-12-28 | 2002-11-19 | Sony Corporation | Methods and apparatus for reduction of prediction modes in motion estimation |
| US8271626B2 (en) | 2001-01-26 | 2012-09-18 | American Power Conversion Corporation | Methods for displaying physical network topology and environmental status by location, organization, or responsible party |
| WO2002060124A2 (en) | 2001-01-26 | 2002-08-01 | Netbotz, Inc. | Method and system for a set of network appliances which can be connected to provide enhanced collaboration, scalability, and reliability |
| ATE330429T1 (de) * | 2001-09-07 | 2006-07-15 | Koninkl Philips Electronics Nv | Bildprozessor und anzeigegerät mit einem solchen bildprozessoren |
| DK1502201T3 (da) | 2002-05-03 | 2010-05-03 | American Power Conv Corp | Fremgangsmåde og apparat til at indsamle og vise netværkindretningsinformation |
| US6914938B2 (en) * | 2002-06-18 | 2005-07-05 | Motorola, Inc. | Interlaced video motion estimation |
| US6728315B2 (en) * | 2002-07-24 | 2004-04-27 | Apple Computer, Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations |
| WO2004012460A1 (ja) * | 2002-07-29 | 2004-02-05 | Matsushita Electric Industrial Co., Ltd. | 動きベクトル検出装置及び動きベクトル検出方法 |
| CN1326394C (zh) * | 2002-07-30 | 2007-07-11 | 索尼株式会社 | 存储设备、信号处理设备、图像信号处理设备和信号处理方法 |
| KR100523052B1 (ko) * | 2002-08-30 | 2005-10-24 | 한국전자통신연구원 | 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법 |
| WO2004092907A2 (en) * | 2003-04-14 | 2004-10-28 | Netbotz, Inc. | Extensible sensor monitoring, alert processing and notification system and method |
| EP1616236B1 (en) * | 2003-04-14 | 2016-11-23 | Schneider Electric IT Corporation | Method and system for journaling and accessing sensor and configuration data |
| US8566292B2 (en) | 2003-04-14 | 2013-10-22 | Schneider Electric It Corporation | Method and system for journaling and accessing sensor and configuration data |
| WO2004090679A2 (en) | 2003-04-14 | 2004-10-21 | Netbotz, Inc. | Environmental monitoring device |
| KR100517504B1 (ko) * | 2003-07-01 | 2005-09-28 | 삼성전자주식회사 | B-픽처의 움직임 보상 모드 결정방법 및 장치 |
| US7627651B2 (en) * | 2003-10-27 | 2009-12-01 | American Power Conversion Corporation | System and method for network device communication |
| CN100373949C (zh) * | 2005-04-15 | 2008-03-05 | 北京中星微电子有限公司 | 一种硬件加速装置及其实现运动估计的方法 |
| JP4687252B2 (ja) * | 2005-06-02 | 2011-05-25 | ソニー株式会社 | 画像処理装置、その方法、そのプログラムおよび記録媒体 |
| US20070092149A1 (en) * | 2005-10-24 | 2007-04-26 | Sung Chih-Ta S | Method and apparatus of high quality video compression |
| US7924316B2 (en) * | 2007-03-14 | 2011-04-12 | Aptina Imaging Corporation | Image feature identification and motion compensation apparatus, systems, and methods |
| US7920746B2 (en) * | 2007-04-23 | 2011-04-05 | Aptina Imaging Corporation | Compressed domain image summation apparatus, systems, and methods |
| CN101755495B (zh) | 2007-05-15 | 2013-10-16 | 美国能量变换公司 | 用来管理设施供电和冷却的方法和系统 |
| JP4623111B2 (ja) * | 2008-03-13 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US20100316129A1 (en) * | 2009-03-27 | 2010-12-16 | Vixs Systems, Inc. | Scaled motion search section with downscaling filter and method for use therewith |
| US8990536B2 (en) | 2011-06-01 | 2015-03-24 | Schneider Electric It Corporation | Systems and methods for journaling and executing device control instructions |
| WO2013001144A1 (en) | 2011-06-30 | 2013-01-03 | Nokia Corporation | Method and apparatus for face tracking utilizing integral gradient projections |
| CN103650375B (zh) | 2011-07-06 | 2017-05-03 | Sk 普兰尼特有限公司 | 基于多播的内容传输系统和方法以及用于高速地估算运动的设备和方法 |
| KR101931653B1 (ko) | 2011-07-06 | 2018-12-21 | 에스케이플래닛 주식회사 | 멀티캐스트 기반 컨텐츠 전송 시스템 및 방법 |
| US9952103B2 (en) | 2011-12-22 | 2018-04-24 | Schneider Electric It Corporation | Analysis of effect of transient events on temperature in a data center |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US35093A (en) * | 1862-04-29 | Improvement in combined sword and pistol | ||
| US5193004A (en) * | 1990-12-03 | 1993-03-09 | The Trustees Of Columbia University In The City Of New York | Systems and methods for coding even fields of interlaced video sequences |
| USRE35093E (en) | 1990-12-03 | 1995-11-21 | The Trustees Of Columbia University In The City Of New York | Systems and methods for coding even fields of interlaced video sequences |
| US5539466A (en) * | 1991-07-30 | 1996-07-23 | Sony Corporation | Efficient coding apparatus for picture signal and decoding apparatus therefor |
| JP2586260B2 (ja) * | 1991-10-22 | 1997-02-26 | 三菱電機株式会社 | 適応的ブロッキング画像符号化装置 |
| KR100255528B1 (ko) * | 1991-10-31 | 2000-05-01 | 요트.게.아. 롤페즈 | 디지탈 텔레비젼 영상을 송신기에서 수신기로 송신하기 위한 텔레비젼 시스템 |
| US5369449A (en) * | 1991-11-08 | 1994-11-29 | Matsushita Electric Industrial Co., Ltd. | Method for predicting move compensation |
| US5227878A (en) * | 1991-11-15 | 1993-07-13 | At&T Bell Laboratories | Adaptive coding and decoding of frames and fields of video |
| US5510840A (en) * | 1991-12-27 | 1996-04-23 | Sony Corporation | Methods and devices for encoding and decoding frame signals and recording medium therefor |
| KR930015851A (ko) * | 1991-12-31 | 1993-07-24 | 배순훈 | 필드, 프레임 선택기능을 갖는 화상 압축 전송 장치 |
| JP3068304B2 (ja) * | 1992-01-21 | 2000-07-24 | 日本電気株式会社 | 動画像符号化方式および復号化方式 |
| GB2263601B (en) * | 1992-01-24 | 1995-05-24 | Sony Broadcast & Communication | Motion compensated video signal processing |
| US5412435A (en) * | 1992-07-03 | 1995-05-02 | Kokusai Denshin Denwa Kabushiki Kaisha | Interlaced video signal motion compensation prediction system |
| US5592228A (en) * | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
| US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
| US5453799A (en) * | 1993-11-05 | 1995-09-26 | Comsat Corporation | Unified motion estimation architecture |
| US5610659A (en) * | 1995-05-08 | 1997-03-11 | Futuretel, Inc. | MPEG encoder that concurrently determines video data encoding format and rate control |
| JP3587916B2 (ja) | 1995-10-31 | 2004-11-10 | ブラザー工業株式会社 | 映像音声データ供給装置 |
-
1994
- 1994-08-25 JP JP6200662A patent/JPH0865681A/ja active Pending
-
1995
- 1995-08-15 US US08/515,527 patent/US5973741A/en not_active Expired - Fee Related
- 1995-08-21 EP EP95305831A patent/EP0701378A3/en not_active Withdrawn
- 1995-08-25 CN CN95116645A patent/CN1129882A/zh active Pending
-
1997
- 1997-06-05 US US08/869,680 patent/US5880787A/en not_active Expired - Fee Related
- 1997-06-05 US US08/869,577 patent/US6147718A/en not_active Expired - Fee Related
- 1997-06-05 US US08/869,675 patent/US6128042A/en not_active Expired - Fee Related
- 1997-06-05 US US08/869,678 patent/US5768430A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US5880787A (en) | 1999-03-09 |
| US6128042A (en) | 2000-10-03 |
| EP0701378A3 (en) | 1999-10-13 |
| US6147718A (en) | 2000-11-14 |
| CN1129882A (zh) | 1996-08-28 |
| US5768430A (en) | 1998-06-16 |
| US5973741A (en) | 1999-10-26 |
| EP0701378A2 (en) | 1996-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0865681A (ja) | 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム | |
| JP4026238B2 (ja) | 画像復号装置及び画像復号方法 | |
| US5305400A (en) | Method of encoding and decoding the video data of an image sequence | |
| JP3975629B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP2000059793A (ja) | 画像復号装置及び画像復号方法 | |
| JPH05284535A (ja) | 符号化方式 | |
| CA2218865A1 (en) | Hybrid hierarchical/full-search mpeg encoder motion estimation | |
| JP2000222587A (ja) | 直交変換―ドメインブロックマッチングを用いる動き推定 | |
| US20060222083A1 (en) | Digital filter with spatial scalability | |
| JP3937599B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP4051772B2 (ja) | 画像復号装置及び画像復号方法 | |
| US20060067403A1 (en) | Information processing device and information processing method | |
| US6532309B1 (en) | Picture decoding method and apparatus | |
| JP4016166B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP2000041248A (ja) | 画像復号装置及び画像復号方法 | |
| WO2006114951A1 (ja) | 画像処理装置及び画像処理プログラム | |
| JP4051799B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP3784086B2 (ja) | 映像信号符号化・復号化装置及び符号化・復号化方法 | |
| JP4580880B2 (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
| JPH11275591A (ja) | 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体 | |
| JP3907623B2 (ja) | 映像信号符号化・復号化装置及び符号化・復号化方法 | |
| JP3937632B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP2897655B2 (ja) | 動きベクトル検出装置 | |
| JPH08186818A (ja) | 画像符号化装置および画像復号化装置 | |
| JP2000041253A (ja) | 画像復号装置及び画像復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050315 |