JP4398099B2 - サブピクセル精度の動きベクトル推定及び動き補償された補間 - Google Patents
サブピクセル精度の動きベクトル推定及び動き補償された補間 Download PDFInfo
- Publication number
- JP4398099B2 JP4398099B2 JP2000614654A JP2000614654A JP4398099B2 JP 4398099 B2 JP4398099 B2 JP 4398099B2 JP 2000614654 A JP2000614654 A JP 2000614654A JP 2000614654 A JP2000614654 A JP 2000614654A JP 4398099 B2 JP4398099 B2 JP 4398099B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- image
- component
- motion
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 title claims description 194
- 238000000034 method Methods 0.000 claims description 19
- 238000009795 derivation Methods 0.000 claims description 11
- 239000013604 expression vector Substances 0.000 claims 2
- 230000015654 memory Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
Description
【０００１】
本発明は、サブピクセル精度の動きベクトル推定及び動き補償された補間又は予測のための方法及び装置に関連し、また、かかるサブピクセル動き補償された補間装置に関連する。
【０００２】
動きベクトルは、符号化、雑音除去、及びスキャンレート変換といった、画像処理適用の範囲で使用される。これらの適用のうちの幾つか、特にスキャンレート変換適用は、対象の真の動きが推定されることを必要とする［１］、［２］。他の適用、例えば符号化及び順次走査変換への飛び越し走査は、残る符号化誤差即ちエイリアスの振幅が低くなるよう高い精度の動きベクトルを必要とする［３］、［４］。最後に、例えば動き推定の消費者適用といった適用のカテゴリがあり、この場合、動き推定量の費用が非常に重要である［５］。真の動き推定を実現するために幾つかのアルゴリズムが提案されている［１］、［２］、［５］、［６］、［７］、及び、［８］。また、低い複雑性レベルで動き推定を実現するためのアルゴリズムが提案されており、例えば、［５］、［８］、［９］、［１０］、及び、［１１］、通常はサブピクセル精度を可能とする画素反復アルゴリズム、例えば［１２］又は［１３］のほかに、非常に精度な動きベクトルの推定を可能とする多数のブロックマッチングアルゴリズム［１］、［１４］、及び、［１５］が報告されている。
【０００３】
非対称的な動き推定器では、前の（又は次の）画像のシフトされた部分を現在画像の固定の部分にマッチさせることが試みられる。推定器がブロックマッチング器であれば、差の絶対値の和（ＳＡＤ）の規準を用いて、誤差尺度は、
【０００４】
【数１】
で表わされ、但し、Ｃは試験される候補ベクトルであり、ＸはブロックＢ（Ｘ）の位置を示し、Ｆ（ｘ，ｎ）はルミナンス信号であり、ｎはピクチャ又は画像番号である。得られる動きベクトルは、現在画像中のブロックの速度を表わる。
【０００５】
対称的な動き推定器では、２つの（通常は連続する）画像からの２つの部分が、やはり最適なマッチが生ずるよう反対方向にシフトされる。マッチ誤差は、
【０００６】
【数２】
として生ずる。結果として得られる動きベクトル（２つのシフトのうち一方を反転させた後の２つのシフトの和）は、２つのシフトされた画像間に配置される（利用可能でない）画像中のブロックの速度を表わす。パラメータαは、０乃至１の間にあり、時間的な位置を決定する。このタイプの動き推定器は、特にフレームレート変換適用に関係がある。
【０００７】
本願は、２つの入力ピクチャ（又は画像）間の時点においてベクトルが有効である必要のある場合に、サブピクセル精度で真の動き推定の問題を解決することを目的とする。これは、特に、スキャンレート変換器に適用される推定器に関係がある。サブピクセル精度のためには、所与の画素値間の位置における画素の補間が必要である。一般的に使用される方法は、いわゆる双１次補間であり、これは複雑性が低いために実施上の利点がある。
【０００８】
本発明は特に、改善された動きベクトル推定と動き補償された補間を提供することを目的とする。このために、本発明は独立項に定義されるような動きベクトル推定及び動き補償された補間又は予測のための方法及び装置を提供する。有利な実施例は従属項に定義される。
【０００９】
G.de Haanの論文"Motion Estimation and compensation; An integrated approach to consumer display field rate conversion", Eindhoven 1992, section 8.1.1には、整数候補ベクトル（即ち整数ベクトル成分のみを有するもの）から第１及び第２の整数ベクトル（即ち、やはり整数ベクトル成分のみを有するもの）を得る方法が記載されている。奇数候補ベクトル、即ち奇数垂直成分を有するベクトル、について、０．５という分数で乗算することにより非整数ベクトル成分が得られる。偶数垂直成分を有する候補ベクトルの場合には、その偶数垂直成分を０．５という分数で乗算することによって非整数ベクトル成分が得られないため、問題が生ずる。この公知の方法では、分数ベクトル成分を得るために整数候補ベクトルのベクトル成分を分数で乗算し、第１のベクトルから整数ベクトル成分を得るために分数ベクトル成分を丸め、第２の整数ベクトルを得るために整数候補ベクトルから第１の整数ベクトルを差し引き、それにより第２のベクトルも整数ベクトル成分を有するようにする。
【００１０】
本願の記載及び請求の範囲では、「丸める」という用語は、それよりも小さい最大の整数値（又はそれよりも大きい最小の整数値）に向かって切り捨てること（又は切り上げること）、及び、最も近い整数値に向かって丸めることの両方を意味するものとする。「画像」という用語は、フィールド及びフレームの両方を意味するものとする。
【００１１】
本発明の上述及び他の面は、以下説明される実施例を参照して明らかとなろう。
【００１２】
以下説明するように、上記の単純な双１次補間アルゴリズムを、両方の隣接する画像にそのまま使用することにより、幾つかの変位ベクトルが他のベクトルよりもかなり好まれ、これは一方の画像にのみサブピクセル補間を用い、ベクトル画像が有効となるべき意図される時間的位置から小さいが無視できる逸脱を許容することによって防止されうる。
【００１３】
本願において提供するアルゴリズムは、望ましいサブピクセル速度の上述の問題が対称的な動き推定の場合に特に生ずることについての注目したことによって得られたものである。試験される全ての動きベクトルが画素グリッド上での整数シフトを生じさせるかぎり、ピクチャ内容に無関係に特定の動きベクトルが優先されることはない。しかしながら、サブピクセル補間が所望である場合は異なる。双１次補間を用いる対照的な推定器の場合、両方のシフトされた画像がマッチングされ、補間フィルタからの同じ分光損を生ずる。所与の分数的な速度についての補間フィルタの損失が高いほど、マッチング誤差は低くなり、即ちこの速度が優先される。非対称動き推定器の場合、サブピクセルシフト動作によってただ１つの画像のみが空間的にフィルタリングされ、従ってフィルタの損失が高いほど、マッチング誤差は高くなり、この速度は優先されなくなる。いずれの場合も、意図されずに優先される可能性を低くするためにより高価なフィルタが適用されうる。
【００１４】
実験により、真の動きサブピクセル動き推定のサブピクセル精度は、最も簡単な可能な補間フィルタ（線形補間）を用いた場合は、対称的な形態よりも非対称的な形態のほうが良いことがわかった。いくらかの計算的な努力により、徐々に変化する速度での周波数掃引のために全ての補間フィルタについてのマッチング誤差を計算することによって予想されることが確かめられる。
【００１５】
この考察により、対称的な動き推定器の興味深い実施が得られる。これは対称的な動き推定器中の非対称的な推定器のより高い精度及びより低い費用をもたらすからである。本発明では、推定器の整数部についてのみ推定器を対称とし、ベクトルの分数部については非対称とされる。マッチング誤りは、
【００１６】
【数３】
となり、但し、元の候補ベクトルＣ（Ｘ，ｎ）及びＣ n（Ｘ，ｎ）の間の関係は次の画像を指し、一方、前の画像を指すＣ p（Ｘ，ｎ）及びＣ n（Ｘ，ｎ）は、
【００１７】
【数４】
によって与えられ、Ｒｎｄ（Ａ）はＡに最も近い整数値を戻す。従って、Ｃ n（Ｘ，ｎ）は分数部を含み、Ｃ n（Ｘ，ｎ）は整数ベクトルである。明らかに、Ｃ nを完全に整数とし、Ｃ pを非整数成分を有しうる残る部分とすることができる。この変形例は、請求の範囲に含まれる。
【００１８】
厳密に言えば、得られる推定はもはや所定の時点（２つの連続する画像間）における固定のブロックの速度を表わすのではないが、わずかに（最大でもベクトルのサブピクセル部の半分）シフトされたブロック、又は、時間的に僅かにシフトされた画像中の対応する位置に割り当てられるべきである。しかしながら、得られる誤差は基本的に非常に小さく、従って無視できる。
【００１９】
本発明によるアルゴリズムの利点は、方法を適用する動き推定器についての改善された精度だけでなく、より低い費用で実施が実現されうることである。従って、動き推定器だけでなく、動き補償された画像補間器にも概念を適用することができる。
【００２０】
一般的に、時間的に補間される画像は、
【００２１】
【数５】
但し、Ｄは画像ｎとｎ−１の間で計算される変位又は動きベクトルである。上述に記載されるのと全く同様に、
【００２２】
【数６】
但し、
【００２３】
【数７】
に変更することができる。
【００２４】
利点はやはり費用の削減であり、これはサブピクセル補間が一方の画像のみからの画素について所望とされ（メモリへのアクセスも減少させうる）、一方画像が補間される時間的なインスタンスにおける非常に小さい変更が生ずる。
【００２５】
動き補償された補間についての上述のアルゴリズムは、動き推定ベクトル場を徐々に変化されるために次善のものとして示されている。２つの動きベクトルのうちの１つを丸めることにより、２つの動きベクトルの組み合わせが有効である時間的な位置には不連続性がある。この不連続性は、徐々に変化する動きベクトルフィールドの場合はアップコンバートされた画像中で明らかに可視である。元の提案の適応されたバージョンは、この不連続性をより小さくする。式６はＤpの式については上述のままとされるが、Ｄnについての式は、
Ｄ n（Ｘ，ｎ）＝（１−α）Ｄ（Ｘ，ｎ） （８）
に変更される。ベクトルＤpとＤnの和は、もはやＤではない。
【００２６】
変更されたアルゴリズムは、元のアルゴリズムと同じ利点、即ち費用の削減、を有するが、徐々に変化する動きベクトル場が適用されたときは不連続性（動きジャダー）を示さない（代わりに、ピクチャ毎に分解能が変化するが、これは実験的には、ジャダーよりも本質的に優勢であることが分かっている）。この変更されたアルゴリズムは、動き補償されたアップコンバージョンの場合にのみ適用され、動き推定アルゴリズムは上述のままとされる。
【００２７】
図１は、本発明による時間（Ｔ）に対して位置（Ｐ）を示す図である。列ｎ−１は、画像ｎ−１中のラインを表わし、列ｎは画像ｎ中のラインを表わし、列ｎ−1/2中のドットは補間されるべきラインを表わす。破線は、一般的なサブピクセル精度ベクトルＤにより２つの既存のライン間のある位置を夫々指す２つのハーフベクトルＤ／２が得られ、それにより２つの非整数補間が必要であることを示す。本発明によれば、これらのハーフベクトルのうちの１つは既存のラインを指すベクトルを得るために丸められ（Ｒｎｄ（Ｄ／２））、他方のハーフベクトルは元のサブピクセル精度ベクトルＤからこの丸められた第１のベクトルＲｎｄ（Ｄ／２）を差し引くことによって得られる。
【００２８】
図２は、本発明による動きベクトル推定装置の実施例を示す図である。画像メモリＦＭは、所望の時間遅延を確実とするものであり、その入力は画像ｎであり、出力は画像ｎ−１である。図２の実施例は、一組の２つのラインメモリ部ＬＭ１、ＬＭ２を更に含み、各ラインメモリ部は、例えば５つのラインメモリを有し、各ラインメモリについて１６の画素メモリを有し、それにより所与の領域中の各画素に達しうる、タップされた遅延ラインを含む。
【００２９】
図２は更に、スイッチマトリックスＳＭＸを通じてラインメモリ部ＬＭ１に接続され、位置補間器ＩＮＴを通じてラインメモリ部ＬＭ２に接続される動きベクトル推定器ＭＥを示す。このようにして、動きベクトル推定器ＭＥは、候補動きベクトルＣをラインメモリ部ＬＭ１，ＬＭ２に与え、ラインメモリ部ＬＭ１，ＬＭ２は対応する画素値を動きベクトル推定器ＭＥへ与える。ＥＰ−Ａ−０，４１５，４９１に記載されるように、動きベクトル推定器ＭＥは、動きベクトルメモリＶＭによって供給される先行画像に対して決定されるベクトルも使用することが望ましい。動き推定器は、出力ベクトルＤを与える。
【００３０】
本発明によれば、候補動きベクトルＣは、導出ユニットＤＵによって完全な整数ベクトルＣ pと残るベクトルＣ nに分割され、Ｃ pとＣ nの間の分割は分数αに依存する。候補動きベクトルＣは分数αで乗算され、その結果は丸め回路ＲＮＤに与えられ、丸め回路ＲＮＤによってベクトルＣ pが供給され、ベクトルＣ pはスイッチマトリックスＳＭＸに与えられる。ベクトルＣ pは減算回路Ｓによって候補動きベクトルＣから差し引かれ、残りのベクトルＣ nが得られ、この残りのベクトルＣ nは位置補間器ＩＮＴに与えられる。
【００３１】
図３は、本発明による動き補償された補間装置の実施例を示す図である。入力動きベクトルＤは、導出ユニットＤＵによって式（６）に従って完全な整数ベクトルＤ pと残るベクトルＤ nに分割され、Ｄpは式（７）によって示されるものであり、Ｄnは式（８）によって示されるものである。このように、図３の導出ユニットＤＵ’は、乗算器Ｍ２がベクトルＤnを得るために入力動きベクトルＤを係数１−αで乗算する点で、図２の導出ユニットＤＵとは異なる。位置補間器ＩＮＴ及びスイッチマトリックスＳＭＸから取り出される画素値は平均化回路ＡＶによって平均がとられ、出力画像ｎ−1/2が得られる。
【００３２】
図４は、本発明によるテレビジョン装置の実施例を示す図である。アンテナＡは、チューナＴＵＮにテレビジョン信号を与え、チューナＴＵＮはプロセッサＰＲＯＣにビデオ信号を与え、プロセッサＰＲＯＣは処理されたビデオ信号を発生する。処理されたビデオ信号中の画像の数は、図３に示される種類の動き補償された補間器ＭＣＩＮＴによって２倍とされる。動き補償された補間器ＭＣＩＮＴは、図２に示される種類の動きベクトル推定器から動きベクトルＤを受信している。有利には、ＵＳ−Ａ−５，４９５，３００に記載されるように、動き推定器と動き補償された補間器は結合され、単一の回路を形成する。
【００３３】
本発明の主な面は以下のように概説される。ディジタルビデオからのサブピクセル精度の動き推定は、データの補間を必要とする。近傍の画像をベクトルの相補的な分数によってシフトする対称的な動き推定器には、２つのかかる補間フィルタが所望である。ブロックマッチング動き推定アルゴリズムの場合、様々な候補ベクトルのマッチング誤差はサブピクセル補間フィルタの質に依存する。これらのフィルタはベクトルの分数の値によって異なるため、幾つかの分数ベクトル値を他のベクトル値よりも意図的でなく優先させることがある。本発明では、候補ベクトルを整数部と一般的に非整数である部分へ分割し、それにより候補ベクトルをベクトルが有効とされる必要のある時間的な位置に正確に一致するよう分割するよりも、正確であり、費用が低くなる。
【００３４】
画像対から動きベクトルを推定する、又は複数の画像を補間する方法及び装置は、
入力ベクトルから第１及び第２のベクトルを発生させる手段と、
第１の画像からの画素を第１のベクトルに亘ってシフトさせる手段と、
第２の画像からの画素を第２のベクトルに亘ってシフトさせる手段とを含み、
第１のベクトルの成分と入力ベクトルの成分の比率はこれらの成分の値に依存することを特徴とする。
【００３５】
望ましくは、第１のベクトルと第２のベクトルの差は入力ベクトルに一致する。有利には、第１のベクトルが整数成分を有することのみが許されているとすると、第１のベクトルの成分と入力ベクトルの成分の比率は出来る限り良く０と１の間の固定の係数に近づき、第２のベクトルは１つ以上の非整数成分を有しうる。
【００３６】
画像対から動きベクトルを推定する、又は１つの画像を補間する方法及び装置は、
入力ベクトルから第１及び第２のベクトルを発生させる手段と、
第１の画像からの画素を第１のベクトルに亘ってシフトさせる手段と、
第２の画像からの画素を第２のベクトルに亘ってシフトさせる手段とを含み、
第１のベクトルが整数成分のみを有するのに対して、第２のベクトルは１つ以上の非整数成分を有しうることを特徴とする。
【００３７】
上述の実施例は、本発明を例示するものであって、本発明を制限するものではなく、当業者によれば請求の範囲を逸脱することなく他の実施例を設計することができることに注意すべきである。第１の優先権出願である１９９９年４月２６日出願のＥＰ９９２０１２９８．９は、補間に関する請求の範囲に含まれる他の動き補償された補間器を示す。請求の範囲において、括弧内に含まれる参照符号は、請求項を制限するものと理解されるべきではない。「含む」という単語は、請求項に記載される以外の要素又は段階の存在を排除するものではない。単数形で示される要素は、かかる要素の複数形の存在を排除するものではない。本発明は、幾つかの別個の要素を含むハードウエア、及び適当にプログラムされたコンピュータによって実施されうる。幾つかの手段を列挙した装置に関する請求項では、これらの手段のうちの幾つかはハードウエアの単一のアイテム上で具現化されうる。
【００３８】
参考文献：
［１］ G.A.Thomas,"Television motion measurement for DATV and other applications", BBC Research Report No.BBC RD 1987/11
［２］ R.Thoma and M.Bierling, "Motion Compensating Interpolation Considering Covered and Uncovered Background", Image Communications 1, Elseviers 1989, pp.191-212
［３］ "Time Recursive Deinterlacing for IDTV and Pyramid Coding", F.M.Wang and D.Anastassiou, Image Communication, Elseviers 1990, pp.365-374
［４］ "A Motion Adaptive De-Interlacing Method", Kwon, Seo, Kim, and Kim, IEEE Tr. On Consumer Electronics, Vol. 38, No. 3, 1992
［５］ G.de Haan and H.Huijgen, "Motion Estimation for TV Picture Enhancement", Proc. 4th Int. Workshop on HDTV and beyond, Torino, 1991
［６］ T. Reuter, "A modified blockmatching algorithm with vector reliability cheking and adaptive smoothing", 3h Int. Conf. On Image Processing and its Applications, University of Warwick, England, 18-20 July 1989
［７］ J.Konrad and E.Dubois "A comparison of stochastic and deterministic solution methods in Bayesian estimation of 2-D motion", Proc. 1 "European Conf. on Computer Vision, Antibes, April 1990
［８］ G. de Haan, P.W.A.C Biezen, H.Huijgen and O.A.Ojo, "True Motion Estimation with 3-D Recursive Search Block-Matching", to be published in IEEE Tr. On Circuits & Systems for Video Technology
［９］ R.Srinivasan and K.R.Rao, "Predictive Coding Based on Efficient Motion Estimation", IEEE Tr. On Communication, No. 8, 1985, pp.888-896
［１０］ J.R.Jain and A.K.Jain, "Displacement Measurement and Its Application in Interframe Image Coding", IEEE Tr. On Communications, COM-29, no.12, 1981
［１１］ T.Koga, K.Ininuma, A.Hirano, Y.Iilima and T.Ishiguro, "Motion-Compensated Interframe Coding for Video Conferencing", IEEE, Proc. Of the NTC 81, G5.3.1., New Orleans LA, 1981
［１２］ H.G.Musmann, P.Pirsch and J.Grallert, "Advances in picture coding", Proc. of the IEEE, vol. 73, no.4, April 1985, pp.523-548
［１３］ J.N.Driessen, L.Boroczki and J.Biemond, "Pel-Recursive Motion Field Estimation from Image Sequences", J. on Visual Comm and Image Representation, 1991
［１４］ K.Hildenbrand and J. Mayer, "Method to determine motion vectors for blocks in an image source-sequence"(in German), Patent, no.DE 40 23 499 C1, 23-01-92
［１５］ M.Ziegler, "Hierarchical motion estimation using the phase correlation method in 140 Mbit/s HDTV-coding", Proc. 3th Int. Workshop on HDTV and beyond, Torino, 1989
【図面の簡単な説明】
【図１】 本発明による時間に対して位置を示す図である。
【図２】 本発明による動きベクトル推定装置の実施例を示す図である。
【図３】 本発明による動き補償された補間装置の実施例を示す図である。
【図４】 本発明によるテレビジョン装置の実施例を示す図である。
本発明は、サブピクセル精度の動きベクトル推定及び動き補償された補間又は予測のための方法及び装置に関連し、また、かかるサブピクセル動き補償された補間装置に関連する。
【０００２】
動きベクトルは、符号化、雑音除去、及びスキャンレート変換といった、画像処理適用の範囲で使用される。これらの適用のうちの幾つか、特にスキャンレート変換適用は、対象の真の動きが推定されることを必要とする［１］、［２］。他の適用、例えば符号化及び順次走査変換への飛び越し走査は、残る符号化誤差即ちエイリアスの振幅が低くなるよう高い精度の動きベクトルを必要とする［３］、［４］。最後に、例えば動き推定の消費者適用といった適用のカテゴリがあり、この場合、動き推定量の費用が非常に重要である［５］。真の動き推定を実現するために幾つかのアルゴリズムが提案されている［１］、［２］、［５］、［６］、［７］、及び、［８］。また、低い複雑性レベルで動き推定を実現するためのアルゴリズムが提案されており、例えば、［５］、［８］、［９］、［１０］、及び、［１１］、通常はサブピクセル精度を可能とする画素反復アルゴリズム、例えば［１２］又は［１３］のほかに、非常に精度な動きベクトルの推定を可能とする多数のブロックマッチングアルゴリズム［１］、［１４］、及び、［１５］が報告されている。
【０００３】
非対称的な動き推定器では、前の（又は次の）画像のシフトされた部分を現在画像の固定の部分にマッチさせることが試みられる。推定器がブロックマッチング器であれば、差の絶対値の和（ＳＡＤ）の規準を用いて、誤差尺度は、
【０００４】
【数１】
【０００５】
対称的な動き推定器では、２つの（通常は連続する）画像からの２つの部分が、やはり最適なマッチが生ずるよう反対方向にシフトされる。マッチ誤差は、
【０００６】
【数２】
【０００７】
本願は、２つの入力ピクチャ（又は画像）間の時点においてベクトルが有効である必要のある場合に、サブピクセル精度で真の動き推定の問題を解決することを目的とする。これは、特に、スキャンレート変換器に適用される推定器に関係がある。サブピクセル精度のためには、所与の画素値間の位置における画素の補間が必要である。一般的に使用される方法は、いわゆる双１次補間であり、これは複雑性が低いために実施上の利点がある。
【０００８】
本発明は特に、改善された動きベクトル推定と動き補償された補間を提供することを目的とする。このために、本発明は独立項に定義されるような動きベクトル推定及び動き補償された補間又は予測のための方法及び装置を提供する。有利な実施例は従属項に定義される。
【０００９】
G.de Haanの論文"Motion Estimation and compensation; An integrated approach to consumer display field rate conversion", Eindhoven 1992, section 8.1.1には、整数候補ベクトル（即ち整数ベクトル成分のみを有するもの）から第１及び第２の整数ベクトル（即ち、やはり整数ベクトル成分のみを有するもの）を得る方法が記載されている。奇数候補ベクトル、即ち奇数垂直成分を有するベクトル、について、０．５という分数で乗算することにより非整数ベクトル成分が得られる。偶数垂直成分を有する候補ベクトルの場合には、その偶数垂直成分を０．５という分数で乗算することによって非整数ベクトル成分が得られないため、問題が生ずる。この公知の方法では、分数ベクトル成分を得るために整数候補ベクトルのベクトル成分を分数で乗算し、第１のベクトルから整数ベクトル成分を得るために分数ベクトル成分を丸め、第２の整数ベクトルを得るために整数候補ベクトルから第１の整数ベクトルを差し引き、それにより第２のベクトルも整数ベクトル成分を有するようにする。
【００１０】
本願の記載及び請求の範囲では、「丸める」という用語は、それよりも小さい最大の整数値（又はそれよりも大きい最小の整数値）に向かって切り捨てること（又は切り上げること）、及び、最も近い整数値に向かって丸めることの両方を意味するものとする。「画像」という用語は、フィールド及びフレームの両方を意味するものとする。
【００１１】
本発明の上述及び他の面は、以下説明される実施例を参照して明らかとなろう。
【００１２】
以下説明するように、上記の単純な双１次補間アルゴリズムを、両方の隣接する画像にそのまま使用することにより、幾つかの変位ベクトルが他のベクトルよりもかなり好まれ、これは一方の画像にのみサブピクセル補間を用い、ベクトル画像が有効となるべき意図される時間的位置から小さいが無視できる逸脱を許容することによって防止されうる。
【００１３】
本願において提供するアルゴリズムは、望ましいサブピクセル速度の上述の問題が対称的な動き推定の場合に特に生ずることについての注目したことによって得られたものである。試験される全ての動きベクトルが画素グリッド上での整数シフトを生じさせるかぎり、ピクチャ内容に無関係に特定の動きベクトルが優先されることはない。しかしながら、サブピクセル補間が所望である場合は異なる。双１次補間を用いる対照的な推定器の場合、両方のシフトされた画像がマッチングされ、補間フィルタからの同じ分光損を生ずる。所与の分数的な速度についての補間フィルタの損失が高いほど、マッチング誤差は低くなり、即ちこの速度が優先される。非対称動き推定器の場合、サブピクセルシフト動作によってただ１つの画像のみが空間的にフィルタリングされ、従ってフィルタの損失が高いほど、マッチング誤差は高くなり、この速度は優先されなくなる。いずれの場合も、意図されずに優先される可能性を低くするためにより高価なフィルタが適用されうる。
【００１４】
実験により、真の動きサブピクセル動き推定のサブピクセル精度は、最も簡単な可能な補間フィルタ（線形補間）を用いた場合は、対称的な形態よりも非対称的な形態のほうが良いことがわかった。いくらかの計算的な努力により、徐々に変化する速度での周波数掃引のために全ての補間フィルタについてのマッチング誤差を計算することによって予想されることが確かめられる。
【００１５】
この考察により、対称的な動き推定器の興味深い実施が得られる。これは対称的な動き推定器中の非対称的な推定器のより高い精度及びより低い費用をもたらすからである。本発明では、推定器の整数部についてのみ推定器を対称とし、ベクトルの分数部については非対称とされる。マッチング誤りは、
【００１６】
【数３】
【００１７】
【数４】
【００１８】
厳密に言えば、得られる推定はもはや所定の時点（２つの連続する画像間）における固定のブロックの速度を表わすのではないが、わずかに（最大でもベクトルのサブピクセル部の半分）シフトされたブロック、又は、時間的に僅かにシフトされた画像中の対応する位置に割り当てられるべきである。しかしながら、得られる誤差は基本的に非常に小さく、従って無視できる。
【００１９】
本発明によるアルゴリズムの利点は、方法を適用する動き推定器についての改善された精度だけでなく、より低い費用で実施が実現されうることである。従って、動き推定器だけでなく、動き補償された画像補間器にも概念を適用することができる。
【００２０】
一般的に、時間的に補間される画像は、
【００２１】
【数５】
【００２２】
【数６】
【００２３】
【数７】
【００２４】
利点はやはり費用の削減であり、これはサブピクセル補間が一方の画像のみからの画素について所望とされ（メモリへのアクセスも減少させうる）、一方画像が補間される時間的なインスタンスにおける非常に小さい変更が生ずる。
【００２５】
動き補償された補間についての上述のアルゴリズムは、動き推定ベクトル場を徐々に変化されるために次善のものとして示されている。２つの動きベクトルのうちの１つを丸めることにより、２つの動きベクトルの組み合わせが有効である時間的な位置には不連続性がある。この不連続性は、徐々に変化する動きベクトルフィールドの場合はアップコンバートされた画像中で明らかに可視である。元の提案の適応されたバージョンは、この不連続性をより小さくする。式６はＤpの式については上述のままとされるが、Ｄnについての式は、
Ｄ n（Ｘ，ｎ）＝（１−α）Ｄ（Ｘ，ｎ） （８）
に変更される。ベクトルＤpとＤnの和は、もはやＤではない。
【００２６】
変更されたアルゴリズムは、元のアルゴリズムと同じ利点、即ち費用の削減、を有するが、徐々に変化する動きベクトル場が適用されたときは不連続性（動きジャダー）を示さない（代わりに、ピクチャ毎に分解能が変化するが、これは実験的には、ジャダーよりも本質的に優勢であることが分かっている）。この変更されたアルゴリズムは、動き補償されたアップコンバージョンの場合にのみ適用され、動き推定アルゴリズムは上述のままとされる。
【００２７】
図１は、本発明による時間（Ｔ）に対して位置（Ｐ）を示す図である。列ｎ−１は、画像ｎ−１中のラインを表わし、列ｎは画像ｎ中のラインを表わし、列ｎ−1/2中のドットは補間されるべきラインを表わす。破線は、一般的なサブピクセル精度ベクトルＤにより２つの既存のライン間のある位置を夫々指す２つのハーフベクトルＤ／２が得られ、それにより２つの非整数補間が必要であることを示す。本発明によれば、これらのハーフベクトルのうちの１つは既存のラインを指すベクトルを得るために丸められ（Ｒｎｄ（Ｄ／２））、他方のハーフベクトルは元のサブピクセル精度ベクトルＤからこの丸められた第１のベクトルＲｎｄ（Ｄ／２）を差し引くことによって得られる。
【００２８】
図２は、本発明による動きベクトル推定装置の実施例を示す図である。画像メモリＦＭは、所望の時間遅延を確実とするものであり、その入力は画像ｎであり、出力は画像ｎ−１である。図２の実施例は、一組の２つのラインメモリ部ＬＭ１、ＬＭ２を更に含み、各ラインメモリ部は、例えば５つのラインメモリを有し、各ラインメモリについて１６の画素メモリを有し、それにより所与の領域中の各画素に達しうる、タップされた遅延ラインを含む。
【００２９】
図２は更に、スイッチマトリックスＳＭＸを通じてラインメモリ部ＬＭ１に接続され、位置補間器ＩＮＴを通じてラインメモリ部ＬＭ２に接続される動きベクトル推定器ＭＥを示す。このようにして、動きベクトル推定器ＭＥは、候補動きベクトルＣをラインメモリ部ＬＭ１，ＬＭ２に与え、ラインメモリ部ＬＭ１，ＬＭ２は対応する画素値を動きベクトル推定器ＭＥへ与える。ＥＰ−Ａ−０，４１５，４９１に記載されるように、動きベクトル推定器ＭＥは、動きベクトルメモリＶＭによって供給される先行画像に対して決定されるベクトルも使用することが望ましい。動き推定器は、出力ベクトルＤを与える。
【００３０】
本発明によれば、候補動きベクトルＣは、導出ユニットＤＵによって完全な整数ベクトルＣ pと残るベクトルＣ nに分割され、Ｃ pとＣ nの間の分割は分数αに依存する。候補動きベクトルＣは分数αで乗算され、その結果は丸め回路ＲＮＤに与えられ、丸め回路ＲＮＤによってベクトルＣ pが供給され、ベクトルＣ pはスイッチマトリックスＳＭＸに与えられる。ベクトルＣ pは減算回路Ｓによって候補動きベクトルＣから差し引かれ、残りのベクトルＣ nが得られ、この残りのベクトルＣ nは位置補間器ＩＮＴに与えられる。
【００３１】
図３は、本発明による動き補償された補間装置の実施例を示す図である。入力動きベクトルＤは、導出ユニットＤＵによって式（６）に従って完全な整数ベクトルＤ pと残るベクトルＤ nに分割され、Ｄpは式（７）によって示されるものであり、Ｄnは式（８）によって示されるものである。このように、図３の導出ユニットＤＵ’は、乗算器Ｍ２がベクトルＤnを得るために入力動きベクトルＤを係数１−αで乗算する点で、図２の導出ユニットＤＵとは異なる。位置補間器ＩＮＴ及びスイッチマトリックスＳＭＸから取り出される画素値は平均化回路ＡＶによって平均がとられ、出力画像ｎ−1/2が得られる。
【００３２】
図４は、本発明によるテレビジョン装置の実施例を示す図である。アンテナＡは、チューナＴＵＮにテレビジョン信号を与え、チューナＴＵＮはプロセッサＰＲＯＣにビデオ信号を与え、プロセッサＰＲＯＣは処理されたビデオ信号を発生する。処理されたビデオ信号中の画像の数は、図３に示される種類の動き補償された補間器ＭＣＩＮＴによって２倍とされる。動き補償された補間器ＭＣＩＮＴは、図２に示される種類の動きベクトル推定器から動きベクトルＤを受信している。有利には、ＵＳ−Ａ−５，４９５，３００に記載されるように、動き推定器と動き補償された補間器は結合され、単一の回路を形成する。
【００３３】
本発明の主な面は以下のように概説される。ディジタルビデオからのサブピクセル精度の動き推定は、データの補間を必要とする。近傍の画像をベクトルの相補的な分数によってシフトする対称的な動き推定器には、２つのかかる補間フィルタが所望である。ブロックマッチング動き推定アルゴリズムの場合、様々な候補ベクトルのマッチング誤差はサブピクセル補間フィルタの質に依存する。これらのフィルタはベクトルの分数の値によって異なるため、幾つかの分数ベクトル値を他のベクトル値よりも意図的でなく優先させることがある。本発明では、候補ベクトルを整数部と一般的に非整数である部分へ分割し、それにより候補ベクトルをベクトルが有効とされる必要のある時間的な位置に正確に一致するよう分割するよりも、正確であり、費用が低くなる。
【００３４】
画像対から動きベクトルを推定する、又は複数の画像を補間する方法及び装置は、
入力ベクトルから第１及び第２のベクトルを発生させる手段と、
第１の画像からの画素を第１のベクトルに亘ってシフトさせる手段と、
第２の画像からの画素を第２のベクトルに亘ってシフトさせる手段とを含み、
第１のベクトルの成分と入力ベクトルの成分の比率はこれらの成分の値に依存することを特徴とする。
【００３５】
望ましくは、第１のベクトルと第２のベクトルの差は入力ベクトルに一致する。有利には、第１のベクトルが整数成分を有することのみが許されているとすると、第１のベクトルの成分と入力ベクトルの成分の比率は出来る限り良く０と１の間の固定の係数に近づき、第２のベクトルは１つ以上の非整数成分を有しうる。
【００３６】
画像対から動きベクトルを推定する、又は１つの画像を補間する方法及び装置は、
入力ベクトルから第１及び第２のベクトルを発生させる手段と、
第１の画像からの画素を第１のベクトルに亘ってシフトさせる手段と、
第２の画像からの画素を第２のベクトルに亘ってシフトさせる手段とを含み、
第１のベクトルが整数成分のみを有するのに対して、第２のベクトルは１つ以上の非整数成分を有しうることを特徴とする。
【００３７】
上述の実施例は、本発明を例示するものであって、本発明を制限するものではなく、当業者によれば請求の範囲を逸脱することなく他の実施例を設計することができることに注意すべきである。第１の優先権出願である１９９９年４月２６日出願のＥＰ９９２０１２９８．９は、補間に関する請求の範囲に含まれる他の動き補償された補間器を示す。請求の範囲において、括弧内に含まれる参照符号は、請求項を制限するものと理解されるべきではない。「含む」という単語は、請求項に記載される以外の要素又は段階の存在を排除するものではない。単数形で示される要素は、かかる要素の複数形の存在を排除するものではない。本発明は、幾つかの別個の要素を含むハードウエア、及び適当にプログラムされたコンピュータによって実施されうる。幾つかの手段を列挙した装置に関する請求項では、これらの手段のうちの幾つかはハードウエアの単一のアイテム上で具現化されうる。
【００３８】
参考文献：
［１］ G.A.Thomas,"Television motion measurement for DATV and other applications", BBC Research Report No.BBC RD 1987/11
［２］ R.Thoma and M.Bierling, "Motion Compensating Interpolation Considering Covered and Uncovered Background", Image Communications 1, Elseviers 1989, pp.191-212
［３］ "Time Recursive Deinterlacing for IDTV and Pyramid Coding", F.M.Wang and D.Anastassiou, Image Communication, Elseviers 1990, pp.365-374
［４］ "A Motion Adaptive De-Interlacing Method", Kwon, Seo, Kim, and Kim, IEEE Tr. On Consumer Electronics, Vol. 38, No. 3, 1992
［５］ G.de Haan and H.Huijgen, "Motion Estimation for TV Picture Enhancement", Proc. 4th Int. Workshop on HDTV and beyond, Torino, 1991
［６］ T. Reuter, "A modified blockmatching algorithm with vector reliability cheking and adaptive smoothing", 3h Int. Conf. On Image Processing and its Applications, University of Warwick, England, 18-20 July 1989
［７］ J.Konrad and E.Dubois "A comparison of stochastic and deterministic solution methods in Bayesian estimation of 2-D motion", Proc. 1 "European Conf. on Computer Vision, Antibes, April 1990
［８］ G. de Haan, P.W.A.C Biezen, H.Huijgen and O.A.Ojo, "True Motion Estimation with 3-D Recursive Search Block-Matching", to be published in IEEE Tr. On Circuits & Systems for Video Technology
［９］ R.Srinivasan and K.R.Rao, "Predictive Coding Based on Efficient Motion Estimation", IEEE Tr. On Communication, No. 8, 1985, pp.888-896
［１０］ J.R.Jain and A.K.Jain, "Displacement Measurement and Its Application in Interframe Image Coding", IEEE Tr. On Communications, COM-29, no.12, 1981
［１１］ T.Koga, K.Ininuma, A.Hirano, Y.Iilima and T.Ishiguro, "Motion-Compensated Interframe Coding for Video Conferencing", IEEE, Proc. Of the NTC 81, G5.3.1., New Orleans LA, 1981
［１２］ H.G.Musmann, P.Pirsch and J.Grallert, "Advances in picture coding", Proc. of the IEEE, vol. 73, no.4, April 1985, pp.523-548
［１３］ J.N.Driessen, L.Boroczki and J.Biemond, "Pel-Recursive Motion Field Estimation from Image Sequences", J. on Visual Comm and Image Representation, 1991
［１４］ K.Hildenbrand and J. Mayer, "Method to determine motion vectors for blocks in an image source-sequence"(in German), Patent, no.DE 40 23 499 C1, 23-01-92
［１５］ M.Ziegler, "Hierarchical motion estimation using the phase correlation method in 140 Mbit/s HDTV-coding", Proc. 3th Int. Workshop on HDTV and beyond, Torino, 1989
【図面の簡単な説明】
【図１】 本発明による時間に対して位置を示す図である。
【図２】 本発明による動きベクトル推定装置の実施例を示す図である。
【図３】 本発明による動き補償された補間装置の実施例を示す図である。
【図４】 本発明によるテレビジョン装置の実施例を示す図である。
Claims (11)
- 第１の画像（ｎ−１）と上記第１の画像から所与の時間的な距離だけ離れた第２の画像（ｎ）との間で、上記第１の画像（ｎ−１）から上記所与の距離を等分割したうちの何個分かを表わす分数（α）で表現される距離にある画像（ｎ−1/2）の補間又は予測に使用されることが意図されるサブピクセル精度の動きベクトル（Ｄ）を推定する方法であって、
上記方法は、
非整数値をとりうるベクトル成分を有する候補ベクトル（Ｃ）を発生する（ＭＥ）段階と、
上記候補ベクトル（Ｃ）から第１のベクトル（Ｃ p）及び第２のベクトル（Ｃ n）を導出する（ＤＵ）段階と、
上記第１のベクトル（Ｃ p）によってシフトされた（ＳＭＸ，ＬＭ１）上記第１の画像（ｎ−１）中の第１の位置と上記第２のベクトル（Ｃ n）によってシフトされた（ＩＮＴ，ＬＭ２）上記第２の画像（ｎ）中の第２の位置とを比較することによって上記候補ベクトル（Ｃ）を評価する（ＭＥ）段階とを有し、
上記導出（ＤＵ）段階は、
上記候補ベクトル（Ｃ）の上記ベクトル成分に上記分数（α）を乗算して（Ｍ）分数表現ベクトル成分を得る段階と、
上記分数表現ベクトル成分を丸めて（ＲＮＤ）整数ベクトル成分のみを有する上記第１のベクトル（Ｃ p）のベクトル成分を得る段階とを有し、上記第２のベクトル（Ｃ n）は非整数値をとりうるベクトル成分を有することを特徴とする方法。 - 上記導出段階（ＤＵ）は更に、
上記候補ベクトルから上記第１のベクトル（Ｃ p）を差し引いて（Ｓ）上記第２のベクトル（Ｃ n）を得る段階を有する、請求項１記載の方法。 - 第１の画像（ｎ−１）と上記第１の画像から所与の時間的な距離だけ離れた第２の画像（ｎ）とから、非整数値をとりうるベクトル成分を有するサブピクセル精度の動きベクトル（Ｄ）を用いて上記第１の画像（ｎ−１）から上記所与の距離を等分割したうちの何個分かを表わす分数（α）で表現される距離にある画像（ｎ−1/2）を生成する方法であって、
上記方法は、
上記サブピクセル精度の動きベクトル（Ｄ）から第１のベクトル（Ｄ p）及び第２のベクトル（Ｄ n）を導出する段階（ＤＵ）と、
上記第１のベクトル（Ｄ p）によってシフトされた（ＳＭＸ，ＬＭ１）上記第１の画像（ｎ−１）中の第１の位置と上記第２のベクトルによってシフトされた（ＩＮＴ，ＬＭ２）上記第２の画像（ｎ）中の第２の位置とを組み合わせることによって上記中間画像（ｎ−1/2）を生成する段階とを有し、
上記導出段階（ＤＵ）は、
上記サブピクセル精度の動きベクトル（Ｄ）の上記ベクトル成分に上記分数（α）を乗算して（Ｍ）分数表現ベクトル成分を得る段階と、
上記分数的なベクトル成分を丸めて（ＲＮＤ）整数ベクトル成分のみを有する上記第１のベクトル（Ｄ p）のベクトル成分を得る段階とを有し、上記第２のベクトル（Ｄ n）は非整数値をとりうるベクトル成分を有することを特徴とする方法。 - 上記導出段階（ＤＵ）は更に、
上記サブピクセル精度の動きベクトル（Ｄ）から上記第１のベクトル（Ｄ p）を差し引いて（Ｓ）上記第２のベクトル（Ｄ n）を得る段階を有する、請求項３記載の方法。 - 上記導出段階（ＤＵ）は更に、
上記サブピクセル精度の動きベクトル（Ｄ）に、１から上記分数（α）を差し引いた分数を乗算して（Ｍ２）上記第２のベクトル（Ｄ n）を得る段階を有する、請求項３記載の方法。 - 第１の画像（ｎ−１）と上記第１の画像から所与の時間的な距離だけ離れた第２の画像（ｎ）との間で、上記第１の画像（ｎ−１）から上記所与の距離を等分割したうちの何個分かを表わす分数（α）で表現される距離にある画像（ｎ−1/2）の補間又は予測に使用されることが意図されるサブピクセル精度の動きベクトル（Ｄ）を推定する装置であって、
上記装置は、
非整数値をとりうるベクトル成分を有する候補ベクトル（Ｃ）を発生する（ＭＥ）手段と、
上記候補ベクトル（Ｃ）から第１のベクトル（Ｃ p）及び第２のベクトル（Ｃ n）を導出する（ＤＵ）手段と、
上記第１のベクトル（Ｃ p）によってシフトされた（ＳＭＸ，ＬＭ１）上記第１の画像（ｎ−１）中の第１の位置と上記第２のベクトル（Ｃ n）によってシフトされた（ＩＮＴ，ＬＭ２）上記第２の画像（ｎ）中の第２の位置とを比較することによって上記候補ベクトル（Ｃ）を評価する（ＭＥ）手段とを有し、
上記導出（ＤＵ）手段は、
上記候補ベクトル（Ｃ）の上記ベクトル成分に上記分数（α）を乗算して（Ｍ）分数表現ベクトル成分を得る手段と、
上記分数表現ベクトル成分を丸めて（ＲＮＤ）整数ベクトル成分のみを有する上記第１のベクトル（Ｃ p）のベクトル成分を得る手段とを有し、上記第２のベクトル（Ｃ n）は非整数値をとりうるベクトル成分を有することを特徴とする装置。 - 上記導出手段（ＤＵ）は更に、
上記候補ベクトルから上記第１のベクトル（Ｃ p）を差し引いて（Ｓ）上記第２のベクトル（Ｃ n）を得る手段を有する、請求項６記載の装置。 - 第１の画像（ｎ−１）と上記第１の画像から所与の時間的な距離だけ離れた第２の画像（ｎ）とから、非整数値をとりうるベクトル成分を有するサブピクセル精度の動きベクトル（Ｄ）を用いて上記第１の画像（ｎ−１）から上記所与の距離を等分割したうちの何個分かを表わす分数（α）で表現される距離にある画像（ｎ−1/2）を生成する装置であって、
上記装置は、
上記サブピクセル精度の動きベクトル（Ｄ）から第１のベクトル（Ｄ p）及び第２のベクトル（Ｄ n）を導出する手段（ＤＵ）と、
上記第１のベクトル（Ｄ p）によってシフトされた（ＳＭＸ，ＬＭ１）上記第１の画像（ｎ−１）中の第１の位置と上記第２のベクトルによってシフトされた（ＩＮＴ，ＬＭ２）上記第２の画像（ｎ）中の第２の位置とを組み合わせることによって上記中間画像（ｎ−1/2）を生成する手段とを有し、
上記導出手段（ＤＵ）は、
上記サブピクセル精度の動きベクトル（Ｄ）の上記ベクトル成分に上記分数（α）を乗算して（Ｍ）分数表現ベクトル成分を得る手段と、
上記分数的なベクトル成分を丸めて（ＲＮＤ）整数ベクトル成分のみを有する上記第１のベクトル（Ｄ p）のベクトル成分を得る手段とを有し、上記第２のベクトル（Ｄ n）は非整数値をとりうるベクトル成分を有することを特徴とする装置。 - 上記導出手段（ＤＵ）は更に、
上記サブピクセル精度の動きベクトル（Ｄ）から上記第１のベクトル（Ｄ p）を差し引いて（Ｓ）上記第２のベクトル（Ｄ n）を得る手段を有する、請求項８記載の装置。 - 上記導出手段（ＤＵ）は更に、
上記サブピクセル精度の動きベクトル（Ｄ）に、１から上記分数（α）を差し引いた分数を乗算して（Ｍ２）上記第２のベクトル（Ｄ n）を得る手段を有する、請求項８記載の装置。 - テレビジョン信号を受信する手段と、
表示信号を得るために上記受信手段に結合される請求項８記載の生成装置と、
上記表示信号を表示する手段とを有する、テレビジョン装置。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP99201298.9 | 1999-04-26 | ||
| EP99201298 | 1999-04-26 | ||
| EP99202479.4 | 1999-07-28 | ||
| EP99202479 | 1999-07-28 | ||
| PCT/EP2000/003538 WO2000065829A1 (en) | 1999-04-26 | 2000-04-17 | Sub-pixel accurate motion vector estimation and motion-compensated interpolation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002543687A JP2002543687A (ja) | 2002-12-17 |
| JP4398099B2 true JP4398099B2 (ja) | 2010-01-13 |
Family
ID=26153310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000614654A Expired - Fee Related JP4398099B2 (ja) | 1999-04-26 | 2000-04-17 | サブピクセル精度の動きベクトル推定及び動き補償された補間 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6639944B1 (ja) |
| EP (1) | EP1090502B1 (ja) |
| JP (1) | JP4398099B2 (ja) |
| KR (1) | KR100624355B1 (ja) |
| DE (1) | DE60024389T2 (ja) |
| WO (1) | WO2000065829A1 (ja) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6987866B2 (en) * | 2001-06-05 | 2006-01-17 | Micron Technology, Inc. | Multi-modal motion estimation for video sequences |
| US7630566B2 (en) * | 2001-09-25 | 2009-12-08 | Broadcom Corporation | Method and apparatus for improved estimation and compensation in digital video compression and decompression |
| NO319629B1 (no) | 2003-11-28 | 2005-09-05 | Tandberg Telecom As | Fremgangsmate for korrigering av interpolerte pikselverdier |
| ATE481696T1 (de) * | 2005-01-14 | 2010-10-15 | Morpho Inc | Verfahren zur berechnung von bewegungsvektoren, vorrichtung zur korrektur von handbewegungen, die das verfahren verwendet, vorrichtung zur bildaufnahme und zur erzeugung von filmen |
| JP4736456B2 (ja) * | 2005-02-15 | 2011-07-27 | 株式会社日立製作所 | 走査線補間装置、映像表示装置、映像信号処理装置 |
| JP4798558B2 (ja) * | 2005-08-11 | 2011-10-19 | 学校法人東京理科大学 | 動物体検出装置および動物体検出方法 |
| KR100772390B1 (ko) | 2006-01-23 | 2007-11-01 | 삼성전자주식회사 | 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치 |
| JP4322904B2 (ja) | 2006-09-19 | 2009-09-02 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
| US8411709B1 (en) | 2006-11-27 | 2013-04-02 | Marvell International Ltd. | Use of previously buffered state information to decode in an hybrid automatic repeat request (H-ARQ) transmission mode |
| US8897393B1 (en) | 2007-10-16 | 2014-11-25 | Marvell International Ltd. | Protected codebook selection at receiver for transmit beamforming |
| US8542725B1 (en) | 2007-11-14 | 2013-09-24 | Marvell International Ltd. | Decision feedback equalization for signals having unequally distributed patterns |
| US8565325B1 (en) | 2008-03-18 | 2013-10-22 | Marvell International Ltd. | Wireless device communication in the 60GHz band |
| US20090262249A1 (en) * | 2008-04-22 | 2009-10-22 | Himax Media Solutions, Inc. | Interpolated frame generating method |
| US8213512B2 (en) * | 2008-05-28 | 2012-07-03 | Cyberlink Corp. | Determining an intermediate image |
| US8498342B1 (en) | 2008-07-29 | 2013-07-30 | Marvell International Ltd. | Deblocking filtering |
| US8761261B1 (en) * | 2008-07-29 | 2014-06-24 | Marvell International Ltd. | Encoding using motion vectors |
| US8345533B1 (en) | 2008-08-18 | 2013-01-01 | Marvell International Ltd. | Frame synchronization techniques |
| US8681893B1 (en) | 2008-10-08 | 2014-03-25 | Marvell International Ltd. | Generating pulses using a look-up table |
| US8520771B1 (en) | 2009-04-29 | 2013-08-27 | Marvell International Ltd. | WCDMA modulation |
| US8405769B2 (en) * | 2009-12-22 | 2013-03-26 | Intel Corporation | Methods and systems for short range motion compensation de-interlacing |
| JP2011182181A (ja) * | 2010-03-01 | 2011-09-15 | Nanao Corp | ブロック別動きベクトル演算装置またはその方法 |
| US8817771B1 (en) | 2010-07-16 | 2014-08-26 | Marvell International Ltd. | Method and apparatus for detecting a boundary of a data frame in a communication network |
| US8736767B2 (en) | 2010-09-29 | 2014-05-27 | Sharp Laboratories Of America, Inc. | Efficient motion vector field estimation |
| US10499078B1 (en) | 2017-02-07 | 2019-12-03 | Google Llc | Implicit motion compensation filter selection |
| KR101959888B1 (ko) | 2017-12-27 | 2019-03-19 | 인천대학교 산학협력단 | 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법 |
| WO2019234598A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between ibc and stmvp |
| CN113115046A (zh) | 2018-06-21 | 2021-07-13 | 北京字节跳动网络技术有限公司 | 分量相关的子块分割 |
| CN110636298B (zh) | 2018-06-21 | 2022-09-13 | 北京字节跳动网络技术有限公司 | 对于Merge仿射模式和非Merge仿射模式的统一约束 |
| WO2020065518A1 (en) | 2018-09-24 | 2020-04-02 | Beijing Bytedance Network Technology Co., Ltd. | Bi-prediction with weights in video coding and decoding |
| JP7324841B2 (ja) | 2018-11-10 | 2023-08-10 | 北京字節跳動網絡技術有限公司 | ビデオ・データ処理方法、装置、記憶媒体及び記憶方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0263112B1 (en) * | 1986-03-19 | 1992-06-03 | British Broadcasting Corporation | Video signal processing for bandwidth reduction |
| US5072293A (en) | 1989-08-29 | 1991-12-10 | U.S. Philips Corporation | Method of estimating motion in a picture signal |
| DE4023449C1 (ja) | 1990-07-24 | 1992-01-23 | Ant Nachrichtentechnik Gmbh, 7150 Backnang, De | |
| DE69323572T2 (de) | 1992-06-11 | 1999-09-16 | Koninklijke Philips Electronics N.V., Eindhoven | Anordnung zum bewegungsausgeglichenen Interpolieren eines Bildsignals |
| WO1995007591A1 (en) * | 1993-09-08 | 1995-03-16 | Thomson Multimedia S.A. | Method and apparatus for motion estimation using block matching |
| US5659364A (en) * | 1993-12-24 | 1997-08-19 | Matsushita Electric Industrial Co., Ltd. | Motion vector detection circuit |
| TW283289B (ja) * | 1994-04-11 | 1996-08-11 | Gen Instrument Corp | |
| US5886745A (en) * | 1994-12-09 | 1999-03-23 | Matsushita Electric Industrial Co., Ltd. | Progressive scanning conversion apparatus |
| US6020926A (en) * | 1994-12-30 | 2000-02-01 | Intel Corporation | Motion estimation block matching speedup |
| GB2301972B (en) * | 1995-06-06 | 1999-10-20 | Sony Uk Ltd | Video compression |
| GB2301971B (en) * | 1995-06-06 | 1999-10-06 | Sony Uk Ltd | Video compression |
| GB2305569B (en) * | 1995-09-21 | 1999-07-21 | Innovision Res Ltd | Motion compensated interpolation |
| US5623313A (en) * | 1995-09-22 | 1997-04-22 | Tektronix, Inc. | Fractional pixel motion estimation of video signals |
| US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
| EP1237376B1 (en) * | 1997-06-09 | 2015-08-05 | Hitachi, Ltd. | Image information recording medium |
| US6141382A (en) * | 1998-09-18 | 2000-10-31 | Sarnoff Corporation | Using estimated distortion values |
-
2000
- 2000-04-17 WO PCT/EP2000/003538 patent/WO2000065829A1/en not_active Ceased
- 2000-04-17 DE DE60024389T patent/DE60024389T2/de not_active Expired - Lifetime
- 2000-04-17 KR KR1020007014820A patent/KR100624355B1/ko not_active Expired - Fee Related
- 2000-04-17 EP EP00920727A patent/EP1090502B1/en not_active Expired - Lifetime
- 2000-04-17 JP JP2000614654A patent/JP4398099B2/ja not_active Expired - Fee Related
- 2000-04-26 US US09/559,895 patent/US6639944B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE60024389D1 (de) | 2006-01-05 |
| WO2000065829A1 (en) | 2000-11-02 |
| EP1090502B1 (en) | 2005-11-30 |
| US6639944B1 (en) | 2003-10-28 |
| EP1090502A1 (en) | 2001-04-11 |
| JP2002543687A (ja) | 2002-12-17 |
| DE60024389T2 (de) | 2006-08-03 |
| KR20010053215A (ko) | 2001-06-25 |
| KR100624355B1 (ko) | 2006-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4398099B2 (ja) | サブピクセル精度の動きベクトル推定及び動き補償された補間 | |
| JP4145351B2 (ja) | ビデオ信号の走査変換方法、装置およびビデオ信号表示装置 | |
| De Haan et al. | True-motion estimation with 3-D recursive search block matching | |
| KR100611517B1 (ko) | 디지털 신호의 보간 방법 및 시스템 | |
| US4771331A (en) | Motion compensating field interpolation method using a hierarchically structured displacement estimator | |
| EP1164792A2 (en) | Format converter using bidirectional motion vector and method thereof | |
| EP0648398B1 (en) | Motion compensated video processing | |
| EP0840982B1 (en) | Motion estimation | |
| US5793435A (en) | Deinterlacing of video using a variable coefficient spatio-temporal filter | |
| US20030103568A1 (en) | Pixel data selection device for motion compensated interpolation and method thereof | |
| US5444493A (en) | Method and apparatus for providing intra-field interpolation of video signals with adaptive weighting based on gradients of temporally adjacent fields | |
| Jung et al. | An effective de-interlacing technique using motion compensated interpolation | |
| JP2001054075A (ja) | 画像信号の動き補償走査変換回路 | |
| US5386237A (en) | Method and apparatus for adaptive progressive scan conversion | |
| JPH11298861A (ja) | 画像信号のフレーム数変換方法および装置 | |
| Bellers et al. | Advanced motion estimation and motion compensated de-interlacing | |
| KR100968642B1 (ko) | 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체 | |
| Al-Mualla | Motion field interpolation for frame rate conversion | |
| Biswas et al. | A novel de-interlacing technique based on phase plane correlation motion estimation | |
| Bellers et al. | New algorithm for motion estimation on interlaced video | |
| KR100382650B1 (ko) | 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
| de Haan et al. | Time-recursive de-interlacing for high-quality television receivers | |
| Helander | Motion compensated deinterlacer: analysis and implementation | |
| KR20020060836A (ko) | 비디오신호 처리 시스템에서의 영역별 움직임 판단 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
| de Haan | Video display format conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070413 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080227 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080305 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091022 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4398099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |