JPH06351001A - Motion vector detection method, motion compensation prediction method, and apparatus therefor - Google Patents
Motion vector detection method, motion compensation prediction method, and apparatus thereforInfo
- Publication number
- JPH06351001A JPH06351001A JP5137284A JP13728493A JPH06351001A JP H06351001 A JPH06351001 A JP H06351001A JP 5137284 A JP5137284 A JP 5137284A JP 13728493 A JP13728493 A JP 13728493A JP H06351001 A JPH06351001 A JP H06351001A
- Authority
- JP
- Japan
- Prior art keywords
- reference image
- motion vector
- pixel
- motion
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Error Detection And Correction (AREA)
Abstract
(57)【要約】
【目的】 画像処理の際に、予測画素のブロックまた
は、動き補償画素のブロックの一部が参照画像外を示す
動きベクトルを検出すること及び、このような動きベク
トルに対する動き補償画素を出力することが出来る優れ
たベクトル検出方法及び動き補償方法を提供する。
【構成】 動きベクトルに対する予測画像及び、動きベ
クトルに対する動き補償画素を出力する参照画像出力手
段１０２に参照画像の周辺画素を予測する周辺画素予測
手段１０３を設け予測画素のブロックまたは、動き補償
画素のブロックの一部が参照画像外を示す動きベクトル
を検出できること及び、このような動きベクトルに対す
る動き補償画素を出力できるように構成した。
(57) [Abstract] [Purpose] Detecting a motion vector in which a block of a prediction pixel or a part of a block of a motion compensation pixel indicates outside the reference image during image processing, and a motion for such a motion vector. Provided are an excellent vector detection method and motion compensation method capable of outputting a compensation pixel. A reference image output unit 102 for outputting a prediction image for a motion vector and a motion compensation pixel for a motion vector is provided with a peripheral pixel prediction unit 103 for predicting peripheral pixels of the reference image. The configuration is such that a motion vector indicating a part of the block outside the reference image can be detected and a motion compensation pixel for such a motion vector can be output.
Description
【０００１】[0001]
【産業上の利用分野】本発明は、テレビ会議、テレビ電
話、ケーブルテレビ等に使用する動き補償フレーム間符
号化、および復号化装置、及び、その時の動きベクトル
検出方法及び、動き補償方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion compensation interframe coding and decoding apparatus used for video conferences, videophones, cable televisions, etc., and a motion vector detection method and motion compensation method at that time.
【０００２】[0002]
【従来の技術】近年、デジタル技術の発達に伴い、フレ
ーム間動き補償予測圧縮符号化方式の研究が盛んに行わ
れている。かかる研究において、動きベクトル検出方法
及び動き補償方法は、フレーム間動き補償予測を行う上
で重要な技術である。2. Description of the Related Art In recent years, with the development of digital technology, research on inter-frame motion compensation predictive compression coding has been actively conducted. In this research, the motion vector detection method and the motion compensation method are important techniques for performing inter-frame motion compensation prediction.
【０００３】以下、従来の動きベクトル検出方法及び動
き補償方法について図面を用いて説明する。A conventional motion vector detecting method and motion compensating method will be described below with reference to the drawings.
【０００４】図７は従来の動きベクトル検出方法を適用
したシステムの概略図である。図７において７０１は動
きベクトルを検出する為の基準となる入力画像部、７０
２は参照画像部、７０３はパターンマッチングを行いマ
ッチング誤差を出力するマッチング誤差検出部、７０４
はマッチング誤差を比較する比較部、７０５は順次動き
ベクトルを発生する順次動きベクトル発生部、７０６、
７０８は動きベクトル発生１回分遅延させる遅延部、７
０７はスイッチである。FIG. 7 is a schematic diagram of a system to which a conventional motion vector detecting method is applied. In FIG. 7, reference numeral 701 denotes an input image portion serving as a reference for detecting a motion vector,
Reference numeral 2 is a reference image portion, 703 is a matching error detection portion for performing pattern matching and outputting a matching error, 704
Is a comparison unit for comparing matching errors, 705 is a sequential motion vector generation unit for generating sequential motion vectors, 706,
Reference numeral 708 denotes a delay unit for delaying one motion vector generation, 7
Reference numeral 07 is a switch.
【０００５】次に上記従来例の動作について説明する。
参照画像部７０２は順次動きベクトル発生部７０５で発
生された動きベクトルに従って予測画素を出力する。こ
の時の方法を図８を用いて説明する。図８は入力画像と
参照画像との対応関係及び動きベクトルを示す図であ
る。今、入力画像中の予測されるブロックの画素を Ｐｉ（ｘ，ｙ）｛ｉ＜＝ｘ＜ｉ＋ｎ−１，ｊ＜＝ｙ＜ｊ
＋ｍ−１｝ 動きベクトルＭＶを（ＭＶｘ，ＭＶｙ）とすると、予測
画素は参照画像の画素 Ｐｒ（ｘ，ｙ）｛ｉ＋ＭＶｘ＜＝ｘ＜ｉ＋ＭＶｘ＋ｎ−
１，ｊ＋ＭＶｙ＜＝ｙ＜ｊ＋ＭＶｙ＋ｍ−１｝ となる。即ち動きベクトル０の予測画素は入力画像の画
素位置と同じ位置の参照画像の画素であり、動きベクト
ルが０以外の予測画素は動きベクトル値だけ移動した位
置の画素である。このように参照画像部７０２は予測画
素を出力する。Next, the operation of the above conventional example will be described.
The reference image unit 702 sequentially outputs predicted pixels according to the motion vector generated by the motion vector generation unit 705. The method at this time will be described with reference to FIG. FIG. 8 is a diagram showing a correspondence relationship between an input image and a reference image and a motion vector. Now, the pixel of the predicted block in the input image is Pi (x, y) {i <= x <i + n-1, j <= y <j
+ M-1} If the motion vector MV is (MVx, MVy), the predicted pixel is a pixel of the reference image Pr (x, y) {i + MVx <= x <i + MVx + n-
1, j + MVy <= y <j + MVy + m-1}. That is, the prediction pixel of the motion vector 0 is the pixel of the reference image at the same position as the pixel position of the input image, and the prediction pixel having a motion vector other than 0 is the pixel at the position moved by the motion vector value. In this way, the reference image section 702 outputs the predicted pixel.
【０００６】順次動きベクトル発生部７０５は、検出す
る動きベクトルの精度、範囲に応じて候補となる動きベ
クトルを順次発生する。このとき、順次動きベクトル発
生部７０５は、動きベクトルによって示される画素の位
置に、参照画像の画素が無い場合（参照画像の範囲外の
位置）の動きベクトルを除いて出力する。参照画像部７
０２より出力された予測画素は、マッチング誤差検出部
７０３に入力され入力画像部より出力されるブロックと
のパターンマッチングを行ない、マッチング誤差を比較
部７０４に出力する。The sequential motion vector generation unit 705 sequentially generates candidate motion vectors according to the accuracy and range of the detected motion vector. At this time, the sequential motion vector generation unit 705 outputs the motion vector when there is no pixel of the reference image at the position of the pixel indicated by the motion vector (a position outside the range of the reference image). Reference image part 7
The predicted pixel output from 02 is input to the matching error detection unit 703, pattern matching is performed with the block output from the input image unit, and the matching error is output to the comparison unit 704.
【０００７】比較部７０４は、遅延部７０６から出力さ
れるマッチング誤差と、マッチング誤差部７０４から出
力されるマッチング誤差との比較を行ない、小さい方を
出力する。また、同時にマッチング誤差部７０３から出
力されたマッチング誤差の方が小さい場合には、スイッ
チ７０７が出力端子７０９と順次動きベクトル発生部７
０５の出力を接続させるための信号を出力する。The comparison unit 704 compares the matching error output from the delay unit 706 with the matching error output from the matching error unit 704, and outputs the smaller one. At the same time, if the matching error output from the matching error unit 703 is smaller, the switch 707 is connected to the output terminal 709 and the sequential motion vector generation unit 7 in sequence.
The signal for connecting the output of 05 is output.
【０００８】これにより、順次動きベクトル発生部７０
５が発生した動きベクトルの中で入力ブロックと予測画
素とのマッチング誤差が最小の動きベクトル値を端子７
０９に出力する。As a result, the sequential motion vector generator 70
Among the motion vectors generated by No. 5, the motion vector value with the smallest matching error between the input block and the prediction pixel is set to the terminal 7
It outputs to 09.
【０００９】参照画像部７０２は入力された動きベクト
ルに従って動き補償画素を端子に出力する。出力される
動き補償画素は、前述の図８に示す予測画素と同じ操作
で得られる。The reference image section 702 outputs a motion compensation pixel to a terminal according to the input motion vector. The output motion compensation pixel is obtained by the same operation as the above-described prediction pixel shown in FIG.
【００１０】このように上記従来の動きベクトル検出及
び動き補償方式でも、動きベクトルで示された画素を予
測または動き補償画素とすることにより動きベクトル検
出及び動き補償を行うことができる。As described above, also in the above-described conventional motion vector detection and motion compensation method, motion vector detection and motion compensation can be performed by using the pixel indicated by the motion vector as a prediction or motion compensation pixel.
【００１１】[0011]
【発明が解決しようとする課題】しかしながら、上記従
来の動きベクトル検出方法及び、動き補償方法では予測
画素のブロックまたは、動き補償画素のブロックの一部
が参照画像外を示す動きベクトルを検出すること及び、
このような動きベクトルに対する動き補償画素を出力す
ることが出来ないという問題があった。However, in the above-described conventional motion vector detection method and motion compensation method, it is necessary to detect a motion vector in which a block of a prediction pixel or a part of a block of a motion compensation pixel indicates outside the reference image. as well as,
There is a problem that it is not possible to output a motion compensation pixel for such a motion vector.
【００１２】本発明は、このような従来の問題を解決す
るもであり、予測画素のブロックまたは、動き補償画素
のブロックの一部が参照画像外を示す動きベクトルを検
出すること及び、このような動きベクトルに対する動き
補償画素を出力することが出来る優れたベクトル検出方
法及び動き補償方法並びにその装置を提供することを目
的としたものである。The present invention solves such a conventional problem by detecting a motion vector in which a block of a prediction pixel or a part of a block of a motion compensation pixel indicates outside the reference image, and It is an object of the present invention to provide an excellent vector detection method and motion compensation method that can output motion compensation pixels for various motion vectors, and an apparatus thereof.
【００１３】[0013]
【課題を解決するための手段】本発明は上記目的を達成
する為に、動きベクトルに対する予測画像及び、動きベ
クトルに対する動き補償画素を出力する参照画像部に参
照画像の周辺画素を予測する周辺画素予測部を設け予測
画素のブロックまたは、動き補償画素のブロックの一部
が参照画像外を示す動きベクトルを検出できること及
び、このような動きベクトルに対する動き補償画素を出
力できるように構成したものである。In order to achieve the above object, the present invention provides a predictive image for a motion vector and a peripheral pixel for predicting a peripheral pixel of the reference image in a reference image section for outputting a motion compensation pixel for the motion vector. A prediction unit is provided so that a block of prediction pixels or a part of a block of motion compensation pixels can detect a motion vector indicating outside the reference image, and a motion compensation pixel for such a motion vector can be output. .
【００１４】[0014]
【作用】したがって本発明によれば、入力画像とマッチ
ング誤差を検出するための参照画像をその周辺画素まで
予測して予測画素を生成することにより、参照画像外を
示す動きベクトルを検出できるとともに、このような動
きベクトルに対する動き補償画素を生成して出力でき
る。Therefore, according to the present invention, it is possible to detect a motion vector indicating outside the reference image by predicting the reference image for detecting a matching error with the input image up to its peripheral pixels and generating a prediction pixel. A motion compensation pixel for such a motion vector can be generated and output.
【００１５】[0015]
【実施例】図１は本発明の動きベクトル検出方法を適用
したシステムの一実施例の構成を示すものである。図１
において、１０１は入力画像出力手段、１０２は参照画
像出力手段、１０３は周辺画素予測手段、１０４は拡張
参照画像出力手段、１０５は切替手段、１０６はマッチ
ング誤差検出手段、１０７は比較手段、１０８は順次動
きベクトル出力手段、１０９は切替手段、１１０、１１
１は遅延手段、１１２は検出された動きベクトルの出力
である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 shows the configuration of an embodiment of a system to which the motion vector detecting method of the present invention is applied. Figure 1
In 101, 101 is an input image output unit, 102 is a reference image output unit, 103 is a peripheral pixel prediction unit, 104 is an extended reference image output unit, 105 is a switching unit, 106 is a matching error detection unit, 107 is a comparison unit, and 108 is Sequential motion vector output means, 109 is switching means, 110, 11
Reference numeral 1 is a delay means, and 112 is an output of the detected motion vector.
【００１６】次に、上記実施例の動作について説明す
る。上記実施例において、入力画像出力手段１０１は、
入力画像中の動きベクトルを検出するブロック毎に対応
する画素値（画像）をマッチング誤差検出手段１０６に
出力する。Next, the operation of the above embodiment will be described. In the above embodiment, the input image output means 101 is
The pixel value (image) corresponding to each block for detecting the motion vector in the input image is output to the matching error detection means 106.
【００１７】順次動きベクトル出力手段１０８は、予め
決められた検出する動きベクトルの精度、範囲を満足す
る全ての動きベクトルを順番に出力する。出力された動
きベクトルはそれぞれ参照画像出力手段１０２、拡張参
照画像出力手段１０４、切換手段１０５および１０９に
与えられる。参照画像出力手段１０２は、入力された動
きベクトルに対応する動き補償予測画素を出力する。但
し、動きベクトルに対応する動き補償予測画素が参照画
像の範囲を超える場合には何も出力しない。周辺画素予
測手段１０３は、参照画像出力手段から出力される参照
画像をもとに、参照画像の周辺部の画素を予測し拡張参
照画像出力手段１０４に出力する。The sequential motion vector output means 108 sequentially outputs all the motion vectors that satisfy the predetermined accuracy and range of the motion vector to be detected. The output motion vector is given to the reference image output means 102, the extended reference image output means 104, and the switching means 105 and 109, respectively. The reference image output means 102 outputs the motion compensation prediction pixel corresponding to the input motion vector. However, if the motion compensation prediction pixel corresponding to the motion vector exceeds the range of the reference image, nothing is output. The peripheral pixel prediction unit 103 predicts the pixels in the peripheral portion of the reference image based on the reference image output from the reference image output unit, and outputs the predicted pixels to the extended reference image output unit 104.
【００１８】拡張参照画像出力手段１０４は、順次動き
ベクトル出力手段１０８から出力された動きベクトルに
対応する画素が参照画像外の場合、対応する周辺画素を
切替え手段１０５に出力する。切替手段１０５は、入力
される動きベクトルの値により、動き補償予測画素が参
照画像出力手段１０２から出力される場合には、参照画
像出力手段１０２とマッチング誤差検出手段１０６を接
続し、動き補償予測画素が拡張参照画像出力手段１０４
から出力される場合には周辺参照画像出力手段１０４と
マッチング誤差検出手段１０６を接続する。The extended reference image output means 104 outputs corresponding peripheral pixels to the switching means 105 when the pixels corresponding to the motion vectors sequentially output from the motion vector output means 108 are outside the reference image. The switching unit 105 connects the reference image output unit 102 and the matching error detection unit 106 when the motion compensation prediction pixel is output from the reference image output unit 102 according to the value of the input motion vector, and the motion compensation prediction is performed. Pixel is extended reference image output means 104
In the case of the output from, the peripheral reference image output means 104 and the matching error detection means 106 are connected.
【００１９】マッチング誤差検出手段１０６は、入力ブ
ロック画像と動き補償予測画素とのマッチング誤差を算
出し、比較手段１０７に出力する。比較手段１０７は、
遅延手段１１０から出力される既に出力された動きベク
トルに対する最小のマッチング誤差と、切替手段１０５
から出力されるマッチング誤差とを比較し、小さい方の
マッチング誤差を遅延手段１１０に出力する。また、同
時に切替手段１０５のマッチング誤差が切替え手段１１
０の出力より小さい場合には、順次動きベクトル出力手
段１０８の出力を、端子１１２に接続するように切替手
段１０９を制御する。切替手段１０９は、比較手段１０
７の比較結果に従い、順次動きベクトル出力手段１０２
の出力と遅延手段１１１の出力の切替えを行なう。The matching error detecting means 106 calculates a matching error between the input block image and the motion compensation prediction pixel and outputs it to the comparing means 107. The comparison means 107
The minimum matching error with respect to the already output motion vector output from the delay unit 110 and the switching unit 105.
Is compared with the matching error output from the delay unit 110 and the smaller matching error is output to the delay unit 110. At the same time, the matching error of the switching means 105 is caused by the switching means 11.
If the output is smaller than 0, the switching unit 109 is controlled so that the output of the motion vector output unit 108 is sequentially connected to the terminal 112. The switching means 109 is the comparing means 10
In accordance with the comparison result of No. 7, the sequential motion vector output unit 102
And the output of the delay means 111 are switched.
【００２０】図２に周辺画素予測手段１０３から出力さ
れる拡張参照画像と参照画像との位置関係を示す。黒丸
は予測された拡張参照画像（周辺画素）であり、白丸は
参照画像手段から与えられる参照画素である。この図２
からもわかるように、拡張参照画像は参照画像の周辺の
画像であり、参照画像との相関が高い。この特性を利用
し、図１の周辺画素予測手段１０３は参照画像から拡張
参照画像を予測出力する。FIG. 2 shows the positional relationship between the extended reference image output from the peripheral pixel prediction means 103 and the reference image. Black circles are predicted extended reference images (peripheral pixels), and white circles are reference pixels given from the reference image means. This Figure 2
As can be seen from the above, the extended reference image is an image around the reference image and has a high correlation with the reference image. By utilizing this characteristic, the peripheral pixel prediction unit 103 in FIG. 1 predictively outputs the extended reference image from the reference image.
【００２１】次に周辺画素予測方法についての一実施例
を図３に示す。図３に示すように参照画像の画像サイズ
を横Ｎｘ画素、縦Ｎｙ画素、拡張参照画像の画像サイズ
を参照画像を左右方向それぞれＥｘ画素、上下方向それ
ぞれＥｙ画素拡張したものとする場合、拡張参照画像の
画素Ｐｒｉ，ｊは以下に示す様に、参照画像の全画素値
の平均値にすることにより参照画像と相関のある拡張参
照画像を出力することができる。Next, FIG. 3 shows an embodiment of a peripheral pixel prediction method. As shown in FIG. 3, when the image size of the reference image is horizontally Nx pixels and vertically Ny pixels, and the image size of the extended reference image is extended by Ex pixels in the horizontal direction and Ey pixels in the vertical direction, respectively, extended reference As shown below, the pixel Pri, j of the image can output an extended reference image correlated with the reference image by setting the average value of all pixel values of the reference image.
【００２２】[0022]
【数１】 [Equation 1]
【００２３】また、図４に周辺画素予測方法の別の一実
施例を示す。拡張参照画像および参照画像の画像サイズ
は図３と同じとする。この図４の実施例は、画像は画素
と画素の距離が近いほど相関が高いことを利用して、拡
張参照画像中の周辺画素を最も近い位置の参照画像の画
素値とする。すなわち周辺画素Ｐｒｉ，ｊはFIG. 4 shows another embodiment of the peripheral pixel prediction method. The image sizes of the extended reference image and the reference image are the same as those in FIG. The embodiment of FIG. 4 uses the fact that the closer the distance between pixels is in the image, the higher the correlation, and the peripheral pixels in the extended reference image are set as the pixel values of the reference image at the closest position. That is, the peripheral pixels Pri, j are
【００２４】[0024]
【数２】 [Equation 2]
【００２５】とする。また、図５にインターレース画像
（飛び越し走査画像）の場合の周辺画素予測方法の一実
施例を示す。図４と同様に、拡張参照画像及び参照画像
の画像サイズは図３と同じとする。インターレース画像
の場合には、フィールド毎にサンプリングされた時間が
異なるので、前述の実施例の様に相関の度合がそれぞれ
の画素間の距離が小さいほど高いとは必ずしも限らな
い。すなわち、同一のフィールド内では画素の距離が小
さいほど相関が高いが、フィールドの異なる画素同志の
相関はたとえ距離が小さくても相関が低い場合が多い。
特に動き補償予測を行う場合にはフィールド間で動きの
あることが前提であり、この場合にはフィールドが異な
ると特にこの傾向が大きくなる。It is assumed that Further, FIG. 5 shows an embodiment of a peripheral pixel prediction method in the case of an interlaced image (interlaced scanning image). Similar to FIG. 4, the image sizes of the extended reference image and the reference image are the same as those in FIG. In the case of an interlaced image, since the sampling time is different for each field, the degree of correlation is not necessarily higher as the distance between pixels is smaller as in the above-described embodiment. That is, the smaller the distance between pixels in the same field, the higher the correlation, but the correlation between pixels in different fields is often low even if the distance is small.
In particular, when performing motion compensation prediction, it is premised that there is motion between fields, and in this case, this tendency becomes particularly large when the fields are different.
【００２６】したがって本実施例では、予測される画素
と同一のフィールドでの最も距離の近い画素を、周辺画
素として出力する周辺画素予測方法を示している。この
方法を式で表わすと拡張参照画像の周辺画素Ｐｒｉ，ｊ
はTherefore, the present embodiment shows the peripheral pixel prediction method in which the pixel having the shortest distance in the same field as the predicted pixel is output as the peripheral pixel. When this method is expressed by an equation, peripheral pixels Pri, j of the extended reference image
Is
【００２７】[0027]
【数３】 [Equation 3]
【００２８】で表わすことができる。次に動き補償予測
方法を適用したシステムの一実施例を図６に示す。図６
において、６０１は動きベクトルを入力する入力端子、
６０２は参照画像出力手段、６０３は周辺画素予測手
段、６０４は拡張参照画像出力手段、６０５は予測画素
を出力する端子である。Can be represented by Next, FIG. 6 shows an embodiment of a system to which the motion compensation prediction method is applied. Figure 6
, 601 is an input terminal for inputting a motion vector,
Reference numeral 602 is a reference image output unit, 603 is a peripheral pixel prediction unit, 604 is an extended reference image output unit, and 605 is a terminal for outputting a prediction pixel.
【００２９】次に図６に示すシステムの動作を説明す
る。動き補償予測を行うための動きベクトルは、端子６
０１より入力され拡張参照画像出力手段６０４に入力さ
れる。また、動き補償予測を行うための参照画像は、参
照画像出力手段６０２から周辺画素予測手段６０３及び
拡張参照画像出力手段６０４に出力される。周辺画素予
測手段６０３は、拡張参照画像を作成するための周辺画
素を予測し、拡張参照画像出力手段６０４に出力する。
拡張参照画像出力手段６０４は、端子６０１から入力さ
れた動きベクトルにしたがって、拡張された参照画像か
ら動き補償予測画素を端子６０５に出力する。このとき
拡張された参照画像から動き補償予測が行われるため、
参照画像の範囲を超えた動きベクトルに対する動き補償
予測を行うことができる。Next, the operation of the system shown in FIG. 6 will be described. The motion vector for performing motion compensation prediction is the terminal 6
01 is input to the extended reference image output unit 604. Further, the reference image for performing the motion compensation prediction is output from the reference image output unit 602 to the peripheral pixel prediction unit 603 and the extended reference image output unit 604. The peripheral pixel prediction unit 603 predicts the peripheral pixels for creating the extended reference image, and outputs them to the extended reference image output unit 604.
The extended reference image output unit 604 outputs the motion-compensated prediction pixel from the extended reference image to the terminal 605 according to the motion vector input from the terminal 601. At this time, since motion compensation prediction is performed from the expanded reference image,
It is possible to perform motion compensation prediction for a motion vector that exceeds the range of the reference image.
【００３０】図６の周辺画素予測手段６０３の周辺画素
予測方法は、前述の動きベクトル検出方法における周辺
画素予測方法と同じ方法にて行うことができる。The peripheral pixel predicting method of the peripheral pixel predicting means 603 shown in FIG. 6 can be performed by the same method as the peripheral pixel predicting method in the above-described motion vector detecting method.
【００３１】[0031]
【発明の効果】以上のように本発明は、周辺画素を予測
する手段を設けることにより、参照画像の画像サイズを
拡張し、動き補償するブロックの一部が参照画像を超え
る様な動きベクトルに対しても、動きベクトルの検出及
び、検出された動きベクトルに対する動き補償予測を検
出することができる。また、この動きベクトル検出及び
動き補償予測をフレーム間動き補償予測符号化器に用い
ることにより、より広い範囲の動きベクトルに対するフ
レーム間動き補償を行うことができ符号化画像の画質を
向上できるという利点を有する。As described above, according to the present invention, by providing means for predicting the peripheral pixels, the image size of the reference image is expanded, and a motion vector such that a part of the block for motion compensation exceeds the reference image is obtained. Also, it is possible to detect the motion vector and the motion-compensated prediction for the detected motion vector. Further, by using this motion vector detection and motion compensation prediction in an interframe motion compensation predictive encoder, it is possible to perform interframe motion compensation for a wider range of motion vectors and improve the quality of encoded images. Have.
【図１】本発明の動きベクトル検出方法を適用したシス
テムの一実施例の構成を示す図FIG. 1 is a diagram showing a configuration of an embodiment of a system to which a motion vector detecting method of the present invention is applied.
【図２】図１における周辺画素予測手段から出力される
拡張参照画像と参照画像との位置関係を示す図FIG. 2 is a diagram showing a positional relationship between an extended reference image and a reference image output from a peripheral pixel prediction unit in FIG.
【図３】本発明の周辺画素予測方法の一実施例を示す図FIG. 3 is a diagram showing an embodiment of a peripheral pixel prediction method of the present invention.
【図４】本発明の周辺画素予測方法の別の実施例を示す
図FIG. 4 is a diagram showing another embodiment of the peripheral pixel prediction method of the present invention.
【図５】本発明のインターレース画像の場合の周辺画素
予測方法の一実施例を示す図FIG. 5 is a diagram showing an embodiment of a peripheral pixel prediction method for an interlaced image according to the present invention.
【図６】本発明の動き補償予測方法を適用したシステム
のの一実施例を示す図FIG. 6 is a diagram showing an embodiment of a system to which the motion compensation prediction method of the present invention is applied.
【図７】従来の動きベクトル検出方法を適用したシステ
ムの概略図FIG. 7 is a schematic diagram of a system to which a conventional motion vector detection method is applied.
【図８】入力画像と参照画像との対応関係及び動きベク
トルを示す図FIG. 8 is a diagram showing a correspondence relationship between an input image and a reference image and a motion vector.
１０１ 入力画像出力手段 １０２ 参照画像 １０３ 周辺画素予測手段 １０４ 拡張参照画像出力手段 １０５ 切替手段 １０６ マッチング誤差検出手段 １０７ 比較手段 １０８ 順次動きベクトル出力手段 １０９ 切替手段 １１０ 遅延手段 １１１ 遅延手段 101 Input Image Output Means 102 Reference Image 103 Peripheral Pixel Prediction Means 104 Extended Reference Image Output Means 105 Switching Means 106 Matching Error Detection Means 107 Comparing Means 108 Sequential Motion Vector Output Means 109 Switching Means 110 Delay Means 111 Delay Means
Claims (9)
し、各ブロック毎に参照画像とパターンマッチングを行
って該当ブロック部の動きベクトルを検出する方法であ
って、参照画像の周辺部に画素を定義し、見掛け上参照
画像の大きさを大きくすることにより、ブロックの一部
がもとの参照画像外に対応する動きベクトルを検出する
ことを特徴とする動きベクトル検出方法。1. A method for detecting a motion vector of a corresponding block portion by dividing an input image into one or more blocks and performing pattern matching with the reference image for each block, wherein pixels are provided in the peripheral portion of the reference image. Is defined, and the size of the reference image is increased apparently to detect a motion vector in which a part of the block corresponds to outside the original reference image.
て、参照画像の周辺部の画素を最も近い参照画像の画素
と定義し、ブロックの一部がもとの参照画像外に対応す
る動きベクトルを検出することを特徴とする動きベクト
ル検出方法。2. The motion vector detecting method according to claim 1, wherein pixels in a peripheral portion of the reference image are defined as pixels of the closest reference image, and a motion vector corresponding to a part of the block outside the original reference image is defined. A motion vector detection method characterized by detecting.
て、参照画像の周辺部の画素を参照画像のすべての画素
の平均値と定義し、ブロックの一部がもとの参照画像外
に対応する動きベクトルを検出することを特徴とする動
きベクトル検出方法。3. The motion vector detection method according to claim 1, wherein pixels in a peripheral portion of the reference image are defined as an average value of all pixels of the reference image, and a part of the block corresponds to a portion outside the original reference image. A motion vector detection method characterized by detecting a motion vector.
て、参照画像の左右方向の周辺部の画素を最も近い参照
画像の画素と定義し、かつ上下方向の周辺部の画素を、
その画素と一番近い参照画像の画素迄の垂直方向の距離
により、その距離が奇数ラインの場合には参照画像中の
１ライン内側で最も近い距離の画素、偶数ラインの場合
には参照画像中の外側で最も距離の近い画素と定義する
ことによってブロックの一部がもとの参照画像外に対応
する動きベクトルを検出することを特徴とする動きベク
トル検出方法。4. The motion vector detecting method according to claim 1, wherein the pixels in the peripheral portion of the reference image in the horizontal direction are defined as the pixels of the closest reference image, and the pixels in the peripheral portion in the vertical direction are defined as
Depending on the vertical distance to that pixel and the pixel of the closest reference image, if that distance is an odd line, the pixel closest to the inside of one line in the reference image, and if it is an even line, in the reference image A motion vector detecting method characterized in that a motion vector corresponding to a part of the block outside the original reference image is detected by defining it as a pixel having the shortest distance outside the.
ブロック毎に動きベクトルが与えられその動きベクトル
に従って参照画像の画素から当該ブロックの動き補償画
素を算出する方法であって、動きベクトルの値が参照画
像の範囲を超える時に参照画像外の画素を最も距離の近
い参照画像内の画素で置き換え参照画像外の動きベクト
ルに対して動き補償を行うことを特徴とする補償方式。5. A method of dividing an image into one or more blocks, giving a motion vector for each block, and calculating a motion compensation pixel of the block from a pixel of a reference image according to the motion vector, When the value of exceeds the range of the reference image, pixels outside the reference image are replaced with pixels within the reference image having the shortest distance, and motion compensation is performed on the motion vector outside the reference image.
ブロック毎に動きベクトルが与えられその動きベクトル
に従って参照画像の画素から当該ブロックの動き補償画
素を算出する方法であって、動きベクトルの値が参照画
像の範囲を超える時に参照画像外の画素を参照画像のす
べての画素の平均値で置き換え参照画像外の動きベクト
ルに対しても動き補償を行うことを特徴とする動き補償
予測方法。6. A method of dividing an image into one or more blocks, giving a motion vector to each block, and calculating a motion compensation pixel of the block from a pixel of a reference image according to the motion vector. Compensation prediction method characterized by replacing pixels outside the reference image with the average value of all pixels in the reference image when the value of is beyond the range of the reference image and performing motion compensation for the motion vector outside the reference image .
ブロック毎に動きベクトルが与えられその動きベクトル
に従って参照画像の画素から当該ブロックの動き補償画
素を算出する方法であって、動きベクトルの値が参照画
像の範囲を超える時に、参照画像外の画素の位置が参照
画像の左右方向の場合には最も近い参照画像の画素で置
き換え、上下方向の場合にはその画素と一番近い参照画
像の画素までの垂直方向の距離により、その距離が奇数
ラインの場合には参照画像中の１ライン内側で最も近い
距離の画素で、偶数ラインの場合には参照画像中の外側
で最も距離の近い画素で置き換え参照画像外の動きベク
トルに対して動き補償を行うことを特徴とする動き補償
予測方法。7. A method of dividing an image into one or more blocks, giving a motion vector for each block, and calculating a motion compensation pixel of the block from a pixel of a reference image according to the motion vector. When the value of exceeds the range of the reference image, if the position of the pixel outside the reference image is in the horizontal direction of the reference image, it is replaced with the pixel of the closest reference image, and if it is in the vertical direction, the reference closest to that pixel Depending on the vertical distance to the pixel of the image, if the distance is an odd line, the pixel of the closest distance inside one line in the reference image, and if the distance is an even line, the distance of the outermost pixel in the reference image A motion-compensated prediction method characterized in that motion compensation is performed on a motion vector outside a replacement reference image with pixels close to each other.
１つの方法を用いた動き補償フレーム間予測符号化装
置。8. A motion-compensated interframe predictive coding apparatus using at least one method according to claim 1.
１つの方法を用いた動き補償フレーム間予測複号化装
置。9. A motion-compensated interframe prediction decoding apparatus using at least one of the methods according to claims 5 to 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5137284A JPH06351001A (en) | 1993-06-08 | 1993-06-08 | Motion vector detection method, motion compensation prediction method, and apparatus therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5137284A JPH06351001A (en) | 1993-06-08 | 1993-06-08 | Motion vector detection method, motion compensation prediction method, and apparatus therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06351001A true JPH06351001A (en) | 1994-12-22 |
Family
ID=15195091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5137284A Pending JPH06351001A (en) | 1993-06-08 | 1993-06-08 | Motion vector detection method, motion compensation prediction method, and apparatus therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06351001A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997028650A1 (en) * | 1996-01-29 | 1997-08-07 | Matsushita Electric Industrial Co., Ltd. | Method for supplementing digital image with picture element, and digital image encoder and decoder using the same |
| JP2006211192A (en) * | 2005-01-27 | 2006-08-10 | Matsushita Electric Ind Co Ltd | Moving picture compression apparatus and moving picture compression processing method |
| JP2008510359A (en) * | 2004-08-13 | 2008-04-03 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | Panorama motion estimation and compensation |
| JP2008510358A (en) * | 2004-08-13 | 2008-04-03 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | Motion estimation and compensation for panorama video |
| JP2009187138A (en) * | 2008-02-04 | 2009-08-20 | Konica Minolta Holdings Inc | Corresponding point retrieving device |
| WO2010082231A1 (en) | 2009-01-15 | 2010-07-22 | ルネサスエレクトロニクス株式会社 | Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder |
| WO2010100672A1 (en) | 2009-03-04 | 2010-09-10 | ルネサスエレクトロニクス株式会社 | Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method |
| JP2012010031A (en) * | 2010-06-23 | 2012-01-12 | Nippon Hoso Kyokai <Nhk> | Motion compensation apparatus |
| CN103888780A (en) * | 2009-03-04 | 2014-06-25 | 瑞萨电子株式会社 | Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method and dynamic image decoding method |
| WO2015059880A1 (en) * | 2013-10-22 | 2015-04-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Motion compensation method, image encoding method, image decoding method, image encoding device and image decoding device |
| JP2016526853A (en) * | 2013-07-12 | 2016-09-05 | サムスン エレクトロニクス カンパニー リミテッド | Inter-layer video decoding method and apparatus using depth-based disparity vector, and inter-layer video encoding method and apparatus using depth-based disparity vector |
-
1993
- 1993-06-08 JP JP5137284A patent/JPH06351001A/en active Pending
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997028650A1 (en) * | 1996-01-29 | 1997-08-07 | Matsushita Electric Industrial Co., Ltd. | Method for supplementing digital image with picture element, and digital image encoder and decoder using the same |
| AU721588B2 (en) * | 1996-01-29 | 2000-07-06 | Matsushita Electric Industrial Co., Ltd. | Method for supplementing digital image with picture element, and digital image encoder and decoder using the same |
| US6577771B1 (en) | 1996-01-29 | 2003-06-10 | Matsushita Electric Industrial Co., Ltd. | Method for supplementing digital image with picture element, and digital image encoder and decoder using the same |
| US6591018B2 (en) | 1996-01-29 | 2003-07-08 | Matsushita Electric Industrial Co., Ltd. | Method for supplementing digital image with picture element, and digital image encoder and decoder using the same |
| KR100386190B1 (en) * | 1996-01-29 | 2003-08-19 | 마쯔시다덴기산교 가부시키가이샤 | Method for supplementing digital image with picture element, and digital image encoder and decoder using the same |
| US6873736B2 (en) | 1996-01-29 | 2005-03-29 | Matsushita Electric Industrial Co., Ltd. | Method for supplementing digital image with picture element, and digital image encoder and decoder using the same |
| JP4842945B2 (en) * | 2004-08-13 | 2011-12-21 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | Panorama motion estimation and compensation |
| JP2008510358A (en) * | 2004-08-13 | 2008-04-03 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | Motion estimation and compensation for panorama video |
| JP2008510359A (en) * | 2004-08-13 | 2008-04-03 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | Panorama motion estimation and compensation |
| JP4846719B2 (en) * | 2004-08-13 | 2011-12-28 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | Panorama motion estimation and compensation |
| JP2006211192A (en) * | 2005-01-27 | 2006-08-10 | Matsushita Electric Ind Co Ltd | Moving picture compression apparatus and moving picture compression processing method |
| JP2009187138A (en) * | 2008-02-04 | 2009-08-20 | Konica Minolta Holdings Inc | Corresponding point retrieving device |
| KR20160014108A (en) | 2009-01-15 | 2016-02-05 | 르네사스 일렉트로닉스 가부시키가이샤 | Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder |
| US9503728B2 (en) | 2009-01-15 | 2016-11-22 | Renesas Electronics Corporation | Image processing device, decoding method, intra-frame decoder, method of decoding intra-frame and intra-frame encoder |
| EP3376768A1 (en) | 2009-01-15 | 2018-09-19 | Renesas Electronics Corporation | Image processing device, decoding method, intra-frame decoder, method of decoding intra-frame and intra-frame encoder |
| CN102282851A (en) * | 2009-01-15 | 2011-12-14 | 瑞萨电子株式会社 | Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder |
| WO2010082231A1 (en) | 2009-01-15 | 2010-07-22 | ルネサスエレクトロニクス株式会社 | Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder |
| JP5170800B2 (en) * | 2009-01-15 | 2013-03-27 | ルネサスエレクトロニクス株式会社 | Image processing apparatus, decoding method, intraframe decoding apparatus, intraframe decoding method, and intraframe encoding apparatus |
| CN103888780A (en) * | 2009-03-04 | 2014-06-25 | 瑞萨电子株式会社 | Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method and dynamic image decoding method |
| EP2773123A1 (en) | 2009-03-04 | 2014-09-03 | Renesas Electronics Corporation | Padding of frame boundaries for video coding |
| US8958479B2 (en) | 2009-03-04 | 2015-02-17 | Renesas Electronics Corporation | Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method |
| KR20160017100A (en) | 2009-03-04 | 2016-02-15 | 르네사스 일렉트로닉스 가부시키가이샤 | Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method |
| WO2010100672A1 (en) | 2009-03-04 | 2010-09-10 | ルネサスエレクトロニクス株式会社 | Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method |
| CN103888780B (en) * | 2009-03-04 | 2017-06-16 | 瑞萨电子株式会社 | Moving picture encoding device, dynamic image decoding device, motion image encoding method and dynamic image decoding method |
| US9813703B2 (en) | 2009-03-04 | 2017-11-07 | Renesas Electronics Corporation | Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method |
| KR20110122167A (en) | 2009-03-04 | 2011-11-09 | 르네사스 일렉트로닉스 가부시키가이샤 | Compressed video encoding apparatus, compressed video decoding apparatus, compressed video encoding method and compressed video decoding method |
| JP2012010031A (en) * | 2010-06-23 | 2012-01-12 | Nippon Hoso Kyokai <Nhk> | Motion compensation apparatus |
| JP2016526853A (en) * | 2013-07-12 | 2016-09-05 | サムスン エレクトロニクス カンパニー リミテッド | Inter-layer video decoding method and apparatus using depth-based disparity vector, and inter-layer video encoding method and apparatus using depth-based disparity vector |
| US10154271B2 (en) | 2013-07-12 | 2018-12-11 | Samsung Electronics Co., Ltd. | Method and apparatus for inter-layer decoding video using depth-based disparity vector, and method and apparatus for inter-layer encoding video using depth-based disparity vector |
| WO2015059880A1 (en) * | 2013-10-22 | 2015-04-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Motion compensation method, image encoding method, image decoding method, image encoding device and image decoding device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100523908B1 (en) | Apparatus and method for encoding video signal for progressive scan image | |
| KR0148154B1 (en) | Method and apparatus for encoding video data according to motion size | |
| JP4242656B2 (en) | Motion vector prediction method and motion vector prediction apparatus | |
| EP0579844B1 (en) | Method and apparatus for motion estimation | |
| US7321626B2 (en) | System and method for predictive motion estimation using a global motion predictor | |
| JP2003284091A (en) | Moving picture coding method and moving picture coding apparatus | |
| EP1621022A1 (en) | Method and apparatus for determining search range for adaptive motion vector for use in video encoder | |
| JPH06351001A (en) | Motion vector detection method, motion compensation prediction method, and apparatus therefor | |
| US6104439A (en) | Method and apparatus for motion estimation | |
| US20070223588A1 (en) | Method of Searching for a Global Motion Vector | |
| JP3618783B2 (en) | Image encoding method and image encoding apparatus | |
| KR0185841B1 (en) | A motion extimator for a video coder | |
| JPH06165164A (en) | Dynamic picture processor | |
| JP4250598B2 (en) | Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method | |
| KR100208984B1 (en) | Moving vector estimator using contour of object | |
| JPH1032822A (en) | Motion vector detector | |
| JP2897655B2 (en) | Motion vector detection device | |
| JP2925046B2 (en) | Motion compensation prediction method for moving images | |
| GB2309135A (en) | Estimating image motion by comparing adjacent image frame signals | |
| JP2765528B2 (en) | Half-pixel accuracy motion vector search device | |
| JPH0984017A (en) | Motion compensation predictive coding method for moving image | |
| KR100448700B1 (en) | Frame rate conversion of cross fade interp0lation apparatous and method there of | |
| KR100588901B1 (en) | Adaptive Image Deinterlacing Device Using Motion Compensation Technique and Its Method | |
| JP3210828B2 (en) | Motion vector detection method | |
| JP2001238228A (en) | Motion vector detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |