JP2012095099A - Moving image encoding device, moving image encoding method, moving image encoding program, moving image decoding device, moving image decoding method, and moving image decoding program - Google Patents
Moving image encoding device, moving image encoding method, moving image encoding program, moving image decoding device, moving image decoding method, and moving image decoding program Download PDFInfo
- Publication number
- JP2012095099A JP2012095099A JP2010240693A JP2010240693A JP2012095099A JP 2012095099 A JP2012095099 A JP 2012095099A JP 2010240693 A JP2010240693 A JP 2010240693A JP 2010240693 A JP2010240693 A JP 2010240693A JP 2012095099 A JP2012095099 A JP 2012095099A
- Authority
- JP
- Japan
- Prior art keywords
- block
- target block
- prediction
- motion vector
- extension region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 257
- 239000013598 vector Substances 0.000 claims abstract description 113
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 238000013139 quantization Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像の符号化及び復号技術に関し、特に動き補償予測を利用した動画像の符号化及び復号技術に関する。 The present invention relates to a moving picture encoding and decoding technique, and more particularly to a moving picture encoding and decoding technique using motion compensated prediction.
ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像の圧縮符号化では、フレーム間の相関を用いて符号量を圧縮する動き補償予測符号化が多く用いられる。動き補償予測符号化では、符号化画像と参照画像の各ブロックの相対位置関係を示す動きベクトルが必要である。この動きベクトルは、ブロック間の誤差評価値が小さいほど動き補償予測の精度が向上し、符号化効率が向上する。 In motion picture compression coding represented by MPEG (Moving Picture Experts Group), motion compensation predictive coding that compresses a code amount using correlation between frames is often used. In motion compensation predictive coding, a motion vector indicating the relative positional relationship between each block of the coded image and the reference image is required. As for the motion vector, as the error evaluation value between blocks is smaller, the accuracy of motion compensation prediction is improved and the coding efficiency is improved.
ここで、上記の誤差評価値とは、一般に、ブロックマッチングを用いて、ブロック間の相違をＳＡＤ（Sum of Absolute Difference：絶対差分和）やＳＳＤ（Sum of Squared Difference：差分二乗和）などで表現した予測誤差や、動きベクトル符号量やＤＣＴ（離散コサイン変換：Discrete Cosine Transform）係数符号量に基づいた符号量換算などで表現したものである。 Here, the error evaluation value is generally expressed by using block matching, and the difference between the blocks is expressed by SAD (Sum of Absolute Difference) or SSD (Sum of Squared Difference). This is expressed by code amount conversion based on the predicted error, motion vector code amount and DCT (Discrete Cosine Transform) coefficient code amount.
最新の動画像符号化標準であるＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）などの符号化では、動き補償予測を行うことが可能なブロックサイズ（１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４）を予め定義している。このように動き補償予測のブロックサイズを定義しておくことは、動き補償予測に関する最大処理量を定義することに結び付くため、特に復号装置のハードウェア化などに非常に有用である。 In coding such as MPEG-4 AVC (Advanced Video Coding) which is the latest moving picture coding standard, block sizes (16 × 16, 16 × 8, 8 × 16, 8 ×) capable of performing motion compensation prediction 8, 8 × 4, 4 × 8, 4 × 4) are defined in advance. Defining the block size of motion compensated prediction in this way leads to defining the maximum amount of processing related to motion compensated prediction, and is particularly useful for hardware implementation of a decoding device.
しかしながら、このように動き補償予測のブロックサイズを固定的に定義してしまうと、ブロック内で異なる動きが発生している場合に、ブロックを更に分割した動き補償予測を行うことができず、符号化効率が低下してしまうという課題がある。 However, if the block size of motion compensated prediction is fixedly defined in this way, when different motions occur in the block, motion compensated prediction in which the block is further divided cannot be performed. There is a problem that the conversion efficiency decreases.
そこで、特許文献１のように、さまざまな形状の動き補償ブロックを符号化のモードとして定義し、より柔軟な形状で動き補償予測を行う技術が既に開示されている。 Therefore, as in Patent Document 1, a technique for defining motion compensation blocks having various shapes as coding modes and performing motion compensation prediction with a more flexible shape has already been disclosed.
しかしながら、特許文献１に開示された方法では、すべての形状の動き補償予測に対応するには膨大なモード数を定義する必要があり、伝送するモードの符号量も増加する。また、ブロックを分割した分だけ動きベクトルが余分に必要になるため、動きベクトルの符号量が増加する。さらに、モードを増加させた分だけ符号化／復号の処理が複雑になり、符号化／復号装置の規模が大きくなってしまうなどの課題がある。 However, in the method disclosed in Patent Document 1, it is necessary to define a huge number of modes in order to cope with motion compensation prediction of all shapes, and the amount of codes of the modes to be transmitted increases. Further, since an extra motion vector is required for the amount of the divided block, the amount of code of the motion vector increases. Furthermore, there is a problem that the encoding / decoding process becomes complicated as the mode is increased, and the scale of the encoding / decoding device is increased.
このように、従来の動画像符号化／復号では、動き補償予測のブロックサイズを固定していたため、ブロック内で異なる動きが発生している場合に、ブロックを更に分割した動き補償予測を行うことができず、符号化効率が低下してしまう。 As described above, in the conventional moving image encoding / decoding, since the block size of motion compensation prediction is fixed, when different motion occurs in the block, motion compensation prediction is performed by further dividing the block. Cannot be performed, and the encoding efficiency is reduced.
本発明はこうした状況に鑑みてなされたものであり、その目的は、ブロック内で異なる動きが発生している場合にもそれぞれの動きに対応した効率の良い動き補償予測を可能にすることで、予測誤差を減少させて符号化効率を向上させる技術を提供することにある。 The present invention has been made in view of such circumstances, and its purpose is to enable efficient motion compensation prediction corresponding to each motion even when different motions occur in the block. An object of the present invention is to provide a technique for improving the coding efficiency by reducing the prediction error.
上記課題を解決するために、本発明のある態様の動画像符号化装置は、符号化対象ブロックに対して動きベクトルを検出する動きベクトル検出部（１０３）と、前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定する領域拡張決定部（１０３）と、前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する動き補償部（１０４）と、前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化する符号化部（１０５）とを備える。 In order to solve the above-described problem, a moving picture encoding apparatus according to an aspect of the present invention includes a motion vector detection unit (103) that detects a motion vector for an encoding target block, and is adjacent to the encoding target block. An area extension determination unit (103) that divides an area of an unencoded block and determines whether or not an area in contact with the encoding target block is set as an extension area of the encoding target block; and the encoding target block A prediction block corresponding to the encoding target block is generated from a reference image using a motion vector of the encoding vector, and when the extension region is set in the uncoded block, the encoding target for the extension region A motion compensation unit (104) that generates a prediction block corresponding to the extension region from a reference image using a motion vector of the block; Tsu comprises a prediction difference block a prediction block corresponding subtracted from the encoding target block to click, and the motion vector encoding unit for encoding the information on the extension region and a (105).
本発明の別の態様は、動画像符号化方法である。この方法は、符号化対象ブロックに対して動きベクトルを検出するステップと、前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定するステップと、前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成するステップと、前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化するステップとを備える。 Another aspect of the present invention is a video encoding method. This method includes a step of detecting a motion vector for a block to be encoded, and a region of an unencoded block adjacent to the block to be encoded, and a region adjacent to the block to be encoded is encoded. Determining whether or not to set an extended area of a block; and using a motion vector of the encoding target block to generate a prediction block corresponding to the encoding target block from a reference image, and When the extension region is set in a block, generating a prediction block corresponding to the extension region from a reference image using a motion vector of the encoding target block for the extension region; and the encoding target block A prediction difference block obtained by subtracting a prediction block corresponding to the encoding target block, and the motion vector , And a step of encoding the information relating to the extension region.
本発明のさらに別の態様は、動画像復号装置である。この装置は、符号化ストリームより、復号対象ブロックに対する動きベクトルと、前記復号対象ブロックに隣接する未復号ブロック内に設定されうる拡張領域に関する情報とを復号する復号部（２０１）と、前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する動き補償部（２０３）と、前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する加算部（２０９）とを備える。 Yet another embodiment of the present invention is a video decoding device. The apparatus includes, from an encoded stream, a decoding unit (201) that decodes a motion vector for a decoding target block and information on an extension region that can be set in an undecoded block adjacent to the decoding target block, and the decoding target A prediction block corresponding to the decoding target block is generated from a reference image using a motion vector of the block, and when the extension region is set in the undecoded block, the decoding target block for the extension region A motion compensation unit (203) that generates a prediction block corresponding to the extension region from a reference image using a motion vector of the prediction block, a prediction block corresponding to the decoding target block, a prediction difference block decoded from the decoding target block, And an adder (209) that generates a decoded image by adding
本発明のさらに別の態様は、動画像復号方法である。この方法は、符号化ストリームより、復号対象ブロックに対する動きベクトルと、前記復号対象ブロックに隣接する未復号ブロック内に設定されうる拡張領域に関する情報とを復号するステップと、前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成するステップと、前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成するステップとを備える。 Yet another aspect of the present invention is a video decoding method. The method includes: decoding a motion vector for a decoding target block from the encoded stream and information on an extension region that can be set in an undecoded block adjacent to the decoding target block; and a motion vector of the decoding target block Is used to generate a prediction block corresponding to the decoding target block from a reference image, and when the extension region is set in the undecoded block, a motion vector of the decoding target block is set for the extension region. Generating a prediction block corresponding to the extension region from a reference image, adding a prediction block corresponding to the decoding target block, and a prediction difference block decoded from the decoding target block, thereby obtaining a decoded image Generating.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、ブロック内で異なる動きが発生している場合にもそれぞれの動きに対応した効率の良い動き補償予測を可能にすることで、予測誤差を減少させて符号化効率を向上させることができる。 According to the present invention, even when different motions occur in a block, it is possible to perform efficient motion compensation prediction corresponding to each motion, thereby reducing prediction errors and improving coding efficiency. be able to.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、実施の形態に係る動画像符号化装置の構成を示すブロック図である。動画像符号化装置は、直交変換・量子化部１０１、逆量子化・逆直交変換部１０２、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３、動き補償部１０４、可変長符号化部１０５、参照画像メモリ１０６、動き補償キャッシュ１０７、減算部１０８、および加算部１０９を備える。 FIG. 1 is a block diagram showing a configuration of a video encoding apparatus according to the embodiment. The moving image coding apparatus includes an orthogonal transform / quantization unit 101, an inverse quantization / inverse orthogonal transform unit 102, a motion vector detection / uncoded adjacent block region extension determination unit 103, a motion compensation unit 104, and a variable length coding unit. 105, a reference image memory 106, a motion compensation cache 107, a subtraction unit 108, and an addition unit 109.
動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３は、入力された原画像信号と、参照画像メモリ１０６に蓄積された復号済の参照画像信号とから、動きベクトルを検出する。動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３は、符号化対象ブロックに隣接する未符号化ブロックについて予測誤差評価値を算出して、未符号化ブロックを領域分割して未符号化ブロックの一部の領域を符号化対象ブロックの拡張領域に設定するかどうかを決定する。動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３の動作の詳細については後述する。 The motion vector detection / uncoded adjacent block region extension determination unit 103 detects a motion vector from the input original image signal and the decoded reference image signal stored in the reference image memory 106. The motion vector detection / uncoded adjacent block region extension determination unit 103 calculates a prediction error evaluation value for an uncoded block adjacent to the encoding target block, divides the uncoded block into regions, and stores the uncoded block. It is determined whether or not a part of the area is set as an extension area of the encoding target block. Details of the operation of the motion vector detection / uncoded adjacent block region extension determination unit 103 will be described later.
動き補償部１０４は、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３により検出された動きベクトルを用いて、動き補償予測を行う。動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３によって符号化対象ブロックに隣接する未符号化ブロックの一部が当該符号化対象ブロックの拡張領域に設定された場合は、動き補償部１０４は、符号化対象ブロックの拡張領域についても符号化対象ブロックと同一の動きベクトルを用いて動き補償予測し、拡張領域に対応する動き補償予測画像を動き補償キャッシュ１０７に格納する。動き補償部１０４の動作の詳細については後述する。 The motion compensation unit 104 performs motion compensation prediction using the motion vector detected by the motion vector detection / uncoded adjacent block region extension determination unit 103. When a part of the unencoded block adjacent to the encoding target block is set in the extension area of the encoding target block by the motion vector detection / unencoded adjacent block area extension determining unit 103, the motion compensation unit 104 Also, the motion compensation prediction is performed on the extension region of the encoding target block using the same motion vector as that of the encoding target block, and the motion compensation prediction image corresponding to the extension region is stored in the motion compensation cache 107. Details of the operation of the motion compensation unit 104 will be described later.
減算部１０８は、符号化対象原画像と動き補償部１０４で算出した動き補償予測画像との差分により、予測残差成分を算出し、直交変換・量子化部１０１に与える。直交変換・量子化部１０１は、予測残差成分の直交変換・量子化を行う。 The subtraction unit 108 calculates a prediction residual component based on the difference between the encoding target original image and the motion compensated prediction image calculated by the motion compensation unit 104, and gives the prediction residual component to the orthogonal transform / quantization unit 101. The orthogonal transform / quantization unit 101 performs orthogonal transform / quantization of the prediction residual component.
ここで、直交変換・量子化部１０１は、動き補償予測のサイズに対応した直交変換サイズを使用して直交変換を行う。つまり、動き補償予測のサイズとして１６×４／１６×８／１６×１２（垂直方向に４の倍数）が許容されている場合、少なくとも１６×４又は８×４又は４×４（垂直方向に４の倍数）の直交変換サイズを使用できるようにする。他の例として、動き補償予測のサイズとして１６×２／１６×４／１６×６／１６×８／１６×１０／１６×１２（垂直方向に２の倍数）が許容されている場合、少なくとも１６×２又は８×２又は４×２（垂直方向に２の倍数）の直交変換サイズを使用できるようにする。これにより、動き補償予測の予測誤差を直交変換する際に、直交変換する予測誤差集合の中に動き補償予測の境界が含まれることがなくなる。これにより、動き補償予測の境界をまたいだ画素を予測誤差として一緒に直交変換することによる直交変換効率の低下を防止することができ、符号化効率を一層向上させる効果を奏する。 Here, the orthogonal transform / quantization unit 101 performs orthogonal transform using an orthogonal transform size corresponding to the size of motion compensation prediction. That is, when 16 × 4/16 × 8/16 × 12 (multiple of 4 in the vertical direction) is allowed as the size of motion compensation prediction, at least 16 × 4, 8 × 4, or 4 × 4 (vertical direction) An orthogonal transform size of a multiple of 4). As another example, when 16 × 2/16 × 4/16 × 6/16 × 8/16 × 10/16 × 12 (a multiple of 2 in the vertical direction) is allowed as the size of motion compensation prediction, at least An orthogonal transform size of 16 × 2 or 8 × 2 or 4 × 2 (a multiple of 2 in the vertical direction) can be used. As a result, when the prediction error of motion compensation prediction is orthogonally transformed, the motion compensation prediction boundary is not included in the prediction error set to be orthogonally transformed. As a result, it is possible to prevent a decrease in orthogonal transform efficiency caused by performing orthogonal transform together as a prediction error on pixels that straddle the boundary of motion compensation prediction, and the effect of further improving the coding efficiency is achieved.
可変長符号化部１０５は、直交変換・量子化部１０１で直交変換・量子化された予測残差成分を可変長符号化するとともに、動き補償部１０４で用いられた動きベクトルと動き補償の拡張領域を示す情報（「未符号化領域拡張情報」と呼ぶ）とを可変長符号化する。動きベクトルと未符号化領域拡張情報はラスタ順（すなわち、左上のブロックから右下のブロックへの順）で伝送する。 The variable length coding unit 105 performs variable length coding on the prediction residual component orthogonally transformed and quantized by the orthogonal transformation / quantization unit 101, and expands the motion vector and motion compensation used by the motion compensation unit 104. Information indicating a region (referred to as “unencoded region extension information”) is variable-length encoded. The motion vector and the uncoded area extension information are transmitted in raster order (that is, in order from the upper left block to the lower right block).
逆量子化・逆直交変換部１０２は、直交変換・量子化部１０１によって直交変換・量子化された予測残差成分に対して、逆量子化及び逆直交変換を行う。直交変換・量子化部１０１と同様に、動き補償予測のサイズに対応したサイズで逆直交変換できるようにしておく。 The inverse quantization / inverse orthogonal transform unit 102 performs inverse quantization and inverse orthogonal transform on the prediction residual component orthogonally transformed / quantized by the orthogonal transform / quantization unit 101. Similar to the orthogonal transform / quantization unit 101, inverse orthogonal transform can be performed with a size corresponding to the size of motion compensation prediction.
加算部１０９は、逆量子化・逆直交変換部１０２により復号された予測残差成分と、動き補償部１０４により算出された動き補償予測画像とを加算することで参照画像を生成し、参照画像メモリ１０６に格納する。 The addition unit 109 generates a reference image by adding the prediction residual component decoded by the inverse quantization / inverse orthogonal transformation unit 102 and the motion compensated prediction image calculated by the motion compensation unit 104, and generates a reference image. Store in the memory 106.
参照画像メモリ１０６には、局部復号された参照画像が蓄積される。動き補償キャッシュ１０７は、符号化対象ブロックに隣接する未符号化ブロック内の拡張領域について、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３により検出された動きベクトルを用いて、参照画像メモリ１０６に蓄積された参照画像から動き補償予測された画像を一時的に格納する。なお、参照画像メモリ１０６と比較して動き補償キャッシュ１０７は、高速アクセスできる物理デバイスであるとする。 The reference image memory 106 stores locally decoded reference images. The motion compensation cache 107 uses the motion vector detected by the motion vector detection / uncoded adjacent block region extension determination unit 103 for the extension region in the uncoded block adjacent to the encoding target block, and uses the reference image memory. The motion compensation predicted image from the reference image accumulated in 106 is temporarily stored. It is assumed that the motion compensation cache 107 is a physical device that can be accessed at a higher speed than the reference image memory 106.
以上の構成による動画像符号化装置の動作、特に、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３の動作を説明する。 The operation of the moving picture encoding apparatus having the above configuration, particularly the operation of the motion vector detection / uncoded adjacent block area extension determination unit 103 will be described.
図２は、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３による未符号化ブロックの領域分割を決定する手順を説明するフローチャートである。 FIG. 2 is a flowchart for explaining a procedure for determining region division of an uncoded block by the motion vector detection / uncoded adjacent block region extension determination unit 103.
まず、従来の動きベクトル検出手順と同様に、設定したサーチ範囲内において、符号化対象ブロックの動きベクトルを検出する（Ｓ１１）。 First, similarly to the conventional motion vector detection procedure, the motion vector of the encoding target block is detected within the set search range (S11).
ここで、動きベクトルはブロックマッチング法を用いて検出する。動きベクトル検出のアルゴリズムは指定した探索領域内の候補ベクトルをすべて評価するフルサーチの他、演算量を削減するため、さまざまな動き特性から探索する候補ベクトルを絞り込んで探索する高速サーチなどいろいろな方法が存在するが、どのようなアルゴリズムを用いても構わない。 Here, the motion vector is detected using a block matching method. Motion vector detection algorithms include a full search that evaluates all candidate vectors in the specified search area, and various methods such as a high-speed search that narrows down the candidate vectors to search from various motion characteristics to reduce the amount of computation. However, any algorithm may be used.
次に、動きベクトルをサーチした中で、誤差評価値が最小のベクトルを符号化対象ブロックの動きベクトルに決定する（Ｓ１２）。ここまでは従来の動きベクトル検出手順と何ら変わりはない。本実施の形態では更に、決定した動きベクトルについて、隣接する未符号化ブロックの誤差評価値を算出・評価し、未符号化ブロックの領域分割方法を決定する（Ｓ１３）。 Next, in the motion vector search, the vector having the smallest error evaluation value is determined as the motion vector of the encoding target block (S12). Up to this point, there is no difference from the conventional motion vector detection procedure. In the present embodiment, for the determined motion vector, an error evaluation value of an adjacent uncoded block is calculated and evaluated, and a region dividing method for the uncoded block is determined (S13).
図３および図４を参照して、隣接する未符号化ブロックの領域分割方法の詳細について説明する。 With reference to FIG. 3 and FIG. 4, the details of the region dividing method for adjacent uncoded blocks will be described.
図３は、符号化対象ブロックに隣接する２つの未符号化ブロックの内、一方については領域分割し、他方については領域分割しないと決定した場合のブロック拡張動き補償を説明する図である。 FIG. 3 is a diagram for explaining block extension motion compensation when it is determined that one of two uncoded blocks adjacent to the encoding target block is divided into regions and the other is not divided into regions.
符号化対象ブロック１０の右側には未符号化ブロックＡ（符号１２）が隣接しており、符号化対象ブロック１０の下側には未符号化ブロックＢ（符号１４）が隣接している。ここでは符号化対象ブロック１０の右側に隣接する未符号化ブロックＡについては領域分割しないと決定され、下側に隣接する未符号化ブロックＢについては領域分割すると決定されたとする。 An unencoded block A (reference numeral 12) is adjacent to the right side of the encoding target block 10, and an unencoded block B (reference numeral 14) is adjacent to the lower side of the encoding target block 10. Here, it is determined that the unencoded block A adjacent to the right side of the encoding target block 10 is determined not to be divided, and the unencoded block B adjacent to the lower side is determined to be divided.
符号化対象ブロック１０について動きベクトルＭＶ１を用いて動き補償予測し、符号化対象ブロック１０の動き補償予測画像２０を得る。未符号化ブロックＡは領域分割しないと決定されたため、符号化対象ブロックの符号化の際は、未符号化ブロックＡについては従来の符号化と同様に何も行われない。 A motion compensated prediction is performed on the encoding target block 10 using the motion vector MV1, and a motion compensated prediction image 20 of the encoding target block 10 is obtained. Since it is determined that the unencoded block A is not divided into regions, when the encoding target block is encoded, nothing is performed on the unencoded block A as in the conventional encoding.
一方、未符号化ブロックＢは領域分割すると決定されたため、未符号化ブロックＢの一部の分割領域１３を符号化対象ブロック１０の拡張領域として、拡張領域についても符号化対象ブロックと同じ動きベクトルＭＶ１を用いて動き補償予測し、拡張領域に対応する動き補償予測画像２３を動き補償キャッシュ１０７に格納する。 On the other hand, since it is determined that the uncoded block B is divided into regions, a partial region 13 of the uncoded block B is set as an extended region of the encoding target block 10, and the extended region has the same motion vector as that of the encoding target block. The motion compensation prediction is performed using MV1, and the motion compensation predicted image 23 corresponding to the extended region is stored in the motion compensation cache 107.
領域分割された未符号化ブロックＢを符号化する際、拡張領域については動き補償キャッシュ１０７から拡張領域に対応する動き補償予測画像２３を取得し、拡張領域以外については通常通り、動きベクトルＭＶ２を検出して、動きベクトルＭＶ２を用いた動き補償予測を行い、拡張領域以外の領域に対応する動き補償予測画像２５を生成する。このように、領域分割された未符号化ブロックＢの動き補償予測では、拡張領域については既に符号化済みのブロック１０と同一の動きベクトルＭＶ１による動き補償予測画像２３が用いられ、拡張領域以外の領域については当該未符号化ブロックＢの動きベクトルＭＶ２による動き補償予測画像２５が用いられる。 When encoding an uncoded block B that has been divided into regions, the motion compensated prediction image 23 corresponding to the extension region is acquired from the motion compensation cache 107 for the extension region, and the motion vector MV2 is obtained as usual for the regions other than the extension region. Then, motion compensation prediction using the motion vector MV2 is performed, and a motion compensated prediction image 25 corresponding to a region other than the extended region is generated. As described above, in motion compensated prediction of an uncoded block B that has been divided into regions, the motion compensated prediction image 23 using the same motion vector MV1 as that of the already encoded block 10 is used for the extended region. For the region, the motion compensated prediction image 25 based on the motion vector MV2 of the uncoded block B is used.
図４（ａ）、（ｂ）は、未符号化ブロック領域拡張の決定方法を説明する図である。同図に示す値は、符号化対象ブロックに隣接する未符号化ブロックを符号化対象ブロックと同一の動きベクトルで動き補償予測した時の原画像との差分値（予測誤差）である。 FIGS. 4A and 4B are diagrams illustrating a method for determining an uncoded block area extension. The value shown in the figure is a difference value (prediction error) from the original image when motion compensation prediction is performed on an unencoded block adjacent to the encoding target block with the same motion vector as the encoding target block.
図４（ａ）は、図３の未符号化ブロックＡの各画素の予測誤差を示す。未符号化ブロックＡは、符号化対象ブロック１０の右方向に隣接しているため、水平方向の動きベクトルの連続性を期待することができる。そこで、垂直方向のライン毎に各画素の予測誤差の絶対値の総和、すなわち原画像との絶対差分和（ＳＡＤ）を算出する。そして、各垂直ラインの絶対差分和が水平方向に連続しているかどうか判断する。 FIG. 4A shows a prediction error of each pixel of the uncoded block A in FIG. Since the unencoded block A is adjacent to the encoding target block 10 in the right direction, continuity of the motion vector in the horizontal direction can be expected. Therefore, for each line in the vertical direction, the sum of absolute values of prediction errors of each pixel, that is, the sum of absolute differences (SAD) from the original image is calculated. Then, it is determined whether the absolute difference sum of each vertical line is continuous in the horizontal direction.
本例では、未符号化ブロックＡの第１垂直ライン、第２垂直ライン、第３垂直ライン、第４垂直ラインの絶対差分和はそれぞれ３２、２６、２４、９である。連続する２つの垂直ライン間で絶対差分和に所定の閾値を超える差はないため、未符号化ブロックＡについては領域を分割しないことを決定する。 In this example, the absolute difference sums of the first vertical line, the second vertical line, the third vertical line, and the fourth vertical line of the uncoded block A are 32, 26, 24, and 9, respectively. Since there is no difference exceeding the predetermined threshold in the absolute difference sum between two consecutive vertical lines, it is determined not to divide the region for the uncoded block A.
図４（ｂ）は、図３の未符号化ブロックＡの各画素の予測誤差を示す。未符号化ブロックＢは、符号化対象ブロック１０の下方向に隣接しているため、垂直方向の動きベクトルの連続性を期待することができる。そこで、水平方向のライン毎に各画素の予測誤差の絶対値の総和、すなわち原画像との絶対差分和（ＳＡＤ）を算出する。そして、各水平ラインの絶対差分和が垂直方向に連続しているかどうか判断する。 FIG. 4B shows the prediction error of each pixel of the uncoded block A in FIG. Since the unencoded block B is adjacent to the encoding target block 10 in the downward direction, continuity of motion vectors in the vertical direction can be expected. Therefore, the sum of the absolute values of the prediction errors of each pixel, that is, the absolute difference sum (SAD) with the original image is calculated for each horizontal line. Then, it is determined whether the absolute difference sum of each horizontal line is continuous in the vertical direction.
本例では、未符号化ブロックＢの第１水平ライン、第２水平ライン、第３水平ライン、第４水平ラインの絶対差分和はそれぞれ５、４、３９、６０である。上側２ライン（第１、第２水平ライン）と下側２ライン（第３、第４水平ライン）の絶対差分和が所定の閾値を超えて大きく異なっており、且つ、上側２ラインの絶対差分和の値が所定の閾値（例えば１０）よりも小さい。これは、未符号化ブロックＢの上側２ライン分は、符号化対象ブロック１０と動きの連続性があることを意味している。そこで、未符号化ブロックＢについては、上側２ラインと下側２ラインで領域分割し、上側２ライン分を符号化対象ブロック１０の拡張領域とし、未符号化ブロックＢの拡張領域については符号化対象ブロック１０と同一の動きベクトルを用いて動き補償予測を行うことを決定する。 In this example, the absolute difference sums of the first horizontal line, the second horizontal line, the third horizontal line, and the fourth horizontal line of the uncoded block B are 5, 4, 39, and 60, respectively. The absolute difference sum of the upper two lines (first and second horizontal lines) and the lower two lines (third and fourth horizontal lines) greatly differs beyond a predetermined threshold, and the absolute difference between the upper two lines The sum value is smaller than a predetermined threshold (for example, 10). This means that the upper two lines of the unencoded block B have motion continuity with the encoding target block 10. Therefore, the unencoded block B is divided into the upper 2 lines and the lower 2 lines, the upper 2 lines are used as the extension area of the encoding target block 10, and the extension area of the uncoded block B is encoded. It is determined to perform motion compensation prediction using the same motion vector as that of the target block 10.
隣接する未符号化ブロックを領域分割すると決定した場合、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３は、隣接する未符号化ブロックをどのように領域分割したかを示す情報（「未符号化領域拡張情報」）を動き補償部１０４に供給する。未符号化領域拡張情報は、符号化対象ブロックを右方向または下方向に拡張した場合の拡張領域のサイズ（画素数）に関する情報を含む。 When it is determined to divide an adjacent uncoded block into regions, the motion vector detection / uncoded adjacent block region extension determination unit 103 includes information indicating how the adjacent uncoded blocks have been divided into regions (“unread Encoding region extension information ”) is supplied to the motion compensation unit 104. The unencoded area extension information includes information on the size (number of pixels) of the extension area when the encoding target block is extended rightward or downward.
次に、動き補償部１０４の動作の詳細について説明する。符号化対象ブロックに隣接する未符号化ブロックの領域を分割して拡張領域として用いることが決定された場合、動き補償部１０４は、符号化対象ブロックの動きベクトルを用いて符号化対象ブロックの動き補償予測を行うと共に、符号化対象ブロックに隣接する未符号化ブロック内の拡張領域についても符号化対象ブロックと同一の動きベクトルを用いて拡張領域の動き補償予測を行い、拡張領域に対応する動き補償予測画像を動き補償キャッシュ１０７に格納する。また、動き補償部１０４は、隣接する未符号化ブロックの拡張領域に関する情報（「未符号化領域拡張情報」）を可変長符号化部１０５に供給する。 Next, details of the operation of the motion compensation unit 104 will be described. When it is determined that an area of an unencoded block adjacent to the encoding target block is divided and used as an extension area, the motion compensation unit 104 uses the motion vector of the encoding target block to move the motion of the encoding target block. In addition to performing the compensation prediction, the motion corresponding to the extension region is also predicted for the extension region in the uncoded block adjacent to the block to be encoded using the same motion vector as that of the block to be encoded. The compensated prediction image is stored in the motion compensation cache 107. In addition, the motion compensation unit 104 supplies information on the extension region of the adjacent uncoded block (“uncoded region extension information”) to the variable length coding unit 105.
その後、動き補償部１０４が未符号化ブロックを新たな符号化対象ブロックとして符号化する際、未符号化ブロックが領域分割されている場合は、動き補償部１０４は、拡張領域については動き補償キャッシュ１０７から拡張領域に対応する動き補償画像を取得し、拡張領域以外の領域については通常通り、動きベクトルを検出し、参照画像メモリ１０６に蓄積された参照画像から動き補償予測を行う。動き補償部１０４は、拡張領域に対応する動き補償画像と拡張領域以外の領域に対応する動き補償画像とを合わせて当該未符号化ブロックに対応する動き補償画像を生成する。 Thereafter, when the motion compensation unit 104 encodes an unencoded block as a new encoding target block, if the unencoded block is divided into regions, the motion compensation unit 104 performs motion compensation cache for the extended region. A motion compensated image corresponding to the extended region is acquired from 107, a motion vector is detected as usual for regions other than the extended region, and motion compensation prediction is performed from the reference image stored in the reference image memory 106. The motion compensation unit 104 generates a motion compensation image corresponding to the uncoded block by combining the motion compensation image corresponding to the extension region and the motion compensation image corresponding to the region other than the extension region.
図５および図６を参照して、未符号化領域拡張情報のシンタックスについて説明する。図５は、未符号化領域拡張情報のシンタックスを示す図である。図６は、未符号化領域拡張情報を説明する図である。 With reference to FIG. 5 and FIG. 6, the syntax of the uncoded region extension information will be described. FIG. 5 is a diagram illustrating the syntax of the uncoded area extension information. FIG. 6 is a diagram for explaining uncoded area extension information.
図５に示すように、未符号化領域拡張情報はマクロブロック単位で伝送する。まず、未符号化領域を分割するかどうかを示すフラグｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎを伝送する。ｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎ＝０の場合、従来と同様にマクロブロック内で完結した動き補償予測を行う。ｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎ＝１の場合は、本実施の形態の未符号化領域拡張を行うことを示し、この場合、水平方向のブロック拡張サイズを示す値ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈと、垂直方向のブロック拡張サイズを示す値ｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔを続けて伝送する。 As shown in FIG. 5, uncoded area extension information is transmitted in units of macroblocks. First, a flag use_mc_block_expansion indicating whether to divide an unencoded area is transmitted. When use_mc_block_expansion = 0, motion compensation prediction completed within the macroblock is performed as in the conventional case. When use_mc_block_expansion = 1, this indicates that unencoded area expansion according to the present embodiment is performed. In this case, a value expansion_width indicating a block expansion size in the horizontal direction and a value expansion_height indicating the block expansion size in the vertical direction are continued. And transmit.
図６は、符号化対象ブロック１０の右に隣接する未符号化ブロック１２内の拡張領域の幅を示すｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈと、符号化対象ブロック１０の下に隣接する未符号化ブロック１４内の拡張領域の高さを示すｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈを示す。ここで、ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈとｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔはそれぞれ独立して設定可能であり、０以上マクロブロックサイズ未満の範囲の値となる。ただし、ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈとｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔが両方同時に０に設定されることはない。 FIG. 6 shows an expansion_width indicating the width of the extension area in the unencoded block 12 adjacent to the right of the encoding target block 10 and the extension area in the unencoded block 14 adjacent below the encoding target block 10. An expansion_width indicating the height is shown. Here, the expansion_width and the expansion_height can be set independently, and become values in the range of 0 or more and less than the macroblock size. However, both expansion_width and expansion_height are not set to 0 at the same time.
また、別のシンタックスの例として、ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈとｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔの代わりに、ｅｘｐａｎｓｉｏｎ＿ｒｉｇｈｔとｅｘｐａｎｓｉｏｎ＿ｄｏｗｎを伝送することも可能である。この場合、各シンタックスはそれぞれ、右の未符号化ブロックに対して未符号化領域拡張動き補償予測を行うかどうか、下の未符号化ブロックに対して未符号化領域拡張動き補償予測を行うかどうかの１ビット情報のみを伝送する。未符号化領域拡張動き補償を行う場合、未符号化ブロック全体に対して同一動きベクトルによる動き補償予測が実行される。そのため、ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈとｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔを伝送する場合と比較して、詳細な動き補償予測領域分割情報を示すことはできないが、伝送する情報量符号量が少なく済む。 As another syntax example, it is also possible to transmit expansion_right and expansion_down instead of expansion_width and expansion_height. In this case, each syntax performs unencoded region extended motion compensated prediction on the lower uncoded block, whether or not to perform unencoded region extended motion compensated prediction on the right uncoded block. Only 1-bit information is transmitted. When unencoded region extended motion compensation is performed, motion compensation prediction using the same motion vector is performed on the entire uncoded block. Therefore, compared with the case of transmitting expansion_width and expansion_height, detailed motion compensation prediction region division information cannot be shown, but the amount of information amount code to be transmitted is small.
このように、本実施の形態では、動画像符号化装置において動きベクトル検出及び動き補償予測を行う際に、符号化対象ブロックに隣接する未符号化ブロック内に拡張した領域の動きも同時に評価し、隣接する未符号化ブロックの領域の一部に同一の動きが発生していると判断した場合は、未符号化ブロックを領域分割する。そして、未符号化ブロック内の拡張した領域に対して符号化対象ブロックと同一の動きベクトルを用いた動き補償予測を行うことで、未符号化ブロック内で異なる動きが発生している場合にもそれぞれの動きに対応した効率の良い動き補償予測が可能となり、符号化効率を向上させることができる。 As described above, in the present embodiment, when motion vector detection and motion compensation prediction are performed in the video encoding device, the motion of the region expanded in the unencoded block adjacent to the encoding target block is also evaluated at the same time. If it is determined that the same motion occurs in a part of the area of the adjacent uncoded block, the uncoded block is divided into areas. And even when different motion occurs in the unencoded block by performing motion compensated prediction using the same motion vector as the encoding target block for the expanded area in the unencoded block Efficient motion compensation prediction corresponding to each motion is possible, and the coding efficiency can be improved.
また、未符号化領域ブロック内の拡張した領域の動き補償予測では、隣接する符号化対象ブロックと同一の動きベクトルを利用するため、動きベクトルは既に伝送済みであり、動きベクトルを伝送する必要がないため、動きベクトルの符号量が増加しない。 In motion compensated prediction of an expanded area in an uncoded area block, the same motion vector as that of an adjacent encoding target block is used. Therefore, the motion vector has already been transmitted, and it is necessary to transmit the motion vector. Therefore, the code amount of the motion vector does not increase.
さらに、符号化対象ブロックと同一の動きベクトルを使用する場合に、拡張した領域の動き補償予測画像を予め動き補償キャッシュに格納しておくことで、参照画像へのメモリアクセスを増やすことなく１つのブロック内で複数の動きベクトルを利用した動き補償を行うことができる。 Furthermore, when the same motion vector as that of the encoding target block is used, the motion compensated prediction image of the expanded area is stored in advance in the motion compensation cache, so that one memory access to the reference image is not increased. Motion compensation using a plurality of motion vectors can be performed in the block.
図７は、実施の形態に係る動画像復号装置の構成を示すブロック図である。動画像復号装置は、可変長復号部２０１、逆量子化・逆直交変換部２０２、動き補償部２０３、参照画像メモリ２０４、動き補償キャッシュ２０５、および加算部２０９を備える。 FIG. 7 is a block diagram showing a configuration of the video decoding apparatus according to the embodiment. The moving image decoding apparatus includes a variable length decoding unit 201, an inverse quantization / inverse orthogonal transform unit 202, a motion compensation unit 203, a reference image memory 204, a motion compensation cache 205, and an addition unit 209.
可変長復号部２０１は、直交変換・量子化されている予測残差成分信号、動きベクトル、および未符号化領域拡張情報を可変長復号する。 The variable length decoding unit 201 performs variable length decoding on the prediction residual component signal, the motion vector, and the uncoded region extension information that have been orthogonally transformed and quantized.
動き補償部２０３は、図１の動画像符号化装置の動き補償部１０４と同一の機能を持ち、可変長復号部２０１で復号された動きベクトルを用いて、復号対象ブロックについて参照画像メモリ２０４に蓄積されている参照画像から動き補償予測を行うとともに、復号対象ブロックに隣接する未復号ブロック内に拡張領域が設定されている場合は、拡張領域についても復号対象ブロックと同一の動きベクトルを用いて動き補償予測し、拡張領域に対応する動き補償予測画像を動き補償キャッシュ２０５に格納する。動き補償部２０３の動作の詳細は後述する。 The motion compensation unit 203 has the same function as the motion compensation unit 104 of the video encoding device in FIG. 1, and uses the motion vector decoded by the variable length decoding unit 201 to store the decoding target block in the reference image memory 204. When motion compensation prediction is performed from the stored reference image and an extension region is set in an undecoded block adjacent to the decoding target block, the same motion vector as that of the decoding target block is used for the extension region. Motion compensation prediction is performed, and a motion compensation predicted image corresponding to the extended region is stored in the motion compensation cache 205. Details of the operation of the motion compensation unit 203 will be described later.
逆量子化・逆直交変換部２０２は、図１の動画像符号化装置の逆量子化・逆直交変換部１０２と同一の機能を持ち、可変長復号部２０１で復号された予測残差成分に対して逆量子化及び逆直交変換を行う。 The inverse quantization / inverse orthogonal transform unit 202 has the same function as the inverse quantization / inverse orthogonal transform unit 102 of the moving image coding apparatus in FIG. 1, and uses the prediction residual component decoded by the variable length decoding unit 201. On the other hand, inverse quantization and inverse orthogonal transform are performed.
加算部２０９は、逆量子化・逆直交変換部２０２により復号された予測残差成分と、動き補償部２０３により算出された動き補償予測画像とを加算することにより、画像信号を復号する。 The addition unit 209 decodes the image signal by adding the prediction residual component decoded by the inverse quantization / inverse orthogonal transform unit 202 and the motion compensated prediction image calculated by the motion compensation unit 203.
参照画像メモリ２０４は、図１の動画像符号化装置の参照画像メモリ１０６と同一であり、復号された参照画像を蓄積する。動き補償キャッシュ２０５は、復号対象ブロックに隣接する未復号ブロック内の拡張領域について、可変長復号部２０１で復号された動きベクトルを用いて、参照画像メモリ２０４に蓄積された参照画像から動き補償予測した画像を一時的に格納する。なお、参照画像メモリ２０４と比較して動き補償キャッシュ２０５は、高速アクセスできる物理デバイスであるとする。 The reference image memory 204 is the same as the reference image memory 106 of the moving image encoding apparatus in FIG. 1, and stores the decoded reference image. The motion compensation cache 205 uses the motion vector decoded by the variable length decoding unit 201 for the extension region in the undecoded block adjacent to the decoding target block, and uses the motion compensation prediction from the reference image stored in the reference image memory 204. The stored image is temporarily stored. It is assumed that the motion compensation cache 205 is a physical device that can be accessed at a higher speed than the reference image memory 204.
動き補償部２０３の動作を詳細に説明する。可変長復号部２０１により復号された未符号化領域拡張情報が当該復号対象ブロックは領域拡張されていないことを示している、すなわちｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎ＝０の場合は、従来と同様にマクロブロック内で完結した動き補償予測を行う。復号された未符号化領域拡張情報が当該復号対象ブロックは領域拡張されていることを示している、すなわちｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎ＝１の場合は、復号対象ブロックを領域拡張する。具体的には、動き補償部２０３は、復号された動きベクトルを用いて復号対象ブロックの動き補償予測を行うと共に、復号対象ブロックに隣接する未復号ブロック内の拡張領域についても復号対象ブロックと同一の動きベクトルを用いて動き補償予測し、拡張領域に対応する動き補償予測画像を動き補償キャッシュ２０５に格納する。 The operation of the motion compensation unit 203 will be described in detail. The unencoded region extension information decoded by the variable length decoding unit 201 indicates that the decoding target block is not region-extended, that is, when use_mc_block_expansion = 0, it is completed in the macro block as in the conventional case. Perform motion compensation prediction. When the decoded unencoded area extension information indicates that the decoding target block has been extended, that is, when use_mc_block_expansion = 1, the decoding target block is extended. Specifically, the motion compensation unit 203 performs motion compensation prediction of the decoding target block using the decoded motion vector, and the extension region in the undecoded block adjacent to the decoding target block is the same as the decoding target block. The motion compensation prediction is performed using the motion vector of the motion vector, and the motion compensation predicted image corresponding to the extended region is stored in the motion compensation cache 205.
その後、未復号ブロックを新たな復号対象ブロックとして復号する際、動き補償部２０３は、拡張領域については動き補償キャッシュ２０５から拡張領域に対応する動き補償画像を取得し、拡張領域以外の領域については通常通り、復号した動きベクトルを用いて参照画像メモリ２０４に蓄積された参照画像から動き補償予測を行う。動き補償部２０３は、拡張領域に対応する動き補償画像と拡張領域以外の領域に対応する動き補償画像とを合わせて当該未復号ブロックに対応する動き補償画像を生成する。よって、参照画像メモリ２０４にアクセスして動き補償予測を行うのは拡張領域以外だけであり、従来の動画像復号と比較して参照画像メモリ２０４へのアクセスを、増やすことなく１つのブロック内で複数の動きベクトルを利用した動き補償が可能となる。 Thereafter, when decoding an undecoded block as a new decoding target block, the motion compensation unit 203 acquires a motion compensated image corresponding to the extension region from the motion compensation cache 205 for the extension region, and for a region other than the extension region. As usual, motion compensated prediction is performed from the reference image stored in the reference image memory 204 using the decoded motion vector. The motion compensation unit 203 generates a motion compensation image corresponding to the undecoded block by combining the motion compensation image corresponding to the extension region and the motion compensation image corresponding to the region other than the extension region. Therefore, it is only in the area other than the extended region that the reference image memory 204 is accessed to perform motion compensation prediction, and access to the reference image memory 204 is increased within one block as compared with the conventional moving image decoding. Motion compensation using a plurality of motion vectors is possible.
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。 The above processing relating to encoding and decoding can be realized as a transmission, storage, and reception device using hardware, and is stored in a ROM (Read Only Memory), a flash memory, or the like. It can also be realized by firmware or software such as a computer. The firmware program and software program can be recorded on a computer-readable recording medium, provided from a server through a wired or wireless network, or provided as a data broadcast of terrestrial or satellite digital broadcasting Is also possible.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
１０１ 直交変換・量子化部、 １０２ 逆量子化・逆直交変換部、 １０３ 動きベクトル検出・未符号化隣接ブロック領域拡張決定部、 １０４ 動き補償部、 １０５ 可変長符号化部、 １０６ 参照画像メモリ、 １０７ 動き補償キャッシュ、 １０８ 減算部、 １０９ 加算部、 ２０１ 可変長復号部、 ２０２ 逆量子化・逆直交変換部、 ２０３ 動き補償部、 ２０４ 参照画像メモリ、 ２０５ 動き補償キャッシュ、 ２０９ 加算部。 101 orthogonal transform / quantization unit, 102 inverse quantization / inverse orthogonal transform unit, 103 motion vector detection / uncoded adjacent block region extension determination unit, 104 motion compensation unit, 105 variable length coding unit, 106 reference image memory, 107 motion compensation cache, 108 subtraction unit, 109 addition unit, 201 variable length decoding unit, 202 inverse quantization / inverse orthogonal transform unit, 203 motion compensation unit, 204 reference image memory, 205 motion compensation cache, 209 addition unit.
Claims (9)
前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定する領域拡張決定部と、
前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する動き補償部と、
前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化する符号化部とを備えることを特徴とする動画像符号化装置。 A motion vector detection unit for detecting a motion vector for the encoding target block;
An area extension determination unit that determines whether to divide an area of an unencoded block adjacent to the encoding target block and set an area in contact with the encoding target block as an extension area of the encoding target block;
When a motion vector of the encoding target block is used to generate a prediction block corresponding to the encoding target block from a reference image, and when the extension region is set in the uncoded block, the extension region A motion compensation unit that generates a prediction block corresponding to the extension region from a reference image using a motion vector of the encoding target block,
A prediction difference block obtained by subtracting a prediction block corresponding to the encoding target block from the encoding target block, an encoding unit that encodes the motion vector and information on the extension region, are provided. Video encoding device.
前記動き補償部は、前記未符号化ブロックを新たな符号化対象ブロックとして動き補償する際、前記拡張領域については前記キャッシュメモリから前記拡張領域に対応する予測ブロックを取得し、前記未符号化ブロックの前記拡張領域以外の領域については、前記動きベクトル検出部により検出された動きベクトルを用いて、参照画像から前記拡張領域以外の領域に対応する予測ブロックを生成し、前記拡張領域に対応する予測ブロックと前記拡張領域以外の領域に対応する予測ブロックとを合わせて前記新たな符号化対象ブロックに対応する予測ブロックとすることを特徴とする請求項１または２に記載の動画像符号化装置。 A cache memory that temporarily stores a prediction block corresponding to the extension region generated using a motion vector of the encoding target block for the extension region in the uncoded block;
When the motion compensation unit performs motion compensation on the unencoded block as a new encoding target block, the motion compensation unit acquires a prediction block corresponding to the extension region from the cache memory for the extension region, and the unencoded block For a region other than the extension region, a prediction block corresponding to a region other than the extension region is generated from a reference image using a motion vector detected by the motion vector detection unit, and a prediction corresponding to the extension region is generated. 3. The moving picture encoding apparatus according to claim 1, wherein a block and a prediction block corresponding to an area other than the extension area are combined into a prediction block corresponding to the new encoding target block. 4.
前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定するステップと、
前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成するステップと、
前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化するステップとを備えることを特徴とする動画像符号化方法。 Detecting a motion vector for the encoding target block;
Determining whether to divide an area of an unencoded block adjacent to the encoding target block and set an area in contact with the encoding target block as an extension area of the encoding target block;
When a motion vector of the encoding target block is used to generate a prediction block corresponding to the encoding target block from a reference image, and when the extension region is set in the uncoded block, the extension region Generating a prediction block corresponding to the extension region from a reference image using a motion vector of the encoding target block for:
A video comprising: a prediction difference block obtained by subtracting a prediction block corresponding to the encoding target block from the encoding target block, the motion vector, and information on the extension region. Encoding method.
前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定する機能と、
前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する機能と、
前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化する機能とをコンピュータに実現させることを特徴とする動画像符号化プログラム。 A function of detecting a motion vector for the encoding target block;
A function of dividing an area of an unencoded block adjacent to the encoding target block and determining whether or not to set an area in contact with the encoding target block as an extension area of the encoding target block;
When a motion vector of the encoding target block is used to generate a prediction block corresponding to the encoding target block from a reference image, and when the extension region is set in the uncoded block, the extension region A function of generating a prediction block corresponding to the extension region from a reference image using a motion vector of the encoding target block for:
A computer is caused to realize a function of encoding a prediction difference block obtained by subtracting a prediction block corresponding to the encoding target block from the encoding target block, the motion vector, and information on the extension region, A moving image encoding program.
前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する動き補償部と、
前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する加算部とを備えることを特徴とする動画像復号装置。 A decoding unit that decodes, from the encoded stream, a motion vector for a decoding target block and information on an extension region that can be set in an undecoded block adjacent to the decoding target block;
A motion vector of the decoding target block is used to generate a prediction block corresponding to the decoding target block from a reference image, and when the extension region is set in the undecoded block, A motion compensation unit that generates a prediction block corresponding to the extension region from a reference image using a motion vector of a decoding target block;
A moving picture decoding apparatus comprising: an addition unit that generates a decoded image by adding a prediction block corresponding to the decoding target block and a prediction difference block decoded from the decoding target block.
前記動き補償部は、前記未復号ブロックを新たな復号対象ブロックとして動き補償する際、前記拡張領域については前記キャッシュメモリから前記拡張領域に対応する予測ブロックを取得し、前記未復号ブロックの前記拡張領域以外の領域については、前記復号部により復号された動きベクトルを用いて、参照画像から前記拡張領域以外の領域に対応する予測ブロックを生成し、前記拡張領域に対応する予測ブロックと前記拡張領域以外の領域に対応する予測ブロックとを合わせて前記新たな復号対象ブロックに対応する予測ブロックとすることを特徴とする請求項６に記載の動画像復号装置。 A cache memory that temporarily stores a prediction block corresponding to the extension region generated using a motion vector of the decoding target block for the extension region in the undecoded block;
When the motion compensation unit performs motion compensation on the undecoded block as a new decoding target block, for the extension region, the motion compensation unit acquires a prediction block corresponding to the extension region from the cache memory, and the extension of the undecoded block For regions other than the region, using the motion vector decoded by the decoding unit, a prediction block corresponding to a region other than the extension region is generated from a reference image, and the prediction block corresponding to the extension region and the extension region The moving picture decoding apparatus according to claim 6, wherein a prediction block corresponding to the new decoding target block is combined with a prediction block corresponding to a region other than.
前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成するステップと、
前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成するステップとを備えることを特徴とする動画像復号方法。 Decoding a motion vector for a decoding target block and information on an extension region that can be set in an undecoded block adjacent to the decoding target block from an encoded stream;
A motion vector of the decoding target block is used to generate a prediction block corresponding to the decoding target block from a reference image, and when the extension region is set in the undecoded block, Generating a prediction block corresponding to the extension region from a reference image using a motion vector of a decoding target block;
A moving picture decoding method comprising: a step of generating a decoded image by adding a prediction block corresponding to the decoding target block and a prediction difference block decoded from the decoding target block.
前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する機能と、
前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する機能とをコンピュータに実現させることを特徴とする動画像復号プログラム。 A function for decoding, from the encoded stream, a motion vector for a decoding target block and information on an extension region that can be set in an undecoded block adjacent to the decoding target block;
A motion vector of the decoding target block is used to generate a prediction block corresponding to the decoding target block from a reference image, and when the extension region is set in the undecoded block, A function of generating a prediction block corresponding to the extension region from a reference image using a motion vector of a decoding target block;
A moving picture decoding program that causes a computer to realize a function of generating a decoded image by adding a prediction block corresponding to the decoding target block and a prediction difference block decoded from the decoding target block.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010240693A JP2012095099A (en) | 2010-10-27 | 2010-10-27 | Moving image encoding device, moving image encoding method, moving image encoding program, moving image decoding device, moving image decoding method, and moving image decoding program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010240693A JP2012095099A (en) | 2010-10-27 | 2010-10-27 | Moving image encoding device, moving image encoding method, moving image encoding program, moving image decoding device, moving image decoding method, and moving image decoding program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012095099A true JP2012095099A (en) | 2012-05-17 |
Family
ID=46387969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010240693A Pending JP2012095099A (en) | 2010-10-27 | 2010-10-27 | Moving image encoding device, moving image encoding method, moving image encoding program, moving image decoding device, moving image decoding method, and moving image decoding program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012095099A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022511308A (en) * | 2018-11-05 | 2022-01-31 | インターデジタル ヴイシー ホールディングス， インコーポレイテッド | Overlapping block Video coding or decoding with block extension for motion compensation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06327003A (en) * | 1993-05-14 | 1994-11-25 | Nec Corp | Predictive coding system for moving image |
| JP2005303994A (en) * | 2004-03-17 | 2005-10-27 | Matsushita Electric Ind Co Ltd | Video encoding device |
| WO2010110126A1 (en) * | 2009-03-23 | 2010-09-30 | 株式会社エヌ・ティ・ティ・ドコモ | Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program |
-
2010
- 2010-10-27 JP JP2010240693A patent/JP2012095099A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06327003A (en) * | 1993-05-14 | 1994-11-25 | Nec Corp | Predictive coding system for moving image |
| JP2005303994A (en) * | 2004-03-17 | 2005-10-27 | Matsushita Electric Ind Co Ltd | Video encoding device |
| WO2010110126A1 (en) * | 2009-03-23 | 2010-09-30 | 株式会社エヌ・ティ・ティ・ドコモ | Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022511308A (en) * | 2018-11-05 | 2022-01-31 | インターデジタル ヴイシー ホールディングス， インコーポレイテッド | Overlapping block Video coding or decoding with block extension for motion compensation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4373702B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program | |
| JP5277257B2 (en) | Video decoding method and video encoding method | |
| US8315309B2 (en) | Method and apparatus for encoding and decoding an image by using consecutive motion estimation | |
| JP5061179B2 (en) | Illumination change compensation motion prediction encoding and decoding method and apparatus | |
| US9055302B2 (en) | Video encoder and video decoder | |
| KR20110008653A (en) | Motion vector prediction method and image encoding / decoding apparatus and method using same | |
| CN102246526B (en) | Moving picture decoding method and device, and moving picture encoding method and device | |
| WO2006073116A1 (en) | Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the program | |
| KR20130119465A (en) | Block based sampling coding systems | |
| JP2009049969A (en) | Moving picture coding apparatus and method and moving picture decoding apparatus and method | |
| CN112449197A (en) | Video encoding and decoding method and device, electronic equipment and storage medium | |
| JP2009290889A (en) | Motion picture encoder, motion picture decoder, motion picture encoding method, motion picture decoding method, motion picture encoding program, and motion picture decoding program | |
| JP6191296B2 (en) | Moving image processing apparatus, moving image processing method, and program | |
| JP6019797B2 (en) | Moving picture coding apparatus, moving picture coding method, and program | |
| CA2878178C (en) | Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program | |
| JP5832263B2 (en) | Image coding apparatus and image coding method | |
| JP5206772B2 (en) | Moving picture coding apparatus, moving picture coding method, and moving picture coding program | |
| JP2012095099A (en) | Moving image encoding device, moving image encoding method, moving image encoding program, moving image decoding device, moving image decoding method, and moving image decoding program | |
| JP5281597B2 (en) | Motion vector prediction method, motion vector prediction apparatus, and motion vector prediction program | |
| JP5298060B2 (en) | Prediction vector generator, encoding device, decoding device, and program | |
| JP5913911B2 (en) | Image encoding device | |
| JP5498972B2 (en) | Encoding device, decoding device, and program | |
| JP5533885B2 (en) | Moving picture encoding apparatus and moving picture decoding apparatus | |
| JP5206773B2 (en) | Moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program | |
| JPWO2011099242A1 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120724 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130528 |