WO2013115609A1 - Interlayer prediction method and device for image signal - Google Patents
Interlayer prediction method and device for image signal Download PDFInfo
- Publication number
- WO2013115609A1 WO2013115609A1 PCT/KR2013/000850 KR2013000850W WO2013115609A1 WO 2013115609 A1 WO2013115609 A1 WO 2013115609A1 KR 2013000850 W KR2013000850 W KR 2013000850W WO 2013115609 A1 WO2013115609 A1 WO 2013115609A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- block
- layer
- mode
- decoding
- intra prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Definitions
- the present invention relates to a video encoding and decoding method, and more particularly to a multi-layered video encoding and decoding method.
- interlayer texture prediction, interlayer motion information prediction, and interlayer residual signal prediction techniques are used to remove redundancy existing between layers.
- a technique for removing redundancy between intra prediction modes of each layer is not used.
- the current HEVC standard uses an intra prediction mode in more directions than the existing H.264. Since the intra prediction mode of HEVC is not made with a multi-layer structure in mind, there is a problem that more improvements are required to be applied to a video encoder / decoder having a multi-layer structure based on HEVC.
- An object of the present invention is to provide a multi-layer structure-based image encoding and decoding method for reducing encoding efficiency and complexity by removing redundancy of intra prediction mode information between layers in intra prediction encoding of a block to be encoded in a higher layer.
- the present invention provides a multi-layer video encoding method including a first layer including a current encoding target block and a second layer, which is a reference lower layer of the first layer, wherein the second layer corresponds to the encoding target block. Determining a corresponding block; And encoding the encoding object block by using an intra prediction mode of the corresponding block in the second layer.
- the determining of the corresponding block in the second layer may specify the sample position of the corresponding block in the second layer corresponding to the reference sample position of the encoding target block in consideration of the size ratio between input images.
- the encoding of the encoding target block using the intra prediction mode of the corresponding block in the second layer may be performed when the corresponding block in the second layer is encoded in the intra prediction mode.
- the encoding target block may be encoded in a first layer using a normal intra picture prediction method.
- the intra prediction mode of the corresponding block in the second layer is regarded as a predetermined intra prediction mode (eg, a DC mode). Can be used to encode a block to be encoded.
- a predetermined intra prediction mode eg, a DC mode
- the encoding of the encoding object block may generate a prediction signal of the encoding object block by using an intra prediction mode of the corresponding block in the second layer.
- the encoding of the encoding target block may use the intra prediction mode of the corresponding block in the second layer as a Most Probable Mode (MPM) candidate mode of the encoding target block.
- MPM Most Probable Mode
- the encoding of the encoding target block may include an intra prediction mode of at least one of an upper prediction block and an intra prediction mode of a left neighboring block of the encoding target block that is an MPM target block. Can be replaced with
- the intra prediction mode of the second layer corresponding block may be used as the MPM candidate mode together with the intra prediction modes of the upper neighboring block and the left neighboring block of the encoding target block.
- the present invention also provides a multi-layer video decoding method including a first layer including a current decoding target block and a second layer which is a reference lower layer of the first layer, wherein the intra prediction mode of the corresponding block of the second layer is included. It provides a multi-layer image decoding method comprising the step of decoding the decoding target block using.
- the multi-layer video decoding method may specify a corresponding block in the second layer by specifying a sample position of the second layer corresponding to a reference sample position of the decoding target block in consideration of the size ratio between input images.
- the decoding of the decoding object block may further include determining whether the decoding object block uses an intra prediction mode of the second layer correspondence block. When the intra prediction mode is used, the decoding object block may be decoded using the intra prediction mode of the second layer. The decoding may be performed when the decoding object block does not use the intra prediction mode of the second layer. It can be decoded through a conventional intra prediction prediction method.
- Determining whether the intra prediction mode of the second layer corresponding block is used may be performed in a sequence parameter sets (SPS), a picture parameter sets (PPS), a slice segment, a coding unit, or a prediction unit.
- SPS sequence parameter sets
- PPS picture parameter sets
- slice segment a slice segment
- coding unit a coding unit
- prediction unit a prediction unit
- the decoding of the decoding object block may generate a prediction signal of the decoding object block by using an intra prediction mode of the second layer corresponding block.
- the intra prediction mode of the second layer corresponding block may be used as a MPM candidate mode of the decoding object block.
- the decoding of the decoding object block may include an intra prediction mode of at least one of an intra prediction mode of an upper neighboring block and a left neighboring block of the decoding object block that is an MPM target block. Can be replaced with
- the intra prediction mode of the second layer corresponding block may be used as the MPM candidate mode together with the intra prediction modes of the upper neighboring block and the left neighboring block of the decoding object block.
- the present invention also provides a multi-layer video encoding method including a first layer including a current encoding target block and a second layer, which is a reference lower layer of the first layer, wherein the second layer corresponding to the encoding target block. Determining corresponding blocks in the apparatus; And encoding the encoding target block by using an intra prediction mode of the corresponding block in the second layer.
- the multi-layer video encoding method and the present invention include a first layer including a current decoding target block. And a second layer which is a reference lower layer of the first layer, the multi-layer image decoding method comprising: decoding the decoding target block using an intra prediction mode of the second layer block.
- a computer readable recording medium having recorded thereon a program for executing a structural image decoding method on a computer is provided.
- the present invention also provides a multi-layer video encoding apparatus including a first layer including a current encoding target block and a second layer that is a reference lower layer of the first layer, wherein the intra prediction mode of the corresponding block of the second layer is included.
- a multi-layer video encoding apparatus including an intra prediction unit for encoding the encoding target block using.
- the intra predictor may specify a second hierarchical block corresponding to the encoding target block by specifying a sample position of the second layer corresponding to a reference sample position of the encoding target block in consideration of a size ratio between input images.
- the intra prediction unit may encode the encoding target block using the intra prediction mode of the second layer block when the block of the second layer is encoded in the intra prediction mode.
- the encoding target block may be encoded in a first layer using a conventional intra picture prediction method.
- the intra prediction mode of the corresponding block in the second layer is regarded as a predetermined intra prediction mode (eg, a DC mode). Can be used to encode a block to be encoded.
- a predetermined intra prediction mode eg, a DC mode
- the intra prediction unit may generate a prediction signal of the encoding target block by using an intra prediction mode of the second layer corresponding block.
- the intra prediction unit may use an intra prediction mode of the second layer corresponding block as a Most Probable Mode (MPM) candidate mode of the encoding target block.
- MPM Most Probable Mode
- the encoding of the encoding target block may include an intra prediction mode of at least one of an upper prediction block and an intra prediction mode of a left neighboring block of the encoding target block that is an MPM target block. Can be replaced with
- the intra prediction mode of the second layer corresponding block may be used as the MPM candidate mode together with the intra prediction modes of the upper neighboring block and the left neighboring block of the encoding target block.
- the present invention also provides a multi-layer video decoding apparatus including a first layer including a current decoding target block and a second layer that is a reference lower layer of the first layer, wherein the intra prediction mode of the second layer block is used.
- a multi-layer video decoding apparatus including an intra predictor for decoding the decoding target block is provided.
- the decoding object block may be decoded using the intra-prediction decoding method.
- the decoding object block may be decoded using a normal intra prediction decoding method.
- Determining whether the intra prediction mode of the second layer corresponding block is used may be performed in a sequence parameter sets (SPS), a picture parameter sets (PPS), a slice segment, a coding unit, or a prediction unit.
- SPS sequence parameter sets
- PPS picture parameter sets
- slice segment a slice segment
- coding unit a coding unit
- prediction unit a prediction unit
- the intra predictor may specify a second layer corresponding block corresponding to the decoding object block by specifying a sample position of the second layer corresponding to a reference sample position of the decoding object block in consideration of a size ratio between input images. .
- the intra prediction unit may decode the decoding object block using the intra prediction mode of the second layer block when the decoding object block is encoded using the intra prediction mode of the second layer.
- the intra predictor may decode the signal through a conventional intra prediction decoding method.
- the intra predictor may generate a prediction signal of the decoding object block by using an intra prediction mode of the second layer block.
- the intra predictor may use the intra prediction mode of the second layer block as a Most Probable Mode (MPM) candidate mode of the decoding target block.
- MPM Most Probable Mode
- the decoding of the decoding object block may include an intra prediction mode of at least one of an intra prediction mode of an upper neighboring block and a left neighboring block of the decoding object block that is an MPM target block. Can be replaced with
- the intra prediction mode of the second layer corresponding block may be used as the MPM candidate mode together with the intra prediction modes of the upper neighboring block and the left neighboring block of the decoding object block.
- a method of using intra prediction mode of a corresponding block of a lower layer is provided, thereby providing inter-layer intra prediction.
- FIGS. 1A and 1B are block diagrams illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
- FIGS. 2A and 2B are block diagrams illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
- FIG. 3 is a flowchart of a multi-layer video encoding method according to an embodiment of the present invention.
- FIG. 4 is a diagram illustrating a relationship between an encoding target block and a lower layer block corresponding to an encoding target block in the multi-layer video encoding method according to an embodiment of the present invention.
- FIG. 5 is a diagram for generating a prediction signal of an encoding target block using an intra prediction mode of a lower layer block in a multi-layer video encoding method according to an embodiment of the present invention.
- FIG. 6 is a diagram illustrating a case in which all of information of neighboring blocks of an encoding target block cannot be used.
- FIG. 7 is a diagram illustrating a case in which information on a left neighboring block used in the MPM candidate mode of a block to be encoded is not available.
- FIG. 8 is a diagram illustrating a case where information of a left neighboring block and an upper neighboring block used as MPM information of a block to be encoded is the same.
- FIG. 9 is a diagram illustrating a case where the value of the intra prediction mode of the upper neighboring block and the left neighboring block of the encoding target block is different.
- FIG. 10 is a diagram illustrating a case where the value of the intra prediction mode of the upper neighboring block and the left neighboring block of the encoding target block is different.
- FIG. 11 is a flowchart of a multi-layer video decoding method according to an embodiment of the present invention.
- first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
- the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
- FIG. 1A and 1B are block diagrams illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
- An image encoding apparatus according to an embodiment of the present invention includes a plurality of layers of image encoding apparatuses.
- FIG. 1A is a block diagram illustrating a lower layer image encoding apparatus 100a according to an embodiment of the present invention
- FIG. 1B is a block diagram illustrating an upper layer image encoding apparatus 100b according to an embodiment of the present invention. to be.
- the output of the lower layer image encoding apparatus 100a and the output of the higher layer image encoding apparatus 100b may be connected to a multiplexer so that the bit streams of the plurality of layers may be combined into one bit stream.
- the video encoding apparatus may be configured with a lower layer image encoding apparatus 100a and a plurality of higher layer image encoding apparatuses 100b according to a selection, and in some cases, a plurality of lower layer image encoding apparatuses. 100a and a plurality of higher layer video encoding apparatuses 100b.
- the lower layer image encoding apparatus 100a may include a motion predictor 111a, a motion compensator 112a, an intra predictor 120a, a switch 115a, a subtractor 125a, and a transformer 130a. ), A quantization unit 140a, an entropy encoding unit 150a, an inverse quantization unit 160a, an inverse transform unit 170a, an adder 175a, a filter unit 180a, and a reference picture buffer 190a.
- the lower layer image encoding apparatus 100a may encode the lower layer input image in an intra mode or an inter mode and output a lower layer bitstream.
- Intra prediction means intra prediction and inter prediction means inter prediction.
- the switch 115a may be switched to intra, and in the inter mode, the switch 115a may be switched to inter.
- the lower layer image encoding apparatus 100a may generate a prediction block for an input block of the lower layer input image and then encode a residual between the input block and the prediction block.
- the intra predictor 120a may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
- the intra prediction unit may transmit or receive intra prediction mode information to another layer.
- the intra prediction unit 120a included in the lower layer image encoding apparatus 100a selectively receives the intra prediction mode information of the lower layer block according to a request of the intra prediction unit 120b of the higher layer image encoding apparatus 100b. It may be delivered to the intra predictor 120b of the image encoding apparatus 100b (a).
- the intra prediction unit 120b of the higher layer image encoding apparatus 100b may request an intra prediction of the lower layer image encoding apparatus 100a.
- the intra prediction mode information transmitted from the unit 120a may be received (a), and a prediction block may be generated using this information.
- the motion estimator 111a may obtain a motion vector by finding a region that best matches the input block in the reference image stored in the reference picture buffer 190a during the motion prediction process. have.
- the motion compensator 112a may generate a prediction block by performing motion compensation using the motion vector.
- the subtractor 125a may generate a residual block by the difference between the input block and the generated prediction block.
- the transformer 130a may output a transform coefficient by performing a transform on the residual block.
- the quantization unit 140a may output the quantized coefficient by quantizing the input transform coefficient according to the quantization parameter.
- the entropy encoder 150a performs lower entropy encoding by performing entropy encoding based on values (eg, quantized coefficients) calculated in the quantization unit 140a and / or encoding parameter values calculated in the encoding process.
- a bit stream can be output.
- the entropy encoder 150a may use an encoding method such as exponential golomb, context-adaptive variable length coding (CAVLC), or context-adaptive binary arithmetic coding (CABAC) for entropy encoding.
- CAVLC context-adaptive variable length coding
- CABAC context-adaptive binary arithmetic coding
- the quantized coefficient is inversely quantized by the inverse quantizer 160a and inversely transformed by the inverse transformer 170a.
- the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175a to generate a reconstruction block.
- the reconstruction block passes through the filter unit 180a, and the filter unit 180a applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction picture. can do.
- the filter unit 180a may be called an adaptive in-loop filter.
- the deblocking filter may remove block distortion and / or blocking artifacts that occur at the boundaries between blocks.
- SAO can add an appropriate offset to the pixel value to compensate for coding errors.
- the ALF may perform filtering based on a value obtained by comparing the reconstructed image with the original image, and may be performed only when high efficiency is applied.
- the reconstructed block that has passed through the filter unit 180a may be stored in the reference picture buffer 190a.
- the image encoding apparatus 100b of the upper layer includes a motion predictor 111b, a motion compensator 112b, and an intra, which correspond to the image encoding apparatus 100a of the lower layer illustrated in FIG. 1.
- the higher layer image encoding apparatus 100b may encode the higher layer input image in an intra mode or an inter mode and output a higher layer bitstream.
- the higher layer image encoding apparatus 100b may generate a prediction block for an input block of the higher layer input image and then encode a residual between the input block and the prediction block.
- the intra predictor 120b may selectively request the information of the intra prediction mode from the intra predictor 120a of the lower layer image encoding apparatus 100a, and the intra prediction of the lower layer image encoding apparatus 100a may be requested according to the request.
- the intra prediction mode information transmitted from the unit 120a may be received (a), and a prediction block may be generated using this information.
- the intra predictor 120b of the higher layer image encoding apparatus 100b may be the same as the intra predictor 120a of the lower layer image decoding apparatus 100a of FIG. 1A.
- the intra prediction mode information of the encoded higher layer block may be transmitted to the intra predictor of the another higher layer image encoding apparatus according to a request of the intra predictor of another higher layer image encoding apparatus.
- the entropy encoder 150b performs entropy encoding based on values (eg, quantized coefficients) calculated in the quantization unit 140b and / or encoding parameter values calculated in the encoding process, thereby performing higher layer bits.
- a bit stream can be output.
- FIGS. 2A and 2B are block diagrams illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
- An image decoding apparatus according to an embodiment of the present invention may include a plurality of layers of image decoding apparatuses, and the hierarchical structure of the plurality of image decoding apparatuses may correspond to the hierarchical structure of the encoding apparatus.
- FIG. 2A is a block diagram illustrating the lower layer image decoding apparatus 200a
- FIG. 2B is a block diagram illustrating the higher layer image decoding apparatus 200b.
- the input of the lower layer image decoding apparatus 200a and the input of the upper layer image decoding apparatus 200b are connected to the output of the demultiplexer so that one input bit stream is divided into a plurality of bit streams through the demultiplexer.
- the separated bitstream may be input to an image decoder of a corresponding layer.
- the video decoding apparatus may be composed of a lower layer image decoding apparatus 200a and a plurality of higher layer image decoding apparatuses 200b according to a selection, and in some cases, a plurality of lower layer image decoding apparatuses. 200a and a plurality of higher layer image decoding apparatuses 200b.
- the lower layer image decoding apparatus 200a may include an entropy decoder 210a, an inverse quantizer 220a, an inverse transformer 230a, an intra predictor 240a, a motion compensator 250a, An adder 255a, a filter unit 260a, and a reference picture buffer 270a are included.
- the lower layer image decoding apparatus 200a may receive the lower layer bitstream output from the encoder and separated through the demultiplexer, perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
- the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
- the lower layer image decoding apparatus 200a may obtain a residual block from the input lower layer bitstream, generate a prediction block, and then add the residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block.
- the entropy decoder 210a may entropy decode the input lower layer bitstream according to a probability distribution to generate symbols including symbols in the form of quantized coefficients.
- the entropy decoding method is similar to the entropy coding method described above.
- the entropy decoding method When the entropy decoding method is applied, a small number of bits are allocated to a symbol having a high probability of occurrence and a large number of bits are allocated to a symbol having a low probability of occurrence, whereby the size of the bit string for each symbol is increased. Can be reduced. Therefore, the compression performance of image decoding can be improved through an entropy decoding method.
- the quantized coefficients are inversely quantized by the inverse quantizer 220a and inversely transformed by the inverse transformer 230a, and a residual block may be generated as a result of the inverse quantization / inverse transformation of the quantized coefficients.
- the intra predictor 240a may generate a prediction block by performing spatial prediction using pixel values of blocks already decoded around the current block.
- the intra prediction unit may transmit or receive intra prediction mode information to another layer.
- the intra predictor 240a of the lower layer image decoding apparatus 200a may decode the intra prediction mode information of the decoded lower layer block according to a request of the intra predictor 240b of the higher layer image decoding apparatus 200b.
- the intra prediction unit 240b of the apparatus 200b transmits to the intra prediction unit 240b. Referring to FIG.
- the intra prediction unit 240b may perform intra prediction of the lower layer image decoding apparatus 200a in response to a request of the higher layer image decoding apparatus 200b.
- the intra prediction mode information transmitted from the unit 240a may be received (b), and a prediction block may be generated using the prediction prediction mode information.
- the motion compensator 250a may generate a prediction block by performing motion compensation using a reference image stored in the motion vector and the reference picture buffer 270a.
- the residual block and the prediction block may be added through the adder 255a, and the added block may pass through the filter unit 260a.
- the filter unit 260a may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
- the filter unit 260a may output a reconstructed image, that is, a reconstructed image.
- the reconstructed picture may be stored in the reference picture buffer 270a and used for inter prediction.
- the higher layer image decoding apparatus 200b includes an entropy decoder 210b, an inverse quantizer 220b, an inverse transformer 230b, an intra predictor 240b, a motion compensator 250b, An adder 255a, a filter unit 260b, and a reference picture buffer 270b, each component corresponding to a configuration of the lower layer image decoding apparatus 200a, and each component corresponding to the lower layer image decoding apparatus 200a. ) Can perform a function corresponding to the configuration.
- the higher layer image decoding apparatus 200b may receive an upper layer bitstream output from the encoder and separated through the demultiplexer, perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a higher layer reconstructed image.
- the higher layer image decoding apparatus 200b may obtain a residual block from the input upper layer bitstream, generate a prediction block, and then add the residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block.
- the entropy decoder 210b may entropy decode the input higher layer bitstream according to a probability distribution to generate symbols including symbols in the form of quantized coefficients.
- the entropy decoding method is similar to the entropy coding method described above.
- the intra predictor 240b may generate a prediction block by performing spatial prediction using pixel values of blocks already decoded around the current block.
- the intra predictor 240b may receive intra prediction mode information of another layer and may transmit intra prediction mode information to another layer according to a selection.
- the intra predictor 240b of the higher layer image decoding apparatus 200b receives intra prediction mode information transmitted from the intra predictor 240a of the lower layer image decoding apparatus 200a according to a request (b). To generate a prediction block.
- the intra predictor 240b of the higher layer image decoding apparatus 200b may be decoded like the intra predictor 240a of the lower layer image decoding apparatus 200a of FIG. 2A.
- the intra prediction mode information of the higher layer block may be transmitted to the intra prediction unit of the another higher layer image decoding apparatus according to a request of the intra prediction unit of another higher layer image decoding apparatus.
- a block means a unit of image encoding and decoding.
- a coding or decoding unit refers to a divided unit when an image is divided and encoded or decoded, so that a coding unit (block) (CU: Coding Unit or CB: Coding Block) and a prediction unit (block) are used.
- PU Prediction Unit or PB: Prediction Block
- transform unit block
- TU Transform Unit or TB: Transform Block
- picture may be replaced with “frame”, “field” and / or “slice” according to the context, and this division may be easily performed by those skilled in the art.
- P pictures, B pictures, and forward B pictures may be replaced with P slices, B slices, and forward B slices depending on the context.
- FIG. 3 is a flowchart of a multi-layer video encoding method according to an embodiment of the present invention. A multi-layer video encoding method according to an embodiment of the present invention will be described.
- information of a lower layer block 410 is used when performing intra prediction encoding on an encoding target block 400 of an upper layer.
- the upper layer may be an enhancement layer and the lower layer may be a base layer.
- the higher enhancement layer may use block information of the lower enhancement layer.
- the enhancement layer may always use the block information of the base layer. For example, when there is the enhancement layer 1, the enhancement layer 2, and the enhancement layer 3, the enhancement layer 1, the enhancement layer 2, and the enhancement layer 3 may use block information of the base layer.
- the encoding target block 400 is encoded using the mode.
- Encoding the block 400 to be encoded is to encode the block to be encoded by using a conventional intra prediction method in a higher layer when a corresponding block in a lower layer is not available or is encoded by inter prediction. can do.
- the intra prediction mode of the corresponding block in the lower layer may be regarded as a predetermined intra prediction mode (for example, DC mode) set by the user and used for encoding the encoding target block according to the setting.
- the lower layer block 410 may be performed only when the intra prediction mode is encoded.
- a prediction signal of the encoding target block 400 may be generated using the determined intra prediction mode of the lower layer block 410.
- the intra prediction mode of the lower layer block 410 may be used as a candidate probable mode (MPM) candidate mode of the prediction target blocks 400 and 400.
- MPM candidate probable mode
- 4 is a diagram illustrating a relationship between an encoding object block 400 and a block 410 of a lower layer corresponding to the encoding object block 400. 4 illustrates a block 400 to be encoded and a block 410 of a lower layer corresponding to the block 400 to be encoded.
- a step (S110) of determining a block 410 of a lower layer corresponding to the encoding target block 400 of the higher layer will be described with reference to FIG. 4.
- the lower layer block 410 corresponding to the encoding target block 400 may be selected.
- the intra prediction mode of the sample position of the lower layer block corresponding to the reference sample position of the encoding target block may be used as the intra prediction mode of the lower layer block.
- the reference sample position may use not only the internal sample positions 401 and 402 of the encoding target block 400 but also the sample positions 403 and 404 included in the neighboring blocks.
- Sample positions included in the peripheral block include the upper right sample position 403 and the lower right sample position 404.
- the reference sample positions of the encoding object block may use various positions as well as the positions mentioned in the above embodiment.
- a scaling factor between input images may be reflected in obtaining a sample position of a reference layer corresponding to an enhancement layer.
- the size ratio between the input images may be determined according to the size ratio between the input images. For example, if the size of the input image between layers is the same, the size ratio may be '1'. If the width / length of the enhancement layer is twice as large as the size of the reference layer, the size ratio is “ May be 2 '.
- the position 401 of (xP + 1, yP + 1) among the internal sample positions shown in FIG. 4 will be described in more detail by way of example.
- the reference sample position of the encoding target block 400 is (xP + 1, yP + 1).
- the corresponding sample positions (refX, refY) of the lower layer may be calculated as in Equation 1 below.
- the block including the calculated (refX, refY) samples is determined as a block corresponding to the encoding target block 400.
- the (xP + 1, yP + 1) / Scaling Factor may mean dividing xP + 1 and yP + 1 by Scaling Factor, respectively.
- the horizontal scaling factor and the vertical scaling factor may be different from each other.
- a prediction signal of the encoding target block 400 may be generated using the determined intra prediction mode of the lower layer block 410.
- the intra prediction mode of the lower layer block 410 may be used as a candidate probable mode (MPM) candidate mode of the prediction target block 400.
- MPM candidate probable mode
- the step of encoding the encoding target block 400 may generate a prediction signal of the encoding target block 400 using the intra prediction mode of the corresponding lower layer block 410, or the corresponding lower layer.
- the intra prediction mode of the layer block 410 may be performed as a Most Probable Mode (MPM) candidate mode of the encoding target prediction block 400.
- MPM Most Probable Mode
- FIG. 5 is a diagram for generating a prediction signal of an encoding target block 400 using an intra prediction mode of a lower layer block 410.
- the encoding of the encoding target block 400 by generating the prediction signal of the encoding object block 400 using the intra prediction mode of the lower layer block 410 will be described with reference to FIG. 5.
- FIG. 5 illustrates a case where the intra prediction mode of the corresponding lower layer block 410 is vertical prediction.
- the intra prediction mode of the lower layer block 410 is vertical prediction, generating a prediction signal of the encoding target block 400 will be described.
- a prediction signal is determined from peripheral reconstruction reference samples of the encoding object block 400 using only vertical prediction, which is an intra prediction mode of a lower layer block, among predetermined intra prediction modes.
- transform, quantization, and entropy encoding are performed on the difference signal between the original signal of the encoding target block 400 and the prediction signal generated in the intra prediction mode of the lower layer block 410.
- the decoding apparatus 200 indicates a flag indicating that the prediction signal of the encoding target block 400 is generated using the intra prediction mode of the lower layer block 410 in addition to the transformed and quantized difference signal (for example, base_intra_mode_flag). ).
- the size of this flag may be 1 bit.
- the target block is intra prediction coded as described above
- transmission of MPM related syntax information (prev_intra_lum_pred_flag, mpm_idx, rem_intra_luma_pred_mod) used for normal intra prediction mode encoding may be omitted.
- base_intra_mode_flag when the value of base_intra_mode_flag is '1', the decoding apparatus 200 uses only the “vertical direction” prediction, which is an intra prediction mode of a lower layer block corresponding to the position of a decoding target block, to encode with the encoding apparatus 100. The same prediction signal can be generated.
- 6 to 10 show that the optimal intra prediction mode of the encoding target block 400 is encoded by using the intra prediction mode of the corresponding lower layer block 410 as the Most Probable Mode (MPM) candidate mode of the encoding target block 400. It is a figure which shows that. 6 to 10, the encoding target block 400, the lower layer block 410 corresponding to the encoding target block 400, the left peripheral blocks 430 of the encoding target block 400, and the encoding target block 400 are illustrated. The top peripheral blocks 440 of the are shown.
- MPM Most Probable Mode
- FIG. 7 illustrates a block 440 that can use information of a corresponding block and a block 430 that cannot use information.
- the encoding apparatus 100 transmits a flag to the decoding apparatus 200 to perform the same process in the decoding apparatus. It is possible to decode the intra prediction mode of the block. For example, the encoding apparatus 100 may designate a 1-bit size flag indicating that an intra prediction mode of the lower layer block may be used as an MPM candidate mode of the encoding target block 400. A picture paramter set), a slice segment, a coding unit, or a prediction unit may be transmitted to the decoding apparatus 200 so that the decoding apparatus 200 may decode an intra prediction mode of a corresponding block in response to an encoding process. .
- the encoding apparatus 100 obtains an optimal prediction mode for the block to be encoded 400 from among predetermined intra prediction modes, and then encodes the optimal prediction mode using the selected MPM candidate mode.
- the encoding apparatus 100 decodes a flag prev_intra_luma_pred_flag indicating whether the calculated optimal prediction mode matches the MPM candidate mode, and index information mpm_idx indicating which candidate mode among the MPM candidates the calculated optimal prediction mode matches. To send). If the calculated optimal prediction mode does not match any of the MPM candidates, the encoding apparatus 100 transmits by designating '0' to a flag (prev_intra_luma_pred_flag) indicating whether the calculated optimal prediction mode matches the MPM candidate mode and presently. Directly encode the best prediction mode (rem_intra_luma_pred_mod) of the block
- FIG. 6 illustrates a case in which all of the information of the neighboring blocks 430 and 440 of the encoding target block 400 cannot be used.
- the number of modes included in the MPM candidate mode may be fixed to two, three, four, and the like.
- the specific mode may be used as an additional candidate mode.
- candidate mode 1 and candidate mode 2 are different, candidate mode 3 does not belong to candidate mode 1 and candidate mode 2 in the planar / DC / Vertical mode sequence.
- DC mode can be used.
- the order of the mode for adding candidate mode 3 may have a different order from that of Planar / DC / Vertical, and may include other modes other than Planar / DC / Vertical.
- candidate mode 1 and candidate mode 2 are the same, if candidate modes 1 and 2 are DC or planar mode, candidate mode 1 may be used as planar mode, and candidate mode 2 may be used as DC and candidate mode 3 as vertical mode. If candidate mode 1 and candidate mode 2 are the same, and candidate modes 1 and 2 are not DC or planar mode, one mode smaller in sequence is selected based on candidate mode 1 or 2, and one mode larger than candidate mode 2 and one larger in sequence. Can be used as candidate mode 3.
- the operation may be performed in a similar manner to the three cases.
- the priority of the mode for determining candidates 3 or 4 may be in the order of Planar / DC / Horizontal / Vertical, as described above, the priority may be changed, and the modes included in the priority may be changed. In addition, the order between the candidate modes may be changed.
- the encoding target block 400 is located at a picture boundary, a slice boundary, or a tile boundary to use information of the neighboring blocks.
- the intra prediction mode of the lower layer block 410 may be used as the MPM candidate mode.
- the intra prediction mode of the lower layer block 410 may be used as an MPM candidate mode.
- a planar mode among predetermined intra prediction modes may be used as the MPM candidate 1
- a horizontal mode which is an intra prediction mode of the lower layer block 410
- the DC mode among the prediction modes may be used as the MPM candidate mode 1
- the horizontal mode which is an intra prediction mode of the lower layer block 410, may be used as the MPM candidate mode 2.
- FIG. 7 is a diagram illustrating a case in which information of the left neighboring block 430 used in the MPM candidate mode of the encoding target block 400 is not available.
- the available left or upper intra prediction mode and the lower layer block 410 may be used. An example of using the intra prediction mode as the MPM candidate mode will be described.
- the upper prediction mode of the leftmost block 441 of the upper peripheral block 440 and the intra prediction mode of the lower layer block 410 may be used as the MPM candidate mode.
- the upper prediction mode of the leftmost block 441 of the upper peripheral block 440 may be used as the MPM candidate mode 1
- the intra prediction mode of the lower layer block 410 may be used as the MPM candidate mode 2. If the intra prediction mode of the leftmost block 441 of the upper neighboring block 440 is horizontal mode, and the intra prediction mode obtained from the lower layer block 410 is the vertical mode, MPM candidate mode 1 is horizontal mode and MPM candidate mode 2 is It may be in a vertical mode.
- the intra prediction mode of the left neighboring block 430 and the lower layer block 410 is changed. Can be used in MPM candidate mode.
- the upper prediction mode of the upper peripheral block 440 and the intra prediction mode of the lower layer block 410 may be performed in the same manner as the MPM candidate mode.
- FIG. 8 is a diagram illustrating a case where information of the uppermost block 431 of the left neighboring block 430 and the rightmost block 441 of the upper neighboring block 440 that is used as the MPM information of the encoding target block 400 is the same. to be.
- intra prediction of either the left neighboring block 430 or the upper neighboring block 440 is performed.
- the mode and the intra prediction mode of the lower layer block 410 may be used as the MPM candidate mode.
- the intra prediction mode of the uppermost block 431 of the left neighboring block 430 and the leftmost block 441 of the upper neighboring block 440 has a horizontal mode as a value.
- the intra prediction mode of the left neighboring block 430 is obtained from the uppermost block 431
- the intra prediction mode of the upper neighboring block 440 is obtained from the leftmost block 441.
- the intra prediction mode of the lower layer block 410 is a vertical mode.
- the horizontal mode which is the intra prediction mode of the upper peripheral block 440
- the vertical mode which is the intra prediction mode of the lower layer block 410
- a method of determining the value of the left neighboring block 430 as the MPM candidate mode 1 may also be considered.
- the intra prediction mode of the lower layer block 410 has the same value as the intra prediction mode of the upper neighboring block 440 or the intra prediction mode of the left neighboring block 430, the intra prediction obtained from the lower layer block 410.
- Mode information may not be used.
- the MPM candidate mode may use the intra prediction modes of the upper neighboring block 440 and the left neighboring block 430 as MPM candidate mode 1 and MPM candidate mode 2 and may not use information of the lower layer block.
- the mode of the neighboring block having the same mode as the intra prediction mode of the lower layer block may be used as the MPM candidate mode 2.
- it may indicate that the intra prediction mode of the lower layer block is not used as the MPM candidate mode of the encoding target block 400.
- FIG. 9 is a diagram illustrating a case where the values of the intra prediction modes of the upper peripheral block 440 and the left peripheral block 430 of the encoding target block 400 are different.
- a method of determining an MPM candidate mode by replacing at least one of the MPM candidates obtained from the upper neighboring block 440 and the left neighboring block 430 with the intra prediction mode obtained from the lower layer block 410 will now be described. .
- one of the MPM candidates obtained from the neighboring blocks of the encoding target block 400 may be replaced with the intra prediction mode obtained from the lower layer block 410.
- the intra prediction mode of the upper peripheral block 440 of the encoding target block 400 is the horizontal mode, and the intra prediction mode of the left peripheral block 430 is the DC mode.
- the intra prediction mode of the lower layer block 410 of the encoding target block 400 is a vertical mode.
- the horizontal mode which is an intra prediction mode of the upper peripheral block 440, from the periphery of the encoding target block 400 to MPM candidate mode 1, and the DC mode that is the intra prediction mode of the left peripheral block 430.
- MPM candidate mode 2 can be used to determine the MPM candidate mode.
- candidate mode 2 may be replaced with a vertical mode which is an intra prediction mode of the lower layer block 410. That is, MPM candidate mode 1 may have a horizontal mode and MPM candidate mode 2 may have a vertical mode.
- FIG. 10 is a diagram illustrating a case where the values of the intra prediction modes of the upper peripheral block 440 and the left peripheral block 430 of the encoding target block 400 are different. A step of using the intra prediction mode obtained from the lower layer block 410 as an additional MPM mode will be described with reference to FIG. 10.
- the inter-layer prediction method of an image signal may use the intra prediction mode obtained from the lower layer block 410 as an additional MPM mode. Accordingly, the MPM candidate mode obtained from the lower layer block 410 may be added to the MPM candidate mode obtained from the neighboring block of the encoding target block 400.
- the intra prediction mode of the upper peripheral block 440 of the encoding target block 400 is the horizontal mode, and the intra prediction mode of the left peripheral block 430 is the VER-8 mode.
- the intra prediction mode of the lower layer block 410 of the encoding target block 400 is a vertical mode.
- the horizontal mode which is an intra prediction mode of the upper peripheral block 440, from the periphery of the encoding target block 400 to MPM candidate mode 1, and the VER-8 that is the intra prediction mode of the left peripheral block 430.
- the MPM candidate mode can be determined by setting the mode to MPM candidate mode 2.
- the vertical mode which is an intra prediction mode of the lower layer block 410, may be added as the MPM candidate mode 3. That is, the MPM candidate mode for the encoding target block 400 is composed of three candidate modes, MPM candidate mode 1 has a horizontal mode, MPM candidate mode 2 has a VER-8 mode, and MPM candidate mode 3 has a vertical mode.
- FIG. 11 is a flowchart of a multi-layer video decoding method according to an embodiment of the present invention.
- a multi-layer video decoding method according to an embodiment of the present invention will be described.
- the multi-layer video decoding method according to an embodiment of the present invention illustrated in FIG. 11 uses information of a lower layer block 410 in performing intra prediction encoding on a decoding target block of an upper layer.
- Decoding the decoding object block by using the intra prediction mode of the lower layer block 410 corresponding to the decoding object block (S220), using the intra prediction mode of the corresponding lower layer block 410 to predict the decoding object block. This can be done by generating a signal.
- the intra prediction mode of the corresponding lower layer block 410 may be used as the Most Probable Mode (MPM) candidate mode of the current decoding target prediction block.
- MPM Most Probable Mode
- a step (S210) of determining whether the decoding object block is encoded using the intra prediction mode of the lower layer block 410 will be described.
- the intra prediction unit 240 of the decoding apparatus 200 may determine whether the decoding target block is encoded using the intra prediction mode of the lower layer block 410, and whether the decoding target block uses the intra prediction mode of the lower layer. Can be judged through
- the decoding apparatus 200 parses a flag that determines whether the decoding target block uses the intra prediction mode of the lower layer block 410 corresponding to the decoding target block, so that the decoding target block is the lower layer block 410. It can be determined whether the information is encoded using the information of.
- the decoding apparatus 200 parses, for example, base_intra_mode_flag transmitted by the encoding apparatus 100 so that the decoding target block uses intra information of the lower layer block 410 in the screen. It may be determined whether the prediction is coded. At this time, if the corresponding flag value is '1', it may be determined that the decoding target block is intra prediction coded using the intra prediction mode of the lower layer block 410. If the corresponding flag value is '0', the lower layer block ( It may be determined that intra prediction coding is performed without using the intra prediction mode of 410.
- additional flags (prev_intra_luma_pred_flag, mpm_idx, and rem_intra_luma_pred_mod) indicating the intra prediction mode may be parsed.
- the decoding apparatus 200 determines, for example, the MPM candidate mode of the decoding target block by parsing base_intra_mode_prediction_flag transmitted by the encoding apparatus 100 through an SPS, a PPS, a slice segment, or the like. When the intra prediction mode of the lower layer block is used, it may be determined.
- the corresponding flag value is '1', it may be determined that the decoding target block has determined the MPM candidate mode using the intra prediction mode of the lower layer block 410, and if the corresponding flag value is '0', the lower layer block It may be determined that the MPM candidate mode is determined from the left block and the upper block of the current decoding target block without using the intra prediction mode of 410.
- the decoding apparatus 200 determines that the decoding target block is to decode by using the intra prediction mode of the lower layer to generate the prediction signal of the decoding target block 400.
- the decoding apparatus 200 may generate the prediction signal of the current decoding target block using the intra prediction mode of the lower layer block 410 corresponding to the decoding target block.
- the process of obtaining the lower layer block 410 corresponding to the decoding apparatus 200 and generating the prediction signal of the current decoding target block using the intra prediction mode may be performed by the encoding apparatus 100 corresponding to the encoding target block 400.
- the lower layer block 410 is determined and the intra prediction signal of the encoding target block 400 is generated using the determined intra mode of the lower layer block 410.
- the decoding apparatus 200 may select a block of the lower layer corresponding to the decoding object block by selecting a block including the sample position of the lower layer block 410 corresponding to the reference sample position of the decoding object block. As in the encoding apparatus 100, a scaling factor between input images may be reflected. In addition, the decoding apparatus 200 generates the prediction signal of the decoding object block by using the intra prediction mode of the corresponding lower layer block 410. Next, the decoding apparatus 200 generates a reconstruction signal of the current target block by adding the generated prediction signal and the difference signal transmitted and reconstructed by the encoding apparatus 100.
- step S220 of decoding the decoding object block using the intra prediction mode of the lower layer block 410 corresponding to the decoding object block A process of decoding a decoding object block using a mode as a Most Probable Mode (MPM) candidate mode of a current decoding object prediction block will be described.
- MPM Most Probable Mode
- the decoding apparatus 200 has a value of 1, i.e., if the flag indicating that the intra prediction mode of the lower layer block 410 is used as the MPM candidate mode of the encoding target block 400 has a value of 1, for example, When the, base_intra_mode_prediction_flag) flag has a value of 1, the decoding apparatus 200 determines that the decoding target block has decoded the intra prediction mode of the lower layer block 410 using the MPM candidate mode.
- Obtaining the corresponding lower layer block 410 may use the method as described above.
- the process of generating the MPM candidate mode of the decoding object block may be performed in correspondence with the process of generating the MPM candidate mode in the encoding apparatus 100.
- the predetermined intra prediction mode is used as the MPM candidate mode 1 and the corresponding lower layer block 410 is used.
- Intra prediction mode of may be used as MPM candidate mode 2.
- the intra mode information of the available neighboring block is used as the MPM candidate mode 1 and corresponds.
- the intra prediction mode of the lower layer block 410 may be used as the MPM candidate mode 2.
- an intra mode having a smaller mode number is used as the MPM candidate mode 1 among the two intra modes.
- the intra prediction mode of the lower layer block 410 may be used by replacing the intra information of the neighboring block with the MPM candidate mode 2.
- the two intra modes are used as MPM candidate mode 1
- the other intra mode is used as MPM candidate mode 2
- the intra prediction mode of the corresponding lower layer block 410 is additionally used as MPM candidate mode 3. It may be.
- additional candidates may be generated and used according to a predetermined rule.
- prev_intra_luma_pred_flag the flag indicating whether the best prediction mode matches the MPM candidate.
- index information indicating which candidate among MPM candidates matches may be parsed to obtain an optimal prediction mode among MPM candidate modes. If the value of prev_intra_luma_pred_flag is '0', the optimal prediction mode may be obtained by decoding rem_intra_luma_pred_mod.
- the image in which the first layer and the second layer exist are described as an example, but the same method may be applied to more layers.
- Combinations of the above-described embodiments are not limited to the above-described embodiments, and various forms of combinations as well as the above-described embodiments may be provided according to implementation and / or need.
- the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and any steps may occur in a different order or at the same time than the other steps described above. Can be. Also, one of ordinary skill in the art would appreciate that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
본 발명은 영상 부호화 및 복호화 방법에 관한 것으로서, 보다 상세하게는 다 계층 구조 기반의 영상 부호화 및 복호화 방법에 관한 것이다.The present invention relates to a video encoding and decoding method, and more particularly to a multi-layered video encoding and decoding method.
종래의 스케일러블 비디오 부호화에서는 계층간 존재하는 중복성을 제거하기 위해, 계층간 텍스쳐 예측, 계층간 움직임 정보 예측, 계층간 잔여신호 예측 기술을 사용하고 있다. 그러나, 각 계층들이 갖는 인트라 예측 모드간의 중복성을 제거하기 위한 기술은 사용되고 있지 않다. 또한 현재 HEVC 표준하에서는 기존 H.264보다 더 많은 방향의 인트라 예측 모드를 사용하고 있다. HEVC의 인트라 예측 모드는 다 계층 구조를 염두에 두고 만들어진 것이 아니어서, HEVC를 기반으로 한 다 계층 구조를 갖는 비디오 부/복호화기에 적용하기 위해 더 많은 개선 사항이 요구되는 문제점이 있다.In the conventional scalable video encoding, interlayer texture prediction, interlayer motion information prediction, and interlayer residual signal prediction techniques are used to remove redundancy existing between layers. However, a technique for removing redundancy between intra prediction modes of each layer is not used. In addition, the current HEVC standard uses an intra prediction mode in more directions than the existing H.264. Since the intra prediction mode of HEVC is not made with a multi-layer structure in mind, there is a problem that more improvements are required to be applied to a video encoder / decoder having a multi-layer structure based on HEVC.
본 발명의 목적은 상위 계층의 부호화 대상 블록을 화면 내 예측 부호화함에 있어, 계층간 인트라 예측 모드 정보에 대한 중복성을 제거하여 부호화 효율 및 복잡도를 감소시키는 다 계층 구조 기반 영상 부호화 및 복호화 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a multi-layer structure-based image encoding and decoding method for reducing encoding efficiency and complexity by removing redundancy of intra prediction mode information between layers in intra prediction encoding of a block to be encoded in a higher layer. will be.
본 발명은 현재 부호화 대상 블록을 포함하는 제1 계층과 상기 제1 계층의 참조 하위 계층인 제2 계층을 포함하는 다 계층 구조 영상 부호화 방법에 있어서, 상기 부호화 대상 블록에 대응되는 상기 제2 계층내의 대응 블록을 결정하는 단계; 및 상기 제2 계층내 대응 블록의 인트라 예측 모드를 사용하여 상기 부호화 대상 블록을 부호화하는 단계를 포함하는 다 계층 구조 영상 부호화 방법을 제공한다.The present invention provides a multi-layer video encoding method including a first layer including a current encoding target block and a second layer, which is a reference lower layer of the first layer, wherein the second layer corresponds to the encoding target block. Determining a corresponding block; And encoding the encoding object block by using an intra prediction mode of the corresponding block in the second layer.
상기 제2 계층내의 대응 블록을 결정하는 단계는, 입력 영상간의 크기 비율을 고려하여 상기 부호화 대상 블록의 기준 샘플 위치에 해당되는 상기 제2 계층내의 대응 블록의 샘플 위치를 특정할 수 있다.The determining of the corresponding block in the second layer may specify the sample position of the corresponding block in the second layer corresponding to the reference sample position of the encoding target block in consideration of the size ratio between input images.
상기 부호화 대상 블록을 상기 제2 계층내 대응 블록의 인트라 예측 모드를 사용하여 부호화하는 단계는, 상기 제2 계층내의 대응 블록이 인트라 예측 모드로 부호화된 경우에 수행될 수 있다.The encoding of the encoding target block using the intra prediction mode of the corresponding block in the second layer may be performed when the corresponding block in the second layer is encoded in the intra prediction mode.
상기 제2 계층내 대응 블록이 이용 가능하지 않거나, 인터 예측 으로 부호화된 경우에는 제1 계층내에서 통상의 화면 내 예측 방법을 통해 상기 부호화 대상 블록을 부호화 할 수 있다. When the corresponding block in the second layer is not available or is encoded by inter prediction, the encoding target block may be encoded in a first layer using a normal intra picture prediction method.
상기 제2 계층내 대응 블록이 이용 가능하지 않거나, 인터 예측 으로 부호화된 경우에는 상기 제2 계층내의 대응 블록의 인트라 예측 모드를 소정의 인트라 예측 모드(예를 들어, DC 모드)로 간주를 하여 상기 부호화 대상 블록의 부호화에 사용할 수 있다. When the corresponding block in the second layer is not available or is encoded by inter prediction, the intra prediction mode of the corresponding block in the second layer is regarded as a predetermined intra prediction mode (eg, a DC mode). Can be used to encode a block to be encoded.
상기 부호화 대상 블록을 부호화하는 단계는, 상기 제2 계층내의 대응 블록의 인트라 예측 모드를 사용하여 상기 부호화 대상 블록의 예측신호를 생성할 수 있다.The encoding of the encoding object block may generate a prediction signal of the encoding object block by using an intra prediction mode of the corresponding block in the second layer.
상기 부호화 대상 블록을 부호화하는 단계는, 상기 제2 계층내의 대응 블록의 인트라 예측 모드를 상기 부호화 대상 블록의 MPM(Most Probable Mode) 후보 모드로 사용할 수 있다.The encoding of the encoding target block may use the intra prediction mode of the corresponding block in the second layer as a Most Probable Mode (MPM) candidate mode of the encoding target block.
상기 부호화 대상 블록을 부호화하는 단계는, MPM 대상 블록인 상기 부호화 대상 블록의 상단 주변 블록 및 좌측 주변 블록의 인트라 예측 모드 중 적어도 하나의 블록의 인트라 예측 모드를 상기 제2 계층 대응 블록의 인트라 예측 모드로 대체할 수 있다. The encoding of the encoding target block may include an intra prediction mode of at least one of an upper prediction block and an intra prediction mode of a left neighboring block of the encoding target block that is an MPM target block. Can be replaced with
상기 부호화 대상 블록을 부호화하는 단계는, MPM 대상 블록인 상기 부호화 대상 블록의 상단 주변 블록 및 좌측 주변 블록의 인트라 예측 모드와 함께 상기 제2 계층 대응 블록의 인트라 예측 모드를 MPM 후보 모드로 사용할 수 있다. In the encoding of the encoding target block, the intra prediction mode of the second layer corresponding block may be used as the MPM candidate mode together with the intra prediction modes of the upper neighboring block and the left neighboring block of the encoding target block. .
또한, 본 발명은 현재 복호화 대상 블록을 포함하는 제1 계층과 상기 제1 계층의 참조 하위 계층인 제2 계층을 포함하는 다 계층 구조 영상 복호화 방법에 있어서, 상기 제2 계층 대응블록의 인트라 예측 모드를 사용하여 상기 복호화 대상 블록을 복호화하는 단계를 포함하는 다 계층 구조 영상 복호화 방법을 제공한다.The present invention also provides a multi-layer video decoding method including a first layer including a current decoding target block and a second layer which is a reference lower layer of the first layer, wherein the intra prediction mode of the corresponding block of the second layer is included. It provides a multi-layer image decoding method comprising the step of decoding the decoding target block using.
상기 다 계층 구조 영상 복호화 방법은 입력 영상간의 크기 비율을 고려하여 상기 복호화 대상 블록의 기준 샘플 위치에 해당되는 상기 제2 계층의 샘플 위치를 특정함으로써 상기 제2 계층내의 대응 블록을 특정할 수 있다.The multi-layer video decoding method may specify a corresponding block in the second layer by specifying a sample position of the second layer corresponding to a reference sample position of the decoding target block in consideration of the size ratio between input images.
상기 복호화 대상블록을 복호화하는 단계는, 상기 복호화 대상 블록이 상기 제2 계층 대응블록의 인트라 예측 모드를 사용하였는지를 판단하는 단계를 더 포함하여, 상기 복호화 단계는 상기 복호화 대상 블록이 상기 제2 계층의 인트라 예측 모드를 사용한 경우에 상기 제2 계층의 인트라 예측 모드를 사용하여 상기 복호화 대상 블록을 복호화할 수 있다.상기 복호화 단계는 상기 복호화 대상 블록이 상기 제2 계층의 인트라 예측 모드를 사용하지 않은 경우, 통상의 화면 내 예측 복호화 방법을 통해 복호화할 수 있다. The decoding of the decoding object block may further include determining whether the decoding object block uses an intra prediction mode of the second layer correspondence block. When the intra prediction mode is used, the decoding object block may be decoded using the intra prediction mode of the second layer. The decoding may be performed when the decoding object block does not use the intra prediction mode of the second layer. It can be decoded through a conventional intra prediction prediction method.
상기 제2 계층 대응블록의 인트라 예측 모드를 사용하였는지를 판단하는 단계는 SPS(Sequence Parameter Sets), PPS(Picture Parameter Sets), Slice Segment, 부호화 유닛, 또는 예측 유닛 단위에서 수행되어 질 수 있다. Determining whether the intra prediction mode of the second layer corresponding block is used may be performed in a sequence parameter sets (SPS), a picture parameter sets (PPS), a slice segment, a coding unit, or a prediction unit.
상기 복호화 대상 블록을 복호화하는 단계는, 상기 제2 계층 대응블록의 인트라 예측 모드를 사용하여 상기 복호화 대상 블록의 예측신호를 생성할 수 있다.The decoding of the decoding object block may generate a prediction signal of the decoding object block by using an intra prediction mode of the second layer corresponding block.
상기 복호화 대상 블록을 복호화하는 단계는, 상기 제2 계층 대응블록의 인트라 예측 모드를 상기 복호화 대상 블록의 MPM(Most Probable Mode) 후보 모드로 사용할 수 있다.In the decoding of the decoding object block, the intra prediction mode of the second layer corresponding block may be used as a MPM candidate mode of the decoding object block.
상기 복호화 대상 블록을 복호화하는 단계는, MPM 대상 블록인 상기 복호화 대상 블록의 상단 주변 블록 및 좌측 주변 블록의 인트라 예측 모드 중 적어도 하나의 블록의 인트라 예측 모드를 상기 제2 계층 대응 블록의 인트라 예측 모드로 대체할 수 있다. The decoding of the decoding object block may include an intra prediction mode of at least one of an intra prediction mode of an upper neighboring block and a left neighboring block of the decoding object block that is an MPM target block. Can be replaced with
상기 복호화 대상 블록을 복호화하는 단계는, MPM 대상 블록인 상기 복호화 대상 블록의 상단 주변 블록 및 좌측 주변 블록의 인트라 예측 모드와 함께 상기 제2 계층 대응 블록의 인트라 예측 모드를 MPM 후보 모드로 사용할 수 있다. In the decoding of the decoding object block, the intra prediction mode of the second layer corresponding block may be used as the MPM candidate mode together with the intra prediction modes of the upper neighboring block and the left neighboring block of the decoding object block. .
또한 본 발명은 현재 부호화 대상 블록을 포함하는 제1 계층과 상기 제1 계층의 참조 하위 계층인 제2 계층을 포함하는 다 계층 구조 영상 부호화 방법에 있어서, 상기 부호화 대상블록에 대응되는 상기 제2 계층내의 대응 블록을 결정하는 단계; 및 상기 제2 계층내 상기 대응 블록의 인트라 예측 모드를 사용하여 상기 부호화 대상블록을 부호화하는 단계를 포함하는 것을 특징으로 하는 다 계층 구조 영상 부호화 방법 및 발명은 현재 복호화 대상 블록을 포함하는 제1 계층과 상기 제1 계층의 참조 하위 계층인 제2 계층을 포함하는 다 계층 구조 영상 복호화 방법에 있어서, 상기 제2 계층 블록의 인트라 예측 모드를 사용하여 상기 복호화 대상 블록을 복호화하는 단계를 포함하는 다 계층 구조 영상 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.The present invention also provides a multi-layer video encoding method including a first layer including a current encoding target block and a second layer, which is a reference lower layer of the first layer, wherein the second layer corresponding to the encoding target block. Determining corresponding blocks in the apparatus; And encoding the encoding target block by using an intra prediction mode of the corresponding block in the second layer. The multi-layer video encoding method and the present invention include a first layer including a current decoding target block. And a second layer which is a reference lower layer of the first layer, the multi-layer image decoding method comprising: decoding the decoding target block using an intra prediction mode of the second layer block. A computer readable recording medium having recorded thereon a program for executing a structural image decoding method on a computer is provided.
또한, 본 발명은 현재 부호화 대상 블록을 포함하는 제1 계층과 상기 제1 계층의 참조 하위 계층인 제2 계층을 포함하는 다 계층 구조 영상 부호화 장치에 있어서, 상기 제2 계층 대응블록의 인트라 예측 모드를 사용하여 상기 부호화 대상 블록을 부호화하는 인트라 예측부를 포함하는 다 계층 구조 영상 부호화 장치를 제공한다.The present invention also provides a multi-layer video encoding apparatus including a first layer including a current encoding target block and a second layer that is a reference lower layer of the first layer, wherein the intra prediction mode of the corresponding block of the second layer is included. Provided is a multi-layer video encoding apparatus including an intra prediction unit for encoding the encoding target block using.
상기 인트라 예측부는 입력 영상간의 크기 비율을 고려하여 상기 부호화 대상 블록의 기준 샘플 위치에 해당되는 상기 제2 계층의 샘플 위치를 특정함으로써 상기 부호화 대상 블록에 대응되는 제2 계층 블록을 특정할 수 있다.The intra predictor may specify a second hierarchical block corresponding to the encoding target block by specifying a sample position of the second layer corresponding to a reference sample position of the encoding target block in consideration of a size ratio between input images.
상기 인트라 예측부는 상기 제2 계층의 블록이 인트라 예측 모드로 부호화된 경우에 상기 제2 계층 블록의 인트라 예측 모드를 사용하여 상기 부호화 대상 블록을 부호화할 수 있다.The intra prediction unit may encode the encoding target block using the intra prediction mode of the second layer block when the block of the second layer is encoded in the intra prediction mode.
상기 제2 계층내 대응 블록이 이용 가능하지 않거나, 인터 예측 으로 부호화된 경우에는 제1 계층내에서 통상적인 화면 내 예측 방법을 통해 상기 부호화 대상 블록을 부호화 할 수 있다. When the corresponding block in the second layer is not available or is encoded by inter prediction, the encoding target block may be encoded in a first layer using a conventional intra picture prediction method.
상기 제2 계층내 대응 블록이 이용 가능하지 않거나, 인터 예측 으로 부호화된 경우에는 상기 제2 계층내의 대응 블록의 인트라 예측 모드를 소정의 인트라 예측 모드(예를 들어, DC 모드)로 간주를 하여 상기 부호화 대상 블록의 부호화에 사용할 수 있다. When the corresponding block in the second layer is not available or is encoded by inter prediction, the intra prediction mode of the corresponding block in the second layer is regarded as a predetermined intra prediction mode (eg, a DC mode). Can be used to encode a block to be encoded.
상기 인트라 예측부는 상기 제2 계층 대응블록의 인트라 예측 모드를 사용하여 상기 부호화 대상 블록의 예측신호를 생성할 수 있다.The intra prediction unit may generate a prediction signal of the encoding target block by using an intra prediction mode of the second layer corresponding block.
상기 인트라 예측부는 상기 제2 계층 대응블록의 인트라 예측 모드를 상기 부호화 대상 블록의 MPM(Most Probable Mode) 후보 모드로 사용할 수 있다.The intra prediction unit may use an intra prediction mode of the second layer corresponding block as a Most Probable Mode (MPM) candidate mode of the encoding target block.
상기 부호화 대상 블록을 부호화하는 단계는, MPM 대상 블록인 상기 부호화 대상 블록의 상단 주변 블록 및 좌측 주변 블록의 인트라 예측 모드 중 적어도 하나의 블록의 인트라 예측 모드를 상기 제2 계층 대응 블록의 인트라 예측 모드로 대체할 수 있다. The encoding of the encoding target block may include an intra prediction mode of at least one of an upper prediction block and an intra prediction mode of a left neighboring block of the encoding target block that is an MPM target block. Can be replaced with
상기 부호화 대상 블록을 부호화하는 단계는, MPM 대상 블록인 상기 부호화 대상 블록의 상단 주변 블록 및 좌측 주변 블록의 인트라 예측 모드와 함께 상기 제2 계층 대응 블록의 인트라 예측 모드를 MPM 후보 모드로 사용할 수 있다. In the encoding of the encoding target block, the intra prediction mode of the second layer corresponding block may be used as the MPM candidate mode together with the intra prediction modes of the upper neighboring block and the left neighboring block of the encoding target block. .
또한, 본 발명은 현재 복호화 대상 블록을 포함하는 제1 계층과 상기 제1 계층의 참조 하위 계층인 제2 계층을 포함하는 다 계층 구조 영상 복호화 장치에 있어서, 제2 계층 블록의 인트라 예측 모드를 사용하여 상기 복호화 대상 블록을 복호화하는 인트라 예측부를 포함하는 다 계층 구조 영상 복호화 장치를 제공한다.The present invention also provides a multi-layer video decoding apparatus including a first layer including a current decoding target block and a second layer that is a reference lower layer of the first layer, wherein the intra prediction mode of the second layer block is used. A multi-layer video decoding apparatus including an intra predictor for decoding the decoding target block is provided.
제2 계층 대응블록의 인트라 예측 모드를 사용하였는지를 판단하는 단계를 더 포함하여, 상기 복호화 단계는 상기 복호화 대상 블록이 상기 제2 계층의 인트라 예측 모드를 사용한 경우에 상기 제2 계층의 인트라 예측 모드를 사용하여 상기 복호화 대상 블록을 복호화할 수 있다.상기 복호화 단계는 상기 복호화 대상 블록이 상기 제2 계층의 인트라 예측 모드를 사용하지 않은 경우, 통상의 화면 내 예측 복호화 방법을 통해 복호화할 수 있다. Determining whether the intra prediction mode of the second layer corresponding block is used, wherein the decoding step is configured to perform intra prediction mode of the second layer when the decoding target block uses the intra prediction mode of the second layer. The decoding object block may be decoded using the intra-prediction decoding method. When the decoding object block does not use the intra prediction mode of the second layer, the decoding object block may be decoded using a normal intra prediction decoding method.
상기 제2 계층 대응블록의 인트라 예측 모드를 사용하였는지를 판단하는 단계는 SPS(Sequence Parameter Sets), PPS(Picture Parameter Sets), Slice Segment, 부호화 유닛, 또는 예측 유닛 단위에서 수행되어 질 수 있다.Determining whether the intra prediction mode of the second layer corresponding block is used may be performed in a sequence parameter sets (SPS), a picture parameter sets (PPS), a slice segment, a coding unit, or a prediction unit.
상기 인트라 예측부는 입력 영상간의 크기비율을 고려하여 상기 복호화 대상 블록의 기준 샘플 위치에 해당되는 상기 제2 계층의 샘플 위치를 특정함으로써 상기 복호화 대상 블록에 대응되는 제2 계층 대응블록을 특정할 수 있다.The intra predictor may specify a second layer corresponding block corresponding to the decoding object block by specifying a sample position of the second layer corresponding to a reference sample position of the decoding object block in consideration of a size ratio between input images. .
상기 인트라 예측부는 상기 복호화 대상 블록이 상기 제2 계층의 인트라 예측 모드를 사용하여 부호화된 경우에 상기 제2 계층 블록의 인트라 예측 모드를 사용하여 복호화 대상 블록을 복호화할 수 있다.The intra prediction unit may decode the decoding object block using the intra prediction mode of the second layer block when the decoding object block is encoded using the intra prediction mode of the second layer.
상기 인트라 예측부는 상기 복호화 대상 블록이 상기 제2 계층의 인트라 예측 모드를 사용하지 않은 경우, 통상의 화면 내 예측 복호화 방법을 통해 복호화할 수 있다.If the intra prediction block does not use the intra prediction mode of the second layer, the intra predictor may decode the signal through a conventional intra prediction decoding method.
상기 인트라 예측부는 상기 제2 계층 블록의 인트라 예측 모드를 사용하여 상기 복호화 대상 블록의 예측신호를 생성할 수 있다.The intra predictor may generate a prediction signal of the decoding object block by using an intra prediction mode of the second layer block.
상기 인트라 예측부는 상기 제2 계층 블록의 인트라 예측 모드를 상기 복호화 대상 블록의 MPM(Most Probable Mode) 후보 모드로 사용할 수 있다.The intra predictor may use the intra prediction mode of the second layer block as a Most Probable Mode (MPM) candidate mode of the decoding target block.
상기 복호화 대상 블록을 복호화하는 단계는, MPM 대상 블록인 상기 복호화 대상 블록의 상단 주변 블록 및 좌측 주변 블록의 인트라 예측 모드 중 적어도 하나의 블록의 인트라 예측 모드를 상기 제2 계층 대응 블록의 인트라 예측 모드로 대체할 수 있다. The decoding of the decoding object block may include an intra prediction mode of at least one of an intra prediction mode of an upper neighboring block and a left neighboring block of the decoding object block that is an MPM target block. Can be replaced with
상기 복호화 대상 블록을 복호화하는 단계는, MPM 대상 블록인 상기 복호화 대상 블록의 상단 주변 블록 및 좌측 주변 블록의 인트라 예측 모드와 함께 상기 제2 계층 대응 블록의 인트라 예측 모드를 MPM 후보 모드로 사용할 수 있다.In the decoding of the decoding object block, the intra prediction mode of the second layer corresponding block may be used as the MPM candidate mode together with the intra prediction modes of the upper neighboring block and the left neighboring block of the decoding object block. .
본 발명에 따른 다 계층 구조 기반 영상 부호화 및 복호화 방법은 상위 계층의 부호화 대상 블록을 화면 내 예측 부호화함에 있어, 하위 계층의 대응되는 블록의 인트라 예측 모드를 사용하는 방법을 제공함으로써, 계층간 인트라 예측 모드 정보에 대한 중복성 제거를 통해 부호화 효율 향상 및 복잡도를 감소시키는 효과를 가진다.In the multi-layer structure-based image encoding and decoding method according to the present invention, in intra prediction encoding an encoding target block of an upper layer, a method of using intra prediction mode of a corresponding block of a lower layer is provided, thereby providing inter-layer intra prediction. By eliminating redundancy for mode information, it has the effect of improving coding efficiency and reducing complexity.
도 1a 및 도 1b는 본 발명이 적용되는 영상 부호화 장치의 일 실시 예에 따른 구성을 나타내는 블록도이다.1A and 1B are block diagrams illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
도 2a 및 도 2b는 본 발명이 적용되는 영상 복호화 장치의 일 실시 예에 따른 구성을 나타내는 블록도이다.2A and 2B are block diagrams illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
도 3은 본 발명의 일 실시 예에 따른 다 계층 구조 영상 부호화 방법의 순서도이다.3 is a flowchart of a multi-layer video encoding method according to an embodiment of the present invention.
도 4는 본 발명의 일 실시 예에 따른 다 계층 구조 영상 부호화 방법에 있어서 부호화 대상 블록과 부호화 대상 블록에 대응되는 하위 계층의 블록의 관계를 나타낸 도면이다.4 is a diagram illustrating a relationship between an encoding target block and a lower layer block corresponding to an encoding target block in the multi-layer video encoding method according to an embodiment of the present invention.
도 5는 본 발명의 일 실시 예에 따른 다 계층 구조 영상 부호화 방법에 있어서 하위 계층 블록의 인트라 예측모드를 사용하여 부호화 대상 블록의 예측 신호를 생성하는 것을 도시한 도면이다.FIG. 5 is a diagram for generating a prediction signal of an encoding target block using an intra prediction mode of a lower layer block in a multi-layer video encoding method according to an embodiment of the present invention.
도 6은 부호화 대상 블록의 주변 블록들의 정보를 모두 사용할 수 없는 경우를 나타낸 도면이다.6 is a diagram illustrating a case in which all of information of neighboring blocks of an encoding target block cannot be used.
도 7은 부호화 대상 블록의 MPM 후보 모드로 사용되는 좌측 주변 블록의 정보가 이용 가능하지 않을 경우를 나타내는 도면이다.FIG. 7 is a diagram illustrating a case in which information on a left neighboring block used in the MPM candidate mode of a block to be encoded is not available.
도 8은 부호화 대상 블록의 MPM 정보로 사용되는 좌측 주변 블록과 상단 주변 블록의 정보가 동일한 경우를 나타내는 도면이다.8 is a diagram illustrating a case where information of a left neighboring block and an upper neighboring block used as MPM information of a block to be encoded is the same.
도 9는 부호화 대상 블록의 상단 주변 블록과 좌측 주변 블록의 인트라 예측 모드의 값이 상이한 경우를 나타내는 도면이다.9 is a diagram illustrating a case where the value of the intra prediction mode of the upper neighboring block and the left neighboring block of the encoding target block is different.
도 10은 부호화 대상 블록의 상단 주변 블록과 좌측 주변 블록의 인트라 예측 모드의 값이 상이한 경우를 나타내는 도면이다.FIG. 10 is a diagram illustrating a case where the value of the intra prediction mode of the upper neighboring block and the left neighboring block of the encoding target block is different.
도 11은 본 발명의 일 실시 예에 따른 다 계층 구조 영상 복호화 방법의 순서도이다.11 is a flowchart of a multi-layer video decoding method according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present disclosure does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
도 1a 및 도1b는 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 본 발명의 일 실시 예에 따른 영상 부호화 장치는 복수 계층의 영상 부호화 장치를 포함한다. 도 1a는 본 발명의 일 실시 예에 따른 하위 계층 영상 부호화 장치(100a)를 도시한 블록도이고, 도 1b는 본 발명의 일 실시 예에 따른 상위 계층 영상 부호화 장치(100b)를 도시한 블록도이다. 하위 계층 영상 부호화 장치(100a)의 출력 및 상위 계층 영상 부호화 장치(100b)의 출력은 멀티플렉서(multiplexer)에 연결되어 복수 계층의 비트 스트림은 하나의 비트 스트림으로 조합될 수 있다. 본 발명의 다른 실시 예에 의한 영상 부호화 장치는 선택에 따라 하위 계층 영상 부호화 장치(100a) 및 복수의 상위 계층 영상 부호화 장치(100b)로 구성될 수도 있고, 경우에 따라 복수의 하위 계층 영상 부호화 장치(100a) 및 복수의 상위 계층 영상 부호화 장치(100b)로 구성될 수도 있다.1A and 1B are block diagrams illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention. An image encoding apparatus according to an embodiment of the present invention includes a plurality of layers of image encoding apparatuses. FIG. 1A is a block diagram illustrating a lower layer
도 1a를 참조하면, 하위 계층 영상 부호화 장치(100a)는 움직임 예측부(111a), 움직임 보상부(112a), 인트라 예측부(120a), 스위치(115a), 감산기(125a), 변환부(130a), 양자화부(140a), 엔트로피 부호화부(150a), 역양자화부(160a), 역변환부(170a), 가산기(175a), 필터부(180a) 및 참조 픽쳐 버퍼(190a)를 포함한다.Referring to FIG. 1A, the lower layer
하위 계층 영상 부호화 장치(100a)는 하위 계층 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 하위 계층 비트스트림을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115a)가 인트라로 전환되고, 인터 모드인 경우 스위치(115a)가 인터로 전환될 수 있다. 하위 계층 영상 부호화 장치(100a)는 하위 계층 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.The lower layer
인트라 모드인 경우, 인트라 예측부(120a)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측부는 다른 계층으로 인트라 예측 모드 정보를 전달하거나 전달 받을 수 있다. 하위 계층 영상 부호화 장치(100a)에 포함된 인트라 예측부(120a)는 하위 계층 블록의 인트라 예측 모드 정보를 상위 계층 영상 부호화 장치(100b)의 인트라 예측부(120b)의 요청에 따라 선택적으로 상위 계층 영상 부호화 장치(100b)의 인트라 예측부(120b)로 전달할 수 있다(ⓐ). 이에 대응하여 상위 계층 영상 부호화 장치(100b)를 도시한 도 1b를 참조하면, 상위 계층 영상 부호화 장치(100b)의 인트라 예측부(120b)는 요청에 따라 하위 계층 영상 부호화 장치(100a)의 인트라 예측부(120a)에서 전송된 인트라 예측 모드 정보를 전달받고(ⓐ), 이를 선택적으로 사용하여 예측 블록을 생성할 수 있다.In the intra mode, the
인터 모드인 경우, 움직임 예측부(motion estimator)(111a)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190a)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112a)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. In the inter mode, the
감산기(125a)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. 변환부(130a)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140a)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. The
엔트로피 부호화부(150a)는, 양자화부(140a)에서 산출된 값(예를 들어, 양자화된 계수)들 및/또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 하위 계층 비트스트림(bit stream)을 출력할 수 있다. The
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150a)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. When entropy encoding is applied, a small number of bits are assigned to a symbol having a high probability of occurrence and a large number of bits are assigned to a symbol having a low probability of occurrence, thereby representing bits for encoding symbols. The size of the heat can be reduced. Therefore, compression performance of image encoding may be increased through entropy encoding. The
도 1a의 실시 예에 따른 하위 계층 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간(inter-frame) 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160a)에서 역양자화되고 역변환부(170a)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175a)를 통해 예측 블록과 더해지고 복원 블록이 생성된다. Since the lower layer image encoding apparatus according to the embodiment of FIG. 1A performs inter prediction encoding, that is, inter-frame prediction encoding, the current encoded image needs to be decoded and stored to be used as a reference image. Accordingly, the quantized coefficient is inversely quantized by the
복원 블록은 필터부(180a)를 거치고, 필터부(180a)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180a)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡 및/또는 블록킹 아티팩트(blocking artifact)를 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있으며, 고효율이 적용되는 경우에만 수행될 수도 있다. 필터부(180a)를 거친 복원 블록은 참조 픽쳐 버퍼(190a)에 저장될 수 있다.The reconstruction block passes through the
도 1b를 참조하면, 상위 계층의 영상 부호화 장치(100b)는 도 1에 도시된 하위 계층의 영상 부호화 장치(100a)와 대응되는 구성인 움직임 예측부(111b), 움직임 보상부(112b), 인트라 예측부(120b), 스위치(115b), 감산기(125b), 변환부(130b), 양자화부(140b), 엔트로피 부호화부(150b), 역양자화부(160b), 역변환부(170b), 가산기(175b), 필터부(180b) 및 참조 픽쳐 버퍼(190b)를 포함하고, 각 구성은 하위 계층의 영상 부호화 장치(100a)의 대응되는 각 구성에 대응되는 기능을 한다.Referring to FIG. 1B, the
상위 계층 영상 부호화 장치(100b)는 상위 계층 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 상위 계층 비트스트림을 출력할 수 있다. 상위 계층 영상 부호화 장치(100b)는 상위 계층 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.The higher layer
인트라 예측부(120b)는 하위 계층 영상 부호화 장치(100a)의 인트라 예측부(120a)에 인트라 예측 모드의 정보를 선택적으로 요청할 수 있고, 상기 요청에 따라 하위 계층 영상 부호화 장치(100a)의 인트라 예측부(120a)에서 전송된 인트라 예측 모드 정보를 전달받고(ⓐ), 이를 선택적으로 사용하여 예측 블록을 생성할 수 있다.The
또는 선택에 따라, 상위 계층 영상 부호화 장치(100b)의 인트라 예측부(120b)는 도 1b에는 도시되지 않았지만, 도 1a의 하위 계층 영상 복호화 장치(100a)의 인트라 예측부(120a)와 같은 방식으로, 부호화된 상위 계층 블록의 인트라 예측 모드 정보를 또 다른 상위 계층 영상 부호화 장치의 인트라 예측부의 요청에 따라 상기 또 다른 상위 계층 영상 부호화 장치의 인트라 예측부로 전달할 수도 있다.Alternatively, although not shown in FIG. 1B, the
엔트로피 부호화부(150b)는, 양자화부(140b)에서 산출된 값(예를 들어, 양자화된 계수)들 및/또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 상위 계층 비트스트림(bit stream)을 출력할 수 있다.The
도 2a 및 도 2b는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 본 발명의 일 실시 예에 따른 영상 복호화 장치는 복수 계층의 영상 복호화 장치를 포함하며, 복수 계층의 영상 복호화 장치의 계층 구조는 부호화장치의 계층 구조에 대응될 수 있다.2A and 2B are block diagrams illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention. An image decoding apparatus according to an embodiment of the present invention may include a plurality of layers of image decoding apparatuses, and the hierarchical structure of the plurality of image decoding apparatuses may correspond to the hierarchical structure of the encoding apparatus.
도 2a는 하위 계층 영상 복호화 장치(200a)를 도시한 블록도이고, 도 2b는 상위 계층 영상 복호화 장치(200b)를 도시한 블록도이다. FIG. 2A is a block diagram illustrating the lower layer
하위 계층 영상 복호화 장치(200a)의 입력 및 상위 계층 영상 복호화 장치(200b)의 입력은 디멀티플렉서(demultiplexer)의 출력에 연결되어, 하나의 입력 비트 스트림은 디멀티플렉서를 통해 복수 계층의 비트 스트림으로 분리된 후 분리된 비트스트림은 해당되는 계층의 영상 복호화기에 입력될 수 있다.The input of the lower layer
본 발명의 다른 실시 예에 의한 영상 복호화 장치는 선택에 따라 하위 계층 영상 복호화 장치(200a) 및 복수의 상위 계층 영상 복호화 장치(200b)로 구성될 수도 있고, 경우에 따라 복수의 하위 계층 영상 복호화 장치(200a) 및 복수의 상위 계층 영상 복호화 장치(200b)로 구성될 수도 있다.The video decoding apparatus according to another embodiment of the present invention may be composed of a lower layer
도 2a를 참조하면, 상기 하위 계층 영상 복호화 장치(200a)는 엔트로피 복호화부(210a), 역양자화부(220a), 역변환부(230a), 인트라 예측부(240a), 움직임 보상부(250a), 가산기(255a), 필터부(260a) 및 참조 픽쳐 버퍼(270a)를 포함한다.Referring to FIG. 2A, the lower layer
하위 계층 영상 복호화 장치(200a)는 부호화기에서 출력되고 디멀티플렉서를 통하여 분리된 하위 계층 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 하위 계층 영상 복호화 장치(200a)는 입력 받은 하위 계층 비트스트림으로부터 잔차 블록(residual block)을 얻고 예측 블록을 생성한 후 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.The lower layer
엔트로피 복호화부(210a)는, 입력된 하위 계층 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.The
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다. When the entropy decoding method is applied, a small number of bits are allocated to a symbol having a high probability of occurrence and a large number of bits are allocated to a symbol having a low probability of occurrence, whereby the size of the bit string for each symbol is increased. Can be reduced. Therefore, the compression performance of image decoding can be improved through an entropy decoding method.
양자화된 계수는 역양자화부(220a)에서 역양자화되고 역변환부(230a)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔차 블록(residual block)이 생성될 수 있다. The quantized coefficients are inversely quantized by the
인트라 모드인 경우, 인트라 예측부(240a)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측부는 다른 계층으로 인트라 예측 모드 정보를 전달하거나 전달 받을 수 있다. 하위 계층 영상 복호화 장치(200a)의 인트라 예측부(240a)는 복호화된 하위 계층 블록의 인트라 예측 모드 정보를 상위 계층 영상 복호화 장치(200b)의 인트라 예측부(240b)의 요청에 따라 상위 계층 영상 복호화 장치(200b)의 인트라 예측부(240b)로 전달한다(ⓑ). 이에 대응하여 상위 계층 영상 복호화 장치(200b)를 도시한 도 2b를 참조하면, 상위 계층 영상 복호화 장치(200b)의 요청에 따라 인트라 예측부(240b)는 하위 계층 영상 복호화 장치(200a)의 인트라 예측부(240a)에서 전송된 인트라 예측 모드 정보를 전달받고(ⓑ), 이를 사용하여 예측 블록을 생성할 수 있다.In the intra mode, the
인터 모드인 경우, 움직임 보상부(250a)는 움직임 벡터 및 참조 픽쳐 버퍼(270a)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. In the inter mode, the
잔차 블록과 예측 블록은 가산기(255a)를 통해 더해지고, 더해진 블록은 필터부(260a)를 거칠 수 있다. 필터부(260a)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260a)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270a)에 저장되어 인터 예측에 사용될 수 있다.The residual block and the prediction block may be added through the
도 2b를 참조하면, 상기 상위 계층 영상 복호화 장치(200b)는 엔트로피 복호화부(210b), 역양자화부(220b), 역변환부(230b), 인트라 예측부(240b), 움직임 보상부(250b), 가산기(255a), 필터부(260b) 및 참조 픽쳐 버퍼(270b)를 포함하고, 각 구성은 상기 하위 계층 영상 복호화 장치(200a)의 구성과 대응되고, 각 구성은 상기 하위 계층 영상 복호화 장치(200a)의 구성과 대응되는 기능을 수행할 수 있다.Referring to FIG. 2B, the higher layer
상위 계층 영상 복호화 장치(200b)는 부호화기에서 출력되고 디멀티플렉서를 통하여 분리된 상위 계층 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 상위 계층 복원 영상을 출력할 수 있다. 상위 계층 영상 복호화 장치(200b)는 입력 받은 상위 계층 비트스트림으로부터 잔차 블록(residual block)을 얻고 예측 블록을 생성한 후 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.The higher layer
엔트로피 복호화부(210b)는, 입력된 상위 계층 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.The
인트라 모드인 경우, 인트라 예측부(240b)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측부(240b)는 다른 계층의 인트라 예측 모드 정보를 전달 받을 수 있고 선택에 따라 다른 계층으로 인트라 예측 모드 정보를 전달할 수도 있다. 상위 계층 영상 복호화 장치(200b)의 인트라 예측부(240b)는 요청에 따라 하위 계층 영상 복호화 장치(200a)의 인트라 예측부(240a)에서 전송된 인트라 예측 모드 정보를 전달받고(ⓑ), 이를 사용하여 예측 블록을 생성할 수 있다.In the intra mode, the
또는 선택에 따라, 상위 계층 영상 복호화 장치(200b)의 인트라 예측부(240b)는 도 2b에는 도시되지 않았지만, 도 2a의 하위 계층 영상 복호화 장치(200a)의 인트라 예측부(240a)와 같이 복호화된 상위 계층 블록의 인트라 예측 모드 정보를 또 다른 상위 계층 영상 복호화 장치의 인트라 예측부의 요청에 따라 상기 또 다른 상위 계층 영상 복호화 장치의 인트라 예측부로 전달할 수도 있다.Alternatively, although not shown in FIG. 2B, the
이하, 블록은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 영상을 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 의미하므로, 부호화 유닛 (블록)(CU: Coding Unit 또는 CB: Coding Block), 예측 유닛(블록) (PU: Prediction Unit 또는 PB: Prediction Block), 변환 유닛 (블록)(TU: Transform Unit 또는 TB: Transform Block), 등으로 불릴 수 있다. 하나의 블록은 크기가 더 작은 하위 블록으로 더 분할될 수 있다. 또한, 본 명세서에서 “픽쳐”는 문맥에 따라 “프레임”, “필드” 및/또는 “슬라이스”로 대체되어 사용될 수 있으며, 이러한 구분은 해당 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다. 예를 들어, P 픽쳐, B 픽쳐, 순방향 B 픽쳐는 문맥에 따라 각각 P 슬라이스, B 슬라이스, 순방향 B 슬라이스로 대체되어 사용될 수 있다.Hereinafter, a block means a unit of image encoding and decoding. When encoding or decoding an image, a coding or decoding unit refers to a divided unit when an image is divided and encoded or decoded, so that a coding unit (block) (CU: Coding Unit or CB: Coding Block) and a prediction unit (block) are used. (PU: Prediction Unit or PB: Prediction Block), transform unit (block) (TU: Transform Unit or TB: Transform Block), and so on. One block may be further divided into smaller sub-blocks. In addition, in the present specification, "picture" may be replaced with "frame", "field" and / or "slice" according to the context, and this division may be easily performed by those skilled in the art. There will be. For example, P pictures, B pictures, and forward B pictures may be replaced with P slices, B slices, and forward B slices depending on the context.
도 3은 본 발명의 일 실시 예에 따른 다 계층 구조 영상 부호화 방법의 순서도이다. 본 발명의 일 실시 예에 따른 다 계층 구조 영상 부호화 방법을 설명한다.3 is a flowchart of a multi-layer video encoding method according to an embodiment of the present invention. A multi-layer video encoding method according to an embodiment of the present invention will be described.
도 3에 도시된 본 발명의 일 실시 예에 따른 다 계층 구조 영상 부호화 방법은 상위 계층의 부호화 대상 블록(400)에 대한 화면 내 예측 부호화를 수행함에 있어 하위 계층 블록(410)의 정보를 사용한다. 상위 계층은 향상 계층(enhancement layer)이고 하위 계층은 기본 계층(base layer)일 수 있다. 상위 향상 계층은 하위 향상 계층의 블록정보를 사용할 수도 있다. 또한, 향상 계층은 언제나 기본 계층의 블록 정보를 사용할 수도 있다. 예를 들어, 향상 계층1, 향상계층2 및 향상계층 3이 있을 때, 향상 계층1, 향상계층2 및 향상계층 3은 기본 계층의 블록 정보를 사용할 수도 있다.In the multi-layer video encoding method according to an embodiment of the present invention illustrated in FIG. 3, information of a
본 발명의 일 실시 예에 따른 다 계층 구조 영상 부호화 방법은 상위 계층의 부호화 대상 블록(400)에 대응되는 하위 계층의 블록을 결정하는 단계(S110) 및 상기 결정된 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 부호화 대상 블록(400)을 부호화하는 단계(S120)를 포함한다. In the multi-layer video encoding method according to an embodiment of the present invention, determining a block of a lower layer corresponding to an
부호화 대상 블록(400)을 부호화하는 단계(S120)는 하위 계층내 대응 블록이 이용 가능하지 않거나, 인터 예측 으로 부호화된 경우에 상위 계층내에서 통상적인 화면 내 예측 방법을 통해 상기 부호화 대상 블록을 부호화 할 수 있다. 또는, 이러한 경우 설정에 따라 하위 계층내의 대응 블록의 인트라 예측 모드를 사용자가 설정한 소정의 인트라 예측 모드(예를 들어, DC 모드)로 간주하여 부호화 대상 블록의 부호화에 사용할 수도 있다. 또는 이와 달리 설정에 따라 상기 하위 계층 블록(410)이 인트라 예측 모드로 부호화된 경우에 한하여 수행되도록 할 수도 있다.Encoding the
부호화 대상 블록(400)을 부호화하는 단계(S120)는 상기 결정된 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 부호화 대상 블록(400)의 예측 신호를 생성 할 수 있다. 또는 상기 하위 계층 블록(410)의 인트라 예측 모드를 부호화 대상 예측 블록(400)(400)의 MPM(Most Probable Mode) 후보 모드로 사용할 수도 있다. In the encoding of the encoding target block 400 (S120), a prediction signal of the
도 4는 부호화 대상 블록(400)과 부호화 대상 블록(400)에 대응되는 하위 계층의 블록(410)의 관계를 나타낸 도면이다. 도 4는 부호화 대상 블록(400) 및 부호화 대상 블록(400)에 대응되는 하위 계층의 블록(410)을 도시한다.4 is a diagram illustrating a relationship between an
도 4를 참조하여 상위 계층의 부호화 대상 블록(400)에 대응되는 하위 계층의 블록(410)을 결정하는 단계(S110)를 설명한다. 부호화 대상 블록(400)의 기준 샘플 위치에 대응되는 하위 계층 블록(410)의 샘플 위치를 포함하는 블록을 선택하는 것으로 부호화 대상 블록(400)에 대응되는 하위 계층의 블록(410)을 선택할 수 있다. 부호화 대상 블록의 기준 샘플 위치에 대응되는 하위 계층 블록의 샘플 위치의 인트라 예측 모드를 하위 계층 블록의 인트라 예측 모드로 사용할 수 있다. 기준 샘플 위치는 부호화 대상 블록(400)의 내부 샘플 위치(401, 402)뿐만 아니라, 주변 블록들에 포함된 샘플 위치들(403, 404)을 사용할 수 있다. 주변 블록에 포함된 샘플 위치들로 우측 상단 샘플위치(403) 및 우측 하단 샘플위치(404) 등이 있다. 부호화 대상 블록의 기준 샘플 위치들은 상기 실시예에서 언급한 위치들뿐만 아니라 다양한 위치들을 이용할 수 있다. 계층간 입력 영상의 크기가 다를 경우, 향상 계층에 대응되는 참조 계층의 샘플 위치를 구함에 있어, 입력 영상간의 크기 비율(Scaling Factor)을 반영할 수 있다. 입력 영상간의 크기 비율은 입력 영상간의 크기 비에 따라 결정될 수 있다. 예를 들어, 계층 간 입력 영상의 크기가 같은 경우 크기 비율은 ‘1’일 수 있고, 향상 계층의 가로/세로의 크기가 참조 계층의 가로/세로의 크기보다 각각 2배 큰 경우 크기 비율은 ‘2’일 수 있다. A step (S110) of determining a
도 4에 도시된 내부 샘플 위치 중에서 (xP+1, yP+1)의 위치(401)를 예로 들어 보다 자세히 설명한다. 부호화 대상 블록(400)의 기준 샘플 위치는 (xP+1, yP+1)이다. 이때, 하위 계층의 대응되는 샘플 위치 (refX, refY)는 아래의 수학식 1과 같이 계산될 수 있다. 그리고 계산된 (refX, refY)의 샘플을 포함하는 블록을 부호화 대상 블록(400)에 대응되는 블록으로 결정한다.The
수학식 1
상기 (xP+1, yP+1)/Scaling Factor는 xP+1와 yP+1를 각각 Scaling Factor로 나누는 것을 의미할 수 있다. 가로와 세로간의 입력 영상의 크기 비율이 다른 경우, 가로의 Scaling Factor와 세로의 Scaling Factor는 서로 다를 수 있다.The (xP + 1, yP + 1) / Scaling Factor may mean dividing xP + 1 and yP + 1 by Scaling Factor, respectively. When the ratio of the size of the input image between the width and the height is different, the horizontal scaling factor and the vertical scaling factor may be different from each other.
부호화 대상 블록(400)을 부호화하는 단계(S120)는 상기 결정된 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 부호화 대상 블록(400)의 예측 신호를 생성 할 수 있다. 또는 상기 하위 계층 블록(410)의 인트라 예측 모드를 부호화 대상 예측 블록(400)의 MPM(Most Probable Mode) 후보 모드로 사용할 수도 있다. In the encoding of the encoding target block 400 (S120), a prediction signal of the
전술한 바와 같이, 부호화 대상 블록(400)을 부호화하는 단계(S120)는 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 부호화 대상 블록(400)의 예측 신호를 생성 하거나, 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 부호화 대상 예측 블록(400)의 MPM(Most Probable Mode) 후보 모드로 사용하여 수행될 수 있다.As described above, the step of encoding the encoding target block 400 (S120) may generate a prediction signal of the
도 5는 하위 계층 블록(410)의 인트라 예측모드를 사용하여 부호화 대상 블록(400)의 예측 신호를 생성하는 것을 도시한 도면이다. 도 5를 참조하여 하위 계층 블록(410)의 인트라 예측모드를 사용하여 부호화 대상 블록(400)의 예측 신호를 생성함으로써 부호화 대상 블록(400)을 부호화하는 단계를 설명한다. FIG. 5 is a diagram for generating a prediction signal of an
도 5는 대응되는 하위 계층 블록(410)의 인트라 예측 모드가 수직 방향(vertical) 예측인 경우를 도시한다. 도 5를 참조하여 하위 계층 블록(410)의 인트라 예측 모드가 수직 방향(vertical) 예측인 경우 부호화 대상 블록(400)의 예측 신호를 생성하는 단계를 설명한다.FIG. 5 illustrates a case where the intra prediction mode of the corresponding
먼저, 소정의 인트라 예측 모드들 중 하위 계층 블록의 인트라 예측 모드인 수직 방향 예측만을 사용하여 부호화 대상 블록(400)의 주변 복원 참조 샘플들로부터 예측 신호를 결정한다. 다음으로, 부호화 대상 블록(400)의 원본 신호와 하위 계층 블록(410)의 인트라 예측 모드로 생성된 예측 신호의 차분 신호에 대해 변환 및 양자화, 엔트로피 부호화를 수행한다. 마지막으로, 복호화장치(200)에는 변환 및 양자화된 차분 신호 외에 하위 계층 블록(410)의 인트라 예측모드를 사용하여 부호화 대상 블록(400)의 예측 신호를 생성하였음을 나타내는 플래그(예를 들어, base_intra_mode_flag)를 전송한다. 이 플래그의 크기는 1bit일 수 있다. 상기와 같은 방법으로 대상 블록을 화면 내 예측 부호화한 경우에는 통상적인 인트라 예측 모드 부호화에 사용되는 MPM 관련 신택스 정보 (prev_intra_lum_pred_flag,mpm_idx,rem_intra_luma_pred_mod) 전송을 생략할 수 있다. 복호화 장치(200)에서는 예를 들어, base_intra_mode_flag의 값이 ‘1’인 경우, 복호화 대상 블록의 위치에 대응되는 하위 계층 블록의 인트라 예측 모드인 ‘수직 방향’ 예측만을 사용하여 부호화 장치(100)와 동일한 예측 신호를 생성할 수 있다.First, a prediction signal is determined from peripheral reconstruction reference samples of the
도 6 내지 10은 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 부호화 대상 블록(400)의 MPM(Most Probable Mode) 후보 모드로 사용하여 부호화 대상 블록(400)의 최적 인트라 예측 모드를 부호화 하는 것을 도시한 도면이다. 도 6 내지 도 10에는 부호화 대상 블록(400), 부호화 대상 블록(400)에 대응되는 하위 계층 블록(410), 부호화 대상 블록(400)의 좌측 주변 블록들(430) 및 부호화 대상 블록(400)의 상단 주변 블록들(440)이 도시되어 있다. 부호화 대상 블록(400)의 MPM 후보 모드로 사용되는 주변 블록 중 해당 블록의 정보를 이용할 수 있는 블록은 무늬 없는 블록으로 표시되어 있고, 이용할 수 없는 블록은 사선을 가진 블록로 표시되어 있다. 일 실시 예로 도 7에는 해당 블록의 정보를 이용할 수 있는 블록(440)과 정보를 이용할 수 없는 블록(430)이 도시되어 있다. 6 to 10 show that the optimal intra prediction mode of the
상기 하위 계층 블록(410)들의 인트라 예측 모드가 부호화 대상 블록(400)들의 MPM 후보 모드로 사용되는 경우, 부호화장치(100)는 복호화장치(200)로 플래그를 전송하여 복호화 장치에서도 동일한 과정으로 해당 블록의 화면 내 예측 모드를 복호화할 수 있도록 할 수 있다. 예를 들면, 부호화 장치(100)는 상기 하위 계층 블록의 인트라 예측 모드가 부호화 대상 블록(400)의 MPM 후보 모드로 사용될 수 있음을 나타내는 1 비트 크기의 플래그를 SPS(Sequence Parameter Sets), PPS(Picture Paramter Sets), Slice segment, 부호화 유닛 또는 예측 유닛 등을 통해 복호화장치(200)로 전송하여 복호화장치(200)가 부호화 과정에 대응하여 해당 블록의 화면 내 예측 모드를 복호화할 수 있게 할 수 있다. When the intra prediction mode of the lower layer blocks 410 is used as the MPM candidate mode of the encoding target blocks 400, the encoding apparatus 100 transmits a flag to the decoding apparatus 200 to perform the same process in the decoding apparatus. It is possible to decode the intra prediction mode of the block. For example, the encoding apparatus 100 may designate a 1-bit size flag indicating that an intra prediction mode of the lower layer block may be used as an MPM candidate mode of the
그리고, 부호화장치(100)는 소정의 인트라 예측 모드 중에서 부호화 대상 블록(400)에 대한 최적 예측 모드를 구한 다음 선정된 MPM 후보 모드를 이용하여 최적 예측 모드를 부호화한다.The encoding apparatus 100 obtains an optimal prediction mode for the block to be encoded 400 from among predetermined intra prediction modes, and then encodes the optimal prediction mode using the selected MPM candidate mode.
부호화장치(100)가 최적 예측 모드를 부호화하는 방법을 설명한다. 부호화장치(100)는 계산된 최적 예측 모드가 MPM 후보 모드와 일치하는지를 나타내는 플래그(prev_intra_luma_pred_flag) 및 계산된 최적 예측 모드가 MPM 후보들 중 어떤 후보 모드와 일치하는지를 나타내는 인덱스 정보(mpm_idx)를 복호화장치(200)로 전송한다. 계산된 최적 예측 모드가 MPM 후보들 중 어느 하나에도 일치되지 않을 경우, 부호화장치(100)는 계산된 최적 예측 모드가 MPM 후보 모드와 일치하는지를 나타내는 플래그(prev_intra_luma_pred_flag)에 ‘0’을 지정하여 전송하고 현재 블록의 최적 예측 모드(rem_intra_luma_pred_mod)를 직접 부호화한다 A method of encoding the optimal prediction mode by the encoding apparatus 100 will be described. The encoding apparatus 100 decodes a flag prev_intra_luma_pred_flag indicating whether the calculated optimal prediction mode matches the MPM candidate mode, and index information mpm_idx indicating which candidate mode among the MPM candidates the calculated optimal prediction mode matches. To send). If the calculated optimal prediction mode does not match any of the MPM candidates, the encoding apparatus 100 transmits by designating '0' to a flag (prev_intra_luma_pred_flag) indicating whether the calculated optimal prediction mode matches the MPM candidate mode and presently. Directly encode the best prediction mode (rem_intra_luma_pred_mod) of the block
이하 도 6 내지 도 10을 참조하여 MPM 후보 모드를 구성하는 방법을 설명한다. 도 6은 부호화 대상 블록(400)의 주변 블록들(430, 440)의 정보를 모두 사용할 수 없는 경우를 도시한다. 후술하는 설명에서 MPM 후보 모드에 포함되는 모드의 개수는 2개, 3개, 4개 등으로 고정될 수 있으며, 상기 모드들로 채우지 못한 경우, 특정 모드를 추가 후보 모드로 사용할 수 있다. 예를 들어, MPM 모드 후보에 포함되는 모드의 수가 3개인 경우, 후보 모드 1과 후보 모드 2가 다른 경우에는 후보 모드 3으로 Planar/DC/Vertical 모드 순서 중 후보 모드1 및 후보 모드 2에 속하지 않는 모드인 DC 모드를 사용할 수 있다. 이때 후보 모드 3을 추가하기 위한 모드의 순서는 Planar/DC/Vertical의 순서와 다른 순서를 가질 수 있고, Planar/DC/Vertical외의 다른 모드를 포함할 수도 있다.Hereinafter, a method of configuring the MPM candidate mode will be described with reference to FIGS. 6 to 10. FIG. 6 illustrates a case in which all of the information of the neighboring
만약 후보 모드 1과 후보 모드 2가 동일한 경우, 후보 모드 1, 2가 DC 또는 Planar 모드인 경우에는 후보 모드1 를 Planar모드로 후보 모드 2를 DC, 후보 모드3을 Vertical 모드로 사용할 수 있다. 만약 후보 모드 1과 후보 모드 2가 동일하고 후보 모드 1, 2가 DC 또는 Planar 모드가 아닌 경우에는 후보 모드 1 또는 2 를 기준으로 모드 순서상 하나 작은 모드를 후보 모드2, 순서상 하나 큰 모드를 후보 모드3으로 사용할 수 있다.If
MPM 모드 후보에 포함되는 모드의 수가 4개인 경우 3개의 경우와 유사한 방식으로 수행될 수 있다. 예를 들어 후보 3 또는 4를 결정하기 위한 모드의 우선순위는 Planar/DC/Horizontal/Vertical의 순서일 수 있고, 전술한 바와 같이 상기 우선순위는 변경될 수 있고, 우선 순위에 포함된 모드는 변경될 수 있다.또한 후보 모드간의 순서는 변경될 수 있다. When the number of modes included in the MPM mode candidate is four, the operation may be performed in a similar manner to the three cases. For example, the priority of the mode for determining candidates 3 or 4 may be in the order of Planar / DC / Horizontal / Vertical, as described above, the priority may be changed, and the modes included in the priority may be changed. In addition, the order between the candidate modes may be changed.
도 6을 참조하여 부호화 대상 블록(400)의 주변 블록들의 정보를 모두 사용할 수 없는 경우 부호화 대상 블록(400)에 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드로 사용하는 예를 설명한다.An example of using the intra prediction mode of the
도 6에 도시된 경우와 같이 부호화 대상 블록(400)의 주변 블록들의 정보를 사용할 수 없는 경우는 부호화 대상 블록(400)이 픽쳐 경계, 슬라이스 경계, 또는 타일 경계등에 위치하여 주변 블록들의 정보들을 사용할 수 없는 경우, 주변 블록이 인터 예측 으로 부호화되어 주변 정보를 사용할 수 없는 경우 및 주변 블록이 동일한 인트라 예측 모드를 갖는 경우를 예로 들 수 있다. 이러한 경우, 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드로 사용할 수 있다.When the information of the neighboring blocks of the
이때, 부호화 대상 블록(400)의 MPM 후보 모드로 사용되는 좌측 주변 블록(430)과 상단 주변 블록(440)의 정보가 모두 이용 가능하지 않을 경우, 소정의 인트라 예측 모드들 중, 특정한 모드를 선택하여 상기 하위 계층 블록(410)의 인트라 예측 모드와 함께 MPM 후보 모드로 사용할 수 있다. 예를 들면, 소정의 인트라 예측 모드 중 planar 모드를 MPM 후보 1로 사용하고, 상기 하위 계층 블록(410)의 인트라 예측 모드인 horizontal 모드를 MPM 후보 2로 사용할 수 있다. 또는, 예측 모드 중 DC모드를 MPM 후보 모드 1로 사용하고 상기 하위 계층 블록(410)의 인트라 예측 모드인 horizontal 모드를 MPM 후보 모드 2로 사용할 수 있다.In this case, when the information of the left neighboring
도 7은 부호화 대상 블록(400)의 MPM 후보 모드로 사용되는 좌측 주변 블록(430)의 정보가 이용 가능하지 않을 경우를 나타내는 도면이다. 도 7을 참조하여 좌측 주변 블록(430) 또는 상단 주변 블록(440) 중 어느 하나의 주변 블록의 정보만을 이용 가능한 경우, 사용 가능한 좌측 또는 상단의 인트라 예측 모드와, 상기 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드로 사용하는 예를 설명한다.FIG. 7 is a diagram illustrating a case in which information of the left neighboring
도 7에 도시된 실시 예에서는 부호화 대상 블록(400)의 상단 주변 블록(440)의 정보만이 사용 가능하다. 상단 주변 블록(440) 중 최 좌측 블록(441)의 상단 예측 모드와 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드로 사용할 수 있다. 예를 들어, 상단 주변 블록(440)의 최 좌측 블록(441)의 상단 예측 모드를 MPM 후보 모드 1로 사용하고 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드 2로 사용할 수 있다. 상단 주변 블록(440)의 최 좌측 블록(441)의 인트라 예측 모드가 horizontal 모드 이고, 하위 계층 블록(410)에서 구한 인트라 예측 모드가 vertical 모드라면 MPM 후보 모드 1은 horizontal 모드이고 MPM 후보 모드 2는 vertical 모드일 수 있다.In the embodiment illustrated in FIG. 7, only information of the upper
다른 실시 예에서, 상단 주변 블록(440)의 정보가 이용 가능하지 않고, 좌측 주변 블록(430)의 정보가 이용 가능한 경우에는 좌측 주변 블록(430)과 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드로 사용할 수 있다. 이러한 경우 상단 주변 블록(440)의 상단 예측 모드와 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드로 사용하는 방식과 같은 방식으로 수행될 수 있다.In another embodiment, when the information of the upper neighboring
도 8은 부호화 대상 블록(400)의 MPM 정보로 사용되는 좌측 주변 블록(430)의 최 상단 블록(431)과 상단 주변 블록(440)의 최 우측 블록(441)의 정보가 동일한 경우를 나타내는 도면이다. 부호화 대상 블록(400)의 MPM 정보로 사용되는 좌측 주변 블록(430)과 상단 주변 블록(440)의 정보가 동일한 경우, 좌측 주변 블록(430) 또는 상단 주변 블록(440) 중 어느 하나의 인트라 예측 모드와 상기 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드로 사용할 수 있다.FIG. 8 is a diagram illustrating a case where information of the
도 8의 실시 예를 예로 들면, 좌측 주변 블록(430)의 최 상단 블록(431)과 상단 주변 블록(440)의 최 좌측 블록(441)의 인트라 예측 모드는 horizontal모드를 값으로 가지고 있다. 이하, 좌측 주변 블록(430)의 인트라 예측 모드는 최 상단 블록(431)으로부터 얻고, 상단 주변 블록(440)의 인트라 예측 모드는 최 좌측 블록(441)으로부터 얻는 것으로 가정한다.For example, the intra prediction mode of the
하위 계층 블록(410)의 인트라 예측 모드는 vertical 모드이다. 이러한 경우, 상단 주변 블록(440)의 인트라 예측 모드인 horizontal 모드를 MPM 후보 모드 1로 정하고, 하위 계층 블록(410)의 인트라 예측 모드인 vertical 모드를 MPM 후보 모드 2로 정할 수 있다. 마찬가지 방법으로 좌측 주변 블록(430)의 값을 MPM 후보 모드 1로 정하는 방법도 고려할 수 있다.The intra prediction mode of the
한편 하위 계층 블록(410)의 인트라 예측 모드가 상단 주변 블록(440)의 인트라 예측 모드 또는 좌측 주변 블록(430)의 인트라 예측 모드와 동일한 값을 가질 때, 하위 계층 블록(410)에서 구한 인트라 예측 모드정보를 사용하지 않을 수도 있다. 이러한 경우, MPM 후보 모드는 상단 주변 블록(440) 및 좌측 주변 블록(430)의 인트라 예측 모드를 MPM 후보 모드 1 및 MPM 후보 모드 2로 정하여 사용하고 하위 계층 블록의 정보를 사용하지 않을 수 있다. 하위 계층 블록의 인트라 예측 모드와 같은 모드를 가지는 주변 블록의 모드를 MPM후보 모드 2로 정하여 사용할 수도 있다. 이에 더하여, 선택에 따라 상기 하위 계층 블록의 인트라 예측 모드가 부호화 대상 블록(400)의 MPM 후보 모드로 사용되지 않았음을 표시할 수도 있다.Meanwhile, when the intra prediction mode of the
도 9는 부호화 대상 블록(400)의 상단 주변 블록(440)과 좌측 주변 블록(430)의 인트라 예측 모드의 값이 상이한 경우를 나타내는 도면이다. 도 9를 참조하여 상단 주변 블록(440) 및 좌측 주변 블록(430)으로부터 구한 MPM 후보 중 적어도 하나를 상기 하위 계층 블록(410)으로부터 구한 인트라 예측모드로 대체하여 MPM 후보 모드를 정하는 단계를 설명한다.FIG. 9 is a diagram illustrating a case where the values of the intra prediction modes of the upper
본 발명의 일 실시 예에 따른 영상 신호의 계층간 예측 방법은 부호화 대상 블록(400)의 주변 블록으로부터 구한 MPM 후보 중 하나를 상기 하위 계층 블록(410) 으로부터 구한 인트라 예측모드로 대체할 수 있다.In the inter-layer prediction method of an image signal according to an embodiment of the present invention, one of the MPM candidates obtained from the neighboring blocks of the
도 9의 실시 예에서, 부호화 대상 블록(400)의 상단 주변 블록(440)의 인트라 예측 모드는 horizontal 모드이고, 좌측 주변 블록(430)의 인트라 예측 모드는 DC모드이다. 그리고 부호화 대상 블록(400)의 하위 계층 블록(410)의 인트라 예측 모드는 Vertical 모드이다.In the embodiment of FIG. 9, the intra prediction mode of the upper
도 9의 실시 예에서, 부호화 대상 블록(400)의 주변으로부터 상단 주변 블록(440)의 인트라 예측 모드인 horizontal 모드를 MPM 후보 모드 1로, 좌측 주변 블록(430)의 인트라 예측 모드인 DC모드를 MPM 후보 모드 2로 하여 MPM 후보 모드를 정할 수 있다. 이때, 후보 모드 2를 하위 계층 블록(410)의 인트라 예측 모드인 vertical 모드로 대체할 수 있다. 즉, MPM 후보 모드 1은 horizontal 모드를, MPM 후보 모드 2는 vertical 모드를 가질 수 있다.In the embodiment of FIG. 9, the horizontal mode, which is an intra prediction mode of the upper
도 10은 부호화 대상 블록(400)의 상단 주변 블록(440)과 좌측 주변 블록(430)의 인트라 예측 모드의 값이 상이한 경우를 나타내는 도면이다. 도 10을 참조하여 상기 하위 계층 블록(410)으로부터 구한 인트라 예측모드를 추가 MPM 모드로 사용하는 단계를 설명한다.FIG. 10 is a diagram illustrating a case where the values of the intra prediction modes of the upper
본 발명의 일 실시 예에 따른 영상 신호의 계층간 예측 방법은 상기 하위 계층 블록(410)으로부터 구한 인트라 예측 모드를 추가 MPM 모드로 사용할 수 있다. 따라서 부호화 대상 블록(400)의 주변 블록으로부터 구한 MPM 후보 모드에 하위 계층 블록(410)으로부터 구한 MPM 후보 모드를 추가할 수 있다.The inter-layer prediction method of an image signal according to an embodiment of the present invention may use the intra prediction mode obtained from the
도 10의 실시 예에서, 부호화 대상 블록(400)의 상단 주변 블록(440)의 인트라 예측 모드는 horizontal 모드이고, 좌측 주변 블록(430)의 인트라 예측 모드는 VER-8모드이다. 그리고 부호화 대상 블록(400)의 하위 계층 블록(410)의 인트라 예측 모드는 Vertical 모드이다.In the embodiment of FIG. 10, the intra prediction mode of the upper
도 10의 실시 예에서, 부호화 대상 블록(400)의 주변으로부터 상단 주변 블록(440)의 인트라 예측 모드인 horizontal 모드를 MPM 후보 모드 1로, 좌측 주변 블록(430)의 인트라 예측 모드인 VER-8모드를 MPM 후보 모드 2로 하여 MPM 후보 모드를 정할 수 있다. 이때, 하위 계층 블록(410)의 인트라 예측 모드인 vertical 모드를 MPM 후보 모드 3으로 추가하여 사용할 수 있다. 즉, 부호화 대상 블록(400)을 위한 MPM 후보 모드는 3개의 후보 모드로 구성되고, MPM 후보 모드 1은 horizontal 모드를, MPM 후보 모드 2는 VER-8 모드를 가지고 MPM 후보 모드 3은 vertical 모드를 가진다.In the embodiment of FIG. 10, the horizontal mode, which is an intra prediction mode of the upper
도 11은 본 발명의 일 실시 예에 따른 다 계층 구조 영상 복호화 방법의 순서도이다. 이하 본 발명의 일 실시 예에 따른 다 계층 구조 영상 복호화 방법을 설명한다.11 is a flowchart of a multi-layer video decoding method according to an embodiment of the present invention. Hereinafter, a multi-layer video decoding method according to an embodiment of the present invention will be described.
도 11에 도시된 본 발명의 일 실시 예에 따른 다 계층 구조 영상 복호화 방법은 상위 계층의 복호화 대상 블록에 대한 화면 내 예측 복호화를 수행함에 있어 하위 계층 블록(410)의 정보를 사용한다. 본 발명의 일 실시 예에 따른 다 계층 구조 영상 복호화 방법은 복호화 대상 블록이 하위 계층의 인트라 예측 모드를 사용하여 부호화 되었는지 판단하는 단계(S210) 및 복호화 대상 블록에 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 복호화 대상 블록을 복호화하는 단계(S220)를 포함한다. The multi-layer video decoding method according to an embodiment of the present invention illustrated in FIG. 11 uses information of a
복호화 대상 블록에 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 복호화 대상 블록을 복호화하는 단계(S220)는 대응하는 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 복호화 대상 블록의 예측 신호를 생성 하는 것으로 수행될 수 있다. 또는 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 현재 복호화 대상 예측 블록의 MPM(Most Probable Mode) 후보 모드로 사용하는 것으로 수행될 수도 있다.Decoding the decoding object block by using the intra prediction mode of the
복호화 대상 블록이 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 부호화 되었는지 판단하는 단계(S210)를 설명한다. 복호화장치(200)의 인트라 예측부(240)는 복호화 대상 블록이 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 부호화 되었는지를 복호화 대상 블록이 하위 계층의 인트라 예측 모드를 사용하였는지 판단하는 플래그를 통해 판단할 수 있다.A step (S210) of determining whether the decoding object block is encoded using the intra prediction mode of the
즉, 복호화장치(200)는, 복호화 대상 블록이 복호화 대상 블록에 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 사용하였는지 여부를 판단하는 플래그를 파싱하여 복호화 대상 블록이 하위 계층 블록(410)의 정보를 사용하여 부호화 되었는지 판단할 수 있다. That is, the decoding apparatus 200 parses a flag that determines whether the decoding target block uses the intra prediction mode of the
본 발명의 일 실시 예에서 복호화장치(200)는 부호화장치(100)가 전송한 예를 들어, base_intra_mode_flag 를 파싱(parsing)하여 복호화 대상 블록이 하위 계층 블록(410)의 인트라 정보를 사용하여 화면 내 예측 부호화 되었는지 판단할 수 있다. 이 때, 해당 플래그 값이 ‘1’이면 복호화 대상 블록이 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 화면 내 예측 부호화 되었다고 판단할 수 있고, 해당 플래그 값이‘0’이면 하위 계층 블록(410)의 인트라 예측 모드를 사용하지 않고 화면 내 예측 부호화 되었음을 판단할 수 있으며 이 경우 추가적으로 인트라 예측 모드를 알려주는 추가 플래그들(prev_intra_luma_pred_flag, mpm_idx, rem_intra_luma_pred_mod)을 파싱할 수 있다. 본 발명의 일 실시 예에서 복호화장치(200)는 부호화장치(100)가 SPS, PPS, Slice segment 등을 통해 전송한 예를 들어, base_intra_mode_prediction_flag 를 파싱(parsing)하여 복호화 대상 블록의 MPM 후보 모드를 결정할 때, 하위 계층 블록의 인트라 예측 모드를 이용하였는지 여부를 판단할 수 있다. 이 때, 해당 플래그 값이 ‘1’이면 복호화 대상 블록이 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 MPM 후보 모드를 결정하였다고 판단할 수 있고, 해당 플래그 값이‘0’이면 하위 계층 블록(410)의 인트라 예측 모드를 사용하지 않고 현재 복호화 대상 블록의 좌측 블록과 상단 블록의로부터 MPM 후보 모드를 결정하였다고 판단할 수 있다. In an embodiment of the present invention, the decoding apparatus 200 parses, for example, base_intra_mode_flag transmitted by the encoding apparatus 100 so that the decoding target block uses intra information of the
복호화 대상 블록에 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 복호화 대상 블록을 복호화하는 단계(S220)가 대응하는 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 복호화 대상 블록의 예측 신호를 생성 하는 것으로 수행되는 과정을 설명한다.Decoding the decoding object block using the intra prediction mode of the
부호화장치(100)가 전송한 예를 들어, base_intra_mode_flag 값이 1인 경우, 즉 하위 계층 블록(410)의 인트라 예측모드를 사용하여 복호화 대상 블록(400)의 예측 신호를 생성함을 나타내는 플래그가 1의 값을 가지는 경우, 복호화장치(200)는 복호화 대상 블록이 하위 계층의 인트라 예측 모드를 사용하여 복호화 대상 블록(400)의 예측 신호를 생성하는 방법으로 복호화하는 것으로 판단한다. 복호화장치(200)는 복호화 대상 블록에 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 현재 복호화 대상 블록의 예측 신호를 생성할 수 있다. 복호화장치(200)가 대응되는 하위 계층 블록(410)을 구하는 단계 및 인트라 예측 모드를 이용하여 현재 복호화 대상 블록의 예측 신호를 생성하는 과정은 부호화장치(100)가 부호화 대상 블록(400)에 대응되는 하위 계층 블록(410)을 결정하고, 결정된 하위 계층 블록(410)의 인트라 모드를 사용하여 부호화 대상 블록(400)의 인트라 예측 신호를 생성하는 단계에 대응되도록 수행된다.For example, when the encoding apparatus 100 transmits a base_intra_mode_flag value of 1, that is, a flag indicating that the prediction signal of the
복호화장치(200)는 복호화 대상 블록의 기준 샘플 위치에 대응되는 하위 계층 블록(410)의 샘플위치를 포함하는 블록을 선택하는 것으로 복호화 대상 블록에 대응되는 하위 계층의 블록을 선택할 수 있고, 이러한 경우 부호화장치(100)에서와 같이 입력 영상간의 크기 비율(Scaling Factor)을 반영할 수 있다. 또한, 복호화장치(200)는 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 복호화 대상 블록의 예측 신호를 생성한다. 다음으로, 복호화장치(200)는 생성된 예측 신호와 부호화장치(100)에서 전송되어 복원된 차분신호를 더하여 현재 대상 블록의 복원 신호를 생성한다. The decoding apparatus 200 may select a block of the lower layer corresponding to the decoding object block by selecting a block including the sample position of the
마지막으로, 복호화 대상 블록에 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 사용하여 복호화 대상 블록을 복호화하는 단계(S220)에서 복호화장치(200)가 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 현재 복호화 대상 예측 블록의 MPM(Most Probable Mode) 후보 모드로 사용하여 복호화 대상 블록을 복호화 하는 과정을 설명한다.Lastly, the intra prediction of the
복호화장치(200)는 하위 계층 블록(410)의 인트라 예측 모드가 부호화 대상 블록(400)의 MPM 후보 모드로 사용됨을 나타내는 프래그가 1의 값을 가지는 경우, 즉 1 비트 크기의 (예를 들어,base_intra_mode_prediction_flag) 플래그가 1의 값을 가지는 경우, 복호화장치(200)는 복호화 대상 블록이 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드로 사용하여 복호화 한 것으로 판단한다.The decoding apparatus 200 has a value of 1, i.e., if the flag indicating that the intra prediction mode of the
대응되는 하위 계층 블록(410)을 구하는 단계는 전술한 바와 같은 방법을 사용할 수 있다. 또한 복호화 대상 블록의 MPM 후보 모드를 생성하는 과정은 부호화장치(100)에서 MPM 후보 모드를 생성하는 과정과 대응되어 수행될 수 있다. Obtaining the corresponding
예를 들어, 복호화 대상 블록의 좌측 주변 블록(430) 및 상단 주변 블록(440)으로부터 인트라 모드를 사용할 수 없는 경우 소정의 인트라 예측 모드를 MPM 후보 모드 1로 사용하고 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드 2로 사용할 수 있다. For example, if the intra mode is not available from the left neighboring
또한, 복호화 대상 블록의 좌측 주변 블록(430) 및 상단 주변 블록(440) 중 어느 한 블록의 인트라 모드 정보만 이용할 수 있는 경우 사용할 수 있는 주변 블록의 인트라 모드 정보를 MPM 후보 모드 1로 사용하고 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드 2로 사용할 수 있다. In addition, when only intra mode information of one of the left neighboring
또한, 복호화 대상 블록의 좌측 주변 블록(430) 및 상단 주변 블록(440)으로부터 인트라 모드 정보를 이용할 수 있는 경우, 상기 둘의 인트라 모드 중 모드 번호가 작은 인트라 모드를 MPM 후보 모드 1로 사용하고 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드 2로 주변 블록의 인트라 정보를 대체하여 사용할 수 있다. 또는, 상기 둘의 인트라 모드를 MPM 후보 모드 1로 사용하고, 다른 하나의 인트라 모드를 MPM 후보 모드 2로 사용하며, 대응되는 하위 계층 블록(410)의 인트라 예측 모드를 MPM 후보 모드 3으로 추가적으로 사용할 수도 있다. 또한, MPM 후보 모드에 포함되는 모드의 3개 또는 4개인경우 정해진 규칙에 따라 추가 후보를 생성하여 사용할 수도 있다.In addition, when intra mode information is available from the left neighboring
MPM 후보 모드를 생성한 후, 최적 예측 모드가 MPM 후보와 일치하는지를 나타내는 플래그(prev_intra_luma_pred_flag)의 값을 사용하여 MPM 후보 들 중 어떤 후보가 최적 예측 모드인지를 판별한다. prev_intra_luma_pred_flag의 값이 ’1’인 경우 MPM 후보 들 중 어떤 후보와 일치하는지를 나타내는 인덱스 정보(mpm_idx)를 파싱하여 MPM 후보 모드 중에서 최적 예측 모드를 얻을 수 있다. prev_intra_luma_pred_flag의 값이 만약 ‘0’인 경우, rem_intra_luma_pred_mod를 복호화하여 최적 예측 모드를 얻을 수 있다. After generating the MPM candidate mode, it is determined which of the MPM candidates is the best prediction mode using the value of the flag (prev_intra_luma_pred_flag) indicating whether the best prediction mode matches the MPM candidate. When the value of prev_intra_luma_pred_flag is '1', index information (mpm_idx) indicating which candidate among MPM candidates matches may be parsed to obtain an optimal prediction mode among MPM candidate modes. If the value of prev_intra_luma_pred_flag is '0', the optimal prediction mode may be obtained by decoding rem_intra_luma_pred_mod.
전술한 실시예서는 제 1계층과 제 2계층이 존재하는 영상을 예로 기술을 하였으나 그 이상의 계층에서도 동일한 방법으로 적용할 수 있다. 전술한 실시예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시예들 뿐만 아니라 다양한 형태의 조합이 제공될 수 있다.In the above-described embodiment, the image in which the first layer and the second layer exist are described as an example, but the same method may be applied to more layers. Combinations of the above-described embodiments are not limited to the above-described embodiments, and various forms of combinations as well as the above-described embodiments may be provided according to implementation and / or need.
전술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the above-described embodiments, the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and any steps may occur in a different order or at the same time than the other steps described above. Can be. Also, one of ordinary skill in the art would appreciate that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.
전술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.The foregoing embodiments include examples of various aspects. Although not all possible combinations may be described to represent the various aspects, one of ordinary skill in the art will recognize that other combinations are possible. Accordingly, it is intended that the present invention cover all other replacements, modifications and variations that fall within the scope of the following claims.
Claims (20)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/374,488 US20150036743A1 (en) | 2012-02-02 | 2013-02-01 | Interlayer prediction method and device for image signal |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20120010758 | 2012-02-02 | ||
| KR10-2012-0010758 | 2012-02-02 | ||
| KR1020130011950A KR20130089608A (en) | 2012-02-02 | 2013-02-01 | Methods and apparatuses of inter-layer prediction for vidio signal |
| KR10-2013-0011950 | 2013-02-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2013115609A1 true WO2013115609A1 (en) | 2013-08-08 |
Family
ID=48905569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2013/000850 Ceased WO2013115609A1 (en) | 2012-02-02 | 2013-02-01 | Interlayer prediction method and device for image signal |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2013115609A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070085003A (en) * | 2006-02-22 | 2007-08-27 | 삼성전자주식회사 | Method and apparatus for encoding / decoding interlaced video signal using information of lower layer of type mismatch |
| KR20070101088A (en) * | 2006-04-11 | 2007-10-16 | 삼성전자주식회사 | Multi-layer based video encoding method and apparatus |
| KR20080037593A (en) * | 2006-10-25 | 2008-04-30 | 한국전자통신연구원 | A scalable coding and decoding method of multiview video, and a coding and decoding device |
| KR20100112247A (en) * | 2009-04-09 | 2010-10-19 | 한국전자통신연구원 | Apparatus and method for predicting most probable mode in intra prediction system |
| KR20110133532A (en) * | 2008-12-08 | 2011-12-13 | 한국전자통신연구원 | Multi-view image encoding and decoding method and apparatus therefor. |
-
2013
- 2013-02-01 WO PCT/KR2013/000850 patent/WO2013115609A1/en not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070085003A (en) * | 2006-02-22 | 2007-08-27 | 삼성전자주식회사 | Method and apparatus for encoding / decoding interlaced video signal using information of lower layer of type mismatch |
| KR20070101088A (en) * | 2006-04-11 | 2007-10-16 | 삼성전자주식회사 | Multi-layer based video encoding method and apparatus |
| KR20080037593A (en) * | 2006-10-25 | 2008-04-30 | 한국전자통신연구원 | A scalable coding and decoding method of multiview video, and a coding and decoding device |
| KR20110133532A (en) * | 2008-12-08 | 2011-12-13 | 한국전자통신연구원 | Multi-view image encoding and decoding method and apparatus therefor. |
| KR20100112247A (en) * | 2009-04-09 | 2010-10-19 | 한국전자통신연구원 | Apparatus and method for predicting most probable mode in intra prediction system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017082670A1 (en) | Method and apparatus for coefficient induced intra prediction in image coding system | |
| WO2015152507A1 (en) | Template-matching-based method and apparatus for encoding and decoding intra picture | |
| WO2020197236A1 (en) | Image or video coding based on sub-picture handling structure | |
| WO2016204360A1 (en) | Method and device for predicting block on basis of illumination compensation in image coding system | |
| WO2013100635A1 (en) | Method and device for encoding three-dimensional image, and decoding method and device | |
| WO2016148438A2 (en) | Method of processing video signal and device for same | |
| WO2017069419A1 (en) | Intra-prediction method and apparatus in video coding system | |
| WO2016200043A1 (en) | Method and apparatus for inter prediction on basis of virtual reference picture in video coding system | |
| WO2013032074A1 (en) | Apparatus for decoding merge mode motion information | |
| WO2012023762A2 (en) | Method for decoding intra-predictions | |
| WO2015009036A1 (en) | Method and apparatus for predicting inter-layer based on temporal sub-layer information | |
| WO2019194500A1 (en) | Intra-prediction-based image coding method and device therefor | |
| WO2017052272A1 (en) | Method and apparatus for intra prediction in video coding system | |
| WO2021201515A1 (en) | Image encoding/decoding method and device for signaling hls, and computer-readable recording medium in which bitstream is stored | |
| WO2019143103A1 (en) | Method and device for video coding using various transform techniques | |
| WO2018128222A1 (en) | Method and apparatus for image decoding in image coding system | |
| WO2013162249A1 (en) | Video-encoding method, video-decoding method, and apparatus implementing same | |
| WO2011126274A2 (en) | Methods and apparatuses for encoding and decoding image based on segments | |
| WO2019107999A1 (en) | Method and device for processing video signal | |
| WO2021201617A1 (en) | Image encoding/decoding method and apparatus based on subpicture information aligned between layers, and recording medium storing bitstream | |
| WO2020242181A1 (en) | Intra mode candidate configuration method and image decoding device | |
| WO2020040439A1 (en) | Intra prediction method and device in image coding system | |
| WO2021235895A1 (en) | Image coding method and device therefor | |
| WO2013115609A1 (en) | Interlayer prediction method and device for image signal | |
| WO2021201664A1 (en) | Method and apparatus for encoding/decoding image, on basis of available slice type information for gdr or irap picture, and recording medium storing bitstream |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13743071 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 14374488 Country of ref document: US |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 13743071 Country of ref document: EP Kind code of ref document: A1 |