[go: up one dir, main page]

WO2019221465A1 - 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체 - Google Patents

영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체 Download PDF

Info

Publication number
WO2019221465A1
WO2019221465A1 PCT/KR2019/005727 KR2019005727W WO2019221465A1 WO 2019221465 A1 WO2019221465 A1 WO 2019221465A1 KR 2019005727 W KR2019005727 W KR 2019005727W WO 2019221465 A1 WO2019221465 A1 WO 2019221465A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
prediction
block
component
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/005727
Other languages
English (en)
French (fr)
Inventor
안용조
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intellectual Discovery Co Ltd
Original Assignee
Intellectual Discovery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intellectual Discovery Co Ltd filed Critical Intellectual Discovery Co Ltd
Priority to CN202311507528.3A priority Critical patent/CN117528087A/zh
Priority to US17/052,953 priority patent/US11758159B2/en
Priority to CN202311507909.1A priority patent/CN117528088A/zh
Priority to CN202311503469.2A priority patent/CN117459730A/zh
Priority to CN201980031971.3A priority patent/CN112136325B/zh
Priority to CN202311507116.XA priority patent/CN117528086A/zh
Publication of WO2019221465A1 publication Critical patent/WO2019221465A1/ko
Anticipated expiration legal-status Critical
Priority to US18/363,972 priority patent/US12149715B2/en
Priority to US18/925,747 priority patent/US20250047878A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to a method and apparatus for image encoding / decoding. More particularly, the present invention relates to a video decoding method / apparatus using cross component prediction and a video coding method / apparatus corresponding thereto.
  • Video compression is largely composed of intra prediction (or intra prediction), inter prediction (or inter prediction), transform, quantization, entropy coding, and in-loop filter. Meanwhile, as the demand for high resolution video increases, the demand for stereoscopic video content also increases as a new video service. There is a discussion about video compression technology for effectively providing high resolution and ultra high resolution images.
  • An object of the present invention is to provide an image encoding / decoding method and apparatus having improved efficiency.
  • Another object of the present invention is to provide an image encoding / decoding method and apparatus having improved efficiency by introducing an inter-component prediction technique during image encoding and decoding.
  • Another object of the present invention is to provide an image encoding / decoding method and apparatus for performing prediction using a linear model based on a chrominance component of a current block based on a similarity to a luminance component or another chrominance component.
  • Another object of the present invention is to provide an image encoding / decoding method and apparatus for obtaining a parameter of a linear model using the similarity of spatially adjacent pixels of a current block and applying it to inter-component prediction.
  • the present invention the image encoding / decoding to obtain inter-component prediction parameters by using some samples according to the encoding information of the spatially adjacent samples of the current target block, and apply to the inter-component prediction for the color difference component of the current target block It is an object to provide a method and apparatus.
  • An image encoding / decoding method and apparatus construct a reference sample for inter-component prediction, derive an inter-prediction parameter using the reference sample, and perform inter-component prediction using the inter-component prediction parameter. Can be done.
  • the configuring of the reference sample may use a pre-restored sample spatially adjacent to the current reference component block and the current target component block.
  • the pre-restored sample may include a sample adjacent to at least one of a left side or an upper end of the luminance component block.
  • the pre-restored sample further includes a sample continuously positioned at the bottom of the sample adjacent to the left side or a sample continuously positioned at the right side of the sample adjacent to the top side. can do.
  • the reference sample may be determined in consideration of at least one of a size of a current block, an intra prediction mode, or limited intra prediction.
  • the current block may mean at least one of a current reference component block or a current target component block.
  • a reference sample may be configured by using both a sample adjacent to the top and a sample adjacent to the left among adjacent samples of the current block.
  • the reference sample may be configured by using either the sample adjacent to the upper side or the sample adjacent to the left side among adjacent samples of the current block.
  • the intra prediction mode of the current block does not correspond to the verticality modes VER_MODES and the horizontality modes HOR_MODES, the image is adjacent to the top of adjacent samples of the current block.
  • the reference sample can be constructed using both the sample and the sample adjacent to the left.
  • the intra prediction mode of the current block corresponds to the perpendicularity modes (VER_MODES)
  • the reference sample is configured using the adjacent sample at the top of the adjacent samples of the current block
  • the intra prediction mode of the current block is the horizontality modes.
  • a reference sample may be configured by using a sample adjacent to the left side among adjacent samples of the current block.
  • a reference sample when the current block uses limited intra prediction, a reference sample may be configured only of samples reconstructed in the intra prediction mode among spatially adjacent samples of the current block.
  • all of the samples reconstructed in the inter prediction mode and the intra prediction mode among spatially adjacent samples of the current block may be configured as reference samples.
  • a reference sample is composed of only samples reconstructed in the intra prediction mode among spatially adjacent samples of the current block, and the inter prediction mode.
  • the sample region reconstructed as may be configured to perform reference padding on the basis of available samples among spatially adjacent samples of the current block to form a reference sample.
  • a reference sample may be configured by performing padding based on available samples among spatially adjacent samples of a current block.
  • the derivation of the inter-prediction parameter may include extracting a maximum value and a minimum value among reference samples adjacent to the luminance component block, and extracting the maximum value and the minimum value. And using the linear model-based inter-component prediction parameter.
  • the image encoding / decoding method and apparatus according to the present invention may further include downsampling the luminance component block.
  • the downsampling is performed using a corresponding sample and a peripheral sample of the luminance component block, and the number of the peripheral samples is one, two, three, Four, five or more.
  • the peripheral sample may include a sample adjacent to at least one of a left side, a right side, a bottom side, a bottom left end, or a bottom right end of the corresponding sample.
  • the step of generating the inter-component prediction signals may be performed on a linear model between a target sample in the current target component block and one or more samples in the corresponding pre-restored reference component block. Accordingly, a prediction sample for the current target sample can be generated.
  • the linear model used to generate the prediction signal between components may be inter-component prediction based on at least one linear model using a distribution of sample values between two different components. It is also possible to use different linear models depending on the range of sample values.
  • a computer-readable recording medium is a computer-readable recording medium storing a bitstream generated by an image encoding method, wherein the image encoding method comprises: constructing a reference sample for inter-component prediction; Deriving an inter-component prediction parameter using a sample, and generating an inter-component prediction signal using the inter-component prediction parameter.
  • an image encoding / decoding method and apparatus with improved efficiency may be provided.
  • an image decoding method and apparatus for improving the encoding / decoding efficiency of color difference components may be provided by using an inter-component prediction scheme.
  • Methods and apparatus can be provided.
  • a computer-readable recording medium for storing a bitstream generated by the video encoding method / apparatus according to the present invention may be provided.
  • FIG. 1 is a block diagram illustrating a video encoding apparatus according to the present invention.
  • FIG. 2 is a block diagram illustrating an image decoding apparatus according to the present invention.
  • FIG. 3 illustrates a concept of an inter-component prediction technique according to the present invention.
  • FIG. 4 illustrates a flowchart in which inter-component prediction is performed in accordance with the present invention.
  • FIG. 5 illustrates an example of a configuration of a reference sample for inter-component prediction according to an embodiment of the present invention.
  • FIG. 6 illustrates an example in which adjacent samples of a current block used for deriving a linear model parameter for inter-component prediction are configured differently according to encoding information, according to an embodiment of the present invention.
  • FIG. 7 illustrates a flowchart in which adjacent samples of a current block used for deriving a linear model parameter for inter-component prediction according to an embodiment of the present invention are configured differently according to the shape of a target block.
  • FIG. 8 illustrates a flowchart in which adjacent samples of a current block used to derive a linear model parameter for inter-component prediction according to an embodiment of the present invention are configured differently according to the intra prediction mode of the current block.
  • FIG 9 illustrates the directionality of the intra prediction mode as an embodiment to which the present invention is applied.
  • FIG. 10 illustrates an example in which adjacent samples of a current block used for deriving a linear model parameter for inter-component prediction according to the present invention are configured differently according to whether or not constrained intra prediction is performed.
  • FIG. 11 illustrates a flowchart in which a sample adjacent to a current block used to derive a linear model parameter for inter-component prediction according to an embodiment of the present invention is configured differently according to whether or not constrained intra prediction is performed. will be.
  • FIG. 12 illustrates an example of configuring a reference sample by padding available samples among samples spatially adjacent to a current block used for deriving a linear model parameter for inter-component prediction according to the present invention.
  • FIG. 13 illustrates a flowchart for constructing a reference sample by padding available samples among samples spatially adjacent to a current block used for deriving a linear model parameter for inter-component prediction according to the present invention.
  • FIG. 19 illustrates a concept of a method for performing inter-component prediction using a plurality of linear models according to an embodiment of the present invention.
  • An image encoding / decoding method and apparatus construct a reference sample for inter-component prediction, derive an inter-prediction parameter using the reference sample, and perform inter-component prediction using the inter-component prediction parameter. Can be done.
  • the configuring of the reference sample may use a pre-restored sample spatially adjacent to the current reference component block and the current target component block.
  • the pre-restored sample may include a sample adjacent to at least one of a left side or an upper end of the luminance component block.
  • the pre-restored sample further includes a sample continuously positioned at the bottom of the sample adjacent to the left side or a sample continuously positioned at the right side of the sample adjacent to the top side. can do.
  • the reference sample may be determined in consideration of at least one of a size of a current block, an intra prediction mode, or limited intra prediction.
  • the current block may mean at least one of a current reference component block or a current target component block.
  • a reference sample may be configured by using both a sample adjacent to the top and a sample adjacent to the left among adjacent samples of the current block.
  • the reference sample may be configured by using either the sample adjacent to the upper side or the sample adjacent to the left side among adjacent samples of the current block.
  • the intra prediction mode of the current block does not correspond to the verticality modes VER_MODES and the horizontality modes HOR_MODES, the image is adjacent to the top of adjacent samples of the current block.
  • the reference sample can be constructed using both the sample and the sample adjacent to the left.
  • the intra prediction mode of the current block corresponds to the perpendicularity modes (VER_MODES)
  • the reference sample is configured using the adjacent sample at the top of the adjacent samples of the current block
  • the intra prediction mode of the current block is the horizontality modes.
  • a reference sample may be configured by using a sample adjacent to the left side among adjacent samples of the current block.
  • a reference sample when the current block uses limited intra prediction, a reference sample may be configured only of samples reconstructed in the intra prediction mode among spatially adjacent samples of the current block.
  • all of the samples reconstructed in the inter prediction mode and the intra prediction mode among spatially adjacent samples of the current block may be configured as reference samples.
  • a reference sample is composed of only samples reconstructed in the intra prediction mode among spatially adjacent samples of the current block, and the inter prediction mode.
  • the sample region reconstructed as may be configured to perform reference padding on the basis of available samples among spatially adjacent samples of the current block to form a reference sample.
  • a reference sample may be configured by performing padding based on available samples among spatially adjacent samples of a current block.
  • the derivation of the inter-prediction parameter may include extracting a maximum value and a minimum value among reference samples adjacent to the luminance component block, and extracting the maximum value and the minimum value. And using the linear model-based inter-component prediction parameter.
  • the image encoding / decoding method and apparatus according to the present invention may further include downsampling the luminance component block.
  • the downsampling is performed using a corresponding sample and a peripheral sample of the luminance component block, and the number of the peripheral samples is one, two, three, Four, five or more.
  • the peripheral sample may include a sample adjacent to at least one of a left side, a right side, a bottom side, a bottom left end, or a bottom right end of the corresponding sample.
  • the step of generating the inter-component prediction signals may be performed on a linear model between a target sample in the current target component block and one or more samples in the corresponding pre-restored reference component block. Accordingly, a prediction sample for the current target sample can be generated.
  • the linear model used to generate the prediction signal between components may be inter-component prediction based on at least one linear model using a distribution of sample values between two different components. It is also possible to use different linear models depending on the range of sample values.
  • a computer-readable recording medium is a computer-readable recording medium storing a bitstream generated by an image encoding method, wherein the image encoding method comprises: constructing a reference sample for inter-component prediction; Deriving an inter-component prediction parameter using a sample, and generating an inter-component prediction signal using the inter-component prediction parameter.
  • some of the configuration of the apparatus or some of the steps of the method may be omitted.
  • the order of some of the components of the apparatus or some of the steps of the method may be changed.
  • other configurations or other steps may be inserted into part of the device or part of the steps of the method.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is composed of separate hardware or one software unit. That is, each component is described by listing each component for convenience of description, and at least two of the components may be combined to form one component, or one component may be divided into a plurality of components to perform a function. The integrated and separated embodiments of each of these components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the video decoding apparatus (Video Decoding Apparatus) to be described below is a civil security camera, civil security system, military security camera, military security system, personal computer (PC, Personal Computer), notebook computer, portable multimedia player (PMP, Portable MultimediaPlayer), It may be a device included in a server terminal such as a wireless communication terminal, a smart phone, a TV application server and a service server, and a communication modem for communicating with a user terminal such as various devices or a wired or wireless communication network. It may mean a variety of devices including a communication device such as an image, a memory for storing various programs and data for inter- or intra-prediction for decoding or decoding an image, a microprocessor for executing and operating a program, and the like. Can be.
  • the image encoded in the bitstream by the encoder is real-time or non-real-time through the wired or wireless communication network, such as the Internet, short-range wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like, cable, universal serial bus (USB, It can be transmitted to a video decoding apparatus through various communication interfaces such as a universal serial bus), decoded, reconstructed, and played back.
  • the bitstream generated by the encoder may be stored in the memory.
  • the memory may include both a volatile memory and a nonvolatile memory.
  • a memory may be represented as a recording medium storing a bitstream.
  • a video may be composed of a series of pictures, and each picture may be divided into a coding unit such as a block.
  • a coding unit such as a block.
  • FIG. 1 is a block diagram illustrating a video encoding apparatus according to the present invention.
  • the image encoding apparatus 100 may include a picture splitter 110, a predictor 120, 125, and 129, a transform unit 130, a quantizer 135, a reordering unit 160, and entropy encoding.
  • the unit 165 may include an inverse quantization unit 140, an inverse transform unit 145, a filter unit 150, and a memory 155.
  • the picture dividing unit 110 may divide the input picture into at least one processing unit.
  • the processing unit may be a prediction unit (PU), a transform unit (TU), or a coding unit (CU).
  • a coding unit may be used as a unit for encoding or may be used as a unit for decoding.
  • the prediction unit may be determined by one coding unit or may be split from the coding unit.
  • the shape of the prediction unit may be square or rectangular.
  • the divided prediction units may have the same size as each other.
  • one prediction unit among the prediction units split in one coding unit may be split to have a different shape and / or size than another prediction unit.
  • the coding unit and the prediction unit may be the same.
  • the prediction unit when the prediction unit is not the minimum coding unit, the prediction unit may be divided into N sub-blocks, and prediction may be performed in units of the sub-blocks.
  • the N value may be an integer of 1, 2, 3, 4, or more.
  • the N value may be variably determined based on the attributes of the prediction unit.
  • Attributes may include shape, magnitude, prediction mode, whether intra prediction mode is non-directional, directionality / value of intra prediction mode, size / shape of transform unit, presence of residual coefficients, transform type (eg, DCT, DST, etc.), Alternatively, this may mean at least one of whether to skip transformation.
  • the predictors 120, 125, and 129 may include an inter predictor 120 that performs inter prediction and an intra predictor 125 that performs intra prediction. Whether to use inter prediction or intra prediction on the prediction unit may be determined, and specific information (eg, an intra prediction mode, a motion vector, a reference picture, etc.) according to each prediction method may be determined.
  • specific information eg, an intra prediction mode, a motion vector, a reference picture, etc.
  • the residual value (residual block) between the generated prediction block and the original block may be input to the transformer 130.
  • prediction mode information and motion vector information used for prediction may be encoded by the entropy encoder 165 together with the residual value and transmitted to the decoder.
  • the motion information derivation scheme of the decoder side according to the present invention since the prediction mode information, the motion vector information, and the like are not generated by the encoder, the corresponding information is not transmitted to the decoder.
  • the predictor may further include the above-described cross component predictor 129.
  • the inter-component prediction unit 129 may include a reference sample component for inter-component prediction, an inter-component prediction parameter derivation unit, and an inter-component prediction execution unit.
  • the inter-component prediction unit may be implemented to be included in the intra prediction unit.
  • the inter prediction unit 120 may predict the prediction unit based on the information of at least one of the previous picture or the next picture of the current picture. In some cases, the inter prediction unit 120 may predict the prediction unit based on the information of the partial region in which the encoding is completed in the current picture. You can also predict units.
  • the inter predictor 120 may include a reference picture interpolator, a motion predictor, and a motion compensator.
  • the reference picture interpolator may receive reference picture information from the memory 155 and generate pixel information of an integer pixel or less in the reference picture.
  • a DCT based 8-tap interpolation filter having different filter coefficients may be used to generate pixel information of integer pixels or less in units of 1/4 pixels.
  • a DCT-based interpolation filter having different filter coefficients may be used to generate pixel information of an integer pixel or less in units of 1/8 pixels.
  • the motion predictor may perform motion prediction based on the reference picture interpolated by the reference picture interpolator.
  • various methods such as full search-based block matching algorithm (FBMA), three step search (TSS), and new three-step search algorithm (NTS) may be used.
  • the motion vector may have a motion vector value of 1/2 or 1/4 pixel units based on the interpolated pixels.
  • the motion prediction unit may predict the current prediction unit by using a different motion prediction method.
  • various methods such as a skip method, a merge method, an advanced motion vector prediction (AMVP) method, an intra block copy method, and the like may be used.
  • AMVP advanced motion vector prediction
  • an intra block copy method and the like.
  • bilateral matching using a template matching method and a motion trajectory Method may be applied.
  • the intra predictor 125 may generate a prediction unit based on reference pixel information around the current block, which is pixel information in the current picture. If the neighboring block of the current prediction unit is a block that has performed inter prediction, and the reference pixel is a pixel that has performed inter prediction, the reference pixel of the block that has performed intra prediction around the reference pixel included in the block where the inter prediction has been performed Can be used as a substitute for information. That is, when the reference pixel is not available, the unavailable reference pixel information may be replaced with at least one reference pixel among the available reference pixels.
  • a residual block may include a prediction unit that performs prediction based on the prediction units generated by the prediction units 120, 125, and 129 and residual information including residual information that is a difference from an original block of the prediction unit. have.
  • the generated residual block may be input to the transformer 130.
  • the transform unit 130 converts the residual block including residual information of the original block and the prediction unit generated by the prediction units 120, 125, and 129 into a discrete cosine transform (DCT), a discrete sine transform (DST), You can convert using a conversion method such as KLT. Whether to apply DCT, DST, or KLT to transform the residual block may be determined based on intra prediction mode information of the prediction unit used to generate the residual block.
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the quantization unit 135 may quantize the values converted by the transformer 130 into the frequency domain.
  • the quantization coefficient may change depending on the block or the importance of the image.
  • the value calculated by the quantization unit 135 may be provided to the inverse quantization unit 140 and the reordering unit 160.
  • the reordering unit 160 may reorder coefficient values with respect to the quantized residual value.
  • the reordering unit 160 may change the two-dimensional block shape coefficients into a one-dimensional vector form through a coefficient scanning method.
  • the reordering unit 160 may scan from DC coefficients to coefficients in the high frequency region by using a Zig-Zag scan method and change them into one-dimensional vectors.
  • a vertical scan that scans two-dimensional block shape coefficients in a column direction instead of a zig-zag scan may be used, and a horizontal scan that scans two-dimensional block shape coefficients in a row direction. That is, according to the size of the transform unit and the intra prediction mode, it is possible to determine which scan method among the zig-zag scan, the vertical scan, and the horizontal scan is used.
  • the entropy encoder 165 may perform entropy encoding based on the values calculated by the reordering unit 160. Entropy coding may use various coding methods such as, for example, Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC). In relation, the entropy encoder 165 may encode residual value coefficient information of a coding unit from the reordering unit 160 and the predictors 120 and 125. In addition, according to the present invention, it is possible to signal and transmit information indicating that the motion information is derived from the decoder side and information on a technique used for deriving the motion information.
  • CAVLC Context-Adaptive Variable Length Coding
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the inverse quantizer 140 and the inverse transformer 145 inverse quantize the quantized values in the quantizer 135 and inversely transform the transformed values in the transformer 130.
  • Residual values generated by the inverse quantizer 140 and the inverse transformer 145 may include prediction units predicted by the motion estimator, the motion compensator, and the intra predictor included in the predictors 120, 125, and 129. Can be combined to create a Reconstructed Block.
  • the filter unit 150 may include at least one of a deblocking filter, an offset correction unit, and an adaptive loop filter (ALF).
  • the deblocking filter may remove block distortion caused by boundaries between blocks in the reconstructed picture.
  • the offset correction unit may correct the offset with respect to the original image on a pixel-by-pixel basis for the deblocking image.
  • the pixels included in the image are divided into a predetermined number of areas, and then, an area to be offset is determined, an offset is applied to the corresponding area, or offset considering the edge information of each pixel. You can use this method.
  • Adaptive Loop Filtering ALF
  • ALF Adaptive Loop Filtering
  • the memory 155 may store the reconstructed block or picture calculated by the filter unit 150, and the stored reconstructed block or picture may be provided to the predictors 120, 125, and 129 when performing inter prediction.
  • FIG. 2 is a block diagram illustrating an image decoding apparatus according to the present invention.
  • the image decoder 200 includes an entropy decoder 210, a reordering unit 215, an inverse quantizer 220, an inverse transformer 225, a predictor 230, 235, and 239 and a filter.
  • the unit 240 and the memory 245 may be included.
  • the input bitstream may be decoded by a procedure opposite to that of the image encoder.
  • the entropy decoder 210 may perform entropy decoding in a procedure opposite to that of the entropy encoding performed by the entropy encoder of the image encoder. For example, various methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC) may be applied to the method performed by the image encoder.
  • various methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC) may be applied to the method performed by the image encoder.
  • the entropy decoder 210 may decode information related to intra prediction and inter prediction performed by the encoder.
  • the reordering unit 215 may reorder the entropy decoded bitstream by the entropy decoding unit 210 based on a method of rearranging the bitstream. Coefficients expressed in the form of a one-dimensional vector may be reconstructed by reconstructing the coefficients in a two-dimensional block form.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoder and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform an inverse transform, that is, an inverse DCT, an inverse DST, and an inverse KLT, for a quantization result performed by the image encoder, that is, a DCT, DST, and KLT. Inverse transformation may be performed based on a transmission unit determined by the image encoder.
  • the inverse transform unit 225 of the image decoder may selectively perform a transform type (eg, DCT, DST, KLT) according to a plurality of pieces of information such as a prediction method, a size of a current block, and a prediction direction. Alternatively, the inverse transform unit 225 may determine the transform type based on the information identifying the transform type, and perform the inverse transform using the determined transform type. Information identifying the transform type may be signaled at the image encoder.
  • the prediction units 230, 235, and 239 may generate a prediction block based on the prediction block generation related information provided by the entropy decoder 210 and previously decoded blocks or picture information provided by the memory 245.
  • Intra prediction is performed on a prediction unit based on a pixel, but when intra prediction is performed, when the size of the prediction unit and the size of the transformation unit are different, intra prediction may be performed using a reference pixel based on the transformation unit. Can be. In addition, intra prediction using sub-block division may be used only for a minimum coding unit.
  • the predictor may include at least one of a prediction unit determiner, an inter predictor 230, an intra predictor 235, or an inter-component predictor 239.
  • the prediction unit determiner receives various information such as prediction unit information input from the entropy decoder 210, prediction mode information of the intra prediction method, and motion prediction related information of the inter prediction method, and distinguishes the prediction unit from the current coding unit, and predicts It may be determined whether the unit performs inter prediction or intra prediction. On the other hand, if the encoder 100 does not transmit the motion prediction related information for the inter prediction, instead it transmits information indicating that the motion information is derived from the decoder side and information about the technique used for deriving the motion information. In this case, the prediction unit determination unit determines the prediction of the inter prediction unit 230 based on the information transmitted from the encoder 100.
  • the inter prediction unit 230 predicts the current prediction based on information included in at least one of a previous picture or a subsequent picture of the current picture including the current prediction unit by using information required for inter prediction of the current prediction unit provided by the image encoder. Inter prediction may be performed on a unit.
  • a motion prediction method of a prediction unit included in a coding unit based on a coding unit includes a skip mode, a merge mode, an AMVP mode, and an intra block copy mode. It can be determined whether or not it is a method.
  • the inter prediction unit 230 derives the motion information by itself from the information provided on the decoder, which indicates that the motion information is derived from the decoder, and the technique used to derive the motion information. Can be performed.
  • the intra predictor 235 may generate a prediction block based on pixel information in the current picture.
  • intra prediction may be performed based on intra prediction mode information of the prediction unit provided by the image encoder.
  • the intra predictor 235 may include an adaptive intra smoothing (AIS) filter, a reference pixel interpolator, and a DC filter.
  • the AIS filter is a part of filtering the reference pixel of the current block and determines whether to apply the filter according to the prediction mode of the current prediction unit.
  • AIS filtering may be performed on the reference pixel of the current block by using the prediction mode and the AIS filter information of the prediction unit provided by the image encoder. If the prediction mode of the current block is a mode that does not perform AIS filtering, the AIS filter may not be applied.
  • the reference pixel interpolator may generate a reference pixel having an integer value or less by interpolating the reference pixel. If the prediction mode of the current prediction unit is a prediction mode for generating a prediction block without interpolating the reference pixel, the reference pixel may not be interpolated.
  • the DC filter may generate the prediction block through filtering when the prediction mode of the current block is the DC mode.
  • the predictor may further include the inter-component predictor 239 described above.
  • the inter-component predictor 239 may be implemented to be included in the intra predictor 235.
  • the inter-component prediction unit 239 may include a reference sample component for inter-component prediction, an inter-component prediction parameter derivation unit, and an inter-component prediction performing unit as described above for inter-component prediction.
  • the reconstructed block or picture may be provided to the filter unit 240.
  • the filter unit 240 may include a deblocking filter, an offset correction unit, and an ALF.
  • Information about whether a deblocking filter is applied to a corresponding block or picture, and when the deblocking filter is applied to the corresponding block or picture, may be provided with information about whether a strong filter or a weak filter is applied.
  • the deblocking filter related information provided by the image encoder may be provided and the deblocking filtering of the corresponding block may be performed in the image decoder.
  • the offset correction unit may perform offset correction on the reconstructed image based on the type of offset correction and offset value information applied to the image during encoding.
  • the ALF may be applied to a coding unit based on ALF application information, ALF coefficient information, and the like provided from the encoder. Such ALF information may be provided included in a specific parameter set.
  • the memory 245 may store the reconstructed picture or block to use as a reference picture or reference block, and may provide the reconstructed picture to the output unit.
  • the cross component prediction technique refers to a technique for improving encoding efficiency through prediction between luminance components and chrominance components constituting a video picture.
  • the difference value may be signaled after predicting the color difference component from the luminance component, or the difference value may be signaled after predicting the color difference component from another color difference component.
  • the method may be a method of signaling a parameter used for inter-component prediction and reconstructing the inter-component prediction signal using the same.
  • FIG. 3 illustrates one luminance component block constituting one block and corresponding two chrominance component blocks.
  • two color difference component blocks may be predicted from the one luminance component block, and the remaining color difference component blocks may be predicted from one color difference component block of the two color difference component blocks.
  • FIG. 3 illustrates one luminance component block 300 constituting one block and two chroma component blocks 310 corresponding thereto, according to an embodiment of the present invention.
  • the pixel characteristics of the luminance component block 300 constituting one block and the pixel characteristics of the chrominance component blocks 310 may be represented by a linear model.
  • the linear model may use a linear linear model as shown in Equation 1.
  • Equation 1 PRE C (i, j) denotes a prediction pixel of a color difference component, and REC ′ L (i, j) denotes a reconstructed pixel of a luminance component using a linear model.
  • FIG. 4 illustrates a flowchart in which inter-component prediction is performed in accordance with the present invention.
  • a reference sample for inter-component prediction may be configured (S400).
  • the reference sample may be constructed using a sample that is spatially adjacent to the current reference component block and / or the current target component block.
  • the reference sample may be constructed according to one or more conditions.
  • the condition may be at least one of the size of the current block, an intra prediction mode of the current block, or whether limited intra prediction is limited.
  • the current block may mean a current reference component block and / or a current target component block. The method of constructing the reference sample will be described later in detail with reference to FIGS. 5 to 13.
  • an inter prediction component may be derived using a reference sample (S410).
  • parameters of the linear model may be derived.
  • the inter-component prediction parameter based on the linear model may be derived using all or part of the reference sample configured in S400.
  • the following two methods may be used as a method for obtaining the parameters ⁇ and ⁇ of the linear model applied to Equation 1.
  • the present invention is not necessarily limited thereto, and the parameters ⁇ and ⁇ may be utilized in various ways.
  • ⁇ and ⁇ are parameters of the linear model
  • the decoder since the encoder obtains the ⁇ and ⁇ parameters and signals them and transmits them, the decoder does not need to separately obtain the ⁇ and ⁇ parameters, thereby reducing the complexity of the decoder and reducing the complexity of the encoder. It should be taken into account that the coding efficiency is low.
  • a method of deriving using the same method in the encoder and the decoder using spatially adjacent pixels of the luminance component block and the chrominance component blocks of the current block may be used.
  • the decoder complexity is relatively increased, but since additional signaling is not required for the parameter, The decoding efficiency is further improved than before.
  • the ⁇ and ⁇ parameters when the ⁇ and ⁇ parameters are derived using a spatially adjacent sample in the luminance component block and / or the chrominance component block in the encoder and the decoder, the ⁇ and ⁇ parameters may be derived as shown in Equations 2 and 3 below. Can be.
  • Equations 2 and 3 L (n) means down-sampled luminance samples, and C (n) means chrominance samples.
  • the remaining color difference component blocks can be predicted from one color difference component block of the color difference component blocks.
  • the prediction method of the chrominance difference component constituting one block may use a chrominance prediction method that is corrected using a difference signal of the CB chrominance component.
  • the prediction sample of the CR color difference component may be corrected as in Equation 4 below.
  • Equation 4 PRE CR (i, j) denotes a prediction sample of the CR color difference component, and RES ' CB (i, j) denotes a dimension signal of the CR color difference component.
  • Equation 4 may be derived using samples spatially adjacent to the CB chrominance component block and / or the CR chrominance component block of the current block.
  • ⁇ may be derived as shown in Equation 5 below.
  • Equation 5 Cb (n) means a CB chrominance sample, and Cr (n) means a CR chrominance sample.
  • (lambda) means (Cb (n) * Cb (n)) >> 9.
  • the present invention is not limited to the above-described Equations 1 to 4, and it is equally possible to derive the parameter by calculating the slope and offset of the linear model based on the linear model.
  • the maximum value xL1 and the minimum value xL2 may be extracted from the luminance reference samples adjacent to the current reference component block, respectively.
  • the sample values yC1 and yC2 of the color difference reference samples respectively corresponding to the luminance reference samples of the maximum value and the minimum value may be derived.
  • a linear model based parameter may be derived using the maximum / minimum values xL1 and xL2 of the luminance reference sample and the sample values yC1 and yC2 of the chrominance reference sample. For example, based on the linear model, the slope ⁇ and the offset ⁇ may be derived from a straight line passing through the first point (xL1, yC1) and the second point (xL2, yC2).
  • the maximum value xC1 and the minimum value xC2 may be extracted from the color difference reference samples adjacent to the current target component block.
  • the sample values yL1 and yL2 of the luminance reference samples respectively corresponding to the color difference reference samples of the maximum value and the minimum value may be derived.
  • a linear model based parameter may be derived using the maximum / minimum values xC1 and xC2 of the chrominance reference sample and the sample values yL1 and yL2 of the luminance reference sample.
  • the maximum value may be determined using upper p samples of the reference samples.
  • the minimum value may be determined using the lower q samples of the reference samples.
  • the maximum value may be determined as an average value, a median value, a maximum value, or a mode value of sample values of the upper p samples.
  • the minimum value may be determined as an average value, a median value, a minimum value, or a mode value of sample values of the lower q samples.
  • p may be the same as q or may be set differently from q.
  • p and q may be integers of 2, 3, 4, or more.
  • the p value may be a fixed value pre-defined in the encoding / decoding apparatus (Example 1).
  • the p value may be variably determined based on the size of the current block (Example 2). Specifically, if the width of the current block is larger than the predetermined threshold size, p may be determined to be larger than otherwise. For example, if the width of the current block is greater than a predetermined threshold size, p may be determined to be 2 or 3, otherwise p may be determined to be 1. Similarly, if the height of the current block is greater than the predetermined threshold size, p may be determined to be larger than otherwise.
  • the p value may be variably determined based on the shape of the current block (Example 3).
  • the p value may be determined differently as shown in Table 1 according to whether the current block is a square.
  • the encoding apparatus may encode the optimal p value and signal it to the decoding apparatus, and the decoding apparatus may determine the p value using the signaled information (Embodiment 4).
  • the p value may be determined based on any one of the above-described embodiments 1 to 4, and the p value may be determined based on a combination of at least two of the embodiments 1 to 4.
  • the q value may be determined in the same manner as p, and a detailed description thereof will be omitted. However, the present invention is not limited thereto, and q may be determined in another embodiment than p.
  • inter-component prediction may be performed based on a current reference component block and an inter-component prediction parameter (S420).
  • the target sample may be predicted according to a linear model between the current sample in the target component block and the corresponding sample in the pre-restored reference component block.
  • the number and position of samples in the reference component block corresponding to the current target sample may be variably determined.
  • the information about the number and position may be signaled in the encoding apparatus or may be derived in the decoding apparatus based on predetermined encoding information.
  • the number and positions of samples in the reference component block corresponding to the current target sample will be described with reference to FIGS. 14 to 18.
  • FIG. 5 illustrates an example of a configuration of a reference sample for inter-component prediction according to an embodiment of the present invention.
  • FIG. 5 illustrates a configuration of a sample spatially adjacent to a color difference component block for performing inter-component prediction with a sample spatially adjacent to a current luminance component block.
  • FIG. 5 is a diagram for one embodiment of the case where the color format of the current picture is YUV 4: 2: 0, and according to the color format of the current picture.
  • the sample position of the luminance component corresponding to the sample may be different.
  • a reconstructed sample spatially adjacent to the luminance component block 500 of the current block may include a left neighboring sample 521 and / or as shown in FIG. 5. Top adjacent sample 522.
  • the reconstructed sample spatially adjacent to the chrominance component block 510 of the current block may be composed of a left adjacent sample 531 and / or a top adjacent sample 532 as shown in FIG. 5.
  • the reconstructed samples spatially adjacent to the luminance component block 500 and the chrominance component block 510 of the current block shown in FIG. 5 may further include samples continuously positioned to the right of the upper adjacent samples 522 and 532. It may further include a sample continuously positioned at the lower end of the left adjacent samples (521, 531).
  • the color difference component block has a size of (nTbW x nTbH), and the luminance component block corresponding to the color difference component block has a size of (2 * nTbW x 2 * nTbH).
  • the sample may mean a reconstruction value before the in-loop filter is applied.
  • the reconstructed sample (hereinafter, referred to as a neighboring region) spatially adjacent to the luminance component block may include at least one of a left neighboring region, an upper neighboring region, or an upper left neighboring region.
  • the above setting may be performed only when the value of numSampT is greater than zero.
  • the above setting may be performed only when the upper left region of the luminance component block is available.
  • variables numSampL and numSampT may be determined based on the intra prediction mode of the chrominance component block.
  • numSampL and numSampT may be determined based on the height and width of the chrominance component block, respectively.
  • the first mode may mean a mode in which inter-component prediction is performed based on left and top neighboring regions of the chrominance component block.
  • numSampL and numSampT may be derived as shown in Equation 6 below.
  • numSampT may be derived as nTbW when the upper neighboring area of the chrominance component block is available, and as otherwise, 0.
  • numSampL can be derived as nTbH if the left neighboring region of the chrominance component block is available, or as zero otherwise.
  • the intra prediction mode of the chrominance component block is the second mode (e.g., INTRA_T_CCLM) or the third mode (INTRA_L_CCLM), it may be derived as in Equation 7 below.
  • the second mode may mean a mode in which inter-component prediction is performed based on an upper neighboring region of the chrominance component block.
  • the third mode may mean a mode in which inter-component prediction is performed based on the left neighboring region of the chrominance component block.
  • nTbW may mean the number of samples belonging to an area adjacent to the top of the chrominance component block
  • numTopRight may mean the number of available samples continuously located on the right side of the area adjacent to the top.
  • the determination of the availability is sequentially determined whether the sample is available from the left to the right direction, which may be performed until the unavailable sample is found.
  • nTbH may mean the number of samples belonging to a region adjacent to the left side of the chrominance component block
  • numLeftBelow may mean the number of available samples continuously positioned at the bottom of the region adjacent to the left side. At this time, the determination of the availability, it is determined sequentially whether the sample is available from the top to the bottom direction, which may be performed until the unavailable sample is found.
  • a reference sample for the luminance component block may be determined by downsampling a neighboring region of the luminance component block.
  • a downsampling method will be described in detail.
  • the peripheral sample may mean a sample adjacent to at least one of the left side, the right side, the top side, or the bottom side of the corresponding sample.
  • the sample pLeftDsY [y] may be derived as in Equation 8.
  • the sample pLeftDsY [0] of the downsampled left neighboring region is derived based on the corresponding sample pY [-2] [0] and the surrounding sample of the left neighboring region.
  • the peripheral sample may mean a sample adjacent to at least one of the left side and the right side of the corresponding sample.
  • the sample pLeftDsY [0] may be derived as in Equation 9 below.
  • the peripheral sample may mean a sample adjacent to at least one of the lower, left, right, lower left or lower right end of the corresponding sample.
  • the sample pLeftDsY [y] may be derived as in Equation 10 below.
  • pLeftDsY [y] (pY [-1] [2 * y] + pY [-1] [2 * y + 1] + 2 * pY [-2] [2 * y] + 2 * pY [-2] [2 * y + 1] + pY [-3] [2 * y] + pY [-3] [2 * y + 1] + 4) >> 3
  • downsampling of the left neighboring region may be performed based on any one of the above-described first and second embodiments.
  • any one of Embodiment 1 or 2 may be selected based on a predetermined flag.
  • the flag may indicate whether the downsampled luminance sample has the same position as the original luminance sample. For example, when the flag is the first value, the downsampled luminance sample has the same position as the original luminance sample. On the other hand, when the flag is the second value, the downsampled luminance sample has the same position in the horizontal direction as the original luminance sample, but has a position shifted by half pel in the vertical direction.
  • downsampling for the left neighboring region may be performed only when the numSampL value is greater than zero.
  • the case where the numSampL value is greater than 0 may mean that the left neighboring region of the luminance component block is available and the intra prediction mode of the chrominance component block is the first mode or the third mode.
  • the CTU may mean a maximum coding unit that is pre-defined in the encoding / decoding apparatus.
  • the sample pTopDsY [x] of the downsampled top neighbor region is derived based on the corresponding sample pY [2 * x] [-2] and the surrounding sample of the top neighbor region.
  • the peripheral sample may mean a sample adjacent to at least one of the left side, the right side, the top side, or the bottom side of the corresponding sample.
  • the sample pTopDsY [x] can be derived as in Equation 11 below.
  • the sample pTopDsY [x] of the downsampled top neighboring region is based on the corresponding sample pY [2 * x] [-1] and the surrounding samples of the top neighboring region Can be induced.
  • the peripheral sample may mean a sample adjacent to at least one of the left side and the right side of the corresponding sample.
  • the sample pTopDsY [x] can be derived as in Equation 12 below.
  • the peripheral sample may refer to a sample adjacent in at least one direction of the top or bottom of the corresponding sample.
  • the sample pTopDsY [0] can be derived as in Equation 13.
  • the sample pTopDsY [0] may be set to the sample pY [0] [-1] of the upper neighboring region. Can be.
  • the sample pTopDsY [x] of the downsampled top neighbor region is derived based on the corresponding sample pY [2 * x] [-2] and the surrounding sample of the top neighbor region.
  • the peripheral sample may mean a sample adjacent to at least one of the lower, left, right, lower left or lower right end of the corresponding sample.
  • the sample pTopDsY [x] can be derived as in Equation 14 below.
  • the sample pTopDsY [x] of the downsampled top neighboring region is based on the corresponding sample pY [2 * x] [-1] and the surrounding samples of the top neighboring region.
  • the peripheral sample may mean a sample adjacent to at least one of the left side and the right side of the corresponding sample.
  • the sample pTopDsY [x] can be derived as in Equation 15 below.
  • the peripheral sample may refer to a sample adjacent in at least one direction of the top or bottom of the corresponding sample.
  • the sample pTopDsY [0] can be derived as in Equation 16 below.
  • the sample pTopDsY [0] may be set to the sample pY [0] [-1] of the upper neighboring region. Can be.
  • downsampling of the upper neighboring region may be performed based on any one of the above-described embodiments 1 and 2.
  • any one of Embodiment 1 or 2 may be selected based on a predetermined flag. The flag indicates whether the downsampled luminance sample has the same position as the original luminance sample, as described above.
  • downsampling for the upper neighboring area may be performed only when the numSampT value is greater than zero.
  • the case where the numSampT value is greater than 0 may mean that the upper neighboring region of the luminance component block is available and the intra prediction mode of the chrominance component block is the first mode or the second mode.
  • FIG. 6 illustrates an example in which adjacent samples of a current block used for deriving a linear model parameter for inter-component prediction are configured differently according to encoding information, according to an embodiment of the present invention.
  • FIG. 6 illustrates an example in which spatially adjacent samples of a color difference component block for performing prediction between components and spatially adjacent samples of the current luminance component block are configured differently according to encoding information of the current block.
  • the linear model parameters for inter-component prediction can be derived using the same method in the encoder and the decoder.
  • the encoding information of the current block may refer to information such as an intra prediction mode of the current block, a size of the current block, a color format of the current picture, and the like.
  • the current block may mean a luminance component block and / or a chrominance component block.
  • the current chrominance block that performs inter-component prediction is composed of blocks of M ⁇ N, and M is greater than N (M> N)
  • a parameter of the linear model for inter-component prediction is derived.
  • the reference sample used to make may be configured using only the sample located above the luminance block.
  • the current chrominance block which performs the inter-component prediction is composed of blocks of KxL, and L is greater than K (L> K), it is used to derive the parameters of the linear model for the inter-component prediction
  • the reference sample may be configured using only samples located to the left of the luminance block.
  • FIG. 7 illustrates a flowchart in which adjacent samples of a current block used for deriving a linear model parameter for inter-component prediction according to an embodiment of the present invention are configured differently according to the shape of a target block.
  • FIG. 7 illustrates a flowchart configured differently according to the shape of a target component block in constructing a sample adjacent to the target component block and the reference component block used for deriving a linear model parameter for inter-component prediction. It is shown.
  • the linear model parameters for inter-component prediction can be derived using the same method in the encoder and the decoder.
  • the shape of the target block is a square block, a rectangular block having a shape in which the width W is greater than the height H, or the height H is greater than the width W.
  • different reference samples can be constructed to derive linear parameters for inter-component prediction.
  • step S700 when the shape of the target block is determined to be a square block, a reference sample is selected using a sample adjacent to the top and a sample adjacent to the left among adjacent samples of the current block used to derive a linear model parameter for inter-component prediction. Configure (S740).
  • step S730 if it is determined in step S730 that the block width W of the target block is larger than the block height H, that is, in the case of a rectangular block having a large width, only a sample adjacent to the top is used as a reference sample. Configure (S710). In addition, if it is determined in step 730 that the block width (W) of the target block is smaller than the block height (H), that is, in the case of a rectangular block having a large height, the reference sample may be used using only the sample adjacent to the left side. Configure (S720).
  • the above embodiments describe one embodiment of a method for differently configuring a reference sample used for deriving linear parameters for inter-component prediction according to the shape of a target block proposed by the present invention.
  • the method may also include a method of using only some of the samples adjacent to the upper side or only some of the samples adjacent to the left side, depending on the size, intra prediction mode, or limited intra prediction.
  • FIG. 8 illustrates a flowchart in which adjacent samples of a current block used to derive a linear model parameter for inter-component prediction according to an embodiment of the present invention are configured differently according to the intra prediction mode of the current block.
  • the current block is a concept including a luminance component block and a chrominance component block, and the intra prediction mode may be determined for each of the luminance component block and the chrominance component block.
  • the intra prediction mode predefined in the decoding apparatus includes a non-directional mode (Planar mode, DC mode) and 65 directional modes.
  • the intra prediction mode of the luma component block may be derived based on the MPM list and the MPM index.
  • the MPM list includes a plurality of MPMs, and the MPM may be determined based on the intra prediction mode of the neighboring block of the current block.
  • the number of MPMs is r, and r may be an integer of 3, 4, 5, 6, or more.
  • the MPM list may include at least one of intra prediction modes modeA, (modeA-n), (modeA + n), or a default mode of a neighboring block.
  • the n value may be an integer of 1, 2, 3, 4 or more.
  • the neighboring block may mean a block adjacent to the left and / or top of the current block.
  • the default mode may be at least one of a planar mode, a DC mode, or a predetermined directional mode.
  • the predetermined directional mode may include at least one of a horizontal mode (modeV), a vertical mode (modeH), (modeV-k), (modeV + k), (modeH-k), or (modeH + k).
  • the MPM index may specify the same MPM as the intra prediction mode of the luminance component block among the MPMs in the MPM list. That is, the MPM specified by the MPM index may be set to the intra prediction mode of the luminance component block.
  • the intra prediction mode of the chrominance component block may be derived as shown in Table 2 or Table 3 based on the information (intra_chroma_pred_mode) signaled by the encoding apparatus.
  • the intra prediction mode of the chrominance component block may be determined based on the signaled information and the intra prediction mode of the luminance component block.
  • mode66 may indicate a diagonal mode in the upper right direction
  • mode50 may indicate a vertical mode
  • mode18 may indicate a horizontal mode
  • mode1 may mean a DC mode.
  • the intra prediction mode of the chrominance component block may be set to be the same as the intra prediction mode of the luminance component block.
  • Table 3 may be applied when inter-component prediction is allowed for the chrominance component block.
  • Table 3 supports mode81, mode82, and mode83 as intra prediction modes of the chrominance component block, which corresponds to a mode indicating inter-component prediction.
  • the above-described first mode is any one of mode81, mode82, and mode83
  • the second mode is another one of mode81, mode82, or mode83
  • the third mode is the first mode and the second of mode81, mode82, or mode83.
  • the mode may be other than the mode.
  • the intra prediction mode of the current block is determined through the above-described method, and a reference sample for inter-component prediction may be configured based on the determined intra prediction mode.
  • a reference sample for deriving a linear model parameter for inter-component prediction may be configured differently according to the intra prediction mode of the reference component block.
  • the reference sample may be configured by using a target component block and a sample spatially adjacent to the reference component block.
  • the linear model parameters for inter-component prediction can be derived using the same method in the encoder and the decoder.
  • the intra prediction mode of the reference component block is linear for inter-component prediction according to modes having verticality (VER_MODES), modes having horizontality (HOR_MODES) and / or remaining modes.
  • Reference samples for deriving parameters can be constructed differently. The direction of the intra prediction mode will be described with reference to FIG. 9.
  • step S800 it is determined whether the intra prediction mode of the reference component block is not included in the modes VER_MODES having verticality and not in the modes HOR_MODES having horizontality (S800). As a result of the determination in step S800, if none of the verticality modes VER_MODES and the horizontality modes HOR_MODES, the upper and left of the samples adjacent to the current block used to derive a linear model parameter for inter-component prediction.
  • a reference sample is configured using all of the samples adjacent to (S840).
  • any one of the verticality modes (VER_MODES) or the horizontality modes (HOR_MODES) it corresponds to any one of the verticality modes (VER_MODES) or horizontality modes (HOR_MODES). It is determined whether or not (S830).
  • the reference sample is configured using only the sample adjacent to the upper end among the samples adjacent to the current block (S810).
  • the reference sample is configured using only the samples adjacent to the left among the samples adjacent to the current block (S820). .
  • the above embodiments describe one embodiment of a method for differently configuring a reference sample used for deriving a linear parameter for inter-component prediction according to the intra prediction mode of the reference component block proposed by the present invention.
  • the method may also include a method of using only a part of the samples adjacent to the top or a part of the samples adjacent to the left.
  • the above-described embodiment may be applied to the same / similarly for the intra prediction mode of the target component block.
  • FIG 9 illustrates the directionality of the intra prediction mode as an embodiment to which the present invention is applied.
  • FIG. 9 illustrates the concept of the mode HOR_MODES having horizontality and the mode VER_MODES having verticality according to the direction of the intra prediction mode in more detail.
  • an intra configured as a horizontal mode (HOR), an upper left diagonal mode (DIA), a vertical mode (VER), and a right upper diagonal mode (VDIA1).
  • HOR horizontal mode
  • DIA upper left diagonal mode
  • VER vertical mode
  • VDIA1 right upper diagonal mode
  • a plurality of directional modes exist at constant angle intervals between the lower left diagonal mode VDIA0 and the upper right diagonal mode VDIA1.
  • the number of intra prediction modes having the directionality may be 32, 65, 129, or the like.
  • the horizontal mode HOR_MODES described in the present invention refers to one or more intra prediction modes included in a range of a constant angle ⁇ H with respect to the horizontal mode HOR.
  • ⁇ H refers to a constant angle not exceeding
  • the verticality mode VER_MODES described in the present invention refers to one or more intra prediction modes included in a range of a constant angle ⁇ V with respect to the vertical mode VER.
  • ⁇ V refers to a constant angle not exceeding
  • FIG. 10 illustrates an example in which adjacent samples of a current block used for deriving a linear model parameter for inter-component prediction according to the present invention are configured differently according to whether or not constrained intra prediction is performed. Specifically, FIG. 10 differs depending on whether intra-prediction is limited in constructing a sample spatially adjacent to a target component block and a reference component block used for deriving a linear model parameter for inter-component prediction. An example is shown.
  • the linear model parameters for inter-component prediction can be derived using the same method in the encoder and the decoder.
  • FIG. 10 is a diagram illustrating an embodiment of configuring a reference sample for deriving a linear model parameter for inter-component prediction by reflecting whether constraint intra prediction is proposed in the present invention. That is, in configuring a reference sample using spatially adjacent samples of the current block for inter-component prediction, the reference sample may be configured differently according to whether or not limited intra prediction is performed.
  • FIG. 11 illustrates a flowchart in which a sample adjacent to a current block used to derive a linear model parameter for inter-component prediction according to an embodiment of the present invention is configured differently according to whether or not constrained intra prediction is performed. will be.
  • FIG. 11 is a flowchart illustrating a reference sample for deriving linear model parameters for inter-component prediction by reflecting whether or not constrained intra prediction is proposed in the present invention. First, contraint intra prediction is illustrated. It is determined whether to use (S1100).
  • step S1100 when using the limited intra prediction, the sample reconstructed in the inter prediction mode among the samples spatially adjacent to the current block to derive the linear model parameter for the inter-component prediction is excluded.
  • the reference sample is composed of only samples reconstructed in the intra prediction mode (S1110), and parameters of the linear model are derived.
  • step S1100 when the determination result of step S1100 does not use the constraint intra prediction, the sample reconstructed in the intra prediction mode among the samples spatially adjacent to the current block in order to derive a linear model parameter for inter-component prediction and
  • the reference sample is configured to include all of the samples reconstructed in the inter prediction mode (S1120), and the parameters of the linear model are derived.
  • FIG. 12 illustrates an example of configuring a reference sample by padding available samples among samples spatially adjacent to a current block used for deriving a linear model parameter for inter-component prediction according to the present invention.
  • FIG. 12 illustrates a reference sample by padding available samples among spatially adjacent samples in constructing a spatially adjacent sample to a target component block and a reference component block used for deriving a linear model parameter for inter-component prediction. It shows an example of configuring.
  • the linear model parameters for inter-component prediction can be derived using the same method in the encoder and the decoder.
  • a reference sample may be configured except for samples that are not available among spatially adjacent samples of the reference component block, and the reference sample may be replaced with the available sample by replacing the unavailable sample.
  • the reference sample may be configured by padding the positions of the samples 1220, 1240, 1221, and 1241 reconstructed in the inter prediction mode.
  • FIG. 13 illustrates a flowchart for constructing a reference sample by padding available samples among samples spatially adjacent to a current block used for deriving a linear model parameter for inter-component prediction according to the present invention. That is, according to an embodiment of the present invention, a reference sample may be configured except for a sample that is not available among samples that are spatially adjacent to the reference component block, and the reference sample is configured by replacing the unavailable sample with an available sample. can do.
  • step S1300 it is determined whether all adjacent samples can be used as reference samples. If it is determined in step S1300 that all adjacent samples can be used as reference samples, a reference sample is composed of the corresponding samples (S1330), and parameters of the linear model are derived.
  • the reference samples may be configured by padding using the available samples (S1310).
  • 14 to 18 it can be seen that the number and positions of corresponding samples of the reference component corresponding to the current sample may be different by the inter-component prediction method.
  • 14 to 18 show one embodiment of the YUV 4: 2: 0 color format.
  • the linear model-based inter-component prediction basically corresponds to the chroma component using the method of FIG. 14. It is possible to determine the sample value of the luminance Luma component. 14 shows four luminance component samples and two adjacent samples.
  • the downsampling filter is represented by Equation 17 below.
  • Rec ' L [x, y] (2 * Rec L [2x, 2y] + 2 * Rec L [2x, 2y + 1] + Rec L [2x-1,2y] + Rec L [2x + 1,2y ] + Rec L [2x-1,2y + 1] + Rec L [2x + 1,2y + 1] + 4)
  • one of a corresponding method for predicting a plurality of components may be selectively used, and information selecting one of the corresponding methods may be directly signaled.
  • one fixed method may be used according to the block size or shape.
  • FIG. 15 illustrates another embodiment in which two samples at the upper left of the luminance component are used, and the downsampling filter is expressed by Equation 18 below.
  • FIG. 16 illustrates another embodiment, in which the top two samples are used in the second left column of the luminance component, and the downsampling filter is represented by Equation 19 below.
  • FIG. 17 illustrates another embodiment in which two left samples are used in the upper second line of the luminance component, and the downsampling filter is represented by Equation 20 below.
  • the reference sample of the luminance component is not configured as two lines, but includes one reference sample line to derive a parameter for inter-component prediction.
  • FIG. 18 illustrates another embodiment in which four samples at the upper left of the luminance component are used, and the downsampling filter is represented by Equation 21 below.
  • Rec ' L [x, y] (Rec L [2x, 2y] + Rec L [2x, 2y + 1] + Rec L [2x + 1,2y] + Rec L [2x + 1,2y + 1] + 2) >> 2
  • YUV 4: 2: 2 color format when using the YUV 4: 2: 2 color format, at least one method except for the derivation method of FIG. 17 may be used.
  • the YUV 4: 4: 4 color format it is possible to perform linear model-based inter-component prediction with respect to luminance components having one-to-one correspondence to chrominance components, instead of the derivation method of FIGS. 14 to 18. Do.
  • a sample of the chrominance component block may be predicted by applying an inter-component prediction parameter to a sample of the luminance component block.
  • the sample of the luminance component block corresponds to the sample of the chrominance component block, which may be downsampled according to the color format.
  • the downsampling method may be selectively performed based on a predetermined flag, and will be described in detail below.
  • the peripheral sample may mean a sample adjacent to at least one of the left side, the right side, the top side, or the bottom side of the corresponding sample.
  • the sample pDsY [x] [y] may be derived as in Equation 22 below.
  • the peripheral sample may mean a sample adjacent in at least one direction of the top or bottom of the corresponding sample.
  • a peripheral sample may refer to a sample adjacent in at least one direction of the left side or the right side of the corresponding sample.
  • sample pDsY [0] [0] of the downsampled luminance component block may be derived based on the corresponding sample pY [0] [0] and / or surrounding samples of the luminance component block.
  • the position of the peripheral sample may be determined differently depending on whether the left / top neighboring area of the luminance component block is available.
  • pDsY [0] [0] can be derived as in Equation 25 below.
  • pDsY [0] [0] can be derived as in Equation 26 below.
  • pDsY [0] [0] can be set to the corresponding sample pY [0] [0] of the luminance block.
  • the peripheral sample may refer to a sample adjacent in at least one of the bottom, left, right, bottom left and bottom right sides of the corresponding sample.
  • the sample pDsY [x] [y] can be derived as in Equation 27 below.
  • Downsampling of the luminance component block may be performed based on any one of Embodiments 1 and 2 described above.
  • any one of Embodiment 1 or 2 may be selected based on a predetermined flag.
  • the flag may indicate whether the downsampled luminance sample has the same position as the original luminance sample. For example, when the flag is the first value, the downsampled luminance sample has the same position as the original luminance sample. On the other hand, when the flag is the second value, the downsampled luminance sample has the same position in the horizontal direction as the original luminance sample, but has a position shifted by half pel in the vertical direction.
  • FIG. 19 illustrates a concept of a method for performing inter-component prediction using a plurality of linear models according to an embodiment of the present invention.
  • FIG. 19 illustrates the concept of a method of performing inter-component prediction using one or more linear models in deriving a linear model parameter for inter-component prediction using the same method in the encoder and the decoder.
  • a single linear model may be expressed using a distribution of sample values between two different components, and inter-component prediction may be performed based on the linear model.
  • inter-component prediction may be performed based on different linear models according to a range of sample values.
  • various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof.
  • one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), General Purpose It may be implemented by a general processor, a controller, a microcontroller, a microprocessor, and the like.
  • scope of the disclosure include software or machine-executable instructions (eg, an operating system, an application, firmware, a program, etc.) to cause an operation in accordance with various embodiments of the method to be executed on an apparatus or a computer, and such software or Instructions, and the like, including non-transitory computer-readable media that are stored and executable on a device or computer.
  • software or machine-executable instructions eg, an operating system, an application, firmware, a program, etc.
  • the present invention can be used to encode / decode video signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 영상 부호화/복호화 방법 및 장치는, 색차 성분 블록의 성분 간 예측을 위한 참조 샘플을 구성하고, 참조 샘플을 이용하여 성분 간 예측 파라미터를 유도하며, 색차 성분 블록에 대응하는 휘도 성분 블록 및 성분 간 예측 파라미터를 기반으로 색차 성분 블록의 성분 간 예측을 수행할 수 있다.

Description

영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
본 발명은 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 성분 간 예측(CROSS COMPONENT PREDICTION)을 사용하는 영상 복호화 방법/장치 및 이에 대응하는 영상 부호화 방법/장치에 관한 것이다.
동영상 압축은 크게 화면 내 예측 (또는 인트라 예측), 화면 간 예측(또는 인터 예측), 변환, 양자화, 엔트로피(Entropy coding) 부호화, 인루프 필터(In-loop filter)로 구성된다. 한편, 고해상도 영상에 대한 수요가 증가함과 함께, 새로운 영상 서비스로서 입체 영상 컨텐츠에 대한 수요도 함께 증가하고 있다. 고해상도 및 초고해상도의 영상을 효과적으로 제공하기 위한 비디오 압축 기술에 대하여 논의가 진행되고 있다.
본 발명은 효율이 향상된 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은, 영상 부호화 및 복호화시에, 성분 간 예측 기술을 도입하여 효율이 향상된 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은, 현재 블록의 색차 성분을, 휘도 성분 혹은 다른 색차 성분과의 유사성에 기반한 선형 모델을 이용하여 예측을 수행하는, 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은, 선형 모델의 파라미터를 현재 블록의 공간적으로 인접한 화소들의 유사성을 이용하여 획득하여, 성분 간 예측에 적용하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은, 현재 대상 블록의 공간적으로 인접한 샘플 중 부호화 정보에 따라 일부 샘플을 이용하여 성분 간 예측 파라미터를 획득하여, 현재 대상 블록의 색차 성분에 대한 성분 간 예측에 적용하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 상기 영상 부호화 방법/장치에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치는, 성분 간 예측을 위한 참조 샘플을 구성하고, 상기 참조 샘플을 이용하여 성분 간 예측 파라미터를 유도하며, 상기 성분 간 예측 파라미터를 이용하여 성분 간 예측을 수행할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 참조 샘플을 구성하는 단계는, 현재 참조 성분 블록과 현재 대상 성분 블록에 공간적으로 인접한 기-복원된 샘플을 이용할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 기-복원된 샘플은, 상기 휘도 성분 블록의 좌측 또는 상단 중 적어도 하나에 인접한 샘플을 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 기-복원된 샘플은, 상기 좌측에 인접한 샘플의 하단에 연속적으로 위치한 샘플 또는 상기 상단에 인접한 샘플의 우측에 연속적으로 위치한 샘플을 더 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 참조 샘플은, 현재 블록의 크기, 인트라 예측 모드, 또는 제한된 인트라 예측 (constraint intra prediction) 여부 중 적어도 하나를 고려하여 결정될 수 있다. 현재 블록은, 현재 참조 성분 블록 또는 현재 대상 성분 블록 중 적어도 하나를 의미할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록의 형태가 정방형 블록이면, 현재 블록의 인접한 샘플 중 상단에 인접한 샘플과 좌측에 인접한 샘플을 모두 사용하여 참조 샘플을 구성할 수 있다. 반면, 현재 블록의 형태가 정방형 블록이 아니면, 현재 블록의 인접한 샘플 중 상단에 인접한 샘플 또는 좌측에 인접한 샘플 중 어느 하나를 사용하여 참조 샘플을 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록의 인트라 예측 모드가 수직성 모드들(VER_MODES) 및 수평성 모드들(HOR_MODES)에 해당되지 않으면, 현재 블록의 인접한 샘플 중 상단에 인접한 샘플과 좌측에 인접한 샘플을 모두 사용하여 참조 샘플을 구성할 수 있다. 반면, 현재 블록의 인트라 예측 모드가 수직성 모드들(VER_MODES)에 해당되면, 현재 블록의 인접한 샘플 중 상단에 인접한 샘플을 사용하여 참조 샘플을 구성하고, 현재 블록의 인트라 예측 모드가 수평성 모드들(HOR_MODES)에 해당되면, 현재 블록의 인접한 샘플 중 좌측에 인접한 샘플을 사용하여 참조 샘플을 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록이 제한적 인트라 예측을 사용하는 경우, 현재 블록의 공간적으로 인접한 샘플 중 인트라 예측 모드로 복원된 샘플만으로 참조 샘플을 구성할 수 있다. 반면, 상기 현재 블록이 제한적 인트라 예측을 사용하지 않은 경우, 현재 블록의 공간적으로 인접한 샘플 중 인터 예측 모드 및 인트라 예측 모드로 복원된 샘플 모두를 참조 샘플로 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록이 제한적 인트라 예측을 사용하는 경우, 현재 블록의 공간적으로 인접한 샘플 중 인트라 예측 모드로 복원된 샘플만으로 참조 샘플을 구성하고, 인터 예측 모드로 복원된 샘플 영역은 현재 블록의 공간적으로 인접한 샘플 중 이용 가능한 샘플을 기반으로 패딩을 수행하여 참조 샘플을 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록의 공간적으로 인접한 샘플 중 이용 가능한 샘플을 기반으로 패딩을 수행하여 참조 샘플을 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 성분 간 예측 파라미터를 유도하는 단계는, 상기 휘도 성분 블록에 인접한 참조 샘플 중 최대값과 최소값을 추출하는 단계 및 상기 최대값과 상기 최소값을 이용하여, 선형 모델 기반의 성분 간 예측 파라미터를 유도하는 단계를 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치는, 상기 휘도 성분 블록을 다운샘플링하는 단계를 더 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 다운샘플링은, 상기 휘도 성분 블록의 대응 샘플 및 주변 샘플을 이용하여 수행되고, 상기 주변 샘플의 개수는 1개, 2개, 3개, 4개, 5개 또는 그 이상일 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 주변 샘플은, 상기 대응 샘플의 좌측, 우측, 하단, 좌하단 또는 우하단 중 적어도 하나에 인접한 샘플을 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 성분 간 예측 신호를 생성하는 단계는, 현재 대상 성분 블록 내 대상 샘플과 이에 대응하는 기-복원된 참조 성분 블록 내의 하나 이상의 샘플 간의 선형 모델에 따라 현재 대상 샘플에 대한 예측 샘플을 생성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 성분 간 예측 신호 생성에 활용되는 선형 모델은, 서로 다른 두 성분 간의 샘플 값의 분포를 이용하여 적어도 하나 이상의 선형 모델에 기반하여 성분 간 예측을 수행할 수 있으며, 샘플 값의 범위에 따라서 서로 다른 선형 모델을 사용하는 것이 가능하다.
본 발명에 따른 컴퓨터 판독 가능한 기록 매체는, 영상 부호화 방법에 의해 생성된 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체로서, 상기 영상 부호화 방법은, 성분 간 예측을 위한 참조 샘플을 구성하는 단계, 상기 참조 샘플을 활용하여 성분 간 예측 파라미터를 유도하는 단계, 및 상기 성분 간 예측 파라미터를 이용하여 성분 간 예측 신호를 생성하는 단계를 포함할 수 있다.
본 발명에 따르면, 다음과 같은 효율이 향상된 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
첫째, 본 발명의 일 실시예에 따르면, 성분 간 예측 방식을 활용함에 따라, 색차 성분의 부호화/복호화 효율을 향상 시키는 영상 복호화 방법 및 장치가 제공될 수 있다.
둘째, 본 발명의 일 실시예에 따르면, 현재 블록의 색차 성분을, 휘도 성분 혹은 다른 색차 성분과의 샘플간 유사성에 기반한 예측 방식을 활용함에 따라, 색차 성분의 부호화/복호화 효율을 향상 시키는 영상 복호화 방법 및 장치가 제공될 수 있다.
셋째, 본 발명의 일 실시예에 따르면, 성분 간 예측에 적용되는 선형 모델의 파라미터를 현재 블록의 공간적으로 인접한 샘플들의 유사성을 이용하여 획득함에 따라, 색차 성분의 부호화/복호화 효율을 향상 시키는 영상 복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따른 영상 부호화 방법/장치에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
도 1은 본 발명에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명에 따른 영상 복호화 장치를 나타낸 블록도이다.
도 3은 본 발명에 따른, 성분 간 예측 기술에 대한 개념을 도시한 것이다.
도 4는 본 발명에 따른, 성분 간 예측이 수행되는 흐름도를 도시한 것이다.
도 5는 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 참조 샘플의 구성 예시를 도시한 것이다.
도 6은 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 선형 모델 파라미터 유도에 사용되는 현재 블록의 인접한 샘플이 부호화 정보에 따라 상이하게 구성되는 예를 도시한 것이다.
도 7은 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 선형 모델 파라미터 유도에 사용되는 현재 블록의 인접한 샘플이 대상 블록의 형태에 따라 상이하게 구성되는 흐름도를 도시한 것이다.
도 8은 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록의 인접한 샘플이 현재 블록의 인트라 예측 모드에 따라 상이하게 구성되는 흐름도를 도시한 것이다.
도 9는, 본 발명이 적용되는 일실시예로서, 인트라 예측 모드의 방향성을 도시한 것이다.
도 10은 본 발명에 따른, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록의 인접한 샘플이 제한적 인트라 예측 (constraint intra prediction) 여부에 따라 상이하게 구성되는 예시를 도시한 것이다.
도 11은 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록에 인접한 샘플이 제한적 인트라 예측 (constraint intra prediction) 여부에 따라 상이하게 구성되는 흐름도를 도시한 것이다.
도 12는 본 발명에 따른, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록에 공간적으로 인접한 샘플 중 이용 가능한 샘플을 패딩하여 참조 샘플을 구성하는 예를 도시한 것이다.
도 13은 본 발명에 따른, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록에 공간적으로 인접한 샘플 중 이용 가능한 샘플을 패딩하여 참조 샘플을 구성하는 흐름도를 도시한 것이다.
도 14 내지 도 18은 본 발명에 따른 일실시예로서, 성분 간 예측에서 현재 샘플에 대응하는 참조 성분의 대응 샘플의 개수와 위치를 달리하는 실시예를 예를 들어 각각 도시한 것이다.
도 19는 본 발명에 따른 일실시예로서, 다수개의 선형 모델을 이용하여 성분 간 예측을 수행하는 방법의 개념을 도시한 것이다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치는, 성분 간 예측을 위한 참조 샘플을 구성하고, 상기 참조 샘플을 이용하여 성분 간 예측 파라미터를 유도하며, 상기 성분 간 예측 파라미터를 이용하여 성분 간 예측을 수행할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 참조 샘플을 구성하는 단계는, 현재 참조 성분 블록과 현재 대상 성분 블록에 공간적으로 인접한 기-복원된 샘플을 이용할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 기-복원된 샘플은, 상기 휘도 성분 블록의 좌측 또는 상단 중 적어도 하나에 인접한 샘플을 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 기-복원된 샘플은, 상기 좌측에 인접한 샘플의 하단에 연속적으로 위치한 샘플 또는 상기 상단에 인접한 샘플의 우측에 연속적으로 위치한 샘플을 더 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 참조 샘플은, 현재 블록의 크기, 인트라 예측 모드, 또는 제한된 인트라 예측 (constraint intra prediction) 여부 중 적어도 하나를 고려하여 결정될 수 있다. 현재 블록은, 현재 참조 성분 블록 또는 현재 대상 성분 블록 중 적어도 하나를 의미할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록의 형태가 정방형 블록이면, 현재 블록의 인접한 샘플 중 상단에 인접한 샘플과 좌측에 인접한 샘플을 모두 사용하여 참조 샘플을 구성할 수 있다. 반면, 현재 블록의 형태가 정방형 블록이 아니면, 현재 블록의 인접한 샘플 중 상단에 인접한 샘플 또는 좌측에 인접한 샘플 중 어느 하나를 사용하여 참조 샘플을 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록의 인트라 예측 모드가 수직성 모드들(VER_MODES) 및 수평성 모드들(HOR_MODES)에 해당되지 않으면, 현재 블록의 인접한 샘플 중 상단에 인접한 샘플과 좌측에 인접한 샘플을 모두 사용하여 참조 샘플을 구성할 수 있다. 반면, 현재 블록의 인트라 예측 모드가 수직성 모드들(VER_MODES)에 해당되면, 현재 블록의 인접한 샘플 중 상단에 인접한 샘플을 사용하여 참조 샘플을 구성하고, 현재 블록의 인트라 예측 모드가 수평성 모드들(HOR_MODES)에 해당되면, 현재 블록의 인접한 샘플 중 좌측에 인접한 샘플을 사용하여 참조 샘플을 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록이 제한적 인트라 예측을 사용하는 경우, 현재 블록의 공간적으로 인접한 샘플 중 인트라 예측 모드로 복원된 샘플만으로 참조 샘플을 구성할 수 있다. 반면, 상기 현재 블록이 제한적 인트라 예측을 사용하지 않은 경우, 현재 블록의 공간적으로 인접한 샘플 중 인터 예측 모드 및 인트라 예측 모드로 복원된 샘플 모두를 참조 샘플로 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록이 제한적 인트라 예측을 사용하는 경우, 현재 블록의 공간적으로 인접한 샘플 중 인트라 예측 모드로 복원된 샘플만으로 참조 샘플을 구성하고, 인터 예측 모드로 복원된 샘플 영역은 현재 블록의 공간적으로 인접한 샘플 중 이용 가능한 샘플을 기반으로 패딩을 수행하여 참조 샘플을 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 현재 블록의 공간적으로 인접한 샘플 중 이용 가능한 샘플을 기반으로 패딩을 수행하여 참조 샘플을 구성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 성분 간 예측 파라미터를 유도하는 단계는, 상기 휘도 성분 블록에 인접한 참조 샘플 중 최대값과 최소값을 추출하는 단계 및 상기 최대값과 상기 최소값을 이용하여, 선형 모델 기반의 성분 간 예측 파라미터를 유도하는 단계를 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치는, 상기 휘도 성분 블록을 다운샘플링하는 단계를 더 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 다운샘플링은, 상기 휘도 성분 블록의 대응 샘플 및 주변 샘플을 이용하여 수행되고, 상기 주변 샘플의 개수는 1개, 2개, 3개, 4개, 5개 또는 그 이상일 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 주변 샘플은, 상기 대응 샘플의 좌측, 우측, 하단, 좌하단 또는 우하단 중 적어도 하나에 인접한 샘플을 포함할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 성분 간 예측 신호를 생성하는 단계는, 현재 대상 성분 블록 내 대상 샘플과 이에 대응하는 기-복원된 참조 성분 블록 내의 하나 이상의 샘플 간의 선형 모델에 따라 현재 대상 샘플에 대한 예측 샘플을 생성할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치에 있어서, 상기 성분 간 예측 신호 생성에 활용되는 선형 모델은, 서로 다른 두 성분 간의 샘플 값의 분포를 이용하여 적어도 하나 이상의 선형 모델에 기반하여 성분 간 예측을 수행할 수 있으며, 샘플 값의 범위에 따라서 서로 다른 선형 모델을 사용하는 것이 가능하다.
본 발명에 따른 컴퓨터 판독 가능한 기록 매체는, 영상 부호화 방법에 의해 생성된 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체로서, 상기 영상 부호화 방법은, 성분 간 예측을 위한 참조 샘플을 구성하는 단계, 상기 참조 샘플을 활용하여 성분 간 예측 파라미터를 유도하는 단계, 및 상기 성분 간 예측 파라미터를 이용하여 성분 간 예측 신호를 생성하는 단계를 포함할 수 있다.
본 명세서에 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다.
또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에서 설명되는 장치 및 방법에 관한 실시예에 있어서, 장치의 구성 일부 또는 방법의 단계 일부는 생략될 수 있다. 또한 장치의 구성 일부 또는 방법의 단계 일부의 순서가 변경될 수 있다. 또한 장치의 구성 일부 또는 방법의 단계 일부에 다른 구성 또는 다른 단계가 삽입될 수 있다.
또한, 본 발명의 제1 실시예의 일부 구성 또는 일부 단계는 본 발명의 제2 실시예에 부가되거나, 제2 실시예의 일부 구성 또는 일부 단계를 대체할 수 있다.
덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.
이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 민간 보안 카메라, 민간 보안 시스템, 군용 보안 카메라, 군용 보안 시스템, 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable MultimediaPlayer), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus)등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다. 또는 부호화기에 의해 생성된 비트스트림은 메모리에 저장될 수 있다. 상기 메모리는 휘발성 메모리와 비휘발성 메모리를 모두 포함할 수 있다. 본 명세서에서 메모리는 비트스트림을 저장한 기록 매체로 표현될 수 있다.
통상적으로 동영상은 일련의 픽쳐(Picture)들로 구성될 수 있으며, 각 픽쳐들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽쳐라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 그리고 코딩 유닛이라는 용어는 단위 블록, 블록 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(110), 예측부(120, 125, 129), 변환부(130), 양자화부(135), 재정렬부(160), 엔트로피 부호화부(165), 역양자화부(140), 역변환부(145), 필터부(150) 및 메모리(155)를 포함할 수 있다.
픽쳐 분할부(110)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 단위(Prediction Unit: PU)일 수도 있고, 변환 단위(Transform Unit: TU)일 수도 있으며, 부호화 단위(Coding Unit: CU)일 수도 있다. 이하, 본 발명의 실시예에서는 부호화 단위는 부호화를 수행하는 단위의 의미로 사용할 수도 있고, 복호화를 수행하는 단위의 의미로 사용할 수도 있다.
예측 단위는 하나의 부호화 단위로 결정될 수도 있고, 부호화 단위로부터 분할된 것일 수도 있다. 예측 단위의 형태는, 정사각형 또는 직사각형일 수 있다. 분할된 예측 단위는 서로 동일한 크기를 가질 수 있다. 또는, 하나의 부호화 단위 내에서 분할된 예측 단위 중 어느 하나의 예측 단위가 다른 하나의 예측 단위와 상이한 형태 및/또는 크기를 가지도록 분할된 것일 수도 있다. 부호화 단위를 기초로 인트라 예측 또는 인터 예측을 수행하는 경우, 부호화 단위와 예측 단위는 동일할 수 있다. 이때, 예측 단위가 최소 부호화 단위가 아닌 경우, 상기 예측 단위는 N개의 서브-블록으로 분할되고, 서브-블록의 단위로 예측이 수행될 수 있다. 여기서, N 값은, 1, 2, 3, 4 또는 그 이상의 정수일 수 있다. N 값은, 예측 단위의 속성에 기초하여 가변적으로 결정될 수 있다. 속성은, 형태, 크기, 예측 모드, 인트라 예측 모드가 비방향성인지 여부, 인트라 예측 모드의 방향성/값, 변환 단위의 크기/형태, 잔차 계수의 존부, 변환 타입(e.g., DCT, DST 등), 또는 변환 스킵 여부 중 적어도 하나를 의미할 수 있다.
예측부(120, 125, 129)는 인터 예측을 수행하는 인터 예측부(120)와 인트라 예측을 수행하는 인트라 예측부(125)를 포함할 수 있다. 예측 단위에 대해 인터 예측을 사용할 것인지 또는 인트라 예측을 수행할 것인지를 결정하고, 각 예측 방법에 따른 구체적인 정보(예컨대, 인트라 예측 모드, 모션 벡터, 참조 픽쳐 등)를 결정할 수 있다.
생성된 예측 블록과 원본 블록 사이의 잔차값(잔차 블록)은 변환부(130)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 모션 벡터 정보 등은 잔차값과 함께 엔트로피 부호화부(165)에서 부호화되어 복호화기에 전달될 수 있다. 단, 본 발명에 따른 디코더 측면의 움직임 정보 유도 기법이 적용되는 경우에는, 상기 예측 모드 정보, 모션 벡터 정보 등을 부호화기에서는 생성하지 않으므로, 해당 정보가 복호화기에도 전달되지 않게 된다. 반면, 움직임 정보를 디코더 측면에서 유도하여 사용함을 지시하는 정보 및 상기 움직임 정보 유도에 사용된 기법에 대한 정보를 상기 부호화기에서 시그널링(signaling)하여 전송하는 것이 가능하다.
또한, 인터 예측 또는 인트라 예측과 별도로 성분 간 예측을 더 수행하는 것이 가능하다. 즉, 예측부는 전술한 성분 간 예측부(129: Cross Component predictor)를 더 포함할 수 있다. 특히, 상기 성분 간 예측부(129)는 성분 간 예측을 위한 참조 샘플 구성부, 성분 간 예측 파라미터 유도부, 및 성분 간 예측 수행부를 포함할 수 있다. 성분 간 예측부는, 인트라 예측부에 포함되도록 구현될 수도 있다.
인터 예측부(120)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측 단위를 예측할 수도 있고, 경우에 따라서는 현재 픽쳐 내의 부호화가 완료된 일부 영역의 정보를 기초로 예측 단위를 예측할 수도 있다. 인터 예측부(120)는 참조 픽쳐 보간부, 모션 예측부, 움직임 보상부를 포함할 수 있다.
참조 픽쳐 보간부에서는 메모리(155)로부터 참조 픽쳐 정보를 제공받고 참조 픽쳐에서 정수 화소 이하의 화소 정보를 생성할 수 있다. 휘도 화소의 경우, 1/4 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 8탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다. 색차 신호의 경우 1/8 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 4탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다.
모션 예측부는 참조 픽쳐 보간부에 의해 보간된 참조 픽쳐를 기초로 모션 예측을 수행할 수 있다. 모션 벡터를 산출하기 위한 방법으로 FBMA(Full search-based Block Matching Algorithm), TSS(Three Step Search), NTS(New Three-Step Search Algorithm) 등 다양한 방법이 사용될 수 있다. 모션 벡터는 보간된 화소를 기초로 1/2 또는 1/4 화소 단위의 모션 벡터값을 가질 수 있다. 모션 예측부에서는 모션 예측 방법을 다르게 하여 현재 예측 단위를 예측할 수 있다. 모션 예측 방법으로 스킵(Skip) 방법, 머지(Merge) 방법, AMVP(Advanced Motion Vector Prediction) 방법, 인트라 블록 카피(Intra Block Copy) 방법 등 다양한 방법이 사용될 수 있다. 또한, 본 발명에 따른, 디코더 측면의 움짐 정보 유도 기법을 적용시에는, 모션 예측부에서 수행되는 방법으로는 탬플릿 매칭 (template matching) 방법 및 움직임 궤도(motion trajectory)를 활용한 양방향 매칭 (bilateral matching) 방법이 적용될 수 있다.
인트라 예측부(125)는 현재 픽쳐 내의 화소 정보인 현재 블록 주변의 참조 픽셀 정보를 기초로 예측 단위를 생성할 수 있다. 현재 예측 단위의 주변 블록이 인터 예측을 수행한 블록이어서, 참조 픽셀이 인터 예측을 수행한 픽셀일 경우, 인터 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 인트라 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수 있다. 즉, 참조 픽셀이 가용하지 않는 경우, 가용하지 않은 참조 픽셀 정보를 가용한 참조 픽셀 중 적어도 하나의 참조 픽셀로 대체하여 사용할 수 있다.
또한, 예측부(120, 125, 129)에서 생성된 예측 단위를 기초로 예측을 수행한 예측 단위와 예측 단위의 원본 블록과 차이값인 잔차값(Residual) 정보를 포함하는 잔차 블록이 생성될 수 있다. 생성된 잔차 블록은 변환부(130)로 입력될 수 있다.
변환부(130)에서는 원본 블록과 예측부(120, 125, 129)를 통해 생성된 예측 단위의 잔차값(residual)정보를 포함한 잔차 블록을 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT와 같은 변환 방법을 사용하여 변환시킬 수 있다. 잔차 블록을 변환하기 위해 DCT를 적용할지, DST를 적용할지 또는 KLT를 적용할지는 잔차 블록을 생성하기 위해 사용된 예측 단위의 인트라 예측 모드 정보를 기초로 결정할 수 있다.
양자화부(135)는 변환부(130)에서 주파수 영역으로 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화부(135)에서 산출된 값은 역양자화부(140)와 재정렬부(160)에 제공될 수 있다.
재정렬부(160)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다. 재정렬부(160)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원의 블록 형태 계수를 1차원의 벡터 형태로 변경할 수 있다. 예를 들어, 재정렬부(160)에서는 지그-재그 스캔(Zig-Zag Scan)방법을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원 벡터 형태로 변경시킬 수 있다. 변환 단위의 크기 및 인트라 예측 모드에 따라 지그-재그 스캔 대신 2차원의 블록 형태 계수를 열 방향으로 스캔하는 수직 스캔, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔이 사용될 수도 있다. 즉, 변환 단위의 크기 및 인트라 예측 모드에 따라 지그-재그 스캔, 수직 방향 스캔 및 수평 방향 스캔 중 어떠한 스캔 방법이 사용될지 여부를 결정할 수 있다.
엔트로피 부호화부(165)는 재정렬부(160)에 의해 산출된 값들을 기초로 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 사용할 수 있다. 관련하여, 엔트로피 부호화부(165)는 재정렬부(160) 및 예측부(120, 125)로부터 부호화 단위의 잔차값 계수 정보를 부호화할 수 있다. 또한, 본 발명에 따라 움직임 정보를 디코더 측면에서 유도하여 사용함을 지시하는 정보 및 움직임 정보 유도에 사용된 기법에 대한 정보를 시그널링(signaling)하여 전송하는 것이 가능하다.
역양자화부(140) 및 역변환부(145)에서는 양자화부(135)에서 양자화된 값들을 역양자화하고 변환부(130)에서 변환된 값들을 역변환한다. 역양자화부(140) 및 역변환부(145)에서 생성된 잔차값(Residual)은 예측부(120, 125, 129)에 포함된 움직임 추정부, 움직임 보상부 및 인트라 예측부를 통해서 예측된 예측 단위와 합쳐져 복원 블록(Reconstructed Block)을 생성할 수 있다.
필터부(150)는 디블록킹 필터, 오프셋 보정부, ALF(Adaptive Loop Filter)중 적어도 하나를 포함할 수 있다. 디블록킹 필터는 복원된 픽쳐에서 블록간의 경계로 인해 생긴 블록 왜곡을 제거할 수 있다. 오프셋 보정부는 디블록킹을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋을 보정할 수 있다. 특정 픽쳐에 대한 오프셋 보정을 수행하기 위해 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다. ALF(Adaptive Loop Filtering)는 필터링한 복원 영상과 원래의 영상을 비교한 값을 기초로 수행될 수 있다. 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다.
메모리(155)는 필터부(150)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있고, 저장된 복원 블록 또는 픽쳐는 인터 예측을 수행 시 예측부(120, 125, 129)에 제공될 수 있다.
도 2는 본 발명에 따른 영상 복호화 장치를 나타낸 블록도이다.
도 2를 참조하면, 영상 복호화기(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230, 235, 239), 필터부(240), 메모리(245)가 포함될 수 있다.
영상 부호화기에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 부호화기와 반대의 절차로 복호화될 수 있다.
엔트로피 복호화부(210)는 영상 부호화기의 엔트로피 부호화부에서 엔트로피 부호화를 수행한 것과 반대의 절차로 엔트로피 복호화를 수행할 수 있다. 예를 들어, 영상 부호화기에서 수행된 방법에 대응하여 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 다양한 방법이 적용될 수 있다.
엔트로피 복호화부(210)에서는 부호화기에서 수행된 인트라 예측 및 인터 예측에 관련된 정보를 복호화할 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 부호화부에서 재정렬한 방법을 기초로 재정렬을 수행할 수 있다. 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다.
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화기에서 수행한 양자화 결과에 대해 변환부에서 수행한 변환 즉, DCT, DST, 및 KLT에 대해 역변환 즉, 역 DCT, 역 DST 및 역 KLT를 수행할 수 있다. 역변환은 영상 부호화기에서 결정된 전송 단위를 기초로 수행될 수 있다. 영상 복호화기의 역변환부(225)에서는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 변환 타입(예를 들어, DCT, DST, KLT)이 선택적으로 수행될 수 있다. 또는, 역변환부(225)는, 변환 타입을 식별하는 정보에 기초하여 변환 타입을 결정하고, 결정된 변환 타입을 이용하여 역변환을 수행할 수 있다. 변환 타입을 식별하는 정보는 영상 부호화기에서 시그날링될 수 있다.
예측부(230, 235, 239)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(245)에서 제공된 이전에 복호화된 블록 또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다.
전술한 바와 같이 영상 부호화기에서의 동작과 동일하게 인트라 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 인트라 예측을 수행하지만, 인트라 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 인트라 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 서브-블록 분할을 사용하는 인트라 예측을 사용할 수도 있다.
예측부는 예측 단위 판별부, 인터 예측부(230), 인트라 예측부(235) 또는 성분 간 예측부(239: Cross Component predictor) 중 적어도 하나를 포함할 수 있다. 예측 단위 판별부는 엔트로피 복호화부(210)에서 입력되는 예측 단위 정보, 인트라 예측 방법의 예측 모드 정보, 인터 예측 방법의 모션 예측 관련 정보 등 다양한 정보를 입력 받고 현재 부호화 단위에서 예측 단위를 구분하고, 예측 단위가 인터 예측을 수행하는지 아니면 인트라 예측을 수행하는지 여부를 판별할 수 있다. 반면, 만약 부호화기(100)에서 상기 인터 예측을 위한 모션 예측 관련 정보를 전송하지 않고, 대신 움직임 정보를 디코더 측면에서 유도하여 사용함을 지시하는 정보 및 움직임 정보 유도에 사용된 기법에 대한 정보를 전송하는 경우에는, 상기 예측 단위 판별부는 부호화기(100)로부터 전송된 정보를 기초로 하여, 인터 예측부(230)의 예측 수행을 판별하게 된다.
인터 예측부(230)는 영상 부호화기에서 제공된 현재 예측 단위의 인터 예측에 필요한 정보를 이용해 현재 예측 단위가 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 단위에 대한 인터 예측을 수행할 수 있다. 인터 예측을 수행하기 위해 부호화 단위를 기준으로 해당 부호화 단위에 포함된 예측 단위의 모션 예측 방법이 스킵 모드(Skip Mode), 머지 모드(Merge 모드), AMVP 모드(AMVP Mode), 인트라 블록 카피 모드 중 어떠한 방법인지 여부를 판단할 수 있다. 또는, 상기 영상 부호화기에서 제공하는, 디코더 측면에서 움직임 정보를 유도하여 사용함을 지시하는 정보 및 움직임 정보 유도에 사용된 기법에 대한 정보로부터, 인터 예측부(230) 자체적으로 움직임 정보를 유도하여 인터 예측을 수행할 수 있다.
인트라 예측부(235)는 현재 픽쳐 내의 화소 정보를 기초로 예측 블록을 생성할 수 있다. 예측 단위가 인트라 예측을 수행한 예측 단위인 경우, 영상 부호화기에서 제공된 예측 단위의 인트라 예측 모드 정보를 기초로 인트라 예측을 수행할 수 있다. 인트라 예측부(235)에는 AIS(Adaptive Intra Smoothing) 필터, 참조 화소 보간부, DC 필터를 포함할 수 있다. AIS 필터는 현재 블록의 참조 화소에 필터링을 수행하는 부분으로써 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용할 수 있다. 영상 부호화기에서 제공된 예측 단위의 예측 모드 및 AIS 필터 정보를 이용하여 현재 블록의 참조 화소에 AIS 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 AIS 필터링을 수행하지 않는 모드일 경우, AIS 필터는 적용되지 않을 수 있다.
참조 화소 보간부는 예측 단위의 예측 모드가 참조 화소를 보간한 화소값을 기초로 인트라 예측을 수행하는 예측 단위일 경우, 참조 화소를 보간하여 정수값 이하의 화소 단위의 참조 화소를 생성할 수 있다. 현재 예측 단위의 예측 모드가 참조 화소를 보간하지 않고 예측 블록을 생성하는 예측 모드일 경우 참조 화소는 보간되지 않을 수 있다. DC 필터는 현재 블록의 예측 모드가 DC 모드일 경우 필터링을 통해서 예측 블록을 생성할 수 있다.
또한, 인터 예측 또는 인트라 예측과 별도로 성분 간 예측을 더 수행하는 것이 가능하다. 즉, 예측부는 전술한 성분 간 예측부(239)를 더 포함할 수 있다. 또는, 성분 간 예측부(239)는 인트라 예측부(235)에 포함되도록 구현될 수도 있다. 특히, 상기 성분 간 예측부(239)는 성분 간 예측을 위해 전술한 바와 같이, 성분 간 예측을 위한 참조 샘플 구성부, 성분 간 예측 파라미터 유도부, 및 성분 간 예측 수행부를 포함할 수 있다.
복원된 블록 또는 픽쳐는 필터부(240)로 제공될 수 있다. 필터부(240)는 디블록킹 필터, 오프셋 보정부, ALF를 포함할 수 있다.
영상 부호화기로부터 해당 블록 또는 픽쳐에 디블록킹 필터를 적용하였는지 여부에 대한 정보 및 디블록킹 필터를 적용하였을 경우, 강한 필터를 적용하였는지 또는 약한 필터를 적용하였는지에 대한 정보를 제공받을 수 있다. 영상 복호화기의 디블록킹 필터에서는 영상 부호화기에서 제공된 디블록킹 필터 관련 정보를 제공받고 영상 복호화기에서 해당 블록에 대한 디블록킹 필터링을 수행할 수 있다.
오프셋 보정부는 부호화시 영상에 적용된 오프셋 보정의 종류 및 오프셋 값 정보 등을 기초로 복원된 영상에 오프셋 보정을 수행할 수 있다. ALF는 부호화기로부터 제공된 ALF 적용 여부 정보, ALF 계수 정보 등을 기초로 부호화 단위에 적용될 수 있다. 이러한 ALF 정보는 특정한 파라메터 셋에 포함되어 제공될 수 있다.
메모리(245)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
도 3은 본 발명에 따른, 성분 간 예측 기술에 대한 개념을 도시한 것이다. 성분 간 예측(CROSS COMPONENT PREDICTION) 기술 이란, 비디오 픽쳐를 구성하는 휘도(luminance) 성분 및 색차 (chrominance) 성분 간의 예측을 통해 부호화 효율 향상을 도모하는 기술을 의미한다. 구체적으로, 색차 성분을 휘도 성분으로부터 예측한 후 그 차이값을 시그날링하거나, 또는 색차 성분을 다른 색차 성분으로부터 예측한 후 그 차이값을 시그날링하는 방식이 될 수 있다. 또는 성분 간 예측에 활용된 파라미터를 시그날링하고 이를 이용하여 성분 간 예측 신호를 복원하는 방식이 될 수 있다.
관련하여, 도 3은 하나의 블록을 구성하는 하나의 휘도 (luminance) 성분 블록과 이에 대응하는 두 개의 색차 (chrominance) 성분 블록들을 도시한 것이다.
도 3을 참조하면, 상기 하나의 휘도 성분 블록으로부터 두 개의 색차 성분 블록을 예측할 수도 있고, 두 개의 색차 성분 블록 중 하나의 색차 성분 블록으로부터 나머지 색차 성분 블록을 예측할 수도 있다.
도 3에서는 하나의 블록을 구성하는 하나의 휘도 (Luminance) 성분 블록(300)과 이에 대응하는 두 개의 색차 (Chrominance) 성분 블록들(310)을 도시한 것으로, 본 발명의 일 실시예에 따르면,하나의 블록을 구성하는 휘도 성분 블록(300)의 화소 특성과 색차 성분 블록들(310)의 화소 특성을 선형 모델로 표현할 수 있다. 이때, 상기 선형 모델은 수학식 1과 같이, 1차 선형 모델을 사용할 수 있다.
Figure PCTKR2019005727-appb-M000001
상기 수학식 1에서 PREC(i,j)는 색차 성분의 예측 화소를 의미하며, REC'L(i,j)는 선형 모델을 이용하여 휘도 성분의 복원된 화소를 의미한다.
도 4는 본 발명에 따른, 성분 간 예측이 수행되는 흐름도를 도시한 것이다.
도 4를 참조하면, 성분 간 예측을 위한 참조 샘플을 구성할 수 있다(S400).
상기 참조 샘플은, 현재 참조 성분 블록 및/또는 현재 대상 성분 블록에 공간적으로 인접한 샘플을 이용하여 구성될 수 있다. 상기 참조 샘플은, 하나 혹은 그 이상의 조건들에 따라 구성될 수 있다. 이때, 상기 조건은 현재 블록의 크기, 현재 블록의 인트라 예측 모드 또는 제한된 화면 내 예측 (constraint intra prediction) 여부 중 적어도 하나일 수 있다. 여기서, 현재 블록은, 현재 참조 성분 블록 및/또는 현재 대상 성분 블록을 의미할 수 있다. 참조 샘플을 구성하는 방법에 대해서는 도 5 내지 도 13을 참조하여 상세히 후술할 것이다.
도 4를 참조하면, 참조 샘플을 이용하여 성분 간 예측 파라미터가 유도될 수 있다(S410).
선형 모델에 기반하여 성분 간 예측을 수행하기 위하여, 상기 선형 모델의 파라미터가 유도될 수 있다. 선형 모델에 기반한 성분 간 예측 파라미터는, S400에서 구성된 참조 샘플의 전부 또는 일부를 이용하여 유도될 수 있다.
본 발명에서 제안하는 성분간 예측을 이용하는 경우, 수학식 1에 적용된 선형 모델의 파라미터 α와 β를 구하는 방법으로 다음 두 가지 방법이 활용될 수 있다. 단, 본 발명은 반드시 이에 한정되는 것은 아니고 다양한 방식으로 파라미터 α와 β를 활용하는 것이 가능하다.
첫째, 부호화기에서 복호화기로 상기 선형 모델의 파라미터인 α와 β를 직접 전송하는 방법이 있다. 상기 첫번째 방법을 적용하는 경우, 부호화기에서 α, β 파라미터를 구해서 이를 시그날링하여 전송하는 것이므로, 복호화기는 별도로 α, β 파라미터를 구하는 과정이 필요치 않아 복호화기의 복잡도(complexity)가 감소하는 반면 부호화기의 부호화 효율이 떨어지는 점을 감안하여야 한다.
둘째, 현재 블록의 휘도 성분 블록과 색차 성분 블록들의 공간적으로 인접한 화소들을 이용하여 부호화기 및 복호화기에서 동일한 방법을 이용하여 유도하는 방법을 사용할 수 있다. 상기 두번째 방법을 적용하는 경우, 부호화기 및 복호화기 모두 정해진 규칙 또는 표준 방식에 따라 α, β 파라미터를 유도하게 되므로, 상대적으로 복호화기 복잡도는 증가하지만, 파라미터를 위하여 추가적인 시그널링 이 필요하지 않기 때문에 부호화 및 복호화 효율이 이전에 비해 더욱 향상되는 장점이 있다.
상기 두번째 방법에 따라, 상기 α와 β 파라미터를 부호화기 및 복호화기에서 휘도 성분 블록 및/또는 색차 성분 블록에 공간적으로 인접한 샘플을 이용하여 유도하는 경우, 아래 수학식 2와 수학식 3과 같이 유도될 수 있다.
Figure PCTKR2019005727-appb-M000002
Figure PCTKR2019005727-appb-M000003
상기 수학식 2와 수학식 3에서 L(n)은 다운샘플(down―sampled)된 휘도 샘플을 의미하고, C(n)은 색차 샘플을 의미한다.
전술한 바와 같이, 색차 성분 블록 중 하나의 색차 성분 블록으로부터 나머지 색차 성분 블록을 예측할 수 있다. 예를 들어, 하나의 블록을 구성하는 CR 색차 성분의 예측 샘플은, CB 색차 성분의 차분 신호를 이용하여 보정되는 색차 간 예측 방법이 이용될 수 있다. 이때 상기 CR 색차 성분의 예측 샘플은, 아래 수학식 4와 같이 보정될 수 있다.
Figure PCTKR2019005727-appb-M000004
상기 수학식 4에서 PRECR (i,j)는 CR 색차 성분의 예측 샘플을 의미하며, RES'CB(i,j)는 CR 색차 성분의 치분 신호를 의미한다.
상기 수학식 4의 α는 현재 블록의 CB 색차 성분 블록 및/또는 CR 색차 성분 블록에 공간적으로 인접한 샘플을 이용하여 유도될 수 있다. 예를 들어, α는 아래 수학식 5와 같이 유도될 수 있다.
Figure PCTKR2019005727-appb-M000005
상기 수학식 5에서 Cb(n)은 CB 색차 샘플을 의미하고, Cr(n)은 CR 색차 샘플을 의미한다. 또한, λ는 ∑(Cb(n)*Cb(n)) >> 9 를 의미한다.
단, 본 발명은 전술한 수학식 1 내지 4에 국한되지 않으며, 이와 동일하게 선형 모델에 기반하여 해당 선형 모델의 기울기와 오프셋을 계산하는 방식으로 파라미터를 유도하는 것이 가능하다.
구체적으로, 현재 참조 성분 블록에 인접한 휘도 참조 샘플 중에서 최대값(xL1)과 최소값(xL2)을 각각 추출할 수 있다. 상기 최대값과 최소값의 휘도 참조 샘플에 각각 대응하는 색차 참조 샘플의 샘플값(yC1, yC2)이 유도될 수 있다. 상기 휘도 참조 샘플의 최대/최소값(xL1, xL2) 및 색차 참조 샘플의 샘플값(yC1, yC2)을 이용하여 선형 모델 기반의 파라미터가 유도될 수 있다. 예를 들어, 선형 모델에 기반하여, 제1 점 (xL1,yC1)과 제2 점 (xL2,yC2)을 지나는 직선으로부터 기울기(α)와 오프셋(β)이 유도될 수 있다.
반대로, 현재 대상 성분 블록에 인접한 색차 참조 샘플 중에서 최대값(xC1)과 최소값(xC2)을 각각 추출할 수 있다. 상기 최대값과 최소값의 색차 참조 샘플에 각각 대응하는 휘도 참조 샘플의 샘플값(yL1, yL2)이 유도될 수 있다. 마찬가지로, 상기 색차 참조 샘플의 최대/최소값(xC1, xC2) 및 휘도 참조 샘플의 샘플값(yL1, yL2)을 이용하여 선형 모델 기반의 파라미터가 유도될 수도 있다.
한편, 상기 최대값은, 상기 참조 샘플 중 상위 p개의 샘플을 이용하여 결정될 수 있다. 상기 최소값은, 상기 참조 샘플 중 하위 q개의 샘플을 이용하여 결정될 수 있다. 예를 들어, 상기 최대값은, 상위 p개 샘플의 샘플값의 평균값, 중간값, 최대값 또는 최빈값으로 결정될 수 있다. 상기 최소값은, 하위 q개 샘플의 샘플값의 평균값, 중간값, 최소값 또는 최빈값으로 결정될 수 있다. 여기서, p는 q와 동일할 수도 있고, q와 상이하게 설정될 수도 있다. p와 q는, 2, 3, 4, 또는 그 이상의 정수일 수 있다.
상기 p 값은, 부호화/복호화 장치에 기-정의된 고정된 값일 수 있다(실시예 1).
또는, 상기 p 값은 현재 블록의 크기에 기초하여 가변적으로 결정될 수 있다(실시예 2). 구체적으로, 현재 블록의 너비가 소정의 문턱크기보다 큰 경우, p는 그렇지 않은 경우에 비해 큰 값으로 결정될 수 있다. 예를 들어, 현재 블록의 너비가 소정의 문턱크기보다 큰 경우, p는 2 또는 3으로 결정되고, 그렇지 않은 경우, p는 1로 결정될 수 있다. 마찬가지로, 현재 블록의 높이가 소정의 문턱크기보다 큰 경우, p는 그렇지 않은 경우에 비해 큰 값으로 결정될 수 있다.
또는, 상기 p 값은 현재 블록의 형태에 기초하여 가변적으로 결정될 수 있다(실시예 3). 예를 들어, 현재 블록이 정사각형인지 여부에 따라 p 값은 다음 표 1과 같이 상이하게 결정될 수 있다.
Square 1 1 2 2 3 3
Non-square 2 3 3 1 1 2
또는, 부호화 장치는 최적의 p 값을 부호화하여 복호화 장치로 시그널링할 수 있고, 복호호 장치는 시그날링된 정보를 이용하여 p 값을 결정할 수 있다(실시예 4).
전술한 실시예 1 내지 4 중 어느 하나를 기반으로 p 값이 결정될 수도 있고, 실시예 1 내지 4 중 적어도 2개의 조합에 기초하여 p 값이 결정될 수도 있다. 상기 q 값은 p와 동일한 방식으로 결정될 수 있으며, 자세한 설명은 생략하기로 한다. 다만, 이에 한정되지 아니하며, q는 p와 다른 실시예로 결정될 수 있음은 물론이다.
도 4를 참조하면, 현재 참조 성분 블록 및 성분 간 예측 파라미터를 기반으로 성분 간 예측을 수행할 수 있다(S420).
현재 대상 성분 블록 내 대상 샘플과 이에 대응하는 기-복원된 참조 성분 블록 내 샘플 간의 선형 모델에 따라 대상 샘플을 예측할 수 있다.
이때, 현재 대상 샘플에 대응하는 참조 성분 블록 내 샘플의 개수와 위치가 가변적으로 결정될 수 있다. 상기 개수와 위치에 관한 정보는 부호화 장치에서 시그널링될 수도 있고, 소정의 부호화 정보를 기반으로 복호화 장치에서 유도될 수도 있다. 상기 현재 대상 샘플에 대응하는 참조 성분 블록 내 샘플의 개수와 위치에 대해서는 도 14 내지 도 18을 참조하여 설명한다.
도 5는 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 참조 샘플의 구성 예시를 도시한 것이다.
구체적으로, 도 5는, 현재 휘도 성분 블록에 공간적으로 인접한 샘플과 성분 간 예측을 수행하는 색차 성분 블록에 공간적으로 인접한 샘플의 구성을 도시한 것이다.
도 5에서는 현재 픽쳐 (picture)의 컬러 포맷 (color format)이 YUV 4:2:0의 경우에 대한 일 실시예를 도시한 것으로, 현재 픽쳐의 컬러 포맷에 따라, 성분 간 예측을 위한 색차 성분의 샘플에 대응하는 휘도 성분의 샘플 위치는 상이할 수 있다.
현재 블록의 휘도 성분 블록(500)을 이용하여 성분 간 예측을 수행함에 있어, 현재 블록의 휘도 성분 블록(500)과 공간적으로 인접한 복원 샘플은, 도 5와 같이 좌측 인접 샘플(521) 및/또는 상단 인접 샘플(522)로 구성될 수 있다. 또한, 현재 블록의 색차 성분 블록(510)과 공간적으로 인접한 복원 샘플은, 도 5와 같이 좌측 인접 샘플(531) 및/또는 상단 인접 샘플(532)로 구성될 수 있다.
도 5에 도시된 현재 블록의 휘도 성분 블록(500)과 색차 성분 블록(510)에 공간적으로 인접한 복원 샘플은 상단 인접 샘플(522, 532)의 우측에 연속적으로 위치하는 샘플을 더 포함할 수 있고, 좌측 인접 샘플(521, 531)의 하단에 연속적으로 위치하는 샘플을 더 포함할 수 있다.
본 실시예에서는, 색차 성분 블록은 (nTbW x nTbH)의 크기를 가지고, 색차 성분 블록에 대응하는 휘도 성분 블록은 (2*nTbW x 2*nTbH)의 크기를 가지는 것을 가정한다.
휘도 성분 블록은 샘플 pY[x][y] (x=0..nTbW*2-1, y=0..nTbH*2-1)을 포함하는 영역으로 정의될 수 있다. 상기 샘플은, 인-루프 필터가 적용되기 전의 복원값을 의미할 수 있다.
휘도 성분 블록에 공간적으로 인접한 복원 샘플(이하, 이웃 영역이라 함)은, 좌측 이웃 영역, 상단 이웃 영역 또는 좌상단 이웃 영역 중 적어도 하나를 포함할 수 있다. 상기 좌측 이웃 영역은, 샘플 pY[x][y] (x=-1..-3, y=0..2*numSampL-1)을 포함하는 영역으로 설정될 수 있다. 상기 설정은, numSampL의 값이 0보다 큰 경우에 한하여 수행될 수 있다. 상기 상단 이웃 영역은, 샘플 pY[x][y] (x=0..2*numSampT-1, y=-1..-2)을 포함하는 영역으로 설정될 수 있다. 상기 설정은, numSampT의 값이 0보다 큰 경우에 한하여 수행될 수 있다. 상기 좌상단 이웃 영역은, 샘플 pY[x][y] (x=-1, y=-1,-2)을 포함하는 영역으로 설정될 수 있다. 상기 설정은, 휘도 성분 블록의 좌상단 영역이 가용인 경우에 한하여 수행될 수 있다.
상기 변수 numSampL 및 numSampT은, 색차 성분 블록의 인트라 예측 모드에 기초하여 결정될 수 있다.
예를 들어, 색차 성분 블록의 인트라 예측 모드가 제1 모드인 경우(e.g., INTRA_LT_CCLM)인 경우, numSampL 및 numSampT은 색차 성분 블록의 높이와 너비에 기초하여 각각 결정될 수 있다. 여기서, 제1 모드는, 색차 성분 블록의 좌측 및 상단 이웃 영역에 기반하여 성분 간 예측이 수행되는 모드를 의미할 수 있다. 예를 들어, numSampL 및 numSampT은 다음 수학식 6과 같이 유도될 수 있다.
[수학식 6]
numSampT = availT ? nTbW : 0
numSampL = availL ? nTbH : 0
수학식 6에 따르면, numSampT는 색차 성분 블록의 상단 이웃 영역이 가용인 경우에는 nTbW으로 유도되고, 그렇지 않은 경우에는 0으로 유도될 수 있다. 마찬가지로, numSampL은 색차 성분 블록의 좌측 이웃 영역이 가용인 경우에는 nTbH으로 유도되고, 그렇지 않은 경우에는 0으로 유도될 수 있다.
반면, 색차 성분 블록의 인트라 예측 모드가 제2 모드(e.g., INTRA_T_CCLM)이거나, 제3 모드(INTRA_L_CCLM)인 경우, 다음 수학식 7과 같이 유도될 수 있다. 여기서, 제2 모드는 색차 성분 블록의 상단 이웃 영역에 기반하여 성분 간 예측이 수행되는 모드를 의미할 수 있다. 제3 모드는 색차 성분 블록의 좌측 이웃 영역에 기반하여 성분 간 예측이 수행되는 모드를 의미할 수 있다.
[수학식 7]
numSampT = ( availT && predModeIntra = = INTRA_T_CCLM ) ? ( nTbW + numTopRight ) : 0
numSampL = ( availL && predModeIntra = = INTRA_L_CCLM ) ? ( nTbH + numLeftBelow ) : 0
수학식 7에서, nTbW은 색차 성분 블록의 상단에 인접한 영역에 속한 샘플의 개수를 의미하고, numTopRight은 상기 상단에 인접한 영역의 우측에 연속적으로 위치한 가용 샘플의 개수를 의미할 수 있다. 이때, 가용에 대한 판단은, 좌측에서 우측 방향으로 샘플의 가용 여부를 순차적으로 판단하며, 이는 비가용 샘플이 발견될 때까지 수행될 수 있다. nTbH은 색차 성분 블록의 좌측에 인접한 영역에 속한 샘플의 개수를 의미하고, numLeftBelow은 상기 좌측에 인접한 영역의 하단에 연속적으로 위치한 가용 샘플의 개수를 의미할 수 있다. 이때, 가용에 대한 판단은, 위에서 아래 방향으로 샘플의 가용 여부를 순차적으로 판단하며, 이는 비가용 샘플이 발견될 때까지 수행될 수 있다.
휘도 성분 블록에 대한 참조 샘플은, 휘도 성분 블록의 이웃 영역을 다운샘플링하여 결정될 수 있으며, 이하 다운샘플링 방법에 대해서 자세히 살펴 보기로 한다.
1. 휘도 성분 블록의 좌측 이웃 영역에 대한 다운샘플링
(실시예 1)
다운샘플링된 좌측 이웃 영역의 샘플 pLeftDsY[y] (y=0..numSampL-1)은, 좌측 이웃 영역의 대응 샘플 pY[-2][2*y] 및 주변 샘플에 기초하여 유도될 수 있다. 여기서, 주변 샘플은, 대응 샘플의 좌측, 우측, 상단, 또는 하단 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pLeftDsY[y]은 다음 수학식 8과 같이 유도될 수 있다.
[수학식 8]
pLeftDsY[ y ] = ( pY[ -2 ][ 2 * y - 1 ] + pY[ -3 ][ 2 * y ] + 4 * pY[ -2 ][ 2 * y ] + pY[ -1 ][ 2 * y ] + pY[ -2 ][ 2 * y + 1 ] + 4 ) >> 3
다만, 휘도 성분 블록의 좌상단 이웃 영역이 비가용인 경우, 다운샘플링된 좌측 이웃 영역의 샘플 pLeftDsY[ 0 ]은, 좌측 이웃 영역의 대응 샘플 pY[-2][0] 및 주변 샘플에 기초하여 유도될 수 있다. 여기서, 주변 샘플은, 대응 샘플의 좌측 또는 우측 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pLeftDsY[ 0 ]은 다음 수학식 9와 같이 유도될 수 있다.
[수학식 9]
pLeftDsY[ 0 ] = ( pY[ -3 ][ 0 ] + 2 * pY[ -2 ][ 0 ] + pY[ -1 ][ 0 ] + 2 ) >> 2
(실시예 2)
다운샘플링된 좌측 이웃 영역의 샘플 pLeftDsY[y] (y=0..numSampL-1)은, 좌측 이웃 영역의 대응 샘플 pY[-2][2*y] 및 주변 샘플에 기초하여 유도될 수 있다. 여기서, 주변 샘플은, 대응 샘플의 하단, 좌측, 우측, 좌하단 또는 우하단 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pLeftDsY[y]은 다음 수학식 10과 같이 유도될 수 있다.
[수학식 10]
pLeftDsY[ y ] = ( pY[ -1 ][ 2 * y ] + pY[ -1 ][ 2 * y + 1 ] + 2*pY[ -2 ][ 2 * y ] + 2*pY[ -2 ][ 2 * y + 1 ] + pY[ -3 ][ 2 * y ] + pY[ -3 ][ 2 * y + 1 ] + 4 ) >> 3
마찬가지로, 좌측 이웃 영역의 다운샘플링은, 전술한 실시예 1과 2 중 어느 하나에 기초하여 수행될 수 있다. 이때 소정의 플래그에 기초하여 실시예 1 또는 2 중 어느 하나가 선택될 수 있다. 상기 플래그는, 다운샘플링된 휘도 샘플이 원 휘도 샘플과 동일한 위치를 가지는지 여부를 나타낼 수 있다. 예를 들어, 상기 플래그가 제1 값인 경우, 다운샘플링된 휘도 샘플이 원 휘도 샘플과 동일한 위치를 가진다. 반면, 상기 플래그가 제2 값인 경우, 다운샘플링된 휘도 샘플은 원 휘도 샘플과 수평 방향으로는 동일한 위치를 가지나, 수직 방향으로는 하프 펠(half pel)만큼 쉬프트된 위치를 가진다.
한편, 좌측 이웃 영역에 대한 다운샘플링은, numSampL 값이 0보다 큰 경우에 한하여 수행될 수 있다. numSampL 값이 0보다 큰 경우라 함은, 휘도 성분 블록의 좌측 이웃 영역이 가용이고, 색차 성분 블록의 인트라 예측 모드가 제1 모드 또는 제3 모드인 경우를 의미할 수 있다.
2. 휘도 성분 블록의 상단 이웃 영역에 대한 다운샘플링
(실시예 1)
다운샘플링된 상단 이웃 영역의 샘플 pTopDsY[x] (x=0..numSampT-1)은, 상단 이웃 영역이 휘도 성분 블록과 상이한 CTU(coding tree unit)에 속하는지 여부를 고려하여 유도될 수 있다. CTU는, 부호화/복호화 장치에 기-정의된 최대 부호화 유닛을 의미할 수 있다.
상단 이웃 영역이 휘도 성분 블록과 동일한 CTU에 속하는 경우, 다운샘플링된 상단 이웃 영역의 샘플 pTopDsY[x]는 상단 이웃 영역의 대응 샘플 pY[2*x][-2] 및 주변 샘플에 기초하여 유도될 수 있다. 여기서, 주변 샘플은, 대응 샘플의 좌측, 우측, 상단, 또는 하단 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pTopDsY[x]은 다음 수학식 11과 같이 유도될 수 있다.
[수학식 11]
pTopDsY[ x ] = ( pY[ 2 * x ][ -3 ] + pY[ 2 * x - 1 ][ -2 ] + 4 * pY[ 2 * x ][ -2 ] + pY[ 2 * x + 1 ][ -2 ] + pY[ 2 * x ][ -1 ] + 4 ) >> 3
반면, 상단 이웃 영역이 휘도 성분 블록과 상이한 CTU에 속하는 경우, 다운샘플링된 상단 이웃 영역의 샘플 pTopDsY[x]는 상단 이웃 영역의 대응 샘플 pY[2*x][-1] 및 주변 샘플에 기초하여 유도될 수 있다. 여기서, 주변 샘플은, 대응 샘플의 좌측 또는 우측 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pTopDsY[ x ]은 다음 수학식 12와 같이 유도될 수 있다.
[수학식 12]
pTopDsY[ x ] = ( pY[ 2 * x - 1 ][ -1 ] + 2* pY[ 2 * x ][ -1 ] + pY[ 2 * x + 1 ][ -1 ] + 2 ) >> 2
또는, 휘도 성분 블록의 좌상단 이웃 영역이 비가용인 경우, 상기 주변 샘플은 대응 샘플의 상단 또는 하단 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pTopDsY[ 0 ]은 다음 수학식 13과 같이 유도될 수 있다.
[수학식 13]
pTopDsY[ 0 ] = ( pY[ 0 ][ -3 ] + 2 * pY[ 0 ][ -2 ] + pY[ 0 ][ -1 ] + 2 ) >> 2
또는, 휘도 성분 블록의 좌상단 이웃 영역이 비가용이고, 상단 이웃 영역이 휘도 성분 블록과 상이한 CTU에 속하는 경우, 샘플 pTopDsY[ 0 ]은 상단 이웃 영역의 샘플 pY[ 0 ][ -1 ]로 설정될 수 있다.
(실시예 2)
다운샘플링된 상단 이웃 영역의 샘플 pTopDsY[x] (x=0..numSampT-1)은, 상단 이웃 영역이 휘도 성분 블록과 상이한 CTU에 속하는지 여부를 고려하여 유도될 수 있다.
상단 이웃 영역이 휘도 성분 블록과 동일한 CTU에 속하는 경우, 다운샘플링된 상단 이웃 영역의 샘플 pTopDsY[x]는 상단 이웃 영역의 대응 샘플 pY[2*x][-2] 및 주변 샘플에 기초하여 유도될 수 있다. 여기서, 주변 샘플은, 대응 샘플의 하단, 좌측, 우측, 좌하단 또는 우하단 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pTopDsY[x]은 다음 수학식 14와 같이 유도될 수 있다.
[수학식 14]
pTopDsY[ x ] = ( pY[ 2 * x - 1 ][ -2 ] + pY[ 2 * x - 1 ][ -1 ] + 2*pY[ 2 * x ][ -2 ] + 2*pY[ 2 * x ][ -1 ] + pY[ 2 * x + 1 ][ -2 ] + pY[ 2 * x + 1 ][ -1 ] + 4 ) >> 3
반면, 상단 이웃 영역이 휘도 성분 블록과 상이한 CTU에 속하는 경우, 다운샘플링된 상단 이웃 영역의 샘플 pTopDsY[x]는 상단 이웃 영역의 대응 샘플 pY[2*x][-1] 및 주변 샘플에 기초하여 유도될 수 있다. 여기서, 주변 샘플은, 대응 샘플의 좌측 또는 우측 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pTopDsY[ x ]은 다음 수학식 15와 같이 유도될 수 있다.
[수학식 15]
pTopDsY[ x ] = ( pY[ 2 * x - 1 ][ -1 ] + 2* pY[ 2 * x ][ -1 ] + pY[ 2 * x + 1 ][ -1 ] + 2 ) >> 2
또는, 휘도 성분 블록의 좌상단 이웃 영역이 비가용인 경우, 상기 주변 샘플은 대응 샘플의 상단 또는 하단 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pTopDsY[ 0 ]은 다음 수학식 16과 같이 유도될 수 있다.
[수학식 16]
pTopDsY[ 0 ] = ( pY[ 0 ][ -2 ] + pY[ 0 ][ -1 ] + 1 ) >> 1
또는, 휘도 성분 블록의 좌상단 이웃 영역이 비가용이고, 상단 이웃 영역이 휘도 성분 블록과 상이한 CTU에 속하는 경우, 샘플 pTopDsY[ 0 ]은 상단 이웃 영역의 샘플 pY[ 0 ][ -1 ]로 설정될 수 있다.
마찬가지로, 상단 이웃 영역의 다운샘플링은, 전술한 실시예 1과 2 중 어느 하나에 기초하여 수행될 수 있다. 이때 소정의 플래그에 기초하여 실시예 1 또는 2 중 어느 하나가 선택될 수 있다. 상기 플래그는, 다운샘플링된 휘도 샘플이 원 휘도 샘플과 동일한 위치를 가지는지 여부를 나타내며, 이는 전술한 바와 같다.
한편, 상단 이웃 영역에 대한 다운샘플링은, numSampT 값이 0보다 큰 경우에 한하여 수행될 수 있다. numSampT 값이 0보다 큰 경우라 함은, 휘도 성분 블록의 상단 이웃 영역이 가용이고, 색차 성분 블록의 인트라 예측 모드가 제1 모드 또는 제2 모드인 경우를 의미할 수 있다.
도 6은 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 선형 모델 파라미터 유도에 사용되는 현재 블록의 인접한 샘플이 부호화 정보에 따라 상이하게 구성되는 예를 도시한 것이다.
구체적으로, 도 6은 현재 블록의 부호화 정보에 따라, 현재 휘도 성분 블록의 공간적으로 인접한 샘플 및 성분 간 예측을 수행하는 색차 성분 블록의 공간적으로 인접한 샘플이 상이하게 구성되는 예를 각각 도시한 것이다. 여기서, 성분 간 예측을 위한 선형 모델 파라미터는 부호화기와 복호화기에서 동일한 방법을 사용하여 유도하는 것이 가능하다.
도 6은 현재 블록의 부호화 정보에 따라 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 공간적으로 인접한 샘플의 구성을 달리하는 예를 각각 도시한다. 상기 현재 블록의 부호화 정보는 현재 블록의 인트라 예측 모드, 현재 블록의 크기, 현재 픽쳐의 컬러 포맷 등의 정보를 지칭할 수 있다. 여기서, 현재 블록은 휘도 성분 블록 및/또는 색차 성분 블록을 의미할 수 있다.
예를 들어, 도 6에서, 성분 간 예측을 수행하는 현재 색차 블록이 MxN의 블록으로 구성되고, M이 N보다 큰 경우 (M>N)에 대하여, 성분 간 예측을 위한 선형 모델의 파라미터를 유도하는데 사용되는 참조 샘플은, 휘도 블록 상단에 위치한 샘플만을 이용하여 구성될 수 있다.
또한, 도 6에서, 성분 간 예측을 수행하는 현재 색차 블록이 KxL의 블록으로 구성되고, L이 K보다 큰 경우 (L>K)에 대하여, 성분 간 예측을 위한 선형 모델의 파라미터를 유도하는데 사용되는 참조 샘플은, 휘도 블록 좌측에 위치한 샘플만을 이용하여 구성될 수 있다.
도 7은 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 선형 모델 파라미터 유도에 사용되는 현재 블록의 인접한 샘플이 대상 블록의 형태에 따라 상이하게 구성되는 흐름도를 도시한 것이다.
구체적으로, 도 7은 성분 간 예측을 위한 선형 모델 파라미터를 유도하기 위하여 사용되는 대상 성분 블록과 참조 성분 블록에 공간적으로 인접한 샘플을 구성함에 있어서, 대상 성분 블록의 형태에 따라 상이하게 구성되는 흐름도를 도시한 것이다. 여기서, 성분 간 예측을 위한 선형 모델 파라미터는 부호화기와 복호화기에서 동일한 방법을 사용하여 유도하는 것이 가능하다.
도 7의 실시예에 의하면, 대상 블록의 형태가 정방형 블록인지, 너비(W: width)가 높이(H: height)보다 큰 형태의 직방형 블록인지, 또는 높이(H)가 너비(W)보다 큰 형태의 직방형 블록인지에 따라, 성분 간 예측을 위한 선형 파라미터를 유도하는 참조 샘플을 서로 다르게 구성할 수 있다.
구체적으로, 도 7을 참조하면, 우선 대상 블록의 형태가 정방형 블록인지를 판단한다(S700). 만약 정방형 블록이 아니라면 너비(W)가 높이(H)보다 큰 형태의 직방형 블록인지를 판단한다(S730). 상기 S700 단계에서, 대상 블록의 형태가 정방형 블록으로 판단되면, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록의 인접한 샘플 중 상단에 인접한 샘플과 좌측에 인접한 샘플을 사용하여 참조 샘플을 구성한다(S740).
또한, 만약 상기 S730 단계에서, 대상 블록의 블록 너비(W)가 블록 높이(H)보다 크다고 판단되면, 즉, 너비가 큰 형태의 직방형 블록의 경우에는, 상단에 인접한 샘플만을 사용하여 참조 샘플을 구성한다(S710). 또한, 만약 상기 730 단계에서, 대상 블록의 블록 너비(W)가 블록 높이(H)보다 작다고 판단되면, 즉, 높이가 큰 형태의 직방형 블록의 경우에는 좌측에 인접한 샘플만을 사용하여 참조 샘플을 구성한다(S720).
단, 상기 실시예들에서는 너비가 큰 형태의 직방형 블록의 경우에는 상단에 인접한 샘플만을 사용하는 경우, 그리고 높이가 큰 형태의 직방형 블록의 경우에는 좌측에 인접한 샘플만을 사용하는 경우에 대하여 기술하였으나, 너비가 큰 형태의 직방형 블록의 경우에 상단에 인접한 샘플 및/또는 좌측에 인접한 샘플 중 일부의 샘플을 사용하는 경우도 포함할 수 있으며, 높이가 큰 형태의 직방형 블록의 경우에 좌측에 인접한 샘플 및/또는 상단에 인접한 샘플 중 일부의 샘플을 사용하는 경우도 포함할 수 있다.
상기 실시예들은 본 발명에서 제안하는 대상 블록의 형태에 따라 성분 간 예측을 위한 선형 파라미터 유도에 사용하는 참조 샘플을 상이하게 구성하는 방법 중 일 실시예를 기술한 것이며, 대상 블록의 형태, 대상 블록의 크기, 인트라 예측 모드 또는 제한적 인트라 예측 (constraint intra prediction) 여부 등에 따라, 상단에 인접한 샘플 중 일부, 혹은 좌측에 인접한 샘플 중 일부만을 사용하는 방법 또한 포함할 수 있다.
도 8은 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록의 인접한 샘플이 현재 블록의 인트라 예측 모드에 따라 상이하게 구성되는 흐름도를 도시한 것이다.
먼저, 현재 블록의 인트라 예측 모드를 결정하는 방법에 대해서 살펴 보기로 한다. 여기서, 현재 블록은, 휘도 성분 블록과 색차 성분 블록을 포함하는 개념이며, 상기 인트라 예측 모드는 휘도 성분 블록과 색차 성분 블록 각각에 대해서 결정될 수 있다. 이하, 복호화 장치에 기-정의된 인트라 예측 모드는, 비방향성 모드(Planar 모드, DC 모드) 및 65개의 방향성 모드로 구성됨을 가정한다.
휘도 성분 블록의 인트라 예측 모드는, MPM 리스트 및 MPM 인덱스에 기초하여 유도될 수 있다. 상기 MPM 리스트는 복수의 MPM을 포함하고, MPM은 현재 블록의 이웃 블록의 인트라 예측 모드에 기초하여 결정될 수 있다. MPM의 개수는 r개이며, r은 3, 4, 5, 6, 또는 그 이상의 정수일 수 있다.
예를 들어, MPM 리스트는, 이웃 블록의 인트라 예측 모드 modeA, (modeA-n), (modeA+n) 또는 디폴트 모드 중 적어도 하나를 포함할 수 있다. 상기 n 값은 1, 2, 3, 4 또는 그 이상의 정수일 수 있다. 상기 이웃 블록은, 현재 블록의 좌측 및/또는 상단에 인접한 블록을 의미할 수 있다. 디폴트 모드는, Planar 모드, DC 모드, 또는 소정의 방향성 모드 중 적어도 하나일 수 있다. 소정의 방향성 모드는, 수평 모드(modeV), 수직 모드(modeH), (modeV-k), (modeV+k), (modeH-k) 또는 (modeH+k) 중 적어도 하나를 포함할 수 있다.
상기 MPM 인덱스는, MPM 리스트의 MPM 중에서 휘도 성분 블록의 인트라 예측 모드와 동일한 MPM을 특정할 수 있다. 즉, MPM 인덱스에 의해 특정된 MPM이 휘도 성분 블록의 인트라 예측 모드로 설정될 수 있다.
색차 성분 블록의 인트라 예측 모드는, 부호화 장치에서 시그날링되는 정보(intra_chroma_pred_mode)에 기초하여 다음 표 2 또는 표 3과 같이 유도될 수 있다.
intra_chroma_pred_mode[　xCb　][　yCb　] IntraPredModeY[　xCb　+　cbWidth　/　2　][　yCb　+　cbHeight　/　2　]
0 50 18 1 X (　0　　<=　　X　　<=　　66　)
0 66 0 0 0 0
1 50 66 50 50 50
2 18 18 66 18 18
3 1 1 1 66 1
4 0 50 18 1 X
표 2에 따르면, 색차 성분 블록의 인트라 예측 모드는, 상기 시그날링된 정보와 휘도 성분 블록의 인트라 예측 모드에 기초하여 결정될 수 있다. 표 2에서, mode66은 우상단 방향의 대각선 모드를 의미하고, mode50은 수직 모드를 의미하며, mode18은 수평 모드를 의미하고, mode1은 DC 모드를 의미할 수 있다. 예를 들어, 시그날링된 정보 intra_chroma_pred_mode의 값이 4인 경우, 색차 성분 블록의 인트라 예측 모드는 휘도 성분 블록의 인트라 예측 모드와 동일하게 설정될 수 있다.
intra_chroma_pred_mode[　xCb　][　yCb　] IntraPredModeY[　xCb　+　cbWidth　/　2　][　yCb　+　cbHeight　/　2　]
0 50 18 1 X (　0　　<=　　X　　<=　　66　)
0 66 0 0 0 0
1 50 66 50 50 50
2 18 18 66 18 18
3 1 1 1 66 1
4 81 81 81 81 81
5 82 82 82 82 82
6 83 83 83 83 83
7 0 50 18 1 X
표 3은, 색차 성분 블록에 대해서 성분 간 예측이 허용되는 경우에 적용될 수 있다. 표 3은, 색차 성분 블록의 인트라 예측 모드로 mode81, mode82, mode83을 지원하며, 이는 성분 간 예측을 지시하는 모드에 해당한다. 예를 들어, 전술한 제1 모드는 mode81, mode82 및 mode83 중 어느 하나이고, 제2 모드는 mode81, mode82 또는 mode83 중 다른 하나이고, 제3 모드는 mode81, mode82 또는 mode83 중 제1 모드와 제2 모드를 제외한 나머지 모드일 수 있다.
전술한 방법을 통해 현재 블록의 인트라 예측 모드가 결정되고, 결정된 인트라 예측 모드에 기초하여 성분 간 예측을 위한 참조 샘플이 구성될 수 있다.
도 8을 참조하면, 성분 간 예측을 위한 선형 모델 파라미터를 유도하기 위한 참조 샘플은, 참조 성분 블록의 인트라 예측 모드에 따라 상이하게 구성될 수 있다. 여기서, 참조 샘플은, 대상 성분 블록과 참조 성분 블록에 공간적으로 인접한 샘플을 이용하여 구성될 수 있다. 여기서, 성분 간 예측을 위한 선형 모델 파라미터는 부호화기와 복호화기에서 동일한 방법을 사용하여 유도하는 것이 가능하다.
도 8의 실시예에 의하면, 참조 성분 블록의 인트라 예측 모드가 수직성을 가지는 모드들 (VER_MODES), 수평성을 가지는 모드들 (HOR_MODES) 및/또는 나머지 모드들에 따라, 성분 간 예측을 위한 선형 파라미터를 유도하기 위한 참조 샘플을 서로 다르게 구성할 수 있다. 상기 인트라 예측 모드의 방향성에 대해서는 도 9를 참조하여 살펴 보기로 한다.
구체적으로 도 8을 참조하면, 참조 성분 블록의 인트라 예측 모드가 수직성을 가지는 모드들 (VER_MODES)에 포함되지 않고, 수평성을 가지는 모드들 (HOR_MODES)에도 포함되지 않는지를 판단한다(S800). 상기 S800 단계에서 판단결과, 수직성 모드들(VER_MODES) 및 수평성 모드들(HOR_MODES) 중 어디에도 해당되지 않으면, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록에 인접한 샘플 중 상단 및 좌측에 인접한 샘플을 모두 사용하여 참조 샘플을 구성한다(S840).
반면, 상기 S800 단계에서, 수직성 모드들(VER_MODES) 또는 수평성 모드들(HOR_MODES) 중 어느 하나에 해당되는 것으로 판단되면, 수직성 모드들(VER_MODES) 또는 수평성 모드들(HOR_MODES) 중 어디에 해당되는지를 판단한다(S830).
만약, 상기 S830 판단결과, 참조 성분 블록의 인트라 예측 모드가 수직성을 가지는 모드들 (VER_MODES)에 포함되는 경우에는 현재 블록에 인접한 샘플 중 상단에 인접한 샘플만을 사용하여 참조 샘플을 구성한다(S810).
반면, 상기 S830 판단결과, 참조 성분 블록의 인트라 예측 모드가 수평성을 가지는 모드들 (HOR_MODES)에 포함되는 경우에는 현재 블록에 인접한 샘플 중 좌측에 인접한 샘플만을 사용하여 참조 샘플을 구성한다(S820).
단, 상기 실시예들에서는 수직성 모드들의 경우에는 상단에 인접한 샘플만을 사용하는 경우, 그리고 수평성 모드들의 경우에는 좌측에 인접한 샘플만을 사용하는 경우에 대하여 기술하였으나, 수직성 모드들의 경우에 상단에 인접한 샘플 및/또는 좌측에 인접한 샘플 중 일부의 샘플을 사용하는 경우도 포함할 수 있으며, 수평성 모드들의 경우에 좌측에 인접한 샘플 및/또는 상단에 인접한 샘플 중 일부의 샘플을 사용하는 경우도 포함할 수 있다.
상기 실시예들은 본 발명에서 제안하는 참조 성분 블록의 인트라 예측 모드에 따라, 성분 간 예측을 위한 선형 파라미터 유도에 사용되는 참조 샘플을 상이하게 구성하는 방법 중 일 실시예를 기술한 것이며, 대상 블록의 형태, 대상 블록의 크기, 인트라 예측 모드, 및 제한적 인트라 예측 (constraint intra prediction) 여부 등에 따라, 상단에 인접한 샘플 중 일부, 혹은 좌측에 인접한 샘플 중 일부만을 사용하는 방법 또한 포함할 수 있다. 전술한 실시예는, 대상 성분 블록의 인트라 예측 모드에 대해서도 동일/유사하게 적용될 수 있다.
도 9는, 본 발명이 적용되는 일실시예로서, 인트라 예측 모드의 방향성을 도시한 것이다.
구체적으로 도 9는 인트라 예측 모드의 방향성에 따라, 수평성을 가지는 모드(HOR_MODES)와 수직성을 가지는 모드(VER_MODES)에 대한 개념을 보다 상세하게 설명하기 위해 도시한 것이다.
도 9를 참조하면, 좌하단 대각선 모드(VDIA0)부터 각도의 증가에 따라, 수평 모드 (HOR), 좌상단 대각선 모드 (DIA), 수직 모드 (VER), 및 우상단 대각선 모드 (VDIA1)로 구성되는 인트라 예측 모드의 대표 모드들이 존재한다. 특히, 좌하단 대각선 모드(VDIA0)와 우상단 대각선 모드 (VDIA1) 사이에 다수개의 방향성 모드가 일정한 각도의 간격으로 존재한다. 이때, 상기 방향성을 가지는 인트라 예측 모드의 수는 32, 65, 129 등이 될 수 있다.
본 발명에서 기술하는 수평성을 가지는 모드 (HOR_MODES)는 수평 모드(HOR)를 기준으로 일정한 각도(θH) 범위 내에 포함되는, 하나 이상의 인트라 예측 모드를 지칭한다. 이때 상기 θH는 |ang(VDIA0) - ang(DIA)|를 초과하지 않는 일정한 각도를 지칭하며, 블록의 크기, 현재 블록이 이용 가능 인트라 예측 모드의 개수 등에 따라 상이할 수 있다.
본 발명에서 기술하는 수직성을 가지는 모드 (VER_MODES)는 수직 모드(VER)를 기준으로 일정한 각도(θV) 범위 내에 포함되는, 하나 이상의 인트라 예측 모드를 지칭한다. 이때 상기 θV는 |ang(VDIA1) - ang(DIA)|를 초과하지 않는 일정한 각도를 지칭하며, 블록의 크기, 현재 블록이 이용 가능한 인트라 예측 모드의 개수 등에 따라 상이할 수 있다.
도 10은 본 발명에 따른, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록의 인접한 샘플이 제한적 인트라 예측 (constraint intra prediction) 여부에 따라 상이하게 구성되는 예시를 도시한 것이다. 구체적으로, 도 10은 성분 간 예측을 위한 선형 모델 파라미터를 유도하기 위하여 사용되는 대상 성분 블록과 참조 성분 블록에 공간적으로 인접한 샘플을 구성함에 있어, 제한적 인트라 예측 (constraint intra prediction) 여부에 따라 상이하게 구성되는 예시를 도시한 것이다. 여기서, 성분 간 예측을 위한 선형 모델 파라미터는 부호화기와 복호화기에서 동일한 방법을 사용하여 유도하는 것이 가능하다.
도 10은 본 발명에서 제안하는 제한적 인트라 예측 (constraint intra prediction) 여부를 반영하여 성분 간 예측을 위한 선형 모델 파라미터 유도를 위한 참조 샘플을 구성하는 일 실시예를 도시한 도면이다. 즉, 성분 간 예측을 위한 현재 블록의 공간적으로 인접한 샘플을 이용하여 참조 샘플을 구성함에 있어, 제한적 인트라 예측 (constraint intra prediction) 여부에 따라 참조 샘플을 상이하게 구성할 수 있다.
예를 들어, 제한적 인트라 예측 (constraint intra prediction)을 사용하는 경우, 성분 간 예측을 위한 선형 모델 파라미터를 유도하기 위하여 현재 블록에 공간적으로 인접한 샘플 중 인트라 예측 모드로 복원된 샘플(1010, 1030, 1011, 1031)만으로 참조 샘플을 구성하고, 선형 모델의 파라미터를 유도한다. 즉, 제한적 인트라 예측 (constraint intra prediction)을 사용하는 경우, 성분 간 예측을 위한 선형 모델 파라미터를 유도하기 위하여 현재 블록에 공간적으로 인접한 샘플 중 인터 예측 모드로 복원된 샘플(1020, 1040, 1021, 1041)은 제외하고 상기 인트라 예측 모드로 복원된 샘플(1010, 1030, 1011, 1031)만으로 참조 샘플을 구성하고, 선형 모델의 파라미터를 유도한다.
도 11은 본 발명에 따른 일실시예로서, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록에 인접한 샘플이 제한적 인트라 예측 (constraint intra prediction) 여부에 따라 상이하게 구성되는 흐름도를 도시한 것이다.
도 11은 본 발명에서 제안하는 제한적 인트라 예측 (constraint intra prediction) 여부를 반영하여 성분 간 예측을 위한 선형 모델 파라미터 유도를 위한 참조 샘플을 구성하는 흐름도를 도시한 것으로, 우선 제한적 인트라 예측 (constraint intra prediction)을 사용하는지를 판단한다(S1100).
만약, 상기 S1100 단계 판단결과, 제한적 인트라 예측 (constraint intra prediction)을 사용하는 경우, 성분 간 예측을 위한 선형 모델 파라미터를 유도하기 위하여 현재 블록에 공간적으로 인접한 샘플 중 인터 예측 모드로 복원된 샘플은 제외하고 인트라 예측 모드로 복원된 샘플만으로 참조 샘플을 구성하고(S1110), 선형 모델의 파라미터를 유도한다.
반면, 상기 S1100 단계 판단결과, 제한적 인트라 예측 (constraint intra prediction)을 사용하지 않는 경우, 성분 간 예측을 위한 선형 모델 파라미터를 유도하기 위하여 현재 블록에 공간적으로 인접한 샘플 중 인트라 예측 모드로 복원된 샘플 및 인터 예측 모드로 복원된 샘플 모두를 포함하여 참조 샘플을 구성하고(S1120), 선형 모델의 파라미터를 유도한다.
도 12는 본 발명에 따른, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록에 공간적으로 인접한 샘플 중 이용 가능한 샘플을 패딩하여 참조 샘플을 구성하는 예를 도시한 것이다.
구체적으로, 도 12는 성분 간 예측을 위한 선형 모델 파라미터를 유도하기 위하여 사용되는 대상 성분 블록과 참조 성분 블록에 공간적으로 인접한 샘플을 구성함에 있어, 공간적으로 인접한 샘플 중 이용 가능한 샘플을 패딩하여 참조 샘플을 구성하는 예를 도시한 것이다. 여기서, 성분 간 예측을 위한 선형 모델 파라미터는 부호화기와 복호화기에서 동일한 방법을 사용하여 유도하는 것이 가능하다.
도 12의 실시예에 의하면, 본 발명에서 참조 성분 블록의 공간적으로 인접한 샘플 중 이용 가능하지 않은 샘플을 제외하고 참조 샘플을 구성할 수도 있고, 이용 가능하지 않은 샘플을 이용 가능한 샘플으로 대체하여 참조 샘플을 구성할 수 있다. 구체적으로, 도 12에서 성분 간 예측을 위한 현재 블록에 공간적으로 인접한 샘플을 이용하여 참조 샘플을 구성함에 있어, 이용 가능한 인트라 예측 모드로 복원된 샘플(1210, 1230, 1211, 1231)을 이용하여, 인터 예측 모드로 복원된 샘플(1220, 1240, 1221, 1241) 위치로 패딩(padding)을 수행하여 참조 샘플을 구성할 수 있다.
도 13은 본 발명에 따른, 성분 간 예측을 위한 선형 모델 파라미터를 유도하는데 사용되는 현재 블록에 공간적으로 인접한 샘플 중 이용 가능한 샘플을 패딩하여 참조 샘플을 구성하는 흐름도를 도시한 것이다. 즉 본 발명의 실시예에 의하면, 참조 성분 블록에 공간적으로 인접한 샘플 중 이용 가능하지 않은 샘플을 제외하고 참조 샘플을 구성할 수도 있고, 이용 가능하지 않은 샘플을 이용 가능한 샘플로 대체하여 참조 샘플을 구성할 수 있다.
도 13을 참조하면, 우선 모든 인접 샘플을 참조 샘플로 사용할 수 있는지를 판단한다(S1300). 만약, 상기 S1300 단계 판단결과, 모든 인접 샘플을 참조 샘플로 사용할 수 있는 경우에는, 해당 샘플로 참조 샘플을 구성하고(S1330), 선형 모델의 파라미터를 유도한다.
반면, 만약, 상기 S1300 단계 판단결과, 모든 인접 샘플을 참조 샘플로 사용할 수 있는 경우가 아니라면, 우선 이용 가능한 샘플을 이용하여 패딩을 수행하여(S1310) 참조 샘플을 구성할 수 있다(S1320).
도 14 내지 도 18은 본 발명에 따른 일실시예로서, 성분 간 예측에서 현재 샘플에 대응하는 참조 성분의 대응 샘플의 개수와 위치를 달리하는 실시예를 예를 들어 각각 도시한 것이다.
도 14 내지 도 18을 참조하면, 성분 간 예측 방법에 의해 현재 샘플에 대응하는 참조 성분의 대응 샘플의 개수와 위치를 상이하게 할 수 있음을 알 수 있다. 여기서, 도 14 내지 도 18은 YUV 4:2:0 컬러 포맷에 대한 일 실시예를 도시한 것이다.
특히, 선형 모델 기반의 성분 간 예측에서는 기본적으로 도 14의 방법을 이용하여 색차(Chroma) 성분에 대응하는. 휘도(Luma) 성분의 샘플 값을 결정하는 것이 가능하다. 이때, 도 14는 4개의 휘도 성분 샘플과 2개의 인접 샘플를 이용한 경우로, 다운샘플링 필터는 아래 수학식 17과 같다.
[수학식 17]
Rec'L[x,y] = (2*RecL[2x,2y] + 2*RecL[2x,2y+1] + RecL[2x-1,2y] + RecL[2x+1,2y] + RecL[2x-1,2y+1] + RecL[2x+1,2y+1] + 4) >> 3
여기서, 현재 픽쳐의 컬러 포맷이 YUV 4:2:0인 경우, 다수개의 성분 간 예측을 위한 대응 방법 중 하나를 선택적으로 사용할 수 있으며, 다수개 중 하나의 대응 방법을 선택하는 정보는 직접 시그널링될 수도 있으며, 블록 사이즈나 형태에 따라 고정된 하나의 대응 방법을 사용할 수도 있다.
도 15는 다른 실시예를 도시한 것으로, 휘도 성분의 좌상단 2개의 샘플을 이용한 경우로, 다운샘플링 필터는 아래 수학식 18과 같다.
[수학식 18]
Rec'L[x,y] = (RecL[2x,2y] + RecL[2x+1,2y] + 1) >> 1
도 16은 또 다른 실시예를 도시한 것으로, 휘도 성분의 좌측 2번째 컬럼에서 상단 2개의 샘플을 이용한 경우로, 다운샘플링 필터는 아래 수학식 19와 같다.
[수학식 19]
Rec'L[x,y] = (RecL[2x+1,2y] + RecL[2x+1,2y+1] + 1) >> 1
도 17은 다른 실시예를 도시한 것으로, 휘도 성분의 상단 2번째 라인에서 좌측 2개의 샘플을 이용한 경우로, 다운샘플링 필터는 아래 수학식 20과 같다.
[수학식 20]
Rec'L[x,y] = (RecL[2x,2y+1] + RecL[2x+1,2y+1] + 1) >> 1
도 17과 같이 다운샘플링을 수행하는 경우에는 휘도 성분의 참조 샘플을 두개의 라인으로 구성하지 않고, 하나의 참조 샘플 라인으로 구성하여 성분 간 예측을 위한 파라미터를 유도하는 것을 포함한다.
도 18은 또 다른 실시예를 도시한 것으로, 휘도 성분의 좌상단 4개의 샘플을 이용한 경우로, 다운샘플링 필터는 아래 수학식 21과 같다.
[수학식 21]
Rec'L[x,y] = (RecL[2x,2y] + RecL[2x,2y+1] + RecL[2x+1,2y] + RecL[2x+1,2y+1] + 2) >> 2
또 다른 예로서, 도시한 YUV 4:2:0 컬러 포맷에 대한 실시예와 상이하게, YUV 4:2:2 컬러 포맷을 사용하는 경우에는 도 17의 유도 방법을 제외한 방법 중 적어도 하나의 방법을 사용할 수 있으며, YUV 4:4:4 컬러 포맷을 사용하는 경우에는 도 14 내지 도 18의 유도 방법 대신에, 색차 성분에 일대일 대응하는 휘도 성분에 대하여 선형 모델 기반의 성분 간 예측을 수행하는 것이 가능하다.
도 3의 수학식 1에서 살펴본 바와 같이, 휘도 성분 블록의 샘플에 성분 간 예측 파라미터를 적용하여 색차 성분 블록의 샘플이 예측될 수 있다. 여기서, 휘도 성분 블록의 샘플은, 상기 색차 성분 블록의 샘플에 대응하며, 이는 컬러 포맷에 따라 다운샘플링된 것일 수 있다. 상기 다운샘플링 방법은, 소정의 플래그에 기초하여 선택적으로 수행될 수 있으며, 이하 자세히 살펴 보도록 한다.
(실시예 1)
다운샘플링된 휘도 성분 블록의 샘플 pDsY[x][y] (x=0..nTbW-1, y=0..nTbH-1)은, 휘도 성분 블록의 대응 샘플 pY[2*x][2*y] 및 주변 샘플에 기초하여 유도될 수 있다. 여기서, 주변 샘플은, 대응 샘플의 좌측, 우측, 상단, 또는 하단 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pDsY[x][y]은 다음 수학식 22와 같이 유도될 수 있다.
[수학식 22]
pDsY[ x ][ y ] = ( pY[ 2 * x ][ 2 * y - 1 ] + pY[ 2 * x - 1 ][ 2 * y ] + 4 * pY[ 2 * x ][ 2 * y ] + pY[ 2 * x + 1 ][ 2 * y ] + pY[ 2 * x ][ 2 * y + 1 ] + 4 ) >> 3
다만, 휘도 성분 블록의 좌측/상단 이웃 영역이 비가용인 경우가 존재할 수 있다. 만일 휘도 성분 블록의 좌측 이웃 영역이 비가용인 경우, 다운샘플링된 휘도 성분 블록의 샘플 pDsY[0][y] (y=1..nTbH-1)은, 휘도 성분 블록의 대응 샘플 pY[0][2*y] 및 주변 샘플에 기초하여 유도될 수 있다. 주변 샘플은, 대응 샘플의 상단 또는 하단 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pDsY[0][y] (y=1..nTbH-1)은 다음 수학식 23과 같이 유도될 수 있다.
[수학식 23]
pDsY[ 0 ][ y ] = ( pY[ 0 ][ 2 * y - 1 ] + 2 * pY[ 0 ][ 2 * y ] + pY[ 0 ][ 2 * y + 1 ] + 2 ) >> 2
만일 휘도 성분 블록의 상단 이웃 영역이 비가용인 경우, 다운샘플링된 휘도 성분 블록의 샘플 pDsY[x][0] (x=1..nTbW-1)은, 휘도 성분 블록의 대응 샘플 pY[2*x][0] 및 주변 샘플에 기초하여 유도될 수 있다. 주변 샘플은, 대응 샘플의 좌측 또는 우측 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pDsY[x][0] (x=1..nTbW-1)은 다음 수학식 24와 같이 유도될 수 있다.
[수학식 24]
pDsY[ x ][ 0 ] = ( pY[ 2 * x - 1 ][ 0 ] + 2 * pY[ 2 * x ][ 0 ] + pY[ 2 * x + 1 ][ 0 ] + 2 ) >> 2
한편, 다운샘플링된 휘도 성분 블록의 샘플 pDsY[0][0]은, 휘도 성분 블록의 대응 샘플 pY[0][0] 및/또는 주변 샘플에 기초하여 유도될 수 있다. 주변 샘플의 위치는, 휘도 성분 블록의 좌측/상단 이웃 영역의 가용 여부에 따라 상이하게 결정될 수 있다.
예를 들어, 좌측 이웃 영역은 가용하고, 상단 이웃 영역이 가용하지 않은 경우, pDsY[0][0]은 다음 수학식 25와 같이 유도될 수 있다.
[수학식 25]
pDsY[ 0 ][ 0 ] = ( pY[ -1 ][ 0 ] + 2 * pY[ 0 ][ 0 ] + pY[ 1 ][ 0 ] + 2 ) >> 2
반면, 좌측 이웃 영역은 가용하지 않고, 상단 이웃 영역이 가용한 경우, pDsY[0][0]은 다음 수학식 26과 같이 유도될 수 있다.
[수학식 26]
pDsY[ 0 ][ 0 ] = ( pY[ 0 ][ -1 ] + 2 * pY[ 0 ][ 0 ] + pY[ 0 ][ 1 ] + 2 ) >> 2
한편, 좌측 및 상단 이웃 영역 모두 가용하지 않은 경우, pDsY[ 0 ][ 0 ]은 휘도 블록의 대응 샘플 pY[0][0]로 설정될 수 있다.
(실시예 2)
다운샘플링된 휘도 성분 블록의 샘플 pDsY[x][y] (x=0..nTbW-1, y=0..nTbH-1)은, 휘도 성분 블록의 대응 샘플 pY[2*x][2*y] 및 주변 샘플에 기초하여 유도될 수 있다. 주변 샘플은, 대응 샘플의 하단, 좌측, 우측, 좌하단 또는 우하단 중 적어도 하나의 방향으로 인접한 샘플을 의미할 수 있다. 예를 들어, 샘플 pDsY[x][y]은 다음 수학식 27과 같이 유도될 수 있다.
[수학식 27]
pDsY[ x ][ y ] = ( pY[ 2 * x - 1 ][ 2 * y ] + pY[ 2 * x - 1 ][ 2 * y + 1 ] + 2* pY[ 2 * x ][ 2 * y ] + 2*pY[ 2 * x ][ 2 * y + 1 ] + pY[ 2 * x + 1 ][ 2 * y ] + pY[ 2 * x + 1 ][ 2 * y + 1 ] + 4 ) >> 3
다만, 만일 휘도 성분 블록의 좌측 이웃 영역이 비가용인 경우, 다운샘플링된 휘도 성분 블록의 샘플 pDsY[0][y] (y=0..nTbH-1)은, 휘도 성분 블록의 대응 샘플 pY[0][2*y] 및 하단 주변 샘플에 기초하여 유도될 수 있다. 예를 들어, 샘플 pDsY[0][y] (y=0..nTbH-1)은 다음 수학식 28과 같이 유도될 수 있다.
[수학식 28]
pDsY[ 0 ][ y ] = ( pY[ 0 ][ 2 * y ] + pY[ 0 ][ 2 * y + 1 ] + 1 ) >> 1
휘도 성분 블록의 다운샘플링은, 전술한 실시예 1과 2 중 어느 하나에 기초하여 수행될 수 있다. 이때 소정의 플래그에 기초하여 실시예 1 또는 2 중 어느 하나가 선택될 수 있다. 상기 플래그는, 다운샘플링된 휘도 샘플이 원 휘도 샘플과 동일한 위치를 가지는지 여부를 나타낼 수 있다. 예를 들어, 상기 플래그가 제1 값인 경우, 다운샘플링된 휘도 샘플이 원 휘도 샘플과 동일한 위치를 가진다. 반면, 상기 플래그가 제2 값인 경우, 다운샘플링된 휘도 샘플은 원 휘도 샘플과 수평 방향으로는 동일한 위치를 가지나, 수직 방향으로는 하프 펠(half pel)만큼 쉬프트된 위치를 가진다.
도 19는 본 발명에 따른 일실시예로서, 다수개의 선형 모델을 이용하여 성분 간 예측을 수행하는 방법의 개념을 도시한 것이다.
구체적으로, 도 19는 성분 간 예측을 위한 선형 모델 파라미터를 부호화기와 복호화기에서 동일한 방법을 사용하여 유도함에 있어, 하나 이상의 선형 모델을 사용하여 성분 간 예측을 수행하는 방법의 개념을 도시한 것이다.
예를 들어, 도 19의 좌측 그림과 같이, 서로 다른 두 성분 간의 샘플값의 분포를 이용하여 하나의 선형 모델로 표현하여, 해당 선형 모델에 기반하여 성분 간 예측을 수행할 수 있다.
또한, 도 19의 우측 그림과 같이, 서로 다른 두 성분 간의 화소 값의 분포를 이용하여 하나 이상의 선형 모델로 표현하여, 샘플값의 범위에 따라 서로 다른 선형 모델에 기반하여 성분 간 예측을 수행할 수 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
본 발명은 비디오 신호를 부호화/복호화하는데 이용될 수 있다.

Claims (9)

  1. 색차 성분 블록의 성분 간 예측을 위한 참조 샘플을 구성하는 단계;
    상기 참조 샘플을 이용하여, 성분 간 예측 파라미터를 유도하는 단계; 및
    상기 색차 성분 블록에 대응하는 휘도 성분 블록 및 상기 성분 간 예측 파라미터를 기반으로, 상기 색차 성분 블록의 성분 간 예측을 수행하는 단계를 포함하는, 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 참조 샘플은, 상기 휘도 성분 블록에 공간적으로 인접한 기-복원된 샘플을 이용하여 구성되는, 영상 복호화 방법.
  3. 제2항에 있어서,
    상기 기-복원된 샘플은, 상기 휘도 성분 블록의 좌측 또는 상단 중 적어도 하나에 인접한 샘플을 포함하는, 영상 복호화 방법.
  4. 제3항에 있어서,
    상기 기-복원된 샘플은, 상기 좌측에 인접한 샘플의 하단에 연속적으로 위치한 샘플 또는 상기 상단에 인접한 샘플의 우측에 연속적으로 위치한 샘플을 더 포함하는, 영상 복호화 방법.
  5. 제4항에 있어서,
    상기 참조 샘플은, 상기 색차 성분 블록의 인트라 예측 모드에 기초하여 구성되는, 영상 복호화 방법.
  6. 제1항에 있어서, 상기 성분 간 예측 파라미터를 유도하는 단계는,
    상기 휘도 성분 블록에 인접한 참조 샘플 중 최대값과 최소값을 추출하는 단계; 및
    상기 최대값과 상기 최소값을 이용하여, 선형 모델 기반의 성분 간 예측 파라미터를 유도하는 단계를 포함하는, 영상 복호화 방법.
  7. 제1항에 있어서,
    상기 휘도 성분 블록을 다운샘플링하는 단계를 더 포함하는, 영상 복호화 방법.
  8. 제7항에 있어서,
    상기 다운샘플링은, 상기 휘도 성분 블록의 대응 샘플 및 주변 샘플을 이용하여 수행되고,
    상기 주변 샘플의 개수는 1개 또는 5개인, 영상 복호화 방법.
  9. 제8항에 있어서,
    상기 주변 샘플은, 상기 대응 샘플의 좌측, 우측, 하단, 좌하단 또는 우하단 중 적어도 하나에 인접한 샘플을 포함하는, 영상 복호화 방법.
PCT/KR2019/005727 2018-05-14 2019-05-13 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체 Ceased WO2019221465A1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202311507528.3A CN117528087A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质
US17/052,953 US11758159B2 (en) 2018-05-14 2019-05-13 Image decoding method/device, image encoding method/device, and recording medium in which bitstream is stored
CN202311507909.1A CN117528088A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质
CN202311503469.2A CN117459730A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质
CN201980031971.3A CN112136325B (zh) 2018-05-14 2019-05-13 图像解码方法/装置、图像编码方法/装置以及存储比特流的记录介质
CN202311507116.XA CN117528086A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质
US18/363,972 US12149715B2 (en) 2018-05-14 2023-08-02 Image decoding method/device, image encoding method/device, and recording medium in which bitstream is stored
US18/925,747 US20250047878A1 (en) 2018-05-14 2024-10-24 Image decoding method/device, image encoding method/device, and recording medium in which bitstream is stored

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0054880 2018-05-14
KR20180054880 2018-05-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/052,953 A-371-Of-International US11758159B2 (en) 2018-05-14 2019-05-13 Image decoding method/device, image encoding method/device, and recording medium in which bitstream is stored
US18/363,972 Continuation US12149715B2 (en) 2018-05-14 2023-08-02 Image decoding method/device, image encoding method/device, and recording medium in which bitstream is stored

Publications (1)

Publication Number Publication Date
WO2019221465A1 true WO2019221465A1 (ko) 2019-11-21

Family

ID=68540501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005727 Ceased WO2019221465A1 (ko) 2018-05-14 2019-05-13 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체

Country Status (4)

Country Link
US (3) US11758159B2 (ko)
KR (1) KR20190130502A (ko)
CN (5) CN112136325B (ko)
WO (1) WO2019221465A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021100450A1 (ko) * 2019-11-21 2021-05-27
CN114503570A (zh) * 2020-04-07 2022-05-13 腾讯美国有限责任公司 视频编解码的方法和装置
CN115176474A (zh) * 2019-12-31 2022-10-11 抖音视界有限公司 多参数模型的跨分量预测
CN119788855A (zh) * 2019-12-31 2025-04-08 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
US10284860B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
WO2020125795A1 (en) * 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Indication of two step cross-component prediction mode
CA3131027A1 (en) * 2019-02-22 2020-08-27 Huawei Technologies Co., Ltd. Method and apparatus for intra prediction using linear model
KR20250140641A (ko) * 2019-06-25 2025-09-25 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 컴포넌트의 예측 방법, 장치 및 컴퓨터 저장 매체
CN115004697A (zh) * 2019-12-04 2022-09-02 抖音视界(北京)有限公司 来自多个跨分量的预测
CN115428447A (zh) * 2020-04-15 2022-12-02 夏普株式会社 在视频编码中用于执行帧内预测的系统和方法
WO2023284694A1 (en) * 2021-07-15 2023-01-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2024169932A1 (en) * 2023-02-16 2024-08-22 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
EP4674116A1 (en) * 2023-03-02 2026-01-07 ByteDance Inc. Method, apparatus, and medium for video processing
WO2025061183A1 (en) * 2023-09-22 2025-03-27 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170071594A (ko) * 2014-10-28 2017-06-23 미디어텍 싱가폴 피티이. 엘티디. 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
KR20170120188A (ko) * 2011-03-06 2017-10-30 엘지전자 주식회사 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20170129750A (ko) * 2015-03-20 2017-11-27 퀄컴 인코포레이티드 선형 모델 예측 모드를 위한 다운샘플링 프로세스
US20170359595A1 (en) * 2016-06-08 2017-12-14 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US20180091825A1 (en) * 2016-09-28 2018-03-29 Qualcomm Incorporated Interpolation filters for intra prediction in video coding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742301B (zh) 2008-11-24 2017-04-19 北京中星微电子有限公司 一种块模式编码方法及装置
CN103220508B (zh) 2012-01-20 2014-06-11 华为技术有限公司 编解码方法和装置
WO2013169049A1 (ko) 2012-05-10 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
JP6005572B2 (ja) 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
JP2017538381A (ja) * 2015-10-09 2017-12-21 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオ符号化における成分間予測
US10326986B2 (en) * 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
CN115150613B (zh) * 2017-08-22 2024-02-06 松下电器（美国）知识产权公司 图像编码器、图像解码器、和比特流生成设备
KR102493516B1 (ko) * 2018-07-02 2023-01-31 엘지전자 주식회사 Cclm에 기반한 인트라 예측 방법 및 그 장치
US11095921B2 (en) * 2018-12-18 2021-08-17 Tencent America LLC Method and apparatus for video encoding or decoding
KR20250030970A (ko) * 2019-03-06 2025-03-05 엘지전자 주식회사 Cclm 예측에 기반한 영상 디코딩 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170120188A (ko) * 2011-03-06 2017-10-30 엘지전자 주식회사 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20170071594A (ko) * 2014-10-28 2017-06-23 미디어텍 싱가폴 피티이. 엘티디. 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
KR20170129750A (ko) * 2015-03-20 2017-11-27 퀄컴 인코포레이티드 선형 모델 예측 모드를 위한 다운샘플링 프로세스
US20170359595A1 (en) * 2016-06-08 2017-12-14 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US20180091825A1 (en) * 2016-09-28 2018-03-29 Qualcomm Incorporated Interpolation filters for intra prediction in video coding

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021100450A1 (ko) * 2019-11-21 2021-05-27
WO2021100450A1 (ja) * 2019-11-21 2021-05-27 日本放送協会 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
US12088789B2 (en) 2019-11-21 2024-09-10 Nippon Hoso Kyokai Intra prediction device, image encoding device, image decoding device and program
CN115176474A (zh) * 2019-12-31 2022-10-11 抖音视界有限公司 多参数模型的跨分量预测
CN119788855A (zh) * 2019-12-31 2025-04-08 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
CN114503570A (zh) * 2020-04-07 2022-05-13 腾讯美国有限责任公司 视频编解码的方法和装置

Also Published As

Publication number Publication date
CN117459730A (zh) 2024-01-26
CN112136325A (zh) 2020-12-25
US12149715B2 (en) 2024-11-19
CN117528087A (zh) 2024-02-06
KR20190130502A (ko) 2019-11-22
CN117528088A (zh) 2024-02-06
US20240022740A1 (en) 2024-01-18
CN112136325B (zh) 2023-12-05
US20210243457A1 (en) 2021-08-05
CN117528086A (zh) 2024-02-06
US20250047878A1 (en) 2025-02-06
US11758159B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
WO2019221465A1 (ko) 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2017171370A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020050685A1 (ko) 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2018026219A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017222326A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017176030A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018030599A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017018664A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017204532A1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
WO2019050292A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017026681A1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2018047995A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018097626A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020096427A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2018056701A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020071616A1 (ko) Cclm에 기반한 인트라 예측 방법 및 그 장치
WO2019190201A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018212579A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020171592A1 (ko) 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
WO2018124333A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2016190627A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020013569A1 (ko) 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2021040458A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018174457A1 (ko) 영상 처리 방법 및 이를 위한 장치
WO2022182174A1 (ko) 인트라 예측 모드 도출 기반 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19803708

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19803708

Country of ref document: EP

Kind code of ref document: A1