[go: up one dir, main page]

WO2013002550A2 - 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치 - Google Patents

고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2013002550A2
WO2013002550A2 PCT/KR2012/005077 KR2012005077W WO2013002550A2 WO 2013002550 A2 WO2013002550 A2 WO 2013002550A2 KR 2012005077 W KR2012005077 W KR 2012005077W WO 2013002550 A2 WO2013002550 A2 WO 2013002550A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
value
frequency transform
quantized frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2012/005077
Other languages
English (en)
French (fr)
Other versions
WO2013002550A3 (ko
Inventor
임정연
이영렬
문주희
김해광
전병우
한종기
권령희
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to CN201280032450.8A priority Critical patent/CN103650499A/zh
Publication of WO2013002550A2 publication Critical patent/WO2013002550A2/ko
Publication of WO2013002550A3 publication Critical patent/WO2013002550A3/ko
Priority to US14/140,367 priority patent/US9565443B2/en
Anticipated expiration legal-status Critical
Priority to US15/170,853 priority patent/US9986245B2/en
Priority to US15/966,597 priority patent/US10116942B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • An embodiment of the present invention relates to a coding method and apparatus through fast coding unit mode determination. More specifically, to improve the computing performance by terminating the coding of the coding unit (CU) when the optimal mode through the quantization coefficient of the coding unit (Coding Unit) is preselected in order to improve the computing speed during coding.
  • a method and apparatus for encoding / decoding an image is provided.
  • Moving Picture Experts Group (MPEG) and Video Coding Experts Group (VCEG) have formed a joint team of MPEG and VCEG, called Joint Collaborative Team on Video Coding (JCT-VC), over existing H.264 / AVC (Advanced video Coding). Standardization is underway with a new standard called Excellent and Excellent High Efficiency Video Coding (HEVC).
  • JCT-VC Joint Collaborative Team on Video Coding
  • HEVC High Efficiency Video Coding
  • various coding methods have been adopted, which has brought many advances in terms of image quality and performance.
  • the meeting on HEVC proceeded to the fifth JCT-VC meeting in Geneva in March 2011, which is now completed to HM3.0 and WD3.0.
  • HEVC's HM3.0 video coding method uses CTB (Coding Tree Block) as the basic coding unit, where CTB is defined as square shapes of various sizes. CTB is often called Coding Unit.
  • CTB Coding Tree Block
  • CU 1 shows the size and shape of a typical coding unit (CU).
  • the coding unit is in the shape of a quad tree and has a depth of 0 when the largest coding unit (Largest Coding Unit) having a size of 64 ⁇ 64. Recursive coding is performed until is 3, that is, up to 8 ⁇ 8 coding units (CUs).
  • the basic unit of prediction is defined as a prediction unit, and one coding unit (CU) is divided into a plurality of blocks and used for prediction.
  • CU coding unit
  • FIG. 2 shows a type of a typical prediction unit (PU) and a coding order of the prediction unit (PU) in one coding unit (CU).
  • inter 2N ⁇ 2N mode, inter 2N ⁇ N mode, inter N ⁇ 2N mode, and inter N Prediction is performed in the order of xN mode, intra 2N ⁇ 2N mode, and intra N ⁇ N mode.
  • coding unit (CU) having a size of 8 ⁇ 8 (2N ⁇ 2N) all the coding units (CU) are applied to all the remaining prediction units (PU) except the inter N ⁇ N mode and intra N ⁇ N mode.
  • Encoding is performed.
  • the prediction methods are classified into an intra prediction encoding method that predicts using prediction values from a block encoded in a frame being encoded, and an inter prediction prediction method that predicts a block of a current frame by estimating motion from a previously reconstructed frame. can do.
  • the intra prediction method is a unified intra prediction method that performs prediction in various directions by using pixel values of the left, lower left, upper left, upper, and upper right of the previously encoded corresponding block. It is used.
  • FIG. 3 is a diagram illustrating a direction of a conventional intra prediction mode.
  • the intra prediction mode has a total of 35 prediction modes including a direct current mode, a planar mode, and an angular mode having a total of 33 prediction directions.
  • Inter predictive coding of video uses motion compensation that predicts a current block by dividing an image frame, estimating motion from a previously encoded frame.
  • a residual signal is generated by calculating a difference value between the original pixel value of the current block and the prediction value of the prediction block.
  • the residual signal is transformed into a frequency conversion block and quantized to form a frequency coefficient block.
  • the basic unit of transform and quantization is a transform unit.
  • FIG. 4 shows an example of a flag associated with one transform unit (TU) and a transform unit (TU).
  • a transform unit (TU) is a quadtree in a form similar to a coding unit (CU), and is arbitrarily designated with a depth of 0 when the size of the transform unit (TU) is equal to the current coding unit (CU). Iteratively transforms and quantizes to depth.
  • the size of the transform unit (TU) is equal to or smaller than the size of the corresponding coding unit (CU), and is not related to the size of the prediction unit (PU).
  • a split transform flag for each depth of a transform unit (TU) is transmitted to the image decoding apparatus to transmit information about the size of the transform unit (TU) having the lowest rate-distortion value (RD cost).
  • the split transform flag is 1, the depth of the transform unit TU having the lowest rate-distortion value RD cost is lower than the transform unit TU of the corresponding depth. If the coded block flag cbf is 0, it means that all coefficients in the frequency coefficient block resulting from quantization are all zero.
  • a typical video encoding apparatus obtains an optimal unit according to a rate-distortion value (RD cost) optimization technique based on a coding unit (CU), a prediction unit (PU), and a transformation unit (TU) of several candidates according to a function. After that, the information is transmitted to the image decoding apparatus in the result of encoding the corresponding unit.
  • RD cost rate-distortion value
  • the method of obtaining the rate-distortion value (RD cost) for all prediction units (PUs) in one coding unit (CU) is efficient when the intra N ⁇ N mode, which is the last in the prediction order, is determined as the optimal mode.
  • the intra N ⁇ N mode which is the last in the prediction order
  • the inter 2N ⁇ 2N mode which is the first in the prediction order
  • the quantized frequency transform coefficients encoded immediately before encoding multiple prediction units (PUs) in one coding unit (CU) are all prediction units after
  • the main purpose is to shorten the time required for video encoding while maintaining the normal coding efficiency by omitting all the coding of the PU).
  • a prediction block is generated based on a prediction unit (PU) at the time of encoding a current coding unit (CU), and the current block is generated.
  • Subtract a prediction block to generate a residual block generate a transform frequency transform block from the residual block, and quantize the frequency transform block to generate a quantized frequency transform block, wherein the frequency transform block generates a non-zero value.
  • the encoder image encoder that omits all subsequent encodings of the prediction unit (PU), determines the optimal prediction unit (PU), and encodes the frequency transform block of the optimal prediction unit (PU) into a bitstream.
  • An image encoding / decoding apparatus includes an image decoder for reconstructing a current block to be reconstructed.
  • an embodiment of the present invention in the apparatus for encoding an image, a prediction unit for generating a prediction block based on the prediction unit (PU) at the time of coding the current coding unit (CU) ; A subtraction unit for generating a residual block by subtracting a prediction block from the current block; A transformer for generating a transform frequency transform block from the residual block; A quantizer configured to quantize the frequency transform block to generate a quantized frequency transform block; If the frequency conversion block does not include a value other than 0, all encodings of all subsequent prediction units (PUs) are omitted, and then determined as an optimal prediction unit (PU), and the frequency conversion block of the optimal prediction unit (PU) It provides a video encoding apparatus comprising a coding unit for encoding a bitstream.
  • an optimal prediction unit may be determined as a prediction unit (PU) having a lowest rate-distortion value.
  • the rate-distortion value may be a value including a size of an encoded bitstream, a difference between the current block and a prediction block, and a quantization parameter.
  • a quantized frequency transform coefficient that does not include a value other than zero may have a coded block pattern of zero.
  • a coded block flag of the luminance component may be 0.
  • both a coded block flag of a luminance component and a coded block flag of two color difference components may be zero.
  • both a coded block flag of a luminance component and a coded block flag of one color difference component may be zero.
  • an embodiment of the present invention to achieve another object of the present invention, an apparatus for decoding an image, the decoding unit for generating a quantized frequency conversion block from a bitstream; An inverse quantization and inverse transform unit configured to inversely quantize the quantized frequency transform block to restore the frequency transform block when the quantized frequency transform block has a non-zero value; An inverse transform unit which inversely transforms the frequency transform block to restore a residual block; A prediction unit generating a prediction block of the current block to be reconstructed; And an adder configured to add the reconstructed residual block and the generated prediction block to reconstruct the current block to be reconstructed. And an image decoder for reconstructing the current block to be reconstructed with only a reference block referenced by a motion vector when all of the quantized frequency transform blocks have a value of zero.
  • the inverse quantization unit, the inverse transform unit, and the adder may omit the operation if the quantized frequency transform coefficient does not include a value other than 0, and the predictor may restore the generated prediction value to the current block.
  • a quantized frequency transform coefficient that does not include a value other than zero may have a coded block pattern of zero.
  • a coded block flag of the luminance component may be 0.
  • both a coded block flag of a luminance component and a coded block flag of two color difference components may be zero.
  • both a coded block flag of a luminance component and a coded block flag of one color difference component may be zero.
  • a prediction block is generated based on a prediction unit (PU) at the time of coding a current coding unit (CU), and the current block is generated.
  • Subtract a prediction block to generate a residual block generate a transform frequency transform block from the residual block, and quantize the frequency transform block to generate a quantized frequency transform block, wherein the frequency transform block generates a non-zero value.
  • the encoding unit image encoding that omits all subsequent encodings of the prediction unit (PU), determines the optimal prediction unit (PU), and encodes the frequency transform block of the optimal prediction unit (PU) into a bitstream.
  • step And generating a quantized frequency transform block from the bitstream, and if the quantized frequency transform block has a nonzero value, inverse quantizes and inverse transforms the quantized frequency transform block to restore a residual block and is referred to by a motion vector.
  • Generates a prediction block from a reference block adds the reconstructed residual block and the generated prediction block, reconstructs the current block to be reconstructed, and is referenced by a motion vector when the quantized frequency transform block has a value of all zeros.
  • a video decoding step of reconstructing the current block to be reconstructed with only a reference block.
  • an embodiment of the present invention in the method for encoding an image, a prediction step of generating a prediction block based on the prediction unit (PU) at the time of coding the current coding unit (CU) ; A subtraction step of generating a residual block by subtracting a prediction block from the current block; Generating a transform frequency transform block from the residual block; A quantization step of quantizing the frequency transform block to generate a quantized frequency transform block; If the frequency conversion block does not include a value other than 0, all encodings of all subsequent prediction units (PUs) are omitted, and then determined as an optimal prediction unit (PU), and the frequency conversion block of the optimal prediction unit (PU) It provides a video encoding method comprising the step of encoding to a bitstream.
  • an optimal prediction unit may be determined as a prediction unit (PU) having a lowest rate-distortion value.
  • the rate-distortion value may be a value including a size of an encoded bitstream, a difference between the current block and a prediction block, and a quantization parameter.
  • a quantized frequency transform coefficient that does not include a value other than zero may have a coded block pattern of zero.
  • a quantized frequency transform coefficient that does not contain a value other than 0 is a coded block of one or more components of a coded block flag of a luminance component and a coded block flag of two color difference components.
  • the flags can all be zero.
  • an embodiment of the present invention to achieve another object of the present invention, a method for decoding an image, the decoding step of generating a quantized frequency transform block from a bitstream; An inverse quantization and inverse transform step of inversely quantizing the quantized frequency transform block and restoring the frequency transform block if the quantized frequency transform block has a non-zero value; An inverse transform step of restoring a residual block by inverse transforming the frequency transform block; A prediction step of generating a prediction block of the current block to be reconstructed; And adding the reconstructed residual block and the generated prediction block to reconstruct the current block to be reconstructed. And an image decoder for reconstructing the current block to be reconstructed with only a reference block referenced by a motion vector when the quantized frequency transform blocks have a value of all zeros.
  • the quantized frequency transform coefficient does not include a value other than 0, the inverse quantization step, the inverse transform step, and the addition step are omitted, and the prediction value generated in the prediction step is restored to the current block. can do.
  • a quantized frequency transform coefficient that does not include a value other than zero may have a coded block pattern of zero.
  • a quantized frequency transform coefficient that does not include a value other than zero may have a coded block pattern of zero.
  • a quantized frequency transform coefficient that does not contain a value other than 0 is a coded block of one or more components of a coded block flag of a luminance component and a coded block flag of two color difference components.
  • the flags can all be zero.
  • the coding of all prediction units (PUs) after the optimal prediction unit (PU) estimation estimated in the current coding unit (CU) to be encoded is omitted according to the condition.
  • 1 is a diagram illustrating a size and a quadtree shape of a coding unit (CU).
  • FIG. 2 is a diagram illustrating the types and procedures of prediction units (PUs) encoded in one coding unit (CU).
  • PUs prediction units
  • CU coding unit
  • 3 is a view showing the direction of a typical intra mode.
  • FIG. 4 is a diagram illustrating a relationship between a quadtree form of a transform unit (TU), a coded block flag cbf, and a split transform flag.
  • TU transform unit
  • cbf coded block flag
  • split transform flag split transform flag
  • FIG. 5 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 6 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a prediction unit (PU) determination in a coding unit (CU) according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • a video encoding apparatus (Video Encoding Apparatus), a video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), notebook computer, personal digital assistant (PDA), portable multimedia player (PMP) It may be a user terminal such as a portable multimedia player (PSP), a PlayStation Portable (PSP), a wireless communication terminal, a smart phone, a TV, or a server terminal such as an application server or a service server.
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for encoding or decoding an image or inter or intra prediction for encoding or decoding, and executing a program And a microprocessor for controlling and the like. It can mean a variety of devices.
  • the image encoded in the bitstream by the video encoding apparatus is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • USB universal serial bus
  • a video may be composed of a series of pictures, and each picture may be divided into a predetermined area such as a frame or a block.
  • the divided blocks may be classified into intra blocks and inter blocks according to an encoding method.
  • An intra block refers to a block that is encoded by using an intra prediction coding method.
  • An intra prediction coding is performed by using pixels of blocks previously encoded, decoded, and reconstructed in a current picture that performs current encoding.
  • a prediction block is generated by predicting pixels of a block and a difference value with pixels of the current block is encoded.
  • An inter block refers to a block that is encoded using inter prediction coding.
  • Inter prediction coding generates a prediction block by predicting a current block within a current picture by referring to one or more past or future pictures, and then generates a current block. This is a method of encoding the difference value with.
  • a frame referred to for encoding or decoding the current picture is referred to as a reference frame.
  • FIG. 5 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • An image encoding apparatus 500 is an apparatus for encoding an image by generating a subsample prediction value of a chrominance component using a motion vector value of a luminance component of a current block of the image.
  • the prediction unit 510 may include a prediction unit 510, a subtraction unit 520, a transform unit 530, a quantization unit 540, and an encoding unit 550.
  • the input image to be encoded is input in a coding unit.
  • the coding unit may be in the form of an N ⁇ N block, and N has a size of 2 n .
  • the coding unit may be in the form of a quad tree, and recoding is performed repeatedly from the largest coding unit (Largest Coding Unit) to a specified depth.
  • Prediction is performed for each prediction unit within one coding unit (CU), where the prediction unit (PU) in the encoder is NxM block type and N and M are 2 n , 2 m (n> 0, M> 0).
  • the type of prediction in one coding unit (CU) may have, for example, four inter prediction units and two intra prediction units (PUs), as shown in FIG. 2, and coding for all prediction units (PUs).
  • PU prediction unit
  • FIG. 7 is a diagram illustrating a prediction encoding sequence.
  • the criterion for the compression efficiency is a rate distortion cost including the number of bits required for image information transmission and a difference value between an original block and a prediction block.
  • the rate-distortion value for the encoding result of the current prediction unit is calculated (S710), and it is determined whether there is a non-zero value among the quantized frequency transform coefficients (S720). If all of the quantized frequency transform coefficients are 0, it is determined that the rate-distortion value (RD cost) is sufficiently low, so that the coding of the corresponding coding unit (CU) is terminated, and all of the quantized frequency transform coefficients are 0. ) Information is transmitted to the image decoding apparatus, and if there is a non-zero value among the quantized frequency transform coefficients, the encoding and rate-distortion value of the next prediction unit are calculated (S730).
  • the prediction unit 510 generates a prediction block using another frame or predicts the prediction block using the pixel values of the left and upper ends that are already encoded to predict the prediction unit PU of the current coding unit CU. That is, in the intra prediction mode, the prediction unit 510 determines the prediction mode by using the coding unit (CU) information of the upper and left parts that have already been encoded and reconstructed, and generates the prediction block using the prediction mode. In the inter prediction mode, the prediction unit 510 may generate a motion vector through motion estimation in a previous frame that has already been encoded and reconstructed, and may generate a prediction block in a motion compensation process using the motion vector.
  • CU coding unit
  • the subtractor 520 generates a residual signal by calculating a difference value between the original pixel value of each pixel of the current block and the predicted value generated by the predictor 510.
  • the converter 530 converts the residual signal generated by the subtractor 520 into the frequency domain.
  • the transform unit 530 is transformed into a transform unit.
  • the transform unit TU is in the form of an N ⁇ N block, and N has a size of 2 n .
  • the transformation is sequentially performed for each transformation unit (TU), and the size of the transformation unit (TU) is the size of the corresponding coding unit (CU). It is less than or equal to and is not related to the size of the corresponding prediction unit (PU).
  • the transformation unit (TU) may have a quadtree shape, such as a coding unit (CU), and iteratively performs the transformation from the size of the coding unit (CU) to a randomly designated depth. At this time, a split transform flag for each depth of the transform unit (TU) is transmitted to the image decoding apparatus to transmit information about the size of the transform unit (TU) having the lowest rate-distortion value (RD cost).
  • the transform unit 530 uses various transformation techniques for transforming an image signal on a time axis into a frequency axis, such as Discrete Cosine Transform (DCT) or Wavelet Transform. The residual signal can be converted into the frequency domain.
  • DCT Discrete Cosine Transform
  • Wavelet Transform Wavelet Transform
  • the quantization unit 540 quantizes the frequency conversion block formed of the residual signal converted into the frequency domain by the conversion unit 530.
  • the coded block flag cbf is transmitted, which means that the coefficient is 0 for the luminance unit and the TU of the chrominance signal, in which the quantized transform coefficients are all zero.
  • various quantization techniques such as dead zone uniform threshold quantization (DZUTQ) or quantization weighted matrix (Quantization Weighted Matrix) may be used.
  • the encoder 550 encodes the quantized frequency transform block including the frequency coefficient quantized by the quantizer 540 into a bitstream.
  • an entropy encoding technique may be used, but various encoding techniques may be used without being limited thereto.
  • the encoder 550 may include not only a bit string encoding the quantized frequency coefficients, but also various pieces of information necessary to decode the encoded bit string in the encoded data. That is, the coded data includes a field including a coded block pattern (CBP), a delta quantization parameter, and a bit string in which the quantization frequency coefficients are encoded, and information necessary for prediction (eg, intra prediction). In the case of Intra prediction mode or a motion vector in the case of inter prediction, etc.) may include a field that contains a bit.
  • CBP coded block pattern
  • a delta quantization parameter e.g., a bit string in which the quantization frequency coefficients are encoded
  • information necessary for prediction eg, intra prediction.
  • Intra prediction mode or a motion vector in the case of inter prediction, etc. may include a field that contains a bit.
  • the inverse quantizer 560 restores the frequency transform block by inverse quantization of the transformed and quantized residual block (ie, the quantized frequency transform block), and the inverse transform unit 570 converts the inverse quantized frequency transform block. Reconstruction the residual block by inverse transform.
  • inverse quantization and inverse transformation may be performed by inversely performing a transformation process performed by the transform unit 530 and a quantization process performed by the quantization unit 540, respectively. That is, the inverse quantization unit 560 and the inverse transform unit 570 generate information related to the transformation and quantization generated from the transformation unit 530 and the quantization unit 540 (for example, information on the transformation and quantization type). Inverse quantization and inverse transformation may be performed using.
  • the adder 580 generates the reconstructed block by adding the prediction block generated by the predictor 510 and the residual block generated by the inverse transform unit 570.
  • the frame memory 590 is used as a reference block to store a block reconstructed by the adder 580 to generate a prediction block when performing intra or inter prediction.
  • FIG. 6 is an exemplary diagram for describing a process of encoding a plurality of prediction units (PUs) and determining an optimal prediction unit (PU) in a current coding unit (CU) according to an embodiment of the present invention.
  • the performance of the prediction unit PU of FIG. 6 is determined by the rate-distortion value RD cost of Equation 1.
  • the prediction unit PU is the size of MxM, and the distortion value in the rate-distortion value RDcost of Equation 1 is generated by the original pixel value and the prediction unit 510.
  • the difference between the predicted values is squared to represent the sum.
  • B (k, l) means one original pixel value of the (k, l) coordinate in the prediction unit PU
  • B '(k, l) means one prediction pixel value.
  • the rate value represents the total number of coded bits when one prediction unit (PU) passes through the prediction unit, the transform unit, and the quantization unit.
  • the optimal prediction unit PU has the smallest difference between the original pixel value and the predicted pixel value. When all the encoding processes from the prediction unit to the quantization unit are performed, this represents a prediction unit (PU) having the smallest number of encoded bits.
  • calculating a rate-distortion value for one prediction unit (PU) is an accurate comparison between the prediction units (PU), but has a disadvantage in that it has a high computational complexity since it has to go through the encoding process for all prediction units (PU). .
  • the quantized frequency transform coefficients of the coded prediction units (PUs) are all 0, no bits are required for encoding except for bits allocated to external information such as motion vectors and prediction modes in all prediction units. .
  • all of the quantized frequency transform coefficients in order for all of the quantized frequency transform coefficients to be zero, it means that the residual signal before passing through the transform unit and the quantization unit is sufficiently small.
  • the rate-distortion value of a prediction unit (PU) having a quantized frequency transform coefficient of all zeros is an optimal prediction unit (PU) when compared with the rate-distortion value of another prediction unit (PU) in the same coding unit (CU). Is enough to
  • the encoding method or the encoding apparatus used herein has the quantized frequency transform coefficients that are all zero when the encoding of the current prediction unit (PU) is finished, the encoding is reduced to reduce the computational complexity by ending the encoding of the corresponding coding unit (CU).
  • Method or encoding device If the encoding method or the encoding apparatus used herein has the quantized frequency transform coefficients that are all zero when the encoding of the current prediction unit (PU) is finished, the encoding is reduced to reduce the computational complexity by ending the encoding of the corresponding coding unit (CU).
  • the fact that all of the quantized frequency transform coefficients are zero may be represented by a coded block form cbp or a coded block flag cbf.
  • a coded block flag cbf is provided for each luminance component and chrominance component.
  • FIG. 6 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 600 decodes the signal by omitting an inverse quantization and an inverse transformation process using a quantized frequency transform signal of a current prediction unit block of an image.
  • the apparatus includes a decoder 610, an inverse quantizer 620, an inverse transformer 630, an adder 640, and a predictor 650.
  • the decoder 610 extracts a quantized frequency transform block by decoding the bitstream.
  • the decoder 610 may decode the encoded data to decode or extract not only the quantized frequency transform block but also information necessary for decoding.
  • Information necessary for decoding refers to information required for decoding the coded bit string in the coded data (ie, the bitstream). For example, the size of the coding unit (CU), the prediction unit (PU), and the transformation unit (TU) Information about the coded coding type cbp, information about the coded coding flag cbf, information about a motion vector, information about transform and quantization types, and the like, and various other information.
  • the decoder 610 decodes a bitstream, which is data encoded by the image encoding apparatus 500, extracts a quantized frequency transform block including pixel information of the current block of the image, and extracts the extracted prediction signal. The necessary information is transmitted to the prediction unit 850.
  • the prediction unit 650 may predict the current block in the same manner as the prediction unit 510 of the image encoding apparatus 500 by using the information necessary for the prediction transmitted from the decoder 610.
  • the inverse quantizer 620 inverse quantizes the quantized frequency transform block extracted from the bitstream by the decoder 610.
  • the inverse transformer 630 inversely transforms the frequency transform block inversely quantized by the inverse quantizer 620 into a time domain.
  • the adder 640 reconstructs the original pixel value of the current block by adding the residual pixel restored by the inverse transform by the inverse transformer 630 and the predicted pixel value by the predictor 650.
  • the inverse quantizer 620, the inverse transformer 630, and the adder 640 of the image decoding apparatus 600 if the quantized frequency transform coefficients are all zero, that is, the bitstream If it does not include the quantized frequency transform coefficient of the block corresponding to, the prediction pixel value generated by the prediction unit 650 is transferred to the frame memory as it is.
  • the current block reconstructed by the adder 640 or the predictor 650 may be transferred to the frame memory 660 and used by the predictor 650 to predict another block.
  • the frame memory 660 stores the reconstructed image to enable the generation of the intra prediction block and the inter prediction block.
  • An image encoding / decoding apparatus may be configured by connecting a bitstream output terminal of the image encoding apparatus 500 of FIG. 5 to a bitstream input terminal of the image decoding apparatus 600 of FIG. 6.
  • An image encoding / decoding apparatus generates a prediction block based on a prediction unit (PU) at the time of coding a current coding unit (CU), and subtracts the prediction block from the current block to remove a residual block. Generate, transform the residual block to generate a frequency transform block, quantize the frequency transform block to produce a quantized frequency transform block, and if the frequency transform block does not contain a value other than zero, all subsequent After encoding all of the prediction units (PUs) are omitted, the encoder unit determines the prediction unit (PU) as the best prediction unit (PU), and encodes the quantized frequency transform block of the optimal prediction unit (PU) into a bitstream.
  • the image encoder may be implemented by the image encoding apparatus 500 according to an embodiment of the present invention, and the image decoder may be implemented by the image decoding apparatus 600 according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
  • the image encoding apparatus 500 generates a residual signal by calculating a difference value between the original pixel value and the predicted pixel value of the current block in the prediction step 810 of generating a prediction value using the motion vector value of the current block of the image.
  • An image is encoded through an encoding step 850 of determining a quantized frequency transform residual signal and encoding the quantized frequency transform residual signal.
  • the prediction step 810 is the function of the prediction unit 510
  • the subtraction step 820 is the function of the subtraction unit 520
  • the transform step 830 is the function of the transform unit 530
  • the quantization step Since 840 corresponds to the function of the quantizer 540 and the encoding step 850 corresponds to the function of the encoder 550, detailed description thereof will be omitted.
  • FIG. 9 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • the video decoding apparatus 600 which receives and stores a bitstream of an image through a wired or wireless communication network or a cable, may move a current block of the image to a motion vector value in order to reproduce the image according to a user's selection or an algorithm of another program being executed.
  • a predictive value is generated by using and a decoded original pixel value image obtained by adding an inversely quantized inverse transformed residual signal only when a quantized frequency transform coefficient exists.
  • the image decoding apparatus 600 decodes the bitstream and extracts a quantized frequency transform residual signal representing information about the pixel value of the current block of the image (910).
  • Inverse quantization step 920 of inverse quantization of the quantized frequency transform residual signal inverse transform step 930 of inverse transforming the inverse quantized frequency transform residual signal into the time domain, and prediction step 940 of generating a prediction value using a motion vector value.
  • the residual signal of the current block reconstructed in step 940 and the predicted pixel value of each pixel of the current block predicted in step 940 are added to restore the original pixel value of the current block. If there is no frequency transform residual signal, the bitstream transmitted through the prediction step 940 is decoded.
  • the decoding step 910 corresponds to the operation of the decoding unit 610
  • the inverse quantization step 920 corresponds to the operation of the inverse quantization unit 620
  • the inverse transform step 930 is performed by the inverse transform unit 630.
  • the prediction step 940 corresponds to the operation of the prediction unit 650
  • the addition step 950 corresponds to the operation of the adding unit 640, so a detailed description thereof will be omitted.
  • An image encoding / decoding method may be realized by combining the image encoding method according to an embodiment of the present invention and the image decoding method according to an embodiment of the present invention.
  • a prediction block is generated based on a prediction unit (PU) at the time of coding a current coding unit (CU), and a residual block is generated by subtracting the prediction block from the current block. And converting the residual block to generate a frequency transform block, and quantizing the frequency transform block to generate a quantized frequency transform block, and if the frequency transform block does not contain a value other than 0, all subsequent prediction units (PU) ) Coding is omitted, and a coding unit image encoding step of encoding a frequency transform block of the optimal prediction unit (PU) into a bitstream and a quantized frequency transform block are generated from the bitstream.
  • inverse quantization of the quantized frequency transform block Reconstruct the frequency transform block, inversely transform the frequency transform block, reconstruct the residual block, generate a prediction block from the reference block referenced by the motion vector, and add the reconstructed residual block and the generated prediction block to the current to be restored. And reconstructing the block or reconstructing the current block to be reconstructed using only a reference block referenced by a motion vector when the quantized frequency transform block has a value of all zeros.
  • the image encoding step may be implemented as an image encoding step according to an embodiment of the present invention
  • the image decoding step may be implemented as an image decoding step according to an embodiment of the present invention.
  • all the components constituting the embodiment of the present invention may be implemented in one independent hardware, each of some or all of the components are selectively combined to some or all of the functions combined in one or a plurality of hardware. It may be implemented as a computer program having a program module for performing the operation. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention.
  • the storage medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.
  • the coding unit in encoding one coding unit (CU), the coding unit is determined after encoding the prediction unit (PU) that is optimally determined without encoding all the prediction units (PUs).
  • the computational complexity of the coding unit (CU) can be reduced by eliminating the unnecessary coding process by terminating the coding of the CU, and the decoder is also useful for omitting unnecessary decoding processes to reduce the coding time. to be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명의 실시예는 앞서 부호화된 예측단위(PU)의 양자화된 주파수변환계수를 이용하여 코딩단위(CU)의 부호화를 중단하도록 하는 고속 부호화 방법 및 장치에 관한 것이다. 본 발명의 일 실시예는, 영상을 부호화/복호화 하는 방법에 있어서, 현재 코딩단위(CU)에서 앞서 부호화된 예측단위(PU)의 상기 양자화된 주파수변환블록이 0 이외의 값을 포함하고 있지 않다면 현재 코딩단위(CU)의 부호화를 중단시켜 압축 속도를 높인 영상 부호화 방법 및 장치를 제공한다.

Description

고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
본 발명의 실시예는 고속 코딩단위(Coding Unit)모드 결정을 통한 부호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 부호화 시의 컴퓨팅 속도를 향상시키기 위하여 코딩단위(Coding Unit)의 양자화 계수를 통한 최적의 모드가 미리 선별되는 경우 코딩 단위(CU)의 부호화를 종료함으로써 컴퓨팅 성능을 향상시키고자 하는 영상의 부호화/복호화 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 JCT-VC(Joint Collaborative Team on Video Coding)라는 MPEG과 VCEG의 공동 팀을 형성하여 기존의 H.264/AVC(Advanced video Coding)보다 우수하고 뛰어난 HEVC(High Efficiency Video Coding)이라는 새로운 표준안에 대한 표준화가 진행 중이다. 이러한 HEVC에서는 다양한 부호화 방법이 채택되어 화질과 성능 향상 면에서 많은 발전을 가져왔다. HEVC에 대한 회의는 2011년 3월 제네바에서 열린 제 5차 JCT-VC회의 까지 진행되어, 현재 HM3.0및 WD3.0까지 완성되어 있다.
HEVC의 HM3.0 동영상 부호화 방법에서는 기본 부호화 단위로 CTB (Coding Tree Block)을 사용하며, 이 때 CTB는 다양한 크기의 정사각형 모양으로 정의된다. CTB는 주로 코딩단위(Coding Unit)라고 부른다.
도 1 는 통상적인 코딩단위(CU)의 크기와 모습을 나타낸다.
도 1 를 참조하면, 코딩단위(CU)는 쿼드트리(Quad Tree)의 모습을 하고 있으며, 크기가 64×64인 가장 큰 코딩단위(Largest Coding Unit)일 때 깊이(depth)를 0으로 하여 깊이가 3이 될 때까지, 즉 8×8크기의 코딩단위(CU)까지 반복적(Recursive)으로 부호화를 수행한다.
예측의 기본 단위는 예측단위(Prediction Unit)로 정의되며, 하나의 코딩단위(CU)는 다수개의 블록으로 분할되어 예측에 사용된다.
도 2 는 통상적인 예측단위(PU)의 종류와 하나의 코딩단위(CU)내에서 예측단위(PU)의 부호화순서를 나타낸다.
도 2 를 참조하면, 크기가 2N×2N인 한 코딩단위(CU) 내에서 스킵(Skip)모드를 수행한 이후에 인터 2N×2N 모드, 인터 2N×N 모드, 인터 N×2N 모드, 인터 N×N 모드, 인트라 2N×2N 모드, 인트라 N×N 모드 순서로 예측을 수행한다. 단, 크기가 8×8(2N×2N)인 코딩단위(CU)를 제외하고는 모든 코딩단위(CU)에서 인터 N×N 모드, 인트라 N×N 모드를 제외한 모든 나머지 예측단위(PU)에 대하여 부호화를 수행한다.
예측방법은 크게 부호화중인 프레임 내에서 부호화된 블록으로부터 예측 값을 사용하여 예측하는 화면 내 예측 부호화 방법과 이전에 복원된 프레임으로부터 움직임을 추정하여 현재 프레임의 블록을 예측하는 화면 간 예측 부호화 방법으로 분류할 수 있다.
화면 내 예측 방법으로는 이전에 부호화된 해당 블록의 좌측, 좌측하단, 좌측상단, 상단, 우측상단의 화소 값을 이용하여 여러 방향으로 예측을 수행하는 통합된 화면 내 예측 방법(Unified Intra Prediction)이 사용되고 있다.
도 3 은 통상적인 인트라 예측 모드의 방향을 나타낸 도면이다.
*도 3 을 참조하면, 인트라 예측 모드는 DC (Direct Current) 모드, 플라나 (Planar) 모드와 총 33가지의 예측 방향를 가진 각도 (Angular) 모드를 포함하는 총 35가지의 예측 모드가 있다.
비디오의 화면 간 예측 방법(Inter predictive coding)에는 영상 프레임을 분할해서 이전에 부호화된 프레임으로부터 움직임을 추정하여 현재의 블록을 예측하는 움직임보상을 사용하고 있다.
화면 내 예측방법 또는 화면 간 예측방법으로 하나의 예측블록이 만들어지게 되면 현재블록의 원 화소값과 예측블록의 예측값 간의 차이값을 계산하여 잔차신호를 생성한다. 잔차신호를 이용하여 주파수변환블록으로 변환하고 이를 양자화(Quantization)시켜 주파수계수블록을 형성한다.
변환과 양자화(Quantization)의 기본 단위는 변환단위(Transform Unit)이다.
도 4 는 하나의 변환단위(TU)와 변환단위(TU)와 관련된 플래그의 예시를 보여준다.
도 4 를 참조하면 변환단위(TU)는 코딩단위(CU)와 비슷한 형태의 쿼드트리 형태이며, 변환단위(TU)의 크기가 현재 코딩단위(CU)와 같을 때의 깊이를 0으로 하여 임의로 지정된 깊이까지 반복적으로 변환과 양자화를 수행한다. 변환단위(TU)의 크기는 해당 코딩단위(CU)의 크기보다 같거나 작으며, 예측단위(PU)의 크기와는 무관하다. 변환단위(TU)의 깊이 별 분열변환플래그(split transform flag)를 영상 복호화 장치로 전송하여 최저 율-왜곡 값(RD cost)을 가지는 변환단위(TU)의 크기에 대한 정보를 전송한다. 분열변환플래그(split transform flag)가 1이면 해당 깊이의 변환단위(TU)보다 최저 율-왜곡 값(RD cost)를 가지는 변환단위(TU)의 깊이가 낮음을 의미한다. 부호화된 블록 플래그(cbf)가 0 이면 양자화의 결과로 나온 주파수계수블록 내 계수가 모두 0임을 의미한다.
따라서, 통상적인 영상 부호화장치는 기능에 따라 여러 후보의 코딩단위(CU), 예측단위(PU), 변환단위(TU)를 두고 율-왜곡 값(RD cost) 최적화 기법에 따라 최적의 단위를 구한 후 해당 단위로 부호화한 결과를 영상 복호화장치에 정보를 전송한다.
이처럼, 한 코딩단위(CU)내의 모든 예측단위(PU)에 대해 율-왜곡 값(RD cost)을 구하는 방법은 예측 순서상 가장 마지막인 인트라 N×N 모드가 최적 모드로 결정되는 경우에는 효율적이나, 예측 순서상 가장 첫 번째인 인터 2N×2N 모드가 최적 모드로 결정되는 경우에는 시간 상 비효율적이다.
이러한 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 한 코딩단위(CU)내에서 여러 예측단위(PU) 부호화 시 직전에 부호화된 양자화된 주파수변환계수가 모두 0인 경우 이후의 예측단위(PU)의 부호화를 모두 생략함으로 통상적인 부호화 효율을 유지하면서 영상 부호화에 걸리는 시간을 단축시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 실시예는, 영상을 부호화/복호화하는 장치에 있어서, 현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 기준으로 예측 블록을 생성하고, 상기 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록을 변환 주파수변환블록을 생성하고, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하고, 상기 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 모든 예측단위(PU)의 부호화를 모두 생략한 뒤 최적 예측단위(PU)로 결정하고, 최적 예측단위(PU)의 주파수 변환 블록을 비트스트림으로 부호화하는 부호화부 영상 부호화기; 및 비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차 블록을 복원하고 복원할 현재 블록의 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하고 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 실시예는, 영상을 부호화하는 장치에 있어서, 현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 기준으로 예측 블록을 생성하는 예측부; 상기 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는 감산부; 상기 잔차 블록을 변환 주파수변환블록을 생성하는 변환부; 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화부; 상기 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 모든 예측단위(PU)의 부호화를 모두 생략한 뒤 최적 예측단위(PU)로 결정하고, 최적 예측단위(PU)의 주파수 변환 블록을 비트스트림으로 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
상기 다수의 부호화 된 예측단위(PU)들 중 최적의 예측단위(PU)는, 율-왜곡 값이 가장 낮은 예측단위(PU)로 결정할 수 있다.
상기 율-왜곡 값은, 부호화 된 비트스트림의 크기와, 상기 현재 블록과 예측 블록의 차이와, 양자화 매개변수(Quantization Parameter)를 포함하는 값을 사용할 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 부호화된 블록 형태(coded block pattern)이 0일 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 휘도성분의 부호화된 블록 플래그(coded block flag)가 0일 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 휘도성분의 부호화된 블록 플래그(coded block flag)와 두 색차성분의 부호화된 블록 플래그(coded block flag)가 모두 0일 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 휘도성분의 부호화된 블록 플래그(coded block flag)와 하나의 색차성분의 부호화된 블록 플래그(coded block flag)가 모두 0일 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 양자화된 주파수변환 블록을 생성하는 복호화부; 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 역양자화 및 역변환부; 상기 주파수변환블록을 역변환하여 잔차 블록을 복원하는 역변환부; 복원할 현재 블록의 예측블록을 생성하는 예측부; 및 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하는 가산부; 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
상기 역양자화부, 상기 역변환부 및 상기 가산부는, 양자화된 주파수변환계수가 0이외의 값을 포함하고 있지 않다면 동작을 생략하고 상기 예측부는 생성된 예측값을 현재 블록으로 복원할 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 부호화된 블록 형태(coded block pattern)이 0일 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 휘도성분의 부호화된 블록 플래그(coded block flag)가 0일 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 휘도성분의 부호화된 블록 플래그(coded block flag)와 두 색차성분의 부호화된 블록 플래그(coded block flag)가 모두 0일 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 휘도성분의 부호화된 블록 플래그(coded block flag)와 하나의 색차성분의 부호화된 블록 플래그(coded block flag)가 모두 0일 수 있다.
전술한 목적을 달성하기 위해 본 발명의 실시예는, 영상을 부호화/복호화하는 방법에 있어서, 현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 기준으로 예측 블록을 생성하고, 상기 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록을 변환 주파수변환블록을 생성하고, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하고, 상기 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 모든 예측단위(PU)의 부호화를 모두 생략한 뒤 최적 예측단위(PU)로 결정하고, 최적 예측단위(PU)의 주파수 변환 블록을 비트스트림으로 부호화하는 부호화부 영상 부호화단계; 및 비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차 블록을 복원하고 움직임 벡터에 의해 참조되는 참조블록으로부터 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하고 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 실시예는, 영상을 부호화하는 방법에 있어서, 현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 기준으로 예측 블록을 생성하는 예측단계; 상기 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는 감산단계; 상기 잔차 블록을 변환 주파수변환블록을 생성하는 변환단계; 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화단계; 상기 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 모든 예측단위(PU)의 부호화를 모두 생략한 뒤 최적 예측단위(PU)로 결정하고, 최적 예측단위(PU)의 주파수 변환 블록을 비트스트림으로 부호화하는 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
상기 다수의 부호화 된 예측단위(PU)들 중 최적의 예측단위(PU)는, 율-왜곡 값이 가장 낮은 예측단위(PU)로 결정할 수 있다.
상기 율-왜곡 값은, 부호화 된 비트스트림의 크기와, 상기 현재 블록과 예측 블록의 차이와, 양자화 매개변수(Quantization Parameter)를 포함하는 값을 사용할 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 부호화된 블록 형태(coded block pattern)이 0일 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 휘도성분의 부호화된 블록 플래그(coded block flag)와 두 색차성분의 부호화된 블록 플래그(coded block flag) 중 하나 이상의 성분의 부호화된 블록 플래그가 모두 0일 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 양자화된 주파수변환 블록을 생성하는 복호화단계; 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 역양자화 및 역변환단계; 상기 주파수변환블록을 역변환하여 잔차 블록을 복원하는 역변환단계; 복원할 현재 블록의 예측블록을 생성하는 예측단계; 및 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하는 가산단계; 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
상기 영상 복호화 방법은, 양자화된 주파수변환계수가 0이외의 값을 포함하고 있지 않다면, 상기 역양자화단계, 상기 역변환단계 및 상기 가산단계는 모두 생략되고 상기 예측단계에서 생성된 예측값을 현재 블록으로 복원할 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 부호화된 블록 형태(coded block pattern)이 0일 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 부호화된 블록 형태(coded block pattern)이 0일 수 있다.
0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는, 휘도성분의 부호화된 블록 플래그(coded block flag)와 두 색차성분의 부호화된 블록 플래그(coded block flag) 중 하나 이상의 성분의 부호화된 블록 플래그가 모두 0일 수 있다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 부호화하고자 하는 현재 코딩단위(CU)에서 추정된 최적 예측단위(PU) 부호화 이후 모든 예측단위(PU)의 부호화를 생략함으로써 또한 조건에 따라 역양자화 및 역변환을 생략함으로써, 통상적인 부호화기의 성능을 유지하면서 부호화에 걸리는 시간을 단축시키는 효과가 있다.
도 1은 코딩단위(CU)의 크기와 쿼드트리 형태를 나타낸 도면이다.
도 2는 한 코딩단위(CU)내에서 부호화되는 예측단위(PU)의 종류와 순서를 나타낸 도면이다.
도 3은 통상적인 인트라 모드의 방향을 나타낸 도면이다.
도 4는 변환단위(TU)의 쿼드트리 형태와 부호화된 블록 플래그(cbf)와 분열변환 플래그와의 관계를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 6는 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
도 7은 본 발명의 일 실시예에 따른 코딩단위(CU)내에서 예측단위(PU) 결정을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
도 5는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(500)는 영상의 현재 블록을 휘도 성분의 움직임 벡터 값을 이용하여 색차 성분의 서브샘플 예측값을 생성하여 영상을 부호화하는 장치로서, 도 6에 도시한 바와 같이, 예측부(510), 감산부(520), 변환부(530), 양자화부(540) 및 부호화부(550)를 포함하여 구성될 수 있다.
부호화하고자 하는 입력 영상은 코딩단위(Coding Unit)로 입력이 되는데, 본 발명에서, 코딩단위(Coding Unit)는 N×N 블록 형태일 수 있으며 N은 2n의 크기를 가진다. 코딩단위는 쿼드트리(Quad Tree)의 형태로 이루어질 수 있으며 가장 큰 코딩단위(Largest Coding Unit)로부터 지정된 깊이까지 반복적(Recursive)으로 부호화를 수행한다.
하나의 코딩단위(CU)내에서 예측단위(Prediction Unit)별로 예측이 되는데, 이 때, 부호화기에서 예측단위(PU)는 NxM 블록 형태이며 N과 M은 각각 2n, 2m(n>0, M>0)의 크기를 가진다. 하나의 코딩단위(CU) 내에서 예측의 종류는 도 2에 도시한 바와 같이, 예컨대 4개의 인터 예측단위와 2개의 인트라 예측단위(PU)를 가질 수 있으며, 모든 예측단위(PU)에 대해 코딩을 수행하여 압축효율이 가장 좋은 예측단위(PU)의 정보를 영상 복호화장치로 전송한다.
도 7은 예측 부호화 순서를 도시한 도면이다.
압축효율에 대한 기준은 영상 정보 전송에 필요한 비트 수와 원본블록과 예측블록간의 차이값을 포함하는 율-왜곡 값(Rate Distortion cost)이다. 도 7에 도시하듯이 현재 예측단위의 부호화 결과에 대한 율-왜곡 값을 계산하고(S710), 양자화된 주파수변환계수 중에 0이 아닌 값이 있는지를 판단하여(S720), 만약 코딩된 예측단위의 양자화된 주파수 변환 계수가 모두 0이 될 경우 율-왜곡 값(RD cost)이 충분히 낮다고 판단하여 해당 코딩단위(CU)의 부호화는 종료되고, 해당 양자화된 주파수 변환 계수가 모두 0인 예측단위(PU)에 대한 정보를 영상 복호화장치로 전송하고, 양자화된 주파수변환계수 중에 0이 아닌 값이 있으면 다음 예측 단위의 부호화 및 율-왜곡 값을 계산한다(S730).
예측부(510)는 현재 코딩단위(CU)의 예측단위(PU)를 예측하기 위하여 다른 프레임을 이용하여 예측 블록을 생성하거나 이미 부호화 된 좌측과 상단의 화소값을 이용하여 예측블록을 생성한다. 즉, 화면 내 예측모드에서 예측부(510)는 이미 부호화 과정을 거치고 복원 된 상단과 좌측의 코딩단위(CU)정보를 이용하여 예측모드를 결정하고 이 예측모드를 이용하여 예측블록을 생성하는 반면, 화면 간 예측모드에서 예측부(510)는 이미 부호화 과정을 거치고 복원된 이전 프레임에서 움직임 추정을 통해 움직임 벡터를 생성하고 이 움직임 벡터를 이용한 움직임 보상 과정에서 예측 블록을 생성할 수 있다.
감산부(520)는 현재 블록의 각 화소의 원 화소값과 예측부(510)가 생성한 예측값의 차이값을 계산하여 잔차신호를 생성한다.
변환부(530)는 감산부(520)에 의해 생성된 잔차신호를 주파수 영역으로 변환한다. 변환부(530)는 변환단위(Transform Unit)로 변환이 되는데, 변환단위(TU)는 N×N 블록 형태이며 N은 2n의 크기를 가진다. 변환부(530)에서 현재 예측단위(PU)에 대하여 예측이 모두 수행된 직후에 변환단위(TU) 별로 순차적으로 변환이 수행되며, 변환단위(TU)의 크기는 해당 코딩단위(CU)의 크기보다 같거나 작으며, 해당 예측단위(PU)의 크기와는 무관하다. 변환단위(TU)는 코딩단위(CU)와 같은 쿼드트리 형태를 가질 수 있며, 코딩단위(CU)의 크기로부터 임의로 지정된 깊이까지 반복적으로으로 변환을 수행한다. 이 때 변환단위(TU)의 깊이 별 분열변환플래그(split transform flag)를 영상 복호화장치로 전송하여 최저 율-왜곡 값(RD cost)을 가지는 변환단위(TU)의 크기에 대한 정보를 전송한다. 여기서, 변환부(530)는 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT 변환'이라 칭함) 또는 웨이블릿 변환(Wavelet Transform) 등의 시간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차신호를 주파수 영역으로 변환할 수 있다.
양자화부(540)는 변환부(530)에 의해 주파수 영역으로 변환된 잔차신호로 이루어진 주파수변환블록을 양자화(Quantization)한다. 이 때 양자화된 변환계수가 모두 0 이 되는 휘도신호와 색차신호의 변환단위(TU)에 대하여 계수가 0임을 의미하는 부호화된 블록 플래그(cbf)를 전송한다. 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스 (Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법을 이용할 수 있다.
부호화부(550)는 양자화부(540)에 의해 양자화된 주파수 계수로 이루어진 양자화된 주파수변환블록을 비트스트림으로 부호화한다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다.
또한, 부호화부(550)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수 계수가 부호화 된 비트열이 포함되는 필드와 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트가 포함되는 필드를 포함할 수 있다.
역양자화부(560)는 변환 및 양자화된 잔차 블록(즉, 양자화된 주파수변환블록)을 역 양자화(Inverse Quantization)하여 주파수변환블록을 복원하고, 역변환부(570)는 역양자화된 주파수변환블록을 역 변환(Inverse Transform)하여 잔차 블록을 복원(Reconstruction)한다. 여기서, 역 양자화와 역 변환은 변환부(530)가 수행한 변환 과정과 양자화부(540)가 수행한 양자화 과정을 각각 역으로 수행함으로써 이루어질 수 있다. 즉, 역양자화부(560) 및 역변환부(570)는 변환부(530) 및 양자화부(540)로부터 발생되어 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 역 양자화 및 역 변환을 수행할 수 있다.
가산부(580)는 예측부(510)에서 생성된 예측 블록과 역변환부(570)에 의해 생성된 잔차 블록을 가산하여 복원된 블록을 생성한다.
프레임 메모리(590)는 가산부(580)에서 복원된 블록을 저장하여 인트라 혹은 인터 예측 수행 시 예측 블록을 생성하기 위해 참조블록으로 사용된다.
도 6은 본 발명의 실시예에 따라 현재 코딩단위(CU)에서 다수의 예측단위(PU)를 부호화하고 최적의 예측단위(PU)를 결정하는 과정을 설명하기 위한 예시도이다.
도 6의 예측단위(PU)의 성능은 수학식 1의 율-왜곡 값(RD cost)에 의해 결정된다.
수학식 1
Figure PCTKR2012005077-appb-M000001
수학식 1에서 예측단위(PU)가 MxM의 크기인 경우를 예로 든 것이고, 수학식 1의 율-왜곡 값(RDcost)에서 왜곡(Distortion)값은 원 화소값과 예측부(510)가 생성한 예측값의 차이값을 제곱하여 모두 더한 값을 나타낸다. 수학식 1에서 B(k, l) 는 예측단위(PU) 내의 (k, l)좌표의 하나의 원 화소값을 뜻하고, B'(k, l)는 하나의 예측 화소값을 뜻한다. 수학식 1에서 율(Rates) 값은 하나의 예측단위(PU)가 예측부, 변환부, 양자화부를 모두 거쳤을 때의 총 부호화된 비트 수를 나타낸다. 즉, 여기서 최적의 예측단위(PU)는 원 화소값과 예측화소값의 차이값이 가장 적고. 예측부에서 양자화부 까지의 부호화 과정을 모두 거쳤을 때, 부호화된 비트 수가 가장 적은 예측단위(PU)를 나타낸다.
여기서, 한 예측단위(PU)에 대해서 율-왜곡 값을 계산하는 것은 예측단위(PU)간의 정확한 비교가 가능하나, 모든 예측단위(PU)에 대한 부호화 과정을 거쳐야 하므로 계산복잡도가 높은 단점이 있다.
부호화를 끝낸 예측단위(PU)의 양자화된 주파수변환계수가 모두 0이라면, 모든 예측단위에 들어가는 움직임 벡터, 예측 모드와 같은 외적 정보(Side information)에 할당 된 비트 외에는 부호화 할 때 비트를 소요하지 않는다. 또한, 양자화된 주파수변환계수가 모두 0이 되기 위해서는 변환부, 양자화부를 거치기 전의 잔차 신호가 충분히 적다는 것을 의미한다. 즉, 양자화된 주파수변환계수가 모두 0인 예측단위(PU)의 율-왜곡 값은 같은 코딩단위(CU) 내의 다른 예측단위(PU)의 율-왜곡값과 비교했을 때 최적의 예측단위(PU)가 되기에 충분하다.
여기서 사용한 부호화 방법 또는 부호화 장치는 현재 예측단위(PU)의 부호화가 모두 끝났을 때 결과로 나온 양자화된 주파수변환계수가 모두 0이 되었다면, 해당 코딩단위(CU)의 부호화를 종료시켜 계산복잡도를 줄이는 부호화 방법 또는 부호화 장치이다.
*여기서, 양자화된 주파수변환계수가 모두 0이 되었다는 것은 부호화된 블록 형태(cbp)또는 부호화된 블록 플래그(cbf)로 나타낼 수 있다. 이 때, 부호화된 블록 플래그(cbf)는 휘도성분과 색차성분마다 하나씩 가지고 있다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도이다.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 복호화 장치(600)는 영상의 현재 예측단위 블록의 양자화된 주파수변환신호를 이용하여 신호의 역 양자화 및 역 변환과정을 생략하여 복호화하는 장치로서, 복호화부(610), 역양자화부(620), 역변환부(630), 가산부(640) 및 예측부(650)를 포함하여 구성된다.
복호화부(610)는 비트스트림을 복호화하여 양자화된 주파수변환블록을 추출한다.
복호화부(610)는 부호화 데이터를 복호화하여 양자화된 주파수변환블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터(즉, 비트스트림) 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 코딩단위(CU), 예측단위(PU), 변환단위(TU)의 크기에 대한 정보, 부호화된 코딩 형태(cbp), 부호화된 코딩 플래그(cbf)에 대한 정보, 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있으며, 이외의 다양한 정보들이 될 수 있다.
즉, 복호화부(610)는 영상 부호화 장치(500)에 의해 부호화된 데이터인 비트스트림을 복호화하여 영상의 현재 블록에 대한 화소 정보를 포함하고 있는 양자화된 주파수변환 블록을 추출하고, 추출된 예측에 필요한 정보를 예측부(850)로 전달한다.
*예측부(650)는 복호화부(610)로부터 전달된 예측에 필요한 정보를 이용하여 영상 부호화 장치(500)의 예측부(510)와 동일한 방식으로 현재 블록을 예측할 수 있다.
역양자화부(620)는 복호화부(610)에 의해 비트스트림으로부터 추출된 양자화된 주파수변환 블록을 역 양자화한다. 역변환부(630)는 역양자화부(620)에 의해 역 양자화된 주파수변환 블록을 시간 영역으로 역 변환한다.
가산부(640)는 역변환부(630)에 의해 역 변환되어 복원된 잔차신호와 예측부(650)에 의해 예측 화소값을 더하여 현재 블록의 원 화소값을 복원한다.
본 발명의 일 실시예에 따른 영상 복호화 장치(600)의 역양자화부(620), 역변환부(630), 가산부(640)는 만약 양자화된 주파수변환계수가 모두 0일 때, 즉, 비트스트림에 해당하는 블록의 양자화된 주파수변환계수를 포함하지 않을 때는 생략하고 예측부(650)에 의해 생성된 예측화소값이 그대로 프레임메모리로 전달된다.
가산부(640) 또는 예측부(650)에 의해 복원된 현재 블록은 프레임 메모리(660)로 전달되어, 예측부(650)에서 다른 블록을 예측하는 데 활용될 수 있다.
프레임 메모리(660)는 복원된 영상을 저장하여 인트라 예측 블록 및 인터 예측 블록 생성을 가능하게 한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 5의 영상 부호화 장치(500)의 비트스트림 출력단을 도 6의 영상 복호화 장치(600)의 비트스트림 입력단에 연결하여 구성될 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 기준으로 예측 블록을 생성하고, 상기 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록을 변환하여 주파수변환블록을 생성하고, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하고, 상기 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 모든 예측단위(PU)의 부호화를 모두 생략한 뒤 상기 예측단위(PU)를 최적 예측단위(PU)로 결정하고, 최적 예측단위(PU)의 양자화된 주파수 변환 블록을 비트스트림으로 부호화하는 부호화부 영상 부호화기 및 비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하고 상기 주파수변환블록을 역변환하여 잔차 블록을 복원하고 움직임 벡터에 의해 참조되는 참조블록으로부터 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하거나 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화기를 포함한다.
여기서 영상 부호화기는 본 발명의 일 실시예에 따른 영상 부호화 장치(500)로 구현 가능하며, 영상 복호화기는 본 발명의 일 실시예에 따른 영상 복호화 장치(600)로 구현 가능하다.
도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
즉, 영상 부호화 장치(500)는 영상의 현재 블록을 움직임 벡터 값을 이용하여 예측값을 생성하는 예측단계(810), 현재 블록의 원 화소값과 예측 화소값의 차이값을 계산하여 잔차신호를 생성하는 감산단계(820), 생성된 잔차신호를 DCT 변환 또는 웨이블릿 변환 등을 이용하여 주파수 영역으로 변환하는 변환단계(830), 주파수 영역으로 변환된 잔차신호를 양자화하는 양자화단계(840), 최적의 양자화된 주파수변환 잔차신호를 결정하여 비트스트림으로 부호화하는 부호화단계(850)를 거쳐 영상을 부호화한다.
여기서, 예측단계(810)는 예측부(510)의 기능에, 감산단계(820)는 감산부(520)의 기능에, 변환단계(830)는 변환부(530)의 기능에, 양자화단계(840)는 양자화부(540)의 기능에, 부호화단계(850)는 부호화부(550)의 기능에 각각 대응되므로 상세한 설명은 생략한다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(600)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상의 현재 블록을 움직임 벡터 값을 이용하여 예측값을 생성하고 양자화된 주파수변환계수가 존재할 경우에만 역양자화되고 역변환된 잔차신호를 더한 원 화소값 영상을 복호화하여 복원한다.
이를 위해, 영상 복호화 장치(600)는 비트스트림을 복호화하여 영상의 현재 블록의 화소값에 대한 정보를 나타내는 양자화된 주파수변환 잔차신호를 추출하는 복호화단계(910). 양자화된 주파수변환 잔차신호를 역 양자화하는 역양자화단계(920), 역 양자화된 주파수변환 잔차신호를 시간 영역으로 역변환하는 역변환단계(930), 움직임 벡터 값을 이용하여 예측값을 생성하는 예측단계(940), 단계 930에서 복원된 현재 블록의 잔차신호와 단계 940에서 예측된 현재 블록의 각 화소의 예측 화소값을 더하여 현재 블록의 원 화소값을 복원하는 가산단계(950)를 거쳐 전송된 또는 양자화된 주파수변환 잔차신호가 없을 경우 예측단계(940)를 거쳐 전송된 비트스트림을 복호화한다.
여기서, 복호화단계(910)는 복호화부(610)의 동작에 대응되며, 역양자화단계(920)는 역양자화부(620)의 동작에 대응되며, 역변환단계(930)는 역변환부(630)의 동작에 대응되며, 예측단계(940)는 예측부(650)의 동작에 대응되며, 가산단계(950)는 가산부(640)의 동작에 대응되므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 기준으로 예측 블록을 생성하고 상기 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하고 상기 잔차 블록을 변환하여 주파수변환블록을 생성하고 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하고 상기 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 모든 예측단위(PU)의 부호화를 모두 생략한 뒤 최적 예측단위(PU)로 결정하고, 최적 예측단위(PU)의 주파수 변환 블록을 비트스트림으로 부호화하는 부호화부 영상 부호화단계 및 비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하고 상기 주파수변환블록을 역변환하여 잔차 블록을 복원하고 움직임 벡터에 의해 참조되는 참조블록으로부터 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하거나 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화단계를 포함한다.
여기서 영상 부호화단계는 본 발명의 일 실시예에 따른 영상 부호화 단계로 구현 가능하며, 영상 복호화단계는 본 발명의 일 실시예에 따른 영상 복호화 단계로 구현 가능하다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 한 코딩단위(CU)를 부호화 하는 데 있어서, 모든 예측단위(PU)를 부호화 하지 않고, 최적으로 판단된 예측단위(PU) 부호화 이후 상기 코딩단위(CU)의 부호화를 종료시켜 불필요한 부호화과정을 생략함으로써 코딩단위(CU)의 계산복잡도를 줄일 수 있으며, 복호화기에서도 불필요한 복호화과정을 생략하여 이를 통해 부호화 시간을 단축시키는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2011년 06월 30일 한국에 출원한 특허출원번호 제 10-2011-0065208 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (25)

  1. 영상을 부호화/복호화하는 장치에 있어서,
    현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 이용하여 현재 블록의 예측 블록을 생성하고, 상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록을 변환하여 주파수변환블록을 생성하고, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하고, 상기 양자화된 주파수변환블록이 0이외의 값을 포함하고 있지 않다면, 이후의 예측을 생략한 뒤 상기 예측단위를 최적 예측단위(PU)로 결정하고, 상기 최적 예측단위(PU)의 주파수 변환 블록을 비트스트림으로 부호화하는 영상 부호화기; 및
    비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차 블록을 복원하고 복원할 현재 블록의 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하고 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  2. 영상을 부호화하는 장치에 있어서,
    현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 이용하여 현재 블록의 예측 블록을 생성하는 예측부;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산부;
    상기 잔차 블록을 변환하여 주파수변환블록을 생성하는 변환부;
    상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화부;
    상기 양자화된 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 예측을 생략하고, 상기 예측단위를 최적 예측단위(PU)로 결정하고, 상기 최적 예측단위(PU)의 상기 양자화된 주파수 변환 블록을 비트스트림으로 부호화하는 부호화부;
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 2항에 있어서,
    상기 다수의 부호화 된 예측단위(PU)들 중 최적의 예측단위(PU)는,
    율-왜곡 값이 가장 낮은 예측단위(PU)로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 2항에 있어서,
    상기 율-왜곡 값은,
    부호화 된 비트스트림의 크기와, 상기 현재 블록과 예측 블록의 차이와, 양자화 매개변수(Quantization Parameter)를 포함하는 값을 사용하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 2항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    부호화된 블록 형태(coded block pattern)이 0인 것을 특징으로 하는 영상 부호화 장치.
  6. 제 2항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    휘도성분의 부호화된 블록 플래그(coded block flag)가 0인 것을 특징으로 하는 영상 부호화 장치.
  7. 제 2항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    휘도성분의 부호화된 블록 플래그(coded block flag)와 두 색차성분의 부호화된 블록 플래그(coded block flag)가 모두 0인 것을 특징으로 하는 영상 부호화 장치.
  8. 제 2항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    휘도성분의 부호화된 블록 플래그(coded block flag)와 하나의 색차성분의 부호화된 블록 플래그(coded block flag)가 모두 0인 것을 특징으로 하는 영상 부호화 장치.
  9. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 양자화된 주파수변환 블록을 생성하는 복호화부;
    상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 역양자화 및 역변환부;
    상기 주파수변환블록을 역변환하여 잔차 블록을 복원하는 역변환부;
    복원할 현재 블록의 예측블록을 생성하는 예측부; 및
    상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하는 가산부;
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제 9항에 있어서,
    상기 역양자화부, 상기 역변환부 및 상기 가산부는, 양자화된 주파수변환계수가 0이외의 값을 포함하고 있지 않다면 동작을 생략하고
    상기 예측부는 생성된 예측값을 현재 블록으로 복원하는 것을 특징으로 하는 영상 복호화 장치.
  11. 제 9항 또는 제 10항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    부호화된 블록 형태(coded block pattern)이 0인 것을 특징으로 하는 영상 복호화 장치.
  12. 제 9항 또는 제 10항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    휘도성분의 부호화된 블록 플래그(coded block flag)가 0인 것을 특징으로 하는 영상 복호화 장치.
  13. 제 9항 또는 제 10항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    휘도성분의 부호화된 블록 플래그(coded block flag)와 두 색차성분의 부호화된 블록 플래그(coded block flag)가 모두 0인 것을 특징으로 하는 영상 복호화 장치.
  14. 제 9항 또는 제 10항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    휘도성분의 부호화된 블록 플래그(coded block flag)와 하나의 색차성분의 부호화된 블록 플래그(coded block flag)가 모두 0인 것을 특징으로 하는 영상 복호화 장치.
  15. 영상을 부호화/복호화하는 방법에 있어서,
    현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 이용하여 현재 블록의 예측 블록을 생성하고, 상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록을 변환 주파수변환블록을 생성하고, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하고, 상기 양자화된 주파수변환블록이 0이외의 값을 포함하고 있지 않다면, 이후의 예측을 생략한 뒤 상기 예측단위를 최적 예측단위(PU)로 결정하고, 상기 최적 예측단위(PU)의 주파수 변환 블록을 비트스트림으로 부호화하는 영상 부호화단계; 및
    비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차 블록을 복원하고 복원할 현재 블록의 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하고 상기 양자화된 주파수변환블록이 모두 0인 값을 가질 경우 움직임 벡터에 의해 참조되는 참조블록만을 가지고 상기 복원할 현재 블록을 복원하는 영상 복호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법.
  16. 영상을 부호화하는 방법에 있어서,
    현재 코딩단위(CU) 부호화 시 한 예측단위(PU)를 이용하여 현재 블록의 예측 블록을 생성하는 예측단계;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산단계;
    상기 잔차 블록을 변환 주파수변환블록을 생성하는 변환단계;
    상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화단계;
    상기 주파수 변환 블록이 0이외의 값을 포함하고 있지 않다면, 이후의 예측을 생략하고, 상기 예측단위를 최적예측단위로 결정하고, 상기 최적예측단위의 상기 주파수 변환 블록을 비트스트림으로 부호화하는 부호화단계;
    를 포함하는 것을 특징으로 하는 것을 특징으로 하는 영상 부호화 방법.
  17. 제 17항에 있어서,
    상기 다수의 부호화 된 예측단위(PU)들 중 최적의 예측단위(PU)는,
    율-왜곡 값이 가장 낮은 예측단위(PU)로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  18. 제 17항에 있어서,
    상기 율-왜곡 값은,
    부호화 된 비트스트림의 크기와, 상기 현재 블록과 예측 블록의 차이와, 양자화 매개변수(Quantization Parameter)를 포함하는 값을 사용하는 것을 특징으로 하는 영상 부호화 방법.
  19. 제 17항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    부호화된 블록 형태(coded block pattern)이 0인 것을 특징으로 하는 영상 부호화 방법.
  20. 제 17항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    휘도성분의 부호화된 블록 플래그(coded block flag)와 두 색차성분의 부호화된 블록 플래그(coded block flag) 중 하나 이상의 성분의 부호화된 블록 플래그가 모두 0인 것을 특징으로 하는 영상 부호화 방법.
  21. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 양자화된 주파수변환 블록을 생성하는 복호화단계;
    상기 양자화된 주파수변환블록이 0이 아닌 값을 가지고 있을 경우 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 역양자화 및 역변환단계;
    상기 주파수변환블록을 역변환하여 잔차 블록을 복원하는 역변환단계;
    복원할 현재 블록의 예측블록을 생성하는 예측단계;
    및 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록을 복원하는 가산단계;
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  22. 제 21항에 있어서,
    상기 영상 복호화 방법은,
    양자화된 주파수변환계수가 0이외의 값을 포함하고 있지 않다면, 상기 역양자화단계, 상기 역변환단계 및 상기 가산단계는 모두 생략되고 상기 예측단계에서 생성된 예측값을 현재 블록으로 복원하는 것을 특징으로 하는 영상 복호화 방법.
  23. 제 21항 또는 제 22항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    부호화된 블록 형태(coded block pattern)이 0인 것을 특징으로 하는 영상 복호화 방법.
  24. 제 21항 또는 제 22항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    부호화된 블록 형태(coded block pattern)이 0인 것을 특징으로 하는 영상 복호화 방법.
  25. 제 21항 또는 제 22항에 있어서,
    0 이외의 값을 포함하고 있지 않은 양자화된 주파수변환계수는,
    휘도성분의 부호화된 블록 플래그(coded block flag)와 두 색차성분의 부호화된 블록 플래그(coded block flag) 중 하나 이상의 성분의 부호화된 블록 플래그가 모두 0인 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2012/005077 2011-06-30 2012-06-27 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치 Ceased WO2013002550A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280032450.8A CN103650499A (zh) 2011-06-30 2012-06-27 通过高速编码单位模式决策进行编码/解码的方法及设备
US14/140,367 US9565443B2 (en) 2011-06-30 2013-12-24 Method and apparatus for coding/decoding through high-speed coding unit mode decision
US15/170,853 US9986245B2 (en) 2011-06-30 2016-06-01 Method and apparatus for decoding a video using an intra prediction
US15/966,597 US10116942B2 (en) 2011-06-30 2018-04-30 Method and apparatus for decoding a video using an intra prediction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110065208A KR101955374B1 (ko) 2011-06-30 2011-06-30 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR10-2011-0065208 2011-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/140,367 Continuation US9565443B2 (en) 2011-06-30 2013-12-24 Method and apparatus for coding/decoding through high-speed coding unit mode decision

Publications (2)

Publication Number Publication Date
WO2013002550A2 true WO2013002550A2 (ko) 2013-01-03
WO2013002550A3 WO2013002550A3 (ko) 2013-03-14

Family

ID=47424661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005077 Ceased WO2013002550A2 (ko) 2011-06-30 2012-06-27 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치

Country Status (4)

Country Link
US (3) US9565443B2 (ko)
KR (1) KR101955374B1 (ko)
CN (1) CN103650499A (ko)
WO (1) WO2013002550A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112655213A (zh) * 2018-09-12 2021-04-13 松下知识产权经营株式会社 变换装置、解码装置、变换方法以及解码方法
CN115914625A (zh) * 2016-08-01 2023-04-04 韩国电子通信研究院 图像编码/解码方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101711894B1 (ko) * 2015-04-21 2017-03-03 한국항공대학교산학협력단 상위깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치
US10015504B2 (en) * 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
KR102821962B1 (ko) * 2016-08-22 2025-06-20 코닌클리케 필립스 엔.브이. 보안 카메라용 영상 코덱에서 블록 분할 정보 전송 방법 및 장치
KR102315926B1 (ko) 2016-10-10 2021-10-21 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10523966B2 (en) * 2017-03-31 2019-12-31 Mediatek Inc. Coding transform blocks
EP3879826B1 (en) 2017-05-31 2022-08-03 LG Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
AU2018295861C1 (en) 2017-07-04 2023-03-16 Samsung Electronics Co., Ltd. Video decoding method and apparatus using multi-core transform, and video encoding method and apparatus using multi-core transform
US11729416B2 (en) * 2017-12-29 2023-08-15 Intel Corporation Modular motion estimation engine for tree-based video
CN115022631B (zh) * 2018-01-05 2025-09-09 Sk电信有限公司 对视频进行编码或解码的方法和非暂时性计算机可读介质
KR102595372B1 (ko) * 2018-12-17 2023-10-27 엘지전자 주식회사 고주파 제로잉을 기반으로 변환 계수 스캔 순서를 결정하는 방법 및 장치
HUE068613T2 (hu) * 2019-03-15 2025-01-28 Samsung Electronics Co Ltd Kép kódolási eljárás és eszköz, kép dekódolási eljárás és eszköz
CN111741302B (zh) * 2020-08-07 2021-05-14 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读介质及电子设备
CN114501010B (zh) * 2020-10-28 2023-06-06 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK0587783T3 (da) * 1991-06-04 1998-05-04 Qualcomm Inc Billedkompressionssystem med adaptiv blokstørrelse
US5886741A (en) * 1995-08-18 1999-03-23 Texas Instruments Incorporated Method and apparatus for improved video coding using a zero block predictor module
US6996595B2 (en) * 2001-05-16 2006-02-07 Qualcomm Incorporated Apparatus and method for consolidating output data from a plurality of processors
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7599435B2 (en) * 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US8116374B2 (en) * 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
US20060008009A1 (en) * 2004-07-09 2006-01-12 Nokia Corporation Method and system for entropy coding for scalable video codec
KR100612015B1 (ko) * 2004-07-22 2006-08-11 삼성전자주식회사 컨텍스트 적응형 이진 산술 부호화 방법 및 그 장치
KR100627329B1 (ko) * 2004-08-19 2006-09-25 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
KR101042623B1 (ko) * 2004-11-17 2011-06-20 삼성전자주식회사 필드 가변분할방식을 이용한 디인터레이싱방법 및 장치
KR100878812B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080165849A1 (en) * 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8306112B2 (en) * 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
KR100867995B1 (ko) * 2006-01-07 2008-11-10 한국전자통신연구원 동영상 데이터 인코딩/디코딩 방법 및 그 장치
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8363936B2 (en) * 2006-08-25 2013-01-29 Thomson Licensing Method and apparatus for reduced resolution partitioning
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US7573407B2 (en) * 2006-11-14 2009-08-11 Qualcomm Incorporated Memory efficient adaptive block coding
US20090147849A1 (en) * 2007-12-07 2009-06-11 The Hong Kong University Of Science And Technology Intra frame encoding using programmable graphics hardware
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US20090161757A1 (en) * 2007-12-21 2009-06-25 General Instrument Corporation Method and Apparatus for Selecting a Coding Mode for a Block
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8687692B2 (en) * 2008-08-12 2014-04-01 Lg Electronics Inc. Method of processing a video signal
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CN102648631B (zh) * 2009-12-01 2016-03-30 数码士控股有限公司 用于编码/解码高分辨率图像的方法和设备
KR20110065089A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US20110243222A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
US8942282B2 (en) * 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
US8576097B2 (en) * 2010-07-06 2013-11-05 Nokia Corporation Coding using a mapping between a syntax element and a code word
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
US20120063515A1 (en) * 2010-09-09 2012-03-15 Qualcomm Incorporated Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
WO2013008438A1 (ja) * 2011-07-11 2013-01-17 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914625A (zh) * 2016-08-01 2023-04-04 韩国电子通信研究院 图像编码/解码方法
CN112655213A (zh) * 2018-09-12 2021-04-13 松下知识产权经营株式会社 变换装置、解码装置、变换方法以及解码方法

Also Published As

Publication number Publication date
US20140105284A1 (en) 2014-04-17
US10116942B2 (en) 2018-10-30
CN103650499A (zh) 2014-03-19
WO2013002550A3 (ko) 2013-03-14
US20180249162A1 (en) 2018-08-30
KR101955374B1 (ko) 2019-05-31
US9565443B2 (en) 2017-02-07
US20160277748A1 (en) 2016-09-22
US9986245B2 (en) 2018-05-29
KR20130003718A (ko) 2013-01-09

Similar Documents

Publication Publication Date Title
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2012096550A2 (ko) 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012077960A2 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
WO2011062392A2 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011004986A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2010032941A2 (ko) 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012093854A2 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2013005941A2 (ko) 영상 부호화 및 복호화 방법과 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2009157665A2 (ko) 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010038961A2 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013069996A1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2012077959A2 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12803571

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 12803571

Country of ref document: EP

Kind code of ref document: A2