[go: up one dir, main page]

WO2014042460A1 - 영상 부호화/복호화 방법 및 장치 - Google Patents

영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2014042460A1
WO2014042460A1 PCT/KR2013/008303 KR2013008303W WO2014042460A1 WO 2014042460 A1 WO2014042460 A1 WO 2014042460A1 KR 2013008303 W KR2013008303 W KR 2013008303W WO 2014042460 A1 WO2014042460 A1 WO 2014042460A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
nal unit
leading
nal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/008303
Other languages
English (en)
French (fr)
Inventor
헨드리헨드리
전용준
김철근
정상오
전병문
김정선
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020157006323A priority Critical patent/KR102167096B1/ko
Priority to KR1020227042534A priority patent/KR102515017B1/ko
Priority to KR1020227000377A priority patent/KR102397259B1/ko
Priority to KR1020207029208A priority patent/KR102215438B1/ko
Priority to KR1020227029148A priority patent/KR102477476B1/ko
Priority to KR1020217016212A priority patent/KR102349338B1/ko
Priority to US14/427,815 priority patent/US9794594B2/en
Priority to KR1020217003703A priority patent/KR102259794B1/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to KR1020227015441A priority patent/KR102444264B1/ko
Publication of WO2014042460A1 publication Critical patent/WO2014042460A1/ko
Anticipated expiration legal-status Critical
Priority to US15/710,985 priority patent/US10075736B2/en
Priority to US16/056,087 priority patent/US10602189B2/en
Priority to US16/785,114 priority patent/US10972757B2/en
Priority to US17/189,582 priority patent/US11477488B2/en
Priority to US17/896,359 priority patent/US11831922B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play

Definitions

  • the present invention relates to video compression techniques, and more particularly, to a method and apparatus for decoding image information in a bitstream.
  • video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
  • a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
  • UHD Ultra High Definition
  • the quality of the image for example, the image quality, the resolution of the image, the size of the image. It is necessary to provide scalability in the frame rate of video and the like. In addition, various image processing methods associated with such scalability should be discussed.
  • the present invention provides an image encoding / decoding method and apparatus capable of improving encoding / decoding efficiency.
  • the present invention provides a method and apparatus for extracting a bitstream capable of improving encoding / decoding efficiency.
  • the present invention provides a NAL unit type capable of improving encoding / decoding efficiency.
  • an image decoding method decodes the NAL unit by receiving a bitstream including information on a NAL unit type and checking whether the NAL unit in the bitstream is a reference picture based on the information on the NAL unit type.
  • the information on the NAL unit type is information indicating whether the NAL unit is a referenced picture or the NAL unit is a referenced picture.
  • an image decoding apparatus receives a bitstream including information about a NAL unit type, and determines whether the NAL unit in the bitstream is a reference picture based on the information on the NAL unit type to entropy decode the NAL unit. And an entropy decoding unit, wherein the information on the NAL unit type is information indicating whether the NAL unit is a referenced picture or the NAL unit is a leading picture.
  • a video encoding method may further include generating a residual signal for the current picture by performing inter prediction based on a current picture, and information on the NAL unit and the NAL unit generated based on the residual signal for the current picture. And transmitting a bitstream including a bit stream, wherein the information on the NAL unit includes information on a NAL unit type determined according to whether the NAL unit is a leading picture to which the NAL unit is referenced or a leading picture to which the NAL unit is not referenced. do.
  • an image encoding apparatus performs an inter prediction based on a current picture to generate a residual signal for the current picture, and a NAL unit and the NAL unit generated based on the residual signal for the current picture.
  • NAL unit type that provides whether a NAL unit is a reference picture referenced by another picture or a non-reference picture not referenced by another picture, it is possible to efficiently extract the NAL unit from the bitstream. In addition, by accurately deriving whether the NAL unit is a non-reference picture, it is possible to remove the NAL unit from the bitstream without affecting the decoding process.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a hierarchical structure of coded images processed by a decoding apparatus.
  • FIG. 4 illustrates a time layer structure for NAL units in a bitstream supporting time scalability.
  • FIG. 5 is a diagram illustrating a time layer structure for NAL units in a bitstream supporting time scalability to which the present invention can be applied.
  • FIG. 6 is a diagram for describing a picture that can be randomly accessed.
  • FIG. 7 is a diagram for explaining an IDR picture.
  • FIG. 8 is a diagram for explaining a CRA picture.
  • FIG. 9 is a diagram illustrating a time layer structure for NAL units including leading pictures in a bitstream supporting time scalability.
  • FIG. 10 is a diagram illustrating that NAL units including a leading picture are removed from a bitstream according to an embodiment of the present invention.
  • FIG. 11 is a flowchart schematically illustrating a method of decoding image information according to an embodiment of the present invention.
  • FIG. 12 is a block diagram schematically illustrating a decoding apparatus according to an embodiment of the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • the video encoding / decoding method or apparatus may be implemented by an extension of a general video encoding / decoding method or apparatus that does not provide scalability, and the block diagram of FIG. 1 is based on the scalable video encoding apparatus.
  • An embodiment of a video encoding apparatus that may be represented.
  • the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit block.
  • the block as the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). It may be called.
  • the processing unit blocks divided by the picture divider 105 may have a quad-tree structure.
  • the predictor 110 includes an inter predictor for performing inter prediction and an intra predictor for performing intra prediction, as described below.
  • the prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105.
  • the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
  • the prediction unit 110 may determine whether the prediction performed on the processing unit is inter prediction or intra prediction, and determine specific contents (eg, prediction mode, etc.) of each prediction method.
  • the processing unit in which the prediction is performed may differ from the processing unit in which specific contents of the prediction method and the prediction method are determined.
  • the method of prediction and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in a current picture.
  • a skip mode, a merge mode, a motion vector prediction (MVP), and the like can be used.
  • a reference picture may be selected for a PU and a reference block corresponding to the PU may be selected.
  • the reference block may be selected in integer pixel units.
  • a prediction block is generated in which a residual signal with the current PU is minimized and the size of the motion vector is also minimized.
  • the prediction block may be generated in integer sample units, or may be generated in sub-pixel units such as 1/2 pixel unit or 1/4 pixel unit.
  • the motion vector may also be expressed in units of integer pixels or less.
  • the residual may be used as the reconstructed block, and thus the residual may not be generated, transformed, quantized, or transmitted.
  • a prediction mode When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
  • the transform unit 115 performs transform on the residual block in units of transform blocks and generates transform coefficients.
  • the transform block is a rectangular block of samples to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transformer 115 may perform the transformation according to the prediction mode applied to the residual block and the size of the block.
  • the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform unit 115 may generate a transform block of transform coefficients by the transform.
  • the quantization unit 120 may generate quantized transform coefficients by quantizing the residual values transformed by the transform unit 115, that is, the transform coefficients.
  • the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
  • the reordering unit 125 rearranges the quantized transform coefficients provided from the quantization unit 120. By rearranging the quantized transform coefficients, the encoding efficiency of the entropy encoding unit 130 may be increased.
  • the reordering unit 125 may rearrange the quantized transform coefficients in the form of a 2D block into a 1D vector form through a coefficient scanning method.
  • the entropy encoding unit 130 may perform entropy encoding on the quantized transform coefficients rearranged by the reordering unit 125.
  • Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC).
  • the entropy encoding unit 130 may include quantized transform coefficient information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, and motion vector of the CUs received from the reordering unit 125 and the prediction unit 110.
  • Various information such as information, reference picture information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
  • the inverse quantizer 135 inversely quantizes the quantized values (quantized transform coefficients) in the quantizer 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantizer 135.
  • the reconstructed block may be generated by combining the residual values generated by the inverse quantizer 135 and the inverse transform unit 140 and the prediction blocks predicted by the prediction unit 110.
  • a reconstructed block is generated by adding a residual block and a prediction block through an adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
  • the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus according to an embodiment of the present invention.
  • the scalable video encoding / decoding method or apparatus may be implemented by extension of a general video encoding / decoding method or apparatus that does not provide scalability, and the block diagram of FIG. 2 shows scalable video decoding.
  • FIG. 2 shows scalable video decoding.
  • the video decoding apparatus 200 includes an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235.
  • Memory 240 may be included.
  • the input bitstream may be decoded according to a procedure in which image information is processed in the video encoding apparatus.
  • VLC variable length coding
  • CABAC CABAC
  • Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the predictor 230, and a residual value where entropy decoding is performed by the entropy decoding unit 210, that is, a quantized transform coefficient It may be input to the reordering unit 215.
  • the reordering unit 215 may reorder the information of the bitstream entropy decoded by the entropy decoding unit 210, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 may generate an array of coefficients (quantized transform coefficients) in the form of a 2D block by scanning coefficients based on the prediction mode applied to the current block (transform block) and the size of the transform block.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the video encoding apparatus.
  • the inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transformer 225 of the decoding apparatus may be Inverse transformation may be performed based on the performed transformation information.
  • the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 240.
  • intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
  • inter prediction on the current PU may be performed based on information included in at least one of a previous picture or a subsequent picture of the current picture.
  • motion information required for inter prediction of the current PU provided by the video encoding apparatus for example, a motion vector, a reference picture index, and the like, may be derived by checking a skip flag, a merge flag, and the like received from the encoding apparatus.
  • the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
  • FIG. 2 it is described that the reconstructed block is generated by combining the prediction block and the residual block in the adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the residual is not transmitted and the prediction block may be a reconstruction block.
  • the reconstructed block and / or picture may be provided to the filter unit 235.
  • the filter unit 235 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed block and / or picture.
  • SAO sample adaptive offset
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • Components directly related to the decoding of an image for example, an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit ( 235) and the like may be distinguished from other components by a decoder or a decoder.
  • the decoding apparatus 200 may further include a parsing unit (not shown) which parses information related to an encoded image included in the bitstream.
  • the parsing unit may include the entropy decoding unit 210 or may be included in the entropy decoding unit 210. Such a parser may also be implemented as one component of the decoder.
  • FIG. 3 is a diagram illustrating a hierarchical structure of coded images processed by a decoding apparatus.
  • a coded picture exists between the VCL (video coding layer) that handles the decoding process of the picture and itself, a subsystem for transmitting and storing coded information, and a network adaptation function that exists between the VCL and the subsystem. It is divided into NAL (network abstraction layer).
  • VCL data including compressed image data (slice data) is generated, or a picture parameter set (PSP), a sequence parameter set (SPS), and a video parameter set (Video Parameter Set: A Supplemental Enhancement Information (SEI) message may be generated in addition to a parameter set including information such as VPS) or an image decoding process.
  • PSP picture parameter set
  • SPS sequence parameter set
  • SEI Supplemental Enhancement Information
  • a NAL unit can be generated by adding header information (NAL unit header) to a raw byte sequence payload (RBSP) generated in a VCL.
  • the RBSP refers to slice data, parameter set, SEI message, etc. generated in the VCL.
  • the NAL unit header may include NAL unit type information specified according to RBSP data included in the corresponding NAL unit.
  • the NAL unit may be divided into a VCL NAL unit and a Non-VCL NAL unit according to the RBSP generated in the VCL.
  • VCL NAL unit means a NAL unit that contains information about the image (slice data)
  • Non-VCL NAL unit means a NAL unit that contains information (parameter set or SEI message) necessary to decode the image. do.
  • VCL NAL unit and Non-VCL NAL unit may be transmitted through a network by attaching header information according to the data standard of the subsystem.
  • the NAL unit may be transformed into data of a predetermined standard such as an H.264 / AVC file format, a real-time transport protocol (RTP), a transport stream (TS), etc., and transmitted through various networks.
  • a predetermined standard such as an H.264 / AVC file format, a real-time transport protocol (RTP), a transport stream (TS), etc.
  • the NAL unit may be specified with the NAL unit type according to the RBSP data structure included in the corresponding NAL unit, and information on the NAL unit type may be stored and signaled in the NAL unit header.
  • the NAL unit may be classified into a VCL NAL unit type and a Non-VCL NAL unit type according to whether or not the NAL unit includes information (slice data) about an image.
  • the VCL NAL unit type may be classified according to the nature and type of pictures included in the VCL NAL unit, and the non-VCL NAL unit type may be classified according to the type of the parameter set.
  • NAL unit type specified according to the nature and type of the picture included in the VCL NAL unit.
  • TSA Temporal Sub-layer Access
  • NAL unit A type for a NAL unit that contains a coded slice segment of a TSA picture.
  • the TSA picture is a picture that can be switched between temporal sub-layers in a bitstream that supports temporal scalability, and indicates a position where up-switching is possible from a lower sub layer to an upper sub layer. It is a picture.
  • Step-wise Temporal Sub-layer Access A type for a NAL unit that contains coded slice segments of an STSA picture.
  • the STSA picture is a picture that can switch between temporal sublayers in a bitstream that supports temporal scalability, and a picture indicating a position where up-switching is possible in the lower sublayer to a higher sublayer higher than the lower sublayer. to be.
  • TRAIL Type for NAL unit containing coded slice segments of non-TSA, non-STSA trailing picture.
  • the trailing picture refers to a picture that follows a picture that can be randomly accessed in an output order and a decoding order.
  • IDR Instantaneous Decoding Refresh
  • the IDR picture is a random-accessible picture and may be the first picture in decoding order in the bitstream or may appear in the middle of the bitstream. Also, an IDR picture contains only I slices. Each IDR picture is the first picture of a coded video sequence (CVS) in decoding order.
  • CVS coded video sequence
  • the NAL unit type of the IDR picture may be represented by IDR_W_RADL, and if the IDR picture is not associated with the leading picture, the NAL unit type of the IDR picture may be represented by IDR_N_LP. The IDR picture is not associated with the non-decodable leading picture described below.
  • Clean Random Access A type for a NAL unit that contains a coded slice segment of a CRA picture.
  • the CRA picture is a random-accessible picture, which may be the first picture in decoding order in the bitstream or may appear in the middle of the bitstream.
  • a CRA picture contains only I slices.
  • the CRA picture may have an association with a decodable leading picture or a leading picture that may skip decoding, and may not output a leading picture that may skip decoding. Since a leading picture that can skip decoding may use a picture that does not exist in the bitstream as a reference picture, a leading picture that can skip decoding by a decoder may not be output.
  • BLA Broken Link Access
  • the BLA picture is a random-accessible picture and may be the first picture in decoding order in the bitstream or may appear in the middle of the bitstream.
  • a BLA picture contains only I slices. Each BLA picture starts a new coded video sequence (CVS), and the same decoding process as the IDR picture may be performed.
  • CVS coded video sequence
  • the NAL unit type of the BLA picture may be represented as BLA_W_LP.
  • the NAL unit type of the BLA picture may be represented as BLA_W_LP.
  • the NAL unit type of the BLA picture may be represented as BLA_W_RADL. If the BLA picture does not have an association with the leading picture, the NAL unit type of the BLA picture may be represented as BLA_N_LP.
  • NAL unit type specified according to the type of parameter set included in the Non-VCL NAL unit type.
  • VPS Video Parameter Set
  • Sequence Parameter Set Type for the NAL unit containing the SPS.
  • PPS Physical Parameter Set
  • the aforementioned NAL unit types have syntax information for the NAL unit type, and the syntax information may be stored and signaled in a NAL unit header.
  • the syntax information may be nal_unit_type, and NAL unit types may be specified by a nal_unit_type value.
  • a bitstream (or temporal scalable bitstream) that supports temporal scalability includes information about temporal layer that is temporally scaled.
  • the information on the temporal layer may be identification information of the temporal layer specified according to the temporal scalability of the NAL unit.
  • the identification information of the temporal layer may use temporal_id syntax information, and the temporal_id syntax information may be stored in an NAL unit header in the encoding apparatus and signaled to the decoding apparatus.
  • a temporal layer may be referred to as a sub-layer, a temporal sub-layer, a temporal scalable layer, or the like.
  • FIG. 4 illustrates a time layer structure for NAL units in a bitstream supporting time scalability.
  • the NAL units included in the bitstream have identification information (eg, temporal_id) of the time layer.
  • identification information eg, temporal_id
  • a temporal layer composed of NAL units with a temporal_id value of 0 may provide the lowest temporal scalability
  • a temporal layer composed of NAL units with a temporal_id value of 2 may provide the highest temporal scalability. Can be.
  • the box marked I refers to the I picture
  • the box marked B refers to the B picture.
  • the arrow indicates a reference relationship as to whether the picture refers to another picture.
  • NAL units of a temporal layer having a temporal_id value of 0 are reference pictures that NAL units of a temporal layer having a temporal_id value of 0, 1, or 2 may refer to.
  • NAL units of a temporal layer with a temporal_id value of 1 are reference pictures that can be referenced by NAL units of a temporal layer with a temporal_id value of 1 or 2.
  • FIG. NAL units of a temporal layer with a temporal_id value of 2 may be reference pictures that may be referenced by NAL units of the same temporal layer, that is, a temporal layer with a temporal_id value of 2, or may be non-reference pictures not referenced by another picture. have.
  • NAL units of the temporal_id value 2 that is, the highest temporal layer, are non-referenced pictures as shown in FIG. 4, these NAL units are extracted from the bitstream without affecting other pictures in the decoding process. extraction or removal).
  • information indicating whether the NAL unit is a reference picture or a non-reference picture may be provided. Such information may be provided at the NAL unit level.
  • the NAL unit type according to an embodiment of the present invention may be classified according to whether the NAL unit is a reference picture referred to by another picture or a non-reference picture not referred to by another picture.
  • the NAL unit type of the TSA picture may be represented by TSA_R. If the TSA picture is a non-reference picture, the NAL unit type of the TSA picture may be represented by TSA_N. If the STSA picture is a reference picture, the NAL unit type of the STSA picture may be represented by STSA_R. If the STSA picture is a non-reference picture, the NAL unit type of the STSA picture may be represented by STSA_N.
  • the NAL unit type of the non-TSA, non-STSA trailing picture can be represented as TRAIL_R, and if the non-TSA, non-STSA trailing picture is a non-reference picture
  • the NAL unit type of the non-TSA, non-STSA trailing picture may be represented by TRAIL_N.
  • FIG. 5 is a diagram illustrating a time layer structure for NAL units in a bitstream supporting time scalability to which the present invention can be applied.
  • the NAL units included in the bitstream have identification information (eg, temporal_id) of the time layer.
  • a temporal layer 500 and a temporal_id value composed of NAL units having a temporal_id value of 0 are illustrated. This may be layered into a time layer 510 composed of 1 NAL units and a time layer 520 composed of NAL units having a temporal_id value of 2.
  • the temporal layer 500 of NAL units having a temporal_id value of 0 may provide the lowest temporal scalability, and the temporal layer of the temporal_id value of 2 having a NAL unit having a temporal_id value of 2 is the highest. You can provide your ability.
  • a box labeled I refers to an I picture and a box labeled B refers to a B picture.
  • the arrow indicates a reference relationship as to whether the picture refers to another picture.
  • the temporal_id value 2 is composed of pictures of type TRAIL_N.
  • the TRAIL_N type is information indicating a NAL unit in which the trailing picture is a non-reference picture. Since unreferenced pictures are not referenced by other pictures during inter prediction, they can be removed from the bitstream without affecting the decoding process of other pictures during bitstream extraction. Accordingly, pictures of the TRAIL_N type of the temporal_id value 2 of the temporal layer 520 may not be affected in decoding even when removed from the bitstream.
  • IDR, CRA, and BLA types are random access (or splicing) pictures, that is, random access points (RAPs) or IRAPs (Random Access Points) that become random access points.
  • RAPs random access points
  • IRAPs Random Access Points
  • the RAP picture may be an IDR, CRA, or BLA picture, and may include only I slices.
  • the first picture in decoding order in the bitstream becomes a RAP picture.
  • a RAP picture (IDR, CRA, or BLA picture) is included in the bitstream, there may be a picture that is preceded by an output order but is followed by a decoding order by the RAP picture. Such pictures are called leading pictures (LPs).
  • LPs leading pictures
  • FIG. 6 is a diagram for describing a picture that can be randomly accessed.
  • a random-accessible picture that is, a RAP or IRAP picture that becomes a random access point is the first picture in decoding order in a bitstream during random access and includes only I slices.
  • FIG. 6 illustrates an output order or display order and a decoding order of a picture. As shown, the output order and decoding order of the pictures may be different. For convenience, the pictures are divided into predetermined groups and described.
  • Pictures belonging to the first group (I) represent pictures that precede the IRAP picture in both output order and decoding order, and pictures belonging to the second group (II) precede the output order but follow the decoding order to IRAP pictures. Indicates. The pictures of the third group III follow in both the output order and the decoding order than the IRAP picture.
  • the pictures of the first group I may be decoded and output regardless of the IRAP picture.
  • Pictures belonging to the second group (II) that are output before the IRAP picture are called leading pictures, and the leading pictures may be problematic in decoding when the IRAP picture is used as a random access point.
  • a picture belonging to the third group (III) whose output and decoding order follows the IRAP picture is called a normal picture.
  • the normal picture is not used as the reference picture of the leading picture.
  • the random access point where random access occurs in the bitstream becomes an IRAP picture, and random access starts as the first puncher of the second group (II) is output.
  • FIG. 7 is a diagram for explaining an IDR picture.
  • An IDR picture is a picture that becomes a random access point when a group of pictures has a closed structure. Since the IDR picture is an IRAP picture as described above, it includes only an I slice, and may be the first picture in decoding order in the bitstream, or may be in the middle of the bitstream. When an IDR picture is decoded, all reference pictures stored in a decoded picture buffer (DPB) are marked as “unused for reference”.
  • DPB decoded picture buffer
  • Bars shown in FIG. 7 indicate pictures, and arrows indicate reference relationships as to whether a picture can use another picture as a reference picture.
  • the x mark displayed on the arrow indicates that the picture (s) cannot refer to the picture to which the arrow points.
  • a picture with a POC of 32 is an IDR picture.
  • the pictures that have a POC of 25 to 31 and are output before the IDR picture are the leading pictures 710.
  • Pictures having a POC of 33 or more correspond to the normal picture 720.
  • the leading pictures 710 preceding the IDR picture in the output order may use the leading picture different from the IDR picture as the reference picture, but use the past picture 730 preceding the leading pictures 710 in the output order and decoding order. Not available as a reference picture.
  • the normal pictures 720 following the IDR picture in output order and decoding order may be decoded with reference to the IDR picture, leading picture and other normal pictures.
  • FIG. 8 is a diagram for explaining a CRA picture.
  • a CRA picture is a picture that becomes a random access point when a group of pictures has an open structure. As described above, since the CRA picture is also an IRAP picture, it includes only an I slice, and may be the first picture in decoding order in the bitstream, or may be in the middle of the bitstream for normal play.
  • Bars shown in FIG. 8 represent pictures and arrows represent reference relationships as to whether a picture can use another picture as a reference picture.
  • the x mark displayed on the arrow indicates that the picture or pictures cannot refer to the picture indicated by the arrow.
  • the leading pictures 810 preceding the CRA picture in output order may use both the CRA picture, other leading pictures, and past pictures 830 preceding the leading pictures 810 in output order and decoding order as reference pictures. have.
  • the normal pictures 820 following the CRA picture in the output order and the decoding order may be decoded by referring to a normal picture different from the CRA picture.
  • the normal pictures 820 may not use the leading pictures 810 as a reference picture.
  • a BLA picture has similar functions and properties to a CRA picture, and refers to a picture existing in the middle of the bitstream as a random access point when the coded picture is spliced or the bitstream is broken in the middle.
  • random access occurs, since the BLA picture is regarded as the start of a new sequence, when the BLA picture is received by the decoder, all the parameter information about the image may be received again.
  • the BLA picture may be determined from an encoding device, or a CRA picture may be changed into a BLA picture in a system that receives a bitstream from the encoding device. For example, when the bitstream is spliced, the system converts the CRA picture into a BLA picture and provides the decoder to decode the image. In this case, parameter information about the image is newly provided from the system to the decoder.
  • the decoder refers to a device including an image processor that decodes an image.
  • the decoder may be implemented by the decoding apparatus of FIG. 2 or may mean a decoding module which is a core module for processing an image.
  • leading pictures are output before the CRA picture, but decoded after the CRA picture.
  • Leading pictures may refer to at least one of the preceding preceding pictures.
  • preceding pictures preceding the CRA picture in decoding order may not be available. That is, since the preceding pictures, which may be the reference pictures of the leading pictures, are not available, the leading picture referring to the unavailable picture may not be decoded normally.
  • the leading picture refers to a picture that does not exist in the bitstream, or the picture that the leading picture refers to does not exist in the DPB (Decoded Picture Buffer), or “unused for reference in the DPB. The case of a picture marked with “” refers to.
  • DPB Decoded Picture Buffer
  • NAL unit type which is an embodiment of the NAL unit type for the leading picture.
  • DLP_NUT NAL Unit Type (NUT) for a NAL unit containing a coded slice segment of a decodable leading picture (DLP).
  • the decodable leading picture refers to a decodable leading picture for random access. Decodable leading pictures for all random accesses are leading pictures. Decodeable leading pictures for random access are not used as reference pictures in the decoding process of trailing pictures associated with the same RAP (or IRAP) picture. If there are decodable leading pictures for random access, the decodable leading pictures for random access precede trailing pictures associated with the same RAP (or IRAP) picture in decoding order.
  • TFD_NUT Type for a NAL unit containing a coded slice segment of a leading picture that can be discarded without being decoded normally if the picture preceding the RAP picture is not available (Tagged For Discard: TFD).
  • a TFD leading picture is a picture that can be discarded without decoding.
  • the TFD leading picture may be referred to as a skipped leading picture for random access.
  • the leading pictures that are skipped for random access are the leading pictures associated with the BLA or CRA picture. Since skipped leading pictures for random access may refer to pictures that do not exist in the bitstream, skipped leading pictures for random access are not output and cannot be decoded correctly.
  • the skipped leading pictures for random access are not used as reference pictures in the decoding process of pictures that are not skipped leading pictures for random access. If there are skipped leading pictures for random access, the skipped leading pictures for random access precede the trailing pictures associated with the same RAP (or IRAP) picture in decoding order.
  • the DLP and TFD leading pictures may be processed in the same manner as trailing pictures in the normal decoding process when random access or splicing does not occur.
  • FIG. 9 is a diagram illustrating a time layer structure for NAL units including leading pictures in a bitstream supporting time scalability.
  • the NAL units included in the bitstream have identification information (eg, temporal_id) of the time layer.
  • a temporal_id value of a temporal layer 900 including NAL units having a temporal_id value of 0 is shown in FIG. 9. This may be layered into a time layer 910 composed of 1 NAL units and a time layer 920 composed of NAL units having a temporal_id value of 2.
  • the temporal layer 900 of NAL units having a temporal_id value of 0 may provide the lowest temporal scalability, and the temporal scaler of the temporal_id value of 2 having a NAL unit having a temporal_id value of 2 is the highest. You can provide your ability.
  • a box labeled I refers to an I picture
  • a box labeled B refers to a B picture.
  • the arrow indicates a reference relationship as to whether the picture refers to another picture.
  • a TRAIL_R picture of a temporal_id value of 1 is used as a reference picture using an IDR_N_LP picture and a TRAIL_R picture of a temporal_id value of 0 as a reference layer
  • a temporal_id value of 2 is used as a reference picture. Is used as a reference picture by TRAIL_N pictures.
  • TRAIL_N pictures of the temporal_id value 2 have a picture that is not referenced by another picture.
  • TRAIL_N pictures that are not referenced when bitstream extraction may be removed from the bitstream.
  • the leading picture of the DLP_NUT and TFD_NUT of the temporal_id value 2 of the temporal layer 920 does not include information for distinguishing whether the picture is referred to by another picture. Therefore, it is difficult to determine whether removing the leading picture from the bitstream during the bitstream extraction does not affect the decoding process.
  • a NAL unit type for a leading picture is defined as follows.
  • DLP_R Referenced Decodable Leading Picture.
  • a type for a NAL unit that includes a coded slice segment of a Random Access Decodable Leading (RADL) picture for referenced by another picture.
  • RDL Random Access Decodable Leading
  • DLP_N Non-referenced Decodable Leading Picture.
  • RDL random access decodeable lead
  • TFD_R non-decodable picture referenced (referenced TFD picture).
  • referenced TFD picture a type for a NAL unit that includes a coded slice segment of a leading picture that may not be decoded normally and that is referenced by another picture if the picture preceding the RAP picture is not available.
  • a TFD leading picture is a picture that can be discarded (skipped), and can be referred to as a random access skipped lead (RASL) picture for random access.
  • RASL random access skipped lead
  • TFD_N non-referenced decodeable picture (unreferenced TFD picture).
  • a type for a NAL unit that includes a coded slice segment of a leading picture that may not be decoded normally and is not referenced by another picture if the picture preceding the RAP picture is not available.
  • a TFD leading picture is a picture that can be discarded (skipped), and can be referred to as a random access skipped lead (RASL) picture for random access.
  • RASL random access skipped lead
  • the NAL unit types DLP_R, DLP_N, TFD_R, and TFD_N for the leading picture according to the embodiment of the present invention described above may be defined using preliminary NAL unit types that have not yet been used by other types.
  • the NAL unit types DLP_R, DLP_N, TFD_R, and TFD_N for the leading picture according to an embodiment of the present invention may be stored and signaled in syntax information (eg, nal_unit_type) for the NAL unit type of the NAL unit header.
  • the decoded picture is not included in the reference picture set (RPS) of the picture having identification information (eg temporal_id) of the same temporal layer.
  • RPS reference picture set
  • the reference picture set refers to a set of reference pictures of the current picture and may be composed of reference pictures that precede the current picture in decoding order.
  • the reference picture may be used in inter prediction of the current picture.
  • the reference picture set is a short term reference picture set (for example, RefPicSetStCurrBefore, RefPicSetStCurrAfter) and a long reference picture set (long term reference picture set) consisting of reference pictures before or after the current picture in a Picture Order Count (POC) order.
  • term reference picture set eg, RefPicSetLtCurr.
  • a coded picture whose NAL unit type (eg nal_unit_type) is TFD_N or DLP_N can be discarded without affecting the decoding process of other pictures having identification information (eg temporal_id) of the same temporal layer. Because it is possible to know whether a coded picture that is TFD_N or DLP_N is a picture that is not referenced by other pictures through the NAL unit type, and since it is not used as a reference picture during decoding, it can be extracted from the bitstream.
  • NAL unit type eg nal_unit_type
  • a coded picture with a NAL unit type (e.g., nal_unit_type) of TFD_N or DLP_N can be processed similarly to the TRAIL_N, TSA_N, or STSA_N picture described above, unless the decoding starts from a random access point associated with the leading picture. .
  • NAL unit type e.g., nal_unit_type
  • a coded picture with a NAL unit type (eg, nal_unit_type) of TFD_R or DLP_R may be processed similar to the TRAIL_R, TSA_R, or STSA_R picture described above, unless the decoding starts from a random access point associated with the leading picture. .
  • NAL unit type eg, nal_unit_type
  • FIG. 10 is a diagram illustrating that NAL units including a leading picture are removed from a bitstream according to an embodiment of the present invention.
  • the NAL units included in the bitstream have identification information (eg, temporal_id) of the time layer.
  • a temporal_id value of a temporal layer 1000 including NAL units having a temporal_id value of 0 is shown in FIG. 10. This may be layered into a time layer 1010 composed of 1 NAL units and a time layer 1020 composed of NAL units having a temporal_id value of 2.
  • the temporal layer 1000 composed of NAL units having a temporal_id value of 0 may provide the lowest temporal scalability, and the temporal scaler having a temporal_id value of 2 has the highest temporal scaler. You can provide your ability.
  • a box labeled I refers to an I picture and a box labeled B refers to a B picture.
  • the arrow indicates a reference relationship as to whether the picture refers to another picture.
  • the temporal layer 1020 having a temporal_id value of 2 includes TRAIL_N pictures, TFD_N, and DLP_N leading pictures.
  • TRAIL_N picture is a trailing picture that is not referenced by another picture, it can be removed from the bitstream without affecting the decoding process of other pictures.
  • TFD_N and DLP_N leading pictures are leading pictures that are not referenced by other pictures, and can be removed from the bitstream without affecting the decoding process of other pictures. That is, since information on whether a leading picture is a reference picture or a non-reference picture may be derived from the NAL unit type, the bitstream extraction process for the leading picture may be performed similarly to the bitstream extraction process of the trailing picture. Accordingly, since the pictures corresponding to the temporal_id value 2 are non-reference pictures, the non-reference pictures of the temporal_id value 2 with the temporal_id value 2 may be extracted from the bitstream during decoding.
  • FIG. 11 is a flowchart schematically illustrating a method of encoding image information according to an embodiment of the present invention. The method of FIG. 11 may be performed in the encoding apparatus of FIG.
  • the encoding apparatus determines a NAL unit type according to whether it is a NAL unit reference picture (S1100).
  • the NAL unit may be a NAL unit including a residual signal for the current picture generated by performing inter prediction on the basis of the current picture.
  • the encoding apparatus may determine the NAL unit type according to the information included in the NAL unit (the residual signal for the current picture). For example, the NAL unit type may be determined according to whether the NAL unit is a leading picture referenced by another picture or whether the NAL unit is a leading picture not referenced by another picture. As described above, the leading picture refers to a picture in which the output order is preceded by the random access point picture and the decoding order is a later picture, and may include a first decodeable picture and a second non-decodable picture.
  • the encoding apparatus may determine DLP_R or RADL_R as the NAL unit type, and the NAL unit is the first leading picture not referenced by another picture.
  • the encoding apparatus may determine DLP_N or RADL_N as the NAL unit type.
  • the encoding apparatus may determine TFD_R or RASL_R as the NAL unit type, and the NAL unit is a second leading picture not referenced by another picture. In this case, the encoding apparatus may determine TFD_N or RASL_N as the NAL unit type.
  • the encoding apparatus encodes and transmits a bitstream including information on the NAL unit and the NAL unit type (S1110).
  • the encoding apparatus may encode information about the NAL unit type in the nal_unit_type syntax and store the information in the NAL unit header.
  • the encoding apparatus may generate a bitstream further including identification information of a temporal layer for identifying a temporal scalable layer of a NAL unit. Identification information of the temporal layer may be encoded with a temporal_id syntax and stored in the NAL unit header.
  • FIG. 12 is a flowchart schematically illustrating a method of decoding image information according to an embodiment of the present invention. The method of FIG. 12 may be performed by the decoding apparatus of FIG. 2 described above.
  • the decoding apparatus receives a bitstream including information about a NAL unit (S1200).
  • the information on the NAL unit includes information on the NAL unit type determined according to the nature and type of the picture included in the NAL unit.
  • the NAL unit type may be derived together with information on whether the picture included in the NAL unit is a reference picture as well as the nature and type of the picture included in the corresponding NAL unit.
  • the information on the NAL unit type may be stored in the NAL unit header with the nal_unit_type syntax and included in the bitstream. Since the detailed description of the NAL unit type has been described above, the description thereof will be omitted.
  • the information on the NAL unit further includes identification information of a time layer that supports time scalability.
  • the identification information of the temporal layer may be layer identification information for identifying a temporal scalable layer of the corresponding NAL unit.
  • the identification information of the temporal layer may be stored in the NAL unit header with the temporal_id syntax and included in the bitstream.
  • the decoding apparatus determines whether the NAL unit in the bitstream is a reference picture and decodes the NAL unit based on the information on the NAL unit type (S1210).
  • the information on the NAL unit type may derive whether the NAL unit is a reference picture referenced by another picture or a non-reference picture not referenced by another picture. If the NAL unit is a non-reference picture not referenced by another picture, the NAL unit may be extracted and removed from the bitstream during decoding.
  • the information on the NAL unit type may be information indicating whether the NAL unit is a leading picture referenced by another picture or whether the NAL unit is a leading picture not referenced by another picture.
  • the leading picture is a picture in which the output order is preceded by the random access point picture and the decoding order is followed by, and may include a decodable first leading picture and a non-decodable second leading picture.
  • the decoding apparatus may know that the NAL unit is the first leading picture referred to by another picture, and the NAL unit type included in the bitstream is DLP_N or In the case of RADL_N, the decoding apparatus may know that the NAL unit is a first leading picture that is not referenced by another picture.
  • the decoding apparatus may know that the NAL unit is a second leading picture referenced by another picture, and the NAL unit type included in the bitstream is TFD_N. Or, in the case of RASL_N, the decoding apparatus may know that the NAL unit is a second leading picture that is not referenced by another picture.
  • the decoding apparatus may extract and decode the NAL unit corresponding to the NAL unit type from the bitstream.
  • the decoding apparatus may derive the time layer of the NAL unit through the identification information of the time layer. If NAL units of the same temporal layer are pictures not referenced by another picture (eg, a DLP_N or RADL_N picture, a TFD_N or RASL_N picture), the NAL units of the corresponding time layer may be removed from the bitstream.
  • NAL units of the same time layer refer to NAL units having the same identification value of the time layer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

영상 부호화/복호화 방법 및 장치
본 발명은 비디오 압축 기술에 관한 것으로, 더 구체적으로는 비트스트림 내 영상 정보를 디코딩하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다.
정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다. 또한, 이러한 스케일러빌러티에 수반되는 다양한 영상 처리 방법이 논의되어야 한다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화/복호화 방법 및 장치를 제공한다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 비트스트림 추출 방법 및 장치를 제공한다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 NAL 유닛 타입을 제공한다.
본 발명의 일 양태에 따르면, 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 수신하는 단계 및 상기 NAL 유닛 타입에 대한 정보를 기반으로 상기 비트스트림 내 NAL 유닛이 참조 픽처인지 여부를 확인하여 상기 NAL 유닛을 디코딩하는 단계를 포함하며, 상기 NAL 유닛 타입에 대한 정보는 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지를 지시하는 정보이다.
본 발명의 다른 양태에 따르면, 영상 복호화 장치가 제공된다. 상기 영상 복호화 장치는 NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 수신하고, 상기 NAL 유닛 타입에 대한 정보를 기반으로 상기 비트스트림 내 NAL 유닛이 참조 픽처인지 여부를 확인하여 상기 NAL 유닛을 엔트로피 디코딩하는 엔트로피 디코딩부를 포함하며, 상기 NAL 유닛 타입에 대한 정보는 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지를 지시하는 정보이다.
본 발명의 또 다른 양태에 따르면, 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 현재 픽처를 기반으로 인터 예측을 수행하여 상기 현재 픽처에 대한 레지듀얼 신호를 생성하는 단계 및 상기 현재 픽처에 대한 레지듀얼 신호를 기반으로 생성된 NAL 유닛 및 상기NAL 유닛에 대한 정보를 포함하는 비트스트림을 전송하는 단계를 포함하며, 상기 NAL 유닛에 대한 정보는 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지에 따라 결정된 NAL 유닛 타입에 대한 정보를 포함한다.
본 발명의 또 다른 양태에 따르면, 영상 부호화 장치가 제공된다. 상기 영상 부호화 장치는 현재 픽처를 기반으로 인터 예측을 수행하여 상기 현재 픽처에 대한 레지듀얼 신호를 생성하는 예측부 및 상기 현재 픽처에 대한 레지듀얼 신호를 기반으로 생성된 NAL 유닛 및 상기NAL 유닛에 대한 정보를 엔트로피 인코딩하여 비트스트림을 출력하는 엔트로피 인코딩부를 포함하며, 상기 NAL 유닛에 대한 정보는 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지에 따라 결정된 NAL 유닛 타입에 대한 정보를 포함한다.
NAL 유닛이 다른 픽처에 의해 참조되는 참조 픽처인지, 다른 픽처에 의해 참조되지 않는 비참조 픽처인지 여부를 제공하는 NAL 유닛 타입을 정의함으로써, 비트스트림으로부터 효율적으로 NAL 유닛을 추출할 수 있다. 또한, NAL 유닛이 비참조 픽처인지 여부를 정확하게 유도함으로써 디코딩 과정에 영향을 주지 않고 비트스트림으로부터 해당 NAL 유닛을 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 디코딩 장치에서 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.
도 4는 시간 스케일러빌러티를 지원하는 비트스트림 내 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
도 5는 본 발명이 적용될 수 있는 시간 스케일러빌러티를 지원하는 비트스트림 내 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
도 6은 랜덤 억세스가 가능한 픽처를 설명하기 위한 도면이다.
도 7은 IDR 픽처를 설명하기 위한 도면이다.
도 8은 CRA 픽처를 설명하기 위한 도면이다.
도 9는 시간 스케일러빌러티를 지원하는 비트스트림 내 리딩 픽처를 포함한 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 리딩 픽처를 포함한 NAL 유닛들이 비트스트림으로부터 제거되는 것을 설명하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 정보의 디코딩 방법을 개략적으로 나타내는 순서도이다.
도 12는 본 발명의 일 실시예에 따른 디코딩 장치를 개략적으로 도시한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다. 비디오 인코딩/디코딩 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 비디오 인코딩/디코딩 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 인코딩 장치의 기초가 될 수 있는 비디오 인코딩 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
픽처 분할부(105)에서 분할되는 처리 단위 블록들은 쿼드 트리(quad-tree) 구조를 가질 수 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU에 대응하는 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.
변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.
예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화된 변환 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.
역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 인코딩/디코딩 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 비디오 인코딩/디코딩 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 디코딩 장치의 기초가 될 수 있는 비디오 디코딩 장치의 일 실시예를 나타낸다
도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
비디오 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 비디오 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 VLC 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열을 생성할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 비디오 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
디코딩 장치(200)에 포함되어 있는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 및 메모리(240) 중 영상의 디코딩에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 등을 다른 구성요소와 구분하여 디코더 또는 디코딩부로 표현할 수 있다.
또한, 디코딩 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 디코딩부(210)를 포함할 수도 있고, 엔트로피 디코딩부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 3은 디코딩 장치에서 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.
코딩된 영상은 영상의 디코딩 처리 및 그 자체를 다루는 VCL(video coding layer, 비디오 코딩 계층), 부호화된 정보를 전송하고 저장하는 하위 시스템, 그리고 VCL과 하위 시스템 사이에 존재하며 네트워크 적응 기능을 담당하는 NAL(network abstraction layer, 네트워크 추상 계층)로 구분되어 있다.
VCL에서는 압축된 영상 데이터(슬라이스 데이터)를 포함하는 VCL 데이터를 생성하거나, 혹은 픽처 파라미터 세트(Picture Parameter Set: PPS), 시퀀스 파라미터 세트(Sequence Parameter Set: SPS), 비디오 파라미터 세트(Video Parameter Set: VPS) 등의 정보를 포함하는 파라미터 세트 또는 영상의 디코딩 과정에 부가적으로 필요한 SEI(Supplemental Enhancement Information) 메시지를 생성할 수 있다.
NAL에서는 VCL에서 생성된 RBSP(Raw Byte Sequence Payload)에 헤더 정보(NAL 유닛 헤더)를 부가하여 NAL 유닛을 생성할 수 있다. 이때, RBSP는 VCL에서 생성된 슬라이스 데이터, 파라미터 세트, SEI 메시지 등을 말한다. NAL 유닛 헤더에는 해당 NAL 유닛에 포함되는 RBSP 데이터에 따라 특정되는 NAL 유닛 타입 정보를 포함할 수 있다.
도 3에 도시된 바와 같이, NAL 유닛은 VCL에서 생성된 RBSP의 따라 VCL NAL 유닛과 Non-VCL NAL 유닛으로 구분될 수 있다. VCL NAL 유닛은 영상에 대한 정보(슬라이스 데이터)를 포함하고 있는 NAL 유닛을 의미하고, Non-VCL NAL 유닛은 영상을 디코딩하기 위하여 필요한 정보(파라미터 세트 또는 SEI 메시지)를 포함하고 있는 NAL 유닛을 의미한다.
상술한 VCL NAL 유닛, Non-VCL NAL 유닛은 하위 시스템의 데이터 규격에 따라 헤더 정보를 붙여서 네트워크를 통해 전송될 수 있다. 예컨대, NAL 유닛은 H.264/AVC 파일 포맷, RTP(Real-time Transport Protocol), TS(Transport Stream) 등과 같은 소정 규격의 데이터 형태로 변형되어 다양한 네트워크를 통해 전송될 수 있다.
상술한 바와 같이, NAL 유닛은 해당 NAL 유닛에 포함되는 RBSP 데이터 구조(structure)에 따라 NAL 유닛 타입이 특정될 수 있으며, 이러한 NAL 유닛 타입에 대한 정보는 NAL 유닛 헤더에 저장되어 시그널링될 수 있다.
예를 들어, NAL 유닛이 영상에 대한 정보(슬라이스 데이터)를 포함하는지 여부에 따라 크게 VCL NAL 유닛 타입과 Non-VCL NAL 유닛 타입으로 분류될 수 있다. VCL NAL 유닛 타입은 VCL NAL 유닛이 포함하는 픽처의 성질 및 종류 등에 따라 분류될 수 있으며, Non-VCL NAL 유닛 타입은 파라미터 세트의 종류 등에 따라 분류될 수 있다.
아래는 VCL NAL 유닛이 포함하는 픽처의 성질 및 종류에 따라서 특정된 NAL 유닛 타입의 일예이다.
- TSA(Temporal Sub-layer Access) : TSA 픽처의 코딩된 슬라이스 세그먼트(coded slice segment)를 포함하는 NAL 유닛에 대한 타입. 여기서, TSA 픽처는 시간 스케일러빌러티(temporal scalability)를 지원하는 비트스트림에서 시간 서브 레이어(temporal sub-layer) 간의 스위칭이 가능한 픽처로서, 하위 서브 레이어에서 상위 서브 레이어로 업 스위칭이 가능한 위치를 지시하는 픽처이다.
- STSA(Step-wise Temporal Sub-layer Access) : STSA 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, STSA 픽처는 시간 스케일러빌러티를 지원하는 비트스트림에서 시간 서브 레이어 간의 스위칭이 가능한 픽처로서, 하위 서브 레이어에서, 하위 서브 레이어보다 한 단계 높은 상위 서브 레이어로 업 스위칭이 가능한 위치를 지시하는 픽처이다.
- TRAIL : 비-TSA(non-TSA), 비-STSA(non-STSA) 트레일링 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, 트레일링 픽처는 출력 순서(output order) 및 디코딩 순서(decoding order)에서 랜덤 억세스(random access) 가능한 픽처에 후행하는 픽처를 말한다.
- IDR(Instantaneous Decoding Refresh) : IDR 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, IDR 픽처는 랜덤 억세스가 가능한 픽처로서, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 비트스트림 중간에 나타날 수도 있다. 또한 IDR 픽처는 I 슬라이스만 포함한다. 각 IDR 픽처는 디코딩 순서에서 CVS(coded video sequence)의 첫 번째 픽처이다. 만일 IDR 픽처가 후술할 디코딩 가능한 리딩 픽처와 연관성을 가지면 IDR 픽처의 NAL 유닛 타입은 IDR_W_RADL로 나타낼 수도 있고, IDR 픽처가 리딩 픽처와 연관성이 없으면 IDR 픽처의 NAL 유닛 타입은 IDR_N_LP로 나타낼 수도 있다. IDR 픽처는 후술할 디코딩 불가능한 리딩 픽처와는 연관성을 가지지 않는다.
- CRA(Clean Random Access) : CRA 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, CRA 픽처는 랜덤 억세스가 가능한 픽처로서, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 비트스트림 중간에 나타날 수도 있다. 또한 CRA 픽처는 I 슬라이스만 포함한다. CRA 픽처는 디코딩 가능한 리딩 픽처 또는 디코딩을 스킵(skip)할 수 있는 리딩 픽처와 연관성을 가질 수 있으며, 디코딩을 스킵할 수 있는 리딩 픽처에 대해서 출력을 하지 않을 수도 있다. 디코딩을 스킵할 수 있는 리딩 픽처는 비트스트림 내 존재하지 않는 픽처를 참조 픽처로 사용할 수도 있으므로, 디코더에 의해 디코딩을 스킵할 수 있는 리딩 픽처는 출력되지 않을 수 있다.
- BLA(Broken Link Access) : BLA 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, BLA 픽처는 랜덤 억세스가 가능한 픽처로서, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 비트스트림 중간에 나타날 수도 있다. 또한 BLA 픽처는 I 슬라이스만 포함한다. 각 BLA 픽처는 새로운 CVS(coded video sequence)가 시작되며, IDR 픽처와 동일한 디코딩 과정이 수행될 수 있다. BLA 픽처가 디코딩을 스킵할 수 있는 리딩 픽처와 연관성을 가지면 BLA 픽처의 NAL 유닛 타입은 BLA_W_LP로 나타낼 수도 있고, BLA 픽처가 디코딩 가능한 리딩 픽처와 연관성을 가지면 BLA 픽처의 NAL 유닛 타입은 BLA_W_LP로 나타낼 수도 있다. BLA 픽처가 디코딩을 스킵할 수 있는 리딩 픽처와 연관성을 가지지 않으나 디코딩 가능한 리딩 픽처와 연관성을 가지는 경우, BLA 픽처의 NAL 유닛 타입은 BLA_W_RADL로 나타낼 수 있다. BLA 픽처가 리딩 픽처와 연관성을 가지지 않으면 BLA 픽처의 NAL 유닛 타입은 BLA_N_LP로 나타낼 수도 있다.
아래는 Non-VCL NAL 유닛 타입이 포함하는 파라미터 세트의 종류 등에 따라 특정된 NAL 유닛 타입의 일예이다.
- VPS(Video Parameter Set) : VPS를 포함하는 NAL 유닛에 대한 타입
- SPS(Sequence Parameter Set) : SPS를 포함하는 NAL 유닛에 대한 타입
- PPS(Picture Parameter Set) : PPS를 포함하는 NAL 유닛에 대한 타입
상술한 NAL 유닛 타입들은 NAL 유닛 타입을 위한 신택스 정보를 가지며, 상기 신택스 정보는 NAL 유닛 헤더에 저장되어 시그널링될 수 있다. 예컨대, 상기 신택스 정보는 nal_unit_type일 수 있으며, NAL 유닛 타입들은 nal_unit_type 값으로 특정될 수 있다.
한편, 시간 스케일러빌러티를 지원하는 비트스트림(혹은 시간 스케일러블 비트스트림, temporal scalable bitstream)은 시간적으로 스케일되는 시간 레이어(Temporal layer)에 대한 정보를 포함한다. 시간 레이어에 대한 정보는 NAL 유닛의 시간 스케일러빌러티에 따라 특정된 시간 레이어의 식별 정보일 수 있다. 예컨대, 시간 레이어의 식별 정보는 temporal_id 신택스 정보를 이용할 수 있으며, 상기 temporal_id 신택스 정보는 인코딩 장치에서 NAL 유닛 헤더에 저장되어 디코딩 장치로 시그널링 될 수 있다. 이하, 본 명세서에서 시간 레이어는 서브 레이어(Sub-layer) 혹은 시간 서브 레이어(Temporal Sub-layer) 혹은 시간 스케일러블 레이어(Temporal Scalable layer) 등으로 지칭될 수도 있다.
도 4는 시간 스케일러빌러티를 지원하는 비트스트림 내 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
비트스트림이 시간 스케일러빌러티를 지원하는 경우, 비트스트림에 포함된 NAL 유닛들은 시간 레이어의 식별 정보(예컨대, temporal_id)를 가진다. 일예로, temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어가 가장 낮은 시간 스케일러빌러티를 제공할 수 있으며, temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어가 가장 높은 시간 스케일러빌러티를 제공할 수 있다.
도 4에서, I로 표기된 박스는 I 픽처를 말하고, B로 표기된 박스는 B 픽처를 말한다. 또한, 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다.
도 4에 도시된 바와 같이, temporal_id 값이 0인 시간 레이어의 NAL 유닛들은 temporal_id 값이 0, 1 또는 2인 시간 레이어의 NAL 유닛들이 참조할 수 있는 참조 픽처들이다. temporal_id 값이 1인 시간 레이어의 NAL 유닛들은 temporal_id 값이 1 또는 2인 시간 레이어의 NAL 유닛들이 참조할 수 있는 참조 픽처들이다. temporal_id 값이 2인 시간 레이어의 NAL 유닛들은 동일한 시간 레이어, 즉 temporal_id 값이 2인 시간 레이어의 NAL 유닛들이 참조할 수 있는 참조 픽처들일 수 있으며, 혹은 다른 픽처에 의해 참조되지 않는 비참조 픽처들일 수도 있다.
만일, 도 4에 도시된 것처럼 temporal_id 값이 2인 시간 레이어, 즉 최상위 시간 레이어의 NAL 유닛들이 비참조 픽처일 경우, 이러한 NAL 유닛들은 디코딩 과정에서 다른 픽처들에 영향을 주지 않고 비트스트림으로부터 추출(extraction, 혹은 제거)될 수 있다.
본 발명에서는 비트스트림 추출 과정을 돕기 위해서, NAL 유닛이 참조 픽처인지 비참조 픽처인지를 지시하는 정보를 제공할 수 있다. 이러한 정보는 NAL 유닛 레벨에서 제공될 수 있다.
본 발명의 실시예에 따른 NAL 유닛 타입은 NAL 유닛이 다른 픽처에 의해 참조되는 참조 픽처인지 다른 픽처에 의해 참조되지 않는 비참조 픽처인지에 따라 분류될 수 있다.
일예로, TSA 픽처가 참조 픽처이면 TSA 픽처의 NAL 유닛 타입은 TSA_R로 나타낼 수 있으며, TSA 픽처가 비참조 픽처이면 TSA 픽처의 NAL 유닛 타입은 TSA_N로 나타낼 수 있다. STSA 픽처가 참조 픽처이면 STSA 픽처의 NAL 유닛 타입은 STSA_R로 나타낼 수 있으며, STSA 픽처가 비참조 픽처이면 STSA 픽처의 NAL 유닛 타입은 STSA_N로 나타낼 수 있다. 비-TSA, 비-STSA 트레일링 픽처가 참조 픽처이면 비-TSA, 비-STSA 트레일링 픽처의 NAL 유닛 타입은 TRAIL_R로 나타낼 수 있으며, 비-TSA, 비-STSA 트레일링 픽처가 비참조 픽처이면 비-TSA, 비-STSA 트레일링 픽처의 NAL 유닛 타입은 TRAIL_N로 나타낼 수 있다.
도 5는 본 발명이 적용될 수 있는 시간 스케일러빌러티를 지원하는 비트스트림 내 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
비트스트림이 시간 스케일러빌러티를 지원하는 경우, 비트스트림에 포함된 NAL 유닛들은 시간 레이어의 식별 정보(예컨대, temporal_id)를 가진다.
일예로, temporal_id 값이 0, 1, 2인 NAL 유닛들이 비트스트림 내 포함된 경우라 가정하면, 도 5에 도시된 바와 같이 temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(500), temporal_id 값이 1인 NAL 유닛들로 구성된 시간 레이어(510), temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(520)로 계층화될 수 있다. 이때, temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(500)가 가장 낮은 시간 스케일러빌러티를 제공할 수 있으며, temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(520)가 가장 높은 시간 스케일러빌러티를 제공할 수 있다.
도 5에서, I로 표기된 박스는 I 픽처를 말하고, B로 표기된 박스는 B 픽처를 말한다. 또한, 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다.
도 5에 도시된 바와 같이, temporal_id 값이 2인 시간 레이어(520)에는 TRAIL_N 타입의 픽처들로 구성되어 있다. 상술한 바와 같이, TRAIL_N 타입은 트레일링 픽처가 비참조 픽처인 NAL 유닛을 지시하는 정보이다. 비참조 픽처는 인터 예측 동안 다른 픽처에 의해 참조되지 않기 때문에, 비트스트림 추출 시 다른 픽처들의 디코딩 과정에 영향을 주지 않고 비트스트림으로부터 제거될 수 있다. 따라서, temporal_id 값이 2인 시간 레이어(520)의 TRAIL_N 타입의 픽처들은 비트스트림으로부터 제거되더라도 디코딩 시에 영향을 주지 않을 수 있다.
한편, 상술한 NAL 유닛 타입들 중 IDR, CRA, BLA 타입은 랜덤 억세스(혹은 스플라이싱, splicing)가 가능한 픽처, 즉 랜덤 억세스 포인트가 되는 RAP(Random Access Point) 혹은 IRAP(Intra Random Access Point) 픽처를 포함하는 NAL 유닛을 나타내는 정보이다. 다시 말해서, RAP 픽처는 IDR, CRA, 또는 BLA 픽처가 될 수 있으며, I 슬라이스만 포함할 수 있다. 비트스트림에서 디코딩 순서 상 첫 번째 픽처는 RAP 픽처가 된다.
만일, 비트스트림 내 RAP 픽처(IDR, CRA, 혹은 BLA 픽처)가 포함된 경우, RAP 픽처보다 출력 순서는 선행하지만 디코딩 순서는 후행하는 픽처가 존재할 수 있다. 이러한 픽처들은 리딩 픽처(Leading Picture, LP)라고 한다.
도 6은 랜덤 억세스가 가능한 픽처를 설명하기 위한 도면이다.
랜덤 억세스가 가능한 픽처, 즉 랜덤 억세스 포인트가 되는 RAP 혹은IRAP 픽처는 랜덤 억세스 시 비트스트림에서 디코딩 순서 상 첫 번째 픽처이며, I 슬라이스만을 포함한다.
도 6에는 픽처의 출력 순서(output order 또는 display order)와 디코딩 순서(decoding order)가 도시되어 있다. 도시된 바와 같이 픽처의 출력 순서와 디코딩 순서는 서로 다를 수 있다. 편의 상 픽처들은 소정의 그룹으로 구분하여 설명된다.
제1 그룹(Ⅰ)에 속하는 픽처들은 IRAP 픽처보다 출력 순서 및 디코딩 순서 모두에서 선행하는 픽처를 나타내고, 제2 그룹(Ⅱ)에 속하는 픽처들은 IRAP 픽처보다 출력 순서는 선행하지만 디코딩 순서는 후행하는 픽처를 나타낸다. 제3 그룹(Ⅲ)의 픽처들은 IRAP 픽처보다 출력 순서 및 디코딩 순서 모두에서 후행한다.
제1 그룹(Ⅰ)의 픽처들은 IRAP 픽처와 무관하게 디코딩 되어 출력될 수 있다.
IRAP 픽처에 선행하여 출력되는 제2 그룹(Ⅱ)에 속하는 픽처들을 리딩 픽처라고 하며, 리딩 픽처들은 IRAP 픽처가 랜덤 억세스 포인트로 사용될 경우 디코딩 과정에서 문제될 수 있다.
출력 및 디코딩 순서가 IRAP 픽처에 후행하는 제3 그룹(Ⅲ)에 속하는 픽처를 노말 픽처(normal picture)라고 한다. 노말 픽처는 리딩 픽처의 참조 픽처로 사용되지 않는다.
비트스트림에서 랜덤 억세스가 발생하는 랜덤 억세스 포인트는 IRAP 픽처가 되고, 제2 그룹(Ⅱ)의 첫 번째 퍽처가 출력되면서 랜덤 억세스가 시작 된다.
도 7은 IDR 픽처를 설명하기 위한 도면이다.
IDR 픽처는 픽처의 그룹(Group of Picture)이 닫힌(closed) 구조를 가질 때 랜덤 억세스 포인트가 되는 픽처이다. IDR 픽처는 상술한 바와 같이 IRAP 픽처이므로 I 슬라이스만을 포함하며, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 비트스트림 중간에 올 수도 있다. IDR 픽처가 디코딩되면 DPB(decoded picture buffer)에 저장되어 있는 모든 참조 픽처들은“unused for reference”로 표시된다.
도 7에 도시되어 있는 막대는 픽처를 나타내고 화살표는 픽처가 다른 픽처를 참조 픽처로 이용할 수 있는지 여부에 대한 참조 관계를 나타낸다. 화살표 상에 표시되어 있는 x 마크는 해당 픽처(들)가 화살표가 가리키는 픽처를 참조할 수 없음을 나타낸다.
도시된 바와 같이, POC가 32인 픽처는 IDR 픽처이다. POC가 25 내지 31이며 IDR 픽처에 선행하여 출력되는 픽처들은 리딩 픽처들(710)이다. POC가 33 이상인 픽처들은 노말 픽처(720)에 해당한다.
출력 순서 상 IDR 픽처에 선행하는 리딩 픽처들(710)은 IDR 픽처와 다른 리딩 픽처를 참조 픽처로 이용할 수 있지만, 출력 순서 및 디코딩 순서 상 리딩 픽처들(710)에 선행하는 과거 픽처(730)를 참조 픽처로 이용할 수 없다.
출력 순서 및 디코딩 순서 상 IDR 픽처에 후행하는 노말 픽처들(720)은 IDR 픽처, 리딩 픽처 및 다른 노말 픽처를 참조하여 디코딩 될 수 있다.
도 8은 CRA 픽처를 설명하기 위한 도면이다.
CRA 픽처는 픽처의 그룹(Group of Picture)이 열린(open) 구조를 가질 때 랜덤 억세스 포인트가 되는 픽처이다. 상술한 바와 같이, CRA 픽처 역시 IRAP 픽처이므로 I 슬라이스만을 포함하며, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 노멀 플레이를 위하여 비트스트림 중간에 올 수도 있다.
도 8에 도시되어 있는 막대는 픽처를 나타내고 화살표는 픽처가 다른 픽처를 참조 픽처로 이용할 수 있는지 여부에 대한 참조 관계를 나타낸다. 화살표 상에 표시되어 있는 x 마크는 해당 픽처 또는 픽처들이 화살표가 가리키는 픽처를 참조할 수 없음을 나타낸다.
출력 순서 상 CRA 픽처에 선행하는 리딩 픽처들(810)은 CRA 픽처, 다른 리딩 픽처, 및 출력 순서 및 디코딩 순서 상 리딩 픽처들(810)에 선행하는 과거 픽처(830) 모두를 참조 픽처로 이용할 수 있다.
반면, 출력 순서 및 디코딩 순서 상 CRA 픽처에 후행하는 노말 픽처들(820)은 CRA 픽처와 다른 노말 픽처를 참조하여 디코딩 될 수 있다. 노말 픽처들(820)은 리딩 픽처들(810)을 참조 픽처로 이용하지 않을 수도 있다.
BLA 픽처는 CRA 픽처와 유사한 기능 및 성질을 가지며, 코딩된 픽처가 스플라이싱(splicing)되거나 비트스트림이 중간에 끊어지면 랜덤 억세스 포인트로서 비트스트림 중간에 존재하는 픽처를 의미한다. 다만, 램덤 억세스가 발생했을 때, BLA 픽처는 새로운 시퀀스의 시작으로 간주되기 때문에 CRA 픽처와 달리 BLA 픽처가 디코더에 수신될 때 영상에 대한 파라미터 정보가 다시 모두 수신될 수 있다.
BLA 픽처는 인코딩 장치에서부터 정해질 수도 있고, 인코딩 장치로부터 비트스트림을 수신한 시스템에서 CRA 픽처를 BLA 픽처로 변경할 수 있다. 예를 들어 비트스트림이 스플라이싱이 되는 경우 시스템은 CRA 픽처를 BLA 픽처로 변경하여 영상을 디코딩하는 디코더에게 제공하고, 이 때 영상에 대한 파라미터 정보 역시 시스템으로부터 디코더에 새롭게 제공된다. 본 발명에서 디코더란 영상을 디코딩하는 영상 처리부를 포함하는 디바이스를 의미하며, 도 2의 디코딩 장치로 구현될 수도 있고, 영상을 처리하는 핵심 모듈인 디코딩 모듈을 의미할 수도 있다.
상술한 바와 같이, 리딩 픽처들은 출력 순서가 CRA 픽처보다 먼저 출력되지만, CRA 픽처보다 후행하여 디코딩된다. 리딩 픽처들은 선행하는 선행 픽처들 중 적어도 하나를 참조할 수 있다.
예컨대, 비트스트림이 중간에 잘리거나 손실되거나, 픽처의 스플라이싱이 발생하여 갑작스럽게 CRA 픽처에서 랜덤 억세스가 발생할 경우, 디코딩 순서 상 CRA 픽처에 선행하는 선행 픽처들은 가용하지 않을 수 있다. 즉, 리딩 픽처들의 참조 픽처가 될 수 있는 선행 픽처들이 가용하지 않게 되므로, 가용하지 않은 픽처를 참조하는 리딩 픽처는 정상적으로 디코딩되지 않을 수 있다.
리딩 픽처가 참조하는 참조 픽처가 가용하지 않은 경우는, 리딩 픽처가 비트스트림 내 존재하지 않은 픽처를 참조하거나 리딩 픽처가 참조하는 픽처가 DPB(Decoded Picture Buffer)에 존재하지 않거나 DPB 내 “unused for reference”로 마크된 픽처인 경우 등을 말한다.
상기와 같이, 가용하지 않은 참조 픽처를 참조하는 리딩 픽처의 경우 정상적으로 디코딩되지 않을 수 있으므로, 이러한 리딩 픽처는 디코딩 과정에서 버려질 수 있다. 따라서, 랜덤 억세스가 발생한 경우, 리딩 픽처의 정상적인 디코딩 처리를 위해서는 디코딩 가능한 리딩 픽처와 디코딩 불가능한 리딩 픽처를 구분할 수 있는 정보가 필요하다. 이러한 정보는 NAL 유닛 타입으로 제공될 수 있으며, 아래는 리딩 픽처에 대한 NAL 유닛 타입의 실시예이다.
- DLP_NUT : 디코딩 가능한 리딩 픽처(Decodable Leading Picture: DLP)의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입(NAL Unit Type: NUT). 디코딩 가능한 리딩 픽처는 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처(Decodable Leading Picture for Random Access)를 말한다. 모든 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처들은 리딩 픽처들이다. 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처들은 동일한 RAP(혹은 IRAP) 픽처와 연관된 트레일링 픽처들의 디코딩 과정에서 참조 픽처로 사용되지 않는다. 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처들이 존재할 경우, 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처들은 디코딩 순서 상 동일한 RAP(혹은 IRAP) 픽처와 연관된 트레일링 픽처들에 선행한다.
- TFD_NUT : RAP 픽처에 선행하는 픽처가 가용하지 않은 경우 정상적으로 디코딩 되지 않고 버려질 수 있는(Tagged For Discard: TFD) 리딩 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. TFD 리딩 픽처는 디코딩 하지 않고 버려질 수 있는 픽처이다. TFD 리딩 픽처는 랜덤 억세스에 대한 스킵되는 리딩 픽처(Skipped Leading Picture for Random Access)라고 할 수 있다. 랜덤 억세스에 대한 스킵되는 리딩 픽처들은 BLA 또는 CRA 픽처와 연관된 리딩 픽처들이다. 랜덤 억세스에 대한 스킵되는 리딩 픽처는 비트스트림 내 존재하지 않는 픽처들을 참조할 수 있으므로 랜덤 억세스에 대한 스킵되는 리딩 픽처는 출력되지 않고 정확하게 디코딩될 수 없다. 랜덤 억세스에 대한 스킵되는 리딩 픽처들은 랜덤 억세스에 대한 스킵되는 리딩 픽처가 아닌 픽처들의 디코딩 과정에서 참조 픽처들로 사용되지 않는다. 랜덤 억세스에 대한 스킵되는 리딩 픽처들이 존재할 경우, 랜덤 억세스에 대한 스킵되는 리딩 픽처들은 디코딩 순서 상 동일한 RAP(혹은 IRAP) 픽처와 연관된 트레일링 픽처들에 선행한다.
DLP 및 TFD 리딩 픽처는 랜덤 억세스 혹은 스플라이싱이 발생하지 않은 경우의 정상적인 디코딩 과정에서의 트레일링 픽처들과 동일한 방식으로 처리될 수 있다.
도 9는 시간 스케일러빌러티를 지원하는 비트스트림 내 리딩 픽처를 포함한 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
비트스트림이 시간 스케일러빌러티를 지원하는 경우, 비트스트림에 포함된 NAL 유닛들은 시간 레이어의 식별 정보(예컨대, temporal_id)를 가진다.
일예로, temporal_id 값이 0, 1, 2인 NAL 유닛들이 비트스트림 내 포함된 경우라 가정하면, 도 9에 도시된 바와 같이 temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(900), temporal_id 값이 1인 NAL 유닛들로 구성된 시간 레이어(910), temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(920)로 계층화될 수 있다. 이때, temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(900)가 가장 낮은 시간 스케일러빌러티를 제공할 수 있으며, temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(920)가 가장 높은 시간 스케일러빌러티를 제공할 수 있다.
도 9에서, I로 표기된 박스는 I 픽처를 말하고, B로 표기된 박스는 B 픽처를 말한다. 또한, 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다. 예를 들어, temporal_id 값이 1인 시간 레이어(910)의 TRAIL_R 픽처는 temporal_id 값이 0인 시간 레이어(900)의 IDR_N_LP 픽처와 TRAIL_R 픽처를 참조 픽처로 사용하고, temporal_id 값이 2인 시간 레이어(920)의 TRAIL_N 픽처들에 의해 참조 픽처로 사용되고 있다.
도 9의 예에서는, temporal_id 값이 2인 시간 레이어(920)의 TRAIL_N 픽처들은 다른 픽처에 의해 참조되지 않는 픽처임을 NAL 유닛 타입을 통해 알 수 있다. 이러한 경우, 상술한 도 5의 실시예에서와 같이 비트스트림 추출 시 비참조되는 TRAIL_N 픽처들은 비트스트림으로부터 제거될 수 있다. 그러나, temporal_id 값이 2인 시간 레이어(920)의 DLP_NUT 및 TFD_NUT 리딩 픽처는 다른 픽처에 의해 참조되는 픽처인지 여부를 구분할 수 있는 정보가 포함되어 있지 않다. 따라서, 비트스트림 추출 과정에서 리딩 픽처를 비트스트림으로부터 제거하여도 디코딩 과정에 영향을 주지 않는지를 판단하기 힘들다.
본 발명에서는 상기와 같은 문제점을 해결하기 위해서, 리딩 픽처가 다른 픽처에 의해 참조되는 픽처인지 여부를 지시하는 정보를 제공한다. 본 발명의 일 실시예에 따르면 리딩 픽처에 대한 NAL 유닛 타입을 아래와 같이 정의한다.
- DLP_R : 참조되는 디코딩 가능한 리딩 픽처(Referenced Decodable Leading Picture). 다시 말해, 다른 픽처에 의해 참조되는 랜던 억세스에 대한 디코딩 가능한 리딩(Random Access Decodable Leading: RADL) 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입.
- DLP_N : 참조되지 않는 디코딩 가능한 리딩 픽처(Non-referenced Decodable Leading Picture). 다시 말해, 다른 픽처에 의해 참조되지 않는 랜덤 억세스에 대한 디코딩 가능한 리딩(Random Access Decodable Leading: RADL) 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입.
- TFD_R : 참조되는 디코딩 불가능한 픽처(참조되는 TFD 픽처). 다시 말해, RAP 픽처에 선행하는 픽처가 가용하지 않은 경우 정상적으로 디코딩 되지 않을 수 있으며 다른 픽처에 의해 참조되는 리딩 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. TFD 리딩 픽처는 버려질 수 있는(스킵될 수 있는) 픽처로, 랜덤 억세스에 대한 스킵되는 리딩(Random Access Skipped Leading: RASL) 픽처라고 할 수 있다.
- TFD_N : 참조되지 않는 디코딩 불가능한 픽처(참조되지 않는 TFD 픽처). 다시 말해, RAP 픽처에 선행하는 픽처가 가용하지 않은 경우 정상적으로 디코딩 되지 않을 수 있으며 다른 픽처에 의해 참조되지 않는 리딩 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. TFD 리딩 픽처는 버려질 수 있는(스킵될 수 있는) 픽처로, 랜덤 억세스에 대한 스킵되는 리딩(Random Access Skipped Leading: RASL) 픽처라고 할 수 있다.
상술한 본 발명의 일 실시예에 따른 리딩 픽처에 대한 NAL 유닛 타입 DLP_R, DLP_N, TFD_R, TFD_N은 아직 다른 타입에 의해 사용되지 않은 예비의 NAL 유닛 타입들을 이용하여 정의될 수 있다. 또한, 본 발명의 일 실시예에 따른 리딩 픽처에 대한 NAL 유닛 타입 DLP_R, DLP_N, TFD_R, TFD_N은, NAL 유닛 헤더의 NAL 유닛 타입을 위한 신택스 정보(예컨대, nal_unit_type)에 저장되어 시그널링될 수 있다.
다음은 본 발명의 일 실시예에 따른 리딩 픽처에 대한 NAL 유닛 타입 DLP_R, DLP_N, TFD_R, TFD_N에 적용될 수 있는 실시예들이다.
- NAL 유닛 타입(예컨대, nal_unit_type)이 TFD_N 또는 DLP_N일 때, 디코딩되는 픽처는 동일한 시간 레이어의 식별 정보(예컨대, temporal_id)를 가지는 픽처의 참조 픽처 세트(Reference Picture Set, RPS)에 포함되지 않는다.
참조 픽처 세트는 현재 픽처의 참조 픽처들의 집합을 의미하며, 디코딩 순서 상 현재 픽처에 선행하는 참조 픽처들로 구성될 수 있다. 참조 픽처는 현재 픽처의 인터 예측 시 사용될 수 있다. 여기서, 참조 픽처 세트는 POC(Picture Order Count) 순서 상 현재 픽처 이전 혹은 이후의 참조 픽처들로 구성된 단기 참조 픽처 세트(short term reference picture set)(예컨대, RefPicSetStCurrBefore, RefPicSetStCurrAfter)와 장기 참조 픽처 세트(long term reference picture set)(예컨대, RefPicSetLtCurr)일 수 있다.
- NAL 유닛 타입(예컨대, nal_unit_type)이 TFD_N 또는 DLP_N인 코딩된 픽처는 동일한 시간 레이어의 식별 정보(예컨대, temporal_id)를 가지는 다른 픽처들의 디코딩 과정에 영향을 주지 않고 버려질 수 있다. 왜냐하면 TFD_N 또는 DLP_N인 코딩된 픽처는 NAL 유닛 타입을 통해 다른 픽처들에 의해 참조되지 않는 픽처인지를 알 수 있으며, 디코딩 시 참조 픽처로 사용되지 않으므로 비트스트림으로부터 추출 가능하다.
- NAL 유닛 타입(예컨대, nal_unit_type)이 TFD_N 또는 DLP_N인 코딩된 픽처는, 디코딩이 리딩 픽처와 연관된 랜덤 억세스 포인트로부터 시작되는 경우가 아니라면 상술한 TRAIL_N, TSA_N, 또는 STSA_N 픽처와 유사하게 처리될 수 있다.
- NAL 유닛 타입(예컨대, nal_unit_type)이 TFD_R 또는 DLP_R인 코딩된 픽처는, 디코딩이 리딩 픽처와 연관된 랜덤 억세스 포인트로부터 시작되는 경우가 아니라면 상술한 TRAIL_R, TSA_R, 또는 STSA_R 픽처와 유사하게 처리될 수 있다.
도 10은 본 발명의 일 실시예에 따른 리딩 픽처를 포함한 NAL 유닛들이 비트스트림으로부터 제거되는 것을 설명하는 도면이다.
비트스트림이 시간 스케일러빌러티를 지원하는 경우, 비트스트림에 포함된 NAL 유닛들은 시간 레이어의 식별 정보(예컨대, temporal_id)를 가진다.
일예로, temporal_id 값이 0, 1, 2인 NAL 유닛들이 비트스트림 내 포함된 경우라 가정하면, 도 10에 도시된 바와 같이 temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(1000), temporal_id 값이 1인 NAL 유닛들로 구성된 시간 레이어(1010), temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(1020)로 계층화될 수 있다. 이때, temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(1000)가 가장 낮은 시간 스케일러빌러티를 제공할 수 있으며, temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(1020)가 가장 높은 시간 스케일러빌러티를 제공할 수 있다.
도 10에서, I로 표기된 박스는 I 픽처를 말하고, B로 표기된 박스는 B 픽처를 말한다. 또한, 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다.
도 10에 도시된 바와 같이, temporal_id 값이 2인 시간 레이어(1020)는 TRAIL_N 픽처들, TFD_N 및 DLP_N 리딩 픽처를 포함하고 있다. 상술한 바와 같이, TRAIL_N 픽처는 다른 픽처에 의해 참조되지 않는 트레일링 픽처이기 때문에, 다른 픽처들의 디코딩 과정에 영향을 주지 않고 비트스트림으로부터 제거 가능하다.
또한, 본 발명의 실시예에 따라 리딩 픽처가 다른 픽처에 의해 참조되는 픽처인지 여부를 지시하는 NAL 유닛 타입으로 정의되어 시그널링되므로, NAL 유닛 타입을 통해 비트스트림으로부터 리딩 픽처가 제거 가능한지 여부를 알 수 있다. 도 10에 도시된 바와 같이, TFD_N 및 DLP_N 리딩 픽처는 다른 픽처에 의해 참조되지 않는 리딩 픽처이며, 다른 픽처들의 디코딩 과정에 영향을 주지 않고 비트스트림으로부터 제거될 수 있다. 즉, 리딩 픽처가 참조 픽처인지 비참조 픽처인지에 대한 정보가 NAL 유닛 타입으로부터 유도될 수 있으므로, 리딩 픽처에 대한 비트스트림 추출 과정은 트레일링 픽처의 비트스트림 추출 과정과 유사하게 수행될 수 있다. 따라서, temporal_id 값이 2인 시간 레이어(1020)에 해당하는 픽처들은 비참조 픽처들이므로, 디코딩 시 비트스트림으로부터 상기 temporal_id 값이 2인 시간 레이어(1020)의 비참조 픽처들은 추출될 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 정보의 인코딩 방법을 개략적으로 나타내는 순서도이다. 도 11의 방법은 상술한 도 의 인코딩 장치에서 수행될 수 있다.
도 11을 참조하면, 인코딩 장치는 NAL 유닛 참조 픽처인지 여부에 따라 NAL 유닛 타입을 결정한다(S1100). 이때, NAL 유닛은 현재 픽처를 기반으로 인터 예측을 수행하여 생성된 현재 픽처에 대한 레지듀얼 신호를 포함하는 NAL 유닛일 수 있다.
인코딩 장치는 상기 NAL 유닛이 포함하는 정보(현재 픽처에 대한 레지듀얼 신호)에 따라 NAL 유닛 타입을 결정할 수 있다. 예컨대, 상기 NAL 유닛이 다른 픽처에 의해 참조되는 리딩 픽처인지 상기 NAL 유닛이 다른 픽처에 의해 참조되지 않는 리딩 픽처인지에 따라 NAL 유닛 타입을 결정할 수 있다. 리딩 픽처는 상술한 바와 같이 랜덤 억세스 포인트 픽처보다 출력 순서가 선행하고 디코딩 순서는 후행하는 픽처를 말하며, 디코딩 가능한 제1 리딩 픽처와 디코딩 불가능한 제2 리딩 픽처를 포함할 수 있다.
만일 상기 NAL 유닛이 다른 픽처에 의해 참조되는 제1 리딩 픽처인 경우, 인코딩 장치는 NAL 유닛 타입으로 DLP_R 혹은 RADL_R로 결정할 수 있으며, 상기 NAL 유닛이 다른 픽처에 의해 참조되지 않는 제1 리딩 픽처인 경우, 인코딩 장치는 NAL 유닛 타입으로 DLP_N 혹은 RADL_ N으로 결정할 수 있다.
그렇지 않고 상기 NAL 유닛이 다른 픽처에 의해 참조되는 제2 리딩 픽처인 경우, 인코딩 장치는 NAL 유닛 타입으로 TFD_R 혹은 RASL_R로 결정할 수 있으며, 상기 NAL 유닛이 다른 픽처에 의해 참조되지 않는 제2 리딩 픽처인 경우, 인코딩 장치는 NAL 유닛 타입으로 TFD_N 혹은 RASL_N으로 결정할 수 있다.
인코딩 장치는 상기 NAL 유닛 및 NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 인코딩하여 전송한다(S1110).
인코딩 장치는 NAL 유닛 타입에 대한 정보를 nal_unit_type 신택스로 인코딩하여 NAL 유닛 헤더에 저장할 수 있다. 또한, 인코딩 장치는 시간 스케일러빌러티를 지원하는 비트스트림의 경우 NAL 유닛의 시간 스케일러블 레이어를 식별하기 위한 시간 레이어의 식별 정보를 더 포함하는 비트스트림을 생성할 수 있다. 시간 레이어의 식별 정보는 temporal_id 신택스로로 인코딩되어 NAL 유닛 헤더에 저장될 수 있다.
도 12는 본 발명의 일 실시예에 따른 영상 정보의 디코딩 방법을 개략적으로 나타내는 순서도이다. 도 12의 방법은 상술한 도 2의 디코딩 장치에서 수행될 수 있다.
도 12를 참조하면, 디코딩 장치는 NAL 유닛에 대한 정보를 포함하는 비트스트림을 수신한다(S1200).
NAL 유닛에 대한 정보는 NAL 유닛이 포함하는 픽처의 성질 및 종류에 따라 결정된 NAL 유닛 타입에 대한 정보가 포함되어 있다. NAL 유닛 타입은 해당 NAL 유닛에 포함된 픽처의 성질 및 종류뿐만 아니라 NAL 유닛에 포함된 픽처가 참조 픽처인지 여부에 대한 정보도 함께 유도될 수 있다.
예를 들어, NAL 유닛 타입에 대한 정보는 nal_unit_type 신택스로 NAL 유닛 헤더에 저장되어 비트스트림에 포함될 수 있으며, NAL 유닛 타입에 대한 구체적인 설명은 상술하였으므로 여기서는 설명을 생략한다.
또한, NAL 유닛에 대한 정보는 시간 스케일러빌러티를 지원하는 시간 레이어의 식별 정보가 더 포함되어 있다. 시간 레이어의 식별 정보는 해당 NAL 유닛의 시간 스케일러블 레이어를 식별하기 위한 레이어 식별 정보일 수 있다. 예컨대, 시간 레이어의 식별 정보는 temporal_id 신택스로 NAL 유닛 헤더에 저장되어 비트스트림에 포함될 수 있다.
디코딩 장치는 NAL 유닛 타입에 대한 정보를 기반으로 비트스트림 내 NAL 유닛이 참조 픽처인지 여부를 확인하여 NAL 유닛을 디코딩한다(S1210).
NAL 유닛 타입에 대한 정보를 통해 NAL 유닛이 다른 픽처에 의해 참조되는 참조 픽처인지 다른 픽처에 의해 참조되지 않는 비참조 픽처인지를 유도할 수 있다. 만일, NAL 유닛이 다른 픽처에 의해 참조되지 않는 비참조 픽처이면 디코딩 과정에서 상기 NAL 유닛을 비트스트림으로부터 추출하여 제거할 수 있다.
일예로, NAL 유닛 타입에 대한 정보는, NAL 유닛이 다른 픽처에 의해 참조되는 리딩 픽처인지 NAL 유닛이 다른 픽처에 의해 참조되지 않는 리딩 픽처인지를 지시하는 정보일 수 있다. 리딩 픽처는 상술한 바와 같이 랜덤 억세스 포인트 픽처보다 출력 순서가 선행하고 디코딩 순서는 후행하는 픽처로서, 디코딩 가능한 제1 리딩 픽처와 디코딩 불가능한 버려지는 제2 리딩 픽처를 포함할 수 있다.
만일, 비트스트림 내 포함된 NAL 유닛 타입이 DLP_R 혹은 RADL_R인 경우, 디코딩 장치는 NAL 유닛이 다른 픽처에 의해 참조되는 제1 리딩 픽처라는 것을 알 수 있으며, 비트스트림 내 포함된 NAL 유닛 타입이 DLP_N 혹은 RADL_ N인 경우, 디코딩 장치는 NAL 유닛이 다른 픽처에 의해 참조되지 않는 제1 리딩 픽처라는 것을 알 수 있다.
그렇지 않고, 비트스트림 내 포함된 NAL 유닛 타입이 TFD_R 혹은 RASL_R인 경우, 디코딩 장치는 NAL 유닛이 다른 픽처에 의해 참조되는 제2 리딩 픽처라는 것을 알 수 있으며, 비트스트림 내 포함된 NAL 유닛 타입이 TFD_N 혹은 RASL_N인 경우, 디코딩 장치는 NAL 유닛이 다른 픽처에 의해 참조되지 않는 제2 리딩 픽처라는 것을 알 수 있다.
이때, 디코딩 장치는 NAL 유닛 타입이 DLP_N 혹은 RADL_ N, TFD_N 혹은 RASL_N인 경우, 상기 NAL 유닛 타입에 해당하는 NAL 유닛을 비트스트림으로부터 추출하여 디코딩할 수 있다.
또한, 디코딩 장치는 시간 레이어의 식별 정보를 통해 NAL 유닛의 시간 레이어를 유도할 수 있다. 만일 동일한 시간 레이어의 NAL 유닛들이 다른 픽처에 의해 참조되지 않는 픽처들(예컨대, DLP_N 혹은 RADL_ N 픽처, TFD_N 혹은 RASL_N 픽처)인 경우, 해당 시간 레이어의 NAL 유닛들을 비트스트림으로부터 제거할 수 있다. 여기서, 동일한 시간 레이어의 NAL 유닛들은 시간 레이어의 식별 값이 동일한 NAL 유닛들을 말한다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (12)

  1. NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 수신하는 단계; 및
    상기 NAL 유닛 타입에 대한 정보를 기반으로 상기 비트스트림 내 NAL 유닛이 참조 픽처인지 여부를 확인하여 상기 NAL 유닛을 디코딩하는 단계를 포함하며,
    상기 NAL 유닛 타입에 대한 정보는, 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지를 지시하는 정보인 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    랜덤 억세스(Random Access)가 있는 경우, 상기 랜덤 억세스에 대한 리딩 픽처의 NAL 유닛 타입이 상기 참조되지 않는 리딩 픽처인 것을 지시하면 상기 비트스트림으로부터 상기 NAL 유닛을 제거하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  3. 제2항에 있어서,
    시간 스케일러빌러티를 지원하는 시간 레이어의 식별 정보를 더 수신하는 단계를 포함하며,
    상기 NAL 유닛을 제거하는 단계에서는,
    상기 시간 레이어의 식별 정보를 기반으로 상기 비트스트림 내 동일한 시간 레이어의 NAL 유닛들이 상기 참조되지 않는 리딩 픽처인 것을 지시하는 NAL 유닛 타입인 경우에 상기 비트스트림으로부터 상기 동일한 시간 레이어의 NAL 유닛들을 제거하며,
    상기 동일한 시간 레이어의 NAL 유닛들은, 상기 시간 레이어의 식별 값이 동일한 NAL 유닛들인 것을 특징으로 하는 영상 복호화 방법.
  4. 제1항에 있어서,
    상기 리딩 픽처는 랜덤 억세스 포인트 픽처보다 출력 순서가 선행하고 디코딩 순서는 후행하는 픽처이며,
    상기 리딩 픽처는 디코딩 가능한 제1 리딩 픽처와 디코딩 불가능한 제2 리딩 픽처를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  5. NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 수신하고, 상기 NAL 유닛 타입에 대한 정보를 기반으로 상기 비트스트림 내 NAL 유닛이 참조 픽처인지 여부를 확인하여 상기 NAL 유닛을 엔트로피 디코딩하는 엔트로피 디코딩부를 포함하며,
    상기 NAL 유닛 타입에 대한 정보는, 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지를 지시하는 정보인 것을 특징으로 하는 영상 복호화 장치.
  6. 제5항에 있어서,
    상기 엔트로피 디코딩부는,
    랜덤 억세스(Random Access)가 있는 경우, 상기 랜덤 억세스에 대한 리딩 픽처의 NAL 유닛 타입이 상기 참조되지 않는 리딩 픽처인 것을 지시하면 상기 비트스트림으로부터 상기 NAL 유닛을 제거하는 것을 특징으로 하는 영상 복호화 장치.
  7. 제6항에 있어서,
    상기 엔트로피 디코딩부는,
    시간 스케일러빌러티를 지원하는 시간 레이어의 식별 정보를 더 수신하며,
    상기 시간 레이어의 식별 정보를 기반으로 상기 비트스트림 내 동일한 시간 레이어의 NAL 유닛들이 상기 참조되지 않는 리딩 픽처인 것을 지시하는 NAL 유닛 타입인 경우에 상기 비트스트림으로부터 상기 동일한 시간 레이어의 NAL 유닛들을 제거하며,
    상기 동일한 시간 레이어의 NAL 유닛들은, 상기 시간 레이어의 식별 값이 동일한 NAL 유닛들인 것을 특징으로 하는 영상 복호화 장치.
  8. 제5항에 있어서,
    상기 리딩 픽처는 랜덤 억세스 포인트 픽처보다 출력 순서가 선행하고 디코딩 순서는 후행하는 픽처이며,
    상기 리딩 픽처는 디코딩 가능한 제1 리딩 픽처와 디코딩 불가능한 제2 리딩 픽처를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  9. 현재 픽처를 기반으로 인터 예측을 수행하여 상기 현재 픽처에 대한 레지듀얼 신호를 생성하는 단계; 및
    상기 현재 픽처에 대한 레지듀얼 신호를 기반으로 생성된 NAL 유닛 및 상기NAL 유닛에 대한 정보를 포함하는 비트스트림을 전송하는 단계를 포함하며,
    상기 NAL 유닛에 대한 정보는,
    상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지에 따라 결정된 NAL 유닛 타입에 대한 정보를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제9항에 있어서,
    상기 리딩 픽처는 랜덤 억세스 포인트 픽처보다 출력 순서가 선행하고 디코딩 순서는 후행하는 픽처이며,
    상기 리딩 픽처는 디코딩 가능한 제1 리딩 픽처와 디코딩 불가능한 제2 리딩 픽처를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  11. 현재 픽처를 기반으로 인터 예측을 수행하여 상기 현재 픽처에 대한 레지듀얼 신호를 생성하는 예측부; 및
    상기 현재 픽처에 대한 레지듀얼 신호를 기반으로 생성된 NAL 유닛 및 상기NAL 유닛에 대한 정보를 엔트로피 인코딩하여 비트스트림을 출력하는 엔트로피 인코딩부를 포함하며,
    상기 NAL 유닛에 대한 정보는,
    상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지에 따라 결정된 NAL 유닛 타입에 대한 정보를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  12. 제11항에 있어서,
    상기 리딩 픽처는 랜덤 억세스 포인트 픽처보다 출력 순서가 선행하고 디코딩 순서는 후행하는 픽처이며,
    상기 리딩 픽처는 디코딩 가능한 제1 리딩 픽처와 디코딩 불가능한 제2 리딩 픽처를 포함하는 것을 특징으로 하는 영상 부호화 장치.
PCT/KR2013/008303 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치 Ceased WO2014042460A1 (ko)

Priority Applications (14)

Application Number Priority Date Filing Date Title
KR1020217003703A KR102259794B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227042534A KR102515017B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227000377A KR102397259B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020207029208A KR102215438B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227029148A KR102477476B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020217016212A KR102349338B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
US14/427,815 US9794594B2 (en) 2012-09-13 2013-09-13 Method and apparatus for encoding/decoding images
KR1020157006323A KR102167096B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227015441A KR102444264B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
US15/710,985 US10075736B2 (en) 2012-09-13 2017-09-21 Method and apparatus for encoding/decoding images
US16/056,087 US10602189B2 (en) 2012-09-13 2018-08-06 Method and apparatus for encoding/decoding images
US16/785,114 US10972757B2 (en) 2012-09-13 2020-02-07 Method and apparatus for encoding/decoding images
US17/189,582 US11477488B2 (en) 2012-09-13 2021-03-02 Method and apparatus for encoding/decoding images
US17/896,359 US11831922B2 (en) 2012-09-13 2022-08-26 Method and apparatus for encoding/decoding images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261700335P 2012-09-13 2012-09-13
US61/700,335 2012-09-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/427,815 A-371-Of-International US9794594B2 (en) 2012-09-13 2013-09-13 Method and apparatus for encoding/decoding images
US15/710,985 Continuation US10075736B2 (en) 2012-09-13 2017-09-21 Method and apparatus for encoding/decoding images

Publications (1)

Publication Number Publication Date
WO2014042460A1 true WO2014042460A1 (ko) 2014-03-20

Family

ID=50278476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/008303 Ceased WO2014042460A1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (6) US9794594B2 (ko)
KR (8) KR102259794B1 (ko)
WO (1) WO2014042460A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994704A (zh) * 2019-06-18 2022-01-28 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN115104315A (zh) * 2019-12-23 2022-09-23 Lg电子株式会社 基于nal单元相关信息的图像或视频编码
CN115104316A (zh) * 2019-12-23 2022-09-23 Lg电子株式会社 用于切片或图片的基于nal单元类型的图像或视频编码
CN115244936A (zh) * 2020-03-05 2022-10-25 Lg电子株式会社 基于混合nal单元类型的图像编码/解码方法和装置及发送比特流的方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106416250B (zh) 2013-12-02 2020-12-04 诺基亚技术有限公司 视频编码和解码
US10547834B2 (en) 2014-01-08 2020-01-28 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
CN104768011B (zh) * 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置
KR102477964B1 (ko) * 2015-10-12 2022-12-16 삼성전자주식회사 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법
CN107592540B (zh) * 2016-07-07 2020-02-11 腾讯科技（深圳）有限公司 一种视频数据处理方法及装置
US11265580B2 (en) * 2019-03-22 2022-03-01 Tencent America LLC Supplemental enhancement information messages for neural network based video post processing
KR102874357B1 (ko) * 2019-07-03 2025-10-20 후아웨이 테크놀러지 컴퍼니 리미티드 참조 화상 목록 내의 참조 화상의 유형
US11265357B2 (en) * 2019-10-10 2022-03-01 Microsoft Technology Licensing, Llc AV1 codec for real-time video communication
KR102838856B1 (ko) * 2019-12-23 2025-07-24 엘지전자 주식회사 Nal 유닛 타입 기반 영상 또는 비디오 코딩
KR20220141794A (ko) * 2020-03-05 2022-10-20 엘지전자 주식회사 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021194208A1 (ko) * 2020-03-23 2021-09-30 엘지전자 주식회사 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2021194211A1 (ko) * 2020-03-23 2021-09-30 엘지전자 주식회사 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
US12489945B2 (en) * 2023-07-26 2025-12-02 Adeia Guides Inc. Client-side decoding and playout at channel changes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050019864A (ko) * 2002-07-16 2005-03-03 노키아 코포레이션 비디오 코딩시 랜덤 액세스 및 점진적 화상 리프레시를위한 방법
KR20070016659A (ko) * 2005-08-04 2007-02-08 삼성전자주식회사 픽쳐 스킵 방법 및 장치
US20100027964A1 (en) * 2004-04-28 2010-02-04 Tadamasa Toma Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof
WO2010123198A2 (ko) * 2009-04-21 2010-10-28 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
KR20110106465A (ko) * 2009-01-28 2011-09-28 노키아 코포레이션 비디오 코딩 및 디코딩을 위한 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778235B (zh) * 2004-04-28 2013-06-19 松下电器产业株式会社 运动画面产生装置,编码装置,解码装置及多路复用装置
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9338474B2 (en) * 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US20140003520A1 (en) * 2012-07-02 2014-01-02 Cisco Technology, Inc. Differentiating Decodable and Non-Decodable Pictures After RAP Pictures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050019864A (ko) * 2002-07-16 2005-03-03 노키아 코포레이션 비디오 코딩시 랜덤 액세스 및 점진적 화상 리프레시를위한 방법
US20100027964A1 (en) * 2004-04-28 2010-02-04 Tadamasa Toma Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof
KR20070016659A (ko) * 2005-08-04 2007-02-08 삼성전자주식회사 픽쳐 스킵 방법 및 장치
KR20110106465A (ko) * 2009-01-28 2011-09-28 노키아 코포레이션 비디오 코딩 및 디코딩을 위한 방법 및 장치
WO2010123198A2 (ko) * 2009-04-21 2010-10-28 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994704A (zh) * 2019-06-18 2022-01-28 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN113994704B (zh) * 2019-06-18 2024-05-17 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN115104315A (zh) * 2019-12-23 2022-09-23 Lg电子株式会社 基于nal单元相关信息的图像或视频编码
CN115104316A (zh) * 2019-12-23 2022-09-23 Lg电子株式会社 用于切片或图片的基于nal单元类型的图像或视频编码
CN115244936A (zh) * 2020-03-05 2022-10-25 Lg电子株式会社 基于混合nal单元类型的图像编码/解码方法和装置及发送比特流的方法

Also Published As

Publication number Publication date
KR20150054834A (ko) 2015-05-20
US20210185360A1 (en) 2021-06-17
US10075736B2 (en) 2018-09-11
KR20220165289A (ko) 2022-12-14
KR102515017B1 (ko) 2023-03-29
US20220408117A1 (en) 2022-12-22
US9794594B2 (en) 2017-10-17
KR102167096B1 (ko) 2020-10-16
US20200177924A1 (en) 2020-06-04
US11831922B2 (en) 2023-11-28
US10972757B2 (en) 2021-04-06
US20180054631A1 (en) 2018-02-22
KR102444264B1 (ko) 2022-09-16
KR102397259B1 (ko) 2022-05-12
KR20220121917A (ko) 2022-09-01
KR20220008385A (ko) 2022-01-20
US20180352261A1 (en) 2018-12-06
KR20210064438A (ko) 2021-06-02
US20150237377A1 (en) 2015-08-20
KR20200121374A (ko) 2020-10-23
US11477488B2 (en) 2022-10-18
KR20210018535A (ko) 2021-02-17
US10602189B2 (en) 2020-03-24
KR102477476B1 (ko) 2022-12-14
KR20220062694A (ko) 2022-05-17
KR102215438B1 (ko) 2021-02-15
KR102259794B1 (ko) 2021-06-02
KR102349338B1 (ko) 2022-01-10

Similar Documents

Publication Publication Date Title
WO2014042460A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2020071830A1 (ko) 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
WO2013162249A1 (ko) 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
WO2013157826A1 (ko) 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
WO2014092407A1 (ko) 영상의 디코딩 방법 및 이를 이용하는 장치
WO2014163241A1 (ko) 동영상 처리 방법 및 장치
WO2014003379A1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
WO2014084656A1 (ko) 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
WO2015009036A1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
WO2017061671A1 (ko) 영상 코딩 시스템에서 적응적 변환에 기반한 영상 코딩 방법 및 장치
WO2015056941A1 (ko) 다계층 기반의 영상 부호화/복호화 방법 및 장치
WO2014007515A1 (ko) 영상 정보 코딩 방법 및 이를 이용하는 장치
WO2021066618A1 (ko) 변환 스킵 및 팔레트 코딩 관련 정보의 시그널링 기반 영상 또는 비디오 코딩
WO2018128222A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2021177791A1 (ko) 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2014051372A1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2014038905A2 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2021132964A1 (ko) Nal 유닛 관련 정보 기반 영상 또는 비디오 코딩
WO2021066609A1 (ko) 변환 스킵 및 팔레트 코딩 관련 고급 문법 요소 기반 영상 또는 비디오 코딩
WO2021201617A1 (ko) 레이어간 정렬된 서브픽처 정보에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2021066610A1 (ko) 변환 스킵 및 팔레트 코딩 관련 정보 기반 영상 또는 비디오 코딩
WO2021235895A1 (ko) 영상 코딩 방법 및 그 장치
WO2021246791A1 (ko) 영상/비디오 코딩 시스템에서 상위 레벨 신택스를 처리하는 방법 및 장치
WO2021132963A1 (ko) 슬라이스 또는 픽처에 대한 nal 유닛 타입 기반 영상 또는 비디오 코딩
WO2016204372A1 (ko) 영상 코딩 시스템에서 필터 뱅크를 이용한 영상 필터링 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13837648

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157006323

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14427815

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13837648

Country of ref document: EP

Kind code of ref document: A1