[go: up one dir, main page]

WO2026010342A1 - 영상의 필터링 장치 및 방법 - Google Patents

영상의 필터링 장치 및 방법

Info

Publication number
WO2026010342A1
WO2026010342A1 PCT/KR2025/009379 KR2025009379W WO2026010342A1 WO 2026010342 A1 WO2026010342 A1 WO 2026010342A1 KR 2025009379 W KR2025009379 W KR 2025009379W WO 2026010342 A1 WO2026010342 A1 WO 2026010342A1
Authority
WO
WIPO (PCT)
Prior art keywords
current
sample
unit
image
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/009379
Other languages
English (en)
French (fr)
Inventor
딘쿠오칸
최광표
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240179697A external-priority patent/KR20260005011A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2026010342A1 publication Critical patent/WO2026010342A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present disclosure relates to the field of image filtering, and more specifically, to a device and method for adaptively filtering an image based on a fixed filter during an image encoding or decoding process.
  • the image is divided into blocks, and each block can be predicted and decoded through inter prediction or intra prediction.
  • Inter prediction can be a technique for compressing images by removing temporal redundancy between images.
  • Inter prediction can predict blocks in the current image using a reference image.
  • the reference block most similar to the current block can be searched within a predetermined search range within the reference image.
  • the current block can be predicted based on the reference block, and the predicted block generated as a result of the prediction can be subtracted from the current block to generate a residual block.
  • Intra prediction can be a technique for compressing images by removing spatial redundancy within the image.
  • Intra prediction can generate a predicted block based on the surrounding pixels of the current block, depending on the intra prediction mode. Then, the predicted block can be subtracted from the current block to generate a residual block.
  • the intra prediction mode used to generate the predicted block can be signaled to the decoder through a predetermined method.
  • the residual block generated through inter prediction or intra prediction can be transformed and quantized and then passed to the decoder.
  • the encoder and decoder can reconstruct the current block by combining the predicted block and the residual block of the current block.
  • the encoder and decoder can apply a deblocking filter and/or an adaptive loop filter to the reconstructed current block to remove artifacts within the current block.
  • a method of filtering an image by a filtering device may include a step of determining a current filter to be applied to a current block within a filter set including a plurality of filters.
  • a method for filtering an image by a filtering device may include a step of preprocessing a difference between a current sample and surrounding samples of a current sample within a current block based on a predefined function.
  • the predefined function can be defined using an exponential function expressed as a power of a natural constant.
  • the output shape of a predefined function can be controlled using at least one parameter.
  • a method of filtering an image by a filtering device may include a step of filtering a current sample based on a current filter and a preprocessed difference.
  • a filtering device may include at least one memory storing at least one instruction, and at least one processor operating according to the at least one instruction.
  • a processor can determine a current filter to be applied to a current block within a filter set including a plurality of filters.
  • a processor may calculate a difference between a current sample and surrounding samples of the current sample within a current block based on a predefined function.
  • the predefined function can be defined using an exponential function expressed as a power of a natural constant.
  • the output shape of a predefined function can be controlled using at least one parameter.
  • a processor may filter a current sample based on a current filter and a preprocessed difference.
  • a computer-readable recording medium may include a bitstream.
  • the bitstream may include filter information used to filter the current image according to a filtering method.
  • the bitstream may include an encoding result generated based on a current image filtered according to a filtering method.
  • FIG. 1 is a block diagram of an image decoding device according to one embodiment.
  • FIG. 2 is a block diagram of an image encoding device according to one embodiment.
  • FIG. 3 illustrates a process of dividing a current encoding unit to determine at least one encoding unit according to one embodiment.
  • FIG. 4 illustrates a process of dividing a non-square coding unit to determine at least one coding unit according to one embodiment.
  • FIG. 5 illustrates a process of dividing an encoding unit based on at least one of block shape information and segmentation shape mode information according to one embodiment.
  • FIG. 6 illustrates a method for determining a predetermined coding unit among an odd number of coding units according to one embodiment.
  • FIG. 7 illustrates the order in which multiple encoding units are processed when a current encoding unit is divided to determine multiple encoding units according to one embodiment.
  • FIG. 8 illustrates a process for determining that a current encoding unit is split into an odd number of encoding units when encoding units cannot be processed in a predetermined order according to one embodiment.
  • FIG. 9 illustrates a process of dividing a first encoding unit to determine at least one encoding unit according to one embodiment.
  • FIG. 10 illustrates that, according to one embodiment, the shapes into which a first encoding unit can be divided are limited when a second encoding unit of a non-square shape determined by splitting the first encoding unit satisfies a predetermined condition.
  • FIG. 11 illustrates a process of splitting a square-shaped encoding unit when the split shape mode information cannot represent splitting into four square-shaped encoding units according to one embodiment.
  • FIG. 12 illustrates that, according to one embodiment, the processing order between multiple encoding units may vary depending on the process of splitting the encoding units.
  • FIG. 13 illustrates a process in which the depth of an encoding unit is determined as the shape and size of the encoding unit change when the encoding unit is recursively split to determine a plurality of encoding units according to one embodiment.
  • FIG. 14 illustrates an index (part index, hereinafter referred to as PID) for depth and encoding unit distinction that can be determined according to the shape and size of encoding units according to one embodiment.
  • PID part index
  • FIG. 15 illustrates that a plurality of coding units are determined according to a plurality of predetermined data units included in a picture according to one embodiment.
  • FIG. 16 illustrates encoding units that can be determined for each picture when the combination of forms into which encoding units can be divided is different for each picture according to one embodiment.
  • FIG. 17 illustrates various forms of encoding units that can be determined based on segmentation form mode information expressed in binary code according to one embodiment.
  • FIG. 18 illustrates another form of a coding unit that can be determined based on segmentation mode information expressed in binary code according to one embodiment.
  • FIG. 19 is a block diagram of an image encoding and decoding system according to one embodiment.
  • Fig. 20 is a block diagram illustrating a configuration of a filtering device according to one embodiment.
  • Figure 21 is a diagram illustrating a filter according to one embodiment.
  • Fig. 22 is a block diagram illustrating the configuration of a classifier according to one embodiment.
  • Fig. 23 is a block diagram illustrating a configuration of a filtering device according to one embodiment.
  • Fig. 24 is a block diagram illustrating a configuration of a filtering device according to one embodiment.
  • Figure 25 is a flowchart for explaining a method of filtering an image according to one embodiment.
  • FIG. 26 is a drawing for explaining the output form of a parameter function according to one embodiment of the present disclosure.
  • FIG. 27 is a drawing for explaining the output form of a parameter function according to one embodiment of the present disclosure.
  • FIG. 28 is a drawing for explaining the output form of a parameter function according to one embodiment of the present disclosure.
  • FIG. 29 is a flowchart for explaining a method for filtering an image according to one embodiment of the present disclosure.
  • FIG. 30 is a flowchart illustrating a method for filtering an image according to one embodiment of the present disclosure.
  • the expression “at least one of a, b or c” may refer to “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “all of a, b and c”, or variations thereof.
  • a component when referred to as being “connected” or “connected” to another component, the component may be directly connected or connected to the other component, but unless there is a specific description to the contrary, the component may also be connected or connected via another component in between.
  • components expressed as “units”, “modules”, etc. may be two or more components combined into a single component, or a single component may be divided into two or more more detailed components.
  • each component described below may additionally perform some or all of the functions performed by other components in addition to its own main function, and some of the main functions performed by each component may be performed by other components.
  • 'image' may refer to a picture, a still image, a frame, a moving image composed of a plurality of consecutive still images, or a video.
  • sample may refer to data assigned to a sampling location in an image and thus to be processed.
  • a pixel within a frame in a spatial domain may correspond to a sample.
  • a unit containing multiple samples may be defined as a block.
  • an image encoding method and device based on a tree-structured encoding unit and a transformation unit according to one embodiment, and an image decoding method and device are disclosed.
  • FIG. 1 illustrates a block diagram of an image decoding device (100) according to one embodiment.
  • the video decoding device (100) may include a bitstream acquisition unit (110) and a decoding unit (120).
  • the bitstream acquisition unit (110) and the decoding unit (120) may include at least one processor.
  • the bitstream acquisition unit (110) and the decoding unit (120) may include a memory that stores commands to be executed by at least one processor.
  • the bitstream acquisition unit (110) can receive a bitstream.
  • the bitstream includes information obtained by encoding an image by an image encoding device (200) described below.
  • the bitstream can be transmitted from the image encoding device (200).
  • the image encoding device (200) and the image decoding device (100) can be connected by wire or wirelessly, and the bitstream acquisition unit (110) can receive the bitstream by wire or wirelessly.
  • the bitstream acquisition unit (110) can receive the bitstream from a storage medium such as an optical medium, a hard disk, etc.
  • the decoding unit (120) can restore the image based on information obtained from the received bitstream.
  • the decoding unit (120) can obtain syntax elements for restoring the image from the bitstream.
  • the decoding unit (120) can restore the image based on the syntax elements.
  • the bitstream acquisition unit (110) can receive a bitstream.
  • the image decoding device (100) may perform an operation of obtaining a binstring corresponding to a splitting shape mode of an encoding unit from a bitstream. In addition, the image decoding device (100) may perform an operation of determining a splitting rule of the encoding unit. In addition, the image decoding device (100) may perform an operation of splitting an encoding unit into a plurality of encoding units based on at least one of the binstring corresponding to the splitting shape mode and the splitting rule. In order to determine the splitting rule, the image decoding device (100) may determine a first allowable range of the size of the encoding unit according to a ratio of the width and height of the encoding unit. In order to determine the splitting rule, the image decoding device (100) may determine a second allowable range of the size of the encoding unit according to the splitting shape mode of the encoding unit.
  • a picture can be divided into one or more slices or one or more tiles.
  • a slice or a tile can be a sequence of one or more maximum coding tree units (CTUs).
  • CTUs maximum coding tree units
  • a slice may include one or more tiles, and a slice may include one or more maximum coding units.
  • a slice including one or more tiles can be determined within a picture.
  • the maximum coding block (Coding Tree Block; CTB) is a concept that contrasts with the maximum coding unit (CTU).
  • CTB is an NxN block containing NxN samples (N is an integer). Each color component can be divided into one or more CTBs.
  • a maximum coding unit is a unit that includes a maximum coding block of luma samples, two maximum coding blocks of corresponding chroma samples, and syntax structures used to encode the luma samples and chroma samples.
  • a maximum coding unit is a unit that includes a maximum coding block of monochrome samples and syntax structures used to encode the monochrome samples.
  • a maximum coding unit is a unit that includes syntax structures used to encode the picture and samples of the picture.
  • a single maximum coding block can be divided into MxN coding blocks containing MxN samples (M, N are integers).
  • a coding unit is a unit that includes a coding block for a luma sample and two coding blocks for corresponding chroma samples, and syntax structures used to encode the luma sample and the chroma samples.
  • a coding unit is a unit that includes a coding block for a monochrome sample and syntax structures used to encode the monochrome samples.
  • a coding unit is a unit that includes syntax structures used to encode the picture and samples of the picture.
  • the maximum coding block and the maximum coding unit are distinct concepts, and the coding block and the coding unit are distinct concepts. That is, the (maximum) coding unit refers to a data structure including a (maximum) coding block including the corresponding sample and a syntax structure corresponding to it.
  • the (maximum) coding unit or the (maximum) coding block refers to a block of a predetermined size including a predetermined number of samples, the following specification will refer to the maximum coding block and the maximum coding unit, or the coding block and the coding unit, without distinction unless there are special circumstances.
  • An image can be divided into Coding Tree Units (CTUs).
  • the size of the CTUs can be determined based on information obtained from the bitstream.
  • the shape of the CTUs can be a square of equal size, but is not limited thereto.
  • information about the maximum size of a luma coding block can be obtained from the bitstream.
  • the maximum size of the luma coding block indicated by the information about the maximum size of the luma coding block can be one of 4x4, 8x8, 16x16, 32x32, 64x64, 128x128, and 256x256.
  • information about the maximum size of a luma coding block capable of being split into two and the luma block size difference can be obtained from the bitstream.
  • the information about the luma block size difference can indicate the size difference between a luma maximum coding unit and a maximum luma coding block capable of being split into two. Therefore, by combining the information about the maximum size of a luma coding block capable of being split into two obtained from the bitstream and the information about the luma block size difference, the size of the luma maximum coding unit can be determined. Using the size of the luma maximum coding unit, the size of the chroma maximum coding unit can also be determined.
  • the size of the chroma block can be half the size of the luma block, and similarly, the size of the chroma maximum coding unit can be half the size of the luma maximum coding unit.
  • the maximum size of the luma coding block capable of binary splitting can be determined variably.
  • the maximum size of a luma coding block capable of ternary splitting can be fixed.
  • the maximum size of a luma coding block capable of ternary splitting in an I picture may be 32x32
  • the maximum size of a luma coding block capable of ternary splitting in a P picture or a B picture may be 64x64.
  • the maximum coding unit can be hierarchically divided into coding units based on the division shape mode information obtained from the bitstream.
  • the division shape mode information at least one of information indicating whether quad division is performed, information indicating whether multi-division is performed, division direction information, and division type information can be obtained from the bitstream.
  • information indicating whether a quad split is present may indicate whether the current encoding unit is to be quad split (QUAD_SPLIT) or not to be quad split.
  • the information indicating whether it is multi-split may indicate whether the current encoding unit will not be split any further (NO_SPLIT) or whether it will be binary/ternary split.
  • the split direction information indicates that the current encoding unit is split in either the horizontal or vertical direction.
  • the split type information indicates that the current encoding unit is split into binary split or ternary split.
  • the split mode of the current encoding unit can be determined.
  • the split mode when the current encoding unit is split into binaries in the horizontal direction can be determined as binary horizontal split (SPLIT_BT_HOR), the split mode when the current encoding unit is split into ternary horizontal split (SPLIT_TT_HOR), the split mode when the current encoding unit is split into binaries in the vertical direction can be determined as binary vertical split (SPLIT_BT_VER), and the split mode when the current encoding unit is split into ternary vertical split (SPLIT_TT_VER).
  • the image decoding device (100) can obtain segmentation shape mode information from a bitstream from a single binstring.
  • the format of the bitstream received by the image decoding device (100) can include a fixed length binary code, a unary code, a truncated unary code, a predetermined binary code, etc.
  • the binstring represents information as a series of binary numbers.
  • the binstring can be composed of at least one bit.
  • the image decoding device (100) can obtain segmentation shape mode information corresponding to the binstring based on a segmentation rule.
  • the image decoding device (100) can determine whether to quad-segment an encoding unit, whether not to quad-segment, or the segmentation direction and segmentation type based on a single binstring.
  • the coding unit may be smaller than or equal to the maximum coding unit.
  • the maximum coding unit is also a coding unit with the maximum size, so it is a coding unit. If the split shape mode information for the maximum coding unit indicates that it is not split, the coding unit determined from the maximum coding unit has the same size as the maximum coding unit. If the split shape mode information for the maximum coding unit indicates that it is split, the maximum coding unit may be split into coding units. In addition, if the split shape mode information for the coding unit indicates splitting, the coding units may be split into coding units of smaller sizes. However, the splitting of the image is not limited thereto, and the maximum coding unit and the coding units may not be distinguished. The splitting of the coding unit is described in more detail with reference to FIGS. 3 to 16.
  • one or more prediction blocks for prediction may be determined from the coding unit.
  • the prediction blocks may be equal to or smaller than the coding unit.
  • one or more transformation blocks for transformation may be determined from the coding unit.
  • the transformation blocks may be equal to or smaller than the coding unit.
  • the shape and size of the transformation block and the prediction block may be unrelated.
  • prediction may be performed using the encoding unit as a prediction block. Transformation may also be performed using the encoding unit as a transform block.
  • the current block and neighboring blocks of the present disclosure may represent one of a maximum coding unit, a coding unit, a prediction block, and a transform block.
  • the current block or the current coding unit is a block currently being decoded or encoded, or a block currently being divided.
  • the neighboring block may be a block reconstructed before the current block.
  • the neighboring block may be spatially or temporally adjacent to the current block.
  • the neighboring block may be located on one of the lower left, left, upper left, upper right, upper right, right, and lower right sides of the current block.
  • FIG. 3 illustrates a process in which an image decoding device (100) divides a current encoding unit to determine at least one encoding unit according to one embodiment.
  • the block shape may include 4Nx4N, 4Nx2N, 2Nx4N, 4NxN, Nx4N, 32NxN, Nx32N, 16NxN, Nx16N, 8NxN or Nx8N, where N may be a positive integer.
  • the block shape information is information indicating at least one of the shape, direction, width and height ratio or size of the encoding unit.
  • the shape of the encoding unit may include square and non-square.
  • the image decoding device (100) may determine the block shape information of the encoding unit as square.
  • the image decoding device (100) may determine the shape of the encoding unit as non-square.
  • the image decoding device (100) may determine the block shape information of the encoding unit to be non-square.
  • the image decoding device (100) may determine the ratio of the width and height among the block shape information of the encoding unit to be at least one of 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 1:32, and 32:1.
  • the image decoding device (100) can determine whether the encoding unit is in the horizontal or vertical direction. Additionally, based on at least one of the width length, height length, or area of the encoding unit, the image decoding device (100) can determine the size of the encoding unit.
  • the image decoding device (100) can determine the shape of an encoding unit using block shape information, and can determine the shape into which the encoding unit is divided using segmentation shape mode information. That is, the splitting method of the encoding unit indicated by the segmentation shape mode information can be determined depending on which block shape the block shape information used by the image decoding device (100) indicates.
  • the image decoding device (100) can obtain the segmentation shape mode information from the bitstream.
  • the present invention is not limited thereto, and the image decoding device (100) and the image encoding device (200) can determine the pre-agreed segmentation shape mode information based on the block shape information.
  • the image decoding device (100) can determine the pre-agreed segmentation shape mode information for the maximum coding unit or the minimum coding unit. For example, the image decoding device (100) can determine the segmentation shape mode information for the maximum coding unit as quad split.
  • the image decoding device (100) can determine the segmentation shape mode information for the minimum coding unit as “not split.” Specifically, the image decoding device (100) can determine the size of the maximum coding unit as 256x256. The image decoding device (100) can determine the pre-agreed segmentation shape mode information as quad split. Quad splitting is a splitting mode that divides both the width and height of an encoding unit in half. The image decoding device (100) can obtain a coding unit of size 128x128 from a maximum coding unit of size 256x256 based on the splitting mode information. In addition, the image decoding device (100) can determine the size of the minimum coding unit as 4x4. The image decoding device (100) can obtain splitting mode information indicating "not splitting" for the minimum coding unit.
  • the image decoding device (100) may use block shape information indicating that the current encoding unit is a square shape. For example, the image decoding device (100) may determine whether to not split a square encoding unit, to split it vertically, to split it horizontally, to split it into four encoding units, etc., according to the split shape mode information. Referring to FIG.
  • the decoding unit (120) may not split an encoding unit (310a) having the same size as the current encoding unit (300) according to the split shape mode information indicating that it is not split, or may determine a split encoding unit (310b, 310c, 310d, 310e, 310f, etc.) based on the split shape mode information indicating a predetermined splitting method.
  • the image decoding device (100) may determine two coding units (310b) by vertically dividing the current coding unit (300) based on the split shape mode information indicating that the current coding unit (300) is vertically divided, according to an embodiment.
  • the image decoding device (100) may determine two coding units (310c) by horizontally dividing the current coding unit (300) based on the split shape mode information indicating that the current coding unit (300) is horizontally divided, according to an embodiment.
  • the image decoding device (100) may determine four coding units (310d) by vertically and horizontally dividing the current coding unit (300) based on the split shape mode information indicating that the current coding unit (300) is vertically and horizontally divided, according to an embodiment.
  • the image decoding device (100) may determine three coding units (310e) by vertically dividing the current coding unit (300) based on the split shape mode information indicating that the current coding unit (300) is ternary divided, according to an embodiment.
  • the image decoding device (100) can determine three coding units (310f) into which the current coding unit (300) is horizontally divided based on the division shape mode information indicating that the ternary division is horizontally divided.
  • the division shapes into which a square coding unit can be divided should not be interpreted as being limited to the above-described shapes, and may include various shapes that can be indicated by the division shape mode information. Specified division shapes into which a square coding unit is divided will be specifically described below through various embodiments.
  • FIG. 4 illustrates a process in which an image decoding device (100) divides a non-square coding unit to determine at least one coding unit according to one embodiment.
  • the image decoding device (100) may utilize block shape information indicating that the current encoding unit is non-square.
  • the image decoding device (100) may determine whether to not split the current non-square encoding unit or to split it using a predetermined method based on the split shape mode information. Referring to FIG.
  • the image decoding device (100) may determine an encoding unit (410 or 460) having the same size as the current encoding unit (400 or 450) according to the split shape mode information indicating that it is not split, or may determine a split encoding unit (420a, 420b, 430a, 430b, 430c, 470a, 470b, 480a, 480b, 480c) based on the split shape mode information indicating a predetermined splitting method.
  • the predetermined splitting method by which a non-square encoding unit is split will be described in detail through various embodiments below.
  • the image decoding device (100) may determine a form in which an encoding unit is split using split form mode information, and in this case, the split form mode information may indicate the number of at least one encoding unit generated by splitting the encoding unit.
  • the image decoding device (100) may split the current encoding unit (400 or 450) based on the split form mode information to determine two encoding units (420a, 420b, or 470a, 470b) included in the current encoding unit.
  • the image decoding device (100) may split the current encoding unit by considering the position of the long side of the non-square current encoding unit (400 or 450). For example, the image decoding device (100) may split the current encoding unit (400 or 450) in a direction that splits the long side of the current encoding unit (400 or 450) by considering the shape of the current encoding unit (400 or 450) to determine a plurality of encoding units.
  • the image decoding device (100) may determine an odd number of coding units included in the current coding unit (400 or 450). For example, if the split shape mode information indicates that the current coding unit (400 or 450) is split into three coding units, the image decoding device (100) may split the current coding unit (400 or 450) into three coding units (430a, 430b, 430c, 480a, 480b, 480c).
  • the ratio of the width and height of the current encoding unit (400 or 450) may be 4:1 or 1:4.
  • the block shape information may be in the horizontal direction because the length of the width is longer than the length of the height.
  • the ratio of the width and height is 1:4, the block shape information may be in the vertical direction because the length of the width is shorter than the length of the height.
  • the image decoding device (100) may determine to split the current encoding unit into an odd number of blocks based on the split shape mode information.
  • the image decoding device (100) may determine the splitting direction of the current encoding unit (400 or 450) based on the block shape information of the current encoding unit (400 or 450).
  • the image decoding device (100) can divide the current encoding unit (400) in the horizontal direction to determine encoding units (430a, 430b, 430c). Also, if the current encoding unit (450) is in the horizontal direction, the image decoding device (100) can divide the current encoding unit (450) in the vertical direction to determine encoding units (480a, 480b, 480c).
  • the image decoding device (100) may determine an odd number of coding units included in the current coding unit (400 or 450), and the sizes of the determined coding units may not all be the same. For example, among the determined odd number of coding units (430a, 430b, 430c, 480a, 480b, 480c), the size of a given coding unit (430b or 480b) may have a different size from the other coding units (430a, 430c, 480a, 480c).
  • the encoding units into which the current encoding unit (400 or 450) can be divided and determined can have multiple types of sizes, and in some cases, an odd number of encoding units (430a, 430b, 430c, 480a, 480b, 480c) can each have different sizes.
  • the image decoding device (100) when the split shape mode information indicates that the coding unit is split into an odd number of blocks, the image decoding device (100) can determine an odd number of coding units included in the current coding unit (400 or 450), and further, the image decoding device (100) can place a predetermined restriction on at least one coding unit among the odd number of coding units generated by splitting. Referring to FIG.
  • the image decoding device (100) can perform a decoding process for a coding unit (430b, 480b) located in the center among three coding units (430a, 430b, 430c, 480a, 480b, 480c) generated by splitting the current coding unit (400 or 450) differently from the decoding process for other coding units (430a, 430c, 480a, 480c).
  • the image decoding device (100) can restrict the encoding unit (430b, 480b) located in the center from being split any further, unlike other encoding units (430a, 430c, 480a, 480c), or can restrict it to be split only a predetermined number of times.
  • FIG. 5 illustrates a process in which an image decoding device (100) divides an encoding unit based on at least one of block shape information and division shape mode information according to one embodiment.
  • the image decoding device (100) may determine whether to split or not to split a first coding unit (500) having a square shape into coding units based on at least one of block shape information and split shape mode information. According to one embodiment, when the split shape mode information indicates splitting the first coding unit (500) in the horizontal direction, the image decoding device (100) may split the first coding unit (500) in the horizontal direction to determine a second coding unit (510).
  • the first coding unit, the second coding unit, and the third coding unit used according to one embodiment are terms used to understand the relationship before and after splitting between coding units.
  • the second coding unit when the first coding unit is split, the second coding unit may be determined, and when the second coding unit is split, the third coding unit may be determined.
  • the relationship between the first coding unit, the second coding unit, and the third coding unit used may be understood to follow the above-described characteristics.
  • the image decoding device (100) may determine to split or not split the determined second encoding unit (510) into encoding units based on the split shape mode information. Referring to FIG. 5, the image decoding device (100) may split the first encoding unit (500) based on the split shape mode information to split the determined second encoding unit (510) of a non-square shape into at least one third encoding unit (520a, 520b, 520c, 520d, etc.) or may not split the second encoding unit (510).
  • the image decoding device (100) can obtain split shape mode information, and the image decoding device (100) can split the first encoding unit (500) based on the obtained split shape mode information to obtain a plurality of second encoding units (e.g., 510) of various shapes, and the second encoding unit (510) can be split according to the way in which the first encoding unit (500) is split based on the split shape mode information.
  • a plurality of second encoding units e.g., 510) of various shapes
  • the second encoding unit (510) can be split according to the way in which the first encoding unit (500) is split based on the split shape mode information.
  • the second encoding unit (510) when the first encoding unit (500) is split into the second encoding unit (510) based on the split shape mode information for the first encoding unit (500), the second encoding unit (510) can also be split into the third encoding unit (e.g., 520a, 520b, 520c, 520d, etc.) based on the split shape mode information for the second encoding unit (510). That is, the coding unit can be recursively split based on the split shape mode information associated with each coding unit. Accordingly, a square coding unit can be determined from a non-square coding unit, and such a square coding unit can be recursively split to determine a non-square coding unit.
  • the third encoding unit e.g., 520a, 520b, 520c, 520d, etc.
  • a predetermined coding unit e.g., a coding unit located in the middle or a coding unit having a square shape
  • the non-square third coding unit (520b) which is one of the odd number of third coding units (520b, 520c, 520d)
  • the non-square fourth coding unit (530b or 530d) which is one of the plurality of fourth coding units (530a, 530b, 530c, 530d), may be split again into a plurality of coding units.
  • the fourth coding unit (530b or 530d) having a non-square shape may be further divided into an odd number of coding units. Methods that can be used for recursive division of coding units will be described later through various embodiments.
  • the image decoding device (100) may split each of the third encoding units (520a, 520b, 520c, 520d, etc.) into encoding units based on the split shape mode information. In addition, the image decoding device (100) may determine not to split the second encoding unit (510) based on the split shape mode information. According to one embodiment, the image decoding device (100) may split the second encoding unit (510) having a non-square shape into an odd number of third encoding units (520b, 520c, 520d). The image decoding device (100) may place a predetermined restriction on a predetermined third encoding unit among the odd number of third encoding units (520b, 520c, 520d).
  • the image decoding device (100) can limit the encoding unit (520c) located in the middle among an odd number of third encoding units (520b, 520c, 520d) to not be divided any further or to be divided a settable number of times.
  • the above limitations on the coding unit (520c) located in the middle are merely simple embodiments and should not be interpreted as being limited to the above-described embodiments, but should be interpreted as including various limitations in which the coding unit (520c) located in the middle can be decoded differently from the other coding units (520b, 520d).
  • the image decoding device (100) may select one of the coding units when the current coding unit is divided into a predetermined number of coding units.
  • Various methods may be used to select one of the multiple coding units, and descriptions of such methods will be provided later through various embodiments.
  • the image decoding device (100) may use information indicating the positions of each of the odd-numbered coding units to determine an coding unit located in the middle of the odd-numbered coding units. Referring to FIG. 6, the image decoding device (100) may divide the current coding unit (600) or the current coding unit (650) to determine odd-numbered coding units (620a, 620b, 620c) or odd-numbered coding units (660a, 660b, 660c).
  • the image decoding device (100) can determine the coding unit (620b) located in the center by determining the positions of the coding units (620a, 620b, 620c) based on information indicating the positions of samples (630a, 630b, 630c) at the upper left of the coding units (620a, 620b, 620c).
  • information indicating the positions of the upper left samples (630a, 630b, 630c) included in each of the coding units (620a, 620b, 620c) may include information on the positions or coordinates of the coding units (620a, 620b, 620c) within the picture.
  • the image decoding device (100) can determine the encoding unit (620b) located in the center by directly using information about the positions or coordinates of the encoding units (620a, 620b, 620c) within the picture or by using information about the width or height of the encoding unit corresponding to the difference between the coordinates.
  • the encoding unit (620b) including the coordinates (xb, yb) of the sample (630b) located in the center can be determined as the encoding unit located in the center among the encoding units (620a, 620b, 620c) determined by dividing the current encoding unit (600).
  • the coordinates indicating the positions of the upper left samples (630a, 630b, 630c) may indicate coordinates indicating the absolute positions within the picture, and further, based on the position of the upper left sample (630a) of the upper left coding unit (620a), the (dxb, dyb) coordinates, which are information indicating the relative position of the sample (630b) of the upper left of the middle coding unit (620b), and the (dxc, dyc) coordinates, which are information indicating the relative position of the sample (630c) of the upper left of the lower coding unit (620c), may be used.
  • the method of determining the coding unit of a given position by using the coordinates of the corresponding sample as information indicating the position of the sample included in the coding unit should not be interpreted as being limited to the above-described method, but should be interpreted as various arithmetic methods that can utilize the coordinates of the sample.
  • the image decoding device (100) may divide the current encoding unit (600) into a plurality of encoding units (620a, 620b, 620c), and select an encoding unit from among the encoding units (620a, 620b, 620c) according to a predetermined criterion. For example, the image decoding device (100) may select an encoding unit (620b) having a different size from among the encoding units (620a, 620b, 620c).
  • the image decoding device (100) may determine the width or height of each of the encoding units (620a, 620b, 620c) by using the (xa, ya) coordinate, which is information indicating the position of the sample (630a) at the upper left of the upper encoding unit (620a), the (xb, yb) coordinate, which is information indicating the position of the sample (630b) at the upper left of the middle encoding unit (620b), and the (xc, yc) coordinate, which is information indicating the position of the sample (630c) at the upper left of the lower encoding unit (620c).
  • the (xa, ya) coordinate which is information indicating the position of the sample (630a) at the upper left of the upper encoding unit (620a)
  • the (xb, yb) coordinate which is information indicating the position of the sample (630b) at the upper left of the middle encoding unit (620b)
  • the (xc, yc) coordinate which is information
  • the image decoding device (100) can determine the size of each of the encoding units (620a, 620b, 620c) using coordinates (xa, ya), (xb, yb), (xc, yc) indicating the positions of the encoding units (620a, 620b, 620c). According to one embodiment, the image decoding device (100) can determine the width of the upper encoding unit (620a) as the width of the current encoding unit (600). The image decoding device (100) can determine the height of the upper encoding unit (620a) as yb-ya.
  • the image decoding device (100) can determine the width of the middle encoding unit (620b) as the width of the current encoding unit (600).
  • the image decoding device (100) may determine the height of the middle encoding unit (620b) as yc-yb.
  • the image decoding device (100) may determine the width or height of the lower encoding unit using the width or height of the current encoding unit and the width and height of the upper encoding unit (620a) and the middle encoding unit (620b).
  • the image decoding device (100) may determine an encoding unit having a different size from other encoding units based on the width and height of the determined encoding units (620a, 620b, 620c).
  • the image decoding device (100) may determine the middle encoding unit (620b) having a different size from the sizes of the upper encoding unit (620a) and the lower encoding unit (620c) as an encoding unit at a predetermined position.
  • the process of determining an encoding unit having a different size from other encoding units by the above-described image decoding device (100) is only one embodiment of determining an encoding unit at a predetermined position using the size of the encoding unit determined based on sample coordinates, various processes of determining an encoding unit at a predetermined position by comparing the sizes of the encoding units determined according to predetermined sample coordinates may be used.
  • the image decoding device (100) can determine the width or height of each of the encoding units (660a, 660b, 660c) by using the (xd, yd) coordinate, which is information indicating the position of the sample (670a) at the upper left of the left encoding unit (660a), the (xe, ye) coordinate, which is information indicating the position of the sample (670b) at the upper left of the middle encoding unit (660b), and the (xf, yf) coordinate, which is information indicating the position of the sample (670c) at the upper left of the right encoding unit (660c).
  • the (xd, yd) coordinate which is information indicating the position of the sample (670a) at the upper left of the left encoding unit (660a
  • the (xe, ye) coordinate which is information indicating the position of the sample (670b) at the upper left of the middle encoding unit (660b)
  • the (xf, yf) coordinate which is information
  • the image decoding device (100) can determine the size of each of the encoding units (660a, 660b, 660c) by using the (xd, yd), (xe, ye), (xf, yf), which are coordinates indicating the positions of the encoding units (660a, 660b, 660c).
  • the image decoding device (100) may determine the width of the left encoding unit (660a) as xe-xd. The image decoding device (100) may determine the height of the left encoding unit (660a) as the height of the current encoding unit (650). According to one embodiment, the image decoding device (100) may determine the width of the middle encoding unit (660b) as xf-xe. The image decoding device (100) may determine the height of the middle encoding unit (660b) as the height of the current encoding unit (600).
  • the image decoding device (100) may determine the width or height of the right encoding unit (660c) using the width or height of the current encoding unit (650) and the widths and heights of the left encoding unit (660a) and the middle encoding unit (660b).
  • the image decoding device (100) can determine an encoding unit having a different size from other encoding units based on the width and height of the determined encoding units (660a, 660b, 660c). Referring to FIG.
  • the image decoding device (100) can determine a middle encoding unit (660b) having a different size from the sizes of the left encoding unit (660a) and the right encoding unit (660c) as an encoding unit at a predetermined position.
  • the process of the image decoding device (100) described above determining an encoding unit having a different size from other encoding units is merely an embodiment of determining an encoding unit at a predetermined position using the size of the encoding unit determined based on sample coordinates, and therefore, various processes of determining an encoding unit at a predetermined position by comparing the sizes of the encoding units determined according to predetermined sample coordinates can be used.
  • the location of the sample considered for determining the location of the encoding unit should not be interpreted as being limited to the upper left corner described above, and it can be interpreted that information on the location of any sample included in the encoding unit can be used.
  • the image decoding device (100) may select an encoding unit at a predetermined position from among an odd number of encoding units determined by splitting the current encoding unit, taking into consideration the shape of the current encoding unit. For example, if the current encoding unit has a non-square shape in which the width is longer than the height, the image decoding device (100) may determine an encoding unit at a predetermined position in the horizontal direction. That is, the image decoding device (100) may determine one of the encoding units whose positions vary in the horizontal direction and place a restriction on the corresponding encoding unit.
  • the image decoding device (100) may determine an encoding unit at a predetermined position in the vertical direction. That is, the image decoding device (100) may determine one of the encoding units whose positions vary in the vertical direction and place a restriction on the corresponding encoding unit.
  • the image decoding device (100) may use information indicating the positions of each of the even-numbered coding units to determine the coding unit at a predetermined position among the even-numbered coding units.
  • the image decoding device (100) may determine the even-numbered coding units by dividing the current coding unit (binary dividing) and may determine the coding unit at a predetermined position using information about the positions of the even-numbered coding units.
  • a specific process for this may be a process corresponding to the process of determining the coding unit at a predetermined position (e.g., the center position) among the odd-numbered coding units described above in FIG. 6, and thus will be omitted.
  • predetermined information about the encoding unit at a predetermined position may be used during the splitting process to determine an encoding unit at a predetermined position among the plurality of encoding units.
  • the image decoding device (100) may use at least one of block shape information and split shape mode information stored in a sample included in a middle encoding unit during the splitting process to determine an encoding unit located in the middle among the encoding units into which the current encoding unit is split.
  • the image decoding device (100) can split the current encoding unit (600) into a plurality of encoding units (620a, 620b, 620c) based on the split shape mode information, and can determine the encoding unit (620b) located in the middle among the plurality of encoding units (620a, 620b, 620c). Furthermore, the image decoding device (100) can determine the encoding unit (620b) located in the middle by considering the position where the split shape mode information is acquired.
  • the split shape mode information of the current encoding unit (600) can be obtained from a sample (640) located in the center of the current encoding unit (600), and when the current encoding unit (600) is split into a plurality of encoding units (620a, 620b, 620c) based on the split shape mode information, the encoding unit (620b) including the sample (640) can be determined as the encoding unit located in the center.
  • the information used to determine the encoding unit located in the center should not be interpreted as being limited to the split shape mode information, and various types of information can be used in the process of determining the encoding unit located in the center.
  • predetermined information for identifying a coding unit at a predetermined position may be obtained from a predetermined sample included in the coding unit to be determined.
  • the image decoding device (100) may use split shape mode information obtained from a sample at a predetermined position within the current coding unit (600) (e.g., a sample located at the center of the current coding unit (600)) to determine a coding unit at a predetermined position among a plurality of coding units (620a, 620b, 620c) determined by splitting the current coding unit (600) (e.g., a coding unit located at the center of the coding units split into multiple units).
  • the position of a sample from which predetermined information can be obtained may be determined according to the shape of the current encoding unit (600).
  • the block shape information may determine whether the shape of the current encoding unit is square or non-square, and may determine the position of a sample from which predetermined information can be obtained according to the shape.
  • the image decoding apparatus (100) may determine a sample located on a boundary that divides at least one of the width and height of the current encoding unit in half as a sample from which predetermined information can be obtained, using at least one of information about the width and information about the height of the current encoding unit.
  • the image decoding apparatus (100) may determine one of the samples adjacent to the boundary that divides the long side of the current encoding unit in half as a sample from which predetermined information can be obtained.
  • the image decoding device (100) can divide a current encoding unit to determine at least one encoding unit, and can determine the order in which the at least one encoding unit is decoded according to a predetermined block (e.g., the current encoding unit).
  • FIG. 7 illustrates the order in which multiple encoding units are processed when an image decoding device (100) divides a current encoding unit to determine multiple encoding units according to one embodiment.
  • the image decoding device (100) may determine second encoding units (710a, 710b) by vertically splitting the first encoding unit (700) according to the splitting shape mode information, determine second encoding units (730a, 730b) by horizontally splitting the first encoding unit (700), or determine second encoding units (750a, 750b, 750c, 750d) by vertically and horizontally splitting the first encoding unit (700).
  • the image decoding device (100) can determine the order in which the second encoding units (710a, 710b) determined by vertically dividing the first encoding unit (700) are processed in the horizontal direction (710c).
  • the image decoding device (100) can determine the order in which the second encoding units (730a, 730b) determined by horizontally dividing the first encoding unit (700) are processed in the vertical direction (730c).
  • the image decoding device (100) can determine the second encoding units (750a, 750b, 750c, 750d) determined by dividing the first encoding unit (700) in the vertical and horizontal directions according to a predetermined order (e.g., raster scan order (750e) or z scan order (z scan order)) in which encoding units located in one row are processed and then encoding units located in the next row are processed.
  • a predetermined order e.g., raster scan order (750e) or z scan order (z scan order)
  • the image decoding device (100) can recursively split the encoding units.
  • the image decoding device (100) can split the first encoding unit (700) to determine a plurality of encoding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d), and can recursively split each of the determined plurality of encoding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d).
  • a method for splitting a plurality of coding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d) may be a method corresponding to a method for splitting the first coding unit (700). Accordingly, the plurality of coding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d) may each be independently split into a plurality of coding units. Referring to FIG. 7, the image decoding device (100) may split the first coding unit (700) in the vertical direction to determine the second coding units (710a, 710b), and further may determine to independently split or not split each of the second coding units (710a, 710b).
  • the image decoding device (100) may horizontally divide the second encoding unit (710a) on the left into third encoding units (720a, 720b), and may not divide the second encoding unit (710b) on the right.
  • the processing order of the coding units may be determined based on the splitting process of the coding units.
  • the processing order of the split coding units may be determined based on the processing order of the coding units immediately before splitting.
  • the image decoding device (100) may determine the processing order of the third coding units (720a, 720b) determined by splitting the second coding unit (710a) on the left, independently from the second coding unit (710b) on the right. Since the second coding unit (710a) on the left is split horizontally and the third coding units (720a, 720b) are determined, the third coding units (720a, 720b) may be processed in the vertical direction (720c).
  • the right encoding unit (710b) can be processed after the third encoding units (720a, 720b) included in the second encoding unit (710a) on the left are processed in the vertical direction (720c). Since the above-described content is intended to explain the process in which the processing order of the encoding units is determined according to the encoding units before splitting, it should not be interpreted as being limited to the above-described embodiment, but should be interpreted as being used in various ways in which encoding units that are split and determined in various forms can be independently processed according to a predetermined order.
  • FIG. 8 illustrates a process for determining that a current encoding unit is divided into an odd number of encoding units when the encoding units cannot be processed in a predetermined order, according to one embodiment of the present invention.
  • the image decoding device (100) may determine that the current encoding unit is split into an odd number of encoding units based on the acquired split shape mode information.
  • a first encoding unit (800) having a square shape may be split into second encoding units (810a, 810b) having a non-square shape, and the second encoding units (810a, 810b) may each be independently split into third encoding units (820a, 820b, 820c, 820d, 820e).
  • the image decoding device (100) can determine a plurality of third encoding units (820a, 820b) by horizontally dividing the left encoding unit (810a) among the second encoding units, and can divide the right encoding unit (810b) into an odd number of third encoding units (820c, 820d, 820e).
  • the image decoding device (100) can determine whether there is an odd number of split encoding units by determining whether the third encoding units (820a, 820b, 820c, 820d, 820e) can be processed in a predetermined order. Referring to FIG. 8, the image decoding device (100) can determine the third encoding units (820a, 820b, 820c, 820d, 820e) by recursively splitting the first encoding unit (800).
  • the image decoding device (100) can determine whether the first encoding unit (800), the second encoding unit (810a, 810b), or the third encoding unit (820a, 820b, 820c, 820d, 820e) is divided into an odd number of encoding units based on at least one of the block shape information and the split shape mode information. For example, the encoding unit located on the right side of the second encoding unit (810a, 810b) can be divided into an odd number of third encoding units (820c, 820d, 820e).
  • the order in which the plurality of encoding units included in the first encoding unit (800) are processed can be a predetermined order (e.g., z-scan order (830)), and the image decoding device (100) can determine whether the third encoding unit (820c, 820d, 820e) determined by dividing the second encoding unit (810b) on the right into odd numbers satisfies the condition that it can be processed according to the predetermined order.
  • a predetermined order e.g., z-scan order (830)
  • the image decoding device (100) may determine whether the third encoding units (820a, 820b, 820c, 820d, 820e) included in the first encoding unit (800) satisfy a condition that they can be processed in a predetermined order, and the condition is related to whether at least one of the width and height of the second encoding unit (810a, 810b) is split in half according to the boundary of the third encoding unit (820a, 820b, 820c, 820d, 820e).
  • the third encoding unit (820a, 820b) determined by splitting the height of the left second encoding unit (810a) of a non-square shape in half may satisfy the condition.
  • the image decoding device (100) may determine that there is a disconnection in the scanning order, and may determine that the right second encoding unit (810b) is divided into an odd number of encoding units based on the determination result.
  • the image decoding device (100) may place a predetermined restriction on an encoding unit at a predetermined position among the divided encoding units when the encoding unit is divided into an odd number of encoding units. Since the contents of such restrictions or predetermined positions have been described above through various embodiments, a detailed description thereof will be omitted.
  • FIG. 9 illustrates a process in which an image decoding device (100) divides a first encoding unit (900) to determine at least one encoding unit according to one embodiment.
  • the image decoding device (100) may split the first coding unit (900) based on the split shape mode information acquired through the bitstream acquisition unit (110).
  • the first coding unit (900) having a square shape may be split into four coding units having a square shape or may be split into a plurality of coding units having a non-square shape.
  • the image decoding device (100) may split the first coding unit (900) into a plurality of non-square coding units.
  • the image decoding device (100) can split the first encoding unit (900) having a square shape into second encoding units (910a, 910b, 910c) determined by splitting them in the vertical direction into an odd number of encoding units or second encoding units (920a, 920b, 920c) determined by splitting them in the horizontal direction.
  • the image decoding device (100) can determine whether the second encoding units (910a, 910b, 910c, 920a, 920b, 920c) included in the first encoding unit (900) satisfy a condition that allows them to be processed in a predetermined order, and the condition is related to whether at least one of the width and height of the first encoding unit (900) is split in half according to the boundary of the second encoding units (910a, 910b, 910c, 920a, 920b, 920c). Referring to FIG.
  • the boundaries of the second coding units (910a, 910b, 910c) determined by vertically dividing the first coding unit (900) in a square shape do not divide the width of the first coding unit (900) in half, it may be determined that the first coding unit (900) does not satisfy the condition that it can be processed in a predetermined order.
  • the boundaries of the second coding units (920a, 920b, 920c) determined by horizontally dividing the first coding unit (900) in a square shape do not divide the height of the first coding unit (900) in half, it may be determined that the first coding unit (900) does not satisfy the condition that it can be processed in a predetermined order.
  • the image decoding device (100) may determine that the scan order is disconnected, and based on the determination result, may determine that the first encoding unit (900) is divided into an odd number of encoding units. According to one embodiment, the image decoding device (100) may place a predetermined restriction on an encoding unit at a predetermined position among the divided encoding units when the encoding unit is divided into an odd number of encoding units. Since the contents of such restrictions or predetermined positions, etc. have been described above through various embodiments, a detailed description thereof will be omitted.
  • the image decoding device (100) can divide the first encoding unit to determine encoding units of various shapes.
  • the image decoding device (100) can divide the first encoding unit (900) having a square shape and the first encoding unit (930 or 950) having a non-square shape into encoding units of various shapes.
  • FIG. 10 illustrates that, according to one embodiment, a video decoding device (100) limits the shapes into which a second encoding unit can be divided when a non-square shape of a second encoding unit determined by splitting a first encoding unit (1000) satisfies a predetermined condition.
  • the image decoding device (100) may determine to split a first coding unit (1000) having a square shape into second coding units (1010a, 1010b, 1020a, 1020b) having a non-square shape based on the split shape mode information acquired through the bitstream acquisition unit (110).
  • the second coding units (1010a, 1010b, 1020a, 1020b) may be split independently. Accordingly, the image decoding device (100) may determine to split or not split into a plurality of coding units based on the split shape mode information related to each of the second coding units (1010a, 1010b, 1020a, 1020b).
  • the image decoding device (100) may determine third encoding units (1012a, 1012b) by horizontally dividing the left second encoding unit (1010a) having a non-square shape determined by vertically dividing the first encoding unit (1000). However, when the image decoding device (100) divides the left second encoding unit (1010a) in the horizontal direction, the right second encoding unit (1010b) may be restricted from being horizontally divided in the same direction as the direction in which the left second encoding unit (1010a) is divided.
  • the second encoding unit on the right (1010b) is split in the same direction to determine the third encoding unit (1014a, 1014b)
  • the second encoding unit on the left (1010a) and the second encoding unit on the right (1010b) may be independently split in the horizontal direction to determine the third encoding unit (1012a, 1012b, 1014a, 1014b).
  • this is the same result as the image decoding device (100) splitting the first encoding unit (1000) into four square-shaped second encoding units (1030a, 1030b, 1030c, 1030d) based on the split shape mode information, which may be inefficient in terms of image decoding.
  • the image decoding device (100) may determine third coding units (1022a, 1022b, 1024a, 1024b) by vertically dividing a second coding unit (1020a or 1020b) having a non-square shape determined by dividing a first coding unit (1000) in a horizontal direction.
  • the image decoding device (100) vertically divides one of the second coding units (e.g., the upper second coding unit (1020a))
  • the other second coding units e.g., the lower coding unit (1020b)
  • FIG. 11 illustrates a process in which an image decoding device (100) divides a square-shaped encoding unit when the split shape mode information cannot indicate that the encoding unit is divided into four square-shaped encoding units according to one embodiment.
  • the image decoding device (100) may split the first encoding unit (1100) based on the split shape mode information to determine the second encoding units (1110a, 1110b, 1120a, 1120b, etc.).
  • the split shape mode information may include information about various shapes into which the encoding unit may be split, but the information about various shapes may not include information for splitting the encoding unit into four encoding units having a square shape. According to this split shape mode information, the image decoding device (100) cannot split the first encoding unit (1100) having a square shape into four second encoding units having a square shape (1130a, 1130b, 1130c, 1130d). Based on the segmentation shape mode information, the image decoding device (100) can determine a second encoding unit (1110a, 1110b, 1120a, 1120b, etc.) of a non-square shape.
  • the image decoding device (100) can independently split each of the second encoding units (1110a, 1110b, 1120a, 1120b, etc.) having a non-square shape.
  • Each of the second encoding units (1110a, 1110b, 1120a, 1120b, etc.) can be split in a predetermined order using a recursive method, which may be a splitting method corresponding to a method by which the first encoding unit (1100) is split based on splitting shape mode information.
  • the image decoding device (100) can determine third coding units (1112a, 1112b) having a square shape by splitting the left second coding unit (1110a) in the horizontal direction, and can determine third coding units (1114a, 1114b) having a square shape by splitting the right second coding unit (1110b) in the horizontal direction. Furthermore, the image decoding device (100) can also determine third coding units (1116a, 1116b, 1116c, 1116d) having a square shape by splitting both the left second coding unit (1110a) and the right second coding unit (1110b) in the horizontal direction. In this case, the encoding unit can be determined in the same form as the first encoding unit (1100) being divided into four square-shaped second encoding units (1130a, 1130b, 1130c, 1130d).
  • the image decoding device (100) may determine third coding units (1122a, 1122b) having a square shape by vertically splitting the upper second coding unit (1120a), and may determine third coding units (1124a, 1124b) having a square shape by vertically splitting the lower second coding unit (1120b). Furthermore, the image decoding device (100) may determine third coding units (1126a, 1126b, 1126a, 1126b) having a square shape by vertically splitting both the upper second coding unit (1120a) and the lower second coding unit (1120b). In this case, the encoding unit can be determined in the same form as the first encoding unit (1100) being divided into four square-shaped second encoding units (1130a, 1130b, 1130c, 1130d).
  • FIG. 12 illustrates that, according to one embodiment, the processing order between multiple encoding units may vary depending on the process of dividing the encoding units.
  • the image decoding device (100) may split the first encoding unit (1200) based on the split shape mode information. If the block shape is square and the split shape mode information indicates that the first encoding unit (1200) is split in at least one of the horizontal direction and the vertical direction, the image decoding device (100) may split the first encoding unit (1200) to determine second encoding units (e.g., 1210a, 1210b, 1220a, 1220b, etc.). Referring to FIG. 12, the second encoding units (1210a, 1210b, 1220a, 1220b) having a non-square shape determined by splitting the first encoding unit 1200 only in the horizontal direction or the vertical direction may be independently split based on the split shape mode information for each.
  • the split shape mode information e.g., 1210a, 1210b, 1220a, 1220b
  • the image decoding device (100) can determine third encoding units (1216a, 1216b, 1216c, 1216d) by horizontally dividing second encoding units (1210a, 1210b) generated by vertically dividing the first encoding unit (1200), and can determine third encoding units (1226a, 1226b, 1226c, 1226d) by vertically dividing second encoding units (1220a, 1220b) generated by horizontally dividing the first encoding unit (1200). Since the process of dividing the second encoding units (1210a, 1210b, 1220a, 1220b) has been described above with reference to FIG. 11, a detailed description thereof will be omitted.
  • the image decoding device (100) can process encoding units according to a predetermined order. Since the characteristics of processing encoding units according to a predetermined order have been described above with reference to FIG. 7, a detailed description thereof will be omitted. Referring to FIG. 12, the image decoding device (100) can divide a first encoding unit (1200) having a square shape and determine four third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) having a square shape.
  • the image decoding device (100) can determine the processing order of the third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) depending on the form in which the first encoding unit (1200) is divided.
  • the image decoding device (100) may determine third encoding units (1216a, 1216b, 1216c, 1216d) by horizontally dividing the second encoding units (1210a, 1210b) generated by vertically dividing them, and the image decoding device (100) may process the third encoding units (1216a, 1216b, 1216c, 1216d) according to an order (1217) of first processing the third encoding units (1216a, 1216c) included in the left second encoding unit (1210a) in the vertical direction and then processing the third encoding units (1216b, 1216d) included in the right second encoding unit (1210b) in the vertical direction.
  • the image decoding device (100) may determine third encoding units (1226a, 1226b, 1226c, 1226d) by vertically dividing the second encoding units (1220a, 1220b) generated by being divided in the horizontal direction, and the image decoding device (100) may process the third encoding units (1226a, 1226b, 1226c, 1226d) according to an order (1227) of first processing the third encoding units (1226a, 1226b) included in the upper second encoding unit (1220a) in the horizontal direction and then processing the third encoding units (1226c, 1226d) included in the lower second encoding unit (1220b) in the horizontal direction.
  • the second encoding units (1210a, 1210b, 1220a, 1220b) can be divided into third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) having a square shape.
  • the second encoding units (1210a, 1210b) determined by being split in the vertical direction and the second encoding units (1220a, 1220b) determined by being split in the horizontal direction are split into different shapes, but according to the third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) determined later, the first encoding unit (1200) is ultimately split into encoding units of the same shape.
  • the image decoding device (100) determines encoding units of the same shape as a result by recursively splitting the encoding units through different processes based on the split shape mode information, it can process a plurality of encoding units determined in the same shape in different orders.
  • FIG. 13 illustrates a process in which the depth of an encoding unit is determined as the shape and size of the encoding unit change when the encoding unit is recursively divided to determine a plurality of encoding units according to one embodiment.
  • the image decoding device (100) may determine the depth of an encoding unit according to a predetermined criterion.
  • the predetermined criterion may be the length of a long side of the encoding unit. If the length of the long side of the current encoding unit is split to be 2n (n>0) times the length of the long side of the encoding unit before splitting, the image decoding device (100) may determine that the depth of the current encoding unit is increased by n compared to the depth of the encoding unit before splitting.
  • an encoding unit with an increased depth is expressed as an encoding unit of a lower depth.
  • the image decoding device (100) may divide a first coding unit (1300) having a square shape to determine a second coding unit (1302), a third coding unit (1304), etc. of a lower depth. If the size of the first coding unit (1300) having a square shape is 2Nx2N, the second coding unit (1302) determined by dividing the width and height of the first coding unit (1300) by half may have a size of NxN.
  • the third coding unit (1304) determined by dividing the width and height of the second coding unit (1302) by half may have a size of N/2xN/2.
  • the width and height of the third encoding unit (1304) correspond to 1/4 of the width and height of the first encoding unit (1300).
  • the depth of the second encoding unit (1302), which is 1/2 of the width and height of the first encoding unit (1300) may be D+1
  • the depth of the third encoding unit (1304), which is 1/4 of the width and height of the first encoding unit (1300) may be D+2.
  • the image decoding device (100) may split a first coding unit (1310 or 1320) having a non-square shape to determine a second coding unit (1312 or 1322), a third coding unit (1314 or 1324) of a lower depth, etc.
  • the image decoding device (100) can determine a second encoding unit (e.g., 1302, 1312, 1322, etc.) by splitting at least one of the width and height of the first encoding unit (1310) having a size of Nx2N. That is, the image decoding device (100) can split the first encoding unit (1310) in the horizontal direction to determine a second encoding unit (1302) having a size of NxN or a second encoding unit (1322) having a size of NxN/2, and can also split the first encoding unit (1310) in the horizontal direction and the vertical direction to determine a second encoding unit (1312) having a size of N/2xN.
  • a second encoding unit e.g., 1302, 1312, 1322, etc.
  • the image decoding device (100) may determine a second encoding unit (e.g., 1302, 1312, 1322, etc.) by splitting at least one of the width and height of the first encoding unit (1320) having a size of 2NxN. That is, the image decoding device (100) may split the first encoding unit (1320) in the vertical direction to determine a second encoding unit (1302) having a size of NxN or a second encoding unit (1312) having a size of N/2xN, and may split the first encoding unit (1320) in the horizontal direction and the vertical direction to determine a second encoding unit (1322) having a size of NxN/2.
  • a second encoding unit e.g., 1302, 1312, 1322, etc.
  • the image decoding device (100) may determine a third encoding unit (e.g., 1304, 1314, 1324, etc.) by splitting at least one of the width and the height of the second encoding unit (1302) having a size of NxN. That is, the image decoding device (100) may split the second encoding unit (1302) in the vertical direction and the horizontal direction to determine a third encoding unit (1304) having a size of N/2xN/2, a third encoding unit (1314) having a size of N/4xN/2, or a third encoding unit (1324) having a size of N/2xN/4.
  • a third encoding unit e.g., 1304, 1314, 1324, etc.
  • the image decoding device (100) may determine a third encoding unit (e.g., 1304, 1314, 1324, etc.) by splitting at least one of the width and the height of the second encoding unit (1312) having a size of N/2xN. That is, the image decoding device (100) may split the second encoding unit (1312) in the horizontal direction to determine a third encoding unit (1304) having a size of N/2xN/2 or a third encoding unit (1324) having a size of N/2xN/4, or split the second encoding unit (1312) in the vertical direction and the horizontal direction to determine a third encoding unit (1314) having a size of N/4xN/2.
  • a third encoding unit e.g., 1304, 1314, 1324, etc.
  • the image decoding device (100) may determine a third encoding unit (e.g., 1304, 1314, 1324, etc.) by splitting at least one of the width and the height of the second encoding unit (1322) having a size of NxN/2. That is, the image decoding device (100) may split the second encoding unit (1322) in the vertical direction to determine a third encoding unit (1304) having a size of N/2xN/2 or a third encoding unit (1314) having a size of N/4xN/2, or split the second encoding unit (1322) in the vertical direction and the horizontal direction to determine a third encoding unit (1324) having a size of N/2xN/4.
  • a third encoding unit e.g., 1304, 1314, 1324, etc.
  • the image decoding device (100) may split a square-shaped encoding unit (e.g., 1300, 1302, 1304) in a horizontal direction or a vertical direction.
  • a first encoding unit (1300) having a size of 2Nx2N may be split in the vertical direction to determine a first encoding unit (1310) having a size of Nx2N, or may be split in the horizontal direction to determine a first encoding unit (1320) having a size of 2NxN.
  • the depth of the encoding unit determined by splitting the first encoding unit (1300) having a size of 2Nx2N in the horizontal direction or the vertical direction may be the same as the depth of the first encoding unit (1300).
  • the width and height of the third coding unit may be 1/4 times that of the first coding unit (1310 or 1320).
  • the depth of the first coding unit (1310 or 1320) is D
  • the depth of the second coding unit (1312 or 1322), which is 1/2 times the width and height of the first coding unit (1310 or 1320) may be D+1
  • the depth of the third coding unit (1314 or 1324), which is 1/4 times the width and height of the first coding unit (1310 or 1320) may be D+2.
  • FIG. 14 illustrates an index (part index, hereinafter referred to as PID) for depth and encoding unit distinction that can be determined according to the shape and size of encoding units according to one embodiment.
  • PID part index
  • the image decoding device (100) may split a first encoding unit (1400) having a square shape to determine second encoding units of various shapes.
  • the image decoding device (100) may split the first encoding unit (1400) in at least one of a vertical direction and a horizontal direction according to the split shape mode information to determine second encoding units (1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d).
  • the image decoding device (100) can determine the second encoding unit (1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d) based on the split shape mode information for the first encoding unit (1400).
  • the depth of the second coding units (1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d) determined according to the split shape mode information for the first coding unit (1400) having a square shape may be determined based on the length of the long side.
  • the depth of the first coding unit (1400) and the second coding units (1402a, 1402b, 1404a, 1404b) having a non-square shape may be considered to be the same as D.
  • the image decoding device (100) divides the first encoding unit (1400) into four square-shaped second encoding units (1406a, 1406b, 1406c, 1406d) based on the split shape mode information
  • the length of one side of the square-shaped second encoding units (1406a, 1406b, 1406c, 1406d) is half the length of one side of the first encoding unit (1400), so the depth of the second encoding units (1406a, 1406b, 1406c, 1406d) may be a depth of D+1, which is one depth lower than D, the depth of the first encoding unit (1400).
  • the image decoding device (100) may split a first encoding unit (1410) having a shape in which the height is longer than the width into a plurality of second encoding units (1412a, 1412b, 1414a, 1414b, 1414c) in the horizontal direction according to the split shape mode information.
  • the image decoding device (100) may split a first encoding unit (1420) having a shape in which the width is longer than the height into a plurality of second encoding units (1422a, 1422b, 1424a, 1424b, 1424c) in the vertical direction according to the split shape mode information.
  • the depth of the second coding unit (1412a, 1412b, 1414a, 1414b, 1414c. 1422a, 1422b, 1424a, 1424b, 1424c) determined based on the split shape mode information for the first coding unit (1410 or 1420) of a non-square shape may be determined based on the length of the long side.
  • the depth of the second encoding unit (1412a, 1412b) in the shape of a square is D+1, which is one depth lower than the depth D of the first encoding unit (1410) in the shape of a non-square.
  • the image decoding device (100) can split a non-square first encoding unit (1410) into an odd number of second encoding units (1414a, 1414b, 1414c) based on the split shape mode information.
  • the odd number of second encoding units (1414a, 1414b, 1414c) can include non-square second encoding units (1414a, 1414c) and square second encoding units (1414b).
  • the depth of the second encoding unit (1414a, 1414b, 1414c) may be a depth of D+1, which is one depth lower than D, which is the depth of the first encoding unit (1410).
  • the image decoding device (100) may determine the depth of the encoding units associated with the first encoding unit (1420) of a non-square shape, in which the width is longer than the height, in a manner corresponding to the above method of determining the depth of the encoding units associated with the first encoding unit (1410).
  • the image decoding device (100) may determine the index based on a size ratio between the coding units when the coding units divided into an odd number are not of the same size. Referring to FIG. 14, among the coding units (1414a, 1414b, 1414c) divided into an odd number, the coding unit (1414b) located in the middle may have the same width as the other coding units (1414a, 1414c) but may have a height that is twice the height of the coding units (1414a, 1414c) that are different in height.
  • the coding unit (1414b) located in the middle may include two of the other coding units (1414a, 1414c). Accordingly, if the index (PID) of the encoding unit (1414b) located in the middle according to the scanning order is 1, the index of the encoding unit (1414c) located in the next order may be 3, which is an increase of 2. In other words, there may be a discontinuity in the index value. According to one embodiment, the image decoding device (100) may determine whether the encoding units divided into an odd number are not of the same size based on the presence or absence of discontinuity in the index for distinguishing between the divided encoding units.
  • the image decoding device (100) may determine whether the image is divided into a specific split shape based on the value of an index for distinguishing a plurality of coding units that are divided from the current coding unit.
  • the image decoding device (100) may divide a first coding unit (1410) having a rectangular shape in which the height is longer than the width, to determine an even number of coding units (1412a, 1412b) or an odd number of coding units (1414a, 1414b, 1414c).
  • the image decoding device (100) may use an index (PID) indicating each coding unit to distinguish each of the plurality of coding units.
  • the PID may be obtained from a sample (for example, an upper left sample) at a predetermined position of each coding unit.
  • the image decoding device (100) may determine an coding unit at a predetermined position among the coding units that are divided and determined using an index for distinguishing the coding units.
  • the image decoding device (100) may divide the first coding unit (1410) into three coding units (1414a, 1414b, 1414c). The image decoding device (100) may assign an index to each of the three coding units (1414a, 1414b, 1414c).
  • the image decoding device (100) may compare the indexes for each coding unit to determine the middle coding unit among the coding units divided into an odd number of coding units.
  • the image decoding device (100) may determine a coding unit (1414b) having an index corresponding to a middle value among the indices of the coding units as a coding unit at a middle position among the coding units determined by splitting the first coding unit (1410).
  • the image decoding device (100) may determine the index based on a size ratio between the coding units when the coding units do not have the same size. Referring to FIG.
  • the coding unit (1414b) generated by splitting the first coding unit (1410) may have the same width as other coding units (1414a, 1414c) but may be twice the height of the coding units (1414a, 1414c) that are different in height.
  • the index (PID) of the encoding unit (1414b) located in the middle is 1, the index of the encoding unit (1414c) located in the next order may be 3, which is an increase of 2.
  • the image decoding device (100) may determine that the current encoding unit is divided into a plurality of encoding units including encoding units having different sizes from other encoding units.
  • the image decoding device (100) may divide the current encoding unit into a form in which an encoding unit at a predetermined position among the odd number of encoding units (for example, a central encoding unit) has a different size from the other encoding units. In this case, the image decoding device (100) may determine a central encoding unit having a different size by using the index (PID) for the encoding unit.
  • PID index
  • the above-described index, the size or position of the encoding unit at the predetermined position to be determined are specific for explaining one embodiment and should not be interpreted as being limited thereto, and should be interpreted as being able to use various indexes, positions and sizes of encoding units.
  • the image decoding device (100) may utilize a predetermined data unit from which recursive division of the encoding unit begins.
  • FIG. 15 illustrates that a plurality of coding units are determined according to a plurality of predetermined data units included in a picture according to one embodiment.
  • a predetermined data unit may be defined as a data unit from which a coding unit begins to be recursively split using split shape mode information. That is, it may correspond to a coding unit of the highest depth used in the process of determining multiple coding units for splitting the current picture.
  • this predetermined data unit will be referred to as a reference data unit hereinafter.
  • the reference data unit may exhibit a predetermined size and shape.
  • the reference data unit may include MxN samples, where M and N may be the same and may be integers expressed as powers of 2. That is, the reference data unit may exhibit a square or non-square shape, and may be subsequently divided into an integer number of coding units.
  • the video decoding device (100) can divide the current picture into a plurality of reference data units. According to one embodiment, the video decoding device (100) can divide the plurality of reference data units into which the current picture is divided using division type mode information for each reference data unit. This division process of the reference data units can correspond to a division process using a quad-tree structure.
  • the image decoding device (100) may predetermine the minimum size that a reference data unit included in the current picture may have. Accordingly, the image decoding device (100) may determine reference data units of various sizes having a size greater than or equal to the minimum size, and may determine at least one encoding unit using segmentation mode information based on the determined reference data unit.
  • the image decoding device (100) may use a reference coding unit (1500) having a square shape, or may use a reference coding unit (1502) having a non-square shape.
  • the shape and size of the reference coding unit may be determined according to various data units (e.g., sequence, picture, slice, slice segment, tile, tile group, maximum coding unit, etc.) that may include at least one reference coding unit.
  • the bitstream acquisition unit (110) of the image decoding device (100) can acquire at least one of information on the shape of the reference coding unit and information on the size of the reference coding unit from the bitstream for each of the various data units.
  • the process of determining at least one coding unit included in the square-shaped reference coding unit (1500) has been described above through the process of splitting the current coding unit (300) of FIG. 3, and the process of determining at least one coding unit included in the non-square-shaped reference coding unit (1502) has been described above through the process of splitting the current coding unit (400 or 450) of FIG. 4, so a detailed description thereof will be omitted.
  • the image decoding device (100) may use an index for identifying the size and shape of the reference coding unit to determine the size and shape of the reference coding unit according to some data units that are predetermined based on a predetermined condition. That is, the bitstream acquisition unit (110) may acquire only an index for identifying the size and shape of the reference coding unit for each slice, slice segment, tile, tile group, maximum coding unit, etc., among the various data units (e.g., sequences, pictures, slices, slice segments, tiles, tile groups, maximum coding units, etc.) that satisfy a predetermined condition (e.g., data units having a size smaller than a slice) from the bitstream.
  • a predetermined condition e.g., data units having a size smaller than a slice
  • the image decoding device (100) may determine the size and shape of the reference data unit for each data unit that satisfies the predetermined condition by using the index.
  • the efficiency of the bitstream may not be good. Therefore, instead of directly obtaining information about the shape of the reference coding unit and information about the size of the reference coding unit, only the index may be obtained and used. In this case, at least one of the size and shape of the reference coding unit corresponding to the index indicating the size and shape of the reference coding unit may be determined in advance.
  • the image decoding device (100) can determine at least one of the size and shape of the reference coding unit included in the data unit that serves as the basis for obtaining the index by selecting at least one of the sizes and shapes of the predetermined reference coding units according to the index.
  • the image decoding device (100) may use at least one reference coding unit included in one maximum coding unit. That is, a maximum coding unit for dividing an image may include at least one reference coding unit, and a coding unit may be determined through a recursive splitting process of each reference coding unit. According to one embodiment, at least one of the width and the height of the maximum coding unit may correspond to an integer multiple of at least one of the width and the height of the reference coding unit. According to one embodiment, the size of the reference coding unit may be a size obtained by splitting the maximum coding unit n times according to a quad tree structure.
  • the image decoding device (100) may split the maximum coding unit n times according to the quad tree structure to determine the reference coding unit, and may split the reference coding unit based on at least one of block shape information and split shape mode information according to various embodiments.
  • the video decoding device (100) may obtain and use block shape information indicating the shape of the current encoding unit or split shape mode information indicating a method of splitting the current encoding unit from the bitstream.
  • the split shape mode information may be included in a bitstream related to various data units.
  • the video decoding device (100) may use split shape mode information included in a sequence parameter set, a picture parameter set, a video parameter set, a slice header, a slice segment header, a tile header, and a tile group header.
  • the video decoding device (100) may obtain and use a syntax element corresponding to block shape information or split shape mode information from the bitstream for each maximum encoding unit and each reference encoding unit.
  • the video decoding device (100) can determine a segmentation rule of the video.
  • the segmentation rule may be predetermined between the video decoding device (100) and the video encoding device (200).
  • the video decoding device (100) can determine the segmentation rule of the video based on information obtained from a bitstream.
  • the video decoding device (100) can determine the segmentation rule based on information obtained from at least one of a sequence parameter set, a picture parameter set, a video parameter set, a slice header, a slice segment header, a tile header, and a tile group header.
  • the video decoding device (100) can determine the segmentation rule differently according to a frame, a slice, a tile, a temporal layer, a maximum coding unit, or an coding unit.
  • the image decoding device (100) can determine a segmentation rule based on the block shape of the encoding unit.
  • the block shape can include the size, shape, width and height ratio, and direction of the encoding unit.
  • the image encoding device (200) and the image decoding device (100) can determine in advance that the segmentation rule will be determined based on the block shape of the encoding unit.
  • the present invention is not limited thereto.
  • the image decoding device (100) can determine the segmentation rule based on information obtained from the bitstream received from the image encoding device (200).
  • the shape of the encoding unit may include a square and a non-square. If the width and height of the encoding unit are equal, the image decoding device (100) may determine the shape of the encoding unit as a square. In addition, if the width and height of the encoding unit are not equal, the image decoding device (100) may determine the shape of the encoding unit as a non-square.
  • the size of the coding unit may include various sizes such as 4x4, 8x4, 4x8, 8x8, 16x4, 16x8, ..., 256x256.
  • the size of the coding unit may be classified according to the length of the long side, the length of the short side, or the area of the coding unit.
  • the image decoding device (100) may apply the same splitting rule to the coding units classified into the same group. For example, the image decoding device (100) may classify the coding units having the same long side length into the same size. In addition, the image decoding device (100) may apply the same splitting rule to the coding units having the same long side length.
  • the ratio of the width to the height of the coding unit may include 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 32:1, or 1:32, etc.
  • the direction of the coding unit may include a horizontal direction and a vertical direction.
  • the horizontal direction may indicate a case where the length of the width of the coding unit is longer than the length of the height.
  • the vertical direction may indicate a case where the length of the width of the coding unit is shorter than the length of the height.
  • the image decoding device (100) can adaptively determine a splitting rule based on the size of the encoding unit.
  • the image decoding device (100) can determine a different allowable splitting mode based on the size of the encoding unit. For example, the image decoding device (100) can determine whether splitting is allowed based on the size of the encoding unit.
  • the image decoding device (100) can determine a splitting direction based on the size of the encoding unit.
  • the image decoding device (100) can determine an allowable splitting type based on the size of the encoding unit.
  • Determining the splitting rule based on the size of the encoding unit may be a splitting rule predetermined between the image encoding device (200) and the image decoding device (100).
  • the image decoding device (100) may determine the splitting rule based on information obtained from the bitstream.
  • the image decoding device (100) can adaptively determine a segmentation rule based on the position of the encoding unit.
  • the image decoding device (100) can adaptively determine a segmentation rule based on the position that the encoding unit occupies in the image.
  • the image decoding device (100) can determine a splitting rule so that encoding units generated through different splitting paths do not have the same block shape. However, this is not limited thereto, and encoding units generated through different splitting paths may have the same block shape. Encoding units generated through different splitting paths may have different decoding processing orders. Since the decoding processing order has been described together with FIG. 12, a detailed description thereof will be omitted.
  • FIG. 16 illustrates encoding units that can be determined for each picture when the combination of forms into which encoding units can be divided is different for each picture according to one embodiment.
  • the image decoding device (100) can determine a different combination of partitioning shapes into which encoding units can be partitioned for each picture. For example, the image decoding device (100) can decode an image using a picture (1600) that can be partitioned into four encoding units, a picture (1610) that can be partitioned into two or four encoding units, and a picture (1620) that can be partitioned into two, three, or four encoding units, among at least one picture included in the image. The image decoding device (100) can only use partitioning shape information indicating that the picture (1600) is partitioned into four square encoding units to partition the picture (1600) into a plurality of encoding units.
  • the image decoding device (100) can only use partitioning shape information indicating that the picture (1610) is partitioned into two or four encoding units to partition the picture.
  • the video decoding device (100) can only use the segmentation type information indicating that the picture (1620) is segmented into two, three, or four encoding units.
  • the above-described combination of segmentation types is merely an example for explaining the operation of the video decoding device (100), and therefore the above-described combination of segmentation types should not be interpreted as being limited to the above-described example, but should be interpreted as being capable of using various combinations of segmentation types for each predetermined data unit.
  • the bitstream acquisition unit (110) of the image decoding device (100) can acquire a bitstream including an index indicating a combination of segmentation type information for each predetermined data unit (e.g., sequence, picture, slice, slice segment, tile, tile group, etc.).
  • the bitstream acquisition unit (110) can acquire an index indicating a combination of segmentation type information from a sequence parameter set, a picture parameter set, a slice header, a tile header, or a tile group header.
  • the image decoding device (100) of the image decoding device (100) can determine a combination of segmentation types by which an encoding unit can be divided for each predetermined data unit using the acquired index, and thus can use different combinations of segmentation types for each predetermined data unit.
  • FIG. 17 illustrates various forms of encoding units that can be determined based on segmentation mode information that can be expressed in binary code according to one embodiment.
  • the image decoding device (100) can split an encoding unit into various shapes using block shape information and split shape mode information acquired through the bitstream acquisition unit (110).
  • the shapes of the encoding unit that can be split may correspond to various shapes including the shapes described through the above-described embodiments.
  • the image decoding device (100) can split a square-shaped encoding unit in at least one of the horizontal direction and the vertical direction based on the split shape mode information, and can split a non-square-shaped encoding unit in the horizontal direction or the vertical direction.
  • the image decoding device (100) when the image decoding device (100) can divide a square-shaped encoding unit into four square encoding units by horizontally and vertically splitting the encoding unit, there may be four types of splitting modes that the splitting mode information for the square encoding unit can indicate.
  • the splitting mode information may be expressed as a two-digit binary code, and a binary code may be assigned to each splitting mode.
  • the splitting mode information when the encoding unit is not split, the splitting mode information may be expressed as (00)b, when the encoding unit is split in the horizontal direction and the vertical direction, the splitting mode information may be expressed as (01)b, when the encoding unit is split in the horizontal direction, the splitting mode information may be expressed as (10)b, and when the encoding unit is split in the vertical direction, the splitting mode information may be expressed as (11)b.
  • the type of split shape that the split shape mode information can indicate may be determined depending on the number of coding units into which the coding unit is split.
  • the image decoding device (100) may split a non-square coding unit into up to three according to one embodiment.
  • the image decoding device (100) may split the coding unit into two coding units, in which case the split shape mode information may be expressed as (10)b.
  • the image decoding device (100) may split the coding unit into three coding units, in which case the split shape mode information may be expressed as (11)b.
  • the image decoding device (100) may determine not to split the coding unit, in which case the split shape mode information may be expressed as (0)b. That is, the image decoding device (100) can use variable length coding (VLC) rather than fixed length coding (FLC) to use a binary code representing segmentation mode information.
  • VLC variable length coding
  • FLC fixed length coding
  • the binary code of the partition shape mode information indicating that the coding unit is not split may be expressed as (0)b. If the binary code of the partition shape mode information indicating that the coding unit is not split is set to (00)b, all binary codes of the 2-bit partition shape mode information must be used even if there is no partition shape mode information set to (01)b. However, as illustrated in FIG. 17, if three partition shapes for a non-square coding unit are used, the image decoding device (100) can determine that the coding unit is not split even if it uses a 1-bit binary code (0)b as the partition shape mode information, and thus can efficiently use the bitstream. However, the partition shapes of the non-square coding unit indicated by the partition shape mode information should not be interpreted as being limited to only the three shapes illustrated in FIG. 17, but should be interpreted as various shapes including the above-described embodiments.
  • FIG. 18 illustrates another form of a coding unit that can be determined based on segmentation mode information that can be expressed in binary code according to one embodiment.
  • the image decoding device (100) can split a square-shaped encoding unit in the horizontal direction or the vertical direction based on the split shape mode information, and can split a non-square-shaped encoding unit in the horizontal direction or the vertical direction. That is, the split shape mode information can indicate that a square-shaped encoding unit is split in one direction.
  • the binary code of the split shape mode information indicating that a square-shaped encoding unit is not split can be expressed as (0)b. If the binary code of the split shape mode information indicating that the encoding unit is not split is set to (00)b, all binary codes of the 2-bit split shape mode information must be used even though there is no split shape mode information set to (01)b. However, as illustrated in FIG.
  • the image decoding device (100) can determine that the encoding unit is not divided even if it uses a 1-bit binary code (0)b as the division form mode information, and thus can efficiently use the bitstream.
  • the division forms of the square-shaped encoding unit indicated by the division form mode information should not be interpreted as being limited to only the three types illustrated in FIG. 18, but should be interpreted as various types including the embodiments described above.
  • block shape information or segmentation shape mode information may be expressed using binary code, and such information may be directly generated as a bitstream.
  • block shape information or segmentation shape mode information that may be expressed using binary code may not be directly generated as a bitstream, but may instead be used as a binary code input into CABAC (context adaptive binary arithmetic coding).
  • the image decoding device (100) describes a process of obtaining syntax for block shape information or segmentation shape mode information through CABAC.
  • a bitstream including a binary code for the syntax can be obtained through a bitstream obtaining unit (110).
  • the image decoding device (100) can detect a syntax element indicating block shape information or segmentation shape mode information by de-binarizing a bin string included in the obtained bitstream.
  • the image decoding device (100) can obtain a set of binary bin strings corresponding to syntax elements to be decoded, and decode each bin using probability information, and the image decoding device (100) can repeat the process until a bin string composed of the decoded bins becomes equal to one of the previously obtained bin strings.
  • the image decoding device (100) can determine syntax elements by performing inverse binarization of an empty string.
  • the image decoding device (100) may perform a decoding process of adaptive binary arithmetic coding to determine a syntax for a bin string, and the image decoding device (100) may update a probability model for bins acquired through the bitstream acquisition unit (110).
  • the bitstream acquisition unit (110) of the image decoding device (100) may acquire a bitstream representing a binary code representing segmentation mode information according to one embodiment.
  • the image decoding device (100) may determine a syntax for the segmentation mode information.
  • the image decoding device (100) may update a probability for each bit of the 2-bit binary code. That is, the image decoding device (100) can update the probability of having a value of 0 or 1 when decoding the next bin, depending on whether the value of the first bin among the 2-bit binary codes is 0 or 1.
  • the image decoding device (100) may, in the process of determining the syntax, update the probability for the bins used in the process of decoding the bins of the empty string for the syntax, and the image decoding device (100) may determine that certain bits among the empty strings have the same probability without updating the probability.
  • the image decoding device (100) may determine the syntax for the split shape mode information using one bin having a value of 0 when the non-square coding unit is not split. That is, when the block shape information indicates that the current coding unit is a non-square shape, the first bin of the empty string for the split shape mode information may be 0 when the non-square coding unit is not split, and may be 1 when it is split into 2 or 3 coding units. Accordingly, the probability that the first bin of the empty string of the split shape mode information for the non-square coding unit is 0 may be 1/3, and the probability that it is 1 may be 2/3.
  • the image decoding device (100) can only express a 1-bit empty string having a value of 0 for the partition shape mode information indicating that a non-square-shaped encoding unit is not partitioned, so the image decoding device (100) can determine the syntax for the partition shape mode information by determining whether the second bin is 0 or 1 only when the first bin of the partition shape mode information is 1. According to one embodiment, the image decoding device (100) can decode the bin by considering that the probability that the second bin is 0 or 1 when the first bin for the partition shape mode information is 1 is the same probability.
  • the image decoding device (100) may use various probabilities for each bin in the process of determining a bin of a bin string for the partition shape mode information. According to one embodiment, the image decoding device (100) may determine the probability of a bin for the partition shape mode information differently depending on the direction of a non-square block. According to one embodiment, the image decoding device (100) may determine the probability of a bin for the partition shape mode information differently depending on the area or the length of the long side of the current encoding unit. According to one embodiment, the image decoding device (100) may determine the probability of a bin for the partition shape mode information differently depending on at least one of the shape and the length of the long side of the current encoding unit.
  • the image decoding device (100) may determine that the bin probability for the segmentation shape mode information is the same for encoding units of a predetermined size or larger.
  • the bin probability for the segmentation shape mode information may be determined to be the same for encoding units of a size of 64 samples or larger based on the length of the long side of the encoding unit.
  • the image decoding device (100) may determine the initial probability for bins constituting the empty string of the segmentation shape mode information based on the slice type (e.g., I slice, P slice, or B slice).
  • the slice type e.g., I slice, P slice, or B slice.
  • FIG. 19 is a block diagram of an image encoding and decoding system according to one embodiment.
  • the encoding unit (1910) of the image encoding and decoding system (1900) transmits an encoded bitstream of an image, and the decoding unit (1950) receives the bitstream and decodes it to output a restored image.
  • the encoding unit (1910) may have a configuration similar to that of the image encoding device (200) described below, and the decoding unit (1950) may have a configuration similar to that of the image decoding device (100).
  • the prediction encoding unit (1915) outputs prediction data through inter prediction and intra prediction
  • the transformation and quantization unit (1920) outputs quantized transformation coefficients of residual data between the prediction data and the current input image.
  • the entropy encoding unit (1925) encodes and transforms the quantized transformation coefficients and outputs them as a bitstream.
  • the quantized transformation coefficients are restored to spatial domain data through the inverse quantization and inverse transformation unit (1930), and the restored spatial domain data are output as a restored image through the deblocking filtering unit (1935) and the loop filtering unit (1940).
  • the restored image can be used as a reference image of the next input image through the prediction encoding unit (1915).
  • the encoded image data among the bitstreams received by the decoding unit (1950) is restored to residual data in the spatial domain through the entropy decoding unit (1955) and the inverse quantization and inverse transformation unit (1960).
  • the prediction data and residual data output from the prediction decoding unit (1975) are combined to form image data in the spatial domain, and the deblocking filtering unit (1965) and the loop filtering unit (1970) can perform filtering on the image data in the spatial domain to output a restored image for the current original image.
  • the restored image can be used as a reference image for the next original image by the prediction decoding unit (1975).
  • the loop filtering unit (1940) of the encoding unit (1910) performs loop filtering using filter information input according to user input or system settings.
  • the filter information used by the loop filtering unit (1940) is output to the entropy encoding unit (1925) and transmitted to the decoding unit (1950) together with the encoded image data.
  • the loop filtering unit (1970) of the decoding unit (1950) can perform loop filtering based on the filter information input from the decoding unit (1950).
  • FIG. 2 illustrates a block diagram of an image encoding device (200) capable of encoding an image based on at least one of block shape information and segmentation shape mode information according to one embodiment.
  • the video encoding device (200) may include an encoding unit (220) and a bitstream generation unit (210).
  • the encoding unit (220) may receive an input image and encode the input image.
  • the encoding unit (220) may encode the input image to obtain at least one syntax element.
  • the syntax element may include at least one of a skip flag, a prediction mode, a motion vector difference, a motion vector prediction method (or index), a transform quantized coefficient, a coded block pattern, a coded block flag, an intra prediction mode, a direct flag, a merge flag, a delta QP, a reference index, a prediction direction, and a transform index.
  • the encoding unit (220) may determine a context model based on block shape information including at least one of a shape, a direction, a ratio of width and height, or a size of an encoding unit.
  • the bitstream generation unit (210) can generate a bitstream based on an encoded input image.
  • the bitstream generation unit (210) can generate a bitstream by entropy encoding syntax elements based on a context model.
  • the image encoding device (200) can transmit the bitstream to the image decoding device (100).
  • the encoding unit (220) of the image encoding device (200) can determine the shape of an encoding unit.
  • the encoding unit may be square or have a non-square shape, and information indicating such shape may be included in the block shape information.
  • the encoding unit (220) can determine the shape into which the encoding unit is to be split.
  • the encoding unit (220) can determine the shape of at least one encoding unit included in the encoding unit, and the bitstream generation unit (210) can generate a bitstream including split shape mode information including information about the shape of such encoding unit.
  • the encoder (220) may determine whether the encoding unit is split or not. If the encoder (220) determines that the encoding unit includes only one encoding unit or that the encoding unit is not split, the bitstream generation unit (210) may generate a bitstream including split shape mode information indicating that the encoding unit is not split. In addition, the encoder (220) may split the encoding unit into a plurality of encoding units, and the bitstream generation unit (210) may generate a bitstream including split shape mode information indicating that the encoding unit is split into a plurality of encoding units.
  • the splitting mode information may indicate splitting in at least one of the vertical and horizontal directions, or may indicate no splitting.
  • the video encoding device (200) determines information about the segmentation shape mode based on the segmentation shape mode of the encoding unit.
  • the video encoding device (200) determines a context model based on at least one of the shape, direction, width, and height ratio or size of the encoding unit. Then, the video encoding device (200) generates information about the segmentation shape mode for segmenting the encoding unit based on the context model as a bitstream.
  • the video encoding device (200) may obtain an array for matching at least one of the shape, direction, width and height ratio or size of the encoding unit with an index for the context model.
  • the video encoding device (200) may obtain an index for the context model based on at least one of the shape, direction, width and height ratio or size of the encoding unit in the array.
  • the video encoding device (200) may determine the context model based on the index for the context model.
  • the video encoding device (200) may further determine the context model based on block shape information including at least one of the shape, direction, width, and height ratio or size of a neighboring encoding unit adjacent to the encoding unit, in order to determine the context model.
  • the neighboring encoding unit may include at least one of encoding units located on the lower left, left, upper left, upper right, right, or lower right of the encoding unit.
  • Fig. 20 is a block diagram illustrating a configuration of a filtering device according to one embodiment.
  • the filtering device (2000) may include a classifier (2010) and a filter unit (2030).
  • the classifier (2010) and filter unit (2030) may be implemented with at least one processor.
  • At least one processor may include processing circuitry.
  • the filtering device (2000) may include at least one memory for storing input/output data of the classifier (2010) and the filter unit (2030).
  • the filtering device (2000) may include a memory control unit for controlling data input/output of at least one memory.
  • the filtering device (2000) may correspond to the loop filtering unit (1940, 1970) illustrated in FIG. 19. In one embodiment, the filtering device (2000) may be included in each of the image decoding device (100) and the image encoding device (200).
  • the filtering device (2000) can generate a filtered image from an input image.
  • the filtering device (2000) can classify samples or blocks included in the image according to their characteristics, and filter the samples included in the image using a filter appropriate for the classification result.
  • the classifier (2010) can determine which of several classes each of the samples or blocks contained in the image belongs to.
  • the filter unit (2030) can determine a filter (or filter coefficients) to be used for filtering samples within a block by considering at least one of the classification results or filter information by the classifier (2010).
  • the filter unit (2030) can apply the adaptively determined filter to one sample and its surrounding samples to generate a filtered sample.
  • the same filter may be applied to samples included in the same block. In one embodiment, if the classification process by the classifier (2010) is performed on a sample-by-sample basis, a filter independently determined for each sample in the image may be applied.
  • the predicted image may be an image generated through intra-prediction or inter-prediction for blocks
  • the residual image may be an image corresponding to the difference between the original image and the predicted image.
  • the restored image may be an image generated by combining the predicted image and the residual image.
  • the image filtered by the filter unit (2030) may include at least one of a restored image, a Gaussian filtered image, an image before a blocking filter, a restored image after deblocking filtering, a predicted image, a residual image, a restored image with a fixed filter applied, a predicted image with a fixed filter applied, or a residual image with a fixed filter applied.
  • the filtered images may be combined (e.g., weighted combined) to obtain a final filtered image.
  • the types of images classified by the classifier (2010) and the types of images filtered by the filter unit (2030) may be different.
  • a deblocking-filtered restored image may be filtered based on the classification result for the residual image.
  • a restored image, a deblocking-filtered restored image, a restored image with a fixed filter applied, a residual image, and a residual image with a fixed filter applied may be filtered based on the classification result for the deblocking-filtered restored image or the residual image.
  • the types of images classified by the classifier (2010) and filtered by the filter unit (2030) are not limited to the examples mentioned and can be determined by various combinations.
  • the types of images classified by the classifier (2010) and images filtered by the filter unit (2030) may be the same.
  • the type of image input to the classifier (2010) and the type of image input to the filter unit (2030) may be the same or different from each other.
  • the filter unit (2030) can determine a filter suitable for filtering samples within the current image based on the classification result and/or filter information. Then, the filter unit (2030) can filter samples within the current image using the determined filter.
  • the filter information can be obtained from the bitstream.
  • the filter information can be derived from the image encoding device (200) and the image decoding device (100) in the same manner without separate signaling.
  • the bitstream may correspond to the encoding result of the image.
  • the bitstream may be generated by the image encoding device (200) and transmitted to the image decoding device (100).
  • the bitstream may be stored on a storage medium such as an optical media, a hard disk, or the like.
  • the filter information may include at least one of information indicating whether adaptive filtering is applied to the current image or a block within the current image (e.g., a slice, a maximum coding unit, or a group of maximum coding units), information indicating which of several adaptation parameter sets (APS) included in the bitstream is used for the current image or a block within the current image, or information indicating which of several filter sets is used for the current image or a block within the current image.
  • information indicating whether adaptive filtering is applied to the current image or a block within the current image e.g., a slice, a maximum coding unit, or a group of maximum coding units
  • APS adaptation parameter sets
  • the output of a fixed filter may be output as a final filtered image, or may be used as an intermediate sample to which a signaled filter is applied.
  • the signaled filter may represent a filter included in a filter set signaled via APS.
  • filtering using a signaled filter may be referred to as online filtering, and filtering using a fixed filter may be referred to as offline filtering.
  • filtering using a fixed filter may be referred to as offline filtering.
  • the signaled filter may be referred to as an online filter
  • the fixed filter may be referred to as an offline filter.
  • Figure 21 is a diagram illustrating a filter according to one embodiment.
  • a first filter (2110), a second filter (2120), and a third filter (2130) as illustrated in FIG. 21 may be used.
  • the first sample (2111), the second sample (2131), and the third sample (2131) may represent samples (which may be referred to as current samples) filtered using the first filter (2110), the second filter (2120), and the third filter (2130), respectively.
  • the first filter (2110) applied to the luma restored image and the second filter (2120) applied to the chroma restored image may have a size of 9x9 as illustrated in FIG. 21.
  • the third filter (2130) may have a size of 13x13 as illustrated in FIG. 21.
  • FIG. 21 is merely an example, and the embodiments of the present disclosure are not limited thereto, and the first to third filters (2110, 2120, 2130) may be defined in various sizes.
  • one or more filters may be used to filter an image.
  • the filter configuration illustrated in FIG. 21 is an example, and the present invention is not limited thereto.
  • various other types of filters may be applied to filter an image.
  • the classifier can classify blocks of the current image based on the directional values and/or activity values described below.
  • the filtering device (2000) when the filtering device (2000) includes a first classifier, a second classifier, and a third classifier, the first classifier may classify a block of the current image based on a directional feature value of the block in the deblocking filtered restored image, the second classifier may classify a block of the current image based on a sample feature value in the deblocking filtered restored image, and the third classifier may classify a block of the current image based on a sample feature value in the residual image.
  • a filtering device (2000) when a filtering device (2000) includes a plurality of classifiers (2010), one of the plurality of classifiers (2010) may be selected, and a classification result by the selected classifier (2010) may be transmitted to the filter unit (2030).
  • the filtering device (2000) is included in the image decoding device (100)
  • information indicating one of the plurality of classifiers (2010) may be obtained from a bitstream.
  • the classification results from the multiple classifiers (2010) may be combined to obtain a final classification result. For example, if the current block is classified by multiple classifiers (2010), values representing the classes to which the current block belongs may be obtained, and a class corresponding to the average value of the obtained values may be determined as the final class of the current block.
  • the current block may be a slice, tile, maximum coding unit, encoding unit, prediction unit, or transform unit segmented from the current image.
  • the size of the current block may be greater than 1x1.
  • the size of the current block may be 2x2 or 4x4.
  • Fig. 22 is a block diagram illustrating the configuration of a classifier according to one embodiment.
  • the classifier (2200) may include a directionality determination unit (2210), an activity determination unit (2230), and a class determination unit (2250).
  • the directionality determination unit (2210) can determine the directionality value of the current block to be classified, and the activity determination unit (2230) can determine the activity value of the current block.
  • a directionality value may be referred to as a directionality index, a directionality parameter, a directionality variable, a direction value, a direction index, a direction parameter, or a direction variable.
  • the activity value may be referred to as an activity index, an activity parameter, an activity variable, a strength value, a strength index, a strength parameter, or a strength variable.
  • the class determination unit (2250) may determine which class among multiple classes the current block belongs to by using at least one of the directionality value and the activity value. For example, the class determination unit (2250) may determine that the current block belongs to a class indicated by a value combining the directionality value and the activity value. For example, the class determination unit (2250) may determine the class index of the current block by using at least one of the directionality value and the activity value.
  • the filter unit (2030) can determine a filter (or filter coefficient) for filtering samples within the current block based on the determined class.
  • the directionality value determined by the directionality determination unit (2210) and the activity value determined by the class determination unit (2250) may be determined based on 2-D Laplacian values.
  • the Laplacian values may be referred to as gradient values.
  • the directionality determination unit (2210) can obtain the gradient value of the current block (or samples within the current block) using samples of the current block and/or surrounding samples of the current block.
  • the directionality determination unit (2210) can obtain the gradient value of the current block by applying a window including the current block.
  • the window size may be larger than the size of the current block.
  • the size of the window may be 4x4, 8x8, or 12x12.
  • samples of the current block and surrounding samples may be used to obtain the gradient value of the current block.
  • the gradient value of the current block may include a gradient value in at least one of a horizontal direction, a vertical direction, a 45 degree diagonal direction, or a 135 degree diagonal direction.
  • the directionality determination unit (2210) may determine the directionality value using a gradient value in at least one direction among a horizontal direction, a vertical direction, a 45 degree diagonal direction, and a 135 degree diagonal direction. For example, the directionality determination unit (2210) may determine the directionality value using gradient values in the horizontal direction, the vertical direction, the 45 degree diagonal direction, and the 135 degree diagonal direction.
  • the activity determination unit (2230) may determine the activity value using a gradient value in at least one direction among a horizontal direction, a vertical direction, a 45-degree diagonal direction, or a 135-degree diagonal direction. For example, the activity determination unit (2230) may determine the activity value using gradient values in the horizontal direction and the vertical direction.
  • the class determination unit (2250) may determine the class (or class index) of the current block using at least one of a directionality value and an activity value. In one embodiment, the class determination unit (2250) may select a filter using the class of the current block determined within a set of filters used for filtering the current block.
  • the class determination unit (2250) may determine the class of the current block based on a value that combines a directionality value and an activity value. For example, the class determination unit (2250) may derive a number of directionality values.
  • the class determination unit (2250) may determine a class using the number of derived directionalities.
  • the number of directionalities may represent the total number of directionalities.
  • the number of directionalities may be derived based on predefined parameters. For example, the class determination unit (2250) may calculate a class index by adding the directional value to the product of the number of directionalities and the activity value.
  • Fig. 23 is a block diagram illustrating a configuration of a filtering device according to one embodiment.
  • the filtering device (2300) may include a first classifier (2310), a second classifier (2320), and a filter unit (2330).
  • the methods described above in FIGS. 20 and 22 may be substantially equally applied to the present embodiment, and any duplicate descriptions thereof will be omitted herein.
  • the filtering device (2300) of FIG. 23 may be an example of the filtering device (2000) of FIG. 20.
  • the filtering device (2300) can classify classes for specifying filters within a filter set using multiple classifiers.
  • the filtering device (2300) includes two classifiers is mainly described, but the present invention is not limited thereto, and the filtering device (2300) can classify classes for specifying filters within a filter set using two or more classifiers.
  • the first classifier (2310), the second classifier (2320), and the filter unit (2330) may be implemented with at least one processor.
  • At least one processor may include a processing circuit.
  • the first classifier (2310), the second classifier (2320), and the filter unit (2330) can operate according to at least one instruction stored in at least one memory.
  • the filtering device (2300) may include at least one memory that stores input/output data of the first classifier (2310), the second classifier (2320), and the filter unit (2330).
  • the filtering device (2300) may include a memory control unit that controls data input/output of at least one memory.
  • the filtering device (2300) may correspond to the loop filtering unit (1940, 1970) illustrated in FIG. 19. In one embodiment, the filtering device (2300) may be included in each of the image decoding device (100) and the image encoding device (200).
  • the filtering device (2300) can generate a filtered image from an input image. In one embodiment, the filtering device (2300) can generate a filtered image by applying a filter to the input image.
  • the filtering device (2300) can classify samples or blocks included in an image according to characteristics, and filter the samples included in the image using a filter suitable for the classification result.
  • the first classifier (2310) and the second classifier (2320) can determine which class among several classes each of the samples or blocks included in the image belongs to.
  • the filter unit (2330) can determine a filter (or filter coefficients) to be used for filtering samples within a block based on the classification results by the first classifier (2310) or the second classifier (2320).
  • the filter unit (2330) can apply the adaptively determined filter to one sample and its surrounding samples to generate a filtered sample.
  • both the first classifier (2310) and the second classifier (2320) can classify classes to specify filters within a filter set.
  • the first classifier (2310) and the second classifier (2320) can classify blocks of the current image in different ways.
  • both the first classifier (2310) and the second classifier (2320) may be Laplacian-based classifiers that determine directionality and activity values based on 2-D Laplacian values.
  • the embodiment described above in FIG. 22 may be applied in the same manner, and any redundant descriptions are omitted herein.
  • the first classifier (2310) and the second classifier (2320) can determine the class of a block in the current image using activity values and directionality values.
  • the first classifier (2310) and the second classifier (2320) can derive the activity values and directionality values based on a gradient in at least one of the vertical, horizontal, or diagonal directions.
  • the diagonal direction can include a 45-degree diagonal direction and/or a 135-degree diagonal direction.
  • a window surrounding the current block can be used to obtain the gradient.
  • At least one of the activity value or the directionality value may be determined in a different manner, and the classification results of the current block in the image by each classifier (2310, 2320) may be determined differently.
  • the first classifier (2310) and the second classifier (2320) may determine the class of a block within the current image by adding the directionality value to the product of the number of directionality and the activity value.
  • the number of directionality may be determined in different ways, and the classification results of the block within the current image by each classifier (2310, 2320) may be determined differently.
  • a filter to be applied to the current block can be determined based on the classification result.
  • the size of the current block may be 1x1 or larger.
  • the size of the current block may be 2x2 or 4x4.
  • the determined filter may be applied to the current block on a sample-by-sample basis. Filter coefficients may be obtained from the determined filter.
  • a filtered sample for a current sample can be obtained by applying filter coefficients of a determined filter to surrounding samples of the current sample.
  • the surrounding samples to which each filter coefficient is applied can be determined based on the size, type, or shape of the filter.
  • the filter coefficients can be applied to the corresponding surrounding samples.
  • the filter size, type, or shape of the filter can be defined as in the embodiment described above in FIG. 21.
  • the filter coefficients of the filter can be defined as in the embodiment described above in FIG. 21.
  • the filtered sample can be obtained using the following mathematical expression 1.
  • x cur represents the current sample (or pixel) being filtered
  • x out represents the filtered sample
  • x k ref represents the kth neighboring sample (or reference sample).
  • the kth neighboring sample may refer to a neighboring sample to which a filter coefficient with an index k value is applied within the filter.
  • the kth neighboring sample may represent a neighboring sample to which the filter coefficient w k is applied.
  • the kth neighboring sample may represent a neighboring sample corresponding to the filter coefficient w k .
  • c max and c min represent the upper and lower limits of the clipping function clip() , respectively, and in the present disclosure, c max and c min may be expressed as a maximum value and a minimum value.
  • w k represents a filter coefficient corresponding to the kth neighboring sample, and in the present disclosure, w k may be expressed as a weight.
  • w k may be obtained from a filter applied to the current block.
  • the filtering device (2000) can multiply the filter coefficient corresponding to the clipped value of the difference between the current sample and the surrounding sample for each surrounding sample and add them up to generate a filtered sample of the current sample.
  • the expression of applying the filter coefficient to the surrounding sample may be an expression encompassing the expression of applying or multiplying the filter coefficient to the difference between the surrounding sample and the current sample.
  • the filtering device (2000) can apply a filter coefficient to the difference between the current sample and the surrounding samples corresponding to each filter coefficient in the filter. At this time, the difference between the surrounding sample and the current sample can be determined as a value within a predefined upper limit and lower limit according to a clipping function.
  • the filtering device (2000) can obtain a filtered sample by summing the difference values to which the filter coefficients of the filter are applied.
  • a value obtained by summing all difference values to which the filter coefficients are applied may be determined as the filtered sample value of the current sample, and as another example, a value obtained by adding a sample value of the current sample (e.g., a restored sample value) to a value obtained by summing all difference values to which the filter coefficients are applied may be determined as the filtered sample value of the current sample.
  • a sample value of the current sample e.g., a restored sample value
  • a method for preprocessing the difference between a currently filtered sample and surrounding samples is proposed to improve the aforementioned problems.
  • the similarity with the current sample can be effectively reflected in the filtering process, thereby improving filtering performance and enhancing compression efficiency.
  • FIG. 24 is a block diagram illustrating a configuration of a filtering device according to one embodiment of the present disclosure.
  • the filtering device (2400) may include a classifier (2410), a preprocessing unit (2420), and a filter unit (2430).
  • the methods described above in FIGS. 20 to 23 may be substantially identically applied to the present embodiment, and any redundant description thereof will be omitted herein.
  • the filtering device (2400) of FIG. 24 may be an example of the filtering device (2000) of FIG. 20.
  • the classifier (2410), preprocessing unit (2420), and filter unit (2430) may be implemented with at least one processor.
  • At least one processor may include a processing circuit.
  • the classifier (2410), preprocessing unit (2420), and filter unit (2430) can operate according to at least one instruction stored in at least one memory.
  • the filtering device (2400) may include at least one memory that stores input/output data of the classifier (2410), the preprocessing unit (2420), and the filter unit (2430).
  • the filtering device (2400) may include a memory control unit that controls data input/output of at least one memory.
  • the filtering device (2400) may correspond to the loop filtering unit (1940, 1970) illustrated in FIG. 19. In one embodiment, the filtering device (2400) may be included in each of the image decoding device (100) and the image encoding device (200).
  • the filtering device (2400) can generate a filtered image from an input image.
  • the filtering device (2400) can classify samples or blocks included in the image according to their characteristics, and filter the samples included in the image using a filter appropriate for the classification result.
  • the classifier (2410) can determine which of several classes each of the samples or blocks included in the image belongs to.
  • the filter unit (2430) may determine a filter (or filter coefficients) to be used for filtering samples within a block by considering at least one of the classification results or filter information by the classifier (2410).
  • the filter unit (2430) may apply the adaptively determined filter to one sample and its surrounding samples to generate a filtered sample.
  • the embodiments described above in FIGS. 20 to 23 may be applied, and any redundant descriptions will be omitted herein.
  • the preprocessing unit (2420) may perform preprocessing on reference information provided to the filter unit (2430).
  • the preprocessing unit (2420) may preprocess the difference between the current sample and the surrounding sample (or reference sample) based on a predefined function.
  • the reference information may represent the difference between the current sample and the surrounding sample.
  • the preprocessing unit (2420) may perform preprocessing on reference information using a predetermined function according to an embodiment of the present disclosure instead of a clipping function that simply sets upper and lower limits as in the embodiment described in mathematical expression 1 above.
  • FIG. 24 illustrates that the preprocessing unit (2420) is a separate configuration independent from the filter unit (2430), it is not limited thereto.
  • the preprocessing unit (2420) may be implemented as a configuration included in the filter unit (2430), and the preprocessing process performed in the preprocessing unit (2420) may also be performed by the filter unit (2430).
  • the preprocessing unit (2420) can preprocess the difference between the current sample and the surrounding samples of the current sample in the current block based on a predefined function.
  • a predefined function for preprocessing may be referred to as a parametric function.
  • the parametric function may also be referred to as a parameter-based function, an exponential-based function, a preprocessing function, a parameter operation, a parameter-based operation, an exponential operation, an exponential-based operation, a preprocessing operation, a parametric mathematical expression, a parameter-based mathematical expression, an exponential mathematical expression, an exponential-based mathematical expression, a preprocessing mathematical expression, a parametric preprocessing, a parameter-based preprocessing, an exponential-based preprocessing, an exponential function-based preprocessing, etc.
  • the parametric function may be predefined in each of the image decoding apparatus (100) and the image encoding apparatus (200).
  • the output shape of a parameter function can be adjusted using at least one parameter.
  • the preprocessing unit (2420) can adjust at least one of the slope, peak position, maximum value, minimum value, or convergence value of the function using the parameter.
  • the parameter function may be defined using an exponential function expressed as a power of a natural constant.
  • the exponential function may have a natural constant as its base and an exponent that combines the difference between the surrounding samples and the current sample and at least one parameter. Specific embodiments of the parameter function used by the preprocessing unit (2420) are described in detail in FIGS. 25 to 28 .
  • the filter unit (2430) can determine a filter (or filter coefficients) used for filtering samples within a block based on the classification results by the classifier (2410). The filter unit (2430) can apply the determined filter to the samples within the block and their surrounding samples to generate filtered samples.
  • the filter unit (2430) can filter samples within the current block using the difference between the current sample and surrounding samples preprocessed by the determined filter and preprocessing unit (2420).
  • the filter unit (2430) can multiply the preprocessed value of the difference between the current sample and surrounding samples for each sample by a filter coefficient and add them up to generate a filtered sample of the current sample.
  • the filter unit (2430) can apply filter coefficients to the preprocessed difference between the current sample and surrounding samples corresponding to each filter coefficient within the filter.
  • the filter unit (2430) can obtain filtered samples by summing the difference values to which the filter coefficients of the filter are applied.
  • the filter unit (2430) may obtain filter coefficients from the determined filter.
  • the filter unit (2430) may determine a group of surrounding samples of the current sample, each of which includes surrounding samples corresponding to a plurality of filter coefficients.
  • the group of surrounding samples may include surrounding samples to which the filter coefficients of the determined filter are applied.
  • the preprocessing performed by the preprocessing unit (2420) may be performed on the difference between each surrounding sample in the group of surrounding samples and the current sample.
  • the filter unit (2430) can obtain a filtered sample value of the current sample by adding the value obtained by multiplying the difference between each preprocessed surrounding sample and the current sample by the filter coefficient corresponding to each surrounding sample.
  • the filter unit (2430) can obtain a filtered sample using the following mathematical expression 2.
  • x cur represents the current sample (or pixel) being filtered
  • x out represents the filtered sample
  • x k ref represents the kth neighboring sample (or reference sample).
  • the kth neighboring sample may mean a neighboring sample to which a filter coefficient with an index k value is applied within the filter.
  • the kth neighboring sample may represent a neighboring sample to which a filter coefficient w k is applied.
  • the kth neighboring sample may represent a neighboring sample corresponding to the filter coefficient w k .
  • w k represents a filter coefficient corresponding to the kth neighboring sample, and in the present disclosure, w k may also be expressed as a weight.
  • w k may be obtained from a filter applied to the current block.
  • ⁇ represents a parameter of a parameter function.
  • the filtered sample can be obtained by multiplying the preprocessed difference by the filter coefficient using a parametric function with ⁇ as a parameter for each filter coefficient and adding the values.
  • the difference between the current sample and the surrounding samples can be preprocessed using a parametric function with ⁇ as a parameter.
  • the sum of all difference values to which the filter coefficients are applied may be determined as the filtered sample value of the current sample, and as another example, the sum of all difference values to which the filter coefficients are applied may be determined as the filtered sample value of the current sample, plus the sample value of the current sample (e.g., the restored sample value).
  • FIGS. 25 to 28 Specific examples of a preprocessing process using a parameter function are described in FIGS. 25 to 28.
  • FIG. 25 is a drawing for explaining the output form of a parameter function according to one embodiment of the present disclosure.
  • the parameter function may be defined using an exponential function expressed as a power of a natural constant.
  • the exponential function may have a natural constant as its base and an exponent that combines the difference between the surrounding samples and the current sample and at least one parameter.
  • the first parameter function may be defined as in the following mathematical expression 3.
  • difference the difference between a surrounding sample and a current sample may be abbreviated as difference.
  • the independent variable x of the first parameter function represents the difference between the surrounding samples and the current sample.
  • the first parameter function may output a value obtained by multiplying the difference by the output of the first exponential function, as in Equation 3.
  • the first exponential function can be defined as a function whose base is a natural constant and whose exponent is the negative of the absolute value of the difference divided by the first parameter (i.e., a in Equation 3).
  • FIG. 25 The output according to the input of the first parameter function of mathematical expression 3 is illustrated in FIG. 25. That is, in the illustrated graph of FIG. 25, the horizontal coordinate represents the difference as the input of the parameter function, and the vertical coordinate represents the output of the first parameter function according to the input. In addition, FIG. 25 compares cases where the first parameter is 16, 32, and 64 as an example.
  • the output of the first parameter function may increase rapidly while increasing by the value of the first parameter. After the absolute value of the difference exceeds the value of the first parameter, the output of the first parameter function may decrease rapidly. As the absolute value of the difference increases, the output of the first parameter function may approach 0.
  • the output of the first parameter function may decrease rapidly while decreasing by the value of the first parameter. After the absolute value of the difference exceeds the value of the first parameter, the output of the first parameter function may rapidly approach 0. As the absolute value of the difference increases, the output of the first parameter function may approach 0.
  • the peak value of the first parameter function can be increased. If the value of the first parameter is adjusted small, the influence (or contribution) of surrounding samples with relatively large sample values compared to the current sample can be further reduced.
  • the similarity of surrounding samples with the current sample can be effectively reflected in filtering, thereby improving filtering performance and increasing compression efficiency.
  • FIG. 26 is a drawing for explaining the output form of a parameter function according to one embodiment of the present disclosure.
  • the second parameter function may be defined as in the following mathematical expression 4.
  • the independent variable x of the second parameter function represents the difference between the surrounding samples and the current sample.
  • the second parameter function may output a value obtained by multiplying the difference by the output of the second exponential function, as in Equation 4.
  • the second exponential function can be defined as a function whose base is a natural constant and whose exponent is the negative of the absolute value of the difference raised to the power of the third parameter (i.e., b in Equation 4), divided by the third parameter raised to the power of the second parameter (i.e., a in Equation 4).
  • the output according to the input of the second parameter function of mathematical expression 4 is shown in Fig. 26.
  • the left graph of Fig. 26 shows an example by comparing the cases where the second parameter is 16, 32, and 64 and the third parameter is 0.5
  • the right graph of Fig. 26 shows an example by comparing the cases where the second parameter is 16, 32, and 64 and the third parameter is 2.
  • the graph shown in Fig. 25 described above may correspond to the output according to the input of the second parameter function. That is, Fig. 25 may be a diagram showing an example by comparing the cases where the second parameter of the second parameter function is 16, 32, and 64 and the third parameter is 1.
  • the horizontal coordinate represents the difference as the input of the parametric function
  • the vertical coordinate represents the output of the second parametric function according to the input.
  • the output of the second parameter function may increase rapidly while the absolute value of the difference increases by the value of the second parameter. Thereafter, as the absolute value of the difference increases, the output of the second parameter function may approach 0.
  • the third parameter is 0.5
  • the output of the second parameter function may decrease relatively gradually.
  • the third parameter is 2
  • the output of the second parameter function may decrease very rapidly.
  • the difference is less than 0, as described above in Fig. 25, it may exhibit a symmetrical appearance with respect to the origin.
  • the peak value of the second parameter function can be increased. If the value of the second parameter is adjusted small, the influence (or contribution) of surrounding samples with relatively large sample values compared to the current sample can be further reduced.
  • the similarity of surrounding samples with the current sample can be effectively reflected in the filtering, thereby improving the filtering performance and increasing the compression efficiency.
  • FIG. 27 is a drawing for explaining the output form of a parameter function according to one embodiment of the present disclosure.
  • the third parameter function may be defined as in the following mathematical expression (5).
  • the independent variable x of the third parameter function represents the difference between the surrounding samples and the current sample.
  • the third parameter function may output a value obtained by dividing the fourth parameter (i.e., a in Equation 5) by a predetermined constant, multiplying a value obtained by subtracting the fourth exponential function from the third exponential function, and dividing a value obtained by adding the fourth exponential function to the third exponential function, as in Equation 5.
  • the predetermined constant may be defined as 2, as in Equation 5.
  • the predetermined constant may be defined as a power of 2.
  • the third exponential function may be defined as a function whose base is a natural constant and whose exponent is the value obtained by multiplying the difference by a fourth parameter.
  • the fourth exponential function may be defined as a function whose base is a natural constant and whose exponent is the negative of the value obtained by multiplying the difference by a fourth parameter.
  • FIG. 27 The output according to the input of the third parameter function of mathematical expression 5 is illustrated in FIG. 27.
  • the horizontal coordinate represents the difference as the input of the parameter function
  • the vertical coordinate represents the output of the third parameter function according to the input.
  • FIG. 27 compares the cases where the fourth parameter is 16, 32, and 64 as an example.
  • the output of the fourth parameter function can increase linearly while increasing by the value of the fourth parameter. After the difference exceeds the value of the fourth parameter, the output of the third parameter function can converge to a value obtained by dividing the fourth parameter by a predetermined constant.
  • the linear interval of the third parameter function can be increased.
  • the linear interval represents an interval in which the output increases relatively proportionally as the input difference increases. If the value of the fourth parameter is adjusted small, the linear interval of the third parameter function can be decreased. When the difference exceeds the linear interval, the influence (or contribution) of surrounding samples with relatively large sample values compared to the current sample may no longer increase.
  • the similarity of surrounding samples with the current sample can be effectively reflected in the filtering, thereby improving the filtering performance and increasing the compression efficiency.
  • FIG. 28 is a drawing for explaining the output form of a parameter function according to one embodiment of the present disclosure.
  • the fourth parameter function may be defined as in the following mathematical expression (6).
  • the independent variable x of the fourth parameter function represents the difference between the surrounding samples and the current sample.
  • the fourth parameter function may output a value obtained by dividing the fifth parameter (i.e., a in Equation 6) by a predetermined constant, multiplying the value obtained by subtracting the fifth exponential function from 1, and dividing the value obtained by adding the fifth exponential function to 1, as in Equation 6.
  • the predetermined constant may be defined as 2, as in Equation 6.
  • the predetermined constant may be defined as a power of 2.
  • the fifth exponential function can be defined as a function whose base is a natural constant and whose exponent is the negative of the product of the differences and the fifth parameter.
  • FIG. 28 The output according to the input of the fourth parameter function of mathematical expression 6 is illustrated in FIG. 28.
  • the horizontal coordinate represents the difference as the input of the parameter function
  • the vertical coordinate represents the output of the fourth parameter function according to the input.
  • FIG. 27 compares the cases where the fifth parameter is 16, 32, and 64 as an example.
  • the output of the fourth parameter function can increase linearly while increasing by the value of the fifth parameter. After the difference exceeds the value of the fifth parameter, the output of the fourth parameter function can converge to a value obtained by dividing the fifth parameter by a predetermined constant.
  • the linear interval of the fourth parameter function can be increased.
  • the linear interval represents an interval in which the output increases relatively proportionally as the input difference increases. If the value of the fifth parameter is adjusted small, the linear interval of the fourth parameter function can be decreased. When the difference exceeds the linear interval, the influence (or contribution) of surrounding samples with relatively large sample values compared to the current sample may no longer increase.
  • the similarity of surrounding samples with the current sample can be effectively reflected in the filtering, thereby improving the filtering performance and increasing the compression efficiency.
  • the parametric preprocessing described above with reference to Figures 25 to 28 can be effective based on the following properties. If the difference between the current sample and surrounding samples is sufficiently small, the surrounding samples are likely to contain reliable information related to the current sample. In this case, by outputting the difference between the current sample and surrounding samples so that it is close to the original value, the information in the surrounding samples can be reflected as is.
  • FIG. 29 is a flowchart for explaining a method for filtering an image according to one embodiment of the present disclosure.
  • the filtering device (2400) can classify samples or blocks included in an image according to their characteristics and filter the samples included in the image using a filter appropriate for the classification result.
  • the filtering device (2400) can determine which class among multiple classes each sample or block included in the image belongs to.
  • the filtering device (2000) can preprocess the difference between the current sample and surrounding samples within the current block based on a predefined function (S2920).
  • the predefined function for preprocessing may be referred to as a parameter function.
  • the output form of the parameter function may be adjusted using at least one parameter.
  • the parameter function may be defined using an exponential function expressed as a power of a natural constant.
  • the exponential function may have a natural constant as its base and an exponent that combines the difference between the surrounding samples and the current sample and at least one parameter.
  • the parameter function may output a value obtained by multiplying the difference between the surrounding sample and the current sample by the output of the first exponential function.
  • the first exponential function may have a natural constant as its base and an exponent obtained by dividing the negative value of the absolute value of the difference between the surrounding sample and the current sample by the first parameter.
  • the parameter function may output a value obtained by multiplying the difference between the surrounding sample and the current sample by the output of the second exponential function.
  • the second exponential function may have a natural constant as its base and an exponent obtained by dividing the negative value of the third parameter power of the absolute value of the difference between the surrounding sample and the current sample by the third parameter power of the second parameter.
  • the parameter function may output a value obtained by dividing the fourth parameter by a predetermined constant, multiplying a value obtained by subtracting the fourth exponential function from the third exponential function, and dividing a value obtained by adding the fourth exponential function to the third exponential function.
  • the third exponential function may have a natural constant as a base and an exponent obtained by multiplying the difference between the surrounding samples and the current sample by the fourth parameter.
  • the fourth exponential function may have a natural constant as a base and an exponent obtained by multiplying the difference between the surrounding samples and the current sample by the fourth parameter.
  • the predetermined constant may be defined as 2 as in Equation 5.
  • the predetermined constant may be defined as a power of 2.
  • the parameter function may output a value obtained by dividing the fifth parameter by a predetermined constant, multiplying the value obtained by subtracting the fifth exponential function from 1, and dividing the value obtained by adding the fifth exponential function to 1.
  • the fifth exponential function may have a natural constant as a base, and an exponent that is the negative of the value obtained by multiplying the difference between the surrounding samples and the current sample by the fifth parameter.
  • the predetermined constant may be defined as 2, as in Equation 6.
  • the predetermined constant may be defined as a power of 2.
  • the filtering device (2000) can apply filter coefficients of the current filter to the current sample and/or surrounding samples of the current sample within the current block.
  • the filtering device (2000) can obtain a plurality of filter coefficients from the current filter.
  • the filtering device (2000) can determine a group of surrounding samples of the current sample, each of which includes a surrounding sample corresponding to each of the plurality of filter coefficients.
  • the filtering device (2000) can perform preprocessing on the difference between each surrounding sample within the group of surrounding samples and the current sample.
  • the filtering device (2000) can filter the current sample based on the current filter and the preprocessed difference (S2930).
  • the filtering device (2000) may apply the filter coefficients of the current filter to the current sample and/or the surrounding samples of the current sample within the current block. In one embodiment, the filtering device (2000) may add the values obtained by multiplying the difference between each preprocessed surrounding sample and the current sample by the filter coefficients corresponding to each surrounding sample.
  • the embodiments described above in FIGS. 23 to 28 may be applied, and any redundant descriptions will be omitted herein.
  • the preprocessing for filtering described in FIGS. 24 to 29 can be implemented directly using mathematical equations such as Equations 2 to 6 described above, or can be implemented based on a predefined table considering the computational cost of the exponential function.
  • a table may be defined in which output values are determined based on the difference between the surrounding samples and the current sample.
  • a filtered sample can be obtained using a difference preprocessed based on a table according to the following Equation 7.
  • Equation 7 x cur represents the current sample (or pixel) being filtered, and x out represents the filtered sample.
  • x k ref represents the kth surrounding sample (or reference sample).
  • w k represents the filter coefficient corresponding to the kth surrounding sample.
  • min represents the minimum value of the difference between the surrounding sample and the current sample.
  • the filtering device (2000) can perform image filtering based on a neural loop filter (or neural post-filter). Based on a neural network, an image with a quality closer to the original image can be obtained. This will be described below with reference to FIG. 30.
  • FIG. 30 is a flowchart illustrating a method for filtering an image according to one embodiment of the present disclosure.
  • the filtering device (2000) can obtain a decoded image (or restored image) of the current image (S3010).
  • the decoded image of the current image can be generated by the image decoding device (100) and the image encoding device (200).
  • a neural loop filter based on a neural network may be used for filtering to correct image distortion and improve compression efficiency.
  • the neural loop filter can correct distortion in a restored image using a pre-trained neural network model.
  • the neural loop filter may include a neural network trained using the original image and the compressed image (i.e., the reconstructed image).
  • the neural network may learn distortion patterns in the reconstructed image due to compression.
  • the filtering device (2000) can preprocess the difference between the current sample and surrounding samples of the current sample in the current image based on a predefined function (S3020).
  • the filtering device (2000) can obtain a filtered sample using the following mathematical expression 8.
  • x k ref represents the kth surrounding sample (or reference sample), and x out represents a filtered sample.
  • b k represents a bias value.
  • the bias value may be a value determined individually for each current sample, or a value determined individually for each surrounding sample. That is, when using a neural loop filter that utilizes reference information that has not been preprocessed, the filtering device (2000) can obtain a filtered sample value of the current sample by applying a filter coefficient to the surrounding samples and applying a bias value to the sum of the filter coefficients.
  • the similarity with the current sample can be effectively reflected in the filtering, thereby improving the filtering performance and increasing the compression efficiency.
  • the filtering device (2000) can obtain a filtered sample using a preprocessed difference according to the following mathematical expression 9.
  • x cur represents the current sample (or pixel) being filtered
  • x out represents the filtered sample
  • x k ref represents the kth neighboring sample (or reference sample).
  • the kth neighboring sample may refer to a neighboring sample to which a filter coefficient assigned with an index k value is applied within the filter.
  • the kth neighboring sample may represent a neighboring sample to which a filter coefficient w k is applied.
  • the kth neighboring sample may represent a neighboring sample corresponding to the filter coefficient w k .
  • w k represents a filter coefficient corresponding to the kth neighboring sample, and in the present disclosure, w k may be expressed as a weight.
  • w k may be obtained from a filter applied to the current block.
  • b k represents a bias value.
  • the bias value may be a value determined individually for each current sample, or a value determined individually for each neighboring sample.
  • Equation 9 ⁇ represents a parameter of a parameter function.
  • the preprocessing process can be parameterized, and the corresponding parameter can be differentiable for learning.
  • the corresponding parameter can be differentiable piecewise for learning.
  • all information can be considered to have equal importance, and the importance of individual reference information can be excluded.
  • preprocessing using different parameters can be performed for different surrounding samples (or reference samples), as in Equation 10 below.
  • ⁇ k represents a parameter of a parameter function.
  • ⁇ k can be adaptively determined based on surrounding samples. That is, preprocessing using different parameters can be performed for different surrounding samples (or reference samples).
  • the preprocessing process can be parameterized, and the corresponding parameters can be differentiable for learning. Alternatively, the corresponding parameters can be differentiable piecewise for learning.
  • the filtering device (2000) may preprocess the difference between the current sample and surrounding samples within the current image based on a predefined function. That is, even when neural loop filter-based filtering is performed, preprocessing of the difference between the surrounding samples and the current sample may be performed, as in the embodiments described in FIGS. 24 to 29 .
  • a predefined function for preprocessing may be referred to as a parameter function.
  • the output form of the parameter function may be adjusted using at least one parameter.
  • the parameter function may be defined using an exponential function expressed as a power of a natural constant.
  • the exponential function may have a natural constant as its base and an exponent that combines the difference between the surrounding samples and the current sample and at least one parameter.
  • the parameter function may output a value obtained by multiplying the difference between the surrounding sample and the current sample by the output of the first exponential function.
  • the first exponential function may have a natural constant as its base and an exponent obtained by dividing the negative value of the absolute value of the difference between the surrounding sample and the current sample by the first parameter.
  • the parameter function may output a value obtained by multiplying the difference between the surrounding sample and the current sample by the output of the second exponential function.
  • the second exponential function may have a natural constant as its base and an exponent obtained by dividing the negative value of the third parameter power of the absolute value of the difference between the surrounding sample and the current sample by the third parameter power of the second parameter.
  • the parameter function may output a value obtained by dividing the fourth parameter by a predetermined constant, multiplying a value obtained by subtracting the fourth exponential function from the third exponential function, and dividing a value obtained by adding the fourth exponential function to the third exponential function.
  • the third exponential function may have a natural constant as a base and an exponent obtained by multiplying the difference between the surrounding samples and the current sample by the fourth parameter.
  • the fourth exponential function may have a natural constant as a base and an exponent obtained by multiplying the difference between the surrounding samples and the current sample by the fourth parameter.
  • the predetermined constant may be defined as 2 as in Equation 5.
  • the predetermined constant may be defined as a power of 2.
  • the parameter function may output a value obtained by dividing the fifth parameter by a predetermined constant, multiplying the value obtained by subtracting the fifth exponential function from 1, and dividing the value obtained by adding the fifth exponential function to 1.
  • the fifth exponential function may have a natural constant as a base, and an exponent that is the negative of the value obtained by multiplying the difference between the surrounding samples and the current sample by the fifth parameter.
  • the predetermined constant may be defined as 2, as in Equation 6.
  • the predetermined constant may be defined as a power of 2.
  • the filtering device (2000) can apply filter coefficients of the current filter to the current sample and/or surrounding samples of the current sample within the current block.
  • the filtering device (2000) can obtain a plurality of filter coefficients from the current filter.
  • the filtering device (2000) can determine a group of surrounding samples of the current sample, each of which includes a surrounding sample corresponding to each of the plurality of filter coefficients.
  • the filtering device (2000) can perform preprocessing on the difference between each surrounding sample within the group of surrounding samples and the current sample.
  • the filtering device (2000) can output a filtered image by inputting a decoded image and a preprocessed difference (S3030).
  • the filtering device (2000) may apply the filter coefficients of the current filter to the current sample and/or surrounding samples of the current sample within the current block.
  • the mathematical expressions 8 to 10 described above may be applied.
  • the decoded image and the preprocessed difference may be input to a filtering device (2000).
  • the filtering device (2000) may include a neural network model of a pre-trained neural loop filter.
  • the neural network model of the neural loop filter may learn various distortion patterns of the restored image due to compression using the original image and the compressed image (i.e., the restored image).
  • the filtering device (2000) can predict a correction value for correcting distortion of a decoded image based on input data. That is, the filtering device (2000) can recognize distortion (or distortion pattern) contained in the input data based on a learned neural network and calculate a correction value that minimizes the distortion.
  • the filtering device (2000) can output a filtered, i.e., corrected, value.
  • the final corrected sample value can be updated on a sample-by-sample basis.
  • the filtering device (2000) can generate an image with filtering applied as the final output.
  • the preprocessing for filtering described above can be implemented directly using mathematical formulas such as Equations 2 to 6 described above, or can be implemented based on a predefined table considering the computational cost of the exponential function.
  • a table may be defined in which output values are determined based on the difference between the surrounding samples and the current sample.
  • a filtered sample can be obtained using a difference preprocessed based on a table according to the following Equation 11.
  • Equation 11 x cur represents the current sample (or pixel) being filtered, x out represents the filtered sample, x k ref represents the kth surrounding sample (or reference sample), w k represents the filter coefficient corresponding to the kth surrounding sample, b k represents the bias value, and min represents the minimum value of the difference between the surrounding sample and the current sample.
  • One embodiment of the present disclosure aims to reduce image distortion and improve subjective image quality by performing preprocessing on reference information used for filtering.
  • One embodiment of the present disclosure aims to effectively reflect the similarity between a current sample and surrounding samples in filtering by applying a filter to preprocessed reference information.
  • a method of filtering an image by a filtering device may include a step of determining a current filter to be applied to a current block within a filter set including a plurality of filters.
  • a method for filtering an image by a filtering device may include a step of preprocessing a difference between a current sample and surrounding samples of a current sample within a current block based on a predefined function.
  • the predefined function can be defined using an exponential function expressed as a power of a natural constant.
  • the output shape of a predefined function can be controlled using at least one parameter.
  • a method of filtering an image by a filtering device may include a step of filtering a current sample based on a current filter and a preprocessed difference.
  • a method for filtering an image by a filtering device may include a step of obtaining a plurality of filter coefficients from a current filter.
  • a method for filtering an image by a filtering device may include a step of determining a group of surrounding samples of a current sample, the group including surrounding samples corresponding to each of a plurality of filter coefficients.
  • preprocessing may be performed on the difference between each surrounding sample and the current sample within the surrounding sample group.
  • a method for filtering an image by a filtering device may include a step of adding a value obtained by multiplying a difference between each preprocessed surrounding sample and a current sample by a filter coefficient corresponding to each surrounding sample.
  • a method for filtering an image by a filtering device may be such that an exponential function has a natural constant as a base and a value that combines the difference between a surrounding sample and a current sample and at least one parameter as an exponent.
  • the predefined function may output a value obtained by multiplying the output of a first exponential function by the difference between the surrounding samples and the current sample.
  • the first exponential function may have a natural constant as its base and an exponent of the negative value of the absolute value of the difference between the surrounding samples and the current sample divided by the first parameter.
  • the predefined function may output a value obtained by multiplying the difference between the surrounding samples and the current sample by the output of a second exponential function.
  • the second exponential function may have a natural constant as the base and an exponent of the negative value of the third parameter power of the absolute value of the difference between the surrounding samples and the current sample divided by the third parameter power of the second parameter.
  • the third exponential function may have a natural constant as the base and an exponent of the difference between the surrounding samples and the current sample multiplied by a fourth parameter.
  • the predefined function can output a value obtained by multiplying a value obtained by dividing a fifth parameter by a predetermined constant, a value obtained by subtracting a fifth exponential function from 1, and a value obtained by dividing a value obtained by adding a fifth exponential function to 1.
  • a method for filtering an image by a filtering device may include a step of determining a class index of a current block based on one or more sample values of the current block.
  • a method of filtering an image by a filtering device may include a step of determining a current filter within a filter set using a class index of a current block.
  • An image filtering device may include at least one memory storing at least one instruction, and at least one processor operating according to at least one instruction.
  • a processor included in an image filtering device can determine a current filter to be applied to a current block within a filter set including a plurality of filters.
  • a processor included in an image filtering device can calculate a difference between a current sample and surrounding samples of a current sample within a current block based on a predefined function.
  • the predefined function can be defined using an exponential function expressed as a power of a natural constant.
  • the output shape of a predefined function can be controlled using at least one parameter.
  • a processor included in an image filtering device can filter a current sample based on a current filter and a preprocessed difference.
  • a computer-readable recording medium can store a bitstream.
  • the bitstream may include an encoding result generated based on a current image filtered according to a filtering method.
  • the encoding result included in the bitstream can be generated by determining a current filter to be applied to the current block within a filter set including a plurality of filters.
  • the encoding result included in the bitstream can be generated by calculating the difference between the current sample and surrounding samples of the current sample within the current block based on a predefined function.
  • the predefined function can be defined using an exponential function expressed as a power of a natural constant.
  • the output shape of a predefined function can be controlled using at least one parameter.
  • the encoding result included in the bitstream can be generated by filtering the current sample based on the current filter and the preprocessed difference.
  • image distortion can be reduced and subjective image quality can be improved.
  • One embodiment of the present disclosure can effectively reflect the similarity between a current sample and surrounding samples in filtering and improve filtering performance by applying a filter to preprocessed reference information.
  • the embodiments of the present disclosure described above can be written as a program that can be executed on a computer, and the written program can be stored in a storage medium that can be read by a device.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • non-transitory storage medium simply means a tangible device that does not contain signals (e.g., electromagnetic waves). This term does not distinguish between cases where data is permanently stored in the storage medium and cases where data is temporarily stored.
  • a “non-transitory storage medium” may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in the present document may be provided as included in a computer program product.
  • the computer program product may be traded as a product between a seller and a buyer.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., compact disc read-only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) through an application store or directly between two user devices (e.g., smartphones).
  • a portion of the computer program product e.g., a downloadable app
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or an intermediary server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 복수의 필터를 포함하는 필터 세트 내에서 현재 블록에 적용되는 현재 필터를 결정하는 단계, 미리 정의된 함수에 기초하여 현재 블록 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전처리하는 단계, 및 현재 필터 및 전처리된 차분에 기초하여 현재 샘플을 필터링하는 단계를 포함할 수 있다.

Description

영상의 필터링 장치 및 방법
본 개시는 영상의 필터링 분야에 관한 것으로서, 보다 구체적으로는, 영상의 부호화 또는 복호화 과정에서 고정된 필터에 기초하여 영상을 적응적으로 필터링하는 장치 및 방법에 관한 것이다.
영상의 부호화 및 복호화에서는 영상을 블록으로 분할하고, 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)을 통해 각각의 블록을 예측 부호화 및 예측 복호화할 수 있다.
인터 예측은 영상들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 기술일 수 있다. 인터 예측에서는 참조 영상을 이용해 현재 영상의 블록들을 예측할 수 있다. 현재 블록과 가장 유사한 참조 블록을 참조 영상 내 소정의 검색 범위에서 검색할 수 있다. 현재 블록을 참조 블록에 기초하여 예측하고, 예측 결과 생성된 예측 블록을 현재 블록으로부터 감산하여 잔차 블록을 생성할 수 있다.
인트라 예측은 영상 내의 공간적인 중복성을 제거하여 영상을 압축하는 기술일 수 있다. 인트라 예측에서는 인트라 예측 모드에 따라 현재 블록의 주변 픽셀들에 기초하여 예측 블록을 생성할 수 있다. 그리고, 예측 블록을 현재 블록으로부터 감산하여 잔차 블록을 생성할 수 있다. 예측 블록을 생성하는데 이용된 인트라 예측 모드는 소정의 방식을 통해 디코더 측으로 시그널링될 수 있다.
인터 예측 또는 인트라 예측을 통해 생성된 잔차 블록은 변환 및 양자화를 거쳐 디코더로 전달될 수 있다.
인코더 및 디코더는 현재 블록의 예측 블록과 잔차 블록을 결합하여 현재 블록을 복원할 수 있다. 인코더 및 디코더는 복원된 현재 블록에 대해 디블로킹 필터(deblocking filter) 및/또는 적응적 루프 필터(adaptive loop filter)를 적용하여 현재 블록 내 아티팩트를 제거할 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 복수의 필터를 포함하는 필터 세트 내에서 현재 블록에 적용되는 현재 필터를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 미리 정의된 함수에 기초하여 현재 블록 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전처리하는 단계를 포함할 수 있다.
일 실시예에서, 미리 정의된 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의될 수 있다.
일 실시예에서, 미리 정의된 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절될 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 현재 필터 및 전처리된 차분에 기초하여 현재 샘플을 필터링하는 단계를 포함할 수 있다.
일 실시예에 따른 필터링 장치는, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리, 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함할 수 있다.
일 실시예에 따른 프로세서는, 복수의 필터를 포함하는 필터 세트 내에서 현재 블록에 적용되는 현재 필터를 결정할 수 있다.
일 실시예에 따른 프로세서는, 미리 정의된 함수에 기초하여 현재 블록 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전저리할 수 있다.
일 실시예에서, 미리 정의된 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의될 수 있다.
일 실시예에서, 미리 정의된 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절될 수 있다.
일 실시예에 따른 프로세서는, 현재 필터 및 전처리된 차분에 기초하여 현재 샘플을 필터링할 수 있다.
일 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는, 비트스트림을 포함할 수 있다.
일 실시예에서, 비트스트림은, 필터링 방법에 따라 현재 영상을 필터링하는데 이용되는 필터 정보를 포함할 수 있다.
일 실시예에서, 비트스트림은, 필터링 방법에 따라 필터링되는 현재 영상을 기반으로 생성된 부호화 결과를 포함할 수 있다.
도 1은 일 실시예에 따른 영상 복호화 장치의 블록도이다.
도 2는 일 실시예에 따른 영상 부호화 장치의 블록도이다.
도 3은 일 실시예에 따라 현재 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
도 4는 일 실시예에 따라 비-정사각형의 형태인 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
도 5는 일 실시예에 따라 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 부호화 단위를 분할하는 과정을 도시한다.
도 6은 일 실시예에 따라 홀수 개의 부호화 단위들 중 소정의 부호화 단위를 결정하기 위한 방법을 도시한다.
도 7은 일 실시예에 따라 현재 부호화 단위를 분할하여 복수 개의 부호화 단위들을 결정하는 경우, 복수 개의 부호화 단위들이 처리되는 순서를 도시한다.
도 8은 일 실시예에 따라 소정의 순서로 부호화 단위가 처리될 수 없는 경우, 현재 부호화 단위가 홀수 개의 부호화 단위로 분할되는 것임을 결정하는 과정을 도시한다.
도 9는 일 실시예에 따라 제1 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
도 10은 일 실시예에 따라 제1 부호화 단위가 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위가 소정의 조건을 만족하는 경우 분할될 수 있는 형태가 제한됨을 도시한다.
도 11은 일 실시예에 따라 분할 형태 모드 정보가 4개의 정사각형 형태의 부호화 단위로의 분할을 나타낼 수 없는 경우, 정사각형 형태의 부호화 단위를 분할하는 과정을 도시한다.
도 12는 일 실시예에 따라 복수 개의 부호화 단위들 간의 처리 순서가 부호화 단위의 분할 과정에 따라 달라질 수 있음을 도시한 것이다.
도 13은 일 실시예에 따라 부호화 단위가 재귀적으로 분할되어 복수 개의 부호화 단위가 결정되는 경우, 부호화 단위의 형태 및 크기가 변함에 따라 부호화 단위의 심도가 결정되는 과정을 도시한다.
도 14는 일 실시예에 따라 부호화 단위들의 형태 및 크기에 따라 결정될 수 있는 심도 및 부호화 단위 구분을 위한 인덱스(part index, 이하 PID)를 도시한다.
도 15는 일 실시예에 따라 픽쳐에 포함되는 복수 개의 소정의 데이터 단위에 따라 복수 개의 부호화 단위들이 결정된 것을 도시한다.
도 16은 일 실시예에 따라 부호화 단위가 분할될 수 있는 형태의 조합이 픽쳐마다 서로 다른 경우, 각각의 픽쳐마다 결정될 수 있는 부호화 단위들을 도시한다.
도 17은 일 실시예에 따라 바이너리(binary)코드로 표현되는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 다양한 형태를 도시한다.
도 18은 일 실시예에 따라 바이너리 코드로 표현되는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 또 다른 형태를 도시한다.
도 19는 일 실시예에 따른 영상 부호화 및 복호화 시스템의 블록도를 나타낸 도면이다.
도 20은 일 실시예에 따른 필터링 장치의 구성을 도시하는 블록도이다.
도 21은 일 실시예에 따른 필터를 예시하는 도면이다.
도 22는 일 실시예에 따른 분류기의 구성을 도시하는 블록도이다.
도 23은 일 실시예에 따른 필터링 장치의 구성을 도시하는 블록도이다.
도 24는 일 실시예에 따른 필터링 장치의 구성을 도시하는 블록도이다.
도 25는 일 실시예에 따른 영상의 필터링 방법을 설명하기 위한 순서도이다.
도 26은 본 개시의 일 실시예에 따른 파라미터 함수의 출력 형태를 설명하기 위한 도면이다.
도 27은 본 개시의 일 실시예에 따른 파라미터 함수의 출력 형태를 설명하기 위한 도면이다.
도 28은 본 개시의 일 실시예에 따른 파라미터 함수의 출력 형태를 설명하기 위한 도면이다.
도 29는 본 개시의 일 실시예에 따른 영상의 필터링 방법을 설명하기 위한 순서도이다.
도 30은 본 개시의 일 실시예에 따른 영상의 필터링 방법을 나타내는 순서도이다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 실시예를 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명한다. 그러나, 이는 본 개시의 실시 형태에 대해 한정하려는 것이 아니며, 본 개시는 여러 실시예들의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함할 수 있다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 수 있다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 해당할 수 있다.
본 개시에서, "a, b 또는 c 중 적어도 하나"의 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 개시에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 일 구성요소가 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다.
본 개시에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 2개 이상의 구성요소로 나뉘어질 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주 기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수 있으며, 구성요소 각각이 담당하는 주 기능 중 일부 기능이 다른 구성요소에 의해 수행될 수도 있다.
본 개시에서, '영상(image)'은 픽처(picture), 정지영상, 프레임, 복수의 연속된 정지영상으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.
본 개시에서, '샘플'은 영상의 샘플링 위치에 할당된 데이터로서 처리 대상이 되는 데이터를 의미할 수 있다. 예를 들어, 공간 영역의 프레임 내 픽셀이 샘플에 해당할 수 있다. 복수의 샘플들을 포함하는 단위를 블록이라고 정의할 수 있다.
이하에서는, 도 1 내지 도 19를 참조하여, 일 실시예에 따른 트리 구조의 부호화 단위 및 변환 단위에 기초한 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치가 개시된다.
도 1은 일 실시예에 따른 영상 복호화 장치(100)의 블록도를 도시한다.
영상 복호화 장치(100)는 비트스트림 획득부(110) 및 복호화부(120)를 포함할 수 있다. 비트스트림 획득부(110) 및 복호화부(120)는 적어도 하나의 프로세서를 포함할 수 있다. 또한 비트스트림 획득부(110) 및 복호화부(120)는 적어도 하나의 프로세서가 수행할 명령어들을 저장하는 메모리를 포함할 수 있다.
비트스트림 획득부(110)는 비트스트림을 수신할 수 있다. 비트스트림은 후술되는 영상 부호화 장치(200)가 영상을 부호화한 정보를 포함한다. 또한 비트스트림은 영상 부호화 장치(200)로부터 송신될 수 있다. 영상 부호화 장치(200) 및 영상 복호화 장치(100)는 유선 또는 무선으로 연결될 수 있으며, 비트스트림 획득부(110)는 유선 또는 무선을 통하여 비트스트림을 수신할 수 있다. 비트스트림 획득부(110)는 광학미디어, 하드디스크 등과 같은 저장매체로부터 비트스트림을 수신할 수 있다. 복호화부(120)는 수신된 비트스트림으로부터 획득된 정보에 기초하여 영상을 복원할 수 있다. 복호화부(120)는 영상을 복원하기 위한 신택스 엘리먼트를 비트스트림으로부터 획득할 수 있다. 복호화부(120)는 신택스 엘리먼트에 기초하여 영상을 복원할 수 있다.
영상 복호화 장치(100)의 동작에 대해 상세히 설명하면, 비트스트림 획득부(110)는 비트스트림을 수신할 수 있다.
영상 복호화 장치(100)는 비트스트림으로부터 부호화 단위의 분할 형태 모드에 대응하는 빈스트링을 획득하는 동작을 수행할 수 있다. 그리고, 영상 복호화 장치(100)는 부호화 단위의 분할 규칙을 결정하는 동작을 수행할 수 있다. 또한 영상 복호화 장치(100)는 분할 형태 모드에 대응하는 빈스트링 및 상기 분할 규칙 중 적어도 하나에 기초하여, 부호화 단위를 복수의 부호화 단위들로 분할하는 동작을 수행할 수 있다. 영상 복호화 장치(100)는 분할 규칙을 결정하기 위하여, 부호화 단위의 너비 및 높이의 비율에 따른, 상기 부호화 단위의 크기의 허용 가능한 제1 범위를 결정할 수 있다. 영상 복호화 장치(100)는 분할 규칙을 결정하기 위하여, 부호화 단위의 분할 형태 모드에 따른, 부호화 단위의 크기의 허용 가능한 제2 범위를 결정할 수 있다.
이하에서는 본 개시의 일 실시예에 따라 부호화 단위의 분할에 대하여 자세히 설명한다.
먼저 하나의 픽처 (Picture)는 하나 이상의 슬라이스 혹은 하나 이상의 타일로 분할될 수 있다. 하나의 슬라이스 혹은 하나의 타일은 하나 이상의 최대 부호화 단위(Coding Tree Unit; CTU)의 시퀀스일 수 있다. 구현예에 따라, 하나의 슬라이스는 하나 이상의 타일을 포함하고, 하나의 슬라이스는 하나 이상의 최대 부호화 단위를 포함할 수도 있다. 하나 또는 복수의 타일을 포함하는 슬라이스가 픽처 내에서 결정될 수 있다.
최대 부호화 단위 (CTU)와 대비되는 개념으로 최대 부호화 블록 (Coding Tree Block; CTB)이 있다. 최대 부호화 블록(CTB)은 NxN개의 샘플들을 포함하는 NxN 블록을 의미한다(N은 정수). 각 컬러 성분은 하나 이상의 최대 부호화 블록으로 분할될 수 있다.
픽처가 3개의 샘플 어레이(Y, Cr, Cb 성분별 샘플 어레이)를 가지는 경우에 최대 부호화 단위(CTU)란, 루마 샘플의 최대 부호화 블록 및 그에 대응되는 크로마 샘플들의 2개의 최대 부호화 블록과, 루마 샘플, 크로마 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 모노크롬 픽처인 경우에 최대 부호화 단위란, 모노크롬 샘플의 최대 부호화 블록과 모노크롬 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 컬러 성분별로 분리되는 컬러 플레인으로 부호화되는 픽처인 경우에 최대 부호화 단위란, 해당 픽처와 픽처의 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다.
하나의 최대 부호화 블록(CTB)은 MxN개의 샘플들을 포함하는 MxN 부호화 블록(coding block)으로 분할될 수 있다 (M, N은 정수).
픽처가 Y, Cr, Cb 성분별 샘플 어레이를 가지는 경우에 부호화 단위(Coding Unit; CU)란, 루마 샘플의 부호화 블록 및 그에 대응되는 크로마 샘플들의 2개의 부호화 블록과, 루마 샘플, 크로마 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 모노크롬 픽처인 경우에 부호화 단위란, 모노크롬 샘플의 부호화 블록과 모노크롬 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 컬러 성분별로 분리되는 컬러 플레인으로 부호화되는 픽처인 경우에 부호화 단위란, 해당 픽처와 픽처의 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다.
위에서 설명한 바와 같이, 최대 부호화 블록과 최대 부호화 단위는 서로 구별되는 개념이며, 부호화 블록과 부호화 단위는 서로 구별되는 개념이다. 즉, (최대) 부호화 단위는 해당 샘플을 포함하는 (최대) 부호화 블록과 그에 대응하는 신택스 구조를 포함하는 데이터 구조를 의미한다. 하지만 당업자가 (최대) 부호화 단위 또는 (최대) 부호화 블록가 소정 개수의 샘플들을 포함하는 소정 크기의 블록을 지칭한다는 것을 이해할 수 있으므로, 이하 명세서에서는 최대 부호화 블록과 최대 부호화 단위, 또는 부호화 블록과 부호화 단위를 특별한 사정이 없는 한 구별하지 않고 언급한다.
영상은 최대 부호화 단위(Coding Tree Unit; CTU)로 분할될 수 있다. 최대 부호화 단위의 크기는 비트스트림으로부터 획득된 정보에 기초하여 결정될 수 있다. 최대 부호화 단위의 모양은 동일 크기의 정사각형을 가질 수 있다. 하지만 이에 한정되는 것은 아니다.
예를 들어, 비트스트림으로부터 루마 부호화 블록의 최대 크기에 대한 정보가 획득될 수 있다. 예를 들어, 루마 부호화 블록의 최대 크기에 대한 정보가 나타내는 루마 부호화 블록의 최대 크기는 4x4, 8x8, 16x16, 32x32, 64x64, 128x128, 256x256 중 하나일 수 있다.
예를 들어, 비트스트림으로부터 2분할이 가능한 루마 부호화 블록의 최대 크기와 루마 블록 크기 차이에 대한 정보가 획득될 수 있다. 루마 블록 크기 차이에 대한 정보는 루마 최대 부호화 단위와 2분할이 가능한 최대 루마 부호화 블록 간의 크기 차이를 나타낼 수 있다. 따라서, 비트스트림으로부터 획득된 2분할이 가능한 루마 부호화 블록의 최대 크기에 대한 정보와 루마 블록 크기 차이에 대한 정보를 결합하면, 루마 최대 부호화 단위의 크기가 결정될 수 있다. 루마 최대 부호화 단위의 크기를 이용하면 크로마 최대 부호화 단위의 크기도 결정될 수 있다. 예를 들어, 컬러 포맷에 따라 Y: Cb : Cr 비율이 4:2:0 이라면, 크로마 블록의 크기는 루마 블록의 크기의 절반일 수 있고, 마찬가지로 크로마 최대 부호화 단위의 크기는 루마 최대 부호화 단위의 크기의 절반일 수 있다.
일 실시예에 따르면, 바이너리 분할(binary split)이 가능한 루마 부호화 블록의 최대 크기에 대한 정보는 비트스트림으로부터 획득하므로, 바이너리 분할이 가능한 루마 부호화 블록의 최대 크기는 가변적으로 결정될 수 있다. 이와 달리, 터너리 분할(ternary split)이 가능한 루마 부호화 블록의 최대 크기는 고정될 수 있다. 예를 들어, I 픽처에서 터너리 분할이 가능한 루마 부호화 블록의 최대 크기는 32x32이고, P 픽처 또는 B 픽처에서 터너리 분할이 가능한 루마 부호화 블록의 최대 크기는 64x64일 수 있다.
또한 최대 부호화 단위는 비트스트림으로부터 획득된 분할 형태 모드 정보에 기초하여 부호화 단위로 계층적으로 분할될 수 있다. 분할 형태 모드 정보로서, 쿼드분할(quad split) 여부를 나타내는 정보, 다분할 여부를 나타내는 정보, 분할 방향 정보 및 분할 타입 정보 중 적어도 하나가 비트스트림으로부터 획득될 수 있다.
예를 들어, 쿼드분할(quad split) 여부를 나타내는 정보는 현재 부호화 단위가 쿼드분할(QUAD_SPLIT)될지 또는 쿼드분할되지 않을지를 나타낼 수 있다.
현재 부호화 단위가 쿼드분할지되 않으면, 다분할 여부를 나타내는 정보는 현재 부호화 단위가 더 이상 분할되지 않을지(NO_SPLIT) 아니면 바이너리/터너리 분할될지 여부를 나타낼 수 있다.
현재 부호화 단위가 바이너리 분할되거나 터너리 분할되면, 분할 방향 정보는 현재 부호화 단위가 수평 방향 또는 수직 방향 중 하나로 분할됨을 나타낸다.
현재 부호화 단위가 수평 또는 수직 방향으로 분할되면 분할 타입 정보는 현재 부호화 단위를 바이너리 분할 또는 터너리 분할로 분할함을 나타낸다.
분할 방향 정보 및 분할 타입 정보에 따라, 현재 부호화 단위의 분할 모드가 결정될 수 있다. 현재 부호화 단위가 수평 방향으로 바이너리 분할되는 경우의 분할 모드는 바이너리 수평 분할(SPLIT_BT_HOR), 수평 방향으로 터너리 분할되는 경우의 터너리 수평 분할(SPLIT_TT_HOR), 수직 방향으로 바이너리 분할되는 경우의 분할 모드는 바이너리 수직 분할 (SPLIT_BT_VER) 및 수직 방향으로 터너리 분할되는 경우의 분할 모드는 터너리 수직 분할 (SPLIT_TT_VER)로 결정될 수 있다.
영상 복호화 장치(100)는 비트스트림으로부터 분할 형태 모드 정보를 하나의 빈스트링으로부터 획득할 수 있다. 영상 복호화 장치(100)가 수신한 비트스트림의 형태는 Fixed length binary code, Unary code, Truncated unary code, 미리 결정된 바이너리 코드 등을 포함할 수 있다. 빈스트링은 정보를 2진수의 나열로 나타낸 것이다. 빈스트링은 적어도 하나의 비트로 구성될 수 있다. 영상 복호화 장치(100)는 분할 규칙에 기초하여 빈스트링에 대응하는 분할 형태 모드 정보를 획득할 수 있다. 영상 복호화 장치(100)는 하나의 빈스트링에 기초하여, 부호화 단위를 쿼드분할할지 여부, 분할하지 않을지 또는 분할 방향 및 분할 타입을 결정할 수 있다.
부호화 단위는 최대 부호화 단위보다 작거나 같을 수 있다. 예를 들어 최대 부호화 단위도 최대 크기를 가지는 부호화 단위이므로 부호화 단위의 하나이다. 최대 부호화 단위에 대한 분할 형태 모드 정보가 분할되지 않음을 나타내는 경우, 최대 부호화 단위에서 결정되는 부호화 단위는 최대 부호화 단위와 같은 크기를 가진다. 최대 부호화 단위에 대한 분할 형태 모드 정보가 분할됨을 나타내는 경우 최대 부호화 단위는 부호화 단위들로 분할 될 수 있다. 또한 부호화 단위에 대한 분할 형태 모드 정보가 분할을 나타내는 경우 부호화 단위들은 더 작은 크기의 부호화 단위들로 분할될 수 있다. 다만, 영상의 분할은 이에 한정되는 것은 아니며 최대 부호화 단위 및 부호화 단위는 구별되지 않을 수 있다. 부호화 단위의 분할에 대해서는 도 3 내지 도 16에서 보다 자세히 설명한다.
또한 부호화 단위로부터 예측을 위한 하나 이상의 예측 블록이 결정될 수 있다. 예측 블록은 부호화 단위와 같거나 작을 수 있다. 또한 부호화 단위로부터 변환을 위한 하나 이상의 변환 블록이 결정될 수 있다. 변환 블록은 부호화 단위와 같거나 작을 수 있다.
변환 블록과 예측 블록의 모양 및 크기는 서로 관련 없을 수 있다.
다른 실시예로, 부호화 단위가 예측 블록으로서 부호화 단위를 이용하여 예측이 수행될 수 있다. 또한 부호화 단위가 변환 블록으로서 부호화 단위를 이용하여 변환이 수행될 수 있다.
부호화 단위의 분할에 대해서는 도 3 내지 도 16에서 보다 자세히 설명한다. 본 개시의 현재 블록 및 주변 블록은 최대 부호화 단위, 부호화 단위, 예측 블록 및 변환 블록 중 하나를 나타낼 수 있다. 또한, 현재 블록 또는 현재 부호화 단위는 현재 복호화 또는 부호화가 진행되는 블록 또는 현재 분할이 진행되고 있는 블록이다. 주변 블록은 현재 블록 이전에 복원된 블록일 수 있다. 주변 블록은 현재 블록으로부터 공간적 또는 시간적으로 인접할 수 있다. 주변 블록은 현재 블록의 좌하측, 좌측, 좌상측, 상측, 우상측, 우측, 우하측 중 하나에 위치할 수 있다.
도 3은 일 실시예에 따라 영상 복호화 장치(100)가 현재 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
블록 형태는 4Nx4N, 4Nx2N, 2Nx4N, 4NxN, Nx4N, 32NxN, Nx32N, 16NxN, Nx16N, 8NxN 또는 Nx8N을 포함할 수 있다. 여기서 N은 양의 정수일 수 있다. 블록 형태 정보는 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나를 나타내는 정보이다.
부호화 단위의 모양은 정사각형(square) 및 비-정사각형(non-square)을 포함할 수 있다. 부호화 단위의 너비 및 높이의 길이가 같은 경우(즉, 부호화 단위의 블록 형태가 4Nx4N 인 경우), 영상 복호화 장치(100)는 부호화 단위의 블록 형태 정보를 정사각형으로 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 모양을 비-정사각형으로 결정할 수 있다.
부호화 단위의 너비 및 높이의 길이가 다른 경우(즉, 부호화 단위의 블록 형태가 4Nx2N, 2Nx4N, 4NxN, Nx4N, 32NxN, Nx32N, 16NxN, Nx16N, 8NxN 또는 Nx8N인 경우), 영상 복호화 장치(100)는 부호화 단위의 블록 형태 정보를 비-정사각형으로 결정할 수 있다. 부호화 단위의 모양이 비-정사각형인 경우, 영상 복호화 장치(100)는 부호화 단위의 블록 형태 정보 중 너비 및 높이의 비율을 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 1:32, 32:1 중 적어도 하나로 결정할 수 있다. 또한, 부호화 단위의 너비의 길이 및 높이의 길이에 기초하여, 영상 복호화 장치(100)는 부호화 단위가 수평 방향인지 수직 방향인지 결정할 수 있다. 또한, 부호화 단위의 너비의 길이, 높이의 길이 또는 넓이 중 적어도 하나에 기초하여, 영상 복호화 장치(100)는 부호화 단위의 크기를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 블록 형태 정보를 이용하여 부호화 단위의 형태를 결정할 수 있고, 분할 형태 모드 정보를 이용하여 부호화 단위가 어떤 형태로 분할되는지를 결정할 수 있다. 즉, 영상 복호화 장치(100)가 이용하는 블록 형태 정보가 어떤 블록 형태를 나타내는지에 따라 분할 형태 모드 정보가 나타내는 부호화 단위의 분할 방법이 결정될 수 있다.
영상 복호화 장치(100)는 비트스트림으로부터 분할 형태 모드 정보를 획득할 수 있다. 하지만 이에 한정되는 것은 아니며, 영상 복호화 장치(100) 및 영상 부호화 장치(200)는 블록 형태 정보에 기초하여 미리 약속된 분할 형태 모드 정보를 결정할 수 있다. 영상 복호화 장치(100)는 최대 부호화 단위 또는 최소 부호화 단위에 대하여 미리 약속된 분할 형태 모드 정보를 결정할 수 있다. 예를 들어 영상 복호화 장치(100)는 최대 부호화 단위에 대하여 분할 형태 모드 정보를 쿼드 분할(quad split)로 결정할 수 있다. 또한, 영상 복호화 장치(100)는 최소 부호화 단위에 대하여 분할 형태 모드 정보를 "분할하지 않음"으로 결정할 수 있다. 구체적으로 영상 복호화 장치(100)는 최대 부호화 단위의 크기를 256x256으로 결정할 수 있다. 영상 복호화 장치(100)는 미리 약속된 분할 형태 모드 정보를 쿼드 분할로 결정할 수 있다. 쿼드 분할은 부호화 단위의 너비 및 높이를 모두 이등분하는 분할 형태 모드이다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 256x256 크기의 최대 부호화 단위로부터 128x128 크기의 부호화 단위를 획득할 수 있다. 또한 영상 복호화 장치(100)는 최소 부호화 단위의 크기를 4x4로 결정할 수 있다. 영상 복호화 장치(100)는 최소 부호화 단위에 대하여 "분할하지 않음"을 나타내는 분할 형태 모드 정보를 획득할 수 있다.
일 실시예에 따라, 영상 복호화 장치(100)는 현재 부호화 단위가 정사각형 형태임을 나타내는 블록 형태 정보를 이용할 수 있다. 예를 들어 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 정사각형의 부호화 단위를 분할하지 않을지, 수직으로 분할할지, 수평으로 분할할지, 4개의 부호화 단위로 분할할지 등을 결정할 수 있다. 도 3을 참조하면, 현재 부호화 단위(300)의 블록 형태 정보가 정사각형의 형태를 나타내는 경우, 복호화부(120)는 분할되지 않음을 나타내는 분할 형태 모드 정보에 따라 현재 부호화 단위(300)와 동일한 크기를 가지는 부호화 단위(310a)를 분할하지 않거나, 소정의 분할방법을 나타내는 분할 형태 모드 정보에 기초하여 분할된 부호화 단위(310b, 310c, 310d, 310e, 310f 등)를 결정할 수 있다.
도 3을 참조하면 영상 복호화 장치(100)는 일 실시예에 따라 수직방향으로 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수직방향으로 분할한 두 개의 부호화 단위(310b)를 결정할 수 있다. 영상 복호화 장치(100)는 수평방향으로 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수평방향으로 분할한 두 개의 부호화 단위(310c)를 결정할 수 있다. 영상 복호화 장치(100)는 수직방향 및 수평방향으로 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수직방향 및 수평방향으로 분할한 네 개의 부호화 단위(310d)를 결정할 수 있다. 영상 복호화 장치(100)는 일 실시예에 따라 수직방향으로 터너리(ternary) 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수직방향으로 분할한 세 개의 부호화 단위(310e)를 결정할 수 있다. 영상 복호화 장치(100)는 수평방향으로 터너리 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수평방향으로 분할한 세 개의 부호화 단위(310f)를 결정할 수 있다. 다만 정사각형의 부호화 단위가 분할될 수 있는 분할 형태는 상술한 형태로 한정하여 해석되어서는 안되고, 분할 형태 모드 정보가 나타낼 수 있는 다양한 형태가 포함될 수 있다. 정사각형의 부호화 단위가 분할되는 소정의 분할 형태들은 이하에서 다양한 실시예를 통해 구체적으로 설명하도록 한다.
도 4는 일 실시예에 따라 영상 복호화 장치(100)가 비-정사각형의 형태인 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위가 비-정사각형 형태임을 나타내는 블록 형태 정보를 이용할 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 비-정사각형의 현재 부호화 단위를 분할하지 않을지 소정의 방법으로 분할할지 여부를 결정할 수 있다. 도 4를 참조하면, 현재 부호화 단위(400 또는 450)의 블록 형태 정보가 비-정사각형의 형태를 나타내는 경우, 영상 복호화 장치(100)는 분할되지 않음을 나타내는 분할 형태 모드 정보에 따라 현재 부호화 단위(400 또는 450)와 동일한 크기를 가지는 부호화 단위(410 또는 460)를 결정하거나, 소정의 분할방법을 나타내는 분할 형태 모드 정보에 따라 기초하여 분할된 부호화 단위(420a, 420b, 430a, 430b, 430c, 470a, 470b, 480a, 480b, 480c)를 결정할 수 있다. 비-정사각형의 부호화 단위가 분할되는 소정의 분할 방법은 이하에서 다양한 실시예를 통해 구체적으로 설명하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보를 이용하여 부호화 단위가 분할되는 형태를 결정할 수 있고, 이 경우 분할 형태 모드 정보는 부호화 단위가 분할되어 생성되는 적어도 하나의 부호화 단위의 개수를 나타낼 수 있다. 도 4를 참조하면 분할 형태 모드 정보가 두 개의 부호화 단위로 현재 부호화 단위(400 또는 450)가 분할되는 것을 나타내는 경우, 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(400 또는 450)를 분할하여 현재 부호화 단위에 포함되는 두 개의 부호화 단위(420a, 420b, 또는 470a, 470b)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 비-정사각형의 형태의 현재 부호화 단위(400 또는 450)를 분할하는 경우, 영상 복호화 장치(100)는 비-정사각형의 현재 부호화 단위(400 또는 450)의 긴 변의 위치를 고려하여 현재 부호화 단위를 분할할 수 있다. 예를 들면, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)의 형태를 고려하여 현재 부호화 단위(400 또는 450)의 긴 변을 분할하는 방향으로 현재 부호화 단위(400 또는 450)를 분할하여 복수개의 부호화 단위를 결정할 수 있다.
일 실시예에 따라, 분할 형태 모드 정보가 홀수개의 블록으로 부호화 단위를 분할(터너리 분할)하는 것을 나타내는 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)에 포함되는 홀수개의 부호화 단위를 결정할 수 있다. 예를 들면, 분할 형태 모드 정보가 3개의 부호화 단위로 현재 부호화 단위(400 또는 450)를 분할하는 것을 나타내는 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)를 3개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c)로 분할할 수 있다.
일 실시예에 따라, 현재 부호화 단위(400 또는 450)의 너비 및 높이의 비율이 4:1 또는 1:4 일 수 있다. 너비 및 높이의 비율이 4:1 인 경우, 너비의 길이가 높이의 길이보다 길므로 블록 형태 정보는 수평 방향일 수 있다. 너비 및 높이의 비율이 1:4 인 경우, 너비의 길이가 높이의 길이보다 짧으므로 블록 형태 정보는 수직 방향일 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 현재 부호화 단위를 홀수개의 블록으로 분할할 것을 결정할 수 있다. 또한 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)의 블록 형태 정보에 기초하여 현재 부호화 단위(400 또는 450)의 분할 방향을 결정할 수 있다. 예를 들어 현재 부호화 단위(400)가 수직 방향인 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400)를 수평 방향으로 분할 하여 부호화 단위(430a, 430b, 430c)를 결정할 수 있다. 또한 현재 부호화 단위(450)가 수평 방향인 경우, 영상 복호화 장치(100)는 현재 부호화 단위(450)를 수직 방향으로 분할 하여 부호화 단위(480a, 480b, 480c)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)에 포함되는 홀수개의 부호화 단위를 결정할 수 있으며, 결정된 부호화 단위들의 크기 모두가 동일하지는 않을 수 있다. 예를 들면, 결정된 홀수개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c) 중 소정의 부호화 단위(430b 또는 480b)의 크기는 다른 부호화 단위(430a, 430c, 480a, 480c)들과는 다른 크기를 가질 수도 있다. 즉, 현재 부호화 단위(400 또는 450)가 분할되어 결정될 수 있는 부호화 단위는 복수의 종류의 크기를 가질 수 있고, 경우에 따라서는 홀수개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c)가 각각 서로 다른 크기를 가질 수도 있다.
일 실시예에 따라 분할 형태 모드 정보가 홀수개의 블록으로 부호화 단위가 분할되는 것을 나타내는 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)에 포함되는 홀수개의 부호화 단위를 결정할 수 있고, 나아가 영상 복호화 장치(100)는 분할하여 생성되는 홀수개의 부호화 단위들 중 적어도 하나의 부호화 단위에 대하여 소정의 제한을 둘 수 있다. 도 4를 참조하면 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)가 분할되어 생성된 3개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c)들 중 중앙에 위치하는 부호화 단위(430b, 480b)에 대한 복호화 과정을 다른 부호화 단위(430a, 430c, 480a, 480c)와 다르게 할 수 있다. 예를 들면, 영상 복호화 장치(100)는 중앙에 위치하는 부호화 단위(430b, 480b)에 대하여는 다른 부호화 단위(430a, 430c, 480a, 480c)와 달리 더 이상 분할되지 않도록 제한하거나, 소정의 횟수만큼만 분할되도록 제한할 수 있다.
도 5는 일 실시예에 따라 영상 복호화 장치(100)가 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 부호화 단위를 분할하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 정사각형 형태의 제1 부호화 단위(500)를 부호화 단위들로 분할하거나 분할하지 않는 것으로 결정할 수 있다. 일 실시예에 따라 분할 형태 모드 정보가 수평 방향으로 제1 부호화 단위(500)를 분할하는 것을 나타내는 경우, 영상 복호화 장치(100)는 제1 부호화 단위(500)를 수평 방향으로 분할하여 제2 부호화 단위(510)를 결정할 수 있다. 일 실시예에 따라 이용되는 제1 부호화 단위, 제2 부호화 단위, 제3 부호화 단위는 부호화 단위 간의 분할 전후 관계를 이해하기 위해 이용된 용어이다. 예를 들면, 제1 부호화 단위를 분할하면 제2 부호화 단위가 결정될 수 있고, 제2 부호화 단위가 분할되면 제3 부호화 단위가 결정될 수 있다. 이하에서는 이용되는 제1 부호화 단위, 제2 부호화 단위 및 제3 부호화 단위의 관계는 상술한 특징에 따르는 것으로 이해될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 결정된 제2 부호화 단위(510)를 분할 형태 모드 정보에 기초하여 부호화 단위들로 분할하거나 분할하지 않는 것으로 결정할 수 있다. 도 5를 참조하면 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(500)를 분할하여 결정된 비-정사각형의 형태의 제2 부호화 단위(510)를 적어도 하나의 제3 부호화 단위(520a, 520b, 520c, 520d 등)로 분할하거나 제2 부호화 단위(510)를 분할하지 않을 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보를 획득할 수 있고 영상 복호화 장치(100)는 획득한 분할 형태 모드 정보에 기초하여 제1 부호화 단위(500)를 분할하여 다양한 형태의 복수개의 제2 부호화 단위(예를 들면, 510)를 획득할 수 있으며, 제2 부호화 단위(510)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(500)가 분할된 방식에 따라 분할될 수 있다. 일 실시예에 따라, 제1 부호화 단위(500)가 제1 부호화 단위(500)에 대한 분할 형태 모드 정보에 기초하여 제2 부호화 단위(510)로 분할된 경우, 제2 부호화 단위(510) 역시 제2 부호화 단위(510)에 대한 분할 형태 모드 정보에 기초하여 제3 부호화 단위(예를 들면, 520a, 520b, 520c, 520d 등)으로 분할될 수 있다. 즉, 부호화 단위는 부호화 단위 각각에 관련된 분할 형태 모드 정보에 기초하여 재귀적으로 분할될 수 있다. 따라서 비-정사각형 형태의 부호화 단위에서 정사각형의 부호화 단위가 결정될 수 있고, 이러한 정사각형 형태의 부호화 단위가 재귀적으로 분할되어 비-정사각형 형태의 부호화 단위가 결정될 수도 있다.
도 5를 참조하면, 비-정사각형 형태의 제2 부호화 단위(510)가 분할되어 결정되는 홀수 개의 제3 부호화 단위(520b, 520c, 520d) 중 소정의 부호화 단위(예를 들면, 가운데에 위치하는 부호화 단위 또는 정사각형 형태의 부호화 단위)는 재귀적으로 분할될 수 있다. 일 실시예에 따라 홀수 개의 제3 부호화 단위(520b, 520c, 520d) 중 하나인 비-정사각형 형태의 제3 부호화 단위(520b)는 수평 방향으로 분할되어 복수개의 제4 부호화 단위로 분할될 수 있다. 복수개의 제4 부호화 단위(530a, 530b, 530c, 530d) 중 하나인 비-정사각형 형태의 제4 부호화 단위(530b 또는 530d)는 다시 복수개의 부호화 단위들로 분할될 수 있다. 예를 들면, 비-정사각형 형태의 제4 부호화 단위(530b 또는 530d)는 홀수개의 부호화 단위로 다시 분할될 수도 있다. 부호화 단위의 재귀적 분할에 이용될 수 있는 방법에 대하여는 다양한 실시예를 통해 후술하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제3 부호화 단위(520a, 520b, 520c, 520d 등) 각각을 부호화 단위들로 분할할 수 있다. 또한 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제2 부호화 단위(510)를 분할하지 않는 것으로 결정할 수 있다. 영상 복호화 장치(100)는 일 실시예에 따라 비-정사각형 형태의 제2 부호화 단위(510)를 홀수개의 제3 부호화 단위(520b, 520c, 520d)로 분할할 수 있다. 영상 복호화 장치(100)는 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 소정의 제3 부호화 단위에 대하여 소정의 제한을 둘 수 있다. 예를 들면 영상 복호화 장치(100)는 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 가운데에 위치하는 부호화 단위(520c)에 대하여는 더 이상 분할되지 않는 것으로 제한하거나 또는 설정 가능한 횟수로 분할되어야 하는 것으로 제한할 수 있다.
도 5를 참조하면, 영상 복호화 장치(100)는 비-정사각형 형태의 제2 부호화 단위(510)에 포함되는 홀수개의 제3 부호화 단위(520b, 520c, 520d)들 중 가운데에 위치하는 부호화 단위(520c)는 더 이상 분할되지 않거나, 소정의 분할 형태로 분할(예를 들면 4개의 부호화 단위로만 분할하거나 제2 부호화 단위(510)가 분할된 형태에 대응하는 형태로 분할)되는 것으로 제한하거나, 소정의 횟수로만 분할(예를 들면 n회만 분할, n>0)하는 것으로 제한할 수 있다. 다만 가운데에 위치한 부호화 단위(520c)에 대한 상기 제한은 단순한 실시예들에 불과하므로 상술한 실시예들로 제한되어 해석되어서는 안되고, 가운데에 위치한 부호화 단위(520c)가 다른 부호화 단위(520b, 520d)와 다르게 복호화 될 수 있는 다양한 제한들을 포함하는 것으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위를 분할하기 위해 이용되는 분할 형태 모드 정보를 현재 부호화 단위 내의 소정의 위치에서 획득할 수 있다.
도 6은 일 실시예에 따라 영상 복호화 장치(100)가 홀수개의 부호화 단위들 중 소정의 부호화 단위를 결정하기 위한 방법을 도시한다.
도 6을 참조하면, 현재 부호화 단위(600, 650)의 분할 형태 모드 정보는 현재 부호화 단위(600, 650)에 포함되는 복수개의 샘플 중 소정 위치의 샘플(예를 들면, 가운데에 위치하는 샘플(640, 690))에서 획득될 수 있다. 다만 이러한 분할 형태 모드 정보 중 적어도 하나가 획득될 수 있는 현재 부호화 단위(600) 내의 소정 위치가 도 6에서 도시하는 가운데 위치로 한정하여 해석되어서는 안되고, 소정 위치에는 현재 부호화 단위(600)내에 포함될 수 있는 다양한 위치(예를 들면, 최상단, 최하단, 좌측, 우측, 좌측상단, 좌측하단, 우측상단 또는 우측하단 등)가 포함될 수 있는 것으로 해석되어야 한다. 영상 복호화 장치(100)는 소정 위치로부터 획득되는 분할 형태 모드 정보를 획득하여 현재 부호화 단위를 다양한 형태 및 크기의 부호화 단위들로 분할하거나 분할하지 않는 것으로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위가 소정의 개수의 부호화 단위들로 분할된 경우 그 중 하나의 부호화 단위를 선택할 수 있다. 복수개의 부호화 단위들 중 하나를 선택하기 위한 방법은 다양할 수 있으며, 이러한 방법들에 대한 설명은 이하의 다양한 실시예를 통해 후술하도록 한다.
일 실시예에 따라 영상 복호화 장치(100) 는 현재 부호화 단위를 복수개의 부호화 단위들로 분할하고, 소정 위치의 부호화 단위를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 홀수개의 부호화 단위들 중 가운데에 위치하는 부호화 단위를 결정하기 위하여 홀수개의 부호화 단위들 각각의 위치를 나타내는 정보를 이용할 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 현재 부호화 단위(600) 또는 현재 부호화 단위(650)를 분할하여 홀수개의 부호화 단위들(620a, 620b, 620c) 또는 홀수개의 부호화 단위들(660a, 660b, 660c)을 결정할 수 있다. 영상 복호화 장치(100)는 홀수개의 부호화 단위들(620a, 620b, 620c) 또는 홀수개의 부호화 단위들(660a, 660b, 660c)의 위치에 대한 정보를 이용하여 가운데 부호화 단위(620b)또는 가운데 부호화 단위(660b)를 결정할 수 있다. 예를 들면 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)에 포함되는 소정의 샘플의 위치를 나타내는 정보에 기초하여 부호화 단위들(620a, 620b, 620c)의 위치를 결정함으로써 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다. 구체적으로, 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)의 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 정보에 기초하여 부호화 단위들(620a, 620b, 620c)의 위치를 결정함으로써 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다.
일 실시예에 따라 부호화 단위들(620a, 620b, 620c)에 각각 포함되는 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 정보는 부호화 단위들(620a, 620b, 620c)의 픽쳐 내에서의 위치 또는 좌표에 대한 정보를 포함할 수 있다. 일 실시예에 따라 부호화 단위들(620a, 620b, 620c)에 각각 포함되는 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 정보는 현재 부호화 단위(600)에 포함되는 부호화 단위들(620a, 620b, 620c)의 너비 또는 높이를 나타내는 정보를 포함할 수 있고, 이러한 너비 또는 높이는 부호화 단위들(620a, 620b, 620c)의 픽쳐 내에서의 좌표 간의 차이를 나타내는 정보에 해당할 수 있다. 즉, 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)의 픽쳐 내에서의 위치 또는 좌표에 대한 정보를 직접 이용하거나 좌표간의 차이값에 대응하는 부호화 단위의 너비 또는 높이에 대한 정보를 이용함으로써 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다.
일 실시예에 따라, 상단 부호화 단위(620a)의 좌측 상단의 샘플(630a)의 위치를 나타내는 정보는 (xa, ya) 좌표를 나타낼 수 있고, 가운데 부호화 단위(620b)의 좌측 상단의 샘플(530b)의 위치를 나타내는 정보는 (xb, yb) 좌표를 나타낼 수 있고, 하단 부호화 단위(620c)의 좌측 상단의 샘플(630c)의 위치를 나타내는 정보는 (xc, yc) 좌표를 나타낼 수 있다. 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)에 각각 포함되는 좌측 상단의 샘플(630a, 630b, 630c)의 좌표를 이용하여 가운데 부호화 단위(620b)를 결정할 수 있다. 예를 들면, 좌측 상단의 샘플(630a, 630b, 630c)의 좌표를 오름차순 또는 내림차순으로 정렬하였을 때, 가운데에 위치하는 샘플(630b)의 좌표인 (xb, yb)를 포함하는 부호화 단위(620b)를 현재 부호화 단위(600)가 분할되어 결정된 부호화 단위들(620a, 620b, 620c) 중 가운데에 위치하는 부호화 단위로 결정할 수 있다. 다만 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 좌표는 픽쳐 내에서의 절대적인 위치를 나타내는 좌표를 나타낼 수 있고, 나아가 상단 부호화 단위(620a)의 좌측 상단의 샘플(630a)의 위치를 기준으로, 가운데 부호화 단위(620b)의 좌측 상단의 샘플(630b)의 상대적 위치를 나타내는 정보인 (dxb, dyb)좌표, 하단 부호화 단위(620c)의 좌측 상단의 샘플(630c)의 상대적 위치를 나타내는 정보인 (dxc, dyc)좌표를 이용할 수도 있다. 또한 부호화 단위에 포함되는 샘플의 위치를 나타내는 정보로서 해당 샘플의 좌표를 이용함으로써 소정 위치의 부호화 단위를 결정하는 방법이 상술한 방법으로 한정하여 해석되어서는 안되고, 샘플의 좌표를 이용할 수 있는 다양한 산술적 방법으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위(600)를 복수개의 부호화 단위들(620a, 620b, 620c)로 분할할 수 있고, 부호화 단위들(620a, 620b, 620c) 중 소정의 기준에 따라 부호화 단위를 선택할 수 있다. 예를 들면, 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c) 중 크기가 다른 부호화 단위(620b)를 선택할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 상단 부호화 단위(620a)의 좌측 상단의 샘플(630a)의 위치를 나타내는 정보인 (xa, ya) 좌표, 가운데 부호화 단위(620b)의 좌측 상단의 샘플(630b)의 위치를 나타내는 정보인 (xb, yb) 좌표, 하단 부호화 단위(620c)의 좌측 상단의 샘플(630c)의 위치를 나타내는 정보인 (xc, yc) 좌표를 이용하여 부호화 단위들(620a, 620b, 620c) 각각의 너비 또는 높이를 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)의 위치를 나타내는 좌표인 (xa, ya), (xb, yb), (xc, yc)를 이용하여 부호화 단위들(620a, 620b, 620c) 각각의 크기를 결정할 수 있다. 일 실시예에 따라, 영상 복호화 장치(100)는 상단 부호화 단위(620a)의 너비를 현재 부호화 단위(600)의 너비로 결정할 수 있다. 영상 복호화 장치(100)는 상단 부호화 단위(620a)의 높이를 yb-ya로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 가운데 부호화 단위(620b)의 너비를 현재 부호화 단위(600)의 너비로 결정할 수 있다. 영상 복호화 장치(100)는 가운데 부호화 단위(620b)의 높이를 yc-yb로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 하단 부호화 단위의 너비 또는 높이는 현재 부호화 단위의 너비 또는 높이와 상단 부호화 단위(620a) 및 가운데 부호화 단위(620b)의 너비 및 높이를 이용하여 결정할 수 있다. 영상 복호화 장치(100)는 결정된 부호화 단위들(620a, 620b, 620c)의 너비 및 높이에 기초하여 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정할 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 상단 부호화 단위(620a) 및 하단 부호화 단위(620c)의 크기와 다른 크기를 가지는 가운데 부호화 단위(620b)를 소정 위치의 부호화 단위로 결정할 수 있다. 다만 상술한 영상 복호화 장치(100)가 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정하는 과정은 샘플 좌표에 기초하여 결정되는 부호화 단위의 크기를 이용하여 소정 위치의 부호화 단위를 결정하는 일 실시예에 불과하므로, 소정의 샘플 좌표에 따라 결정되는 부호화 단위의 크기를 비교하여 소정 위치의 부호화 단위를 결정하는 다양한 과정이 이용될 수 있다.
영상 복호화 장치(100)는 좌측 부호화 단위(660a)의 좌측 상단의 샘플(670a)의 위치를 나타내는 정보인 (xd, yd) 좌표, 가운데 부호화 단위(660b)의 좌측 상단의 샘플(670b)의 위치를 나타내는 정보인 (xe, ye) 좌표, 우측 부호화 단위(660c)의 좌측 상단의 샘플(670c)의 위치를 나타내는 정보인 (xf, yf) 좌표를 이용하여 부호화 단위들(660a, 660b, 660c) 각각의 너비 또는 높이를 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위들(660a, 660b, 660c)의 위치를 나타내는 좌표인 (xd, yd), (xe, ye), (xf, yf)를 이용하여 부호화 단위들(660a, 660b, 660c) 각각의 크기를 결정할 수 있다.
일 실시예에 따라, 영상 복호화 장치(100)는 좌측 부호화 단위(660a)의 너비를 xe-xd로 결정할 수 있다. 영상 복호화 장치(100)는 좌측 부호화 단위(660a)의 높이를 현재 부호화 단위(650)의 높이로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 가운데 부호화 단위(660b)의 너비를 xf-xe로 결정할 수 있다. 영상 복호화 장치(100)는 가운데 부호화 단위(660b)의 높이를 현재 부호화 단위(600)의 높이로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 우측 부호화 단위(660c)의 너비 또는 높이는 현재 부호화 단위(650)의 너비 또는 높이와 좌측 부호화 단위(660a) 및 가운데 부호화 단위(660b)의 너비 및 높이를 이용하여 결정할 수 있다. 영상 복호화 장치(100)는 결정된 부호화 단위들(660a, 660b, 660c)의 너비 및 높이에 기초하여 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정할 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 좌측 부호화 단위(660a) 및 우측 부호화 단위(660c)의 크기와 다른 크기를 가지는 가운데 부호화 단위(660b)를 소정 위치의 부호화 단위로 결정할 수 있다. 다만 상술한 영상 복호화 장치(100)가 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정하는 과정은 샘플 좌표에 기초하여 결정되는 부호화 단위의 크기를 이용하여 소정 위치의 부호화 단위를 결정하는 일 실시예에 불과하므로, 소정의 샘플 좌표에 따라 결정되는 부호화 단위의 크기를 비교하여 소정 위치의 부호화 단위를 결정하는 다양한 과정이 이용될 수 있다.
다만 부호화 단위의 위치를 결정하기 위하여 고려하는 샘플의 위치는 상술한 좌측 상단으로 한정하여 해석되어서는 안되고 부호화 단위에 포함되는 임의의 샘플의 위치에 대한 정보가 이용될 수 있는 것으로 해석될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 형태를 고려하여, 현재 부호화 단위가 분할되어 결정되는 홀수개의 부호화 단위들 중 소정 위치의 부호화 단위를 선택할 수 있다. 예를 들면, 현재 부호화 단위가 너비가 높이보다 긴 비-정사각형 형태라면 영상 복호화 장치(100)는 수평 방향에 따라 소정 위치의 부호화 단위를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 수평 방향으로 위치를 달리 하는 부호화 단위들 중 하나를 결정하여 해당 부호화 단위에 대한 제한을 둘 수 있다. 현재 부호화 단위가 높이가 너비보다 긴 비-정사각형 형태라면 영상 복호화 장치(100)는 수직 방향에 따라 소정 위치의 부호화 단위를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 수직 방향으로 위치를 달리 하는 부호화 단위들 중 하나를 결정하여 해당 부호화 단위에 대한 제한을 둘 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 짝수개의 부호화 단위들 중 소정 위치의 부호화 단위를 결정하기 위하여 짝수개의 부호화 단위들 각각의 위치를 나타내는 정보를 이용할 수 있다. 영상 복호화 장치(100)는 현재 부호화 단위를 분할(바이너리 분할)하여 짝수개의 부호화 단위들을 결정할 수 있고 짝수개의 부호화 단위들의 위치에 대한 정보를 이용하여 소정 위치의 부호화 단위를 결정할 수 있다. 이에 대한 구체적인 과정은 도 6에서 상술한 홀수개의 부호화 단위들 중 소정 위치(예를 들면, 가운데 위치)의 부호화 단위를 결정하는 과정에 대응하는 과정일 수 있으므로 생략하도록 한다.
일 실시예에 따라, 비-정사각형 형태의 현재 부호화 단위를 복수개의 부호화 단위로 분할한 경우, 복수개의 부호화 단위들 중 소정 위치의 부호화 단위를 결정하기 위하여 분할 과정에서 소정 위치의 부호화 단위에 대한 소정의 정보를 이용할 수 있다. 예를 들면 영상 복호화 장치(100)는 현재 부호화 단위가 복수개로 분할된 부호화 단위들 중 가운데에 위치하는 부호화 단위를 결정하기 위하여 분할 과정에서 가운데 부호화 단위에 포함된 샘플에 저장된 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나를 이용할 수 있다.
도 6을 참조하면 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(600)를 복수개의 부호화 단위들(620a, 620b, 620c)로 분할할 수 있으며, 복수개의 부호화 단위들(620a, 620b, 620c) 중 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다. 나아가 영상 복호화 장치(100)는 분할 형태 모드 정보가 획득되는 위치를 고려하여, 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다. 즉, 현재 부호화 단위(600)의 분할 형태 모드 정보는 현재 부호화 단위(600)의 가운데에 위치하는 샘플(640)에서 획득될 수 있으며, 상기 분할 형태 모드 정보에 기초하여 현재 부호화 단위(600)가 복수개의 부호화 단위들(620a, 620b, 620c)로 분할된 경우 상기 샘플(640)을 포함하는 부호화 단위(620b)를 가운데에 위치하는 부호화 단위로 결정할 수 있다. 다만 가운데에 위치하는 부호화 단위로 결정하기 위해 이용되는 정보가 분할 형태 모드 정보로 한정하여 해석되어서는 안되고, 다양한 종류의 정보가 가운데에 위치하는 부호화 단위를 결정하는 과정에서 이용될 수 있다.
일 실시예에 따라 소정 위치의 부호화 단위를 식별하기 위한 소정의 정보는, 결정하려는 부호화 단위에 포함되는 소정의 샘플에서 획득될 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 현재 부호화 단위(600)가 분할되어 결정된 복수개의 부호화 단위들(620a, 620b, 620c) 중 소정 위치의 부호화 단위(예를 들면, 복수개로 분할된 부호화 단위 중 가운데에 위치하는 부호화 단위)를 결정하기 위하여 현재 부호화 단위(600) 내의 소정 위치의 샘플(예를 들면, 현재 부호화 단위(600)의 가운데에 위치하는 샘플)에서 획득되는 분할 형태 모드 정보를 이용할 수 있다. 즉, 영상 복호화 장치(100)는 현재 부호화 단위(600)의 블록 형태를 고려하여 상기 소정 위치의 샘플을 결정할 수 있고, 영상 복호화 장치(100)는 현재 부호화 단위(600)가 분할되어 결정되는 복수개의 부호화 단위들(620a, 620b, 620c) 중, 소정의 정보(예를 들면, 분할 형태 모드 정보)가 획득될 수 있는 샘플이 포함된 부호화 단위(620b)를 결정하여 소정의 제한을 둘 수 있다. 도 6을 참조하면 일 실시예에 따라 영상 복호화 장치(100)는 소정의 정보가 획득될 수 있는 샘플로서 현재 부호화 단위(600)의 가운데에 위치하는 샘플(640)을 결정할 수 있고, 영상 복호화 장치(100)는 이러한 샘플(640)이 포함되는 부호화 단위(620b)를 복호화 과정에서의 소정의 제한을 둘 수 있다. 다만 소정의 정보가 획득될 수 있는 샘플의 위치는 상술한 위치로 한정하여 해석되어서는 안되고, 제한을 두기 위해 결정하려는 부호화 단위(620b)에 포함되는 임의의 위치의 샘플들로 해석될 수 있다.
일 실시예에 따라 소정의 정보가 획득될 수 있는 샘플의 위치는 현재 부호화 단위(600)의 형태에 따라 결정될 수 있다. 일 실시예에 따라 블록 형태 정보는 현재 부호화 단위의 형태가 정사각형인지 또는 비-정사각형인지 여부를 결정할 수 있고, 형태에 따라 소정의 정보가 획득될 수 있는 샘플의 위치를 결정할 수 있다. 예를 들면, 영상 복호화 장치(100)는 현재 부호화 단위의 너비에 대한 정보 및 높이에 대한 정보 중 적어도 하나를 이용하여 현재 부호화 단위의 너비 및 높이 중 적어도 하나를 반으로 분할하는 경계 상에 위치하는 샘플을 소정의 정보가 획득될 수 있는 샘플로 결정할 수 있다. 또다른 예를 들면, 영상 복호화 장치(100)는 현재 부호화 단위에 관련된 블록 형태 정보가 비-정사각형 형태임을 나타내는 경우, 현재 부호화 단위의 긴 변을 반으로 분할하는 경계에 인접하는 샘플 중 하나를 소정의 정보가 획득될 수 있는 샘플로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위를 복수개의 부호화 단위로 분할한 경우, 복수개의 부호화 단위들 중 소정 위치의 부호화 단위를 결정하기 위하여, 분할 형태 모드 정보를 이용할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보를 부호화 단위에 포함된 소정 위치의 샘플에서 획득할 수 있고, 영상 복호화 장치(100)는 현재 부호화 단위가 분할되어 생성된 복수개의 부호화 단위들을 복수개의 부호화 단위 각각에 포함된 소정 위치의 샘플로부터 획득되는 분할 형태 모드 정보를 이용하여 분할할 수 있다. 즉, 부호화 단위는 부호화 단위 각각에 포함된 소정 위치의 샘플에서 획득되는 분할 형태 모드 정보를 이용하여 재귀적으로 분할될 수 있다. 부호화 단위의 재귀적 분할 과정에 대하여는 도 5를 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정할 수 있고, 이러한 적어도 하나의 부호화 단위가 복호화되는 순서를 소정의 블록(예를 들면, 현재 부호화 단위)에 따라 결정할 수 있다.
도 7은 일 실시예에 따라 영상 복호화 장치(100)가 현재 부호화 단위를 분할하여 복수개의 부호화 단위들을 결정하는 경우, 복수개의 부호화 단위들이 처리되는 순서를 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 제1 부호화 단위(700)를 수직 방향으로 분할하여 제2 부호화 단위(710a, 710b)를 결정하거나 제1 부호화 단위(700)를 수평 방향으로 분할하여 제2 부호화 단위(730a, 730b)를 결정하거나 제1 부호화 단위(700)를 수직 방향 및 수평 방향으로 분할하여 제2 부호화 단위(750a, 750b, 750c, 750d)를 결정할 수 있다.
도 7을 참조하면, 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수직 방향으로 분할하여 결정된 제2 부호화 단위(710a, 710b)를 수평 방향(710c)으로 처리되도록 순서를 결정할 수 있다. 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수평 방향으로 분할하여 결정된 제2 부호화 단위(730a, 730b)의 처리 순서를 수직 방향(730c)으로 결정할 수 있다. 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수직 방향 및 수평 방향으로 분할하여 결정된 제2 부호화 단위(750a, 750b, 750c, 750d)를 하나의 행에 위치하는 부호화 단위들이 처리된 후 다음 행에 위치하는 부호화 단위들이 처리되는 소정의 순서(예를 들면, 래스터 스캔 순서((raster scan order) 또는 z 스캔 순서(z scan order)(750e) 등)에 따라 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위들을 재귀적으로 분할할 수 있다. 도 7을 참조하면, 영상 복호화 장치(100)는 제1 부호화 단위(700)를 분할하여 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d)을 결정할 수 있고, 결정된 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d) 각각을 재귀적으로 분할할 수 있다. 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d)을 분할하는 방법은 제1 부호화 단위(700)를 분할하는 방법에 대응하는 방법이 될 수 있다. 이에 따라 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d)은 각각 독립적으로 복수개의 부호화 단위들로 분할될 수 있다. 도 7을 참조하면 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수직 방향으로 분할하여 제2 부호화 단위(710a, 710b)를 결정할 수 있고, 나아가 제2 부호화 단위(710a, 710b) 각각을 독립적으로 분할하거나 분할하지 않는 것으로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 좌측의 제2 부호화 단위(710a)를 수평 방향으로 분할하여 제3 부호화 단위(720a, 720b)로 분할할 수 있고, 우측의 제2 부호화 단위(710b)는 분할하지 않을 수 있다.
일 실시예에 따라 부호화 단위들의 처리 순서는 부호화 단위의 분할 과정에 기초하여 결정될 수 있다. 다시 말해, 분할된 부호화 단위들의 처리 순서는 분할되기 직전의 부호화 단위들의 처리 순서에 기초하여 결정될 수 있다. 영상 복호화 장치(100)는 좌측의 제2 부호화 단위(710a)가 분할되어 결정된 제3 부호화 단위(720a, 720b)가 처리되는 순서를 우측의 제2 부호화 단위(710b)와 독립적으로 결정할 수 있다. 좌측의 제2 부호화 단위(710a)가 수평 방향으로 분할되어 제3 부호화 단위(720a, 720b)가 결정되었으므로 제3 부호화 단위(720a, 720b)는 수직 방향(720c)으로 처리될 수 있다. 또한 좌측의 제2 부호화 단위(710a) 및 우측의 제2 부호화 단위(710b)가 처리되는 순서는 수평 방향(710c)에 해당하므로, 좌측의 제2 부호화 단위(710a)에 포함되는 제3 부호화 단위(720a, 720b)가 수직 방향(720c)으로 처리된 후에 우측 부호화 단위(710b)가 처리될 수 있다. 상술한 내용은 부호화 단위들이 각각 분할 전의 부호화 단위에 따라 처리 순서가 결정되는 과정을 설명하기 위한 것이므로, 상술한 실시예에 한정하여 해석되어서는 안되고, 다양한 형태로 분할되어 결정되는 부호화 단위들이 소정의 순서에 따라 독립적으로 처리될 수 있는 다양한 방법으로 이용되는 것으로 해석되어야 한다.
도 8은 일 실시예에 따라 영상 복호화 장치(100)가 소정의 순서로 부호화 단위가 처리될 수 없는 경우, 현재 부호화 단위가 홀수개의 부호화 단위로 분할되는 것임을 결정하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 획득된 분할 형태 모드 정보에 기초하여 현재 부호화 단위가 홀수개의 부호화 단위들로 분할되는 것을 결정할 수 있다. 도 8을 참조하면 정사각형 형태의 제1 부호화 단위(800)가 비-정사각형 형태의 제2 부호화 단위(810a, 810b)로 분할될 수 있고, 제2 부호화 단위(810a, 810b)는 각각 독립적으로 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)로 분할될 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 제2 부호화 단위 중 좌측 부호화 단위(810a)는 수평 방향으로 분할하여 복수개의 제3 부호화 단위(820a, 820b)를 결정할 수 있고, 우측 부호화 단위(810b)는 홀수개의 제3 부호화 단위(820c, 820d, 820e)로 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 제3 부호화 단위들(820a, 820b, 820c, 820d, 820e)이 소정의 순서로 처리될 수 있는지 여부를 판단하여 홀수개로 분할된 부호화 단위가 존재하는지를 결정할 수 있다. 도 8을 참조하면, 영상 복호화 장치(100)는 제1 부호화 단위(800)를 재귀적으로 분할하여 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)를 결정할 수 있다. 영상 복호화 장치(100)는 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여, 제1 부호화 단위(800), 제2 부호화 단위(810a, 810b) 또는 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)가 분할되는 형태 중 홀수개의 부호화 단위로 분할되는지 여부를 결정할 수 있다. 예를 들면, 제2 부호화 단위(810a, 810b) 중 우측에 위치하는 부호화 단위가 홀수개의 제3 부호화 단위(820c, 820d, 820e)로 분할될 수 있다. 제1 부호화 단위(800)에 포함되는 복수개의 부호화 단위들이 처리되는 순서는 소정의 순서(예를 들면, z-스캔 순서(z-scan order)(830))가 될 수 있고, 영상 복호화 장치(100)는 우측 제2 부호화 단위(810b)가 홀수개로 분할되어 결정된 제3 부호화 단위(820c, 820d, 820e)가 상기 소정의 순서에 따라 처리될 수 있는 조건을 만족하는지를 판단할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 제1 부호화 단위(800)에 포함되는 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)가 소정의 순서에 따라 처리될 수 있는 조건을 만족하는지를 결정할 수 있으며, 상기 조건은 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)의 경계에 따라 제2 부호화 단위(810a, 810b)의 너비 및 높이 중 적어도 하나를 반으로 분할되는지 여부와 관련된다. 예를 들면 비-정사각형 형태의 좌측 제2 부호화 단위(810a)의 높이를 반으로 분할하여 결정되는 제3 부호화 단위(820a, 820b)는 조건을 만족할 수 있다. 우측 제2 부호화 단위(810b)를 3개의 부호화 단위로 분할하여 결정되는 제3 부호화 단위(820c, 820d, 820e)들의 경계가 우측 제2 부호화 단위(810b)의 너비 또는 높이를 반으로 분할하지 못하므로 제3 부호화 단위(820c, 820d, 820e)는 조건을 만족하지 못하는 것으로 결정될 수 있다. 영상 복호화 장치(100)는 이러한 조건 불만족의 경우 스캔 순서의 단절(disconnection)로 판단하고, 판단 결과에 기초하여 우측 제2 부호화 단위(810b)는 홀수개의 부호화 단위로 분할되는 것으로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 홀수개의 부호화 단위로 분할되는 경우 분할된 부호화 단위들 중 소정 위치의 부호화 단위에 대하여 소정의 제한을 둘 수 있으며, 이러한 제한 내용 또는 소정 위치 등에 대하여는 다양한 실시예를 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
도 9는 일 실시예에 따라 영상 복호화 장치(100)가 제1 부호화 단위(900)를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 분할 형태 모드 정보에 기초하여 제1 부호화 단위(900)를 분할할 수 있다. 정사각형 형태의 제1 부호화 단위(900)는 4개의 정사각형 형태를 가지는 부호화 단위로 분할되거나 또는 비-정사각형 형태의 복수개의 부호화 단위로 분할할 수 있다. 예를 들면 도 9를 참조하면, 제1 부호화 단위(900)는 정사각형이고 분할 형태 모드 정보가 비-정사각형의 부호화 단위로 분할됨을 나타내는 경우 영상 복호화 장치(100)는 제1 부호화 단위(900)를 복수개의 비-정사각형의 부호화 단위들로 분할할 수 있다. 구체적으로, 분할 형태 모드 정보가 제1 부호화 단위(900)를 수평 방향 또는 수직 방향으로 분할하여 홀수개의 부호화 단위를 결정하는 것을 나타내는 경우, 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(900)를 홀수개의 부호화 단위들로서 수직 방향으로 분할되어 결정된 제2 부호화 단위(910a, 910b, 910c) 또는 수평 방향으로 분할되어 결정된 제2 부호화 단위(920a, 920b, 920c)로 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 제1 부호화 단위(900)에 포함되는 제2 부호화 단위(910a, 910b, 910c, 920a, 920b, 920c)가 소정의 순서에 따라 처리될 수 있는 조건을 만족하는지를 결정할 수 있으며, 상기 조건은 제2 부호화 단위(910a, 910b, 910c, 920a, 920b, 920c)의 경계에 따라 제1 부호화 단위(900)의 너비 및 높이 중 적어도 하나를 반으로 분할되는지 여부와 관련된다. 도 9를 참조하면 정사각형 형태의 제1 부호화 단위(900)를 수직 방향으로 분할하여 결정되는 제2 부호화 단위(910a, 910b, 910c)들의 경계가 제1 부호화 단위(900)의 너비를 반으로 분할하지 못하므로 제1 부호화 단위(900)는 소정의 순서에 따라 처리될 수 있는 조건을 만족하지 못하는 것으로 결정될 수 있다. 또한 정사각형 형태의 제1 부호화 단위(900)를 수평 방향으로 분할하여 결정되는 제2 부호화 단위(920a, 920b, 920c)들의 경계가 제1 부호화 단위(900)의 높이를 반으로 분할하지 못하므로 제1 부호화 단위(900)는 소정의 순서에 따라 처리될 수 있는 조건을 만족하지 못하는 것으로 결정될 수 있다. 영상 복호화 장치(100)는 이러한 조건 불만족의 경우 스캔 순서의 단절(disconnection)로 판단하고, 판단 결과에 기초하여 제1 부호화 단위(900)는 홀수개의 부호화 단위로 분할되는 것으로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 홀수개의 부호화 단위로 분할되는 경우 분할된 부호화 단위들 중 소정 위치의 부호화 단위에 대하여 소정의 제한을 둘 수 있으며, 이러한 제한 내용 또는 소정 위치 등에 대하여는 다양한 실시예를 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라, 영상 복호화 장치(100)는 제1 부호화 단위를 분할하여 다양한 형태의 부호화 단위들을 결정할 수 있다.
도 9를 참조하면, 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(900), 비-정사각형 형태의 제1 부호화 단위(930 또는 950)를 다양한 형태의 부호화 단위들로 분할할 수 있다.
도 10은 일 실시예에 따라 영상 복호화 장치(100)가 제1 부호화 단위(1000)가 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위가 소정의 조건을 만족하는 경우 제2 부호화 단위가 분할될 수 있는 형태가 제한되는 것을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 분할 형태 모드 정보에 기초하여 정사각형 형태의 제1 부호화 단위(1000)를 비-정사각형 형태의 제2 부호화 단위(1010a, 1010b, 1020a, 1020b)로 분할하는 것으로 결정할 수 있다. 제2 부호화 단위(1010a, 1010b, 1020a, 1020b)는 독립적으로 분할될 수 있다. 이에 따라 영상 복호화 장치(100)는 제2 부호화 단위(1010a, 1010b, 1020a, 1020b) 각각에 관련된 분할 형태 모드 정보에 기초하여 복수개의 부호화 단위로 분할하거나 분할하지 않는 것을 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 수직 방향으로 제1 부호화 단위(1000)가 분할되어 결정된 비-정사각형 형태의 좌측 제2 부호화 단위(1010a)를 수평 방향으로 분할하여 제3 부호화 단위(1012a, 1012b)를 결정할 수 있다. 다만 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1010a)를 수평 방향으로 분할한 경우, 우측 제2 부호화 단위(1010b)는 좌측 제2 부호화 단위(1010a)가 분할된 방향과 동일하게 수평 방향으로 분할될 수 없도록 제한할 수 있다. 만일 우측 제2 부호화 단위(1010b)가 동일한 방향으로 분할되어 제3 부호화 단위(1014a, 1014b)가 결정된 경우, 좌측 제2 부호화 단위(1010a) 및 우측 제2 부호화 단위(1010b)가 수평 방향으로 각각 독립적으로 분할됨으로써 제3 부호화 단위(1012a, 1012b, 1014a, 1014b)가 결정될 수 있다. 하지만 이는 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1000)를 4개의 정사각형 형태의 제2 부호화 단위(1030a, 1030b, 1030c, 1030d)로 분할한 것과 동일한 결과이며 이는 영상 복호화 측면에서 비효율적일 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 수평 방향으로 제1 부호화 단위(1000)가 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위(1020a 또는 1020b)를 수직 방향으로 분할하여 제3 부호화 단위(1022a, 1022b, 1024a, 1024b)를 결정할 수 있다. 다만 영상 복호화 장치(100)는 제2 부호화 단위 중 하나(예를 들면 상단 제2 부호화 단위(1020a))를 수직 방향으로 분할한 경우, 상술한 이유에 따라 다른 제2 부호화 단위(예를 들면 하단 부호화 단위(1020b))는 상단 제2 부호화 단위(1020a)가 분할된 방향과 동일하게 수직 방향으로 분할될 수 없도록 제한할 수 있다.
도 11은 일 실시예에 따라 분할 형태 모드 정보가 4개의 정사각형 형태의 부호화 단위로 분할하는 것을 나타낼 수 없는 경우, 영상 복호화 장치(100)가 정사각형 형태의 부호화 단위를 분할하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1100)를 분할하여 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등)를 결정할 수 있다. 분할 형태 모드 정보에는 부호화 단위가 분할될 수 있는 다양한 형태에 대한 정보가 포함될 수 있으나, 다양한 형태에 대한 정보에는 정사각형 형태의 4개의 부호화 단위로 분할하기 위한 정보가 포함될 수 없는 경우가 있다. 이러한 분할 형태 모드 정보에 따르면, 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(1100)를 4개의 정사각형 형태의 제2 부호화 단위(1130a, 1130b, 1130c, 1130d)로 분할하지 못한다. 분할 형태 모드 정보에 기초하여 영상 복호화 장치(100)는 비-정사각형 형태의 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 비-정사각형 형태의 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등)를 각각 독립적으로 분할할 수 있다. 재귀적인 방법을 통해 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등) 각각이 소정의 순서대로 분할될 수 있으며, 이는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1100)가 분할되는 방법에 대응하는 분할 방법일 수 있다.
예를 들면 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1110a)가 수평 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1112a, 1112b)를 결정할 수 있고, 우측 제2 부호화 단위(1110b)가 수평 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1114a, 1114b)를 결정할 수 있다. 나아가 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1110a) 및 우측 제2 부호화 단위(1110b) 모두 수평 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1116a, 1116b, 1116c, 1116d)를 결정할 수도 있다. 이러한 경우 제1 부호화 단위(1100)가 4개의 정사각형 형태의 제2 부호화 단위(1130a, 1130b, 1130c, 1130d)로 분할된 것과 동일한 형태로 부호화 단위가 결정될 수 있다.
또 다른 예를 들면 영상 복호화 장치(100)는 상단 제2 부호화 단위(1120a)가 수직 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1122a, 1122b)를 결정할 수 있고, 하단 제2 부호화 단위(1120b)가 수직 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1124a, 1124b)를 결정할 수 있다. 나아가 영상 복호화 장치(100)는 상단 제2 부호화 단위(1120a) 및 하단 제2 부호화 단위(1120b) 모두 수직 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1126a, 1126b, 1126a, 1126b)를 결정할 수도 있다. 이러한 경우 제1 부호화 단위(1100)가 4개의 정사각형 형태의 제2 부호화 단위(1130a, 1130b, 1130c, 1130d)로 분할된 것과 동일한 형태로 부호화 단위가 결정될 수 있다.
도 12는 일 실시예에 따라 복수개의 부호화 단위들 간의 처리 순서가 부호화 단위의 분할 과정에 따라 달라질 수 있음을 도시한 것이다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1200)를 분할할 수 있다. 블록 형태가 정사각형이고, 분할 형태 모드 정보가 제1 부호화 단위(1200)가 수평 방향 및 수직 방향 중 적어도 하나의 방향으로 분할됨을 나타내는 경우, 영상 복호화 장치(100)는 제1 부호화 단위(1200)를 분할하여 제2 부호화 단위(예를 들면, 1210a, 1210b, 1220a, 1220b 등)를 결정할 수 있다. 도 12를 참조하면 제1 부호화 단위1200)가 수평 방향 또는 수직 방향만으로 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위(1210a, 1210b, 1220a, 1220b)는 각각에 대한 분할 형태 모드 정보에 기초하여 독립적으로 분할될 수 있다. 예를 들면 영상 복호화 장치(100)는 제1 부호화 단위(1200)가 수직 방향으로 분할되어 생성된 제2 부호화 단위(1210a, 1210b)를 수평 방향으로 각각 분할하여 제3 부호화 단위(1216a, 1216b, 1216c, 1216d)를 결정할 수 있고, 제1 부호화 단위(1200)가 수평 방향으로 분할되어 생성된 제2 부호화 단위(1220a, 1220b)를 수직 방향으로 각각 분할하여 제3 부호화 단위(1226a, 1226b, 1226c, 1226d)를 결정할 수 있다. 이러한 제2 부호화 단위(1210a, 1210b, 1220a, 1220b)의 분할 과정은 도 11과 관련하여 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 소정의 순서에 따라 부호화 단위를 처리할 수 있다. 소정의 순서에 따른 부호화 단위의 처리에 대한 특징은 도 7과 관련하여 상술하였으므로 자세한 설명은 생략하도록 한다. 도 12를 참조하면 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(1200)를 분할하여 4개의 정사각형 형태의 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)를 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 제1 부호화 단위(1200)가 분할되는 형태에 따라 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)의 처리 순서를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 수직 방향으로 분할되어 생성된 제2 부호화 단위(1210a, 1210b)를 수평 방향으로 각각 분할하여 제3 부호화 단위(1216a, 1216b, 1216c, 1216d)를 결정할 수 있고, 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1210a)에 포함되는 제3 부호화 단위(1216a, 1216c)를 수직 방향으로 먼저 처리한 후, 우측 제2 부호화 단위(1210b)에 포함되는 제3 부호화 단위(1216b, 1216d)를 수직 방향으로 처리하는 순서(1217)에 따라 제3 부호화 단위(1216a, 1216b, 1216c, 1216d)를 처리할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 수평 방향으로 분할되어 생성된 제2 부호화 단위(1220a, 1220b)를 수직 방향으로 각각 분할하여 제3 부호화 단위(1226a, 1226b, 1226c, 1226d)를 결정할 수 있고, 영상 복호화 장치(100)는 상단 제2 부호화 단위(1220a)에 포함되는 제3 부호화 단위(1226a, 1226b)를 수평 방향으로 먼저 처리한 후, 하단 제2 부호화 단위(1220b)에 포함되는 제3 부호화 단위(1226c, 1226d)를 수평 방향으로 처리하는 순서(1227)에 따라 제3 부호화 단위(1226a, 1226b, 1226c, 1226d)를 처리할 수 있다.
도 12를 참조하면, 제2 부호화 단위(1210a, 1210b, 1220a, 1220b)가 각각 분할되어 정사각형 형태의 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)가 결정될 수 있다. 수직 방향으로 분할되어 결정된 제2 부호화 단위(1210a, 1210b) 및 수평 방향으로 분할되어 결정된 제2 부호화 단위(1220a, 1220b)는 서로 다른 형태로 분할된 것이지만, 이후에 결정되는 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)에 따르면 결국 동일한 형태의 부호화 단위들로 제1 부호화 단위(1200)가 분할된 결과가 된다. 이에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 상이한 과정을 통해 재귀적으로 부호화 단위를 분할함으로써 결과적으로 동일한 형태의 부호화 단위들을 결정하더라도, 동일한 형태로 결정된 복수개의 부호화 단위들을 서로 다른 순서로 처리할 수 있다.
도 13은 일 실시예에 따라 부호화 단위가 재귀적으로 분할되어 복수개의 부호화 단위가 결정되는 경우, 부호화 단위의 형태 및 크기가 변함에 따라 부호화 단위의 심도가 결정되는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위의 심도를 소정의 기준에 따라 결정할 수 있다. 예를 들면 소정의 기준은 부호화 단위의 긴 변의 길이가 될 수 있다. 영상 복호화 장치(100)는 현재 부호화 단위의 긴 변의 길이가 분할되기 전의 부호화 단위의 긴 변의 길이보다 2n (n>0) 배로 분할된 경우, 현재 부호화 단위의 심도는 분할되기 전의 부호화 단위의 심도보다 n만큼 심도가 증가된 것으로 결정할 수 있다. 이하에서는 심도가 증가된 부호화 단위를 하위 심도의 부호화 단위로 표현하도록 한다.
도 13을 참조하면, 일 실시예에 따라 정사각형 형태임을 나타내는 블록 형태 정보(예를 들면 블록 형태 정보는 '0: SQUARE'를 나타낼 수 있음)에 기초하여 영상 복호화 장치(100)는 정사각형 형태인 제1 부호화 단위(1300)를 분할하여 하위 심도의 제2 부호화 단위(1302), 제3 부호화 단위(1304) 등을 결정할 수 있다. 정사각형 형태의 제1 부호화 단위(1300)의 크기를 2Nx2N이라고 한다면, 제1 부호화 단위(1300)의 너비 및 높이를 1/2배로 분할하여 결정된 제2 부호화 단위(1302)는 NxN의 크기를 가질 수 있다. 나아가 제2 부호화 단위(1302)의 너비 및 높이를 1/2크기로 분할하여 결정된 제3 부호화 단위(1304)는 N/2xN/2의 크기를 가질 수 있다. 이 경우 제3 부호화 단위(1304)의 너비 및 높이는 제1 부호화 단위(1300)의 1/4배에 해당한다. 제1 부호화 단위(1300)의 심도가 D인 경우 제1 부호화 단위(1300)의 너비 및 높이의 1/2배인 제2 부호화 단위(1302)의 심도는 D+1일 수 있고, 제1 부호화 단위(1300)의 너비 및 높이의 1/4배인 제3 부호화 단위(1304)의 심도는 D+2일 수 있다.
일 실시예에 따라 비-정사각형 형태를 나타내는 블록 형태 정보(예를 들면 블록 형태 정보는, 높이가 너비보다 긴 비-정사각형임을 나타내는 '1: NS_VER' 또는 너비가 높이보다 긴 비-정사각형임을 나타내는 '2: NS_HOR'를 나타낼 수 있음)에 기초하여, 영상 복호화 장치(100)는 비-정사각형 형태인 제1 부호화 단위(1310 또는 1320)를 분할하여 하위 심도의 제2 부호화 단위(1312 또는 1322), 제3 부호화 단위(1314 또는 1324) 등을 결정할 수 있다.
영상 복호화 장치(100)는 Nx2N 크기의 제1 부호화 단위(1310)의 너비 및 높이 중 적어도 하나를 분할하여 제2 부호화 단위(예를 들면, 1302, 1312, 1322 등)를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 제1 부호화 단위(1310)를 수평 방향으로 분할하여 NxN 크기의 제2 부호화 단위(1302) 또는 NxN/2 크기의 제2 부호화 단위(1322)를 결정할 수 있고, 수평 방향 및 수직 방향으로 분할하여 N/2xN 크기의 제2 부호화 단위(1312)를 결정할 수도 있다.
일 실시예에 따라 영상 복호화 장치(100)는 2NxN 크기의 제1 부호화 단위(1320) 의 너비 및 높이 중 적어도 하나를 분할하여 제2 부호화 단위(예를 들면, 1302, 1312, 1322 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제1 부호화 단위(1320)를 수직 방향으로 분할하여 NxN 크기의 제2 부호화 단위(1302) 또는 N/2xN 크기의 제2 부호화 단위(1312)를 결정할 수 있고, 수평 방향 및 수직 방향으로 분할하여 NxN/2 크기의 제2 부호화 단위(1322)를 결정할 수도 있다.
일 실시예에 따라 영상 복호화 장치(100)는 NxN 크기의 제2 부호화 단위(1302) 의 너비 및 높이 중 적어도 하나를 분할하여 제3 부호화 단위(예를 들면, 1304, 1314, 1324 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제2 부호화 단위(1302)를 수직 방향 및 수평 방향으로 분할하여 N/2xN/2 크기의 제3 부호화 단위(1304)를 결정하거나 N/4xN/2 크기의 제3 부호화 단위(1314)를 결정하거나 N/2xN/4 크기의 제3 부호화 단위(1324)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 N/2xN 크기의 제2 부호화 단위(1312)의 너비 및 높이 중 적어도 하나를 분할하여 제3 부호화 단위(예를 들면, 1304, 1314, 1324 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제2 부호화 단위(1312)를 수평 방향으로 분할하여 N/2xN/2 크기의 제3 부호화 단위(1304) 또는 N/2xN/4 크기의 제3 부호화 단위(1324)를 결정하거나 수직 방향 및 수평 방향으로 분할하여 N/4xN/2 크기의 제3 부호화 단위(1314)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 NxN/2 크기의 제2 부호화 단위(1322)의 너비 및 높이 중 적어도 하나를 분할하여 제3 부호화 단위(예를 들면, 1304, 1314, 1324 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제2 부호화 단위(1322)를 수직 방향으로 분할하여 N/2xN/2 크기의 제3 부호화 단위(1304) 또는 N/4xN/2 크기의 제3 부호화 단위(1314)를 결정하거나 수직 방향 및 수평 방향으로 분할하여 N/2xN/4크기의 제3 부호화 단위(1324)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 정사각형 형태의 부호화 단위(예를 들면, 1300, 1302, 1304)를 수평 방향 또는 수직 방향으로 분할할 수 있다. 예를 들면, 2Nx2N 크기의 제1 부호화 단위(1300)를 수직 방향으로 분할하여 Nx2N 크기의 제1 부호화 단위(1310)를 결정하거나 수평 방향으로 분할하여 2NxN 크기의 제1 부호화 단위(1320)를 결정할 수 있다. 일 실시예에 따라 심도가 부호화 단위의 가장 긴 변의 길이에 기초하여 결정되는 경우, 2Nx2N 크기의 제1 부호화 단위(1300)가 수평 방향 또는 수직 방향으로 분할되어 결정되는 부호화 단위의 심도는 제1 부호화 단위(1300)의 심도와 동일할 수 있다.
일 실시예에 따라 제3 부호화 단위(1314 또는 1324)의 너비 및 높이는 제1 부호화 단위(1310 또는 1320)의 1/4배에 해당할 수 있다. 제1 부호화 단위(1310 또는 1320)의 심도가 D인 경우 제1 부호화 단위(1310 또는 1320)의 너비 및 높이의 1/2배인 제2 부호화 단위(1312 또는 1322)의 심도는 D+1일 수 있고, 제1 부호화 단위(1310 또는 1320)의 너비 및 높이의 1/4배인 제3 부호화 단위(1314 또는 1324)의 심도는 D+2일 수 있다.
도 14는 일 실시예에 따라 부호화 단위들의 형태 및 크기에 따라 결정될 수 있는 심도 및 부호화 단위 구분을 위한 인덱스(part index, 이하 PID)를 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(1400)를 분할하여 다양한 형태의 제2 부호화 단위를 결정할 수 있다. 도 14를 참조하면, 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 제1 부호화 단위(1400)를 수직 방향 및 수평 방향 중 적어도 하나의 방향으로 분할하여 제2 부호화 단위(1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d)를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 제1 부호화 단위(1400)에 대한 분할 형태 모드 정보에 기초하여 제2 부호화 단위(1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d)를 결정할 수 있다.
일 실시예에 따라 정사각형 형태의 제1 부호화 단위(1400)에 대한 분할 형태 모드 정보에 따라 결정되는 제2 부호화 단위(1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d)는 긴 변의 길이에 기초하여 심도가 결정될 수 있다. 예를 들면, 정사각형 형태의 제1 부호화 단위(1400)의 한 변의 길이와 비-정사각형 형태의 제2 부호화 단위(1402a, 1402b, 1404a, 1404b)의 긴 변의 길이가 동일하므로, 제1 부호화 단위(1400)와 비-정사각형 형태의 제2 부호화 단위(1402a, 1402b, 1404a, 1404b)의 심도는 D로 동일하다고 볼 수 있다. 이에 반해 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1400)를 4개의 정사각형 형태의 제2 부호화 단위(1406a, 1406b, 1406c, 1406d)로 분할한 경우, 정사각형 형태의 제2 부호화 단위(1406a, 1406b, 1406c, 1406d)의 한 변의 길이는 제1 부호화 단위(1400)의 한 변의 길이의 1/2배 이므로, 제2 부호화 단위(1406a, 1406b, 1406c, 1406d)의 심도는 제1 부호화 단위(1400)의 심도인 D보다 한 심도 하위인 D+1의 심도일 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 높이가 너비보다 긴 형태의 제1 부호화 단위(1410)를 분할 형태 모드 정보에 따라 수평 방향으로 분할하여 복수개의 제2 부호화 단위(1412a, 1412b, 1414a, 1414b, 1414c)로 분할할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 너비가 높이보다 긴 형태의 제1 부호화 단위(1420)를 분할 형태 모드 정보에 따라 수직 방향으로 분할하여 복수개의 제2 부호화 단위(1422a, 1422b, 1424a, 1424b, 1424c)로 분할할 수 있다.
일 실시예에 따라 비-정사각형 형태의 제1 부호화 단위(1410 또는 1420)에 대한 분할 형태 모드 정보에 따라 결정되는 제2 부호화 단위(1412a, 1412b, 1414a, 1414b, 1414c. 1422a, 1422b, 1424a, 1424b, 1424c)는 긴 변의 길이에 기초하여 심도가 결정될 수 있다. 예를 들면, 정사각형 형태의 제2 부호화 단위(1412a, 1412b)의 한 변의 길이는 높이가 너비보다 긴 비-정사각형 형태의 제1 부호화 단위(1410)의 한 변의 길이의 1/2배이므로, 정사각형 형태의 제2 부호화 단위(1412a, 1412b)의 심도는 비-정사각형 형태의 제1 부호화 단위(1410)의 심도 D보다 한 심도 하위의 심도인 D+1이다.
나아가 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 비-정사각형 형태의 제1 부호화 단위(1410)를 홀수개의 제2 부호화 단위(1414a, 1414b, 1414c)로 분할할 수 있다. 홀수개의 제2 부호화 단위(1414a, 1414b, 1414c)는 비-정사각형 형태의 제2 부호화 단위(1414a, 1414c) 및 정사각형 형태의 제2 부호화 단위(1414b)를 포함할 수 있다. 이 경우 비-정사각형 형태의 제2 부호화 단위(1414a, 1414c)의 긴 변의 길이 및 정사각형 형태의 제2 부호화 단위(1414b)의 한 변의 길이는 제1 부호화 단위(1410)의 한 변의 길이의 1/2배 이므로, 제2 부호화 단위(1414a, 1414b, 1414c)의 심도는 제1 부호화 단위(1410)의 심도인 D보다 한 심도 하위인 D+1의 심도일 수 있다. 영상 복호화 장치(100)는 제1 부호화 단위(1410)와 관련된 부호화 단위들의 심도를 결정하는 상기 방식에 대응하는 방식으로, 너비가 높이보다 긴 비-정사각형 형태의 제1 부호화 단위(1420)와 관련된 부호화 단위들의 심도를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 분할된 부호화 단위들의 구분을 위한 인덱스(PID)를 결정함에 있어서, 홀수개로 분할된 부호화 단위들이 서로 동일한 크기가 아닌 경우, 부호화 단위들 간의 크기 비율에 기초하여 인덱스를 결정할 수 있다. 도 14를 참조하면, 홀수개로 분할된 부호화 단위들(1414a, 1414b, 1414c) 중 가운데에 위치하는 부호화 단위(1414b)는 다른 부호화 단위들(1414a, 1414c)와 너비는 동일하지만 높이가 다른 부호화 단위들(1414a, 1414c)의 높이의 두 배일 수 있다. 즉, 이 경우 가운데에 위치하는 부호화 단위(1414b)는 다른 부호화 단위들(1414a, 1414c)의 두 개를 포함할 수 있다. 따라서, 스캔 순서에 따라 가운데에 위치하는 부호화 단위(1414b)의 인덱스(PID)가 1이라면 그 다음 순서에 위치하는 부호화 단위(1414c)는 인덱스가 2가 증가한 3일수 있다. 즉 인덱스의 값의 불연속성이 존재할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 이러한 분할된 부호화 단위들 간의 구분을 위한 인덱스의 불연속성의 존재 여부에 기초하여 홀수개로 분할된 부호화 단위들이 서로 동일한 크기가 아닌지 여부를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위로부터 분할되어 결정된 복수개의 부호화 단위들을 구분하기 위한 인덱스의 값에 기초하여 특정 분할 형태로 분할된 것인지를 결정할 수 있다. 도 14를 참조하면 영상 복호화 장치(100)는 높이가 너비보다 긴 직사각형 형태의 제1 부호화 단위(1410)를 분할하여 짝수개의 부호화 단위(1412a, 1412b)를 결정하거나 홀수개의 부호화 단위(1414a, 1414b, 1414c)를 결정할 수 있다. 영상 복호화 장치(100)는 복수개의 부호화 단위 각각을 구분하기 위하여 각 부호화 단위를 나타내는 인덱스(PID)를 이용할 수 있다. 일 실시예에 따라 PID는 각각의 부호화 단위의 소정 위치의 샘플(예를 들면, 좌측 상단 샘플)에서 획득될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위의 구분을 위한 인덱스를 이용하여 분할되어 결정된 부호화 단위들 중 소정 위치의 부호화 단위를 결정할 수 있다. 일 실시예에 따라 높이가 너비보다 긴 직사각형 형태의 제1 부호화 단위(1410)에 대한 분할 형태 모드 정보가 3개의 부호화 단위로 분할됨을 나타내는 경우 영상 복호화 장치(100)는 제1 부호화 단위(1410)를 3개의 부호화 단위(1414a, 1414b, 1414c)로 분할할 수 있다. 영상 복호화 장치(100)는 3개의 부호화 단위(1414a, 1414b, 1414c) 각각에 대한 인덱스를 할당할 수 있다. 영상 복호화 장치(100)는 홀수개로 분할된 부호화 단위 중 가운데 부호화 단위를 결정하기 위하여 각 부호화 단위에 대한 인덱스를 비교할 수 있다. 영상 복호화 장치(100)는 부호화 단위들의 인덱스에 기초하여 인덱스들 중 가운데 값에 해당하는 인덱스를 갖는 부호화 단위(1414b)를, 제1 부호화 단위(1410)가 분할되어 결정된 부호화 단위 중 가운데 위치의 부호화 단위로서 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 분할된 부호화 단위들의 구분을 위한 인덱스를 결정함에 있어서, 부호화 단위들이 서로 동일한 크기가 아닌 경우, 부호화 단위들 간의 크기 비율에 기초하여 인덱스를 결정할 수 있다. 도 14를 참조하면, 제1 부호화 단위(1410)가 분할되어 생성된 부호화 단위(1414b)는 다른 부호화 단위들(1414a, 1414c)와 너비는 동일하지만 높이가 다른 부호화 단위들(1414a, 1414c)의 높이의 두 배일 수 있다. 이 경우 가운데에 위치하는 부호화 단위(1414b)의 인덱스(PID)가 1이라면 그 다음 순서에 위치하는 부호화 단위(1414c)는 인덱스가 2가 증가한 3일수 있다. 이러한 경우처럼 균일하게 인덱스가 증가하다가 증가폭이 달라지는 경우, 영상 복호화 장치(100)는 다른 부호화 단위들과 다른 크기를 가지는 부호화 단위를 포함하는 복수개의 부호화 단위로 분할된 것으로 결정할 수 있다, 일 실시예에 따라 분할 형태 모드 정보가 홀수개의 부호화 단위로 분할됨을 나타내는 경우, 영상 복호화 장치(100)는 홀수개의 부호화 단위 중 소정 위치의 부호화 단위(예를 들면 가운데 부호화 단위)가 다른 부호화 단위와 크기가 다른 형태로 현재 부호화 단위를 분할할 수 있다. 이 경우 영상 복호화 장치(100)는 부호화 단위에 대한 인덱스(PID)를 이용하여 다른 크기를 가지는 가운데 부호화 단위를 결정할 수 있다. 다만 상술한 인덱스, 결정하고자 하는 소정 위치의 부호화 단위의 크기 또는 위치는 일 실시예를 설명하기 위해 특정한 것이므로 이에 한정하여 해석되어서는 안되며, 다양한 인덱스, 부호화 단위의 위치 및 크기가 이용될 수 있는 것으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위의 재귀적인 분할이 시작되는 소정의 데이터 단위를 이용할 수 있다.
도 15는 일 실시예에 따라 픽쳐에 포함되는 복수개의 소정의 데이터 단위에 따라 복수개의 부호화 단위들이 결정된 것을 도시한다.
일 실시예에 따라 소정의 데이터 단위는 부호화 단위가 분할 형태 모드 정보를 이용하여 재귀적으로 분할되기 시작하는 데이터 단위로 정의될 수 있다. 즉, 현재 픽쳐를 분할하는 복수개의 부호화 단위들이 결정되는 과정에서 이용되는 최상위 심도의 부호화 단위에 해당할 수 있다. 이하에서는 설명 상 편의를 위해 이러한 소정의 데이터 단위를 기준 데이터 단위라고 지칭하도록 한다.
일 실시예에 따라 기준 데이터 단위는 소정의 크기 및 형태를 나타낼 수 있다. 일 실시예에 따라, 기준 데이터 단위는 MxN의 샘플들을 포함할 수 있다. 여기서 M 및 N은 서로 동일할 수도 있으며, 2의 승수로 표현되는 정수일 수 있다. 즉, 기준 데이터 단위는 정사각형 또는 비-정사각형의 형태를 나타낼 수 있으며, 이후에 정수개의 부호화 단위로 분할될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 픽쳐를 복수개의 기준 데이터 단위로 분할할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 현재 픽쳐를 분할하는 복수개의 기준 데이터 단위를 각각의 기준 데이터 단위에 대한 분할 형태 모드 정보를 이용하여 분할할 수 있다. 이러한 기준 데이터 단위의 분할 과정은 쿼드 트리(quad-tree)구조를 이용한 분할 과정에 대응될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 픽쳐에 포함되는 기준 데이터 단위가 가질 수 있는 최소 크기를 미리 결정할 수 있다. 이에 따라, 영상 복호화 장치(100)는 최소 크기 이상의 크기를 갖는 다양한 크기의 기준 데이터 단위를 결정할 수 있고, 결정된 기준 데이터 단위를 기준으로 분할 형태 모드 정보를 이용하여 적어도 하나의 부호화 단위를 결정할 수 있다.
도 15를 참조하면, 영상 복호화 장치(100)는 정사각형 형태의 기준 부호화 단위(1500)를 이용할 수 있고, 또는 비-정사각형 형태의 기준 부호화 단위(1502)를 이용할 수도 있다. 일 실시예에 따라 기준 부호화 단위의 형태 및 크기는 적어도 하나의 기준 부호화 단위를 포함할 수 있는 다양한 데이터 단위(예를 들면, 시퀀스(sequence), 픽쳐(picture), 슬라이스(slice), 슬라이스 세그먼트(slice segment), 타일(tile), 타일 그룹(tile group), 최대부호화단위 등)에 따라 결정될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)의 비트스트림 획득부(110)는 기준 부호화 단위의 형태에 대한 정보 및 기준 부호화 단위의 크기에 대한 정보 중 적어도 하나를 상기 다양한 데이터 단위마다 비트스트림으로부터 획득할 수 있다. 정사각형 형태의 기준 부호화 단위(1500)에 포함되는 적어도 하나의 부호화 단위가 결정되는 과정은 도 3의 현재 부호화 단위(300)가 분할되는 과정을 통해 상술하였고, 비-정사각형 형태의 기준 부호화 단위(1502)에 포함되는 적어도 하나의 부호화 단위가 결정되는 과정은 도 4의 현재 부호화 단위(400 또는 450)가 분할되는 과정을 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 소정의 조건에 기초하여 미리 결정되는 일부 데이터 단위에 따라 기준 부호화 단위의 크기 및 형태를 결정하기 위하여, 기준 부호화 단위의 크기 및 형태를 식별하기 위한 인덱스를 이용할 수 있다. 즉, 비트스트림 획득부(110)는 비트스트림으로부터 상기 다양한 데이터 단위(예를 들면, 시퀀스, 픽쳐, 슬라이스, 슬라이스 세그먼트, 타일, 타일 그룹, 최대부호화단위 등) 중 소정의 조건(예를 들면 슬라이스 이하의 크기를 갖는 데이터 단위)을 만족하는 데이터 단위로서 슬라이스, 슬라이스 세그먼트, 타일, 타일 그룹, 최대부호화 단위 등 마다, 기준 부호화 단위의 크기 및 형태의 식별을 위한 인덱스만을 획득할 수 있다. 영상 복호화 장치(100)는 인덱스를 이용함으로써 상기 소정의 조건을 만족하는 데이터 단위마다 기준 데이터 단위의 크기 및 형태를 결정할 수 있다. 기준 부호화 단위의 형태에 대한 정보 및 기준 부호화 단위의 크기에 대한 정보를 상대적으로 작은 크기의 데이터 단위마다 비트스트림으로부터 획득하여 이용하는 경우, 비트스트림의 이용 효율이 좋지 않을 수 있으므로, 기준 부호화 단위의 형태에 대한 정보 및 기준 부호화 단위의 크기에 대한 정보를 직접 획득하는 대신 상기 인덱스만을 획득하여 이용할 수 있다. 이 경우 기준 부호화 단위의 크기 및 형태를 나타내는 인덱스에 대응하는 기준 부호화 단위의 크기 및 형태 중 적어도 하나는 미리 결정되어 있을 수 있다. 즉, 영상 복호화 장치(100)는 미리 결정된 기준 부호화 단위의 크기 및 형태 중 적어도 하나를 인덱스에 따라 선택함으로써, 인덱스 획득의 기준이 되는 데이터 단위에 포함되는 기준 부호화 단위의 크기 및 형태 중 적어도 하나를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 하나의 최대 부호화 단위에 포함하는 적어도 하나의 기준 부호화 단위를 이용할 수 있다. 즉, 영상을 분할하는 최대 부호화 단위에는 적어도 하나의 기준 부호화 단위가 포함될 수 있고, 각각의 기준 부호화 단위의 재귀적인 분할 과정을 통해 부호화 단위가 결정될 수 있다. 일 실시예에 따라 최대 부호화 단위의 너비 및 높이 중 적어도 하나는 기준 부호화 단위의 너비 및 높이 중 적어도 하나의 정수 배에 해당할 수 있다. 일 실시예에 따라 기준 부호화 단위의 크기는 최대 부호화 단위를 쿼드 트리 구조에 따라 n번 분할한 크기일 수 있다. 즉, 영상 복호화 장치(100)는 최대 부호화 단위를 쿼드 트리 구조에 따라 n 번 분할하여 기준 부호화 단위를 결정할 수 있고, 다양한 실시예들에 따라 기준 부호화 단위를 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 형태를 나타내는 블록 형태 정보 또는 현재 부호화 단위를 분할하는 방법을 나타내는 분할 형태 모드 정보를 비트스트림으로부터 획득하여 이용할 수 있다. 분할 형태 모드 정보는 다양한 데이터 단위와 관련된 비트스트림에 포함될 수 있다. 예를 들면, 영상 복호화 장치(100)는 시퀀스 파라미터 세트(sequence parameter set), 픽쳐 파라미터 세트(picture parameter set), 비디오 파라미터 세트(video parameter set), 슬라이스 헤더(slice header), 슬라이스 세그먼트 헤더(slice segment header), 타일 헤더(tile header), 타일 그룹 헤더(tile group header)에 포함된 분할 형태 모드 정보를 이용할 수 있다. 나아가, 영상 복호화 장치(100)는 최대 부호화 단위, 기준 부호화 단위마다 비트스트림으로부터 블록 형태 정보 또는 분할 형태 모드 정보에 대응하는 신택스 엘리먼트를 비트스트림으로부터 획득하여 이용할 수 있다.
이하 본 개시의 일 실시예에 따른 분할 규칙을 결정하는 방법에 대하여 자세히 설명한다.
영상 복호화 장치(100)는 영상의 분할 규칙을 결정할 수 있다. 분할 규칙은 영상 복호화 장치(100) 및 영상 부호화 장치(200) 사이에 미리 결정되어 있을 수 있다. 영상 복호화 장치(100)는 비트스트림으로부터 획득된 정보에 기초하여 영상의 분할 규칙을 결정할 수 있다. 영상 복호화 장치(100)는 시퀀스 파라미터 세트(sequence parameter set), 픽쳐 파라미터 세트(picture parameter set), 비디오 파라미터 세트(video parameter set), 슬라이스 헤더(slice header), 슬라이스 세그먼트 헤더(slice segment header), 타일 헤더(tile header), 타일 그룹 헤더(tile group header) 중 적어도 하나로부터 획득된 정보에 기초하여 분할 규칙을 결정할 수 있다. 영상 복호화 장치(100)는 분할 규칙을 프레임, 슬라이스, 타일, 템포럴 레이어(Temporal layer), 최대 부호화 단위 또는 부호화 단위에 따라 다르게 결정할 수 있다.
영상 복호화 장치(100)는 부호화 단위의 블록 형태에 기초하여 분할 규칙을 결정할 수 있다. 블록 형태는 부호화 단위의 크기, 모양, 너비 및 높이의 비율, 방향을 포함할 수 있다. 영상 부호화 장치(200) 및 영상 복호화 장치(100)는 부호화 단위의 블록 형태에 기초하여 분할 규칙을 결정할 것을 미리 결정할 수 있다. 하지만 이에 한정되는 것은 아니다. 영상 복호화 장치(100)는 영상 부호화 장치(200)로부터 수신된 비트스트림으로부터 획득된 정보에 기초하여, 분할 규칙을 결정할 수 있다.
부호화 단위의 모양은 정사각형(square) 및 비-정사각형(non-square)을 포함할 수 있다. 부호화 단위의 너비 및 높이의 길이가 같은 경우, 영상 복호화 장치(100)는 부호화 단위의 모양을 정사각형으로 결정할 수 있다. 또한, . 부호화 단위의 너비 및 높이의 길이가 같지 않은 경우, 영상 복호화 장치(100)는 부호화 단위의 모양을 비-정사각형으로 결정할 수 있다.
부호화 단위의 크기는 4x4, 8x4, 4x8, 8x8, 16x4, 16x8, ... , 256x256의 다양한 크기를 포함할 수 있다. 부호화 단위의 크기는 부호화 단위의 긴변의 길이, 짧은 변의 길이 또는 넓이에 따라 분류될 수 있다. 영상 복호화 장치(100)는 동일한 그룹으로 분류된 부호화 단위에 동일한 분할 규칙을 적용할 수 있다. 예를 들어 영상 복호화 장치(100)는 동일한 긴변의 길이를 가지는 부호화 단위를 동일한 크기로 분류할 수 있다. 또한 영상 복호화 장치(100)는 동일한 긴변의 길이를 가지는 부호화 단위에 대하여 동일한 분할 규칙을 적용할 수 있다.
부호화 단위의 너비 및 높이의 비율은 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 32:1 또는 1:32 등을 포함할 수 있다. 또한, 부호화 단위의 방향은 수평 방향 및 수직 방향을 포함할 수 있다. 수평 방향은 부호화 단위의 너비의 길이가 높이의 길이보다 긴 경우를 나타낼 수 있다. 수직 방향은 부호화 단위의 너비의 길이가 높이의 길이보다 짧은 경우를 나타낼 수 있다.
영상 복호화 장치(100)는 부호화 단위의 크기에 기초하여 분할 규칙을 적응적으로 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 크기에 기초하여 허용가능한 분할 형태 모드를 다르게 결정할 수 있다. 예를 들어, 영상 복호화 장치(100)는 부호화 단위의 크기에 기초하여 분할이 허용되는지 여부를 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 크기에 따라 분할 방향을 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 크기에 따라 허용가능한 분할 타입을 결정할 수 있다.
부호화 단위의 크기에 기초하여 분할 규칙을 결정하는 것은 영상 부호화 장치(200) 및 영상 복호화 장치(100) 사이에 미리 결정된 분할 규칙일 수 있다. 또한, 영상 복호화 장치(100)는 비트스트림으로부터 획득된 정보에 기초하여, 분할 규칙을 결정할 수 있다.
영상 복호화 장치(100)는 부호화 단위의 위치에 기초하여 분할 규칙을 적응적으로 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위가 영상에서 차지하는 위치에 기초하여 분할 규칙을 적응적으로 결정할 수 있다.
또한, 영상 복호화 장치(100)는 서로 다른 분할 경로로 생성된 부호화 단위가 동일한 블록 형태를 가지지 않도록 분할 규칙을 결정할 수 있다. 다만 이에 한정되는 것은 아니며 서로 다른 분할 경로로 생성된 부호화 단위는 동일한 블록 형태를 가질 수 있다. 서로 다른 분할 경로로 생성된 부호화 단위들은 서로 다른 복호화 처리 순서를 가질 수 있다. 복호화 처리 순서에 대해서는 도 12와 함께 설명하였으므로 자세한 설명은 생략한다.
도 16은 일 실시예에 따라 부호화 단위가 분할될 수 있는 형태의 조합이 픽쳐마다 서로 다른 경우, 각각의 픽쳐마다 결정될 수 있는 부호화 단위들을 도시한다.
도 16을 참조하면, 영상 복호화 장치(100)는 픽쳐마다 부호화 단위가 분할될 수 있는 분할 형태들의 조합을 다르게 결정할 수 있다. 예를 들면, 영상 복호화 장치(100)는 영상에 포함되는 적어도 하나의 픽쳐들 중 4개의 부호화 단위로 분할될 수 있는 픽쳐(1600), 2개 또는 4개의 부호화 단위로 분할될 수 있는 픽쳐(1610) 및 2개, 3개 또는 4개의 부호화 단위로 분할될 수 있는 픽쳐(1620)를 이용하여 영상을 복호화 할 수 있다. 영상 복호화 장치(100)는 픽쳐(1600)를 복수개의 부호화 단위로 분할하기 위하여, 4개의 정사각형의 부호화 단위로 분할됨을 나타내는 분할 형태 정보만을 이용할 수 있다. 영상 복호화 장치(100)는 픽쳐(1610)를 분할하기 위하여, 2개 또는 4개의 부호화 단위로 분할됨을 나타내는 분할 형태 정보만을 이용할 수 있다. 영상 복호화 장치(100)는 픽쳐(1620)를 분할하기 위하여, 2개, 3개 또는 4개의 부호화 단위로 분할됨을 나타내는 분할 형태 정보만을 이용할 수 있다. 상술한 분할 형태의 조합은 영상 복호화 장치(100)의 동작을 설명하기 위한 실시예에 불과하므로 상술한 분할 형태의 조합은 상기 실시예에 한정하여 해석되어서는 안되며 소정의 데이터 단위마다 다양한 형태의 분할 형태의 조합이 이용될 수 있는 것으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)의 비트스트림 획득부(110)는 분할 형태 정보의 조합을 나타내는 인덱스를 포함하는 비트스트림을 소정의 데이터 단위 단위(예를 들면, 시퀀스, 픽쳐, 슬라이스, 슬라이스 세그먼트, 타일 또는 타일 그룹 등)마다 획득할 수 있다. 예를 들면, 비트스트림 획득부(110)는 시퀀스 파라미터 세트(Sequence Parameter Set), 픽쳐 파라미터 세트(Picture Parameter Set), 슬라이스 헤더(Slice Header), 타일 헤더(tile header) 또는 타일 그룹 헤더(tile group header)에서 분할 형태 정보의 조합을 나타내는 인덱스를 획득할 수 있다. 영상 복호화 장치(100)의 영상 복호화 장치(100)는 획득한 인덱스를 이용하여 소정의 데이터 단위마다 부호화 단위가 분할될 수 있는 분할 형태의 조합을 결정할 수 있으며, 이에 따라 소정의 데이터 단위마다 서로 다른 분할 형태의 조합을 이용할 수 있다.
도 17은 일 실시예에 따라 바이너리(binary)코드로 표현될 수 있는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 다양한 형태를 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 블록 형태 정보 및 분할 형태 모드 정보를 이용하여 부호화 단위를 다양한 형태로 분할할 수 있다. 분할될 수 있는 부호화 단위의 형태는 상술한 실시예들을 통해 설명한 형태들을 포함하는 다양한 형태에 해당할 수 있다.
도 17을 참조하면, 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 정사각형 형태의 부호화 단위를 수평 방향 및 수직 방향 중 적어도 하나의 방향으로 분할할 수 있고, 비-정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)가 정사각형 형태의 부호화 단위를 수평 방향 및 수직 방향으로 분할하여 4개의 정사각형의 부호화 단위로 분할할 수 있는 경우, 정사각형의 부호화 단위에 대한 분할 형태 모드 정보가 나타낼 수 있는 분할 형태는 4가지일 수 있다. 일 실시예에 따라 분할 형태 모드 정보는 2자리의 바이너리 코드로써 표현될 수 있으며, 각각의 분할 형태마다 바이너리 코드가 할당될 수 있다. 예를 들면 부호화 단위가 분할되지 않는 경우 분할 형태 모드 정보는 (00)b로 표현될 수 있고, 부호화 단위가 수평 방향 및 수직 방향으로 분할되는 경우 분할 형태 모드 정보는 (01)b로 표현될 수 있고, 부호화 단위가 수평 방향으로 분할되는 경우 분할 형태 모드 정보는 (10)b로 표현될 수 있고 부호화 단위가 수직 방향으로 분할되는 경우 분할 형태 모드 정보는 (11)b로 표현될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 비-정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할하는 경우 분할 형태 모드 정보가 나타낼 수 있는 분할 형태의 종류는 몇 개의 부호화 단위로 분할하는지에 따라 결정될 수 있다. 도 17을 참조하면, 영상 복호화 장치(100)는 일 실시예에 따라 비-정사각형 형태의 부호화 단위를 3개까지 분할할 수 있다. 영상 복호화 장치(100)는 부호화 단위를 두 개의 부호화 단위로 분할할 수 있으며, 이 경우 분할 형태 모드 정보는 (10)b로 표현될 수 있다. 영상 복호화 장치(100)는 부호화 단위를 세 개의 부호화 단위로 분할할 수 있으며, 이 경우 분할 형태 모드 정보는 (11)b로 표현될 수 있다. 영상 복호화 장치(100)는 부호화 단위를 분할하지 않는 것으로 결정할 수 있으며, 이 경우 분할 형태 모드 정보는 (0)b로 표현될 수 있다. 즉, 영상 복호화 장치(100)는 분할 형태 모드 정보를 나타내는 바이너리 코드를 이용하기 위하여 고정길이 코딩(FLC: Fixed Length Coding)이 아니라 가변길이 코딩(VLC: Varaible Length Coding)을 이용할 수 있다.
일 실시예에 따라 도 17을 참조하면, 부호화 단위가 분할되지 않는 것을 나타내는 분할 형태 모드 정보의 바이너리 코드는 (0)b로 표현될 수 있다. 만일 부호화 단위가 분할되지 않음을 나타내는 분할 형태 모드 정보의 바이너리 코드가 (00)b로 설정된 경우라면, (01)b로 설정된 분할 형태 모드 정보가 없음에도 불구하고 2비트의 분할 형태 모드 정보의 바이너리 코드를 모두 이용하여야 한다. 하지만 도 17에서 도시하는 바와 같이, 비-정사각형 형태의 부호화 단위에 대한 3가지의 분할 형태를 이용하는 경우라면, 영상 복호화 장치(100)는 분할 형태 모드 정보로서 1비트의 바이너리 코드(0)b를 이용하더라도 부호화 단위가 분할되지 않는 것을 결정할 수 있으므로, 비트스트림을 효율적으로 이용할 수 있다. 다만 분할 형태 모드 정보가 나타내는 비-정사각형 형태의 부호화 단위의 분할 형태는 단지 도 17에서 도시하는 3가지 형태만으로 국한되어 해석되어서는 안되고, 상술한 실시예들을 포함하는 다양한 형태로 해석되어야 한다.
도 18은 일 실시예에 따라 바이너리 코드로 표현될 수 있는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 또 다른 형태를 도시한다.
도 18을 참조하면 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할할 수 있고, 비-정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할할 수 있다. 즉, 분할 형태 모드 정보는 정사각형 형태의 부호화 단위를 한쪽 방향으로 분할되는 것을 나타낼 수 있다. 이러한 경우 정사각형 형태의 부호화 단위가 분할되지 않는 것을 나타내는 분할 형태 모드 정보의 바이너리 코드는 (0)b로 표현될 수 있다. 만일 부호화 단위가 분할되지 않음을 나타내는 분할 형태 모드 정보의 바이너리 코드가 (00)b로 설정된 경우라면, (01)b로 설정된 분할 형태 모드 정보가 없음에도 불구하고 2비트의 분할 형태 모드 정보의 바이너리 코드를 모두 이용하여야 한다. 하지만 도 18에서 도시하는 바와 같이, 정사각형 형태의 부호화 단위에 대한 3가지의 분할 형태를 이용하는 경우라면, 영상 복호화 장치(100)는 분할 형태 모드 정보로서 1비트의 바이너리 코드(0)b를 이용하더라도 부호화 단위가 분할되지 않는 것을 결정할 수 있으므로, 비트스트림을 효율적으로 이용할 수 있다. 다만 분할 형태 모드 정보가 나타내는 정사각형 형태의 부호화 단위의 분할 형태는 단지 도 18에서 도시하는 3가지 형태만으로 국한되어 해석되어서는 안되고, 상술한 실시예들을 포함하는 다양한 형태로 해석되어야 한다.
일 실시예에 따라 블록 형태 정보 또는 분할 형태 모드 정보는 바이너리 코드를 이용하여 표현될 수 있고, 이러한 정보가 곧바로 비트스트림으로 생성될 수 있다. 또한 바이너리 코드로 표현될 수 있는 블록 형태 정보 또는 분할 형태 모드 정보는 바로 비트스트림으로 생성되지 않고 CABAC(context adaptive binary arithmetic coding)에서 입력되는 바이너리 코드로서 이용될 수도 있다.
일 실시예에 따라 영상 복호화 장치(100)는 CABAC을 통해 블록 형태 정보 또는 분할 형태 모드 정보에 대한 신택스를 획득하는 과정을 설명한다. 비트스트림 획득부(110)를 통해 상기 신택스에 대한 바이너리 코드를 포함하는 비트스트림을 획득할 수 있다. 영상 복호화 장치(100)는 획득한 비트스트림에 포함되는 빈 스트링(bin string)을 역 이진화하여 블록 형태 정보 또는 분할 형태 모드 정보를 나타내는 신택스 요소(syntax element)를 검출할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 복호화할 신택스 요소에 해당하는 바이너리 빈 스트링의 집합을 구하고, 확률 정보를 이용하여 각각의 빈을 복호화할 수 있고, 영상 복호화 장치(100)는 이러한 복호화된 빈으로 구성되는 빈 스트링이 이전에 구한 빈 스트링들 중 하나와 같아질 때까지 반복할수 있다. 영상 복호화 장치(100)는 빈 스트링의 역 이진화를 수행하여 신택스 요소를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 적응적 이진 산술 코딩(adaptive binary arithmetic coding)의 복호화 과정을 수행하여 빈 스트링에 대한 신택스를 결정할 수 있고, 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 빈들에 대한 확률 모델을 갱신할 수 있다. 도 17을 참조하면, 영상 복호화 장치(100)의 비트스트림 획득부(110)는 일 실시예에 따라 분할 형태 모드 정보를 나타내는 바이너리 코드를 나타내는 비트스트림을 획득할 수 있다. 획득한 1비트 또는 2비트의 크기를 가지는 바이너리 코드를 이용하여 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 신택스를 결정할 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 신택스를 결정하기 위하여, 2비트의 바이너리 코드 중 각각의 비트에 대한 확률을 갱신할 수 있다. 즉, 영상 복호화 장치(100)는 2비트의 바이너리 코드 중 첫번째 빈의 값이 0 또는 1 중 어떤 값이냐에 따라, 다음 빈을 복호화 할 때 0 또는 1의 값을 가질 확률을 갱신할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 신택스를 결정하는 과정에서, 신택스에 대한 빈 스트링의 빈들을 복호화 하는 과정에서 이용되는 빈들에 대한 확률을 갱신할 수 있으며, 영상 복호화 장치(100)는 상기 빈 스트링 중 특정 비트에서는 확률을 갱신하지 않고 동일한 확률을 가지는 것으로 결정할 수 있다.
도 17을 참조하면, 비-정사각형 형태의 부호화 단위에 대한 분할 형태 모드 정보를 나타내는 빈 스트링을 이용하여 신택스를 결정하는 과정에서, 영상 복호화 장치(100)는 비-정사각형 형태의 부호화 단위를 분할하지 않는 경우에는 0의 값을 가지는 하나의 빈을 이용하여 분할 형태 모드 정보에 대한 신택스를 결정할 수 있다. 즉, 블록 형태 정보가 현재 부호화 단위는 비-정사각형 형태임을 나타내는 경우, 분할 형태 모드 정보에 대한 빈 스트링의 첫번째 빈은, 비-정사각형 형태의 부호화 단위가 분할되지 않는 경우 0이고, 2개 또는 3개의 부호화 단위로 분할되는 경우 1일 수 있다. 이에 따라 비-정사각형의 부호화 단위에 대한 분할 형태 모드 정보의 빈 스트링의 첫번째 빈이 0일 확률은 1/3, 1일 확률은 2/3일 수 있다. 상술하였듯이 영상 복호화 장치(100)는 비-정사각형 형태의 부호화 단위가 분할되지 않는 것을 나타내는 분할 형태 모드 정보는 0의 값을 가지는 1비트의 빈 스트링만을 표현될 수 있으므로, 영상 복호화 장치(100)는 분할 형태 모드 정보의 첫번째 빈이 1인 경우에만 두번째 빈이 0인지 1인지 판단하여 분할 형태 모드 정보에 대한 신택스를 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 첫번째 빈이 1인 경우, 두번째 빈이 0 또는 1일 확률은 서로 동일한 확률인 것으로 보고 빈을 복호화할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 빈 스트링의 빈을 결정하는 과정에서 각각의 빈에 대한 다양한 확률을 이용할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 비-정사각형 블록의 방향에 따라 분할 형태 모드 정보에 대한 빈의 확률을 다르게 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 넓이 또는 긴 변의 길이에 따라 분할 형태 모드 정보에 대한 빈의 확률을 다르게 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 형태 및 긴 변의 길이 중 적어도 하나에 따라 분할 형태 모드 정보에 대한 빈의 확률을 다르게 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 소정 크기 이상의 부호화 단위들에 대하여는 분할 형태 모드 정보에 대한 빈의 확률을 동일한 것으로 결정할 수 있다. 예를 들면, 부호화 단위의 긴 변의 길이를 기준으로 64샘플 이상의 크기의 부호화 단위들에 대하여는 분할 형태 모드 정보에 대한 빈의 확률이 동일한 것으로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보의 빈 스트링을 구성하는 빈들에 대한 초기 확률은 슬라이스 타입(예를 들면, I 슬라이스, P 슬라이스 또는 B 슬라이스)에 기초하여 결정될 수 있다.
도 19는 일 실시예에 따른 영상 부호화 및 복호화 시스템의 블록도를 나타낸 도면이다.
영상 부호화 및 복호화 시스템(1900)의 부호화단(1910)은 영상의 부호화된 비트스트림을 전송하고, 복호화단(1950)은 비트스트림을 수신하여 복호화함으로써 복원 영상을 출력한다. 여기서 부호화단(1910)은 후술할 영상 부호화 장치(200)에 유사한 구성일 수 있고, 복호화단(1950)은 영상 복호화 장치(100)에 유사한 구성일 수 있다.
부호화단(1910)에서, 예측 부호화부(1915)는 인터 예측 및 인트라 예측을 통해 예측 데이터를 출력하고, 변환 및 양자화부(1920)는 예측 데이터와 현재 입력 영상 간의 레지듀얼 데이터의 양자화된 변환 계수를 출력한다. 엔트로피 부호화부(1925)는 양자화된 변환 계수를 부호화하여 변환하고 비트스트림으로 출력한다. 양자화된 변환 계수는 역양자화 및 역변환부(1930)을 거쳐 공간 영역의 데이터로 복원되고, 복원된 공간 영역의 데이터는 디블로킹 필터링부(1935) 및 루프 필터링부(1940)를 거쳐 복원 영상으로 출력된다. 복원 영상은 예측 부호화부(1915)를 거쳐 다음 입력 영상의 참조 영상으로 사용될 수 있다.
복호화단(1950)으로 수신된 비트스트림 중 부호화된 영상 데이터는, 엔트로피 복호화부(1955) 및 역양자화 및 역변환부(1960)를 거쳐 공간 영역의 레지듀얼 데이터로 복원된다. 예측 복호화부(1975)로부터 출력된 예측 데이터 및 레지듀얼 데이터가 조합되어 공간 영역의 영상 데이터가 구성되고, 디블로킹 필터링부(1965) 및 루프 필터링부(1970)는 공간 영역의 영상 데이터에 대해 필터링을 수행하여 현재 원본 영상에 대한 복원 영상을 출력할 수 있다. 복원 영상은 예측 복호화부(1975)에 의해 다음 원본 영상에 대한 참조 영상으로서 이용될 수 있다.
부호화단(1910)의 루프 필터링부(1940)는 사용자 입력 또는 시스템 설정에 따라 입력된 필터 정보를 이용하여 루프 필터링을 수행한다. 루프 필터링부(1940)에 의해 사용된 필터 정보는 엔트로피 부호화부(1925)로 출력되어, 부호화된 영상 데이터와 함께 복호화단(1950)으로 전송된다. 복호화단(1950)의 루프 필터링부(1970)는 복호화단(1950)으로부터 입력된 필터 정보에 기초하여 루프 필터링을 수행할 수 있다.
상술한 다양한 실시예들은 영상 복호화 장치(100)이 수행하는 영상 복호화 방법과 관련된 동작을 설명한 것이다. 이하에서는 이러한 영상 복호화 방법에 역순의 과정에 해당하는 영상 부호화 방법을 수행하는 영상 부호화 장치(200)의 동작을 다양한 실시예를 통해 설명하도록 한다.
도 2는 일 실시예에 따라 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 영상을 부호화 할 수 있는 영상 부호화 장치(200)의 블록도를 도시한다.
영상 부호화 장치(200)는 부호화부(220) 및 비트스트림 생성부(210)를 포함할 수 있다. 부호화부(220)는 입력 영상을 수신하여 입력 영상을 부호화할 수 있다. 부호화부(220)는 입력 영상을 부호화하여 적어도 하나의 신택스 엘리먼트를 획득할 수 있다. 신택스 엘리먼트는 skip flag, prediction mode, motion vector difference, motion vector prediction method (or index), transform quantized coefficient, coded block pattern, coded block flag, intra prediction mode, direct flag, merge flag, delta QP, reference index, prediction direction, transform index 중 적어도 하나를 포함할 수 있다. 부호화부(220)는 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나를 포함하는 블록 형태 정보에 기초하여 컨텍스트 모델을 결정할 수 있다.
비트스트림 생성부(210)는 부호화된 입력 영상에 기초하여 비트스트림을 생성할 수 있다. 예를 들어 비트스트림 생성부(210)는 컨텍스트 모델에 기초하여 신택스 엘리먼트를 엔트로피 부호화함으로써 비트스트림을 생성할 수 있다. 또한 영상 부호화 장치(200)는 비트스트림을 영상 복호화 장치(100)로 전송할 수 있다.
일 실시예에 따라 영상 부호화 장치(200)의 부호화부(220)는 부호화 단위의 형태를 결정할 수 있다. 예를 들면 부호화 단위가 정사각형인지 또는 비-정사각형의 형태를 가질 수 있고, 이러한 형태를 나타내는 정보는 블록 형태 정보에 포함될 수 있다.
일 실시예에 따라 부호화부(220)는 부호화 단위가 어떤 형태로 분할될지를 결정할 수 있다. 부호화부(220)는 부호화 단위에 포함되는 적어도 하나의 부호화 단위의 형태를 결정할 수 있고 비트스트림 생성부(210)는 이러한 부호화 단위의 형태에 대한 정보를 포함하는 분할 형태 모드 정보를 포함하는 비트스트림을 생성할 수 있다.
일 실시예에 따라 부호화부(220)는 부호화 단위가 분할되는지 분할되지 않는지 여부를 결정할 수 있다. 부호화부(220)가 부호화 단위에 하나의 부호화 단위만이 포함되거나 또는 부호화 단위가 분할되지 않는 것으로 결정하는 경우 비트스트림 생성부(210)는 부호화 단위가 분할되지 않음을 나타내는 분할 형태 모드 정보를 포함하는 비트스트림을 생성할 수 있다. 또한 부호화부(220)는 부호화 단위에 포함되는 복수개의 부호화 단위로 분할할 수 있고, 비트스트림 생성부(210)는 부호화 단위는 복수개의 부호화 단위로 분할됨을 나타내는 분할 형태 모드 정보를 포함하는 비트스트림을 생성할 수 있다.
일 실시예에 따라 부호화 단위를 몇 개의 부호화 단위로 분할할지를 나타내거나 어느 방향으로 분할할지를 나타내는 정보가 분할 형태 모드 정보에 포함될 수 있다. 예를 들면 분할 형태 모드 정보는 수직 방향 및 수평 방향 중 적어도 하나의 방향으로 분할하는 것을 나타내거나 또는 분할하지 않는 것을 나타낼 수 있다.
영상 부호화 장치(200)는 부호화 단위의 분할 형태 모드에 기초하여 분할 형태 모드에 대한 정보를 결정한다. 영상 부호화 장치(200)는 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나에 기초하여 컨텍스트 모델을 결정한다. 그리고, 영상 부호화 장치(200)는 컨텍스트 모델에 기초하여 부호화 단위를 분할하기 위한 분할 형태 모드에 대한 정보를 비트스트림으로 생성한다.
영상 부호화 장치(200)는 컨텍스트 모델을 결정하기 위하여, 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나와 컨텍스트 모델에 대한 인덱스를 대응시키기 위한 배열을 획득할 수 있다. 영상 부호화 장치(200)는 배열에서 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나에 기초하여 컨텍스트 모델에 대한 인덱스를 획득할 수 있다. 영상 부호화 장치(200)는 컨텍스트 모델에 대한 인덱스에 기초하여 컨텍스트 모델을 결정할 수 있다.
영상 부호화 장치(200)는, 컨텍스트 모델을 결정하기 위하여, 부호화 단위에 인접한 주변 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나를 포함하는 블록 형태 정보에 더 기초하여 컨텍스트 모델을 결정할 수 있다. 또한 주변 부호화 단위는 부호화 단위의 좌하측, 좌측, 좌상측, 상측, 우상측, 우측 또는 우하측에 위치한 부호화 단위 중 적어도 하나를 포함할 수 있다.
또한, 영상 부호화 장치(200)는, 컨텍스트 모델을 결정하기 위하여, 상측 주변 부호화 단위의 너비의 길이와 부호화 단위의 너비의 길이를 비교할 수 있다. 또한, 영상 부호화 장치(200)는 좌측 및 우측의 주변 부호화 단위의 높이의 길이와 부호화 단위의 높이의 길이를 비교할 수 있다. 또한, 영상 부호화 장치(200)는 비교 결과들에 기초하여 컨텍스트 모델을 결정할 수 있다.
영상 부호화 장치(200)의 동작은 도 3 내지 도 19에서 설명한 비디오 복호화 장치(100)의 동작과 유사한 내용을 포함하고 있으므로, 상세한 설명은 생략한다.
도 20은 일 실시예에 따른 필터링 장치의 구성을 도시하는 블록도이다.
도 20을 참조하면, 필터링 장치(2000)는 분류기(2010) 및 필터부(2030)를 포함할 수 있다.
분류기(2010) 및 필터부(2030)는 적어도 하나의 프로세서로 구현될 수 있다. 적어도 하나의 프로세서는 프로세싱 회로(processing circuitry)를 포함할 수 있다.
분류기(2010) 및 필터부(2030)는 적어도 하나의 메모리에 저장된 적어도 하나의 인스트럭션에 따라 동작할 수 있다.
필터링 장치(2000)는 분류기(2010) 및 필터부(2030)의 입출력 데이터를 저장하는 적어도 하나의 메모리를 포함할 수 있다. 필터링 장치(2000)는, 적어도 하나의 메모리의 데이터 입출력을 제어하는 메모리 제어부를 포함할 수 있다.
일 실시예에서, 필터링 장치(2000)는 도 19에 도시된 루프 필터링부(1940, 1970)에 대응할 수 있다. 일 실시예에서, 필터링 장치(2000)는 영상 복호화 장치(100) 및 영상 부호화 장치(200) 각각에 포함될 수 있다.
일 실시예에서, 필터링 장치(2000)는 입력된 영상으로부터 필터링된 영상을 생성할 수 있다. 필터링 장치(2000)는 영상에 포함된 샘플들 또는 블록들을 특성에 따라 분류하고, 분류 결과에 적합한 필터를 이용하여 영상에 포함된 샘플을 필터링할 수 있다.
일 실시예에서, 분류기(2010)는 영상에 포함된 샘플들 또는 블록들 각각이 여러 클래스 중 어느 클래스에 속하는지를 결정할 수 있다.
필터부(2030)는 분류기(2010)에 의한 분류 결과 또는 필터 정보 중 적어도 하나를 고려하여 블록 내 샘플들의 필터링에 이용될 필터(또는 필터 계수들)를 결정할 수 있다. 필터부(2030)는 적응적으로 결정된 필터를 어느 하나의 샘플과 그 주변 샘플들에 적용하여 필터링된 샘플을 생성할 수 있다.
일 실시예에서, 분류기(2010)에 의한 분류 프로세스가 블록 단위로 수행된다면, 동일한 블록에 포함된 샘플들에 대해 동일한 필터가 적용될 수 있다. 일 실시예에서, 분류기(2010)에 의한 분류 프로세스가 샘플 단위로 수행된다면, 영상 내 샘플들 각각에 대해 샘플 별로 독립적으로 결정된 필터가 적용될 수 있다.
일 실시예에서, 분류기(2010)에 의해 분류되는 영상은 복원 영상, 가우시안 필터링된 영상(Gaussian-filtered image), 블록킹 필터 이전 영상(before-blocking-filter image), 디블로킹 필터링된 복원 영상(deblocking filtered reconstructed image), 예측 영상, 잔차 영상, 고정된 필터(fixed filter)가 적용된 복원 영상, 고정된 필터가 적용된 예측 영상 또는 고정된 필터가 적용된 잔차 영상 중 적어도 하나를 포함할 수 있다.
여기서, 예측 영상은 블록들에 대한 인트라 예측 또는 인터 예측을 통해 생성된 영상일 수 있고, 잔차 영상은 원본 영상과 예측 영상 사이의 차이에 대응하는 영상일 수 있다. 또한, 복원 영상은 예측 영상과 잔차 영상의 결합 결과로 생성되는 영상일 수 있다.
디블로킹 필터는 블록들 사이의 아티팩트를 제거하기 위해 복원 영상에 대해 적용될 수 있다. 고정된 필터는 영상 부호화 장치(200)와 영상 복호화 장치(100) 간에 필터 계수들이 미리 약속된 필터를 나타낼 수 있다. 다시 말해, 고정된 필터는 영상 부호화 장치(200) 및 영상 복호화 장치(100)에 미리 정의된 필터를 나타낼 수 있다.
일 실시예에서, 필터부(2030)에 의해 필터링되는 영상은 복원 영상, 가우시안 필터링된 영상, 블록킹 필터 이전 영상, 디블로킹 필터링된 복원 영상, 예측 영상, 잔차 영상, 고정된 필터가 적용된 복원 영상, 고정된 필터가 적용된 예측 영상 또는 고정된 필터가 적용된 잔차 영상 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 필터부(2030)에 의해 복수의 영상들이 필터링되는 경우, 필터링된 영상들이 결합(예를 들어, 가중 결합)됨으로써 최종 필터링된 영상이 획득될 수 있다.
일 실시예에서, 분류기(2010)에 의해 분류되는 영상과 필터부(2030)에 의해 필터링되는 영상의 종류는 서로 상이할 수 있다. 예를 들어, 잔차 영상에 대한 분류 결과에 기초하여 디블로킹 필터링된 복원 영상이 필터링될 수 있다. 또 다른 예로, 디블로킹 필터링된 복원 영상 또는 잔차 영상에 대한 분류 결과에 기초하여 복원 영상, 디블로킹 필터링된 복원 영상, 고정된 필터가 적용된 복원 영상, 잔차 영상 및 고정된 필터가 적용된 잔차 영상이 필터링될 수 있다.
분류기(2010)에 의해 분류되는 영상과 필터부(2030)에 의해 필터링되는 영상의 종류는 언급된 예시에 제한되지 않으며 다양한 여러 조합으로 결정될 수 있다.
일 실시예에서, 분류기(2010)에 의해 분류되는 영상과 필터부(2030)에 의해 필터링되는 영상의 종류는 서로 동일할 수도 있다.
이하에서는, 분류기(2010) 및 필터부(2030)로 현재 영상이 입력되는 것으로 설명하지만, 분류기(2010)로 입력되는 영상의 종류와 필터부(2030)로 입력되는 영상의 종류는 동일할 수도 있고, 서로 상이할 수 있다.
분류기(2010)에 의해 현재 영상의 분류 결과가 획득되면, 필터부(2030)는 분류 결과 및/또는 필터 정보에 따라 현재 영상 내 샘플을 필터링하는데 적합한 필터를 결정할 수 있다. 그리고, 필터부(2030)는 결정된 필터를 이용하여 현재 영상 내 샘플을 필터링할 수 있다.
일 실시예에서, 필터 정보는 비트스트림으로부터 획득될 수 있다. 또는, 일 실시예에서, 필터 정보는 영상 부호화 장치(200)와 영상 복호화 장치(100)에서 동일한 방법으로 별도의 시그널링 없이 유도될 수 있다.
일 실시예에서, 비트스트림은 영상의 부호화 결과에 대응할 수 있다. 일 실시예에서, 비트스트림은 영상 부호화 장치(200)에 의해 생성되어 영상 복호화 장치(100)로 전달될 수 있다.
일 실시예에서, 비트스트림은 광학 미디어, 하드디스크 등과 같은 저장 매체에 저장될 수도 있다.
일 실시예에서, 필터 정보는 현재 영상 또는 현재 영상 내 블록(예를 들어, 슬라이스, 최대 부호화 단위 또는 최대 부호화 단위의 그룹 등)에 대해 적응적 필터링이 적용되는지 여부를 나타내는 정보, 비트스트림에 포함된 여러 APS(adaptation parameter set) 중 어느 APS가 현재 영상 또는 현재 영상 내 블록에 대해 사용되는지를 나타내는 정보, 또는 여러 필터 세트 중 어느 필터 세트가 현재 영상 또는 현재 영상 내 블록에 대해 사용되는지를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에서, APS는 필터 계수들에 대한 정보를 포함할 수 있고, 분류기(2010)에 의한 분류 결과로부터 식별되는 필터가 현재 영상 내 샘플에 적용될 수 있다. 일 실시예에서, 분류기(2010)에 의한 분류 결과는 현재 블록의 클래스(또는 클래스 인덱스)일 수 있다. 분류 결과로부터 식별되는 필터는 필터 세트 내에서 현재 블록의 클래스에 대응하는 필터일 수 있다.
본 개시의 실시예에 따르면, 고정된 필터의 출력은 그대로 최종 필터링된 영상으로 출력될 수도 있고, 시그널링되는 필터가 적용되는 중간 샘플(intermediate sample)로 이용될 수도 있다. 일 예로서, 시그널링되는 필터는 APS를 통해 시그널링되는 필터 세트에 포함되는 필터를 나타낼 수 있다.
본 개시에서, 시그널링되는 필터를 이용한 필터링은 온라인 필터링으로 지칭될 수 있고, 고정된 필터를 이용한 필터링은 오프라인 필터링으로 지칭될 수 있다. 또한, 시그널링되는 필터는 온라인 필터로 지칭될 수 있고, 고정된 필터는 오프라인 필터로 지칭될 수 있다.
도 21은 일 실시예에 따른 필터를 예시하는 도면이다.
일 실시예에서, 영상을 필터링함에 있어서, 도 21에 도시된 바와 같은 제1 필터(2110), 제2 필터(2120), 제3 필터(2130)가 이용될 수 있다. 제1 샘플(2111), 제2 샘플(2131), 제3 샘플(2131)은 각각 제1 필터(2110), 제2 필터(2120), 제3 필터(2130)를 이용하여 필터링되는 샘플(현재 샘플로 지칭될 수 있음)을 나타낼 수 있다.
일 실시예에서, 제1 필터(2110)는 루마 복원 영상에 적용될 수 있고, 제2 필터(2120)는 크로마 복원 영상에 적용될 수 있다. 제3 필터(2130)는 고정된 필터가 적용된 복원 영상에 적용될 수 있다. 또는, 제3 필터(2130)는 복원 영상에 적용되는 고정된 필터의 일 예일 수 있다.
일 실시예에서, 루마 복원 영상에 적용되는 제1 필터(2110) 및 크로마 복원 영상에 적용되는 제2 필터(2120)는 도 21에 도시된 바와 같이 9x9 크기일 수 있다. 제3 필터(2130)는 도 21에 도시된 바와 같이 13x13 크기일 수 있다. 다만, 도 21은 일 예로서, 본 개시의 실시예가 이에 제한되는 것은 아니며, 제1 내지 제3 필터(2110, 2120, 2130)는 다양한 크기로 정의될 수 있다.
필터부(2030)는 분류기(2010)의 분류 결과 및/또는 필터 정보에 기초하여 제1 필터(2110), 제2 필터(2120) 및 제3 필터(2130) 중 적어도 하나에 포함되는 필터 계수들을 결정할 수 있다. 예를 들어, 현재 영상 내 현재 블록의 클래스 및 현재 영상의 필터링에 이용되는 필터 세트에 기초하여, 제1 필터(2110)의 0번 내지 9번의 필터 계수, 제2 필터(2120)의 0번 내지 19번의 필터 계수, 및 제3 필터(2130)의 0번 내지 17번 필터 계수가 결정될 수 있다.
일 실시예에서, 영상의 필터링에 하나 이상의 필터가 이용될 수 있다. 도 21에 도시된 필터 형태는 하나의 예시로서, 본 발명이 이에 제한되는 것은 아니다. 영상의 필터링에 도 21에 도시된 3개의 필터(2110, 2120, 2130) 외에도 다양한 여러 형태의 필터가 적용될 수 있다.
또한, 도 20에는 필터링 장치(2000)가 하나의 분류기(2010)를 포함하는 것으로 도시되어 있으나, 이에 제한되는 것은 아니며, 필터링 장치(2000)는 복수의 분류기(2010)를 포함할 수 있다.
예를 들어, 필터링 장치(2000)에 제1 분류기, 제2 분류기 및 제3 분류기가 포함되어 있는 경우, 제1 분류기, 제2 분류기 및 제3 분류기는 서로 다른 방식으로 현재 영상의 블록을 분류할 수 있다.
일 실시예에서, 필터링 장치(2000)에 하나의 분류기가 포함되어 있는 경우, 해당 분류기는 후술하는 방향성 값 및/또는 활동성 값에 기초하여 현재 영상의 블록을 분류할 수 있다.
일 실시예에서, 필터링 장치(2000)에 제1 분류기, 제2 분류기 및 제3 분류기가 포함되어 있는 경우, 제1 분류기는 디블로킹 필터링된 복원 영상 내 블록의 방향 특징 값에 기반하여 현재 영상의 블록을 분류하고, 제2 분류기는 디블로킹 필터링된 복원 영상 내 샘플 특징 값에 기반하여 현재 영상의 블록을 분류하고, 제3 분류기는 잔차 영상 내 샘플 특징 값에 기반하여 현재 영상의 블록을 분류할 수 있다.
일 실시예에서, 필터링 장치(2000)에 복수의 분류기(2010)가 포함되어 있는 경우, 복수의 분류기(2010) 중 어느 하나의 분류기(2010)가 선택되고, 선택된 분류기(2010)에 의한 분류 결과가 필터부(2030)로 전달될 수 있다. 필터링 장치(2000)가 영상 복호화 장치(100)에 포함되는 경우, 복수의 분류기(2010) 중 어느 하나의 분류기(2010)를 나타내는 정보가 비트스트림으로부터 획득될 수 있다.
일 실시예에서, 필터링 장치(2000)에 복수의 분류기(2010)가 포함되어 있는 경우, 복수의 분류기(2010)에 의한 분류 결과들이 결합됨으로써 최종 분류 결과가 획득될 수 있다. 예를 들어, 복수의 분류기(2010)에 의해 현재 블록이 분류된 경우, 현재 블록이 속한 클래스들을 나타내는 값들이 획득되고, 획득된 값들의 평균 값에 대응하는 클래스가 현재 블록의 최종 클래스로 결정될 수 있다.
이하에서는, 방향성 값 및/또는 활동성 값에 기초하여 현재 블록을 분류하는 분류기(2010)에 대해 도 22를 참조하여 설명한다.
현재 블록은 현재 영상으로부터 분할된 슬라이스, 타일, 최대 부호화 단위, 부호화 단위, 예측 단위 또는 변환 단위일 수 있다. 일 실시예에서, 현재 블록의 크기는 1x1 이상일 수 있다. 예를 들어, 현재 블록의 크기는 2x2 또는 4x4일 수 있다.
도 22는 일 실시예에 따른 분류기의 구성을 도시하는 블록도이다.
도 22를 참조하면, 분류기(2200)는 방향성 결정부(2210), 활동성 결정부(2230) 및 클래스 결정부(2250)를 포함할 수 있다.
방향성 결정부(2210)는 분류의 대상이 되는 현재 블록의 방향성 값(directionality value)을 결정하고, 활동성 결정부(2230)는 현재 블록의 활동성 값(activity value)을 결정할 수 있다.
본 개시에서, 방향성 값은 방향성 인덱스(directionality index), 방향성 파라미터(directionality parameter), 방향성 변수(directionality variable), 방향 값(direction value), 방향 인덱스(direction index), 방향 파라미터(direction parameter), 방향 변수(direction variable)로 지칭될 수 있다.
또한, 활동성 값은 활동성 인덱스(activity index), 활동성 파라미터(activity parameter), 활동성 변수(activity variable), 강도 값(strength value), 강도 인덱스(strength index), 강도 파라미터(strength parameter), 강도 변수(strength variable)로 지칭될 수 있다.
클래스 결정부(2250)는 방향성 값 또는 활동성 값 중 적어도 하나를 이용하여 현재 블록이 복수의 클래스 중 어떠한 클래스에 속하는지를 결정할 수 있다. 예를 들어, 클래스 결정부(2250)는 방향성 값과 활동성 값을 결합한 값이 가리키는 클래스에 현재 블록이 속하는 것으로 결정할 수 있다. 예를 들어, 클래스 결정부(2250)는 방향성 값 또는 활동성 값 중 적어도 하나를 이용하여 현재 블록의 클래스 인덱스를 결정할 수 있다.
전술한 바와 같이, 현재 블록에 대응하는 클래스가 결정되면, 필터부(2030)는 결정된 클래스에 기초하여 현재 블록 내 샘플들의 필터링을 위한 필터(또는 필터 계수)를 결정할 수 있다.
일 실시예에서, 방향성 결정부(2210)에 의해 결정되는 방향성 값 및 클래스 결정부(2250)에 의해 결정되는 활동성 값은 2-D 라플라시안 값들에 기초하여 결정될 수 있다. 본 개시에서, 라플라시안 값들은 그래디언트 값으로 지칭될 수 있다.
일 실시예에서, 방향성 결정부(2210)는 현재 블록의 샘플들 및/또는 현재 블록의 주변 샘플들을 이용하여 현재 블록(또는 현재 블록 내 샘플)의 그래디언트 값을 획득할 수 있다.
일 실시예에서, 방향성 결정부(2210)는 현재 블록을 포함하는 윈도우를 적용함으로써, 현재 블록의 그래디언트 값을 획득할 수 있다. 일 실시예에서, 윈도우 크기는 현재 블록의 크기보다 클 수 있다. 예를 들어, 현재 블록의 크기가 2x2일때, 윈도우의 크기는 4x4, 8x8, 12x12일 수 있다. 이 경우, 현재 블록의 그래디언트 값을 획득하기 위해, 현재 블록의 샘플들과 주변 샘플들(또는 주변 블록의 샘플들)이 이용될 수 있다.
일 실시예에서, 현재 블록의 그래디언트 값은 수평 방향, 수직 방향, 45도 대각선 방향 또는 135도 대각선 방향 중 적어도 한 방향의 그래디언트 값을 포함할 수 있다.
일 실시예에서, 방향성 결정부(2210)는 수평 방향, 수직 방향, 45도 대각선 방향 또는 135도 대각선 방향 중 적어도 한 방향의 그래디언트 값을 이용하여 방향성 값을 결정할 수 있다. 예를 들어, 방향성 결정부(2210)는 수평 방향, 수직 방향, 45도 대각선 방향 및 135도 대각선 방향의 그래디언트 값들을 이용하여 방향성 값을 결정할 수 있다.
일 실시예에서, 활동성 결정부(2230)는 수평 방향, 수직 방향, 45도 대각선 방향 또는 135도 대각선 방향 중 적어도 한 방향의 그래디언트 값을 이용하여 할동성 값을 결정할 수 있다. 예를 들어, 활동성 결정부(2230)는 수평 방향 및 수직 방향의 그래디언트 값들을 이용하여 활동성 값을 결정할 수 있다.
클래스 결정부(2250)는 방향성 값 또는 활동성 값 중 적어도 하나를 이용하여 현재 블록의 클래스(또는 클래스 인덱스)를 결정할 수 있다. 일 실시예에서, 클래스 결정부(2250)는 현재 블록의 필터링에 이용되는 필터 세트 내에서 결정된 현재 블록의 클래스를 이용하여 필터를 선택할 수 있다.
일 실시예에서, 클래스 결정부(2250)는 방향성 값과 활동성 값을 결합한 값에 기초하여 현재 블록의 클래스를 결정할 수 있다. 예를 들어, 클래스 결정부(2250)는 방향성의 수를 도출할 수 있다.
일 실시예에서, 클래스 결정부(2250)는 도출된 방향성의 수를 이용하여 클래스를 결정할 수 있다. 방향성의 수는 방향성의 총 개수를 나타낼 수 있다. 방향성의 수는 미리 정의된 파라미터에 기초하여 유도될 수 있다. 예를 들어, 클래스 결정부(2250)는 방향성의 수와 활동성 값을 곱한 값에 방향성 값을 합산하여 클래스 인덱스를 계산할 수 있다.
이하에서는, 복수의 분류기를 이용하여 클래스를 분류하는 실시예를 도 23을 참조하여 설명한다.
도 23은 일 실시예에 따른 필터링 장치의 구성을 도시하는 블록도이다.
도 23을 참조하면, 필터링 장치(2300)는 제1 분류기(2310), 제2 분류기(2320) 및 필터부(2330)를 포함할 수 있다. 앞서 도 20 및 도 22에서 설명한 방법은 본 실시예에서도 실질적으로 동일하게 적용될 수 있으며, 여기서 관련하여 중복되는 설명은 생략한다. 도 23의 필터링 장치(2300)는 도 20의 필터링 장치(2000)의 일 예일 수 있다.
필터링 장치(2300)는 복수의 분류기를 이용하여 필터 세트 내에서 필터를 특정하기 위한 클래스를 분류할 수 있다. 도 23에서 필터링 장치(2300)가 2개의 분류기를 포함하는 경우를 위주로 설명하나, 이에 제한되는 것은 아니며, 필터링 장치(2300)는 2개 이상의 분류기를 이용하여 필터 세트 내에서 필터를 특정하기 위한 클래스를 분류할 수 있다.
제1 분류기(2310), 제2 분류기(2320) 및 필터부(2330)는 적어도 하나의 프로세서로 구현될 수 있다. 적어도 하나의 프로세서는 프로세싱 회로를 포함할 수 있다.
제1 분류기(2310), 제2 분류기(2320) 및 필터부(2330)는 적어도 하나의 메모리에 저장된 적어도 하나의 인스트럭션에 따라 동작할 수 있다.
필터링 장치(2300)는 제1 분류기(2310), 제2 분류기(2320) 및 필터부(2330)의 입출력 데이터를 저장하는 적어도 하나의 메모리를 포함할 수 있다. 필터링 장치(2300)는, 적어도 하나의 메모리의 데이터 입출력을 제어하는 메모리 제어부를 포함할 수 있다.
일 실시예에서, 필터링 장치(2300)는 도 19에 도시된 루프 필터링부(1940, 1970)에 대응할 수 있다. 일 실시예에서, 필터링 장치(2300)는 영상 복호화 장치(100) 및 영상 부호화 장치(200) 각각에 포함될 수 있다.
일 실시예에서, 필터링 장치(2300)는 입력된 영상으로부터 필터링된 영상을 생성할 수 있다. 일 실시예에서, 필터링 장치(2300)는 입력된 영상에 필터를 적용함으로써 필터링된 영상을 생성할 수 있다.
일 실시예에서, 필터링 장치(2300)는 영상에 포함된 샘플들 또는 블록들을 특성에 따라 분류하고, 분류 결과에 적합한 필터를 이용하여 영상에 포함된 샘플을 필터링할 수 있다.
일 실시예에서, 제1 분류기(2310) 및 제2 분류기(2320)는 영상에 포함된 샘플들 또는 블록들 각각이 여러 클래스 중 어느 클래스에 속하는지를 결정할 수 있다.
필터부(2330)는 제1 분류기(2310) 또는 제2 분류기(2320)에 의한 분류 결과에 기초하여 블록 내 샘플들의 필터링에 이용될 필터(또는 필터 계수들)를 결정할 수 있다. 필터부(2330)는 적응적으로 결정된 필터를 어느 하나의 샘플과 그 주변 샘플들에 적용하여 필터링된 샘플을 생성할 수 있다.
일 실시예에서, 제1 분류기(2310) 및 제2 분류기(2320)는 모두 필터 세트 내에서 필터를 특정하기 위하여 클래스를 분류할 수 있다. 제1 분류기(2310) 및 제2 분류기(2320)는 서로 다른 방식으로 현재 영상의 블록을 분류할 수 있다.
일 실시예에서, 제1 분류기(2310) 및 제2 분류기(2320)는 모두 2-D 라플라시안 값들에 기초하여 방향성 값 및 활동성 값을 결정하는 라플라시안 기반 분류기일 수 있다. 앞서 도 22에서 설명한 실시예가 동일하게 적용될 수 있으며, 여기서 중복되는 설명은 생략한다.
일 실시예에서, 제1 분류기(2310) 및 제2 분류기(2320)는 활동성 값과 방향성 값을 이용하여 현재 영상 내 블록의 클래스를 결정할 수 있다. 제1 분류기(2310) 및 제2 분류기(2320)는 수직, 수평 또는 대각선 방향 중 적어도 한 방향의 그래디언트를 기반으로 활동성 값과 방향성 값을 도출할 수 있다. 대각선 방향은 45도 대각선 방향 및/또는 135도 대각선 방향을 포함할 수 있다. 그래디언트 획득을 위해 현재 블록을 둘러싼 윈도우가 이용될 수 있다.
일 실시예에서, 활동성 값 또는 방향성 값 중 적어도 하나는 서로 상이한 방식으로 결정될 수 있고, 각각의 분류기(2310, 2320)에 의한 현재 영상 내 블록의 분류 결과는 상이하게 결정될 수 있다.
일 실시예에서, 제1 분류기(2310) 및 제2 분류기(2320)는 방향성의 수와 활동성 값을 곱한 값에 방향성 값을 합산하여 현재 영상 내 블록의 클래스를 결정할 수 있다. 이때, 방향성의 수는 서로 상이한 방식으로 결정될 수 있고, 각각의 분류기(2310, 2320)에 의한 현재 영상 내 블록의 분류 결과는 상이하게 결정될 수 있다.
한편, 앞서 도 20 내지 도 23에서 설명한 분류기에 의해 현재 블록이 분류되면, 분류 결과에 따라 현재 블록에 적용되는 필터가 결정될 수 있다. 현재 블록의 크기는 1x1 이상일 수 있다. 예를 들어, 현재 블록의 크기는 2x2 또는 4x4일 수 있다. 결정된 필터는 샘플 단위로 현재 블록에 적용될 수 있다. 결정된 필터로부터 필터 계수가 획득될 수 있다.
일 실시예에서, 현재 샘플에 대한 필터링된 샘플은 현재 샘플의 주변 샘플에 결정된 필터의 필터 계수를 적용함으로써 획득될 수 있다. 각각의 필터 계수가 적용되는 주변 샘플은 필터의 크기, 타입 또는 모양에 기초하여 결정될 수 있다. 필터 계수는 대응되는 주변 샘플에 적용될 수 있다. 일 예로서, 필터의 필터 크기, 타입 또는 모양은 앞서 도 21에서 설명한 실시예와 같이 정의될 수 있다. 또한, 필터의 필터 계수는 앞서 도 21에서 설명한 실시예와 같이 정의될 수 있다. 일 예로서, 필터링된 샘플은 다음의 수학식 1을 이용하여 획득될 수 있다.
수학식 1에서, xcur는 현재 필터링되는 현재 샘플(또는 픽셀)을 나타내고, xout은 필터링된 샘플을 나타낸다. xk ref은 k번째 주변 샘플(또는 참조 샘플)을 나타낸다. k번째 주변 샘플은 필터 내에서 인덱스 k 값이 할당된 필터 계수가 적용되는 주변 샘플을 의미할 수 있다. 다시 말해, k번째 주변 샘플은 필터 계수 wk가 적용되는 주변 샘플을 나타낼 수 있다. k번째 주변 샘플은 필터 계수 wk에 대응하는 주변 샘플을 나타낼 수 있다. cmax 및 cmin은 각각 클리핑 함수 clip()의 상한과 하한을 나타내며, 본 개시에서, cmax 및 cmin은 최대값과 최소값으로 표현될 수도 있다. wk는 k번째 주변 샘플에 대응하는 필터 계수를 나타내며, 본 개시에서, wk는 가중치로 표현될 수도 있다. wk는 현재 블록에 적용되는 필터로부터 획득될 수 있다.
수학식 1에 따르면, 필터링 장치(2000)는 주변 샘플 별로 주변 샘플과 현재 샘플간 차분을 클리핑한 값에 대응하는 필터 계수를 곱하고, 이를 합산하여 현재 샘플의 필터링된 샘플을 생성할 수 있다. 본 개시에서, 필터 계수를 주변 샘플에 적용한다는 표현은 필터 계수를 주변 샘플과 현재 샘플간 차분에 적용하거나 곱한다는 것을 포괄하는 표현일 수 있다.
필터링 장치(2000)는 필터 내 각각의 필터 계수에 대응하는 주변 샘플과 현재 샘플간 차분에 필터 계수를 적용할 수 있다. 이때, 주변 샘플과 현재 샘플간 차분은 클리핑 함수에 따라 미리 정의된 상한과 하한 내의 값으로 결정될 수 있다. 필터링 장치(2000)는 필터의 필터 계수가 적용된 차분 값을 합산하여 필터링된 샘플을 획득할 수 있다. 일 예로서, 필터 계수가 적용된 차분 값을 모두 합산한 값이 현재 샘플의 필터링된 샘플 값으로 결정될 수도 있고, 다른 일 예로서, 필터 계수가 적용된 차분 값을 모두 합산한 값에 현재 샘플의 샘플 값(예: 복원 샘플 값)을 더한 값이 현재 샘플의 필터링된 샘플 값으로 결정될 수도 있다.
살펴본 바와 같이, 현재 샘플 주변의 참조 샘플과의 차분을 현재 샘플에 반영함으로써, 영상의 왜곡을 줄이고 주관적 화질을 향상시킬 수 있다. 이러한 필터링의 목적 달성 측면에서, 현재 필터링되는 샘플을 기준으로 유사도가 높은 주변 샘플은 필터링에 기여도가 크도록 설정하고, 유사도가 낮은 주변 샘플은 필터링에 기여도가 낮도록 설정하는 것이 바람직하다.
그러나, 앞서 수학식 1에서 설명한 실시예에서와 같이, 단순히 상한과 하한을 설정하는 클리핑 방식에 의한 차분 조절은 상술한 유사도에 따른 필터링 기여도를 효과적으로 반영하기 어렵다. 예를 들어, 상한과 하한 범위 내에 속하기만 한다면, 다른 나머지 주변 샘플 대비 상대적으로 현재 샘플과 차이가 큰 주변 샘플도 동일하게 필터링에 기여한다는 문제점이 있다.
본 개시의 일 실시예에서는, 상술한 문제점을 개선하기 위하여 현재 필터링되는 샘플과 주변 샘플의 차분에 대한 전처리를 수행하는 방법을 제안한다. 본 개시의 일 실시예에 따라 전처리된 현재 샘플과 주변 샘플의 차분에 필터 계수를 적용함으로써, 현재 샘플과의 유사도를 효과적으로 필터링에 반영할 수 있고, 이를 통해, 필터링 성능을 향상시키고 압축 효율을 높일 수 있다.
도 24는 본 개시의 일 실시예에 따른 필터링 장치의 구성을 도시하는 블록도이다.
도 24를 참조하면, 필터링 장치(2400)는 분류기(2410), 전처리부(2420) 및 필터부(2430)를 포함할 수 있다. 앞서 도 20 내지 도 23에서 설명한 방법은 본 실시예에서도 실질적으로 동일하게 적용될 수 있으며, 여기서 관련하여 중복되는 설명은 생략한다. 도 24의 필터링 장치(2400)는 도 20의 필터링 장치(2000)의 일 예일 수 있다.
분류기(2410), 전처리부(2420) 및 필터부(2430)는 적어도 하나의 프로세서로 구현될 수 있다. 적어도 하나의 프로세서는 프로세싱 회로를 포함할 수 있다.
분류기(2410), 전처리부(2420) 및 필터부(2430)는 적어도 하나의 메모리에 저장된 적어도 하나의 인스트럭션에 따라 동작할 수 있다.
필터링 장치(2400)는 분류기(2410), 전처리부(2420) 및 필터부(2430)의 입출력 데이터를 저장하는 적어도 하나의 메모리를 포함할 수 있다. 필터링 장치(2400)는, 적어도 하나의 메모리의 데이터 입출력을 제어하는 메모리 제어부를 포함할 수 있다.
일 실시예에서, 필터링 장치(2400)는 도 19에 도시된 루프 필터링부(1940, 1970)에 대응할 수 있다. 일 실시예에서, 필터링 장치(2400)는 영상 복호화 장치(100) 및 영상 부호화 장치(200) 각각에 포함될 수 있다.
일 실시예에서, 필터링 장치(2400)는 입력된 영상으로부터 필터링된 영상을 생성할 수 있다. 필터링 장치(2400)는 영상에 포함된 샘플들 또는 블록들을 특성에 따라 분류하고, 분류 결과에 적합한 필터를 이용하여 영상에 포함된 샘플을 필터링할 수 있다.
일 실시예에서, 분류기(2410)는 영상에 포함된 샘플들 또는 블록들 각각이 여러 클래스 중 어느 클래스에 속하는지를 결정할 수 있다.
필터부(2430)는 분류기(2410)에 의한 분류 결과 또는 필터 정보 중 적어도 하나를 고려하여 블록 내 샘플들의 필터링에 이용될 필터(또는 필터 계수들)를 결정할 수 있다. 필터부(2430)는 적응적으로 결정된 필터를 어느 하나의 샘플과 그 주변 샘플들에 적용하여 필터링된 샘플을 생성할 수 있다. 앞서 도 20 내지 도 23에서 설명한 실시예가 적용될 수 있으며, 여기서 중복되는 설명은 생략한다.
본 개시의 일 실시예에서, 전처리부(2420)는 필터부(2430)에 제공되는 참조 정보에 대한 전처리를 수행할 수 있다. 전처리부(2420)는 미리 정의된 함수를 기반으로 현재 샘플과 주변 샘플(또는 참조 샘플)간 차분을 전처리할 수 있다. 본 개시에서, 참조 정보는 현재 샘플과 주변 샘플간 차분을 나타낼 수 있다.
전처리부(2420)는 앞서 수학식 1에서 설명한 실시예에서와 같이 단순히 상한과 하한을 설정하는 클리핑 함수 대신 본 개시의 일 실시예에 따른 소정의 함수를 이용하여 참조 정보에 대한 전처리를 수행할 수 있다.
도 24에서는 전처리부(2420)가 필터부(2430)와 독립된 별개의 구성인 것으로 도시하나, 이에 제한되는 것은 아니다. 예를 들어, 전처리부(2420)는 필터부(2430)에 포함되는 구성으로 구현될 수 있고, 전처리부(2420)에서 수행되는 전처리 과정은 필터부(2430)에 의해 수행될 수도 있다.
전처리부(2420)는 미리 정의된 함수에 기초하여 현재 블록 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전처리할 수 있다. 본 개시에서, 설명의 편의를 위해 전처리를 위한 상술한 미리 정의된 함수는 파라미터 함수로 지칭될 수 있다. 명칭이 이에 제한되는 것은 아니며, 파라미터 함수(Parametric Function)는 파라미터 기반 함수(Parameter-based Function), 지수 기반 함수, 전처리 함수, 파라미터 연산, 파라미터 기반 연산, 지수 연산, 지수 기반 연산, 전처리 연산, 파라미터 수학식, 파라미터 기반 수학식, 지수 수학식, 지수 기반 수학식, 전처리 수학식, 파라미 전처리(Parametric Preprocessing), 파라미터 기반 전처리, 지수 기반 전처리, 지수 함수 기반 전처리 등으로 지칭될 수도 있다. 일 예로서, 파라미터 함수는 영상 복호화 장치(100) 및 영상 부호화 장치(200) 각각에 미리 정의될 수 있다.
일 실시예에서, 파라미터 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절될 수 있다. 예를 들어, 전처리부(2420)는 파라미터를 이용하여 함수의 기울기, 피크 위치, 최대값, 최소값 또는 수렴값 중 적어도 하나를 조절할 수 있다.
또한, 일 실시예에서, 파라미터 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의될 수 있다. 일 예로서, 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분 및 적어도 하나의 파라미터를 결합한 값을 지수로 할 수 있다. 전처리부(2420)에 의해 이용되는 파라미터 함수에 관한 구체적인 실시예는 도 25 내지 도 28에서 상세히 설명한다.
필터부(2430)는 분류기(2410)에 의한 분류 결과에 기초하여 블록 내 샘플들의 필터링에 이용되는 필터(또는 필터 계수들)를 결정할 수 있다. 필터부(2430)는 결정된 필터를 블록 내 샘플과 그 주변 샘플들에 적용하여 필터링된 샘플을 생성할 수 있다.
필터부(2430)는 결정된 필터 및 전처리부(2420)에 의해 전처리된 현재 샘플과 주변 샘플간 차분을 이용하여 현재 블록 내 샘플들을 필터링할 수 있다. 필터부(2430)는 샘플 별로 주변 샘플과 현재 샘플간 차분을 전처리한 값에 필터 계수를 곱하고, 이를 합산하여 현재 샘플의 필터링된 샘플을 생성할 수 있다.
필터부(2430)는 필터 내 각각의 필터 계수에 대응하는 주변 샘플과 현재 샘플간 차분을 전처리한 값에 필터 계수를 적용할 수 있다. 필터부(2430)는 필터의 필터 계수가 적용된 차분 값을 합산하여 필터링된 샘플을 획득할 수 있다.
일 실시예에서, 필터부(2430)는 결정된 필터로부터 필터 계수를 획득할 수 있다. 필터부(2430)는 복수의 필터 계수 각각에 대응하는 주변 샘플을 포함하는 현재 샘플의 주변 샘플 그룹을 결정할 수 있다. 주변 샘플 그룹은 결정된 필터의 필터 계수들이 적용되는 주변 샘플들을 포함할 수 있다. 일 예로서, 전처리부(2420)에 의해 수행되는 전처리는 주변 샘플 그룹 내 각각의 주변 샘플과 현재 샘플간 차분에 대해 수행될 수 있다.
필터부(2430)는 전처리된, 각각의 주변 샘플과 현재 샘플간 차분에, 각각의 주변 샘플에 대응하는 필터 계수를 곱한 값을 합산함으로써 현재 샘플의 필터링된 샘플 값을 획득할 수 있다. 일 예로서, 필터부(2430)는 다음의 수학식 2를 이용하여 필터링된 샘플을 획득될 수 있다.
수학식 2에서, xcur는 현재 필터링되는 현재 샘플(또는 픽셀)을 나타내고, xout은 필터링된 샘플을 나타낸다. xk ref은 k번째 주변 샘플(또는 참조 샘플)을 나타낸다. k번째 주변 샘플은 필터 내에서 인덱스 k 값이 할당된 필터 계수가 적용되는 주변 샘플을 의미할 수 있다. 다시 말해, k번째 주변 샘플은 필터 계수 wk가 적용되는 주변 샘플을 나타낼 수 있다. k번째 주변 샘플은 필터 계수 wk에 대응하는 주변 샘플을 나타낼 수 있다. wk는 k번째 주변 샘플에 대응하는 필터 계수를 나타내며, 본 개시에서, wk는 가중치로 표현될 수도 있다. wk는 현재 블록에 적용되는 필터로부터 획득될 수 있다. θ는 파라미터 함수의 파라미터를 나타낸다.
수학식 2를 참조하면, 필터링된 샘플은 필터 계수 별로 θ를 파라미터로 하는 파라미터 함수를 이용하여 전처리된 차분에 필터 계수를 곱한 값을 합산함으로써, 획득될 수 있다. 현재 샘플과 주변 샘플의 차분은 θ를 파라미터로 하는 파라미터 함수를 이용하여 전처리될 수 있다.
일 예로서, 필터 계수가 적용된 차분 값을 모두 합산한 값이 현재 샘플의 필터링된 샘플 값으로 결정될 수도 있고, 다른 일 예로서, 필터 계수가 적용된 차분 값을 모두 합산한 값에 현재 샘플의 샘플 값(예: 복원 샘플 값)을 더한 값이 현재 샘플의 필터링된 샘플 값으로 결정될 수도 있다.
이하에서는 도 25 내지 도 28을 파라미터 함수를 이용한 전처리 과정에 관한 구체적인 실시예를 설명한다.
도 25는 본 개시의 일 실시예에 따른 파라미터 함수의 출력 형태를 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 파라미터 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의될 수 있다. 일 예로서, 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분 및 적어도 하나의 파라미터를 결합한 값을 지수로 할 수 있다.
일 실시예에서, 제1 파라미터 함수는 다음의 수학식 3과 같이 정의될 수 있다. 본 개시에서, 설명의 편의를 위해, 주변 샘플과 현재 샘플의 차분은 차분으로 약칭될 수 있다.
수학식 3에서, 제1 파라미터 함수의 독립 변수 x는 주변 샘플과 현재 샘플의 차분을 나타낸다. 일 실시예에서, 제1 파라미터 함수는 수학식 3과 같이, 차분에 제1 지수 함수의 출력을 곱한 값을 출력할 수 있다.
일 실시예에서, 제1 지수 함수는 자연 상수를 밑으로 하고, 차분의 절대값에 대한 음의 값을, 제1 파라미터(즉, 수학식 3에서 a)로 나눈 값을 지수로 하는 함수로 정의될 수 있다.
수학식 3의 제1 파라미터 함수의 입력에 따른 출력이 도 25에 도시된다. 즉, 도 25의 도시된 그래프에서, 수평 좌표는 파라미터 함수의 입력으로서 차분을 나타내며, 수직 좌표는 입력에 따른 제1 파라미터 함수의 출력을 나타낸다. 또한, 도 25는 제1 파라미터가 16, 32, 64인 경우를 비교하여 일 예로서 도시한다.
도 25를 참조하면, 차분이 0보다 큰 경우, 제1 파라미터의 값만큼 커지는 동안, 제1 파라미터 함수의 출력은 급격히 증가할 수 있다. 차분의 절대값이 제1 파라미터의 값을 넘어선 이후, 제1 파라미터 함수의 출력은 급격히 감소할 수 있다. 차분의 절대값이 커질수록 제1 파라미터 함수의 출력은 0에 가까워질 수 있다.
차분이 0보다 작은 경우, 제1 파라미터의 값만큼 작아지는 동안, 제1 파라미터 함수의 출력은 급격히 감소할 수 있다. 차분의 절대값이 제1 파라미터의 값을 넘어선 이후, 제1 파라미터 함수의 출력은 급격히 0에 가까워질 수 있다. 차분의 절대값이 커질수록 제1 파라미터 함수의 출력은 0에 가까워질 수 있다.
일 실시예에서, 도 25에 도시된 바와 같이, 제1 파라미터의 값을 크게 조절한다면, 제1 파라미터 함수의 피크 값을 높일 수 있다. 제1 파라미터의 값을 작게 조절한다면, 현재 샘플과 상대적으로 샘플 값의 차이가 큰 주변 샘플의 영향(또는 기여도)을 더 감소시킬 수 있다.
본 개시에 따른 제1 파라미터 함수를 이용하여 전처리된 차분에 필터 계수를 적용함으로써, 주변 샘플들의 현재 샘플과의 유사도를 효과적으로 필터링에 반영할 수 있고, 이를 통해, 필터링 성능을 향상시키고 압축 효율을 높일 수 있다.
도 26은 본 개시의 일 실시예에 따른 파라미터 함수의 출력 형태를 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 제2 파라미터 함수는 다음의 수학식 4와 같이 정의될 수 있다.
수학식 4에서, 제2 파라미터 함수의 독립 변수 x는 주변 샘플과 현재 샘플의 차분을 나타낸다. 일 실시예에서, 제2 파라미터 함수는 수학식 4와 같이, 차분에 제2 지수 함수의 출력을 곱한 값을 출력할 수 있다.
일 실시예에서, 제2 지수 함수는 자연 상수를 밑으로 하고, 차분의 절대값의 제3 파라미터(즉, 수학식 4에서 b) 거듭제곱에 대한 음의 값을, 제2 파라미터(즉, 수학식 4에서 a)의 제3 파라미터 거듭제곱으로 나눈 값을 지수로 하는 함수로 정의될 수 있다.
수학식 4의 제2 파라미터 함수의 입력에 따른 출력이 도 26에 도시된다. 도 26의 좌측 그래프는 제2 파라미터가 16, 32, 64이고, 제3 파라미터가 0.5인 경우를 비교하여 일 예로서 도시하며, 도 26의 우측 그래프는 제2 파라미터가 16, 32, 64이고, 제3 파라미터가 2인 경우를 비교하여 일 예로서 도시한다. 한편, 앞서 설명한 도 25에 도시된 그래프는 제2 파라미터 함수의 입력에 따른 출력에 해당할 수도 있다. 즉, 도 25는 제2 파라미터 함수의 제2 파라미터가 16, 32, 64이고, 제3 파라미터가 1인 경우를 비교하여 일 예로서 도시한 도면일 수 있다.
도 26의 도시된 그래프에서, 수평 좌표는 파라미터 함수의 입력으로서 차분을 나타내며, 수직 좌표는 입력에 따른 제2 파라미터 함수의 출력을 나타낸다.
도 26을 참조하면, 차분이 0보다 큰 경우, 차분의 절대값이 제2 파라미터의 값만큼 커지는 동안, 제2 파라미터 함수의 출력은 급격히 증가할 수 있다. 이후, 차분의 절대값이 커질수록 제2 파라미터 함수의 출력은 0에 가까워질 수 있다. 이때, 제3 파라미터가 0.5인 경우는 상대적으로 완만하게 제2 파라미터 함수의 출력이 감소할 수 있다. 제3 파라미터가 2인 경우는 매우 급격하게 제2 파라미터 함수의 출력이 감소할 수 있다. 차분이 0보다 작은 경우, 앞서 도 25에서 설명한 바와 같이, 원점을 기준으로 대칭적인 모습을 보일 수 있다.
일 실시예에서, 도 26에 도시된 바와 같이, 제2 파라미터의 값을 크게 조절한다면, 제2 파라미터 함수의 피크 값을 높일 수 있다. 제2 파라미터의 값을 작게 조절한다면, 현재 샘플과 상대적으로 샘플 값의 차이가 큰 주변 샘플의 영향(또는 기여도)을 더 감소시킬 수 있다.
본 개시에 따른 제2 파라미터 함수를 이용하여 전처리된 차분에 필터 계수를 적용함으로써, 주변 샘플들의 현재 샘플과의 유사도를 효과적으로 필터링에 반영할 수 있고, 이를 통해, 필터링 성능을 향상시키고 압축 효율을 높일 수 있다.
도 27은 본 개시의 일 실시예에 따른 파라미터 함수의 출력 형태를 설명하기 위한 도면이다.
일 실시예에서, 제3 파라미터 함수는 다음의 수학식 5와 같이 정의될 수 있다.
수학식 5에서, 제3 파라미터 함수의 독립 변수 x는 주변 샘플과 현재 샘플의 차분을 나타낸다. 일 실시예에서, 제3 파라미터 함수는 수학식 5와 같이, 제4 파라미터(즉, 수학식 5에서 a)를 소정의 상수로 나눈 값에, 제3 지수 함수에서 제4 지수 함수를 뺀 값을 곱하고, 제3 지수 함수에 제4 지수 함수를 더한 값을 나눈 값을 출력할 수 있다. 일 예로서, 소정의 상수는 수학식 5에서와 같이 2로 정의될 수 있다. 또는, 소정의 상수는 2의 거듭제곱으로 정의될 수 있다.
일 실시예에서, 제3 지수 함수는 자연 상수를 밑으로 하고, 차분에 제4 파라미터를 곱한 값을 지수로 하는 함수로 정의될 수 있다. 제4 지수 함수는 자연 상수를 밑으로 하고, 차분에 제4 파라미터를 곱한 값의 음의 값을 지수로 하는 함수로 정의될 수 있다.
수학식 5의 제3 파라미터 함수의 입력에 따른 출력이 도 27에 도시된다. 도 27의 도시된 그래프에서, 수평 좌표는 파라미터 함수의 입력으로서 차분을 나타내며, 수직 좌표는 입력에 따른 제3 파라미터 함수의 출력을 나타낸다. 또한, 도 27은 제4 파라미터가 16, 32, 64인 경우를 비교하여 일 예로서 도시한다.
도 27을 참조하면, 차분이 0보다 큰 경우를 기준으로, 제4 파라미터의 값만큼 커지는 동안, 제4 파라미터 함수의 출력은 선형적인 형태로 증가할 수 있다. 차분이 제4 파라미터의 값을 넘어선 이후, 제3 파라미터 함수의 출력은 제4 파라미터를 소정의 상수로 나눈 값으로 수렴할 수 있다.
일 실시예에서, 도 27에 도시된 바와 같이, 제4 파라미터의 값을 크게 조절한다면, 제3 파라미터 함수의 선형 구간을 늘릴 수 있다. 선형 구간은 입력인 차분의 증가에 따라 출력이 상대적으로 비례하여 증가하는 구간을 나타낸다. 제4 파라미터의 값을 작게 조절한다면, 제3 파라미터 함수의 선형 구간을 줄일 수 있다. 차분이 선형 구간을 넘어서면, 현재 샘플과 상대적으로 샘플 값의 차이가 큰 주변 샘플의 영향(또는 기여도)은 더 이상 증가하지 않을 수 있다.
본 개시에 따른 제3 파라미터 함수를 이용하여 전처리된 차분에 필터 계수를 적용함으로써, 주변 샘플들의 현재 샘플과의 유사도를 효과적으로 필터링에 반영할 수 있고, 이를 통해, 필터링 성능을 향상시키고 압축 효율을 높일 수 있다.
도 28은 본 개시의 일 실시예에 따른 파라미터 함수의 출력 형태를 설명하기 위한 도면이다.
일 실시예에서, 제4 파라미터 함수는 다음의 수학식 6과 같이 정의될 수 있다.
수학식 6에서, 제4 파라미터 함수의 독립 변수 x는 주변 샘플과 현재 샘플의 차분을 나타낸다. 일 실시예에서, 제4 파라미터 함수는 수학식 6과 같이, 제5 파라미터(즉, 수학식 6에서 a)를 소정의 상수로 나눈 값에, 1에서 제5 지수 함수를 뺀 값을 곱하고, 1에 제5 지수 함수를 더한 값을 나눈 값을 출력할 수 있다. 일 예로서, 소정의 상수는 수학식 6에서와 같이 2로 정의될 수 있다. 또는, 소정의 상수는 2의 거듭제곱으로 정의될 수 있다.
일 실시예에서, 제5 지수 함수는 자연 상수를 밑으로 하고, 차분에 제5 파라미터를 곱한 값의 음의 값을 지수로 하는 함수로 정의될 수 있다.
수학식 6의 제4 파라미터 함수의 입력에 따른 출력이 도 28에 도시된다. 도 28의 도시된 그래프에서, 수평 좌표는 파라미터 함수의 입력으로서 차분을 나타내며, 수직 좌표는 입력에 따른 제4 파라미터 함수의 출력을 나타낸다. 또한, 도 27은 제5 파라미터가 16, 32, 64인 경우를 비교하여 일 예로서 도시한다.
도 28을 참조하면, 차분이 0보다 큰 경우를 기준으로, 제5 파라미터의 값만큼 커지는 동안, 제4 파라미터 함수의 출력은 선형적인 형태로 증가할 수 있다. 차분이 제5 파라미터의 값을 넘어선 이후, 제4 파라미터 함수의 출력은 제5 파라미터를 소정의 상수로 나눈 값으로 수렴할 수 있다.
일 실시예에서, 도 28에 도시된 바와 같이, 제5 파라미터의 값을 크게 조절한다면, 제4 파라미터 함수의 선형 구간을 늘릴 수 있다. 선형 구간은 입력인 차분의 증가에 따라 출력이 상대적으로 비례하여 증가하는 구간을 나타낸다. 제5 파라미터의 값을 작게 조절한다면, 제4 파라미터 함수의 선형 구간을 줄일 수 있다. 차분이 선형 구간을 넘어서면, 현재 샘플과 상대적으로 샘플 값의 차이가 큰 주변 샘플의 영향(또는 기여도)은 더 이상 증가하지 않을 수 있다.
본 개시에 따른 제4 파라미터 함수를 이용하여 전처리된 차분에 필터 계수를 적용함으로써, 주변 샘플들의 현재 샘플과의 유사도를 효과적으로 필터링에 반영할 수 있고, 이를 통해, 필터링 성능을 향상시키고 압축 효율을 높일 수 있다.
앞서 도 25 내지 도 28을 참조하여 설명한 파라메트릭 전처리는 다음과 같은 속성을 기반으로 효과를 보일 수 있다. 만약, 현재 샘플과 주변 샘플의 차분이 충분히 작다면, 해당 주변 샘플이 현재 샘플에 관련된 신뢰도 높은 정보를 가질 가능성이 높은 것으로 해석할 수 있다. 이 경우, 현재 샘플과 주변 샘플의 차분을 기존 값에 가깝도록 출력함으로써, 해당 주변 샘플의 정보가 그대로 반영될 수 있도록 할 수 있다.
만약, 현재 샘플과 주변 샘플의 차분이 충분히 크다면, 해당 주변 샘플이 현재 샘플에 관련된 정보를 가지지 못할 가능성이 높은 것으로 해석할 수 있다. 이 경우, 현재 샘플과 주변 샘플의 차분을 기존 보다 훨씬 작도록 출력함으로써, 해당 주변 샘플의 정보의 현재 샘플에 대한 기여를 줄일 수 있다.
도 29는 본 개시의 일 실시예에 따른 영상의 필터링 방법을 설명하기 위한 순서도이다.
도 29를 참조하면, 필터링 장치(2000)는 복수의 필터를 포함하는 필터 세트 내에서 현재 블록에 적용되는 현재 필터를 결정할 수 있다(S2910).
일 실시예에서, 필터링 장치(2000)는 현재 블록의 하나 이상의 샘플 값에 기초하여 현재 블록의 클래스 인덱스를 결정할 수 있다. 필터링 장치(2000)는 현재 블록의 클래스 인덱스를 이용하여 현재 블록의 필터 세트 내에서 현재 필터를 결정할 수 있다.
일 실시예에서, 필터링 장치(2400)는 영상에 포함된 샘플들 또는 블록들을 특성에 따라 분류하고, 분류 결과에 적합한 필터를 이용하여 영상에 포함된 샘플을 필터링할 수 있다. 필터링 장치(2400)는 영상에 포함된 샘플들 또는 블록들 각각이 여러 클래스 중 어느 클래스에 속하는지를 결정할 수 있다. 앞서 도 20 내지 도 23에서 설명한 실시예가 적용될 수 있으며, 여기서 중복되는 설명은 생략한다.
필터링 장치(2000)는 미리 정의된 함수에 기초하여 현재 블록 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전처리할 수 있다(S2920). 본 개시에서, 전처리를 위해 미리 정의된 함수는 파라미터 함수로 지칭될 수 있다. 일 실시예에서, 파라미터 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절될 수 있다. 앞서 도 24 내지 도 28에서 설명한 실시예가 적용될 수 있으며, 여기서 중복되는 설명은 생략한다.
일 실시예에서, 파라미터 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의될 수 있다. 일 실시예에서, 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분 및 적어도 하나의 파라미터를 결합한 값을 지수로 할 수 있다.
일 실시예에서, 앞서 수학식 3에서 설명한 바와 같이, 파라미터 함수는 주변 샘플과 현재 샘플간 차분에 제1 지수 함수의 출력을 곱한 값을 출력할 수 있다. 제1 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분의 절대값에 대한 음의 값을, 제1 파라미터로 나눈 값을 지수로 할 수 있다.
일 실시예에서, 앞서 수학식 4에서 설명한 바와 같이, 파라미터 함수는 주변 샘플과 현재 샘플간 차분에 제2 지수 함수의 출력을 곱한 값을 출력할 수 있다. 제2 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분의 절대값의 제3 파라미터 거듭제곱에 대한 음의 값을, 제2 파라미터의 상기 제3 파라미터 거듭제곱으로 나눈 값을 지수로 할 수 있다.
일 실시예에서, 앞서 수학식 5에서 설명한 바와 같이, 파라미터 함수는 제4 파라미터를 소정의 상수로 나눈 값에, 제3 지수 함수에서 제4 지수 함수를 뺀 값을 곱하고, 제3 지수 함수에 제4 지수 함수를 더한 값을 나눈 값을 출력할 수 있다. 제3 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분에 제4 파라미터를 곱한 값을 지수로 할 수 있다. 제4 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분에 제4 파라미터를 곱한 값의 음의 값을 지수로 할 수 있다. 일 예로서, 소정의 상수는 수학식 5에서와 같이 2로 정의될 수 있다. 또는, 소정의 상수는 2의 거듭제곱으로 정의될 수 있다.
일 실시예에서, 앞서 수학식 6에서 설명한 바와 같이, 파라미터 함수는 제5 파라미터를 소정의 상수로 나눈 값에, 1에서 제5 지수 함수를 뺀 값을 곱하고, 1에 제5 지수 함수를 더한 값을 나눈 값을 출력할 수 있다. 제5 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분에 제5 파라미터를 곱한 값의 음의 값을 지수로 할 수 있다. 예로서, 소정의 상수는 수학식 6에서와 같이 2로 정의될 수 있다. 또는, 소정의 상수는 2의 거듭제곱으로 정의될 수 있다.
일 실시예에서, 필터링 장치(2000)는 현재 블록 내 현재 샘플 및/또는 현재 샘플의 주변 샘플에 현재 필터의 필터 계수를 적용할 수 있다. 필터링 장치(2000)는 현재 필터로부터 복수의 필터 계수를 획득할 수 있다. 필터링 장치(2000)는 복수의 필터 계수 각각에 대응하는 주변 샘플을 포함하는 현재 샘플의 주변 샘플 그룹을 결정할 수 있다. 필터링 장치(2000)는 주변 샘플 그룹 내 각각의 주변 샘플과 현재 샘플간 차분에 대해 전처리를 수행할 수 있다.
필터링 장치(2000)는 현재 필터 및 전처리된 차분에 기초하여 현재 샘플을 필터링할 수 있다(S2930).
일 실시예에서, 필터링 장치(2000)는 현재 블록 내 현재 샘플 및/또는 현재 샘플의 주변 샘플에 현재 필터의 필터 계수를 적용할 수 있다. 일 실시예에서, 필터링 장치(2000)는 전처리된, 각각의 주변 샘플과 현재 샘플간 차분에, 각각의 주변 샘플에 대응하는 필터 계수를 곱한 값을 합산할 수 있다. 앞서 도 23 내지 도 28에서 설명한 실시예가 적용될 수 있으며, 여기서 중복되는 설명은 생략한다.
한편, 앞서 도 24 내지 도 29에서 설명한 필터링을 위한 전처리는 앞서 설명한 수학식 2 내지 수학식 6과 같은 수학식을 직접적으로 이용하여 구현될 수도 있고, 지수 함수의 연산 비용을 고려하여 미리 정의된 테이블을 기반으로 구현될 수도 있다. 일 실시예에서, 주변 샘플과 현재 샘플간 차분의 값에 따라 출력 값이 정해진 테이블이 정의될 수 있다. 일 예로서, 다음의 수학식 7에 따라 테이블을 기반으로 전처리된 차분을 이용하여 필터링된 샘플이 획득될 수 있다.
수학식 7에서, xcur는 현재 필터링되는 현재 샘플(또는 픽셀)을 나타내고, xout은 필터링된 샘플을 나타낸다. xk ref은 k번째 주변 샘플(또는 참조 샘플)을 나타낸다. wk는 k번째 주변 샘플에 대응하는 필터 계수를 나타낸다. min은 주변 샘플과 현재 샘플간 차분의 최소 값을 나타낸다.
한편, 본 개시의 일 실시예에 따르면, 필터링 장치(2000)는 뉴럴 루프 필터(또는 뉴럴 포스트 필터)를 기반으로 영상을 필터링을 수행할 수 있다. 신경망을 기반으로 보다 원본 영상에 가까운 품질의 영상을 얻을 수 있다. 이하에서, 도 30을 참조하여 설명한다.
도 30은 본 개시의 일 실시예에 따른 영상의 필터링 방법을 나타내는 순서도이다.
도 30을 참조하면, 필터링 장치(2000)는 현재 영상의 복호화된 영상(또는 복원 영상)을 획득할 수 있다(S3010). 영상 복호화 장치(100) 및 영상 부호화 장치(200)에 의해 현재 영상의 복호화된 영상이 생성될 수 있다.
일 실시예에서, 앞서 도 20 내지 도 23에서 설명한 기존의 ALF(Adaptive Loop Filter)와 같은 전통적인 필터링 방법 대신 신경망을 기반으로 영상의 왜곡을 보정하고 압축 효율을 향상시키기 위한 뉴럴 루프 필터가 필터링에 이용될 수 있다. 뉴럴 루프 필터는 미리 학습된 신경망 모델을 이용하여 복원 영상의 왜곡을 보정할 수 있다.
일 실시예에서, 뉴럴 루프 필터는 원본 영상 및 압축된 영상(즉, 복원 영상)을 이용하여 학습되는 신경망을 포함할 수 있다. 신경망은 압축으로 인한 복원 영상의 왜곡 패턴을 학습할 수 있다.
필터링 장치(2000)는 미리 정의된 함수에 기초하여 현재 영상 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전처리할 수 있다(S3020).
한편, 일 실시예에서, 전처리가 수행되지 않는 경우, 필터링 장치(2000)는 다음의 수학식 8을 이용하여 필터링된 샘플을 획득할 수 있다.
수학식 8에서, xk ref은 k번째 주변 샘플(또는 참조 샘플)을 나타내고, xout은 필터링된 샘플을 나타낸다. bk는 바이어스 값을 나타낸다. 바이어스 값은 현재 샘플 별로 개별적으로 결정되는 값일 수도 있고, 주변 샘플 별로 개별적으로 결정되는 값일 수도 있다. 즉, 전처리가 수행되지 않은 참조 정보를 이용하는 뉴럴 루프 필터를 이용하는 경우, 필터링 장치(2000)는 주변 샘플에 필터 계수를 적용하고, 이를 합산한 값에 바이어스 값을 적용함으로써 현재 샘플의 필터링된 샘플 값을 획득할 수 있다.
본 개시의 일 실시예에 따르면, 전처리된 현재 샘플과 주변 샘플의 차분을 뉴럴 루프 필터의 입력으로 하여 현재 샘플을 필터링함으로써, 현재 샘플과의 유사도를 효과적으로 필터링에 반영할 수 있고, 이를 통해, 필터링 성능을 향상시키고 압축 효율을 높일 수 있다.
일 실시예에서, 필터링 장치(2000)는 다음의 수학식 9에 따라 전처리된 차분을 이용하여 필터링된 샘플을 획득할 수 있다.
수학식 9에서, xcur는 현재 필터링되는 현재 샘플(또는 픽셀)을 나타내고, xout은 필터링된 샘플을 나타낸다. xk ref은 k번째 주변 샘플(또는 참조 샘플)을 나타낸다. k번째 주변 샘플은 필터 내에서 인덱스 k 값이 할당된 필터 계수가 적용되는 주변 샘플을 의미할 수 있다. 다시 말해, k번째 주변 샘플은 필터 계수 wk가 적용되는 주변 샘플을 나타낼 수 있다. k번째 주변 샘플은 필터 계수 wk에 대응하는 주변 샘플을 나타낼 수 있다. wk는 k번째 주변 샘플에 대응하는 필터 계수를 나타내며, 본 개시에서, wk는 가중치로 표현될 수도 있다. wk는 현재 블록에 적용되는 필터로부터 획득될 수 있다. bk는 바이어스 값을 나타낸다. 바이어스 값은 현재 샘플 별로 개별적으로 결정되는 값일 수도 있고, 주변 샘플 별로 개별적으로 결정되는 값일 수도 있다.
수학식 9에서, θ는 파라미터 함수의 파라미터를 나타낸다. 본 개시의 일 실시예에서, 전처리 과정은 파라미터화 될 수 있고, 해당 파라미터는 학습을 위해 미분 가능할 수 있다. 또는, 해당 파라미터는 학습을 위해 구간별 미분 가능할 수 있다. 수학식 9에 따르면 모든 정보는 동일한 중요도를 갖는 것으로 고려될 수 있고, 개별적인 참조 정보의 중요도는 배제될 수 있다. 또는, 다음의 수학식 10에서와 같이, 서로 다른 주변 샘플(또는 참조 샘플)에 대하여 서로 다른 파라미터를 이용한 전처리가 수행될 수도 있다.
수학식 10에서, xcur는 현재 필터링되는 현재 샘플(또는 픽셀)을 나타내고, xout은 필터링된 샘플을 나타낸다. xk ref은 k번째 주변 샘플(또는 참조 샘플)을 나타낸다. wk는 k번째 주변 샘플에 대응하는 필터 계수를 나타낸다. bk는 바이어스 값을 나타낸다. 바이어스 값은 현재 샘플 별로 개별적으로 결정되는 값일 수도 있고, 주변 샘플 별로 개별적으로 결정되는 값일 수도 있다.
수학식 10에서, θk는 파라미터 함수의 파라미터를 나타낸다. θk는 주변 샘플에 따라 적응적으로 결정될 수 있다. 즉, 서로 다른 주변 샘플(또는 참조 샘플)에 대하여 서로 다른 파라미터를 이용한 전처리가 수행될 수도 있다. 일 실시예에서, 전처리 과정은 파라미터화 될 수 있고, 해당 파라미터는 학습을 위해 미분 가능할 수 있다. 또는, 해당 파라미터는 학습을 위해 구간별 미분 가능할 수 있다.
일 실시예에서, 필터링 장치(2000)는 미리 정의된 함수에 기초하여 현재 영상 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전처리할 수 있다. 즉, 뉴럴 루프 필터 기반 필터링이 수행되는 경우에도 도 24 내지 도 29에서 설명한 실시예에서와 같이, 주변 샘플과 현재 샘플간 차분에 대한 전처리가 수행될 수 있다. 본 개시에서, 전처리를 위해 미리 정의된 함수는 파라미터 함수로 지칭될 수 있다. 일 실시예에서, 파라미터 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절될 수 있다. 앞서 도 24 내지 도 29에서 설명한 실시예가 적용될 수 있으며, 여기서 중복되는 설명은 생략한다.
일 실시예에서, 파라미터 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의될 수 있다. 일 실시예에서, 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분 및 적어도 하나의 파라미터를 결합한 값을 지수로 할 수 있다.
일 실시예에서, 앞서 수학식 3에서 설명한 바와 같이, 파라미터 함수는 주변 샘플과 현재 샘플간 차분에 제1 지수 함수의 출력을 곱한 값을 출력할 수 있다. 제1 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분의 절대값에 대한 음의 값을, 제1 파라미터로 나눈 값을 지수로 할 수 있다.
일 실시예에서, 앞서 수학식 4에서 설명한 바와 같이, 파라미터 함수는 주변 샘플과 현재 샘플간 차분에 제2 지수 함수의 출력을 곱한 값을 출력할 수 있다. 제2 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분의 절대값의 제3 파라미터 거듭제곱에 대한 음의 값을, 제2 파라미터의 상기 제3 파라미터 거듭제곱으로 나눈 값을 지수로 할 수 있다.
일 실시예에서, 앞서 수학식 5에서 설명한 바와 같이, 파라미터 함수는 제4 파라미터를 소정의 상수로 나눈 값에, 제3 지수 함수에서 제4 지수 함수를 뺀 값을 곱하고, 제3 지수 함수에 제4 지수 함수를 더한 값을 나눈 값을 출력할 수 있다. 제3 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분에 제4 파라미터를 곱한 값을 지수로 할 수 있다. 제4 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분에 제4 파라미터를 곱한 값의 음의 값을 지수로 할 수 있다. 일 예로서, 소정의 상수는 수학식 5에서와 같이 2로 정의될 수 있다. 또는, 소정의 상수는 2의 거듭제곱으로 정의될 수 있다.
일 실시예에서, 앞서 수학식 6에서 설명한 바와 같이, 파라미터 함수는 제5 파라미터를 소정의 상수로 나눈 값에, 1에서 제5 지수 함수를 뺀 값을 곱하고, 1에 제5 지수 함수를 더한 값을 나눈 값을 출력할 수 있다. 제5 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분에 제5 파라미터를 곱한 값의 음의 값을 지수로 할 수 있다. 예로서, 소정의 상수는 수학식 6에서와 같이 2로 정의될 수 있다. 또는, 소정의 상수는 2의 거듭제곱으로 정의될 수 있다.
일 실시예에서, 필터링 장치(2000)는 현재 블록 내 현재 샘플 및/또는 현재 샘플의 주변 샘플에 현재 필터의 필터 계수를 적용할 수 있다. 필터링 장치(2000)는 현재 필터로부터 복수의 필터 계수를 획득할 수 있다. 필터링 장치(2000)는 복수의 필터 계수 각각에 대응하는 주변 샘플을 포함하는 현재 샘플의 주변 샘플 그룹을 결정할 수 있다. 필터링 장치(2000)는 주변 샘플 그룹 내 각각의 주변 샘플과 현재 샘플간 차분에 대해 전처리를 수행할 수 있다.
필터링 장치(2000)는 복호화된 영상 및 전처리된 차분을 입력으로 하여 필터링된 영상을 출력할 수 있다(S3030).
일 실시예에서, 필터링 장치(2000)는 현재 블록 내 현재 샘플 및/또는 현재 샘플의 주변 샘플에 현재 필터의 필터 계수를 적용할 수 있다. 일 예로서, 앞서 설명한 수학식 8 내지 수학식 10이 적용될 수 있다.
일 실시예에서, 복호화된 영상 및 전처리된 차분은 필터링 장치(2000)에 입력될 수 있다. 필터링 장치(2000)는 미리 학습된 뉴럴 루프 필터의 신경망 모델을 포함할 수 있다. 뉴럴 루프 필터의 신경망 모델은 원본 영상 및 압축된 영상(즉, 복원 영상)을 이용하여 압축으로 인한 복원 영상의 다양한 왜곡 패턴을 학습할 수 있다.
필터링 장치(2000)는 입력 데이터를 기반으로 복호화된 영상의 왜곡을 보정하기 위한 보정값을 예측할 수 있다. 즉, 필터링 장치(2000)는 학습된 신경망을 기반으로 입력 데이터에 포함된 왜곡(또는 왜곡 패턴)을 인식하고, 왜곡을 최소화하는 보정값을 계산할 수 있다.
필터링 장치(2000)는 필터링이 적용된, 즉, 보정된 값을 출력할 수 있다. 샘플 단위로 최종 보정된 샘플 값이 업데이트될 수 있다. 필터링 장치(2000)는 필터링이 적용된 영상을 최종 출력으로 생성할 수 있다.
한편, 이상에서 설명한 필터링을 위한 전처리는 앞서 설명한 수학식 2 내지 수학식 6과 같은 수학식을 직접적으로 이용하여 구현될 수도 있고, 지수 함수의 연산 비용을 고려하여 미리 정의된 테이블을 기반으로 구현될 수도 있다. 일 실시예에서, 주변 샘플과 현재 샘플간 차분의 값에 따라 출력 값이 정해진 테이블이 정의될 수 있다. 일 예로서, 다음의 수학식 11에 따라 테이블을 기반으로 전처리된 차분을 이용하여 필터링된 샘플이 획득될 수 있다.
수학식 11에서, xcur는 현재 필터링되는 현재 샘플(또는 픽셀)을 나타내고, xout은 필터링된 샘플을 나타낸다. xk ref은 k번째 주변 샘플(또는 참조 샘플)을 나타낸다. wk는 k번째 주변 샘플에 대응하는 필터 계수를 나타낸다. bk는 바이어스 값을 나타낸다. min은 주변 샘플과 현재 샘플간 차분의 최소 값을 나타낸다.
본 개시의 일 실시예는, 필터링에 이용되는 참조 정보에 대한 전처리를 수행함으로써, 영상의 왜곡을 줄이고 주관적 화질을 향상시키는 것을 과제로 한다.
본 개시의 일 실시예는, 전처리된 참조 정보에 필터를 적용함으로써, 현재 샘플과 주변 샘플간 유사도를 효과적으로 필터링에 반영하는 것을 과제로 한다.
본 개시를 통해 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 복수의 필터를 포함하는 필터 세트 내에서 현재 블록에 적용되는 현재 필터를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 미리 정의된 함수에 기초하여 현재 블록 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전처리하는 단계를 포함할 수 있다.
일 실시예에 따르면, 미리 정의된 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의될 수 있다.
일 실시예에 따르면, 미리 정의된 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절될 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 현재 필터 및 전처리된 차분에 기초하여 현재 샘플을 필터링하는 단계를 포함할 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 현재 필터로부터 복수의 필터 계수를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 복수의 필터 계수 각각에 대응하는 주변 샘플을 포함하는 현재 샘플의 주변 샘플 그룹을 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 전처리는 주변 샘플 그룹 내 각각의 주변 샘플과 현재 샘플간 차분에 대해 수행될 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 전처리된, 각각의 주변 샘플과 현재 샘플간 차분에, 각각의 주변 샘플에 대응하는 필터 계수를 곱한 값을 합산하는 단계를 포함할 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분 및 적어도 하나의 파라미터를 결합한 값을 지수로 할 수 있다.
일 실시예에 따르면, 미리 정의된 함수는 주변 샘플과 현재 샘플간 차분에 제1 지수 함수의 출력을 곱한 값을 출력할 수 있다.
일 실시예에 따르면, 제1 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분의 절대값에 대한 음의 값을, 제1 파라미터로 나눈 값을 지수로 할 수 있다.
일 실시예에 따르면, 미리 정의된 함수는 주변 샘플과 현재 샘플간 차분에 제2 지수 함수의 출력을 곱한 값을 출력할 수 있다.
일 실시예에 따르면, 제2 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분의 절대값의 제3 파라미터 거듭제곱에 대한 음의 값을, 제2 파라미터의 제3 파라미터 거듭제곱으로 나눈 값을 지수로 할 수 있다.
일 실시예에 따르면, 미리 정의된 함수는 제4 파라미터를 소정의 상수로 나눈 값에, 제3 지수 함수에서 제4 지수 함수를 뺀 값을 곱하고, 제3 지수 함수에 제4 지수 함수를 더한 값을 나눈 값을 출력할 수 있다.
일 실시예에 따르면, 제3 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분에 제4 파라미터를 곱한 값을 지수로 할 수 있다.
일 실시예에 따르면, 제4 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분에 제4 파라미터를 곱한 값의 음의 값을 지수로 할 수 있다.
일 실시예에 따르면, 미리 정의된 함수는 제5 파라미터를 소정의 상수로 나눈 값에, 1에서 제5 지수 함수를 뺀 값을 곱하고, 1에 제5 지수 함수를 더한 값을 나눈 값을 출력할 수 있다.
일 실시예에 따르면, 제5 지수 함수는 자연 상수를 밑으로 하고, 주변 샘플과 현재 샘플간 차분에 제5 파라미터를 곱한 값의 음의 값을 지수로 할 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 현재 블록의 하나 이상의 샘플 값에 기초하여 현재 블록의 클래스 인덱스를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 필터링 장치에 의한 영상의 필터링 방법은, 현재 블록의 클래스 인덱스를 이용하여 필터 세트 내에서 현재 필터를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상의 필터링 장치는, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리, 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함할 수 있다.
일 실시예에 따른 영상의 필터링 장치에 포함된 프로세서는, 복수의 필터를 포함하는 필터 세트 내에서 현재 블록에 적용되는 현재 필터를 결정할 수 있다.
일 실시예에 따른 영상의 필터링 장치에 포함된 프로세서는, 미리 정의된 함수에 기초하여 현재 블록 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전저리할 수 있다.
일 실시예에 따르면, 미리 정의된 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의될 수 있다.
일 실시예에 따르면, 미리 정의된 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절될 수 있다.
일 실시예에 따른 영상의 필터링 장치에 포함된 프로세서는, 현재 필터 및 전처리된 차분에 기초하여 현재 샘플을 필터링할 수 있다.
일 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는 비트스트림을 저장할 수 있다.
일 실시예에서, 비트스트림은, 필터링 방법에 따라 필터링되는 현재 영상을 기반으로 생성된 부호화 결과를 포함할 수 있다.
일 실시예에서, 비트스트림에 포함된 부호화 결과는, 복수의 필터를 포함하는 필터 세트 내에서 현재 블록에 적용되는 현재 필터를 결정함으로써 생성될 수 있다.
일 실시예에서, 비트스트림에 포함된 부호화 결과는, 미리 정의된 함수에 기초하여 현재 블록 내 현재 샘플의 주변 샘플과 현재 샘플간 차분을 전저리함으로써 생성될 수 있다.
일 실시예에 따르면, 미리 정의된 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의될 수 있다.
일 실시예에 따르면, 미리 정의된 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절될 수 있다.
일 실시예에서, 비트스트림에 포함된 부호화 결과는, 현재 필터 및 전처리된 차분에 기초하여 상기 현재 샘플을 필터링함으로써 생성될 수 있다.
본 개시의 일 실시예에 따르면, 필터링에 이용되는 참조 정보에 대한 전처리를 수행함으로써, 영상의 왜곡을 줄이고 주관적 화질을 향상시킬 수 있다.
본 개시의 일 실시예는, 전처리된 참조 정보에 필터를 적용함으로써, 현재 샘플과 주변 샘플간 유사도를 효과적으로 필터링에 반영하고, 필터링 성능을 향상시킬 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 기기로 읽을 수 있는 저장매체에 저장될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (11)

  1. 필터링 장치(2000)에 의한 영상의 필터링 방법에 있어서,
    복수의 필터를 포함하는 필터 세트 내에서 현재 블록에 적용되는 현재 필터를 결정하는 단계(S2910);
    미리 정의된 함수에 기초하여 상기 현재 블록 내 현재 샘플의 주변 샘플과 상기 현재 샘플간 차분을 전처리하는 단계(S2920)로서, 여기서, 상기 미리 정의된 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의되고, 상기 미리 정의된 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절됨; 및
    상기 현재 필터 및 상기 전처리된 차분에 기초하여 상기 현재 샘플을 필터링하는 단계(S2930)를 포함하는, 영상의 필터링 방법.
  2. 제1항에 있어서,
    상기 현재 필터로부터 복수의 필터 계수를 획득하는 단계; 및
    상기 복수의 필터 계수 각각에 대응하는 주변 샘플을 포함하는 상기 현재 샘플의 주변 샘플 그룹을 결정하는 단계를 더 포함하되,
    상기 전처리는 상기 주변 샘플 그룹 내 각각의 주변 샘플과 상기 현재 샘플간 차분에 대해 수행되는, 영상의 필터링 방법.
  3. 제2항에 있어서,
    상기 현재 샘플을 필터링하는 단계(S2930)는,
    상기 전처리된, 상기 각각의 주변 샘플과 상기 현재 샘플간 차분에, 상기 각각의 주변 샘플에 대응하는 필터 계수를 곱한 값을 합산하는 단계를 포함하는, 영상의 필터링 방법.
  4. 제1항에 있어서,
    상기 지수 함수는 상기 자연 상수를 밑으로 하고, 상기 주변 샘플과 상기 현재 샘플간 차분 및 상기 적어도 하나의 파라미터를 결합한 값을 지수로 하는, 영상의 필터링 방법.
  5. 제4항에 있어서,
    상기 미리 정의된 함수는 상기 주변 샘플과 상기 현재 샘플간 차분에 제1 지수 함수의 출력을 곱한 값을 출력하고,
    상기 제1 지수 함수는 상기 자연 상수를 밑으로 하고, 상기 주변 샘플과 상기 현재 샘플간 차분의 절대값에 대한 음의 값을, 제1 파라미터로 나눈 값을 지수로 하는, 영상의 필터링 방법.
  6. 제4항에 있어서,
    상기 미리 정의된 함수는 상기 주변 샘플과 상기 현재 샘플간 차분에 제2 지수 함수의 출력을 곱한 값을 출력하고,
    상기 제2 지수 함수는 상기 자연 상수를 밑으로 하고, 상기 주변 샘플과 상기 현재 샘플간 차분의 절대값의 제3 파라미터 거듭제곱에 대한 음의 값을, 제2 파라미터의 상기 제3 파라미터 거듭제곱으로 나눈 값을 지수로 하는, 영상의 필터링 방법.
  7. 제4항에 있어서,
    상기 미리 정의된 함수는 제4 파라미터를 소정의 상수로 나눈 값에, 제3 지수 함수에서 제4 지수 함수를 뺀 값을 곱하고, 상기 제3 지수 함수에 상기 제4 지수 함수를 더한 값을 나눈 값을 출력하고,
    상기 제3 지수 함수는 상기 자연 상수를 밑으로 하고, 상기 주변 샘플과 상기 현재 샘플간 차분에 상기 제4 파라미터를 곱한 값을 지수로 하고,
    상기 제4 지수 함수는 상기 자연 상수를 밑으로 하고, 상기 주변 샘플과 상기 현재 샘플간 차분에 상기 제4 파라미터를 곱한 값의 음의 값을 지수로 하는, 영상의 필터링 방법.
  8. 제4항에 있어서,
    상기 미리 정의된 함수는 제5 파라미터를 소정의 상수로 나눈 값에, 1에서 제5 지수 함수를 뺀 값을 곱하고, 1에 상기 제5 지수 함수를 더한 값을 나눈 값을 출력하고,
    상기 제5 지수 함수는 상기 자연 상수를 밑으로 하고, 상기 주변 샘플과 상기 현재 샘플간 차분에 상기 제5 파라미터를 곱한 값의 음의 값을 지수로 하는, 영상의 필터링 방법.
  9. 제1항에 있어서,
    상기 현재 필터를 결정하는 단계(S2910)는,
    상기 현재 블록의 하나 이상의 샘플 값에 기초하여 상기 현재 블록의 클래스 인덱스를 결정하는 단계; 및
    상기 현재 블록의 클래스 인덱스를 이용하여 상기 필터 세트 내에서 상기 현재 필터를 결정하는 단계를 포함하는, 영상의 필터링 방법.
  10. 영상의 필터링 장치(2000)에 있어서,
    적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리; 및
    상기 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    복수의 필터를 포함하는 필터 세트 내에서 현재 블록에 적용되는 현재 필터를 결정하고,
    미리 정의된 함수에 기초하여 상기 현재 블록 내 현재 샘플의 주변 샘플과 상기 현재 샘플간 차분을 전저리하되, 여기서, 상기 미리 정의된 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의되고, 상기 미리 정의된 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절되고,
    상기 현재 필터 및 상기 전처리된 차분에 기초하여 상기 현재 샘플을 필터링하는, 영상의 필터링 장치.
  11. 비트스트림을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 비트스트림은, 필터링 방법에 따라 필터링되는 현재 영상을 기반으로 생성된 부호화 결과를 포함하고,
    상기 필터링 방법은,
    복수의 필터를 포함하는 필터 세트 내에서 상기 현재 영상 내 현재 블록에 적용되는 현재 필터를 결정하는 단계;
    미리 정의된 함수에 기초하여 상기 현재 블록 내 현재 샘플의 주변 샘플과 상기 현재 샘플간 차분을 전처리하는 단계로서, 여기서, 상기 미리 정의된 함수는 자연 상수의 거듭제곱으로 표현되는 지수 함수를 이용하여 정의되고, 상기 미리 정의된 함수의 출력 형태는 적어도 하나의 파라미터를 이용하여 조절됨; 및
    상기 현재 필터 및 상기 전처리된 차분에 기초하여 상기 현재 샘플을 필터링하는 단계를 포함하는, 기록매체.
PCT/KR2025/009379 2024-07-02 2025-07-01 영상의 필터링 장치 및 방법 Pending WO2026010342A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2024-0087121 2024-07-02
KR20240087121 2024-07-02
KR1020240179697A KR20260005011A (ko) 2024-07-02 2024-12-05 영상의 필터링 장치 및 방법
KR10-2024-0179697 2024-12-05

Publications (1)

Publication Number Publication Date
WO2026010342A1 true WO2026010342A1 (ko) 2026-01-08

Family

ID=98318769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/009379 Pending WO2026010342A1 (ko) 2024-07-02 2025-07-01 영상의 필터링 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2026010342A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180093950A (ko) * 2016-01-11 2018-08-22 삼성전자주식회사 영상 부호화 방법 및 장치와 영상 복호화 방법 및 장치
KR20180113529A (ko) * 2016-02-15 2018-10-16 퀄컴 인코포레이티드 비디오 코딩을 위한 블록들의 다수의 클래스들에 대한 필터들의 병합
KR20210015819A (ko) * 2018-06-01 2021-02-10 퀄컴 인코포레이티드 블록-기반 적응 루프 필터 (alf) 설계 및 시그널링
KR20210099134A (ko) * 2018-12-21 2021-08-11 캐논 가부시끼가이샤 비선형 클리핑을 갖는 적응 루프 필터링(alf)
KR20230022093A (ko) * 2021-08-06 2023-02-14 삼성전자주식회사 영상에 대한 ai 기반 필터링을 위한 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180093950A (ko) * 2016-01-11 2018-08-22 삼성전자주식회사 영상 부호화 방법 및 장치와 영상 복호화 방법 및 장치
KR20180113529A (ko) * 2016-02-15 2018-10-16 퀄컴 인코포레이티드 비디오 코딩을 위한 블록들의 다수의 클래스들에 대한 필터들의 병합
KR20210015819A (ko) * 2018-06-01 2021-02-10 퀄컴 인코포레이티드 블록-기반 적응 루프 필터 (alf) 설계 및 시그널링
KR20210099134A (ko) * 2018-12-21 2021-08-11 캐논 가부시끼가이샤 비선형 클리핑을 갖는 적응 루프 필터링(alf)
KR20230022093A (ko) * 2021-08-06 2023-02-14 삼성전자주식회사 영상에 대한 ai 기반 필터링을 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2020060158A1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2018016823A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2017222237A1 (ko) 화면 내 예측 방법 및 장치
WO2019135648A1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2019066472A1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2021141451A1 (ko) 양자화 파라미터를 획득하기 위한 비디오 복호화 방법 및 장치, 양자화 파라미터를 전송하기 위한 비디오 부호화 방법 및 장치
WO2021086153A1 (ko) 어파인 모델에 따른 인터 예측을 수행하는 비디오 복호화 방법 및 그 장치, 비디오 부호화 방법 및 그 장치
WO2019066574A1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2020130712A1 (ko) 삼각 예측 모드를 이용하는 영상 부호화 장치 및 영상 복호화 장치, 및 이에 의한 영상 부호화 방법 및 영상 복호화 방법
WO2020256468A1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
WO2020263067A1 (ko) 부호화 순서를 고려하여 어파인 모델 기반의 예측을 수행하는 비디오 부호화 방법 및 그 장치, 복호화 순서를 고려하여 어파인 모델 기반의 예측을 수행하는 비디오 복호화 방법 및 그 장치
WO2020022853A1 (ko) 서브 블록 기반으로 영상을 복호화하는 방법 및 장치, 부호화 방법 및 장치
WO2025009773A1 (ko) 영상 복호화 방법, 영상 복호화 장치, 영상 부호화 방법, 및 영상 부호화 장치
WO2026010342A1 (ko) 영상의 필터링 장치 및 방법
WO2025249811A1 (ko) 영상의 적응적 필터링 장치 및 방법
WO2025159382A1 (ko) 영상의 적응적 필터링 장치 및 방법
WO2020242229A1 (ko) 작은 크기의 인트라 블록을 방지하기 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2020231176A1 (ko) 영상 크기에 기반한 영상의 부호화 방법 및 장치, 영상의 복호화 방법 및 장치
WO2020190113A1 (ko) 블록 형태별로 블록 크기가 설정되는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2025048350A1 (ko) 영상의 부호화 방법, 부호화 장치, 복호화 방법 및 복호화 장치
WO2025211652A1 (ko) 템플릿 매칭을 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 매칭을 이용하여 영상을 복호화하는 장치, 및 방법
WO2025023438A1 (ko) 확률 값 튜닝을 이용한 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치
WO2025105701A1 (ko) 템플릿 매칭을 이용하여 영상을 부호화 및 복호화하는 장치, 및 방법
WO2020159250A1 (ko) 영상으로부터 다양한 형태로 분할된 블록들을 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2025058213A1 (ko) 인트라 예측을 이용하여 영상을 부호화 및 복호화하는 장치, 및 방법