CN118511518A - 视频信号编码/解码方法和存储比特流的记录介质 - Google Patents
视频信号编码/解码方法和存储比特流的记录介质 Download PDFInfo
- Publication number
- CN118511518A CN118511518A CN202380016284.0A CN202380016284A CN118511518A CN 118511518 A CN118511518 A CN 118511518A CN 202380016284 A CN202380016284 A CN 202380016284A CN 118511518 A CN118511518 A CN 118511518A
- Authority
- CN
- China
- Prior art keywords
- picture
- random access
- region
- prediction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
根据本公开内容的图像解码方法包括以下步骤:当执行随机访问时,对属于随机访问组的图片进行顺序解码;以及将属于随机访问组的图片中的最后一个图片作为重构图片进行输出。
Description
技术领域
本公开内容涉及用于处理视频信号的方法和设备。
背景技术
近来,在各种应用领域中对诸如HD(高清)图像和UHD(超高清)图像的高分辨率和高质量图像的需求增加。由于随着图像数据变得高分辨率和高质量,与现有图像数据相比,数据量相对增加,因此在通过使用例如现有有线和无线宽带电路的介质来发送图像数据或者通过使用现有存储介质来存储图像数据时,发送费用和存储费用增加。可以利用高效图像压缩技术来解决由于图像数据变得高分辨率和高质量而生成的这些问题。
存在各种技术,例如利用图像压缩技术根据当前图片的先前或后续图片来预测在当前图片中包括的像素值的帧间预测技术、通过使用当前图片中的像素信息来预测在当前图片中包括的像素值的帧内预测技术、将短符号分配给具有高出现频率的值并且将长符号分配给具有低出现频率的值的熵编码技术等,并且可以通过使用这些图像压缩技术来有效地压缩和发送或者存储图像数据。
另一方面,随着对高分辨率图像的需求增加,对作为新的图像服务的立体图像内容的需求也增加。已经讨论了用于有效地提供高分辨率和超高分辨率立体图像内容的视频压缩技术。
发明内容
技术问题
本公开内容旨在提供在无需帧间图片的情况下可用于随机访问的视频编码/解码方法。
本公开内容的目的是提供通过逐渐扩大重构区域对随机访问组中的图片进行编码/解码的方法以及用于执行该方法的设备。
本公开内容的技术效果可以不受以上提及的技术效果的限制,并且本公开内容所属技术领域的普通技术人员可以从以下描述中清楚地理解其他未提及的技术效果。
技术方案
根据本公开内容的图像解码方法包括:当执行随机访问时,对属于随机访问组的图片进行顺序解码;以及将属于随机访问组的图片中的最后一个图片作为重构图片进行输出。
根据本公开内容的图像编码方法包括:当执行随机访问时对属于随机访问组的图片进行顺序编码,以及对用于指定属于随机访问组的图片的信息进行编码。
在根据本公开内容的编码/解码方法中,属于随机访问组的图片中的除重构图片之外的剩余图片中至少一个可以由完全重构区域和非完全编码区域组成。
在根据本公开内容的编码/解码方法中,当执行随机访问时,非完全编码区域可能不能被完全重构,并且当不执行随机访问时,非完全编码区域可以被完全重构。
在根据本公开内容的编码/解码方法中,完全重构区域包括帧内区域或完全编码区域中的至少一个,并且完全编码区域可以通过使用输出顺序早于随机访问组中的当前图片的输出顺序的图片作为参考图片的帧内预测或帧间预测中的至少一种来重构。
在根据本公开内容的编码/解码方法中,当前图片中的完全编码区域可以包括与先前图片中的帧内区域对应的区域。
在根据本公开内容的编码/解码方法中,对于属于随机访问组的图片中的除重构图片之外的剩余图片中的每一个,可以对用于指定帧内区域的信息进行显式编码并用信号通知。
在根据本公开内容的编码/解码方法中,可以基于子图片、图块或切片的预测类型信息确定帧内区域。
在根据本公开内容的编码/解码方法中,随机访问组可以由预测类型为P型的图片组成。
在根据本公开内容的编码/解码方法中,当与随机访问组中的随机访问位置对应的图片的解码完成时,解码图片缓冲器(DPB)可以被初始化。
在根据本公开内容的编码/解码方法中,在当前图片是输出顺序晚于属于随机访问组的图片的输出顺序的图片时,仅属于随机访问组的图片中的重构图片可以作为当前图片的参考图片。
在根据本公开内容的编码/解码方法中,在当前图片是输出顺序晚于属于随机访问组的图片的的图片并且当前图片中的当前块使用属于随机访问组的图片之一作为参考图片时,当前块的运动矢量可以被强制指示参考图片中的完全重构区域的内部。
在根据本公开内容的编码/解码方法中,当前块的运动矢量可以是通过将运动矢量差值和当前块与参考图片中的完全重构区域之间的距离相加得出的。
在根据本公开内容的编码/解码方法中,指示随机访问组的大小的信息可以通过比特流显式地用信号通知。
以上关于本公开内容简要概述的特征仅是下面描述的本公开内容的详细描述的示例性方面,并且不限制本公开内容的范围。
技术效果
根据本公开内容,可以提供在无需帧间图片的情况下用于随机访问的视频编码/解码方法。
根据本公开内容,可以通过逐步扩大随机访问组中的图片来重构区域,从而提高编码/解码效率。
从本公开内容可获得的效果不限制于以上提及的效果,并且本公开内容所属技术领域的普通技术人员可以从以下描述中清楚地理解其他未提及的效果。
附图说明
图1是示出根据本公开内容的实施方式的图像编码设备的框图。
图2是示出根据本公开内容的实施方式的图像解码设备的框图。
图3示出了构成视频的图片的预测信息。
图4是示出其中插入了I图片的视频的比特率的示例。
图5是用于描述其中不使用I图片执行随机访问的示例的图。
图6是用于描述随机访问组内的图片的重构区域的图。
图7是示出了其中设置了属于随机访问组的每个图片的完全编码区域的示例。
图8和图9示出了用于设置当前块的运动矢量的方法。
图10示出了参考图片缓冲器的配置示例。
图11是示出根据本公开内容的实施方式的用于对图片进行解码的方法的流程图。
具体实施方式
由于本公开内容可以作出各种改变并且具有若干实施方式,因此将在图中说明并且详细描述特定实施方式。然而,并不旨在将本公开内容限制为特定实施方式,并且应当理解,本公开内容包括包含在本公开内容的思想和技术范围内的所有改变、等同物或替代物。在描述每个附图时,相似的附图标记用于相似的部件。
可以使用诸如第一、第二等的术语来描述各种部件,但是部件不应受该术语限制。这些术语仅用于区分一个部件与其他部件。例如,在不超出本公开内容的权利的范围的情况下,第一部件可以被称为第二部件,并且类似地,第二部件也可以被称为第一部件。“和/或”的术语包括多个相对输入项目的组合或多个相对输入项目的任何项目。
在部件被称为“链接”或“连接”至其他部件时,应当理解,该部件可以直接链接或连接至其他部件,但是其他部件可以存在于中间。另一方面,在部件被称为“直接链接”或“直接连接”至其他部件时,应当理解,在中间不存在其他部件。
因为本申请中使用的术语仅用于描述特定实施方式,因此其不旨在限制本公开内容。单数的表达包括复数的表达,除非其在上下文中清楚地具有不同的含义。在本申请中,应当理解,诸如“包括”或“具有”等术语是指在说明书中输入的特性、数字、步骤、运动、部件、部分或其组合的存在,但不排除一个或更多个其他特性、数字、步骤、运动、部件、部分或其组合的提前添加或存在的可能性。
在下文中,参照附图,将更详细地描述本公开内容的期望实施方式。在下文中,在图中相同的附图标记用于相同的部件,并且省略对同一部件的重复描述。
图1是示出根据本公开内容的实施方式的图像编码设备的框图。
参照图1,图像编码设备(100)可以包括:图片分割单元(110)、预测单元(120、125)、变换单元(130)、量化单元(135)、重排单元(160)、熵编码单元(165)、去量化单元(140)、逆变换单元(145)、滤波器单元(150)和存储器(155)。
由于图1中的每个构造单元被独立地示出以表示图像编码设备中的不同特性功能,这并不意味着每个构造单元由分开的硬件或一个软件单元构成。也就是说,由于是为了便于描述将每个构造单元列举为每个构造单元而包括每个构造单元,所以每个构造单元中的至少两个构造单元可以被组合以构成一个构造单元,或者一个构造单元可以被分割成多个构造单元以执行功能,并且甚至每个构造单元的集成实施方式和分开的实施方式也包括在本公开内容的权利的范围中,只要它们不背离本公开内容的实质。
此外,一些部件可以仅是用于改进性能的可选部件,而不是执行本公开内容中的基本功能的必要部件。可以通过仅包括实现本公开内容的实质所必需的构造单元而排除仅用于改进性能的部件来实现本公开内容,并且仅包括必要部件而排除仅用于改进性能的可选部件的结构也包括在本公开内容的权利的范围中。
图片分割单元(110)可以将输入图片分割成至少一个处理单元。在该情况下,处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。在图片分割单元(110)中,可以将一个图片分割成多个编码单元、预测单元和变换单元的组合,并且可以通过根据预定标准(例如,成本函数)选择一个编码单元、预测单元和变换单元的组合来对图片进行编码。
例如,一个图片可以被分割成多个编码单元。为了分割图片中的编码单元,可以使用诸如四叉树、三叉树或二叉树的递归树结构,并且通过使用一个图像或最大编码单元作为路径而被分割成其他编码单元的编码单元可以用与所分割的编码单元的数目一样多的子节点来分割。根据特定限制不再被分割的编码单元成为叶节点。在示例中,当假设对一个编码单元应用四叉树分割时,一个编码单元可以被分割成多达四个其他编码单元。
在下文中,在本公开内容的实施方式中,编码单元可以用作用于编码的单元或者可以用作用于解码的单元。
预测单元可以在一个编码单元中以相同大小以至少一个正方形或矩形形状等进行分割,或者可以被分割成使得在一个编码单元中分割的预测单元中的任何一个预测单元可以具有与另一预测单元不同的形状和/或大小。
在帧内预测中,变换单元可以被配置成与预测单元相同。在这种情况下,在将编码单元分割成多个变换单元之后,可以对每个变换单元执行帧内预测。可以在水平方向或垂直方向上分割编码单元。根据编码单元的大小,通过分割编码单元生成的变换单元的数目可以是2或4。
预测单元(120、125)可以包括执行帧间预测的帧间预测单元(120)以及执行帧内预测的帧内预测单元(125)。可以确定对编码单元执行帧间预测还是帧内预测,并且可以确定根据每个预测方法的详细信息(例如,帧内预测模式、运动矢量、参考图片等)。这种情况下,执行预测的处理单元可以不同于确定预测方法和细节的处理单元。例如,可以在编码单元中确定预测方法、预测模式等,并且可以在预测单元或变换单元中执行预测。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换单元(130)。此外,用于预测的预测模式信息、运动矢量信息等可以在熵编码单元(165)中与残差值一起被编码并且可以被发送至解码设备。当使用特定编码模式时,可以在不通过预测单元(120、125)生成预测块的情况下按原样编码原始块并且将其发送至解码单元。
帧间预测单元(120)可以基于关于当前图片的先前图片或后续图片中的至少一个图片的信息来预测预测单元,或者在一些情况下可以基于关于当前图片中的一些编码区域的信息来预测预测单元。帧间预测单元(120)可以包括参考图片内插单元、运动预测单元和运动补偿单元。
参考图片内插单元可以从存储器(155)接收参考图片信息,并且生成等于或小于参考图片中的整数像素的像素信息。对于亮度像素,可以使用具有不同滤波器系数的基于DCT的8抽头内插滤波器来以1/4像素为单位生成等于或小于整数像素的像素信息。对于色度信号,可以使用具有不同滤波器系数的基于DCT的4抽头内插滤波器来以1/8像素为单位生成等于或小于整数像素的像素信息。
运动预测单元可以基于由参考图片内插单元内插的参考图片来执行运动预测。作为用于计算运动矢量的方法,可以使用诸如FBMA(基于全搜索的块匹配算法)、TSS(三步搜索)、NTS(新三步搜索算法)等的各种方法。基于内插像素,运动矢量可以具有1/2或1/4像素单位的运动矢量值。运动预测单元可以通过改变运动预测方法来预测当前预测单元。可以使用诸如跳过方法、合并方法、高级运动矢量预测(AMVP)方法、帧内块复制方法等的各种方法,作为运动预测方法。
帧内预测单元(125)可以基于作为当前图片中的像素信息的参考像素信息来生成预测单元。可以从多个参考像素线中选择的一个参考像素线中导出参考像素信息。多个参考像素线中的第N个参考像素线可以包括与当前块中的左上侧像素的x轴差值为N的左侧像素和与左上侧像素的y轴差值为N的上侧像素。可以通过当前块选择的参考像素线的数目可以是1、2、3或4。
在当前预测单元中的相邻块是执行帧间预测的块并且因此参考像素是执行帧间预测的像素时,可以通过用执行了帧内预测的周围块的参考像素信息进行替换来使用执行了帧间预测的块中包括的参考像素。换言之,当参考像素不可用时,可以通过用可用参考像素的至少一个信息进行替换来使用不可用的参考像素信息。
帧内预测的预测模式可以具有在执行预测时使用根据预测方向的参考像素信息的定向预测模式和不使用方向信息的非定向模式。用于预测亮度信息的模式可以与用于预测色度信息的模式不同,并且可以利用用于预测亮度信息的帧内预测模式信息或预测的亮度信号信息来预测色度信息。
当在执行帧内预测时预测单元的大小与变换单元的大小相同时,可以基于预测单元的左侧位置处的像素、左上侧位置处的像素和上侧位置处的像素来执行预测单元的帧内预测。
帧内预测方法可以在根据预测模式对参考像素应用平滑滤波器之后生成预测块。根据选择的参考像素线,可以确定是否应用平滑滤波器。
为了执行帧内预测方法,可以根据当前预测单元周围的预测单元中的帧内预测模式来预测当前预测单元中的帧内预测模式。当通过使用根据周围预测单元预测的模式信息来预测当前预测单元中的预测模式时,如果当前预测单元中的帧内预测模式与周围预测单元中的帧内预测模式相同,则可以通过使用预定标志信息来发送关于当前预测单元中的预测模式与周围预测单元中的预测模式相同的信息,并且如果当前预测单元中的预测模式与周围预测单元中的预测模式不同,则可以通过执行熵编码来对当前块的预测模式信息进行编码。
此外,可以生成包括关于残差值的信息的残差块,该残差值是基于在预测单元(120、125)中生成的预测单元执行预测的预测单元与预测单元中的原始块之间的差值。可以将所生成的残差块输入至变换单元(130)。
变换单元(130)可以通过使用诸如DCT(离散余弦变换)、DST(离散正弦变换)、KLT的变换方法来变换原始块和下述残差块,该残差块包括通过预测单元(120、125)生成的预测单元中的残差值信息。可以基于变换单元的大小、变换单元的形式、预测单元中的预测模式或预测单元中的帧内预测模式信息中的至少一个来确定是否应用DCT、DST或KLT以对残差块进行变换。
量化单元(135)可以对在变换单元(130)中被变换到频域的值进行量化。量化系数可以根据图像的重要性或块而改变。在量化单元(135)中计算的值可以被提供给去量化单元(140)和重排单元(160)。
重排单元(160)可以对量化后的残差值的系数值执行重排。
重排单元(160)可以通过系数扫描方法将呈二维块的形状的系数改变成一维矢量的形状。例如,重排单元(160)可以通过使用Z字形扫描方法从DC系数扫描到高频域中的系数,并且将其改变成一维矢量的形状。根据变换单元的大小和帧内预测模式,代替Z字形扫描,可以使用在列方向上扫描呈二维块形状的系数的垂直扫描、在行方向上扫描呈二维块形状的系数的水平扫描、或在对角线方向上扫描呈二维块形状的系数的对角线扫描。换言之,可以根据变换单元的大小和帧内预测模式来确定将使用Z字形扫描、垂直方向扫描和水平方向扫描或对角线扫描中的哪个扫描方法。
熵编码单元(165)可以基于由重排单元(160)计算的值来执行熵编码。例如,熵编码可以使用各种编码方法,例如指数哥伦布(Exponential Golomb)、CAVLC(上下文自适应可变长度编码)和CABAC(上下文自适应二进制算术编码)。
熵编码单元(165)可以对来自重排单元(160)和预测单元(120、125)的诸如编码单元中的残差值系数信息和块类型信息、预测模式信息、分割单元信息、预测单元信息和传输单元信息、运动矢量信息、参考帧信息、块内插信息、滤波信息等的各种信息进行编码。
熵编码单元(165)可以对从重排单元(160)输入的编码单元中的系数值执行熵编码。
去量化单元(140)和逆变换单元(145)对在量化单元(135)中量化的值进行去量化并且对在变换单元(130)中变换的值执行逆变换。由去量化单元(140)和逆变换单元(145)生成的残差值可以与由包括在预测单元(120、125)中的运动预测单元、运动补偿单元和帧内预测单元预测的预测单元进行组合,以生成重构块。
滤波器单元(150)可以包括去块滤波器、偏移校正单元和自适应环路滤波器(ALF)中的至少一个。
去块滤波器可以去除由重构图片中的块之间的边界生成的块失真。为了确定是否执行去块,可以基于包括在块中的若干行或列中包括的像素来确定是否将去块滤波器应用于当前块。当将去块滤波器应用于块时,可以根据所需的去块滤波强度来应用强滤波器或弱滤波器。此外,在应用去块滤波器时,当执行水平滤波和垂直滤波时,水平定向滤波和垂直定向滤波可以被设置成并行处理。
偏移校正单元可以针对执行去块的图像以像素为单位校正与原始图像的偏移。为了对特定图片执行偏移校正,可以在将包括在图像中的像素划分成一定数目的区域之后确定将执行偏移的区域,并且可以使用将偏移应用于对应区域的方法或者通过考虑每个像素的边缘信息来应用偏移的方法。
可以基于通过将经滤波的重构图像与原始图像进行比较获得的值来执行自适应环路滤波(ALF)。在将包括在图像中的像素划分成预定组之后,可以通过确定将被应用于对应组的一个滤波器来区分地按组执行滤波。与是否应用ALF有关的信息可以针对亮度信号按编码单元(CU)发送,并且将要应用的ALF滤波器的形状和滤波器系数可以根据每个块而不同。此外,不管要应用的块的特性如何,都可以应用呈相同形状(固定形状)的ALF滤波器。
存储器(155)可以存储通过滤波器单元(150)计算的重构块或图片,并且当执行帧间预测时,可以将存储的重构块或图片提供给预测单元(120、125)。
图2是示出根据本公开内容的实施方式的图像解码设备的框图。
参照图2,图像解码设备(200)可以包括:熵解码单元(210)、重排单元(215)、去量化单元(220)、逆变换单元(225)、预测单元(230、235)、滤波器单元(240)和存储器(245)。
当从图像编码设备输入图像比特流时,可以根据与图像编码设备的过程相反的过程来对输入比特流进行解码。
熵解码单元(210)可以根据与在图像编码设备的熵编码单元中执行熵编码的过程相反的过程来执行熵解码。例如,响应于在图像编码设备中执行的方法,可以应用诸如指数哥伦布、CAVLC(上下文自适应可变长度编码)、CABAC(上下文自适应二进制算术编码)的各种方法。
熵解码单元(210)可以对与编码设备中执行的帧内预测和帧间预测有关的信息进行解码。
重排单元(215)可以基于在编码单元中重排熵解码单元(210)中熵解码的比特流的方法来执行重排。可以通过被重构为呈二维块形式的系数来重排以一维矢量形式表达的系数。重排单元(215)可以接收与在编码单元中执行的系数扫描有关的信息,并且通过基于在对应的编码单元中执行的扫描顺序反向地执行扫描的方法来执行重排。
去量化单元(220)可以基于从编码设备提供的量化参数和重排块的系数值来执行去量化。
逆变换单元(225)可以执行在变换单元中执行的变换,即,用于DCT、DST和KLT的逆变换,即,针对在图像编码设备中执行的量化结果的逆DCT、逆DST和逆KLT。可以基于在图像编码设备中确定的传输单元来执行逆变换。在图像解码设备的逆变换单元(225)中,可以根据诸如预测方法、当前块的大小或形状、预测模式、帧内预测方向等的多个信息来选择性地执行变换技术(例如,DCT、DST、KLT)。
预测单元(230、235)可以基于从熵解码单元(210)提供的与预测块的生成有关的信息和从存储器(245)提供的预解码块或图片信息来生成预测块。
如上所述,当在以与图像编码设备中的操作相同的方式执行帧内预测时,预测单元的大小与变换单元的大小相同时,可以基于预测单元的左侧位置处的像素、左上侧位置处的像素和上侧位置处的像素来执行预测单元的帧内预测,但是当在执行帧内预测时预测单元的大小与变换单元的大小不同时,可以通过使用基于变换单元的参考像素来执行帧内预测。此外,使用N×N分割的帧内预测可以仅用于最小编码单元。
预测单元(230、235)可以包括:预测单元确定单元、帧间预测单元和帧内预测单元。预测单元确定单元可以接收从熵解码单元(210)输入的诸如预测单元信息、帧内预测方法的预测模式信息、帧间预测方法的运动预测相关信息等的各种信息,对当前编码单元中的预测单元进行划分,并且确定预测单元是执行帧间预测还是执行帧内预测。帧间预测单元(230)可以通过使用从图像编码设备提供的当前预测单元中的帧间预测所需的信息,基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个图片中包括的信息,对当前预测单元执行帧间预测。替选地,可以基于关于在包括当前预测单元的当前图片中预重构的一些区域的信息来执行帧间预测。
为了执行帧间预测,可以基于编码单元来确定包括在对应编码单元中的预测单元中的运动预测方法是跳过模式、合并模式、AMVP模式还是帧内块复制模式。
帧内预测单元(235)可以基于当前图片中的像素信息来生成预测块。当预测单元是执行了帧内预测的预测单元时,可以基于从图像编码设备提供的预测单元中的帧内预测模式信息来执行帧内预测。帧内预测单元(235)可以包括自适应帧内平滑(AIS)滤波器、参考像素内插单元和DC滤波器。作为对当前块的参考像素执行滤波的部分,可以通过根据当前预测单元中的预测模式确定是否应用滤波器来应用AIS滤波器。通过使用从图像编码设备提供的预测单元中的预测模式和AIS滤波器信息,可以对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式时,可以不应用AIS滤波器。
在预测单元中的预测模式是基于对参考像素进行内插的像素值执行帧内预测的预测单元时,参考像素内插单元可以对参考像素进行内插以便以等于或小于整数值的像素为单位生成参考像素。在当前预测单元的预测模式是在不对参考像素进行内插的情况下生成预测块的预测模式时,可以不对参考像素进行内插。在当前块的预测模式是DC模式时,DC滤波器可以通过滤波来生成预测块。
可以将重构块或图片提供至滤波器单元(240)。滤波器单元(240)可以包括去块滤波器、偏移校正单元和ALF。
可以从图像编码设备提供关于是否将去块滤波器应用于对应的块或图片的信息以及关于当应用去块滤波器时是应用强滤波器还是弱滤波器的信息。可以在图像解码设备的去块滤波器中提供与从图像编码设备提供的去块滤波器有关的信息,并且可以在图像解码设备中执行对对应块的去块滤波。
偏移校正单元可以基于偏移值信息、在执行编码时应用于图像的偏移校正的类型对重构图像执行偏移校正。
可以基于从编码设备提供的关于是否应用ALF的信息、ALF系数信息等将ALF应用于编码单元。这样的ALF信息可以通过将其包括在特定参数集中来提供。
存储器(245)可以存储重构图片或块以用作参考图片或参考块,并且将重构图片提供至输出单元。
如上所述,在下文中,在本公开内容的实施方式中,为了便于描述,编码单元被用作编码单元的术语,但是可以是执行解码以及编码的单元。
此外,由于当前块表示待编码/解码的块,根据编码/解码步骤,当前块可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)或预测块(或预测单元)或应用环路内滤波器的块等。在本说明书中,“单元”可以表示用于执行特定编码/解码处理的基本单元,并且“块”可以表示预定大小的像素阵列。除非另外分类,否则“块”和“单元”可以互换使用。例如,在后面描述的实施方式中,可以理解,编码块(编码块)和编码单元(编码单元)可互换地使用。
此外,包括当前块的图片被称为当前图片。
一般来说,用于视频编码/解码的数据的大小是较大的。因此,为了存储或传输视频,诸如摄像装置的视频捕获设备(即编码器)对视频执行压缩(即编码),并且诸如智能电话或电视机的视频回放设备(即解码器)对视频回放执行重构(即解码)。
在这种情况下,视频中存在的每个图片的编码/解码可以以块为单位执行。例如,可以根据编码/解码操作将每个图片划分为CTU、CU、TU或PU。
在对图片执行编码时,可以将图片的预测类型设置为类型I、类型P或类型B之一。
类型I示出仅可以执行帧内预测。P型示出可以执行帧内预测和单向帧间预测。类型B示出可以执行帧内预测、单向帧间预测和双向帧间预测。
预测类型可以按图片、切片、子图片、图块或者图片内的任何区域设置。为便于描述,假设在后面描述的实施方式中,预测类型是以图片为单位确定的。此外,预测类型为类型I的图片称为I图片,预测类型为类型P的图片称为P图片,预测类型为类型B的图片称为B图片。替选地,预测类型为类型I的图片称为帧内图片,预测类型为类型P或类型B的图片称为帧间图片。
图3示出了构成视频的图片的预测信息。
图3的(a)示出了视频仅由I图片(I0~I9)组成的示例,图3的(b)示出了视频由I图片(I0,I5)和P图片(P1~P4,P6~P9)组成的示例。
帧内图片(即I图片)可以存在于预定周期处。作为示例,在图3的(b)中,示出了I图片之间存在四个P图片。
当播放视频时,可以从第一个图片开始顺序播放,或者可以从随机点开始播放。从随机点开始播放视频的方法可以定义为随机访问方法。
例如,在图3的(a)所示的示例中,视频可以从I0图片开始顺序播放,并且如果用户选择了I8图片,则视频可以从用户选择的I8图片开始播放。
对于帧内图片,图片之间不存在依赖关系。因此,即使没有提前对另一个图片进行解码,播放I8图片也没有问题。
在图3的(b)所示的示例中,当P8图片是通过使用将先前的P7图片用作参考图片的帧间预测进行编码时,为了播放P8图片,必须首先完全重构P7图片。
同样,如果P7图片是基于使用另一参考图片的帧间预测进行编码的,则只有在必须首先重构P7图片的参考图片时才能重构P7图片。这样,为了对P图片和B图片进行解码,必须首先对用于帧间预测的参考图片进行解码。
因此,执行随机访问的位置(即随机访问位置)必须是I图片。在这种情况下,指定随机访问位置的信息可以通过网络抽象层(NAL)单元头部用信号通知。具体地,可以通过示出NAL单元的类型的信息来指定随机访问位置。
一般来说,已知图片的编码效率的顺序为B图片、P图片和I图片。这里,编码效率意味着已编码比特率较低。由于仅可以对I图片进行随机访问,因此如果在图片之间插入I图片以进行随机访问,则会出现整个视频的比特率增加的问题。
图4是示出插入I图片的视频的比特率的示例。
如在图4所示的示例中,如果在每个预定间隔处插入I图片以进行随机访问,则比特率可能会因I图片而增加。视频的比特率的增加可能会引起比特率控制和差错恢复方面的问题。
为了解决这个问题,本公开内容提出了即使不使用I图片也能执行随机访问的方法。
图5是用于描述在不使用I图片的情况下执行随机访问的示例的图。
为了在不使用I图片的情况下执行随机访问,可以指定随机访问组。随机访问组可以包括随机访问位置处的图片和输出顺序(即POC,图片顺序计数)与随机访问位置处的图片连续的(N-1)个图片。在图5所示的示例中,示出了随机访问组由4个图片组成(即N为4)。
构成随机访问组的图片数目N可以是编码器和解码器中的预定义值。替选地,示出图片数目N的信息可以通过比特流进行编码和用信号通知。替选地,可以将指代同一序列参数集(SPS)的图片设置为一个随机访问组。
替选地,可以通过NAL单元头部指定属于随机访问组的图片。在属于随机访问组的图片中,可以将输出顺序最早的图片设置为随机访问位置,并且可以将输出顺序最晚的图片设置为重构图片。
替选地,可以仅对指定重构图片和随机访问组内的随机访问位置的图片的信息进行编码和用信号通知。输出顺序晚于随机访问位置的图片的输出顺序和早于重构图片的的输出顺序的图片可以与随机访问位置的图片和重构图片构成同一个随机访问组。
在如图5所示的示例中,随机访问组可以仅包括P图片。
随机访问组中的图片可以根据编码顺序来顺序编码/解码。随机访问组内的图片的编码顺序可以根据输出顺序确定。换言之,编码顺序可以根据输出顺序确定。
替选地,随机访问组中图片的编码顺序可以不考虑输出顺序而确定,但随机访问组中输出顺序最后的图片的编码顺序可以固定为最后一个。
在随机访问组中输出顺序最后的图片可以作为重构图片进行输出。例如,在图5所示的示例中,随机访问位置是P5图片,但根据解码处理,回放从P8图片开始。换言之,对于随机访问组中的图片中输出顺序最后的图片,可以实现完全解码。
为了完全重构随机访问组内输出顺序最后的图片,可以根据编码顺序来使完全重构区域的大小顺序增加。
图6是用于描述随机访问组内的图片的重构区域的图。
在图6所示的示例中,帧内区域表示仅使用帧内预测的区域。无论在当前图片之前是否存在重构图片,都可以完全重构帧内区域。
帧内预测以及帧间预测可以应用于完全编码区域和非完全编码区域。在这种情况下,先前图片中与当前图片的完整编码对应的区域可以是完全重构区域。在这里,与完全编码区域对应的区域表示与先前图片中的完全编码区域具有相同大小和位置的区域。即使在随机访问期间,也可以基于参考先前图片中的至少一个的完全重构区域的帧内预测或帧间预测中的至少一种对完全编码区域进行完全重构。
先前图片中与当前图片的非完全编码对应的区域可以是非完全重构的区域。在这里,与非完全编码区域对应的区域表示与先前图片中的非完全编码区域的大小和位置相同的区域。由于与非完全编码区域对应的区域未被完全重构,因此在随机访问时,非完全编码区域可能无法被完全重构。
因此,非完全编码区域是否可以被完全重构可以取决于是否执行随机访问。例如,当不执行随机访问时,非完全编码区域可以通过帧内预测或帧间预测来完全重构。另一方面,当执行随机访问时,非完全编码区域不被完全重构。
当执行随机访问时,考虑到非完全编码区域不被完全重构,可以省略对非完全编码区域的解码。具体地,对于非完全编码区域,可以省略用于解码的信息的解析,并且可以省略一系列解码处理的应用,如预测、变换、量化和环路内滤波。
此外,当执行随机访问时,可以将非完全编码区域内的样本的值设置为设置值。设置值是编码器和解码器中的预定义值,并且可以是0。
替选地,可以根据位深度来确定设置值。例如,如果位深度为N,则可以将2^(N-1)确定为设置值。例如,如果位深度为10、512,则可以将中间值(即2^(10-1))确定为设置值。
替选地,可以将位深度的最小值、最大值或中间值确定为设置值。
替选地,可以参考完全编码区域或者与非完全编码区域相邻的帧内区域来确定设置值。例如,可以将定位在帧内区域或完全编码区域的边界处的样本填充到非完全编码区域。
总之,无论是否进行随机访问,帧内区域和完全编码区域都可以被完全重构。考虑到这一特点,即使在随机访问时也可以被完全重构的帧内区域和完全编码区域可以称为完全重构区域。
另一方面,虽然在非随机访问时可以完全重构非完全编码区域,但在非随机访问时可能无法完全重构非完全编码区域。
可以将帧内区域、完全编码区域和非完全编码区域定义为一组子图片、切片、图块或块。例如,帧内区域、完全编码区域和非完全编码区域中的每一个都可以是一组CTU或CU。
在图6中,示出了帧内区域、完全编码区域和非完全编码区域中的每一个都具有正方形形状。与所示示例不同的是,每个区域的形状可能不同于正方形。例如,根据扫描顺序,N个子图片、切片、图块或块可以构成帧内区域、完全编码区域或非完全编码区域。
此外,每个区域的大小可以与示出的不同。
在编码器中,可以对用于定义图片中的每个区域的信息进行编码并且用信号通知。这些信息可以包括示出区域的大小的信息、示出区域在图片内的位置的信息或者示出构成图片的子图片、切片、图块或块的索引的信息中的至少一个。这里,示出区域的大小的信息可以包括区域的宽度信息或高度信息中的至少一个。此外,区域的宽度或高度可以以子图片、切片、图块或块为单位计算。示出区域在图片内的位置的信息可以是识别构成区域的子图片、切片、图块或块中的第一个或最后一个的信息。
可以对帧内区域、完全编码区域和非完全编码区域中的每一个进行编码并用信号通知。例如,对于随机访问组中的每个图片,可以对指示帧内区域、完全编码区域和非完全编码区域中每一个的信息进行编码并用信号通知。
作为另一示例,对于随机访问组中的第一个图片,仅将帧内区域设置为完全重构区域,而对于其他图片,将帧内区域和完全编码区域设置为完全重构区域。在这种情况下,由于完全编码区域是与先前图片的完全重构区域(即帧内区域和完全编码区域)对应的区域,因此无需对用于指定完全编码区域的信息进行显式编码。因此,对于每个图片,可以仅对用于指定帧内区域的信息进行编码并用信号通知。
例如,在图6所示的示例中,与随机访问位置对应的图片P5的完全重构区域仅包括帧内区域。对于作为随机访问位置的图片P5,可以对帧内区域的信息进行编码并用信号通知。可以将图片P5中除帧内区域之外的所有其余区域设置为非完全编码区域。
图片P6的完全重构区域可以包括完全编码区域和帧内区域。可以将图片P6的完全编码区域定义为先前图片P5的完全重构区域,即与帧内区域具有相同位置和大小的区域。因此,即使未对图片P6的完全编码区域的信息进行编码,也可以通过参考先前图片P5的完全重构区域来确定图片P6的完全编码区域的位置和大小。因此,即使对于图片P6,也可以仅对帧内区域的信息进行编码并用信号通知。可以将图片P6中除完全重构区域之外的其余区域设置为非完全编码区域。
图片P7的完全重构区域可以包括完全编码区域和帧内区域。可以将图片P7的完全编码区域定义为与先前图片P6的完全重构区域具有相同位置和大小的区域。因此,即使未对图片P7的完全编码区域的信息进行编码,也可以通过参考先前图片P6的完全重构区域来确定图片P7的完全编码区域的位置和大小。因此,即使对于图片P7,也可以仅对帧内区域的信息进行编码并用信号通知。可以将图片P7中除完全重构区域之外的其余区域设置为非完全编码区域。
对于随机访问组中的最后一个图片P8,将整个区域设置为完全重构区域。具体地,可以将图片P8的完全编码区域定义为与先前图片P7的完全重构区域具有相同位置和大小的区域。此外,可以将图片P8的除完全编码区域之外的其余区域定义为帧内区域。因此,对于随机访问组中的最后一个图片P8,可以省略对用于指定帧内区域的信息的编码/解码。
每个区域可以基于子图片、切片或图块的预测类型来指定。例如,可以将预测类型为I的切片设置为对应图片的帧内区域。另一方面,仅当与先前图片中的对应切片对应的切片为完全重构区域(即帧内区域或完全编码区域)时,才可以将预测类型为P的切片设置为完全编码区域。例如,如果与当前图片中的P切片对应的先前图片的切片是I切片,则可以将当前图片中的P切片设置为完全编码区域。替选地,如果与当前图片中的P切片对应的先前图片的切片是P切片,并且先前图片的P切片与第二个先前图片的I切片对应,则可以将当前图片中的P切片设置为完全编码区域。如果与当前图片中的P切片对应的先前图片的切片不是帧内区域或完全编码区域,则可以将当前图片中的P切片设置为非完全编码区域。
替选地,仅当与先前图片中的对应切片对应的切片是帧内区域时,才可以将预测类型为P的切片设置为完全编码区域。
同时,可以始终将预测类型为B的切片设置为非完全编码区域。
帧内区域、完全编码区域和非完全编码区域中的每一个都可以被定义为一个子图片、图块或切片,并且对于每个子图片、图块或切片,可以对指示对应区域的特征的索引进行编码并用信号通知。索引可以指示对应区域是帧内区域、完全编码区域还是非完全编码区域。
如上所述,帧内区域、完全编码区域和非完全编码区域可以基于子图片、虚拟边界、图块或切片的分割结构来确定。在这种情况下,可以将属于随机访问组的图片设置为一个序列,并且可以将序列中的所有图片(即随机访问组中的所有图片)设置为具有子图片分割结构、虚拟边界分割结构、图块分割结构或切片分割结构。
当基于子图片、虚拟边界、图块或切片等确定每个区域时,在区域之间的边界处,可以在编码器和解码器中预先确定是否可以通过参考关于另一个区域的信息来执行编码/解码。例如,在帧内区域与完全编码区域之间的边界处,可以通过参考关于另一个区域的信息来执行编码/解码。
另一方面,在随机访问中,为了确保对完全重构区域进行完全编码/解码,当对完全重构区域(即帧内区域和/或完全编码区域)进行编码/解码时,可以设置不参考非完全编码区域的信息。例如,为了执行帧间预测,当考虑周围块的运动信息时,如果周围块属于非完全编码区域,则属于非完全编码区域的周围块的运动信息可以被设置为不可用。替选地,省略在与非完全编码区域的边界处应用环路内滤波器,而将环路内滤波器设置为应用于帧内区域与完全编码区域之间的边界。
替选地,可以对示出是否可以通过参考另一区域的信息来执行编码/解码的信息进行编码并用信号通知。该信息可以是1位标志。例如,在帧内区域与完全编码区域之间的边界处,可以对示出是否允许参考另一个区域的信息的标志进行编码。同时,对于与非完全编码区域的边界,在不编码/解码标志的情况下,可以设置为不参考另一区域的信息。
作为另一个示例,在帧内区域与完全编码区域之间的边界处,可以设置不允许参考另一区域的信息。替选地,根据预定条件,确定是否允许在两个区域之间的边界处参考另一区域的信息。
替选地,根据编码技术,可以对示出是否允许参考另一区域信息的信息进行编码并用信号通知。例如,在帧内区域与完全编码区域之间的边界处,可以对示出是否允许应用环路内滤波器的信息进行编码并用信号通知。
同时,为了使图片中的帧内区域最小化,可以将当前图片的完全编码区域的大小设置为比先前图片的完全重构区域大小更大。
图7示出了设置属于随机访问组的每个图片的完全编码区域的示例。
从图6与图7之间的对比可以看出,图6中的图片P6至P8的帧内区域在图7中变成了完全编码区域。换言之,在与图6中的图片P6至P8的帧内区域对应的区域A至C中,除了帧内预测外,还可以进行参考先前图片的完全重构区域的帧间预测。例如,区域A中包括的块可以通过帧内预测或参考图片P5的完全重构区域(即图片P5的帧内区域)的帧间预测进行编码/解码。同样,包括在区域B中的块可以通过帧内预测、参考图片P5的完全重构区域的帧间预测或者参考图片P6的完全重构区域的帧间预测进行编码/解码。同样,区域C中包括的块可以通过帧内预测、参考图片P5的完全重构区域的帧间预测、参考图片P6的完全重构区域的帧间预测或参考图片P7的完全重构区域的帧间预测进行编码/解码。
当以上述方式设置完全编码区域时,示出每个图片的帧内区域的信息可以用示出每个图片的完全重构区域中除先前图片的完全重构区域之外的剩余完全重构区域的信息替代。
在图6和图7中,假设当前图片中的完全编码区域被配置成包括与先前图片的完全重构区域对应的区域。这意味着,当前图片中的完全编码区域可以仅参考先前图片的完全重构区域进行编码/解码。换言之,在对属于当前图片中的完全编码区域的块应用帧间预测时,该块的运动矢量必须指示先前图片中的至少一个完全重构区域,而不能指示非完全编码区域。
同时,当编码/解码顺序晚于属于随机访问组的图片的编码/解码顺序的图片被编码/解码时,可以通过参考属于随机访问组的图片来执行帧间预测。然而,当执行随机访问时,属于随机访问组的图片中除最后一个图片之外的剩余图片包括未被完全重构的非完全编码区域。
图8和图9示出了用于在考虑到上述限制的情况下设置当前块的运动矢量的方法。
当编码/解码顺序晚于属于随机访问组的图片的编码/解码顺序的图片(例如图5中的图片P9)被编码/解码时,可以使用属于随机访问组的图片中的至少一个作为参考图片进行帧间预测。例如,图8示出了对属于图片P9的块进行编码/解码时参考图片缓冲器的配置示例。
在这种情况下,当编码/解码顺序晚于属于随机访问组的图片的编码/解码顺序的图片使用属于随机访问组的图片作为参考图片时,可以将其设置为仅参考参考图片中的完全重构区域。
例如,当图5中所示的图片P9通过参考图片P5执行帧间预测时,可以参考图片P5的完全重构区域,但可以不参考图片P5的非完全编码区域。
换言之,当通过使用图片P5作为参考图片对属于图片P9的块执行帧间预测时,该块的运动矢量必须指示在图片P5的完全重构区域的内部。
如果考虑到上述限制,则当图片P9中的当前块被定位在与图片P5的完全重构区域对应的区域之外时,当前块的运动矢量必须具有大于当前块与图片P5的完全重构区域边界之间的距离的值。
考虑到这一点,可以不对当前块的运动矢量进行原样编码,而是对从当前块的运动矢量中减去当前块与图片P5的完全重构区域边界之间的距离而获得的值进行编码。
例如,在图9所示的示例中,当前块与图片P5的完全重构区域之间的最小距离为H。同时,当前块的运动矢量必须指示图片P5的完全重构区域的内部。因此,当前块的运动矢量必须具有大于H的值。
考虑到这一点,在对当前块的运动矢量进行编码/解码时,可以对通过减去从当前块到参考图片中的完全重构区域的最小距离H而获得的值进行编码/解码。例如,在当前块与参考图片中的参考块之间的垂直距离为y时,可以对(y-H)进行编码/解码,而不是将y进行原样编码/解码。换言之,编码器可以对通过从当前块的运动矢量中减去当前块与参考图片中的完全重构区域之间的最小距离而得出的值进行编码。
解码器可以对通过比特流用信号通知的差值进行解码,并且将当前块与参考图片中的完全重构区域之间的距离相加到已解码运动矢量(即差值运动矢量),以得出最终运动矢量。
替选地,可以减去当前块与完全重构区域之间的距离H与当前块的高度H'之和。换言之,如果当前块与参考图片中的参考块之间的垂直距离为y,则可以不对y原样进行编码/解码,而是对(y-(H+H'))进行编码/解码。
与上述示例不同的是,在对不属于随机访问组的图片进行编码/解码时,仅可以将属于随机访问组的图片中不存在非完全编码区域的图片设置为可以用作参考图片。这里,不存在非完全编码区域的图片可以是指在随机访问组中输出顺序最后的图片。
图10示出了根据上述限制的参考图片缓冲器的配置示例。
当对不属于随机访问组的图片P9进行编码/解码时,仅可以将属于随机访问组的图片中不存在非完全重构区域的图片(即随机访问组中的最后一个图片P8)用作参考图片。
作为另一个示例,参考图片的可用性可以通过考虑参考图片中与当前块对应的位置是否属于非完全编码区域来确定。例如,如果参考图片中与当前块对应的位置属于完全重构区域,则在对当前块进行编码/解码时可以使用对应的参考图片。另一方面,如果参考图片中与当前块对应的位置属于非完全编码区域,则在对当前块进行编码/解码时可能无法使用对应的参考图片。
例如,在图8所示的示例中,假设与基于图片P5的当前块对应的位置属于图片P5的完全重构区域。图片P5(随机访问点)的完全重构区域对应于属于随机访问组的所有图片的完全重构区域。因此,在对属于图片P9的当前块进行编码/解码时,可以使用图片P5至P8中的至少一个来进行帧间预测。因此,可以对指定四个可用参考图片中的至少一个的索引信息进行编码并用信号通知。
另一方面,在图8所示的示例中,假设与基于图片P7的当前块对应的位置属于图片P7的帧内区域。对于输出顺序早于图片P7的图片P5和P6,与图片P7的帧内区域对应的区域是非完全编码区域。因此,当对属于图片P9的当前块进行编码/解码时,不能使用图片P5和P6作为参考图片。另一方面,对于输出顺序晚于图片P7的图片P8,与图片P7的帧内区域对应的区域被设置为完全编码区域。因此,当对属于图片P9的当前块进行编码/解码时,可以使用图片P7和P8作为参考图片。因此,可以对指定两个可用参考图片中的至少一个的索引信息进行编码并用信号通知。
同时,如上所述,当不执行随机访问时,属于随机访问组的未被完全编码的图片区域也可以被完全重构。例如,当不执行随机访问时,图片P5(随机访问点)的非完全编码区域可以通过参考在图片P5之前编码/解码的图片来完全重构。
然而,在这种情况下,会出现如下问题:在执行随机访问和不执行随机访问时,已解码图像缓冲器(DPB,Decoded Picture Buffer)的配置是不同的。例如,当不执行随机访问时,DPB缓冲器中可能存在输出顺序早于P5(随机访问点)的图片(如图片P3或图片P4等)。另一方面,当执行随机访问时,输出顺序早于P5(随机访问点)的图片不存在于DPB缓冲器中。为了解决这个问题,当执行随机访问时,可以通过使用P5(随机访问点)的非完全编码区域中的预测信息,虚拟生成P5(随机访问点)所参考的先前参考图片。虚拟参考图片可以指用随机值填充并生成像素值。在这种情况下,P5(随机访问点)的非完全编码区域被重构为随机值,该随机值是虚拟参考图片中的像素值,而不是原始样本值。
换言之,当不执行随机访问时,在参考图片缓冲器中存在输出顺序早于P5(随机访问点)的重构参考图片,而当执行随机访问时,在参考图片缓冲器中存在输出顺序早于P5(随机访问点)的虚拟参考图片,但其样本值被设置为随机值。
替选地,与上述示例不同的是,根据是否执行随机访问,在随机访问位置(即P5)处的图片的编码/解码完成之后,可以从DPB中删除输出顺序早于随机访问位置处的图片的图片。换言之,在对随机访问位置处的图片的编码/解码完成之后,DPB(或参考图片缓冲器)可以被重置(初始化)。在这种情况下,输出顺序晚于随机访问位置处的图片(例如,图片P6至P8)的非完全编码区域可以不使用输出顺序早于随机访问位置处的图片的图片作为参考图片。
因此,在属于随机访问组的图片中,无论是否执行随机访问,除随机访问位置处的图片之外的其余图片都不使用输出顺序早于位于随机访问位置处的图片的图片作为参考图片。
图11是示出根据本公开内容的实施方式的用于对图片进行解码的方法的流程图。
当对作为随机访问点的图片进行解码时,解码方法可以根据是否执行(S1110)随机访问而有所不同。如果不执行随机访问,则可以重构(S1120)并输出(S1130)作为随机访问点的图片。
另一方面,当执行随机访问时,可以对属于随机访问组的图片进行顺序解码(S1140)。然后,可以将属于随机访问组的最后一个图片作为重构图片输出(S1150)。
当基于解码处理或编码处理描述的实施方式应用于编码处理或解码处理时,其被包括在本公开内容的范围内。当以与描述不同的顺序改变以预定顺序描述的实施方式时,其也包括在本公开内容的范围内。
基于一系列步骤或流程图来描述上述公开内容,但是其不限制本公开内容的时间序列顺序,并且如果必要,其可以同时或以不同的顺序执行。此外,可以将配置上述公开内容中的框图的每个部件(例如,单元、模块等)实现为硬件设备或软件,并且多个部件可以被组合并且被实现为一个硬件设备或软件。可以将上述公开内容记录在通过以可以由各种计算机部件执行的程序指令的形式实现的计算机可读记录介质中。计算机可读记录介质可以单独地或组合地包括程序指令、数据文件、数据结构等。特别地被配置成存储和执行诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM、DVD的光记录介质、诸如光软盘的磁光介质以及诸如ROM、RAM、闪存等的程序指令的硬件设备包括在计算机可读记录介质中。硬件设备可以被配置成作为一个或更多个软件模块来操作以执行根据本公开内容的处理,并且软件设备可以被配置成作为一个或更多个硬件模块来操作以执行根据本公开内容的处理。
工业可用性
本公开内容可以应用于可以对图像进行编码/解码的电子设备。
Claims (15)
1.一种对图像进行解码的方法,所述方法包括:
当执行随机访问时,对属于随机访问组的图片进行顺序解码;以及
将属于所述随机访问组的图片中的最后一个图片作为重构图片进行输出。
2.根据权利要求1所述的方法,其中,
属于所述随机访问组的图片中的除所述重构图片之外的剩余图片中的至少一个是由完全重构区域和非完全编码区域组成的。
3.根据权利要求2所述的方法,其中,
当执行随机访问时,所述非完全编码区域未被完全重构,并且当不执行随机访问时,所述非完全编码区域被完全重构。
4.根据权利要求2所述的方法,其中,
所述完全重构区域包括帧内区域或完全编码区域中的至少一个,并且
所述完全编码区域是通过使用输出顺序早于所述随机访问组中的当前图片的输出顺序的图片作为参考图片的帧内预测或帧间预测中的至少一种来重构的。
5.根据权利要求4所述的方法,其中,
所述当前图片中的完全编码区域包括与先前图片中的帧内区域对应的区域。
6.根据权利要求4所述的方法,其中,
对于属于所述随机访问组的图片中的除所述重构图片之外的剩余图片中的每一个,对用于指定所述帧内区域的信息进行显式编码并用信号通知。
7.根据权利要求4所述的方法,其中,
基于子图片、图块或切片的预测类型信息确定所述帧内区域。
8.根据权利要求1所述的方法,其中,
所述随机访问组由预测类型为P型的图片组成。
9.根据权利要求1所述的方法,其中,
当与所述随机访问组中的随机访问位置对应的图片的解码完成时,解码图片缓冲器(DPB)被初始化。
10.根据权利要求1所述的方法,其中,
在当前图片是输出顺序晚于属于所述随机访问组的图片的输出顺序的图片时,仅属于所述随机访问组的图片中的所述重构图片能够用作所述当前图片的参考图片。
11.根据权利要求1所述的方法,其中,
在当前图片是输出顺序晚于属于所述随机访问组的图片的输出顺序的图片并且所述当前图片中的当前块使用属于所述随机访问组的图片之一作为参考图片时,所述当前块的运动矢量被强制指示所述参考图片中的完全重构区域的内部。
12.根据权利要求11所述的方法,其中,
所述当前块的运动矢量是通过将运动矢量差值和所述当前块与所述参考图片中的完全重构区域之间的距离相加得出的。
13.根据权利要求1所述的方法,其中,
指示所述随机访问组的大小的信息通过比特流显式地用信号通知。
14.一种图像编码方法,所述方法包括:
当执行随机访问时,对属于随机访问组的图片进行顺序编码;以及
对用于指定属于所述随机访问组的图片的信息进行编码。
15.一种记录由图像编码方法生成的比特流的计算机可读记录介质,所述计算机可读记录介质包括:
当执行随机访问时,对属于随机访问组的图片进行顺序编码;以及
对用于指定属于所述随机访问组的图片的信息进行编码。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220001535 | 2022-01-05 | ||
| KR10-2022-0001535 | 2022-01-05 | ||
| PCT/KR2023/000150 WO2023132623A1 (ko) | 2022-01-05 | 2023-01-04 | 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118511518A true CN118511518A (zh) | 2024-08-16 |
Family
ID=87073906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202380016284.0A Pending CN118511518A (zh) | 2022-01-05 | 2023-01-04 | 视频信号编码/解码方法和存储比特流的记录介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20250080757A1 (zh) |
| KR (1) | KR20230106136A (zh) |
| CN (1) | CN118511518A (zh) |
| WO (1) | WO2023132623A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025105726A1 (ko) * | 2023-11-15 | 2025-05-22 | 삼성전자 주식회사 | 영상의 부호화 방법, 부호화 장치, 복호화 방법 및 복호화 장치 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130089152A1 (en) * | 2011-10-05 | 2013-04-11 | Qualcomm Incorporated | Signaling picture identification for video coding |
| US9571847B2 (en) * | 2013-01-07 | 2017-02-14 | Qualcomm Incorporated | Gradual decoding refresh with temporal scalability support in video coding |
| US11706429B2 (en) * | 2019-03-12 | 2023-07-18 | Hyundai Motor Company | Method and device for encoding and decoding image involving gradual refresh technique |
| CN113841397B (zh) * | 2019-05-15 | 2024-08-16 | 现代自动车株式会社 | 影像解码方法 |
| KR20210037508A (ko) * | 2019-09-27 | 2021-04-06 | 에스케이텔레콤 주식회사 | 이스케이프 샘플을 처리하는 방법 및 영상 복호화 장치 |
-
2023
- 2023-01-04 WO PCT/KR2023/000150 patent/WO2023132623A1/ko not_active Ceased
- 2023-01-04 KR KR1020230001223A patent/KR20230106136A/ko active Pending
- 2023-01-04 US US18/726,585 patent/US20250080757A1/en active Pending
- 2023-01-04 CN CN202380016284.0A patent/CN118511518A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230106136A (ko) | 2023-07-12 |
| WO2023132623A1 (ko) | 2023-07-13 |
| US20250080757A1 (en) | 2025-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12477112B2 (en) | Method and apparatus for processing video signal | |
| US12096018B2 (en) | Method and apparatus for processing video signal | |
| US12069279B2 (en) | Method and apparatus for processing video signal | |
| US11095892B2 (en) | Method and apparatus for processing video signal | |
| US20250310562A1 (en) | Method and apparatus for encoding/decoding residual data based on a plurality of transformations | |
| CN118381909A (zh) | 图像编码/解码方法以及图像数据的发送方法 | |
| CN121486586A (zh) | 图像信号编码/解码方法及其设备 | |
| KR20190044554A (ko) | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 | |
| CN118972576A (zh) | 用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质 | |
| US20210250582A1 (en) | Method and apparatus for encoding/decoding an image based on in-loop filter | |
| KR101802375B1 (ko) | 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치 | |
| US20250080757A1 (en) | Video signal encoding/decoding method, and recording medium in which bitstream is stored | |
| US20250324070A1 (en) | Video signal encoding/decoding method, and recording medium having bitstream stored therein | |
| CN118614065A (zh) | 视频信号编码/解码方法和存储比特流的记录介质 | |
| KR20180103733A (ko) | 영상 부호화 또는 복호화 방법 및 장치 | |
| US11490108B2 (en) | Method of decoding/encoding a video signal with sub-block based motion vector derivation | |
| KR102410326B1 (ko) | 영상 부호화/복호화 방법 및 장치 | |
| CN119835408A (zh) | 图像编码/解码方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |