CN104904209A - 视频信号处理方法和设备 - Google Patents
视频信号处理方法和设备 Download PDFInfo
- Publication number
- CN104904209A CN104904209A CN201480004166.9A CN201480004166A CN104904209A CN 104904209 A CN104904209 A CN 104904209A CN 201480004166 A CN201480004166 A CN 201480004166A CN 104904209 A CN104904209 A CN 104904209A
- Authority
- CN
- China
- Prior art keywords
- prediction mode
- block
- intra
- intra prediction
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
根据本发明的视频信号处理方法,包括:基于来自当前块的空间邻近块的内部预测模式,产生当前块的候选模式列表;基于来自当前块的邻近视图的内部预测模式,修改候选模式列表;基于修改的候选模式列表,导出当前块的内部预测模式;和通过使用导出的内部预测模式预测当前块。
Description
技术领域
本发明涉及用于编译视频信号的方法和装置。
背景技术
压缩指的是用于经由通信线路发送数字信息,或者以适用于存储介质的形式存储数字信息的信号处理技术。压缩的对象包括音频、视频和文字信息。特别地,压缩图像的技术称作视频压缩。多视图视频具有空间冗余、时间冗余和视图间冗余的特征。
发明内容
技术问题
本发明的一个目的是改善视频信号编译效率。
技术方案
一种根据本发明用于处理视频信号的方法,包括:基于来自当前块的空间邻近块的内部预测模式,产生当前块的候选模式列表;基于来自当前块的邻近视图的内部预测模式,修改候选模式列表;基于修改的候选模式列表,推导当前块的内部预测模式;和使用所推导的内部预测模式预测当前块。
根据本发明的空间邻近块包括当前块的左邻近块和上邻近块中的至少一个。
根据本发明的候选模式列表的修改包括:获得当前块的视差矢量;基于视差矢量获得邻近视图的参考块;检查参考块是否是以内部模式编译的块;和当参考块是以内部块编译的块的时候,使用参考块的内部预测模式修改候选模式列表。
根据本发明的当前块的视差矢量是使用当前块的左、上、左下、右上和左上邻近块中的至少一个的视差矢量获得的。
根据本发明的当前块的视差矢量是从对应于当前块的深度数据中推导的。
根据本发明的候选模式列表限定可用于当前块的多个内部预测模式和分别对应于多个内部预测模式的列表索引信息,其中列表索引信息指定顺序地排列在候选模式列表中的多个内部预测模式的位置。
根据本发明的候选模式列表的修改包括:改变对应于与来自邻近视图的内部预测模式相同的内部预测模式的列表索引信息,以便当候选模式列表包括与来自邻近视图的内部预测模式相同的内部预测模式的时候,重新排列候选模式列表。
根据本发明的候选模式列表的修改包括:通过来自邻近视图的内部预测模式替换在候选模式列表中的多个内部预测模式的一个。
根据本发明的候选模式列表的修改包括:将来自邻近视图的内部预测模式增加给基于空间邻近块的内部预测模式产生的候选模式列表。
有益效果
本发明可以通过从当前块的空间邻近块的内部预测模式产生候选模式列表,并且使用候选模式列表推导当前块的内部预测模式,获得更加精确的内部预测模式。此外,通过推导精确的内部预测模式,编码当前块的残留所需的比特数减少。
此外,本发明可以考虑到视图的相似性,通过在邻近视图上不仅使用空间邻近块,而且使用来自参考块的内部预测模式,改善当前块的内部预测的编译效率。
附图说明
图1是根据本发明适用于其的一个实施例的视频解码器的方框图。
图2是根据本发明适用于其的一个实施例的视频解码器适用于其的广播接收机的方框图。
图3图示根据本发明适用于其的一个实施例的内部预测模式类型。
图4是图示根据本发明适用于其的一个实施例用于产生当前块的候选模式列表的方法的流程图。
图5是图示根据本发明适用于其的一个实施例用于产生包括邻近视图的参考块的内部预测模式的候选模式列表的方法的流程图。
图6图示根据本发明适用于其的一个实施例用于使用邻近视图的参考块的内部预测模式产生修改的候选模式列表的方法。
图7是图示根据本发明适用于其的一个实施例用于使用候选模式列表推导当前块的内部预测模式的方法的流程图。
具体实施方式
为了实现本发明的目的,提供了一种用于处理视频信号的方法,包括:基于来自当前块的空间邻近块的内部预测模式,产生当前块的候选模式列表;基于来自当前块的邻近视图的内部预测模式,修改候选模式列表;基于修改的候选模式列表,推导当前块的内部预测模式;和使用推导出的内部预测模式预测当前块。
空间邻近块可以包括当前块的左邻近块和上邻近块的至少一个。
候选模式列表的修改可以包括:获得当前块的视差矢量;基于视差矢量获得邻近视图的参考块;检查是否参考块是以内部模式编译的块;以及当参考块是以内部块编译的块的时候,使用参考块的内部预测模式修改候选模式列表。
当前块的视差矢量可以是使用当前块的左、上、左下、右上和左上邻近块的至少一个的视差矢量获得的。
当前块的视差矢量可以是从对应于当前块的深度数据中推导出的。
候选模式列表可以限定可用于当前块的多个内部预测模式和分别对应于多个内部预测模式的列表索引信息,其中列表索引信息指定顺序地排列在候选模式列表中的多个内部预测模式的位置。
候选模式列表的修改可以包括:改变对应于与来自邻近视图的内部预测模式相同的内部预测模式的列表索引信息,以便当候选模式列表包括与来自邻近视图的内部预测模式相同的内部预测模式的时候,重新排列候选模式列表。
修改候选模式列表可以包括在候选模式列表中通过来自邻近视图的内部预测模式替换多个内部预测模式的一个。
修改候选模式列表可以包括将来自邻近视图的内部预测模式增加给基于空间邻近块的内部预测模式产生的候选模式列表。
用于发明的模式
现在将参考附图给出根据在此处公开的示范的实施例的详细描述。在描述本发明之前,应当注意,在本发明中公开的大多数术语对应于在该领域中公知的常规术语,但是,某些术语已经由申请人根据需要选择,并且将在本发明的以下的描述中在下文中公开。因此,优选地,由申请人定义的术语在本发明中基于其含义理解。在本说明书中描述的实施例和在附图中示出的特点因此在所有方面中解释为说明性的和非限制性的。本发明的范围将由所附的权利要求及其合法的等效,不由以上的描述确定,并且落在所附的权利要求的含义和等效范围内的所有变化意欲包含在其中。
图1是根据本发明适用于其的一个实施例的视频解码器的方框图。
参考图1,视频解码器可以包括NAL分析解析单元100、熵解码单元110、反量化/反变换单元120、内部预测单元130、环内滤波单元环内滤波单元140、解码的图片缓存单元解码图片缓存单元150和中间预测单元160。NAL分析解析单元100可以接收包括多视图纹理数据的比特流。此外,当深度数据是为纹理数据编码所必需的时候,NAL分析解析单元100可以进一步接收包括编码的深度数据的比特流。输入纹理数据和深度数据可以作为一个比特流发送,或者作为单独的比特流发送。NAL分析解析单元100可以在NAL基础上执行分析解析以便解码输入的比特流。当输入的比特流是多视图相关的数据(例如,3维视频)的时候,输入的比特流可以进一步包括相机参数。相机参数可以包括本征固有相机参数和非本征固有相机参数,并且本征固有相机参数可以包括焦距、长宽比、像主点等等,以及非本征固有相机参数可以包括在全局坐标系统中的相机位置信息等等。
熵解码单元110可以经由熵解码提取量化的变换系数、用于纹理图片预测的编译信息等等。反量化/反变换单元120可以通过将量化参数适用于量化的变换系数获得变换系数,并且通过反向地变换该变换系数解码纹理数据或者深度数据。在这里,解码的纹理数据或者深度数据根据预测可以包括残留数据。此外,用于深度块的量化参数可以考虑到纹理数据的复杂度设置。例如,当对应于深度块的纹理块具有高的复杂度的时候,可以设置低的量化参数,并且当纹理块具有低的复杂度的时候,可以设置高的量化参数。纹理块的复杂度可以基于在重建的纹理图片中在邻近像素之间的差值确定,如由公式1表示的。
[公式1]
在公式1中,E表示纹理数据的复杂度,C表示重建的纹理数据,并且N表示在将对其计算复杂度的纹理数据区中像素的数目。参考公式1,纹理数据的复杂度可以使用在对应于点(x,y)的纹理数据和对应于点(x-1,y)的纹理数据之间的差值,以及在对应于点(x,y)的纹理数据和对应于点(x+1,y)的纹理数据之间的差值计算。此外,可以对于纹理图片和纹理块的每个计算复杂度,并且量化参数可以使用该复杂度推导出,如由公式2表示的。
[公式2]
参考公式2,用于深度块的量化参数可以基于纹理图片的复杂度对纹理块的复杂度的比确定。在公式2中,α和β可以是由解码器推导出的可变整数,或者可以是在解码器中预先确定的整数。
内部预测单元130可以使用在当前的纹理图片中重建的纹理数据执行内部预测。特别地,当前块的采样可以使用当前块的内部预测模式和当前块的邻近采样预测。在这里,当前块的内部预测模式可以使用候选模式列表推导出,这将参考图4至7详细描述。此外,内部预测可以以与对于纹理图片相同的方式对于深度图片执行。例如,用于纹理图片的内部预测的编译信息可以同样地用于深度图片。用于内部预测的编译信息可以包括内部预测模式和内部预测的分割信息。
环内滤波单元140可以将环内滤波适用于每个编码块以便减小块失真。滤波器可以平滑块的边缘以便改善解码的图片的质量。滤波的纹理图片或者深度图片可以输出或者存储在解码图片缓存单元150中以用作参考图片。当纹理数据和深度数据被使用相同的环内滤波器编译的时候,由于纹理数据和深度数据具有不同的特征,编译效率可能降低。因此,可以限定用于深度数据的单独的环内滤波器。将给出作为基于区域的自适应环路滤波和三角形环路滤波能够有效地编码深度数据的环内滤波方法的描述。
在基于区域的自适应环路滤波的情况下,其可以基于深度块的变化确定是否适用基于区域的自适应环路滤波。深度块的变化可以限定为在深度块中的最大像素值和最小像素值之间的差值。通过将深度块的变化与预先确定的阈值比较能够确定是否适用滤波。例如,当深度块的变化大于或等于预先确定的阈值的时候,其指的是在深度块中的最大像素值和最小像素值之间的差值大,可以确定适用基于区域的自适应环路滤波。相反地,当深度块的变化小于预先确定的阈值的时候,可以确定不适用基于区域的自适应环路滤波。当根据比较结果适用基于区域的自适应环路滤波的时候,可以通过将预先确定的权重适用于邻近像素值推导出滤波的深度块的像素值。在这里,预先确定的权重可以基于在当前滤波的像素和邻近像素之间的位置差异,和/或在当前滤波的像素值和邻近像素值之间的差值确定。邻近像素值可以指的是在包括在深度块中的像素值之中除当前滤波的像素值以外的像素值的一个。
根据本发明的三角形环路滤波类似于基于区域的自适应环路滤波,但是,不同于基于区域的自适应环路滤波,因为前者另外考虑纹理数据。特别地,三角形环路滤波可以提取邻近像素的深度数据,其满足以下的三个条件。
条件1.|p-q|≤σ1
条件2.|D(p)-D(q)|≤σ2
条件3.|V(p)-V(q)|≤σ3
条件1将在深度块中的当前像素p和邻近像素q之间的位置差异与预先确定的参数比较,条件2将在当前像素p的深度数据和邻近像素q的深度数据之间的差值与预先确定的参数比较,以及条件3将在当前像素p的纹理数据和邻近像素q的纹理数据之间的差值与预先确定的参数比较。
三角形环路滤波可以提取满足三个条件的邻近像素,并且滤波具有邻近像素的深度数据的中间值或者平均值的当前像素p。
解码图片缓存单元150可以存储或者开放先前编译的纹理图片或者深度图片以便执行中间预测。为了在解码图片缓存单元150存储先前编译的纹理图片或者深度图片或者开放该图片,可以使用frame_num和每个图片的图片顺序计数(POC)。此外,由于先前编译的图片包括对应于不同于在深度编译时当前的深度图片的视点的视点的深度图片,所以可以使用用于识别深度图片视点的视点识别信息,以便将对应于不同的视点的深度图片用作参考图片。解码图片缓存器单元150可以使用自适应的存储管理控制操作方法和滑动窗口方法管理参考图片以便更加灵活地实现中间预测。这允许参考图片存储器和非参考图片存储器合并成一个存储器以便实现小的存储器的有效管理。在深度编译时,深度图片可以被标记以与在解码图片缓存单元中的纹理图片区别,并且在标记过程期间可以使用用于识别每个深度图片的信息。
中间预测单元160可以使用存储在解码的图片缓存器单元150中的参考图片和运动信息执行当前块的运动补偿。在本说明书中,从广义来说,运动信息可以包括运动矢量和参考索引信息。此外,中间预测单元160可以执行用于运动补偿的时间中间预测。时间中间预测可以指的是使用参考图片和当前纹理块的运动信息的中间预测,其对应于与当前纹理块相同的视点,同时对应于不同于当前纹理块的时间周期。在通过多个相机获得的多视图图像的情况下,除了时间中间预测之外,还可以执行视图间中间预测。视图间中间预测可以指的是使用对应于不同于当前纹理块的视点的参考图片和当前纹理块的运动信息的中间预测。为了方便起见,用于视图间预测的运动信息称为视图间运动矢量和视图间参考索引信息。因此,在本说明书中运动信息可以灵活地解释为包括视图间运动矢量和视图间参考索引信息的信息。
图2是根据本发明适用于其的一个实施例的视频解码器适用于其的广播接收机的方框图。
根据当前的实施例的广播接收机接收陆地广播信号以再现图像。广播接收机可以使用接收的深度相关的信息产生三维内容。广播接收机包括调谐器200、解调器/信道解码器202、传输多路分解器204、解组器206、音频解码器208、视频解码器210、PSI/PSIP处理器214、3D渲染器216、格式器220和显示器222。
调谐器200选择在经由天线(未示出)输入的多个广播信号之中由用户调谐的信道的广播信号,并且输出选择的广播信号。解调器/信道解码器202解调来自调谐器200的广播信号,并且对解调的信号执行纠错解码以输出传输流TS。传输多路分解器204多路分解传输流,以便将传输流划分为视频PES和音频PES,并且提取PSI/PSIP信息。解组器206对视频PES和音频PES解组以恢复视频ES和音频ES。音频解码器208通过解码音频ES输出音频比特流。该音频比特流由数字模拟转换器(未示出)转换为模拟音频信号,由放大器(未示出)放大,并且然后经由扬声器(未示出)输出。视频解码器210解码视频ES以恢复原始图像。音频解码器208和视频解码器210的解码过程可以基于由PSI/PSIP处理器214确认的分组ID(PID)执行。在解码过程期间,视频解码器210可以提取深度信息。此外,视频解码器210可以提取对产生虚拟相机视图的图像说来必需的附加信息,例如,相机信息,或者用于估计由前面的目标隐藏的闭塞的信息(例如,几何信息,诸如目标轮廓、目标透明度信息和颜色信息),并且将附加信息提供给3D渲染器216。但是,深度信息和/或附加信息在本发明的其它的实施例中可以通过传输多路分解器204相互分离。
PSI/PSIP处理器214从传输多路分解器204接收PSI/PSIP信息,解析PSI/PSIP信息,并且在存储器(未示出)或者寄存器中存储解析的PSI/PSIP信息,以便允许基于存储的信息广播。3D渲染器216可以在虚拟的相机位置上,使用恢复的图像、深度信息、附加信息和相机参数产生颜色信息、深度信息等等。
此外,3D渲染器216在虚拟的相机位置上,通过使用恢复的图像和关于恢复的图像的深度信息,执行3D扭曲产生虚拟的图像。虽然3D渲染器116在当前的实施例中被配置为与视频解码器210分离的块,但这仅仅是一个示例,并且3D渲染器216可以包括在视频解码器210中。
格式器220格式化在解码过程中恢复的图像,也就是说,由相机捕捉的真实的图像,和由3D渲染器216根据广播接收机的显示模式产生的虚拟的图像,使得3D图像经由显示器222显示。在这里,在虚拟的相机上由3D渲染器216的深度信息和虚拟的图像的合成,和由格式器220的图像格式化可以响应于用户命令有选择地执行。也就是说,用户可以操纵远程控制器(未示出),使得合成的图像不显示,并且指定图像合成时间。
如上所述,用于产生3D图像的深度信息由3D渲染器216使用。但是,该深度信息在其它的实施例中可以由视频解码器210使用。将给出视频解码器210使用深度信息的各种实施例的描述。
图3图示根据本发明适用于其的一个实施例的内部预测模式类型。
参考图3,内部预测模式包括平面模式Intra_Planar、DC模式Intra_DC和角度模式Intra_Angular。平面模式是权重适用于布置在当前块的上端、左、左下端和右上端的邻近采样,以便预测当前块的采样的模式。特别地,根据在当前块的上端和左下端上布置的邻近采样的双线性内插获得的值,和根据在当前块的左和右上端上布置的邻近采样的双线性内插获得的值被分别计算,并且计算值的平均值用作当前块的预测采样。DC模式是当前块的采样使用位于当前块的上端、左和左上端上的邻近采样的平均值预测的模式。角度模式是当前块的采样在预测方向的角度上使用邻近采样预测的模式。角度模式可以被限定为包括垂直模式和水平模式的33个内部预测模式,如图3所示。
图4是图示根据本发明适用于其的一个实施例用于产生当前块的候选模式列表方法的流程图。
候选模式列表限定可以由当前块使用的多个内部预测模式,和对应于每个内部预测模式的列表索引信息。在这里,多个内部预测模式可以以由当前块使用的可能性递减的顺序连续地排列。列表索引信息可以指定顺序地排列在候选模式列表中的内部预测模式的位置。将给出参考图4用于产生候选模式列表方法的描述。
可以获得邻近块的内部预测模式(S400)。在这里,邻近块可以包括当前块的左邻近块和上邻近块。当邻近块不存在,或者邻近块没有以内部模式编译的时候,相应的邻近块不能分配内部预测模式。在这种情况下,邻近块的内部预测模式可以通过将预先确定的内部预测模式(例如,DC模式)分配给邻近块获得。
其可以检查是否在步骤S400中获得的左邻近块的内部预测模式IntraModeleft和上邻近块的内部预测模式IntraModetop彼此相同(S410)。这是为了防止在候选模式列表中相同的内部预测模式的冗余内含的目的。
当在步骤S410中两个邻近块的内部预测模式彼此相同的时候可以检查是否左邻近块的内部预测模式是平面模式或者DC模式(S420)。
当左邻近块的内部预测模式对应于平面模式和DC模式的一个的时候,候选模式列表可以包括平面模式、DC模式和垂直模式(S430)。特别地,在候选模式列表中,平面模式可以分配给对应于列表索引信息0的位置,DC模式可以分配给对应于列表索引信息1的位置,并且垂直模式可以分配给对应于列表索引信息2的位置。
当左邻近块的内部预测模式不对应于平面模式和DC模式的一个的时候,候选模式列表可以包括左邻近块的内部预测模式和从其中推导出的内部预测模式(S440)。
特别地,左邻近块的内部预测模式可以分配给对应于列表索引信息0的位置。然后,对应于通过从左邻近块的内部预测模式的值中减去1获得的值的内部预测模式可以分配给对应于列表索引信息1的位置,并且对应于通过对左邻近块的内部预测模式的值增加1获得的值的内部预测模式可以分配给对应于列表索引信息2的位置。例如,当左邻近块的内部预测模式的值是10的时候,具有值9和11的内部预测模式可以包括在候选模式列表中。
当在步骤S410中两个邻近块的内部预测模式彼此不相同的时候,候选模式列表可以包括左邻近块的内部预测模式和上邻近块的内部预测模式(S450)。
特别地,左邻近块的内部预测模式和上邻近块的内部预测模式可以分别被分配给对应于列表索引信息0的位置和对应于列表索引信息1的位置。此外,考虑到左/上邻近块的内部预测模式预先确定的内部预测模式可以分配给对应于列表索引信息2的位置。例如,平面模式、DC模式和垂直模式不对应于左/上邻近块的内部预测模式的一个,可以被选择和分配给对应于列表索引信息2的位置。在这里,基于平面模式、DC模式和垂直模式的优先级,能够检查是否平面模式、DC模式和垂直模式对应于左/上邻近块的内部预测模式。这个过程可以执行直到检测到不对应于左/上邻近块的内部预测模式的模式为止。
邻近视图的参考块的内部预测模式以及空间邻近块的内部预测模式可以被增加给候选模式列表,将参考图5和6进行描述。
图5是图示用于产生包括邻近视图的参考块的内部预测模式的候选模式列表方法的流程图。
参考图5,可以获得当前视图的当前块的视差矢量(S500)。在这里,视差矢量可以指的是在视图方向指定对应于当前块的参考块的运动矢量。当前块的视差矢量可以从邻近块的视差矢量中推导出。在这里,邻近块可以包括当前块的左、上、左下、右上和左上邻近块的至少一个。例如,邻近块的视差矢量可以被设置为当前块的视差矢量。另外,当前块的视差矢量可以从对应于当前块的深度数据中推导出。现在将参考公式3和4描述推导当前的纹理块的视差矢量的详细方法。
[公式3]
在公式3中,Z表示在相应的像素和相机之间的距离,D是通过量化Z获得的值,并且对应于深度数据,并且Znear和Zfar分别表示对当前视图限定的Z的最小值和最大值。Znear和Zfar可以经由序列参数集、片头等等从比特流中提取,并且可以是在解码器中预先确定的信息。因此,当在相应的像素和相机之间的距离Z在256的等级上量化的时候,Z可以被使用如由公式3表示的深度数据Znear和Zfar重建。随后,用于当前的纹理块的视差矢量可以如由公式4表示的使用重建的Z推导出。
[公式4]
在公式4中,d表示视差矢量,f表示相机的焦距,并且B表示在相机之间的距离。可以假设所有相机具有相同的f和B,并且因此,f和B可以是在解码器中预先确定的信息。
邻近视图的参考块可以基于当前块的视差矢量获得(S510)。在这里,邻近视图可以指的是除当前视图以外的视图。否则,邻近视图可以指的是不对其执行视图间预测的与其它视图无关地编译的基本视图。参考块可以指的是基于当前块的位置由视差矢量指定的块。
可以检查是否参考块是以内部模式编译的块(S520)。换句话说,可以检查是否参考块具有内部预测模式。
当在步骤S520中参考块是以内部模式编译的块的时候,修改的候选模式列表可以使用参考块的内部预测模式产生(S530)。将参考图6描述用于产生修改的候选模式列表的详细方法。
图6图示根据本发明适用于其的一个实施例用于使用邻近视图的参考块的内部预测模式产生修改的候选模式列表的方法。
1.候选模式列表的重新排列
能够检查是否邻近视图的参考块的内部预测模式与包括在候选模式列表中的内部预测模式相同。当候选模式列表包括与邻近视图的参考块的内部预测模式相同的内部预测模式的时候,存在当前块从候选模式列表中选择与邻近视图的参考块的内部预测模式相同的内部预测模式的高的可能性。在这种情况下,可以通过改变在候选模式列表中对应于内部预测模式的列表索引信息重新排列候选模式列表,其与相对于邻近视图的内部预测模式相同。例如,候选模式列表可以通过交换与来自邻近视图的内部预测模式相同的内部预测模式的位置,和对应于列表索引信息0的内部预测模式的位置重新排列。但是,当与来自邻近视图的内部预测模式相同的内部预测模式已经排列在对应于列表索引信息0的位置中的时候,重新排列过程被跳过。
参考图6(a),当相对于邻近视图的内部预测模式MPMview与在候选模式列表中布置在对应于列表索引信息2的位置的内部预测模式MPM2相同的时候,例如,对应于列表索引信息2的位置的内部预测模式MPM2的位置和对应于列表索引信息0的位置的内部预测模式MPM0的位置可以交换。对编译在候选模式列表中指定当前块的内部预测模式的所有索引信息必需的比特数可以通过在对应于列表索引信息0的位置排列具有高的被选择的可能性的内部预测模式来减小。
2.内部预测模式的替换
在候选模式列表中的多个内部预测模式MPM0、MPM1和MPM2的一个可以由相对于邻近视图的内部预测模式MPMview替换。因为在候选模式列表中,在内部预测模式之中与列表索引信息2的位置相对应的内部预测模式MPM2具有最低的选择性,所以在多个内部预测模式之中对应于列表索引信息2的位置的内部预测模式MPM2可以通过相对于邻近视图的内部预测模式MPMview替换。
3.内部预测模式的增加
来自邻近视图的内部预测模式可以被增加给从空间邻近块的内部预测模式中推导出的候选模式列表。
参考图6(c),来自邻近视图的内部预测模式可以被布置在候选模式列表的底部。也就是说,来自邻近视图的内部预测模式可以被增加给对应于列表索引信息3的位置。甚至当内部预测模式被增加给在候选模式列表中对应于列表索引信息3的位置时,MPM0至MPM3可以仍然编译为2比特。
在本发明的一个实施例中,来自邻近视图的内部预测模式可以被布置在候选模式列表的顶部。也就是说,来自邻近视图的内部预测模式可以被增加给对应于列表索引信息0的位置。在这种情况下,对应于列表索引信息0的位置的内部预测模式可以重新排列为列表索引信息1的位置,对应于列表索引信息1的位置的内部预测模式可以重新排列为列表索引信息2的位置,并且对应于列表索引信息2的位置的内部预测模式可以重新排列为列表索引信息3的位置。
在本发明适用于其的一个实施例中,当内部预测模式是平面模式或者DC模式,或者否则排列在候选模式列表的下端上的时候(当角度模式的内部预测模式的时候),来自邻近视图的内部预测模式可以被排列在候选模式列表的上端。
为了自适应地使用产生修改的候选模式列表的过程,可以限定基本模式使用标记。在这里,基本模式使用标记可以指的是表示在产生用于当前块的候选模式列表时是否使用来自邻近视图的内部预测模式的信息。因此,只有当基本模式使用标记表示使用来自邻近视图的内部预测模式时,内部预测模式可以从邻近视图的参考块中获得。
前面提到的候选模式列表重新排列、内部预测模式替换和内部预测模式增加的一个可以通过将来自邻近视图的内部预测模式与在产生的候选模式列表中的内部预测模式比较指定。当产生的候选模式列表包括与来自邻近视图的内部预测模式相同的内部预测模式的时候,内部预测模式替换或者内部预测模式增加不是有益的。因此,当产生的候选模式列表包括与相对于邻近视图的内部预测模式相同的内部预测模式的时候,可以使用候选模式列表重新排列,并且否则可以使用内部预测模式替换或者内部预测模式增加。
图7是图示根据本发明适用于其的一个实施例用于使用候选模式列表推导当前块的内部预测模式方法的流程图。
在这里,候选模式列表可以理解为包括使用相对于邻近视图的内部预测模式修改的候选模式列表以及使用空间邻近块推导出的候选模式列表。
参考图7,候选模式标记可以从比特流中获得(S700)。在这里,候选模式标记可以指的是表示是否当前块使用来自候选模式列表的内部预测模式的信息。
当获得的候选模式标记表示当前块使用来自候选模式列表的内部预测模式的时候,内部模式索引信息可以从比特流中获得(S710)。在这里,内部模式索引信息可以指的是在候选模式列表中指定用于当前块的内部预测的内部预测模式的信息。
因此,对应于内部模式索引信息的内部预测模式可以从候选模式列表中获得(S720)。
当获得的候选模式标记表示当前块不使用来自候选模式列表的内部预测模式的时候,内部预测模式可以从比特流中获得(S730)。从比特流中提取的内部预测模式指定在35个内部预测模式之中除包括在候选模式列表中的内部预测模式以外的内部预测模式的一个。因此,当前块的内部预测模式可以基于提取的内部预测模式推导出(S740)。
以上描述的实施例是本发明的要素和特点的组合。除非另作说明,要素或者特点可以选择性的考虑。每个要素或者特点可以无需与其他的要素或者特点结合实践。此外,本发明的一个实施例可以通过合成要素和/或特点的一部分构成。在本发明的实施例中描述的操作顺序可以重新安排。任何一个实施例的某些结构可以包括在另一个实施例中,并且可以以另一个实施例的相应的结构替换。
工业实用性
本发明可用于编译视频信号。
Claims (9)
1.一种用于处理视频信号的方法,包括:
基于来自当前块的空间邻近块的内部预测模式,产生所述当前块的候选模式列表;
基于来自所述当前块的邻近视图的内部预测模式,修改所述候选模式列表;
基于所修改的候选模式列表,推导所述当前块的内部预测模式;和
使用所推导的内部预测模式预测所述当前块。
2.根据权利要求1所述的方法,其中,所述空间邻近块包括所述当前块的左邻近块和上邻近块中的至少一个。
3.根据权利要求1所述的方法,其中,修改所述候选模式列表包括:
获得所述当前块的视差矢量;
基于所述视差矢量获得所述邻近视图的参考块;
检查所述参考块是否是以内部模式编译的块;和
当所述参考块是以内部块编译的块的时候,使用所述参考块的内部预测模式修改所述候选模式列表。
4.根据权利要求3所述的方法,其中,所述当前块的所述视差矢量是使用所述当前块的左、上、左下、右上和左上邻近块中的至少一个的视差矢量获得的。
5.根据权利要求3所述的方法,其中,所述当前块的所述视差矢量是从对应于所述当前块的深度数据中推导的。
6.根据权利要求1所述的方法,其中,所述候选模式列表限定可用于所述当前块的多个内部预测模式和分别对应于所述多个内部预测模式的列表索引信息,
其中,所述列表索引信息指定顺序地排列在所述候选模式列表中的所述多个内部预测模式的位置。
7.根据权利要求6所述的方法,其中,修改所述候选模式列表包括改变对应于与来自所述邻近视图的内部预测模式相同的内部预测模式的列表索引信息,以便当所述候选模式列表包括与来自所述邻近视图的内部预测模式相同的内部预测模式的时候,重新排列所述候选模式列表。
8.根据权利要求6所述的方法,其中,修改所述候选模式列表包括通过来自所述邻近视图的内部预测模式替换在所述候选模式列表中的所述多个内部预测模式的一个。
9.根据权利要求6所述的方法,其中,修改所述候选模式列表包括将来自所述邻近视图的内部预测模式增加给基于所述空间邻近块的内部预测模式产生的所述候选模式列表。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361749395P | 2013-01-07 | 2013-01-07 | |
| US61/749,395 | 2013-01-07 | ||
| PCT/KR2014/000135 WO2014107083A1 (ko) | 2013-01-07 | 2014-01-07 | 비디오 신호 처리 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104904209A true CN104904209A (zh) | 2015-09-09 |
| CN104904209B CN104904209B (zh) | 2018-07-24 |
Family
ID=51062354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480004166.9A Active CN104904209B (zh) | 2013-01-07 | 2014-01-07 | 视频信号处理方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9826239B2 (zh) |
| EP (1) | EP2942955A4 (zh) |
| JP (1) | JP6306050B2 (zh) |
| KR (1) | KR20160048025A (zh) |
| CN (1) | CN104904209B (zh) |
| WO (1) | WO2014107083A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116634181A (zh) * | 2016-10-04 | 2023-08-22 | 株式会社Kt | 对图像进行解码和编码的方法、图像数据的发送方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108235008A (zh) | 2011-12-05 | 2018-06-29 | Lg 电子株式会社 | 帧内预测的方法和设备 |
| KR101712110B1 (ko) * | 2013-07-12 | 2017-03-13 | 삼성전자 주식회사 | 변이 벡터 유도를 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
| WO2016137166A1 (ko) * | 2015-02-23 | 2016-09-01 | 엘지전자(주) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| CN107925759B (zh) | 2015-06-05 | 2022-06-03 | 杜比实验室特许公司 | 用于编码和解码帧内预测的方法和设备 |
| CN118900324A (zh) | 2015-11-19 | 2024-11-05 | Lx半导体科技有限公司 | 图像编码/解码方法和图像数据的传输方法 |
| KR20170058837A (ko) * | 2015-11-19 | 2017-05-29 | 한국전자통신연구원 | 화면내 예측모드 부호화/복호화 방법 및 장치 |
| KR20190052128A (ko) | 2016-10-04 | 2019-05-15 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
| KR20180041833A (ko) * | 2016-10-17 | 2018-04-25 | 디지털인사이트 주식회사 | 화면 내 예측에 대한 참조 모드 리스트를 사용하는 비디오 코딩 방법 및 장치 |
| JP2018078409A (ja) * | 2016-11-08 | 2018-05-17 | 日本放送協会 | イントラ予測器、画像符号化装置、画像復号装置およびプログラム |
| CN109120926B (zh) | 2017-06-23 | 2019-08-13 | 腾讯科技(深圳)有限公司 | 预测模式选择方法、装置及介质 |
| US10708626B2 (en) * | 2018-11-19 | 2020-07-07 | Google Llc | Iterative IDCT with adaptive non-linear filtering |
| JP2021103829A (ja) * | 2019-12-25 | 2021-07-15 | マクセル株式会社 | 画像符号化方法および画像復号方法 |
| US12047567B2 (en) * | 2021-01-26 | 2024-07-23 | Beijing Dajia Internet Information Technology Co., Ltd. | System and method for applying adaptive loop filter in video coding |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090016436A1 (en) * | 2007-06-27 | 2009-01-15 | Korea Electronics Technology Institute | Method for Image Prediction of Multi-View Video Codec and Computer-Readable Recording Medium Thereof |
| WO2012090491A1 (ja) * | 2010-12-28 | 2012-07-05 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および、画像符号化復号装置 |
| WO2012164886A1 (ja) * | 2011-05-27 | 2012-12-06 | パナソニック株式会社 | 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5252029B2 (ja) * | 2011-05-31 | 2013-07-31 | 株式会社Jvcケンウッド | 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法、及び受信プログラム |
| PL2717579T3 (pl) | 2011-05-31 | 2020-07-27 | Sun Patent Trust | Sposób dekodowania obrazu i urządzenie do dekodowania obrazu |
| US9654785B2 (en) * | 2011-06-09 | 2017-05-16 | Qualcomm Incorporated | Enhanced intra-prediction mode signaling for video coding using neighboring mode |
| AU2012269583B2 (en) * | 2011-06-15 | 2015-11-26 | Hfi Innovation Inc. | Method and apparatus of motion and disparity vector prediction and compensation for 3D video coding |
| US9154796B2 (en) * | 2011-11-04 | 2015-10-06 | Qualcomm Incorporated | Intra-mode video coding |
-
2014
- 2014-01-07 WO PCT/KR2014/000135 patent/WO2014107083A1/ko not_active Ceased
- 2014-01-07 US US14/759,580 patent/US9826239B2/en not_active Expired - Fee Related
- 2014-01-07 KR KR1020157021095A patent/KR20160048025A/ko not_active Withdrawn
- 2014-01-07 EP EP14735407.0A patent/EP2942955A4/en not_active Withdrawn
- 2014-01-07 CN CN201480004166.9A patent/CN104904209B/zh active Active
- 2014-01-07 JP JP2015551613A patent/JP6306050B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090016436A1 (en) * | 2007-06-27 | 2009-01-15 | Korea Electronics Technology Institute | Method for Image Prediction of Multi-View Video Codec and Computer-Readable Recording Medium Thereof |
| WO2012090491A1 (ja) * | 2010-12-28 | 2012-07-05 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および、画像符号化復号装置 |
| WO2012164886A1 (ja) * | 2011-05-27 | 2012-12-06 | パナソニック株式会社 | 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置 |
Non-Patent Citations (1)
| Title |
|---|
| LIANG ZHAO ET AL.: "《Fast Mode Decision Algorithm for Intra Prediction in HEVC》", 《VISUAL COMMUNICATIONS & IMAGE PROCESSING(VCIP),2011 IEEE》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116634181A (zh) * | 2016-10-04 | 2023-08-22 | 株式会社Kt | 对图像进行解码和编码的方法、图像数据的发送方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014107083A1 (ko) | 2014-07-10 |
| US9826239B2 (en) | 2017-11-21 |
| KR20160048025A (ko) | 2016-05-03 |
| JP2016506689A (ja) | 2016-03-03 |
| EP2942955A4 (en) | 2016-07-20 |
| CN104904209B (zh) | 2018-07-24 |
| JP6306050B2 (ja) | 2018-04-04 |
| US20150350657A1 (en) | 2015-12-03 |
| EP2942955A1 (en) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104904209B (zh) | 视频信号处理方法 | |
| CN106105191B (zh) | 用于处理多视图视频信号的方法和装置 | |
| KR20150020175A (ko) | 비디오 신호 처리 방법 및 장치 | |
| CN111543055A (zh) | 视频编码设备、视频解码设备、视频编码方法、视频解码方法、程序和视频系统 | |
| US10187658B2 (en) | Method and device for processing multi-view video signal | |
| US10123007B2 (en) | Method and apparatus for processing video signal | |
| US10171836B2 (en) | Method and device for processing video signal | |
| US20160165259A1 (en) | Method and apparatus for processing video signal | |
| US9781442B2 (en) | Method and apparatus for processing video signal | |
| KR101753592B1 (ko) | 비디오 신호 처리 방법 및 장치 | |
| US20160050437A1 (en) | Method and apparatus for processing video signal | |
| KR20150095679A (ko) | 비디오 신호 처리 방법 및 장치 | |
| KR101783617B1 (ko) | 비디오 신호 처리 방법 및 장치 | |
| EP4425926A1 (en) | Image encoding/decoding method and device, and recording medium having bitstream stored therein | |
| US10080030B2 (en) | Video signal processing method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |