CN109076219A - 图像解码装置以及图像编码装置 - Google Patents
图像解码装置以及图像编码装置 Download PDFInfo
- Publication number
- CN109076219A CN109076219A CN201780029094.7A CN201780029094A CN109076219A CN 109076219 A CN109076219 A CN 109076219A CN 201780029094 A CN201780029094 A CN 201780029094A CN 109076219 A CN109076219 A CN 109076219A
- Authority
- CN
- China
- Prior art keywords
- index
- filter
- image
- block
- decoded image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明的目的在于提供以低处理量实现高编码效率的图像解码装置以及图像编码装置。图像解码装置(31)具备:块参数导出部(5211),参考对象单位区域的滤波前解码图像的像素值来导出块索引;以及滤波处理部(525),使用与块索引对应的滤波系数来对对象单位区域的滤波前解码图像进行自适应滤波处理。
Description
技术领域
本发明涉及图像解码装置以及图像编码装置。
背景技术
为了高效地传输或记录运动图像,使用通过对运动图像进行编码而生成编码数据的运动图像编码装置、以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式,例如可列举出在H.265/HEVC(High-EfficiencyVideo Coding:高效运动图像编码)中提出的方式等。
在这种运动图像编码方式中,由包含通过对图像进行分割得到的切片(slice)、通过对切片进行分割得到的编码单位(有时也称为编码单元(Coding Unit))、以及作为通过对编码单元进行分割得到的块的预测单元(PU)、转换单元(TU)的阶层结构来管理构成运动图像的图像(图片),并按块来进行编码、解码。
此外,在这种运动图像编码方式中,通常,基于通过对输入图像进行编码/解码而得到的局部解码图像来生成预测图像,并对从输入图像(原图像)中减去该预测图像得到的预测残差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法,可列举出画面间预测(帧间预测)以及画面内预测(帧内预测)。
在帧内预测中,基于相同图片内的局部解码图像,依次生成该图片的预测图像。具体而言,在帧内预测中,通常,按预测单位(例如,块)从预定的预测方向(预测模式)群所包含的预测方向中选择任一预测方向,并且将局部解码图像的参考像素的像素值嵌套至所选择的预测方向,由此,生成预测单位的预测像素值。此外,在帧间预测中,对整个图片都被解码的参考图片(解码图像)应用使用了运动矢量的运动补偿,由此,按预测单位(例如,块)来生成预测图像。
在非专利文献1和2中,公开了一种按解码图像的4×4像素的块单位,并根据其方向(direction)以及活性度(activity)分类至多个组中的任一个,并使用按组设定的滤波系数来对解码图像进行滤波的自适应环路滤波器(Adaptive Loop Filter)(以下,仅称为“ALF”)。
作为各块单位的方向的导出方法,也存在非专利文献3中所公开的方法。在非专利文献3所公开的方法中,基于有关构成各块单位的像素群的水平方向、垂直方向、以及两个斜向的像素值变化量的和,来导出各块单位的方向以及活性度。
现有技术文献
非专利文献
非专利文献1:Video/JVET,“Algorithm Description of Joint ExplorationTestModel 1(JEM 1)”,INTERNATIONAL ORGANIZATION FOR STANDARDIZATIONORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OFMOVING PICTURES AND AUDIO,ISO/IEC JTC1/SC29/WG11/N15790,October 2015,Geneva,CH.
非专利文献2:Video/JVET,“Algorithm Description of Joint ExplorationTestModel 2”,Joint Video Exploration Team(JVET)of ITU-T SG16 WP3 and ISO/IECJTC1/SC29/WG11,February 2016,San Diego,USA.非专利文献3:Video/JVET,“Improvements on adaptive loop filter”,Joint Video Exploration Team(JVET)ofITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,February 2016,San Diego,USA.
发明内容
发明要解决的问题
在非专利文献1~3所公开的技术中,存在以下问题:虽然按块单位并根据其方向以及活性度而分类至多个组中的任一个,但是,即使是方向以及活性度相同的块单位,最优的滤波系数也会根据该块单位中所包含的对象而不同。
此外,作为导出各块单位的方向的方法,在非专利文献3所公开的方法中,需要计算有关构成各块单位的像素群的水平方向、垂直方向、以及两个斜向的像素值变化量的和,导出各块单位的方向的处理繁多、复杂。
因此,本公开是鉴于上述问题而完成的,其目的在于提供通过按解码图像的块单位使用更优的滤波系数来以低处理量实现高编码效率的图像解码装置以及图像编码装置。
技术方案
为了解决上述问题,本发明的一个方案的图像解码装置参考残差图像和预测图像来生成滤波前解码图像,并对上述滤波前解码图像应用环内滤波(以下仅称为“ALF”)来生成解码图像,所述图像解码装置具备:块索引导出部,参考对象单位区域中的上述滤波前解码图像的像素值来导出块索引;滤波索引导出部,参考上述块索引来导出滤波索引;以及滤波处理部,使用根据上述滤波索引所确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述ALF。
此外,为了解决上述问题,本发明的一个方案的图像解码装置参考残差图像和预测图像来生成滤波前解码图像,并对上述滤波前解码图像应用ALF来生成解码图像,所述图像解码装置具备:分类索引确定部,按单位区域来确定指示块索引的导出方法的类别索引;块索引导出部,根据上述类别索引所指示的导出方法来导出块索引;滤波索引导出部,参考上述块索引来导出滤波索引;以及滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述ALF。
此外,为了解决上述问题,本发明的一个方案的图像解码装置参考残差图像和预测图像来生成滤波前解码图像,并对上述滤波前解码图像应用ALF来生成解码图像,所述图像解码装置具备:类别索引导出部,按单位区域来导出类别索引;滤波索引导出部,参考上述类别索引来导出滤波索引;滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述ALF;以及滤波系数储存部,根据上述类别索引,将滤波系数储存于多个缓冲器中的任一缓冲器。
此外,为了解决上述问题,本发明的一个方案的图像编码装置参考预测图像和预测残差来生成滤波前解码图像,并对上述滤波前解码图像应用ALF来生成解码图像,所述图像编码装置具备:块索引导出部,参考对象单位区域中的上述滤波前解码图像的像素值来导出块索引;滤波索引导出部,参考上述块索引来导出滤波索引;以及滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述ALF。
此外,为了解决上述问题,本发明的一个方案的图像编码装置参考预测图像和预测残差来生成滤波前解码图像,并对上述滤波前解码图像应用ALF来生成解码图像,所述图像编码装置具备:分类索引确定部,按单位区域来确定指示块索引的导出方法的类别索引;块索引导出部,根据上述类别索引所指示的导出方法来导出块索引;滤波索引导出部,参考上述块索引来导出滤波索引;以及滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述ALF。
此外,为了解决上述问题,本发明的一个方案的图像编码装置参考预测图像和预测残差来生成滤波前解码图像,并对上述滤波前解码图像应用ALF来生成解码图像,所述图像编码装置具备:类别索引导出部,按单位区域来导出类别索引;滤波索引导出部,参考上述类别索引来导出滤波索引;滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述ALF;以及滤波系数储存部,根据上述类别索引,将滤波系数储存于多个缓冲器中的任一缓冲器。
有益效果
根据本发明的一个方案,通过按解码图像中的块单位使用更优的滤波系数,能以低处理量实现高编码效率。
附图说明
图1是表示本发明的一个实施方式的图像传输系统的构成的概略图。
图2是表示本发明的一个实施方式的编码流的数据的阶层结构的图。
图3是表示PU分割模式的方案的图。图3(a)~图3(h)分别示出了PU分割模式为2N×2N、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N、以及N×N的情况下的分区形状。
图4是表示参考图片列表的一个示例的概念图。
图5是表示参考图片的示例的概念图。
图6是表示本发明的一个实施方式的图像解码装置的构成的概略图。
图7是表示本发明的一个实施方式的图像编码装置所具备的ALF的构成的框图。
图8是表示滤波参考区域R中所包含的各像素和与其对应的滤波系数的图。
图9是本发明的一个实施方式中从导出块索引至生成ALF后解码图像的处理的流程图。
图10是示意地表示对象单位区域的左上、右上、左下、以及右下的像素的图。
图11是示意地表示与图10不同的对象单位区域的左上、右上、左下、以及右下的像素的图。
图12是表示本发明的一个实施方式的图像解码装置的构成的概略图。
图13是表示本发明的一个实施方式的图像编码装置所具备的ALF的构成的框图。
图14是表示本发明的另一实施方式的图像编码装置所具备的ALF的构成的框图。
图15是本发明的另一实施方式中从导出类别索引至将滤波系数供给至滤波处理部的处理的流程图。
图16是表示本发明的另一实施方式的图像编码装置所具备的ALF的构成的框图。
图17是缓冲器的示意图。
图18是表示本发明的又一实施方式的图像编码装置所具备的ALF的构成的框图。
图19是本发明的又一实施方式的滤波系数缓冲器的示意图。
图20是本发明的又一实施方式中从导出类别索引至将滤波系数储存至滤波系数缓冲器的处理的流程图。
图21是表示本发明的又一实施方式的图像编码装置所具备的ALF的构成的框图。
图22是表示搭载有上述图像编码装置的发送装置、以及搭载有上述图像解码装置的接收装置的构成的图。图22(a)示出了搭载有图像编码装置的发送装置,图22(b)示出了搭载有图像解码装置的接收装置。
图23是表示搭载有上述图像编码装置的记录装置、以及搭载有上述图像解码装置的再现装置的构成的图。图23(a)示出了搭载有图像编码装置的记录装置,图23(b)示出了搭载有图像解码装置的再现装置。
具体实施方式
〔第一实施方式〕
以下,参照附图对本发明的实施方式进行说明。
<图像传输系统>
图1是表示本实施方式的图像传输系统1的构成的概略图。
图像传输系统1是传输对编码对象图像进行编码而得的编码并显示对所传输的编码进行解码而得的图像的系统。图像传输系统1构成为包含图像编码装置(运动图像编码装置)11、网络21、图像解码装置31、以及图像显示装置41。
向图像编码装置11中输入单层或者多层的图像T。层是在构成某一时间的图片存在一个以上的情况下用于区分多个图片的概念。例如,当在画质、分辨率不同的多个层对同一图片进行编码时,为可伸缩编码(scalable coding),当在多个层对不同视点的图片进行编码时,为视点可伸缩编码(view scalable coding)。当在多个层的图片间进行预测(层间预测、视点间预测)的情况下,编码效率会大幅提高。此外,即使在不进行预测的情况(同时联播(simulcast))的情况下,也能够汇总编码数据。需要说明的是,图像编码装置11以及图像解码装置31既可以以单一层图像来进行,也可以任意地组合可伸缩编码、视图可伸缩编码来进行。
网络21将图像编码装置11所生成的编码数据Te传输至图像解码装置31。网络21是互联网(internet)、广域网(WAN:Wide Area Network)、小型网络(LAN:Local AreaNetwork,局域网)或它们的组合。网络21不一定限定于双向的通信网,也可以是传输地面波数字广播、卫星广播等广播波的单向或双向的通信网。此外,网络21也可以用DVD(DigitalVersatile Disc:数字通用光盘)、BD(Blue-ray Disc:蓝光光盘)等记录有编码数据Te的存储介质来代替。
图像解码装置31分别对网络21所传输的编码数据Te进行解码,分别生成解码后的一个或多个解码图像Td。
图像显示装置41显示图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence:电致发光)显示器等显示设备。此外,在空间可伸缩编码、SNR可伸缩编码中,在图像解码装置31、图像表示装置41具有高处理能力的情况下显示画质高的扩展层图像,在仅具有低处理能力的情况下显示无需增强层程度的高处理能力、显示能力的基本层图像(base layer image)。
<编码数据Te的构造>
在对本实施方式的图像编码装置11以及图像解码装置31进行详细说明之前,对由图像编码装置11生成并由图像解码装置31来解码的编码数据Te的数据结构进行说明。
图2是表示编码数据Te中的数据的阶层结构的图。编码数据Te示例性地包含序列(sequence)以及构成序列的多个图片。图2(a)~图2(f)分别是表示既定序列SEQ的序列层、规定图片PICT的图片层、规定切片S的切片层、规定切片数据的切片数据层、规定切片数据中所包含的编码树单元的编码树层、规定编码树中所包含的编码单元(Coding Unit:CU)的编码单元层的图。
(序列层)
在序列层中,规定有图像解码装置31为了对处理对象的序列SEQ进行解码而参考的数据的集合。序列SEQ如图2(a)所示,包含视频参数集VPS(Video Parameter Set)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture Parameter Set)、图片PICT、以及补充增强信息SEI(Supplemental Enhancement Information)。在此,在#后示出的值表示层ID。在图2中示出了存在#0和#1即层0和层1的编码数据的示例,但层的种类以及层数并不取决于此。
视频参数集VPS在由多个层构成的运动图像中,规定有多个运动图像共用的编码参数的集合、以及运动图像中所包含的多个层和与各层相关连的编码参数的集合。
在序列参数集SPS中,规定有图像解码装置31为了对对象序列进行解码而参考的编码参数的集合。例如,规定了图片的宽度、高度。需要说明的是,SPS可以存在有多个。该情况下,从PPS中选择多个SPS中的任一个。
在图片参数集PPS中,规定有图像解码装置31为了对对象序列SEQ内的各图片进行解码而参考的编码参数的集合。例如包含用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)、指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是,PPS可以存在有多个。该情况下,从处理对象的序列SEQ内的各图片中选择多个PPS中的任一个。
图片层)
在图片层中,规定有图像解码装置31为了对处理对象的图片PICT进行解码而参考的数据的集合。图片PICT如图2(b)所示,包含切片S0~SNS-1(NS为图片PICT中所包含的切片的总数)。
需要说明的是,以下,在无需对各切片S0~SNS-1进行区分的情况下,有时会省略代码的后缀来进行记述。此外,以下所说明的包含于编码流Te且带有后缀的其他数据也是相同的。
(切片层)
在切片层中,规定有图像解码装置31为了对处理对象的切片S进行解码而参考的数据的集合。切片S如图2(c)所示,包含切片头(slice header)SH和切片数据SDATA。
切片头SH中包含图像解码装置31为了确定处理对象的切片S的解码方法而参考的编码参数群。指定切片类型的切片类型指定信息(slice_type)是切片头SH中所包含的编码参数的一个示例。
作为可由切片类型指定信息指定的切片类型,可列举出:(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测(单预测)或帧内预测的P切片、以及(3)在进行编码时使用单向预测、双向预测、或帧内预测的B切片等。
需要说明的是,切片头SH中也可以含有上述序列层中所包含的对图片参数集PPS的参考(pic_parameter_set_id)。
此外,在切片头SH中,包含有由图像解码装置31所具备的ALF(Adaptive LoopFilter:自适应环路滤波器(环内滤波器))来参考的ALF参数ALFP。ALF参数ALFP的详细内容将在下文加以记述。
(切片数据层)
在切片数据层中,规定有图像解码装置31为了对处理对象的切片数据SDATA进行解码而参考的数据的集合。切片数据SDATA如图2(d)所示,包含编码树单元(CTU:Coded TreeUnit)。CTU是构成切片的固定尺寸(例如64×64)的块,有时也被称为最大编码单位(LCU:Largest Cording Unit)。
(编码树层)
编码树层如图2(e)所示,规定有图像解码装置31为了对处理对象的编码树单元进行解码而参考的数据的集合。编码树单元通过递归的四叉树分割来进行分割。将通过递归的四叉树分割而得到的树形结构的节点称为编码树(CT:coding tree)。CTU包含分割标志(split_flag),在split_flag为1的情况下,分割为四个CT。在split_flag为0的情况下,CT不进行分割,而是具有一个编码单元(CU:Coded Unit)来做为节点。编码单元CU为编码树层的末端节点,在该层中不会被进一步分割。编码单元CU为编码处理的基本单位。
此外,在编码树单元CTU的尺寸为64×64像素的情况下,编码单元的尺寸可以去64×64像素、32×32像素、16×16像素、以及8×8像素中的任一个。
(编码单元层)
编码单元层如图2(f)所示,规定有图像解码装置31为了对处理对象的编码单元进行解码而参考的数据的集合。具体而言,编码单元由预测树、转换树、以及CU标头CUH构成。在CU标头中,规定有分割标志、分割方案、以及预测模式等。
预测树中,规定有将编码单元分割为一个或多个而得的各预测单元(PU)的预测信息(参考图片索引、运动矢量等)。如果换为其他表述,预测单元是构成编码单元的一个或多个不重复的区域。此外,预测树包含通过上述分割而得到的一个或多个预测单元。需要说明的是,以下将进一步分割预测单元而得的预测单位称为“子块(sub block)”。子块由多个像素构成。在预测单元与子块的尺寸相等的情况下,预测单元中的子块为一个。在预测单元的尺寸大于子块的尺寸的情况下,预测单元会被分割为子块。例如在预测单元为8×8、子块为4×4的情况下,预测单元被分割为由水平分割的两部分和垂直分割的两部分构成的四个子块。
预测处理按该预测单元(子块)来进行。预测树中的分割的种类大体来说有帧内预测的情况和帧间预测的情况这两种。帧内预测是同一图片内的预测,帧间预测是指在互不相同的图片间(例如,显示时刻间、层图像间)进行的预测处理。
在帧内预测的情况下,分割方法有2N×2N(与编码单元相同尺寸)和N×N。
此外,在帧间预测的情况下,分割方法根据编码数据的PU分割模式(part_mode)来进行编码,存在2N×2N(与编码单元相同尺寸)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N、以及N×N等。需要说明的是,2N×nU表示将2N×2N的编码单元从上到下依次分割为2N×0.5N和2N×1.5N这两个区域。2N×nD表示将2N×2N的编码单元从上到下依次分割为2N×1.5N和2N×0.5N这两个区域。nL×2N表示将2N×2N的编码单元从左到右依次分割为0.5N×2N和1.5N×2N这两个区域。nR×2N表示将2N×2N的编码单元从左到右依次分割为1.5N×2N和0.5N×1.5N这两个区域。分割数为一、二、四中的任一个,因此包含于CU的PU为一个至四个。将这些PU依次表示为PU0、PU1、PU2、PU3。
(ALF参数ALFP)
如上所述,ALF滤波参数ALFP包含于切片头SH中。在此,ALF单元是包含用于ALF处理的滤波集合的信息的语法,详细内容在下文加以记述。
需要说明的是,某个对象单位区域的滤波处理所需的所有信息,也可以不包含于某对象单位区域的ALF参数ALFP,而是从其他对象单位区域的ALFP复制来应用。
(分割方法)
图3(a)~图3(h)中对各分割方法具体地图示出了CU中的PU分割的边界的位置。
需要说明的是,图3(a)示出了不进行CU的分割的2N×2N的PU分割模式。
此外,图3(b)、图3(c)、以及图3(d)分别示出了PU分割模式分别为2N×N、2N×nU、以及2N×nD的情况下的分区的形状。以下,将PU分割模式为2N×N、2N×nU、以及2N×nD的情况下的分区统称为水平分区。
此外,图3(e)、图3(f)、以及图3(g)分别示出了PU分割模式为N×2N、nL×2N、以及nR×2N的情况下的分区的形状。以下,将PU分割模式为N×2N、nL×2N、以及nR×2N的情况下的分区统称为垂直分区。
此外,将水平分区以及垂直分区统称为矩形分区。
此外,图3(h)示出了PU分割模式为N×N的情况下的分区的形状。基于其分区的形状,也将图3(a)以及图3(h)的PU分割模式称为正方形分割。此外,也将图3(b)~图3(g)的PU分割模式称为非正方形分割。
此外,在图3(a)~图3(h)中,赋予各分区的编号表示标识号,按照该标识号的顺序对分区进行处理。即,该标识号表示分区的扫描顺序。
此外,在图3(a)~图3(h)中,设左上为CU的基准点(原点)。
此外,在转换树中,编码单元被分割为一个或多个转换单元,并规定了各转换块的位置和尺寸。如果换为其他表述,转换单元是构成编码单元的一个或多个不重复的区域。此外,转换树包含通过上述分割而得到的一个或多个转换单元。
转换树的分割中具有将与编码单元相同的尺寸的区域分配为转换单元的分割、和与上述CU的分割相同地通过递归的四叉树分割来进行的分割。
按该转换单元来进行转换处理。
(预测参数)
通过PU所随附的预测参数来导出预测单元(PU)的预测图像。预测参数中具有帧内预测的预测参数或者帧间预测的预测参数。以下,对帧间预测的预测参数(帧间预测参数)进行说明。帧间预测参数由预测列表利用标志predFlagL0、predFlagL1、参考图片索引refIdxL0、refIdxL1、以及矢量mvL0、mvL1构成。预测列表利用标志predFlagL0、predFlagL1是表示是否使用各个被称为L0列表、L1列表的参考图片列表的标志,在值为1的情况下使用对应的参考图片列表。需要说明的是,在本说明书中记为“表示是否为××的标志”的情况下,在将1设为是××的情况,将0设为不是××的情况下,在逻辑非、逻辑乘等中将1处理为真,将0处理为假(以下同样)。但是,在实际的装置、方法中也可以使用其他值作为来真值、假值。使用两个参考图片列表的情况,就是说,predFlagL0=1、predFlagL1=1的情况对应双预测。此外,使用一个参考图片列表的情况,即(predFlagL0,predFlagL1)=(1,0)或者(predFlagL0,predFlagL1)=(0,1)的情况对应单预测。需要说明的是,预测列表利用标志的信息也可以用后述的帧间预测标志inter_pred_idc来表示。
用于导出编码数据中所包含的帧间预测参数的语法要素中,例如具有分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参考图片索引refIdxLX、预测矢量索引mvp_LX_idx、以及差分矢量mvdLX。
(参考图片列表的一个示例)
接着,对参考图片列表的一个示例进行说明。参考图片列表是由存储于参考图片存储器306(图6)的参考图片(参考图像)形成的列。图4是表示参考图片列表的一个示例的概念图。在参考图片列表601中,左右排列成一列的5个长方形分别表示参考图片。从左端向右依次示出的代码P1、P2、P3、P4、P5是表示各参考图片的代码。后缀表示图片顺序编号POC。refIdxLX的正下方的向下的箭头表示参考图片索引refIdxLX是在参考图片存储器306中参考了参考图片P3的索引。
(参考图片的示例)
接着,对在导出矢量时使用的参考图片的示例进行说明。图5是表示参考图片的示例的概念图。在图5中,横轴表示显示时刻。图5所示的四个长方形分别表示图片。四个长方形中,左起第二个长方形表示解码对象的图片(对象图片),其余的三个长方形分别表示参考图片。以从对象图片起向左的箭头表示的参考图片P1是过去的图片。以从对象图片起向右的箭头表示的参考图片P2是未来的图片。在图5中以对象图片作为基准的运动预测中,使用参考图片P1或P2。
(帧间预测标志与预测列表利用标志)
帧间预测标志inter_pred_flag与预测列表利用标志predFlagL0、predFlagL1的关系能像以下那样相互转换。因此,作为帧间预测参数,可以使用预测列表利用标志,也可以使用帧间预测标志。此外,以下,使用了预测列表利用标志的判定可以替换为帧间预测标志。反之,使用了帧间预测标志的判定也可以替换为预测列表利用标志。
inter_pred_flag=(predFlagL1<<1)+predFlagL0
predFlagL0=inter_pred_flag&1
predFlagL1=inter_pred_flag>>1
在此,>>为右移位,<<为左移位。
(合并预测与AMVP预测)
预测参数的解码(编码)方法中具有合并预测(merge)模式和AMVP(Adaptive MotionVector Prediction:自适应运动矢量预测)模式,合并标志merge_flag是用于识别它们的标志。无论是合并预测模式还是AMVP模式,都使用已经处理完的块的预测参数来导出对象PU的预测参数。合并预测模式是不使预测列表利用标志predFlagLX(或帧间预测标志inter_pred_idc)、参考图片索引refIdxLX、运动矢量mvLX包含于编码数据地直接使用已导出的附近PU的预测参数的模式。另一方面,AMVP模式是使帧间预测标志inter_pred_idc、参考图片索引refIdxLX、运动矢量mvLX包含于编码数据的模式。需要说明的是,运动矢量mvLX被编码为标识预测矢量mvpLX的预测矢量索引mvp_LX_idx和差分矢量mvdLX。
帧间预测标志inter_pred_idc是表示参考图片的种类以及数量的数据,取Pred_L0、Pred_L1、Pred_Bi中的任一值。Pred_L0、Pred_L1表示使用分别存储于被称为L0列表、L1列表的参考图片列表的参考图片,表示共同使用一张参考图片(单预测)。将使用了L0列表、L1列表的预测分别称为L0预测、L1预测。Pred_Bi表示使用两张参考图片(双预测),并表示使用存储于L0列表和L1列表的两个参考图片。预测矢量索引mvp_LX_idx是表示预测矢量的索引,参考图片索引refIdxLX是表示存储于参考图片列表的参考图片的索引。需要说明的是,LX是在不对L0预测与L1预测进行区别的情况下使用的记述方法,通过将LX替换为L0、L1,来对针对L0列表的参数和针对L1列表的参数进行区别。例如,refIdxL0是用于L0预测的参考图片索引,refIdxL1是用于L1预测的参考图片索引,refIdxLX是在不对refIdxL0与refIdxL1进行区别的情况下使用的标记。
合并索引merge_idx是表示是否将从处理已完成的块导出的预测参数候选(合并候选)中的任一个预测参数作为解码对象块的预测参数来使用的索引。
(运动矢量)
运动矢量mvLX表示不同时间的两个图片上的块间的偏移量。将与运动矢量mvLX相关的预测矢量、差分矢量分别称为预测矢量mvpLX、差分矢量mvdLX。
<图像解码装置的构成>
接着,对本实施方式的图像解码装置31的构成进行说明。图6是表示本实施方式的图像解码装置31的构成的概略图。图像解码装置31构成为包含熵解码部301、预测参数解码部302、参考图片存储器306、预测参数存储器307、预测图像生成部308、逆量化/逆DCT部311、加法部312、去块滤波器(deblocking filter)313、取样自适应偏移部314、以及ALF315。
此外,预测参数解码部302构成为包含帧间预测参数解码部303以及帧内预测参数解码部304。预测图像生成部308构成为包含帧间预测图像生成部309以及帧内预测图像生成部310。
熵解码部301对从外部输入的编码数据Te进行熵解码,并分离各个代码(语法要素)而进行解码。分离后的代码中,具有用于生成预测图像的预测信息以及用于生成差分图像的残差信息等。
熵解码部301将分离后的代码的一部分输出至预测参数解码部302。分离后的代码的一部分例如是预测模式PredMode、分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参考图片索引refIdxLX、预测矢量索引mvp_LX_idx、以及差分矢量mvdLX。基于预测参数解码部302的指示来进行是否对哪一个代码进行解码的控制。熵解码部301将量化系数输出至逆量化/逆DCT部311。该量化系数是在编码处理中对残差信号进行DCT(Discrete Cosine Transform:离散余弦转换)并进行量化而得到的系数。
帧间预测参数解码部303基于从熵解码部301输入的代码,参考存储于预测参数存储器307的预测参数,对帧间预测参数进行解码。
帧间预测参数解码部303将解码后得到的帧间预测参数输出至预测图像生成部308,此外,存储于预测参数存储器307。对帧间预测参数解码部303的详细内容将在下文加以记述。
帧内预测参数解码部304基于从熵解码部301输入的代码,参考存储于预测参数存储器307的预测参数,对帧内预测参数进行解码。帧内预测参数是指在一个图片内对CU进行预测的处理中所使用的参数,例如,帧内预测模式IntraPredMode。帧内预测参数解码部304将解码后得到的帧内预测参数输出至预测图像生成部308,此外,存储于预测参数存储器307。
帧内预测参数解码部304也可以导出在亮度和色差上不同的帧内预测模式。该情况下,帧内预测参数解码部304将亮度预测模式IntraPredModeY解码作为亮度的预测参数,将色差预测模式IntraPredModeC解码作为色差的预测参数。亮度预测模式IntraPredModeY为35模式,平面预测(0)、DC预测(1)、方向预测(2~34)与其对应。色差预测模式IntraPredModeC使用平面预测(0)、DC预测(1)、方向预测(2~34)、LM模式(35)中的任一个。帧内预测参数解码部304对指示色差预测模式IntraPredModeC是否是与亮度预测模式IntraPredModeY相同的模式的标志进行解码。如果标志指示与亮度模式是相同的模式,则帧内预测参数解码部304也可以将亮度预测模式IntraPredModeY分配至色差预测模式IntraPredModeC。此外,如果标志表示是与亮度模式不同的模式,则帧内预测参数解码部304可以将平面预测(0)、DC预测(1)、方向预测(2~34)、LM模式(35)解码为色差预测模式IntraPredModeC。
参考图片存储器306按编码对象的图片以及CU将加法部312所生成的CU解码图像存储于预定的位置。
预测参数存储器307按解码对象的图片以及CU将预测参数存储于预定的位置。具体而言,预测参数存储器307存储帧间预测参数解码部303解码后得到的帧间预测参数、帧内预测参数解码部304解码后得到的帧内预测参数、以及熵解码部301分离后得到的预测模式predMode。所存储的帧间预测参数中,例如具有预测列表利用标志predFlagLX(帧间预测标志inter_pred_idc)、参考图片索引refIdxLX、以及运动矢量mvLX。
预测图像生成部308中输入有从熵解码部301输入的预测模式predMode,此外,从预测参数解码部302输入有预测参数。此外,预测图像生成部308从参考图片存储器306中读出参考图片。预测图像生成部308在预测模式predMode所表示的预测模式下,使用输入的预测参数和读出的参考图片来生成PU的预测图片。
在此,在预测模式predMode表示帧间预测模式的情况下,帧间预测图像生成部309使用从帧间预测参数解码部303输入的帧间预测参数和读出的参考图片,通过帧间预测来生成PU的预测图像。
帧间预测图像生成部309对预测列表利用标志predFlagLX为1的参考图片列表(L0列表或者L1列表),根据参考图片索引refIdxLX所指示的参考图片,从参考图片存储器306中读出位于以解码对象PU为基准的运动矢量mvLX所示的位置的参考图片块。帧间预测图像生成部309在读出的参考图片块的基础上进行预测,生成PU的预测图像。帧间预测图像生成部309将生成的PU的预测图像输出至加法部312。
在预测模式predMode表示帧内预测模式的情况下,帧内预测图像生成部310使用从帧内预测参数解码部304输入的帧内预测参数和读出的参考图片来进行帧内预测。具体而言,帧内预测图像生成部310从参考图片存储器306中读出解码对象的图片中在已经解码的PU中位于从解码对象PU起预定的范围的相邻PU。预定的范围是指在解码对象PU以所谓的光栅扫描的顺序依次移动的情况下,例如左、左上、上、右上的相邻PU中的任一个,根据帧内预测模式而不同。光栅扫描的顺序是在各图片中针对从上端至下端各行依次从左端移动至右端的顺序。
帧内预测图像生成部310在帧内预测模式IntraPredMode所示的预测模式下对读出的相邻PU进行预测,生成PU的预测图像。帧内预测图像生成部310将生成的PU的预测图像输出至加法部312。
在帧内预测参数解码部304,在导出亮度和色差上不同的帧内预测模式的情况下,帧内预测图像生成部310根据亮度预测模式IntraPredModeY,通过平面预测(0)、DC预测(1)、方向预测(2~34)中的任一个来生成亮度的PU的预测图像。此外,帧内预测图像生成部310根据色差预测模式IntraPredModeC,通过平面预测(0)、DC预测(1)、方向预测(2~34)、LM模式(35)中的任一个来生成色差的PU的预测图像。
逆量化/逆DCT部311将从熵解码部301输入的量化系数逆量化来求出DCT系数。逆量化/逆DCT部311对求出的DCT系数进行逆DCT(Inverse Discrete Cosine Transform:逆离散余弦变换),计算出解码残差信号。逆量化/逆DCT部311将计算出的解码残差信号输出至加法部312。
加法部312按像素将从帧间预测图像生成部309以及帧内预测图像生成部310输入的PU的预测图像和从逆量化/逆DCT部311输入的解码残差信号相加,生成PU的解码图像。加法部312按图片将生成的PU的解码图像输出至去块滤波器313、取样自适应偏移部314、或ALF315的至少任一个。
去块滤波器313通过在隔着CU边界相互邻接的像素的去块前像素值的差小于预定的阈值的情况下,对该CU边界实施去块处理,进行该CU边界附近的图像的平滑化。通过去块滤波器313实施了去块处理的图像作为去块后解码图像,被输出至取样自适应偏移部314。需要说明的是,去块前像素值是指通过加法部312输出的图像中的像素值。
取样自适应偏移部314通过按规定的单位对偏移滤波前解码图像实施使用了从编码数据Te解码后得到的偏移的偏移滤波处理,来生成偏移滤波后解码图像。需要说明的是,偏移滤波前解码图像可以是通过加法部312输出的图像或通过去块滤波器313输出的去块的解码图像。
ALF315通过对ALF前解码图像(滤波前解码图像)实施使用了从编码数据Te解码后得到的ALF参数ALFP的自适应滤波处理,来生成ALF后解码图像。ALF后解码图像作为解码图像Td被向外部输出,并且由熵解码部301与从编码数据Te解码后得到的POC信息建立关联地储存于参考图片存储器306。ALF315的具体的构成将在下文加以记述,因此在此省略说明。需要说明的是,ALF前解码图像可以是通过加法部312输出的图像、去块的解码图像、或偏移滤波后解码图像。
(ALF315)
ALF315通过对ALF前解码图像recPicture实施自适应滤波处理,来生成滤波后解码图像alfPicture。
具体而言,ALF315根据对象单位区域中的ALF前解码图像recPicture的参数(像素值),使用从编码数据Te解码后得到的滤波系数中与该对象单位区域建立关联的滤波系数,实施对该对象单位区域的ALF处理。作为对象单位区域,也可以使用不依存于树块(treeblock)、CU的固定尺寸(例如4×4像素、2×2像素),以与CTU的树结构独立的图片为根的四叉树结构、CTU的树结构(CTU、CU)等。
图7是表示ALF315的构成的框图。如图7所示,ALF315具备ALF信息解码部51以及ALF部52。
(ALF信息解码部51)
ALF信息解码部51基于编码数据Te中所包含的ALF参数ALFP,来对滤波系数alf_filt_coeff[][]以及滤波索引表filtIdxTable[]进行解码。解码后的滤波系数alf_filt_coeff[][]以及滤波索引表filtIdxTable[]被供给至ALF部52。
如图7所示,ALF信息解码部51具备滤波系数解码部512以及过滤表解码部515。
滤波系数解码部512对ALF参数ALFP中所包含的滤波系数alf_filt_coeff[][]进行解码。解码后的滤波系数alf_filt_coeff[][]被供给至ALF部52的滤波系数设定部524。
过滤表解码部515对ALF参数ALFP中所包含的滤波索引表filtIdxTable[]进行解码。过滤表的解码方法如果与编码方法相同,则可以是固定长编码、可变长编码(CABAC、CAVLC)等任一方法。基于滤波索引表filtIdxTable[]和将在下文加以记述的块索引blockIdx来导出对滤波处理部525所使用的滤波系数进行选择的fltIdx。滤波索引表filtIdxTable[]是表示块索引blockIdx与滤波索引fltIdx的对应关系的表。
(ALF部52)
ALF部52构成为:用于通过ALF处理,对构成ALF前解码图像recPicture的各对象单位区域生成滤波后解码图像alfPicture。在此,从ALF参数ALFP解码后得到的滤波系数alf_filt_coeff[][]中,使用根据该对象单位区域中的ALF前解码图像recPicture的块参数(像素值)导出的块索引blockIdx来选择用于各对象单位区域的自适应滤波处理的滤波系数。
如图7所示,ALF部52具备块分类部521、滤波系数设定部524、以及滤波处理部525。
(块分类部521)
块分类部521计算对象单位区域中的ALF前解码图像recPicture的块参数(像素值)。此外,块分类部521基于计算出的块参数,导出对象单位区域的块索引blockIdx。块索引blockIdx的导出处理将在下文加以记述。
(滤波系数设定部524)
滤波系数设定部524(滤波索引导出部)使用通过过滤表解码部515解码后得到的滤波索引表fltIdxTable[]和块分类部521所导出的块索引blockIdx,导出滤波索引fltIdx。
fltIdx=filtIdxTable[blockIdx]
滤波系数设定部524将使用导出的滤波索引fltIdx而导出的滤波系数alf_filt_coeff[fltIdx][]供给至滤波处理部525。
(滤波处理部525)
滤波处理部525通过对对象单位区域内的各像素实施使用了从滤波系数设定部524供给的滤波系数alf_filt_coeff[fltIdx][]的滤波处理,来生成该对象单位区域中的ALF后解码图像alfPicture。
更具体而言,当将ALF后解码图像alfPicture中的滤波对象像素的像素值表示为SF(x,y)、将ALF前解码图像recPicture中的像素值表示为S(x,y)时,滤波处理部525通过以下的算式来计算像素值SF(x,y)。
[数式1]
在此,a(u,v)表示ALF前图像recPicture乘以像素值S(x+u,y+v)的滤波系数,与从滤波系数设定部524供给的滤波系数alf_filt_coeff[fltIdx][]的各分量对应。此外,o表示滤波系数alf_filt_coeff[fltIdx][]中所包含的偏移分量。
此外,上述算式中的R表示滤波处理中所参考的滤波参考区域。需要说明的是,滤波参考区域R例如能使用以像素(x,y)为中心的菱形的区域,但是本实施方式中的参考区域R并不限定于这些示例。例如,也可以使用矩形的参考区域。
图8是表示滤波参考区域R中所包含的各像素和与其对应的滤波系数的图。需要说明的是,auv与作为滤波系数alf_filt_coeff[fltIdx][]的各分量的滤波系数a(u,v)对应。如图8所示,对滤波参考区域R中的各像素,分配滤波系数a(u,v)。在本图中,作为示例示出了由十三个像素形成的菱形的滤波参考区域R。在该情况下,滤波系数alf_filt_coeff[fltIdx][]如下所示。需要说明的是,o是偏移。
alf_filt_coeff[fltIdx][]={a11,a21,a22,a23,a31,a32,a33,a34,a35,a41,a42,a43,a51,o}此外,可以采用各滤波系数以具有180度的旋转对称性的方式,对滤波参考区域R中所包含的各像素进行分配的构成。即,可以采用以满足a(u,v)=a(-u,-v)的方式设定的构成。通过采用这种构成,能削减alf_filt_coeff[][]的数量。
<图像解码处理>
以下,在本实施方式的图像解码装置31中,根据图9对使用了与块索引blockIdx相应的滤波系数alf_filt_coeff[][]的滤波处理进行说明。图9是从导出块索引blockIdx至生成ALF后解码图像alfPicture的处理的流程图。
首先,块分类部521导出对象单位区域中的表示ALF前解码图像recPicture的像素值的块参数(S0)。接着使用该块参数导出块索引blockIdx(步骤S1,以下称为“S1”)。
滤波系数设定部524使用通过过滤表解码部515解码后得到的滤波索引表filtIdxTable[]和块分类部521所导出的块索引blockIdx,导出滤波索引fltIdx(S2)。然后,滤波系数设定部524将与导出的滤波索引fltIdx对应的滤波系数alf_filt_coeff[fltIdx][]供给至滤波处理部525(S3)。
滤波处理部525对对象单位区域内的各像素,实施使用了滤波系数alf_filt_coeff[fltIdx][]的滤波处理(S4)。由此,滤波处理部525生成对象单位区域中的ALF后解码图像alfPicture。
根据以上的构成,能通过使用基于各对象单位区域的块索引的滤波系数,在各对象单位区域使用更优的滤波系数来进行滤波处理。此外,导出基于各对象单位区域的块参数的块索引,使用该块索引和过滤表导出滤波索引,因此能缩小滤波系数的尺寸。因此,在本实施方式中,能以低处理量实现高编码效率。
以下,列举出具体示例,对导出块索引导出的处理进行说明。不过,导出块索引的处理的具体示例并不限定于这些。
(块索引导出处理例-1)
块分类部521使用以下的方法,具备导出对象单位区域的边缘方向(direction)和活性度(Activity)等块参数的块参数导出部5211、以及块索引导出部5212。块参数导出部5211通过下述的算式导出边缘方向和活性度。
例如,在边缘方向为水平、垂直、以及无边这三种情况下,块参数导出部5211能如下地计算方向Dir和活性度Act。具体而言,块参数导出部5211首先分别通过以下的算式导出对象单位区域内的各像素(i,j)中的水平方向的像素值变化量Vi、j以及垂直方向的像素值变化量Hi、j。
[数式2]
需要说明的是,是将对象单位区域的左上的坐标设为原点的情况下的坐标(i,j)的亮度值。
接着,块参数导出部5211基于对象单位区域内的各像素的水平方向的像素值变化量Vi、j以及垂直方向的像素值变化量Hi、j,通过以下的算式,对该对象单位区域的方向Dir以及活性度Act分别分多阶段(在本示例中,分别分三阶段以及五阶段)地进行量化。
[数式3]
此外,在边缘方向除了水平、垂直、以及无边以外还具有两个斜向这五种的情况下,块参数导出部5211能如下地计算出方向Dir和活性度Act。
首先,块参数导出部5211分别通过以下的算式导出有关构成对象单位区域内的像素群(对象像素群)中的水平方向的像素值变化量的和gh以及垂直方向的像素值变化量的和gv。
[数式4]
此外,块参数导出部5211分别通过以下的算式导出有关构成对象单位区域的像素群(对象像素)中的两个斜向的像素值变化量gd1、gd2。
[数式5]
接着,块参数导出部5211基于计算出的水平方向的像素值变化量的和gv、垂直方向的像素值变化量的和gh以及两个斜向的像素值变化量gd1、gd2,通过以下的算式,分多阶段(以下的示例中为五阶段)地对对象单位区域的方向性进行量化,导出方向Dir(在以下的算式中相当于D)。
[数式6]
步骤1.如果且则将D设置为0。
步骤2.如果则进入步骤3,否则进入步骤4
步骤3.如果则将D设置为2,否则将D设置为1。
步骤4.如果则将D设置为4,否则将D设置为3。
在此,为
在以上的方向的计算方法中,需要导出水平方向、垂直方向、以及两个斜向的像素值变化量,块参数导出部5211的处理量较大。因此,在本实施方式的块参数导出部5211中,分别通过以下的算式导出两个斜向的像素值变化量gd1、gd2。
[数式7]
gd1=|R(i,j)-R(i+M-1,j+M-1)|
gd2=|R(i+M-1,j)-R(i,j+M-1)|
图10示意地示出了对象单位区域的左上、右上、左下、以及右下的像素。有关构成对象单位区域的像素群(在本图中为M×M像素)中的一方的斜向的像素值变化量gd1是右下像素R1(i+M-1,j+M-1)与左上像素R2(i,j)的单纯差分。此外,另一方的斜向的像素值变化量gd2是左下像素R3(i,j+M-1)与右上像素R4(i+M-1,j)的单纯差分。
图11示意地示出了与图10不同的对象单位区域的左上、右上、左下、以及右下的像素。有关构成对象单位区域的像素群(在本图中为M×M像素)中的一方的斜向的像素值变化量gd1是右下像素R1(i+M,j+M)与左上像素R2(i-1,j-1)的单纯差分。此外,另一方的斜向的像素值变化量gd2是左下像素R3(i-1,j+M)与右上像素R4(i+M,j-1)的单纯差分。
接着,块参数导出部5211基于计算出的水平方向的像素值变化量的和gv、垂直方向的像素值变化量的和gh以及两个斜向的像素值变化量gd1、gd2,分多阶段地对对象单位区域的方向性进行量化,导出方向Dir。下述是方向的计算方法的第一示例。通过以下的算式,将对象单位区域的方向性分为六种。
if(gh>2*gv){
Dir=2;
}else if(gv>2*gh){
Dir=3;
}else{
if(gd1>gd2)Dir=0;else Dir=1;
}
下述是方向的计算方法的第二示例。块参数导出部5211通过以下的算式,将对象单位区域的方向性分为六种。
if(gh>2*gv){
if(gd1>gd2)Dir=2;else Dir=3;
}else if(gv2*gh){
if(gd1>gd2)Dir=4;else Dir=5;
}else{
if(gd1>gd2)Dir=0;else Dir=1;
}
下述是方向的计算方法的第三示例。块参数导出部5211通过以下的算式,将对象单位区域的方向性分为八种。
if(gh>3*gv){
if(gd1>gd2)Dir=2;else Dir=3;
}else if(gv>3*gh){
if(gd1>gd2)Dir=4;else Dir=5;
}else{
if(gd1>gd2)
if(gv>gh)Dir=0;else Dir=1;
else
if(gv>gh)Dir=6;else Dir=1;
}
需要说明的是,边缘方向为五种的情况下的活性度Act的计算方法与边缘方向为三种的情况下的活性度Act的计算方法相同。
在块索引导出部5212中,从导出的块参数导出块索引blockIdx。
blockIdx=Act+(Act的种类数)*Dir
例如,在第一示例的情况下,方向Dir为四种,活性度Act为五种,因此块索引为二十种,在第二示例的情况下,方向Dir为六种,活性度Act为五种,因此块索引为三十种,在第三示例的情况下,方向Dir为八种,活性度Act为五种,因此块索引为三十种。
根据以上的构成,将两个斜向的像素值变化量gd1、gd2分别设为两个像素值的单纯差分,因此两个斜向的像素值变化量gd1、gd2的计算处理量会降低,能抑制块参数导出部5211中的处理量。因此,在本示例中,能以低处理量实现高编码效率。
(块索引导出处理例-2)
块参数导出部5211除了使用上述所使用的方向、活性度以外,还可以使用像素值信息(亮度、颜色)作为块参数。通过使用这些块参数,具有以下效果:能按亮度信息的不同对象来实现最优的滤波处理,此外,即使是单色的图案,也能通过颜色信息识别不同对象并实现最优的滤波处理。例如,块参数导出部5211也可以基于对象单位区域的平均亮度值,来导出该对象单位区域的块参数。具体而言,块参数导出部5211分M0阶段地对对象单位区域中的平均亮度值avgLuma进行量化。
块索引导出部5212基于量化的平均亮度值avgLuma,通过以下的算式,导出基于对象单位区域中的平均亮度值avgLuma(亮度值的平均值)的块索引blockIdx。
blockIdx=avgLuma>>(bitDepth-m0)
在此,bitDepth表示像素值的位深度,例如,在bitDepth为N的情况下,像素值的范围为0至2的N次方-1。此外,m0=log2(M0)。
(块索引导出处理例-3)
块参数导出部5211也可以将对象单位区域的块参数设为对象单位区域中的最大亮度值以及最小亮度值。具体而言,块参数导出部5211分M1阶段地对对象单位区域中的最大亮度值maxLuma进行量化,分M2阶段地对最小亮度值minLuma进行量化。块索引导出部5212基于量化的最大亮度值maxLuma(亮度值的最大值)以及最小亮度值minLuma(亮度值的最小值),通过以下的算式,导出块索引blockIdx。
blockIdx=((maxLuma>>(bitDepthY-m1))<<m2)+(minLuma>>(bitDepthY-m2))
在此,m1=log2(M1),m2=log2(M2)。
需要说明的是,以上,块索引导出部5212基于对象单位区域中的最大亮度值以及最小亮度值,导出该对象单位区域的块索引,但是本示例并不限定于此。块索引导出部5212能基于对象单位区域中的最大亮度值以及最小亮度值的至少任一者,导出块索引。
例如,块索引导出部5212也可以通过以下的算式,导出基于对象单位区域中的最大亮度值maxLuma的块索引blockIdx。
blockIdx=maxLuma>>(bitDepthY-m1)
或者,块索引导出部5212也可以通过以下的算式,导出基于对象单位区域中的最小亮度值minLuma的块索引blockIdx。
blockIdx=minLuma>>(bitDepthY-m2)
(块索引导出处理例-4)
块参数导出部5211也可以将对象单位区域的块参数设为对象单位区域中的平均亮度值、最大亮度值、以及最小亮度值。具体而言,块参数导出部5211分M0阶段地对对象单位区域中的平均亮度值avgLuma进行量化,分M1阶段地对最大亮度值maxLuma进行量化,分M2阶段地对最小亮度值minLuma进行量化。块索引导出部5212基于量化的平均亮度值avgLuma、最大亮度值maxLuma以及最小亮度值minLuma,通过以下的算式,导出块索引blockIdx。
blockIdx=(avgLuma>>(bitDepthY-m0)<<(m1+m2))+((maxLuma>>(bitDepthY-m1))<<m2)*(minLuma>>(bitDepthY-m2))
在此,m0=log2(M0)。
需要说明的是,以上,块索引导出部5212基于对象单位区域中的平均亮度值、最大亮度值、以及最小亮度值,导出该对象单位区域的块索引,但是本示例并不限定于此。块索引导出部5212可以基于对象单位区域中的平均亮度值、最大亮度值、以及最小亮度值的至少任一者,导出块索引。
例如,块索引导出部5212也可以通过以下的算式,导出基于对象单位区域中的平均亮度值avgLuma以及最大亮度值maxLuma的块索引blockIdx。
blockIdx=(avgLuma>>(bitDepthY-m0)<<m1)+(maxLuma>>(bitDepthY-m1))
或者,块索引导出部5212也可以通过以下的算式,导出基于对象单位区域中的平均亮度值avgLuma以及最小亮度值minLuma的块索引blockIdx。
blockIdx=(avgLuma>>(bitDepthY-m0)<<m2)+(minLuma>>(bitDepthY-m2))blockIdx=minLuma>>(bitDepthY-m2)
(块索引导出处理例-5)
块参数导出部5211也可以将对象单位区域的块参数设为对象单位区域中的平均亮度值以及动态范围。需要说明的是,动态范围是指最大亮度值与最小亮度值的亮度差。
具体而言,块参数导出部5211分M0阶段地对对象单位区域中的平均亮度值avgLuma进行量化,分M3阶段地对对象单位区域中的最大亮度值maxLuma与最小亮度值minLuma的差的动态范围进行量化。块索引导出部5212基于量化的平均亮度值avgLuma以及动态范围,通过以下的算式,导出基于对象单位区域中的平均亮度值avgLuma以及动态范围的块索引blockIdx。
blockIdx=(avgLuma>>(bitDepthY-m0)<<m3)+(maxLuma-minLuma)>>(bitDepthY-m3)
在此,m3=log2(M3)。
(块索引导出处理例-6)
块参数导出部5211也可以基于对象单位区域的像素值信息、边缘的方向以及活性度作为块参数,导出块索引。通过使用多个块参数,能提高各对象单位区域的块分类的精度。
具体而言,块参数导出部5211首先通过上述计算方法求出该对象单位区域的方向Dir以及活性度Act,并分别分Md阶段以及Ma阶段地进行量化。
此外,块参数导出部5211分M0阶段地对对象单位区域中的平均亮度值avgLuma进行量化。块索引导出部5212基于量化的方向Dir、活性度Act、以及平均亮度值avgLuma,通过以下的算式,导出基于对象单位区域中的方向Dir、活性度Act、以及平均亮度值avgLuma的块索引blockIdx。
blockIdx=Act+Ma*Dir+(Ma*Md)*(avgLuma>>(bitDepth-m0))需要说明的是,以上,块索引导出部5212基于对象单位区域中的方向、活性度、以及平均亮度值,导出该对象单位区域的块索引,但是本示例并不限定于此。块索引导出部5212也可以基于对象单位区域中的方向以及活性度的至少任一者,导出该对象单位区域的块索引。此外,块索引导出部5212也可以基于对象单位区域中的方向性以及活性度的至少任一者和平均亮度值、最大亮度值、以及最小亮度值的至少任一者,导出该对象单位区域的块索引。
例如,块索引导出部5212基于量化的方向Dir、活性度Act、以及最大亮度值maxLuma、最小亮度值minLuma,通过以下的算式,导出基于对象单位区域中的方向Dir、活性度Act、以及平均亮度值avgLuma的块索引blockIdx。
blockIdx=Act+Ma*Dir+(Ma*Md)*((maxLuma>>(bitDepth-m1)<<m2)+(minLuma>>(bitDepth-m2)))
(块索引导出处理例-7)
块参数导出部5211也可以将块参数设为对象单位区域的动态范围以及方向。具体而言,块参数导出部5211首先通过以下的算式,导出分多阶段(本示例中为五阶段)地对对象单位区域中的动态范围进行量化的动态范围dynamicRange'。
dynamicRange'=0<=dynamicRange<8:0
8<=dynamicRange<16:1
16<=dynamicRange<32:2
32<=dynamicRange<64:3
64<=dynamicRange:4
方向Dir的计算以及量化与上述块索引的导出处理例-6相同。块索引导出部5212基于量化的动态范围dynamicRange'以及方向Dir,通过以下的算式,导出对象单位区域中的块索引blockIdx。
blockIdx=Dir+Md*dynamicRange'
需要说明的是,以上,块索引导出部5212基于对象单位区域中的动态范围以及方向,导出块索引,但是本示例并不限定于此。块索引导出部5212可以基于对象单位区域中的动态范围和方向以及活性度的至少任一者,导出块索引。
(块索引导出处理例-8)
块参数导出部5211也可以将块参数的一个设为对象单位区域中的最大亮度值以及最小亮度值中与该对象单位区域中的平均亮度值接近的值。具体而言,块参数导出部5211首先通过以下的算式,选择对象单位区域中的最大亮度值maxLuma以及最小亮度值minLuma中与该对象单位区域中的平均亮度值aveLuma接近的值MinMax。
MinMax=(aveLuma-minLuma)<(maxLuma-aveLuma)?minLuma:maxLuma
此外,块参数导出部5211通过以下的算式,导出分M5阶段地对对象单位区域中的值MinMax进行量化的值MinMax'。
MinMax'=Dir+MinMax>>(bitDepth-m5)
在此,m5=log2(M5)。
块索引导出部5212基于量化的值MinMax'、上述方向Dir、以及动态范围dynamicRange',来导出blockIdx。
blockIdx=Dir+Md*dynamicRange'+(Md*M4)*MinMax在此,M4是动态范围的量化的阶段。
需要说明的是,以上,块索引导出部5212基于对象单位区域中的最大亮度值、以及最小亮度值中与该对象单位区域中的平均亮度值接近的值,导出块索引,但是本示例并不限定于此。块索引导出部5212可以基于对象单位区域中的最大亮度值、以及最小亮度值中与该对象单位区域中的平均亮度值接近的值和动态范围、方向、以及活性度的至少任一者,导出该对象单位区域的块索引。
(块索引导出处理例-9)
块参数导出部5211也可以基于对象单位区域的表色信息,导出块参数作为对象单位区域的像素值信息。具体而言,块参数导出部5211将对象单位区域映射至任意的表色系。例如,块参数导出部5211能将对象单位区域的表色系转换为由YCbCr色相H、亮度L、彩度S形成的HLS表色系。
(块索引导出处理例-9)
块参数导出部5211也可以基于对象单位区域的表色信息,导出块参数作为对象单位区域的像素值信息。具体而言,块参数导出部5211将对象单位区域映射至任意的表色系。例如,块参数导出部5211能将对象单位区域的表色系转换为由YCbCr色相H、亮度L、彩度S形成的HLS表色系。
R=1.164(Y-16)+1.596(Cr-128)
G=1.164(Y-16)-0.391(Cb-128)-0.813(Cr-128)
B=1.164(Y-16)+2.018(Cb-128)
接着,通过以下的算式,将RGB表色系转换为HLS表色系。
H=if(max==min)未定义(无彩色)
else if(max==R)60*(G-B)/(max-min);
else if(max==G)60*(B-R)/(max-min)+120;
else if(max==B)60*(R-G)/(max-min)+240;
L=(max+min)/2
S=max-min
在此,max=Max(R,G,B),Max()是表示选择自变量中的最大值的函数。此外,min=Min(R,G,B),Min()是表示选择自变量中的最小值的函数。
块参数导出部5211分M阶段地对转换为HLS表色系的对象单位区域中的色相H进行量化。块索引导出部5212基于量化的色相H,通过以下的算式,导出基于色相H的块索引blockIdx。
blockIdx=H*M/360
作为由表色系决定的块参数的导出方法的其他示例,示出将CbCr转换为简易色相的处理例。块参数导出部5211首先通过以下的算式,分M阶段地分别对Cb以及Cr的色相进行量化,导出Cb的色相cbIdx以及Cr的色相crIdx。
cbIdx=(Cb*M)/(1<<bitDepthC)
crIdx=(Cr*M)/(1<<bitDepthC)
块索引导出部5212基于量化的Cb的色相cbIdx以及Cr的色相crIdx,通过以下的算式,导出基于对象单位区域的色相的块索引blockIdx。
blockIdx=cbIdx*M+crIdx
在此,作为分M阶段地对Cb以及Cr的色相进行量化的方法,也可以使用具有M个索引(0,…M-1)的表chromaIdxTable[],进行如下导出。
cbIdx=chromaIdxTable[(Cb>>(bitDepthC-N))]
crIdx=chromaIdxTable[(Cr>>(bitDepthC-N))]
在该情况下,例如,当M=3,N=4时,要素数(1<<N)的表chromaIdxTable[]如下所述。
chromaIdxTable[]={0,0,0,0,0,0,1,1,1,1,1,2,2,2,2,2}
<图像编码装置的构成>
接着,对本实施方式的图像编码装置11的构成进行说明。图12是表示本实施方式的图像解码装置11的构成的概略图。图像编码装置11构成为包含预测图像生成部101、减法部102、DCT/量化部103、熵编码部104、逆量化/逆DCT部105、加法部106、预测参数存储器108、参考图片存储器109、编码参数确定部110、预测参数编码部111、去块滤波器114、取样自适应偏移部115、以及ALF116。预测参数编码部111构成为包含帧间预测参数编码部112以及帧内预测参数编码部113。
预测图像生成部101针对从外部输入的图像T,按将作为LCU的末端节点的CU分割的PU生成预测图像。在此,预测图像生成部101基于从预测参数编码部111输入的预测参数,从参考图片存储器109中读出参考图片。从预测参数编码部111输入的预测参数例如是运动矢量。预测图像生成部101PU为起点,读出位于参考图片上的运动矢量所表示的位置的块。预测图像生成部101针对读出的块,使用多个预测方式中的一个预测方式,生成PU的预测图像。预测图像生成部101将生成的PU的预测图像输出至减法部102。需要说明的是,预测图像生成部101是与已经说明的预测图像生成部308相同的动作,因此省略PU的预测图像的生成的详细内容。
预测图像生成部101为了选择预测方式,例如选择使误差值为最小的预测方式,所述误差值基于图像T中所包含的PU的图像值与PU的预测图像的像素值的差分。选择预测方式的方法并不限定于此。
多个预测方式是帧内预测、运动预测以及合并预测。运动预测是指上述的帧间预测中时间方向的图片间的预测。合并预测是指使用已经编码且与位于从编码对象CU起预定的范围内的CU相同的参考图片以及运动矢量的预测。
预测图像生成部101在选择了帧内预测的情况下,将表示生成PU的预测图像时使用的帧内预测模式的预测模式IntrapredMode输出至预测参数编码部111。
预测图像生成部101在选择了运动预测的情况下,将生成PU的预测图像时使用的运动矢量mvLX存储于预测参数存储器108,并输出至帧间预测参数编码部112。运动矢量mvLX示出从PU的位置至生成PU的预测图像时参考的参考图片上的块的位置为止的位移。表示运动矢量mvLX的信息中,包含表示参考图片的信息(例如,参考图片索引refIdxLX、图片顺序编号POC)。此外,预测图像生成部101将表示帧间预测模式的预测模式predMode输出至预测参数编码部111。
预测图像生成部101在选择了合并预测的情况下,将表示所选择的合并候选的种类的合并索引merge_idx输出至帧间预测参数编码部112。
减法部102从自外部输入的图像T的像素值减去从预测图像生成部101输入的PU的预测图像的信号值,生成残差信号。减法部102将生成的残差信号输出至DCT/量化部103和编码参数确定部110。
DCT/量化部103对从减法部102输入的残差信号进行DCT,计算出DCT系数。DCT/量化部103对计算出的DCT系数进行量化,求出量化系数。DCT/量化部103将求出的量化系数输出至熵编码部104以及逆量化/逆DCT部105。
熵编码部104中,从DCT/量化部103输入有量化系数,从编码参数确定部110输入有编码参数。所输入的编码参数中,例如有参考图片索引refIdxLX、预测矢量索引mvp_LX_idx、差分矢量mvdLX、预测模式predMode、以及合并索引merge_idx等。
熵编码部104对输入的量化系数和编码参数进行熵编码从而生成编码流Te,并将生成的编码流Te输出至外部。
逆量化/逆DCT部105对从DCT/量化部103输入的量化系数进行逆量化,求出DCT系数。逆量化/逆DCT部105对求出的DCT系数进行逆DCT,计算出解码残差信号。逆量化/逆DCT部105将计算出的解码残差信号输出至加法部106。
加法部106按像素将从预测图像生成部101输入的PU的预测图像与从逆量化/逆DCT部105输入的解码残差相加,生成解码图像。加法部106将生成的解码图像存储于参考图片存储器109。
预测参数存储器108将预测参数编码部110所生成的预测参数按编码对象的图片以及CU存储于预定的位置。
参考图片存储器109将加法部106所生成的解码图像按编码对象的图片以及CU存储于预定的位置。
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是上述的预测参数、与该预测参数相关连而生成的成为编码的对象的参数。预测图像生成部101分别使用这些编码参数的集合来生成PU的预测图像。
编码参数确定部110对多个集合的每一个集合计算出信息量的大小和指示编码误差的成本值。成本值例如是代码量与平方误差乘以系数λ而得的值之和。代码量是对量化误差和编码参数进行熵编码而得到的编码流Te的信息量。平方误差是图像T与储存于参考图片存储器109的解码图像的每个像素的平方和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值成为最小的编码参数的集合。由此,熵编码部104将所选择的编码参数的集合作为编码流Te输出至外部,而不输出未被选择的编码参数的集合。
成预测图像时所用的预测参数,并对导出的预测参数进行编码,生成编码参数的集合。预测参数编码部111将所生成的编码参数的集合输出至熵编码部104。
帧间预测参数编码部112对从编码参数确定部110输入的预测参数进行编码。
帧内预测参数编码部113将从编码参数确定部110输入的帧内预测模式IntrapredMode确定为帧间预测参数的集合。
需要说明的是,去块滤波器114以及取样自适应偏移部115是分别与上述的去块滤波器313以及取样自适应偏移部314相同的构成,因此在此省略说明。
图13是表示ALF116的构成的框图。如图13所示,ALF116具备滤波系数计算部1161以及ALF部1162。
ALF116以图像T(orgPicture)和ALF前解码图像recPicture为输入,输出滤波后解码图像alfPicutre。
滤波系数计算部1161以图像orgPicture和ALF前解码图像recPicture为输入,将ALF滤波系数alf_filt_coeff[][]以及滤波索引表filtIdxTable[]输出至ALF部1162以及未图示的熵符号部。
更具体而言,滤波系数计算部1161实施以下的处理。
(步骤1)
滤波系数计算部1161通过与块分类部521相同的方法导出ALF前解码图像recPicture中所包含的各对象单位区域的块索引。
(步骤2)
滤波系数计算部1161按对象单位区域的分类导出与图像orgPicture的误差为最小的那样的滤波系数。需要说明的是,滤波系数的导出可以使用最小二乘法。
(步骤3)
滤波系数计算部1161导出滤波索引表filtIdxTable[]。基本上,以返回与自变量(块索引blockIdx)相同的值的方式导出滤波索引表filtIdxTable[]。不过,在存在相同的滤波系数的情况下,相对于与其滤波系数对应的块索引blockIdx,以返回相同的值的方式导出滤波索引表filtIdxTable[]。由此,无需对滤波系数进行冗长的编码。
(步骤4)
滤波系数计算部1161将导出的ALF滤波系数alf_filt_coeff[][]以及滤波索引表filtIdxTable[]输出至ALF部1162以及熵符号部。
ALF部1162的块分类部1163、滤波系数设定部1164、以及滤波处理部1165是与ALF部52的块分类部521、滤波系数设定部524、以及滤波处理部525相同的构成,因此在此省略说明。
〔第二实施方式〕
在本实施方式中,为了在ALF前解码图像recPicture的各对象单位区域中实现不同导出方法的块索引的导出,而导入了类别索引category_idx。具体而言,在编码数据Te的切片头SH中所包含的ALF参数ALFP中,含有指示各对象单位区域的块索引blockIdx的导出方法的类别索引category_idx。此外,在ALF参数ALFP包含与类别索引category_idx以及块索引blockIdx对应的滤波索引表filtIdxTable[][]。
图14是表示本实施方式的图像解码装置所具备的ALF315C的构成的框图。在图14中,对图7追加类别索引解码部514(分类索引确定部)。在类别索引解码部514,对类别索引category_idx进行解码。块索引导出部5212使用导出的类别索引category_idx所指示的导出方法,导出对象单位区域的块索引blockIdx。
(图像解码处理)
以下,针对本实施方式中进行的图像解码处理,列举出具体示例,根据图15进行说明。图15是导出类别索引至将滤波系数供给至滤波处理部525的处理的流程图,在本示例中,具有两个类别索引category_idx(0,1)。需要说明的是,本实施方式中进行的图像解码处理的具体示例并不限定于此。
首先,类别索引解码部514基于编码数据Te中所包含的ALF参数ALFP,对对象单位区域的类别索引category_idx进行解码(S11)。
在导出的类别索引category_idx为0的情况(S12,Yes)下,块分类部521基于类别索引category_idx为0的情况下的导出方法,导出块索引blockIdx(S13)。例如,使用第一实施方式的方法,基于对象单位区域的方向、活性度、以及像素值信息,导出块索引blockIdx。
另一方面,在导出的类别索引category_idx为1的情况(S12,No)下,块分类部521基于类别索引category_idx为1的情况下的导出方法,导出块索引blockIdx(S14)。例如,导出基于对象单位区域内中的对象块的坐标(例如,块的左上坐标)的块索引blockIdx。具体而言,在将ALF前解码图像recPicture分割为M×N个区域的情况下,块分类部521通过以下的算式,根据块的左上的像素(x,y)位于哪个区域,导出块索引blockIdx。
blockIdx=((x*M)/picWidth)*N+((y*N)/picHeight)在此,picWidth是ALF前解码图像recPicture的宽度,picHeight是ALF前解码图像recPicture的高度。
或者,也可以利用移位运算,块分类部521通过以下的算式,根据对象块的左上坐标(x,y)的位置,导出块索引blockIdx。
blockIdx=((x*M)>>Ceil(log2(picWidth)))<<log2(N)+(y*N)>>Ceil(log2(picHeight))
在此,Ceil是输出将小数点以后舍去后的整数的函数。
滤波系数设定部524从过滤表解码部515读出滤波索引表filtIdxTabl[][],参照类别索引category_idx和块索引blockIdx,导出滤波索引fltIdx(S15)。
fltIdx=filtIdxTabl[category_idx][blockIdx]
然后,滤波系数设定部524将与导出的滤波索引fltIdx对应的滤波系数alf_filt_coeff[fltIdx][]供给至滤波处理部525(S16)。
滤波处理部525对对象单位区域内的各像素,实施使用了从滤波系数设定部524供给的滤波系数alf_filt_coeff[fltIdx][]的滤波处理。由此,滤波处理部525生成对象单位区域中的ALF后解码图像alfPicture。
通过根据以上的构成,导出各对象单位区域的类别索引,能实现ALF前解码图像recPicture的各对象单位区域中由不同导出方法进行的块索引的导出。
需要说明的是,也可以按类别索引category_idx变更从块索引blockIdx导出滤波索引fltIdx的表fltIdxTable[][]。即,在类别索引category_idx=0中,也可以使用fltIdxTable[],在类别索引category_idx=1中,也可以使用fltIdxTable1[]。
(块索引的导出处理例)
以下,对导出滤波系数设定部524的滤波索引fltIdx的其他处理例进行说明。
首先,块参数导出部5211基于编码数据Te中所包含的ALF参数ALFP,导出对象单位区域的类别索引category_idx。
在导出的类别索引category_idx为0的情况下,块参数导出部5211从0,…M1-1的块索引中导出基于对象单位区域的方向、活性度、以及像素值信息的块索引blockIdx。
另一方面,在导出的类别索引category_idx为1的情况下,块参数导出部5211从0,…M2-1中导出与对象单位区域的位置对应的块索引blockIdx。此时,块参数导出部5211使导出的块索引blockIdx加上规定的偏移值(本示例中为M1),导出为M1,…M2-1+M1的块索引blockIdx。
规定的偏移值是基于类别索引category_idx的偏移值,是在类别索引category_idx的分类数为L的情况下,类别索引category_idx为N(N<=L)的情况下,1至N-1的各类别索引category_idx中的块索引blockIdx的分类数的和。因此,在本示例中(在category_idx为1的情况下),偏移值是类别索引category_idx为0的情况下的块索引blockIdx的分类数。
由此,在块索引blockIdx的0~M1-1中,类别索引category_idx分配至0,在块索引blockIdx的M1~M2-1+M1中,类别索引category_idx分配至1。因此,通过两个类别索引category_idx,块索引blockIdx成为序号,因此能将表示该块索引blockIdx与滤波索引fltIdx的对应关系的滤波索引表filtIdxTable[]设为一个。即,无需在ALF参数ALFP包含按类别索引category_idx的滤波索引表filtIdxTable[]。
<图像编码装置的构成>
图16示出了本实施方式的编码装置中所包含的ALF116C。如图16所示,ALF116C具备滤波系数计算部1161C以及ALF部1162C。
滤波系数计算部1161C以图像T(orgPicture)和ALF前解码图像recPicture为输入,将ALF滤波系数alf_filt_coeff[][]、滤波索引表filtIdxTable[][]、以及类别索引category_idx输出至ALF部1162C以及未图示的熵符号部。
更具体而言,滤波系数计算部1161C实施以下的处理。
(步骤1)
滤波系数计算部1161C将类别索引category_idx的编号i设定为0。
(步骤2)
滤波系数计算部1161C在类别索引category_idx与i的情况对应的分类方法中,导出ALF前解码图像recPicture中所包含的各对象单位区域的块索引blockIdx。
(步骤3)
滤波系数计算部1161C按对象单位区域的分类导出与图像orgPicture的误差为最小的滤波系数。需要说明的是,滤波系数的导出可以使用最小二乘法。
(步骤4)
滤波系数计算部1161C导出滤波索引表filtIdxTable[i][]。基本上,以返回与自变量(块索引blockIdx)相同的值的方式导出滤波索引表filtIdxTable[i][]。不过,在多个块索引blockIdx表示相同的滤波系数的情况下,滤波索引表filtIdxTable[i][]对多个块索引blockIdx返回相同值。
(步骤5)
滤波系数计算部1161C使i加上1,在i<=1的情况下,返回步骤2。在i=2的情况下,进入步骤6。
(步骤6)
滤波系数计算部1161C计算每个i的编码成本。需要说明的是,可以在编码成本的计算中使用速率失真函数(Rate-Distortion function)。
(步骤7)
滤波系数计算部1161C将编码成本为最小的与i对应的滤波系数alf_filt_coeff[][]、滤波索引表filtIdxTable[]、以及类别索引category_idx输出至ALF部1162C以及熵符号部。
ALF部1162C的块分类部1163C、滤波系数设定部1164C、以及滤波处理部1165C是与ALF部52C的块分类部521、滤波系数设定部524、以及滤波处理部525相同的构成,因此在此省略说明。
〔第三实施方式〕
在本实施方式中,对通过由LCU单位而不是切片单位对滤波系数进行编码以及解码来达到滤波处理的性能的提高的技术进行说明。在该情况下,为了防止滤波系数的代码量增加,设置了储存所使用的滤波系数储存的缓冲器,在某LCU使用的滤波被储存于缓冲器内的情况下,通过对表示缓冲器内的滤波系数的位置的信息而非滤波系数进行编码来抑制滤波系数的代码量增加。
图17示出了缓冲器的示意图。在缓冲器已满的情况下,如图17所示,丢弃首先储存的滤波系数,将新的滤波系数储存于缓冲器。但是,在上述的构成中,是丢弃最先储存的滤波系数的构成,因此可能会也会丢弃具有与对象单位区域类似的特征的对象单位区域中利用的滤波系数。特别是,位于对象单位区域的上侧的对象单位区域中利用的滤波系数也被丢弃。
因此,在本实施方式中,在缓冲器中基于各对象单位区域的类别索引category_idx的类别的区域中,写入滤波系数。图18是表示本实施方式的图像编码装置所具备的ALF315D的构成的框图。在图18中,对图7追加滤波系数预测部511、滤波系数缓冲器513、以及复制信息解码部516,且设有类别导出部528(类别索引导出部)来代替块分类部521。
复制信息解码部516基于编码数据Te中所包含的ALF参数ALFP,对指示是否参考储存于滤波系数缓冲器513内的ALF滤波系数的标志copy_flag进行解码。复制信息解码部516在标志copy_flag为1的情况下,基于ALF参数ALFP,对指定储存于滤波系数缓冲器513内的滤波系数alf_filt_coeff[]的索引copy_id进行解码。
滤波系数解码部512对ALFP中所包含的滤波系数alf_filt_coeff[]进行解码。解码后的滤波系数alf_filt_coeff[]被供给至滤波系数设定部524。
类别导出部528使用对象单位区域的块参数(方向、活性度、像素信息等像素值),导出该对象单位区域的类别索引。导出方法的详细内容将在下文加以记述。需要说明的是,在以后的说明中,对使用LCU作为对象单位区域的情况进行说明,但是本实施方式中的对象单位区域并不限于此。
滤波系数设定部524在复制信息解码部516所解码得到的标志copy_flag为1的情况下,从滤波系数缓冲器513读出通过复制信息解码部516解码后得到的索引copy_id和类别导出部528所导出的类别索引category_idx指定的滤波系数fltCoeffBuf[category_idx][copy_id][],并代入滤波系数alf_filt_coeff[]。滤波系数alf_filt_coeff[]被供给至滤波处理部525。
另一方面,在复制信息解码部516解码后得到的标志copy_flag为0的情况下,滤波系数设定部524将通过滤波系数解码部512解码后得到的alf_filt_coeff[]供给至滤波处理部525,并且参考类别导出部528所导出的类别索引category_idx,储存于滤波系数缓冲器513。
图17是表示本实施方式的滤波系数缓冲器513的示意图。如图17所示,滤波系数缓冲器513(滤波系数储存部)是按类别索引category_idx管理以及储存滤波系数的缓冲器。当通过滤波系数解码部512解码新的滤波系数时,滤波系数设定部524将滤波系数写入中通过类别导出部528导出的类别索引category_idx所示的类别的区域中。当类别索引category_idx所示的类别的区域已满时,丢弃最先写入该类别的区域中的滤波系数,写入新的滤波系数。缓冲器管理的详细内容将在下文加以记述。
(图像解码处理)
以下,列举出具体示例,根据图20对本实施方式中进行的滤波处理进行说明。图20是从导出类别索引到将滤波系数储存至滤波系数缓冲器的处理的流程图。需要说明的是,本实施方式中进行的图像解码处理的具体示例并不限定于此。
首先,类别导出部528导出与对象单位区域的对象LCU中的ALF前解码图像recPicture的块参数对应的类别索引category_idx(S21)。需要说明的是,导出类别索引的方法与上述的第一实施方式以及第二实施方式中的块索引的导出方法除了对象单位区域不同的(在此为LCU)方面以外,其他相同。
复制信息解码部516基于编码数据Te中所包含的ALF参数ALFP,对指示是否参考储存于滤波系数缓冲器513内的ALF滤波系数的标志copy_flag进行解码(S22)。复制信息解码部516在标志copy_flag为1的情况(S23,Yes)下,基于ALF参数ALFP,对指定所参考的滤波系数的索引copy_id进行解码(S24)。
滤波系数设定部524在复制信息解码部516解码后得到的标志copy_flag为1的情况下,从滤波系数缓冲器513的缓冲器中与类别导出部528所导出的类别索引category_idx对应的缓冲器,读出通过复制信息解码部516解码后得到的索引copy_id而指定的滤波系数,并代入滤波系数alf_filt_coeff[](S25)
alf_filt_coeff[]=fltCoeffBuf[category_idx][copy_id][]然后,滤波系数设定部524将滤波系数alf_filt_coeff[]供给至滤波处理部525(S26)。
另一方面,在复制信息解码部516解码后得到的标志copy_flag为0的情况(S23,No)下,滤波系数解码部512根据ALF参数ALFP对滤波系数alf_filt_coeff[]进行解码(S27)。然后,滤波系数设定部524将滤波系数alf_filt_coeff[]供给至滤波处理部525(S28)。
滤波系数设定部524将滤波系数alf_filt_coeff[]储存于滤波系数缓冲器513的缓冲器中与类别导出部528所导出的类别索引category_idx对应的缓冲器(S29)。
需要说明的是,滤波处理部525对对象LCU内的各像素实施使用了滤波系数alf_filt_coeff[]的滤波处理。由此,滤波处理部525生成对象LCU中的ALF后解码图像alfPicture。
根据以上的构成,按与各对象单位区域的类别索引对应的缓冲器进行滤波系数的更新。因此,通过缓冲器内的滤波系数的参考频度较低的类别的滤波系数的储存,能避免缓冲器内的滤波系数的参考频度较高的类别的滤波系数被丢弃。因此,提高了缓冲器内的滤波系数的参考频度较高的类别的滤波系数残存于缓冲器内的可能性。
(类别索引的导出处理例)
以下,对导出类别索引的处理例进行说明。
在类别导出部528中,类别索引导出方法与上述的块参数导出部5211的块索引导出方法相同。例如,在块参数为平均亮度值的情况下,基于LCU的平均亮度值avgLuma,将滤波系数分类为M0个类别。以下示出类别索引的导出方法。
category_idx=avgLuma>>(bitDepth-m0)
在此,m0=log2(M0)。
在滤波系数设定部524中,在具有类别索引的数量的缓冲器的滤波系数缓冲器513中的通过类别索引category_idx指定的缓冲器,储存由滤波系数解码部512解码后得到的滤波系数。此外,从滤波系数缓冲器513中的由类别索引category_idx指定的缓冲器读出第copy_id个索引的滤波系数fitCoeffBuf[category_idx][copy_id][]。
作为类别索引的其他导出方法,例如,在将对象单位区域设为整个画面且将画面在水平方向分割为N0个区域的情况下,类别导出部528通过以下的算式,导出类别索引category_idx。
category_idx=(x*N0)/picWidth
在此,x是在水平方向分割的区域的左端的x坐标。
或者,类别导出部528也可以利用移位运算,通过以下的算式,导出类别索引category_idx。
category_idx=x>>(Ceil(log2(picWidth))>>n0)
在此,n0=log2(N0)。
(滤波系数预测残差)
在之前的示例中,对ALF处理中所使用的滤波系数自身进行编码,但是本发明的一个方案并不一定限定于此。以下,对与储存于滤波系数缓冲器513的滤波系数的差分值进行编码的示例进行说明。在该情况下,与对滤波系数自身进行编码的情况相比,能抑制代码量的增加。
在本实施方式中,ALF参数ALFP中包含从储存于滤波系数缓冲器513的滤波系数中指定用于预测值的滤波的预测索引pred_idx和滤波系数预测残差alf_filt_res[]。
滤波系数解码部512对滤波系数预测残差alf_filt_res[]和预测索引pred_idx进行解码。滤波系数解码部512将预测索引pred_idx供给至滤波系数设定部524,将滤波系数预测残差alf_filt_res[]供给至滤波系数预测部511。
滤波系数设定部524使用预测索引pred_idx和类别导出部528所导出的类别索引category_idx,从储存于滤波系数缓冲器513的滤波系数中,选择用于预测值的滤波系数。滤波系数的预测值predAlfFiltCoeff[]如以下算式所示。
predAlfFiltCoeff[]=fltCoeffBuf[category_idx][pred_idx][]
滤波系数设定部524将预测值predAlfFiltCoeff[]供给至滤波系数预测部511。
滤波系数预测部511通过使滤波系数残差alf_filt_res[]和预测滤波系数predAlfFilt_Coeff[]相加,生成滤波系数alf_filt_coeff[]。生成的滤波系数alf_filt_coeff[]通过滤波系数解码部512被供给至滤波系数设定部524。
滤波系数设定部524将滤波系数alf_filt_coeff[]储存于滤波系数缓冲器513的缓冲器中与类别导出部528所导出的类别索引category_idx对应的缓冲器。
之后的处理与上述第一实施方式、第二实施方式以及上述块索引的导出处理例中的处理相同。
由此,通过由LCU单位对滤波系数进行编码,与按切片对滤波系数进行编码的情况相比,能提高ALF的精度,另一方面能抑制滤波系数的代码量的增加。
(FIFO构成)
滤波系数缓冲器513既可以是FIFO(First In First Out:先入先出)缓冲器,也可以是环形缓冲器。
以下,对滤波系数缓冲器513为FIFO缓冲器的情况下的滤波系数的储存方法进行说明。
首先,类别导出部528导出对象单位区域的对象LCU中与针对ALF前解码图像recPicture的块参数对应的类别索引category_idx。具体而言,类别导出部528通过以下的算式,导出分M0阶段地对块参数进行量化的类别索引category_idx。
category_idx=块参数>>(log2(Range)-log2(M0))
在此,Range是块参数的区间(0,…Range-1)。
滤波系数设定部524在复制信息解码部516解码后得到的标志copy_flag为1的情况下,从滤波系数缓冲器513的缓冲器fltCoeffBuf中与类别导出部528所导出的类别索引category_idx对应的缓冲器,读出通过复制信息解码部516解码后得到的索引copy_id指定的滤波系数,并代入滤波系数alf_filt_coeff[]。
alt_filt_coeff[i]=fltCoeffBuf[category_idx][copy_id][i](i=0,…NTAP-1)
在此,NTAP是抽头数。
然后,滤波系数设定部524将滤波系数alf_filt_coeff[]供给至滤波处理部525。
另一方面,在复制信息解码部516解码后得到的标志copy_flag为0的情况(S23,No)下,滤波系数解码部512根据ALF参数ALFP对滤波系数alf_filt_coeff[]进行解码。然后,滤波系数设定部524将滤波系数alf_filt_coeff[]供给至滤波处理部525。
滤波系数设定部524对滤波系数缓冲器513内的滤波系数进行更新。具体而言,首先,滤波系数设定部524使滤波系数缓冲器513的缓冲器fltCoeffBuf中与类别导出部528所导出的类别索引category_idx对应的缓冲器内的滤波系数逐个地向后方错开。
fltCoeffBuf[category_idx][j+1][i]=fltCoeffBuf[category_idx][j][i](i=0,…NTAP-1)
在此,j=缓冲器尺寸bufSize-2;j>=0;j--,缓冲器尺寸bufSize的单位是滤波系数alf_filt_coeff[]。
此外,滤波系数设定部524将滤波系数alf_filt_coeff[]储存于滤波系数缓冲器513的缓冲器fltCoeffBuf中与类别导出部528所导出的类别索引category_idx对应的缓冲器的起点。
fltCoeffBuf[category_idx][0][i]=alf_filt_coeff[i](i=0,…NTAP-1)
(环形缓冲器构成)
接着,对滤波系数缓冲器513为环形缓冲器的情况下的滤波系数的储存方法进行说明。
首先,类别导出部528导出对象单位区域的对象LCU中与针对ALF前解码图像recPicture的块参数对应的类别索引category_idx。具体而言,类别导出部528通过以下的算式,导出分M0阶段地对块参数进行量化的类别索引category_idx。
category_idx=块参数>>(log2(Range)-log2(M0))
在此,Range是块参数的区间(0,…Range-1)。
滤波系数设定部524在复制信息解码部516解码后得到的标志copy_flag为1的情况下,导出滤波系数缓冲器513的缓冲器fltCoeffBuf中与类别导出部528所导出的类别索引category_idx对应的缓冲器中的,通过复制信息解码部516解码后得到的索引copy_id而指定的滤波系数的读取位置readPos。
readPos=(readPos-copy_id)&(bufSize-1)
滤波系数设定部524从滤波系数缓冲器513的缓冲器fltCoeffBuf中与类别导出部528所导出的类别索引category_idx对应的缓冲器,读出读取位置readPos处的滤波系数,并代入滤波系数alf_filt_coeff[]。
alt_filt_coeff[i]=fltCoeffBuf[category_idx][readPos][i](i=0,…NTAP-1)
另一方面,在复制信息解码部516解码后得到的标志copy_flag为0的情况(S23,No)下,滤波系数解码部512根据ALF参数ALFP对滤波系数alf_filt_coeff[]进行解码。然后,滤波系数设定部524将滤波系数alf_filt_coeff[]供给至滤波处理部525。
滤波系数设定部524对滤波系数缓冲器513内的滤波系数进行更新。具体而言,首先,滤波系数设定部524对滤波系数缓冲器513的缓冲器fltCoeffBuf中与类别导出部528所导出的类别索引category_idx对应的缓冲器的写入位置writePos进行更新。
writePos=(writePos+1)&(bufSize-1)
此外,滤波系数设定部524将滤波系数alf_filt_coeff[]储存于滤波系数缓冲器513的缓冲器fltCoeffBuf中与类别导出部528所导出的类别索引category_idx对应的缓冲器的当前位置writePos。
fltCoeffBuf[category_idx][writePos][i]=alf_filt_coeff[i](i=0,…NTAP-1)
<图像编码装置的构成>
图21示出了本实施方式的编码装置中所包含的ALF116D。如图21所示,ALF116D具备滤波系数计算部1161D、ALF部1162D、滤波系数预测部1166D、以及滤波系数缓冲器1167D。
滤波系数计算部1161D将图像T(orgPicture)和ALF前解码图像recPicture作为输入,将ALF滤波系数alf_filt_coeff[][]以及滤波索引表filtIdxTable[]、标志copy_flag、以及索引copy_id输出至ALF部1162D以及未图示的熵符号部。
更具体而言,滤波系数计算部1161D实施以下的处理。
(步骤1)
滤波系数计算部1161D按对象单位区域导出与图像orgPicture的误差为最小的那样的滤波系数。需要说明的是,滤波系数的导出可以使用最小二乘法。
(步骤2)
滤波系数计算部1161D计算编码成本。需要说明的是,可以在编码成本的计算中使用速率失真函数(Rate-Distortion function)。
(步骤3)
滤波系数计算部1161D导出与针对对象单位区域的对象LCU的块参数对应的类别索引category_idx。
(步骤4)
滤波系数计算部1161D读出通过类别索引category_idx指定的多个滤波系数fltCoeffBuf[category_idx][][],分别计算出将各滤波系数应用于对象单位区域的情况下的编码成本。
(步骤5)
滤波系数计算部1161D比较在步骤2、4中计算出的编码成本。
(步骤5-1)
在步骤2中计算出的编码成本为最小的情况下,滤波系数计算部1161D将标志copy_flag设定为0,将滤波系数alf_filt_coeff[]输出至滤波系数缓冲器1167D(fltCoeffBuf[category_idx][][])。
(步骤5-2)
在步骤4中计算出的编码成本的任一者为最小的情况下,滤波系数计算部1161D将标志copy_flag设定为1,将索引copy_id设定为指示滤波系数缓冲器1167D内的对应的滤波系数的索引。
(步骤6)
滤波系数计算部1161D将滤波系数alf_filt_coeff[]、标志copy_flag、以及索引copy_id输出至ALF部1162D以及熵符号部。
ALF部1162D的类别导出部1163D、滤波系数设定部1164D、以及滤波处理部1165D和滤波系数预测部1166D、以及滤波系数缓冲器1167D是与ALF部52D的类别导出部528、滤波系数设定部524、以及滤波处理部525和滤波系数预测部511、以及滤波系数缓冲器513相同的构成,因此在此省略说明。
以上,参考附图对该发明的一个实施方式进行了详细说明,但具体构成并不限定于上述,在不脱离该发明的一个实施方式的主旨的范围内,可以进行各种设计变更等。
〔应用例〕
上述图像编码装置11以及图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置来利用。需要说明的是,运动图像可以是通过摄像机等拍摄的自然运动图像,也可以是通过计算机等生成的人工运动图像(包含CG以及GUI)。
首先,参照图22,对能够将上述的图像编码装置11以及图像解码装置31利用于运动图像的发送以及接收的情况进行说明。
图22(a)是表示搭载有图像编码装置11的发送装置PROD_A的构成的框图。如图22(a)所示,发送装置PROD_A具备:通过对运动图像进行编码来得到编码数据的编码部PROD_A1、通过用编码部PROD_A1所得到的编码数据对载波进行调制来得到调制信号的调制部PROD_A2、以及发送调制部PROD_A2得到的调制信号的发送部PROD_A3。上述的图像编码装置11被作为该编码部PROD_A1来使用。
作为输入至编码部PROD_A1的运动图像的供给源,发送装置PROD_A也可以进一步具备:拍摄运动图像的摄像机PROD_A4、记录运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6、以及生成或加工图像的图像处理部A7。在图22(a)中举例示出了发送装置PROD_A全部具备它们的构成,但也可以省略一部分。
需要说明的是,记录介质PROD_A5可以是记录未被编码的运动图像的介质,也可以是记录以与传输用的编码方式不同的记录用的编码方式编码的运动图像的介质。在后者的情况下,使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。
图22(b)是表示搭载有图像解码装置31的接收装置PROD_B的构成的框图。如图22(b)所示,接收装置PROD_B具备:接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收的调制信号进行解调而得到编码数据的解调部PROD_B2、以及通过对解调部PROD_B2得到的编码数据进行解码来得到运动图像的解码部PROD_B3。上述的图像解码装置31被作为该解码部PROD_B3来使用。
作为解码部PROD_B3所输出的运动图像的供给目的地,接收装置PROD_B还可以具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5、以及用于将运动图像输出至外部的输出端子PROD_B6。图22(b)中举例示出了接收装置PROD_B全部具备它们的构成,但也可以省略一部分。
需要说明的是,记录介质PROD_B5可以是用于记录未被编码的运动图像的介质,也可以是以与传输用的编码方式不同的记录用的编码方式来进行编码的介质。在后者的情况下,使按照记录用的编码方式对从解码部PROD_B3取得的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。
需要说明的是,传输调制信号的传输介质可以是无线,也可以是有线。此外,传输调制信号的传输方案可以是广播(在此,指发送目的地未预先确定的发送模式),也可以是通信(在此,指发送目的地已预先确定的发送模式)。即,调制信号的传输可以通过无线广播、有线广播、无线通信、以及有线通信的任一个来实现。
例如,地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播来收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外,有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播来收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。
此外,使用互联网的VOD(Video On Demand:视频点播)服务、运动图像共享服务等服务器(work station:工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信来收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常,在LAN中使用无线或有线的任一个来做为传输介质,在WAN中使用有线来做为传输介质)。在此,个人计算机包含台式PC、膝上型PC、以及平板型PC。此外,智能手机也包含多功能便携电话终端。
需要说明的是,运动图像共享服务的客户端除了将从服务器下载的编码数据解码并显示在显示器的功能以外,还具有对由摄像机拍摄的运动图像进行编码并上传至服务器的功能。即,运动图像共享服务的客户端发挥发送装置PROD_A以及接收装置PROD_B这两方的功能。
接着,参照图23,对能够将上述的图像编码装置11以及图像解码装置31利用于运动图像的记录以及再现的情况进行说明。
图23(a)是表示搭载有上述的图像编码装置11的记录装置PROD_C的构成的框图。如图23(a)所示,记录装置PROD_C具备:通过对运动图像进行编码而得到编码数据的编码部PROD_C1、以及将编码部PROD_C1得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的图像编码装置11被作为该编码部PROD_C1来使用。
需要说明的是,记录介质PROD_M可以是(1)像HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid State Drive:固态驱动机)等那样内置于记录装置PROD_C的类型的记录介质,也可以是(2)像SD存储卡、USB(Universal Serial Bus:通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质,也可以是(3)像DVD(Digital Versatile Disc:数字化通用磁盘)、BD(Blu-ray Disc:注册商标)等那样装在内置于记录装置PROD_C的驱动装置(未图示)的类型的记录介质。
此外,作为输入至编码部PROD_C1的运动图像的供给源,记录装置PROD_C也可以进一步具备:拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5、以及生成或加工图像的图像处理部C6。图23(a)中举例示出了记录装置PROD_C全部具备它们的构成,但也可以省略一部分。
需要说明的是,接收部PROD_C5可以接收未被编码的运动图像,也可以接收以与记录用的编码方式不同的传输用的编码方式进行编码的编码数据。在后者的情况下,使对以传输用的编码方式编码的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。
作为这种记录装置PROD_C,例如可举出:DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(该情况下,输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外,便携式摄像机(该情况下,摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(该情况下,接收部PROD_C5或图像处理部C6为运动图像的主要的供给源)、智能手机(该情况下,摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。
图23(b)是表示搭载有上述的图像解码装置31的再现装置PROD_D的构成的框图。如图23(b)所示,再现装置PROD_D具备:读出已写入记录介质PROD_M的编码数据的读出部PROD_D1、以及通过对读出部PROD_D1所读出的编码数据进行解码来得到运动图像的解码部PROD_D2。上述的图像解码装置31被作为该解码部PROD_D2来使用。
需要说明的是,记录介质PROD_M可以是(1)像HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质,也可以是(2)像SD存储卡、USB闪存等那样与再现装置PROD_D连接的类型的记录介质,也可以是(3)像DVD、BD等那样装在内置于再现装置PROD_D的驱动装置(未图示)的类型的记录介质。
此外,作为解码部PROD_D2所输出的运动图像的供给目的地,再现装置PROD_D也可以进一步具备显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4、以及发送运动图像的发送部PROD_D5。图23(b)中举例示出了再现装置PROD_D全部具备它们的构成,但也可以省略一部分。
需要说明的是,发送部PROD_D5可以发送未被编码的运动图像,也可以发送以与记录用的编码方式不同的传输用的编码方式来进行编码的编码数据。在后者的情况下,使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。
作为这种再现装置PROD_D,例如可列举出DVD播放器、BD播放器、HDD播放器等(该情况下,连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外,电视接收机(该情况下,显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(该情况下,输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(该情况下,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(该情况下,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。
(硬件实现以及软件实现)
此外,上述的图像解码装置31以及图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路来硬件实现,也可以使用CPU(Central Processing Unit:中央处理器)来软件实现。
在后者的情况下,上述各装置具备:执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory:只读存储器)、部署上述程序的RAM(Random AccessMemory:随机存取存储器)、以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后,本发明的一个方案的目的通过以下方式也能够达到:将以计算机可读取的方式记录实现上述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置,此计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。
作为上述记录介质,例如可使用磁带、盒式磁带等带类,包含软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact DiscRead-Only Memory:光盘只读存储器)/MO盘(Magneto-Opticaldisc:磁光盘)/MD(Mini Disc:小型磁盘)/DVD(Digital Versatile Disc:数字化通用磁盘)/CD-R(CD Recordable:光盘刻录片)/蓝光盘(Blu-rayDisc:注册商标)等光盘的盘类,IC卡(包含存储卡)/光卡等卡类,掩膜ROM/EPROM(Erasable Programmable Read-Only Memory:可擦可编程只读存储器)/EEPROM(ElectricallyErasableandProgrammableRead-OnlyMemory:电可擦可编程只读存储器,注册商标)/闪速ROM等半导体存储器类,或者PLD(Programmable logic device:可编程逻辑器件)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等逻辑电路类等。
此外,也可以将上述各装置构成为可与通信网络连接,经由通信网络供给上述程序代码。该通信网络能够传输程序代码即可,并无特别限定。例如,可利用互联网、内部网(intranet)、外部网(extranet)、LAN(Local Area Network:局域网)、ISDN(IntegratedServices Digital Network:综合业务数字网),VAN(Value-Added Network:增值网络)、CATV(Community Antenna television/Cable Television:社区天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外,构成该通信网络的传输介质也只要是可传输程序代码的介质即可,不限定于特定的构成或种类。例如,无论在IEEE(Institute of Electrical and Electronic Engineers:电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line:非对称数字用户线路)线路等有线中,还是在如IrDA(InfraredData Association:红外线数据协会)、遥控器那样的红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(High Data Rate:高数据速率)、NFC(Near Field Communication:近场通讯)、DLNA(Digital Living Network Alliance:数字生活网络联盟,注册商标)、便携电话网、卫星线路、地面波数字网等无线中都可利用。需要说明的是,本发明的一个方案即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。
本发明的一个方案并不限定于上述实施方式,能在权利要求所示的范围内进行各种变更。即,将在权利要求所示的范围内组合适当变更后的技术方案而得到的实施方式也包含在本发明的一个方案技术范围内。
(关联申请的交叉引用)
本申请基于2016年5月13日提出申请的日本专利申请:日本特愿2016-097457主张优先权的利益,并通过对其进行参照而将其全部内容包含到本说明书中。
附图标记说明
11 图像编码装置
52 ALF部
315 ALF
511 滤波系数预测部
512 滤波系数解码部
513 滤波系数缓冲器(滤波系数储存部)
514 类别索引解码部
515 过滤表解码部
516 复制信息解码部
521 块分类部
5211 块参数导出部
5212 块索引导出部
524 滤波系数设定部(滤波索引导出部)
525 滤波处理部
528 类别导出部
Claims (13)
1.一种图像解码装置,参考残差图像和预测图像来生成滤波前解码图像,并对上述滤波前解码图像应用环内滤波来生成解码图像,其特征在于,具备:
块索引导出部,参考对象单位区域中的上述滤波前解码图像的像素值来导出块索引;
滤波索引导出部,参考上述块索引来导出滤波索引;以及
滤波处理部,使用根据上述滤波索引确定的滤波系数,来对对象单位区域中的上述滤波前解码图像应用上述环内滤波。
2.根据权利要求1所述的图像解码装置,其特征在于,
上述块索引导出部根据上述滤波前解码图像中的上述单位区域内的亮度值的最大值以及最小值的至少任一者,来导出块索引。
3.根据权利要求1或2所述的图像解码装置,其特征在于,
上述块索引导出部根据上述滤波前解码图像中的上述单位区域内的亮度值的平均值来导出块索引。
4.根据权利要求1所述的图像解码装置,其特征在于,
上述块索引导出部根据上述滤波前解码图像中的上述单位区域内的亮度值的最大值以及最小值中与上述滤波前解码图像中的上述单位区域内的亮度值的平均值接近的值,来导出块索引。
5.根据权利要求2所述的图像解码装置,其特征在于,
上述块索引导出部参考上述滤波前解码图像中的上述单位区域内的亮度值的最大值与最小值的亮度差来导出块索引。
6.根据权利要求1至5中任一项所述的图像解码装置,其特征在于,
上述块索引导出部参考上述滤波前解码图像中的上述单位区域内的图像的方向性以及活性度的至少任一者来导出块索引。
7.根据权利要求1所述的图像解码装置,其特征在于,
上述块索引导出部参考上述滤波前解码图像中的有关对象像素群的水平方向的像素值变化量之和、有关对象像素群的垂直方向的像素值变化量之和、以及有关对象像素的斜向的像素值变化量,来导出块索引。
8.一种图像解码装置,参考残差图像和预测图像来生成滤波前解码图像,并对上述滤波前解码图像应用环内滤波来生成解码图像,其特征在于,具备:
分类索引确定部,按单位区域来确定指示块索引的导出方法的类别索引;
块索引导出部,根据上述类别索引所指示的导出方法来导出块索引;
滤波索引导出部,参考上述块索引来导出滤波索引;以及
滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述环内滤波。
9.根据权利要求8所述的图像解码装置,其特征在于,
上述块索引的导出方法中包含:
第一导出方法,根据对象单位区域中的上述滤波前解码图像的活性度以及方向性来导出块索引;以及
第二导出方法,根据对象像素属于分割上述滤波前解码图像的一画面而得到的部分区域的哪一个来导出块索引。
10.一种图像解码装置,参考残差图像和预测图像来生成滤波前解码图像,并对上述滤波前解码图像应用环内滤波来生成解码图像,其特征在于,具备:
类别索引导出部,按单位区域来导出类别索引;
滤波索引导出部,参考上述类别索引来导出滤波索引;
滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述环内滤波;以及
滤波系数储存部,根据上述类别索引,将滤波系数储存于多个缓冲器中的任一缓冲器。
11.一种图像编码装置,参考预测图像和预测残差来生成滤波前解码图像,并对上述滤波前解码图像应用环内滤波来生成解码图像,其特征在于,具备:
块索引导出部,参考对象单位区域中的上述滤波前解码图像的像素值来导出块索引;
滤波索引导出部,参考上述块索引来导出滤波索引;以及
滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述环内滤波。
12.一种图像编码装置,参考预测图像和预测残差来生成滤波前解码图像,并对上述滤波前解码图像应用环内滤波来生成解码图像,其特征在于,具备:
分类索引确定部,按单位区域来确定指示块索引的导出方法的类别索引;
块索引导出部,根据上述类别索引所指示的导出方法来导出块索引;
滤波索引导出部,参考上述块索引来导出滤波索引;以及
滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述环内滤波。
13.一种图像编码装置,参考预测图像和预测残差来生成滤波前解码图像,并对上述滤波前解码图像应用环内滤波来生成解码图像,其特征在于,具备:
类别索引导出部,按单位区域来导出类别索引;
滤波索引导出部,参考上述类别索引来导出滤波索引;
滤波处理部,使用根据上述滤波索引确定的滤波系数来对对象单位区域中的上述滤波前解码图像应用上述环内滤波;以及
滤波系数储存部,根据上述类别索引,将滤波系数储存于多个缓冲器中的任一缓冲器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016097457 | 2016-05-13 | ||
| JP2016-097457 | 2016-05-13 | ||
| PCT/JP2017/015414 WO2017195532A1 (ja) | 2016-05-13 | 2017-04-17 | 画像復号装置及び画像符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109076219A true CN109076219A (zh) | 2018-12-21 |
Family
ID=60266992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780029094.7A Pending CN109076219A (zh) | 2016-05-13 | 2017-04-17 | 图像解码装置以及图像编码装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20190297320A1 (zh) |
| EP (1) | EP3457690A4 (zh) |
| CN (1) | CN109076219A (zh) |
| WO (1) | WO2017195532A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109862374A (zh) * | 2019-01-07 | 2019-06-07 | 北京大学 | 一种自适应环路滤波方法及装置 |
| WO2020211809A1 (en) * | 2019-04-16 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | On adaptive loop filtering for video coding |
| WO2020258055A1 (zh) * | 2019-06-25 | 2020-12-30 | 北京大学 | 环路滤波的方法与装置 |
| CN113424543A (zh) * | 2019-02-01 | 2021-09-21 | 北京字节跳动网络技术有限公司 | 使用参数集信令通知环路整形信息 |
| RU2823558C2 (ru) * | 2019-05-04 | 2024-07-24 | Хуавэй Текнолоджиз Ко., Лтд. | Кодер, декодер и соответствующие способы с использованием адаптивного контурного фильтра |
| US12063362B2 (en) | 2019-03-23 | 2024-08-13 | Beijing Bytedance Network Technology Co., Ltd | Restrictions on adaptive-loop filtering parameter sets |
| US12212743B2 (en) | 2019-05-04 | 2025-01-28 | Huawei Technologies Co., Ltd. | Encoder, a decoder and corresponding methods using an adaptive loop filter |
| US12238305B2 (en) | 2019-03-14 | 2025-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Signaling and syntax for in-loop reshaping information |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3481064B1 (en) * | 2017-11-06 | 2021-07-21 | Dolby Laboratories Licensing Corporation | Adaptive loop filtering for high dynamic range video |
| US10728549B2 (en) | 2017-11-06 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Adaptive loop filtering for high-dynamic range video |
| US11418792B2 (en) * | 2020-03-27 | 2022-08-16 | Tencent America LLC | Estimating attributes for the classification of adaptive loop filtering based on projection-slice theorem |
| CN114339224B (zh) * | 2020-06-05 | 2022-12-23 | 杭州海康威视数字技术股份有限公司 | 图像增强方法、装置及机器可读存储介质 |
| CN114222119B (zh) * | 2020-09-15 | 2022-12-23 | 杭州海康威视数字技术股份有限公司 | 增强滤波方法、装置及机器可读存储介质 |
| WO2022074287A1 (en) * | 2020-10-06 | 2022-04-14 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| US20250358455A1 (en) * | 2024-05-20 | 2025-11-20 | Qualcomm Incorporated | Systems and methods of buffering image data between a pixel processor and an entropy coder |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090052798A1 (en) * | 2007-08-23 | 2009-02-26 | Samsung Electro-Mechanics Co., Ltd. | Method for eliminating noise from image generated by image sensor |
| US20090073306A1 (en) * | 2007-09-13 | 2009-03-19 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus for setting exposure time |
| US20120038694A1 (en) * | 2009-04-24 | 2012-02-16 | Hirokazu Nakanishi | Display device and display control method |
| CN102714732A (zh) * | 2010-01-12 | 2012-10-03 | 夏普株式会社 | 编码装置、解码装置及数据结构 |
| CN102792690A (zh) * | 2010-03-09 | 2012-11-21 | 汤姆森特许公司 | 基于分类环路滤波器的方法和装置 |
| CN102884791A (zh) * | 2010-04-09 | 2013-01-16 | 索尼公司 | 图像处理设备和方法 |
| JP2014197722A (ja) * | 2011-07-29 | 2014-10-16 | シャープ株式会社 | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
| US20150055702A1 (en) * | 2012-03-06 | 2015-02-26 | Lg Electronics Inc. | Method of processing video signals |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012049876A1 (ja) * | 2010-10-12 | 2012-04-19 | 株式会社 東芝 | 動画像符号化方法および復号方法 |
| WO2012137890A1 (ja) * | 2011-04-05 | 2012-10-11 | シャープ株式会社 | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
| WO2013030902A1 (ja) * | 2011-08-26 | 2013-03-07 | 株式会社 東芝 | 動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置 |
| WO2013105457A1 (ja) * | 2012-01-12 | 2013-07-18 | ソニー株式会社 | 画像処理装置および方法 |
| WO2013105458A1 (ja) * | 2012-01-12 | 2013-07-18 | ソニー株式会社 | 画像処理装置および方法 |
| JP2013187868A (ja) * | 2012-03-09 | 2013-09-19 | Sharp Corp | 画像復号装置、画像符号化装置、およびデータ構造 |
-
2017
- 2017-04-17 WO PCT/JP2017/015414 patent/WO2017195532A1/ja not_active Ceased
- 2017-04-17 US US16/301,154 patent/US20190297320A1/en not_active Abandoned
- 2017-04-17 CN CN201780029094.7A patent/CN109076219A/zh active Pending
- 2017-04-17 EP EP17795893.1A patent/EP3457690A4/en not_active Withdrawn
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090052798A1 (en) * | 2007-08-23 | 2009-02-26 | Samsung Electro-Mechanics Co., Ltd. | Method for eliminating noise from image generated by image sensor |
| US20090073306A1 (en) * | 2007-09-13 | 2009-03-19 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus for setting exposure time |
| US20120038694A1 (en) * | 2009-04-24 | 2012-02-16 | Hirokazu Nakanishi | Display device and display control method |
| CN102714732A (zh) * | 2010-01-12 | 2012-10-03 | 夏普株式会社 | 编码装置、解码装置及数据结构 |
| CN102792690A (zh) * | 2010-03-09 | 2012-11-21 | 汤姆森特许公司 | 基于分类环路滤波器的方法和装置 |
| CN102884791A (zh) * | 2010-04-09 | 2013-01-16 | 索尼公司 | 图像处理设备和方法 |
| JP2014197722A (ja) * | 2011-07-29 | 2014-10-16 | シャープ株式会社 | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 |
| US20150055702A1 (en) * | 2012-03-06 | 2015-02-26 | Lg Electronics Inc. | Method of processing video signals |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109862374A (zh) * | 2019-01-07 | 2019-06-07 | 北京大学 | 一种自适应环路滤波方法及装置 |
| CN113424543A (zh) * | 2019-02-01 | 2021-09-21 | 北京字节跳动网络技术有限公司 | 使用参数集信令通知环路整形信息 |
| CN113424543B (zh) * | 2019-02-01 | 2024-03-15 | 北京字节跳动网络技术有限公司 | 使用参数集信令通知环路整形信息 |
| US12096021B2 (en) | 2019-02-01 | 2024-09-17 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of in-loop reshaping information using parameter sets |
| US12238305B2 (en) | 2019-03-14 | 2025-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Signaling and syntax for in-loop reshaping information |
| US12063362B2 (en) | 2019-03-23 | 2024-08-13 | Beijing Bytedance Network Technology Co., Ltd | Restrictions on adaptive-loop filtering parameter sets |
| WO2020211809A1 (en) * | 2019-04-16 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | On adaptive loop filtering for video coding |
| US11611747B2 (en) | 2019-04-16 | 2023-03-21 | Beijing Bytedance Network Technology Co., Ltd. | Adaptive loop filtering for video coding |
| RU2823558C2 (ru) * | 2019-05-04 | 2024-07-24 | Хуавэй Текнолоджиз Ко., Лтд. | Кодер, декодер и соответствующие способы с использованием адаптивного контурного фильтра |
| US12212743B2 (en) | 2019-05-04 | 2025-01-28 | Huawei Technologies Co., Ltd. | Encoder, a decoder and corresponding methods using an adaptive loop filter |
| WO2020258055A1 (zh) * | 2019-06-25 | 2020-12-30 | 北京大学 | 环路滤波的方法与装置 |
| US12231696B2 (en) | 2019-06-25 | 2025-02-18 | SZ DJI Technology Co., Ltd. | Loop filtering method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190297320A1 (en) | 2019-09-26 |
| EP3457690A1 (en) | 2019-03-20 |
| EP3457690A4 (en) | 2019-05-01 |
| WO2017195532A1 (ja) | 2017-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109076219A (zh) | 图像解码装置以及图像编码装置 | |
| CN111373751B (zh) | 图像滤波装置、图像解码装置以及图像编码装置 | |
| CN113853784B (zh) | 用于视频译码的多个自适应环路滤波器集合的方法和装置 | |
| AU2013208472B2 (en) | Image decoding device, image encoding device, and data structure of encoded data | |
| CN112544084B (zh) | 图像编码装置、编码流提取装置以及图像解码装置 | |
| CN103636210B (zh) | 偏移解码装置、偏移编码装置、图像滤波器装置 | |
| CN104539969B (zh) | 图像处理装置和图像处理方法 | |
| JP2023542840A (ja) | ビデオコーディングのためのフィルタ処理プロセス | |
| EP3506638A1 (en) | Image decoding apparatus, image encoding apparatus, image decoding method, and image encoding method | |
| CN110178372A (zh) | 图像解码装置以及图像编码装置 | |
| WO2019182159A1 (ja) | 画像フィルタ装置、画像復号装置、及び画像符号化装置 | |
| KR20210126126A (ko) | 크로마 서브블록의 아핀 기반 인터 예측을 위한 방법 및 장치 | |
| CN112532976B (zh) | 运动图像解码装置以及运动图像编码装置 | |
| CN113597761A (zh) | 帧内预测方法和装置 | |
| JP2022523851A (ja) | 異なるクロマフォーマットを使用したフィルタ処理されていない参照サンプルを用いたビデオコーディング | |
| JP2022527670A (ja) | ビデオコーディングにおける双方向オプティカルフロー | |
| US20200213585A1 (en) | Subblock based affine motion model | |
| KR20230156813A (ko) | 인트라 예측 방법 및 장치 | |
| CN119420901A (zh) | 图像预测方法、装置和计算机可读存储介质 | |
| KR20220024900A (ko) | 비선형 적응 루프 필터의 클리핑 레벨 | |
| CN119547441A (zh) | 用于仿射运动模型的解码器侧运动矢量细化 | |
| CN113632475A (zh) | 图像解码装置 | |
| CN117795957A (zh) | 跨分量样点自适应偏移中的编解码增强 | |
| KR20210113399A (ko) | 인트라 예측을 위해 인트라 모드 코딩을 사용하는 인코더, 디코더 및 대응 방법 | |
| AU2015264943B2 (en) | Image decoding device, image encoding device, and data structure of encoded data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181221 |
|
| WD01 | Invention patent application deemed withdrawn after publication |