[go: up one dir, main page]

CN119487838A - Cclm预测部、运动图像解码装置以及运动图像编码装置 - Google Patents

Cclm预测部、运动图像解码装置以及运动图像编码装置 Download PDF

Info

Publication number
CN119487838A
CN119487838A CN202380051858.8A CN202380051858A CN119487838A CN 119487838 A CN119487838 A CN 119487838A CN 202380051858 A CN202380051858 A CN 202380051858A CN 119487838 A CN119487838 A CN 119487838A
Authority
CN
China
Prior art keywords
prediction
unit
cclm
image
cclm prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380051858.8A
Other languages
English (en)
Inventor
猪饲知宏
范哲铭
青野友子
八杉将伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN119487838A publication Critical patent/CN119487838A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本发明削减CCLM预测所需的存储量。CCLM预测部使用亮度图像来生成色差图像的预测图像,所述CCLM预测部的特征在于,具备:CCLM预测参数推导部,使用与对象块邻接的参照图像的参照像素和该参照像素的邻接像素,推导出由第一权重、第二权重、第一偏移值构成的CCLM预测参数;以及CCLM预测滤波部,使用上述对象块的对象像素和该对象像素的邻接像素这两个亮度像素以及所述CCLM预测参数来生成色差预测图像,上述CCLM预测滤波部根据上述对象像素与上述第一权重的积、上述对象像素的邻接像素与上述第二权重的积以及上述第一偏移值的和,推导出预测像素的像素值。

Description

CCLM预测部、运动图像解码装置以及运动图像编码装置
技术领域
本发明的实施方式涉及CCLM预测部、运动图像解码装置以及运动图像编码装置。本申请基于2022年7月4日在日本提出申请的日本专利申请2022-107511号主张优先权,并将其内容援引于此。
背景技术
为了高效地传输或记录运动图像,使用通过对运动图像进行编码来生成编码数据的运动图像编码装置,以及通过对该编码数据进行解码来生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式,例如可以列举出H.264/AVC、HEVC(High-Efficiency Video Coding:高效视频编码)、多功能视频编码(Versatile Video Coding:VVC)方式等。
在这样的运动图像编码方式中,构成运动图像的图像(图片)通过分级结构来管理,并按每个CU进行编码/解码,所述分级结构包括:通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU:Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit:CU))以及通过分割编码单位而得到的变换单元(TU:Transform Unit)。
此外,在这样的运动图像编码方式中,通常,基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像,对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。
作为预测图像的生成方法,可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。作为近年来的运动图像编码和解码的技术,可列举出非专利文献1。
此外,在近年来的运动图像编码和解码技术中,作为根据亮度像素生成色差像素的预测图像的CCLM(CCLM、Cross-component linear model:交叉分量线性模型)之一,公开了一种使用对象图像和邻接图像的CCCM(CCCM、Convolutional cross-component model:卷积交叉分量模型)预测。
在CCCM预测中,使用多个与对象块邻接的已解码图像推导出线性预测参数,根据该线性预测模型(CCLM模型)预测对象块的色差。
现有技术文献
非专利文献
非专利文献1:“AHG12:Convolutional cross-component model(CCCM)for intraprediction”,Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IECJTC 1/SC 29/WG 11,JVET-Z0064
发明内容
发明要解决的问题
在CCCM处理中,使用多个多项式线性模型,因此存在参数推导的计算量非常大的问题。此外,推导出一个对象像素、四个邻接像素、一个对象像素的非线性要素以及一个偏置这七个参数的线性模型,因此存在计算量必定大的问题。
技术方案
CCLM预测部使用亮度图像来生成色差图像的预测图像,所述CCLM预测部的特征在于,具备:CCLM预测参数推导部,使用与对象块邻接的参照图像的参照像素和该参照像素的邻接像素,推导出由第一权重、第二权重、第一偏移值构成的CCLM预测参数;以及CCLM预测滤波部,使用上述对象块的对象像素和该对象像素的邻接像素这两个亮度像素以及上述CCLM预测参数来生成色差预测图像,上述CCLM预测滤波部根据上述对象像素与上述第一权重的积、上述对象像素的邻接像素与上述第二权重的积以及上述第一偏移值的和,推导出预测像素的像素值。
所述CCLM预测部的特征在于,上述参照图像和对象图像中的邻接像素的位置是对象像素(x,y)的右侧的像素(x+1,y)。
运动图像解码装置具备:上述方案1所述的CCLM预测部;以及参数解码部,从编码数据中解码表示邻接像素的位置的索引,所述运动图像解码装置的特征在于,上述CCLM预测参数推导部与上述索引无关地将CCLM预测参数的数量设为固定,根据上述索引切换上述参照像素的邻接像素的位置来推导出上述CCLM预测参数,上述CCLM滤波部根据上述索引切换上述邻接像素来推导出预测图像。
运动图像编码装置具备:上述方案1所述的CCLM预测部;以及参数编码部,对从图像推导出的表示邻接像素的位置的索引进行编码,所述运动图像编码装置的特征在于,上述CCLM预测参数推导部与上述索引无关地将CCLM预测参数的数量设为固定,根据上述索引切换上述参照像素的邻接像素的位置来推导出上述CCLM预测参数,上述CCLM滤波部根据上述索引切换上述邻接像素来推导出预测图像。
运动图像编码装置的特征在于,上述参数解码部从序列报头、切片报头或CTU报头的编码数据中解码上述索引,从编码数据推导出表示是否进行CCLM预测的标志,上述CCLM滤波部推导出上述对象块的预测图像。
CCLM预测部使用亮度图像来生成色差图像的预测图像,所述CCLM预测部的特征在于,具备:CCLM预测参数推导部,推导出CCLM预测参数;以及CCLM预测滤波部,使用亮度参照图像和上述CCLM预测参数来生成色差预测图像,CCLM预测部具备推导出两个参数作为乘法的系数和偏置的系数的线性预测部以及推导出三个以上的参数作为乘法的系数和偏置的系数的线性预测部,CCLM预测部具备按亮度信号的大小将亮度信号分类成组并且根据分类推导出多种CCLM预测参数的多模型以及推导出一种CCLM预测参数的单模型,在上述多模型的情况下,不推导出三个以上的参数。
上述CCLM预测部的特征在于,对包括是否分类成两个组的语法要素进行解码,在上述语法要素表示使用一个组的情况下,还对表示是否推导出三个以上的参数的语法要素进行解码。
上述CCLM预测部的特征在于,对表示是否推导出三个以上的参数的语法要素进行解码,在上述语法要素表示是两个参数的情况下,还对包括是否分类成两个组的语法要素进行解码。
有益效果
根据本发明的一个方案,有在CCCM预测中简化线性预测参数的推导的效果。
附图说明
图1是表示本实施方式的图像传输系统的构成的概略图。
图2是表示编码流的数据的分级结构的图。
图3是表示帧内预测模式的种类(模式编号)的概略图。
图4是表示运动图像解码装置的构成的概略图。
图5是表示帧内预测参数推导部的构成的概略图。
图6是表示用于帧内预测的参照区域的图。
图7是表示帧内预测图像生成部的构成的图。
图8的(a)是表示本发明的一个实施方式的CCLM预测部的构成的一个示例的框图,图8的(b)是表示IntraPredModeC的推导方法的图。
图9的(a)~(e)是对在本发明的一个实施方式的CCLM预测参数的推导时所参照的像素进行说明的图。
图10的(a)是表示在本实施方式的一个模型中的CCLM预测中使用(亮度、色差)的组合的示例的图。图10的(b)是表示本实施方式的两个模型中的CCLM预测(MMLM预测)的示例的图。
图11是表示运动图像编码装置的构成的框图。
图12是表示帧内预测参数推导部的构成的概略图。
图13是表示本发明的一个实施方式的参照像素的位置的图。
图14是表示本发明的一个实施方式的语法构成的图。
图15是表示本发明的一个实施方式的语法构成的图。
图16是表示本发明的一个实施方式的语法构成的图。
图17是表示本发明的一个实施方式的语法构成的图。
图18是表示本发明的一个实施方式的CCLM预测部的动作的流程图。
图19是表示本发明的一个实施方式的CCLM预测部的动作的流程图。
具体实施方式
(第一实施方式)
以下,参照附图对本发明的实施方式进行说明。
图1是表示本实施方式的图像传输系统1的构成的概略图。
图像传输系统1是传输对编码对象图像进行编码而得到的编码流,对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括:运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及运动图像显示装置(图像显示装置)41。
运动图像编码装置11被输入图像T。
网络21将运动图像编码装置11生成的编码流Te传输至运动图像解码装置31。网络21是互联网(Internet)、广域网(WAN:Wide Area Network)、小型网络(LAN:Local AreaNetwork,局域网)或它们的组合。网络21不一定限定于双向的通信网,也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外,网络21也可以用DVD(DigitalVersatile Disc:数字通用光盘,注册商标)、BD(Blue-ray Disc:蓝光光盘,注册商标)等记录有编码流Te的存储介质代替。
运动图像解码装置31对网络21所传输的编码流Te分别进行解码,生成解码后的一个或多个解码图像Td。
运动图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence:电致发光)显示器等显示设备。作为显示器的形式,可以列举出固定式、移动式、HMD(Head Mounted Display:头戴显示器)等。此外,在运动图像解码装置31具有高处理能力的情况下,显示画质高的图像,在仅具有低处理能力的情况下,显示不需要高处理能力、高显示能力的图像。
<运算符>
以下对在本说明书中使用的运算符进行描述。
>>为向右位移,<<为向左位移,&为逐位AND,|为逐位OR,|=为OR代入运算符,||表示逻辑和。
x?y:z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。
Clip3(a,b,c)是将c限幅于a以上b以下的值的函数,是在c<a的情况下返回a、在c>b的情况下返回b、在其他情况下返回c的函数(其中a<=b)。
abs(a)是返回a的绝对值的函数。
Int(a)是返回a的整数值的函数。
floor(a)是返回a以下的最大整数的函数。
ceil(a)是返回a以上的最小整数的函数。
a/d表示a除以d(舍去小数点以下)。
a^b表示a的b次方。
<编码流Te的结构>
在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前,对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流Te的数据结构进行说明。
图2是表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多张图片。
图2的(a)~(f)分别是表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元的图。
(编码视频序列)
在编码视频序列中,规定有供运动图像解码装置31参照以便对处理对象的序列SEQ进行解码的数据的集合。序列SEQ如图2的(a)所示,包括:视频参数集(Video ParameterSet)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture ParameterSet)、图片PICT以及补充增强信息SEI(Supplemental Enhancement Information)。
视频参数集VPS在由多层构成的运动图像中,规定有多个运动图像通用的编码参数的集合,以及运动图像中包括的多个层和与各层关联的编码参数的集合。
在序列参数集SPS中,规定有供运动图像解码装置31参照以便对对象序列进行解码的编码参数的集合。例如,规定有图片的宽度、高度。需要说明的是,SPS可以存在多个。在该情况下,从PPS中选择多个SPS中的任一个SPS。
在图片参数集PPS中,规定有供运动图像解码装置31参照以便对对象序列内的各图片进行解码的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)等。需要说明的是,PPS可以存在多个。在该情况下,从对象序列内的各图片中选择多个PPS中的任一个。
(编码图片)
在编码图片中,规定有供运动图像解码装置31参照以便对处理对象的图片PICT进行解码的数据的集合。图片PICT如图2的(b)所示,包括切片0~切片NS-1(NS为图片PICT中所包括的切片的总数)。
需要说明的是,以下,在无需对各切片0~切片NS-1进行区别的情况下,有时会省略代码的下标来进行记述。此外,对于以下说明的编码流Te中包括的数据、即标注有后缀的其他数据而言也是同样的。
(编码切片)
在编码切片中,规定有供运动图像解码装置31参照以便对处理对象的切片S进行解码的数据的集合。切片如图2的(c)所示包括切片报头和切片数据。
切片报头中包括供运动图像解码装置31参照以便确定对象切片的解码方法的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片报头中包括的编码参数的一个示例。
作为能由切片类型指定信息指定的切片类型,可列举出:(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。需要说明的是,帧间预测不限于单向预测、双向预测,也可以使用更多的参照图片来生成预测图像。以下,称为P、B切片的情况是指包括能使用帧间预测的块的切片。
需要说明的是,切片报头中也可以包括对图片参数集PPS的参照(pic_parameter_set_id)。
(编码切片数据)
在编码切片数据中,规定有供运动图像解码装置31参照以便对处理对象的切片数据进行解码的数据的集合。切片数据如图2的(d)所示包括CTU。CTU是构成切片的固定尺寸(例如64×64)的块,也称为最大编码单位(LCU:Largest Coding Unit)。
(编码树单元)
在图2的(e)中,规定有供运动图像解码装置31参照以便对处理对象的CTU进行解码的数据的集合。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或三叉树分割(TT(Ternary Tree)分割)分割成作为编码处理的基本单位的编码单元CU。将BT分割和TT分割统称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点,CTU本身也被规定为最上层的编码节点。
CT包括表示是否进行分割的分割标志作为CT信息。
此外,在CTU的尺寸为64×64像素的情况下,CU的尺寸可以取64×64像素、64×32像素、32×64像素、32×32像素、64×16像素、16×64像素、32×16像素、16×32像素、16×16像素、64×8像素、8×64像素、32×8像素、8×32像素、16×8像素、8×16像素、8×8像素、64×4像素、4×64像素、32×4像素、4×32像素、16×4像素、4×16像素、8×4像素、4×8像素以及4×4像素中的任一种。
(编码单元)
如图2的(f)所示,规定有供运动图像解码装置31参照以便对处理对象的编码单元进行解码的数据的集合。具体而言,CU由CU报头CUH、预测参数、变换参数、量化变换系数等构成。在CU报头中规定有预测模式等。
预测处理存在以CU为单位进行的情况和以进一步分割CU而得到的子CU为单位进行的情况。在CU与子CU的尺寸相等的情况下,CU中的子CU为1个。在CU的尺寸大于子CU的尺寸的情况下,CU被分割成子CU。例如,在CU为8×8、子CU为4×4的情况下,CU被分割成4个子CU,包括水平分割的两部分和垂直分割的两部分。
预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测,帧间预测是指在互不相同的图片间(例如显示时刻间)进行的预测处理。
变换/量化处理以CU为单位来进行,但量化变换系数也可以以4×4等子块为单位来进行熵编码。
(预测参数)
预测图像由附加于块的预测参数推导。预测参数中存在帧内预测和帧间预测的预测参数。
以下,对帧内预测的预测参数进行说明。帧内预测参数由亮度预测模式IntraPredModeY和色差预测模式IntraPredModeC构成。图3是表示帧内预测模式的种类(模式编号)的概略图。如图3所示,帧内预测模式例如存在67种(0~66)。例如是平面预测(0)、DC预测(1)、角度预测(2~66)。而且,可以在色差中追加CCLM模式(81~83)。
用于推导帧内预测参数的语法要素中例如有intra_luma_mpm_flag、mpm_idx、mpm_remainder等。
(MPM)
intra_luma_mpm_flag是表示对象块的亮度预测模式IntraPredModeY与MPM(MostProbable Mode:最可能模式)是否一致的标志。MPM是MPM候选列表mpmCandList[]中所包括的预测模式。MPM候选列表是储存有根据邻接块的帧内预测模式和规定的帧内预测模式估计应用于对象块的概率高的候选的列表。在intra_luma_mpm_flag为1的情况下,使用MPM候选列表和索引mpm_idx推导出对象块的亮度预测模式IntraPredModeY。
IntraPredModeY=mpmCandList[mpm_idx]
(REM)
在intra_luma_mpm_flag为0的情况下,使用mpm_remainder推导出亮度预测模式IntraPredModeY。具体而言,从在全部帧内预测模式中除去MPM候选列表中所包括的帧内预测模式后剩余的模式RemIntraPredMode中选择帧内预测模式。
(运动图像解码装置的构成)
对本实施方式的运动图像解码装置31(图4)的构成进行说明。
运动图像解码装置31构成为包括:熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部308、逆量化/逆变换部311以及加法部312、预测参数推导部320。需要说明的是,根据后述的运动图像编码装置11,也存在运动图像解码装置31中不包括环路滤波器305的构成。
参数解码部302还具备报头解码部3020、CT信息解码部3021以及CU解码部3022(预测模式解码部),CU解码部3022还具备TU解码部3024。也可以将它们统称为解码模块。报头解码部3020从编码数据解码VPS、SPS、PPS等参数集信息、切片报头(切片信息)。CT信息解码部3021从编码数据中解码CT。CU解码部3022从编码数据中解码CU。TU解码部3024在TU中包括预测误差的情况下,从编码数据解码QP(Quantization Parameter:量化参数)更新信息(量化校正值)和量化预测误差(residual_coding)。
预测参数推导部320构成为包括帧间预测参数推导部303和帧内预测参数推导部304。
预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。
此外,在下文中对将CTU、CU用作处理单位的示例进行了记载,但不限于该示例,也可以以子CU为单位进行处理。或者,也可以设为将CTU、CU替换为块,将子CU替换为子块,以块或子块为单位进行的处理。
熵解码部301对从外部输入的编码流Te进行熵解码,分离各个代码(语法要素)并进行解码。分离后的代码中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。熵解码部301将分离后的代码输出至参数解码部302。
(帧内预测参数推导部304的构成)
帧内预测参数推导部304基于从熵解码部301输入的代码,参照存储于预测参数存储器307的预测参数来对帧内预测参数,例如推导出帧内预测模式IntraPredMode。帧内预测参数推导部304将推导出的帧内预测参数输出至预测图像生成部308,再存储于预测参数存储器307。帧内预测参数推导部304也可以推导出在亮度和色差上不同的帧内预测模式。
图5是表示预测参数推导部320的帧内预测参数推导部304的构成的概略图。如图5所示,帧内预测参数推导部304构成为包括:参数解码控制部3041、亮度帧内预测参数推导部3042以及色差帧内预测参数推导部3043。
参数解码控制部3041对熵解码部301指示语法要素的解码,从熵解码部301接收语法要素。在其中的intra_luma_mpm_flag为1的情况下,参数解码控制部3041向亮度帧内预测参数推导部3042内的MPM参数推导部30422输出mpm_idx。此外,在intra_luma_mpm_flag为0的情况下,参数解码控制部3041向亮度帧内预测参数推导部3042的非MPM参数推导部30423输出mpm_remainder。此外,参数解码控制部3041向色差帧内预测参数推导部3043输出色差的帧内预测参数intra_chroma_pred_mode。
亮度帧内预测参数推导部3042构成为包括:MPM候选列表推导部30421、MPM参数推导部30422以及非MPM参数推导部30423(推导部)。
MPM参数推导部30422参照由MPM候选列表推导部30421推导出的MPM候选列表mpmCandList[]和mpm_idx来推导出亮度预测模式IntraPredModeY,输出至帧内预测图像生成部310。
非MPM参数推导部30423从MPM候选列表mpmCandList[]和mpm_remainder推导出IntraPredModeY,输出至帧内预测图像生成部310。
色差帧内预测参数推导部3043从intra_chroma_pred_mode推导出色差预测模式IntraPredModeC,输出至帧内预测图像生成部310。
环路滤波器305是设于编码环路内的滤波器,是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。
参照图片存储器306将加法部312所生成的CU的解码图像按每个对象图片和对象CU存储于预定的位置。
预测参数存储器307将预测参数按每个解码对象的CTU或CU存储于预定的位置。具体而言,预测参数存储器307存储由参数解码部302解码后的参数和由预测参数推导部320推导出的参数等。
对预测图像生成部308输入由预测参数推导部320推导出的参数等。此外,预测图像生成部308从参照图片存储器306中读出参照图片。
预测图像生成部308在预测模式predMode所指示的预测模式下,使用预测参数和读出的参照图片(参照图片块)来生成块或子块的预测图像。在此,参照图片块是指参照图片上的像素的集合(通常为矩形,因此称为块),是为了生成预测图像而参照的区域。
(帧内预测图像生成部310)
在预测模式predMode表示帧内预测模式的情况下,帧内预测图像生成部310使用从帧内预测参数推导部304输入的帧内预测参数和从参照图片存储器306中读出的参照像素来进行帧内预测。
具体而言,帧内预测图像生成部310从参照图片存储器306中读出对象图片上的距离对象块预定的范围的邻接块。预定的范围是在对象块的左、左上、上、右上的邻接块,根据帧内预测模式参照的区域不同。
帧内预测图像生成部310参照读出的解码像素值和IntraPredMode所表示的预测模式来生成对象块的预测图像。帧内预测图像生成部310将生成的块的预测图像输出至加法部312。
以下,对基于帧内预测模式的预测图像的生成进行说明。在平面(Planar)预测、DC预测、角度(Angular)预测中,将与预测对象块邻接(接近)的已解码的周边区域设定为参照区域R。然后,通过在特定的方向上外插参照区域R上的像素来生成预测图像。例如,参照区域R可以设定为包括预测对象块的左和上(或者进一步左上、右上、左下)的L字型的区域(例如由图6的(a)的斜线的圆形标记的像素表示的区域)。
(预测图像生成部的详情)
接着,使用图7对帧内预测图像生成部310的构成的详情进行说明。帧内预测图像生成部310具备:预测对象块设定部3101、未滤波参照图像设定部3102(第一参照图像设定部)、已滤波参照图像设定部3103(第二参照图像设定部)、预测部3104(帧内预测部3104)以及预测图像校正部3105(预测图像校正部、滤波器切换部、加权系数变更部)。
预测部3104基于应用参照区域R上的各参照像素(未滤波参照图像)、参照像素滤波器(第一滤波器)生成的已滤波参照图像、帧内预测模式生成预测对象块的临时预测图像(校正前预测图像),并输出至预测图像校正部3105。预测图像校正部3105根据帧内预测模式来修正临时预测图像,生成并输出预测图像(已校正预测图像)。
以下,对帧内预测图像生成部310所具备的各部进行说明。
(预测对象块设定部3101)
预测对象块设定部3101将对象CU设定为预测对象块,输出与预测对象块有关的信息(预测对象块信息)。预测对象块信息中至少包括预测对象块的尺寸、位置、表示亮度或色差的索引。
(未滤波参照图像设定部3102)
未滤波参照图像设定部3102基于预测对象块的尺寸和位置将预测对象块的邻接周边区域设定为参照区域R。接着,对参照区域R内的各像素值(未滤波参照图像、边界像素)设置在参照图片存储器306上对应的位置的各解码像素值。图6的(a)所示的与预测对象块上边邻接的解码像素的行r[x][-1]和与预测对象块左边邻接的解码像素的列r[-1][y]为未滤波参照图像。
(已滤波参照图像设定部3103)
已滤波参照图像设定部3103根据帧内预测模式对未滤波参照图像应用参照像素滤波器(第一滤波器),推导出参照区域R上的各位置(x,y)的已滤波参照图像s[x][y]。具体而言,对位置(x,y)和其周边的未滤波参照图像应用低通滤波器,推导出已滤波参照图像(图6的(b))。需要说明的是,不一定对全部帧内预测模式应用低通滤波器,也可以对一部分帧内预测模式应用低通滤波器。需要说明的是,将在已滤波参照像素设定部3103中对参照区域R上的未滤波参照图像应用的滤波器称为“参照像素滤波器(第一滤波器)”,与之相对,将在后述的预测图像校正部3105中对临时预测图像进行校正的滤波器称为“边界滤波器(第二滤波器)”。
(帧内预测部3104的构成)
帧内预测部3104基于帧内预测模式、未滤波参照图像以及已滤波参照像素值生成预测对象块的临时预测图像(临时预测像素值、校正前预测图像),输出至预测图像校正部3105。预测部3104在内部具备:平面预测部31041、DC预测部31042、角度预测部31043以及CCLM预测部(预测图像生成装置)31044。预测部3104根据帧内预测模式来选择特定的预测部,输入未滤波参照图像、已滤波参照图像。帧内预测模式与所对应的预测部的关系如下所示。
·平面预测……平面预测部31041
·DC预测……DC预测部31042
·角度预测……角度预测部31043
·CCLM预测……CCLM预测部31044
(平面预测)
平面预测部31041根据预测对象像素位置与参照像素位置的距离,对多个已滤波参照图像s[x][y]进行线性相加生成临时预测图像q[x][y],输出至预测图像校正部3105。
(DC预测)
DC预测部31042推导出相当于已滤波参照图像s[x][y]的平均值的DC预测值,输出将DC预测值作为像素值的临时预测图像q[x][y]。
(角度预测)
角度预测部31043使用帧内预测模式所指示的预测方向(参照方向)的已滤波参照图像s[x][y]生成临时预测图像q[x][y],输出至预测图像校正部3105。
(CCLM(Cross-Component Linear Model)预测)
CCLM预测部31044基于亮度的像素值来预测色差的像素值。具体而言,是一种基于解码后的亮度图像,使用线性模型来生成色差图像(Cb、Cr)的预测图像的方式。在后文对CCLM预测加以叙述。
(预测图像校正部3105的构成)
预测图像校正部3105根据帧内预测模式对从预测部3104输出的临时预测图像进行修正。具体而言,预测图像校正部3105针对临时预测图像的各像素,根据参照区域R与对象预测像素的距离,对未滤波参照图像和临时预测图像进行加权相加(加权平均),由此推导出对临时预测图像进行修正后的预测图像(已校正预测图像)Pred。需要说明的是,在一部分帧内预测模式(例如,Planar预测、DC预测等)下,可以不通过预测图像校正部3105校正临时预测图像,而将预测部3104的输出作为预测图像。
逆量化/逆变换部311将从熵解码部301输入的量化变换系数逆量化来求出变换系数。该量化变换系数是在编码处理中对预测误差进行DCT(Discrete Cosine Transform、离散余弦变换)、DST(Discrete Sine Transform、离散正弦变换)等频率变换并量化而得到的系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST等逆频率变换,计算预测误差。逆量化/逆变换部311将预测误差输出至加法部312。
加法部312按每个像素将从预测图像生成部308输入的块的预测图像和从逆量化/逆变换部311输入的预测误差相加,生成块的解码图像。
加法部312将块的解码图像存储于参照图片存储器306,再输出至环路滤波器305。
(运动图像编码装置的构成)
接着,对本实施方式的运动图像编码装置11的构成进行说明。图11是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括:预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111、预测参数推导部120以及熵编码部104。
预测图像生成部101按每个将图像T的各图片分割而成的区域即CU生成预测图像。预测图像生成部101进行与已说明的预测图像生成部308相同的动作,在此省略其说明。
减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值,生成预测误差。减法部102将预测误差输出至变换/量化部103。
变换/量化部103对从减法部102输入的预测误差,通过频率变换计算出变换系数,并通过量化推导出量化变换系数。变换/量化部103将量化变换系数输出至熵编码部104和逆量化/逆变换部105。
逆量化/逆变换部105与运动图像解码装置31中的逆量化/逆变换部311(图4)相同,并省略其说明。计算出的预测误差输出至加法部106。
熵编码部104中,从变换/量化部103输入量化变换系数,从参数编码部111输入编码参数。在编码参数中,例如存在帧内预测模式的参数(intra_luma_mpm_flag、mpm_idx、mpm_remainder)、预测模式predMode等代码。
熵编码部104对分割信息、编码参数、量化变换系数等进行熵编码生成编码流Te并输出。
参数编码部111具备未图示的报头编码部1110、CT信息编码部1111、CU编码部1112(预测模式编码部)。CU编码部1112还具备TU编码部1114。
预测参数推导部120从帧间预测参数推导部112、帧内预测参数推导部113推导出帧间预测参数和帧内预测参数。推导出的帧间预测参数和帧内预测参数输出至参数编码部111。
(帧内预测参数推导部113的构成)
帧内预测参数编码部113根据从编码参数确定部110输入的帧内预测模式IntraPredMode,推导出用于编码的形式(例如mpm_idx、mpm_remainder等)。帧内预测参数推导部113包括与由帧内预测参数推导部304推导出帧内预测参数的构成部分相同的构成。
图12是表示预测参数推导部120的帧内预测参数推导部113的构成的概略图。帧内预测参数推导部113构成为包括:参数编码控制部1131、亮度帧内预测参数推导部1132以及色差帧内预测参数推导部1133。
从编码参数确定部110向参数编码控制部1131输入亮度预测模式IntraPredModeY和色差预测模式IntraPredModeC。参数编码控制部1131参照参照候选列表推导部30421的MPM候选列表mpmCandList[]来确定intra_luma_mpm_flag。然后,将intra_luma_mpm_flag和IntraPredModeY输出至亮度帧内预测参数推导部1132。此外,将IntraPredModeC输出至色差帧内预测参数推导部1133。
亮度帧内预测参数推导部1132构成为包括:MPM候选列表推导部30421(候选列表推导部)、MPM参数推导部11322(参数推导部)以及非MPM参数推导部11323(编码部、推导部)。
MPM候选列表推导部30421参照储存于预测参数存储器108的邻接块的帧内预测模式推导出MPM候选列表mpmCandList[]。MPM参数推导部11322在intra_luma_mpm_flag为1的情况下从IntraPredModeY和mpmCandList[]推导出mpm_idx,并输出至熵编码部104。非MPM参数推导部11323在intra_luma_mpm_flag为0的情况下从IntraPredModeY和mpmCandList[]推导出mpm_remainder,并输出至熵编码部104。
色差帧内预测参数推导部1133从IntraPredModeY和IntraPredModeC推导出intra_chroma_pred_mode并输出。
加法部106将从预测图像生成部101输入的块预测图像的像素值和从逆量化/逆变换部105输入的预测误差按每个像素相加来生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。
环路滤波器107对加法部106所生成的解码图像,实施去块滤波器、SAO、ALF。需要说明的是,环路滤波器107不一定包括上述三种滤波器,例如也可以是仅包括去块滤波器的构成。
预测参数存储器108将编码参数推导部120所生成的预测参数按每个对象图片和CU存储于预定的位置。也可以存储变换/量化部103所生成的变换系数等。
参照图片存储器109将环路滤波器107所生成的解码图像按每个对象图片和CU存储于预定的位置。
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的QT、BT或TT分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。
编码参数确定部110对多个集合的每一个集合计算出表示信息量的尺寸和编码误差的RD成本值。RD成本值例如是代码量与平方误差乘以系数λ而得到的值之和。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此,熵编码部104将选择出的编码参数的集合作为编码流Te输出。编码参数确定部110将所确定的编码参数输出至参数编码部111、预测参数推导部120、预测图像生成部101。
需要说明的是,可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31的一部分、例如,熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测参数推导部320、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110、参数编码部111以及预测参数推导部120。在该情况下,可以通过将用于实现该控制功能的程序记录于计算机可读记录介质,使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是,在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一者的计算机系统,采用包括OS、外围设备等硬件的计算机系统。此外,“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且,“计算机可读记录介质”也可以包括:像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质;以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保存程序固定时间的记录介质。此外,上述程序可以是用于实现上述功能的一部分的程序,也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。
此外,也可以将上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分或全部作为LSI(Large Scale Integration:大规模集成电路)等集成电路而实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化,也可以将一部分或全部集成来处理器化。此外,集成电路化的方法并不限于LSI,也可以通过专用电路或通用处理器来实现。此外,在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下,也可以使用基于该技术的集成电路。
以上,参照附图对该发明的一个实施方式详细地进行了说明,但具体构成并不限于上述实施方式,在不脱离该发明的主旨的范围内,可以进行各种设计变更等。
〔应用例〕
上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是,运动图像可以是通过摄像机等拍摄的自然运动图像,也可以是通过计算机等生成的人工运动图像(包括CG(ComputerGraphics:计算机动画)和GUI(Graphical User Interface:图形用户界面))。
(色差帧内预测模式)
接着,参照图8~图23对CCLM预测进行说明。
图10是表示亮度色差预测的概要的图。在亮度色差预测中,根据亮度对色差进行线性预测。(a)表示针对对象块利用一个预测模型的情况下,针对对象块推导出一个CCLM预测参数。(b)表示针对对象块利用多个预测模型的情况,针对对象块推导出两个以上(在此为两个)的CCLM预测参数。将具有多个预测模型的亮度色差预测称为MMLM(Multi ModeLinear Model:多模式线性模型)。此外,将使用了由一个加权系数a和一个偏移系数b(偏置)构成的两个参数的线性预测称为狭义的CCLM,将使用了由两个以上的加权系数ak和一个偏移系数b(偏置)构成的N个参数(N>2)的线性预测称为CCCM(Convolutional cross-component model)。将a和b、ak和b称为CCLM预测参数,使用对象块的邻接图像来推导。需要说明的是,也可以像后述的shiftA那样,在CCLM预测参数中除了权重和偏置值之外还推导出偏移值。
不过,在本说明书的CCLM预测参数的数量中不包括偏移值。就是说,如下所示地进行定义。
将以a、b、shiftA为参数的线性预测定义为两个参数的线性预测
将以a0、a1、b、shiftA为参数的线性预测定义为三个参数的线性预测
这是因为,在与CCLM预测参数的推导有关的计算量、与CCLM预测中的线性预测有关的计算量中,shiftA的推导处理、基于shiftA的移位处理是可以忽略的程度,因此在参数数量中不包括shiftA。
此外,也可以使用作为亮度色差预测的以下的预测。
INTRA_LT_CCLM(81)参照左和上、一个模型、两个参数
INTRA_L_CCLM(82)参照左、一个模型、两个参数
INTRA_T_CCLM(83)参照上、一个模型、两个参数
INTRA_LT_MMLM(84)参照左和上、两个模型、两个参数
INTRA_L_MMLM(85)参照左、两个模型、两个参数
INTRA_T_MMLM(86)参照上、两个模型、两个参数
INTRA_LT_CCCM_SINGLE(87)参照左和上、两个模型、三个参数
INTRA_L_CCCM_SINGLE(88)参照左、两个模型、三个参数
INTRA_T_CCCM_SINGLE(89)参照上、两个模型、三个参数
INTRA_LT_MMLM_CCCM(90)参照左和上、两个模型、三个参数
INTRA_L_MMLM_CCCM(91)参照左、两个模型、三个参数
INTRA_T_MMLM_CCCM(92)参照上、两个模型、三个参数
括号内是对应的IntraPredModeC的值。但不限于该值。此外,也可以不是利用所有上述预测,而是利用一部分的构成。特别是在后述的排他构成中,不使用由INTRA_{LT,L,T}_MMLM_CCCM表示的多个模型多个邻接参数(上述的两个模型、三个参数)。
帧内预测参数推导码部304在进行上述的色差预测模式IntraPredModeC的推导时,参照亮度预测模式IntraPredModeY、intra_chroma_pred_mode以及图8的(b)的表。图8的(b)示出IntraPredModeC的推导方法。在intra_chroma_pred_mode为0~3以及4的情况下,帧内预测参数推导部304依赖于IntraPredModeY的值推导出IntraPredModeC。例如,在intra_chroma_pred_mode为0,IntraPredModeY为0的情况下,IntraPredModeC为66。此外,在intra_chroma_pred_mode为3,IntraPredModeY为50的情况下,IntraPredModeC为1。需要说明的是,IntraPredModeY、IntraPredModeC的值表示图3的帧内预测模式。
如图8的(a)所示,CCLM预测部31044包括:下采样部310441、CCLM预测参数推导部(参数推导部)310442以及CCLM预测滤波部310443。
<由三个参数构成的示例1>
图13是表示本实施方式的对象像素与邻接像素的位置关系的图。本构成的CCLM预测滤波部310443使用与应该预测的色差像素位置(x,y)对应的亮度的对象像素refSamples[x*SubWidthC][y*SubHeightC]及其邻接像素refSamples[x*SubWidthC+dX][y*SubHeightC+dY]进行CCLM预测。然后,生成色差像素位置(x,y)的预测图像predSamples[x][y]。图13中示出以下四个例子。SubWidthC、SubHeightC是亮度像素相对于色差像素的采样比。
(a)对象像素(x,y)和右邻接像素(x+1,y)
predSamples[x][y]=(a0*refSamples[x*SubWidthC][y*SubHeightC]+a1*refSamples[x*SubWidthC+1][y*SubHeightC])>>shiftA)+b
(b)对象像素(x,y)和下邻接像素(x,y+1)
predSamples[x][y]=(a0*refSamples[x*SubWidthC][y*SubHeightC]+a1*refSamples[x*SubWidthC][y*SubHeightC+1])>>shiftA)+b
(c)对象像素(x,y)和左邻接像素(x-1,y)
predSamples[x][y]=(a0*refSamples[x*SubWidthC][y*SubHeightC]+a1*refSamples[x*SubWidthC-1][y*SubHeightC])>>shiftA)+b
(d)对象像素(x,y)和上邻接像素(x,y-1)
predSamples[x][y]=(a0*refSamples[x*SubWidthC][y*SubHeightC]+a1*refSamples[x*SubWidthC][y*SubHeightC-1])>>shiftA)+b
在模拟中,(a)的构成生成最高精度的预测图像的频率高。因此,本构成的CCLM预测滤波部310443通过至少具有邻接像素位置(dX,dY)=(1,0)的(a)的构成推导出CCLM预测参数,进行CCLM滤波处理。
此外,CCLM预测参数推导部310442使用邻接块(例如对象块的左、上、右上)的参照区域中所包括的参照像素pRefY(x,y)及其邻接像素pRefY(x+dX,y+dY),推导出以下的临时参照数组refX[][]、refY[]。在此,将偏置项设为最后一项,但也可以设为第一项。
在此,(x,y)、(dX,dY)是亮度的坐标,是x=-3..-1、y=0..cbHeight-1以及x=-0..cbWidth-1、y=-1..-3、(dX,dY)=(1,0)、(0,1)、(-1,0)、(0,-1)中的任一个。
关于参照区域的(x,y)反复设定refX、refY,每次反复时将cnt增加1。
CCLM预测参数推导部310442从参照图像pRefY、pRefC推导出以下的矩阵sumXX和矢量sumXY。
在此,∑表示与cnt有关的和。需要说明的是,也可以不使用refX[][]、refY[],而从pRefY、pRefC直接推导出sumXX、sumXY。
sumXX[i][j]=sumXY[j]=0、ii=0..2,j=0..2
进一步将正则化项加上对角分量
sumXX[i][i]=sumXX[i][i]+(1<<(itDepth-1))
CCLM预测参数推导部310442通过相当于cparam=sumXY*inverse(sumXX)的线性运算推导出cparam[k]、k=0..2。在此,inverse(X)是X的逆矩阵。
a0=cparam[0]
a1=cparam[1]
b=cparam[2]
具备CCLM预测滤波部,该CCLM预测滤波部使用与对象块的色差像素对应的亮度的对象像素及其邻接像素以及CCLM预测参数来生成色差预测图像,帧内参数推导部304对表示是否进行根据亮度来预测色差的CCLM预测的cclm_mode_flag进行解码。在cclm_mode_flag是表示进行CCLM预测的值(在此为1)的情况下,对表示是否使用两个亮度像素进行亮度色差预测的标志cccm_mode_flag进行解码。在cclm_mode_flag是表示进行CCLM预测的值(在此为1)的情况下,CCLM预测部使用亮度图像来生成色差图像的预测图像。此时,CCLM预测参数推导部310442使用与对象块邻接的亮度的参照区域的参照像素pRef[x][y]和上述参照像素的邻接像素pRef[x+dX][y+dY],推导出由第一权重a0、第二权重a1、第一偏移值b构成的CCLM预测参数。进而,CCLM预测滤波部310443根据亮度的参照像素refSamples[x][y]与第一权重a0的积、上述亮度的邻接像素prefSamples[x+dX][y+dY]与第二权重a1的积以及第一偏移值b的和,推导出色差的预测像素predSamples的像素值。
在此,其特征在于,上述参照图像和对象图像中的邻接像素的位置是对象像素(x,y)的右侧的像素(x+1,y)。
根据上述,能通过仅利用参照像素、邻接像素以及偏置,在减少计算量的同时获得高质量的预测图像。
<由三个参数构成的示例2>
帧内预测参数推导部304在cclm_mode_flag是表示进行CCLM预测的值(在此为1)的情况下,进一步对表示邻接像素相对于对象像素的位置的索引cclm_nei_idx进行解码。通过cclm_nei_idx选择邻接像素。
在cclm_nei_idx为0的情况下,(dX,dY)=(1,0)
在cclm_nei_idx为1的情况下,(dX,dY)=(0,1)
就是说,使用相对于参照像素的相对位置(dX,dY)的邻接像素,推导出CCLM预测参数。CCLM预测滤波部310443使用亮度参照像素和相对位置(dX,dY)的邻接亮度像素来预测色差像素。作为(dX,dY)的位置,一定包括参照像素的右(dX,dY)=(1,0)。
根据上述,起到如下效果:能仅利用参照像素、邻接像素以及偏置,在降低计算量的同时生成高质量的预测图像。
选择项不限定于两个,也可以是参照像素的上下左右这四个。通过cclm_nei_idx选择邻接像素。
在cclm_nei_idx为0的情况下,(dX,dY)=(1,0)
在cclm_nei_idx为1的情况下,(dX,dY)=(0,1)
在cclm_nei_idx为2的情况下,(dX,dY)=(-1,0)
在cclm_nei_idx为3的情况下,(dX,dY)=(0,-1)
根据上述,起到如下效果:能仅利用参照像素、邻接像素以及偏置,在降低计算量的同时生成优选的预测图像。
上述CCLM预测参数推导部与上述索引无关地将CCLM预测参数的数量设为固定,根据上述索引切换上述参照像素的邻接像素的位置来推导出上述CCLM预测参数,CCLM滤波部根据解码出的索引切换上述邻接像素来推导出预测图像。
若并用多模型(MMLM)的亮度色差预测和多参数(CCCM)的亮度色差预测,则需要按多模型的模型个数进行与上述矩阵关联的多参数的推导处理,计算量会增加。以下,对几个不同时使用两者的排他构成的示例进行说明。
<排他构成的示例1>
图14是表示本发明的一个实施方式的语法构成的图。如图14的(a)所示,帧内预测参数推导部304对表示是否进行根据亮度来预测色差的CCLM预测的cclm_mode_flag进行解码。在cclm_mode_flag是表示进行CCLM预测的值(在此为1)的情况下,推导出多个模型(CCCM预测参数),对表示是否进行CCLM预测的标志mmlm_mode_flag进行解码。在mmlm_mode_flag是表示不使用多个模型的值(在此为0)的情况下(mmlm_mode_flag==0),对表示是否使用多个亮度像素进行亮度色差预测(CCCM模式)的标志cccm_mode_flag进行解码。在cccm_mode_flag未出现的情况下(MMLM模式的情况下),将cccm_mode_flag推导为表示不使用多个对象图像的值(在此为0)。在CCCM模式下,生成预测像素的滤波器所需的参数数量变大。
而且,帧内预测参数推导部304也可以对表示参照像素的位置的索引cclm_ref_idx进行解码。图14的(b)示出IntraPredModeC与各标志、索引的关系。在cclm_ref_idx为0的情况下,参照像素位于对象块的上方和左方的区域。在cclm_ref_idx为1的情况下,参照像素位于对象块的左方的区域。在cclm_ref_idx为2的情况下,参照像素位于对象块的上方的区域。
在此,“-”表示不对该语法要素cccm_mode_flag进行解码,在“-”的情况下,估计(infer)为cccm_mode_flag=0。
根据本构成,在使用多个模型(多模型)的情况下,不对表示是否使用多个亮度像素来预测色差像素的标志(cccm_mode_flag)进行解码而估计为0。就是说,能将MMLM模式和CCCM模式设为排他的。因此,能避免在多个模型的每一个中推导出多个CCLM预测参数这样的复杂的处理,在维持性能的同时起到复杂度降低效果。
<排他构成的示例2>
图15是表示本发明的一个实施方式的语法构成的图。是表示本发明的一个实施方式的语法构成的图。如图15的(a)所示,帧内预测参数推导部304对表示是否进行根据亮度来预测色差的CCLM预测的cclm_mode_flag进行解码。在cclm_mode_flag是表示进行CCLM预测的值(在此为1)的情况下,对表示是否使用多个亮度像素进行亮度色差预测的滤波的标志cccm_mode_flag进行解码。在不使用多个参照像素的情况下(cccm_mode_flag==0),推导出多个模型(CCCM预测参数),对表示是否进行CCLM预测的标志mmlm_mode_flag进行解码。在mmlm_mode_flag未出现的情况下,将mmlm_mode_flag推导为表示不使用多模型的0。
而且,帧内预测参数推导部304也可以对表示参照像素的位置的索引cclm_ref_idx进行解码。图15的(b)示出IntraPredModeC与各标志、索引的关系。在cclm_ref_idx为0的情况下,参照像素位于对象块的上方和左方的区域。在cclm_ref_idx为1的情况下,参照像素位于对象块的左方的区域。在cclm_ref_idx为2的情况下,参照像素位于对象块的上方的区域。在此,“-”表示不对该语法要素mmlm_mode_flag进行解码,在“-”的情况下,估计(infer)为mmlm_mode_flag=0。
根据本构成,在由用于预测色差的滤波器参照多个参照像素的情况下(CCCM模式),不对表示多模型(MMLM模式)的标志进行解码而估计为0。就是说,能将MMLM模式和CCCM模式设为排他的。因此,能避免在多个模型的每一个中推导出参数数量大的CCCM模式的CCLM预测参数这样的复杂的处理,在维持性能的同时起到复杂度降低效果。
<排他构成的示例3>
图16是表示本发明的一个实施方式的语法构成的图。如图16的(a)所示,帧内预测参数推导部304对表示是否进行根据亮度来预测色差的CCLM预测的cclm_mode_flag进行解码。在cclm_mode_flag是表示进行CCLM预测的值(在此为1)的情况下,对表示是否进行MMLM预测和CCLM预测的参照像素的索引cclm_mode_idx进行解码。MMLM预测是使用了多个模型(CCCM预测参数)的CCLM预测。在CCCM预测中,为了预测色差像素,使用多个亮度的参照像素进行滤波。在cclm_mode_idx为0、2、3的情况下,CCLM预测不处于MMLM模式,参照像素分别位于对象块的上方和左方的区域、左方的区域、上方的区域。在cclm_mode_idx为1、4、5的情况下,CCLM预测处于MMLM模式,参照像素分别位于对象块的上方和左方的区域、左方的区域、上方的区域。
在cclm_mode_idx是表示不使用多模型的值(特定的值,在图16中为0,2,3)中的任一个的情况下(IsMMLM(cclm_mode_idx)==0),对cccm_mode_flag进行解码。cccm_mode_flag是表示是否使用多个亮度像素对亮度色差预测像素进行滤波的标志。在cccm_mode_flag未出现的情况下,将cccm_mode_flag推导为表示不使用多个对象图像的值(0)。在此,如果cclm_mode_idx是INTRA_LT_MMLM(例如1)、INTRA_L_MMLM(例如4)、INTRA_T_MMLM(例如5)中的任一个,则IsMMLM为1(TRUE:真),否则为0(FALSE:假)。可以是IsMMLM(cclm_mode_idx)=(cclm_mode_idx==1)+(cclm_mode_idx==4)+(cclm_mode_idx==5)。在此,“+”也可以是逻辑和“|”。图16的(b)示出IntraPredModeC与各标志、索引的关系。在此,“-”表示不对该语法要素cccm_mode_flag进行解码,在“-”的情况下,估计(infer)为cccm_mode_flag=0。
根据本构成,在使用多个模型(多模型)的情况下,不对表示是否在用于预测色差的滤波器中使用多个参照像素的标志进行解码而估计为0。就是说,将MMLM模式和CCCM模式设为排他的。因此,能避免在多个模型的每一个中推导出多个CCCM模式的CCLM预测参数这样的复杂的处理,在维持性能的同时起到复杂度降低效果。
<排他构成的示例4>
图17是表示本发明的一个实施方式的语法构成的图。如图17的(a)所示,帧内预测参数推导部304对表示是否进行根据亮度来预测色差的CCLM预测的cclm_mode_flag进行解码。在cclm_mode_flag是表示进行CCLM预测的值(在此为1)的情况下,对表示是否使用多个亮度像素进行色差像素的亮度色差预测的滤波的cccm_mode_flag进行解码。进而,对是否为MMLM模式和表示CCLM预测的参照像素位置的索引cclm_mode_idx进行解码。MMLM模式是使用多个模型(CCCM预测参数)进行CCLM预测的模式。cclm_mode_idx的值如在<排他构成的例3>中进行了说明的那样。
在此,根据cccm_mode_flag的值来变更cclm_mode_idx的最大值cMax。cMax是输入值在规定范围内时的最大值。在cccm_mode_flag==0的情况下,设定cMax=5,使得MMLM模式可利用,使用最大值cMax的截断二进制(TB,Truncated Binary),对cclm_mode_idx进行解码。在cccm_mode_flag==1的情况下,设定cMax=2(比cccm_mode_flag==0的情况小的值),使得MMMLM模式不可利用,使用cMax的TB对cclm_mode_idx进行解码。也可以使用相同的cMax而不是TB的截断莱斯二进制(TR)。
图17的(b)示出IntraPredModeC与各标志、索引的关系。如上所述,在cccm_mode_flag=1的情况下,通过限制cccm_mode_idx的值域并设定小的cMax,使得在CCLM模式下不选择多模式。
根据本构成,在使用多个模型(多模型)的情况下,不对表示是否使用CCCM模式的标志进行解码而估计为0。就是说,能将MMLM模式和CCCM模式设为排他的。因此,能避免在多个模型的每一个中推导出多个CCCM模式的CCLM预测参数这样的复杂的处理,在维持性能的同时起到复杂度降低效果。
而且,在<排他构成的示例1>至<排他构成的示例4>中,也可以采用进一步用信号通知<由三个参数构成的示例1>中记载的cclm_nei_idx的构成。cclm_nei_idx是表示邻接像素相对于对象像素的位置的索引。在图14的(a)~图17的(a)中,在cccm_mode_flag表示CCCM预测(在本申请中为1)的情况下,用信号通知cclm_nei_idx。否则,不用信号通知cclm_nei_idx而估计为cclm_nei_idx=0。
if(cccm_mode_flag){
cclm=nei=idx
}
<排他构成的动作例>
图18是表示本发明的一个实施方式的CCLM预测部的动作的流程图。
(S3501)帧内预测参数推导部304从编码数据中解码cclm_mode_flag。
(S3502)在使用CCLM预测的情况下进入S3503。在除此以外的情况下,帧内预测部3104进行CCLM预测以外的预测。
(S3503)帧内预测参数推导部304从编码数据的CU信息推导出与CCLM预测的类别有关的信息。例如,对图14~图17的mmlm_mode_flag、cclm_mode_idx进行解码,推导出对象块是处于MMLM模式、CCCM模式还是除此以外的模式或参照位置、邻接像素的位置等。
(S3504)在与CCLM预测的类别有关的信息表示不利用多模型的情况下,进入S3507,利用三个参数以上的CCCM预测。,相反,在利用多模式的情况下,利用两个参数的CCCM预测。
(S3506)帧内预测部3104不进行CCCM预测。就是说,不进行利用了由三个以上的参数数量构成的CCLM预测参数的亮度色差预测,而推导出对亮度像素的加权系数和偏置这两个参数,进行利用了两个参数的亮度色差预测。例如,通过(MMLM-1)的算式进行预测。
(S3507)帧内预测部3104进行CCCM预测。推导出由三个以上的参数数量构成的CCLM预测参数,进行利用了三个参数以上的CCLM预测参数的亮度色差预测。例如,通过(CCCM-1)、(CCCM-2)的算式进行预测。
根据上述构成,使用亮度图像生成色差图像的预测图像的CCLM预测部具备:CCLM预测参数推导部,根据亮度像素值分类成组,能按每个上述组推导出多个CCLM预测参数;以及CCLM预测滤波部310443,使用亮度参照图像和上述CCLM预测参数生成色差预测图像,上述CCLM预测参数推导部根据是否根据亮度图像的像素值分割为两个以上的组,变更CCLM预测的参数数量。而且,CCLM预测参数推导部310442在根据亮度图像的像素值分类为两个以上的组的情况下,使用两个参数的CCLM预测的参数数量来推导出CCLM预测参数,除此以外,在使用一个组的情况下,使用三个参数的CCLM预测的参数数量来推导出参数数量。而且,运动图像解码装置具备:参数解码部302,从编码数据对表示是否进行三个参数的CCLM预测的CCLM标志和表示是否进行两个参数的CCLM预测的CCLM标志进行解码;以及CCLM预测部,在上述CCLM标志为1的情况下,推导出一个CCLM预测参数,在除此以外的情况下,推导出两个以上的CCLM预测参数。
图19是表示本发明的一个实施方式的CCLM预测部的动作的流程图。
(S3501)~(S3503)已利用图18进行了说明,因此省略说明。
(S3504)在与CCLM预测的类别有关的信息表示利用多模型的情况下,进入S3506,不利用CCCM预测。相反,在不利用多模型的情况下,进入S3505。
(S3505)在对象块的尺寸比规定的尺寸小的情况下,例如在cbWidth*cbHeight<TH的情况下,进入S3506,不利用CCCM预测而利用两个参数的多模型的预测。在对象块的尺寸为规定的尺寸以上的情况下,进入S3507,利用CCCM预测进行三个参数以上的CCLM预测。上述也可以利用cccm_mode_flag如下所示地进行推导。
cccm_mode_flag=((cbWidth*cbHeight)>=TH?1:0)&&cclm_mode_flag
(S3506)~(S3507)已利用图18进行了说明,因此省略说明。
根据上述构成,根据块大小,不从编码数据中解码语法,而选择是否利用CCCM模式,因此在维持性能的同时起到复杂度降低效果。
以下,对CCLM预测进行说明。在图9中,通过pY[][]和pRefY[][]表示亮度图像的对象块和邻接块。对象块的宽度为bW、高度为bH。
CCLM预测部31044(未滤波参照图像设定部3102)将图9的(a)~(c)的亮度邻接图像pRefY[][]和图9的(e)的色差邻接图像pRefC[][]用作参照区域推导出CCLM预测参数。CCLM预测部31044使用亮度对象图像pRef[]推导出色差的预测图像。
CCLM预测部31044在IntraPredModeC为INTRA_LT_CCLM、INTRA_LT_MMLM、INTRA_LT_CCCM_SINGLE的情况下,如图9的(a)所示,使用对象块的上邻接块和左邻接块的像素值推导出CCLM预测参数。在IntraPredModeC为82(INTRA_L_CCLM、INTRA_L_MMLM、INTRA_L_CCCM_SINGLE的情况下,如图9的(b)所示,使用左邻接块的像素值推导出CCLM预测参数。在IntraPredModeC为83(INTRA_T_CCLM、INTRA_T_MMLM、INTRA_T_CCCM_SINGLE的情况下,如图9的(c)所示,使用上邻接块的像素值推导出CCLM预测参数。各区域的大小可以如下所示。在图9的(a)中,对象块的上侧的宽度为bW,高度为refH(refH>1),对象块的左侧的高度为bH,宽度为refW(refW>1)。在图9的(b)中,高度为2*bH,宽度为refW。在图9的(c)中,宽度为2*bW,高度为refH。为了实施下采样处理,可以使refW、refH与下采样滤波器的抽头数匹配地设定为大于1的值。此外,在图9的(e)中,通过pC[][]和pRefC[][]表示色差图像(Cb、Cr)的对象块和邻接块。对象块的宽度为bWC、高度为bHC。
(CCLM预测部)
基于图8,对CCLM预测部31044进行说明。图8是表示CCLM预测部31044的构成的一个示例的框图。CCLM预测部31044包括:下采样部310441、CCLM预测参数推导部(参数推导部)310442以及CCLM预测滤波部310443。
下采样部310441对pRefY[][]和pY[][]进行下采样,以匹配色差图像的大小。在色差格式为4:2:0的情况下,将pRefY[][]和pY[][]的水平、垂直方向的像素数采样为2:1,将结果储存于图9的(d)的pRefDsY[][]、pDsY[][]。需要说明的是,bW/2、bH/2分别等于bWC、bHC。在色差格式为4:2:2的情况下,将pRefY[][]和pY[][]的水平方向的像素数采样为2:1,将结果储存于pRefDsY[][]、pDsY[][]。在色差格式为4:4:4的情况下,不实施采样,将pRefY[][]和pY[][]储存于pRefDsY[][]、pDsY[][]。通过以下算式表示采样的一个示例。
pDsY[x][y]=(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)>>3
pRefDsY[x][y]=(pRefY[2*x-1][2*y]+pRefY[2*x-1][2*y+1]+2*pRefY[2*x][2*y]+2*pRefY[2*x][2*y+1]+pRefY[2*x+1][2*y]+pRefY[2*x+1][2*y+1]+4)>>3
CCLM预测滤波部310443在cccm_mode_flag==0的情况下,将一点的参照像素refSamples[x][y]作为输入信号,使用CCLM预测参数(a,b)来输出预测图像predSamples[x][y]。
predSamples[x][y]=((a*refSamples[x][y])>>shiftA)+b (CCLM-1)
在此,refSamples为图9的(d)的pDsY,(a,b)为通过CCLM预测参数推导部310442推导出的CCLM预测参数,predSamples[][]为色差预测图像(图9的(e)的pC)。需要说明的是,分别推导出(a,b)用于Cb、Cr。此外,shiftA是表示a值的精度的归一化移位数,在将小数精度的斜率设置为af时a=af<<shiftA。例如shiftA=16。
(多邻接)
CCLM预测滤波部310443在cccm_mode_flag==1的情况下,将参照图像refSamples[x][y]及其邻接像素refSamples[x+dX][y+dY]作为输入信号,使用CCLM预测参数(a,b)来输出预测图像predSamples[x][y]。(dX,dY)例如为(-1,0)、(1,0)、(0,-1)、(0,1)等
p redSamples[x][y]=((a0*refSamples[x][y]+∑ak*refSamples[x+dXk][y+dYk])>>shiftA)+b (CCCM-1)
在此,∑是与k有关的和,可以是k=1、(dX1,dY1)=(-1,0)、
(1,0)、(0,-1)、(0,1)中的任一个。
而且,邻接像素的加权系数ak可以是多个参数。
例如,可以是k=1..2、(dX1,dY1)=(1,0)、(dX2,dY2)=(0,1)。若写下来,则用以下算式表示。
predSamples[x][y]=((a0*refSamples[x][y]+a1*refSamples[x+1][y]+a2*refSamp les[x][y+1])>>shiftA)+b(CCCM-1)
此外,在色差的预测图像predSamples的生成中,也可以在cclm_mode_llag==0的情况下使用下采样后的亮度图像,在cccm_mode_flag==1的情况下使用下采样前的亮度图像。例如,在cccm_mode_flag==1的情况下,可以如以下算式所示地推导出predSamples。
predSamples[x][y]=(a0*refSamples[x*SubWidthC][y*SubHeightC]+∑ak*refSamples[x*SubWidthC+dXk][y*SubHeightC+dYk])>>shiftA)+b(CCCM-2)
可以根据编码数据中的语法要素sps_chroma_format_idc如下所示地进行推导。
在sps_chroma_format_idc=0(Monocrome)时,SubWidthC=1、SubHeightC=1
在sps_chroma_format_idc=1(4:2:0)时,SubWidthC=2、SubHeightC=2
在sps_chroma_format_idc=2(4:2:2)时,SubWidthC=2、SubHeightC=1
在sps_chroma_format_idc=3(4:4:4)时,SubWidthC=1、SubHeightC=1
而且,也可以使用多模型来进行滤波处理。
(多模型)
在IntraPredModeC==INTRA_LT_MMLM、INTRA_L_MMLM、INTRA_T_MMLM(多模式)的情况下,也可以按亮度信号的大小对亮度信号进行分类,根据分类推导出多个CCLM预测参数,根据该预测参数进行预测图像的推导。例如,使用某个阈值thVal,如下所示地根据refSamples的大小将像素分类成modeld。然后,根据modeld,使用所确定的CCLM预测参数a[modelld]、b[modelld]进行滤波处理。
(多模型且多邻接)
在IntraPredModeC==INTRA_LT_MMLM_CM_CCCM、INTRA_L_MMLM、INTRA_T_MMLM_CCCM的情况下,就是说。、在并用MMLM和CCCM的情况下进行以下的处理。
p redSamples[x][y]=((a0[modelId]*refSamples[x][y]+∑ak[modelId]*refSamples[x+1][y])>>shiftA)+b (CCCM-1)
需要说明的是,在上述排他构成中不使用该构成。
如图8的(b)所示,CCLM预测滤波部310443具备线性预测部310444。线性预测部310444将refSamples[][]作为输入信号,使用CCLM预测参数(a,b)输出predSamples[][]。
更详细而言,线性预测部310444通过使用了CCLM预测参数(a,b)的下述的算式,根据亮度Y推导出色差Cb或Cr,使用该色差Cb或Cr输出predSamples[][]。
Cb(或Cr)=aY+b
CCLM预测参数推导部310442将亮度的下采样后的邻接块pRefY(图9的(d)的pRefDsY[][])和色差的邻接块pRefC[][](图9的(e)的pRefC[][])作为输入信号来推导出CCLM预测参数。CCLM预测参数推导部310442将推导出的CCLM预测参数(a,b)输出至CCLM预测滤波部310443。
(CCLM预测参数推导部)
CCLM预测参数推导部310442在两个参数(cccm_mode_flag==0的情况下为IntraPredModeC=INTRA_LT_CCLM、INTRA_L_CCLM、INTRA_T_CCLM、INTRA_LT_MMLM、INTRA_L_MMLM、INTRA_T_MMLM中的任一个)的情况下,推导出根据参照块refSamples[][]对对象块的预测块predSamples[][]进行线性预测的情况下的CCLM预测参数(a,b)。
在CCLM预测参数(a,b)的推导中,CCLM预测参数推导部310442从邻接块(亮度值Y、色差值C)的组中推导出亮度值Y为最大(Y_MAX)的点(x1,y1)和亮度值Y为最小(Y_MIN)的点(x2,y2)。接着,将与pRefDsY上的(x1,y1)、(x2,y2)对应的pRefC上的(x1,y1)、(x2,y2)的像素值分别设为C_MAX(或C_Y_MAX)、C_MIN(或C_Y_MIN)。然后,如图10的(a)所示,求出在分别以Y和C为x、y轴的图上连接(Y_MAX,C_MAX)和(Y_MIN,C_MIN)的直线。该直线的CCLM预测参数(a,b)能通过以下的算式推导。
a=(C_MAX-C_MIN)/(Y_MAX-Y_MIN)
b=C_MIN-(a*Y_MIN)
在使用该(a,b)的情况下,算式(CCLM-1)的shiftA=0。
在此,在色差为Cb的情况下,(C_MAX,C_MIN)为Cb的邻接块pRefCb[][]的(x1,y1)、(x2,y2)的像素值,在色差为Cr的情况下,(C_MAX,C_MIN)为Cr的邻接块pRefCr[][]的(x1,y1)、(x2,y2)的像素值。
CCLM预测参数推导部310442根据亮度的差分值diff和色差的差分值diffC,利用倒数表divSigTable,推导出CCLM预测参数的a和b以及shiftA。
diff=maxY-minY
在diff!=0的情况下,
在diff==0的情况下,
shiftA=0
a=0
b=minC
CCLM预测参数推导部310442也可以在三个参数以上(cccm_mode_flag==1的情况下为IntraPredModeC=INTRA_LT_CCCM_SINGLE、INTRA_L_CCCM_SINGLE、INTRA_T_CCCM_SINGLE中的任一个)的情况下,推导出由N个要素构成的CCLM预测参数(a0、a1......aN-2、b)。
CCLM预测参数推导部310442从参照图像pRefY、pRefC推导出以下的临时参照数组refX[][]、refY[]。
refX[0][cnt]=pRefY[x][y]
refX[1][cnt]=pRefY[x+dX1][y+dY1]
refX[2][cnt]=pRefY[x+dX2][y+dY2]
refX[N-2][cnt]=pRefY[x+dXN-2][y+dYN-2]
refX[N-1][cn t]=1
refY[cnt]=pRefC[x/SubWidthC][y/SubHeightC]
cnt=cnt+1
上述关于对象块的参照区域的(x,y)进行反复处理,每次反复时将cnt增加1。
CCLM预测参数推导部310442从参照图像pRefY、pRefC推导出以下的矩阵sumXX和矢量sumXY。
sumXX[i][j]=∑refX[i][cnt]*refX[j][cnt]
sumXY[i]=∑refX[i][cnt]*refY[cnt]
在此,∑是与cnt有关的和。需要说明的是,也可以不使用refX[][]、refY[],而通过直接与sumXX、sumXY相加来从pRefY、pRefC进行推导。
进一步将正则化项加上对角分量
sumXX[i][i]=sumXX[i][i]+(1<<(b i tDepth-1))
CCLM预测参数推导部310442通过相当于cparam=sumXY*inverse(sumXX)的线性运算推导出cparam[k]、k=0..N-1)。在此,inverse(X)是X的逆矩阵。N是参数数量,在此N>=3。邻接像素的数量+1。
a0=cparam[0]
a1=cparam[2]
b=cparam[N-1]
(MMLM的情况下的CCLM预测参数推导)
在MMLM的情况下,针对对象块推导出多个CCLM预测参数。然后,如图10的(b)所示,求出在分别以Y和C为x、y轴的图上连接(Y_MAX,C_MAX)和(Y_MIN,C_MIN)的直线。不过,与图10的(a)不同,亮度色差模型有多个,按每个模型求出连接(Y_MAX,C_MAX)和(Y_MIN,C_MIN)的直线。在此,根据参照区域的亮度值进行分类,推导出modelId。
在此,thVal是用于进行分类的阈值,也可以利用对象块的亮度值的平均值(或下采样的亮度值的平均值、从参照区域采样的亮度值的平均值)。
可以通过上述方法,对modelId的每个值,推导出refX[modelId][N][cnt]和refY[modelId][N][cnt],推导出sumXX[modelId][i][i]和sumXX[modelId][i][i],推导出CCLM预测参数。
a0[modelId]=cparam[0]
a1[modelId]=cparam[1]
b[modelId]=cparam[N-1]
(硬件实现以及软件实现)
此外,上述的运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现,也可以利用CPU(Central ProcessingUnit:中央处理器)而以软件方式地实现。
在后者的情况下,上述各装置具备:执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory:只读存储器)、展开上述程序的RAM(Random AccessMemory:随机存取存储器)以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后,本发明的实施方案的目的在于通过以下方式也能达到:将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置,该计算机(或CPU、MPU(MicroprocessorUnit:微处理器))读出记录于记录介质的程序代码并执行。
作为上述记录介质,例如能使用:磁带、盒式磁带等带类;包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory:光盘只读存储器)/MO盘(Magneto-Optical disc:磁光盘)/MD(Mini Disc:迷你磁光盘)/DVD(Digital Versatile Disc:注册商标)/CD-R(CD Recordable:光盘刻录片)/蓝光光盘(Blu-ray Disc:注册商标)等光盘的盘类;IC卡(包括存储卡)/光卡等卡类;掩模ROM/EPROM(Erasable Programmable Read-Only Memory:可擦可编程只读存储器)/EEPROM(Electrically Erasable andProgrammable Read-Only Memory:电可擦可编程只读存储器,注册商标)/闪存ROM等半导体存储器类;或者PLD(Programmable logic device:可编程逻辑器件)、FPGA(FieldProgrammable Gate Array:现场可编程门阵列)等逻辑电路类等。
此外,也可以将上述各装置构成为能与通信网络连接,并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可,不被特别限定。例如,可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network:局域网)、ISDN(IntegratedServices Digital Network:综合业务数字网)、VAN(Value-Added Network:增值网络)、CATV(Community Antenna television/Cable Television:共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外,构成该通信网络的传输介质也是为能传输程序代码的介质即可,不限定于特定的构成或种类。例如,无论在IEEE(Institute of Electrical and Electronic Engineers:电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line:非对称数字用户线路)线路等有线中,还是在如IrDA(InfraredData Association:红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate:高数据速率)、NFC(Near Field Communication:近场通讯)、DLNA(Digital Living Network Alliance:数字生活网络联盟(注册商标)、便携电话网、卫星线路、地面播数字网等无线中都可利用。需要说明的是,本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能实现。
本发明的实施方式并不限定于上述的实施方式,能在权利要求所示的范围内进行各种变更。即,将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。
附图标记说明
31:图像解码装置
301:熵解码部
302:参数解码部
303:帧间预测参数推导部
304:帧内预测参数推导部
308:预测图像生成部
309:帧间预测图像生成部
310:帧内预测图像生成部
3104:预测部(帧内预测部)
31044:CCLM预测部(预测图像生成装置)
310441:下采样部
310442:CCLM预测参数推导部(参数推导部)
310443:CCLM预测滤波部
311:逆量化/逆变换部
312:加法部
320:预测参数推导部
11:图像编码装置
101:预测图像生成部
102:减法部
103:变换/量化部
104:熵编码部
105:逆量化/逆变换部
107:环路滤波器
110:编码参数确定部
111:参数编码部
112:帧间预测参数推导部
113:帧内预测参数推导部
120:预测参数推导部

Claims (8)

1.一种CCLM预测部,使用亮度图像来生成色差图像的预测图像,所述CCLM预测部的特征在于,具备:
CCLM预测参数推导部,使用与对象块邻接的参照图像的参照像素和所述参照像素的邻接像素,推导出由第一权重、第二权重、第一偏移值构成的CCLM预测参数;以及
CCLM预测滤波部,使用所述对象块的对象像素和所述对象像素的邻接像素这两个亮度像素以及所述CCLM预测参数来生成色差预测图像,
所述CCLM预测滤波部根据所述对象像素与所述第一权重的积、所述对象像素的邻接像素与所述第二权重的积以及所述第一偏移值的和,推导出预测像素的像素值。
2.根据权利要求1所述的CCLM预测部,其特征在于,
所述参照图像和对象图像中的邻接像素的位置是对象像素(x,y)的右侧的像素(x+1,y)。
3.一种运动图像解码装置,具备:
权利要求1所述的CCLM预测部;以及
参数解码部,从编码数据中解码表示邻接像素的位置的索引,
所述运动图像解码装置的特征在于,
所述CCLM预测参数推导部与所述索引无关地将CCLM预测参数的数量设为固定,根据所述索引切换所述参照像素的邻接像素的位置来推导出所述CCLM预测参数,
所述CCLM滤波部根据所述索引切换所述邻接像素来推导出预测图像。
4.一种运动图像编码装置,具备:
所述权利要求1所述的CCLM预测部;以及
参数编码部,对从图像推导出的表示邻接像素的位置的索引进行编码,
所述运动图像编码装置的特征在于,
所述CCLM预测参数推导部与所述索引无关地将CCLM预测参数的数量设为固定,根据所述索引切换所述参照像素的邻接像素的位置来推导出所述CCLM预测参数,
所述CCLM滤波部根据所述索引切换所述邻接像素来推导出预测图像。
5.根据权利要求3所述的运动图像解码装置,其特征在于,
所述参数解码部从序列报头、切片报头或CTU报头的编码数据中解码所述索引,
从编码数据推导出表示是否进行CCLM预测的标志,
所述CCLM滤波部推导出所述对象块的预测图像。
6.一种CCLM预测部,使用亮度图像来生成色差图像的预测图像,所述CCLM预测部的特征在于,具备:
CCLM预测参数推导部,推导出CCLM预测参数;以及
CCLM预测滤波部,使用亮度参照图像和所述CCLM预测参数来生成色差预测图像,
CCLM预测部具备推导出两个参数作为乘法的系数和偏置的系数的线性预测部以及推导出三个以上的参数作为乘法的系数和偏置的系数的线性预测部,
CCLM预测部具备按亮度信号的大小将亮度信号分类成组并且根据分类推导出多种CCLM预测参数的多模型以及推导出一种CCLM预测参数的单模型,
在所述多模型的情况下,不推导出三个以上的参数。
7.根据权利要求6所述的CCLM预测部,其特征在于,
所述CCLM预测部对包括是否分类成两个组的语法要素进行解码,在所述语法要素表示使用一个组的情况下,还对表示是否推导出三个以上的参数的语法要素进行解码。
8.根据权利要求6所述的CCLM预测部,其特征在于,
所述CCLM预测部对表示是否推导出三个以上的参数的语法要素进行解码,在所述语法要素表示是两个参数的情况下,还对包括是否分类成两个组的语法要素进行解码。
CN202380051858.8A 2022-07-04 2023-07-03 Cclm预测部、运动图像解码装置以及运动图像编码装置 Pending CN119487838A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2022107511A JP2024006522A (ja) 2022-07-04 2022-07-04 予測画像生成装置、動画像復号装置、および動画像符号化装置
JP2022-107511 2022-07-04
PCT/JP2023/024662 WO2024009962A1 (ja) 2022-07-04 2023-07-03 Cclm予測部、動画像復号装置、および動画像符号化装置

Publications (1)

Publication Number Publication Date
CN119487838A true CN119487838A (zh) 2025-02-18

Family

ID=89453371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380051858.8A Pending CN119487838A (zh) 2022-07-04 2023-07-03 Cclm预测部、运动图像解码装置以及运动图像编码装置

Country Status (4)

Country Link
EP (1) EP4554212A1 (zh)
JP (1) JP2024006522A (zh)
CN (1) CN119487838A (zh)
WO (1) WO2024009962A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022024208A (ja) * 2018-12-07 2022-02-09 シャープ株式会社 動画像復号装置および動画像符号化装置
SG11202106417YA (en) * 2018-12-20 2021-07-29 Sharp Kk Prediction image generation apparatus, video decoding apparatus, video coding apparatus, and prediction image generation method
CN111405287B (zh) * 2019-01-03 2023-02-28 华为技术有限公司 色度块的预测方法和装置
JP2022107511A (ja) 2021-01-08 2022-07-21 昭和アルミニウム缶株式会社 フェイスシールド

Also Published As

Publication number Publication date
JP2024006522A (ja) 2024-01-17
EP4554212A1 (en) 2025-05-14
WO2024009962A1 (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
CN113301338B (zh) 图像编解码装置及方法
CN113196776B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN112532976B (zh) 运动图像解码装置以及运动图像编码装置
RU2761512C1 (ru) Устройство формирования изображений прогнозирования, устройство декодирования движущихся изображений, устройство кодирования движущихся изображений и способ формирования изображений прогнозирования
US20210136415A1 (en) Image decoding apparatus and image coding apparatus
JP7727757B2 (ja) 方法、電子装置、および非一時的コンピュータ可読ストレージ媒体
US20250330646A1 (en) Image decoding apparatus
JP2024521804A (ja) 成分間サンプル適応オフセットにおけるコーディングの強化
CN116965018A (zh) 运动图像编码装置、解码装置
CN113632475B (zh) 图像解码装置
CN119547441A (zh) 用于仿射运动模型的解码器侧运动矢量细化
CN112616059A (zh) 运动图像变换装置以及方法、编码数据生成装置
CN113170169B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN119487838A (zh) Cclm预测部、运动图像解码装置以及运动图像编码装置
CN117834904A (zh) 图像解码装置以及图像编码装置
CN117413516A (zh) 跨分量样本自适应偏移中的编解码增强
CN117769834A (zh) 跨分量样点自适应偏移中的编解码增强
US20240015312A1 (en) Neural network based filtering process for multiple color components in video coding
CN118985126A (zh) 用于视频译码的ccsao、双边滤波器和自适应环路滤波器的虚拟边界处理
HK1190849A (zh) 偏移解码装置、偏移编码装置、图像滤波器装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination