CN103004196B - 在经压缩位流中包含切换式内插滤波器系数 - Google Patents

Abstract

在一个实例中，编码器可将多个预定义的内插滤波器应用于视频数据的单元(例如，参考视频的帧)，以便产生多个不同的内插预测数据。所述编码器也可时常确定，新的内插滤波器或新的内插滤波器集合可能通过改善视频压缩或改善重建的图像质量而改善译码质量。所述编码器还可用信号向视频解码器通知是使用了所述预定义的内插滤波器中的一者还是使用了新的内插滤波器集合。所述编码器还可用信号向视频解码器通知是否继续使用所述新的内插滤波器集合或是否回复到使用所述预定义的内插滤波器集合。视频解码器可基于从所述视频编码器接收的数据来解码视频数据。

Description

在经压缩位流中包含切换式内插滤波器系数

本申请案主张2010年6月25日申请的第61/358,590号美国临时申请案及2010年7月9日申请的第61/363,175号美国临时申请案的权利，所述申请案中的每一者的全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频压缩，且更具体来说涉及在编码及解码一视频序列位流时使用内插滤波。

背景技术

数字视频能力可并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板型计算机(tablet computer)、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、智能电话及其类似者。数字视频装置实施视频压缩技术，例如，MPEG-2、MPEG-4或ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))，以更有效地发射及接收数字视频信息。视频压缩技术可执行空间预测及/或时间预测以减少或移除视频序列中所固有的冗余。新视频标准(例如，正由“视频译码联合合作小组”(JCTVC)开发的HEVC标准(其为MPEG与ITU-T之间的协作))继续出现并演进。此新标准有时称为H.265。

基于块的帧间译码为非常适用的译码技术，其依赖于时间预测以减少或移除视频序列的连续经译码单元的视频块之间的时间冗余。经译码单元可包含视频帧、视频帧的切片、图片的群组或视频块的另一经定义单元。对于帧间译码，视频编码器执行运动估计及运动补偿以追踪两个或两个以上邻近经译码单元的对应视频块的移动。运动估计产生运动向量，其指示视频块相对于一个或一个以上参考帧或其它经译码单元中的对应预测视频块的位移。运动补偿使用运动向量从参考帧或其它经译码单元产生预测视频块。在运动补偿之后，通过从正译码的原始视频块减去预测视频块来形成残余视频块。

视频编码器也可应用变换、量化及熵译码过程来进一步减少与残余块的通信相关联的位速率。变换技术可包含离散余弦变换(DCT)或概念上类似的过程。或者，可使用小波变换、整数变换或其它类型的变换。在DCT过程中，作为一实例，将一组像素值转换成变换系数，其可表示所述像素值在频域中的能量。将量化应用于变换系数，且量化一般涉及限制与任何给定变换系数相关联的位数目的过程。熵译码包含共同地压缩经量化变换系数的序列的一个或一个以上过程。熵译码的实例包括(但不限于)内容适应性可变长度译码(CAVLC)及上下文适应性二进制算术译码(CABAC)。

经译码视频块可通过可用以产生或识别一预测性块的预测信息及指示正译码的块与所述预测性块之间的差异的残余数据块来表示。所述预测信息可包含用以识别所述预测性数据块的一个或一个以上运动向量。给定所述运动向量，则解码器能够重建用以译码残余数据块的预测性块。因此，给定残余块集合及移动向量集合(及可能的一些额外语法)，则解码器可能够重建最初经编码的视频帧。基于运动估计及运动补偿的帧间译码可实现极好的压缩，这是因为连续的视频帧或其它类型的经译码单元常常非常类似。经编码视频序列可包含残余数据块、运动向量且可能包含其它类型的语法。

已开发出内插技术以便改善可在帧间译码中实现的压缩水平。在此种状况下，可从运动估计中所使用的视频帧或其它经译码单元的视频块的像素来内插在运动补偿期间产生的预测性数据(其用以译码视频块)。内插常常经执行以产生预测性半像素值(半像素)及预测性四分之一像素值(四分之一像素)。此内插常常产生比预测性帧或用于视频译码中的其它经译码单元的实际视频块更类似于正译码的视频块的预测性块。

发明内容

一般来说，本发明描述在视频译码的运动补偿过程期间由编码器及解码器执行的内插技术。根据本发明的技术，编码器可将多个预定义的内插滤波器应用于视频数据的单元(例如，参考视频的帧)，以便产生多个不同的内插预测数据。所述编码器也可时常确定，新的内插滤波器或新的内插滤波器集合可通过改善视频压缩或改善重建的图像质量而改善译码质量。本发明描述用于用信号向视频解码器通知是使用了所述预定义的内插滤波器中的一者还是使用了新的内插滤波器集合的技术。本发明进一步描述用于用信号向视频解码器通知是否继续使用所述新的内插滤波器集合或是否回复到使用所述预定义的内插滤波器集合的技术。

在一个实例中，本发明描述一种编码视频数据的方法。所述方法包含：内插第一参考视频子单元的第一像素值以产生第一预测数据，其中内插所述第一像素值是基于第一内插滤波器集合；产生与所述第一参考视频子单元相关联的第一语法元素以指示所述第一内插滤波器集合定义于与包含所述第一参考视频子单元的参考视频单元相关联的语法元素中；基于所述第一预测数据来编码所述视频数据；及产生包括所述经编码视频数据及所述第一语法元素的经编码位流。

在另一实例中，本发明描述一种解码视频数据的方法。所述方法包含：接收视频位流中的参考视频单元，其中所述参考视频单元包含多个子单元；识别所述参考视频单元中的第一语法元素，其中所述第一语法元素与多个子单元中的第一子单元相关联，且其中所述第一语法元素表明第一内插滤波器集合定义于与所述参考视频单元相关联的语法元素中；使用所述第一内插滤波器集合来内插所述参考视频单元的所述第一子单元的第一像素值以产生第一预测数据；及至少部分地基于所述第一预测数据来解码所述视频数据。

在另一实例中，本发明描述一种编码视频数据的设备。所述设备包含视频编码器，其经配置以进行以下动作：内插第一参考视频子单元的第一像素值以产生第一预测数据，其中内插所述第一像素值是基于第一内插滤波器集合；产生与所述第一参考视频子单元相关联的第一语法元素以指示所述第一内插滤波器集合定义于与包含所述第一参考视频子单元的参考视频单元相关联的语法元素中；基于所述第一预测数据来编码所述视频数据；及产生包括所述经编码视频数据及所述第一语法元素的经编码位流。

在另一实例中，本发明描述一种解码视频数据的设备。所述设备包含视频解码器，其经配置以：接收视频位流中的参考视频单元，其中所述参考视频单元包含多个子单元；识别所述参考视频单元中的第一语法元素，其中所述第一语法元素与多个子单元中的第一子单元相关联，且其中所述第一语法元素表明第一内插滤波器集合定义于与所述参考视频单元相关联的语法元素中；使用所述第一内插滤波器集合来内插所述参考视频单元的所述第一子单元的第一像素值以产生第一预测数据；及基于所述第一预测数据来产生经解码视频数据。

在另一实例中，本发明描述一种计算机可读存储媒体，其包含在处理器中执行时即刻致使所述处理器进行以下动作的指令：内插第一参考视频子单元的第一像素值以产生第一预测数据，其中内插所述第一像素值是基于第一内插滤波器集合；产生与所述第一参考视频子单元相关联的第一语法元素以指示所述第一内插滤波器集合定义于与包含所述第一参考视频子单元的参考视频单元相关联的语法元素中；基于所述第一预测数据来编码视频数据；及产生包括所述经编码视频数据及所述第一语法元素的经编码位流。

在另一实例中，本发明描述一种计算机可读存储媒体，其包含在处理器中执行时即刻致使所述处理器进行以下动作的指令：接收视频位流中的参考视频单元，其中所述参考视频单元包含多个子单元；识别所述参考视频单元中的第一语法元素，其中所述第一语法元素与多个子单元中的第一子单元相关联，且其中所述第一语法元素表明第一内插滤波器集合定义于与所述参考视频单元相关联的语法元素中；使用所述第一内插滤波器集合来内插所述参考视频单元的所述第一子单元的第一像素值以产生第一预测数据；及至少部分地基于所述第一预测数据来解码视频数据。

在另一实例中，本发明描述一种用于编码视频数据的装置。所述装置包含：用于内插第一参考视频子单元的第一像素值以产生第一预测数据的装置，其中内插所述第一像素值是基于第一内插滤波器集合；用于产生与所述第一参考视频子单元相关联的第一语法元素以指示所述第一内插滤波器集合定义于与包含所述第一参考视频子单元的参考视频单元相关联的语法元素中的装置；用于基于所述第一预测数据来编码所述视频数据的装置；及用于产生包括所述经编码视频数据及所述第一语法元素的经编码位流的装置。

在另一实例中，本发明描述一种用于解码视频数据的装置。所述装置包含：用于接收视频位流中的参考视频单元的装置，其中所述参考视频单元包含多个子单元；用于识别所述参考视频单元中的第一语法元素的装置，其中所述第一语法元素与所述多个子单元中的第一子单元相关联，且其中所述第一语法元素表明第一内插滤波器集合定义于与所述参考视频单元相关联的语法元素中；用于使用所述第一内插滤波器集合来内插所述参考视频单元的所述第一子单元的第一像素值以产生第一预测数据的装置；及用于至少部分地基于所述第一预测数据来解码所述视频数据的装置。

本发明的一个或一个以上方面的细节陈述于附图及下文的描述中。本发明中所描述的技术的其它特征、目标及优点将从描述及图式且从权利要求书显而易见。

附图说明

图1为说明与本发明一致的视频编码及解码系统的示范性框图。

图2为说明与本发明一致的视频编码器的实例的框图。

图3为说明与本发明一致的视频解码器的实例的框图。

图4A到4D为说明可包含预测性视频块的像素的整数像素及内插像素的概念图。

图5为与本发明一致的数据单元的概念说明。

图6到9为说明与本发明一致的技术的流程图。

具体实施方式

本发明描述内插技术，其可由编码器或解码器在视频译码的运动补偿过程期间执行。根据本发明的技术，编码器可将多个预定义的内插滤波器应用于视频单元(例如，参考视频的帧)，以便产生多个不同的内插预测数据。编码器也可时常确定，新的内插滤波器或新的内插滤波器集合可通过改善视频压缩或改善重建的图像质量而改善译码质量。本发明描述用于用信号向视频解码器通知是使用所述预定义的内插滤波器中的一者还是使用新的内插滤波器集合的技术。本发明进一步描述用于用信号向视频解码器通知是否继续使用所述新的内插滤波器集合或是否回复到使用所述预定义的内插滤波器集合的技术。

图1为说明可实施本发明的技术的一个示范性视频编码及解码系统110的框图。如图1中所示，系统110包括一源装置112，其经由通信信道115将经编码视频发射到目的地装置116。源装置112及目的地装置116可包含广泛范围的装置中的任一者。在一些状况下，源装置112及目的地装置116包含无线通信装置，例如，无线手持机、所谓的蜂窝式或卫星无线电电话、或可经由通信信道115传达视频信息的任何无线装置，在此种状况下，通信信道115为无线的。然而，关于运动补偿内插的本发明的技术不必限于无线应用或设定。

在图1的实例中，源装置112可包括视频源120、视频编码器122、调制器/解调器(调制解调器)123及发射器124。目的地装置116可包括接收器126、调制解调器127、视频解码器128及显示装置130。根据本发明，源装置112的视频编码器122可经配置以应用本发明的内插技术中的一者或一者以上以作为视频编码过程的部分。类似地，目的地装置116的视频解码器128可经配置以应用本发明的内插技术中的一者或一者以上以作为视频解码过程的部分。

图1的所说明的系统110仅为可实施本发明的技术的实例系统。本发明的内插技术可由支持运动补偿内插到子像素分辨率的任何编码装置来执行。源装置112及目的地装置116仅为这些译码装置的实例。在此种状况下，源装置112产生用于发射到目的地装置116的经译码视频数据。装置112、116可以大体上对称的方式操作，使得装置112、116中的每一者包括(例如)在组合编码器-解码器(CODEC)中的视频编码及解码组件。因此，系统110可支持视频装置112、116之间的单向或双向视频发射以(例如)用于视频串流发射、视频重放、视频广播或视频电话。

源装置112的视频源120可包括例如摄像机的视频俘获装置、含有先前俘获的视频的视频档案，或来自视频内容提供者的视频馈入。作为另一替代，视频源120可产生基于计算机图形的数据作为源视频，或实况视频、经归档视频及计算机产生的视频的组合。在一些状况下，如果视频源120为摄像机，则源装置112及目的地装置116可形成所谓的相机电话或视频电话。在每一状况下，可通过视频编码器122编码经俘获视频、经预先俘获视频或计算机产生的视频。经编码视频信息可接着由调制解调器123根据通信标准(例如，码分多址(CDMA)或另一通信标准)进行调制，且经由发射器124发射到目的地装置116。调制解调器123可包括各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。对于无线应用，发射器124可包括经设计以用于发射数据的电路，包括放大器、滤波器及一个或一个以上天线。

目的地装置116的接收器126经由信道115接收信息，且调制解调器127解调所述信息。此外，视频编码过程可实施本文中所描述技术中的一者或一者以上以在运动补偿期间改善内插。由视频解码器128执行的视频解码过程也可在解码过程的其运动补偿阶段期间执行内插。显示装置130向用户显示经解码视频数据，且可包含多种显示装置中的任一者，例如，阴极射线管、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在图1的实例中，通信信道115可包含任何无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理发射线，或无线媒体与有线媒体的任何组合。通信信道115可形成基于包的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信信道115一般表示用于将视频数据从源装置112发射到目的地装置116的任何合适通信媒体或不同通信媒体集合。

视频编码器122及视频解码器128可根据视频压缩标准(例如，ITU-T H.264标准，替代地描述为MPEG-4第10部分，高级视频译码(AVC))来操作。然而，本发明的技术不限于任何特定译码标准。虽然未展示于图1中，但在一些方面中，视频编码器122及视频解码器128可各自与音频编码器及解码器集成，且可包括适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用，则MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

ITU-T H.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)一起阐明为被称为联合视频小组(JVT)的集体合作的产品。在一些方面中，本发明中所描述的技术可应用于一般符合H.264标准的装置。H.264标准当前为普遍使用的视频译码标准，且因而本发明使用H.264标准的方面以使用实际现实的实例来帮助解释各种概念。然而，本发明的技术绝不限于H.264标准。联合视频小组(JVT)及其它群组一起继续对H.264/MPEG-4AVC的扩展及新标准全部进行工作，且预期本发明的技术也可应用于那些H.264扩展与那些下一代译码标准两者，包括新出现的HEVC标准。

视频编码器122及视频解码器128可各自实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器122及视频解码器128中的每一者可包括于一个或一个以上编码器或解码器中，其中任一者可集成为相应移动装置、订户装置、广播装置、服务器或其类似者中的组合编解码器(CODEC)的部分。

视频序列通常包括一连串视频帧。视频编码器122对个别视频帧内的视频块进行操作，以便编码视频数据。视频块可具有固定或变化的大小，且可根据指定译码标准而在大小方面不同。每一视频帧包括一系列切片。每一切片可包括一连串宏块，其可布置成子块。作为一实例，ITU-T H.264标准支持各种块大小(例如，对于亮度分量，16乘16、8乘8或4乘4，及对于色度分量，8乘8)的帧内预测，以及各种块大小(例如，对于亮度分量，16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4，及对于色度分量的对应按比例调整的大小)的帧间预测。视频块在(例如)例如离散余弦变换或概念上类似的变换过程等变换过程之后可包含像素数据块或变换系数块。新的及出现的视频标准可支持其它大小的视频块，包括例如32乘16块、32乘32块、64乘32块及64乘64块等较大块。

较小视频块可提供较好分辨率，且可用于视频帧的包括高细节水平的位置。一般来说，宏块(MB)及各种子块可被视作视频块。另外，切片可被视作一系列视频块，例如，MB及/或子块。每一切片可为一视频帧的可独立解码单元。视频编码器122及视频解码器128执行基于帧间的预测性译码，其涉及产生预测性参考数据及从预测性参考数据中减去待译码视频块以产生残余数据，所述残余数据接着可经变换、量化及熵译码。基于帧间的预测性译码可包括根据本发明的预测性数据的内插。

在基于帧间的预测性译码(其包括本发明的内插技术)之后，及在任何变换(例如，4×4或8×8整数变换或离散余弦变换DCT)之后，可执行量化。量化一般指代将系数量化以可能地减少用以表示所述系数的数据量的过程。所述量化过程可减小与所述系数中的一些系数或所有系数相关联的位深度。举例来说，16位值在量化期间可向下舍入到15位值。在量化之后，可(例如)根据内容适应性可变长度译码(CAVLC)、上下文适应性二进制算术译码(CABAC)或另一熵译码方法来执行熵译码。

根据本发明的技术，视频编码器122可将包括一连串视频帧的视频序列发射到视频解码器128。视频帧的序列可包括一序列标头且所述序列内的每一帧可包括一帧标头。视频编码器122可将多个预定义的切换式内插滤波器(SIF)应用于所述序列中的一个或一个以上视频帧，以便产生多个不同的内插的预测数据。所述预定义的切换式内插滤波器是在视频编码器122及视频解码器128两者处定义，且在本发明中将被称为固定SIF集合。根据本发明的技术，视频编码器122也可时常确定，与固定SIF集合相比，新的内插滤波器或新的内插滤波器集合可通过改善视频压缩或改善重建的图像的质量而改善译码质量。所述新的内插滤波器可(例如)包括以分析方式导出的适应性滤波器系数或可为已知与特定类型的视频数据(例如，从高分辨率视频数据向下取样的低分辨率视频数据)配合良好的内插滤波器集合。举例来说，如果已知用于对高分辨率数据向下取样的滤波器，则有可能确定导致原始高分辨率数据与从较低分辨率数据产生的高分辨率数据之间的低均方误差的内插滤波器。类似地，视频编码器可使用两个遍次对视频数据进行编码，其中在第一遍次期间，可针对场景改变分析视频以确定对特定场景来说最佳的内插滤波器。

本发明描述用于经由内插语法用信号向视频解码器128通知视频编码器122是使用来自固定SIF的滤波器还是使用来自新的内插滤波器集合的滤波器的技术。如本发明中所使用，内插语法一般指代以一个或一个以上语法元素的形式包括于经译码位流中的任何信息，所述信息由视频解码器128用以确定哪一内插滤波器或哪一内插滤波器集合用于运动补偿中。内插语法不必限于位流的特定部分内的离散数据片，而实情为可共同地指代位于经译码位流的多个部分中的多个数据片。举例来说，序列标头内的旗标及帧标头(或位流的其它位置)内的额外旗标在本发明中可共同地称为内插语法。除包括识别特定的内插滤波器集合的数据外，内插语法也可包括从内插滤波器集合识别一特定内插滤波器的语法元素。举例来说，如果固定SIF集合包括每一子像素位置四个内插滤波器，则内插语法中的语法元素可识别所述四个内插滤波器中的哪一者用于特定子像素位置。

作为本发明的技术可如何使用内插语法的实例，视频编码器122可将语法元素(例如，旗标)插入到序列标头中以用信号向视频解码器128通知是使用固定SIF集合还是新的内插滤波器集合来译码序列的帧。如果所述旗标用信号通知：视频编码器122使用新的内插滤波器集合，则序列标头中的后续数据可将所述新的滤波器集合发射到视频解码器128。如果旗标指示视频编码器122使用固定SIF集合，则描述滤波器系数的后续数据可无需包括于序列标头中。每一帧也可在帧标头中包括一旗标，所述旗标用信号向视频解码器128通知视频编码器122是否使用与先前帧中相同的内插滤波器集合、在序列标头中所识别的内插滤波器集合(其可为固定SIF集合或新的集合)来译码帧，或视频编码器122是否使用帧特定内插滤波器集合来译码帧。如果视频编码器122使用帧特定内插滤波器来译码帧，则帧特定内插滤波器的系数可包括于帧标头中。

虽然本发明将给出关于视频序列及视频帧的实例，但也可使用除序列及帧外的各种类型的译码单元。举例来说，与序列及帧相对比，也可使用序列及帧群组或序列及切片来实施本发明中所描述的技术。所描述的技术一般包括在第一译码单元层级下用信号通知新的内插滤波器集合，及接着在一较小译码单元层级(例如，帧群组、帧或切片)下用信号通知关于内插滤波器的其它信息。

图2为说明与本发明一致的可执行运动补偿内插的视频编码器250的实例的框图。视频编码器250可对应于装置112的视频编码器122或不同装置的视频编码器。视频编码器250可执行视频帧内的块的帧内译码及帧间译码，但未说明帧内译码。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧内的视频的时间冗余。帧内模式(I模式)可指代基于空间的压缩模式，且例如预测(P模式)或双向(B模式)的帧间模式可指代基于时间的压缩模式。本发明的技术通常可在帧间译码期间应用，且因此为说明的简单性及简易性起见而未在图2中说明例如空间预测单元的帧内译码单元。

如图2中所示，视频编码器250接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器250包括运动估计单元232、运动补偿单元235、存储器234、加法器248、变换单元238、量化单元240及熵译码单元246。对于视频块重建，视频编码器250还包括反量化单元242、反变换单元244及加法器251。还可包括解块滤波器(未图示)以对块边界进行滤波，从而从重建的视频移除成块假影。如果需要，则解块滤波器将通常对加法器251的输出进行滤波。另外，额外滤波器(例如，回路后滤波器或回路内滤波器)也可用以改善视频质量。

在编码过程期间，视频编码器250接收待译码的视频块，且运动估计单元232及运动补偿单元235执行帧间预测性译码。运动估计单元232及运动补偿单元235可高度集成，但为概念目的而分别说明。通常将运动估计视为产生运动向量的过程，所述过程估计视频块的运动。运动向量(例如)可指示预测性帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内的正译码的当前块的位移。通常将运动补偿视为基于由运动估计确定的运动向量提取或产生预测性块的过程。此外，运动估计单元232及运动补偿单元235可在功能上集成。本发明中所描述的内插技术经描述为由运动补偿单元235执行。然而，可在运动估计期间执行内插，以便促进最佳运动向量的选择。

根据本发明，运动估计单元232通过比较待译码的视频块与预测性经译码单元(例如，先前帧)的视频块来选择用于待译码的视频块的适当运动向量。就此来说，运动补偿单元235可执行内插以便产生子像素分辨率下的预测性数据。在一些状况下，在运动估计期间，内插可基于固定内插滤波器。在其它状况下，为运动向量选择的目的，在运动估计过程期间也可使用在运动补偿期间应用的不同内插滤波器。

一旦运动估计单元232已选择用于待译码的视频块的运动向量，则运动补偿单元235产生与所述运动向量相关联的预测性视频块。然而，根据本发明，运动补偿单元235可考虑具有子像素分辨率的任何预测性视频块的若干版本。在此种状况下，运动补偿单元235可应用多个预定义的内插滤波器(固定SIF集合)，以便产生用于待译码的视频块的多个不同的内插预测数据。运动补偿单元235也可应用不同于固定SIF集合的滤波器。作为一实例，如果使用特定的向下取样滤波器从一高分辨率序列产生一特定低分辨率序列，则可需要针对特定序列使用新的内插滤波器集合。在此种状况下，当运动补偿单元235编码低分辨率序列时，可基于对向下取样滤波器的了解而导出对应于分数像素位置的新的内插滤波器集合。

运动补偿单元235接着选择实现最高压缩水平的内插预测数据(例如，与内插滤波器中的一者相关联的内插视频块)。用以产生内插数据的内插滤波器可经译码为内插语法且传达到熵译码单元246以用于包括于经译码位流中。本发明的技术(其将在下文中较详细地论述)包括使用内插语法来用信号通知：运动补偿单元235是使用来自固定SIF集合的滤波器还是使用来自新的内插滤波器集合的滤波器来译码视频数据。一旦运动补偿单元235已选择且应用最佳内插滤波器，则运动补偿单元235使用所述内插滤波器产生预测性数据，且视频编码器应用加法器248以从正译码的视频块减去所述预测性数据以产生残余数据。

如所提及，一旦运动补偿单元235产生预测数据(例如，内插的预测性视频块)，则视频编码器250通过从正译码的原始视频块减去预测数据来形成残余视频块。加法器248表示执行此减法操作的一或多个组件。变换单元238将变换(例如，离散余弦变换(DCT)或概念上类似的变换)应用于所述残余块，从而产生包含残余变换块系数的视频块。变换单元238(例如)可执行其它变换(例如，由H.264或HEVC标准所定义的那些变换)，其在概念上类似于DCT。也可使用小波变换、整数变换、次频带变换或其它类型的变换。在任何状况下，变换单元238将所述变换应用于所述残余块，从而产生残余变换系数块。所述变换可将残余信息从像素域转换到频域。

量化单元240量化所述残余变换系数以进一步减小位速率。所述量化过程可减小与所述系数中的一些系数或所有系数相关联的位深度。举例来说，16位值在量化期间可向下舍入到15位值。在量化之后，熵译码单元246熵译码经量化变换系数。举例来说，熵译码单元246可执行内容适应性可变长度译码(CAVLC)、上下文适应性二进制算术译码(CABAC)或另一熵译码方法。在通过熵译码单元246进行的熵译码之后，可将经编码视频发射到另一装置或经归档以供稍后发射或检索。经译码位流可包括经熵译码残余块、用于这些块的运动向量，及包括识别由运动补偿单元235应用的内插滤波器的内插语法的其它语法。

反量化单元242及反变换单元244分别应用反量化及反变换以在像素域中重建残余块(例如)以供稍后使用参考块。加法器251将重建的残余块加到由运动补偿单元235产生的运动补偿预测块以产生重建的视频块以供存储于存储器234中。重建的视频块可由运动估计单元232及运动补偿单元235用作参考块以帧间编码后续视频帧中的块。

图3为说明视频解码器360的实例的框图，所述视频解码器360解码以本文中所描述的方式编码的视频序列。视频解码器360包括运动补偿单元355，所述运动补偿单元355执行本发明的内插技术以用于解码。特定来说，在解码侧，运动补偿单元355可从内插语法接收来自熵解码单元352的语法元素，所述语法元素识别视频序列的帧是使用来自固定SIF集合的滤波器还是使用来自新的内插滤波器集合的滤波器来译码。如果是使用新的滤波器集合，则序列标头也可包括定义新的内插滤波器集合的额外数据。运动补偿单元355可产生预测数据，其包括基于由内插语法所识别的所述内插滤波器集合来内插参考视频数据的像素值。具体来说，运动补偿单元355可基于从熵解码单元352接收的运动向量及如由语法元素(在图3中标记为内插语法)定义的内插来产生预测数据。基于此内插预测数据，可解码视频数据(例如，重建的残余视频块)。

熵解码单元352熵解码所接收的位流以产生量化系数及语法(例如，发送到运动补偿单元355的内插语法及运动向量)。反量化单元356反量化(即，解量化)经量化的块系数。反量化过程可为如由H.264解码所定义的常规过程。反变换单元358将反变换(例如，反DCT或概念上类似的反变换过程)应用于变换系数以便在像素域中产生残余块。运动补偿单元355以本文中所描述的方式(例如，包括基于由语法元素(即，内插语法)识别的内插滤波器系数集合的内插)产生运动补偿块。

加法器364通过对残余块与由运动补偿单元355产生的对应预测块求和而解码残余块，以形成经解码块。如果需要，也可应用解块滤波器来对经解码块进行滤波，以便移除成块假影。接着将经解码视频块存储于存储器362中，存储器362是提供用于后续运动补偿的参考块且也产生到驱动显示装置(例如，图1的装置130)的经解码视频的存储元件。

此外，本发明的技术关于运动补偿内插，其中预测性视频块的像素值经内插到子像素分辨率。编码器使用本发明的技术来识别视频帧的序列是使用来自固定SIF集合的滤波器还是使用新的内插滤波器集合来编码。不同滤波器(无论为固定SIF集合的部分还是新的集合)的特征可为滤波器系数的不同集合、滤波器系数的不同数目或不同滤波器类型。解码器解译从编码器发送的语法元素以便识别由编码器所使用的相同的所要内插滤波器系数集合。

图4A到4D为说明可包含预测性视频块的像素的整数像素及内插像素的概念图。在图4的概念说明中，不同方块表示像素。大写字母(在具有实线的方块中)表示整数像素位置，而小写字母(在具有虚线的方块中)表示内插像素位置。字母标签在本文中可用于描述像素定位或像素位置，或可指代与各种位置相关联的像素值。像素位置“aa”、“bb”、“cc”、“dd”、“ee”、“ff”、“gg”、“hh”、“ii”及“jj”为用于与像素位置“C3”相关联的各种分数位置的分数内插中的半像素位置。

每一像素位置可具有相关联的15个不同分数位置(例如，按照依从ITU H.264/AVC标准的内插)，或可具有按照最新出现的HEVC标准的相关联的63个分数位置。在图4A到4D的实例中，将与像素“C3”相关联的这些15个不同分数位置说明为子像素位置a到o。为说明的简单性及简易性起见，未展示大多数其它分数位置(不同于上文提及的那些位置，其用以产生与像素“C3”相关联的15个不同分数位置中的一者或一者以上)。虽然为解释的简易性起见，图4A到4D的实例展示仅15个不同分数位置，但本发明的技术可易于扩展到63个不同分数位置或其它分数像素准确度。

在ITU H.264/AVC标准中，为了获得在半像素位置处的亮度信号，通常使用具有系数[1、-5、20、20、-5、1]的6分接头维纳(Wiener)滤波器。接着，为了获得在四分之一像素位置处的亮度信号，使用双线性滤波器。双线性滤波器也可用于色度分量的分数像素内插中，所述色度分量在H.264/AVC中可具有高达1/8像素精度。

像素位置“b”及“h”的半像素内插在图4B中分别示范在水平及垂直方向上。在此种状况下，像素位置“b”可基于整数像素“C1”、“C2”、“C3”、“C4”、“C5”及“C6”而内插。类似地，像素位置“h”可基于整数像素“A3”、“B3”、“C3”、“D3”、“E3”及“F3”而内插。可应用不同内插滤波器(例如，不同的滤波器分接头集合)以产生如本文中所描述的像素位置“b”及“h”的不同内插值。在图4B中，内插像素位置“b”及“h”以阴影展示，且整数像素位置“C1”、“C2”、“C3”、“C4”、“C5”、“C6”、“A3”、“B3”、“C3”、“D3”、“E3”及“F3”以交叉影线展示。

图4C说明可需要两个层级的内插的一个特殊状况。特定来说，像素位置“j”不同于其它半像素位置在于：像素位置“j”本身是基于其它半像素值而内插。举例来说，像素位置“j”可基于在水平方向上的半像素内插值“cc”、“dd”、“h”、“ee”、“ff”及“gg”而内插。或者，像素位置“j”可基于在垂直方向上的半像素内插值“aa”、“bb”、“b”、“hh”、“ii”及“jj”而内插。在图4C中，内插像素位置“j”以阴影展示，在垂直方向上的半像素内插值“aa”、“bb”、“b”、“hh”、“ii”及“jj”以右到左交叉影线展示，且半像素内插值“cc”、“dd”、“h”、“ee”、“ff”及“gg”以左到右交叉影线展示。

图4D以阴影说明四分之一像素位置“a”、“c”、“d”、“e”、“f”、“g”、“i”、“k”、“l”、“m”、“n”及“o”，且以交叉影线说明用于此四分之一像素内插的整数像素位置及半像素位置(例如，“C3”、“b”、“C4”、“h”、“j”、“ee”、“D3”、“hh”及“D4”)。在一些译码标准中，与多步骤内插滤波相对比，可使用直接滤波来内插所有分数位置(包括四分之一像素位置及八分之一像素位置两者)。根据本发明的技术，每一分数像素位置可具有相关联的内插滤波器集合(即，固定SIF集合)(可从其中选择一特定滤波器)，或可具有额外的相关联的内插滤波器集合。

在运动估计之后，可识别给定视频块的最佳运动向量，例如，可能使用速率失真模型来平衡译码速率与质量。接着，在运动补偿期间使用最佳运动向量形成预测视频块。如上所概述，通过从原始视频块减去预测视频块来形成残余视频块。接着将变换应用于残余块，且量化及熵译码变换系数以进一步减小位速率。

此外，图4A到4D以具有大写字母的实线方块展示整数像素样本(也称为全像素)。对于任何给定的整数像素样本，存在总共15个子像素位置，其在图4A到4D中针对整数像素样本C3而展示且标记为“a”到“o”。在H.264/AVC中，可首先使用一维6分接头维纳滤波器来计算半像素位置“b”、“h”及“j”。如所提及，半像素位置“j”可能需要使用6分接头滤波的两个层级的此内插。在此种状况下，对于像素位置“j”，内插滤波器首先应用于水平方向上且接着应用于垂直方向上，其中可能在一个维度上的内插之后对内插像素值进行中间舍入，以便确保数据可存储于16位存储元件内。剩余四分之一像素位置接着经由使用双线性滤波器及已计算的半像素样本的滤波来内插。

图5表示参考视频510的经译码单元，例如，视频帧序列或图片群组。所述经译码单元包括一单元标头511(例如，序列标头)及多个子单元520、530、540(例如，多个帧)。每一子单元520、530、540包括子单元标头521、531、541(例如，帧标头)及有效负载数据522、532、542。有效负载数据一般可包括任何类型的数据，例如，经编码残余视频数据。如上文所介绍，本发明的技术包括视频编码器(例如，视频编码器122或250)，所述编码器将内插语法在经译码位流中发送到视频解码器(例如，视频解码器128或360)。内插语法可包括贯穿参考视频510的一单元的单元标头511及子单元标头521、531、541而分散的多个语法元素。

内插语法包括使视频解码器能够确定由视频编码器在运动补偿期间所使用的内插滤波器或内插滤波器集合的多个语法元素。在一个实例中，视频编码器将一旗标包括在单元标头511中，所述旗标指示子单元520、530、540是使用固定SIF集合还是新的内插滤波器来译码。所述旗标可(例如)为单一位，其中0表明视频编码器使用固定SIF集合，且1表明使用新的内插滤波器。如果旗标设定为0且是使用固定SIF集合，则视频编码器可不将关于新的滤波器的任何额外信息发射到视频解码器。然而，如果旗标设定为1且视频编码器是使用新的内插滤波器，则视频编码器可在单元标头511中将额外信息发射到视频解码器，所述额外信息允许视频解码器重建由视频编码器使用的新的内插滤波器集合。如上文所描述，存在允许视频解码器重建完整的内插滤波器集合同时接收少于所述集合中的各种内插滤波器的所有滤波器系数的系数的各种技术。

当旗标设定为1而指示使用新的内插滤波器时，所述旗标未必指示新的内插滤波器或新的内插滤波器集合一直用于子像素位置。在一些实施方案中，除固定SIF集合外，视频编码器还可使用新的内插滤波器，从而本质上扩展了固定SIF集合。举例来说，如果固定SIF集合包括每一子像素位置四个内插滤波器且旗标经设定为1而指示使用新的内插滤波器，则视频编码器可针对每一子像素位置将两个新的内插滤波器发射到视频解码器。当执行运动补偿时，针对每一子像素位置，视频编码器及解码器未必限于所述两个新的内插滤波器，而是可从用于子像素位置的六个内插滤波器中选择，其中所述六个内插滤波器的集合包括来自固定SIF集合的四个滤波器及所述两个新的内插滤波器。

在单一新的内插滤波器用于每一分数像素位置的实例中，则对于每一分数像素位置，视频编码器可在单元标头511中将滤波器系数发射到视频解码器。在一些实施方案中，用于新的内插滤波器中的滤波器系数的数目可为可变的，在所述状况下视频编码器可能在单元标头511中除滤波器系数自身外还将指示所述系数的数目的语法元素发射到视频解码器。在用于每一分数像素位置的每一内插滤波器的系数数目相同的实施方案中，则仅指示滤波器系数的数目的单一语法元素需要在单元标头511中从视频编码器发射到视频解码器。在每一子像素位置可能使用不同数目个滤波器系数的实施方案中，则视频编码器可在单元标头中包括指示滤波器系数的数目的语法元素。在子像素位置(例如，半像素位置及四分之一像素位置)的不同群组各自具有不同数目个可能的滤波器系数的实施方案中，则指示可用于每一群组的滤波器系数的数目的语法元素可包括于单元标头511中。

视频编码器及视频解码器可经配置以利用滤波器系数中的各种对称性以限制滤波器系数的数目，且因此限制需要发射的位的数目。剩余系数可在解码器处基于所传达的系数来产生。特定来说，解码器可经编程以知晓应用对称性，且对称性可界定如何基于所传达的系数来产生任何剩余系数。举例来说，如果视频编码器用信号向视频解码器通知用于每一分数位置的新的内插滤波器包括六个系数，则视频编码器可针对半像素位置“b”、“h”及“j”仅将三个系数发射到视频解码器，且根据这三个系数，视频解码器可重建内插滤波器的六个系数。如果(例如)对于子像素位置“b”，视频编码器发射系数X1、X2及X3，则视频解码器可使用对称性来重建内插滤波器的六个系数，其将对应于[X1*C1+X2*C2+X3*C3+X3*C4+X2*C5+X1*C6]。对于一些子像素位置，视频解码器可能够在第一子像素位置处重新使用内插滤波器的所述系数以在不同子像素位置处重建内插滤波器。举例来说，如果用于子像素位置“a”的滤波器系数为X1、X2、X3、X4、X5及X6，则根据这六个系数，视频解码器可重建两个内插滤波器。用于子像素“a”的内插滤波器可为[X1*C1+X2*C2+X3*C3+X4*C4+X5*C5+X6*C6]，而用于子像素“c”的内插滤波器可为[X6*C1+X5*C2+X4*C3+X3*C4+X2*C5+X1*C6]。

在其中新的滤波器集合而非单一新的滤波器用于每一分数像素位置的实例中，则对于每一分数像素位置，视频编码器可将所述新的内插滤波器集合的系数发射到视频解码器。在一些实施方案中，新的可能的滤波器的数目及每一滤波器中的系数的数目中的一者或两者可变化，在所述状况下视频编码器将指示每一分数位置的新的内插滤波器的数目的语法元素及/或指示每一新的内插滤波器的滤波器系数的数目的语法元素发射到视频解码器。如果可能的新的内插滤波器的数目对于所有分数像素位置是相同的，则可将指示可能的新的内插滤波器的数目的单一语法元素从视频编码器发射到视频解码器。然而，如果每一分数位置可具有可能的不同数目个新的内插滤波器，则对于每一分数像素位置，可将指示新的可能的内插滤波器的数目的语法元素从视频编码器发送到视频解码器。

在一些实施方案中，新的内插滤波器集合可能包括用于一些分数像素位置的第一数目个新的内插滤波器及用于其它分数位置的不同数目个新的内插滤波器。举例来说，新的内插滤波器集合可包括用于半像素位置b、h及j中的每一者的两个新的内插滤波器及用于四分之一像素位置a、c、d、e、f、g、i、k、m及o中的每一者的四个新的内插滤波器。在此实例中，视频编码器可能将指示可能的新的内插滤波器的数目的两个语法元素发射到视频解码器，第一语法元素指示用于半像素位置的新的可能的内插滤波器的数目且第二语法元素指示用于四分之一像素位置的可能的新的内插滤波器的数目。

如上文所论述，在一些实施方案中，用于新的内插滤波器中的滤波器系数的数目也可为可变的，在所述状况下视频编码器可将指示每一子像素位置处的滤波器的滤波器系数的数目的语法元素发射到视频解码器。在用于每一分数像素位置的每一滤波器使用相同数目个滤波器系数的实施方案中，则视频编码器可仅将指示滤波器系数的数目的单一语法元素发射到视频解码器。在每一子像素位置可能使用不同数目个滤波器系数的实施方案中，则针对每一子像素位置将指示滤波器系数的数目的语法元素从视频编码器发送到视频解码器。在不同的子像素位置(例如，半像素位置及四分之一像素位置)群组各自具有不同数目个可能的滤波器系数的实施方案中，则可针对每一群组将指示滤波器系数的数目的语法元素从视频编码器发送到视频解码器。如上文较详细地论述，将滤波器系数从视频编码器发射到视频解码器所需的位数目可通过在重建滤波器系数时在视频解码器处使用对称性而减少。

假定通过变量“NumFixedFilters”表示固定SIF集合中的固定滤波器的数目，则序列标头中的一位旗标可用以指示额外滤波器是否正包括于位流中。如果旗标为1，则也可用信号通知额外滤波器的数目，其后接着是以字节计的滤波器系数的精度及每一滤波器的系数。如果正发送用于1/4、1/2及3/4像素位置的滤波器，则归因于先前所论述的各种对称性，发送(3*分接头的数目/2)个系数来指定待用于所有分数像素(1/4)位置中的滤波器是足够的。因此，如果旗标为1，则用信号通知额外滤波器的数目(NumExtraFilters)。在一个实例中，额外滤波器的最大数目可能限于4。在此种状况下，可使用2个位(NumExtraFilters-1)来用信号通知额外滤波器的数目。所属领域的技术人员将认识到，可使用不同的最大值。对于每一滤波器，滤波器精度可作为字节的数目而用信号通知。因此，如果滤波器系数在范围[-128,127]中，则仅一个字节是必要的。在一个实例中，可能允许2个字节的最大值用于滤波器精度。因此，其可使用单一位来用信号通知，其中0对应于1个字节且1对应于2个字节。此后可接着是发送((分接头的数目/2)-1)。应注意，所使用的内插滤波器一般始终为偶数长度。接着，使用先前指定的精度来发送(3*分接头的数目/2)个系数。针对每一额外滤波器重复此过程。此实例假定，一个额外滤波器指代用于所有分数像素(1/4)位置的一个额外滤波器。

因此，总体来说，在接收额外内插滤波器之后，现在存在总计N个滤波器，其中N＝NumFixedFilters+NumExtraFilters。如果不包括额外滤波器，则NumExtraFilters＝0。

先前论述已集中在包括于第一译码单元的标头(例如，视频序列标头)中的语法元素。额外语法元素可包括于所述译码单元的子单元的标头中，例如，包括于视频序列的帧的帧标头中。在一些状况下，每一帧标头可包括指示以下情形的语法元素：帧是否是使用与先前帧中使用的内插滤波器集合相同的内插滤波器集合、序列标头中所识别的内插滤波器集合(其可为固定SIF集合或包括于序列标头中的新的内插滤波器)来编码，或另一新的内插滤波器集合是否包括于帧标头中。

在一个实例中，单一位的语法元素可用以用信号向视频解码器通知序列的特定帧是否是使用与序列中的先前帧(按编码次序)相同的内插滤波器集合来译码。举例来说，如果使用相同的内插滤波器集合，则可将所述单一位设定为0，且如果使用不同的内插滤波器集合，则可将所述位设定为1。如果将所述位设定为1而指示使用不同的内插滤波器集合，则第二位可用以指示不同的内插滤波器集合是否为序列标头中所识别的内插滤波器，或不同的内插滤波器集合是否包括于帧标头中。因此，对于每一帧，帧标头中的语法元素可解译如下：

0：使用与先前帧(按编码次序)中相同的内插滤波器集合。

10：使用来自序列标头的内插滤波器集合。此集合可为固定SIF集合或序列标头中所识别的新的内插滤波器集合，如上文所描述。

11：新的内插滤波器集合包括于帧标头中。

当帧标头中的语法元素等于11时，则可使用上文针对将额外内插滤波器包括于序列标头中所描述的相同技术将用于每一子像素位置的额外滤波器或滤波器集合包括于帧标头中。

图6为与本发明一致的视频编码的一个或一个以上方面的流程图。图5将从图2中所示的视频编码器250的观点来论述。特定来说，运动补偿单元235产生预测数据(601)，包括基于为固定SIF集合的部分或新的内插滤波器集合的内插滤波器而内插。运动补偿单元235接着基于与内插滤波器中的每一者相关联的预测数据来编码视频数据(例如，视频块)(602)。举例来说，运动补偿单元235可调用加法器248以产生与内插滤波器中的每一者相关联的残余块，使得不同残余块可彼此作比较以发现最佳残余块。运动补偿单元235选择实现最高压缩水平的视频数据(603)。特定来说，将选定视频数据说明为加法器248的“残余块”输出，其为最终输出。加法器248的此最终输出由变换单元238变换，由量化单元240量化，且由熵译码单元246熵译码。

运动补偿单元235还识别与实现最高压缩水平的选定残余视频数据相关联的特定内插滤波器(604)。运动补偿单元235将内插语法元素转发到熵译码单元246。内插语法识别所使用的特定内插滤波器是来自固定SIF集合还是来自新的内插滤波器集合。如果所使用的特定内插滤波器是来自固定SIF集合，则运动补偿单元235识别固定SIF集合中的哪一滤波器对应于所述特定内插滤波器，且如果所使用的特定内插滤波器是来自新的内插滤波器集合，则运动补偿单元235发射数据，使得所述新的内插滤波器集合可在解码器处重建。在图2的实例中，熵译码单元246编码内插语法(605)以形成输出位流的部分。然而，在其它实例中，语法元素(例如，上文所描述的语法元素0、10及11)可在不经历熵译码过程的情况下经编码以形成输出位流的部分。通过将内插语法元素编码于输出位流中，在视频编码器250处使用的内插滤波器(例如，所使用的滤波器系数或其它滤波器设计或参数)可传达到目的地装置，使得目的地装置可在视频重建期间执行适当的内插滤波。

图7为与本发明一致的视频解码的一个或一个以上方面的流程图。图7将从图3中所示的视频解码器360的观点来论述。特定来说，视频解码器360接收经编码视频数据(711)，且接收识别经编码视频数据是使用来自固定SIF集合的滤波器还是新的内插滤波器来编码的内插语法(712)。经编码位流可包括经编码残余视频数据及识别在编码器处所使用的内插滤波器的内插语法元素两者。在所述实例中，熵解码单元352熵解码所接收的位流以剖析出经变换及量化的残余块(将其发送到反变换量化单元356及反变换单元358)，且剖析出内插语法元素及运动向量(将其发送到运动补偿单元355)。然而，在其它实例中，可能不需要熵解码内插语法。

运动补偿单元355产生预测数据(713)，包括基于由内插语法元素识别的内插滤波器的内插。视频解码器360基于预测数据来解码视频数据(714)。特定来说，由运动补偿单元355产生的预测数据可经由加法器364与残余数据组合以在像素域中重建视频数据。经解码视频接着可存储于存储器362中以供随后用于预测，且也可经输出以用于(例如)经由显示器或其它输出装置呈现给用户。

图8为说明与本发明一致的视频编码的一个或一个以上方面的流程图。图8将从图2中所示的视频编码器250的观点来论述。运动补偿单元235基于第一内插滤波器集合而内插第一参考视频子单元的第一像素值以产生第一预测数据(801)。运动补偿单元235可通过调用加法器248而(例如)内插第一像素值以产生与多个内插滤波器相关联的残余块，使得不同残余块可彼此作比较以发现最佳残余块。运动补偿单元235可选择实现最高压缩水平的视频数据。特定来说，将选定视频数据说明为加法器248的“残余块”输出，其为最终输出。运动补偿单元235还产生与第一参考视频子单元相关联的第一语法元素以指示第一内插滤波器集合定义于与包含所述第一参考视频子单元的参考视频单元相关联的语法元素中(802)。运动补偿单元235基于第一预测数据来编码视频数据(803)，编码第一语法元素(804)，且编码第一内插滤波器集合的系数(805)。

第一预测数据的编码可(例如)包括加法器248的最终输出由变换单元238变换、由量化单元240量化且由熵译码单元246熵译码。第一语法元素的编码可(例如)包括运动补偿单元235将第一语法元素转发到熵译码单元246，且熵译码单元246编码第一语法元素以形成输出位流的部分。第一内插滤波器集合的系数的编码可(例如)包括运动补偿单元235将描述滤波器系数的信息(例如，可能的滤波器的数目及每一滤波器的长度以及滤波器系数自身中的一些系数或所有系数)转发到熵译码单元246，且熵译码单元246编码描述滤波器系数的信息及滤波器系数以形成输出位流的部分。以此方式，在视频编码器250处所使用的内插滤波器(例如，所使用的滤波器系数或其它滤波器设计或参数)可传达到目的地装置，使得目的地装置可在视频重建期间执行适当的内插滤波。

在一些实例中，第一参考视频子单元可为参考视频的第一帧，且参考视频单元可能为包括参考视频的所述第一帧的帧序列。在此实例中，第一语法元素可包括于帧标头(例如，参见图5的子单元标头521、531及541)中且第一系数集合可包括于序列标头(例如，参见图5的单元标头511)中。

以与上文针对第一像素值及第一语法元素所描述相同的方式，运动补偿单元235也可基于第二内插滤波器集合而内插第二参考视频子单元的第二像素值以产生第二预测数据，产生与第二参考视频子单元相关联的第二语法元素以指示第二内插滤波器集合经预定义，基于第二预测数据来编码视频数据，且编码第二语法元素。第二子单元可(例如)为参考视频帧，且第二语法元素可包括于所述参考视频帧的帧标头中。

以与上文针对第一像素值及第一语法元素所描述相同的方式，运动补偿单元235可基于第三内插滤波器集合而内插第三参考视频子单元的第三像素值以产生第三预测数据，产生与第三参考视频子单元相关联的第三语法元素以识别第三内插滤波器集合将定义于第三参考视频子单元的标头中，基于第三预测数据来编码视频数据，且编码第三语法元素。第三子单元可(例如)为参考视频帧，且第三语法元素可包括于所述参考视频帧的帧标头中。参考视频帧的帧标头可另外包括第三内插滤波器集合。

以与上文针对第一像素值及第一语法元素所描述相同的方式，运动补偿单元235可基于第四内插滤波器集合而内插第四参考视频子单元的第四像素值以产生第四预测数据，产生与第四参考视频子单元相关联的第四语法元素以识别第四内插滤波器集合将基于先前参考视频子单元来定义，基于第四预测数据来编码视频数据，且编码第四语法元素。第四子单元可(例如)为参考视频帧，且先前子单元可为参考视频的先前帧。第四语法元素可包括于所述参考视频帧的帧标头中。第四内插滤波器集合为由参考视频的先前帧使用的相同的内插滤波器集合，且可包括于参考视频的先前帧的帧标头中，包括于切片标头中，或可为预定义的滤波器的部分。

图9为说明与本发明一致的视频解码的一个或一个以上方面的流程图。图9将从图3中所示的视频解码器360的观点来论述。特定来说，视频解码器360接收视频位流中的包括多个子单元的参考视频单元(901)。熵解码单元352可熵解码所接收的位流以剖析出经变换及量化的残余块(将其发送到反变换量化单元356及反变换单元358)，且剖析出内插语法元素及运动向量(将其发送到运动补偿单元355)。在内插语法内，运动补偿单元355可识别与所述多个子单元中的第一子单元相关联的第一语法元素(902)。所述第一语法元素可向运动补偿单元355表明第一内插滤波器集合定义于与参考视频单元相关联的语法元素中。从与参考视频单元相关联的语法元素中的数据，运动补偿单元355可确定第一内插滤波器集合的滤波器系数且重建第一滤波器系数集合(903)。运动补偿单元355使用第一内插滤波器集合来内插参考视频单元的第一子单元的第一像素值以产生第一预测数据(904)，且运动补偿单元355从第一预测数据产生经解码视频(905)。特定来说，由运动补偿单元355产生的第一预测数据可经由加法器364与残余数据组合以在像素域中重建视频数据。经解码视频接着可存储于存储器362中以供随后用于预测，且也可经输出以用于(例如)经由显示器或其它输出装置呈现给用户。在某一实例中，第一参考视频子单元为参考视频的第一帧，且参考视频单元为包含参考视频的所述第一帧的帧序列。

以与上文针对第一像素值及第一语法元素所描述相同的方式，运动补偿单元355可识别参考视频单元中的与多个子单元中的第二子单元相关联且表明第二内插滤波器集合经预定义的第二语法元素，使用第一内插滤波器集合来内插参考视频单元的第二子单元的第二像素值以产生第二预测数据；且基于第二预测数据来产生经解码视频数据。

以与上文针对第一像素值及第一语法元素所描述相同的方式，运动补偿单元355可识别参考视频单元中的与多个子单元中的第三子单元相关联且表明第三内插滤波器集合将定义于第三参考视频子单元的标头中的第三语法元素，使用第三内插滤波器集合来内插参考视频单元的第三子单元的第三像素值以产生第三预测数据，且基于第三预测数据来产生经解码视频数据。运动补偿单元355可基于第三参考视频子单元的标头来进一步重建第三内插滤波器集合。

以与上文针对第一像素值及第一语法元素所描述相同的方式，运动补偿单元355可识别参考视频单元中的与多个子单元中的第四子单元相关联且表明第四内插滤波器集合将基于参考视频的先前帧来定义的第四语法元素，使用第四内插滤波器集合来内插参考视频单元的第四子单元的第四像素值以产生第四预测数据，且基于第四预测数据来产生经解码视频数据。

本发明的所述技术可体现于广泛多种装置或设备中，包括无线手持机及集成电路(IC)或IC的集合(即，芯片组)。已描述经提供以强调功能性方面的任何组件、模块或单元，且其未必需要通过不同硬件单元等来实现。

因此，可以硬件、软件、固件或其任何组合来实施本文中所描述的技术。描述为模块或组件的任何特征可一起实施于集成逻辑装置中或单独地实施为离散但可交互操作的逻辑装置。如果以软件来实施，则所述技术可至少部分地通过计算机可读媒体来实现，所述计算机可读媒体包含在处理器中执行时执行上述方法中的一者或一者以上的指令。所述计算机可读媒体可包含有形计算机可读存储媒体且可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。所述计算机可读存储媒体可包含随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体，及其类似者。或者或另外，所述技术可至少部分地通过携载或传达呈指令或数据结构的形式的代码且可由计算机存取、读取及/或执行的计算机可读通信媒体来实现。

可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行代码。因此，如本文中所使用的术语“处理器”可指代前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于为编码及解码而配置的专用软件模块或硬件模块内，或并入于经组合的视频编码器-解码器(CODEC)中。又，所述技术可完全实施于一个或一个以上电路或逻辑元件中。

已描述本发明的各种方面。这些及其它方面是在所附权利要求书的范围内。

Claims (42)

1.一种编码视频数据的方法，所述方法包含：

内插包括在参考视频单元中的第一参考视频子单元的第一像素值以产生第一预测数据，其中内插所述第一像素值是基于第一内插滤波器集合；

识别对应于所述第一内插滤波器集合的第一子单元语法元素，从将被包括至对应于所述第一参考视频子单元的第一子单元标头中的多个语法元素中识别所述第一子单元语法元素，且所述第一子单元语法元素经识别以向视频解码器指示是使用在对应于所述参考视频单元的单元标头中所识别的内插滤波器集合、在所述第一子单元标头中所识别的内插滤波器集合、还是在先前参考视频子单元中所使用的内插滤波器集合来内插所述第一参考视频子单元；

产生所述第一子单元语法元素，所述第一子单元语法元素指示所述第一参考视频子单元具有定义于所述第一子单元标头中的所述第一内插滤波器集合；

基于所述第一预测数据来编码所述视频数据；以及

产生经编码位流，所述经编码位流包含所述单元标头、包括所述第一子单元语法元素的第一子单元标头以及经编码视频数据。

2.根据权利要求1所述的方法，其中所述第一参考视频子单元为所述参考视频的第一帧，所述参考视频单元为包含参考视频的所述第一帧的帧序列，所述第一子单元标头为所述帧序列的所述第一帧的帧标头，且所述单元标头为所述帧序列的序列标头。

3.根据权利要求1所述的方法，其进一步包含：

编码用于重建所述第一内插滤波器集合的数据；以及

将经编码的所述用于重建所述第一内插滤波器集合的数据包括至所述经编码位流中。

4.根据权利要求1所述的方法，其进一步包含：

内插第二参考视频子单元的第二像素值以产生第二预测数据，其中内插所述第二像素值是基于第二内插滤波器集合；

产生与所述第二参考视频子单元相关联的第二子单元语法元素，从所述多个语法元素中识别所述第二子单元语法元素以向所述视频解码器指示所述第二内插滤波器集合包含预定义的切换式内插滤波器集合；

基于所述第二预测数据来编码所述视频数据；以及

产生所述经编码位流以包含所述经编码视频数据及所述第二参考视频子单元的第二子单元标头中的所述第二子单元语法元素。

5.根据权利要求1所述的方法，其进一步包含：

内插第二参考视频子单元的第二像素值以产生第二预测数据，其中内插所述第二像素值是基于第二内插滤波器集合；

产生与所述第二参考视频子单元相关联的第二子单元语法元素，从所述多个语法元素中识别所述第二子单元语法元素以向所述视频解码器指示所述第二内插滤波器集合定义于对应于所述第二参考视频子单元的第二子单元标头中；

基于所述第二预测数据来编码所述视频数据；以及

产生所述经编码位流以包含所述经编码视频数据及所述第二参考视频子单元的所述第二子单元标头中的所述第二子单元语法元素。

6.根据权利要求5所述的方法，其进一步包含：

编码用于重建所述第二内插滤波器集合的数据；以及

将经编码的所述用于重建所述第二内插滤波器集合的数据包括至所述经编码位流中。

7.根据权利要求1所述的方法，其进一步包含：

内插第二参考视频子单元的第二像素值以产生第二预测数据，其中内插所述第二像素值是基于第二内插滤波器集合；

产生与所述第二参考视频子单元相关联的第二子单元语法元素，从所述多个语法元素中识别所述第二子单元语法元素以向所述视频解码器指示基于所述先前参考视频子单元来定义所述第二内插滤波器集合；

基于所述第二预测数据来编码所述视频数据；以及

产生所述经编码位流以包含所述经编码视频数据及所述第二参考视频子单元的第二子单元标头中的所述第二子单元语法元素。

8.一种解码视频数据的方法，所述方法包含：

在视频位流中接收参考视频单元，其中所述参考视频单元包含单元标头、多个参考视频子单元和与所述多个参考视频子单元中的第一参考视频子单元相关联的第一子单元标头，其中所述第一子单元标头包含从多个语法元素中识别以指示是使用在所述单元标头中所识别的内插滤波器集合、在所述第一子单元标头中所识别的内插滤波器集合、还是在先前参考视频子单元中所使用的内插滤波器集合来内插所述第一参考视频子单元的第一子单元语法元素；

在所述参考视频单元中识别所述第一子单元语法元素；

使用由所述第一子单元语法元素所识别的第一内插滤波器集合来内插所述第一参考视频子单元的第一像素值以产生第一预测数据；及

至少部分基于所述第一预测数据来解码在所述视频位流中接收的所述视频数据。

9.根据权利要求8所述的方法，其中所述参考视频单元的所述第一子单元为所述参考视频的第一帧，所述参考视频单元为包含参考视频的所述第一帧的帧序列，所述第一子单元标头为所述帧序列的所述第一帧的帧标头，且所述单元标头为所述帧序列的序列标头。

10.根据权利要求8所述的方法，其进一步包含：

基于所述第一子单元语法元素来重建所述第一内插滤波器集合。

11.根据权利要求8所述的方法，其进一步包含：

在所述参考视频单元中识别第二子单元语法元素，其中所述第二子单元语法元素包含在与所述多个参考视频子单元中的第二参考视频子单元相关联的第二子单元标头中，且其中从所述多个语法元素中识别所述第二子单元语法元素以指示与所述第二参考视频子单元一起使用的第二内插滤波器集合包含预定义的切换式内插滤波器集合；

使用由所述第二子单元语法元素所指示的所述第二内插滤波器集合来内插所述第二参考视频子单元的第二像素值以产生第二预测数据；及

至少部分基于所述第二预测数据来解码在所述视频位流中接收的所述视频数据。

12.根据权利要求8所述的方法，其进一步包含：

在所述参考视频单元中识别第二子单元语法元素，其中所述第二子单元语法元素包括在与所述多个参考视频子单元中的第二参考视频子单元相关联的第二子单元标头中，且其中从所述多个语法元素中识别所述第二子单元语法元素以指示与所述第二参考视频子单元一起使用的第二内插滤波器集合定义于所述第二子单元标头中；

使用由所述第二子单元语法元素所指示的所述第二内插滤波器集合来内插所述第二参考视频子单元的第二像素值以产生第二预测数据；及

至少部分基于所述第二预测数据来解码在所述视频位流中接收的所述视频数据。

13.根据权利要求12所述的方法，其进一步包含：

基于所述第二子单元语法元素来重建所述第二内插滤波器集合。

14.根据权利要求8所述的方法，其进一步包含：

在所述参考视频单元中识别第二子单元语法元素，其中所述第二子单元语法元素包括在与所述多个参考视频子单元中的第二参考视频子单元相关联的第二子单元标头中，且其中从所述多个语法元素中识别所述第二子单元语法元素以指示基于所述先前参考视频子单元来定义与所述第二参考视频子单元一起使用的第二内插滤波器集合；

使用由所述第二子单元语法元素所指示的所述第二内插滤波器集合来内插所述第二参考视频子单元的第二像素值以产生第二预测数据；及

至少部分基于所述第二预测数据来解码在所述视频位流中接收的所述视频数据。

15.一种编码视频数据的设备，所述设备包含：

视频编码器，其经配置以进行以下动作：

内插包括在参考视频单元中的第一参考视频子单元的第一像素值以产生第一预测数据，其中内插所述第一像素值是基于第一内插滤波器集合；

识别对应于所述第一内插滤波器集合的第一子单元语法元素，从将被包括至对应于所述第一参考视频子单元的第一子单元标头中的多个语法元素中识别所述第一子单元语法元素，且所述第一子单元语法元素经识别以向视频解码器指示是使用在对应于所述参考视频单元的单元标头中所识别的内插滤波器集合、在所述第一子单元标头中所识别的内插滤波器集合、还是在先前参考视频子单元中所使用的内插滤波器集合来内插所述第一参考视频子单元；

产生所述第一子单元语法元素，所述第一子单元语法元素指示所述第一参考视频子单元具有定义于所述第一子单元标头中的所述第一内插滤波器集合；

基于所述第一预测数据来编码所述视频数据；以及

产生经编码位流，所述经编码位流包含所述单元标头、包括所述第一子单元语法元素的所述第一子单元标头及经编码视频数据。

16.根据权利要求15所述的设备，其中所述第一参考视频子单元为所述参考视频的第一帧，所述参考视频单元为包含参考视频的所述第一帧的帧序列，所述第一子单元标头为所述帧序列的所述第一帧的帧标头，且所述单元标头为所述帧序列的序列标头。

17.根据权利要求15所述的设备，其中所述视频编码器进一步经配置以进行以下动作：

编码用于重建所述第一内插滤波器集合的数据；以及

将经编码的所述用于重建所述第一内插滤波器集合的数据包括至所述经编码位流中。

18.根据权利要求15所述的设备，其中所述视频编码器经进一步配置以进行以下动作：

内插第二参考视频子单元的第二像素值以产生第二预测数据，其中内插所述第二像素值是基于第二内插滤波器集合；

产生与所述第二参考视频子单元相关联的第二子单元语法元素，从所述多个语法元素中识别所述第二子单元语法元素以指示所述第二内插滤波器集合包含预定义的切换式内插滤波器集合；

基于所述第二预测数据来编码所述视频数据；以及

产生所述经编码位流以包含所述经编码视频数据及所述第二参考视频子单元的第二子单元标头中的所述第二子单元语法元素。

19.根据权利要求15所述的设备，其中所述视频编码器经进一步配置以进行以下动作：

内插第二参考视频子单元的第二像素值以产生第二预测数据，其中内插所述第二像素值是基于第二内插滤波器集合；

产生与所述第二参考视频子单元相关联的第二子单元语法元素，从所述多个语法元素中识别所述第二子单元语法元素以向所述视频解码器指示所述第二内插滤波器集合定义于对应于所述第二参考视频子单元的第二子单元标头中；

基于所述第二预测数据来编码所述视频数据；以及

产生所述经编码位流以包含所述经编码视频数据及所述第二参考视频子单元的所述第二子单元标头中的所述第二子单元语法元素。

20.根据权利要求19所述的设备，其中所述视频编码器经进一步配置以进行以下动作：

编码用于重建所述第二内插滤波器集合的数据；以及

将经编码的所述用于重建所述第二内插滤波器集合的数据包括至所述经编码位流中。

21.根据权利要求15所述的设备，其中所述视频编码器经进一步配置以进行以下动作：

内插第二参考视频子单元的第二像素值以产生第二预测数据，其中内插所述第二像素值是基于第二内插滤波器集合；

产生与所述第二参考视频子单元相关联的第二子单元语法元素，从所述多个语法元素中识别所述第二子单元语法元素以向所述视频解码器指示基于所述先前参考视频子单元来定义所述第二内插滤波器集合；

基于所述第二预测数据来编码所述视频数据；以及

产生所述经编码位流以包含所述经编码视频数据及所述第二参考视频子单元的第二子单元标头中的所述第二子单元语法元素。

22.一种解码视频数据的设备，所述设备包含：

视频解码器，其经配置以进行以下动作：

在视频位流中接收参考视频单元，其中所述参考视频单元包含单元标头、多个参考视频子单元和与所述多个参考视频子单元中的第一参考视频子单元相关联的第一子单元标头，其中所述第一子单元标头包含从多个语法元素中识别以指示是使用在所述单元标头中所识别的内插滤波器集合、在所述第一子单元标头中所识别的内插滤波器集合、还是在先前参考视频子单元中所使用的内插滤波器集合来内插所述第一参考视频子单元的第一子单元语法元素；

在所述参考视频单元中识别所述第一子单元语法元素；

使用由所述第一子单元语法元素所识别的第一内插滤波器集合来内插所述第一参考视频子单元的第一像素值以产生第一预测数据；及

基于所述第一预测数据来从所接收的视频位流中产生经解码视频数据。

23.根据权利要求22所述的设备，其中所述第一参考视频子单元为所述参考视频的第一帧，所述参考视频单元为包含参考视频的所述第一帧的帧序列，所述第一子单元标头为所述帧序列的所述第一帧的帧标头，且所述单元标头为所述帧序列的序列标头。

24.根据权利要求22所述的设备，其中所述视频解码器经进一步配置以进行以下动作：

基于所述第一子单元语法元素来重建所述第一内插滤波器集合。

25.根据权利要求22所述的设备，其中所述视频解码器经进一步配置以进行以下动作：

在所述参考视频单元中识别第二子单元语法元素，其中所述第二子单元语法元素包括在与所述多个参考视频子单元中的第二参考视频子单元相关联的第二子单元标头中，且其中从所述多个语法元素中识别所述第二子单元语法元素以指示与所述第二参考视频子单元一起使用的第二内插滤波器集合包含预定义的切换式内插滤波器集合；

使用由所述第二子单元语法元素所指示的所述第二内插滤波器集合来内插所述第二参考视频子单元的第二像素值以产生第二预测数据；及

基于所述第二预测数据来从所接收的视频位流中产生经解码视频数据。

26.根据权利要求22所述的设备，其中所述视频解码器经进一步配置以进行以下动作：

在所述参考视频单元中识别第二子单元语法元素，其中所述第二子单元语法元素包括在与所述多个参考视频子单元中的第二参考视频子单元相关联的第二子单元标头中，且其中从所述多个语法元素中识别所述第二子单元语法元素以指示与所述第二参考视频子单元一起使用的第二内插滤波器集合定义于所述第二子单元标头中；

使用由所述第二子单元语法元素所指示的所述第二内插滤波器集合来内插所述第二参考视频子单元的第二像素值以产生第二预测数据；及

基于所述第二预测数据来从所接收的视频位流中产生经解码视频数据。

27.根据权利要求26所述的设备，其中所述视频解码器经进一步配置以进行以下动作：

基于所述第二子单元语法元素来重建所述第二内插滤波器集合。

28.根据权利要求22所述的设备，其中所述视频解码器经进一步配置以进行以下动作：

在所述参考视频单元中识别第二子单元语法元素，其中所述第二子单元语法元素包括在与所述多个参考视频子单元中的第二参考视频子单元相关联的第二子单元标头中，且其中从所述多个语法元素中识别所述第二子单元语法元素以指示基于所述先前参考视频子单元来定义与所述第二参考视频子单元一起使用的第二内插滤波器集合；

使用由所述第二子单元语法元素所指示的所述第二内插滤波器集合来内插所述第二参考视频子单元的第二像素值以产生第二预测数据；及

基于所述第二预测数据来从所接收的视频位流中产生经解码视频数据。

29.一种用于编码视频数据的装置，所述装置包含：

用于内插包括在参考视频单元中的第一参考视频子单元的第一像素值以产生第一预测数据的装置，其中内插所述第一像素值是基于第一内插滤波器集合；

用于识别对应于所述第一内插滤波器集合的第一子单元语法元素的装置，从将被包括至对应于所述第一参考视频子单元的第一子单元标头中的多个语法元素中识别所述第一子单元语法元素，且所述第一子单元语法元素经识别以向视频解码器指示是使用在对应于所述参考视频单元的单元标头中所识别的内插滤波器集合、在所述第一子单元标头中所识别的内插滤波器集合、还是在先前参考视频子单元中所使用的内插滤波器集合来内插所述第一参考视频子单元；

用于产生所述第一子单元语法元素的装置，所述第一子单元语法元素指示所述第一参考视频子单元具有定义于所述第一子单元标头中的所述第一内插滤波器集合；

用于基于所述第一预测数据来编码所述视频数据的装置；以及

用于产生经编码位流的装置，所述经编码位流包含所述单元标头、包括所述第一子单元语法元素的第一子单元标头以及经编码视频数据。

30.根据权利要求29所述的装置，其中所述第一参考视频子单元为所述参考视频的第一帧，所述参考视频单元为包含参考视频的所述第一帧的帧序列，所述第一子单元标头为所述帧序列的所述第一帧的帧标头，且所述单元标头为所述帧序列的序列标头。

31.根据权利要求29所述的装置，其进一步包含：

用于编码用于重建所述第一内插滤波器集合的数据的装置；以及

用于将经编码的所述用于重建所述第一内插滤波器集合的数据包括至所述经编码位流中的装置。

32.根据权利要求29所述的装置，其进一步包含：

用于内插第二参考视频子单元的第二像素值以产生第二预测数据的装置，其中内插所述第二像素值是基于第二内插滤波器集合；

用于产生与所述第二参考视频子单元相关联的第二子单元语法元素的装置，从所述多个语法元素中识别所述第二子单元语法元素以向所述视频解码器指示所述第二内插滤波器集合包含预定义的切换式内插滤波器集合；

用于基于所述第二预测数据来编码所述视频数据的装置；以及

用于产生所述经编码位流以包含所述经编码视频数据及所述第二参考视频子单元的第二子单元标头中的所述第二子单元语法元素的装置。

33.根据权利要求29所述的装置，其进一步包含：

用于内插第二参考视频子单元的第二像素值以产生第二预测数据的装置，其中内插所述第二像素值是基于第二内插滤波器集合；

用于产生与所述第二参考视频子单元相关联的第二子单元语法元素的装置，从所述多个语法元素中识别所述第二子单元语法元素以向所述视频解码器指示所述第二内插滤波器集合定义于对应于所述第二参考视频子单元的第二子单元标头中；

用于基于所述第二预测数据来编码所述视频数据的装置；以及

用于产生所述经编码位流以包含所述经编码视频数据及所述第二参考视频子单元的所述第二子单元标头中的所述第二子单元语法元素的装置。

34.根据权利要求33所述的装置，其进一步包含：

用于编码用于重建所述第二内插滤波器集合的数据的装置；以及

用于将经编码的所述用于重建所述第二内插滤波器集合的数据包括至所述经编码位流中的装置。

35.根据权利要求29所述的装置，其进一步包含：

用于内插第二参考视频子单元的第二像素值以产生第二预测数据的装置，其中内插所述第二像素值是基于第二内插滤波器集合；

用于产生与所述第二参考视频子单元相关联的第二子单元语法元素的装置，从所述多个语法元素中识别所述第二子单元语法元素以向所述视频解码器指示基于所述先前参考视频子单元来定义所述第二内插滤波器集合；

用于基于所述第二预测数据来编码所述视频数据的装置；以及

用于产生所述经编码位流以包含所述经编码视频数据及所述第二参考视频子单元的第二子单元标头中的所述第二子单元语法元素的装置。

36.一种用于解码视频数据的装置，所述装置包含：

用于在视频位流中接收参考视频单元的装置，其中所述参考视频单元包含单元标头、多个参考视频子单元和与所述多个参考视频子单元中的第一参考视频子单元相关联的第一子单元标头，其中所述第一子单元标头包含从多个语法元素中识别以指示是使用在所述单元标头中所识别的内插滤波器集合、在所述第一子单元标头中所识别的内插滤波器集合、还是在先前参考视频子单元中所使用的内插滤波器集合来内插所述第一参考视频子单元的第一子单元语法元素；

用于在所述参考视频单元中识别所述第一子单元语法元素的装置；

用于使用由所述第一子单元语法元素所识别的第一内插滤波器集合来内插所述第一参考视频子单元的第一像素值以产生第一预测数据的装置；及

用于至少部分基于所述第一预测数据来解码在所述视频位流中接收的所述视频数据的装置。

37.根据权利要求36所述的装置，其中所述参考视频单元的所述第一子单元为所述参考视频的第一帧，所述参考视频单元为包含参考视频的所述第一帧的帧序列，所述第一子单元标头为所述帧序列的所述第一帧的帧标头，且所述单元标头为所述帧序列的序列标头。

38.根据权利要求36所述的装置，其进一步包含：

用于基于所述第一子单元语法元素来重建所述第一内插滤波器集合的装置。

39.根据权利要求36所述的装置，其进一步包含：

用于在所述参考视频单元中识别第二子单元语法元素的装置，其中所述第二子单元语法元素包含在与所述多个参考视频子单元中的第二参考视频子单元相关联的第二子单元标头中，且其中从所述多个语法元素中识别所述第二子单元语法元素以指示与所述第二参考视频子单元一起使用的第二内插滤波器集合包含预定义的切换式内插滤波器集合；

用于使用由所述第二子单元语法元素所指示的所述第二内插滤波器集合来内插所述第二参考视频子单元的第二像素值以产生第二预测数据的装置；及

用于至少部分基于所述第二预测数据来在所述视频位流中接收的解码所述视频数据的装置。

40.根据权利要求36所述的装置，其进一步包含：

用于在所述参考视频单元中识别第二子单元语法元素的装置，其中所述第二子单元语法元素包括在与所述多个参考视频子单元中的第二参考视频子单元相关联的第二子单元标头中，且其中从所述多个语法元素中识别所述第二子单元语法元素以指示与所述第二参考视频子单元一起使用的第二内插滤波器集合定义于所述第二子单元标头中；

用于使用由所述第二子单元语法元素所指示的所述第二内插滤波器集合来内插所述第二参考视频子单元的第二像素值以产生第二预测数据的装置；及

用于至少部分基于所述第二预测数据来解码在所述视频位流中接收的所述视频数据的装置。

41.根据权利要求40所述的装置，其进一步包含：

用于基于所述第二子单元语法元素来重建所述第二内插滤波器集合的装置。

42.根据权利要求36所述的装置，其进一步包含：

用于在所述参考视频单元中识别第二子单元语法元素的装置，其中所述第二子单元语法元素包括在与所述多个参考视频子单元中的第二参考视频子单元相关联的第二子单元标头中，且其中从所述多个语法元素中识别所述第二子单元语法元素以指示基于所述先前参考视频子单元来定义与所述第二参考视频子单元一起使用的第二内插滤波器集合；

用于使用由所述第二子单元语法元素所指示的所述第二内插滤波器集合来内插所述第二参考视频子单元的第二像素值以产生第二预测数据的装置；及

用于至少部分基于所述第二预测数据来解码在所述视频位流中接收的所述视频数据的装置。