CN100456832C - 用于手持装置的视频编码方法及编码器 - Google Patents

Abstract

本发明涉及一种用于包括电池的手持装置的编码视频数据块的方法。所述方法包括通过使用具有不同功耗级别的一组预测函数计算剩余误差块的步骤。还包括根据其关联的功耗级别，为预定的电池级别启用或禁止该组的一个预测函数的步骤。最后包括在启用的预测函数组中选择一个预测函数来编码剩余误差块的步骤。

Description

用于手持装置的视频编码方法及编码器

技术领域

本发明涉及一种用于包括电池的手持装置的视频数据块编码方法。

该发明尤其与移动装置有关，例如移动电话或个人数字助理，所述装置包括能够在发送视频数据之前获取并编码该视频数据的内嵌的摄象机。

背景技术

至今为止，已经在压缩效率方面对视频编码方法进行了评价。第一视频标准的目标实际是在CD上存储电影(MPEG-1)、有线/卫星上广播电视节目(MPEG-2)和经互联网流化/下载视频内容。存在的限制是带宽和存储容量的限制。第二评价准则是计算复杂度，特别是在需要实时编码的应用中。今天，仍然要求压缩效率，而由于处理器速度的提高，计算复杂度变得越来越不是问题。但是，在新的应用中，第三准则变得越来越重要。即功耗。人们希望移动设备例如个人数字助理或者移动电话，在不久的将来提供视频编码的能力。但是以现有的技术，自主性明显不足。电池寿命的延长和硬件实施的发展可能提高自主性，但是显然不够。

在已知的技术中，要么从结构的角度要么从算法的角度控制功耗。

在结构的方法中，要进行映射和优化视频结构至预定的视频算法。例如，C.W.Yoon等的、标题为“An 80/20MHz 160mW multimediaprocessor integrated with embedded DRAM，MPEG-4 accelerator and3-D rendering engine for mobile applications”，IEEE Journal ofSolid-State Circuits，Volumn：36，Issue：11，pp.1758-1767，Nov 2001的论文描述了一种低功耗的视频设备。所述设备包括内嵌存储器，紧邻中央处理单元CPU和联合处理器，从而对其数据的访问经过的线路少，浪费的能量少。但是，按照该传统方法，功率问题考虑得太晚，得到的不是最佳解决方案。

C.De Vleeschouwer、T.Nilsson的、标题为“Motion Estimationfor Low Power Video Devices”，International Conference on ImageProcessing，2001.，Vol.2，2001，pp.953-956的论文描述了一种低功率方法。在该文件中，低功耗通过减少存储器的访问和传送来实现。为此，运动补偿已经被简化，但是以压缩性能为代价。

发明内容

发明目的是提供一种用于包括电池的手持装置的视频编码方法，既显著减少了功耗又保持了有竞争性的压缩效率。

为此，按照发明的编码方法包括步骤：

-通过使用一组具有不同功耗级别的预测函数计算剩余误差块，

-根据其关联的功耗级别，为预定的电池级别启用或禁止该组的一个预测函数，

-在启用的预测函数组中选择一个预测函数来编码剩余误差块。

按照发明的视频编码方法利用了电池级别信息，通过启用和禁止某些预测函数来自适应。然后，在所有可用预测函数中选择最适于当前块的那个，例如最小化价值函数的那个函数。根据电池级别，从而视频质量更高或更低，并且电池寿命提高了。

以本发明，功耗不仅被看作是结构的问题，而且是算法设计的问题，会引起功耗的降低。此外，减少视频编码芯片的能量耗散提高了所述芯片的可靠性，并且使得对冷却的投入显著降低。因此，大大降低了产品成本。

本发明还涉及一种实施所述视频编码方法的视频编码器。

它涉及一种手持装置，包括所述视频编码器和用于通过向所述视频编码器供电的电池。

最后，它涉及计算机程序，包括在所述程序被处理器执行时用于执行按照发明的视频编码方法的程序指令。

附图说明

现在将通过举例参考相应附图更详细地描述本发明，其中：

-图1是按照现有技术和发明示意性地将视频编解码器的功耗表示为电池级别的函数的曲线，

-图2是按照现有技术和发明示意性地将电池级别的发展表示为使用时间的函数，

-图3是示出视频编码器的框图，

-图4是示出按照发明的低功率编码方法的框图，

-图5表示一个块及其周围块，由其计算空间预测函数，

-图6表示两个连续帧中的两个块，由其计算时间预测函数，和

-图7表示前一帧中的块的直方图，由其计算当前排列的块的时间预测函数。

具体实施方式

本发明涉及一种使视频编解码器(编码器-解码器)的功耗自适应于当前电池级别的方法。所述方法用于手持装置，例如移动电话和个人数字助理。

更详细地，它涉及H.264编码的序列，但是对本领域普通技术人员来说，显然所述方法也适用于以预测的基于块的技术编码的任何类型的视频序列，例如由MPEG-1、MPEG-2、MPEG-4、H-261或H-263标准提供的那些序列。

发明基于以下原理。如果电池是充满的或接近充满的，使按照发明的视频编解码器自适应于更高的功耗，与非自适应的传统低功率方法相比，产生改善的视频质量。如果电池处于中间状态，性能基本上等于非自适应的传统低功率方法。如果电池为空或接近为空，则使视频编解码器自适应于较低功耗，以便在逐渐降低视频质量的同时提供更长的寿命。所述原理在图1中示出，对于传统编解码器(11)和按照发明的编解码器(12)，将视频编解码器的功耗(Pow)表示为电池级别(BL)的函数。

图2是传统编解码器(21)和按照发明的编解码器(22)之间的作为使用时间(t)函数的电池级别(BL)的比较。如果电池是充满的，功耗将更高，并且图像质量更好。此时，能够经常插上插头为他的手持装置充电的人将始终获得提高的质量。相反，如果电池级别变低，代替关闭，手持装置将仍然能够编码或解码，但是以低质量为代价。

让我们考虑一个传统的视频结构，包括中央处理单元CPU，与专用联合处理器连接，和外部存储模块。多年来，就功耗而言，中央处理单元CPU已经被看作这三个元件中最贪婪的部分，暗示着算法的计算复杂度也决定了它的能耗。现在，在计算负载和存储访问之间的再分配更加平衡。并且给定当前的发展，后者的优势可以很快地预见到。因此，就这样的结构来说，与目前的算法相比，低功率应用需要存储访问的显著降低。此外，这些访问的位置也非常重要，因为在访问数据时，越靠近CPU的存储模块意味着越少的能量耗散。

在图3所示的传统视频编码器的情况中，上述元件适于执行离散余弦变换DCT(31)、标量量化Q(32)、可变长度编码VLC(33)、反量化IQ(34)、反离散余弦变换IDCT(35)、运动补偿MC(36)和运动估计(38)。就功耗而言，瓶颈在于这些视频结构的不同单元之间传送的数量。本发明基于这样的观察，其中多数存储传送来自传统的运动估计。当要编码视频数据块时，运动估计ME在前一帧中寻找几个块中最匹配的参考块。所得的值称为剩余值，随后被编码，并对应于当前块和通过运动估计ME找到的参考块的像素间的差。这表示对像素的许多访问，和对外部存储模块的许多访问。搜索的范围越大，存储器尺寸和因此的功率耗散越大。这种预测因此不适于功耗问题。

为了保持压缩效率的竞争性，同时降低功耗，提出的发明建议用N个同时发生的预测函数(pf1，pf2，...，pfN)代替传统的运动估计ME。预测函数定义为：根据来自要么位于同一帧要么位于前一或后一帧的其它块的像素，在当前帧中预测当前块即要被编码的块的方法。换句话说，预测函数能够计算当前块和其它块之间的剩余误差。这些预测函数非常适于实施功耗可分级。所述预测函数的主要特性是它们都在局部工作，并且在很少的数据上工作。因此能够使用作为小而快的成本少的内部存储器的寄存器来节省功率。此外，视频数据块被独立编码，使得这个处理高度并行。因此，使用所有这些预测函数需要比传统运动估计少得多的能量。就压缩效率而言，运动补偿的缺乏通过提高的计算投入来平衡。

在以下实施例中，我们使用N＝5个预测函数。它们表示如下。

第一预测函数pf1基于H.264内预测。对于要编码的当前块X中的给定像素x(i，j)，从块X的左侧相邻列和上部相邻行计算剩余值r(i，j)，如图5所述。剩余值r(i，j)计算如下：

r(i，j)＝x(i，j)-avg(A，B)，

其中avg(A，B)是能够计算段A和B的平均值的函数。

该第一空间预测特别适于均匀区域。

第二预测函数pf2基于H.264内垂直预测。通过图5中给出的符号，剩余值计算如下：

r(i，j)＝x(i，j)-b(i).

该第二空间预测特别适于垂直均匀区域。

第三预测函数pf3基于H.264内水平预测。通过图5中给出的符号，剩余值计算如下：

r(i，j)＝x(i，j)-a(j).

该第三空间预测特别适于水平均匀区域。其它空间预测也是可能的。它们通常仅使用A和B段，或在X上应用可逆函数，以便可解码。

第四预测函数pf4基于图6，该图表示当前帧F(t)中的像素x(i，j)的块X和紧接的前一帧F(t-1)中的具有相同位置的像素y(i，j)的相应块Y。该函数称为“排列时间预测”。通过图6中给出的符号，剩余值计算如下：

r(i，j)＝x(i，j)-y(i，j).

该第四空间预测特别适于静态区域。该预测函数的一个扩展称为“排列有限运动估计”，对于它，也可以使用运动估计仅在排列块内执行。

第五预测函数pf5，称为“时间直方图预测”，使用前一帧中的排列块的直方图。如果例如h1和h2是直方图的两个最大值，如图7中给出的，剩余值计算如下：

r(i，j)＝x(i，j)-h1或r(i，j)＝x(i，j)-h2，

取决于值x(i，j)与值h1和h2的近似度。为此，发送一个比特将该选择通知给解码器。

该时间预测也适于静态区域。

预测函数在压缩效率和功耗两方面都有其自己的特性。最适合的预测函数根据成本价值而选择。该成本价值取决于游程编码以后剩余数据的当前块的熵h，和解码块和参考块之间的重建误差mse。

按照发明的实施例，当前块的成本价值c1计算如下：

$c1=h*q+\frac{\mathrm{mse}}{2}$

其中q是当前块的量化步骤。

最后，选择使该成本最小化的预测函数来编码当前块。

这些不同的预测函数提出了编码单个块的不同方法。假定这些预测函数适用不同种类的处理，它们多少都消耗功率。进一步，按照发明的视频编码方法提出功率可分级，作为一种用于使视频编码器的性能适应装置当前可用资源的处理。目的是更好地管理功率，并减少整个功耗，以尽量延迟关机。结果在电池级别高时得到改善的视频质量，随着可用功率的减少逐渐降低。从而视频编码变得长时间可用，并且减少了整个消耗。

功率可分级经视频编码器进行的优先选择而获得。根据可用资源，代替N个函数，当前块实际经过了M个函数，其中M是小于等于N的整数，减少了功耗。图4示出了实施该功率可分级的视频编码方法。

下表根据现有工具例如由Interuniversity MicroElectronicCentre IMEC开发的工具的使用，通过示出可用的预测函数，说明了该原理，其中的可用预测函数取决于电池级别和对每个预测函数评定的功耗值。

根据成本价值，视频编码器在所有可用的M个预测函数中选择最适合当前块的函数。在我们的示例中，已经定义了四个电池级别。对于较高的电池级别有五个预测函数可用，对于第二高的电池级别，可用选择四个预测函数，最消耗功率的第五个不再可用。对于下一个电池级别，仅第一、第二和第三预测函数可用。最后，对于更低的电池级别，仅第一和第二预测函数可用。

对于本领域的技术人员来说，显然本发明不限于所述的实施例，而存在许多属于所附权利要求范围的替代方案，例如具有不同数目的电池级别和不同数目的预测函数。

还可用注意到，实施这种功耗可分级方法的装置易于根据电池的当前状态在两个不同的时间用不同的图像质量以不同的方式编码视频数据的相同块，

以下权利要求中的任何参考符号不应解释为限制权利要求。显然，动词“包括”和其变化的使用不排除在任何权利要求中定义的那些以外的任何其它步骤或元件的存在。元件或步骤之前的单词“一个”不排除多个这种元件或步骤的存在。

Claims (6)

1.一种用于包括电池的手持装置的编码视频数据块的方法，所述方法包括步骤：

-通过使用具有不同功耗级别的一组预测函数计算剩余误差块，

-根据其关联的功耗级别，为预定的电池级别启用或禁止该组的一个预测函数，

-在启用的预测函数组中选择一个预测函数来编码剩余误差块，

其中选择步骤基于成本价值，该成本价值取决于游程编码以后的剩余数据的当前块的熵、参考块与对应的解码块之间的重建误差、以及当前块的量化值。

2.如权利要求1所述的方法，其中由当前块(X)的当前像素(x(i，j))和邻近当前块左侧的像素的垂直段(A)和/或邻近当前块上部的像素的水平段(B)的至少一个值的差计算预测函数。

3.如权利要求1所述的方法，其中由当前帧(F(t))中的当前块(X)的当前像素(x(i，j))和紧接前一帧(F(t-1))中的对应块(Y)的对应像素(y(i，j))的差计算预测函数。

4.如权利要求1所述的方法，其中由当前帧(F(t))中的当前块(X)的当前像素(x(i，j))和紧接前一帧(F(t-1))中的对应块(Y)的直方图的最大值(h1，h2)的差计算预测函数，所述最大值是最接近当前像素的值。

5.一种用于手持装置的视频编码器，手持装置包括用于向所述视频编码器供电的电池，视频编码器能够编码视频数据块，包括：

-用于通过使用具有不同功耗级别的一组预测函数计算剩余误差块的装置，

-用于根据其关联的功耗级别，为预定的电池级别启用或禁止该组的一个预测函数的装置，

-用于在启用的预测函数组中选择一个预测函数来编码剩余误差块的装置，

其中用于选择的装置基于成本价值来选择预测函数，该成本价值取决于游程编码以后的剩余数据的当前块的熵、参考块与对应的解码块之间的重建误差、以及当前块的量化值。

6.一种手持装置，包括按照权利要求5所述的视频编码器，和用于向所述视频编码器供电的电池。

Images