CN1792097A

CN1792097A - 具有低存储器带宽要求的视频处理设备

Info

Publication number: CN1792097A
Application number: CNA2004800135840A
Authority: CN
Inventors: S·穆茨; H·德佩图伊斯; E·德斯米奇特
Original assignee: Koninklijke Philips Electronics NV
Current assignee: TRIDENT MICROSYSTEMS (FAR EAST) Ltd
Priority date: 2003-05-19
Filing date: 2004-05-06
Publication date: 2006-06-21
Also published as: JP2007503787A; EP1629674A1; US8155459B2; US20070086522A1; WO2004102971A1; KR20060012626A

Abstract

本发明涉及一种用于根据基于块的预测编码技术来处理对应于画面序列的数据的视频处理设备。所述设备包括一个处理单元(20)和一个外部存储器(1)，该处理单元包括一个重建电路(16)以用于从解码数据中重建画面，该外部存储器用于存储由该重建电路提供的参考画面。该解码单元还包括：一个存储器控制器MMI(11)，用于控制在所述解码单元和外部存储器之间的数据交换；一个高速缓冲存储器(17)，用于临时存储对应于一个预测区域的数据，所述数据是通过该存储器控制器从该外部存储器中读出的；以及一个运动补偿电路(14)，用于在从该高速缓冲存储器读出的预测区域的基础上把经运动补偿的数据提供给该重建电路。

Description

具有低存储器带宽要求的视频处理设备

发明领域

本发明涉及一种用于根据基于块的预测编码技术来处理对应于画面序列的数据的视频处理设备。

本发明尤其涉及基于MPEG或者与之等效的视频标准的视频编码器、解码器和转码器。

发明背景

以基于块的预测编码技术(比如MPEG-2、H.264)为基础的视频解码器或编码器例如是基于对运动估计/运动补偿的循环使用，以便减小将要传输的信息量。

图1示出一种根据这些编码技术的传统视频解码器。例如在S.R.Ely的“MPEG video encoding：a basic tutorial introduction(MPEG视频编码：基本教程)”(BBC Research and Development Report，1996/3)中描述了这样一种传统视频解码器。

所述视频解码器(100)包括一个解码单元(10)，用于解码一个对应于编码画面序列的编码数据流ES。在MPEG标准中，考虑三种类型的画面：不参考其它画面编码的I(或内部编码)画面；参考一个过去画面(I或P)编码的P(或预测)画面；以及参考就显示顺序而言的过去画面或未来画面(I或P)而编码的B(或双向预测)画面。这些I画面和P画面在下文中将称作参考画面。此外，一个MPEG序列中的每个画面被细分为称作宏块的运动补偿区域。

根据现有技术的解码单元包括：

-一个解析器(12)，用于分析所述编码数据流；

-一个宏块处理单元MBPU(13)，用于计算运动矢量V(n)和经可变长度解码的数据；

-一个逆量化和逆离散余弦变换IQ/IDCT电路(15)，用于从所述经可变长度解码的数据中提供残差数据R’(n)；

-一个运动补偿电路MC(14)，用于使用所述运动矢量V(n)来提供经运动补偿的数据；

-一个重建电路REC(16)，用于从经运动补偿的数据与残差数据的和来重建画面。

已知的视频解码器包括一个外部存储器EMEM(1)，用于存储由所述重建电路提供的重建画面。待存储的画面是内部编码类型或者预测类型的参考画面F0和F1。

该解码单元还包括一个存储器控制器MMI(11)，用于控制在所述解码单元和外部存储器之间通过数据总线(2)进行的数据交换。举例来说，所述数据交换是从重建电路向外部存储器中存储参考画面，或者从外部存储器中读出参考画面内的经运动补偿的数据以便将其获取到运动补偿电路。

现有技术的一个缺陷是在宏块的基础上执行运动补偿，因此对于连续的宏块通常是从外部存储器的不同存储区中读出经运动补偿的数据。结果，从外部存储器读出的数据是以不规则的方式获得的，并且根据现有技术的视频解码器需要大量的存储器带宽，这是由于将要读出的数据量较大，而且很难优化存储器控制器对外部存储器的访问。实际上，将要读出的数据不必在存储器数据组中对齐。由于带宽资源并不像处理器频率那样依照摩尔定律快速增加，所以所述缺陷日益严重。

下面的例子在MPEG-2解码的情况下说明了这一点。假设外部存储器是以64位字组织的。因此一个字可以包含8个像素值(亮度或色度)。运动补偿电路必须读取至少16×8像素的区域。在MPEG2标准中，运动补偿具有半像素精度。结果，运动补偿电路必须读取17×9像素的区域，以便计算内插的像素值。由于存储器是以字组织的，所以实际上运动补偿电路读取9行的3个字(即24×9字节)，这对应于30％的带宽损失(对于MPEG-2高清晰度HD画面来说，17×9对应于近似180Mbytes/s的带宽，而24×9对应于近似270Mbytes/s的带宽)。

另一个问题与存储器控制器的优化有关。这是由于诸如SDRAM之类的存储器是以脉冲串(burst)模式操作的，这不适用于不规则的数据读出。脉冲串是为存储器的每一行产生的。一个脉冲串包括至少7个或8个周期，而在我们的例子中，只要3个周期就足以读出一行的3个字。结果，根据现有技术的视频解码器所需要的带宽是所述解码处理的理论上需要的带宽的超过两倍。

此外，参考画面无法容易地存储在代替外部存储器的嵌入式存储器中，因为所述嵌入式存储器仍然非常昂贵。在我们的例子中，一个6Mbytes的嵌入式存储器在高清晰度HD格式下将是必须的，这样的存储器在CMOS 0.12微米技术中对应于近似50mm²的电路尺寸，这占用了太大的电路面积。

发明概要

本发明的一个方面是提出一种视频处理设备，其比起现有技术德视频处理设备需要较少的存储器带宽。

为此，根据本发明的视频处理设备包括：

-一个处理单元，包括一个重建电路以用于从解码数据中重建画面；

-一个外部存储器，用于存储由该重建电路提供的重建画面，

该处理单元还包括：

-一个存储器控制器，用于控制该处理单元和该外部存储器之间的数据交换；

-一个高速缓冲存储器，用于临时存储对应于一个预测区域的数据，所述数据是通过该存储器控制器从该外部存储器中读出的；以及

-一个运动补偿电路，用于在从该高速缓冲存储器读出的预测区域的基础上把经运动补偿的数据提供给该重建电路。

本发明基于这样的事实：在解压缩处理期间，所述处理单元需要循环地读取外部存储器的一个预定存储区，该预定存储区对应于参考画面的一个预定区域，所述预定区域在下文中称作预测区域。所述预测区域充当用于逐块重建当前画面的参考。

这样的预测区域可以被加载到一个嵌入式存储器(即高速缓冲存储器)中而不需要过高的成本或电路面积，因为所述区域比起整个画面要小得多。

结果，比起没有高速缓冲存储器的解决方案，根据本发明的处理设备所需的存储器带宽得以减小。

此外，在存储器控制器级别没有带宽损失，因为是在规则的基础上将数据从外部存储器读出到高速缓冲存储器中。

附图简述

下面将以举例的方式参照附图更详细地描述本发明，其中：

图1是一个传统视频解码器的示意图；

图2是一个根据本发明的视频解码器的示意图；以及

图3是一个根据本发明的视频解码器的示意图。

发明的详细描述

在这里借助于视频解码器和视频编码器的例子来描述本发明，但是本领域的技术人员可以看出，本发明可以应用于根据基于块的预测编码技术来处理对应于画面序列的数据的任何视频处理设备，比如用于把对应于一个编码画面序列的第一编码数据流转换成第二编码数据流的转码器，或者用于执行视频缩放的设备。

本发明是在MPEG2标准的情况下描述的，但是本发明也可以应用于其中所述预测区域具有有限格式的其它编码格式，比如H.264。

本发明还基于这样的事实：预测区域的大小是预先确定的，在其中必须可以找到17×9像素的区域(如上文中所限定)。在MPEG2标准得例子中，所述预测区域被限制到256行以用于解码。

图2描述了一个根据本发明的视频解码器。所述视频解码器(200)包括一个解码单元(20)，用于解码一个对应于编码画面序列的编码数据流ES。所述解码单元包括：

-一个解析器(12)，用于分析所述编码数据流；

该视频解码器包括一个外部存储器EMEM(1)，用于存储由所述重建电路提供的参考画面F0和F1。

该解码单元还包括一个存储器控制器MMI(11)，用于控制在所述解码单元和外部存储器之间通过数据总线(2)进行的数据交换。

根据本发明的视频解码器还包括一个高速缓冲存储器CM(17)，用于临时存储通过所述存储器控制器从外部存储器中读出的数据。在MPEG2的情况下，所述高速缓冲存储器包括256行，并且适于接收所述预测区域。可以以不同方式更新该高速缓冲存储器的内容。

根据第一种方式，在解码处理期间以规则的方式从所述外部存储器中读出对应于所述预测区域的数据。每当已经处理了一行(row)宏块时，所述高速缓冲存储器的内容被逐行改变。然后直接使用所述高速缓冲存储器的内容来执行运动补偿，对数据的不规则读出是在所述高速缓冲存储器的级别完成的，而不再是在外部存储器的级别来完成，因此不需要附加的存储器带宽。结果，根据本发明的设备所需要的带宽是固定的，并且大约等于180Mbytes/s。

根据另一种方式，所述高速缓冲存储器的256行被分成相等的存储区。如果解码单元需要访问一个存储区中的一个特定像素，则由该高速缓冲存储器产生一个请求(例如缓存未中(cache miss))，只有在该情况下才借助于存储器控制器将该对应存储区从外部存储器获取到所述高速缓冲存储器中。因此，如果在解码期间不需要一个存储区中的像素，则节省下了用于获取画面的该对应部分的带宽。结果，根据本发明的解码设备所需要的带宽是可变的，并且取决于解码流而位于0到180MBytes/s之间。

根据本发明的第一实施例，在所述高速缓冲存储器中存储2个参考画面的预测区域。因此，与其中嵌入了整帧的解决方案相比，所述嵌入式存储器的尺寸在HD格式下减小了超过4倍。

根据本发明的第二实施例，在所述高速缓冲存储器中只存储过去参考画面的预测区域，而从外部存储器中读出未来参考画面。在这种情况下，所述嵌入式存储器的尺寸被减小，但是与第一实施例相比，根据本发明的视频解码器所需要的存储器带宽略有增加。

根据本发明的第三实施例，在所述高速缓冲存储器中存储参考画面的亮度分量的预测区域，而直接从外部存储器中读出所述参考画面的色度分量的预测区域。同样地，所述嵌入式存储器的尺寸被减小，但是与第一实施例相比，视频解码器所需要的带宽略有增加。

本发明还可应用于视频编码器。图3描述了一个根据本发明的编码器。所述视频编码器(300)包括一个编码单元(30)，用于编码一个对应于一个画面序列的输入数据流。所述编码单元包括：

-一个减法器SUB(32)，用于提供第一残差数据R(n)，

-一个离散余弦变换和量化DCT/Q电路(33)，用于连续地对该第一残差数据R(n)进行变换和量化；

-一个可变长度编码器VLC(34)，用于从所述经量化的数据提供经可变长度编码的数据；

-一个逆量化和逆离散余弦变换IQ/IDCT电路(35)，用于从所述经量化的数据中提供第二残差数据R’(n)；

-一个运动补偿电路MC(37)，用于使用运动矢量(V(n))来向重建电路REC(36)和该减法器提供经运动补偿的数据P(I’(n-1)；V(n))，该减法器适于从输入数据I(n)中减去所述经运动补偿的数据；

-一个重建电路REC(36)，用于从所述经运动补偿的数据与所述第二残差数据R’的和来重建画面；

-一个运动估计电路ME(38)，用于在参考画面中找到与待编码的当前宏块相关联的参考宏块及其对应的运动矢量V(n)。

所述运动估计电路例如是基于计算绝对差的和SAD，SAD的表达式为：

SAD = Σ_{i = 0}^{k, k - 1} | A (i) - B (i) |

其中B(i)和A(i)分别表示k×k尺寸的当前宏块(在MPEG-2标准中例如是16×16像素)以及参考画面中的参考宏块。使得SAD最小化的参考宏块被考虑为最佳匹配宏块，并且导出对应的数据和运动矢量。

所述视频解码器包括一个外部存储器EMEM(1)，用于存储由所述重建电路提供的参考画面F0和F1以及待编码的当前画面。

该编码单元包括一个存储器控制器MMI(31)，用于控制在所述编码单元和外部存储器之间通过数据总线(2)进行的数据交换。

根据本发明的视频解码器还包括一个高速缓冲存储器CM(39)，用于临时存储通过所述存储器控制器从外部存储器中读出的对应于所述预测区域的数据。然后直接使用所述高速缓冲存储器来执行运动估计和运动补偿。

在视频编码器的情况下，可以得到甚至比视频解码器还高的带宽增益，这是因为所述预测区域的尺寸对于编码来说并不是标准化的，因此可以减小到128行或者甚至64行，当然这样做的代价是减小了视频质量。

前面的附图及其描述是用于说明而不是限制本发明。可以看出，有大量落在所附权利要求书范围内的替换方案。在这方面，发明人做出以下声明。

有多种借助于硬件项来实现各种功能的方式。在这方面，附图是示意性的，每个附图只代表本发明的一个可能的实施例。因此，虽然附图将不同功能显示为不同方框，但是绝不排除由单个硬件项实施几个功能。也不排除由若干硬件项的组合来实施一个功能。

所附权利要求书中的任何附图标记都不应被理解为限制该权利要求。可以看出，“包括”一词及其等效表述不排除在权利要求中所限定的步骤或元件之外的任何其它步骤或元件的存在。元件或步骤之前的“一个”不排除存在多个此类元件或步骤。

Claims

1、一种用于根据基于块的预测编码技术来处理对应于画面序列的数据的视频处理设备，所述设备包括：

-一个处理单元(20；30)，包括一个重建电路(16；36)以用于从解码数据中重建画面；

-一个外部存储器(1)，用于存储由该重建电路提供的参考画面，

该处理单元还包括：

-一个存储器控制器(11；31)，用于控制该处理单元和该外部存储器之间的数据交换；

-一个高速缓冲存储器(17；39)，用于临时存储对应于一个预测区域的数据，所述数据是通过该存储器控制器从该外部存储器中读出的；以及

-一个运动补偿电路(14；37)，用于在从该高速缓冲存储器读出的预测区域的基础上把经运动补偿的数据提供给该重建电路。

2、如权利要求1所述的视频处理设备，其中所述处理单元是一个解码单元(20)，用于解码对应于一个编码画面序列的编码数据流。

3、如权利要求1所述的视频处理设备，其中所述处理单元是一个编码单元(30)，用于编码对应于一个画面序列的输入数据流。

4、如权利要求1所述的视频处理设备，其中所述处理单元是一个转码单元，用于把对应于一个编码画面序列的第一编码数据流转码成第二编码数据流。

5、如权利要求1所述的视频处理设备，其中所述存储器控制器(11；31)能够将对应于一个完整预测区域的数据自动地从所述外部存储器(1)获取到所述高速缓冲存储器(17；39)。

6、如权利要求1所述的视频处理设备，其中所述高速缓冲存储器(17；39)被划分成相等的存储区，并且所述存储器控制器(11；31)能够在所述处理单元的请求下将对应于一个存储区的数据从所述外部存储器(1)获取到所述高速缓冲存储器(17；39)。

7、如权利要求1所述的视频处理设备，其中所述高速缓冲存储器(17；39)适于接收两个参考画面的预测区域。

8、如权利要求1所述的视频处理设备，其中所述高速缓冲存储器(17；39)适于接收一个过去参考画面的预测区域，而未来参考画面的预测区域是从所述外部存储器(1)读出的。

9、如权利要求1所述的视频处理设备，其中所述高速缓冲存储器(17；39)适于接收至少一个参考画面的预测区域的亮度分量。

10、一种用于根据基于块的预测编码技术来处理对应于画面序列的数据的视频处理方法，所述方法包括：

-从解码数据中重建画面；

-在一个外部存储器(1)中存储由该重建步骤提供的参考画面；

-在一个高速缓冲存储器(17；39)中临时存储对应于一个预测区域的数据，所述数据是通过一个存储器控制器从该外部存储器中读出的；以及

-进行运动补偿，以便能够在从该高速缓冲存储器读出的预测区域的基础上把经运动补偿的数据提供给该重建步骤。