CN101459811B - 视频画面格式转换方法和对应设备 - Google Patents

Abstract

本发明涉及一种用于画面格式转换的方法和设备。其可以在视频编码器或解码器中实现或者直接在任何类型的显示设备中实现。根据本发明，对于位于由输入画面的第一组相邻像素定界的区域内的至少一个点，计算代表输入画面中的边缘方位的距离，该距离是与输出画面的像素的栅格无关地计算的。对于位于这一区域中的输出画面的至少一个像素，在输入画面中，根据所述距离以及输出画面的所述像素在此区域中的位置来确定第二组像素。然后，根据所述第二组像素的像素值来确定此输出像素的值。此方法使得能够减小用于此格式转换的计算量。

Description

视频画面格式转换方法和对应设备

技术领域

本发明涉及一种用于视频画面格式转换的方法和设备。它可以在视频编码器或解码器中实现或者直接在任何类型的显示设备中实现。

背景技术

目前存在两种与标准HDTV(高清晰度TV)相关联的格式。这两种格式是720p格式和1080i格式。720p格式产生包括720行和1280列的逐行(progressive)画面，1080i格式产生包括1080行和1920列的隔行(interlaced)画面。这些格式中的每一种都具有其特有的优点。720p格式呈现出更好的时间分辨率，并且再现快速运动对象而不产生模糊效果，而1080i格式呈现出更好的空间分辨率。节目广播者已经选择了使用这些格式中的一种或另一种，但是不将二者一起使用。因此，对于在显示之前处理广播节目的格式以将其变换为由用来显示所述节目的显示设备支持的格式存在着现实的需要。

本领域公知的是，通过首先执行输入画面中的局部边缘方位(edgeorientation)的检测、然后基于所检测的方位执行内插，来改变视频画面的格式。在具有与要内插的输出画面的像素相同的空间位置(即，相同的空间坐标)的输入画面的点处，计算代表所述边缘方位的距离，然后使用这一距离来计算输出画面的这一像素的值。这一方法比较复杂，并且在计算资源方面消耗较大。

发明内容

本发明的目的是改进这种方法。

本发明涉及一种输入画面到输出画面的格式转换方法，包括以下步骤：

-在位于由输入画面的第一组相邻像素定界的区域内部的至少一个点中，计算代表这个点处的边缘方位的距离，

-对于位于与由所述输入画面的第一组相邻像素定界的区域相对应的输出画面的区域中的至少一个像素，根据对于所述区域中的所述点计算的距离以及根据输出画面的所述像素在输出画面的区域中的位置来确定输入画面中的第二组像素，

-根据该第二组像素的像素值来确定输出画面的所述像素的值。

根据特定实施例，第一组的相邻像素属于输入画面的像素的至少两个连续的行或列。

对输入画面的所述区域的单个点执行代表边缘方位的距离的计算，以便减少计算量。因此，这个点有利地位于所述区域的中心。

根据本发明，代表输入画面的点处的边缘方位的距离取决于所述点处的输入画面的视频分量的局部梯度。

根据特定实施例，如果所计算的距离超过预定义的最大值，则将该距离覆盖在所述最大值上。

根据另一特定实施例，如果所计算的距离超过预定义的最大值，则将该距离调整为零值。

根据本发明，有利地通过第二组的像素的双线性内插来确定输出画面的像素的值。

本发明还涉及一种用于输入画面到输出画面的格式转换的设备，所述输入画面和输出画面包括像素，所述设备包括：

-计算电路，用于在位于由输入画面的第一组相邻像素定界的区域内的至少一个点中，计算代表这个点处的边缘方位的距离，以及

-内插电路，用于对于位于与由所述输入画面的第一组相邻像素定界的区域相对应的输出画面的区域中的至少一个像素，根据对于所述区域的一个或多个点计算的一个或多个距离以及根据输出画面的所述像素在输出画面的区域中的位置来确定输入画面中的第二组像素，并且根据输入画面的第二组像素的像素值来确定所述输出画面的像素值。

附图说明

当阅读了作为非限制性示例提供并且参照了附图的以下描述时，将更好地理解本发明，其中：

-图1示出了根据本发明的方法的第一实施例中的步骤，

-图2示出了输入画面的点P的位置，在该位置上计算代表边缘方位的距离，

-图3示出了用来计算位于与图2所示的输入画面的像素P相同的画面区域中的输出画面的像素P_out的值的参数，

图4示出了能够实现图1的方法的设备，

图5示出了根据本发明的方法的第二实施例中的步骤，以及

图6示出了能够实现图5的方法的设备。

具体实施方式

本发明的方法用于执行输入画面的格式转换。该方法产生具有与输入画面的格式不同的格式的输出画面，该输出画面包括比输入画面更大或更小数目的行和/或列。通过输入画面的行和/或列的内插来产生输出画面的行和/或列。

根据本发明，所述内插是“面向边缘的内插”。更具体地，基于输入画面中的局部边缘方位的检测来实现这一内插。这一检测是通过计算代表这些边缘的方位的距离来执行的。稍后将在本说明书中描述这一距离的计算示例。

图1示出了根据本发明的方法的第一实施例中的步骤。所述方法被应用到输入画面的全部或一部分以便产生不同格式的输出画面。参照图1，所述方法包括在位于由输入画面的第一组相邻像素定界的区域内的至少一个点处计算代表边缘方位的距离的第一步骤110。这一区域例如由属于输入画面的两个连续行和两个连续列的4个相邻像素定界。根据本发明，使用对输入画面的这一区域中的点计算的距离来计算存在于所述画面的这一区域中的输出画面的像素值。

在下文中描述输入画面的点处的边缘方位的代表距离d的计算示例。如图2所示，在输入画面的点P处计算这一距离d。图2示出了散布在输入画面的两个连续行y_n和y_n+1上的输入画面的8个像素。这些像素属于输入画面的编号为x_m-1、x_m、x_m+1和x_m+2的像素的列。在图上利用黑点来表示输入画面的像素。在位于由坐标(x_m，y_n)、(x_m+1，y_n)，(x_m+1，y_n+1)和(x_m，y_n+1)定界的区域内的点P处计算所述距离。在输入画面中，通过坐标(x’，y’)来标识像素P。在此示例中，点P位于由坐标(x_m，y_n)、(x_m+1，y_n)，(x_m+1，y_n+1)和(x_m，y_n+1)处的像素定界的区域的中心。对于这个点P处的亮度视频分量(颜色空间[Y，Cb，Cr]或[Y，U，V]中的Y)，计算被记为I_x(x’，y’)的水平梯度以及被记为I_y(x’，y’)的垂直梯度。

$I_x(x^{\′},y^{\′})=\frac{\∂I}{\∂x}(x^{\′},y^{\′})=I(x_m+2,y_n)+I(x_m+2,y_n+1)-I(x_m-1,y_n)-I(x_m-1,y_n+1)$

$I_y(x^{\′},y^{\′})=\frac{\∂I}{\∂y}(x^{\′},y^{\′})=I(x_m,y_n+1)+I(x_m+1,y_n+1)-I(x_m,y_n)-I(x_m+1,y_n)$

其中，I(x，y)表示坐标(x，y)处的像素的亮度分量。

然后，到点P的距离d被取为等于：

$d=\frac{I_y(x^{\′},y^{\′})}{I_x(x^{\′},y^{\′})}$

图2示出了对于像素P计算的距离d。线段S将坐标(x’+d，y_n)处的点与坐标(x’-d，y_n+1)处的点链接。

根据本发明，使用在点P处计算的这一距离d来确定属于与由输入画面中的坐标(x_m，y_n)、(x_m+1，y_n)，(x_m+1，y_n+1)和(x_m，y_n+1)处的点定界的区域相对应的输出画面的区域的输出画面的所有像素的值。应当注意，坐标(x_m，y_n)、(x_m+1，y_n)，(x_m+1，y_n+1)和(x_m，y_n+1)是输入画面中的坐标。输出画面具有与输入画面的列数和行数不同的列数和行数，对这一区域进行定界的像素在输出画面中具有不同的坐标。当然，可以将此区域扩展到具有不同的大小和/或形状的、围绕点P的任何区域。

所述格式转换更改画面的像素的行和/或列的数目和位置。例如，在输出画面中，像素行y”存在于输入画面的行y_n和y_n+1之间，像素列x”存在于输入画面的像素列x_m和x_m+1之间。输出画面的像素P_out存在于行y”和列x”的交叉点处，如图3所示。坐标(x”，y”)是像素Pout在输入画面中的坐标。输出画面具有与输入画面的列数和/或行数不同的列数和/或行数，在输出画面中，像素P_out具有被记为(x_out，y_out)的不同的坐标。使用对于点P计算的距离d来确定存在于由坐标(x_m，y_n)、(x_m+1，y_n)，(x_m+1，y_n+1)和(x_m，y_n+1)处的点定界的区域中的所有像素P_out的值。

再次参照图1，所述方法还包括：确定步骤120，对于位于这一区域中的输出画面的至少一个像素，根据先前计算的距离d并且根据输出画面的这一像素在这一区域中的位置来确定输入画面中的第二组像素。例如，这样计算对于像素P_out的输入画面的第二组像素。参照图3来描述这一步骤。为了增进对这一步骤的理解，使用以下记号。

-v是输入画面的行数对输出画面的行数的比，

-r是输入画面的列数对输出画面的列数的比，

对于输出画面中的坐标(x_out，y_out)处的像素P_out，确定最接近行y_out的输入画面的像素行y_n和y_n+1。

y”＝v.y_out

y_n＝E(y”)

其中E(x)表示变量x的整数部分。

定义代表像素P_out的行y”和输入画面的行y_n之间的距离的垂直相位

被包含在0和1之间。

还确定最接近列x_out的输入画面的像素列x_m和x_m+1。

x”＝r.x_out

x_m＝E(x”)

定义代表像素P_out的行x’和输入画面的像素P之间的距离的水平相位θ＝x”-x_m-0.5。θ被包含在-0.5和0.5之间。

如果水平地平移(translate)线段S使得它通过像素P_out，则这条线段链接坐标(x_yn，y_n)处的点和坐标(x_yn+1，y_n+1)处的点。

于是，获得和

应当注意，|d_inf+d_sup|＝2d。

于是，在步骤120确定的第二组像素例如为：

-坐标(E(x_yn)，y_n)处的像素，

-坐标(E(x_yn)+sign(d)，y_n)处的像素，

-坐标(E(x_yn+1)，y_n+1)处的像素，

-坐标(E(x_yn+1)-sign(d)，y_n+1)处的像素，

其中sgn(x)是x的符号函数

在图3的示例中，坐标(E(x_yn)，y_n)处的像素是坐标(x_m+1，y_n)处的像素，坐标(E(x_yn)+sign(d)，y_n)处的像素是坐标(x_m+2，y_n)处的像素，坐标(E(x_yn+1)，y_n+1)处的像素是坐标(x_m-1，y_n+1)处的像素，坐标(E(x_yn+1)-sign(d)，y_n+1)处的像素是坐标(x_m-1，y_n+1)处的像素。

再次参照图1，下一步骤是步骤130，该步骤包括：根据在步骤120确定的这组像素的值来计算输出画面中坐标x_out和y_out处的输出像素P_out的值。对于这一计算步骤，定义参数α和β如下：

α＝|E(X_yn)-x_yn|

β＝|E(x_yn+1)-x_yn+1|

然后，使用对应于双线性内插的以下公式来计算输出画面中坐标(x_out，y_out)处的像素P的值：

其中，I_in(x，y)表示输入画面中坐标(x，y)处的像素的值，I_out(x，y)表示输出画面中坐标(x，y)处的像素的值。

对像素的每个视频分量执行所述计算。将对于亮度视频分量计算的距离d用于来自输出画面的像素的所有视频分量的计算。

可以考虑用于计算输出画面的像素的视频分量的其它公式。在上述示例中，所述内插是双线性的。可以设想使用线性内插或者通过选择最近邻居进行的内插或者线性或双线性内插的组合。这些内插是本专业领域的人熟知的。也可以设想使用更大数目的行或列。最后，可以提供根据距离模数d改变内插公式。

图4图示了能够实现本发明的方法的设备400。Y_in、Cb_in以及Cr_in表示在所述设备的输入处施加的画面的视频分量，Y_out、Cb_out以及Cr_out表示所述设备的输出画面的视频分量。在颜色空间[Y，Cb，Cr]中表示这些分量。当然，可以使用其它颜色空间，例如颜色空间[Y，U，V]或[R，G，B]。对于在颜色空间[R，G，B]中表示的分量，重新计算亮度分量Y以确定所述距离计算所需的局部梯度。设备400包括：

-代表在输入画面的点处的边缘方位的距离的计算电路410，此电路实现本发明的方法的步骤110，此电路提供距离图(chart)，和

-内插电路430，其根据输入画面和由电路410提供的距离图实现本发明的方法的步骤120和130，此滤波器提供输出画面。

图5图示了本发明的第二实施例。此第二实施例包括步骤501、510、520和530。步骤510至530与图1所示的第一实施例的步骤110至130相同。此第二实施例包括对输入画面进行滤波的具有参考标号501的附加步骤。这一滤波的目的是改进输入画面的边缘方位的距离的计算。所使用的滤波器基于高斯(Gaussien)内核。这一滤波器被应用于输入画面信号亮度分量Y。在下文中，I_jf表示滤波后的分量I_j。于是，滤波后的分量为：

其中， $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π\σ}}\exp (-\frac{(x^2+y^2)}{2\mathrm{\σ}})$

σ²是高斯内核的方差。

所使用的滤波器例如是以下5×5系数滤波器：

$\frac{1}{100}\×\left[\begin{array}{ccccc}1& 2& 4& 2& 1\end{array}\right]\⊗\left[\begin{array}{c}1\\ 2\\ 4\\ 2\\ 1\end{array}\right]=\frac{1}{100}\×\left[\begin{array}{ccccc}1& 2& 4& 2& 1\\ 2& 4& 8& 4& 2\\ 4& 8& 16& 8& 4\\ 2& 4& 8& 4& 2\\ 1& 2& 4& 2& 1\end{array}\right]$

图6图示了能够实现本发明的方法的此第二实施例的设备600。Y_in、Cb_in和Cr_in表示施加在该设备的输入处的画面的视频分量，Y_out、Cb_out和Cr_out表示该设备的输出画面的视频分量。当然，可以使用其它颜色空间，例如颜色空间[Y，U，V]或[R，G，B]。对于在颜色空间[R，G，B]中表示的分量，重新计算亮度分量Y以便确定距离计算所需的局部梯度。在颜色空间[Y，Cb，Cr]中表示这些分量。设备600包括：

-第一滤波器601，用于实现第一滤波步骤501，此滤波被施加到输入画面的信号的一个或全部视频分量，

-代表输入画面的边缘方位的距离的计算电路610，此电路实现本发明的方法的第二实施例的步骤510，此电路提供距离图，以及

-内插电路620，其根据输入画面和由滤波器610提供的距离图来实现本发明的方法的步骤520和530，此电路提供输出画面。

在先前定义的本发明的方法中，使用在步骤110或510计算的距离来确定第二组的像素。作为变型，如果所计算的距离超过预定最大值，则此距离覆盖在这个最大值上。对于SD(标准清晰度)画面，这个最大值例如等于4个像素。实际上，除了此最大值以外，距离d的值不能低从而将误差引入内插。根据另一变型，如果所计算的距离超过此最大值，则将该距离调整为零值。尽管在某些边缘的内插中较不精确，但是该第二变型使得能够进一步减小错误的风险。

当然，本发明不限于前述实施例。与输出画面的栅格(grid)无关地在输入画面的点处计算代表边缘方位的距离(每个点与所述画面的区域相关联)、以及根据对于此区域计算的距离并且根据这些输出像素相对于输入画面的点的位置计算输出画面的区域中的像素值的任何格式转换方法或设备均落入本发明的范围。

Claims (8)

1.一种用于将第一格式的输入画面转换为与第一格式不同的第二格式的输出画面的方法，其特征在于，该方法包括以下步骤：

-在位于由所述输入画面的第一组相邻像素定界的区域内的一个点中，计算代表所述点处的边缘方位的距离，所计算的代表所述点处的边缘方位的距离与由所述输入画面的所述第一组相邻像素定界的区域相对应的输出画面的区域中的每个像素相关联，

-对于位于所述输出画面的区域中的至少一个像素，根据对于所述输入画面的所述区域中的所述点计算的距离并且根据所述输出画面的所述像素在所述输出画面的所述区域中的位置来确定所述输入画面中的第二组像素，

-根据所述第二组像素的像素值确定输出画面的所述至少一个像素的值。

2.根据权利要求1的方法，其中，所述第一组的所述相邻像素属于输入画面的像素的至少两个连续的行或列。

3.根据权利要求1的方法，其中，所述点位于所述区域的中心。

4.根据权利要求2至3中的任一项的方法，其中，代表输入画面的所述点处的边缘方位的距离取决于在所述点处的输入画面的亮度视频分量的局部梯度。

5.根据权利要求2至3中的任一项的方法，其中，如果所计算的距离超过预定义的最大值，则将所述距离覆盖在所述最大值上。

6.根据权利要求2至3中的任一项的方法，其中，如果所计算的距离超过预定义的最大值，则将所述距离调整为零值。

7.根据权利要求2至3中的任一项的方法，其中，通过所述第二组的像素的双线性内插来确定输出画面的所述至少一个像素的值。

8.一种用于将第一格式的输入画面转换为与第一格式不同的第二格式的输出画面的设备，所述输入画面和所述输出画面包括像素，其特征在于，该设备包括：

-计算电路，在位于由所述输入画面的第一组相邻像素定界的区域内的一个点中，计算代表所述点处的边缘方位的距离，所计算的代表所述点处的边缘方位的距离与由所述输入画面的所述第一组相邻像素定界的区域相对应的输出画面的区域中的每个像素相关联，以及

-内插电路，对于位于所述输出画面的所述区域中的至少一个像素，根据为所述输入画面的所述区域中的所述点计算的距离并且根据所述输出画面的所述像素在所述输出画面的所述区域中的位置，确定所述输入画面中的第二组像素，并且根据所述第二组像素的像素值确定输出画面的所述至少一个像素的值。

Images