CN104871206A - 用于数字图像的自适应缩放的系统和方法 - Google Patents

Abstract

提供了用于提升数字图像的系统和方法。访问将被提升的数字图像，数字图像包括多个像素值。基于环绕第一点的数字图像的多个像素值和活跃等级针对数字图像中的第一点计算第一半像素值。针对数字图像中的第二点的第二半像素值，并且使用多个像素值、第一半像素值和第二半像素值确定数字图像的提升版本的插值像素。

Description

用于数字图像的自适应缩放的系统和方法

相关申请的交叉参考

本发明要求2012年12月19日提交的名称为“Adaptive Scaler”的美国临时申请第61/739,428号的优先权，其全部内容通过引用并入与此。

技术领域

本发明总体来说涉及图像处理，更具体地，涉及数字图像缩放。

背景技术

随着高清晰度(HD)电视在市场上变得越来越普及，以高清分辨率观看内容的消费者预期也连续增长。在高清电视上以标准分辨率观看内容通产被视为令人失望和不期望的。不幸的是，大量的广播内容以标准清晰度格式进行记录或存储。图像提升提供了用于将低分辨率图像或视频插入较高分辨率的程序，尽管利用的是低分辨率源，但是提供了机会以提供内容的更悦人、更高分辨率显示。

发明内容

提供了用于提升数字图像的系统和方法。访问将被提升的数字图像，该数字图像包括多个像素值。基于环绕数字图像中的第一点的数字图像的多个像素值针对第一点计算第一半像素值。第一半像素值通过以下方式计算：确定第一点是否为数字图像的高活跃区；当第一点被确定为高活跃区时，选择第一候选作为第一半像素值；以及当第一点被确定为不在高活跃区中时，选择不同候选作为第一半像素值。针对数字图像中的第二点计算第二半像素值，以及使用多个像素值、第一半像素值和第二半像素值确定数字图像的提升版本的插值像素。

作为另一实例，用于提升数字图像的系统包括计算机可读介质，被配置成存储将被提升的数字图像的像素值。第一半像素计算器被配置成基于环绕数字图像中的第一点的数字图像的多个像素值为第一点计算第一半像素值，其中第一半像素计算器被配置成通过以下方式计算第一半像素值：确定第一点是否为数字图像的高活跃区，以及基于第一点是否为高活跃区来选择第一候选或不同候选作为第一半像素。第二半像素计算器被配置成为数字图像中的第二点计算第二半像素值。插值像素计算器被配置成使用多个像素值、第一半像素值和第二半像素值确定数字图像的提升版本的插值像素，以及计算机可读介质被配置成存储插值像素。

附图说明

图1是描绘将被提升的数字图像的像素的示图。

图2是描绘提升数字图像的方法的流程图。

图3是描绘第一半像素值的计算的示图。

图4是描绘用于在第一点计算第一半像素值的处理的流程图。

图5是描绘用于计算第一半像素值的附加处理的流程图。

图6是描绘在数字图像中的第二点处计算第二半像素值的示图。

图7和图8是描绘用于计算第二半像素值的处理的流程图。

图9是描绘用于插值像素在数字图像的区域中的位置的示图。

图10是描绘系统实施的示图。

图11是描绘用于提升数字图像的系统的框图。

图12是描绘提升数字图像的计算机实施的方法的流程图。

具体实施方式

图1是描绘将被提升的数字图像(诸如将被提升至更高清分辨率的标准清晰度视频的帧)的像素的示图。像素P00-P33中的每一个都与用作加亮显示器上的像素的指令的像素值相关联。从计算机可读介质中得到这些值以开始提升处理，从而将数字图像转换为更高的分辨率。在图1中显示的低分辨率数字图像在所描绘的数字图像的区域中包括16个像素。为了将数字图像提升至更高分辨率，在所示16个像素之间插入附加像素，使得当显示数字图像的相同部分时，可以在显示器中照亮更多的像素。数字图像可以根据任何比率(包括非整数比率)提升。例如，数字图像可以从256*256像素提升至3920*2160像素、从130*130像素提升至721*365像素等。

像素插值的处理提供了基于环绕像素中存在的信息将适当的像素值用于在环绕新像素的现有像素之间插入的新像素的最好猜想。有质量的插值可以产生令人满意的高分辨率图像，其看起来可与高分辨率拍摄的图像相比。然而，较差的插值会导致不想要的伪像，诸如锯齿和模糊。

图2是描绘提升数字图像的方法的流程图。将被提升的数字图像202被提供至第一模块204，其中使用数字图像202的像素在数字图像的像素之间计算一个或多个第一半像素的值。第二半像素计算模块206计算数字图像202的像素与204处计算的第一半像素值之间的一个或多个第二半像素值。第二半像素使用数字图像202的像素以及204处计算的第一半像素来计算。半像素值通过表示逻辑像素结构的一组灵活条件、基于隐式边缘标识来反映正确的插值方向。在208中，确定将被插入数字图像202的像素之间的插值像素以确切表示所提升的数字图像210。如本文进一步描述的，该插值像素基于数字图像202的像素、在204中计算的第一半像素值和在206处计算的第二半像素来确定。

图3是描绘第一半像素值的计算的示图。该第一半像素值针对数字图像的像素的每个4*4块来计算。该第一半像素值的位置在图3中通过标识为HP的交叉符号来示出。其他的第一半像素基于环绕这些位置的16个像素值、在四个像素(例如，P00、P01、P10、P11)的其他正方形组的每一个的中间来计算。

图4是描绘在第一点处计算第一半像素值(例如，在图3中表示为HP的位置的像素值)的处理的流程图。在402中，(例如，使用图5的步骤504、506、508、510)确定第一点是否为高活跃区，诸如似乎包括多个边缘或其他高频率像素数据的区域。在404中，当第一点被确定为高活跃区时，第一候选被选择作为第一半像素值408。当第一点被确定为不在高活跃区中时，在406中不同候选被选择作为第一半像素值408。

图5是描绘用于计算第一半像素值的附加处理的流程图。在502中，用于数字图像中的第一点的第一像素值的三个候选根据等式(1)、(2)和(3)计算：

方向D0：

HP_cand1＝FourTapFilter(P00,P11,P22,P33)   (1)

方向D1：

HP_cand2＝FourTapFilter(P03,P12,P21,P30)   (2)

水平和竖直方向：

Vi＝FourTapFilter(P0i,P1i,P2i,P3i),i＝0,1,2,3

HP_can3＝FourTapFilter(V0,V1,V2,V3)    (3)

其中，FourTapFilter是包括来自64相位多项滤波器中的一个相位的相同系数的滤波器。

三个候选(HP_cand1、HP_cand2、HP_cand3)中的一个基于来自周围的4*4像素的本地边缘信息来选择，其根据以下计算而固有地检测。在504中，在(如图3所示的)方向D0和D1上计算二阶导数。如果一个方向上的导数明显大于另一方向上的导数，则指示沿着那些方向中的一个方向的边缘。在高活跃区中，边缘方向可以从一个像素到下一个像素频繁地变化。因此，那些区域对边缘自适应插值方法提出最大的挑战，使得如果那些区域不被适当处理就会在提升数字图像中产生新的伪像。

由于频繁边缘方向变化的可能性，代替使用导数来标识对角边缘，图5的处理使用导数来检测高活跃区，其中针对高活跃区选择不同的第一半像素值计算技术。因此，HP_can3被选择用于通过导数和其他参数的特定条件来表示的高活跃区。对于没有被确定为高活跃区的区域，HP_can1和HP_can2中的一个基于大部分的相邻对角线方向而选择。

具体地，在一个实例中，在504中，根据等式(4)和(5)计算二阶导数DD0和DD1：

DD0＝|P00+P22-2*P11|+|P11+P33-2*P22|+|P10+P32-2*P21|

       +|P01+P23-2*P12|       (4)

DD1＝|P03+P21-2*P12|+|P12+P30-2*P21|+|P02+P20-2*P11|

       +|P13+P31-2*P22|        (5)

如果在506中DD0≤DD1，则在508中根据等式(6)将avg_Diag设置为等于avg_D0，并且将DD设置为等于DD0。

avg_D0＝(P00+P11+P22+P33+P10+P21+P32+P01+P12+p23)/10  (6)

如果在506中DD1>DD0，则在510中根据等式(7)将avg_Diag设置为等于avg_D1，并且将DD设置为等于DD1。

avg_D1＝(P03+P12+P21+P30+P02+P11+P20+P13+P22+P31)/10  (7)

在512中，通过等式(8)连同等式(9)的相邻对角线方向的标识以及等式(10)中与确定该点是否为高活跃点相关的特定其他条件一起计算两个二阶导数之间的差的幅度：

Diff_D0_D1＝|DD0-DD1|    (8)

neighbor_D0＝(|P00-P11|<＝|P01-P10|)+(|P01-P12|<＝|P02-P11|)

           +(|P03-P12|<＝|P02-P13|)+(|P10-P21|<＝|P11-P20|)

           +(|P11-P22|<＝|P12-P21|)+(|P12-P23|<＝|P13-P22|)

           +(|P20-P31|<＝|P21-P30|)+(|P21-P32|<＝|P22-P31|)

                 +(|P22-P33|<＝|P23-P32|)     (9)

High_activity_conditions＝Diff_D0_D1<TH||Diff_D0_D1*ratio1<DD

                  ||(DD>avg_Diag&&Diff_D0_D1<ratio2*DD)

                   ||Diff_D0_D1<ratio3*|HP_cand1-HP_cand2|

              ||neighbor_D0≥t_low&&neighbor_D0≤t_high)

                                               (10)

其中，TH、ratio1、ratio2和ratio3、t_low和t_high是可编程整数值。

当在514中的等式(10)的高活跃条件确定为真时，则在516中选择HP_cand3，否则从HP_cand1和HP_cand2中选择不同的候选。具体地，当在等式(9)中计算的相邻对角线方向在518中趋于第一对角线方向(例如，neighbor_D0>t_high)时，在520中选择HP_cand1，否则在522中选择HP_cand2。

在计算多个第一半像素值之后，计算一个或多个第二半像素值。图6是描绘在数字图像中的第二点(通过三角形表示)处计算第二半像素值的示图。圆形表示不变的低分辨率数字图像的像素值，而十字表示已经计算第一半像素值的点。第二半像素值针对与低分辨率数字图像的像素值点一致的第二点来计算。

在一个示例中，第二半像素值基于以下中的一个来计算：来自低分辨率数字图像的像素值、以及在处理中先前计算的第一半像素值。用于计算第二半像素值的输入基于特定的条件(诸如第二点是否将被确定为高活跃区)来选择。

图7和图8是描绘用于计算第二半像素值的处理的流程图。图7描绘了用于计算如图6所示的位置G0的第二半像素值的处理。在702中，用于G0处的第二半像素值的两个候选根据等式(11)和(12)来计算，其中等式(11)使用第一半像素值来计算候选G0_h，并且等式(12)使用来自低分辨率源数字图像的像素值来计算候选G0_v。

G0_h＝FourTapFilter(H00,H01,H02,H03)    (11)

G0_v＝FourTapFilter(P02,P12,P22,P32)    (12)

在702中，用于从两个候选之间选择的特定条件(包括考虑中的第二点是否为高活跃区)根据等式(13)来进一步计算：

Use_originalPixels_conditions＝|P12-P22|<＝(|H01-H02|+偏移)

                     ||H01使用HP_cand3

                     ||P22的所有四个环绕HP像素不使用P22

                 ||P12的所有四个环绕HP像素不使用P12

                 |||G0_h-G0_v|>TH     (13)

基于等式(13)的计算，在706中进行选择。对于高活跃区，在708中选择源于所有原始像素的候选G0_v，否则在710中选择源于第一半像素值的G0_h。G0_h通常是用于避免锯齿形对角线边缘的良好选择，而G0_v趋向于保持像素值连续性并且避免引入由高活跃区中不正确的边缘检测所引起的新伪像。

图8描绘了用于计算如图6所示的位置G1的第二半像素值的处理。在802中，用于在G1处的第二半像素值的两个候选根据等式(14)和(15)来计算，其中等式(14)使用第一半像素值来计算候选G1_h，并且等式(15)使用来自低分辨率源数字图像的像素值来计算候选G1_v。

G1_h＝FourTapFilter(P20,P21,P22,P23)  (14)

G1_v＝FourTapFilter(H10,H01,H21,H31)  (15)

在802中，用于从两个候选之间进行选择的特定条件(包括考虑中的第二点是否为高活跃区)根据等式(16)来进一步计算：

Use_originalPixels_conditions＝|P21-P22|<＝(|H01-H21|+偏移)

       ||H01使用HP_cand3

       ||P22的所有四个环绕HP像素不使用P22

       ||P21的所有四个环绕HP像素不使用P21

       |||G1_h-G1_v|>TH)   (16)

基于等式(16)的计算，在806中进行选择。对于高活跃区，在808中选择源于所有原始像素的候选G1_v，否则在810中选择源于第一半像素值的G1_h。

在已经计算第一半像素值和第二半像素值之后，确定用于数字图像的提升版本的插值像素。该插值像素的所要求位置基于从低分辨率数字图像到包括该插值像素的高分辨率图像的分辨率变化。图9是描绘用于插值像素在数字图像的区域中的位置的示图。新插值像素的位置用星形表示，并且新插值像素被定位在像素/半像素A11、A12、A21和A22之间的右下相位处。通过图9中的星形表示的位置处的期望插值像素值FP基于环绕该插值像素位置A00-A33的16个像素/半像素来确定。该16个像素包括来自低分辨率数字图像的4个像素、4个第一半像素值和8个第二半像素值。使用图9所示的符号，所期望的像素值根据如下等式(17)和(18)来确定：

Vi＝FourTap32PolyphaseFilter(A0i,A1i,A2i,A3i,水平相位),i＝0,1,2,3

                                                (17)

FP＝FourTap32PolyhaseFilter(V0,V1,V2,V3,竖直相位)  (18)

其中，水平相位表示A11和A12之间的插值像素位置的从左到右的位置，以及竖直相位表示A11和A12之间的插值像素位置的从上到下的位置。

图10是描绘系统实施的示图。在一个实例中，利用七线缓冲器来存储输入数字图像的原始像素，以及利用双线缓冲器来存储先前计算的第一半像素和第二半像素。在图10中，实线是来自低分辨率数字图像的当前像素。对于任何缩放因数，系统在环绕当前像素的第一窗1002中的一个或多个位置处插值像素值。当4点滤波器被用于(例如如参照图9所描述的)插值像素时，系统利用第二窗1004中的特定的原始像素和半像素(5*5)。如文本所描述的，为了计算第二窗1004中的半像素，系统通过执行第一半像素计算来计算相邻的半像素。因此，如图10所示，如果系统已经访问七线的原始像素和双线的半像素，则系统计算实线圆周围的第一半像素和第二半像素，并且然后使用原始像素和(使用第二窗1004中的特定的5*5原始像素和半像素)所计算的第一和第二半像素值、在第一窗1002中的期望位置处执行像素插值。系统可以通过利用附加线缓冲存储来减少冗余的半像素计算。

图11是描绘用于提升数字图像的系统的框图。该系统包括计算机可读介质1102，其被配置成存储将被提升的数字图像的像素值。第一半像素计算器1104被配置成基于环绕数字图像中的第一点的数字图像的多个像素值计算第一点的第一半像素值，其中第一半像素计算器被配置成通过以下方式计算第一半像素值：确定第一点是否为数字图像的高活跃区以及基于第一点是否为高活跃区来选择第一候选或不同候选作为第一半像素。第二半像素计算器1106被配置成为数字图像中的第二点计算第二半像素值。插值像素计算器1108被配置成使用多个像素值、第一半像素值和第二半像素值确定数字图像的提升版本的插值像素，以及计算机可读介质1110被配置成存储插值像素。

图12是描绘提升数字图像的计算机实施的方法的流程图。在1202中，访问将被提升的数字图像，其中该数字图像包括多个像素值。在1204中，基于环绕数字图像中的第一点的数字图像的多个像素值针对第一点计算第一半像素值。第一半像素值通过以下方式来计算：确定第一点是否为数字图像的高活跃区，当第一点被确定为高活跃区时选择第一候选作为第一半像素值，以及当第一点被确定为不在高活跃区中时选择不同候选作为第一半像素值。在1206中，针对数字图像中的第二点计算第二半像素值，以及在1208中，使用多个像素值、第一半像素值和第二半像素值确定数字图像的提升版本的插值像素。

本申请使用示例来说明本发明。本发明的可保护范围包括其他示例。

Claims (20)

1.一种提升数字图像的方法，包括：

访问将被提升的数字图像，其中所述数字图像包括在计算机可读介质上存储的多个像素值；

基于环绕所述数字图像中的第一点的所述数字图像的多个像素值针对所述第一点计算第一半像素值，其中所述第一半像素值基于活跃等级来计算；

针对所述数字图像中的第二点计算第二半像素值；以及

使用所述多个像素值、所述第一半像素值和所述第二半像素值确定所述数字图像的提升版本的插值像素。

2.根据权利要求1所述的方法，其中所述第一半像素值通过以下方式计算：

确定所述第一点是否为所述数字图像的高活跃区；

当所述第一点被确定为高活跃区时，选择第一候选作为所述第一半像素值；

当所述第一点被确定为不在高活跃区中时，选择不同候选作为所述第一半像素值。

3.根据权利要求1所述的方法，其中所述插值像素处于不同于所述第一点、所述第二点和所述数字图像的任何像素的第三点。

4.根据权利要求2所述的方法，其中确定所述第一点是否为高活跃区包括：确定第一方向上的导数、第二方向上的导数，以及比较所述第一方向上的导数与所述第二方向上的导数。

5.根据权利要求4所述的方法，其中所述第一方向上的导数和所述第二方向上的导数是二阶导数。

6.根据权利要求4所述的方法，其中所述第一方向是第一对角线方向，以及其中所述第二方向是垂直于所述第一对角线方向的第二对角线方向。

7.根据权利要求1所述的方法，其中确定多个第一半像素值并且确定多个第二半像素值；

其中所述插值像素使用多个所述像素值、多个第一半像素值和多个第二半像素来确定。

8.根据权利要求7所述的方法，其中所述插值像素总共使用16个像素值、第一半像素和第二半像素来确定。

9.根据权利要求8所述的方法，其中所述16个像素值包括4个第一半像素、8个第二半像素和4个像素值。

10.根据权利要求2所述的方法，其中所述第一候选和所述不同候选使用一个或多个输入滤波器来计算。

11.根据权利要求2所述的方法，其中当所述点被确定不为高活跃区时，所述不同候选从第二候选和第三候选中的一个来选择；

其中所述第二候选和所述第三候选中的一个基于成对的周围像素值之间的差来选择。

12.根据权利要求11所述的方法，其中所述第二候选和所述第三候选中的一个基于成对的周围像素之间的差的比较来选择。

13.根据权利要求12所述的方法，其中所述第二候选和所述第三候选中的一个基于所述第一方向上成对的周围像素之间的差与所述第二方向上成对的周围像素之间的差的比较来选择。

14.根据权利要求1所述的方法，其中针对所述第二点计算所述第二半像素值包括：

确定所述第二点是否为高活跃区；

当所述第二点被确定为高活跃区时，选择基于非第一半像素的候选，其中所述基于非第一半像素的候选在不使用任何第一半像素值的情况下来计算；

当所述第二点被确定为不在高活跃区中时，选择基于第一半像素的候选，其中所述基于第一半像素的候选基于一个或多个第一半像素值来计算。

15.一种用于提升数字图像的计算机实施的系统，包括：

计算机可读介质，被配置成存储将被提升的数字图像的像素值；

第一半像素计算器，被配置成基于环绕所述数字图像中的第一点的所述数字图像的多个像素值和活跃等级为所述第一点计算第一半像素值；

第二半像素计算器，被配置成为所述数字图像中的第二点计算第二半像素值；

插值像素计算器，被配置成使用多个所述像素值、所述第一半像素值和所述第二半像素值来确定所述数字图像的提升版本的插值像素；以及

计算机可读介质，被配置成存储所述插值像素。

16.根据权利要求15所述的系统，其中所述第一半像素计算器被配置成通过以下方式计算第一半像素值：确定所述第一点是否为所述数字图像的高活跃区，以及基于所述第一点是否为高活跃区来选择第一候选或不同候选作为所述第一半像素。

17.根据权利要求15所述的系统，其中所述插值像素是不同于所述第一点、所述第二点和所述数字图像的任何像素的第三点。

18.根据权利要求16所述的系统，其中所述第一半像素计算器被配置成基于第一对角线方向上的第一二阶导数以及与所述第一对角线方向垂直的第二对角线方向上的第二二阶导数来确定所述第一点是否为高活跃区。

19.根据权利要求15所述的系统，其中所述插值像素计算器被配置成基于多个第一半像素值和多个第二半像素值来确定所述插值像素。

20.根据权利要求15所述的系统，其中所述第二半像素计算器被配置成通过以下方式为所述第二点计算所述第二半像素值：

当所述第二点被确定为高活跃区时，选择基于非第一半像素的候选，其中所述基于非第一半像素的候选在不使用任何第一半像素值的情况下来计算；

当所述第二点被确定为不在高活跃区中时，选择基于第一半像素的候选，其中所述基于第一半像素的候选基于一个或多个第一半像素值来计算。