CN101953167A - 减少光晕的图像插值 - Google Patents

Abstract

公开了一种图像插值器，利用：基于块的运动估计器来提供基于块的运动矢量；以及运动矢量选择器，与基于块的运动估计器连接，提供基于像素的运动矢量。第一图像插值器根据选定的运动矢量来提供第一插值图像。第二图像插值器校正选定的运动矢量，包括针对光晕减少的校正。可以使用后处理来进一步减少光晕效应。

Description

减少光晕的图像插值

相关申请

本申请要求2007年12月20日提交的美国临时申请序列号61/051,228以及2007年12月21日提交的美国临时申请序列号61/051,970的优先权，其全部内容合并在此作为参考。

技术领域

本发明涉及图像插值中减少运动补偿伪像，更具体地涉及在插值图像中减少光晕。

背景技术

基于运动补偿的图像插值是发展成熟的技术。运动补偿的一个示例是帧速率转换(FRC)，其经常用于提高(或降低)视频的刷新速率，以及增多(或减少)每秒显示的图像。对视频进行插值以使每秒的图像数目更多的一个优点在于，LCD面板中可用的刷新速率越高，运动表现得更流畅。另一优点在于，将通常为每秒24帧(24fps)的影片内容转换为可以是30、50、60、100、120、200或240fps的视频。插值成更少图像的优点在于，在常用的例如60Hz国家电视系统委员会(NTSC)等标准与逐行倒相(PAL)标准的50Hz之间的转换。

FRC是极具挑战性的，特别在实时视频中。许多先前的技术方案已尝试解决该问题；然而，这些技术方案全都引入伪像，特别是在实时应用中。对于运动补偿(MC)和运动估计(ME)，大多数现有技术方法使用基于块的运动矢量(MV)估计。这些现有技术方案甚至对于逐行扫描图像，也会引起许多伪像，包括光晕效应、闪烁以及块伪像。

当MV估计基于固定的预定大小的像素块时，会出现块伪像。在这种情况下，认为块中所有像素都具有相同的MV，即使在块内存在以不同方式运动的不同对象或区域。此外，当给定块的相邻块出于任何原因而具有不同的估计运动矢量时，块边界变得更加明显，因为在不同相邻块中，相同区域的像素会发生不同的位移。

闪烁是运动补偿图像插值中的另一种伪像。当图像序列中少数像素的运动矢量从一帧到另一帧出现不一致时，会发生这种伪像。这种不一致一般是由于小区域中错误的运动矢量计算。

当视频序列中图像中的前景对象相对于背景进行运动时，在该对象周围出现光晕效应。背景可以是固定不动的，对象是运动的，或者反之。在一些情况下，对象和背景两者都是运动的，例如在视频游戏序列中可以是这种情况。光晕效应的根源在于遮挡区域中的错误MV估计。光晕效应的视觉感知是，对象看上去在其周围具有不同特征的光晕。例如，在场景中行走的人的脸可能看上去被光晕包围着，似乎背景的一部分与脸一同运动。

已经开发了多种光晕减少算法。光晕减少可以基于美国专利No.6,625,333中描述的基于对象的插值。然而，这种技术意味着对象分割和对象着色，这需要额外的帧存储器和额外带宽。此外，所提出的MV校正需要多个基于帧的迭代，这不适合实时处理。

也已经提出了多帧方案，涉及对多于两帧的数据的分析。例如美国专利No.6,005,639，美国专利No.6,011,596，美国专利No.7,010,039，美国申请公开No.2007/0121725A1，以及K.Sugiyama，T.Aoki和S.Hangai的“Motion Compensated Frame Rate Conversion Using Normalized Motion Estimation”，2005 IEEE Workshop on Signal Processing Systems-Design and Implementation(SiPS 2005)，Athens，Greece。用于覆盖/去除覆盖/无遮挡检测以及MV校正的多帧方案本质上基于较早的先前图像帧以及在后较远处的未来图像帧。多帧方案需要较大的图像存储器、以及存储器与处理器之间显著增大的带宽。

已经提出的两帧方案基于MV校正(或重估计)、插值策略、以及/或者这两种方法的混合。在MV校正中，将前景和背景运动矢量分离开来，这也是一种减少光晕效应的可能方法。在美国公开No.US 2006/0072790 A1中已提出了使用设置在图像边界处的一些运动矢量来作为可能的背景MV。然而，这种边界MV是背景MV的假设不一定是有效的，并且背景MV估计需要附加的帧等待时间和额外的存储器。

G.de Haan的“IC for Motion-Compensated De-Interlacing，Noise Reduction and Picture Rate Conversion”，IEEE Trans.on CE，Vol.45，No.3，Aug 1999中提出了中值滤波，作为插值策略的示例。在该文献中，中值滤波插值是前向图像插值、后向图像插值、以及两个现有图像的平均值之中的中间值。此外，使用单个递归估计的MV来获得前向和后向MV。所描述的中值滤波插值能够在无遮挡区域中得到总体良好的结果。然而，在遮挡区域中，使用中值滤波方法估计的MV不再正确。

美国专利No.7,039,109中提出了各个单独插值的加权均值。同样，相邻组中MV提供的每个单独插值基于对前向插值、后向插值以及两个现有图像的均值的中值滤波。该专利中描述的MV是基于块的，并且是从当前图像到下一图像的前向估计。为各个单独插值指定的权重是根据相邻组中MV的预测亮度以及/或相对出现频率之差的可靠性测量。为了复杂度降低目的，还提供了MV边缘检测。然而，基于组或块的MV方案会带来块效应。此外，在画面的遮挡部分，块的单个(前向)MV可能不够。此外，MV边缘检测仅仅对于软件仿真效果较好。同样，基于像素的图像平均会使遮挡区域中的插值图像模糊，或者当MV较大时会得到图像倍增效应。

美国专利No.6,219,436中，为了更高精度，提出了覆盖/去除覆盖检测，这是具有二次或4次幂误差的二次基于块的ME。提出了根据检测到的“真实”覆盖/去除覆盖区域，使用移动位置处的MV来进行MV校正。然而，事实上，对于检测到的区域，具有适当均值的多种中值滤波策略是该专利中提出的优选方案。

在美国专利No.6,487,313和美国专利No.7,058,227中均假设MV场中的不连续对应于运动对象的边界。由此，提出了使用MV长度来确定遮挡区域、采用较小的块尺寸进行附加双向插值误差计算来提高检测到的遮挡区域的精度、以及针对最终插值的多种中值滤波。然而，当对象是由平坦但有噪声的区域构成时，MV长度不一定是可靠的参数。MV场中的不连续以及运动对象的边界要求一定的较高精度，由于MV未校正，中值滤波仍然是特定技术。

因此，需要提供一种快速的图像平面插值，其不需要大存储量来实现。

发明内容

根据本发明实施例的图像插值器可以包括：运动估计器，估计第一图像和第二图像之间基于块的运动矢量；运动矢量选择器，与运动估计器连接，根据基于块的运动矢量，提供选定的运动矢量；第一插值器，连接以接收选定的运动矢量，并提供针对第一图像和第二图像之间平面的第一插值图像；以及第二插值器，连接以接收第一插值图像，对选定的运动矢量进行校正以形成校正运动矢量，并基于校正运动矢量来提供第二插值图像。

根据本发明的另一图像插值器可以包括：基于块的运动估计器，连接以接收相邻图像，基于块的运动估计器提供基于块的运动矢量、基于块的运动矢量、前向误差和后向误差；运动矢量选择器，与基于块的运动估计器连接，运动矢量选择器提供基于像素的选定的前向运动矢量和选定的后向运动矢量，并提供基于像素的前向和后向误差；第一图像插值器，与基于块的运动估计器和运动矢量选择器连接，第一图像插值器根据选定的前向运动矢量和选定的后向运动矢量来提供第一插值图像；第二图像插值器，与第一图像插值器和运动矢量选择器连接，第二图像插值器提供第二插值图像、以及校正前向运动矢量和校正后向运动矢量；以及后处理块，与第一图像插值器和第二图像插值器连接，后处理块根据第二插值图像、以及校正前向运动矢量和校正后向运动矢量，提供最终插值图像。

根据本发明实施例的在第一和第二相邻图像之间进行图像插值的方法，包括：估计第一和第二相邻图像之间的基于块的前向运动矢量和基于块的后向运动矢量；根据基于块的前向运动矢量以及前向误差函数，为图像中每一个像素选择前向运动矢量；根据基于块的后向运动矢量以及后向误差函数，为图像中每一个像素选择后向运动矢量；根据选定的后向运动矢量、选定的前向运动矢量、基于块的前向估计误差以及基于块的后向估计误差，对第一图像插值；基于选定的前向运动矢量和选定的后向运动矢量的前向和后向加权误差，根据第一图像，对第二图像插值；以及根据第二图像确定所述图像。

以下参照附图，进一步描述根据本发明的上述和其他实施例。

附图说明

图1示出了两个相邻图像之间的图像平面插值。

图2示出了根据本发明的图像插值器的实施例的框图。

图3示出了在根据本发明的一些实施例中使用的前景、背景、覆盖和去除覆盖区域。

图4A示出了运动对象以及中心在前景区域中的滑动窗。

图4B示出了运动对象以及中心在遮挡区域中的滑动窗。

图5A示出了中心在前景区域中的、分割成三个区域的滑动窗。

图5B示出了中心在遮挡区域中的、分割成三个区域的滑动窗。

图6示出了MV校正的可能决策。

图7示出了在两个现有连续图像之间插值多个图像。

图8示出了针对光晕减少的如图2所示的第二运动插值器。

图9示出了背景网格后处理中针对光晕减少的进一步处理。

图10示出了可以在后处理中执行的针对闪烁减少的处理。

如果可能，附图中具有相同或类似功能的元件具有相同的标记指示。

具体实施方式

在帧速率转换(FRC)应用中，“光晕效应”是在前景对象相对于具有细节的背景而运动时出现的视觉伪像。根据本发明的用于减少光晕效应的系统包括：基于像素的运动矢量(MV)选择、初步插值、针对MV前景/背景校正的局部形状自适应加窗、以及具有一些附加的后处理的最终插值。初步和最终图像插值基于前向和后向运动矢量估计的局部绝对差和(SAD)的发生频率。针对光晕减少的MV校正可以基本上基于局部图像亮度和局部MV变化。一些实施例是非迭代技术，这对于图像存储器使用以及图像存储器与图像处理器之间的通信带宽而言是高效的。

图1示出了要根据两个连续图像104和106而插值的插值图像(α-平面)102的时间位置。与提出的多帧方案(参见美国专利No.6,005,639，美国专利No.6,011,596，美国专利No.7,010,039，美国申请公开No.2007/0121725A1，以及K.Sugiyama，T.Aoki和S.Hangai 的“Motion Compensated Frame Rate Conversion Using Normalized Motion Estimation”)相反，插值图像102只基于来自两个连续图像(即，图像104I_n-1以及图像106I_n)的信息。如图1所示，图像104和106用于在被称为“Alpha(α)平面”的任意时间距离处来插值图像102，该α平面在时间上与图像104I_n-1的距离是α，与图像106I_n的距离是(1-α)。因为只有两个现有图像用于插值，所以根据本发明的一些实施例在存储器、带宽和速度方面具有优势。本发明的一些实施例得到视觉上期望的插值图像，并提供可接受的实时FRC方案。

图2示出了根据本发明的图像插值器200的实施例。将表示图像104I_n-1以及图像106I_n的数据输入至图像插值器200。从图像插值器200输出与α-平面中图像102相对应的插值图像I_f。图像插值器200包括运动估计器(ME)202、运动矢量选择器(MVS)204、第一运动插值器(MI1)210、第二运动插值器(MI2)206、以及后处理(PP)模块208。ME 202、MVS 204、MI1 210、MI2 206和PP 208中每一个接收图像输入I_n-1和I_n。

如图1所示，对于单个块，运动估计器202分析图像数据I_n和I_n-1，并提供前向运动矢量(MVF)和后向运动矢量(MVB)。ME 202可以是用于估计前向运动矢量MVF和后向运动矢量MVB的块匹配算法。前向运动矢量(MVF)指示了图像104I_n-1中给定图像块相对于图像106I_n中匹配块的位移。后向运动矢量(MVB)指示了图像106I_n中给定图像块相对于图像104I_n-1中匹配块的位移。此外，ME 202产生针对全搜索估计的前向和后向绝对差和误差SADF和SADB，以分别生成MVF和MVB。在数学上，SADF、SADB、MVF和MVB可以如下定义：

$\mathrm{SADF}={\min }_k(\left(\underset{y\∈\mathrm{BW}}{\mathrm{\Σ}}\right|I_{n-1}(x+y)-I_n(x+y+k)\left|\right)/N\left(\mathrm{BW}\right));$

$\mathrm{SADB}={\min }_k(\left(\underset{y\∈\mathrm{BW}}{\mathrm{\Σ}}\right|I_{n-1}(x+y+k)-I_n(x+y)\left|\right)/N\left(\mathrm{BW}\right));$

MVF＝k*给定搜索区域中最小化SADF；以及    (1)

MVB＝k*给定搜索区域中最小化SADB。

在等式中，N(BW)指示块BW的尺寸，x是当前块BW的像素坐标，y是当前块BW内的像素的坐标。为精度目的，SADF、SADB和对应的运动矢量可以与位于块BW内、大小为m×n的小的窗口像素块B相关联。因此，产生基于块的MV场，作为针对每一个图像104I_n-1和106I_n的结果。美国专利申请{代理案号No.09145.0091-00000}中进一步描述了可以用作运动估计器202的运动估计器示例，该美国专利申请与本公开同期提交，其全部内容合并在此作为参考。

在一些实施例中，ME 202中执行的运动估计可以适应于特定搜索范围，具有或不具有网格检测或估计。具有网格检测的ME 202也可以提供基于块的周期性检测信号、以及全局MV(当可获得时)。

在适合于隔行扫描图像的实施例中，在ME 202中执行的运动估计可以直接在具有相同和/或相反奇偶性的相邻场上执行。备选地，在适于最小化最终混叠效应的一些实施例中，可以利用合适的滤波和节奏(cadence)检测，在去交织图像版本上执行运动估计。

MV选择器(MVS)204在图像102的α-平面中，将MV场(即，来自ME 202的所有MVF和MVB)从基于块的转换为基于像素的。这样，MVS 204连接以接收来自ME 202的前向和后向运动矢量MVF、MVB、值SADF和SADB、以及图像数据I_n-1和I_n。在一些实施例中，从基于块的数据到基于像素的数据的转换在减少块效应方面非常有效。MVS 204向每一个像素提供该像素自身的前向MV和自身的后向MV，并产生与前向和后向运动矢量相对应的两个基于像素的MV场。

MVS 204获得场MVF和MVB，并在图像102的α-平面中针对每一个MVF和MVB，执行基于像素的运动矢量选择。对于α-平面中的每一个时间和空间像素位置P，考虑围绕像素位置P的m×n像素块，其中，P显著地位于m×n像素块的中心。接下来，检查图像104I_n-1和106I_n两个图像中的区域，这些区域包括图像104和106中对应于P的位置周围的p×q个等同m×n像素块，这总计为p×q×m×n像素块区域。因此，图像104数据I_n-1和图像106数据I_n中的这些区域的大小是α-平面102中m×n块的p×q倍。如图1所示，分别对于这些较大的区域，两个图像平面104I_n-1和106I_n中与α-平面102中当前m×n像素块的空间位置相对应的两个m×n像素块显著地位于中心。检查从ME 202输出的、从平面104I_n-1指向平面106I_n的所有基于块的MVF，并识别和选择最佳MVF，如下所述。类似地，在由p×q×m×n像素限定的邻域中找到从平面106I_n的指向平面104I_n-1的最佳MVB。从MVS 204输出这些选定的MVF和MVB结果F_S和B_S。

例如，可以根据运动矢量MVF的水平分量长度、α值和水平块尺寸m，来确定水平相邻块数目p。但是，在一些实施例中，可以针对所有α，考虑像素x周围的相邻矢量的固定方形(±2×±2)(p＝5且q＝5)。

在所考虑的像素坐标x处，对于25个MVF候选中每一个，可以如下在给定的N(w)个像素的窗w中，计算局部误差LERF_pq(x)。LERF_pq(x)可以给定如下：

${\mathrm{LERF}}_{\mathrm{pq}}\left(x\right)=\underset{k\∈w}{\mathrm{\Σ}}|I_n(x+k+\mathrm{\α}{\mathrm{MVF}}_{\mathrm{pq}})-I_{n-1}(x+k-(1-\mathrm{\α}){\mathrm{MVF}}_{\mathrm{pq}})|/N\left(w\right)---\left(2\right)$

因为x、k和MVF_pq是整数，α是分数，所以可以通过使用两个图像的适当空间插值，来获得等式(2)中所需的值I_n(x+k+αMVF_pq)和I_n-1(x+k-(1-α)MVF_pq)。

在一些实施例中，如下定义的合成局部误差LERF_pq(x)获得更好的结果：

CERF_pq(x)＝a.LERF_pq(x)+(1-a)SADF_pq    (3)

其中，参数a大于1/2。

为了保护MV场中的平滑度，在如下加权局部误差WERF_pq(x)中引入了惩罚因子pf和惩罚偏移po：

WERF_pq(x)＝pf.CERF_pq(x)+po.                   (4)

在一些实施例中，例如，当运动矢量MVF的水平或垂直分量与对应的相邻均值相差给定阈值时，pf可以设定为2，po可以设定为1或2。否则，pf可以设定为1，po可以设定为0。如果当前像素位置处存在网格，则可以将阈值设定得更小。

选定的前向和后向运动矢量F_S是将误差函数最小化的运动矢量。例如，如果利用加权误差函数，则选定的前向运动矢量F_S与最小化WERF_pq(x)的

相对应。此外，在对于p和q的一些值，一些WERF_pq(x)相等时，为了避免一些冲突情况，可以定义特定的块优先级P_pq。优先级可以是与中心块的距离的函数，中心块具有最高优先级。

相似地，可以选择所选定的后向运动矢量B_S。关联局部误差LERF_pq(x)、合成误差CERB_pq(x)和加权误差WERB_pq(x)分别给定如下：

${\mathrm{LERB}}_{\mathrm{pq}}\left(x\right)=\underset{k\∈w}{\mathrm{\Σ}}|I_n(x+k-\mathrm{\α}{\mathrm{MVB}}_{\mathrm{pq}})-I_{n-1}(x+k+(1-\mathrm{\α}){\mathrm{MVB}}_{\mathrm{pq}})|/N\left(w\right)---\left(5\right)$

CERB_pq(x)＝a.LERB_pq(x)+(1-a)SADB_pq                (6)

WERB_pq(x)＝pf.CERB_pq(x)+po                         (7)

因此，在α-平面102中的每一个像素x处，MVS 204输出一对前向和后向运动矢量F_S、B_S，以及它们各自关联的最优加权局部误差WERMF、WERMB。然后，可以在第一和第二运动插值器MI1 210和MI2 206中使用MVS 204中执行的计算的结果。

在一些实施例中，MI1 210和MI2 206提供光晕效益减少和图像插值。与先前描述的方案(例如，美国专利No.6,219,436(教授了利用第二运动估计器)，以及美国专利No.6,487,313或美国专利No.7,058,227(教授了利用MV长度))相反，MI1 210和MI2 206中不显式地检测遮挡覆盖和去除覆盖区域。

在一些实施例中，第一运动插值器(MI1)210以“运行中”或流水线方式进行操作。MI1 210可以不利用要用于MI2 206中处理的整个插值图像。MI1从原始图像104 I_n-1和106 I_n，产生α-平面102中的初步插值图像。在MI1 210中进一步执行的初步插值也可以利用选定的MVF F_S、选定的MVB B_S、局部SADF和局部SADB。原理上，在遮挡覆盖和去除覆盖区域中使用选定的MVF和MVB之一。

图3示出了覆盖和被遮挡区域。如图3所示，对于覆盖区域304，MV与α-平面102的交集对应于I_n-1中的背景区域306以及I_n-1中的前景区域302。相应地，对于该区域，使用选定的MVB B_S以及I_n-1。如图3所示，该过程可以将选定的MVF F_S从背景对象指向前景对象的概率最小化，反之亦然。类似地，对于去除覆盖区域308，使用选定的MVF F_S和I_n。然而，在作为覆盖和去除覆盖区域304、308的并集的遮挡区域中，运动矢量F_S或B_S无效。此外，为了提高更高鲁棒性，可以通过组合(I_n，F_S)和(I_n-1，B_S)，来使用基于上下文的插值。上下文基于M×N大小的滑动窗中的像素数目NbFB，NbFB是应该要利用选定的MVB B_S来插值的像素的数目。

令SF和SB分别是SADF和SADB的基于像素的值。此外，令S1和S2是合适的阈值。可以将像素数目NbFB的值定义为滑动窗M×N中像素的数目，以使：

如果α大于或等于1/2，则

NbFB＝像素数目：(SB＜S1)or[(SB≥S1)&(SB≤SF+S2)]   (8)

换言之，NbFB是如下像素的数目：这些像素的SB小于阈值S1，或者这些像素的SB大于或等于阈值S1且小于这些像素的SF与第二阈值S2之和。

如果α小于1/2，则

NbFB＝(M×N)-像素数目：(SF＜S1)or[(SF≥S1)&(SF≤SB+S2)]  (9)

换言之，NbFB是如下像素的数目的补数：这些像素的SF小于阈值S1，或者这些像素的SF大于或等于阈值S1且小于这些像素的SF与第二阈值S2之和。S1和S2可以分别设定为等于5和1。

令EF是由窗尺寸归一化的NbFB的值，EB是对应的补数值。在一些实施例中，MI1 210可以执行基于上下文的插值。

I_i1(x)＝EB.I_n(x+αF_S)+EF.I_n-1(x+(1-α)B_S)    (10)

在一些实施例中，不进行等式10中描述的插值，而是MI1 210可以形成作为时间距离α的函数的插值，如下：

I_i1(x)＝EB.I_n-1(x-(1-α)F_S)+EF.I_n-1(x+(1-α)B_S)，1＞α≥3/4；

I_i1(x)＝EB.I_n(x+αF_S)+EF.I_n(x-αB_S)，            1/4≥α＞0；(11)

I_i1(x)＝EB.I_n(x+αF_S)+EF.I_n-1(x+(1-α)B_S)，      3/4＞0＞1/4.

MI1 210随后向MI2 206输出插值图像I_i1、局部像素数目NbFB、局部基于像素的SF、以及局部基于像素的SB，MI2 206执行光晕减少和第二图像插值。

第二运动插值器(MI2)206利用MI1 210生成的结果和MVS 204生成的结果，通过α-平面102中的形状自适应加窗，来进行α-平面102的第二插值。图8示出了根据本发明的MI2 206的实施例。如图8所示，在一些实施例中，MI2 206包括光晕减少模块802、MV混合模块804、孤立MV滤波模块806、以及第二图像插值模块808。

在一些实施例中，光晕减少802使用局部滑动窗来通过α-平面102中的第一插值图像I_i1以及MV场F_S和B_S，以对MV滤波，从而产生α-平面图像102。不需要利用对覆盖区域304或去除覆盖区域308的显式检测。局部滑动窗包括I×J个像素的块，并横向和纵向地扫过α-平面102，一次一个像素。

如图5A和5B所示，局部滑动窗中有基于亮度(luma)和MV均匀性的两种二值分割。下面描述对运动矢量MV F_S或B_S的调整。对于从MVS 204接收到的两个选定的前向和后向MV F_S和B_S，下面针对MV校正的操作可以独立地应用，也可以并行地应用。

图5A和5B分别示出了窗520和522。图5A所示的窗520也在图4A中示出，其中，中心像素不在光晕区域中。图5B所示的窗522也在图4B中示出，其中，中心像素在光晕区域中。

根据第一种二值分割，根据窗中每个像素的、相对于中心像素的亮度级的亮度级，将基于I_i1的窗划分成两个区域。亮度级与中心像素的亮度级相似的所有像素落入一个分割区域，而亮度级与中心像素的亮度级不同的像素落入另一个分割区域。窗中的第二种二值分割基于窗中每个像素的、相对于中心像素的MV值的MV值。MV值与中心像素的MV值相似的所有像素落入一个分割区域，而MV值与中心像素的MV值不同的像素落入另一个分割区域。

在组合这两种二值分割时，窗520中在中心像素周围的像素落入感兴趣的三个组：组1 502、组2 504和组3 506。组1 502包括如下局部像素组：具有较小的加权局部误差WERM＝WERMF/WERMB，并且亮度值和MV值与中心像素的亮度值和MV值相似，如图5A所示。组2 504包括如下局部像素组：具有较大的WERM，亮度级与中心像素的不同，但是MV值与中心像素的相似。组3 506包括如下局部像素组：具有较小的WERM，亮度级和MV值与中心像素的不同。组2 504可以用作对光晕区域的指示。在一些实施例中，只利用组1 502和组2 504。组1 502可以用于MV平滑。组2 504可以用于光晕减少。

在图5B中，窗522的中心或被考虑的像素位于疑似光晕区域中，即，窗520的组2 504内的像素。这两种二值分割将窗划分成感兴趣的三个组：组1 508、组2 510和组3 512。组1 508包括如下局部像素组：具有较小的WERM，MV值与窗522的中心像素的MV值相似，但是亮度级与中心像素的不同。组2 510包括如下局部像素组：具有较大的WERM，并且亮度值和MV值与图5B的中心像素的亮度值和MV值相似。组3 512包括如下局部像素组：具有较小的WERM，MV值与窗522的中心像素的MV值不同，但是亮度级与中心像素的相似。同样，组2 510可以用作对光晕区域的指示。在这里给出的一些实施例中，只有后两组，组2 510和组3 512，用于光晕减少。一旦确认了光晕区域，则针对中心像素的校正运动矢量就基于组3 512的运动矢量，以减少真正的光晕。为了MV场中的平滑目的。可以使用局部均值来重估计窗522的每个组中的MV。

虽然窗520和522的尺寸可以是任何大小的，但是在一些实施例中，当当前像素位于疑似光晕区域中时，窗522的尺寸I×J可以足够大，以充分地获得对每个组进行表示的像素。此外，I和J可以足够小，以避免能够导致MV估计错误的错误信息。在一些实施例中，如果ME 202采用基于块的方法，其中，块具有m×n个像素，则窗522可以具有在n与2.5n个像素之间选择的(水平)长度J，并且为了经济目的，可以具有在0.5m到m之间选择的窗高度I。

在一些实施例中，如果当前像素处的MV估计误差WERM大于阈值，并且在窗522中，估计误差较小并且MV值与中心像素的MV值不同的像素的数目N_DE足够大，则对窗522的给定组中的MV进行校正。在这种情况下，校正MV将是这些已经给出较小误差的不同运动矢量的均值。因此，如图4B所示，用组3 512的运动矢量的均值替代组2 510的MV。在图4A中，不校正组1 502中的MV。

如果上述条件不为真，即，MV估计误差相对较大或者N_DE不重要，则MV校正可以基于不同组的基数。令N_R是与所考虑的中心像素相似(具有相似亮度和相似MV)的像素的数目。令N_D是与中心像素的亮度相似但是MV值不同的像素的数目。令N_RD是窗中与中心像素的亮度相似的像素的数目。因此，N_RD等于N_R与N_D之和。N_RD小于窗尺寸。由此，N_RD是相对数，而窗尺寸I*J是对滑动窗(窗520和522)的尺寸进行指示的绝对数。

图6示出了MV选择或校正。如图6所示，在一些实施例中，MV选择或校正是基于参数N_R的二维空间中的三级决策。图6中横轴是绝对数，其最大值是窗尺寸I*J。纵轴是相对数，其最大值是N_RD。如果N_R仍然是亮度和MV都与当前中心像素相似的像素的数目，则选定的MV可以是图6所示的两个不同估计MV之一，或者不是这两个MV。在右上角，N_R相对地等于两个基数，向中心像素分配相同或相似运动矢量的均值，这表示图4A或5A中组1502的MV的均值。在左下角，相比于两个基数，N_R相对较小，向中心像素分配这些不同运动矢量的均值，这是图4B或5B中组3512的运动矢量。在以上准则都不满足的情况下，不选择上述组的MV，重新使用MI1 210中生成的原始MV。因此，与现有技术相反，本发明一些实施例中使用的MV校正过程不要求对覆盖/去除覆盖区域的显式检测。

在一些实施例中，局部滑动窗中像素的分割可以基于色度级。对于参照图5A和5B描述的亮度级分割而言，这给出了附加的置信度。例如，这些实施例中对像素的分组可以一方面使用亮度和色度差，另一方面使用运动矢量。

对于本领域技术人员应该显而易见的是，上述图4A、4B、5A和5B中示出并描述的局部滑动窗中的亮度、色度和运动矢量的分割是示例。此外，使用两个基数来划分图6所示方形也是示例性的。可以在不背离所公开实施例范围的前提下，想到备选的选择以及其他基数。

根据例如上述决策规则，由光晕减少802生成的校正运动矢量F₁和B₁分别对应于经过校正的F_S和B_S，将校正运动矢量F₁和B₁输入MV混合804。为了避免任何硬决策的刻板影响，根据WERMF的基于像素的前向估计误差(ef)，将MV F₁与MVS 204的选定MV F_S混合，以提供MV输出F₂。F₂给定如下：

F₂＝F_S+(F₁-F_S)(ef).               (12)

以类似方式，B₁的混合版本B₂给定如下：

B₂＝B_S+(B₁-B_S)(eb).               (13)

其中(eb)是WERMB的当前基于像素的后向估计误差。

将MV混合804的输出F₂和B₂输入孤立MV滤波806。然后，如果当前像素处的F₂相对孤立，则用所获得的MV F₂的P×Q相邻中值MV来替代该F₂。精确地讲，当前MV输出F_O可以表示如下：

如果在尺寸为P×Q的窗中，与当前中心像素的MV相似的MV的数目小于阈值，则

F_O＝中值矢量(F_2；i，j|(i，j)∈窗)               (14)

否则，F_O＝F_2；0，0|(0，0)，是窗中心像素索引     (15)

以类似方式，可以获得B₂的中值滤波版本B_O。将从孤立MV滤波806输出的值F_O和B_O输入第二图像插值808。

在第二图像插值808中，将上述获得的运动矢量F_O和B_O用于插值。第二插值类似于第一插值MI1 210，并且可以使用如下插值之一：

I_i2(x)＝EB.I_n(x+αF_O)+EF.I_n-1(x+βB_O)           (16)

或

I_i2(x)＝EB.I_n-1(x-(1-α)F_O)+EF.I_n-1(x+(1-α)B_O)，1＞α≥3/4；

I_i2(x)＝EB.I_n(x+αF_O)+EF.I_n(x-αB_O)，            1/4≥α＞0；(17)

I_i2(x)＝EB.I_n(x+αF_O)+EF.I_n-1(x+(1-α)B_O)，      3/4＞0＞1/4.

当在多帧插值中可以容忍较小的运动抖动时，可以考虑下面的插值，来替代等式16或17的插值。该插值可以提高图像锐度，并且得到更好的光晕减少。在该插值中，可以如下通过α’，对alpha值α进行非线性修正(例如二次修正)：

如果0＜α＜1/2，则α’＝2α²；如果1/2＜α＜1，则α’＝1-2(1-α)²

I_i2(x)＝EB.I_n-1(x-(1-α′)F_O)+EF.I_n-1(x+(1-α′)B_O)，1＞α≥3/4；

I_i2(x)＝EB.I_n(x+α′F_O)+EF.I_n(x-α′B_O)，            1/4≥α＞0；(18)

I_i2(x)＝EB.I_n(x+α′F_O)+EF.I_n-1(x+(1-α′)B_O)，      3/4＞0＞1/4

如图2所示，从MI2 206的输出是插值alpha-平面图像102 I_i2、连同前向和后向运动矢量F_O和B_O。后处理器(PP)208接收图像数据I_i2以及运动矢量F_O和B_O，并且在存在网格背景时可以再次减少一些剩余的光晕，也可以减少由遮挡区域中孤立错误插值像素引起的或者来自于孤立MV的闪烁效应。

图9示出了光晕减少器900，其是后处理器208的一部分，与背景中的网格一起使用。当背景中存在网格时，遮挡区域中的较小MV误差会破坏插值图像中的网格结构，这种影响是令人不快的。如图9所示，光晕减少器900可以包括遮挡区域902中网格背景的检测器、网格MV校正器904、针对网格背景的图像插值器908、以及软混合器910。

检测器902中的遮挡区域检测可以基于SADF或SADB是否大于阈值。此外，在遮挡区域中，前向和后向运动矢量一般不是对齐的，即，和(F_O+B_O)的绝对值大于阈值。值得注意的是，检测器902检测遮挡区域，但是不需要检测分离的覆盖或去除覆盖区域。网格检测可以由ME 202中基于块的FFT分析来实现。二值信号PERD表示对网格的周期性检测开/关结果。此外，为了校正错误的MV，可以在矢量F_O与G以及B_O与G之间执行逐分量的比较，其中MV G定义为经由ME 202中适当的直方图分析而估计的全局MV。例如，如果背景是静止的，或者MV G不可用，则可以G将设为等于0。也可以通过使用如上相对于MI2 206描述的、被局部分割成三个像素组的合适的滑动窗，来估计MV G。检测器二值信号输出DLBOR激活网格MV校正器904。DLBOR也可以应用于低通滤波器906的输入，进而低通滤波器906生成模拟信号(a)，模拟信号(a)输入软混合器910。

当被检测器信号DLBOR激活时，网格MV校正器904用G替代F_O和B_O，以生成运动矢量F_C和B_C。相应地，F_C和B_C是由MV校正器提供的前向和后向运动矢量。

当运动矢量F_C和B_C可用时，针对网格背景的图像插值器908可以由先前等式16的插值模型来描述。可以如下定义图像插值结果I_L：

I_L(x)＝EB.I_n(x+αF_C)+EF.I_n-1(x+(1-α)B_C).          (19)

为了减少检测边界效应，使用软混合器910来提供针对光晕-网格校正的图像输出I_H：

I_HL(x)＝I_i2(x)+[I_L(x)-I_i2(x)](a).                  (20)

然后，可以将图像输出I_HL应用于闪烁减少器，以进行最终校正。

图10示出了闪烁减少器1000，其是后处理器208的一部分。闪烁减少器1000可以是图2所示后处理器208的最末级。如图10所示，闪烁减少器1000可以包括闪烁检测器1002、领域平均计算器1004以及软混合器1008。

闪烁检测器1002检测可能的闪烁效应，闪烁效应主要是由于遮挡区域中孤立错误插值像素，或者是由于孤立MV。先前描述的遮挡区域检测基于SADF、SADB、前向和后向运动矢量之和、以及当前亮度与其领域(例如，8邻域)平均值之差。孤立MV检测基于小窗中MV与当前像素的MV不同的像素的数目。针对前向和后向MV F_O和B_O的每一个水平或垂直分量，考虑该不同。将检测器的二值信号输出应用于低通滤波器1006，低通滤波器1006进而生成模拟信号(b)，以用于进一步混合目的。平均计算器1004在其输出处提供当前像素的相邻像素(例如，8个相邻像素)的亮度平均值I_M。

软混合器1008根据如下关系，提供最终图像I_f：

I_f(x)＝I_HL(x)+[I_M(x)-I_HL(x)](b).                  (21)

则图像I_f(x)表示图1所示的alpha平面102中的图像。

在一些实施例中，执行在现有帧之间多于一个帧的插值。例如，从24fps影片内容转换到120Hz视频要求在任意两个原始帧之间插值四个帧，如图7中alpha-平面702、704、706和708所示。分别在原始的两个图像104和106(I_n和I_n-1)之间执行ME 202中的运动估计(ME)，因此这与上述方法相同。在这种情况下，MVF和MVB选择与上述单个帧插值的示例相同。相应地，运动矢量选择(MVS)204的执行与以上描述类似。对于每个插值平面，可以根据可用的计算能力，以合适的并行和/或串行组合，来使用相似的MVS。类似地，可以通过估计运动矢量的不同时间相交处的像素值，来实现第一运动插值器MI1 210。对于每个alpha平面，MI2中执行的第二运动插值也相似。最后，为了高帧速率输出，可以根据可用的计算能力，以合适的并行和/或串行处理组合，来执行MVS 204、MI1 210、MI2 206和PP208。

本申请的实施例可以在任何能够处理图像数据的机器上实施。例如，可以在执行软件代码的处理器上实现实施例，该软件代码实现这里所述的功能。这种软件可以存储在任何计算机介质上，包括例如硬驱、存储器、可移除驱动等。此外，可以在具有处理器和存储器的专用ASIC上实现实施例。

本发明的一些实施例可以显著减少实时应用中插值图像中光晕、闪烁和块伪像的出现。对于本领域技术人员显而易见的是，在不背离这里给出的实施例范围的前提下，MV的选择和中间α-平面的对应插值是示例性的，可以进行其他多级决策，或者可以考虑不同于所选/校正MV的不同组，并生成中间图像。本领域技术人员应该理解，在不背离这里给出的实施例范围的前提下，可以改变一些步骤或组件。由此，本发明应该仅由所附权利要求来限定。

Claims (27)

1.一种在第一和第二相邻图像之间插值图像的方法，包括：

估计第一和第二相邻图像之间的基于块的前向运动矢量和基于块的后向运动矢量；

根据基于块的前向运动矢量以及前向误差函数，为所述图像中每一个像素选择前向运动矢量；

根据基于块的后向运动矢量以及后向误差函数，为所述图像中每一个像素选择后向运动矢量；

根据选定的后向运动矢量、选定的前向运动矢量、基于块的前向估计误差以及基于块的后向估计误差，插值第一图像；

基于选定的前向运动矢量和选定的后向运动矢量的前向和后向加权误差，根据第一图像，插值第二图像；以及

根据第二图像确定所述图像。

2.根据权利要求1的方法，其中，估计基于块的前向估计误差和估计基于块的后向估计误差包括：计算前向绝对差和误差以及后向绝对差和误差。

3.根据权利要求1的方法，其中，估计基于块的前向运动矢量和基于块的后向运动矢量是自适应的。

4.根据权利要求1的方法，其中，估计基于块的前向运动矢量和基于块的后向运动矢量是对隔行扫描图像执行的。

5.根据权利要求1的方法，其中，选择前向运动矢量或者选择后向运动矢量包括：将基于块的运动矢量转换为所述图像的基于像素的运动矢量。

6.根据权利要求1的方法，其中，前向误差函数和后向误差函数是根据第一和第二相邻图像而估计的图像中运动矢量之间的差的和。

7.根据权利要求1的方法，其中，前向误差函数和后向误差函数是合成局部误差。

8.根据权利要求1的方法，其中，前向误差函数和后向误差函数是加权局部误差。

9.根据权利要求1的方法，其中，插值第一图像包括：

根据块误差函数的基于像素的值、以及图像中相对于第一和第二相邻平面的位置α，计算像素数目；

根据选定的前向运动矢量、选定的后向运动矢量、基于所述像素数目的归一化的像素数目、以及位置α，计算第一图像。

10.根据权利要求9的方法，其中，插值第一图像是基于上下文的插值。

11.根据权利要求9的方法，其中，插值第一图像包括时间距离的函数。

12.根据权利要求1的方法，其中，插值第二图像包括：

减少光晕效应；

混合运动矢量；

对运动矢量滤波；以及

图像插值。

13.根据权利要求12的方法，其中，减少光晕效应包括：

根据所述图像的平面中的局部亮度信息、选定的前向运动矢量、以及对应的局部加权前向最小误差，分割局部滑动分割窗，该局部滑动分割窗具有针对前向运动矢量的感兴趣的多个像素组；

根据所述图像的平面中的局部亮度信息、选定的后向运动矢量、以及对应的局部加权后向最小误差，分割局部滑动分割窗，该局部滑动分割窗具有针对后向运动矢量的感兴趣的多个像素组；

根据所述感兴趣的多个像素组之一的当前位置，校正所述选定的前向运动矢量，以提供减少光晕效应的校正前向运动矢量；以及

根据所述感兴趣的多个像素组之一的当前位置，校正所述选定的后向运动矢量，以提供减少光晕效应的校正后向运动矢量。

14.根据权利要求13的方法，其中，混合运动矢量包括：

通过将所述校正前向运动矢量与所述选定的前向运动矢量之差乘以前向估计误差，并与所述选定的前向运动矢量相加，来计算调整前向运动矢量。

15.根据权利要求14的方法，其中，混合运动矢量还包括：

通过将所述校正后向运动矢量与所述选定的后向运动矢量之差乘以后向估计误差，并与所述选定的后向运动矢量相加，来计算调整后向运动矢量。

16.根据权利要求15的方法，其中，对运动矢量滤波包括：

用中值前向运动矢量替代调整前向运动矢量，并用中值后向运动矢量替代调整后向运动矢量。

17.根据权利要求16的方法，其中，图像插值包括：

根据所述调整前向运动矢量和所述调整后向运动矢量，形成第二图像。

18.根据权利要求17的方法，其中，形成第二图像包括：通过对图像的时间位置的二次修正来进行插值。

19.根据权利要求1的方法，其中，确定所述图像包括：通过减少光晕效应以及通过减少闪烁效应，对第二图像进行后处理。

20.根据权利要求19的方法，其中，减少光晕效应包括：

检测网格背景；

校正运动矢量；

插值最终图像；以及

将校正混合到最终图像中。

21.根据权利要求20的方法，其中，减少闪烁效应包括：

检测闪烁；

确定邻域平均；以及

将邻域平均与最终图像混合，以形成所述图像。

22.一种图像插值器，包括：

基于块的运动估计器，连接以接收相邻图像，基于块的运动估计器提供基于块的运动矢量、基于块的运动矢量、前向误差和后向误差；

运动矢量选择器，与基于块的运动估计器连接，运动矢量选择器提供基于像素的选定的前向运动矢量和选定的后向运动矢量，并提供基于像素的前向和后向误差；

第一图像插值器，与基于块的运动估计器和运动矢量选择器连接，第一图像插值器根据选定的前向运动矢量和选定的后向运动矢量来提供第一插值图像；

第二图像插值器，与第一图像插值器和运动矢量选择器连接，第二图像插值器提供第二插值图像、以及校正前向运动矢量和校正后向运动矢量；以及

后处理模块，与第一图像插值器和第二图像插值器连接，后处理模块根据第二插值图像、以及校正前向运动矢量和校正后向运动矢量，提供最终插值图像。

23.根据权利要求22的图像插值器，其中，第二图像插值器包括：

光晕减少器，利用滑动窗来校正选定的前向运动矢量和选定的后向运动矢量；

MV混合模块，进一步校正选定的前向运动矢量和选定的后向运动矢量；

孤立MV滤波器，进一步校正选定的前向运动矢量和选定的后向运动矢量，以生成校正前向运动矢量和校正后向运动矢量；以及

第二图像插值器，根据校正前向运动矢量和校正后向运动矢量，插值图像。

24.根据权利要求22的图像插值器，其中，后处理模块包括：

光晕减少器；以及

闪烁减少器。

25.根据权利要求24的图像插值器，其中，光晕减少器包括：

网格背景检测器；

网格运动矢量校正器，与网格背景检测器连接，网格运动矢量校正器对校正前向运动矢量和校正后向运动矢量进行校正；以及

图像插值器，根据网格运动矢量校正器校正的运动矢量，插值图像。

26.根据权利要求24的图像插值器，其中，闪烁减少器包括：

孤立元素检测器，检测孤立运动矢量或孤立像素；以及

邻域平均计算器。

27.一种图像插值器，包括：

运动估计器，估计第一图像和第二图像之间基于块的运动矢量；

运动矢量选择器，与运动估计器连接，根据基于块的运动矢量，提供选定的运动矢量；

第一插值器，连接以接收选定的运动矢量，并提供针对第一图像和第二图像之间平面的第一插值图像；以及

第二插值器，连接以接收第一插值图像，对选定的运动矢量进行校正以形成校正运动矢量，并基于校正运动矢量来提供第二插值图像。

Images