CN101911701B - 用于图像配准和视频编码的共享的块比较架构 - Google Patents

Abstract

本发明描述一种用于支持静态图像的图像配准和视频序列的视频编码的成像装置的有效架构。对于图像配准，所述所描述的架构使用经俘获的图像的图像块相对于另一参考图像的块的基于块的比较来支持逐块基础上的图像配准。对于视频编码，所述所描述的架构使用基于块的比较(例如)来支持运动估计和运动补偿。根据本发明，共同块比较引擎在共享基础上用于基于块的图像配准和基于块的视频编码两者。以此方式，可实施针对基于块的比较而设计的硬件单元，以便在用于静态图像的所述图像配准过程与用于编码视频序列的所述视频编码过程两者中工作。

Description

用于图像配准和视频编码的共享的块比较架构

技术领域

本发明涉及图像和视频处理，且更特定来说，涉及用于在图像俘获应用中的图像配准和稳定的技术和用于在视频俘获应用中的视频编码的技术。

背景技术

在成像装置中，由此些装置俘获的图像或视频序列常易受归因于在图像俘获期间装置的非故意振动的质量降级。在视频俘获中，成像装置的振动可导致所俘获视频序列中的不合意的运动或抖动。在静态图像俘获中，振动可导致所俘获图像的模糊。模糊或抖动可使人的视觉系统难以聚焦并集中于图像内的感兴趣的区域或目标上。在任何情况下，视频或图像的观看体验的质量降低。

图像配准技术可用以补偿非故意的振动以产生更好的图像质量。图像配准系统大体上分成三个主要类别：光学图像稳定器(OIS)、机械图像稳定器(MIS)和电子图像稳定器(EIS)。OIS系统使用可调整透镜，其在图像到达传感器之前使图像变形以减小振动的效应。MIS系统(例如)使用相机的重心、抗衡系统和/或相机操作者的身体以最小化振动而使整个相机稳定。EIS系统使用信号处理算法以更改所俘获的图像且借此解决振动的效应。在一些图像处理应用中，图像配准还可用以将图像的短序列融合成一个图片。EIS系统实施起来可比OIS系统和MIS系统廉价，且可能优于例如配备有成像能力的无线无线电电话手持机(例如，所谓的相机电话)的装置的OIS系统和MIS系统。

对于视频俘获，成像装置可实施基于块的视频压缩技术，例如由高级视频编码(AVC)标准，第10部分，MPEG-2、MPEG-4、ITU-T H.261、H.263或H.264/MPEG-4所定义的那些技术。视频压缩技术执行空间预测和时间预测以减少或移除在视频序列中所固有的冗余。运动估计和运动补偿(例如)为用以移除经编码的视频序列中的时间冗余且借此实现数据压缩的常见且有效的基于块的视频编码技术。

发明内容

本发明描述支持静态图像的图像配准和视频序列的视频编码的成像装置的有效架构。对于图像配准，所描述的架构可使用经俘获的图像的图像块相对于另一参考图像的块的基于块的比较以支持在逐块基础上的图像配准。任选地，基于像素的配准还可用于任何块的图像配准中，对于所述任何块，在参考图像中未识别充分匹配的块。对于视频编码，所描述的架构可使用基于块的比较(例如)以支持运动估计和运动补偿。

根据本发明的一些方面，可经由块比较引擎执行基于块的比较，所述块比较引擎形成图像配准架构与视频编码架构两者的部分。换句话说，本发明描述用于基于块的图像配准和基于块的视频编码的共享块比较引擎的使用。以此方式，可实施针对基于块的比较而设计的硬件单元，以便在用于静态图像的图像配准过程与用于编码视频序列的视频编码过程两者中工作。

在一个实例中，本发明提供一种方法，其包含：对视频序列的图像帧执行视频编码过程，其中执行视频编码过程包括使用块比较引擎来比较经编码的图像帧的视频块与搜索空间的视频块；以及执行图像配准过程，其中执行图像配准过程包括使用所述块比较引擎来比较第一图像的块与第二图像的块。

在另一实例中，本发明提供一种设备，其包含：块比较引擎；视频编码器，其对视频序列的图像帧执行视频编码过程，其中视频编码过程包括使用块比较引擎来比较经编码的图像帧的视频块与搜索空间的视频块；以及图像配准单元，其执行图像配准过程，其中所述图像配准过程包括使用块比较引擎来比较第一图像的块与第二图像的块。

在另一实例中，本发明提供一种装置，其包含：用于对视频序列的图像帧执行视频编码过程的装置，其中用于执行视频编码过程的装置包括用于使用块比较引擎来比较经编码的图像帧的视频块与搜索空间的视频块的装置；以及用于执行图像配准过程的装置，其中用于执行图像配准过程的装置包括用于使用块比较引擎来比较第一图像的块与第二图像的块的装置。

可以硬件、软件、固件或其组合实施本发明中所描述的技术的各种方面。如果以软件实施，则软件可执行于处理器中，所述处理器可指代一个或一个以上处理器，例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或数字信号处理器(DSP)，或其它等效集成或离散逻辑电路。软件可执行于包括块比较引擎的成像装置中，如本文所描述。执行所述技术的软件指令可最初存储于计算机可读媒体中且由成像装置的处理器加载并执行。

因此，本发明还涵盖包含包含指令的计算机可读媒体的计算机可读媒体，所述指令当在包括块比较引擎的成像装置的处理器中执行后便致使所述处理器：对视频序列的图像帧执行视频编码过程，其中所述视频编码过程包括使用块比较引擎比较经编码的图像帧的视频块与搜索空间的视频块；以及执行图像配准过程，其中基于块的图像配准过程包括使用块比较引擎来比较第一图像的块与第二图像的块。

在附图和以下描述中阐述一个或一个以上实例的细节。将从描述和图式以及从权利要求书明白其它特征、目的和优点。

附图说明

图1为说明包括由图像配准单元与视频编码器两者使用的块比较引擎的实例成像装置的框图。

图2为与本发明的技术一致的耦合到存储器的示范性图像配准单元的框图。

图3为与本发明的技术一致的耦合到存储器的示范性视频编码器的框图。

图4为说明根据本发明的执行图像配准和视频编码的成像装置的实例操作的流程图。

图5为说明与本发明一致的示范性图像配准过程的流程图。

具体实施方式

成像装置(尤其是小且轻的那些成像装置，例如所谓的相机电话)易受在图像俘获期间由装置的用户产生的不合意的移动影响。此些不合意的移动(有时称为手抖动)大体上归因于模糊或其它视觉假影而导致降低的图像质量。为补偿所述移动，成像装置可使用本发明中描述的图像配准技术来提供图像稳定。一般来说，图像配准指代一技术，在所述技术中两个或两个以上静态图像经俘获、经对准并组合以形成复合(“配准的”)静态图像。相对于所述两个或两个以上静态图像，图像配准可用以减少经组合的静态图像中的抖动，或用以组合两个或两个以上图像以将图像的序列融合成一个图片。

对于图像配准，本文所述的架构使用经俘获的图像的图像块相对于另一参考图像的块的基于块的比较以支持在逐块基础上的图像配准。可将两个或两个以上图像分成若干块或窗，其可类似于视频编码中定义的所谓的“宏块”。可将这些块或窗与另一图像的块或窗比较以支持在逐块基础上的图像配准。所述块可为不相交的、接合的(非重叠)的或重叠的。任选地，基于像素的配准还可用于任何块，对于所述任何块，在参考图像中未识别充分匹配的块。

本发明描述一种在共享基础上使用共同块比较引擎支持静态图像的图像配准和视频序列的视频编码的图像俘获装置的有效架构。通过图像配准与视频编码两者共享块比较引擎，减小成像装置中的尺寸、处理和存储器开销可成为可能。

对于视频编码，所描述的架构还使用基于块的比较(例如)以支持运动估计和运动补偿。根据本发明，如上文所描述，可经由块比较引擎执行基于块的比较，所述块比较引擎形成图像配准架构与视频编码架构两者的共享部分。换句话说，本发明描述用于在基于块的图像配准和基于块的视频编码中使用的共享块比较引擎的使用。以此方式，可实施针对基于块的比较而设计的硬件单元，以便在静态图像的图像配准过程与用于编码视频序列的视频编码过程两者中工作。图像配准过程还可结合视频俘获一起使用，其中视频序列的每一图像帧为与多个短曝光图像相关联的经配准的帧。在此情况下，与图像帧的产生相关联的图像配准和用于编码序列的此些图像帧的视频编码过程仍将使用同一块比较引擎。

图1为说明实例成像装置2的框图，所述成像装置2包括由图像配准单元16与视频编码器18两者使用的块比较引擎20。尽管块比较引擎20经说明为单独组件，但其实际上可形成图像配准单元16与视频编码器18两者的部分。块比较引擎20可包含在图像配准期间由图像配准单元16调用以及在视频编码期间由视频编码器18调用的硬件单元。或者，块比较引擎20可包含硬件单元，所述硬件单元实质上与图像配准单元16和视频编码器18两者集成，使得其形成图像配准单元16与视频编码器18两者的部分。可以硬件、软件、固件或其任何组合来实施图像配准单元16和视频编码器18。

成像装置2可包含数码相机，其支持一个或一个以上数字静态图像俘获模式和视频俘获模式。成像装置2可包含独立的成像装置(例如，独立的相机)，或可形成例如无线手持机(通常称为蜂窝式无线电电话)的另一装置的部分。作为一实例，成像装置2可包含所谓的相机电话或视频电话。在此情况下，装置2可包括许多其它组件(例如，接收器、发射器、调制解调器和天线)以促进无线通信。为简单和易于说明起见，未展示这些无线通信组件。

如图1中所示，成像装置2可包括经由专用总线11耦合到图像处理单元12的相机10。图像装置2可界定随着静态图像或视频帧由相机10俘获而自动处理所述图像和/或帧的“内嵌(in-line)”架构。然而，本发明的技术不需要相机10和处理单元12。相反，相对于已由另一装置俘获的数据、从另一装置发送的数据、已存储于存储器14中的数据等，也可应用本文描述的视频编码和图像配准过程，其使用同一块比较引擎。

相机10可支持静态图像俘获，其中对于每一图像以相对短的曝光时间俘获图像的短序列，且接着将其组合以形成如本文所述的经配准的静态图像。相机10还可支持视频俘获，其中帧的序列经俘获且经编码以形成视频序列。本文将图像配准过程主要描述为图像俘获模式的部分，但还可在视频俘获(例如，其中视频序列的每一图像帧自身为基于两次或两次以上曝光而形成的经配准的帧)期间使用图像配准过程。

相机10可包括(例如)以行和列布置的个别图像传感器元件的二维阵列。在一些方面中，相机10的图像传感器元件中的每一者可与单一像素相关联。换句话说，可能在图像传感器元件与像素之间存在一一对应。或者，可存在与每一像素相关联的一个以上图像传感器元件或与每一图像传感器元件相关联的一个以上像素。相机10可包含(例如)固态传感器的阵列，所述固态传感器例如为互补金属氧化物半导体(CMOS)传感器、电荷耦合装置(CCD)传感器或在数码相机应用中使用的任何其它传感器元件。此外，相机10可维持一个或一个以上图像缓冲器，相机10即时地将所俘获图像的图像信息存储到所述一个或一个以上图像缓冲器。相机10可包括一个或一个以上透镜、快门、用以照亮图像场景的闪光装置和(可能地)显示器(如果需要的话)。图1中所说明的架构仅为示范性的，因为可以多种其它架构来实施本发明中所描述的技术。

为俘获一图像，相机10将其传感器元件暴露于图像场景。相机10内的图像传感器元件可(例如)俘获表示在特定像素位置处的场景的光的强度的强度值。在一些情况下，相机10的图像传感器元件中的每一者可归因于覆盖传感器的彩色滤光片而仅对一种色彩或色带敏感。举例来说，相机10可包含具有适当滤光片的传感器的阵列以便界定红色、绿色和蓝色传感器。然而，相机10可利用其它类型的彩色滤光片，例如CMYK彩色滤光片或其它类型的彩色滤光片。相机10的图像传感器中的每一者可俘获对于仅一种色彩的强度值。图像信息可包括由相机10的传感器元件俘获的像素强度和/或色彩值。

图像处理器单元12接收来自相机10的原始图像数据，且可对此数据执行广泛多种图像处理技术中的任一者。图像处理单元12可称为成像“前端”，且可执行例如缩放、白平衡、色彩平衡、修剪、信号噪声减少、锐化或任何其它前端图像数据处理的功能。所俘获的图像数据存储于存储器14中。图像处理单元12、存储器14、图像配准单元16和视频编码器18可经由共享数据通信总线15而彼此通信地耦合。

存储器14可包含任何形式的易失性或非易失性存储器，例如只读存储器(ROM)、一形式的随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器，或某一类型的数据存储驱动器或单元。通常，存储器14可实施为某一类型的RAM或快闪存储器以确保在装置2的不同组件之间的快速数据传送。

可在装置2的静态图像俘获模式期间使用图像配准单元16，而可在视频俘获模式期间使用视频编码器18。图像配准单元16可组合两个或两个以上图像以形成经配准的图像。在图像俘获模式期间，举例来说，相机10可俘获几个连续短曝光图像(例如，四个连续0.25秒图像)，而非俘获长曝光图像(例如，1秒图像)。图像配准单元16可将四个连续0.25秒图像组合成经配准的图像。相对于持续1秒曝光的图像来说，经配准的图像可具有改进的图像质量。以此方式，配准可(例如)通过减少抖动而改进静态图像的质量。

可在视频俘获期间使用视频编码器18。视频编码器18可根据例如高级视频编码(AVC)，第10部分，MPEG-2、MPEG-4、ITU-T H.261、H.263或H.264/MPEG-4等标准执行视频压缩。以此方式，视频编码器18压缩视频帧的序列以形成经编码的视频序列。而且，图像配准无需限于图像俘获模式，而是还可用于视频俘获模式中，使得视频序列的每一图像帧为基于两次或两次以上图像曝光而产生的经配准的帧。

根据本发明的技术，由图像配准单元16与视频编码器18两者使用块比较引擎20。而且，尽管块比较引擎20经说明为单独的组件，但其实际上可形成图像配准单元16与视频编码器18两者的部分。或者，块比较引擎20可被视为在图像配准期间由图像配准单元16调用以及在视频编码期间由视频编码器18调用的单独组件。总之，图像配准单元16和视频编码器18两者均利用块比较引擎20。以此方式，可在成像装置2中避免块比较引擎20的重复，以使装置2的架构更有效。举例来说，共享的块比较引擎20可产生具有比在使用单独的块比较引擎的情况下将需要的芯片面积小的芯片面积(较少硅)的集成电路。相对于仅软件解决方案，还可通过实施块比较引擎20而减少存储器需求。另外，相对于其它架构或仅软件解决方案，可改进处理速度。

图像配准16可执行基于块的图像配准。在此情况下，将图像分割成像素的块(在本发明中称为“块”)。块表示图像信息的邻接部分，且可被称为“窗”或其它术语。在一些情况下，经界定用于图像配准的块可类似于H.264视频编码标准中所界定的所谓的“宏块”、“分割”或“子分割”。所述块具有任何尺寸，例如，16×16个像素、8×8个像素、4×8个像素、8×4个像素、4×4个像素或任何其它尺寸。在视频编码的情境下，块可被称为宏块、分割或子分割，但在图像配准中，块可被称为窗或其它术语。块可包含在像素域(pixel domain)中或在变换域(transform domain)(例如，离散余弦变换(DCT)域)中的图像数据的集合。举例来说，块可包含形成正方形或矩形的像素值或变换系数值。块可为不相交的、接合(非重叠)的或重叠的。

图像配准模块16执行基于块的图像配准过程，在所述过程中比较第一图像(当前图像)的块与第二图像(参考图像)的块。第一图像和第二图像可包含具有短曝光时间的连续图像，如上文所解释。如果在配准过程中组合两个以上图像，则第二图像自身可为两次曝光的经配准的版本，且第一图像可为待与前两次曝光的经配准的组合相组合的第三曝光。为了加速此比较过程，图像配准模块16使用块比较引擎20。块比较引擎20比较第一图像的块与第二图像的块。图像配准单元16识别、匹配并组合第一图像的块与第二图像的匹配块。图像配准单元16将经配准的块转发到存储器14，以便在存储器14中以逐块的方式组装经配准的图像。

在组合第一图像的块与第二图像的块的过程中，图像配准单元16可平均化最近俘获的图像的像素的像素值(例如，强度和/或色彩值)与时间上在前面的图像的像素的像素值。图像配准单元16可使用第一图像与第二图像的直接平均、第一图像与第二图像的加权平均、第一图像与第二图像的和，或用于组合两个或两个以上图像的图像信息以供图像配准的任何其它技术。图像配准单元16可将最近俘获的图像的像素位置处的经平均化像素值存储于存储器14中。以此方式，图像配准单元16可在图像配准期间以经平均化像素值来替代经俘获图像中的一者的像素的像素值。此经平均化图像信息(即，像素值)通常展现比未配准的图像信息少的模糊，由此提供增强的图像质量，尤其在出现上文提及的振动或移动的例子中。经平均化图像数据还可致使经配准的图像展现比第一图像和第二图像少的模糊和可能少的噪声。

根据本发明，图像配准可在逐块基础上发生。然而，在一些情况下，如果对于所述块中的一些，未识别充分匹配的块，则可由图像配准单元16对此些块执行逐像素的比较。图像配准可用以组合场景的多次短曝光且将这些多次曝光合并在一起以减少噪声，增加信号且改进图像锐度。例如照明差和视景移位(旋转、平移)等问题是针对此类型处理的挑战。下文提供图像配准过程的额外细节。

视频编码器18实施基于块的视频压缩技术，例如由高级视频编码(AVC)标准，第10部分，MPEG-2、MPEG-4、ITU-T H.261、H.263或H.264/MPEG-4所界定的那些技术。具体来说，视频编码器18可执行空间预测和时间预测以减少或移除在由相机10俘获并由图像处理单元12处理的视频帧的序列中所固有的冗余。空间预测减少由相机10所俘获的给定视频帧内的相邻视频块之间的冗余。时间预测(还称为运动估计和补偿)减少视频序列的过去和/或将来视频帧中的视频块之间的时间冗余。

对于时间预测，视频编码器18执行运动估计以追踪两个或两个以上邻近帧之间的匹配视频块的移动。视频编码器18可界定运动向量以指示视频块相对于搜索空间的一个或一个以上参考帧中的对应预测视频块的位移。运动补偿使用运动向量以从参考帧识别预测视频块。经由减法运算(例如，通过从待编码的原始视频块减去预测视频块)形成残余视频块。可将残余视频块连同运动向量一起发送到视频解码器。

为了进行空间预测和时间预测所必需的基于块的比较，视频编码器18使用由图像配准单元16在图像配准中使用以用于基于块的比较的同一块比较引擎20。然而，视频编码器18从数据的块中减去块以形成残余块，而非将数据的块组合(如由图像配准单元16进行)。因为针对图像配准而执行的基于块的比较操作类似于针对视频编码而执行的基于块的比较操作，所以可由图像配准单元16与视频编码器18两者使用同一块比较引擎20。而且，共享的块比较引擎20可产生具有比在使用单独块比较引擎的情况下将需要的芯片面积小的芯片面积(较少硅)的集成电路装置。相对于仅软件解决方案，还可通过实施块比较引擎20而减少存储器需求。另外，相对于其它架构或仅软件解决方案，可改进处理速度。

在下文论述中，将视频编码器18主要描述为执行时间预测，例如运动估计和运动补偿。然而，视频编码器18还可执行空间预测，且可实施块比较引擎20以用于此空间预测。然而，在此情况下，将给定视频帧的块与同一视频帧的其它块进行比较，以界定可用以在空间上压缩数据的类似性。

块比较引擎20可包含硬件单元。图像配准单元16和视频编码器18可经实施为硬件、软件、固件，或硬件、软件或固件的广泛多种组合中的任一者。图像配准单元16和视频编码器18可由一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，或任何其它等效离散或集成逻辑电路，或其组合来实现。在一些实施例中，视频编码器18可包含支持编码和解码功能性的编码器-解码器(CODEC)。

图2为与本发明的技术一致的耦合到存储器14的示范性图像配准单元16的框图。图2中的所说明组件为图1中所示的图像配准单元16和存储器14的一个实例。如图2中所示，存储器14接收来自图像处理单元(例如，图1的单元12)的图像数据。在图2和图3中，说明同一块比较引擎20。虚线环绕块比较引擎20以说明块比较引擎20形成图像配准单元16(图2)的部分，而且形成视频编码器18(图3)的部分的想法。如上文所提及，可将块比较引擎20视为由图像配准单元16和由视频编码器18调用的引擎，或可将其视为经集成为图像配准单元16和视频编码器18的部分的硬件单元。

可以逐块的方式在存储器中在交替(ping pong)输入缓冲器22处接收输入。交替输入缓冲器22可包含所谓的“交替”缓冲器布置。在此情况下，数据仅在需要其时存储于缓冲器22中，且一旦在图像配准单元16中处理此数据便将数据盖写。举例来说，可将第一图像块存储于交替输入缓冲器22中且将其转发到图像配准单元16以供处理。此时，可在交替输入缓冲器22中从图像处理单元12接收数据的第二块。一旦数据的第一块由图像配准单元16处理，便可将数据的第二块转发到图像配准单元16。此时，可在交替输入缓冲器22中接收数据的第三块。此外，数据的此第三块可盖写交替输入缓冲器22中的数据的第一块。此实现存储器14的有效使用，使得一旦已由图像配准单元16处理数据，数据便无需存储于存储器14中。可经由数据通信总线15在存储器14与图像配准单元16之间传送数据。

交替输入缓冲器22可包括用于任何数目的块的存储空间，但一般支持一旦已处理数据块便盖写此些块。如进一步解释，交替输入缓冲器22可包括两个或两个以上并行缓冲器。当写入到一个缓冲器时，可从另一缓冲器读取数据，且反之亦然。因此，交替缓冲器22可支持在从一个缓冲器读取的同时大体上同时盖写另一缓冲器，使得读取操作和写入操作在两个或两个以上并行缓冲器之间在交替基础上交替。

图像配准单元16以逐块的方式执行图像配准过程。具体来说，图像配准单元16从交替输入缓冲器22接收第一图像的数据的块，且接收与第二图像(例如，参考图像24)相关联的块的集合。参考图像24可为先前俘获的图像(先前在与静态图像俘获相关联的短时间序列中)，或可包含与两个或两个以上先前俘获的图像相关联的复合配准的图像。

图像配准单元16调用块比较引擎20以将第一图像的块与第二图像的一个或一个以上块进行比较。块比较引擎20将第一图像的块的像素与第二图像的不同块的像素进行比较，且产生指示第一图像的块与第二图像的不同块之间的匹配的水平的匹配值。块比较引擎20可实施绝对差和(SAD)技术、平方差和(SSD)技术或任何其它合适的比较技术以产生匹配值。块匹配单元27从块比较引擎20接收匹配值且将这些值与一个或一个以上阈值进行比较以确定是否已识别充分匹配。

SAD技术涉及在第一图像的块的值与第二(参考)图像的块的像素值之间执行绝对差计算的任务。将这些绝对差计算的结果求和(即，累加)，以便界定指示所述块之间的差的值。作为实例，对于8乘8像素块，可计算64个差并对其求和，且对于16乘16像素块，可计算256个差并对其求和。较低差值大体上指示与另一块比较的一块为更好匹配。

SSD技术还涉及在第一图像的块的像素值与第二(参考)图像的块的像素值之间执行差计算的任务。在SSD技术中，将绝对差计算的结果平方，且接着将平方值求和(即，累加)，以便界定指示所述块之间的差的差值。或者，块比较引擎20可实施其它比较技术，例如均方误差(MSE)、归一化互相关函数(NCCF)或另一合适的比较技术。

如果由块匹配单元27识别充分匹配，则块组合器28组合第一图像的块与第二图像的匹配块以(例如)通过平均化或以其它方式组合块中的对应像素的值而产生经配准的块。接着将经配准的块从图像配准单元的块组合器28发送到存储器14，其中块组合器28用以组装经配准的图像26的部分。为了组合块，如上文所提及，块组合器28可执行加法运算、平均化运算、加权平均化运算，或通常用于图像配准过程中的用以组合匹配块内的对应像素值的任何运算。

另一方面，如果块匹配单元27未识别充分匹配，则几个不同可能性中的一者可能发生。在一个实例中，如果块匹配单元27未识别充分匹配，则块组合器28可避免任何组合，且可将第一图像的块直接转发到存储器14以供在组装经配准的图像26的过程中使用。在此情况下，经配准的图像的那个给定块可仅包括与第一图像的块相关联的数据，而无与第二图像的块的任何组合。在一些情况下，如果块组合器28因任何原因而避免组合，则块组合器28可在第一图像的块与第二图像的块之间进行选择且转发所选的块。在此情况下，可基于块的已知或所测量性质进行选择，例如，当避免组合时可转发展现最小噪声的块。

或者，如果块匹配单元27未识别充分匹配，则块组合器28可将第一图像的块和最佳匹配(即使对于块组合来说不够好)转发到像素组合器29。在此情况下，像素组合器29可执行第一图像的块相对于由块比较引擎20和块匹配单元27识别的最佳匹配块的像素的基于像素的比较。像素组合器29可组合第一图像的块的充分匹配的像素与第二图像的最佳匹配块的像素。然而，不具有充分匹配的任何像素可能仍未组合。在产生具有一个或一个以上经组合像素的经配准块后，像素组合器29可将经配准的块转发到存储器，其中经配准的块经存储以供在组装经配准的图像26的过程中使用。像素组合器29为任选的，且在一些实施例中可除去。

在一些情况下，一旦经配准的图像26经完全组装，经配准的图像26接着便用作参考图像24。如果在图像配准过程中组合三个或三个以上图像，则此特别有用。在此情况下，以逐块的方式组合前两个图像以产生经配准的图像26，其接着变为参考图像24。接着，将第三图像与参考图像24进行比较并将其组合以产生新的经配准的图像26，此时新的经配准的图像26为三个图像的组合。此过程可继续用于待组合成经配准的图像的任何数目的图像。如果(例如)相对于已可用且未实时俘获的经预先俘获的图像或数据而离线执行配准过程，则可将任何图像视为第一参考图像。

如上文所提及，块比较引擎20不仅用于针对图像配准的基于块的比较，而且用于针对视频编码的基于块的比较。图3为与本发明的技术一致的耦合到存储器14的示范性视频编码器18的框图。图3中的所说明组件为图1中所示的视频编码器18和存储器14的一个实例。如图3中所示，存储器14从图像处理单元(例如，图1的单元12)接收数据。此数据为形成视频序列的图像帧的序列。

可在存储器中在输入缓冲器32处接收输入。输入缓冲器32可类似于交替输入缓冲器22，且可包含所谓的“交替”缓冲器布置，(例如)如先前所描述。然而，可根据许多其它类型的缓冲器布置来布置输入缓冲器32。

对于视频编码，存储器14将第一图像帧的块存储于输入缓冲器32中，且存储搜索空间34。搜索空间34可包含对应于视频序列的先前编码的图像帧(或对于双向预测的可能的后续帧)的像素(或像素的块)的集合。搜索空间可包含全部先前帧或后续帧，或帧的子集(如果需要的话)。搜索空间可为矩形形状或可采用广泛多种形状和尺寸中的任一者。

视频编码器18从输入缓冲器32接收待编码的图像帧的块，且接收搜索空间34。可经由数据通信总线15将数据从存储器14传送到视频编码器18。视频编码器16包括运动估计(ME)单元42、运动补偿(MC)单元44和差单元46。在图3的实例中，块比较引擎20形成视频编码器18的部分，且可被视为由ME单元42调用的比较引擎，或可被视为ME单元42的集成部分。视频编码器18经说明为包括用于基于运动的时间编码的ME单元42和MC单元44，但还可包括用于空间预测编码的组件，且此些组件还可使用同一块比较引擎20。为简单和易于说明起见，图3中未展示空间预测组件。

经由ME单元42和MC单元44的帧间编码依赖于时间预测以减少或移除视频序列的连续图像帧的块之间的时间冗余。对于帧间编码，ME单元42追踪两个或两个以上邻近帧之间的匹配块的移动。运动估计产生运动向量，其指示块相对于一个或一个以上参考帧中的对应预测块的位移。MC单元44使用运动向量以从参考帧产生预测块。在运动补偿后，差单元46通过从待编码的原始块减去预测块而产生残余块。可将残余块和用以产生残余块的运动向量从视频编码器16传送到存储器14，其中此数据经存储并组装为视频序列的经编码帧的残余数据36。

而且，根据本发明，由图像配准单元16使用的同一块比较引擎20还由视频编码器18使用以促进块比较。然而，在视频编码中，块比较促进视频序列的基于块的编码而非图像配准。块比较引擎20可实施如上文所概述的SAD技术、SSD技术或任何合适的块比较技术。

如果需要，视频编码器18可应用变换、量化和熵编码过程以进一步减小与残余块相关联的位速率。变换技术可包含离散余弦变换(DCT)。量化可包括将系数量化到降低的分辨率水平以改进压缩。熵编码可包括可变长度编码、二进制算术编码(CABAC)、霍夫曼编码、行程编码、编码块模式(CBP)编码等。为简单和易于说明起见，图3中未说明这些额外组件。这些或其它编码方法可辅助残余数据的数据压缩，尤其在将要在装置之间发射数据的情况下。

图4为说明根据本发明的执行图像配准和视频编码的成像装置2的实例操作的流程图。如上文所提及，本发明的技术不需要任何图像俘获，但可相对于已由另一装置俘获的数据、从另一装置发送的数据、已存储于存储器中的数据等应用所述技术。然而，图4(其展示图像俘获步骤)说明在此情境下本文中所描述的技术。如图4中所示，成像装置2操作于视频模式或静态图像俘获模式中(400)。当成像装置2为视频模式(400的视频分支)时，成像装置2的相机10俘获视频序列(401)。成像装置2的视频编码器18使用块比较引擎20以对所俘获的视频序列执行基于块的视频编码(402)。

或者，当成像装置2为静态图像俘获模式(400的静态图像分支)时，成像装置2俘获静态图像(403)。在此情况下，成像装置2的图像配准单元16使用块比较引擎20来图像配准(404)。以此方式，块比较引擎20执行双重功能性，从而加速图像配准过程和视频编码过程。尽管图像配准过程经描述为主要适用于静态图像，但图像配准过程还可用以(例如)在视频编码之前配准视频序列的图像帧。

简而言之，装置2对视频序列的图像帧执行视频编码过程，其中执行视频编码过程包括使用块比较20引擎将正被编码的图像帧的视频块与搜索空间的视频块进行比较。另外，装置2执行图像配准过程，其中执行所述图像配准过程包括使用块比较引擎20将第一图像的块与第二图像的块进行比较。所述技术可应用于俘获图像和视频的装置中，或应用于仅存储图像和视频的装置中。

如本文所描述，视频编码过程包括使用块比较引擎20的运动估计、运动补偿，和在正被编码的图像帧的视频块与搜索空间的匹配视频块之间的差计算。所述差计算包含减法运算。图像配准过程包括使用块比较引擎20以比较第一图像的块与第二图像的块，且组合第一图像与第二图像的匹配块以产生经配准的图像的块。匹配块的组合可包含加法运算和平均化运算中的至少一者。

与块比较引擎20相关联的减小的芯片面积和减少的等待时间是视频编码和图像配准共享块比较引擎20而可实现的两个优点。通过图像配准实施共享引擎，可避免对在集成电路中添加用于图像配准的专用芯片空间的需要。此外，与用于视频编码和图像配准的仅软件解决方案相比，通过实施用于视频编码和图像配准的基于硬件的块比较引擎20，可加速处理。

图5说明与本发明一致的示范性图像配准过程。如图5中所示，存储器14存储参考图像(其可称为“第二图像”)。存储器14根据交替缓冲器布置接收并处理待配准的第一图像的块(402)，所述布置可经由交替输入缓冲器22而实施。在此情况下，交替输入缓冲器22将第一图像的块缓冲于缓冲器布置中，使得当第一图像的给定块与第二图像的给定块组合以产生经配准的图像的给定块时，在所述缓冲器布置中盖写第一图像的给定块。如进一步解释，交替缓冲器布置通常具有两个或两个以上并行缓冲器。当写入到一个缓冲器时，可从另一者读取数据，且反之亦然。

图像配准单元16使用块比较引擎20以用于输入缓冲器22中的第一图像的块相对于存储为参考图像24的第二图像的块的图像配准(503)。块匹配单元27确定任何参考块是否具有大于阈值的与第一图像的块的匹配水平(504)。如果块匹配单元27识别针对第一图像的一个或一个以上“第一”块的匹配水平大于阈值(504的是分支)，则块组合器28组合所述一个或一个以上第一块与第一图像的相应块以产生经配准的块(505)。

如果块匹配单元27未识别针对第一图像的一个或一个以上“第二”块的匹配水平大于阈值(504的否分支)，则块组合器28不组合所述一个或一个以上第二块与第一图像的块以产生经配准的块(506)。而是，块组合器将这些第二块转发到像素组合器29。像素组合器29针对第一图像的第二块的个别像素执行基于像素的比较和组合(507)。下文论述所述基于像素的组合的更多细节。或者，可将针对其未识别匹配块的“第二”块存储于经配准的图像中，而不与参考图像的块进行任何组合。

在存储器14中组装经配准的图像26(508)。具体来说，图像配准单元18以逐块的方式将经配准的块写入到存储器14，以便组装经配准的图像26。此经配准的图像26可包括来自块组合器28的完全配准的块，和具有来自像素组合器29的一个或一个以上经配准的像素和一个或一个以上未配准的像素的块。可将经配准的图像26存储为最终经配准的图像，或如果将要组合额外图像以用于多图像配准，则可将经配准的图像26用作参考图像24。

根据本发明，执行图像配准过程可包括：以逐块的方式接收第一图像的块；组合第一图像的块与第二图像的块以产生经配准的图像的经配准块；将第一图像的块缓冲于缓冲器布置中，使得当第一图像的给定块与第二图像的给定块组合以产生经配准的图像的给定块时，在缓冲器布置中盖写第一图像的给定块；以及组装经配准的块以产生经配准的图像。

在一些情况下，如果针对给定块未识别充分匹配的块，则可将所述给定块存储为经配准的块而不与参考图像24的参考块进行任何组合。在其它情况下，图像配准过程可包括：当识别阈值匹配水平时，组合第一图像的第一块与第二图像的块以产生经配准的图像的经配准块；当未识别阈值匹配水平时，不组合第一图像的第二块与第二图像的块；且针对第一图像的第二块，执行相对于第二图像的像素的基于像素的比较；且组合第一图像的第二块的一个或一个以上像素与第二图像的像素以产生经配准的像素。

图像配准过程可涉及将两个或两个以上图像的块组合于相对于所述两个或两个以上图像的经组合图像中。此可用以实现手抖动减少，即，减少在图像俘获期间由图像俘获装置的运动引起的抖动。或者，如本发明中所描述的图像配准可用以实行所谓的高动态范围处理。在高动态范围处理中，使用不同曝光俘获场景的多个图片。所述图像中的一些经过度曝光以俘获阴影细节，一些图片经不足曝光以保留辉亮部分，而一些经曝光以用于场景中的中间色调。

通过在图像配准单元20中具有灵活性，可使用内嵌架构将多个曝光实时组合成高动态范围图像，如本文所描述。在又一实例中，图像配准过程可包括组合两个或两个以上图像的块以将图像的序列融合成一个图片。在此情况下，可执行图像配准以将图像的序列融合在一起以形成俘获运动(例如，某人步行或跑步的前进)的一个图片。

如本文所描述，图像配准为将两个或两个以上图像组合(例如，相加或平均化)在一起的程序。所述两个或两个以上图像可具有水平和垂直像素移位(如果需要的话)以对准图像中的对应对象或特征。像素移位可与位置无关(在整个图像中恒定)或与位置相关(在整个图像中不恒定)。基于块的配准将第一图像分成若干块(例如，8个像素、16个像素或32个像素的块)且对于每一块形成对最接近正被配准的块的来自第二图像(参考图像)的块的搜寻。(例如)由图像配准单元18执行的图像配准过程可由下式表示：

$V,H=\underset{v,h}{\min }\underset{i,j\∈M}{\mathrm{\Σ}}\underset{i,j\∈M}{\mathrm{\Σ}}{|S1(i,j),S2(i+h,j+v)|}_{\mathrm{DIST}}$

其中V和H表示最小化求和的v和h的值，

S1表示来自第一图像的块，

S2表示来自第二图像的块，

i和j横跨块空间，

h和v为两个块之间的假定水平和垂直偏移，

M表示宏块支持空间(例如，8×8、16×16等)，

运算(II_DIST)表示测量两个向量之间的距离的一般方式，

min表示最小化运算，且

∑表示求和运算。

作为一替代方案，平方距离计算可用以界定块类似性。如果平方距离用以界定块类似性，则(例如)由图像配准单元18执行的图像配准过程可由下式表示：

$V,H=\underset{v,h}{\min }\underset{i,j\∈M}{\mathrm{\Σ}}{(S1(i,j)-S2(i+h,j+v))}^2$

一旦估计了块偏移，图像配准单元18便可使用所述块偏移以产生像素偏移并以逐块的方式组合两个图像。对于此类型的基于块的实施方案，可假定块内的像素偏移为恒定的且同一块偏移用于给定块中的所有像素。

然而，归因于来自第一图像的特定块与第二(参考)图像的块之间的极佳匹配可能不存在(例如，因为来自第二图像的块可以消除块匹配的某一方式旋转或移动)的可能性，以简单移位来组合这些块可能是不可能的。一种解决问题(其可能在于场景中存在移动对象时出现)的方式为在未发现足够紧密的匹配的情况下不组合块来用于图像配准。此外，一种验证以上最小化结果是否为紧密匹配的方式是建立预定阈值，以便决定是否将组合块或是否仅第一块将用于最终图像中。此过程可由下式表示：

其中T表示预定阈值。因此，如果以上求和小于阈值T，则将由图像配准单元18组合两个块，且如果以上求和等于或大于阈值T，则图像配准单元18将不组合两个图像块。

是否基于阈值来组合块的决策可另外包括挑选不具有充分匹配(归因于旋转或范围外的移动)的块和以不同方式威胁(threat)此些块。然而，因为由图像配准单元18基于总块差作出决策，所以有可能累积(或平均)差对于块的一些像素来说相对小，且对于块的其它像素来说较大。在此情况下，可基于所测量的像素差作出像素水平决策以组合像素(或不组合像素)。此可为任选的像素组合器28的功能，如图2中所示。

在支持不具有充分块匹配的块的基于像素的比较的实施方案中，可根据下式来使用像素RGB向量之间的差：

其中R1、G1和B1为来自第一图像的块的像素的红、绿和蓝分量，且图像R2、G2和B2为来自第二(参考)图像的块的像素的红、绿和蓝分量。M可表示基于像素的阈值，在所述阈值以下发生组合。因此，如果以上计算小于M，则像素组合器28可针对那个给定像素执行基于像素的组合，且如果以上计算大于或等于M，则像素组合器28可避免那个给定像素的组合。

可以硬件、软件、固件或其任何组合来实施本文中所描述的技术。描述为模块或组件的任何特征可一起实施于集成逻辑装置中或单独地实施为离散但可互操作的逻辑装置。如果以软件实施，则可至少部分由包含指令的计算机可读媒体实现所述技术，所述指令在执行时执行上述方法中的一者或一者以上且实施块比较引擎以如此进行。计算机可读媒体可形成可包括封装材料的计算机程序产品的部分。计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。除此之外或替代地，可至少部分由以指令或数据结构的形式载运或传送代码且可由计算机存取、读取和/或执行的计算机可读通信媒体来实现所述技术。

代码可由一个或一个以上处理器执行，所述处理器例如为一个或一个以上DSP、通用微处理器、ASIC、现场可编程逻辑阵列FPGA或其它等效集成或离散逻辑电路。因此，本文中所使用的术语“处理器”可指代上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于为编码和解码而配置的专用软件模块或硬件模块内，或并入于经组合的视频编码器-解码器(CODEC)中。因此，本发明还涵盖包括用以实施本发明中所描述的技术中的一者或一者以上的电路的多种集成电路装置中的任一者。可在单一集成电路芯片或在多个可互操作的集成电路芯片中提供此电路。

已描述各种技术。这些和其它实例方面处于所附权利要求书的范围内。

Claims (17)

1.一种用于图像配准及视频编码的方法，其包含：

对视频序列的图像帧执行视频编码过程，其中执行所述视频编码过程包括使用块比较引擎将正被编码的图像帧的视频块与搜索空间的视频块进行比较；以及对一幅或多幅静止图像执行图像配准过程，其包括：

使用所述块比较引擎将第一图像的块与第二图像的块进行比较，以产生匹配值；

当识别出阈值匹配水平时，组合所述第一图像的第一块与所述第二图像的块以产生经配准的图像的经配准块；

当未识别出所述阈值匹配水平时，不组合所述第一图像的第二块与所述第二图像的块；以及

针对所述第一图像的所述第二块，执行相对于所述第二图像的像素的基于像素的比较，且组合所述第一图像的所述第二块的一个或一个以上像素与所述第二图像的像素以产生经配准的像素；

其中，所述块比较引擎由所述视频编码过程和所述图像配准过程共享且用于所述视频编码过程和所述图像配准过程。

2.根据权利要求1所述的方法，

其中所述视频编码过程包括使用所述块比较引擎的运动估计、运动补偿和所述正被编码的图像帧的所述视频块与所述搜索空间的匹配视频块之间的差计算。

3.根据权利要求2所述的方法，

其中所述差计算包含减法运算，且

其中组合匹配块包含应用加法运算和应用平均化运算中的至少之一。

4.根据权利要求1所述的方法，其中执行所述图像配准过程包括：

以逐块的方式接收所述第一图像的所述块；

组合所述第一图像的所述块与所述第二图像的所述块以产生经配准的图像的经配准块；

将所述第一图像的所述块缓冲于缓冲器布置中，使得当所述第一图像的给定块

与所述第二图像的给定块组合以产生所述经配准的图像的给定块时，在所述缓冲器布置中盖写所述第一图像的所述给定块；以及

组装所述经配准块以产生所述经配准的图像。

5.根据权利要求1所述的方法，其中执行所述图像配准过程包括：组合两个或两个以上图像的块以减少相对于所述两个或两个以上图像的经组合图像中的抖动。

6.根据权利要求1所述的方法，其中执行所述图像配准过程包括：组合两个或两个以上图像的块以将图像的序列融合成一个图片。

7.根据权利要求1所述的方法，其中执行所述图像配准过程包括组合所述第一图像和所述第二图像的块，且其中使用不同曝光来捕获所述第一图像和所述第二图像。

8.一种用于图像配准及视频编码的设备，其包含：

块比较引擎单元；

视频编码器，其对视频序列的图像帧执行视频编码过程，其中所述视频编码过程包括使用所述块比较引擎单元将正被编码的图像帧的视频块与搜索空间的视频块进行比较；以及

图像配准单元，其对一幅或多幅静止图像执行图像配准过程，其中所述图像配准过程包括使用所述块比较引擎单元将第一图像的块与第二图像的块进行比较以产生匹配值，其中，所述图像配准单元包括：

块匹配单元，其确定所述第一图像的一个或一个以上块相对于所述第二图像的一个或一个以上块之间是否存在阈值匹配水平；

块组合器，其在识别所述阈值匹配水平时组合所述第一图像的第一块与所述第二图像的块以产生经配准的图像的经配准块，且在未识别所述阈值匹配水平时不组合所述第一图像的第二块与所述第二图像的块；以及

像素组合器，其针对所述第一图像的所述第二块执行所述第一图像的所述第二块的像素相对于所述第二图像的像素的基于像素的比较，且组合所述第一图像的所述第二块的一个或一个以上像素与所述第二图像的像素以产生经配准的像素；

其中，所述块比较引擎单元由所述视频编码过程和所述图像配准过程共享且用于所述视频编码过程和所述图像配准过程。

9.根据权利要求8所述的设备，其中

所述视频编码器包括使用所述块比较引擎单元的运动估计单元、运动补偿单元和执行所述正被编码的图像帧的所述视频块与所述搜索空间的匹配视频块之间的差计算的差计算单元。

10.根据权利要求9所述的设备，

其中所述差计算包含减法运算，且

其中匹配块的所述组合包含以下至少之一：加法运算和平均化运算。

11.根据权利要求8所述的设备，其中所述设备包括包含缓冲器布置的存储器，其中对于所述图像配准过程：

所述存储器以逐块的方式接收所述第一图像的所述块；

所述图像配准单元组合所述第一图像的所述块与所述第二图像的所述块以产生经配准的图像的经配准块；

所述存储器将所述第一图像的所述块缓冲于缓冲器布置中，使得当所述第一图像的给定块与所述第二图像的给定块组合以产生所述经配准的图像的给定块时，在所述缓冲器布置中盖写所述第一图像的所述给定块；且

所述图像配准单元将所述经配准块发送到所述存储器以组装所述经配准的图像。

12.根据权利要求8所述的设备，其中执行所述图像配准过程包括组合两个或两个以上图像的块以减少相对于所述两个或两个以上图像的经组合图像中的抖动。

13.根据权利要求8所述的设备，其中执行所述图像配准过程包括组合两个或两个以上图像的块以将图像的序列融合成一个图片。

14.根据权利要求8所述的设备，其中执行所述图像配准过程包括组合所述第一图像和所述第二图像的块，且其中所述第一图像和所述第二图像是使用不同曝光而捕获的。

15.根据权利要求8所述的设备，其中所述设备包含包括成像装置的无线手持机。

16.根据权利要求8所述的设备，其中所述设备包含集成电路。

17.根据权利要求8所述的设备，其中所述设备包含成像装置。

Images