CN116828204A - 屏幕上显示图像处理方法 - Google Patents

Abstract

一种屏幕上显示图像处理方法，其产生具有插补区块的插补图像帧，并根据分别指向先前图像帧与目前图像帧的第一运动向量与第二运动向量，执行运动补偿以产生运动补偿数据。根据指向先前图像帧与目前图像帧的零运动向量，产生零运动数据。混合第一权重的运动补偿数据与第二权重的零运动数据，以产生每一插补区块，并以此作为被处理区块。在被处理区块中具有屏幕上显示数据的像素的数量小于第一正阈值，且大于第二正阈值时，被处理区块被判断为延伸式屏幕上显示区块，且延伸式屏幕上显示区块的第二权重小于屏幕上显示区块的第二权重。

Description

屏幕上显示图像处理方法

技术领域

本发明涉及一种图像处理方法，且特别涉及一种屏幕上显示(OSD)图像处理方法。

背景技术

在帧间预测编码中，运动图像的相邻帧中的场景之间存在一定的相关性。因此，可以将运动图像划分为若干区块。划分的区块可用于降低硬件成本。找到相邻帧中每个区块的位置，以获得两个区块的空间位置之间的相对偏移量。相对偏移量通常称为运动向量。获得运动向量的过程称为运动估计。

图1为现有技术的屏幕上显示成像区域的示意图，图2为现有技术的另一屏幕上显示成像区域的示意图。请参阅图1与图2，一图像帧具有一屏幕上显示(OSD)成像区域。此图像帧划分为多个区块，其中一些区块位于屏幕上显示成像区域。此区块具有屏幕上显示(OSD)数据或非屏幕上显示(non-OSD)数据。位于屏幕上显示成像区域的边界上的区块同时具有屏幕上显示数据与非屏幕上显示数据。如果具有屏幕上显示数据的区块的像素数量大于或等于一阈值，则此区块将被判断为屏幕上显示(OSD)区块，如图1所示。如果具有屏幕上显示数据的区块的像素数量小于此阈值，则此区块将被判断为非屏幕上显示(non-OSD)区块，如图2所示。屏幕上显示区块以空白区块表示，非屏幕上显示区块以斜线区块表示。如图1所示，如果屏幕上显示成像区域的边界的区块被判断为屏幕上显示区块，则会造成严重的光晕现象。如图2所示，如果屏幕上显示成像区域的边界的区块被判断为非屏幕上显示区块，则会造成屏幕上显示成像区域破碎。

图3为现有技术的先前图像帧、插补图像帧与目前图像帧的示意图，图4为现有技术的先前图像帧、另一插补图像帧与目前图像帧的示意图，其中屏幕上显示区块以空白区块表示，非屏幕上显示(non-OSD)区块以斜线区块表示。请参阅图3与图4，一插补图像帧1在时间轴上插补于一先前图像帧1’与一目前图像帧1”之间。插补图像帧1显示屏幕上显示(OSD)成像区域。插补图像帧1具有多个区块，其中一些区块位于屏幕上显示成像区域。混合插补图像帧1的区块利用运动向量与零运动向量所指的先前图像帧1’与目前图像帧1”的数据，以产生插补图像帧1的区块。插补图像帧1的区块利用运动向量所指的先前图像帧1’的数据具有第一权重，插补图像帧1的区块利用运动向量所指的目前图像帧1”的数据具有第二权重。插补图像帧1的区块利用零运动向量所指的先前图像帧1’与目前图像帧1”的数据具有第三权重。如图3所示，位于屏幕上显示成像区域的边界上的插补图像帧1的区块，利用两个运动向量指向先前图像帧1’与目前图像帧1”的区块，其中先前图像帧1’与目前图像帧1”的被指向区块被判断为屏幕上显示(OSD)区块。在此例中，如果屏幕上显示成像区域的边界的插补图像帧1的区块被判断为屏幕上显示区块，将增加第三权重，但此举会造成严重的光晕现象。如图4所示，如果目前图像帧1”的被指向区块含有屏幕上显示(OSD)数据，但却被判断为非屏幕上显示区块，且插补图像帧1的区块被判断为非屏幕上显示区块，则目前图像帧1”的被指向区块所对应的权重会增加，但此举会使插补图像帧1的区块发生飞出现象。

发明内容

本发明提供一种屏幕上显示图像处理方法，其大幅降低光晕现象，并降低屏幕上显示成像区域的边界的破碎程度，且避免发生飞出现象。

在本发明的一实施例中，提供一种屏幕上显示图像处理方法，其从一先前图像帧与一目前图像帧产生一插补图像帧，插补图像帧包括多个插补区块，多个插补区块具有三个种类：屏幕上显示(OSD)区块、非屏幕上显示区块与延伸式屏幕上显示区块，屏幕上显示图像处理方法包括下列步骤：根据第一运动向量与第二运动向量执行运动补偿，以产生运动补偿数据，其中第一运动向量指向先前图像帧，第二运动向量指向目前图像帧；根据零运动向量产生零运动数据，其中零运动向量指向先前图像帧与目前图像帧，零运动向量的数值为零；以及以第一权重的运动补偿数据混合第二权重的零运动数据，以产生每一插补区块，并以此作为被处理区块；其中在被处理区块中的具有屏幕上显示(OSD)数据的像素的数量小于第一正阈值，且大于第二正阈值时，被处理区块被判断为延伸式屏幕上显示区块，且延伸式屏幕上显示区块的第二权重小于屏幕上显示区块的第二权重。

在本发明的一实施例中，第一权重与第二权重的总和为固定正值。

在本发明的一实施例中，具有屏幕上显示数据的像素的数量大于或等于第一正阈值时，被处理区块被判断为屏幕上显示区块。

在本发明的一实施例中，具有屏幕上显示数据的像素的数量小于或等于第二正阈值时，被处理区块被判断为非屏幕上显示区块，且被处理区块的第二权重为零。

在本发明的一实施例中，运动补偿数据由混合被处理区块利用第一运动向量所指的先前图像帧的第一数据、被处理区块利用第二运动向量所指的目前图像帧的第二数据与零运动数据而得，第一数据、第二数据与其对应的零运动数据分别具有第三权重、第四权重与第五权重。

在本发明的一实施例中，第三权重、第四权重与第五权重的总和为固定正值。

在本发明的一实施例中，先前图像帧具有第一区块，被处理区块利用第一运动向量指向作为第一参考区块的第一区块，在第一参考区块被判断为延伸式屏幕上显示区块，且被处理区块被判断为非屏幕上显示区块时，降低被处理区块的第三权重。

在本发明的一实施例中，目前图像帧具有第二区块，被处理区块利用第二运动向量指向作为第二参考区块的第二区块，在第二参考区块被判断为延伸式屏幕上显示区块，且被处理区块被判断为非屏幕上显示区块时，降低被处理区块的第四权重。

在本发明的一实施例中，先前图像帧具有第一区块，被处理区块利用第一运动向量指向作为第一参考区块的第一区块，在第一参考区块与被处理区块被判断为延伸式屏幕上显示区块时，增加被处理区块的第三权重。

在本发明的一实施例中，目前图像帧具有第二区块，被处理区块利用第二运动向量指向作为第二参考区块的第二区块，在第二参考区块与被处理区块被判断为延伸式屏幕上显示区块时，增加被处理区块的第四权重。

在本发明的一实施例中，被处理区块被判断为延伸式屏幕上显示区块时，延伸式屏幕上显示区块的第二权重大于零。

基于上述，屏幕上显示图像处理方法新定义有别于屏幕上显示区块与非屏幕上显示区块的延伸式屏幕上显示区块，以大幅降低光晕现象，并降低屏幕上显示成像区域的边界的破碎程度，且避免飞出现象。

附图说明

图1为现有技术的屏幕上显示成像区域的示意图。

图2为现有技术的另一屏幕上显示成像区域的示意图。

图3为现有技术的先前图像帧、插补图像帧与目前图像帧的示意图。

图4为现有技术的先前图像帧、另一插补图像帧与目前图像帧的示意图。

图5为本发明的一实施例的运动估计与运动补偿(MEMC)装置的示意图。

图6为本发明的一实施例的屏幕上显示图像处理方法的流程图。

图7为本发明的一实施例的先前图像帧、插补图像帧与目前图像帧的示意图。

【符号说明】

1…插补图像帧

1’…先前图像帧

1”…目前图像帧

2…运动估计与运动补偿装置

20…运动估计处理器

21…运动补偿图像帧率转换器

F…插补图像帧

F1…先前图像帧

F2…目前图像帧

V1…第一运动向量

V2…第二运动向量

S10、S12、S14…步骤

具体实施方式

本发明的实施例将藉由下文配合相关附图进一步加以解说。尽可能的，在附图与说明书中，相同标号代表相同或相似构件。在附图中，基于简化与方便标示，形状与厚度可能经过夸大表示。可以理解的是，未特别显示于附图中或描述于说明书中的元件，为本领域技术人员所知的形态。本领域技术人员可依据本发明的内容而进行多种的改变与修改。

除非特别说明，一些条件句或字词，例如“可以(can)”、“可能(could)”、“也许(might)”，或“可(may)”，通常是试图表达本申请实施例具有，但是也可以解释成可能不需要的特征、元件，或步骤。在其他实施例中，这些特征、元件，或步骤可能是不需要的。

在下文中关于“一个实施例”或“一实施例”的描述是指关于至少一实施例内所相关联的一特定元件、结构或特征。因此，在下文中多处所出现的“一个实施例”或“一实施例”的多个描述并非针对同一实施例。再者，在一或多个实施例中的特定构件、结构与特征可依照一适当方式而结合。

在说明书及权利要求书中使用了某些词汇来指称特定的元件。然而，本领域技术人员应可理解，同样的元件可能会用不同的名词来称呼。说明书及权利要求书并不以名称的差异做为区分元件的方式，而是以元件在功能上的差异来做为区分的基准。在说明书及权利要求书所提及的“包括”为开放式的用语，故应解释成“包括但不限定于”。另外，“耦接”在此包括任何直接及间接的连接手段。因此，若文中描述第一元件耦接于第二元件，则代表第一元件可通过电性连接或无线传输、光学传输等信号连接方式而直接地连接于第二元件，或者通过其他元件或连接手段间接地电性或信号连接至所述第二元件。

公开特别以下述例子加以描述，这些例子仅用以举例说明而已，因为对于本领域技术人员而言，在不脱离本揭示内容的精神和范围内，当可作各种的更动与润饰，因此本揭示内容的保护范围当视所附权利要求书界定范围为准。在通篇说明书与权利要求书中，除非内容清楚指定，否则“一”以及“所述”的意义包括这一类叙述包括“一或至少一”所述元件或成分。此外，如本公开所用，除非从特定上下文明显可见将复数个排除在外，否则单数冠词亦包括复数个元件或成分的叙述。而且，应用在此描述中与下述之的全部权利要求书中时，除非内容清楚指定，否则“在其中”的意思可包括“在其中”与“在其上”。在通篇说明书与权利要求书所使用的用词(terms)，除有特别注明，通常具有每个用词使用在此领域中、在此公开的内容中与特殊内容中的平常意义。某些用以描述本公开的用词将于下或在此说明书的别处讨论，以提供从业人员(practitioner)在有关本公开的描述上额外的引导。在通篇说明书的任何地方的例子，包括在此所讨论的任何用词的例子的使用，仅用以举例说明，当然不限制本公开或任何例示用词的范围与意义。同样地，本公开并不限于此说明书中所提出的各种实施例。

在下面的描述中，将提供一种屏幕上显示图像处理方法，其新定义有别于屏幕上显示区块与非屏幕上显示区块的延伸式屏幕上显示区块，以大幅降低光晕，并降低屏幕上显示成像区域的边界的破碎程度，也避免飞出现象。

图5为本发明的一实施例的运动估计与运动补偿(MEMC)装置2的示意图，图6为本发明的一实施例的屏幕上显示图像处理方法的流程图，图7为本发明的一实施例的先前图像帧F1、插补图像帧F与目前图像帧F2的示意图。请参阅图5，运动估计与运动补偿装置2包括一运动估计处理器20与一运动补偿图像帧率转换器21，运动估计处理器20耦接运动补偿图像帧率转换器21。图5的架构可应用于下列实施例，但本发明并不限于图5的运动估计与运动补偿装置2。

请参阅图5、图6与图7，屏幕上显示图像处理方法可以，但不限于运动估计与运动补偿装置2或一处理器执行。在以下实施例中，以运动估计与运动补偿装置2执行屏幕上显示图像处理方法为例。屏幕上显示图像处理方法从一先前图像帧F1与一目前图像帧F2产生一插补图像帧F。插补图像帧F包括多个插补区块，所有插补区块具有屏幕上显示(OSD)区块、非屏幕上显示(non-OSD)区块与延伸式屏幕上显示(extended OSD)区块。因为屏幕上显示区块是静态的，所以在先前图像帧F1、目前图像帧F2与插补图像帧F的相对应的位置，其OSD区块的种类(屏幕上显示区块、非屏幕上显示区块、延伸式屏幕上显示区块)是相同的。换句话说，在产生插补图像帧F之前，在大部分静态情况下，先前图像帧F1与目前图像帧F2的屏幕上显示(OSD)数据是相同的。

在步骤S10中，运动估计与运动补偿装置2在时间轴上依序接收先前图像帧F1与目前图像帧F2，并根据第一运动向量V1与第二运动向量V2执行运动补偿，以产生运动补偿数据MC，其中第一运动向量V1指向先前图像帧F1，第二运动向量V2指向目前图像帧F2。在步骤S12中，运动估计与运动补偿装置2根据零运动向量产生零运动数据Z，其中零运动向量指向先前图像帧F1与目前图像帧F2，零运动向量的数值为零。也就是说，对应于零运动向量的先前图像帧F1、目前图像帧F2与插补图像帧F的位置是相同的。在步骤S14中，运动估计与运动补偿装置2以第一权重W1的运动补偿数据MC混合第二权重W2的零运动数据Z，以产生每一插补区块，并以此作为被处理区块，从而将插补图像帧F插补于先前图像帧F1与目前图像帧F2之间。假设获得基本相同的结果，屏幕上显示图像处理方法的步骤不需要按照所示的确切顺序进行，并且不需要是连续的，也就是说，其他步骤也可插入其中。被处理区块具有屏幕上显示(OSD)数据或非屏幕上显示(non-OSD)数据。屏幕上显示数据为静态数据，如标志、标题、字幕或非视频数据，但本发明并不以此为限。非屏幕上显示数据为非静态数据，如视频数据。插补图像帧F具有屏幕上显示(OSD)成像区域。有些被处理区块位于屏幕上显示成像区域上。

在一实施例中，运动补偿数据MC与零运动数据可根据数学关系式(1)或数学关系式(1)与(2)进行混合。在数学关系式(1)中，MC×W1+Z×W2的运算结果定义为被处理区块的插补图像数据。

MC×W1+Z×W2 (1)

MC＝D1×W3+D2×W4+Z×W5 (2)

在数学关系式(1)中，第一权重W1与第二权重W2的总和可为，但不限于作为固定正值的100％。图7为本发明的一实施例的先前图像帧F1、插补图像帧F与目前图像帧F2的示意图。在被处理区块中的具有屏幕上显示(OSD)数据的像素的数量大于或等于第一正阈值时，运动估计与运动补偿装置2判断被处理区块为屏幕上显示区块。在被处理区块中的具有屏幕上显示数据的像素的数量小于第一正阈值，且大于第二正阈值时，运动估计与运动补偿装置2判断被处理区块为延伸式屏幕上显示区块，且调整延伸式屏幕上显示区块的第二权重W2小于屏幕上显示区块的第二权重W2，其中第二正阈值小于第一正阈值。在被处理区块被判断为延伸式屏幕上显示区块或屏幕上显示区块时，被处理区块的第二权重W2可大于零。因为位于屏幕上显示成像区域的边界的区块被判断为延伸式屏幕上显示区块，所以屏幕上显示成像区域的边界的光晕现象可被减少，并且能够保护屏幕上显示成像区域。此外，在被处理区块中的具有屏幕上显示数据的像素的数量小于或等于第二正阈值时，运动估计与运动补偿装置2判断被处理区块为非屏幕上显示区块，并调整被处理区块的第二权重W2为零。

在数学关系式(1)与(2)中，第三权重W3、第四权重W4与第五权重W5的总和可为，但不限于作为固定正值的100％。在另一实施例中，运动补偿数据MC可藉混合被处理区块利用第一运动向量V1所指的先前图像帧F1的第一数据D1、被处理区块利用第二运动向量V2所指的目前图像帧F2的第二数据D2与零运动数据Z而得，其中第一数据D1、第二数据D2与其对应的零运动数据Z分别具有第三权重W3、第四权重W4与第五权重W5。

具体而言，先前图像帧F1具有第一区块，被处理区块利用第一运动向量V1指向作为第一参考区块的第一区块。在第一参考区块中具有屏幕上显示数据的像素的数量大于或等于第一正阈值时，运动估计与运动补偿装置2判断第一参考区块为屏幕上显示区块。在第一参考区块中具有屏幕上显示数据的像素的数量小于第一正阈值，并大于第二正阈值时，运动估计与运动补偿装置2判断第一参考区块为延伸式屏幕上显示区块。在第一参考区块中具有屏幕上显示数据的像素的数量小于或等于第二正阈值时，运动估计与运动补偿装置2判断第一参考区块为非屏幕上显示区块。目前图像帧F2具有第二区块，被处理区块利用第二运动向量V2指向作为第二参考区块的第二区块。在第二参考区块中具有屏幕上显示数据的像素的数量大于或等于第一正阈值时，运动估计与运动补偿装置2判断第二参考区块为屏幕上显示区块。在第二参考区块中具有屏幕上显示数据的像素的数量小于第一正阈值，并大于第二正阈值时，运动估计与运动补偿装置2判断第二参考区块为延伸式屏幕上显示区块。在第二参考区块中具有屏幕上显示数据的像素的数量小于或等于第二正阈值时，运动估计与运动补偿装置2判断第二参考区块为非屏幕上显示区块。

在运动估计与运动补偿装置2判断第一参考区块与被处理区块为延伸式屏幕上显示区块时，运动估计与运动补偿装置2增加被处理区块的第三权重W3。同样地，在运动估计与运动补偿装置2判断第二参考区块与被处理区块为延伸式屏幕上显示区块时，运动估计与运动补偿装置2增加被处理区块的第四权重W4。因此，被判断为延伸式屏幕上显示区块的屏幕上显示成像区域的边界的光晕现象，得以弱化。

在运动估计与运动补偿装置2判断第一参考区块为延伸式屏幕上显示区块，并判断被处理区块为非屏幕上显示区块时，运动估计与运动补偿装置2降低被处理区块的第三权重W3。同样地，在运动估计与运动补偿装置2判断第二参考区块为延伸式屏幕上显示区块，并判断被处理区块为非屏幕上显示区块时，运动估计与运动补偿装置2降低被处理区块的第四权重W4。因此，插补图像帧F得以避免发生飞出现象。

根据上述实施例，屏幕上显示图像处理方法新定义有别于屏幕上显示区块与非屏幕上显示区块的延伸式屏幕上显示区块，以大幅降低光晕现象，并降低屏幕上显示成像区域的边界的破碎程度，也避免发生飞出现象。

以上所述仅为本发明一优选实施例而已，并非用来限定本发明实施的范围，故举凡依本发明权利要求所述的形状、构造、特征及精神所为的均等变化与修饰，均应包括于本发明的权利要求内。

Claims (11)

1.一种屏幕上显示图像处理方法，其从一先前图像帧与一目前图像帧产生一插补图像帧，所述插补图像帧包括多个插补区块，所述多个插补区块具有屏幕上显示(OSD)区块、非屏幕上显示(non-OSD)区块与延伸式屏幕上显示(extended OSD)区块，所述屏幕上显示图像处理方法包括下列步骤：

根据第一运动向量与第二运动向量执行运动补偿，以产生运动补偿数据，其中所述第一运动向量指向所述先前图像帧，所述第二运动向量指向所述目前图像帧；

根据零运动向量产生零运动数据，其中所述零运动向量指向所述先前图像帧与所述目前图像帧，所述零运动向量的数值为零；以及

以第一权重的所述运动补偿数据混合第二权重的所述零运动数据，以产生每一所述插补区块，并以此作为被处理区块；

其中在所述被处理区块中的具有屏幕上显示(OSD)数据的像素的数量小于第一正阈值，且大于第二正阈值时，所述被处理区块被判断为所述延伸式屏幕上显示区块，且所述延伸式屏幕上显示区块的所述第二权重小于所述屏幕上显示区块的所述第二权重。

2.如权利要求1所述的屏幕上显示图像处理方法，其中所述第一权重与所述第二权重的总和为固定正值。

3.如权利要求1所述的屏幕上显示图像处理方法，其中具有所述屏幕上显示数据的所述像素的所述数量大于或等于所述第一正阈值时，所述被处理区块被判断为所述屏幕上显示区块。

4.如权利要求1所述的屏幕上显示图像处理方法，其中具有所述屏幕上显示数据的所述像素的所述数量小于或等于所述第二正阈值时，所述被处理区块被判断为所述非屏幕上显示区块，且所述被处理区块的所述第二权重为零。

5.如权利要求1所述的屏幕上显示图像处理方法，其中所述运动补偿数据由混合所述被处理区块利用所述第一运动向量所指的所述先前图像帧的第一数据、所述被处理区块利用所述第二运动向量所指的所述目前图像帧的第二数据与所述零运动数据而得，所述第一数据、所述第二数据与其对应的所述零运动数据分别具有第三权重、第四权重与第五权重。

6.如权利要求5所述的屏幕上显示图像处理方法，其中所述第三权重、所述第四权重与所述第五权重的总和为固定正值。

7.如权利要求5所述的屏幕上显示图像处理方法，其中所述先前图像帧具有第一区块，所述被处理区块利用所述第一运动向量指向作为第一参考区块的所述第一区块，在所述第一参考区块被判断为所述延伸式屏幕上显示区块，且所述被处理区块被判断为所述非屏幕上显示区块时，降低所述被处理区块的所述第三权重。

8.如权利要求5所述的屏幕上显示图像处理方法，其中所述目前图像帧具有第二区块，所述被处理区块利用所述第二运动向量指向作为第二参考区块的所述第二区块，在所述第二参考区块被判断为所述延伸式屏幕上显示区块，且所述被处理区块被判断为所述非屏幕上显示区块时，降低所述被处理区块的所述第四权重。

9.如权利要求5所述的屏幕上显示图像处理方法，其中所述先前图像帧具有第一区块，所述被处理区块利用所述第一运动向量指向作为第一参考区块的所述第一区块，在所述第一参考区块与所述被处理区块被判断为所述延伸式屏幕上显示区块时，增加所述被处理区块的所述第三权重。

10.如权利要求5所述的屏幕上显示图像处理方法，其中所述目前图像帧具有第二区块，所述被处理区块利用所述第二运动向量指向作为第二参考区块的所述第二区块，在所述第二参考区块与所述被处理区块被判断为所述延伸式屏幕上显示区块时，增加所述被处理区块的所述第四权重。

11.如权利要求1所述的屏幕上显示图像处理方法，其中所述被处理区块被判断为所述延伸式屏幕上显示区块时，所述延伸式屏幕上显示区块的所述第二权重大于零。