HK1073038A1 - 使用颜色匹配的图像稳定化 - Google Patents
使用颜色匹配的图像稳定化 Download PDFInfo
- Publication number
- HK1073038A1 HK1073038A1 HK05104786A HK05104786A HK1073038A1 HK 1073038 A1 HK1073038 A1 HK 1073038A1 HK 05104786 A HK05104786 A HK 05104786A HK 05104786 A HK05104786 A HK 05104786A HK 1073038 A1 HK1073038 A1 HK 1073038A1
- Authority
- HK
- Hong Kong
- Prior art keywords
- image
- digital image
- pixel
- color
- digital
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Facsimile Image Signal Circuits (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Spectrometry And Color Measurement (AREA)
Description
技术领域
本发明涉及视频图像的分析,并且更为特别的是视频图像的图像稳定化。
背景技术
在现有技术中已知视频稳定化是为了通过机械反馈系统或通过数字信号处理来最小化因为摄像机移动产生的图像抖动。现有技术的数字信号处理技术很复杂并且经常基于运动估计和向量分析。这些技术被设计为最小干扰图像内的运动并且为了分离摄像机移动的抖动来评估象素的模块的运动。
当物体在捕捉的视频图像中相对于摄像机移动时,经常难以辨别捕捉的移动物体的移动细节。例如,当显示捕捉的视频图像时,因为汽车从一帧到一帧的大量运动,经常难以读取移动的汽车的牌照。在这种情况中,用于汽车运动的计算将提高读取牌照的能力。
因为设计现有技术来允许仅当移去因为摄像机的移动的运动时,这种运动在视频图像的序列中可见,所以上述的现有的图像稳定化技术没有提供为了使得牌照更容易读取而计算用于比如汽车的运动的运动的方法。
发明内容
在本发明的一个实施例中,公开了一种用于具有多个象素的第一数字图像和至少一个具有多个象素的第二数字图像的图像稳定化的方法,其中每一象素具有用于显示的相关地址并且代表颜色,该方法包括:提供颜色匹配范围;在第一数字图像中选择一象素;识别和在第一数字图像中的所选的象素相关联的颜色;在第二数字图像中定位一象素,其在和来自第一数字图像的象素相关联的颜色的颜色匹配范围之内;重新定位第二数字图像,使得在第二数字图像中所定位的象素的地址被定位在第一数字图像的所选象素的地址上;以及将重新定位的第二数字图像存储到存储器。
在其它实施例中,可以由本方法的用户选择要在第二图像内搜索的图像区域。在另一实施例中,可以选择对准点用于对准第一数字图像和重新定位的第二数字图像,使得当在显示设备上显示时第一帧的所述象素和对准点对准并且第二数字图像中的象素和对准点对准。
一旦保存了第二数字图像,就可以在显示设备上顺序显示第一数字图像和重新定位的第二数字图像,并且其中物件的移动将被最小化。
在再一实施例中,可能采用插值来确定用于在一视频图像序列中进行比较的颜色值。在该序列中,从创建子序列的序列中选择开始数字图像和结束数字图像。在开始数字图像中选择一象素并且在结束数字图像中选择一象素。在开始数字图像中的象素的颜色和在结束数字图像中的象素的颜色之间执行线性插值,使得对于在开始数字图像和结束数字图像之间的每一图像都确定一插值的颜色。对于每一和图像相关联的插值的颜色,在那个图像中在预先确定的颜色范围中搜索象素。一旦找到一象素,则重新定位每一图像使得将具有插值的颜色的象素的地址定位到在开始图像中选择的象素的地址。
在特定实施例中,颜色匹配范围可能等于零,使得需要找到精确匹配。表示颜色的数量越多,比如真彩色或16.7兆彩色,在第一帧中一个象素的匹配表示它和在第二帧中具有相同或非常类似的颜色的象素具有相同物理位置的可能性越大。如果在图像中没有找到在颜色匹配范围内的颜色,本发明可默认进行标准程序,以基于历史信息重新定位图像。
本发明的另一方面涉及一种用于图像的数字序列的图像稳定化的方法,其中每一图像具有多个象素并且其中每一象素具有用于显示的相关地址并且表示颜色,该方法包括:从创建子集序列的序列中选择开始数字图像和结束数字图像;选择开始数字图像中的一象素和结束数字图像中的一象素;在开始数字图像的象素的颜色和结束数字图像的象素的颜色之间线性插值,使得对于在开始数字图像和结束数字图像之间的每一图像确定插值的颜色;对于和要重新定位的在开始数字图像和结束数字图像之间的图像相关联的每一插值的颜色,在该图像中搜索在预先确定的颜色匹配范围中具有插值的颜色的象素;重新定位在开始数字图像和结束数字图像之间的每一图像,使得将重新定位的图像中具有插值的颜色的象素的地址定位到在开始数字图像中选择的象素的地址。
本发明的另一方面涉及一种用于暂时显示的数字视频图像的序列的图像稳定化的方法,其中每一图像包括许多象素并且每一象素具有相关联的显示位置,本方法包括:接收包括代表和在数字视频图像序列中的第一数字图像内包括的象素相关联的颜色的信息的信号;在第二数字图像中识别具有在包括在第一数字图像内的颜色的阈值范围内的颜色值的象素,其中阈值是包括零的任意值;以及重新定位第二数字图像,使得当暂时显示时,在第二数字图像中的具有在阈值范围内的颜色值的象素位于和来自第一数字图像的象素相同的位置。
本发明的另一方面涉及一种用于暂时显示的数字视频图像的序列的图像稳定化的方法,其中每一数字图像包括许多象素并且每一象素具有相关联的显示位置,本方法包括:接收包括代表一颜色的信息的信号,该颜色和在数字视频图像序列中的第一数字图像内包括的一象素相关联;接收代表在第三数字图像中包括的颜色的信号;在第一数字视频图像中的颜色和第三数字视频图像中的颜色之间插值,以确定在第二数字视频图像中的可搜索的颜色;在第二数字视频图像中识别具有在可搜索的颜色的阈值范围内的颜色差异的象素,其中阈值是包括零的任意值;以及重新定位第二数字图像,使得当在显示设备上显示时,在第二数字图像中的具有在阈值范围内的颜色差异的象素位于和来自第一数字图像的象素相同的位置。
本发明的另一方面涉及一种用于具有多个视频图像的视频序列的图像稳定化的系统,该系统包括:用户接口;以及处理器;其中处理器包括用于从用户接口接收信号的用户接口模块;其中信号包括表示在第一视频帧中的象素选择的信号;处理器还包括用于定位在第二视频帧中的具有相关颜色的象素的定位模块,其中相关颜色在和从第一视频帧选择出的象素相关联的颜色的颜色范围之内;重新定位模块,用于重新寻址第二视频帧,使得第二帧的定位的象素具有和从第一视频帧中选出的象素相同的地址;并且存储模块,用于存储重新寻址的第二视频帧。
附图说明
通过参考下面的详细描述以及附图,可以更加容易的理解本发明的特征,在附图中:
图1是一具有800×600象素的分辨率的图像;
图2是一流程图,示出了用于通过结合计算机系统执行的颜色匹配的图像稳定化的一个方法;
图3A-C示出了正在屏幕上重新定位的象素;
图3A示出了具有所选象素的第一帧;
图3B示出了第二帧,其具有标记为具有在从图3A选出的象素的颜色公差内的颜色的象素;
图3C示出了在图3A的第一帧上重叠并重新排列的图3B的第二帧;
图4是一流程图,示出了用于图像稳定化的另一实施例;
图5是一流程图,示出了使用颜色匹配和插值的图像稳定化的另一实施例;
图6示出了在视频序列的开始和结束帧中的象素选择;
图7A示出了在对准所有图像的图像稳定化之前的视频序列;
图7B示出了对准之后的图7A的视频序列;并且
图8示出了本发明作为系统的一个实施例。
具体实施方式
如在下面的文本中使用的,术语“视频序列”意味着可以暂时在显示设备上显示的图像序列的数字表示。通常,视频序列包括多个帧,其中每一帧表示分离的图像。可能将帧进一步细分,这样帧由一系列象素组成。如在下面的描述中使用的,“象素”应该意味着图像的单一点。在图像中包括的象素的数量越多,视频分辨率越高。通常由象素数量的长度和宽度度量来表示图像/帧的分辨率,例如,在800×600的分辨率中,沿着图像的长度有800象素并且沿着图像的宽度有600象素。地址和每一象素相关。例如如图1所示,呈现具有800×600的分辨率的图像并且以X标记在地址(200,300)的象素,其中原点位于屏幕的左上角。如在这里使用的,帧可能是完整的图像或图像的一部分,比如仅包括完整图像的一半的区域。
在本发明的实施例中,提出了用于稳定数字视频序列的视频图像的方法,其中数字视频序列包括多个数字图像/帧。通过在第二帧中搜索具有落在颜色公差内的颜色的象素,而通过在第一帧中的所选象素颜色的颜色匹配来执行稳定化。之后将第二帧和第一帧对准,从而在第二帧中具有匹配颜色的象素的象素地址和从第一帧中选择出的象素的象素地址相同。之后将第二帧存储进存储器。在可以呈现的可能颜色的数量和分辨率增加时,这个方法特别有用。随着视频移动到对象素颜色值具有1 6.7兆和更高的可能颜色的HDTV格式,象素颜色值变得更为独特并且因此颜色跟踪成为更为有效的用于匹配图像和提供图像稳定化以及计算在图像内的移动的方式。
结合计算机系统执行通过颜色匹配的图像稳定化的本方法,其中计算机系统至少包括显示器,输入设备,相关存储器和处理器。将参考图2更详细的解释本方法。首先,由计算机系统的处理器从存储器位置中检索数字序列200。或者颜色公差由处理器预先确定并访问或者用户被请求输入一颜色公差210。颜色公差是在其中认为发生了颜色匹配的范围。之后将视频序列的第一帧显示给用户。之后用户在第一帧中选择一象素220。优选的,该象素是明显的颜色或者该象素是在视频序列中移动的物体的一部分并且当显示视频序列时出现抖动。在选择了象素之后,处理器识别和该象素相关的颜色230。之后处理器检索第二帧并且执行第二帧的搜索,来识别具有在颜色公差内和从第一帧选择出的象素的象素颜色相同的象素240。可能通过采用包括所有颜色成分的象素的总体颜色或者对单独的颜色成分进行加权而执行颜色匹配。例如,如果以R,G,B,颜色空间表示颜色序列,相同的颜色匹配(也就是,具有0%的颜色公差的颜色匹配)可能需要R,G,B值中的每一个相同。颜色公差可能是在颜色中作为百分数的总差异。例如,颜色公差可能是0.005%,其中颜色空间包括16.7兆颜色,或颜色公差可能需要每一颜色成分必须在所选象素的每一R,G,B值的比如10%的特定公差之内。一旦识别了在第二帧中的一象素,之后将来自第二帧的象素地址和第一帧的所选象素的象素地址对准250。图3A,B和C示出了被重新定位的象素。图3A示出了具有标记有X并且将在显示设备中显示的所选象素的第一帧。图3B示出了第二帧,其中以O标识从第一帧中选择的象素匹配的象素。图3C示出了被重新定位并且因此被重新寻址的第二帧的显示的象素。在重新定位第二帧并且因此改变该帧的所有象素的地址之后,通过处理器将重新对准的第二帧存储在存储器中260。可以对视频序列中的每一帧继续这个过程。在这样的实施例中,可能在接下来的每一帧中搜索从第一帧选择的象素的颜色。应该注意到,因为重新对准后的第二帧的一些象素的新地址在显示地址之外,所以这些象素的象素值将不在显示设备上显示。另外,一些用于第二重新对准的帧的显示地址将不具有用于象素的颜色值。在一个实施例中,使得这些象素地址为黑色。在其它实施例中,可以分配默认颜色值,比如,来自相邻象素地址的颜色值。
可能如图4所述进一步说明本发明。如上所述,由处理器从存储器位置接收视频系列。将第一帧呈现给用户。用户在视频帧步骤401中定义搜索区域。例如,用户可能使用比如鼠标或光笔这样的输入设备来以图形指示搜索区域。在一个实施例中,整个视频帧是默认搜索区域。在其中用户只对图像的特定部分感兴趣的图像中,定义小于整个图像的搜索区域可能是有益的。例如,如果视频序列是一辆正在开走的汽车并且用户对于汽车的牌照感兴趣,用户可以选择视频帧的子部分。在实例中,用户将指示汽车的牌照或某部分是所选的图像子集。在重新对准该帧之后显示的图像可以是整个视频帧或仅仅是帧的选择的子集。
在其中需要采用的移动物体仍在整个帧中移动的视频序列中,应该在帧的短序列上做出图像的子部分的选择,比如牌照。例如,如果整个序列是120个视频视场(大约,2秒),可能细分序列使得仅仅使用很少的帧(例如,10视场)。因为汽车的牌照在10个视场之内将不会移动很多象素,于是可以将汽车和牌照指定为用于比较目的的图像的子部分。通过选择子部分,提高了匹配象素的颜色确实表示相同物理点的几率。
还通过计算机系统提示用户上述的颜色公差是用于匹配颜色的误差的可接受极限402。用户还可以指示对准点,该点是在显示设备的输出屏幕上的点,在该点上对准其颜色最佳匹配跟踪颜色的象素403。在一个实施例中,虽然可以选择在屏幕上的其它位置,默认的是显示设备的屏幕的中心。用户还提供用来被跟踪的颜色404。这通过观察第一视频帧和使用用户输入设备选择象素来达成。
对于每一视频帧420,将用于搜索区域的每一象素的颜色值和来自第一视频帧的所选跟踪颜色的颜色值比较430。如果用于象素的颜色空间(例如,R,G,B)的颜色值在输入的公差之内440,将认为象素匹配。将其中红,绿和蓝的颜色值和跟踪颜色的这些值之间的差的绝对值之和最小的象素识别为颜色匹配点。如果颜色匹配点在用于每一和所选象素相关的颜色空间值的输入的公差之内,移动帧450,使得将被识别为最好的颜色匹配的象素放置在屏幕的对准点上并且将移动的帧写出到存储器外。如果没有找到颜色匹配,根据预先确定的程序移动图像460。例如,可能通过分析过去的移动并且将移动平均来确定移动,从而确定怎么对准视频数据的帧。例如,可能在X方向上以先前在X方向上移动的距离的加权平均来移动图像,并且在Y方向上以先前在Y方向上移动的距离的加权平均来移动图像。
在另一实施例中,可能根据下面程序来移动图像:
xdiff=((s×1-s×2)+(s×2-s×3)+(s×3-s×4)//3*(sd);和
ydiff=((sy1-sy2)+(sy2-sy3)+(sy3-sy4))/3*(sd);其中
s×1=先前的水平位移;sy1=先前的垂直位移
s×2=在s× 1之前的水平位移;sy2=在sy1之前的垂直位移;
s×3=在s×2之前的水平位移;sy3=在sy2之前的垂直位移;
s×4=在s×3之前的水平位移;sy4=在sy3之前的垂直位移;并且
其中sd是衰减因数。
之后以由下面等式给定的量移动帧460:
水平位移=s×1+xdiff;和
垂直位移=sy1+ydiff。
之后将移动的帧写出到视频图像存储器465。
如果输入流包括更多的视频帧470,处理下一帧420。一旦处理了在输入流中的所有帧,则完成颜色跟踪操作。
一旦使用颜色跟踪重新定位了所有的视频帧,则该帧序列暂时显示在显示设备上并且因此减少摄像机或物体的移动。除了以暂时的方式显示视频帧,还可以将视频帧进行线性平均,以提供更高精确度的图像或图像的部分,例如,在移动的车辆上的牌照,其中的牌照因为抖动而无法读取并且一旦稳定图像之后即可读取。即使没有稳定图像,可以将所有帧一起线性平均来产生更高的图形分辨率,其可以提供增强的图像,并且其中牌照可读。通过精确的对准图像到子象素分辨率,并将图像一起平均,可以产生更高分辨率的图像。这时因为随着捕捉到物体的一些图像,每一图像呈现每一帧中物体略微不同的部分。通常最少需要三到五帧来改进图像。
在本发明的另一实施例中,如图5所示,结合颜色匹配采用插值。在这个实施例中,将视频序列提供进计算机系统500。允许系统的用户在显示设备上观看视频序列并且选择开始帧和结束帧501。在开始帧和结束帧中都选择一象素502。优选的,在开始帧和结束帧中的象素是需要将其运动稳定化的物体的一部分。例如,可能从移动的汽车的视频图像中选择出一象素。如图6所示,应该在结束帧中选择是汽车的一部分的象素。之后系统在开始帧中选择的象素的颜色值和在结束帧中的象素的颜色值之间插值503。插值方法可能是任意本领域普通技术人员已知的一个插值方法,比如线性的,双线性的,以及双立方插值。插值方法对在开始帧和结束帧之间的每一帧提供内插值。例如,如果有四个帧,将对第二和第三帧确定内插的颜色值。一旦对在开始帧和结束帧之间的每一帧确定颜色值,处理器开始在每一各自的帧中搜索颜色值504。处理器可能使用颜色匹配范围/颜色公差来定位匹配颜色的象素。在一个实施例中,处理器搜索具有精确颜色的第一象素并且不使用颜色公差。在另一实施例中,将在颜色公差之内的每一象素保存到存储器,并且确定如上所述的差异量度,直到确定具有最接近颜色匹配的象素505。如果没有象素匹配,处理器采用比如上面提供的程序,或者其它基于趋向分析和视频系列的其它特性的程序506。当对每一帧选择出象素时,重新对准在开始帧之后的包括结束帧的帧507。重新对准需要重新确定每一象素的相关地址,这样当在显示设备上显示视频序列时,在第一帧中选择出的象素的象素位置和在接下来的帧中匹配颜色值的象素对应。例如,如图7A所示,在开始帧中选择象素,其中对准剩余的帧,就像它们要被正常显示那样。图7B示出了重新对准的视频帧,这样在显示屏幕上和从开始帧选择出的象素相同的点上定位来自在开始帧之后的所有帧的颜色匹配的象素。如果在开始帧和结束帧之间包括小于整个的视频图像序列,可以重复这个过程。
用于图像稳定化的方法可能具体实现为如图8所示的系统。系统800包括比如鼠标,跟踪球,键盘等的输入设备801,视频显示器802和具有相关存储器804的处理器803。处理器包括多种模块。第一模块是操作来从用户输入设备接收信号的用户接口模块803A。用户可以输入请求来对所选的视频图像序列执行图像稳定化。用户可以观看视频序列的第一帧并且在序列中选择象素,其中用户接口模块803A接收这个信息并且发送这个信息到位置模块803B,位置模块803B识别所选象素的颜色并且访问视频数据的第二帧。位置模块803B为了识别和在第一帧中选择的象素颜色最匹配的象素而搜索第二帧的数据值。如果没有找到在颜色范围内的象素,则位置模块803B默认进行预先确定的程序,比如上面所述的。当识别了象素时,将象素的位置呈现给重新定位模块803C,此模块重新寻址在第二帧中的所有象素,这样在第二帧中定位的象素具有和从第一帧中选择出的象素的显示地址相同的新的地址。通过存储模块803D,将地址信息和对应的象素颜色值一起存储到存储器。
应该注意到这里使用的流程图是为了示范本发明的多种方面,并且不应该被理解为将本发明限制到特定的逻辑流程或逻辑实现。可以将所示的逻辑分为不同的逻辑模块(例如,程序,模块,功能,或子程序),同时不改变整个结果或不脱离本发明的真正范围。其它时间,也可以以不同顺序执行,添加,修改,省略逻辑要素,或者使用不同的逻辑结构(例如,逻辑门,循环形式,条件逻辑,和其它逻辑结构)实现,同时不改变总的结果和不脱离本发明的真正范围。
本发明可能具体表现为很多不同形式,包括,但是不限制于,用于和处理器(例如,微处理器,微控制器,数字信号处理器,或通用计算机)一起使用的计算机程序逻辑,用于和可编程的逻辑设备(例如,现场可编程门阵列(FPGA)或其它PLD)一起使用的可编程逻辑,离散器件,集成电路(例如,专用集成电路(ASIC)),或任意其它包括它们的任意组合的装置。
在这里,实现前述的所有或部分功能性的计算机程序逻辑可以具体表现为多种形式,包括,但是不限制于,源码形式,计算机可执行形式,以及多种中间形式(例如,由汇编程序,编译器,连接器,或定位器产生的形式)。源码可能包括一系列以多种用于和多种操作系统或操作环境一起使用的程序语言中的任意(例如,对象码,汇编语言,或比如Fortran,C,C++,JAVA,或HTML的高级语言)实现的计算机程序指令。源码可能定义并使用多种数据结构和通信消息。源码可能以计算机可执行形式(例如,通过解释程序),或者可以将源码转换(例如,通过翻译程序,汇编程序,或编译器)为计算机可执行形式。
可以以任意形式(例如,源码形式,计算机可执行形式,或中间形式)永久的或暂时的在有形的存储媒介,比如半导体存储器设备(例如,RAM,ROM,PROM,EEPROM,或闪存可编程RAM),磁存储器设备(例如,磁盘或固定盘),光存储器设备(例如,CD-ROM),PC卡(例如,PCMCIA卡),或其它存储器设备中固定计算机程序。计算机程序可能以任意形式固定在信号中,其中该信号可使用多种通信技术,包括,但是不限制于,模拟技术,数字技术,光技术,无线技术,网络技术,互联网络技术中的任意一种发送到计算机。计算机程序可以以任意形式分布在,比如,具有附加的打印或电子文件(例如,压缩软件或磁带)的可移动存储媒介中,预先载入计算机系统(例如,在系统ROM或固定盘上),或者从服务器或电子公告板上通过通信系统(例如,互联网或万维网)分配。
在这里,可能使用现有的手工方法设计实现前述的所有或部分功能性的硬件逻辑(包括用于和可编程逻辑设备一起使用的可编程逻辑),或者使用多种工具,比如计算机辅助设计(CAD),硬件描述语言(例如,VHDL或AHDL),或PLD编程语言(例如,PALASM,ABEL,或CUPL)来对其进行电子设计,捕捉,仿真和记录。
本发明可能具体表现为其它特定形式,同时不脱离本发明的真正范围。在所有方面都应该认为所述的实施例是示意性而不是限制性的。
Claims (22)
1.一种用于具有多个象素的第一数字图像和至少一个具有多个象素的第二数字图像的图像稳定化的方法,其中每一象素具有用于显示的相关地址并且代表颜色,该方法包括:
提供颜色匹配范围;
在第一数字图像中选择一象素;
识别和在第一数字图像中的所选的象素相关联的颜色;
在第二数字图像中定位一象素,其在和来自第一数字图像的象素相关联的颜色的颜色匹配范围之内;
重新定位第二数字图像,使得在第二数字图像中所定位的象素的地址被定位在第一数字图像的所选象素的地址上;以及
将重新定位的第二数字图像存储到存储器。
2.如权利要求1所述的方法,进一步包括:
选择用于定位在第二数字图像中的象素的图像区域。
3.如权利要求1所述的方法,进一步包括:
提供用于对准第一数字图像和重新定位的第二数字图像的对准点,使得当在显示设备上显示时,第一数字图像的所述象素和对准点对准并且第二数字图像的所述象素和对准点对准。
4.如权利要求1所述的方法,进一步包括在显示设备上顺序显示第一数字图像和重新定位的第二数字图像。
5.如权利要求1所述的方法,其中颜色匹配范围需要相同的颜色匹配。
6.如权利要求1所述的方法,其中使用具有几兆颜色的颜色空间来表示象素颜色。
7.如权利要求1所述的方法,其中如果象素没有位于颜色匹配范围之内,应用预先确定的程序以重新定位第二数字图像的象素。
8.如权利要求1所述的方法,进一步包括:
接收包括代表颜色匹配范围的信息的信号。
9.一种用于图像的数字序列的图像稳定化的方法,其中每一图像具有多个象素并且其中每一象素具有用于显示的相关地址并且表示颜色,该方法包括:
从创建子集序列的序列中选择开始数字图像和结束数字图像;
选择开始数字图像中的一象素和结束数字图像中的一象素;
在开始数字图像的象素的颜色和结束数字图像的象素的颜色之间线性插值,使得对于在开始数字图像和结束数字图像之间的每一图像确定插值的颜色;
对于和要重新定位的在开始数字图像和结束数字图像之间的图像相关联的每一插值的颜色,在该图像中搜索在预先确定的颜色匹配范围中具有插值的颜色的象素;
重新定位在开始数字图像和结束数字图像之间的每一图像,使得将重新定位的图像中具有插值的颜色的象素的地址定位到在开始数字图像中选择的象素的地址。
10.如权利要求9所述的方法,进一步包括在显示器上至少显示子集序列。
11.如权利要求9所述的方法,进一步包括:
选择一图像区域,用于在开始数字图像和结束数字图像之间的每一图像中搜索具有插值的颜色的象素。
12.如权利要求9所述的方法,进一步包括:
提供用于对准开始数字图像和重新定位的在开始数字图像和结束数字图像之间的每一图像的对准点,使得当在显示设备上显示时,开始数字图像的所述象素和对准点对准并且在开始数字图像和结束数字图像之间的每一图像中的搜索出的象素和对准点对准。
13.如权利要求9所述的方法,其中子集序列包括在序列中的所有图像。
14.如权利要求9所述的方法,其中预先确定的颜色匹配范围需要相同的颜色匹配。
15.如权利要求9所述的方法,其中在具有几兆颜色的颜色空间中表示象素颜色。
16.如权利要求9所述的方法,其中如果象素没有位于预先确定的颜色匹配范围之内,应用预先确定的程序以重新搜索在开始数字图像和结束数字图像之间的每一图像中的象素。
17.如权利要求9所述的方法,进一步包括:
接收包括代表颜色匹配范围的信息的信号。
18.一种用于暂时显示的数字视频图像的序列的图像稳定化的方法,其中每一图像包括许多象素并且每一象素具有相关联的显示位置,本方法包括:
接收包括代表和在数字视频图像序列中的第一数字图像内包括的象素相关联的颜色的信息的信号;
在第二数字图像中识别具有在包括在第一数字图像内的颜色的阈值范围内的颜色值的象素,其中阈值是包括零的任意值;以及
重新定位第二数字图像,使得当暂时显示时,在第二数字图像中的具有在阈值范围内的颜色值的象素位于和来自第一数字图像的象素相同的位置。
19.如权利要求18所述的方法,进一步包括:
接收包括代表阈值范围的信息的信号。
20.一种用于暂时显示的数字视频图像的序列的图像稳定化的方法,其中每一数字视频图像包括许多象素并且每一象素具有相关联的显示位置,本方法包括:
接收包括代表一颜色的信息的信号,该颜色和在数字视频图像序列中的第一数字视频图像内包括的一象素相关联;
接收代表在第三数字视频图像中包括的颜色的信号;
在第一数字视频图像中的颜色和第三数字视频图像中的颜色之间插值,以确定在第二数字视频图像中的可搜索的颜色;
在第二数字视频图像中识别具有在可搜索的颜色的阈值范围内的颜色差异的象素,其中阈值是包括零的任意值;以及
重新定位第二数字视频图像,使得当在显示设备上显示时,在第二数字视频图像中的具有在阈值范围内的颜色差异的象素位于和来自第一数字视频图像的象素相同的位置。
21.一种用于具有多个视频图像的视频序列的图像稳定化的系统,该系统包括:
用户接口;以及
处理器;
其中处理器包括用于从用户接口接收信号的用户接口模块;
其中信号包括表示在第一视频帧中的象素选择的信号;
处理器还包括用于定位在第二视频帧中的具有相关颜色的象素的定位模块,其中相关颜色在和从第一视频帧选择出的象素相关联的颜色的颜色范围之内;
重新定位模块,用于重新寻址第二视频帧,使得第二视频帧的定位的象素具有和从第一视频帧中选出的象素相同的地址;并且
存储模块,用于存储重新寻址的第二视频帧。
22.如权利要求21所述的系统,进一步包括:
存储器,其中地址信息与相应的象素颜色值由所述存储模块存储至存储器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US31816401P | 2001-09-07 | 2001-09-07 | |
| US60/318,164 | 2001-09-07 | ||
| PCT/US2002/028352 WO2003024095A1 (en) | 2001-09-07 | 2002-09-06 | Image stabilization using color matching |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| HK08102237.1A Division HK1108787A (zh) | 2001-09-07 | 2005-06-08 | 使用顏色匹配的圖像穩定化 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| HK08102237.1A Addition HK1108787A (zh) | 2001-09-07 | 2005-06-08 | 使用顏色匹配的圖像穩定化 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| HK1073038A1 true HK1073038A1 (zh) | 2005-09-16 |
| HK1073038B HK1073038B (zh) | 2008-12-12 |
Family
ID=
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100359923C (zh) | 使用颜色匹配的图像稳定化 | |
| AU2002336445A1 (en) | Image stabilization using color matching | |
| KR101393048B1 (ko) | 이미지들의 수퍼 해상도를 위한 방법 및 장치 | |
| EP0986252B1 (en) | System and method for electronic image stabilization | |
| US4672442A (en) | Frame rate conversion system in television signal | |
| US6285711B1 (en) | Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences | |
| US7899122B2 (en) | Method, apparatus and computer program product for generating interpolation frame | |
| US20070230830A1 (en) | Apparatus for creating interpolation frame | |
| JPS63313980A (ja) | テレビジョン画像の動きベクトル評価方法 | |
| JPH07500470A (ja) | カメラ画像からのスタジオカメラ位置及び移動の導出 | |
| KR20040054758A (ko) | 비디오 이미지들의 향상된 공간 해상도 | |
| KR100423504B1 (ko) | 영상신호의 라인보간 장치 및 방법 | |
| KR20040078690A (ko) | 오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정 | |
| US20170085912A1 (en) | Video sequence processing | |
| HK1073038B (zh) | 使用顏色匹配的圖像穩定化 | |
| HK1108787A (zh) | 使用顏色匹配的圖像穩定化 | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| ZA200401971B (en) | Image stabilization using color matching | |
| KR20090063102A (ko) | 비디오 화상 포맷 변환 방법 및 대응 디바이스 | |
| US7145604B2 (en) | Method and device for determining the spacing between a first and a second signal sequence | |
| US8897584B2 (en) | Image processing apparatus and image processing method | |
| KR20000060403A (ko) | 영상 데이터의 칼라 포맷 변환 방법 | |
| JP2006217066A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PE | Patent expired |
Effective date: 20220905 |