CN102956033A - 粒子滤波器 - Google Patents
粒子滤波器 Download PDFInfo
- Publication number
- CN102956033A CN102956033A CN2011102544139A CN201110254413A CN102956033A CN 102956033 A CN102956033 A CN 102956033A CN 2011102544139 A CN2011102544139 A CN 2011102544139A CN 201110254413 A CN201110254413 A CN 201110254413A CN 102956033 A CN102956033 A CN 102956033A
- Authority
- CN
- China
- Prior art keywords
- observation model
- particle filter
- cache
- feature
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种粒子滤波器,可用以对图框进行粒子滤波,以追踪图框中的特定对象。于一实施范例,粒子滤波器包括图框快取、观察模型产生器以及粒子滤波控制器。图框快取通过系统总线连接至系统记忆体,其中系统记忆体储存图框的所有的影像块;而图框快取从系统记忆体取得并储存图框的至少一个影像块。观察模型产生器从图框快取读取至少一个像素,并依据读取的像素产生对应于对象以及读取的影像块的观察模型。粒子滤波控制器从观察模型产生器得到观察模型,再依据观察模型决定并输出对象的对象追踪结果。
Description
技术领域
本发明涉及一种粒子滤波器(particle filter),特别涉及一种应用于对象追踪(object tracking)的粒子滤波器。
背景技术
对象追踪(object tracking)一般指基于各种目的,于一影像或一系列影像(包括一视频序列)中识别一或多个对象的技术。其中“追踪”是指对于动态对象的估测。对象追踪可应用于安全、监视及人事、工艺或生产管理中。以监控银行金库的监视系统为例,其需要检测出有无对象进入金库,并持续追踪并纪录此对象的动向。又例如对象追踪可用在可检测空中的移动物体的雷达,以判断是不是有敌机或飞弹来袭。
传统上,可使用一粒子过滤器进行对象追踪。粒子过滤器是针对对象的某种特性建立观察模型,并设定影像的多个候选点,再设定每一个候选点的候选窗。接着粒子过滤器计算每一个候选窗的观察模型,再比对这些观察模型以估测此对象的动向。然而在进行对象追踪时,粒子滤波器需不断存取储存有影像的系统记忆体以读取每一个候选窗的内容,而占用极大量的系统总线的频宽。此外,读取系统记忆体所需的时间长,因此而使得粒子过滤器的处理效率差。
且随着需处理的影像的分辨率大幅增加,或是欲追踪的对象数量增加,更加剧了占用系统总线大量读写频宽以及处理效率低下的问题。
发明内容
本发明的目的在于提供一种粒子滤波器,其用以对一图框(frame)进行粒子滤波(particle filtering),以追踪图框的一对象。其中图框具有多个影像块(block)。
根据一实施范例,粒子滤波器包括一图框快取(frame cache)、一观察模型产生器(observation model generator)以及一粒子滤波控制器(particle filtercontroller)。图框快取通过一系统总线连接至一系统记忆体。系统记忆体储存图框的所有的影像块,而图框快取从系统记忆体取得并储存图框的至少一个影像块。观察模型产生器与图框快取连接。观察模型产生器从图框快取读取至少一个像素,并依据读取的像素产生对应于对象以及读取的像素的一观察模型。粒子滤波控制器与观察模型产生器连接。粒子滤波控制器从观察模型产生器得到观察模型,再依据观察模型决定并输出对象的一对象追踪结果。
根据另一实施范例,粒子滤波器还可包括一观察模型快取(observationmodel cache)。每一个影像块可包括多个像素,而观察模型可包括对应的多个特征索引值以及多个特征值,且每一个像素对应一组特征索引值以及特征值。观察模型快取可以与图框快取以及观察模型产生器连接,以从图框快取读取至少一个影像块的像素。观察模型快取可以用以储存读取的像素所对应的特征索引值以及特征值,以供观察模型产生器产生读取的像素所对应的观察模型。
然根据又一实施范例,粒子滤波器中可以只有观察模型快取,而不具有图框快取。于此实施范例之中,观察模型产生器通过系统总线连接至系统记忆体,以从系统记忆体读取图框的至少一个影像块。由于图框快取或是观察模型快取能够减少粒子滤波器读写系统记忆体的需求,而能使其所需的读取频宽以及运转周期大幅下降。且由于观察模型快取能加快产生观察模型的速度,更提升粒子滤波器的运作效率。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1为一实施范例的粒子滤波器的方框示意图;
图2为一实施范例的图框快取的方框示意图;
图3为一实施范例的比特流的方框示意图;
图4为另一实施范例的粒子滤波器的方框示意图;
图5为一实施范例的观察模型快取的方框示意图;
图6为又一实施范例的粒子滤波器的方框示意图。
其中,附图标记
10粒子滤波器
12图框快取
121提取控制器
122快取记忆体
123记忆库
124暂存区块
125读取控制器
126图框快取标签
14观察模型产生器
16粒子滤波控制器
18观察模型快取
181观察模型记忆体
182缓存器
183特征值累加器
184观察模型快取标签
185观察模型快取控制器
20系统总线
30系统记忆体
32记忆体区块
34a,34b,34x像素编码
40影像撷取引擎
具体实施方式
以下在实施方式中详细叙述本发明的详细特征以及优点,其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施,且根据本说明书所揭露的内容、权利要求范围及附图,任何本领域技术人员可轻易地理解本发明相关的目的及优点。
本发明为一种粒子滤波器(particle filter),其可应用于追踪一视频(video)中的一对象。粒子滤波器能用以对视频中的一图框进行粒子滤波,以追踪图框中的对象。其中图框具有多个影像块(block),且每个影像块具有多个像素。
请参照图1,其为一实施范例的粒子滤波器的方框示意图。
于图1的实施范例之中,粒子滤波器10包括一图框快取(frame cache)12、一观察模型产生器(observation model generator)14以及一粒子滤波控制器(particle filter controller)16。粒子滤波器10可以与一系统总线20连接,以从一系统记忆体30接收欲处理的图框。一影像撷取引擎40可连接到一影像检测器(image sensor)以撷取欲处理的视频的图框,并通过系统总线20储存在系统记忆体30中;因此系统记忆体30中储存有预处理的图框的所有影像块。然图框的来源并不以此为限。
图框快取12是通过系统总线20连接至系统记忆体30,并从系统记忆体30取得并储存图框的至少一个影像块,以供观察模型产生器14以及粒子滤波控制器16进行粒子滤波。更详细地说,图框快取12可包括一提取控制器(fetchcontroller)121、一快取记忆体(cache memory)122、一读取控制器(readcontroller)125以及一图框快取标签(cache tag)126,如2图所示。
提取控制器121与系统总线20连接。根据读取控制器125的快取命中(cache hit)或是快取丢失(cache miss)状态,提取控制器121从系统记忆体30中提取至少一个影像块。快取记忆体122可包括至少一记忆库(bank)123,实际上从系统记忆体30中提取的影像块储存在记忆库123中。此外,记忆库123可依据影像块的大小被分割成多个暂存区块124。举例来说,若图框被分割成16像素×16像素的影像块,则每一个暂存区块124为能够储存16像素×16像素的数据。
读取控制器125可以与观察模型产生器14,以供观察模型产生器14读取储存于快取记忆体122的中的影像块。图框快取标签126则纪录储存于快取记忆体122的影像块相对于图框的一地址信息。举例而言,图框快取标签126可纪录已储存的影像块在图框中的的起始位置或是识别码。
观察模型产生器14是与图框快取12连接,以从图框快取12读取至少一个影像块。观察模型产生器14依据读取的影像块产生对应于对象以及读取的影像块的一观察模型。粒子滤波控制器16与观察模型产生器14连接,并可与图框快取12连接。粒子滤波控制器16从观察模型产生器14得到观察模型,再依据观察模型决定并输出追踪中的对象的一对象追踪结果。
更详细地说,粒子滤波控制器16可针对追踪中的对象产生多个候选点(candidate),并依据这些候选点设定多个候选窗(window)。其中每一个候选窗包括多个像素,且候选窗的像素被至少一个影像块所涵盖。换句话说,为了要得到一个候选窗的所有像素,可能需要读取一个或多个影像块。而由影像块的角度来看,一个影像块之中可能没有候选窗,或是至少包括一个候选窗的部分像素。观察模型产生器14依据这些候选窗的产生一对一对应的多个观察模型。其中当一个候选窗具有多个影像块时,属于同一个候选窗的多个影像块均对应到同一个观察模型。而粒子滤波控制器16比较这些候选窗的观察模型,并可选择候选点之一作为对象追踪结果。
例如观察模型可以是一直方图(histogram)、一共生矩阵(co-occurrencematrix)、一混色模型(color mixture model)或是一梯度直方图(gradienthistogram),其分别可代表候选窗的影像块的不同影像特征。粒子滤波控制器16可以先计算对象的观察模型,接着比较对象的观察模型以及所有候选点的观察模型。粒子滤波控制器16可判断哪一个候选点的观察模型与对象的观察模型最接近,再将具有最接近的观察模型的候选点作为对象追踪结果。
当观察模型产生器14需要读取影像块时,粒子滤波控制器16发出一读取指令给图框快取12。读取控制器125收到读取指令后,依据图框快取标签126判断所需的影像块目前是否存在于任一个暂存区块124之中。若是,则直接自此暂存区块124中读取所需的影像块并回传,而不需使用到系统总线20以及系统记忆体30。如此一来,观察模型产生器14能直接从图框快取12获得所需的影像块,因此不但可大幅降低系统总线的读写频宽,更能提高读取影像块的效率。虽然候选点的位置是随机选取,但由于基于同一对象进行选取,因此候选窗的内容之间仍有关联性,而使得图框快取12能保有一定的命中率(hitrate)。
由于快取记忆体122的容量有限,因此可能会发生在快取记忆体122中没有观察模型产生器14所需的影像块的情形。当快取记忆体122中没有观察模型产生器14所需的影像块时,提取控制器121才从系统记忆体30提取所需的影像块。快取记忆体122可寻找空的暂存区块124,或是可清除例如已维持最久或是被读取次数最少的暂存区块124,再将新提取的影像块存入。最后读取控制器125再将所需的影像块提供给观察模型产生器14。
除此之外,为了再提高粒子滤波器10的处理效率,系统记忆体30之中所存的图框可先经过转档处理。使得在图框中的每一影像块的多个像素编码均储存于连续的记忆体位置。
通常影像读入与储存时,会使用栅状扫描(raster scan)的顺序。也就是一张影像的像素是以由左至右,由上而下的顺序被扫描并储存在记忆体中。若影像使用YUV420色彩空间(color space)来表示时,像素的亮度值(1uminance)与色度值(chrominance)会分开存放。像素编码是为将像素的亮度值、色度值或是RGB值等用以表现此像素的参数编码(encode)后得到的编码(code)。以16像素×16像素的影像块为例,由于此影像块跨越图框中16的横列,因此传统上需要16次系统总线要求(bus request)才能读取各横列上的像素的亮度值,再花费8次系统总线要求读取各横列上的像素的色度值。
但为了提高处理效率,可预先将同一影像块的全部像素编码(例如可包含亮度值及色度值)连续存放,如图3所示。系统记忆体30可包括多个记忆体区块32。多个像素编码34a、34b以及34x分别对应不同影像块,且多个像素编码34a连续存放于记忆体区块50中;多个像素编码34b以及34x也连续存放。如此一来,图框快取12可经由单一个系统总线要求中从系统记忆体30中连续提取对应于同一影像块的全部的像素编码34a、34b或34x。
接下来请参照4图,其为另一实施范例的粒子滤波器的方框示意图。
为了更加提升效能,粒子滤波器10还可包括一观察模型快取(observationmodel cache)18,以帮助观察模型产生器14一次平行化处理多个像素。观察模型产生器14所产生的每一观察模型可包括对应的多个特征索引值以及多个特征值,且每一个像素对应至少一组特征索引值以及特征值。观察模型产生器14是根据候选窗的每一个像素判断其所对应的特征索引值,并据以累加特征值。观察模型快取18可与图框快取12以及观察模型产生器14连接,以从图框快取12读取至少一个影像块的多个像素。观察模型快取18是用以储存读取的像素所对应的特征索引值以及特征值,以供观察模型产生器14产生读取的像素所对应的观察模型。此外,观察模型快取18也可与粒子滤波控制器16连接。
观察模型快取18中可暂存至少一组特征索引值以及特征值,以供观察模型产生器14存取。请同时参照图5,其为一实施范例的观察模型快取的方框示意图。观察模型快取18可包括一观察模型记忆体181、多个暂存器(register)182以及一特征值累加器(accumulator)183。其中观察模型记忆体可以是一静态随机存取记忆体(static random access memory,SRAM)。
观察模型记忆体181中可储存正在产生的观察模型的所有特征索引值以及特征值;而每一个暂存器182是用以储存对应特征索引值之一的特征值。特征值累加器183可从图框快取12一次读取多个像素,并从至少一个暂存器182或观察模型记忆体181读取这些像素对应的特征索引值的特征值。特征值累加器183并依据这些读取的像素累加读取的特征值,再将特征值回存到暂存器。须注意的是,由于多个暂存器182之间没有关联且可同时分别进行读写,因此特征值累加器183能够同时对多个暂存器182进行读取或写入。换句话说,在产生观察模型时,特征值累加器183能够平行处理多个像素。
此外,观察模型快取18还可包括一观察模型快取标签184以及一观察模型快取控制器185。观察模型快取标签184可纪录所有暂存器182所对应的特征索引值;而依据观察模型快取标签184,观察模型快取控制器185判断特征值累加器183所需的每一个特征值是否储存于这些暂存器182之一。若有任一暂存器182存有所需的特征值,观察模型快取控制器185可令特征值累加器183从对应的暂存器182读取所需的特征值,并将累加完成的特征值回存到此对应的暂存器182。反之,则令特征值累加器183从观察模型记忆体181读取所需的特征值。可寻找空的暂存器182,或是可清除例如已维持最久或是被读取次数最少的暂存器182,再将累加完成的特征值存入清除的暂存器182。
实际上在读写特征值时,特征值累加器183可通过两个多功器与观察模型记忆体181以及暂存器182,并由观察模型快取控制器185控制多任务器以进行特征值的读写。且特征值累加器183可包括多个累加单元,以同时累加不同的特征值。
且当观察模型产生器14完成产生一个候选窗的观察模型,可清空观察模型记忆体181以及所有的暂存器182以预备生成下一候选窗的观察模型。
依对象或是图框的特性不同,粒子滤波控制器16可令观察模型产生器14产生直方图、共同发生阵列、一混色模型或是梯度直方图等不同的观察模型。
以将直方图作为观察模型为例,观察模型产生器14可产生每一个候选窗的直方图。直方图是表示此候选窗中像素的亮度分布;因此特征索引值是为多个亮度值,特征值则为对应亮度值的多个像素个数。在产生其中一个候选窗的直方图时,观察模型快取18可同时从图框快取12中读取此候选窗的4个像素,并由观察模型快取控制器185判断这4个像素的亮度值。观察模型快取控制器185接着将这4个亮度值当作特征索引值查找观察模型快取标签184,以判断是否有暂存器182对应要处理的亮度值。若有,则由暂存器182取出特征值,并将特征值累加1之后回存。若没有,则由观察模型记忆体181取出特征值,并将特征值累加1之后存入适当的暂存器182。
此外,特征值累加器183能先判断是否有多个像素同时对应到同一个特征索引值。例如当读取的第1个像素以及第2个像素的亮度值都是100,且有一个暂存器182正好对应亮度值100时,则特征值累加器183读取对应亮度值100的暂存器182,并将特征值累加2之后回存。
类似地,粒子滤波控制器16可令观察模型产生器14产生每一候选窗的共生矩阵作为观察模型。共生矩阵是代表在对象中的纹理分布(texturedistribution)。当观察模型为共生矩阵时,可将多个像素共生关系作为特征索引值,并将对应这些像素共生关系的多个像素共生次数作为特征值。其中像素共生关系代表多个像素同时出现的可能型态(pattern),而像素共生次数则代表这些型态的发生次数。
粒子滤波控制器16也可令观察模型产生器14产生每一候选窗的混色模型作为观察模型。混色模型系描述对象颜色的混色分布(mixture of colordistribution)。当观察模型为混色模型时,可将像素对应的多个像素分布作为特征索引值,并将对应这些像素分布的多个参数作为特征值。
粒子滤波控制器16也可令观察模型产生器14产生每一候选窗的梯度直方图作为观察模型,其表示表示此候选窗中像素的梯度分布。当观察模型为梯度直方图时,可将多个梯度值作为特征索引值,并将对应这些梯度值的多个像素个数作为特征值。
由于观察模型产生器14以及观察模型快取18是针对同一个候选窗中的像素进行处理,因此其一次读取并处理的多个像素之间具有相当高的关联性(例如可能具有相似的亮度),而使得观察模型快取18能保有不错的命中率。
请参考图6,其为又一实施范例的粒子滤波器的方框示意图。于图6的实施范例之中,粒子滤波器10不具有图框快取12但具有观察模型快取18。与图4的实施范例不同点在于,观察模型产生器14直接连接到系统总线20以连接至系统记忆体30,可从系统记忆体30读取图框的影像块或像素。
下表一提供实验数据,利用不同的4个视频序列来比较不具有任何快取的现有粒子滤波器,以及图4的实施范例的粒子滤波器10。其中占用系统总线的读写频宽的单位为兆赫(MHz)。
(表一)
由表一可见,图4的实施范例的粒子滤波器10所占用的系统总线的读写频宽至少低于传统粒子滤波器所需频宽的一半。
下表二则也利用不同的4个视频序列来比较不具有任何快取的现有粒子滤波器,以及图4的实施范例的粒子滤波器10。其中所需的运转周期(operationcycle)的单位为兆赫。
(表二)
由表二可见,图4的实施范例的粒子滤波器10所需的运转周期顶多为传统粒子滤波器所需运转周期的一半。
综上所述,图框快取或是观察模型快取能够使粒子滤波器所需的读取频宽以及运转周期大幅下降。且由于观察模型快取中包括多个暂存器,因此粒子滤波器能够平行处理多个像素,而使得运算效率加倍。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (24)
1.一种粒子滤波器,用以对一图框进行粒子滤波,以追踪该图框的一对象,其中该图框具有多个影像块,其特征在于,该粒子滤波器包括:
一图框快取,通过一系统总线连接至一系统记忆体,该系统记忆体储存该图框的所有的该些影像块,而该图框快取从该系统记忆体取得并储存该图框的至少一该影像块的多个像素;
一观察模型产生器,与该图框快取连接,该观察模型产生器从该图框快取读取至少一该影像块内的该些像素,并依据读取的该些像素产生对应于该对象以及读取的该些像素的一观察模型;以及
一粒子滤波控制器,与该观察模型产生器连接,该粒子滤波控制器从该观察模型产生器得到该观察模型,再依据该观察模型决定并输出该对象的一对象追踪结果。
2.根据权利要求1所述的粒子滤波器,其特征在于,该粒子滤波控制器针对该对象产生多个候选点,并依据该些候选点设定多个候选窗,每一该候选窗包括多个像素,且每一该候选窗的该些像素被至少一个该影像块所涵盖;该观察模型产生器依据该些候选窗产生该些观察模型,而该粒子滤波控制器比较该些候选窗的该些观察模型并选择该些候选点之一作为该对象追踪结果。
3.根据权利要求1所述的粒子滤波器,其特征在于,该图框快取包括:
一提取控制器,与该系统总线连接,以从该系统记忆体中提取至少一该影像块;
一快取记忆体,包括至少一记忆库,该记忆库储存从该系统记忆体中提取的该影像块;
一读取控制器,与该观察模型产生器以及该粒子滤波控制器连接,以供该观察模型产生器或该粒子滤波控制器读取储存于该快取记忆体的该影像块;以及
一图框快取标签,纪录储存于该快取记忆体的该影像块相对于该图框的一地址信息。
4.根据权利要求3所述的粒子滤波器,其特征在于,当该快取记忆体中没有该观察模型产生器或该粒子滤波控制器所需的该影像块时,该提取控制器从该系统记忆体提取所需的该影像块,该快取记忆体储存所需的该影像块,且该读取控制器将所需的该影像块提供给该观察模型产生器。
5.根据权利要求3所述的粒子滤波器,其特征在于,该记忆库依据该些影像块的大小被分割成多个暂存区块。
6.根据权利要求1所述的粒子滤波器,其特征在于,在存放该图框的该系统记忆体中,对应于同一该影像块的多个像素编码为连续排列,而该图框快取在单一系统总线要求中从该系统记忆体中提取对应于同一该影像块的全部的该些像素编码。
7.根据权利要求1所述的粒子滤波器,其特征在于,每一该影像块包括多个像素,该观察模型包括对应的多个特征索引值以及多个特征值,且每一该像素对应至少一组该特征索引值以及该特征值,该粒子滤波器还包括:
一观察模型快取,与该图框快取以及该观察模型产生器连接,以从该图框快取读取至少一该影像块的该些像素,该观察模型快取用以储存读取的该些像素所对应的该些特征索引值以及该些特征值,以供该观察模型产生器产生读取的该些像素所对应的该观察模型。
8.根据权利要求7所述的粒子滤波器,其特征在于,该观察模型快取包括:
一观察模型记忆体,储存该观察模型的该些特征索引值以及该些特征值;
多个暂存器,其中每一该暂存器用以储存对应该些特征索引值之一的特征值;以及
一特征值累加器,从该图框快取读取该些像素,从至少一该暂存器或该观察模型记忆体读取该些特征值,并依据读取的该些像素的特征累加读取的该些特征值,再将该些特征值回存到该些暂存器。
9.根据权利要求8所述的粒子滤波器,其特征在于,该观察模型记忆体为一静态随机存取记忆体。
10.根据权利要求8所述的粒子滤波器,其特征在于,该观察模型为一直方图,该些特征索引值为多个亮度值,该些特征值为对应该些亮度值的多个像素个数。
11.根据权利要求8所述的粒子滤波器,其特征在于,该观察模型为一共生矩阵,该些特征索引值为多个像素共生关系,该些特征值为对应该些像素共生关系的多个像素共生次数。
12.根据权利要求8所述的粒子滤波器,其特征在于,该观察模型为一混色模型,该些特征索引值为多个像素分布,该些特征值为对应该些像素分布的多个参数。
13.根据权利要求8所述的粒子滤波器,其特征在于,该观察模型为一梯度直方图,该些特征索引值为多个梯度值,该些特征值为对应该些梯度值的多个像素个数。
14.根据权利要求8所述的粒子滤波器,其特征在于,该观察模型快取还包括:
一观察模型快取标签,纪录该些暂存器所对应的该些特征索引值;以及
一观察模型快取控制器,依据该观察模型快取标签判断该特征值累加器所需的每一该特征值是否储存于该些暂存器之一;若是,令该特征值累加器从对应的该暂存器读取所需的该特征值;若否,令该特征值累加器从该观察模型记忆体读取所需的该特征值。
15.一种粒子滤波器,用以对一图框进行粒子滤波,以追踪该图框的一对象,其中该图框具有多个影像块,每一该影像块包括多个像素,其特征在于,该粒子滤波器包括:
一观察模型产生器,通过一系统总线连接至一系统记忆体,以从该系统记忆体读取该图框的至少一该影像块,并依据读取的该影像块产生对应于该对象以及读取的该影像块的一观察模型,其中该观察模型包括对应的多个特征索引值以及多个特征值,且每一该像素对应至少一组该特征索引值以及该特征值;
一粒子滤波控制器,与该观察模型产生器连接,该粒子滤波控制器从该观察模型产生器得到该观察模型,再依据该观察模型决定并输出该对象的一对象追踪结果;以及
一观察模型快取,与该观察模型产生器连接,且该观察模型快取用以储存读取的该些像素所对应的该些特征索引值以及该些特征值,以供该观察模型产生器产生读取的该些像素所对应的该观察模型。
16.根据权利要求15所述的粒子滤波器,其特征在于,该粒子滤波控制器针对该对象产生多个候选点,并依据该些候选点设定多个候选窗,每一该候选窗包括多个像素,且每一该候选窗的该些像素被至少一个该影像块所涵盖;该观察模型产生器依据该些候选窗的产生该些观察模型,而该粒子滤波控制器比较该些候选窗的该些观察模型并选择该些候选点之一作为该对象追踪结果。
17.根据权利要求15所述的粒子滤波器,其特征在于,在存放该图框的该系统记忆体中,对应于同一该影像块的多个像素编码为连续排列,而该观察模型快取在单一系统总线要求中从该系统记忆体中提取对应于同一该影像块的全部的该些像素编码。
18.根据权利要求15所述的粒子滤波器,其特征在于,该观察模型快取包括:
一观察模型记忆体,储存该观察模型的该些特征索引值以及该些特征值;
多个暂存器,其中每一该暂存器用以储存对应该些特征索引值之一的该特征值;以及
一特征值累加器,从该系统记忆体读取该些像素,从至少一该暂存器或该观察模型记忆体读取该些特征值,并依据读取的该些像素累加读取的该些特征值,再将该些特征值回存到该些暂存器。
19.根据权利要求18所述的粒子滤波器,其特征在于,该观察模型记忆体为一静态随机存取记忆体。
20.根据权利要求18所述的粒子滤波器,其特征在于,该观察模型为一直方图,该些特征索引值为多个亮度值,该些特征值为对应该些亮度值的多个像素个数。
21.根据权利要求18所述的粒子滤波器,其特征在于,该观察模型为一共生矩阵,该些特征索引值为多个像素共生关系,该些特征值为对应该些像素共生关系的多个像素共生次数。
22.根据权利要求18所述的粒子滤波器,其特征在于,该观察模型为一混色模型,该些特征索引值为多个像素分布,该些特征值为对应该些像素分布的多个参数。
23.根据权利要求18所述的粒子滤波器,其特征在于,该观察模型为一梯度直方图,该些特征索引值为多个梯度值,该些特征值为对应该些梯度值的多个像素个数。
24.根据权利要求18所述的粒子滤波器,其特征在于,该观察模型快取还包括:
一观察模型快取标签,纪录该些暂存器所对应的该些特征索引值;以及
一观察模型快取控制器,依据该观察模型快取标签判断该特征值累加器所需的每一该特征值是否储存于该些暂存器之一;若是,令该特征值累加器从对应的该暂存器读取所需的该特征值;若否,令该特征值累加器从该观察模型记忆体读取所需的该特征值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100129844 | 2011-08-19 | ||
| TW100129844A TWI452541B (zh) | 2011-08-19 | 2011-08-19 | 粒子濾波器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102956033A true CN102956033A (zh) | 2013-03-06 |
| CN102956033B CN102956033B (zh) | 2015-03-04 |
Family
ID=47712692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110254413.9A Expired - Fee Related CN102956033B (zh) | 2011-08-19 | 2011-08-26 | 粒子滤波器 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8600109B2 (zh) |
| CN (1) | CN102956033B (zh) |
| TW (1) | TWI452541B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11004213B2 (en) | 2016-01-25 | 2021-05-11 | KoreoGRFX, Inc. | Methods and systems for determining motion of a device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070100916A1 (en) * | 2005-10-20 | 2007-05-03 | Petr Konecny | Method and system for memory allocation in a multiprocessing environment |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100300972B1 (ko) * | 1997-09-19 | 2001-09-03 | 윤종용 | 텍스춰매핑수행장치및텍스춰캐시의데이터억세스방법 |
| US7756296B2 (en) * | 2007-03-27 | 2010-07-13 | Mitsubishi Electric Research Laboratories, Inc. | Method for tracking objects in videos using forward and backward tracking |
| US8218621B2 (en) * | 2010-01-26 | 2012-07-10 | Himax Media Solutions, Inc. | Data-mapping method and cache system for use in a motion compensation system |
| US8706298B2 (en) * | 2010-03-17 | 2014-04-22 | Raytheon Company | Temporal tracking robot control system |
-
2011
- 2011-08-19 TW TW100129844A patent/TWI452541B/zh not_active IP Right Cessation
- 2011-08-26 CN CN201110254413.9A patent/CN102956033B/zh not_active Expired - Fee Related
- 2011-11-15 US US13/296,654 patent/US8600109B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070100916A1 (en) * | 2005-10-20 | 2007-05-03 | Petr Konecny | Method and system for memory allocation in a multiprocessing environment |
Non-Patent Citations (4)
| Title |
|---|
| HENRY MEDEIROS ET AL: "A Parallel Color-Based Particle Filter for Object Tracking", 《IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》, 28 June 2008 (2008-06-28) * |
| KA KI NG AND EDWARD J. DELP: "New Models For Real-Time Tracking Using Particle Filtering", 《VISUAL COMMUNICATIONS AND IMAGE PROCESSING 2009》, vol. 7257, 18 January 2009 (2009-01-18) * |
| P. PEREZ ET AL: "Color-Based Probabilistic Tracking", 《ECCV 2002》, vol. 2350, 31 December 2002 (2002-12-31) * |
| 李培华: "一种新颖的基于颜色信息的粒子滤波器跟踪算法", 《计算机学报》, vol. 32, no. 12, 31 December 2009 (2009-12-31) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102956033B (zh) | 2015-03-04 |
| TW201310391A (zh) | 2013-03-01 |
| US8600109B2 (en) | 2013-12-03 |
| US20130044911A1 (en) | 2013-02-21 |
| TWI452541B (zh) | 2014-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Spatio-temporal fusion for macro-and micro-expression spotting in long video sequences | |
| Zhang et al. | A dense u-net with cross-layer intersection for detection and localization of image forgery | |
| CN104809731B (zh) | 一种基于梯度二值化的旋转尺度不变场景匹配方法 | |
| CN104376003A (zh) | 一种视频检索方法及装置 | |
| CN111507340B (zh) | 一种基于三维点云数据的目标点云数据提取方法 | |
| Zhu et al. | Unmanned aerial vehicle remote sensing image registration based on an improved oriented FAST and rotated BRIEF-random sample consensus algorithm | |
| Wang et al. | An improved smart key frame extraction algorithm for vehicle target recognition | |
| CN111145191A (zh) | 一种基于游程编码的连通域查找方法及装置 | |
| Yan et al. | Codebook guided feature-preserving for recognition-oriented image retargeting | |
| CN103413326A (zh) | Fast approximated SIFT算法中特征点检测方法及装置 | |
| CN102956033A (zh) | 粒子滤波器 | |
| CN109858483A (zh) | 基于共生滤波形态学和局部熵的小目标检测方法 | |
| CN108763265A (zh) | 一种基于分块检索的图像识别方法 | |
| CN108550114A (zh) | 一种多尺度空间约束的人脸超分辨率处理方法及系统 | |
| CN106886783A (zh) | 一种基于区域特征的图像检索方法及系统 | |
| CN101930593A (zh) | 单一物体影像萃取系统及方法 | |
| KR100338083B1 (ko) | 검색효율 및 검색성능 향상을 위한 로젯패턴 적용영상색인 및 검색방법 | |
| Li et al. | A parallel pipeline connected-component labeling method for on-orbit space target monitoring | |
| Dong et al. | Extracting sea-sky-line based on improved local complexity | |
| CN108268533A (zh) | 一种用于图像检索的图像特征匹配方法 | |
| Zhao et al. | Infrared dim and small target detection and tracking based on single multi-frame algorithm under sea clutter background | |
| Wei et al. | Feature point screening for image matching | |
| Wei et al. | Image registration algorithm based on super pixel segmentation and SURF feature points | |
| Geng et al. | An improved illumination invariant surf image feature descriptor | |
| CN118379315B (zh) | 一种基于FPGA的8方向Sobel边缘检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Shen Junfu Inventor after: Cheng Dejun Inventor after: Yang Shengyan Inventor after: Lu Yanzhen Inventor before: Shen Junfu Inventor before: Cheng Dejun |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: SHEN JUNFU CHENG DEJUN TO: SHEN JUNFU CHENG DEJUN YANG SHENGYAN LU YANZHEN |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150304 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |