CN1320502C - 用于跟踪目标的装置、跟踪目标的方法和跟踪目标的程序 - Google Patents

Abstract

目标区域提取部分12通过图像输入终端11接收图像信息并且从该接收的图像信息中提取目标区域。特征量产生部分14产生该目标的特征量和目标区域的特征量。特征量合成部分15合成多个目标的特征量以便产生一个合成的特征量。对应关系建立部分17计算该目标区域的特征量和合成的特征量之间的相似程度，并且根据计算的相似程度寻找该目标和目标区域之间的一个最佳对应关系。

Description

用于跟踪目标的装置、跟踪目标的方法和跟踪目标的程序

技术领域

本发明涉及用于基于图像信息跟踪一个目标的一种目标跟踪装置、目标跟踪方法和目标跟踪程序，尤其涉及即使当多个目标以重叠关系定位在一个显示屏上时也能够继续跟从一个标的目标的一种目标跟踪装置、目标跟踪方法和目标跟踪程序。

背景技术

用于根据从摄像机持续提供的图像信息跟踪一个目标，例如跟踪一个人体的一个目标的跟踪装置，即使当多个目标以交叉或重叠关系定位时，也被要求连续地跟随被跟踪目标的移动。日本专利公开H06-169458 A1描述了一个即使在跟踪实施的同时目标相交时也能够继续跟随该目标的移动的的目标跟踪装置。

图1是说明日本专利公开H06-169458 A1中描述的现有技术的一个目标跟踪装置的结构框图。如图1所示，该目标跟踪装置包括：目标区域提取装置41，用于从由摄像机等周期地提供到输入终端40的图像信息中提取一个目标区域；跟随状态检测装置42，用于把提取的目标区域与将被跟踪的目标区域比较，以便检测将被跟踪的目标的状态，其中该将被跟踪的目标区域是从将被随后描述的区域选择装置45提供的；特征量产生装置43，用于根据该图像信息和该将被跟踪的目标区域产生目标的特征量；目标识别装置44，用于根据该图像信息和由目标区域提取装置41提取的该目标区域产生该整个目标区域的特征量以及用于选择具有最接近从特征量产生意味着43接收的该目标的特征量的特征量的目标区域；和区域选择装置45，提供作为一个输出的将被跟踪的该目标区域。

在上述描述中，术语″一个目标区域″是指包括在该图像中的一个目标的区域。将被跟踪的由跟随状态检测装置42提供的一个目标的状态包括：一个重叠或交叉状态，其中将被跟踪的一个目标的图像与另一对象相交；以及一个跟踪状态，其中将被跟踪的一个目标被以一个单独状态跟踪。特征量产生装置43具有用于存储产生的特征量的一个存储器装置，并且进一步包括用于更新存储在该存储器装置中的该特征量更新装置。当该目标的状态是该跟踪状态时，特征量产生装置更新存储在该存储器装置中的特征量，同时如果该目标的状态是处在一个重叠状态的话，将保持存储在该存储器装置中的该特征量不变。

只要该感兴趣的目标是在一个重叠状态中，目标识别装置44则将选择具有最相似该存储在特征量产生装置43中的该目标区域的特征量的目标区域。当该目标的状态实现从重叠状态到该跟踪状态的转换时，区域选择装置45将选择由目标识别装置44选择的该目标区域作为将被跟踪的一个目标区域。除了在使得该目标的状态从重叠状态转换到跟踪状态的情况之外，区域选择装置45从由目标区域提取装置41提取的全部目标区域中选择存在于最接近该已被预先跟踪的该目标区域的位置的目标区域，并且提供该选择的目标区域作为一个输出。以此方式，区域选择装置45提供该选择的目标区域作为将被跟踪的一个新目标区域。在上述描述中，″已被预先跟踪的目标区域″是指根据来自一个帧的图像信息确定的将被跟踪的目标区域，该帧是在从一个摄像机等接收的图像信息的最近图像信息前面的一个帧。

以此方式，在目标是在该跟踪状态中时，该目标跟踪装置通过使用该最近接收的图像信息而连续执行一个目标区域的跟踪。当目标的状态实现从跟踪状态到叠加的状态转换时，保存紧邻在该转换之前的该目标的特征量。当该目标的状态从重叠状态到跟踪状态转换时，连续利用由目标识别装置44选择的被使用作将被跟踪的目标区域该目标区域执行该目标区域的跟踪。因此，即使当从跟踪状态向重叠状态过渡时也能继续该目标区域的跟踪，并且随后恢复出现在该目标状态中的跟踪状态。

如上所述，在目标离开该重叠状态时，即使在有多个目标与一个目标区域的相关一个目标相交的情况中，已有技术的目标跟踪装置已经能够根据紧接在该重叠状态的出现之前的该目标的特征量而连续跟踪一个目标区域。

此外，由S.J.McKenna、S.Jabri、Z.Duric和H.Wechsler发表的文章TrackingInteracting People(2000年3月28-30日：Proceedings of the Fourth IEEEInternational Conference on Automatic Face and Gesture Recognition，348-353页)描述了用于在目标部分彼此相交向离开该重叠状态时继续跟踪一个目标的方法，其中计算感兴趣的目标属于每一个目标区域的可能性，并且该目标是与计算的最大可能性的该目标区域相关。

然而，由于恰在该重叠状态中的改变之前的该目标的特征量不与在该重叠状态中的改变之后的相关目标区域中包括的任何目标的特征量一致，所以在通过多个目标的交叉产生一个重叠状态并且随后该重叠状态被离开时的其中多个目标被包括在单一目标区域中的情况下、或在该感兴趣的重叠状态的创建之前和之后存在于一个确定的目标区域中的目标被替换为其它目标时的情况下，该已有技术的目标跟踪装置容易导致在一个目标和一个目标区域之间的对应关系的错误。例如，在四个人(A，B，C和D)相交叉并且随后每组两人地分成两组(一组是A和B而一组是C和D)的情况中，或在两人(A和B)和一人(C)相交叉然后人的分组改变为创建一人组(A)和两人组(B和C)的情况中，该目标跟踪装置常常误认在一个目标和一个目标区域之间的对应关系。而且，虽然传统的目标跟踪装置利用每个目标选择具有与感兴趣的目标最高相似性的目标区域，但是用这种方法的在目标和目标区域之间的关联并不总是保证在全部目标和目标区域之间的一致的对应关系。

发明内容

本发明的一个目的是提供用于跟踪一个目标的一种装置和一种方法并且还提供用于跟踪一个目标的一个程序，即使在当一个图像中的重叠状态的多个目标已经彼此分离之后的多个目标仍然存在于一个图像区域中时的情况中，或在当由该图像中的重叠目标组成的每一个组的目标分组改变成交换在该组的交叉之前和之后的该组中包括的目标时，本发明的装置、方法、程序用于跟踪实现在一个目标和一个目标区域之间的正确关联的一个目标。本发明的另一个目的是，当把目标和目标区域相关到对应的关系时，实现在全部的目标和目标区域之间的最佳对应关系的选择。

根据本发明的目标跟踪装置是一种用于根据图像信息跟踪一个目标的目标跟踪装置，包括：特征量合成装置，用于合成表示包括在该图像信息中的不同目标的特征量的目标特征量，以便产生合成的特征量；和对应性建立装置，用于根据在该目标区域的特征量和该合成的特征量之间的相似程度来建立在目标和目标区域之间的对应性，其中该目标区域是指从该图像信息提取的并且还包括该感兴趣的目标的区域。

最好是，该特征量合成装置针对多个目标的全部要求的组合的每一个合成特征量，以便产生一个合成的特征量，并且该对应关系建立装置通过比较由该特征量合成装置产生的每一个合成特征量和表示该目标区域的特征量的区域特征量而建立在目标和目标区域之间的对应关系。通过这种设计，当建立在目标和目标区域之间的对应关系时，能够选择在该目标和目标区域之间的最佳对应关系。

该目标跟踪装置最好具有：一个目标区域提取装置，用于从该图像信息提取该目标区域并且提供包括关于该目标区域的图像信息的目标区域信息；一个用于判定分别的目标或目标区域的跟踪状态的跟踪状态判定装置，其中该跟踪状态是指每一个目标相对于其它目标的相对位置；以及一个特征量产生装置，用于通过使用该图像信息、该目标区域信息和由该跟踪状态判定装置所实现的该判定结果而产生该区域特征量和目标特征量，其中该特征量合成装置通过使用所说的目标特征量和由该跟踪状态判定装置实现的判定结果来产生合成特征量。通过这种设计，能够根据相对于其它目标的相对位置而产生该合成的特征量。

最好是，该跟踪状态判定装置根据该目标区域信息和已经确定的指示该目标区域和在当前之前的目标的对应关系的对应关系信息来判定分别目标或目标区域的跟踪状态，以便提供指示该目标区域和目标的对应关系以及跟踪的状态的第一区域对应关系信息，该特征量产生装置根据该当前图像信息、该目标区域信息、该第一区域对应关系信息和已被确定的对应关系信息来产生区域特征量和目标特征量，该特征量合成装置根据该目标特征量和该第一区域对应关系信息产生用作将被放置于用于不同目标区域的对应关系中的候选项的合成的特征量，以便提供合成的特征量信息，其中该合成的特征量信息是包括合成的特征量以及在该合成的特征量和用于该合成的特征量的产生的目标之间的对应关系的信息，以及该对应关系建立装置包括一个对应关系确定装置，根据该第一区域对应关系信息、属于是指示该区域特征量的信息的区域特征量信息和该合成特征量信息而将目标和目标区域相关以放置于该对应关系中，以便提供已被在目前时间确定的该对应关系信息。即使在感兴趣部分的一个目标之后仍然有多个目标存在于一个目标区域中或当两个组相交时如果在一个重叠或交叉状态中的目标组的每一个被位置互换，这种设计也能实现防止建立目标和目标区域之间的错误的对应关系。

在该目标跟踪装置中，跟踪的状态最好包括下列的情况之一或组合：一个单独状态，其中在一个目标区域中仅驻留单一目标；一个交叉状态，其中多个目标对应于单个目标区域；以及一个分离状态，即其中单一目标区域被分离成多个目标区域的一种过渡状态。这将实现一个目标相对于另一目标的位置关系的判定。

最好是，该特征量产生装置产生区域特征量，每个区域特征量包括彩色直方图、区域、图像模板和相对于该区域标准化的彩色直方图的之一或一个组合，并且从该第一区域对应关系信息中寻找对应于该感兴趣目标的一个目标区域，并且产生彩色直方图、区域、图像模板和相对于该目标区域的区域标准化的色彩直方图的至少一个或一个组合作为一个目标特征量。

最好是，该跟踪状态判定装置包括一个目标区域储存装置，用于储存该目标区域信息，一个目标跟踪装置，用于根据该目标区域信息、已被确定的对应关系信息和在当前从该目标区域储存装置提供的目标区域信息之前的目标区域信息而跟踪一个目标，并且进一步用于提供指示在目标和目标区域之间的对应关系的一个第二区域对应关系信息，以及一个状态判定装置，用于根据该第二区域对应关系信息、该目标区域信息和在当前的之前的目标区域信息而判定目标跟踪的状态，并且提供该第一区域对应关系信息。

最好是，该状态判定装置根据在目标和目标区域之间的该对应关系、从该第二区域对应关系信息获得的在目标区域和目标区域的分离的连续周期之间的距离、以及目标区域信息的至少之一或一个组合而分组在其对应的目标区域中具有一个共同区域的目标以便把该目标和对应的目标区域分类成一个类别，并且把其对应的目标区域不同于任何其它目标的目标以及与之对应的目标区域分类成一个类别，以便该目标和目标区域分类成多个类别，并且根据该分类的类别来判定该跟踪的状态。

最好是，该跟踪状态包括属于是一种过渡状态的进行分离(parting)状态，通过这种状态把一个目标区域分离成多个目标区域。

如果两个或多个目标区域被包括在一个分类的类别中，则该状态判定装置判定该类别符合在一个进行分离状态中的条件，并且如果一个类别符合在进行分离状态的条件的话，则该状态判定装置判定包括在该类别中的该目标和目标区域的跟踪的状态是进行分离的状态。

最好是，如果该分类的类别满足在进行分离状态中的条件并且如果该分类的类别满足条件：即，两个或多个目标被包括在该类别中、在该类别中包括的目标区域之间的每一个距离都超过一个预定门限值、以及该类别中包括的该目标区域的分离的连续周期超过一个预定门限值的至少之一或一个组合，则该状态判定装置判定包括在该类别中的目标和目标区域的跟踪状态是进行分离状态。这一设计将使得能够防止导致一个感兴趣的目标相对于另一目标是在一个进行分离的状态的位置关系的错误判定。

最好是，该跟踪的状态包括一个进行分离的状态和其中单一目标驻存在一个目标区域中的一个单独状态，并且，如果该分类的类别仅包括一个目标并且如果包括在该类别中的目标和目标区域的跟踪的状态不是进行分离的状态，则该状态判定装置判定包括在该类别中的目标和该目标区域的跟踪的状态是该单独的状态。

最好是，该跟踪的状态包括一个进行分开的状态以及其中多个目标是处在与一个目标区域的对应关系的一个交叉状态，并且，如果一个分类的类别包括两个或多个目标并且如果包括在该类别中的目标和目标区域的跟踪的状态不是进行分离的状态，则该状态判定装置判定包括在该类别中的目标和该目标区域的跟踪的状态是交叉状态。

最好是，该特征量产生装置包括：特征量提取装置，用于从图像信息、目标区域信息和第一区域对应关系信息提取区域特征量，并且用于提供属于是指示该区域特征量的信息的该区域特征量信息；特征量存储装置，用于存储目标特征量并且选择该存储的目标特征量，以便按照要求提供该选择的目标特征量；以及特征量更新装置，用于根据该区域特征量信息、该第一区域对应关系信息或已被确定的对应关系信息以及在当前之前产生的目标特征量而更新存储在该特征量存储装置中的该目标特征量。

最好是，该跟踪状态包括属于是一种过渡状态的进行分离的状态，通过这种状态把一个目标区域分离成多个目标区域，以及该特征量提取装置提取包括在区域特征量信息中，指示不需要建立对应针对目标区域的目标的对应关系的信息，表示在其跟踪状态中的除了进行分离的状态之外的状态，和该对应关系确定装置从该对应关系的建立中排除在该区域特征量信息中被指示为不需要建立对于目标的对应关系的目标区域。这种设计将实现降低用于该相似程度的计算的计算量。

最好是，该跟踪的状态包括其中单一目标驻存在一个目标区域中的一种单独状态，并且该特征量更新装置根据该第一区域对应关系信息或已经确定的对应关系信息判定一个目标的跟踪的状态是否为该单独的状态，并且如果该目标的跟踪的状态是除了该单独状态之外的状态，则不更新存储在该特征量存储装置中的该目标特征量。

最好是，该特征量合成装置根据由该特征量产生装置产生的该目标特征量和该第一区域对应关系信息确定全部可能的目标和目标区域的组合，并且仅合成针对该确定的目标和目标区域的组合的目标特征量，以便产生合成的特征量。这种设计实现除去用于产生不必要的合成的特征量的过程。

最好是，特征量合成装置计算合成比例，该合成比例是用于调整该目标特征量被合成的比例的系数，并且根据该合成比例和目标特征量产生合成的特征量。通过上述设计，实现在该图像空间中的该目标的幅度不同于该目标的实际幅度时对于由一个目标的幅值产生的误差的校正。

最好是，该特征量合成装置从该特征量产生装置接收区域特征量以及目标特征量，在该接收的区域特征量信息和目标特征量的基础上计算根据期望的合成比例的合成的特征量，并且提供针对产生在该计算的合成的特征量和该区域特征量之间的全部相似性程度的最高值的合成比例的合成的特征量。仅根据一个合成的特征量计算的相似程度就足以用于目标和目标区域的全部组合，从而能够省略冗长的计算过程。

最好是，该跟踪状态包括属于是一种过渡状态的进行分离的状态，通过这种状态把一个目标区域分离成多个目标区域，并且该特征量合成装置仅针对被指示为具有进行分离的状态作为其跟踪状态的目标区域而产生合成的特征量。这种设计实现除去用于产生不必要的合成的特征量的过程。

最好是，该目标特征量包括一个目标的一个区域，并且特征量合成装置根据包括在该目标特征量中的目标的区域计算属于是用于调整该目标特征量被合成的比例的合成比例，并且从该合成比例和该目标特征量产生合成的特征量。这种设计实现了降低用于计算该合成比例的计算量。

最好是，该特征量合成装置根据该目标的区域中的变化把该合成比例限制在一个预定范围之内。这种设计使得即使当在一个图像中的一个目标区域改变时也实现一个正确的合成比例。

最好是，该特征量合成装置从该特征量产生装置接收与目标特征量一起的区域特征量，根据该接收的区域特征量和目标特征量计算在该目标区域中的变化范围之内的合成的特征量，并且提供具有与该感兴趣的目标区域的区域特征量最高相似程度的合成的特征量。通过这种设计，针对每一个目标组合仅提供一个合成的特征量就足够，从而能够除去冗长的过程。

最好是，该目标特征量包括表示一个目标的形状和颜色的一个图像模板，并且该特征量合成装置从该图像模板和区域特征量判定每一个目标的前后(back-to-belly)关系，并且通过根据分别判定的该目标的前后关系而合成该图像模板来获得该合成的特征量。这种设计将使得即使当任意对象局部地重叠在另一目标之后时，也能够实现在目标和目标区域之间的对应关系的计算。

最好是，该对应关系确定装置提供有对应关系计算装置，用于根据该合成特征量信息、该区域特征量信息和该第一区域对应关系信息从可能以对应关系相关的该目标和目标区域的全部可能的组合中计算该最高相似性的目标和目标区域的组合，选择该计算的目标和目标区域的组合作为一个最佳组合，并且产生指示在目标和目标区域之间的该最佳对应关系的最佳对应关系信息，以及

对应关系判定装置，用于根据该第一区域对应关系信息和该最佳对应关系信息确定在目标和目标区域之间的对应关系，并且提供已经确定的属于是包括该判定的目标和目标区域之间对应关系的信息的该对应关系信息。这种设计实现在目标和目标区域以对应关系相关时最佳对应关系的选择。

最好是，该对应关系计算装置计算针对目标和目标区域的全部可能组合的每一个的总计相似程度，该总计相似程度是在该目标区域的特征量和在每一个组合中的合成的特征量之间该相似程度的一个取和，并且判定为是关于全部可能组合的最高总计相似程度的组合的最高相似性的组合。

最好是，该第一区域对应关系信息包括关于一个休止/移动状态的信息，该休止/移动状态的信息指示一个目标区域是否在休止或移动中，并且该对应关系计算装置从全部可能的组合中排除在该关于休止/移动状态的信息中被指示为休止的目标和目标区域的组合。这设计通过专门计算其中在其休止/移动状态中的展现休止状态不能以对应关系与任何目标相关的组合而降低该对应关系计算装置的计算量。

最好是，如果能够从该目标和目标区域的集的相似程度中获得的组合相似程度等于或低于一个预定门限值，而所说的目标和目标区域的集构成被判定是排列为最高相似性的组合，则所说的对应关系计算装置从排列为目标和目标区域的全部可能组合的最高的相似性的组合相似程度的组合中选择在该预定门限值之内的该组合相似程度的组合，把对于该选择的组合所共有的目标和目标区域的对应关系包括到该最佳对应关系信息中作为最佳对应关系，而且针对具有未被包括在对于该选择的组合所共有的目标和目标区域的对应关系中的对应关系的目标和目标区域，把指示不存在该目标和目标区域之间的最佳对应关系的信息包括到该最佳对应关系信息中；针对未被指示为在该最佳对应关系信息中不对任何目标区域有最佳的对应关系的目标，该对应关系判定装置提供信息，该信息把在该最佳对应关系信息中包括的目标和目标区域的对应关系的信息指示作为已被确定的对应关系信息；以及针对被指示为在该最佳对应关系信息中不对任何目标区域有最佳的对应关系的目标，该对应关系判定装置提供信息，该信息把在该第一区域对应关系信息中包括的目标和目标区域的对应关系的信息指示作为已被确定的对应关系信息。这种设计使得避免错误地选择在目标和目标区域之间的对应关系。

最好是，该跟踪状态包括属于是一种过渡状态的进行分离的状态，通过这种状态把一个目标区域分离成多个目标区域，并且该对应关系判定装置确定在目标和目标区域之间的对应关系，该对应关系将被在仅针对展示一种进行分离的状态作为其跟踪状态的目标区域的最佳对应关系信息中指示。这设计实现用于判定在目标和目标区域之间的对应关系的过程缩减。

最好是，该跟踪状态包括属于是一种过渡状态的进行分离的状态，通过这种状态把一个目标区域分离成多个目标区域，并且该对应关系判定装置提供包括在该第一区域对应关系信息中的在目标和目标区域之间的对应关系作为仅针对在其跟踪状态中展现除进行分离的状态之外的状态的目标区域的已被确定的对应关系信息。该设计实现了用于判定在目标和目标区域之间的对应关系的过程简化。

根据本发明的目标跟踪方法是一种用于根据图像信息跟踪一个目标的目标跟踪方法。该方法包括步骤：合成表示包括在该图像信息中的分别目标的特征量的目标特征量，以便产生一个合成的特征量，并且根据该合成的特征量和该目标区域的特征量的相似程度建立在一个或几个目标和目标区域之间的一个对应关系，其中该目标区域是从该图像信息中提取的一个区域并且包括一个或几个目标。

本目标跟踪方法最好包括步骤：针对多个目标的全部需要的组合的每一个合成特征量，以便产生一个合成的特征量，并且通过比较产生的合成的特征量和表示该目标区域的特征量的区域特征量而建立在一个或几个目标和目标区域之间的对应关系。上述方法使得在目标和目标区域被以对应关系相关时而能够选择在目标和目标区域之间的最佳对应关系。

本目标跟踪方法最好包括步骤：从该图像信息中提取一个目标区域，以便提供包括关于该目标区域的该图像信息的目标区域信息，针对一个或几个目标区域的每一个判定表示相对于另一目标的一个相对位置的一个跟踪状态，通过使用图像信息、目标区域信息、和该判定结果产生区域特征量、目标特征量，并且通过使用该目标特征量和该判定结果产生合成的特征量。上述方法使得实现根据相对于另一目标的位置关系而产生合成的特征量。

该目标跟踪方法最好包括步骤：根据该目标区域信息和已经确定的指示在目标区域和当前之前的目标之间的对应关系的对应关系信息而判定每一目标或每一目标区域的跟踪的状态，以便提供指示在该目标和目标区域之间的对应关系以及跟踪的状态的第一区域对应关系信息；根据该当前图像信息、该目标区域信息、该第一区域对应关系信息和已被确定的对应关系信息来产生区域特征量和目标特征量；根据该目标特征量和该第一区域对应关系信息产生起到将被放置于用于每一个目标区域的对应关系中的候选项作用的一个合成的特征量，以便提供该合成特征量信息，该信息是包括合成的特征量和在合成的特征量和用于产生该感兴趣的合成的特征量的目标之间的对应关系的信息，以及根据该第一区域对应关系信息、属于是指示该区域特征量的信息的区域特征量信息、以及合成特征量信息建立在目标和目标区域之间的对应关系，以便提供已被目前确定的该对应关系信息。上述方法使得能够防止在当目标发生交叉时在一个目标分离或几个目标互换之后出现于一个目标区域中的多个目标情况下的目标和目标区域之间的错误的对应关系。

在该目标跟踪方法中，该跟踪的状态包括一单独状态，其中在一个目标区域中仅存在单一目标；一个交叉状态，其中在一个目标区域中存在多个目标；或一个进行分离的状态，属于是一个过渡状态，一个目标区域通过该状态分离成多个目标区域。

该目标跟踪方法最好被开发而使得该方法包括步骤：产生彩色直方图、区域、图像模板以及相对于分别的区域标准化的彩色直方图的至少之一或一个组合作为目标区域的一个区域特征量，以及从该第一区域对应关系信息中寻找对应于该目标的目标区域，并且产生彩色直方图、区域、图像模板以及相对于该目标区域的分别区域标准化的彩色直方图的至少之一或一个组合作为一个目标特征量。

该目标跟踪方法最好被开发而使得该方法包括步骤：储存该目标区域信息，根据该目标区域信息、已经确定的对应关系信息和在当前之前的目标区域信息而跟踪一个目标，以便提供指示在该目标和目标区域之间对应关系的一个第二区域对应关系信息，以及根据该第二区域对应关系信息、该目标区域信息和在当前之前的目标区域信息而判定目标跟踪的状态，以便提供该第一区域对应关系信息。

该目标跟踪方法最好被开发而使得该方法包括步骤：通过下列方式把目标和目标区域分类成多个类别：分组该目标，该组的目标区域具有一共同的对应区域，以便把该目标和该对应的目标区域列入在一个类别中；并且针对与对应于任何其它目标的目标区域不同的目标区域对应的目标，根据在目标和目标区域之间的对应关系、在目标区域之间的距离、以及从该第二区域对应关系信息和该目标区域信息计算的用于目标区域的正在进行分离(on-parting)的持续周期，把该目标和该对应的目标区域注册在一个类别中；并且根据该分类的类别判定该跟踪的状态。

该目标跟踪方法最好被开发而使得：该跟踪的状态包括一种属于是过渡状态的进行分离的状态，通过该进行分离的状态将单一目标区域分离成多个目标区域，并且如果一个分类的类别包括两个或更多的目标区域，则该目标跟踪方法判定该分类的类别符合正在进行分离的状态的条件，以及如果一个类别满足该正在进行分离的状态的条件，则根据跟踪该目标的状态和包括在感兴趣的类别中的目标区域来判定该进行分离的状态。

该目标跟踪方法最好被开发而使得：如果该分类的类别符合该进行分离的状态的条件并且还满足下列条件的至少之一或一个组合，则该目标跟踪方法判定包括在该类别中的目标和目标区域的跟踪状态是一个进行分离的状态：该类别包括两个或更多的目标、包括在该分类中的在目标区域之间的距离超过一个预定门限值、以及包括在该类别中的该目标区域的分离的连续周期超过一个预定门限值。上述方法使得能够防止相关于其它目标的一个目标的位置被错误地判定为是在进行分离的状态。

该目标跟踪方法最好被开发而使得：该跟踪的状态包括进行分离的状态和其中单一目标存在于一个目标区域中的单独状态，并且本目标跟踪方法包括步骤：如果该分类的类别包括单一目标并且包括在该类别中的目标和目标区域的跟踪的状态都是进行分离的状态，则判定该目标和目标区域的跟踪的状态是单独状态。

该目标跟踪方法最好被开发而使得该跟踪的状态包括该进行分开的状态以及其中多个目标对应于单一目标区域的该交叉状态，并且该目标跟踪方法包括步骤：如果该类别包括两个或更多的目标并且包括在该类别中的目标和目标区域的跟踪的状态都不是该进行分离的状态，则判定包括在该分类的类别中的目标和目标区域的跟踪状态是交叉状态。

该目标跟踪方法最好被开发而使得该方法包括步骤：从图像信息、目标区域信息和第一区域对应关系信息提取区域特征量以便提供指示该区域特征量信息的该区域特征量信息，存储该目标特征量，选择将被按照要求提供的该存储的目标特征量，并且根据该区域特征量信息、该第一区域对应关系信息或该已经确定的该对应关系信息以及在当前之前产生的该目标特征量而更新该存储的目标特征量。

该目标跟踪方法最好被开发而使得该跟踪状态包括属于是一种过渡状态的进行分离的状态，通过这种状态把一个目标区域分离成多个目标区域，并且该目标跟踪方法包括步骤：针对在其跟踪状态中被指示为具有除了该进行分离状态之外的状态的目标区域，把指示不需要建立与任何目标的对应关系的信息包括到该区域特征量信息中，并且从对应关系的建立中排除那些在该区域对应关系信息中被指示不需要建立与任何目标的对应关系信息的目标区域。上述方法实现降低用于计算相似程度的计算量。

该目标跟踪方法最好被开发而使得该跟踪的状态包括其中单一目标存在于一个目标区域中的单独状态，并且该目标跟踪方法包括步骤：根据该第一区域对应关系信息或已经确定的对应关系信息判定该跟踪的状态是否为该单独的状态，并且如果一个目标的跟踪的状态是除了该单独状态之外的任何状态，则跳过该更新存储的目标特征量的步骤。上述过程实现删除不必要的目标特征量的更新处理。

该目标跟踪方法最好被开发而使得该方法包括步骤：根据目标特征量和该第一区域对应关系信息而确定该目标和目标区域的全部可能的组合，并且合成目标特征量，以便产生仅针对目标和目标区域的确定的组合的合成的特征量。以此方式，能够删去产生不必要的合成的特征量的处理。

该目标跟踪方法最好被开发而使得该方法包括步骤：寻找合成比例，该合成比例是用于调整将被合成的该目标特征量的比例的系数，并且根据该合成比例和目标特征量产生合成的特征量。通过上述过程，实现在该图像空间中的该目标的幅度不同于该目标的实际幅度时对于由一个目标的幅值产生的误差的校正。

该目标跟踪方法最好被开发而使得该方法包括步骤：接收连同目标特征量一起的区域特征量，根据该接收的区域特征量信息和该目标特征量计算用于任意合成比例的合成的特征量，并且提供对应于在区域特征量和该计算合成的特征量之间的最高相似程度的合成的特征量。通过实施上述过程，仅根据用于目标和目标区域的每一个组合的一个合成的特征量就足以计算一个相似程度，从而能够省略冗长的计算过程。

该目标跟踪方法最好被开发而使得该跟踪状态包括是一种过渡状态的进行分离的状态，通过该进行分离的状态把一个目标区域分离成多个目标区域，并且该目标跟踪方法包括步骤：仅针对被指示为在其跟踪状态中的进行分离的状态才产生合成的特征量。上述过程使得降低用于产生冗长合成的特征量的过程。

该目标跟踪方法最好被开发而使得该目标特征量包括一个目标的区域，并且该目标跟踪方法包括步骤：根据该目标的区域计算用于调整将被合成的该目标特征量的比例的一个系数的一个合成比例，并且从该计算的合成比例以及目标特征量产生一个合成的特征量。这种过程实现了降低用于计算一个合成比例的计算量。

该目标跟踪方法最好被开发而使得该合成比例被限制在根据该目标的区域的变化而预定的一个范围之内。上述过程实现即使在一个目标的区域中该图像中改变时使能够获得一个正确的合成比例。

该目标跟踪方法最好被开发而使得该方法包括步骤：接收连同该目标特征量一起的区域特征量，根据该接收的区域特征量和目标特征量产生在该目标区域中的变化的范围之内的合成的特征量，并且提供对于该感兴趣的目标区域的区域特征量最高相似程度的合成的特征量。上述过程仅要求提供针对每一目标的组合的一个合成的特征量，从而使得能够删除多余的处理过程。

该目标跟踪方法最好被开发而使得该目标特征量包括一个图像模板，该图像模板描述一个目标的形状和/或彩色，并且该目标跟踪方法包括步骤：根据该图像模板和区域特征量判定该目标的前后(back-to-belly)关系，并且通过根据该判定的该目标的前后关系而合成该图像模板，以便获得一个合成的特征量。上述过程使得即使当该目标被局部地隐藏在另一目标之后时也能够实现在一个目标和一个目标区域之间的对应关系的正确的计算。

该目标跟踪方法最好被开发而使得该方法包括步骤：根据该合成特征量信息、区域特征量信息和第一区域对应关系信息从能够以对应关系相关的目标和目标区域的全部可能组合中计算最高相似程度的目标和目标区域的组合，选择该计算的目标和目标区域的组合作为一个最佳对应关系的目标和目标区域，并且产生指示该目标和目标区域的最佳对应关系的该最佳对应关系信息；并且根据该第一区域对应关系信息和该最佳对应关系信息确定目标和目标区域之间的对应关系，并且提供已经确定的属于是包括该目标和目标区域之间确定的对应关系的信息的该对应关系信息。

该目标跟踪方法最好被开发而使得该方法包括步骤：计算针对目标和目标区域的全部可能组合的总计相似程度，其中该总计相似程度是在该目标区域的特征量和在每一个组合中的合成的特征量之间该相似程度的一个取和，并且判定全部可能组合的该最高的总计相似程度的组合是最高相似性的组合。

该目标跟踪方法最好被开发而使得该第一区域对应关系信息包括关于一个指示一个目标区域是否休止或运动的休止/运动状态的信息，并且该目标跟踪方法包括步骤：从该目标和目标区域的全部可能组合中排除由该关于休止/运动状态状态信息指示为是中休止状态中的目标和目标区域的组合。根据上述方法，仅计算其中该目标区域在其休止/运动状态状态中展现不对应任何目标的目标区域的组合就足够了，因此降低该计算量。

该目标跟踪方法最好被开发而使得该方法包括步骤：如果从组成被判定为最高相似性的一个组合的该目标和一个目标区域的集的相似程度获得的该组合的相似程度等于或低于一预定门限值，则该目标跟踪方法从目标和目标区域的全部可能组合的排列为最高相似性的组合相似性程度的组合中选择在一个预定门限值中的组合相似性程度的组合，把在该选择组合的共同的目标和目标区域之间的对应关系包括到该最佳对应关系信息中作为最佳对应关系，并且针对未被包括在该选择的组合所共有的该目标和目标区域的对应关系中的对应关系中的目标和目标区域，进一步把指示在任何目标和目标区域之间不存在一个最佳对应关系的信息包括到该最佳对应关系信息中；针对未被在该最佳对应关系信息中指示的不存在与目标区域的最佳对应关系的目标，提供指示在感兴趣的目标和包括在最佳对应关系信息中的目标区域之间的对应关系的信息，作为已经确定的对应关系信息；以及针对被在该最佳对应关系信息中指示的不存在与目标区域的最佳对应关系的目标，提供指示在感兴趣的目标和包括在第一区域对应关系信息中的目标区域之间的对应关系的信息，作为已经确定的对应关系信息。根据上述处理，使得能够避免在目标和目标区域之间的错误的对应关系的选择。

该目标跟踪方法最好被开发而使得该目标跟踪方法仅针对被指示为在其跟踪状态中具有进行分离的状态的目标区域把在目标和目标区域之间的对应关系确定为与在该最佳对应关系信息中指示的对应关系完全相同。上述过程删除了确定在目标和目标区域之间的对应关系的处理过程。

该目标跟踪方法最好被开发而使得该目标跟踪方法仅针对以其跟踪状态被指示为具有除进行分离的状态以外的状态的目标区域才提供包括在该第一区域对应关系信息中的目标和目标区域之间对应关系作为已被确定的对应关系信息。上述过程删除了确定在目标和目标区域之间的对应关系的处理过程。

根据本发明的目标跟踪程序是一个目标跟踪程序，用于根据图像信息跟踪一个目标，该程序操作一台计算机执行以下列步骤为特征的处理：接收图像信息，合成表示包括在该接收的图像信息中的分别目标的特征量的目标特征量，并且产生一个合成的特征量；以及根据在该目标区域的特征量和该合成的特征量之间的相似程度建立在该目标和一个目标区域之间的对应关系，该目标区域是从该图像信息中提取的并且还包括该目标的一个区域。

根据本发明的另一方面，该目标跟踪程序是建立包括在接收的图像信息中的目标和目标区域之间的对应关系的一个目标跟踪程序，并且该程序被开发来操作一个计算机以执行下列的处理：接收图像信息；从该接收的图像信息中提取一个目标区域，并且提供包括关于该目标区域的该图像信息的目标区域信息；根据该目标区域信息和已经确定的指示当前之前的该目标和目标区域的对应关系的对应关系信息而判定一个或几个目标区域的跟踪的状态，并且提供指示该目标区域和目标的对应关系以及跟踪的状态的第一区域对应关系信息；通过使用该图像信息、该目标区域信息和该第一区域对应关系信息产生表示该目标区域的特征量的区域特征量，以及表示该目标的特征量的目标特征量；根据该目标特征量和该第一区域对应关系信息合成针对多个目标的全部所需组合的特征量，以便产生每一个合成的特征量，并且提供合成特征量信息，该合成特征量信息包括该合成特征量和用于产生合成特征量的目标与该合成的特征量之间的对应关系；并且根据该第一区域对应关系信息、该区域特征量信息和该合成特征量信息以对应关系关联该目标和目标区域，并且提供当前已经确定的该对应关系信息。

根据本发明的另一方面，该目标跟踪程序是建立包括在接收的图像信息中的目标和目标区域之间的对应关系的一个目标跟踪程序，并且该程序被开发来操作一台计算机执行处理：接收图像信息；根据该目标区域信息和已经确定的指示当前之前的该目标和目标区域的对应关系的对应关系信息而判定一个或几个目标区域的跟踪的状态，并且提供指示该目标区域和目标的对应关系以及跟踪的状态的第一区域对应关系信息；通过使用该图像信息、该目标区域信息和该第一区域对应关系信息产生表示该目标区域的特征量的区域特征量，以及表示该目标的特征量的目标特征量；针对在其跟踪状态中被判定是在除进行分离的状态之外的状态的目标，在提取作为一个标的每个目标的同时，通过指定包括在该第一区域对应关系信息中的目标和目标区域之间的对应关系作为在该目标和目标区域之间的对应关系来判定在该目标和目标区域之间的对应关系，该进行分离的状态是一个过渡状态，通过该过渡状态一个目标区域分离成多个目标区域；针对在其跟踪状态时被判定为处在进行分离的状态的目标，根据该目标特征量和该第一区域对应关系信息合成用于多个目标的全部需要的组合的特征量，以便产生分别的合成特征量；并且把合成的特征量的每一个与一区域特征量相比较，以便把对应于该合成的特征量的、具有与一个目标区域最高相似程度的目标与感兴趣的目标区域相关，以便放置于对应关系中。

本发明提供下列效果：

根据本发明，多个目标的合成特征量的过程和使用合成的合成的特征量对于目标和一个目标区域之间的相似程度的计算使得即使在发生一个目标进行分离之后一个目标区域出现多个目标时、或在分组相交时目标的分组被位置互换的情况下，也能够防止建立在目标和目标区域之间的错误的对应关系。尤其在当一个交叉状态淡出时的目标和目标区域的对应关系的建立过程中，本发明能够实现防止在目标和目标区域之间建立错误的的对应关系；并且，目标和目标区域的组合的实现以及针对每一个组合的一个组合相似程度的计算，使得在目标和目标区域以对应关系相关时选择全部的最佳对应关系。

附图说明

图1是说明一个传统目标跟踪装置的设计框图；

图2是说明本发明的目标跟踪装置一个结构实例的框图；

图3是说明对应关系建立部分的一个结构实例的框图；

图4是表示根据本发明的目标跟踪装置的处理实例的流程图；

图5是表示第一区域对应关系信息的一个实例的示意图；

图6是表示状态跟踪判定部分的结构实例的框图；

图7是表示第二区域对应关系信息的一个示例的示意图；

图8是表示该特征量产生部分的结构实例的框图；

图9是表示该对应关系判定部分的结构实例的框图；

图10是表示通过使用模板的合成的特征量的方法的一个示例的示意图；

图11是表示根据本发明该目标跟踪装置的另一结构实例的框图；

图12是表示根据本发明的目标跟踪装置的另一实例的结构框图；

图13是表示第一控制部分的结构实例的框图；以及

图14是表示根据本发明的目标跟踪装置的另一处理实例的流程图。

具体实施方式

(本发明的第一工作实例)

随后参照附图说明本发明的第一实施例。图2是说明本发明的目标跟踪装置一个结构实例的框图。如图2所示，该目标跟踪装置包括：图像输入终端11，从一个摄像机等接收曾经输入的图像信息；目标区域提取部分12，从提供到图像输入终端11的图像信息中提取一个目标区域；特征量产生部分14，根据提供到图像输入终端11的图像信息产生一个目标的特征量和一个目标区域的特征量；特征量合成部分15，合成多个目标的特征量以便产生一个新的特征量；和对应关系建立部分17，建立在一个目标和一个目标区域之间的对应关系。

此外，虽然目标区域提取部分12、特征量产生部分14、特征量合成部分15和对应关系建立部分17能够通过硬件实现，但是它们也能够通过软件实现。换句话说，目标区域提取部分12、特征量产生部分14、特征量合成部分15和对应关系建立部分17能够依靠存储在存储器中的执行其下面所述的功能的程序实现，并且一个CPU将根据该程序执行该程序步骤。

该目标跟踪装置通过使用一个摄像机之类的装置在一个规定的范围(下文称作跟踪范围)之内连续拍照来跟踪一实物体，并且识别拍照出现的实物体的图像。

例如，摄像机固定不动并连续在一个预定范围中拍照。此外，该摄像机能够以快门范围垂直或左-右方向改变。

而且，能够采用能够以确定时间期提取图像的成像可选装置来取代通过使用摄像机的连续图像扫描。采用例如数字照相机的获得静止图像形式的图像信息的装置也是可行的。

一个目标区域表示包括一个目标的图像中的区域，其中的一个目标是指一个实物体的图像。通过例如下列的步骤提取该目标区域：利用摄像机之类装置实现获得没有目标的该跟踪范围的图像；目标区域提取部分12把该获得的图像信息存储在一个背景图像存储装置中作为背景图像信息；目标区域提取部分12比较由图像输入终端11接收的图像信息内容和以像素为单位存储在该背景图像存储器中的背景图像信息，以便计算该象素值的差值，并且提取具有超过一个预定门限值的像素(在下文中将该像素称为目标像素)；目标区域提取部分12从该提取的像素中选择全部连续地目标像素；目标区域提取部分12把该选择的目标像素与提取范围互连；并且目标区域提取部分12把区域号码标号到提取的区域并且提供作为目标区域。

此外，背景图像存储装置不仅能够储存单一背景图象信息内容而且能够储存多个背景图像信息内容。例如，如果该跟踪范围是户外，则背景图像存储装置既可以存储在白天获得的背景图像信息(下文称作白天图像)又可以存储夜间获得的背景图像信息(下文称作夜间图像)以便实现在白天采用白天图像以及在晚上采用夜间图像。

如果象标的目标的形状的特征量已知，则该目标跟踪装置可以具有一个目标模式存储装置代替该背景图像存储装置，用于预先存储有关目标的形状、彩色操作之类的信息作为目标模式信息。在此情况中，目标区域提取部分12能够把接收的图像信息与已经存储在该目标模式存储装置中的该目标模式核对，并且提取与该目标匹配的区域作为一个目标区域。

一个特征量是用于在一个目标和一个目标区域之间建立一个对应关系的量。该特征量包括两类量，例如一个目标区域的特征量(称为一个目标区域特征量或一个区域特征量)和一个目标的特征量(称作一个目标特征量)：该区域特征量表示从每一个目标区域获取的特征量而该目标特征量表示从构成一个目标的目标区域的一个组合获取的特征量。

例如，特征量产生部分14计算一个目标区域的彩色直方图，并且把该计算的该目标区域的彩色直方图提供作为一种区域特征量。另外，该特征量可以是该目标区域的一个区域，一个图像模板等或其可以是相对于一个区域标准化的一个彩色直方图。而且，它可以是从彩色直方图、区域、图像模板以及相对于一个区域标准化的彩色直方图的一组特征量中选择的两个或更多的特征量的组合。

一个目标的特征量也能够由该彩色直方图、区域、图像模板和相对于一个区域标准化的彩色直方图的任何一个或由它们的一种组合表示，因为一个目标的特征量是一种包括构成该目标的该目标区域的特征量的一个组合。

特征量产生部分14根据该目标区域的特征量计算一个目标的特征量。一个目标区域的特征量是从每一个目标区域计算的一种特征量，并且一个目标的特征量是从构成该目标的该目标区域的一个组合计算的一个特征量。因此，如果一个目标对应于单个目标区域，则该目标的特征量是根据该单个目标区域的特征量决定的，并且如果一个目标由多个目标区域构成，则该目标的特征量是从该目标区域的特征量的合成决定的。

注意，目标区域提取部分12是用于从图像信息提取一个目标区域的一个目标区域提取装置的具体实例(一个实施例)，并且提供包括关于该提取的目标区域的图像信息的目标区域信息。而且，特征量产生部分14是特征量产生装置的一个具体实例，用于产生该目标区域的特征量和目标的特征量，而特征量合成部分15是特征量合成装置的具体实例，用于通过合成针对全部需要的多个目标的组合的特征量而产生合成的特征量。

图3是说明对应关系建立部分17的一个结构实例的框图。对应关系建立部分17具有状态跟踪判定部分13和对应关系判定部分16，如图3所示。状态跟踪判定部分13建立一个目标和一个目标区域之间的对应关系并且判定跟踪的状态。对应关系判定部分16根据该目标的跟踪的状态而确认该目标和目标区域之间的对应关系。

在上述描述中，跟踪的状态是指表示一个目标相对于另一目标的相对位置的状态，例如与另一物体交叉和从另一物体进行分离。物跟踪的状态包括例如一种单独状态，其中单个目标存在于一个目标区域中，一种交叉状态，其中多个目标对应于单个目标区域，以及一种进行分离的状态或一种在进行分离状态，即一种过渡状态，其中一个目标区域正被进行分离成多个目标区域。换言之，本实施例的跟踪的状态包括一个单独状态、一种交叉状态和一种进行分离的状态。本交叉状态一般通过该进行分离的状态而实现到该单独状态的过渡。

此外，状态跟踪判定部分13是一种跟踪状态判定装置的指定实例，用于以每一个目标或目标区域判定跟踪的状态，其中的跟踪状态表示相对于另一目标的一种位置关系。对应关系判定部分16是对应关系建立装置的一种具体实例，用于根据在合成的特征量和该目标区域的特征量之间的相似程度建立在一个目标和一个目标区域之间的对应关系，该目标区域是包括该目标的区域，还包括对应关系判定装置，用于提供已经确定的当前的对应关系信息。

在本实施例中，如下面所述的那样，通过由合成与来自目标特征量的目标区域关联的特征量而建立在一个目标和一个目标区域之间的对应关系，在该目标区域中的一个目标的判定能够以较之不执行合成的情况更高的可靠性而实现。具体地说，在当交叉的状态中止之时建立一个目标和一个目标区域之间的对应关系时，合成多个目标的特征量，并且可能仍然包括在该交叉目标的分区之后的一个目标区域中的在该目标区域和多个目标的特征量之间的相似程度都通过使用该合成的特征量来计算，因此即使在多个目标仍然包括在该交叉目标的分区之后的一个目标区域中时、或即使在该相交(交叉)之时两个目标分组互换时，也能防止引起一个在目标和一个目标区域之间的一个错误的对应关系。

随后参考图4示出的流程图来说明本实施例的操作。图4是表示由本发明的目标跟踪装置实施的处理实例的流程图。

目标区域提取部分12通过图像输入终端11接收图像信息(步骤S301)。目标区域提取部分12从该接收的图像信息提取一个目标区域(步骤S302)。目标区域提取部分12随后提供包括关于该目标区域图像信息的目标区域信息(目标区域图像信息)。

状态跟踪判定部分13存储由目标区域提取部分12提供的该目标区域信息。根据从目标区域提取部分12提供的当前目标区域信息、存储在状态跟踪判定部分13本身中的过去的目标区域信息和已被确定从对应关系判定部分16提供的过去的对应关系信息，状态跟踪判定部分13通过跟踪该目标而建立一个目标和一个目标区域之间的对应关系；并且利用每一个目标或利用每一个目标区域来判定该目标和该目标区域的跟踪的状态。顺带地提请注意，在注意力集中在一个目标时，该跟踪的状态表示为一个目标的跟踪的状态，而在注意力集中在一个目标区域，该跟踪的状态表示为一个目标区域的跟踪的状态。然而，当该目标和目标区域之间的对应关系已经建立时，这两种表示形式是等效的。

以此方式，状态跟踪判定部分13提供第一区域对应关系信息作为一个输出(步骤S303)。该第一区域对应关系信息是表示目标和目标区域之间的对应关系和跟踪的状态的信息(该信息表示对于该跟踪的状态的一个目标区域和一个目标的对应关系)。已经确定的对应关系信息是表示由对应关系判定部分16判定的一个目标和一个目标区域之间的判定的对应关系的信息。该过程将随后描述，对应关系判定部分16通过该过程判定在该目标和一个目标区域之间的对应关系。

图5是表示第一区域对应关系信息的一个实例的示意图。该第一区域对应关系信息是表示目标和其对于目标区域的跟踪状态的对应关系的信息，如图5A示出的那样，用于描述在目标区域α、β和γ与目标A、B、C和D之间的一种对应关系，如图5C所示，其中假设该目标区域信息包括关于三个目标区域α、β和γ以及四个目标A、B、C和D。该第一区域对应关系信息可以是表示目标区域和其对于分别目标的跟踪状态的对应关系的信息，如图5B所示。

一个目标的跟踪就是建立一个将被跟踪的目标对于一个目标区域的对应关系。这种对应关系的建立能够通过例如从对应于一个过去目标的目标区域中建立一个目标的位置、寻找最接近该目标的建立位置的目标区域以及把该寻找的目标区域与被跟踪的目标关联来实现。在此情况中，一个目标的位置能够被认为是例如一个目标区域的重心。稍后将描述建立该对应关系的方法。

特征量产生部分14根据通过图像输入终端11接收的图像信息和从目标区域提取部分12接收的目标区域信息产生一个目标区域的特征量(步骤5304)，以便把区域特征量信息提供到特征量合成部分15和对应关系建立部分17。区域特征量信息是表示由目标区域提取部分12提取的每个目标区域的特征量(一个区域特征量)。特征量产生部分14随后根据从状态跟踪判定部分13提供的第一区域对应关系信息和在步骤S304中产生的该目标区域的特征量来判定该目标的特征量，以便更新该存储的目标的特征量(步骤S305)。特征量产生部分14随后响应特征量合成部分15的请求而提供一个目标的特征量。

当从状态跟踪判定部分13提供的第一区域对应关系信息指示该目标的跟踪状态是一种单独状态时，特征量产生部分14将进一步更新一个目标的特征量。当跟踪状态不是单独状态(除该单独状态之外的状态)时，由于在图像中的一个目标与另一目标相交时不能确切计算一个目标的特征量，所以特征量产生部分14不实行存储的特征量的更新。例如根据公式(1)更新该特征量。

H_t＝(1-η)H_t-1+ηH_in    …      (0≤η≤1)         (1)

其中H_in表示当前观察的一个目标的特征量(从当前构成一个目标的一组目标区域获得的特征量)。H_t和H_t-1表示存储在特征量产生部分14中的分别在时间t和t-1的一个目标的特征量，H_t表示在更新之后的一个目标的特征量。符号η表示针对一个目标的特征量更新的系数。

根据存储在特征量产生部分14中的目标特征量和从状态跟踪判定部分13提供的第一区域对应关系信息，特征量合成部分15通过计算针对多个目标的全部需要的组合的每一个从目标的特征量合成一个特征量(在下文称为合成的特征量)(步骤S306)。换句话说，特征量合成部分15根据由特征量产生部分14提供的目标特征量和该第一区域对应关系信息判定目标和目标区域的全部可能的组合，并且仅针对该目标和目标区域的判定的组合产生合成的特征量(假定该合成的特征量是包括单个目标的一个目标特征量的概念)。特征量合成部分15提供包含该计算的合成的特征量的合成特征量信息。该合成特征量信息涉及包括该计算的合成的特征量和该目标和采用来计算该合成的特征量的合成的特征量之间的对应关系的信息。而且，特征量产生部分14响应特征量合成部分15的请求选择存储的该目标的特征量，以便把该选择的目标特征量提供到特征量合成部分15。根据该第一区域对应关系信息，特征量合成部分15确定特征量产生部分14请求得目标特征量。

多个目标的全部需要的组合被确定如下：例如假设其中目标A、B和C产生相交的情况(即交叉状态)并且随后分离成两个目标区域α和β(即进行分离的状态)；随后，想象八个可能的目标和目标区域的组合，即(α，β)＝(ABC，Φ)，(Φ，ABC)，(A，BC)，(B，CA)，(C，AB)，(BC，A)，(CA，B)和(AB，C)。特征量合成部分15产生针对A、B、C、AB、BC、CA、和ABC的合成的特征量。在上述描述中，(α，β)＝(AB，C)例如表示目标A和B驻存在目标区域α中而目标C驻存在目标区域β中。符号Φ表示在该对应目标区域中没有目标。合成特征量信息例如包括AB的合成的特征量和表示这样事实的信息，即对应于AB的计算的合成特征量的目标是目标和目标B。

对应关系判定部分16根据由特征量产生部分14提供的区域特征量信息、由特征量合成部分15提供的合成特征量信息和由状态跟踪判定部分13提供的第一区域对应关系信息判定在目标和目标区域之间的对应关系(步骤S307)。对应关系判定部分16随后提供已经确定的对应关系信息。

当该目标的跟踪状态在从状态跟踪判定部分13提供的第一区域对应关系信息中展现一种进行分离的状态时，对应关系判定部分16将根据该区域特征量信息和该合成特征量信息针对该目标判定在目标和目标区域之间的对应关系。另外，针对在该第一区域对应关系信息中被指示为一个非进行分离的状态(除了进行分离状态之外的状态)的目标，对应关系判定部分16将判定目标和目标区域之间的对应关系与表示包括在从状态跟踪判定部分13提供的第一区域对应关系信息中的目标区域的对应关系一致。对应关系判定部分16采用关于该判定的目标和目标区域之间的对应关系的信息作为已经确定的对应关系信息。

状态跟踪判定部分13利用下述的方法判定目标的跟踪状态是单独状态、交叉状态和进行分离状态的哪个状态。状态跟踪判定部分13根据从目标区域提取部分12提供的当前目标区域信息、存储在状态跟踪判定部分13本身中的过去的目标区域信息和由对应关系判定部分16提供的过去判定的对应关系信息来分类全部的目标和目标区域。

如果已经确定得对应关系信息指示在目标A和目标区域α之间建立的对应关系，则状态跟踪判定部分13把目标A和目标区域α注册在类别X中。如果目标B和目标区域β被相关到一个建立的对应关系中，则状态跟踪判定部分13把目标B和目标区域β注册在除类别X以外的类别Y中。另外，如果目标A和目标B对于γ也已经建立了对应关系，则从存在的在属于类别X的目标A和属于类别Y的目标B之间的一个建立的对应关系的示意图中，状态跟踪判定部分13注册目标区域γ，属于类别X的全部成分和属于类别Y的全部成分注册在相同的类别中。例如，能够作出分类来实现把目标区域γ和属于是类别Y的成分的目标B和目标区域β注册到类别X中。结果是，类别Y被删除，并且目标A和B、目标区域α、β和γ属于类别X。能够因此实施分类，使得在一个类别中每个目标和每个目标区域都至少与一个其它目标或其它目标区域以对应关系相关。

接着该目标和目标区域的分类，状态跟踪判定部分13判定此时采用的跟踪状态是单独状态、交叉状态和进行分离的状态的哪个状态。状态跟踪判定部分13判定：如果单个目标成分是在一类别的成分中，则该目标的跟踪状态是单独状态；如果两个或多个目标成分是在一个类别的成分中，并且如果仅一个目标区域成分存在于该类别的成分中，则该两个或多个目标成分的整体跟踪状态是交叉状态；并且如果两个或多个目标成分存在于一个类别的成分中而且进一步有两个或多个目标区域成分存在于该类别的成分中，则该整体的跟踪状态是进行分离的状态。

随后的说明涉及从特征量的合成到目标区域和目标的选择的过程顺序。对应关系判定部分16计算针对全部目标和目标区域的组合的每一个的组合相似性程度并且选择具有最高组合相似性程度的目标和目标区域的组合。该组合的选择实现建立在一个目标和一个目标区域之间的对应关系。在上述描述中，组合相似的程度是从构成该组合的目标和目标区域之间的相似程度获得的该组合的有效性的一个指数。一个高组合相似性程度表示一个有效组合以及构成该组合的目标和目标区域的特征相似。应该注意的是，虽然总体的相似性程度，即针对各个组合的目标区域和合成的特征量的特征量之间的相似程度的取和被用作组合的相似性程度，但是该组合的相似性程度并不局限于该相似程度的取和。

例如，在当目标A、B和C产生相交(即交叉状态)然后变成分离的情况时，能够从针对下列八种目标和目标区域的组合的目标区域和合成的特征量的特征量中计算该组合的相似性程度：(α，β)＝(ABC，Φ)，(Φ，ABC)，(A，BC)，(B，CA)，(C，AB)，(BC，A)，(CA，B)和(AB，C)。对应关系判定部分16判定具有最高计算的组合相似性程度的该目标和目标区域的组合是最佳对应关系的目标和目标区域。

例如，假设这样的一种情况，其中确定不可能以对应关系相关该目标C和目标区域α，而其中可能对应于目标区域α的目标是A和B，而可能对应于目标区域β的目标是A、B和C。在此情况中，对应关系判定部分可以仅针对四种组合计算组合的相似程度，即(α，β)＝(AB，C)，(Φ，ABC)，(A，BC)，(B，CA)，从而对应关系判定部分16能够降低用于相似计算的计算量。

为了计算组合相似程度，对应关系判定部分16计算目标的合成的特征量和目标区域的特征量之间的距离(下文称作特征量之间的距离或特征量间的距离)并且随后计算在特征量之间的组合距离。如果该计算的组合距离小则该组合相似程度高，并且如果该计算的组合距离大则该组合相似程度低。例如，组合距离被计算为在特征量之间的距离的取和，如表达式(2)所示。

$D_k=\underset{i}{\mathrm{\Σ}}{|{\mathrm{Hr}}_i-{\mathrm{Hg}}_{\mathrm{ki}}|}^2---\left(2\right)$

其中i表示目标区域的数量，k表示目标和目标区域的组合的数量，Hr_i表示第i个目标区域的特征量，而Hg_ki表示在第k个组合中对应于第i个目标区域的目标的合成的特征量。D_k代表针对该第k个组合的组合距离。

在上述的目标而目标区域的八个组合中，(α，β)＝(ABC，Φ)，(Φ，ABC)，(A，BC)，(B，CA)，(C，AB)，(BC，A)，(CA，B)和(AB，C)，i＝1和2，而k＝1至8。对应关系判定部分16从在每一个集中的特征量之间的距离计算针对全部可能组合(在本实例中是八个组合)的每一个计算该组合距离(D_k)，每一个组合都由几个目标(或一个目标)和一个目标区域组成，(例如在组合(α，β)＝(A，BC)中，一个集由α和A组成，另一集由β和BC组成，并且组合距离(D_k)是在α和A之间的距离以及在β和BC之间的距离的取和)；并且确定来自可能组合的该最小组合距离值的组合作为最高相似性的组合。

特征量合成部分15最好根据一个期望的合成比例ε计算该合成的特征量。对应关系判定部分16在根据该合成比例ε计算的合成的特征量的基础上计算组合相似程度，以便选择几个目标(或一个目标)和一个目标区域的最佳组合。该合成比例ε是指用于调整包含在一个目标区域中的每一目标的特征量的比例的系数。例如，由于摄像机拍摄目标的距离的原因，图像中显示的目标的显见幅度在某些情形中不同。在此情况中，通过简单地取和目标的特征量的合成的特征量的计算将致使对应关系判定部分16判定在几个或一个目标和一个目标区域之间的不正确的对应关系的判定，因为该计算的合成的特征量不同于该目标区域的实际特征量。对应关系判定部分16能够通过使得特征量合成部分15根据一个预定合成系数ε来计算一个合成的特征量而防止在几个或一个目标和一个目标区域之间的不正确的对应关系。

当合成例如两个目标A和B的合成的特征量时，特征量合成部分15根据公式(3)产生一个合成的特征量，并且对应关系判定部分16根据公式(4)计算该组合距离。

Hg(ε)＝(1-ε)H_A+εH_B         (0≤ε≤1)       (3)

$D_k=\underset{i}{\mathrm{\Σ}}\underset{\mathrm{\ϵ}}{\min }{|{\mathrm{Hr}}_i-{\mathrm{Hg}}_{\mathrm{ki}}\left(\mathrm{\ϵ}\right)|}^2---\left(4\right)$

特征量合成部分15从0至1地改变合成系数(例如每间隔0.1从0至1)并且根据改变的合成系数ε的全部值计算合成的特征量。对应关系判定部分16相对于ε的变化选择最小化在一个目标区域的特征量和目标的合成的特征量之间的特征量间距离的合成的特征量。在选择的合成的特征量的基础上，对应关系判定部分16进一步根据公式(4)计算用于每一个组合(K)的组合距离，并且把实现该组合距离最小的该目标和该目标区域的组合定义为一个最佳对应关系。

虽然对应关系判定部分16依据一个L2基准计算该特征量间的距离，但是只要支撑相似性程度的计算，则任何其他的计算技术的距离测量都可被用于该特征量间的距离计算。如公式(2)和(4)所示，L2基准涉及差值的平方取和的形式计算的距离的测量。

如上所述，即使在多个目标相交并且随后分离之后仍然存在一组多个目标时，或在该相交目标的组合在目标的相交出现之前与之后立即互换时，本发明的一个目标的跟踪装置也能够通过计算在交叉状态中的目标的合成的特征量、计算在该目标区域的特征量和该合成的特征量之间的相似程度、以及根据该计算的程度相似而判定在目标和目标区域之间的对应关系而继续跟踪一个标的目标。

此外，本发明的用于跟踪一个目标的装置针对全部的目标和目标区域的组合计算在目标区域的特征量并且该合成的特征量之间的相似程度，并且根据该计算的相似程度而选择该目标和目标区域的一个最佳组合，从而在建立一个标的目标和该标的目标存在的区域之间的对应关系时实现选择全部目标的一个最佳对应关系。

随后提供的详细说明涉及状态跟踪判定部分13、特征量产生部分14和对应关系判定部分16的结构。该说明首先涉及状态跟踪判定部分13的结构。图6是说明状态跟踪判定部分13的一个结构实例的框图。在图6示出的实例中，状态跟踪判定部分13包括目标跟踪部分131、状态判定部分132和目标区域信息存储部分133。

目标跟踪部分131是通过使用该目标区域信息、已经确定的并且是从一个目标区域信息存储装置提供的过去的目标区域信息的对应关系信息而跟踪一个或几个目标的一个目标跟踪装置的实施例，以便提供指示在目标和目标区域之间的对应关系的一个第二区域对应关系信息。目标区域信息存储部分133是用于存储目标区域信息和该第一区域对应关系信息的一个目标区域信息储存装置的实施例。状态判定部分132是用于从第二区域对应关系信息、目标区域信息和过去的目标区域信息判定一个目标的跟踪状态的一个状态判定装置的实施例，以便提供该第一区域对应关系信息。

目标跟踪部分131根据由目标区域提取部分12提供的当前目标区域信息、存储在目标区域信息存储部分中的目标区域信息和由对应关系判定部分16提供的已经确定的过去的对应关系信息而跟踪目标并且判定在该目标和该目标区域之间的对应关系。目标跟踪部分131还产生该第二区域对应关系信息，并且把该产生的第二区域对应关系信息提供到状态判定部分132。

该第二区域对应关系信息涉及指示在目标和目标区域之间的对应关系的信息。不同于该第一区域对应关系信息，该第二区域对应关系信息不包括关于跟踪状态的信息。图7是说明第二区域对应关系信息的一个实例的示意图。例如，当认识到该目标区域信息具有关于三个目标区域α、β和γ以及已被确定具有四个目标A、B、C和D的过去的对应关系信息时，该第二区域对应关系信息是如图7A示出的目标和目标区域之间的对应关系的信息，以便指示如图7C所示的在目标区域α、β和γ和目标A、B、C和D之间的对应关系。另外，该第二区域对应关系信息可以是指示例如如图7B所示的目标和目标区域之间的对应关系的信息。

状态判定部分132根据由目标区域提取部分12提供的目标区域信息和由目标跟踪部分131提供的第二区域对应关系信息执行该跟踪目标状态的判定，并且提供根据第二区域对应关系信息的第一区域对应关系信息和该判定结果。

目标区域信息存储部分133存储由目标区域提取部分12提供的目标区域信息。存储在目标区域信息存储部分133中的该目标区域信息用作过去的目标区域信息，用于在下一代循环中的该第二区域对应关系信息的产生。

图8是说明特征量产生部分14的一个结构实例的框图。在图8示出的实例中，特征量产生部分14包括特征量提取部分141、特征量更新部分142和特征量存储部分143。

特征量提取部分141是特征量提取装置的一个实施例，用于从图像信息、目标区域信息和第一区域对应关系信息提取一个区域特征量，以便提供包括该区域特征量的信息的该区域特征量信息。特征量存储部分143是一个特征量存储装置的实施例，用于按照要求选择该存储的目标特征量并且提供该选择的目标特征量。特征量更新部分142是一个特征量更新装置的实施例，用于根据该区域特征量、该第一区域对应关系信息和在当前之前产生的一个目标特征量而更新存储在该特征量存储装置中的目标特征量。

特征量提取部分141根据通过图像输入终端11接收的图像信息和由目标区域提取部分12提供的该目标区域信息而计算每一个目标区域的特征量，并且提供包括该计算的目标区域的特征量的区域特征量信息作为一个输出。提供作为一个输出的区域特征量信息由特征量更新部分142和对应关系判定部分16接收。

针对在该第一区域对应关系信息中指示其跟踪状态是单独状态的一个目标，特征量更新部分142根据从特征量提取部分141提供的区域特征量信息更新存储在特征量存储部分143中的该目标的特征量。针对在该第一区域对应关系信息中指示为其跟踪状态处于除了该单独状态之外的状态中的目标，特征量更新部分142不实施存储在特征量存储部分143中特征量的更新。由特征量存储部分143存储的该目标的特征量由特征量合成部分15使用来产生该合成的特征量：响应特征量合成部分15的请求选择一个目标的存储的特征量，并且把该目标的选择的特征量提供到特征量合成部分15。

图9是说明对应关系判定部分16的一个结构实例的框图。在图9所示的实例中，对应关系判定部分16包括对应关系计算部分161和对应关系建立部分162。

对应关系计算部分161是一个对应关系计算装置的实施例，用于产生表示在一个目标和一个目标区域之间的最佳对应关系的最佳对应关系信息。对应关系建立部分162是一个对应关系判定装置的实施例，提供已经确定的对应关系信息，其中该已经确定的对应关系信息是包括判定的在一个目标和一个目标区域之间的对应关系的信息。

根据由特征量产生部分14提供的区域特征量信息、由特征量合成部分15提供的合成特征量信息以及由状态跟踪判定部分提供的第一区域对应关系信息，对应关系计算部分161计算在该目标区域的特征量和合成的特征量之间的相似程度，并且进一步计算针对将被放置于对应关系中的目标和目标区域的组合的全部可能组合的组合的相似程度。对应关系计算部分161进一步实施一种选择，以便选择具有最高组合相似程度的目标和目标区域的组合的最佳对应关系，以便产生该最佳对应关系信息并且提供该最佳对应关系信息作为一个输出。在上述的描述中，该最佳对应关系信息是指指示目标和目标区域之间的最佳对应关系的信息(目标和目标区域的组合具有最高的组合相似程度)。

如果由状态跟踪判定部分13提供的该第一区域对应关系信息指示该目标的跟踪状态是进行分离的状态，则对应关系建立部分162决定将有关包括在由对应关系计算部分161提供的该最佳对应关系信息中的目标和目标区域之间的对应关系的信息指定作为关于该目标和目标区域之间的对应关系的信息。针对被指示为除进行分离状态以外的状态的目标的那些目标，对应关系建立部分162建立关于包括在由状态跟踪判定部分13提供的该第一区域对应关系信息中的感兴趣的目标和目标区域之间的对应关系的信息作为关于在感兴趣的的目标和目标区域之间的对应关系的信息。

对应关系建立部分162进一步比较关于包括在该第一区域对应关系信息中的目标的信息和关于建立的在目标和目标区域之间的对应关系的信息，并且当出现不对应任何包括在该第一区域对应关系信息中目标的一个目标区域时(将称为一个不在对应目标区域(not-in-correspondence))，则产生一个新的目标，建立该新的目标与该不在对应目标区域的对应关系，并且把关于该建立的在目标和目标区域之间的对应关系的信息提供作为已被确定的该对应关系信息。

假设例如其中两个目标A和B存在于单一目标区域α中的一个完全重叠的结构的情况，使得一个目标跟踪装置仅识别在目标区域α中的一个目标A。在此情形中，当目标A和B的状态产生到进行分离的状态的转换时，一个新的目标区域β将从作为不在对应目标区域的α分离。然而，目标跟踪装置尚未识别目标B的存在，并且结果是，出现了不对任何目标有对应关系的一个目标区域β。为此原因，对应关系建立部分162建立新目标B，并且以对应关系把目标B与目标区域β相关。

应该指出，图2、3、6、8和9中示出设计可利用软件实行。具体地说，本实施例的目标跟踪装置能够利用使得计算机实施下列处理过程的一个目标跟踪程序实现：接收图像信息的图像输入处理；目标区域提取处理，从该输入的图像信息中提取目标区域，以便提供包含关于该目标区域的图像信息的目标区域信息；状态跟踪判定处理，用于从该目标区域信息和已经确定的指示在该目标区域和当前之前的目标之间的对应关系的对应关系信息而判定针对每一个目标或针对每一个目标区域的跟踪的状态，并且提供指示在该目标区域和目标之间的对应关系以及跟踪的状态的第一区域对应关系信息；特征量产生处理，用于根据该图像信息、该目标区域信息和由该跟踪状态判定装置提供的该判定的结果而产生表示目标区域的特征量的区域特征量和表示目标的特征量的目标特征量；特征量合成处理，用于通过根据该目标特征量和该第一区域对应关系信息而合成针对多个目标的全部需要的组合的特征量来产生每一个合成的特征量，并且提供该合成特征量信息，该合成特征量信息是包括该合成的特征量和在目标和被采用来产生该合成的特征量的合成的特征量之间的对应关系的信息；以及对应关系建立处理，用于根据该目标区域信息、第一区域对应关系信息、区域特征量信息和该合成特征量信息而建立在目标和目标区域之间的对应关系，并且提供已经确定的当前的对应关系信息。

(改进的实施例1)

状态跟踪判定部分13可以根据下面描述的判定方法来判定一个目标的跟踪状态。例如，在由于目标的叠加(交叉状态)而仅有一个目标被首先进入与一个目标区域对应的情况中，判定该跟踪状态是一个单独状态。当该目标区域从上述状态分离成多个目标区域时，仅存在一个目标。结果是，不可能判定已经实现从交叉状态到进行分离的状态的转换的跟踪状态，但有可能判定保持一个单独状态的跟踪状态。为了应对在单独状态中的一个目标进行分离成多个目标的情形，即使在该类别中仅存在单一的目标成分，该状态跟踪判定部分13可以在一个类别中包括有两个或更多的目标区域成分的情况下，决定跟踪状态应该是分离状态。

上述实施例示出提取目标区域的一个方法实例，其中目标区域提取部分12计算在通过图像输入终端11提供的图像信息和已被事先获得的背景图象信息之间的象素值中的差值。某些情况下，在计算像素值的差值在，由于该目标具有类似于背景图像的目标的原因(例如目标和背景图像的彩色相似)，目标区域提取部分12不能正确地提取该目标区域。如果该目标区域未被正确地提取，则状态跟踪判定部分13的状态判定部分132可能错误地判定该跟踪状态已经实现到进行分离状态的过渡。为了在此情况中实现该目标区域的正确的提取，状态判定部分132最好通过使用在目标区域之间的一个空间距离来应对该问题。

具体地说，针对位于靠近到一个物体间区间距离的预定门限值之内的目标区域，在分类目标和目标区域时，状态判定部分132按照对应关系把与每一个目标区域相关的目标区域和目标分类成同一个类别。例如假设存在目标A和B和目标区域α和β的情况，目标区域α对应于目标A而目标区域β对应于目标B。根据上述实施例说明的方法，状态判定部分132定义两个类别：目标区域α和目标A所属的类别和目标区域β和目标B所属的类别。与上述实施例相比，如果在目标区域α和目标区域β之间的距离不大于一个预定门限值，则状态判定部分132能够把目标区域α、β和目标A、B一起分组在单个类别中。倘若该目标间的区间距离不大于一个预定门限值，则分组成单一类别将使得即使在一个目标区域分离成在包括两个或更多个目标的类别中的两个或更多的目标区域时，该状态判定部分132也判定在该交叉状态中的跟踪状态保持不变。在目标间的区间距离超越该预定门限值之时，状态判定部分132判定该跟踪的状态已经输入进行分离的状态。

(改进的实施例2)

而且，需要状态判定部分132能够根据目标区域的在进行分离的持续时间的一个周期应对其中一个目标区域的一部分随机分离的情况。在进行分离的持续时间周期是指这样的一个持续时间周期，在其期间目标区域是在启动一个进行分离的状态，其中该启动目标区域的一个进行分离的状态被定义为这样一个状态，即在先前属于是单一目标区域的一个目标区域分离成几个目标区域，该被分离的目标区域保持着目标间的区间距离或超过一个规定阈值(可以是0)的距离。在此情况中，状态判定部分132以短于一个预定门限值的间隔的连续周期的处理来分组该目标区域，并且把对应于该目标区域的目标也分组为同一个类别，以便保留从前的跟踪状态。当用于在进行分离的持续时间周期超出该门限时，状态判定部分132判定该跟踪状态是进行分离的状态。

用于在进行分离的持续时间周期被更新和存储如下：用于在进行分离的持续时间周期被存储在目标区域信息存储部分133中；目标跟踪部分131获取存储在目标区域信息存储部分133中的分离的连续周期，把用于在进行分离的持续时间周期与每个目标区域相关并且计算用于在进行分离of一个新的持续时间周期；而且目标跟踪部分131更新存储在目标区域信息存储部分133中的分离的连续周期。

目标跟踪部分131实现用于在进行分离的该持续时间周期和一个目标区域的相关如下：根据包括在从目标区域提取部分12提供的目标区域信息中的当前目标区域、从对应关系判定部分16提供的已被确定的过去的对应关系信息，目标跟踪部分131进行当前目标区域和过去得目标区域之间的相关；并且，目标跟踪部分131把与存储在目标区域信息存储部分133中的过去的目标区域相关的用于在进行分离的持续时间周期与对应于该过去的感兴趣的的目标区域的该当前目标区域相关。如果相关了多个分离的连续周期，则目标跟踪部分131把多个分离的连续周期的最长的一个与该目标区域相关。此外，目标跟踪部分131能够把多个分离的连续周期的最短的一个与当前目标区域相关。另外，目标跟踪部分131计算多个分离的连续周期的一个平均值，并且把该计算的平均周期与该当前的目标区域相关。

状态判定部分132从目标区域信息存储部分133获取分离的连续周期。而且，状态判定部分132判定一个目标区域的跟踪状态。而且，根据判定结果，状态判定部分132更新存储在目标区域信息存储部分133中的分离的连续周期。更具体地说，当已经判定该跟踪的状态是一个启动的进行分离状态时，状态判定部分132则根据针对感兴趣的在进行分离和当前时间来更新存储在目标区域信息存储部分133中的分离的连续周期。如果目标区域的跟踪的状态不是该启动的进行分离的状态，则状态判定部分132复位用于在进行分离的持续时间周期。另外，表示进行分离的启动时间的进行分离启动时间也可被存储来代替用于在进行分离的持续时间周期的存储。在此情况中，能够通过寻找该当前时间和分离启动时间之间的差值来获得用于在进行分离的持续时间周期。

目标跟踪部分131能够产生该第二区域对应关系信息，包括用于在进行分离的该持续时间周期而不是在目标区域信息存储部分133中存储用于在进行分离的持续期周期。在此情况中，状态判定部分132从该第二区域对应关系信息中获取用于在进行分离的持续时间周期。用于在进行分离的持续期周期无需插入目标区域信息存储部分133地从目标跟踪部分131到状态判定部分132的直接传递提供一个优点，即实现目标区域信息存储部分133的处理量的降低。

此外，该第一实施例和该改进的实施例1和2可被组合使用。具体地说，根据目标和目标区域之间的该对应关系、目标区域和目标区域的进行分离的持续期时段之间的距离的组合，把具有一共同区域对应的目标区域的目标集合在一起，而且把该目标和对应的目标区域分组到一个类别中也是可实行的。而且，如果满足下列条件或下列条件的组合任意之一，把包括在一个类别中的目标和目标区域的跟踪状态判定为进行分离的状态也是实用的：该分类的类别符合针对进行分离的状态的条件而且在每一个类别中包括两个或多个目标；包括在每个类别中的目标区域之间的距离超过一个预定门限值；该目标区域在进行分离的状态过程中的持续时间超过一个预定门限值。

(改进的实施例3)

该目标跟踪装置能够通过下列过程来合成目标的特征量以便建立在目标和目标区域之间的对应关系：特征量合成部分15不仅获得目标的特征量而且从特征量产生部分14获得区域特征量信息。特征量合成部分15根据一个期望的合成比例ε而在该区域特征量信息和由特征量产生部分14提供的该目标的特征量的的基础上计算合成的特征量。特征量合成部分15进一步提供对应于该合成比例ε的合成的特征量，该合成比例ε得出包括在该区域特征量信息中的在计算的合成的特征量和该目标区域的特征量之间的最高相似程度。根据由特征量合成部分15提供的该合成的特征量，对应关系判定部分16计算在目标区域的特征量和针对目标和目标区域的每一个组合的该合成的特征量之间的相似程度，而且计算组合的相似程度。

由于特征量合成部分15提供对应于产生在目标和一个目标区域之间的最高相似程度的合成比例ε的该合成的特征量，所以对应关系判定部分16只根据一个合成的特征量就足以计算针对该目标和目标区域之间的每一个组合的合成的特征量。结果是能够删去对应关系判定部分16多余的计算处理。

(改进的实施例4)

该目标跟踪装置能够通过下列方法由合成的特征量建立目标和目标区域之间的对应关系：特征量合成部分15不仅获得目标的特征量而且获得该区域特征量信息，而且计算根据公式(5)至(7)最小化该距离的合成比例ε的值，其中公式(5)是用于根据该区域对应关系信息和由特征量产生部分14提供的目标特征量计算在一个目标区域的特征量和对应的目标的合成的特征量之间的距离f(ε)的一个公式；特征量合成部分15计算合成比例ε的值，该合成比例ε清零(nulls)由部分差分距离f(ε)相对于在数学表达式(6)和(7)中所示的合成比例ε产生的作用，即特征量合成部分15计算最小化距离f(ε)的合成比例ε的值；特征量合成部分15通过使用该计算的合成比例ε而根据公式(3)产生一个合成的特征量，并且对应关系判定部分16根据该产生的合成的特征量计算该相似程度。注意，公式(5)至(7)是使用针对目标A和B的该合成的特征量的一个实例表示的。

$f\left(\mathrm{\ϵ}\right)={|{\mathrm{Hr}}_i-{\mathrm{Hg}}_{\mathrm{ki}}\left(\mathrm{\ϵ}\right)|}^2={|(H_A-H_B)\mathrm{\ϵ}+{\mathrm{Hr}}_i-H_A|}^2=\underset{n}{\mathrm{\Σ}}{\{(a_n-b_n)\mathrm{\ϵ}+x_n{-a}_n\}}^2---\left(5\right)$

$\frac{\∂f}{\∂\mathrm{\ϵ}}=2\underset{n}{\mathrm{\Σ}}\{(a_n-b_n)\mathrm{\ϵ}+x_n-a_n\}(a_n-b_n)---\left(6\right)$

$\mathrm{\ϵ}=\frac{\underset{n}{\mathrm{\Σ}}(a_n-x_n)}{\underset{n}{\mathrm{\Σ}}(a_n-b_n)}---\left(7\right)$

其中Hg_ki表示目标A的特征量H_A和目标B的特征量H_B的合成的特征量，Hr_i表示目标区域的特征量。如果该特征量例如是一个彩色直方图并且如果该彩色直方图的等级(BIN)的数量是n，则特征量H_A、H_B、Hr_i和Hg_ki分别是n维矢量，并且被表示为H_A＝(a₁，a₂，…，a_n)，H_B＝(b₁，b₂，…，b_n)，Hr_i＝(x₁，x₂，…，x_n)，以及Hg_ki＝(x_k1，x_k2，…，x_kn)。

如果根据公式(7)计算的合成比例ε小于0或大于1，则根据公式(7)计算的更靠近合成比例ε的值的0或1被选择作为合成比例ε的值。特征量合成部分15通过使用计算的合成比例ε来计算该合成的特征量。根据该计算的合成比例ε，对应关系判定部分16计算由公式(2)表示的每个组合的距离，并且确定最小化组合距离的目标和目标区域的组合作为一个最佳对应关系。

根据公式(5)、(6)和(7)，特征量合成部分15能够唯一地使用一个具体的合成系数ε而产生一个合成的特征量。因此，与其中针对合成系数ε的各种值而产生合成的特征量的情况相比，有可能降低用于计算相似程度的计算量。应该指出的是，该特征量合成部分15能够通过类似于上述的方法在三个或更多目标重叠的情况中来产生一个合成的特征量。另外，虽然在上述实施例中特征量合成部分15使用L2标准作为特征量之间的一个距离的度量，但是也能够使用其它的距离度量。

而且，该目标跟踪装置可以是能够通过下列方法合成特征量和选择目标区域和目标的装置：特征量合成部分15使用目标区域的比例作为合成比例ε而产生合成的特征量；并且对应关系判定部分16根据该产生的合成的特征量计算该相似程度。此方法是根据这样的事实，即在目标交叉时的合成比例接近等于该目标的区域的比例。使用目标的区域比例作为一个合成比例，使特征量合成部分15能够削减用于计算该合成比例的操作。该合成的特征量是根据公式(8)计算的。

$\mathrm{Hg}=\frac{S_A}{S_A+S_B}{H}_A+\frac{S_B}{S_A+S_B}{H}_B---\left(8\right)$

其中H_A和H_B分别表示目标A和B的特征量；S_A和S_B分别表示关于目标A和B的图像信息上的区域；Hg代表该合成的特征量。通过使用产生的合成的特征量Hg，对应关系判定部分16计算公式(2)中表示的距离的取和，并且把最小化该距离的取和的该目标和目标区域的组合确定作为一个最佳对应关系。

例如，特征量产生部分14采用包括在一个目标区域的一个图像中的像素的数量作为该目标的一个区域来产生包括一个目标区域的一个特征量以及包括其它目标区域的特征量。在特征量产生部分14中的特征量存储部分143存储该该区域包括的特征量，并且当该第一区域对应关系信息中包括的一个目标的跟踪状态指示非交叉状态时(除该交叉状态之外的状态)，更新该区域包括的特征量。

而且，该目标跟踪装置能够根据下面描述的方法合成特征量并且建立目标和目标区域之间的对应关系：假设每一个重叠目标的区域潜在地在从S1到S2的范围中变化，并且特征量合成部分15根据公式(9)产生在该变化范围中的合成的特征量。公式(9)被用于计算目标A的特征量和目标B的特征量的合成的特征量。根据在该产生的合成的特征量中包括的并具有相对于该目标区域的特征量的最高相似程度的该合成的特征量，对应关系判定部分16计算在该目标和该目标区域之间的相似程度，并且根据公式(10)计算该组合相似程度。

$\mathrm{Hg}\left(\mathrm{\Δs}\right)=\frac{S_A+\mathrm{\Δs}}{S_A+S_B}{H}_A+\frac{S_B-\mathrm{\Δs}}{S_A+S_B}{H}_B({-s}_1\≤\mathrm{\Δs}\≤s_2)---\left(9\right)$

$D=\underset{i}{\mathrm{\Σ}}\underset{\mathrm{\Δs}}{\min }{({\mathrm{Hr}}_i-{\mathrm{Hg}}_i\left(\mathrm{\Δs}\right))}^2---\left(10\right)$

其中ΔS表示来自恰在彼此重叠的目标A和B之前的区域的目标A的区域的一个差值。允许目标区域的变化的合成的特征量的计算使特征量合成部分15即使在感兴趣的目标区域或多或少改变的条件下也能够避免选择与实际完全不同的合成比例，从而使得能够根据正确的合成比例来产生该合成的特征量。结果是，对应关系判定部分16能够判定在目标和目标区域之间的最佳对应关系。

(改进的实施例5)

同样可行的是，特征量合成部分15不仅获取目标的特征量而且从特征量产生部分14获取区域特征量信息，并且根据该区域特征量信息和由特征量产生部分14提供的目标的特征量而产生在一个区域变化范围中的合成的特征量；提供作为对于一个目标区域的特征量的最高相似程度的合成的特征量的一个输出；并且，根据该合成的特征量，对应关系判定部分16寻找针对目标和一个目标区域的每一个组合的组合相似程度。换句话说，能够把合成比例ε限制在根据该目标的区域变化的范围预定的一个范围之内。以此方式，特征量合成部分15仅需要提供针对该目标每一组合的单个合成的特征量，从而与针对合成比例ε的各种值产生合成的特征量的情况比较，能够删去冗余处理。

(改进的实施例6)

另外，特征量合成部分15能够通过使用目标的模板作为特征量来获得该合成的特征量。该模板涉及通过从一个画面提取对应于感兴趣的实物体的图像的一部分所产生的一个局部图像，并且对应于表示形状和色彩的图像。一个模板是通过根据该目标和目标区域之间的对应关系而提取在对应于一个实物体的画面中的区域产生的。另外，已经事先模式化的例如一个基准面部图像的一个图像能够被采用作为一个模板。

例如，假设其中在单个目标区域中驻留两个目标的情况。则特征量合成部分15跨越该目标区域运行模板，并且计算在该目标区域中的每一个位置的模板和该目标区域之间的相似程度。特征量合成部分15寻找该相似程度达到最大值的位置。特征量合成部分15根据公式(11)和(12)计算该相似程度。

$d_i(a,b)=\underset{(x+a,y+b){\∈m}_i}{\mathrm{\Σ}}{|M_i(x+a,y+b)-R(x,y)|}^2---\left(11\right)$

$d_i=\underset{a,b}{\min }{d}_i(a,b)---\left(12\right)$

其中M_i(x，y)表示在坐标(x，y)的该第i模板的一个像素的值，而R(x，y)表示在坐标(x，y)的该目标区域的一个像素的值。符号m_i表示该第i模板的整个坐标域。特征量合成部分15按照示出的公式(11)计算在该模板和该目标区域之间的该象素值的差值的平方和，作为在其特征量之间的距离。当在其特征量之间的距离是最小值时，按照公式(12)表示的那样，判定该模板和该目标区域之间的相似程度是最高值。特征量合成部分15采用其中该模板和目标区域之间的相似程度是最高值的位置(a，b)作为该目标的位置。

特征量合成部分15随后根据在模板和目标区域之间的相似程度判定该重叠目标(交叉状态中的目标)的前-后方向中的关系(前/后关系)。特征量合成部分15判定对于该目标区域的较高相似程度的模板覆盖对于该目标区域的较低相似程度的模板。特征量合成部分15随后通过合成该模板而产生对应于一个合成的特征量的合成模板。如上所述，特征量合成部分15能够根据该图像模板的特征量和目标区域判定分别目标的前/后关系，并且通过根据该目标的判定的前/后关系合成该图像模板而计算一个合成的特征量。

另外，特征量合成部分15能够选择具有对于感兴趣的目标区域的各个最高相似程度的最高值的模板，并且判定该选择的模板覆盖该未选择的模板。可以期望在此情况中从感兴趣的目标区域中排除其中该目标区域和该选定的模板(在该情况的模板相似程度达到最高值)重叠的区域，在保持目标区域和未选择的模板的基础上，针对在模板和目标区域之间的相似程度的计算、模板的最高相似程度的选择、属于是最高相似程度的模板的位置的计算以及覆盖模板的判定而重复地执行操作。

图10是说明使用模板产生合成的特征量的构思的示意图。如图10A所示，特征量合成部分15操作模板A和B来扫描目标区域α。特征量合成部分15能够判定该模板B以一个覆盖结构覆盖模板A，因为模板B和目标区域α之间的最高相似程度高于模板A和目标区域目标区域α之间的最高相似程度。如图10B所示，特征量合成部分15在分别位置合成模板A和模板B，其中每一个模板都构成对于目标区域α的最高相似程度，从而产生合成模板X。当产生合成模板X时，特征量合成部分15使用模板B的特征量的值针对模板B覆盖模板A的部分执行该合成操作。用于补充说明，坐标(a₁.b₁)代表模板A和目标区域之间的相似程度最高的位置，坐标(a₂.b₂)代表模板B和目标区域之间的相似程度最高的位置。

根据公式(2)，对应关系判定部分16计算基于合成模板的彩色直方图的该目标区域和该合成的特征量的特征量之间的相似程度，并且能够计算该组合的相似程度。另外，与公式(12)相似，对应关系判定部分16能够通过调整(collating)该目标区域和该合成模板来计算在该目标区域的特征量和该合成的特征量之间的相似程度，从而计算该组合相似程度。使用模板使得即使一个目标被局部地隐藏在另一目标之后时也能够正确计算一个目标和一个目标区域之间的对应关系。

(改进的实施例7)

在每一个上述方法中，当建立目标和目标区域之间的对应关系时，时常出现的情况是，即使在低的组合相似程度时也必由对应关系判定部分16进行目标和目标区域之间的该对应关系的建立，导致在该目标和该目标区域之间的一个不正确的对应关系。考虑到这一问题，如果针对一个最佳组合的该组合相似程度(即针对该最高组合相似程度的组合的组合相似程度)是低值，则对应关系判定部分16可以计划不建立目标和目标区域之间的对应关系。在此情况中，如果针对目标和目标区域的该最佳组合的该组合相似程度等于或小于一个预定门限值，则对应关系计算部分161判定不存在对应于构成该组合的目标的最佳目标区域。对应关系计算部分161随后提供该最佳对应关系信息，包括有指示在该目标和该目标区域之间不存在最佳对应关系的信息。当最佳对应关系信息包括有指示不存在对应于该目标的最佳目标区域的信息时，对应关系建立部分162将针对感兴趣的目标判定把指示包括以第一区域对应关系信息中的目标和目标区域之间的对应关系的信息原样地指定为该目标和该目标区域之间的对应关系，并且提供该信息作为已经确定的对应关系信息。如果情况不是这样，则指示包括在该最佳对应关系信息中的目标和目标区域之间的对应关系的信息被提供作为已被确定的对应关系信息。例如假设其中对应关系计算部分161采用(α，β)＝(A，BC)作为一个最佳组合的情况。随后，对应关系计算部分161从由α和A组成的集的相似程度以及由β和BC组成的集的相似程度中计算该组合相似程度，并且判定该组合相似程度是否不大于一个预定门限值。如果该组合相似程度等于或小于该门限值，则对应关系建立部分162判定把指定包括在该第一区域对应关系信息中的关于在目标A、目标B和目标C以及目标区域α和β之间的对应关系的信息原样地作为在目标A、目标B和目标C以及目标区域之间的对应关系。

(改进的实施例8)

在每一个上述方法中，当建立目标和目标区域之间的对应关系时，时常出现的情况是，即使在低的组合相似程度时也必由对应关系判定部分16进行目标和目标区域之间的该对应关系的建立，导致在该目标和该目标区域之间的一个不正确的对应关系的建立。考虑到这一问题，如果针对一个最佳组合的该组合相似程度(即针对该最高组合相似程度的组合的组合相似程度)是低值，则对应关系判定部分16可以计划不建立目标和目标区域之间的任何对应关系。在此情况中，如果针对目标和目标区域的最佳组合的该集的相似程度(由几个目标或一个目标以及一个目标区域组成的一个集的相似程度)等于或小于一个预定门限值，则对应关系计算部分161判定不存在对应于该目标的最佳目标区域。对应关系计算部分161随后提供该最佳对应关系信息，包括有指示在该目标和该目标区域之间不存在最佳对应关系的信息。当最佳对应关系信息包括有指示不存在对应于该目标的最佳目标区域的信息时，对应关系建立部分162将针对感兴趣的目标判定把指示包括以第一区域对应关系信息中的目标和目标区域之间的对应关系的信息原样地指定为该目标和该目标区域之间的对应关系，并且提供该信息作为已经确定的对应关系信息。如果情况不是这样，则对应关系建立部分把指示包括在该最佳对应关系信息中的目标和目标区域之间的对应关系的信息提供作为已被确定的对应关系信息。例如假设其中对应关系计算部分161采用(α，β)＝(A，BC)作为一个最佳组合的情况。然后，对应关系计算部分161判定由α和A组成的集的相似程度以及由β和BC组成的集的相似程度是否分别不高于一个预定门限值。如果在α和A之间的相似程度等于或低于该预定门限值，则对应关系建立部分162判定把指示包括在该第一区域对应关系信息中的目标A和感兴趣的的目标区域之间的对应关系的信息原样地指定为目标A和该目标区域之间的对应关系。

(改进的实施例9)

能够尝试让对应关系计算部分161仅针对可明确鉴别的目标建立与一个目标区域的对应关系。在此情况中，对应关系计算部分161以组合相似程度的高度次序排列目标和目标区域的全部组合。如果排列在上部排序中的组合的组合相似程度之间差值小(例如等于或小于一个预定门限值)并且此外如果共同目标和目标区域(或一个目标和一个目标区域)存在于上部排序组合中，则对应关系计算部分161只把该共同目标和目标区域的组合认为是一个最佳对应关系。对应关系计算部分161提供包括只关于该共同目标和目标区域的组合的信息的最佳对应关系信息。这意味着，该最佳对应关系信息包括指示没有在其它目标和目标区域中的一个最佳对应关系的任何组合的信息。

例如假设在目标A、B和C以及目标区域α、β、γ之间的对应关系中，排列在该组合相似程度的排序中的上面三个是(α，β，γ)＝(A，B，C)，(AB，Φ，C)和(B，A，C)。在本实例中，对应关系计算部分161专门把目标C和目标区域γ的组合假设为一个最佳组合，并且提供包括只指示目标C和目标区域γ的组合作为一个最佳组合的信息的最佳对应关系信息。另外，此方法能够与改进的实施例7结合：在其中对于该目标和目标区域的最佳组合来说该目标和一个目标区域的集的相似程度的每一个都相等或低于一个预定门限值的情况中，如果该较高排序的组合的组合相似程度之间的差异是小值(例如等于或小于一个预定门限值)并且此外不存在对于该较高排序组合而言是共同的目标和目标区域，则对应关系计算部分161能够把指示缺乏在其它目标和目标区域中的一个最佳对应关系的任何组合的信息包括到该最佳对应关系信息中。

对于该最佳对应关系信息指示为没有最佳的那些目标来说，对应关系建立部分162则判定把包括在该第一区域对应关系信息中的该目标和目标区域之间的对应关系指定作为在目标和目标区域之间的对应关系。

如上所述，针对全部可能组合的具有范围从最高组合相似程度到在一个预定门限值之内的组合相似程度的那些组合，对应关系计算部分161从排列在较高组合相似程度中的那些组合中选择具有在一个规定阈值之内的组合相似程度的那些组合，把共同存在于该选择组合中的目标和目标区域之间的对应关系包括到该最佳对应关系信息中作为最佳的对应关系，并且针对未被包括在所说的共同存在的目标和目标区域之间的对应关系中的目标和目标区域，对应关系计算部分161把指示缺少在目标和一个目标区域之间的一个最佳对应关系的信息包括到该最佳对应关系信息中。针对在该最佳对应关系信息中未被指示为没有对于目标区域的最佳对应关系的那些目标，对应关系建立部分162能够计划提供包括在该最佳对应关系信息中的指示目标和目标区域之间的对应关系的信息作为已经确定的对应关系信息；并且针对在该最佳对应关系信息中被指示为没有对于目标区域的最佳对应关系的那些目标，对应关系建立部分162提供包括在该第一区域对应关系信息中的指示该目标和目标区域之间的对应关系的信息作为该已被确定的对应关系信息。

(改进的实施例10)

而且，在上述分别的方法中，特征量产生部分14能够根据该跟踪状态修改包括在将被提供到对应关系判定部分16的区域特征量信息中的信息。例如在此情况中，对于在其跟踪状态中由从状态跟踪判定部分13提供的该第一区域对应关系信息指示为进行分离的状态的目标区域，该感兴趣的目标区域的特征量被包括在该区域特征量信息中。另外，对于在跟踪状态中被指示为不是该进行分离的状态中的目标区域，该区域特征量信息虽然能够包括但无需包括该感兴趣的目标区域的特征量，因为对应关系判定部分16不需要该目标区域的特征量。再一选择是，这区域特征量信息能够包括指示不需要建立对应关系的信息来代替不包括特征量。对应关系判定部分16从该对应的建立中排除在该区域特征量信息中被指示为不需要建立对于目标的对应关系的目标区域，从而降低对应关系判定部分16的计算量。

(改进的实施例11)

只要在由状态跟踪判定部分13提供的第一区域对应关系信息中该目标的跟踪状态被指示为进行分离的状态，则特征量合成部分15不用于获得存储在特征量存储部分143中的全部目标的特征量而是用于获取存储在特征量存储部分143中的一些目标的特征量，因此将使能够省略为产生该合成的特征量所不需要的目标特征量的获取的多余的处理，并且加速该特征量合成部分产生该合成的特征量的处理。

(改进的实施例12)

在上述方法中，该第一区域对应关系信息与已经针对除了进行分离的状态之外的跟踪状态中的目标所确定的对应关系信息完全相同。

因此，从对应关系判定部分16反馈到状态跟踪判定部分13的包括在已经确定的对应关系信息对应关系信息中的信息内容能被限制到在进行分离的状态中的目标的对应关系。在此情况中，对于其它目标来说，状态跟踪判定部分取代该已经确定的对应关系信息而使用由状态跟踪判定部分13本身过去获得的对应关系(包括在第一区域对应关系信息中)。此方案同样实现等效于使用上述方法的目标跟踪装置的装置。

(改进的实施例13)

在每一个上述方法，虽然特征量更新部分142根据该第一区域对应关系信息更新目标的特征量，但是特征量更新部分142能够根据取代该第一区域对应关系信息的已被确定的对应关系信息更新目标的特征量。在此情况中，特征量提取部分141把在该第一区域对应关系信息中指示为单独状态或进行分离状态的跟踪状态中的目标区域的特征量包括到将被提供到特征量更新部分142的区域特征量信息中。特征量更新部分142在对应关系判定部分16确定在目标和目标区域之间的对应关系之后而根据由对应关系判定部分16提供的已经确定的对应关系信息来判定目标的跟踪状态。随后，特征量更新部分142根据由特征量提取部分141提供的关于目标区域的特征量信息而专门针对在该跟踪状态中是单独状态的目标更新存储在特征量存储部分143中的该目标的特征量。此方案同样实现等效于使用任何上述方法的目标跟踪装置的装置。

(改进的实施例14)

对应关系判定部分16能够判定目标的跟踪状态而不是特征量更新部分142根据已经确定的对应关系信息判定目标的跟踪状态，其中对应关系判定部分16提供已经确定的包括关于该判定的目标跟踪状态的对应关系信息，从而使得特征量更新部分142省略判定该目标的跟踪状态的处理。此方案同样能够实现等效于使用上述方法的任何目标跟踪装置的装置。

(改进的实施例15)

特征量更新部分142能够不只根据第一区域对应关系信息而是根据第一区域对应关系信息和已被确定的对应关系信息来更新存储在特征量存储部分143中的目标的特征量。在此情况中，特征量提取部分141把在该第一区域对应关系信息中被指示为具有单独状态或进行分离状态的跟踪状态的目标区域的特征量包括到将被提供到特征量更新部分142的区域特征量信息中。特征量更新部分142只就在其跟踪状态中被指示为具有单独状态的目标而根据从特征量提取部分141提供的区域特征量信息和从状态跟踪判定部分13提供的第一区域对应关系信息来更新存储在特征量存储部分143中的目标的特征量。在对应关系判定部分16判定在目标和目标区域之间的对应关系之后，特征量更新部分142根据从对应关系判定部分16提供的已被确定的对应关系信息判定该目标的跟踪状态，并且只就已经实现从进行分离的状态到单独状态的过渡的跟踪状态的目标而根据从特征量提取部分141提供的该区域特征量信息来更新存储在特征量存储部分143中的该目标的特征量。

在此情况中，对应关系判定部分16同样能够判定目标的跟踪状态，而不是特征量更新部分142根据已被确定的对应关系信息判定目标的跟踪状态。对应关系判定部分16进一步提供已被确定的包括关于该目标的判定的跟踪状态的信息的对应关系信息。此方案使得特征量更新部分142省略了判定该目标的跟踪状态的处理。

(本发明的第二工作实例)

随后参考附图说明涉及本发明的第二工作实例。在本工作实例中的第一区域对应关系信息包括指示一个目标区域是否在休止或运动中的休止/运动状态信息。一个休止/运动状态状态包含一个休止状态和一个运动状态，其中该休止状态表示目标区域是在休止中的状态，而该运动状态表示目标区域是在运动中的状态。目标跟踪装置把在其休止/运动状态中的休止状态中的目标区域作为一个背景处理。

该第一区域对应关系信息包括指示一个目标区域是否是作为一个背景处理的背景更新信息。该背景更新信息被利用例如二进制表示的″0″和″1″表示：如果有关一个目标区域的该背景更新信息是″1″，则该目标区域被作为一个背景处置；并且如果有关一个目标区域的该背景更新信息是″0″，则该目标区域不被作为一个背景处置。

例如，如果该目标跟踪装置准备用于跟踪一个人体，则该目标跟踪装置能够假设与该人体分离的静态目标作为一个背景而只取一个人体作为一个跟踪标的。例如作为一种可被使用的区别休止状态和运动状态的方法，如果该目标区域保持该静态状态了长于一个规定门限值的持续时间(下文称作静态持续时间周期)，则其中提取的目标区域的一个目标区域被判定作为处在静态状态(一个休止状态)，并且如果该静态持续时间周期短于该规定的阈值，则该目标区域的休止/运动状态状态被判定为运动状态。

通过引进背景更新信息，该目标跟踪装置能够把已经认为是背景的该目标区域视为无需跟踪的目标区域并且从该跟踪标的中排除。以此方式，该目标跟踪装置能够只跟踪属于是要求作为跟踪标的而跟踪的目标。具体地说，本方法可以被用于从全部可能的组合中排除由该休止/运动状态信息指示为正在休止状态的目标和目标区域的组合。例如，在进行目标区域处理中，只有当该目标区域超过在其静态持续时间周期中的一个规定阈值、维持在其休止/运动状态状态中的休止状态并且进一步被根据已经确定的对应关系信息判定为没有对应目标时，该目标跟踪装置才将该目标区域认作该背景的一部分。另外，用于识别该背景的一个阈值的建立使得即使在该目标跟踪装置在目标的跟踪中失败时也能够防止该目标跟踪装置在其中存在一个标的目标的情况中错误地将该目标区域认作一个背景。

图11是说明本发明的目标跟踪装置的第二工作实例的框图。虽然该目标跟踪装置的结构单元与图2示出的第一工作实例的情况相同，但目标区域提取部分12不仅根据通过图像输入终端11提供的图像信息而且根据由对应关系建立部分17提供的已经确定的对应关系信息提取目标区域。在上述装置中，对应关系建立部分17的结构与图3示出的对应关系建立部分相同，状态跟踪判定部分13的结构与图6示出的状态跟踪判定部分相同，特征量产生部分14的结构与图8示出的特征量产生部分相同，并且对应关系判定部分16的结构与图9示出的对应关系判定部分相同。

目标区域信息存储部分133存储目标区域的静态持续时间周期。目标跟踪部分131把存储在目标区域信息存储部分133中的目标区域的过去的静态持续时间周期与当前目标区域相关，并且计算目前的静态持续时间周期。目标区域信息存储部分133存储该计算的该目标区域的当前静态持续时间周期。

在计算最新的静态持续时间周期的过程中，可以想象其中有多个过去的静态持续时间周期能够与一个目标区域相关的情况。当存在多个过去的静态持续时间周期时，目标跟踪部分131选择目前存在的该过去的静态持续时间周期的最长的静态持续时间周期，并且把该选择的静态持续时间周期与当前的静态持续时间周期相关。另外，允许选择最短的静态持续时间周期，以便将其与当前静态持续时间周期相关，或计算该静态持续时间周期的一个平均时间，以便将该计算的平均时间与该当前静态持续时间周期相关。

目标跟踪部分131通过执行根据下列过程的该静态持续时间周期的更新来计算该当前静态持续时间周期：目标跟踪部分131针对每一个目标区域而寻找在过去的目标区域的重心和最新的目标区域的重心之间的差值矢量；如果该差异矢量的幅值等于或低于一个预定门限值，则目标跟踪部分131判定该目标是在休止中并且更新这静态持续时间周期；并且如果该差异矢量的幅值超过该预定门限值，则目标跟踪部分131判定该目标区域是在运动中并且复位该静态持续时间周期。

状态判定部分132根据存储在目标区域信息存储部分133中的目标区域的静态持续时间周期判定该目标区域的休止/运动状态状态。状态判定部分132提供该第一区域对应关系信息，包括目标区域的静态持续时间周期和有关该休止/运动状态状态的信息。另外，目标区域信息存储部分133根据状态判定部分132的判定更新目标区域的休止/运动状态状态。

在第一实施例中，对应关系计算部分161针对潜在以对应关系相关的目标和目标区域的全部组合(全部可能的组合)而计算包含在该目标和目标区域的组合中的目标区域的特征量和合成的特征量之间的相似程度。然而在本实施例中，该计算仅就其中在其休止/运动状态的休止状态的目标区域不以对应关系与任何目标相关的那些目标和目标区域的组合作出。换句话说，在其休止/运动状态为休止状态的目标区域和该对应目标之间的组合被从全部可能的组合中排除，因此对应关系计算部分161能够降低用于计算在目标和目标区域之间的相似程度的计算量。

对应关系建立部分162提供已经确定的对应关系信息，该已经确定的对应关系信息包括关于由目标跟踪部分131计算的该目标区域的静态持续时间周期的信息。根据关于静态持续时间周期的信息和关于休止/运动状态的信息，对应关系建立部分162判定感兴趣的目标区域是否被认为是背景。具体地说，如果静态持续时间周期超过一个预定门限值，则该目标区域被判定认为是背景；该休止/运动状态是在休止状态；并且不存在根据该已经确定的对应关系信息以对应关系相关的目标。如果一个目标区域被认为是一个背景，则对应关系建立部分162把指示在该目标区域的一个区域之内的背景的更新的背景更新信息结合到已被确定的对应关系信息中。

如果该已被确定的对应关系信息包括指示更新在该目标区域的一个区域之内的背景的该背景更新信息，则目标区域提取部分12将根据该目标区域信息、通过图像输入终端11提供的图像信息和由对应关系建立部分17提供的已经确定的对应关系信息来更新在该感兴趣的目标区域的该区域之内的该背景的图像。目标区域提取部分12根据公式(13)更新该背景图像。

B_i(x，y)-(1-μ)B_t-1(x，y)+μI_in            0≤μ≤1           (13)

其中(x，y)表示像素的坐标，I_t0(x，y)表示在坐标(x，y)的该图像信息的象素值。B_t(x，y)和B_t-1(x，y)分别表示在坐标(x，y)的时间t和t-1的该背景图象的象素值。而且，μ表示一个更新系数。

如上所述，能够通过从状态判定部分132提供包括静态持续时间周期和一个目标区域的休止/运动状态的第一区域对应关系信息、并且通过从对应关系建立部分17提供包括该背景更新信息的已经确定的对应关系信息来实现一个目标和该背景之间的识别。而且，在第一区域对应关系信息中包含该休止/运动状态状态信息使得该目标跟踪装置把处于休止的目标从将被产生在感兴趣的目标区域的对应关系的候选目标中排除，从而使得对应关系计算部分161执行的用于计算该相似程度的计算量能够被降低，并且仅跟踪运动中的目标。

另外，目标跟踪部分131能够把包括关于静态持续时间周期的信息的第二区域对应关系信息提供到状态判定部分132，而不是目标区域信息存储部分133存储静态持续时间周期以及状态判定部分132获取存储在目标区域信息存储部分133中的静态持续时间周期。这种策略使得状态判定部分132能够获得关于静态持续时间周期的信息而没有任何目标区域信息存储部分133的干预。

用于补充说明，对于在其跟踪状态中被指示为进行分离的状态以及在其休止/运动状态中被指示为休止状态的目标区域来说，特征量提取部分141可以但无需在该区域特征量信息中包括任何目标区域的特征量，因为对应关系计算部分161不需要该目标区域的特征量。另外，这区域特征量信息能够包括指示不需要任何对应关系建立的信息，代替不包括该目标区域的特征量。以此方式，能够省去提供不必要的特征量的冗余处理。

(本发明的第三实施例)

随后参照附图说明本发明的第三实施例。图12是说明本发明的目标跟踪装置的第三工作实例的框图。如图12所示，该目标跟踪装置包括图像输入终端21、第一控制部分22、目标区域提取部分23、特征量产生部分24和特征量合成部分25。第一控制部分22被连接到图像输入终端21、目标区域提取部分23、特征量产生部分24和特征量合成部分25，以便控制这些部分。此外，第一控制部分22执行在目标和目标区域之间的对应关系的建立(以对应关系相关目标和目标区域)，并且提供已经确定的对应关系信息。

目标区域提取部分23根据从第一控制部分22提供的图像信息提取目标区域，并且把包括关于以区域号码编号的目标区域的图像信息的目标区域信息提供到第一控制部分22。

特征量产生部分24根据从第一控制部分22提供的图像信息和目标区域信息提取目标区域的特征量。而且，特征量产生部分24把包括提取的该目标区域的特征量的区域特征量信息提供到第一控制部分22。

特征量合成部分25根据区域特征量信息15和从第一控制部分22提供的第一区域对应关系信息来计算通过合成针对多个目标的全部所需组合的多个目标的特征量而产生的目标的合成特征量，并且随后该特征量合成部分25把包括该合成的特征量的合成特征量信息提供到第一控制部分22。

象该第一工作实例一样，该第一第一区域对应关系信息包括关于目标和目标区域之间的对应关系的信息以及关于该目标的跟踪状态的信息。此外，在本实施例中以第一控制部分22产生该第一区域对应关系信息。

第一控制部分22通过用于从摄像机等接收提供的图像信号的图像输入终端21接收图像信息。第一控制部分22把该图像信息提供到目标区域提取部分23并且从目标区域提取部分23接收该目标区域信息。第一控制部分22进一步根据该目标区域信息和已经确定的该过去的对应关系信息来产生该第一区域对应关系信息，并且把产生的第一区域对应关系信息、图像信息和目标区域信息提供到特征量产生部分24。第一控制部分22更进一步接收从特征量产生部分24提供的该区域特征量信息，并且把该区域特征量信息和该第一区域对应关系信息提供到特征量合成部分25。而且，第一控制部分22接收从特征量合成部分25提供的该合成特征量信息。

第一控制部分22计算在包括在该区域特征量信息中的该目标区域的特征量和包括在该合成特征量信息中的合成的特征量之间的相似程度，计算该组合相似程度并且判定在该目标和目标区域之间的最佳对应关系。随后，第一控制部分22提供关于该判定的目标和目标区域之间的对应关系的信息作为已经确定的对应关系信息。

图13是说明第一控制部分22的一个结构实例的框图。如图13所示，第一控制部分22包括第二控制部分221、目标跟踪部分222、状态判定部分223和对应关系计算部分224。

应该指出，虽然第一控制部分22(第二控制部分221、目标跟踪部分222、状态判定部分223和对应关系计算部分224)、目标区域提取部分23、特征量产生部分24和特征量合成部分25能够通过硬件实现，但是它们也能够通过软件实现。如下面具体说明的那样，这些部分能够通过使用能够执行处理过程的一个CPU实现，这些处理过程由第一控制部分22、目标区域提取部分23、特征量产生部分24和特征量合成部分25根据程序来执行，并且该程序也存储在用于实施第一控制部分22、目标区域提取部分23、特征量产生部分24和特征量合成部分25的作用的存储装置中。

在通过图像输入终端21接收图像信息时，第二控制部分221把该图像信息提供到目标区域提取部分23。第二控制部分221还把由目标区域提取部分23提供的当前目标区域信息、由第二控制部分221本身存储的过去的目标区域信息和存储在第二控制部分221中的已被确定的过去的对应关系信息提供到目标跟踪部分222。第二控制部分221还把通过图像输入终端21收到的图像信息和由目标区域提取部分23提供的目标区域信息提供到特征量产生部分24。已经确定的该对应关系信息的内容与该第一工作实例的内容相同。

在从目标跟踪部分222接收该第二区域对应关系信息时，第二控制部分221把该第二区域对应关系信息和该目标区域信息提供到状态判定部分223。该第二区域对应关系信息的内容与该第一工作实例的内容相同。

更进一步，在从状态判定部分223接收该第一区域对应关系信息时，第二控制部分221把仅关于在该第一区域对应关系信息中被指示为在其跟踪状态中是进行分离的状态的目标区域的目标的特征量和第一区域对应关系信息提供到特征量合成部分25。该第一区域对应关系信息的内容与该第一工作实例的内容相同。

在从特征量合成部分25接收合成特征量信息时，第二控制部分221把该区域特征量信息。合成特征量信息和第一区域对应关系信息提供到对应关系计算部分224。而且，针对那些在从状态判定部分223提供的第一区域对应关系信息中被指示为在其跟踪状态中是非进行分离状态(处在除进行分离的状态之外的状态中)的目标，第二控制部分221判定把对于包括在该第一区域对应关系信息中的该目标区域的该对应关系指定作为感兴趣的的目标和该目标区域之间的对应关系。针对那些在第一区域对应关系信息中被指示为在其跟踪状态中是进行分离状态的目标，第二控制部分221判定把包括在由对应关系计算部分224提供的该最佳对应关系信息中的对于该目标区域的该对应关系指定作为感兴趣的的目标和该目标区域之间的对应关系。由对应关系计算部分224提供的该最佳对应关系信息的内容与在该第一工作实例中描述的内容相同。

目标跟踪部分222根据从第二控制部分221接收的当前目标区域信息、存储在第二控制部分221中的过去的目标区域信息和已被确定的过去的对应关系信息来跟踪目标，并且把该第二区域对应关系信息提供到第二控制部分221。目标跟踪部分222跟踪一个目标的方法与在第一工作实例中跟踪一个目标的方法相同。

状态判定部分223根据从第二控制部分221接收的该第二区域对应关系信息和该目标区域信息判定目标的跟踪状态，并且把该第一区域对应关系信息提供到第二控制部分221。

根据从第二控制部分221提供的区域特征量信息、合成特征量信息和第一区域对应关系信息，对应关系计算部分224针对目标和目标区域的全部可能的组合而计算在目标的合成的特征量和目标区域的特征量之间的相似程度，并且计算该组合相似程度；判定来指定具有最高组合相似性程度的该目标和目标区域的组合作为该目标和目标区域之间的最佳对应关系，并且提供该最佳对应关系信息；并且把该最佳对应关系信息提供到第二控制部分221。

随后说明根据第三实施例的目标跟踪装置的操作。图14是表示该目标跟踪装置的处理实例的流程图。当通过图像输入终端21接收图像信息时(步骤S1401)，目标区域提取部分23从图像信息提取目标区域(步骤S1402)，并且提供包括关于该目标区域的图像信息的目标区域信息。

目标跟踪部分222跟踪一个目标，并且以对应关系相关该目标和目标区域，以便提供该第二区域对应关系信息。状态判定部分223根据第二区域对应关系信息和该目标区域信息判定该目标的跟踪状态(步骤S1403)。特征量产生部分24计算目标区域的特征量(步骤S1404)。

第二控制部分221带有计数器i。第二控制部分221在计数i上集目标的数量(步骤S1405)。第二控制部分221判定计数值i是否为″0″(步骤S1406)，并且如果计数i的值是″0″，则结束处理。如果计数值i不是″0″，则第二控制部分221指令状态判定部分223执行随后步骤S1407。

状态判定部分223判定一个目标的跟踪状态是否为进行分离的状态(步骤S1407)。如果状态判定部分223判定该目标的跟踪状态是进行分离的状态，则特征量合成部分25针对多个目标的全部需要的组合而合成目标的特征量，以便产生合成的特征量(步骤S1408)。

对应关系计算部分224计算在目标的合成的特征量和目标区域的特征量之间的相似程度，并且针对目标和目标区域的全部可能的组合而计算组合相似程度。第二控制部分221判定以便把具有由对应关系计算部分224计算的最高相似程度的目标和目标区域的组合指定作为在目标和目标区域之间的一个最佳对应关系(步骤S1409)。

如果状态判定部分223在步骤S1407中判定跟踪的状态是除了进行分离的状态之外的状态，则第二控制部分221判定以便把包括在该第一区域对应关系信息中的目标和目标区域之间的对应关系指定为在目标和目标区域之间的最佳对应关系(步骤S1409)。

特征量产生部分24更新根据该对应关系判定该目标的特征量(步骤S1410)，其中特征量产生部分24只更新被指示为在其跟踪状态中是单独状态的目标的特征量。

第二控制部分221随后将该计数值减1(步骤S1411)，并且重复地执行步骤S1407到步骤S1410的处理，直至在步骤S1406该计数值被判定为是″0″。换句话说，从步骤S1407到步骤S1410的处理将被执行到针对全部目标判定了对目标区域的最佳对应关系为止。在针对全部目标完成确定对于目标区域的对应关系的该过程(从步骤S1407到步骤S1410)时，再一次从步骤S1401开始执行该过程。

如上所述的目标跟踪装置的结构使得能够实现具有与该第一工作实例相同作用的目标跟踪装置。

应该指出，图12和13中示出的结构能够通过使用软件来实现。具体地，在本实施例中的目标跟踪装置能够利用执行下列处理的目标跟踪程序来实现：用于接收图像信息的图像输入处理；状态跟踪判定处理，根据该目标区域信息和已经确定的指示当前之前的该目标和目标区域的对应关系的对应关系信息而判定一个或几个目标区域的跟踪的状态，并且提供指示该目标区域和目标的对应关系以及跟踪的状态的第一区域对应关系信息；特征量产生处理，通过使用该图像信息、该目标区域信息和由该跟踪状态判定装置提供的该判定的结果而产生表示目标区域的特征量的区域特征量和表示目标的特征量的目标特征量；以及对应关系建立处理，确定目标和目标区域之间的对应关系，通过：如果目标在其跟踪状态中被判定是在除了进行分离状态之外的状态，则判定把包括在该第一区域对应关系信息中的目标和目标区域之间的对应关系指定作为在目标和目标区域之间的对应关系，该进行分离的状态是其中把一个目标区域进行分离成多个目标区域的过渡状态；并且如果该目标在其跟踪状态中被判定为是进行分离的状态，则根据目标的特征量和该第一区域对应关系信息合成用于多个目标的全部所需组合的特征量，并且产生每一个合成的特征量，把每一个合成的特征量与每一个区域特征量相比较，并且在该目标的合成的特征量与该目标区域的区域特征量是最高的组合相似程度的条件下，以对应关系把该目标和目标区域相关。

Claims (64)

1.一种用于根据图像信息跟踪一个目标的目标跟踪装置，包括：

特征量合成装置，用于合成表示包括在所说的图像信息中的分别目标的特征量的目标特征量，以便产生合成的特征量；而且用于合成针对多个目标的全部需要的组合的每一个的特征量，以便产生所说的合成的特征量；以及

对应性建立装置，用于根据在目标区域的特征量和所说的合成的特征量之间的相似程度来建立在目标和目标区域之间的对应性，其中所说的目标区域是指从所说的图像信息提取的并且还包括该感兴趣的目标的区域；所说的对应关系建立装置通过比较由所说的特征量合成装置产生的每一个合成特征量和表示目标区域的特征量的区域特征量而建立在目标和目标区域之间的对应关系。

2.根据权利要求1的目标跟踪装置，具有：

目标区域提取装置，用于从所说的图像信息提取所说的目标区域并且提供包括关于所说的目标区域的图像信息，

跟踪状态判定装置，用于判定分别的目标或目标区域的跟踪状态，其中所说的跟踪状态是指每一个目标相对于其它目标的相对位置；以及

特征量产生装置，通过使用所说的图像信息、所说的目标区域信息和由所说的跟踪状态判定装置所实现的该判定结果而产生所说的区域特征量和目标特征量，

其中所说的特征量合成装置通过使用所说的目标特征量和由该跟踪状态判定装置实现的判定结果来产生合成特征量。

3.根据权利要求2的目标跟踪装置，其中所说的跟踪状态判定装置根据该目标区域信息和已经确定的指示该目标区域和在当前之前的目标的对应关系的对应关系信息来判定分别目标或目标区域的跟踪状态，以便提供指示该目标区域和目标的对应关系的第一区域对应关系以及所说的跟踪的状态的信息，

所说的特征量产生装置根据该当前图像信息、所说的目标区域信息、所说的第一区域对应关系信息和已被确定的对应关系信息来产生区域特征量和目标特征量，

所说的特征量合成装置根据所说的目标特征量和所说的第一区域对应关系信息产生用作将被放置于用于不同目标区域的对应关系中的候选项的合成的特征量，以便提供合成的特征量信息，其中所说的合成的特征量信息是包括合成的特征量以及在该合成的特征量和用于该合成的特征量的产生的目标之间的对应关系的信息，以及

所说的对应关系建立装置包括一个对应关系确定装置，根据所说的第一区域对应关系信息、属于是指示该区域特征量的信息的区域特征量信息、和该合成特征量信息，而将目标和目标区域相关以放置于该对应关系中，以便提供已被在目前时间确定的所说的对应关系信息。

4.根据权利要求2的目标跟踪装置，其中所说的跟踪的状态包括下列的情况之一或组合：一个单独状态，其中在一个目标区域中仅驻留单一目标；一个交叉状态，其中多个目标对应于单个目标区域；以及一个分离状态，即其中单一目标区域被分离成多个目标区域的一种过渡状态。

5.根据权利要求3的目标跟踪装置，其中所说的跟踪的状态包括下列的情况之一或组合：一个单独状态，其中在一个目标区域中仅驻留单一目标；一个交叉状态，其中多个目标对应于单个目标区域；以及一个分离状态，即其中单一目标区域被分离成多个目标区域的一种过渡状态。

6.根据权利要求3的目标跟踪装置，其中所说的该特征量产生装置产生区域特征量，每个区域特征量包括彩色直方图、区域、图像模板和相对于所说的区域标准化的彩色直方图的之一或一个组合，并且从该第一区域对应关系信息中寻找对应于该感兴趣目标的一个目标区域，并且提供彩色直方图、区域、图像模板和相对于所说的目标区域的区域标准化的色彩直方图的至少一个或一个组合作为一个目标特征量。

7.根据权利要求3的目标跟踪装置，其中所说的跟踪状态判定装置包括一个目标区域储存装置，用于储存该目标区域信息，

一个目标跟踪装置，用于根据所说的目标区域信息、已被确定的对应关系信息和在当前从所说的目标区域储存装置提供的目标区域信息之前的目标区域信息而跟踪一个目标，并且进一步用于提供指示在目标和目标区域之间的对应关系的一个第二区域对应关系信息，以及

一个状态判定装置，用于根据所说的第二区域对应关系信息、所说的目标区域信息和在当前的之前的所说的目标区域信息而判定目标跟踪的状态，并且提供所说的第一区域对应关系信息。

8.根据权利要求7的目标跟踪装置，其中所说的状态判定装置根据在目标和目标区域之间的该对应关系、从所说的第二区域对应关系信息获得的在目标区域和所说的目标区域的分离的连续周期之间的距离、以及目标区域信息的至少之一或一个组合而分组在其对应的目标区域中具有一个共同区域的目标以便把该目标和对应的目标区域分类成一个类别，并且把其对应的目标区域不同于任何其它目标的目标以及与之对应的目标区域分类成一个类别，以便便该目标和目标区域分类成多个类别，并且根据该分类的类别来判定该跟踪的状态。

9.根据权利要求8的目标跟踪装置，其中所说的跟踪状态包括属于是一种过渡状态的进行分离的状态，通过这种状态把一个目标区域分离成多个目标区域，

如果两个或多个目标区域被包括在一个分类的类别中，则所说的状态判定装置判定该类别符合在一个进行分离的状态中的条件，并且如果一个类别符合进行分离状态的条件的话，则该状态判定装置判定包括在该类别中的该目标和目标区域的跟踪的状态是进行分离的状态。

10.根据权利要求9的目标跟踪装置，其中如果该分类的类别满足进行分离的状态中的条件并且如果该分类的类别满足条件：即，两个或多个目标被包括在所说的类别中、在所说的类别中包括的目标区域之间的每一个距离都超过一个预定门限值、以及该类别中包括的该目标区域的分离的连续周期超过一个预定门限值的至少之一或一个组合，则所说的状态判定装置判定包括在该类别中的目标和目标区域的跟踪状态是所说的进行分离的状态。

11.根据权利要求9的目标跟踪装置，其中所说的跟踪的状态包括一个进行分离的状态和其中单一目标驻存在一个目标区域中的一个单独状态，并且，

如果所说的分类的类别仅包括一个目标并且如果包括在所说的类别中的目标和目标区域的跟踪的状态不是进行分离的状态，则所说的状态判定装置判定包括在所说的类别中的目标和目标区域的跟踪的状态是单独状态。

12.根据权利要求10的目标跟踪装置，其中所说的跟踪的状态包括一个进行分离的状态和其中单一目标驻存在一个目标区域中的一个单独状态，并且，

如果所说的分类的类别仅包括一个目标并且如果包括在所说的类别中的目标和目标区域的跟踪的状态不是进行分离的状态，则所说的状态判定装置判定包括在所说的类别中的目标和目标区域的跟踪的状态是单独状态。

13.根据权利要求9的目标跟踪装置，其中所说的跟踪的状态包括一个进行分离的状态以及其中多个目标是处在与一个目标区域的对应关系的一个交叉状态，并且，

如果一个分类的类别包括两个或多个目标并且如果包括在所说的类别中的目标和目标区域的跟踪的状态不是进行分离的状态，则所说的状态判定装置判定包括在所说的类别中的目标和所说的目标区域的跟踪的状态是交叉状态。

14.根据权利要求10的目标跟踪装置，其中所说的跟踪的状态包括一个进行分离的状态并且其中多个目标是处在与一个目标区域的对应关系的一个交叉状态，并且

如果一个分类的类别包括两个或多个目标并且如果包括在所说的类别中的目标和目标区域的跟踪的状态不是进行分离的状态，则所说的状态判定装置判定包括在所说的类别中的目标和所说的目标区域的跟踪的状态是交叉状态。

15.根据权利要求3的目标跟踪装置，其中所说的特征量产生装置包括：

特征量提取装置，用于从图像信息、目标区域信息和第一区域对应关系信息提取区域特征量，并且用于提供属于是指示所说的区域特征量的信息的所说的区域特征量信息；

特征量存储装置，用于存储目标特征量并且选择该存储的目标特征量，以便按照要求提供该选择的目标特征量；以及

特征量更新装置，用于根据所说的区域特征量信息、所说的第一区域对应关系信息或已被确定的对应关系信息以及在当前之前产生的目标特征量而更新存储在所说的特征量存储装置中的所说的目标特征量。

16.根据权利要求15的目标跟踪装置，其中

所说的跟踪状态包括属于是一种过渡状态的进行分离的状态，通过这种状态把一个目标区域分离成多个目标区域，以及

所说的特征量提取装置把指示不需要针对目标区域建立对于目标的对应关系的信息包括在区域特征量信息中，表示在其跟踪状态中的除进行分离的状态之外的状态，以及

所说的对应关系确定装置从该对应关系的建立中排除在所说的区域特征量信息中被指示为不需要建立对于目标的对应关系的目标区域。

17.根据权利要求15的目标跟踪装置，其中所说的跟踪的状态包括其中单一目标驻存在一个目标区域中的一种单独状态，以及

所说的特征量更新装置根据所说的第一区域对应关系信息或已经确定的对应关系信息判定一个目标的跟踪的状态是否为单独的状态，以及

如果该目标的跟踪的状态是除了该单独状态之外的状态，则不更新存储在所说的特征量存储装置中的该目标特征量。

18.根据权利要求3的目标跟踪装置，其中所说的特征量合成装置根据由所说的特征量产生装置产生的该目标特征量和该第一区域对应关系信息确定全部可能的目标和目标区域的组合，并且

仅合成针对该确定的目标和目标区域的组合的目标特征量，以便产生合成的特征量。

19.根据权利要求3的目标跟踪装置，其中特征量合成装置计算合成比例，该合成比例是用于调整该目标特征量被合成的比例的系数，并且根据所说的合成比例和目标特征量产生合成的特征量。

20.根据权利要求3的目标跟踪装置，其中所说的特征量合成装置从该特征量产生装置接收区域特征量以及目标特征量，在该接收的区域特征量信息和目标特征量的基础上计算根据期望的合成比例的合成的特征量，并且提供针对产生在该计算的合成的特征量和该区域特征量之间的全部相似性程度的最高值的合成比例的合成的特征量。

21.根据权利要求3的目标跟踪装置，其中所说的跟踪的状态包括一种属于是过渡状态的进行分离的状态，通过所说的进行分离的状态将一个目标区域分离成多个目标区域，以及

所说的特征量合成装置仅针对被指示为具有进行分离的状态作为其跟踪状态的目标区域而产生合成的特征量。

22.根据权利要求3的目标跟踪装置，其中所说的目标特征量包括一个目标的一个区域，以及

所说的特征量合成装置根据包括在所说的目标特征量中的目标的区域计算属于是用于调整该目标特征量被合成的比例的合成比例，并且从所说的合成比例和所说的目标特征量产生合成的特征量。

23.根据权利要求22的目标跟踪装置，其中所说的特征量合成装置根据该目标的区域中的变化把该合成比例限制在一个预定范围之内。

24.根据权利要求3的目标跟踪装置，其中所说的特征量合成装置从该特征量产生装置接收与目标特征量一起的区域特征量，根据该接收的区域特征量和目标特征量计算在该目标区域中的变化范围之内的合成的特征量，并且提供具有与该感兴趣的目标区域的区域特征量最高相似程度的合成的特征量。

25.根据权利要求3的目标跟踪装置，其中所说的目标特征量包括表示一个目标的形状和颜色的一个图像模板，并且

所说的特征量合成装置从该图像模板和区域特征量判定每一个目标的前后(back-to-belly)关系，并且通过根据分别判定的所说的目标的前后关系而合成该图像模板来获得该合成的特征量。

26.根据权利要求3的目标跟踪装置，其中所说的对应关系确定装置提供有：

对应关系计算装置，用于根据所说的合成特征量信息、所说的区域特征量信息和所说的第一区域对应关系信息从可能以对应关系相关的该目标和目标区域的全部可能的组合中计算该最高相似性的目标和目标区域的组合，选择该计算的目标和目标区域的组合作为一个最佳组合，并且产生指示在目标和目标区域之间的该最佳对应关系的最佳对应关系信息，并且

对应关系判定装置，用于根据所说的第一区域对应关系信息和所说的最佳对应关系信息确定在目标和目标区域之间的对应关系，并且提供已经确定的属于是包括已被判定的目标和目标区域之间对应关系的信息的该对应关系信息。

27.根据权利要求26的目标跟踪装置，其中所说的对应关系计算装置针对目标和目标区域的全部可能组合的每一个计算一个总体相似程度，所说的总体相似程度是在该目标区域的特征量和在每一个组合中的合成的特征量之间该相似的一个取和，并且判定为是基于具有所说的全部可能组合的最高的、总体相似程度的组合的最高相似性的组合。

28.根据权利要求26的目标跟踪装置，其中所说的第一区域对应关系信息包括关于指示一个目标区域是否是在休止或运动的休止/运动状态的信息，和

所说的对应关系计算装置从所说的全部可能的组合中排除在关于一个休止/运动状态的信息中被指示为在休止状态的该目标和目标区域的组合。

29.根据权利要求26的目标跟踪装置，其中如果能够从该目标和目标区域的集的相似程度中获得的组合相似程度等于或低于一个预定门限值，而所说的目标和目标区域的集构成被判定是排列为最高相似性的组合，则所说的对应关系计算装置从排列为目标和目标区域的全部可能组合的最高的相似性的组合相似程度的组合中选择在该预定门限值之内的该组合相似程度的组合，把对于该选择的组合所共有的目标和目标区域的对应关系包括到该最佳对应关系信息中作为最佳对应关系，而且针对具有未被包括在对于该选择的组合所共有的目标和目标区域的对应关系中的对应关系的目标和目标区域，把指示不存在该目标和目标区域之间的最佳对应关系的信息包括到该最佳对应关系信息中，

针对未被指示为在所说的最佳对应关系信息中不对任何目标区域有最佳的对应关系的目标，所说的对应关系判定装置提供把在所说的最佳对应关系信息中包括的目标和目标区域的对应关系的信息指示作为已被确定的对应关系信息；并且

针对被指示为在所说的最佳对应关系信息中不对任何目标区域有最佳的对应关系的目标，所说的对应关系判定装置提供信息，该信息把在所说的第一区域对应关系信息中包括的目标和目标区域的对应关系的信息指示作为已被确定的对应关系信息。

30.根据权利要求27的目标跟踪装置，其中如果能够从该目标和目标区域的集的相似程度中获得的组合相似程度等于或低于一个预定门限值，而所说的目标和目标区域的集构成被判定是排列为最高相似性的组合，则所说的对应关系计算装置从排列为目标和目标区域的全部可能组合的最高的相似性的组合相似程度的组合中选择在该预定门限值之内的该组合相似程度的组合，把对于该选择的组合所共有的目标和目标区域的对应关系包括到该最佳对应关系信息中作为最佳对应关系，而且针对具有未被包括在对于该选择的组合所共有的目标和目标区域的对应关系中的对应关系的目标和目标区域，把指示不存在该目标和目标区域之间的最佳对应关系的信息包括到该最佳对应关系信息中，

针对未被指示为在所说的最佳对应关系信息中不对任何目标区域有最佳的对应关系的目标，所说的对应关系判定装置提信息，该信息供把在所说的最佳对应关系信息中包括的目标和目标区域的对应关系的信息指示作为已被确定的对应关系信息；并且

针对被指示为在所说的最佳对应关系信息中不对任何目标区域有最佳的对应关系的目标，所说的对应关系判定装置提供信息，该信息把在所说的第一区域对应关系信息中包括的目标和目标区域的对应关系的信息指示作为已被确定的对应关系信息。

31.根据权利要求26的目标跟踪装置，其中所说的跟踪的状态包括一种属于是过渡状态的进行分离的状态，通过所说的进行分离的状态将一个目标区域分离成多个目标区域，并且

所说的对应关系判定装置确定在目标和目标区域之间的对应关系，该对应关系将被在仅针对展示一种进行分离的状态作为其跟踪状态的目标区域的最佳对应关系信息中指示。

32.根据权利要求26的目标跟踪装置，其中所说的跟踪的状态包括一种属于是过渡状态的进行分离的状态，通过所说的进行分离的状态将一个目标区域分离成多个目标区域，并且

所说的对应关系判定装置提供包括在该第一区域对应关系信息中的在目标和目标区域之间的对应关系作为仅针对在其跟踪状态中展现除进行分离的状态之外的状态的目标区域的已被确定的对应关系信息。

33.用于根据图像信息跟踪一个目标的目标跟踪方法，包括步骤：

合成表示包括在所说的图像信息中的分别目标的特征量的目标特征量，以便产生一个合成的特征量，其中，针对多个目标的全部需要的组合的每一个合成特征量，以便产生一个合成的特征量；

根据所说的合成的特征量和所说的目标区域的特征量之间的相似程度建立在一个或几个目标和目标区域之间的对应关系，其中所说的目标区域是从所说的图像信息中提取的并且包括所说的一个或几个目标的一个区域；以及

通过比较产生的合成的特征量和表示所说的目标区域的特征量的区域特征量而建立在一个或几个目标和目标区域之间的对应关系。

34.根据权利要求33的目标跟踪方法，包括步骤：

从所说的图像信息提取所说的目标区域，并且提供包括关于所说的目标区域的图像信息的目标区域信息，

针对一个或几个目标区域的每一个判定表示相对于另一目标的一个相对位置的一个跟踪状态，

通过使用所说的图像信息、目标区域信息、和所说的判定结果而产生区域特征量、目标特征量，以及

通过使用所说的目标特征量和所说的判定结果而产生合成的特征量。

35.根据权利要求34的目标跟踪方法，包括步骤：

根据所说的目标区域信息和已经确定的指示在目标区域和当前之前的目标之间的对应关系的对应关系信息而判定每一目标或每一目标区域的跟踪的状态，并且提供指示在该目标和目标区域之间的对应关系以及跟踪的状态的第一区域对应关系信息，

根据该当前图像信息、所说的目标区域信息、所说的第一区域对应关系信息和已被确定的对应关系信息来产生区域特征量和目标特征量，

根据所说的目标特征量和所说的第一区域对应关系信息产生一个合成的特征量，该合成的特征量用作放置在针对每一个目标区域的对应关系中的一个候选项，并且提供该合成特征量信息，该合成特征量信息是包括所说的合成的特征量以及合成的特征量与用于产生感兴趣的合成的特征量的目标之间的对应关系的信息，以及

根据所说的第一区域以及应关系信息、属于是指示所说的区域特征量的信息的区域特征量信息、以及所说的合成特征量信息而建立在目标和目标区域之间的对应关系，并且提供已被目前确定的所说的对应关系信息。

36.根据权利要求34的目标跟踪方法，其中所说的跟踪状态包括下列状态之一或一种组合：其中仅单一目标存在于一个目标区域中的单独状态、其中多个目标存在于单一目标区域中的交叉状态、以及属于是一种过渡状态的进行分离的状态，通过该进行分离的状态，一个目标区域分离成多个目标区域。

37.根据权利要求35的目标跟踪方法，其中所说的跟踪状态包括下列状态之一或一种组合：其中仅单一目标存在于一个目标区域中的单独状态、其中多个目标存在于单一目标区域中的交叉状态、以及属于是一种过渡状态的进行分离的状态，通过该进行分离的状态，一个目标区域分离成多个目标区域。

38.根据权利要求35的目标跟踪方法，包括步骤：

产生彩色直方图、区域、图像模板以及相对于分别的区域标准化的彩色直方图的至少之一或一个组合作为目标区域的一个区域特征量，以及

从所说的第一区域对应关系信息中寻找对应于所说的目标的目标区域，并且产生彩色直方图、区域、图像模板以及相对于所说的目标区域的分别区域标准化的彩色直方图的至少之一或一个组合作为一个目标特征量。

39.根据权利要求35的目标跟踪方法，包括步骤：

存储所说的目标区域信息，

根据所说的目标区域信息、已经确定的对应关系信息和在当前之前的目标区域信息而跟踪一个目标，以便提供指示在所说的目标和目标区域之间对应关系的一个第二区域对应关系信息，以及

根据所说的第二区域对应关系信息、所说的目标区域信息和在当前之前的所说的目标区域信息而判定一个目标跟踪的状态，并且提供所说的第一区域对应关系信息。

40.根据权利要求39的目标跟踪方法，包括步骤：

通过下列方式把目标和目标区域分类成多个类别：

根据在对应的目标区域中具有共同区域的那些目标分组该目标，以便将所说的目标和对应目标区域注册在一个类别中；并且针对与对应于任何其它目标的目标区域不同的目标区域对应的目标，根据在目标和目标区域之间的对应关系、在目标区域之间的距离、以及从该第二区域对应关系信息和该目标区域信息计算的用于目标区域的正在进行分离的持续周期，把该目标和该对应的目标区域注册在一个类别中；并且

根据该分类的类别判定该跟踪的状态。

41.根据权利要求40的目标跟踪方法，其中所说的跟踪的状态包括一种属于是过渡状态的进行分离的状态，通过该进行分离的状态将单一目标区域分离成多个目标区域，并且

所说的目标跟踪方法包括步骤：

如果一个分类的类别包括两个或更多的目标区域，则判定该分类的类别符合正在进行分离的状态的条件，并且

如果一个类别满足该正在进行分离的状态的条件，则根据跟踪该目标的状态和包括在感兴趣的类别中的目标区域来判定该进行分离的状态。

42.根据权利要求41的目标跟踪方法，包括步骤：

如果该分类的类别符合该进行分离的状态的条件并且还满足下列条件的至少之一或一个组合，则该目标跟踪方法判定包括在该类别中的目标和目标区域的跟踪状态是一个进行分离的状态：所说的类别包括两个或更多的目标、包括在所说的分类中的在目标区域之间的距离超过一个预定门限值、以及包括在所说的类别中的该目标区域的分离的连续周期超过一个预定门限值。

43.根据权利要求41的目标跟踪方法，其中所说的跟踪的状态包括进行分离的状态和其中单一目标存在于一个目标区域中的单独状态，并且所说的目标跟踪方法包括步骤：

如果该分类的类别包括单一目标并且包括在该类别中的目标和目标区域的跟踪的状态都不是进行分离的状态，则判定该目标和目标区域的跟踪的状态是单独状态。

44.根据权利要求42的目标跟踪方法，其中所说的跟踪的状态包括进行分离的状态和其中单一目标存在于一个目标区域中的单独状态，并且所说的目标跟踪方法包括步骤：

如果该分类的类别包括单一目标并且包括在该类别中的目标和目标区域的跟踪的状态都不是进行分离的状态，则判定该目标和目标区域的跟踪的状态是单独状态。

45.根据权利要求41的目标跟踪方法，其中所说的跟踪的状态包括进行分离的状态和其中多个目标对应于一个目标区域的交叉状态，并且所说的目标跟踪方法包括步骤：

如果该类别包括两个或更多的目标并且包括在该类别中的目标和目标区域的跟踪的状态都不是该进行分离的状态，则判定包括在该分类的类别中的目标和目标区域的跟踪状态是交叉状态。

46.根据权利要求42的目标跟踪方法，其中所说的跟踪的状态包括进行分离的状态和其中多个目标对应于一个目标区域的交叉状态，并且所说的目标跟踪方法包括步骤：如果该类别包括两个或更多的目标并且包括在该类别中的目标和目标区域的跟踪的状态都不是该进行分离的状态，则判定包括在该分类的类别中的目标和目标区域的跟踪状态是交叉状态。

47.根据权利要求35的目标跟踪方法，包括步骤：

从所说的图像信息、所说的目标区域信息和所说的第一区域和应关系信息提取区域特征量，并且提供指示所说的区域特征量的信息的区域特征量信息，

存储所说的目标特征量，并且选择将被按照要求提供的该存储的目标特征量，并且

根据所说的区域特征量信息、所说的第一区域对应关系信息或该已经确定的对应关系信息以及在当前之前产生的该目标特征量而更新所说的存储的目标特征量。

48.根据权利要求47的目标跟踪方法，其中所说的跟踪的状态包括进行分离的状态，该状态是一个目标区域分离成多个目标区域的一个过渡状态，并且所说的目标跟踪方法包括步骤：

针对在其跟踪状态中被指示为具有除了该进行分离状态之外的状态的目标区域，把指示不需要与任何目标建立对应关系的信息包括到该区域特征量信息中，并且

从对应关系的建立中排除那些其中该区域对应关系信息指示不需要与任何目标建立对应关系信息的目标区域。

49.根据权利要求47的目标跟踪方法，其中所说的跟踪的状态包括其中单一目标存在于一个目标区域中的单独状态，并且所说的目标跟踪方法包括步骤：

根据所说的第一区域对应关系信息或已被确定的对应关系信息来判定该跟踪的状态是否为该单独的状态，并且

如果一个目标的跟踪的状态是除了该单独状态之外的任何状态，则跳过该更新存储的目标特征量的步骤。

50.根据权利要求35的目标跟踪方法，包括步骤：

根据所说的目标特征量和所说的第一区域对应关系信息，确定目标和目标区域的全部可能的组合，并且

合成目标特征量，以便产生仅针对目标和目标区域的确定的组合的合成的特征量。

51.根据权利要求35的目标跟踪方法，包括步骤：

寻找合成比例，所说的合成比例是用于调整将被合成的所说的目标特征量的比例的系数，并且

根据所说的合成比例和目标特征量产生合成的特征量。

52.根据权利要求35的目标跟踪方法，包括步骤：

接收连同目标特征量一起的区域特征量，根据该接收的区域特征量信息和该目标特征量计算用于任意合成比例的合成的特征量，并且提供对应于在区域特征量和该计算合成的特征量之间的最高相似程度的合成的特征量。

53.根据权利要求35的目标跟踪方法，其中所说的跟踪的状态包括属于是一种过渡状态的进行分离的状态，通过该进行分离的状态，一个目标区域分离成多个目标区域，并且所说的目标跟踪方法包括步骤：

仅针对在其跟踪状态中指示为在进行分离的状态中的目标区域产生合成的特征量。

54.根据权利要求35的目标跟踪方法，其中所说的目标特征量包括一个目标的一个区域，并且所说的目标跟踪方法包括步骤：

根据该目标的区域计算用于调整将被合成的该目标特征量的比例的一个系数的一个合成比例，并且从该计算的合成比例以及目标特征量产生一个合成的特征量。

55.根据权利要求54的目标跟踪方法，其中所说的合成比例被限制在根据该目标的区域的变化而预定的一个范围之内。

56.根据权利要求35的目标跟踪方法，包括步骤：

连同所说的目标特征量一起接收所说的区域特征量，根据该接收的区域特征量和目标特征量产生在该目标区域中的变化的范围之内的合成的特征量，并且提供具有对于该感兴趣的目标区域的区域特征量最高相似程度的合成的特征量。

57.根据权利要求35的目标跟踪方法，其中所说的目标特征量包括一个图像模板，该图像模板描述一个目标的形状和/或彩色，并且所说的目标跟踪方法包括步骤：

根据该图像模板和区域特征量判定该目标的前后(back-to-belly)关系，并且根据所说的判定的该目标的前后关系而合成该图像模板以便获得一个合成的特征量。

58.根据权利要求35的目标跟踪方法，包括步骤：

根据所说的合成特征量信息、所说的区域特征量信息和所说的第一区域对应关系信息，从能够以对应关系相关的目标和目标区域的全部可能组合中计算具有最高相似程度的目标和目标区域的组合，选择该计算的目标和目标区域的组合作为一个最佳对应关系的目标和目标区域，并且产生指示该目标和目标区域的最佳对应关系的该最佳对应关系信息；并且

根据所说的第一区域对应关系信息和所说的最佳对应关系信息确定目标和目标区域之间的对应关系，并且提供已经确定的属于是包括该目标和目标区域之间确定的对应关系的信息的该对应关系信息。

59.根据权利要求58的目标跟踪方法，包括步骤：

计算针对目标和目标区域的全部可能组合的总计相似程度，其中所说的总计相似程度是在该目标区域的特征量和在每一个组合中的合成的特征量之间该相似程度的一个取和，并且判定全部所说的可能组合的该最高的总计相似程度的组合是最高相似性的组合。

60.根据权利要求58的目标跟踪方法，其中所说的第一区域对应关系信息包括关于指示一个目标区域是否是在休止或运动的休止/运动状态的信息，并且所说的目标跟踪方法包括步骤：从目标和目标区域的全部可能的组合中排除由关于休止/运动状态的信息指示为在休止状态中的目标和目标区域的组合。

61.根据权利要求58的目标跟踪方法，包括步骤：

如果从组成被判定为最高相似性的一个组合的该目标和目标区域的集合的相似程度获得的该组合的相似程度等于或低于一预定门限值，则从目标和目标区域的全部可能组合的排列为最高相似性的组合相似性程度的组合中选择在一个预定门限值之内的组合相似性程度的组合，把在该选择组合的共同的目标和目标区域之间的对应关系包括到该最佳对应关系信息中作为最佳对应关系，并且针对未被包括在该选择的组合所共有的该目标和目标区域的对应关系中的对应关系中的目标和目标区域，进一步把指示在任何目标和目标区域之间不存在一个最佳对应关系的信息包括到该最佳对应关系信息中；

针对未被在所说的最佳对应关系信息中指示的不存在与目标区域的最佳对应关系的目标，提供指示在感兴趣的目标和包括在所说的最佳对应关系信息中的目标区域之间的对应关系的信息，作为已经确定的对应关系信息；并且

针对被在该最佳对应关系信息中指示的不存在与目标区域的最佳对应关系的目标，提供指示在感兴趣的目标和包括在第一区域对应关系信息中的目标区域之间的对应关系的信息，作为已经确定的对应关系信息；

62.根据权利要求59的目标跟踪方法，包括步骤：

如果从组成被判定为最高相似性的一个组合的该目标和目标区域的集合的相似程度中获得的该组合的相似程度等于或低于一预定门限值，则从目标和目标区域的全部可能组合的排列为最高相似性的组合相似性程度的组合中选择在一个预定门限值之内的组合相似性程度的组合，把在该选择组合的共同的目标和目标区域之间的对应关系包括到该最佳对应关系信息中作为最佳对应关系，并且针对未被包括在该选择的组合所共有的该目标和目标区域的对应关系中的对应关系中的目标和目标区域，进一步把指示在任何目标和目标区域之间不存在一个最佳对应关系的信息包括到该最佳对应关系信息中；

针对未被在所说的最佳对应关系信息中指示的不存在与目标区域的最佳对应关系的目标，提供指示在感兴趣的目标和包括在所说的最佳对应关系信息中的目标区域之间的对应关系的信息，作为已经确定的对应关系信息；并且

针对被在该最佳对应关系信息中指示的不存在与目标区域的最佳对应关系的目标，提供指示在感兴趣的目标和包括在第一区域对应关系信息中的目标区域之间的对应关系的信息，作为已经确定的对应关系信息；

63.根据权利要求58的目标跟踪方法，其中所说的跟踪的状态包括属于是一种过渡状态的进行分离的状态，通过该进行分离的状态，一个目标区域分离成多个目标区域，并且所说的目标跟踪方法包括步骤：

仅针对被指示为在其跟踪状态中具有进行分离的状态的目标区域，把在目标和目标区域之间的对应关系确定为与在该最佳对应关系信息中指示的对应关系完全相同。

64.根据权利要求58的目标跟踪方法，其中所说的跟踪的状态包括属于是一种过渡状态的进行分离的状态，通过该进行分离的状态，一个目标区域分离成多个目标区域，并且所说的目标跟踪方法包括步骤：

仅针对以其跟踪状态被指示为具有除进行分离的状态以外的状态的目标区域，提供包括在该第一区域对应关系信息中的目标和目标区域之间对应关系作为已被确定的对应关系信息。

Images