CN102196179A

CN102196179A - 图像处理装置和图像处理方法

Info

Publication number: CN102196179A
Application number: CN2011100656981A
Authority: CN
Inventors: 高木芳德
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-03-19
Filing date: 2011-03-14
Publication date: 2011-09-21
Also published as: US20110228121A1; US8600114B2

Abstract

本发明提供了图像处理装置和图像处理方法。这里公开了一种图像处理装置，包括：代表图像创建块，被配置为创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及符号描绘块，被配置为基于预定场景中的每个画面的全画面运动，在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号，其中，符号描绘块根据要在输出设备上显示的代表图像的显示大小来描绘指示全画面运动的符号。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法，更具体而言涉及被配置为创建并集的图像(image of union)作为每个场景的代表图像的图像处理装置和图像处理方法。

背景技术

过去，无法被完全容纳在成像设备(相机)的一个画面中的被摄物是通过使用摇摄(pan)或俯仰(tilt)技术以分割在两个或更多个帧中的形式来拍摄的。图36示出了通过使用摇摄技术利用成像设备(相机)来拍摄在水平方向上延伸的被摄物的示例。

另外，已经有这样的做法，即对拍摄或创建的图像信号进行处理以为每个场景选择预定的画面(例如第一个画面)，从而提供所选画面的图像作为代表图像。在此情况下，例如，观看者或编辑者无法掌握如上所述通过使用摇摄技术利用成像设备(相机)拍摄的、未被全部容纳在成像设备(相机)的一个画面中的被摄物的整个图像。

此外，已知一种技术，其中，例如，通过如上所述利用摇摄技术拍摄被摄物而获得的图像信号被处理以创建并集(集合之和)的图像，在这种并集的图像中两个或更多个画面(帧)的图像被相互链接在一起(参考日本专利申请早期公布No.Hei 07-298137和日本专利申请早期公布No.Hei06-326965)。

发明内容

考虑上述并集的图像(并集图像)被创建作为每个场景的代表图像(缩略图)。如上所述创建的代表图像使得例如观看者或编辑者可以掌握例如如上所述通过使用摇摄技术利用成像设备(相机)拍摄的、未被全部容纳在成像设备(相机)的一个画面中的被摄物的整个图像。

然而，例如，此代表图像不提供诸如以何种速度摇摄被摄物之类的信息。这造成了一个问题，即图像的观看者或编辑者不能够不仅概览到在某个场景中“示出了什么”而且概览到“以何种表现方式示出了什么”。

因此，本发明处理了与现有技术方法和装置相关联的上述和其他问题，并且通过提供这样一种图像处理装置和图像处理方法来解决所处理的问题：这种图像处理装置和图像处理方法被配置为使得在场景代表图像由并集的图像构成的情况下不仅可以了解场景内的整个图像，而且可以了解该场景内的每个图像的运动。

在实现本发明时，根据其一个实施例，提供了一种图像处理装置。该图像处理装置具有：代表图像创建块，该代表图像创建块被配置为创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及符号描绘块，该符号描绘块被配置为基于预定场景中的每个画面的全画面运动，在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号。在此图像处理装置中，符号描绘块根据要在输出设备上显示的代表图像的显示大小来描绘指示全画面运动的符号。

在上述实施例中，代表图像创建块创建通过相互链接构成预定场景的画面的图像而获得的并集图像作为代表图像。然后，基于预定场景中的每个画面的全画面运动，符号描绘块在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号。在此情况下，指示全画面运动的符号是根据要在输出设备上显示的代表图像的显示大小来描绘的。

如上所述，在上述实施例中，指示全画面运动的符号被描绘在由并集图像构成的场景代表图像的边缘上。因此，此新颖配置使得用户不仅可以了解每个场景中的整个图像，还可以了解一个场景中的每个画面的运动。此外，根据输出设备中代表图像的显示大小来描绘指示全画面运动的符号。因此，如果输出设备中代表图像的显示大小相对较小，则可以确保每个符号的可见性。

例如，上述实施例还具有全画面运动计算块，该全画面运动计算块被配置为处理预定场景的图像信号以计算预定场景中的每个画面的全画面运动。例如，符号描绘块基于由全画面运动计算块计算出的预定场景中的每个画面的全画面运动，在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号。

例如，上述实施例还具有累积数计算块，该累积数计算块被配置为基于预定场景中的每个画面的全画面运动来计算每个画面的累积数。在此配置中，如果发现在预定画面中存在积累，则累积数计算块将该预定画面的累积数设定到0并且将累积计数器递增1，而如果没有发现存在积累，则累积数计算块将前一画面的累积数设定成累积计数器的值，将该预定画面的累积数设定到1并将累积计数器的值设定到1，并且将最末画面的累积数设定成累积计数器的值。例如，基于由累积数计算块计算出的每个画面的累积数，符号描绘块在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号。

在上述实施例中，例如，如果预定画面的累积数至少是1，则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘符号。

在上述实施例中，例如，如果预定画面的累积数至少是1并且不大于N(N是至少为1的整数)，则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘普通符号作为符号；如果预定画面的累积数大于N，则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘累积符号作为符号。

在上述实施例中，例如，符号描绘块描绘在与全画面运动的方向正交的方向上延伸的线段形状的符号作为符号，并且把在预定画面的累积数不大于N的情况下要描绘的普通符号的长度设定到与该预定画面的全画面运动的大小相对应的长度。例如，符号描绘块把在预定画面的累积数至少为1并且不大于N的情况下要描绘的普通符号的长度h设定到H*Mv/Mvmax，其中H是输出设备中的边缘的显示区域中的与全画面运动的方向正交的方向的长度，Mvmax是全画面运动之中的最大运动，并且Mv是每个画面的全画面运动。在此情况下，在每个画面中要描绘的普通符号的长度对应于该画面的全画面运动，从而增加了这个描绘的普通符号所指示的信息的量。

在上述实施例中，例如，符号描绘块判定要描绘的符号彼此之间的邻近度，并且根据此判定的结果，改变在预定画面的累积数至少为1并且不大于N的情况下要描绘的普通符号的描绘方式。在此情况下，例如，符号描绘块按照关系W*Vmin(S+T)来计算显示区域上彼此最接近的符号之间的距离d，其中S是全画面运动的方向上一个画面的长度，T是全画面运动的总值，Vmin是当在全画面运动中未发现积累时的最小运动，并且W是输出设备中代表图像的显示区域的全画面运动的方向上的长度，从而基于如此获得的距离d来判定符号之间的邻近度。从而，根据符号邻近度判定的结果来改变在预定画面的累积数不大于N的情况下要描绘的符号的描绘方式，使得在输出设备的代表图像的显示大小相对较小的情况下用户可以根据描绘的符号很容易地了解全画面运动。

在上述实施例中，例如，符号描绘块对每预定数目的画面描绘普通符号，使得在全画面运动的方向上要描绘的符号之间的距离在输出设备中的显示区域中超过预定值。在此情况下，普通符号在描绘之前被疏化，从而，如果输出设备中代表图像的显示大小相对较小，则描绘的普通符号不会太过拥挤而导致用户难以了解全画面运动。

在上述实施例中，例如，符号描绘块描绘在与全画面运动的方向正交的方向上延伸的线段形状的符号作为符号，把在预定画面的累积数至少为1并且不大于N的情况下要描绘的普通符号的长度h设定到H*Mv/Mvmax，其中H是输出设备中的边缘的显示区域中的与全画面运动的方向正交的方向的长度，Mvmax是全画面运动之中的最大运动，并且Mv是每个画面的全画面运动，并且以深色描绘对于每预定数目的画面要描绘的普通符号，而以浅色描绘在其他画面中要描绘的普通符号。

在上述情况下，例如，因为以深色描绘的普通符号被疏化，所以如果输出设备中代表图像的显示大小相对较小，则描绘的普通符号不会太过拥挤而使得用户难以了解全画面运动。另外，在此情况下，每个画面中描绘的普通符号的长度对应于该画面的全画面运动，从而增加了该普通符号指示的信息量。

在上述实施例中，例如，如果在全画面运动的方向上要描绘的符号之间的距离在输出设备的显示画面区域上小于预定值，则符号描绘块根据每个画面与前一画面之间的全画面运动差异与加速时段相应地描绘加速符号，与匀速时段相应地描绘匀速符号，并且与减速时段相应地描绘减速符号。

在上述情况下，对于指示全画面运动的符号，描绘缩减的符号(加速符号、匀速符号和减速符号)。如果输出设备中代表图像的显示大小相对较小，则可以减少要描绘的符号的数目，从而防止描绘的符号太过拥挤而使得用户难以了解全画面运动。此外，此新颖配置使得用户可以容易地了解每个全画面运动的加速时段、匀速时段和减速时段。

在上述实施例中，例如，匀速数计算块基于预定场景中每个画面与前一画面之间的全画面运动差异来计算每个画面的匀速数。如果在预定画面上发现存在积累，则匀速数计算块将该预定画面的匀速数设定到0并且将匀速计数器递增1；如果发现不存在积累，则匀速数计算块将前一画面的匀速数设定成匀速计数器的值，将预定画面的匀速数设定到1，并且将匀速计数器的值设定到1；并且，如果预定画面的匀速数至少为1并且不大于M(M是至少为1的整数)，则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘加速符号和减速符号之一，而如果预定画面的匀速数超过M，则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘匀速符号。

例如，匀速数计算块通过判定预定画面的全画面运动差异是否在阈值范围内来判定是否存在积累。另外，例如，累积数计算块通过判定用于积累每个画面的全画面运动差异的累积手段的累积数是否在阈值范围内来判定是否存在积累。应当注意，如果没有发现积累则累积手段被重置到0。

根据本发明的实施例，在由并集图像构成的场景代表图像的边缘上描绘指示全画面运动的符号，从而用户不仅能够掌握场景中的整个图像，还能够掌握该场景中的每个画面的运动。

另外，根据本发明的实施例，根据代表图像在输出设备中的显示大小来描绘指示全画面运动的符号，从而，即使输出设备中代表图像的显示大小相对较小，也可以提供良好的符号可见性。

附图说明

从以下参考附图对实施例的描述中将清楚本发明的其他特征和优点，附图中：

图1是图示出作为本发明第一实施例实现的图像处理装置的示例性配置的框图；

图2是指示出累积数计算块中的处理过程的一个示例的流程图；

图3是指示出当构成预定场景的帧(画面)的数目等于40时，每个帧的全画面运动Mv和通过累积数计算处理获得的每个帧(每个画面)的累积数和总值的示例的表格；

图4是指示出在符号描绘块中要执行的示例性处理过程的流程图；

图5是图示出当构成预定场景的帧(画面)的数目等于40时每个符号和累积数的描绘示例的示图；

图6A和6B是图示出当构成预定场景的帧(画面)的数目等于40时每个符号和累积数的另一描绘示例的示图；

图7是指示出在依据积累偏差Amv是否在阈值内判定积累的存在时累积数计算块中要执行的示例性处理过程的流程图；

图8是指示出当指示累积顺序的符号(累积ID)被添加到累积符号时在符号描绘块中要执行的示例性处理过程的流程图；

图9是图示出当全画面运动的方向从正方向改变成反方向时描绘每个符号、累积数和累积ID的示例的示图；

图10A和10B示出了当全画面运动的方向从正方向改变成反方向时描绘符号、累积数和累积ID的其他示例；

图11是图示出一种示例性描绘的示图，在该描绘中，全画面运动被向量分解到水平方向和垂直方向中，并且在每个向量方向上描绘符号；

图12A、12B和12C是图示出指示全画面运动的符号的除线段以外的示例的示图；

图13是指示出符号描绘块要执行的示例性处理过程的流程图；

图14A和14B是图示出符号描绘处理所描绘的示例性描绘的示图；

图15是图示出符号描绘处理所描绘的示例性描绘的示图；

图16是图示出作为本发明第二实施例实现的图像处理装置的示例性配置的框图；

图17A和17B是指示出用于计算显示区域中最邻近处的符号的距离d的画面的全画面运动方向上的长度S、全画面运动的总值T和输出设备中的代表图像的显示区域的全画面运动方向上的长度W的示图；

图18是指示出符号描绘块要执行的示例性处理过程的流程图；

图19是指示出符号描绘块要执行的另一示例性处理过程的流程图；

图20是图示出符号描绘处理所描绘的示例性描绘的示图；

图21是指示出符号描绘块要执行的另一示例性处理过程的流程图；

图22是符号描绘处理所描绘的示例性描绘；

图23是指示出符号描绘块要执行的另一示例性处理过程的流程图；

图24是图示出符号描绘处理所描绘的示例性描绘的示图；

图25是图示出作为本发明第三实施例实现的图像处理装置的示例性配置的框图；

图26是指示出匀速数计算块要执行的示例性处理过程的流程图；

图27是图示出当构成预定场景的帧(画面)的数目为40时每个帧的全画面运动Mv、利用每个帧的这个全画面运动Mv获得的累积数、总值、运动差异、匀速数的一个示例的示图；

图28是指示出符号描绘块要执行的示例性处理过程的流程图；

图29是指示出符号描绘块要执行的另一示例性处理过程的流程图；

图30是图示出符号描绘处理所描绘的示例性描绘的示图；

图31是图示出加速、匀速和减速的缩减的符号的变形例的示图；

图32A、32B、32C、32D、32E和32F是图示出通过使用缩减的符号来描绘的示例性描绘的示图；

图33A、33B和33C是图示出通过使用缩减的符号来描绘的其他示例性描绘的示图；

图34是图示出作为本发明第四实施例实现的图像处理装置的框图；

图35是指示出符号描绘处理要执行的示例性处理过程的流程图；并且

图36是图示出通过使用摇摄技术利用成像设备(相机)拍摄在水平方向上延伸的被摄物的示例的示图。

具体实施方式

将参考附图利用本发明的实施例来更详细描述本发明。将按以下顺序进行描述。

1.第一实施例

2.第二实施例

3.第三实施例

4.第四实施例

1.第一实施例

图像处理装置的示例性配置

现在，参考图1，其中示出了作为本发明第一实施例实现的图像处理装置100的示例性配置。此图像处理装置100具有图像输入块101、代表图像创建块102、全画面运动计算块103、累积数计算块104、符号描绘块105以及输出设备接口(I/F)106。

图像输入块101把要处理的图像信号输入到图像处理装置100中。通过利用成像设备(例如相机)拍摄被摄物而获得的这个要处理的图像信号是直接从该成像设备提供来的或者是从预定的记录介质读取而提供来的。此外，此图像输入块101通过处理输入的图像信号来检测场景改变点、按场景分割输入的信号，并且将经分割的图像信号顺次提供给代表图像创建块102和全画面运动计算块103。

代表图像创建块102、全画面运动计算块103、累积数计算块104和符号描绘块105顺次执行每个场景的处理。下面描述以被处理的场景作为预定场景来描述这些块中的每一个。

代表图像创建块102处理预定场景的图像信号，创建通过链接构成此预定场景的各个画面(帧)的图像而获得的并集图像，并且提供此并集图像作为该预定场景的代表图像。创建此并集图像的技术是公知的，因此在这里不做详细描述。例如，在日本专利申请早期公布No.Hei 7-298137和日本专利申请早期公布No.Hei 6-326965中公开了此并集图像创建技术。例如，代表图像创建块102创建构成预定场景的每个画面的全画面运动(运动向量)，并且基于计算出的每个画面的全画面运动来链接图像，从而创建并集图像。

全画面运动计算块103处理预定场景的图像信号以计算此预定场景内的每个画面的全画面运动(运动向量)。执行全画面运动的这个计算的技术是公知的，因此在这里不做详细描述。例如，在日本专利申请早期公布No.2001-086387、日本专利申请早期公布No.2007-104516和日本专利申请早期公布No.2004-88474中公开了此计算技术。例如，全画面运动计算块103通过与上述在代表图像创建块102中执行的计算全画面运动(运动向量)的处理类似的处理来计算构成预定场景的每个画面的全画面运动(运动向量)。

累积数计算块104基于由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来计算每个画面的累积数。

累积数计算处理

图2所示的流程图指示出累积数计算块104中要执行的示例性处理过程。在步骤ST1中，累积数计算块104开始处理并且转到步骤ST2的处理。在此ST2中，累积数计算块104将累积计数器C的值设定到0并且将总值(累积运动量)T也设定到0。接下来，在步骤ST3中，累积数计算块104将处理帧(处理画面)设定为第一帧(第一画面)。

接下来，在步骤ST4中，累积数计算块104判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则累积数计算块104转到步骤ST5的处理。在步骤ST5中，累积数计算块104将当前帧的全画面运动Mv加到总值T以获得当前帧中的总值T，并将所获得的总值T记录为当前帧的总值。

接下来，累积数计算块104在步骤ST6中判定是否存在积累。这里，累积数计算块104基于当前帧的全画面运动Mv是否为0来判定积累的存在。更具体而言，如果Mv是0，则累积数计算块104判定存在积累；如果Mv高于0，则累积数计算块104判定不存在积累。

如果发现积累，则累积数计算块104转到步骤ST7的处理。在步骤ST7中，累积数计算块104将累积计数器C的值递增1，同时当前帧的累积数为0。另一方面，如果未发现积累，则累积数计算块104转到步骤ST8的处理。在步骤ST8中，累积数计算块104把上一个帧(一个画面)的累积数设定成累积计数器C的值并且将当前帧的累积数设定到1。然后，在步骤ST9中，累积数计算块104把累积计数器C的值设定到1。

在步骤ST7的处理和步骤ST9的处理之后，累积数计算块104转到步骤ST10的处理。在步骤ST10中，累积数计算块104把处理帧设定成下一帧，然后返回到步骤ST4的处理。

如果在步骤ST4中处理帧是最末帧，则累积数计算块104转到步骤ST11的处理。在步骤ST11中，累积数计算块104把当前帧(＝最末帧)的累积数设定成累积计数器C的值。此外，在步骤ST11中，累积数计算块104将当前帧的全画面运动Mv加到总值T并且将此总值T的值记录为当前帧(＝最末帧)的总值。然后，累积数计算块104在步骤ST12中终止处理。

参考图3，其中示出了指示出当构成预定场景的帧(画面)的数目为40时，每个帧的全画面运动Mv和通过图2的流程图中所示的处理获得的每个帧(每个画面)的累积数和总数的示例性图表。在此示例中，在帧1至帧10中，全画面运动Mv是0，从而判定存在连续积累。对于帧11，全画面运动Mv是50，从而判定不存在积累。因此，帧1至帧9中的累积数是0，而帧10的累积数是10。

另外，在此示例中，在帧11至帧25中，全画面运动Mv不是0，从而判定不存在连续积累。因此，在帧11至帧25中，积累数是1。另外，在此示例中，在帧26至帧39中，全画面运动Mv是0，从而判定存在连续积累。因此，帧26至帧39中的累积数是0，并且作为最末帧的帧40的累积数是15。

基于由累积数计算块104计算出的每个画面的累积数，符号描绘块105在由代表图像创建块102创建的代表图像(并集图像)的边缘上描绘指示全画面运动的符号。此外，符号描绘块105把在边缘上描绘有指示全画面运动的符号的代表图像的图像信号(图像数据)提供给输出设备接口I/F 106。

符号描绘处理

图4所示的流程图指示出在符号描绘块105中要执行的示例性处理。在步骤ST21中，符号描绘块105开始处理，然后转到步骤ST22的处理。在步骤ST22中，符号描绘块105取得全画面运动方向。例如，全画面运动方向包括水平方向、垂直方向和倾斜方向。在此情况下，符号描绘块105基于由全画面运动计算块103计算出的每个画面的全画面运动(运动向量)来取得全画面运动方向。

接下来，在步骤ST23中，符号描绘块105确定符号描绘轴。在此情况下，符号描绘块105确定符号描绘轴以使该符号描绘轴对应于在步骤ST22中获得的全画面运动方向。例如，如果全画面运动方向是水平的，则符号描绘轴被确定在水平方向上。接下来，符号描绘块105在步骤ST24中将处理帧(处理画面)设定成第一帧(第一画面)。

在步骤ST25中，符号描绘块105判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则符号描绘块105转到步骤ST26的处理。在步骤ST26中符号描绘块105判定累积数是0、1还是2或更大。

如果累积数是0，则符号描绘块105在步骤ST27将处理帧设定成下一帧，然后返回到步骤ST25的处理。如果累积数是1，则符号描绘块105转到步骤ST28的处理。在步骤ST28中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置描绘普通符号作为符号。接下来，在步骤ST28的处理之后，符号描绘块105在步骤ST27中将处理帧设定成下一帧，并返回到步骤ST25的处理。

如果累积数是2或更大，则符号描绘块105转到步骤ST29的处理。在步骤ST29中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘累积符号作为符号。此累积符号例如可在形状、大小、图案或颜色方面与上述普通符号区分开来。

在步骤ST29中，符号描绘块105还在与累积符号的描绘位置相对应的位置处描绘累积数。然后，在步骤ST29的处理之后，符号描绘块105在步骤ST27中将处理帧设定成下一帧，并返回到步骤ST25的处理。

如果在步骤ST25中发现处理帧是最末帧，则符号描绘块105转到步骤ST30的处理。在步骤ST30中，符号描绘块105在代表图像(并集图像)的与当前帧(最末帧)相对应的位置处描绘末尾符号作为符号。此末尾符号可在形状、大小、图案或颜色等等方面与上述普通符号和累积符号区分开来。

另外，在步骤ST30中，符号描绘块105在与末尾符号的描绘位置相对应的位置处描绘累积数。然后，在步骤ST30的处理之后，符号描绘块105在步骤ST31中结束处理。

参考图5，其中示出了在构成预定场景的帧(画面)的数目为40的情况下，当帧(画面)的累积数和总数在图3中示出时，符号和累积数的示例性描绘。应当注意，在此描绘示例中，每个符号是由线段指示的。在此示例中，在帧1至帧9中累积数是0，从而不执行符号描绘。在帧10，累积数是10，从而在与此帧相对应的位置(此帧的右上角)处描绘累积符号，并且在与累积符号相对应的位置处描绘累积数“10”。

帧11至帧25中的累积数是1，从而在与这些帧相对应的位置处描绘普通符号。在帧26至帧39中累积数是0，从而不执行符号描绘。对于最末帧40，描绘末尾符号并且在与末尾符号相对应的位置处描绘累积数“15”。

应当注意，图5示出了全画面运动方向为水平的情况下的示例性描绘；如果全画面运动方向不是水平，则也以相同的方式执行描绘。例如，图6A示出了在全画面运动方向为垂直的情况下的示例性描绘，图6B示出了在全画面运动方向为倾斜的情况下的示例性描绘。

输出设备接口I/F 106把从符号描绘块105提供来的图像数据，即在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)的图像信号(图像数据)，提供给输出设备，例如图像显示装置或记录设备。例如，利用图像显示装置，显示在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)。利用记录装置，每个场景的符号描绘的代表图像的图像信号以与在图像输入块101中输入的图像信号的每个场景相关的方式被记录到记录介质。

图像处理装置的示例性操作

下面描述图1所示的图像处理装置100的示例性操作。在图像输入块101中输入要处理的图像信号。这个要处理的图像信号例如是通过利用成像设备(相机)拍摄被摄物而获得的并且是直接从成像设备或者从预定的记录介质提供来的。

在图像输入块101中，处理输入的图像信号以检测场景改变点，并且按每个场景分割输入的图像信号。然后，在图像输入块101中，将每个场景的图像信号顺次提供给代表图像创建块102和全画面运动计算块103。

在代表图像创建块102、全画面运动计算块103、累积数计算块104和符号描绘块105中，每个场景被顺次设定成要处理的场景(预定场景)并被处理。更具体而言，在代表图像创建块102中，处理预定场景的图像信号，创建通过链接构成此预定场景的各个画面(帧)的图像而获得的并集图像，并且将所创建的并集图像设定成该预定场景的代表图像。

在全画面运动计算块103中，处理预定场景的图像信号并且计算此预定场景中的每个画面的全画面运动(运动向量)。这样计算出的预定场景中的每个画面的全画面运动被提供给累积数计算块104。在累积数计算块104中，基于预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的累积数和总值(参考图2)。

在累积数计算块104中计算出的预定场景中的每个画面的累积数和总值被提供给符号描绘块105。在代表图像创建块102中创建的代表图像(并集图像)的图像信号(图像数据)也被提供给符号描绘块105。在此符号描绘块105中，基于预定场景中的每个画面的累积数在代表图像(并集图像)的边缘上描绘指示全画面运动的符号(参考图4)。

在此情况下，在累积数为1的画面中，在代表图像(并集图像)的与该画面相对应的位置处描绘普通符号作为符号。在累积数为2或更大的画面中，在代表图像(并集图像)的与该画面相对应的位置处描绘累积符号作为符号。另外，在末尾画面中，在与该画面相对应的位置处描绘末尾符号作为符号，并且还相应地描绘累积数。

在符号描绘块105中，对于每个场景获得了在边缘上描绘有指示总画面运动的符号的代表图像(并集图像)的图像信号(图像数据)。所获得的图像信号(图像数据)被提供给输出设备接口I/F 106。在输出设备接口I/F 106中，从符号描绘块105提供来的图像信号，即在边缘上描绘有指示全画面运动的符号的代表图像的图像信号(图像数据)，被提供给输出设备，例如图像显示装置或记录装置。

结果，在例如图像显示装置中，显示了在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)。在例如记录装置中，每个场景的描绘有符号的代表图像的图像信号以与在图像输入块101中输入的图像信号的每个场景相关的方式被记录到记录介质。

如上所述，在图1所示的图像处理装置100中，预定场景的图像信号被代表图像创建块102处理并且互连了构成此预定场景的各个画面的图像的并集图像被创建作为代表图像。此外，预定场景的图像信号被全画面运动计算块103处理并且此预定场景中的每个画面的全画面运动被计算。另外，基于计算出的预定场景中的每个画面的全画面运动，预定场景中的每个画面的累积数被累积数计算块104计算。

然后，指示全画面运动的符号(普通符号、累积符号和末尾符号)被符号描绘块105基于计算出的预定场景中的每个画面的累积数描绘在由代表图像创建块102创建的代表图像(并集图像)的边缘上。因此，上述配置使得不仅可以了解场景中的整个图像，而且还可以了解场景中的每个画面。即，上述配置使得用户不仅可以看到在场景中“显示了什么”，而且还可以概览到“如何显示了什么”。

现有技术的缩略图方案仅提供了使得可以了解显示了什么的表现能力。应当注意，在被制作得特别拥挤的图像的情况下，指示出“特定的对象是以何种图像表现方式来显示的”的时间性情境对于想要使用对象图像作为工作素材的观众和用户来说也是重要的信息。例如，取通过摇摄同一横长式场景而获得的两个图像。在没有一帧的积累、连续拍摄的图像和通过在开头和结尾处将相机停止四秒而拍摄的图像之间，这些图像的应用将是很不同的。

如上所述，在每个场景的代表图像(并集图像)的边缘上描绘指示全画面运动的符号(普通符号、累积符号和末尾符号)。这有助于用户很容易地访问到用户想要看到或用作素材的图像。结果，上述配置使得不仅可以浏览图像并且将图像用作创作时的代表图像，而且还可以将图像用作作为图像搜索的结果的代表图像。

此外，在构造两个或更多个图像之间的关系时，上述配置使得可以基于有关“如何表现图像”的内容的新元数据来赋予关系。这也为图像搜索算法做出了贡献。从而，向用户可视地呈现出关于两个或更多个图像之间的关系的新指标对于搜索目标图像的搜索应用也是有利的。

应当注意，在图1所示的图像处理装置100中，符号描绘块105在累积数为1的画面中描绘普通符号并且在累积数为2或更大的画面中描绘累积符号(参考图4)。然而，概括来说，普通符号可被描绘在累积数为1至N(N是等于或大于1的整数)的画面中，并且累积符号可被描绘在累积数大于N的画面中。在此情况下，用户可以通过用户操作块(未示出)来根据需要设定N的值。

另外，在图1所示的图像处理装置100中，符号描绘块105被配置为基于预定场景中的每个画面的累积数来描绘指示全画面运动的符号(普通符号、累积符号和末尾符号)，其中累积数是由累积数计算块104计算出的。然而，如下配置也是可能的：即，例如，普通符号被描绘在与每个画面相对应的位置处，以便指示出场景中的每个画面的运动。在此情况下，符号描绘块105可以通过直接使用由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来执行符号描绘。

另外，在图1所示的图像处理装置100中，符号描绘块105与累积符号和末尾符号的每个描绘位置相对应地描绘累积数。然而，并非总是必须这样描绘累积数。

累积数计算的另一示例

在以上描述中，累积数计算块104被配置为基于由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来计算每个画面的累积数。然而，如果以元数据的形式准备了关于每个画面的全画面运动，则累积数计算块104可以使用此信息来计算每个画面的累积数。在此情况下，例如，关于每个画面的全画面运动的信息被从图像输入块101提供到累积数计算块104，从而无需全画面运动计算块103。

在上述实施例中，累积数计算块104通过判定当前帧的全画面运动Mv是否为0来判定积累的存在。然而，图像可能是在未使用三脚架的情况下拍摄的，或者是利用低质量的三角脚拍摄的，或者曾被降频转换或升频转换。在此情况下，从拍摄者的意图或者观众的感觉来看，可能认为“积累是存在的”。然而，对于全画面运动可能计算出略微不同于0的值，从而最终判定没有积累。

为了克服此问题，可以通过定义全画面运动Mv的总值为积累偏差Amv并且判定此积累偏差Amv是否在阈值内来判定积累的存在。此配置使得可以判定从观众的感觉来看可能认为积累的画面确实是积累的。图7所示的流程图指示出在此情况下累积数计算块104的示例性处理过程。

在步骤ST41中，累积数计算块104开始处理，然后转到步骤ST42的处理。在步骤ST42中，累积数计算块104将累积计数器C的值设定到0，将全画面运动Mv的总值(累积运动量)T设定到0，并且将积累偏差Amv设定到0。然后，在步骤ST43中，累积数计算块104将处理帧(处理画面)设定成第一帧(第一画面)。

接下来，在步骤ST44中，累积数计算块104判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则累积数计算块104转到步骤ST45的处理。在步骤ST45中，累积数计算块104将当前帧的全画面运动Mv加到总值T以获得当前帧中的总值T，并将所获得的总值T记录为当前帧的总值。另外，在步骤ST45中，累积数计算块104把全画面运动Mv加到积累偏差Amv，以更新积累偏差Amv。

接下来，在步骤ST46中，累积数计算块104判定是否存在积累。这里，累积数计算块104通过判定积累偏差Amv是否在阈值内来判定是否存在积累。即，如果发现Amv在阈值内，则累积数计算块104判定存在积累；如果发现Amv超过阈值，则累积数计算块104判定不存在积累。

如果发现积累，则累积数计算块104转到步骤ST47的处理。在步骤ST47中，累积数计算块104将累积计数器C的值递增1，同时当前帧的累积数为0。另外，在步骤ST47中，累积数计算块104记录积累偏差Amv的最大和最小值。这个记录的信息提供了指示出当没有发现积累时积累偏差Amv是多少的信息(元数据)。例如，基于此信息，可以适应性地改变阈值。

另一方面，如果未发现积累，则累积数计算块104转到步骤ST48的处理。在步骤ST48中，累积数计算块104把上一个帧(一个画面)的累积数设定成累积计数器C的值并且将当前帧的累积数设定到1。然后，在步骤ST49中，累积数计算块104把累积计数器C的值设定到1，并且将积累偏差Amv重置到0。

在步骤ST47的处理和步骤ST49的处理之后，累积数计算块104转到步骤ST50的处理。在步骤ST50中，累积数计算块104把处理帧设定成下一帧，然后返回到步骤ST44的处理。

如果在步骤ST44中处理帧是最末帧，则累积数计算块104转到步骤ST51的处理。在步骤ST51中，累积数计算块104把当前帧(＝最末帧)的累积数设定成累积计数器C的值。此外，在步骤ST51中，累积数计算块104将当前帧的全画面运动Mv加到总值T以获得当前帧中的总值T，并且记录所获得的总值T。然后，累积数计算块104在步骤ST52中结束处理。

应当注意，在上述配置中，是通过判定作为全画面运动Mv的总值的积累偏差Amv是否在阈值内来判定积累的存在的。另外，还可以通过判定每个画面(每个帧)的全画面运动Mv是否在阈值内来判定该画面中是否存在积累。在此情况下，如果发现积累，也记录全画面运动Mv的最大和最小值。这个记录的信息提供了指示出在没有发现积累的情况下全画面运动Mv的程度的全画面运动Mv的行为信息(元数据)。例如，可以基于此信息来适应性地改变阈值。

符号描绘处理的另一示例

在以上描述中，使用了全画面运动在一个方向上的示例。然而，有可能全画面运动是在两个或更多个方向上发生的。例如，有可能每个画面先在正方向上移动，然后在反方向上移动，就好像先向右摇摄然后又返回向左摇摄的情况那样。在这种情况下，与全画面运动方向为正方向(第一方向)的每个画面相对应的符号描绘位置和与反方向(第二方向)的每个画面相对应的符号描绘位置例如在与正方向和反方向正交的方向上被偏移。结果，指示出这些方向上的全画面运动的符号不会相互重叠，从而增强了符号的可见性。此外，在此情况下，因为如果只有末尾符号则可能难以理解图像的运动，所以向累积符号添加指示出积累的顺序的符号(累积ID)。

图8所示的流程图指示出在上述情况下符号描绘块105要执行的示例性处理过程。在步骤ST61中，符号描绘块105开始处理，然后转到步骤ST62的处理。在步骤ST62中，符号描绘块105取得全画面运动方向。例如，运动方向是水平、垂直或倾斜。在此情况下，例如，符号描绘块105基于由全画面运动计算块103计算出的每个画面的全画面运动(运动向量)来取得全画面运动方向。

接下来，在步骤ST63中，符号描绘块105确定符号描绘轴。在此情况下，符号描绘块105确定符号描绘轴以使该符号描绘轴对应于在步骤ST62中获得的全画面运动方向。例如，如果全画面运动方向是水平的，则符号描绘轴被确定在水平方向上。然后，在步骤ST64中，符号描绘块105将处理帧(处理画面)设定成第一帧(第一画面)，并且在步骤ST65中将累积ID设定成1。

接下来，符号描绘块105在步骤ST66中判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则符号描绘块105在步骤ST67中判定全画面运动方向是否已从正方向改变到反方向。如果没有发现方向改变，则符号描绘块105转到步骤ST68的处理。另一方面，如果发现方向改变，则符号描绘块105在步骤ST69中使描绘位置向与上述正方向和反方向正交的方向偏移，然后转到步骤ST68的处理。

在步骤ST68中，符号描绘块105判定累积数是0、1还是2或更大。如果发现累积数是0，则符号描绘块105在步骤ST70将处理帧设定成下一帧，然后返回到步骤ST66的处理。如果累积数是1，则符号描绘块105转到步骤ST71的处理。在步骤ST71中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘普通符号作为符号。接下来，在步骤ST71的处理之后，符号描绘块105在步骤ST70中将处理帧设定成下一帧，然后返回到步骤ST66的处理。

另外，如果发现累积数等于或高于2，则符号描绘块105转到步骤ST72的处理。在步骤ST72中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘累积符号作为符号。此累积符号例如可在形状、大小、图案或颜色方面与上述普通符号区分开来。

而且，在步骤ST72中，符号描绘块105在与描绘累积符号的位置相对应的位置处描绘累积数。另外，符号描绘块105在与描绘此累积符号的位置相对应的位置处描绘累积ID作为指示积累的顺序的符号，同时将累积ID递增1。在步骤ST72的处理之后，符号描绘块105在步骤ST70中将处理帧设定成下一帧，然后返回到步骤ST66的处理。

如果在步骤ST66中发现处理帧是最末帧，则符号描绘块105转到步骤ST73的处理。在步骤ST73中，符号描绘块105在代表图像(并集图像)的与当前帧(最末帧)相对应的位置处描绘末尾符号作为符号。此末尾符号可在形状、大小、图案或颜色方面与上述普通符号和累积符号区分开来。

另外，在步骤ST73中，符号描绘块105在与描绘末尾符号的位置相对应的位置处描绘累积数。此外，符号描绘块105在与描绘此末尾符号的位置相对应的位置处描绘累积ID作为指示积累的顺序的符号。然后，在步骤ST73的处理之后，符号描绘块105在步骤ST74中结束处理。

参考图9，其中示出了每个符号、累积数和累积ID的示例性描绘。应当注意，在此描绘示例中，每个符号是由线段表现的。在此示例中，每个累积ID是由带圆的数字表现的。累积ID被描绘为带圈的1的描绘位置是第一累积位置。可以知晓在此位置处积累了10个画面(帧)。累积ID被描绘为带圈的2的描绘位置是第二累积位置。可以看出在此位置处积累了15个画面(帧)。

然后，全画面运动方向从正向改变成反向。因此，符号描绘位置被偏移。在此示例中，全画面运动方向改变到反方向后的符号描绘位置在相反一侧。带圈的3被描绘为累积ID的末尾符号描绘位置是最末画面(最末帧)的位置。可以看出在此位置积累了15个画面(帧)。

参考图10A，其中示出了每个符号、累积数和累积ID的另一示例性描绘。此示例性描绘与图9所示的示例性描绘基本相同。在此示例中，全画面运动方向从反方向改变后的符号描绘位置是在同一侧垂直偏移的位置。图10B示出了每个符号、累积数和累积ID的另一示例性描绘。此示例性描绘与图9所示的示例性描绘基本相同。在此示例中，全画面运动方向改变到反方向后的符号描绘位置也是在同一侧垂直偏移的位置。然而，与图10A所示的示例性描绘的不同在于正方向的符号描绘位置和反方向的符号描绘位置被交换了。

应当注意，在图9和图10所示的示例性描绘中，每个累积ID由带圈的数字指示。然而，除了使用带圈的数字以外，使用自明的字符，例如A、B、C...或者等同的日本字符，或明确指示出运动方向的符号，例如颠倒的三角，也是可行的。

在上述示例中，符号描绘轴在一个方向上。然而，一开始就将全画面运动进行向量分解到水平方向和垂直方向上，以在每个向量方向上描绘符号，也是可行的。图11示出了此方法执行的示例性描绘。在此示例性描绘中，全画面运动方向是从左上方向到右下方向的倾斜直线。此方法也可应用到在改变水平方向与垂直方向之间的运动速度比时方向半途改变的情况。

另外，在上述示例中，如图5、6A、6B、9至11所示，指示全画面运动的符号是线段。然而，除了线段指示以外，使用数字、如图12A所示的符号、如图12B所示的图形形状、如图12C所示的灰度层次、或者颜色，也是可行的。

符号描绘处理的另一示例

在上述示例中，符号描绘块105描绘的每个普通符号是由相同长度的线段来指示的。这里，考虑了使每个普通符号的长度为与每个画面的全画面运动相对应的长度。在此情况下，在预定的画面上描绘的普通符号的长度h为H*Mv/Mvmax，其中H是输出设备的边缘上的显示区域的与全画面运动的方向(全画面运动方向)正交的方向上的长度，Mvmax是全画面运动中的最大运动，并且Mv是每个画面的全画面运动。

图13所示的流程图指示出在上述情况下符号描绘块105要执行的示例性过程。在图13中，与图4所示的步骤类似的步骤被用相同的编号来表示，并且对其的详细描述将被跳过。在图13所示的流程图中，取代图4所示的流程图中的步骤ST28，插入了步骤ST28A。

在步骤ST28A中，如果累积数是1，则符号描绘块105转到步骤ST28A的处理。在步骤ST28A中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘普通符号作为符号。在此情况下，符号描绘块105如上所述把要描绘的普通符号的长度h设定成H*Mv/Mvmax，从而使得长度h等于与当前帧的全画面运动Mv的大小相对应的长度。

在步骤ST28A的处理之后，符号描绘块105在步骤ST27中将处理帧设定成下一帧，然后返回到步骤ST25的处理。应当注意，虽然跳过了详细描述，但图13所示的流程图中的其他步骤与图4所示的流程图中的相应步骤是大体相同的。

图14A示出了图13所示的流程图中的符号描绘处理所进行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是40个，并且每个帧(每个画面)的累积数和总值如图3所示。在此描绘示例中，与图5所示的上述描绘示例不同，每个普通符号的长度是与全画面运动的大小相对应的长度。图14B示出了图14A所示的符号部分的扩展视图。如上所述，每个普通符号的长度是H*Mv/Mvmax，从而描绘在全画面运动中的最大运动Mvmax的画面上的每个普通符号的长度h是H。

图15也示出了图13所示的最末帧中的符号描绘处理所进行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是400个。在此情况下，要描绘的普通符号如图所示很拥挤的(或者说处于填满状态)。然而，因为每个普通符号的长度是与全画面运动的大小相对应的长度，所以通过包络线可以了解每个画面的全画面运动的大致趋势，虽然可能看不到画面的精细运动。

如上所述，执行图13所示的流程图中描述的符号描绘处理使得在每个画面中描绘的每个普通符号的长度对应于该画面的全画面运动，从而增加了该普通符号所指示的信息量。

另一示例性符号描绘处理

在上述示例中，在符号描绘块105中，在所有累积数为1(概括来说是累积数为1至N(N为等于或大于1的整数))的画面中描绘普通符号。然而，这可能使得描绘出的普通符号太拥挤，从而导致普通符号的重叠显示。为了避免此问题，考虑了这样一种方法：其中，判定所描绘的符号之间的邻近度，并且根据此判定的结果来改变描绘普通符号的方式。

2.第二实施例

图像处理装置的示例性配置

参考图16，其中示出了作为本发明第二实施例实现的图像处理装置100B的示例性配置。图像处理装置100B具有图像输入块101、代表图像创建块102、全画面运动计算块103、累积数计算块104、符号描绘块105B、输出设备接口I/F 106以及疏化数计算块108。参考图16，与先前在图1中描述的组件类似的组件被用相同的标号来表示，并且对其的详细描述被跳过。

例如，计算显示区域中彼此最接近的符号之间的距离d，以基于所获得的距离d来判定符号之间的邻近度。距离d是按照以下式(1)，通过使用画面的全画面运动方向上的长度S、全画面运动的总值T、当在全画面运动中没有积累时的最小运动Vmin以及输出设备中的代表图像的显示区域的全画面运动方向上的长度W，来计算的。图17示出了长度S、总值T和长度W之间的对应关系。

d＝W*Vmin/(S+T) ...(1)

在符号描绘块105B中，考虑对于预定数目的画面描绘普通符号，使得显示区域中彼此最接近的符号之间的距离d超过预定值。在此情况下，普通符号在被描绘之前被疏化。图18所示的流程图示出了在此情况下被配置为获得疏化数n的疏化数计算块108要执行的处理过程的一个示例。

在步骤ST41中，疏化数计算块108开始处理，然后转到步骤ST42的处理。在步骤ST42中，疏化数计算块108获得全画面运动方向。例如，运动方向可以是水平的、垂直的或倾斜的。在此情况下，例如，疏化数计算块108基于由全画面运动计算块103计算出的每个画面的全画面运动(运动向量)来获得全画面运动方向。

接下来，在步骤ST43中，疏化数计算块108确定符号描绘轴。在此情况下，符号描绘块105B确定符号描绘轴以使得符号描绘轴对应于在步骤ST42中获得的全画面运动方向。例如，如果全画面运动方向是水平的，则符号描绘轴被确定在水平方向上。

接下来，疏化数计算块108获得显示框的大小W，即上述的输出设备中的代表图像的显示区域中的全画面运动方向上的长度W。关于此长度W的信息是由用户操作给出的或者通过输出设备接口I/F 106从输出设备自动获得的。

接下来，在步骤ST45中，疏化数计算块108将帧合计数n设定到1。然后，在步骤ST46中，符号描绘块105B针对合计数后的帧的最小运动Vmin，通过上述式(1)来计算距离d。然后，在步骤ST47中，疏化数计算块108判定这个计算出的距离d是否是使得可以辨别描绘符号的值(例如2)。如果距离d小于描绘符号的大小，则用户可以难以识别出描绘的符号。

如果距离d是使得可以辨别描绘符号的值，则疏化数计算块108转到步骤ST48中符号描绘块105B的处理。另一方面，如果距离d是使得不可以辨别描绘符号的值，则疏化数计算块108转到步骤ST49的处理。在步骤ST49中，疏化数计算块108将帧合计数n递增1。然后，在步骤ST50中，疏化数计算块108对于每n帧合计全画面运动，然后返回到步骤ST46的处理。

图19所示的流程图示出了图18所示的流程图的步骤ST48的符号描绘处理。在步骤ST51中，符号描绘块105B开始处理，然后转到步骤ST52的处理。在步骤ST52中，符号描绘块105B将处理帧(处理画面)设定成第一帧(第一画面)。即，符号描绘块105B将处理的帧号码k设定成0。同时，符号描绘块105B显示疏化数n。

接下来，在步骤ST53中，符号描绘块105B判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则符号描绘块105B转到步骤ST54的处理。在步骤ST54中，符号描绘块105B判定累积数是0、1还是2或更大。

如果发现累积数是0，则符号描绘块105B不描绘符号，在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。如果发现累积数是1，则符号描绘块105B转到步骤ST56的处理。在步骤ST56中，符号描绘块105B判定当前帧号码k是否是n的倍数。

如果发现当前帧号码k是n的倍数，则符号描绘块105B转到步骤ST57的处理。在步骤ST57中，符号描绘块105B在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘普通符号作为符号。接下来，在步骤ST57的处理之后，符号描绘块105B在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。另一方面，如果发现当前帧号码k不是n的倍数，则符号描绘块105B在步骤ST55中将处理帧设定成下一帧，并且返回到步骤ST53的处理。结果，每n帧执行一次普通符号的描绘，从而疏化了符号。

如果在步骤ST54中发现累积数是2或更大，则符号描绘块105B转到步骤ST58的处理。在步骤ST58中，符号描绘块105B在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘累积符号作为符号。此累积符号可在形状、大小、图案或颜色方面与上述普通符号区分开来。

此外，在步骤ST58中，符号描绘块105B还在与描绘累积符号的位置相对应的位置处描绘累积数。然后，在步骤ST58的处理之后，符号描绘块105B在步骤ST53中将处理帧设定成下一帧，然后返回到步骤ST53的处理。

如果在步骤ST53中发现处理帧是最末帧，则符号描绘块105B转到步骤ST59的处理。在步骤ST59中，符号描绘块105B在代表图像(并集图像)的与当前帧(最末帧)相对应的位置处描绘末尾符号作为符号。此末尾符号可在形状、大小、图案或颜色方面与上述普通符号和累积符号区分开来。

此外，在步骤ST59中，符号描绘块105B还在与描绘末尾符号的位置处描绘累积数。然后，在步骤ST59的处理之后，符号描绘块105B在步骤ST60中结束处理。

参考图20，其中示出了图18和图19所示的流程图中的符号描绘处理所进行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是400，并且n＝10。从而，执行图18和图19的流程图中所示的符号描绘处理在描绘之前疏化普通符号。因此，如果输出设备上代表图像的显示大小相对较小，则所描绘的普通符号不会太拥挤，以防止对全画面运动的了解变得困难。

应当注意，在图18所示的流程图中描述的处理中，从1起改变n，直到距离d变成在该距离下可以相互辨别描绘的符号的值为止，从而获得与疏化比率相关的n的最终值。然而，获得n的值的方法并不限于上述方法。例如，简单地，n的值可以是与d的倒数1/d接近的整数。例如，取代从1起改变n，可以通过从接近d的倒数1/d的整数值起增大或减小n来获得n的最终值。

另一示例性符号描绘处理

在图19所示的流程图中描述的处理中，符号描绘块105描绘的普通符号是由相同长度的线段来表现的。然而，将普通符号的这个长度设定成与每个画面的全画面运动相对应的长度，也是可行的。在此情况下，在预定画面上描绘的普通符号的长度h为H*Mv/Mvmax，其中H是输出设备的边缘上的显示区域的与全画面运动的方向正交的方向上的长度，Mvmax是全画面运动中的最大运动，并且Mv是每个画面的全画面运动。

图21所示的流程图指示出在此情况下符号描绘块105B要执行的示例性处理过程。参考图21，与先前参考图19描述的步骤相对应的步骤被用相同的标号来表示，并且对其的详细描述被跳过。在图21所示的流程图中，取代图19所示的流程图中的步骤ST57，插入了步骤ST57A。

如果在步骤ST56中发现帧号码k是n的倍数，则符号描绘块105B转到步骤ST57A的处理。在步骤ST57A中，符号描绘块105B在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘普通符号作为符号。在此情况下，符号描绘块105B如上所述把要描绘的普通符号的长度h设定成H*Mv/Mvmax，以使得此长度对应于当前帧的全画面运动的大小Mv。

在步骤ST57A的处理之后，符号描绘块105B在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。应当注意，虽然跳过了细节，但图21所示的流程图中的其他步骤与图19所示的流程图中的步骤是基本相同的。

参考图22，其中示出了根据图21所示的流程图的符号描绘处理所进行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是400个，并且n＝10。从而，执行图21的流程图中所示的符号描绘处理在描绘之前疏化普通符号。因此，如果输出设备上代表图像的显示大小相对较小，则所描绘的普通符号不会太拥挤，以防止对全画面运动的了解变得困难。此外，执行图21所示的流程图所规定的符号描绘处理使得每次帧号码k是n的倍数时描绘的普通符号的长度对应于该画面的全画面运动，从而增加了此普通符号所指示的信息量。

另一示例性符号描绘处理

在图19所示的流程图所描述的上述处理中，在帧号码k为n的倍数的画面中描绘普通符号；然而，在其他画面中，则不描绘普通符号。然而，考虑在帧号码k为n的倍数的画面中，可以用深色调来描绘每个普通符号，而在其他画面中，则可以用浅色调来描绘每个普通符号。

图23所示的流程图指示出在上述情况下符号描绘块105B要执行的示例性处理过程。参考图23，与先前参考图21描述的步骤相对应的步骤被用相同的标号来表示，并且对其的详细描述被跳过。在图23所示的流程图中，取代图21所示的流程图的步骤ST57A，插入了步骤ST57B。此外，添加步骤ST61作为在帧号码k不是n的倍数时要执行的处理步骤。

如果在步骤ST56中发现帧号码k是n的倍数，则符号描绘块105B转到步骤ST57B的处理。在步骤ST57B中，符号描绘块105B在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘深色调普通符号作为符号。在此情况下，符号描绘块105B如上所述把要描绘的普通符号的长度h设定成H*Mv/Mvmax，从而使得此长度对应于当前帧的全画面运动的大小Mv。在步骤ST57B的处理之后，符号描绘块105B在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。

如果在步骤ST56中发现帧号码k不是n的倍数，则符号描绘块105B转到步骤ST61的处理。在步骤ST61中，符号描绘块105B在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘浅色调的普通符号作为符号。在此情况下，符号描绘块105B如上所述把要描绘的普通符号的长度h设定成H*Mv/Mvmax，从而使得此长度对应于当前帧的全画面运动的大小Mv。在步骤ST61的处理之后，符号描绘块105B在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。应当注意，虽然跳过了细节，但图23所示的流程图中的其他步骤与图21所示的流程图中的步骤是基本相同的。

参考图24，其中示出了根据图23所示的流程图的符号描绘处理所执行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是400个，并且n＝10。从而，在根据图23所示的流程图的符号描绘处理中，以深色调描绘的普通符号被疏化。因此，如果输出设备上代表图像的显示大小相对较小，则所描绘的普通符号不会太拥挤，以防止对全画面运动的了解变得困难。此外，在此情况下，在每个画面中描绘的每个普通符号的长度对应于该画面的全画面运动，从而增加了此普通符号所指示的信息量。

3.第三实施例

图像处理装置的示例性配置

参考图25，其中示出了作为本发明第三实施例实现的图像处理装置100A的示例性配置。图像处理装置100A具有图像输入块101、代表图像创建块102、全画面运动计算块103、累积数计算块104、符号描绘块105A、输出设备接口(I/F)106以及匀速数计算块107。参考图25，与先前参考图1描述的组件类似的组件被用相同的标号来表示，并且对其的详细描述被适当跳过。

图像输入块101把要处理的图像信号输入到图像处理装置100A中。这个要处理的图像信号例如是通过利用成像设备(相机)拍摄被摄物而获得并直接从该成像设备(相机)提供来的，或者是从预定的记录介质提供来的。在图像输入块101中，处理输入的图像信号以检测场景改变点，并且按每个场景分割经处理的图像信号。然后，每个场景的图像信号被顺次提供到代表图像创建块102和全画面运动计算块103。

代表图像创建块102、全画面运动计算块103、累积数计算块104、匀速数计算块107和符号描绘块105A顺次执行每个场景的处理。下面以要被处理的场景作为预定场景来描述每个上述块要执行的处理。代表图像创建块102处理预定场景的图像信号，创建通过链接构成该预定场景的画面(帧)的图像而获得的并集图像，并且将所获得的并集图像设定成该预定场景的代表图像。全画面运动计算块103处理预定场景的图像信号以计算此预定场景中的每个画面的全画面运动(运动向量)。累积数计算块104基于由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来计算每个画面的累积数(参考图2和图7)。

匀速数计算块107基于由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来计算每个画面的匀速数。

匀速数计算处理

图26所示的流程图指示出匀速数计算块107要执行的示例性处理过程。在步骤ST71中，匀速数计算块107开始处理，然后转到步骤ST72的处理。在步骤ST72中，匀速数计算块107把匀速计数器C的值设定到0，并且把运动差异小计AD的值设定到0。然后，在步骤ST73中，匀速数计算块107把处理帧(处理画面)设定成第一帧(第一画面)。

接下来，在步骤ST74中，匀速数计算块107判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则匀速数计算块107转到步骤ST75的处理。在步骤ST75中，匀速数计算块107从当前帧的全画面运动中减去先前帧的全画面运动，以计算当前帧的全画面运动差异小计AD。另外，匀速数计算块107将全画面运动差异D加到运动差异小计AD，以获得当前帧中的运动差异小计AD。

接下来，在步骤ST76中，匀速数计算块107判定是否存在匀速。这里，匀速数计算块107通过判定运动差异小计AD是否在阈值范围内来判定是否存在匀速。即，匀速数计算块107在AD在阈值范围内的情况下判定存在匀速，而在AD在阈值范围以外的情况下则判定不存在匀速。

如果发现匀速，则匀速数计算块107转到步骤ST77的处理。在步骤ST77中，匀速数计算块107将当前帧的匀速数设定到0并且将匀速计数器C的值递增1。此外，在步骤ST77中，匀速数计算块107记录运动差异小计AD的最大和最小值。此记录信息提供了指示出在存在匀速的情况下运动差异小计AD的程度的信息(元数据)。例如，基于此信息，可以适应性地改变阈值。

如果在步骤ST76中没有发现匀速，则匀速数计算块107转到步骤ST78的处理。在步骤ST78中，匀速数计算块107将前一帧(前一画面)的匀速数设定成匀速计数器C的值并将当前帧的匀速数设定到1，并且记录当前帧的全画面运动差异D。然后，在步骤ST79中，匀速数计算块107把匀速计数器C的值设定到1，并且将运动差异小计AD重置到0。

在步骤ST77的处理和步骤ST79的处理之后，匀速数计算块107转到步骤ST80的处理。在步骤ST80中，匀速数计算块107把处理帧设定成下一帧，然后返回到步骤ST74的处理。

如果在步骤ST74中发现处理帧是最末帧，则匀速数计算块107转到步骤ST81的处理。在步骤ST81中，匀速数计算块107把当前帧(＝最末帧)的匀速数设定成匀速计数器C的值。同时，在步骤ST81中，匀速数计算块107计算当前帧的全画面运动差异D，并且记录计算出的全画面运动差异D。然后，匀速数计算块107在步骤ST82中结束处理。

参考图17，其中示出了当构成预定场景的帧(画面)的数目是40时，每个帧的全画面运动Mv，和通过每个帧的这个全画面运动Mv获得的累积数、总值、运动差异和匀速数的一个示例。累积数和总值是通过根据图2和图7所示的流程图执行的累积数计算处理获得的累积数和总值。运动差异和匀速数是通过根据图25所示的上述流程图执行的匀速计算处理获得的运动差异和匀速数。在此示例中，从帧1到帧10，运动差异D是0，因此判定存在连续的匀速。在帧11，全画面运动Mv是50，并且运动差异D是50，因此判定不存在匀速。因此，从帧1到帧9的匀速数被判定为0，而在帧10的匀速数被判定为10。

另外，在此示例中，从帧11到帧17的运动差异D是0，因此判定存在连续的匀速。在帧18，运动差异D是50，因此判定不存在匀速。因此，从帧11到帧16的匀速数是0，而在帧17的匀速数是7。另外，在此示例中，从帧18到帧20的运动差异D是50，因此判定不存在连续的匀速。因此，从帧18到帧20的匀速数是1。

此外，在此示例中，帧21和帧22的运动差异D是0，因此判定存在连续的匀速。在帧23，运动差异D是-50，因此判定不存在匀速。因此，帧21的匀速数是0，而帧22的匀速数是2。另外，在此示例中，从帧23到帧25的运动差异D是-50，因此判定不存在连续的匀速。因此，从帧23到帧25的匀速数是1。另外，在此示例中，从帧26到帧39的运动差异D是0，因此判定存在连续的匀速。因此，从帧27到帧39的匀速数是0，而帧40的匀速数是15。

应当注意，在根据图26所示的流程图的匀速数计算处理中，在步骤ST76中对匀速的判定是通过判定运动差异小计AD是否在阈值内来执行的。然而，通过判定预定帧中的运动差异D是否在阈值内来执行对该帧中匀速的存在性的判定，也是可行的。

符号描绘块105A在由代表图像创建块102创建的代表图像(并集图像)的边缘上描绘指示全画面运动的符号。在此情况下，符号描绘块105A基于由累积数计算块104计算出的每个画面的累积数以及由匀速数计算块107计算出的每个画面的运动差异D和匀速数来执行描绘处理。同时，符号描绘块105A把在边缘上描绘有指示全画面运动的符号的代表图像的图像信号(图像数据)提供给输出设备接口(I/F)106。

符号描绘处理

图28所示的流程图指示出符号描绘块105A要执行的示例性处理过程。在步骤ST91中，符号描绘块105A开始处理，然后转到步骤ST92的处理。在步骤ST92中，符号描绘块105A获得全画面运动方向。例如，运动方向是水平、垂直或倾斜。在此情况下，例如，符号描绘块105A基于由全画面运动计算块103计算出的每个画面的全画面运动(运动向量)来获得全画面运动方向。

接下来，在步骤ST93中，符号描绘块105A确定符号描绘轴。在此情况下，符号描绘块105A确定符号描绘轴以使该符号描绘轴对应于在步骤ST92中获得的全画面运动方向。例如，如果全画面运动方向是水平的，则符号描绘轴被确定在水平方向上。然后，符号描绘块105A获得显示框的大小W，即上述的输出设备中的代表图像的显示区域的全画面运动方向上的长度W。关于此长度W的信息是由用户给出的，或者是通过输出设备接口(I/F)106从输出设备自动给出的。

接下来，在步骤ST95中，符号描绘块105A对于帧的最小运动Vmin，按照上述的式(1)来计算距离d。然后，在步骤ST96中，符号描绘块105A判定计算出的距离d是否是能够辨别描绘符号的值(例如2)。如果距离d小于描绘符号的大小，则用户可能难以识别出所描绘的符号。

如果发现距离d是使得可以辨别描绘符号的值，则符号描绘块105A转到步骤ST97的符号描绘处理。对在步骤ST97中要执行的符号描绘处理的详细描述被跳过。此符号描绘处理与图4、图8和图13中所示的流程图所指示的处理大体相同。

如果在步骤ST96中发现距离d不是使得可以辨别描绘符号的值，则符号描绘块105A转到步骤ST98的缩减符号描绘的处理。图29所示的流程图指示根据图28所示流程图要执行的步骤ST98的缩减符号描绘处理。

在步骤ST101中，符号描绘块105A开始处理，然后转到步骤ST102的处理。在步骤ST102中，符号描绘块105A将处理帧(处理画面)设定成第一帧(第一画面)。

接下来，在步骤ST103中，符号描绘块105A判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则符号描绘块105A转到步骤ST104的处理。在步骤ST104中，符号描绘块105A判定累积数是0、1还是2或更大。

如果发现累积数是0，则符号描绘块105A在步骤ST105将处理帧设定成下一帧，不执行符号描绘，然后返回到步骤ST103的处理。如果发现累积数是1，则符号描绘块105A转到步骤ST106的处理。在步骤ST106中，符号描绘块105A判定当前帧的匀速数是0、1还是2或更大。

如果发现匀速数是0，则符号描绘块105A在步骤ST105将处理帧设定成下一帧，不执行符号描绘，然后返回到步骤ST103的处理。如果发现匀速数是1，则符号描绘块105A转到步骤ST107的处理。在步骤ST107中，符号描绘块105A判定运动差异是正的还是负的。

如果运动差异是正的，则符号描绘块105A转到步骤ST108的处理。在步骤ST108中，符号描绘块105A在代表图像(并集图像)的与当前帧(当前画面)相对应的位置描绘指示出画面运动在加速的加速符号作为符号。另一方面，如果发现运动差异是负的，则符号描绘块105A转到步骤ST109的处理。在步骤ST109中，符号描绘块105A在代表图像(并集图像)的与当前帧(当前画面)相对应的位置描绘指示出画面运动在减速的减速符号作为符号。然后，在步骤ST108或步骤ST109的处理之后，符号描绘块105A在步骤ST105中将处理帧设定成下一帧，然后返回到步骤ST103的处理。

如果在步骤ST106中发现匀速数是2或更大，则符号描绘块105A在代表图像(并集图像)的与当前帧(当前画面)相对应的位置描绘指示出画面运动是匀速的匀速符号作为符号。然后，在步骤ST110的处理之后，符号描绘块105A在步骤ST105中将处理帧设定成下一帧，然后返回到步骤ST103的处理。

如果在步骤ST104中累积数是2或更大，则符号描绘块105A转到步骤ST111的处理。在步骤ST111中，符号描绘块105A在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘累积符号作为符号。此累积符号可在形状、大小、图案或颜色方面与上述普通符号区分开来。此外，在步骤ST111中，符号描绘块105A在与描绘累积符号的位置相对应的位置处描绘累积数。然后，在步骤ST111的处理之后，符号描绘块105A将处理帧设定成下一帧，并返回到步骤ST103的处理。

如果在步骤ST103中发现处理帧是最末帧，则符号描绘块105A转到步骤ST112的处理。在步骤ST112中，符号描绘块105A在代表图像(并集图像)的与当前帧(最末帧)相对应的位置处描绘末尾符号作为符号。此末尾符号可在形状、大小、图案或颜色方面与上述普通符号和累积符号区分开来。同时，在步骤ST112中，符号描绘块105A还在与描绘末尾符号的位置相对应的位置处描绘累积数。然后，在步骤ST112的处理之后，符号描绘块105A在步骤ST113中结束处理。

参考图30，其中示出了当构成预定场景的帧(画面)的数目为40时，在每个帧(画面)的累积数、运动差异和匀速数如图27所示的情况下，每个符号和累积数的示例性描绘。应当注意，在图30所示的示例性描绘中，显示了匀速、加速和减速的帧持续数，但不是必需执行此显示。

输出设备接口106把从符号描绘块105A提供来的图像数据，即在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)的图像信号(图像数据)，提供给输出设备，例如图像显示装置或记录设备。在图像显示装置中，例如，显示在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)。在记录装置中，例如，每个场景的描绘有符号的代表图像的图像信号以与在图像输入块101中输入的图像信号的每个场景相关的方式被记录到记录介质。

图像处理装置的示例性操作

下面描述图25所示的图像处理装置100A的示例性操作。通过图像输入块101输入要处理的图像信号。这个要处理的图像信号例如是通过利用成像设备(相机)拍摄被摄物而获得的并且是直接从成像设备或者从预定的记录介质提供来的。

在图像输入块101中，处理输入的图像信号以检测场景改变点，并且按每个场景分割经处理的图像信号。然后在图像输入块101中，将每个场景的图像信号顺次提供给代表图像创建块102和全画面运动计算块103。

在代表图像创建块102、全画面运动计算块103、累积数计算块104、匀速数计算块107和符号描绘块105A中，每个场景被顺次设定成要处理的场景(预定场景)并被处理。即，在代表图像创建块102中，处理预定场景的图像信号，创建通过链接构成此预定场景的画面(帧)的图像而获得的并集图像，并且将所创建的并集图像设定为该预定场景的代表图像。

在全画面运动计算块103中，处理预定场景的图像信号，以计算此预定场景中的每个画面的全画面运动(运动向量)。预定场景中的每个画面的全画面运动被提供给累积数计算块104。在累积数计算块104中，基于预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的累积数和总值(参考图2和图7)。另外，在匀速数计算块107中，基于预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的匀速数和运动差异(参考图26)。

在累积数计算块104中计算出的预定场景中的每个画面的累积数和总值被提供给符号描绘块105A。在匀速数计算块107中计算出的预定场景中的每个画面的匀速数和运动差异被提供给符号描绘块105A。另外，在代表图像创建块102中创建的代表图像(并集图像)的图像信号(图像数据)也被提供到符号描绘块105A。在此符号描绘块105A中，基于预定场景中的每个画面的累积数、匀速和运动差异，在代表图像(并集图像)的边缘上描绘指示全画面运动的符号(参考图28和图29)。

在此情况下，计算显示区域上彼此最接近的符号之间的距离d。然后，如果此距离d的值使得可以辨别描绘的符号，则在代表图像(并集图像)的与累积数为1的画面相对应的位置处描述普通符号作为符号(参考图4、图8和图13)。另外，如果距离d的值使得不可以辨别描绘的符号，则在代表图像(并集图像)的与累积数为1且匀速数为1或更大的画面相对应的位置处描绘加速符号、匀速符号和减速符号作为缩减的符号(参考图29)。

在累积数为2或更大的画面中，在代表图像(并集图像)的与该画面相对应的位置处描绘累积符号作为符号。同时，相应地描绘累积数。另外，在末尾画面中，在与该画面相对应的位置处描绘末尾符号作为符号，并同时相应地描绘累积数。

在符号描绘块105A中，对于每个场景获得了在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)的图像信号(图像数据)，并且所获得的图像信号(图像数据)被提供给输出设备接口(I/F)106。然后，输出设备接口106把从符号描绘块105A提供来的图像信号，即在边缘上描绘有指示全画面运动的符号的代表图像的图像信号(图像数据)，提供给输出设备，例如图像显示装置或记录装置。

如上所述，在图25所示的图像处理装置100A中，代表图像创建块102处理预定场景的图像信号以创建相互链接了构成此预定场景的画面的图像的并集图像作为代表图像。另外，全画面运动计算块103处理预定场景的图像信号，以计算此预定场景中的每个画面的全画面运动。另外，累积数计算块104基于计算出的预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的累积数和运动总值。此外，匀速数计算块107基于计算出的预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的匀速数和运动差异。

接下来，符号描绘块105A基于计算出的预定场景中的每个画面的累积数、运动差异和匀速数在由代表图像创建块102创建的代表图像(并集图像)的边缘上描绘指示全画面运动的符号。因此，上述新颖配置使得不仅可以了解场景中的整个图像，而且还可以了解场景中的每个画面的运动。即，上述配置使得用户不仅可以看到在场景中“显示了什么”，而且还可以概览到“如何显示了什么”。

在图25所示的图像处理装置100A中，如果显示区域上彼此最接近的符号之间的距离d使得不可以辨别描绘的符号(普通符号)，则加速、匀速和减速的符号作为缩减的符号被描绘。因此，如果输出设备中代表图像的显示大小相对较小，则可以减少要描绘的符号的数目，从而防止可能导致用户难以了解全画面运动的符号拥挤。同时，上述配置使得用户可以容易地了解全画面运动的加速时段、匀速时段和减速时段。

应当注意，图30的示例性描绘中所示的加速、匀速和减速的缩减符号只是例示性的，因此不限于此。例如，如图31所示，加速、匀速和减速的缩减符号可包括图形、符号、箭头粗细、箭头方向、箭头颜色、语言符号(日语的[加|等|减]，英文字母的[acc|eq|br])，以及箭头的不同颜色重叠。虽然没有示出，但取决于输出设备的形式，基于闪烁或运动的图标的显示技术是可应用的。

图32A至32F示出了基于各种缩减符号的描绘示例。在这些示例中，每个箭头的方向相对于基准线可以是向上或向下的。如上所述，通过使用与用于描绘具有与画面运动的大小相对应的长度的普通符号的算法相同的算法，沿着包络线的箭头(参考图32D)可用于表现画面的运动的大致分布。此外可以通过使用多边形以及长方形的颜色和灰度层次来显示符号。

在图25所示的图像处理装置100A中执行的上述缩减符号描绘处理中，在成像设备(相机)匀速运动时，符号的数目显著减少。然而，在此情况下，有可能加速符号和减速符号被以拥挤的方式显示。通过用以下技术中的任何一种适当地设计符号形状或者进一步减少加速符号和减速符号的数目，可以确保拥挤的符号的可见性。

在一种技术中，预先检测在匀速数连续为1，并且仅在连续的1中的最后一个的定时描绘加速符号或减速符号。在另一技术中，计算相对于运动差异之前的帧的差异。计算出的差异被称为运动加速差异。基于此运动加速差异，以与图26的流程图中所示的处理相同的方式计算加速匀速数。计算出的加速匀速数可以按与上述匀速数相同的方式(参考图29)被用于描绘加速符号和减速符号。

在图25所示的图像处理装置100A中，符号描绘块105A在匀速数为1的画面上描绘加速符号或减速符号，而在匀速数为2或更大的画面上描绘匀速符号(参考图29)。然而，概括来说，加速符号或减速符号可被描绘在匀速数为1到M(M为1或更大的整数)的画面上，而匀速符号可被描绘在匀速数大于M的画面上。在此情况下，用户可以通过用户操作块(未示出)根据需要设定M的值。

4.第四实施例

在图25所示的图像处理装置100A中执行的符号描绘处理中，如果显示区域上彼此最接近的符号之间的距离d不具有使得可以辨别描绘的符号的值，则执行缩减符号描绘的处理(参考图28中所示的步骤ST98)。然而，如果此距离d不具有使得可以辨别描绘的符号的值，则用户可以可选择地执行用于执行缩减符号描绘或疏化符号描绘的处理。

图像处理装置的示例性配置

参考图34，其中示出了作为本发明第四实施例实现的图像处理装置100C的示例性配置。图像处理装置100C具有图像输入块101、代表图像创建块102、全画面运动计算块103、累积数计算块104、符号描绘块105C、输出设备接口(I/F)106、匀速数计算块107以及疏化数计算块108。参考图34，与先前参考图1、图16和图25描述的组件类似的组件被用相同的标号来表示，并且对其的详细描述被适当跳过。

图35所示的流程图指示出在上述情况下符号描绘块105C要执行的示例性处理过程。参考图35，与先前参考图28描述的步骤类似的步骤被用相同的标号表示，并且对其的详细描述被跳过。在在步骤ST94中获得显示框的大小W之后，符号描绘块105C在步骤ST121中将帧的合计数n设定到1，然后转到步骤ST95的处理。

接下来，在步骤ST95中，符号描绘块105C按照上述式(1)，对于最小运动Vmin，计算距离d。然后，在步骤ST96中，符号描绘块105C判定计算出的距离d是否具有使得可以辨别描绘的符号的值(例如2)。如果距离d小于描绘的符号的大小，则其可能降低描绘的符号对于用户的可见性。

如果在步骤ST96中发现距离d不具有使得可以辨别描绘的符号的值，则符号描绘块105C在步骤ST122中判定用户设定是缩减符号描绘还是疏化描绘。如果发现用户设定是缩减符号描绘，则符号描绘块105C转到步骤ST98的缩减符号描绘的处理。

另一方面，如果发现用户设定是疏化描绘，则符号描绘块105C转到步骤ST123的处理。在步骤ST123中，符号描绘块105C将帧合计数n递增1。接下来，符号描绘块105C在步骤ST124中合计每n帧中的全画面运动，然后返回到步骤ST95的处理。

如果在步骤ST96中发现距离d具有使得可以辨别描绘的符号的值，则符号描绘块105C转到步骤ST125的处理。步骤ST125的这个处理对应于图18所示的流程图的步骤ST48的处理(参考图19)。

本发明的实施例可应用到被配置为从每个场景的图像信号创建每个场景的代表图像(缩略图)的图像处理装置。

本申请包含与2010年3月19日向日本专利局提交的日本优先权专利申请JP 2010-063661和2010年3月19日向日本专利局提交的日本优先权专利申请JP 2010-063662中公开的主题相关的主题，特此通过引用将这些申请的全部内容并入。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。

Claims

1.一种图像处理装置，包括：

代表图像创建块，该代表图像创建块被配置为创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及

符号描绘块，该符号描绘块被配置为基于所述预定场景中的每个画面的全画面运动，在由所述代表图像创建块创建的所述代表图像的边缘上描绘指示全画面运动的符号，其中

所述符号描绘块根据要在输出设备上显示的所述代表图像的显示大小来描绘指示全画面运动的符号。

2.根据权利要求1所述的图像处理装置，还包括：

累积数计算块，该累积数计算块被配置为基于所述预定场景中的每个画面的全画面运动来计算每个画面的累积数，其中，

如果发现在预定画面中存在积累，则所述累积数计算块将所述预定画面的累积数设定到0并且将累积计数器递增1，而如果没有发现存在积累，则所述累积数计算块将前一画面的累积数设定到所述累积计数器的值，将所述预定画面的累积数设定到1并将所述累积计数器的值设定到1，并且将最末画面的累积数设定到所述累积计数器的值，并且

基于由所述累积数计算块计算出的每个画面的累积数，所述符号描绘块在由所述代表图像创建块创建的所述代表图像的边缘上描绘指示全画面运动的符号。

3.根据权利要求2所述的图像处理装置，其中，

如果预定画面的累积数至少是1，则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘所述符号。

4.根据权利要求3所述的图像处理装置，其中，

如果所述预定画面的累积数至少是1并且不大于N，其中N是至少为1的整数，则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘普通符号作为所述符号；如果所述预定画面的累积数大于N，则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘累积符号作为所述符号。

5.根据权利要求4所述的图像处理装置，其中

所述符号描绘块描绘在与所述全画面运动的方向正交的方向上延伸的线段形状的符号作为所述符号，并且

把在所述预定画面的累积数不大于N的情况下要描绘的所述普通符号的长度设定到与所述预定画面的全画面运动的大小相对应的长度。

6.根据权利要求5所述的图像处理装置，其中，

所述符号描绘块把在所述预定画面的累积数至少为1并且不大于N的情况下要描绘的所述普通符号的长度h设定到H*Mv/Mvmax，其中H是所述输出设备中的所述边缘的显示区域中的与所述全画面运动的方向正交的方向的长度，Mvmax是所述全画面运动之中的最大运动，并且Mv是每个画面的全画面运动。

7.根据权利要求4所述的图像处理装置，其中

所述符号描绘块判定要描绘的所述符号之间的邻近度，并且根据此判定的结果，改变在所述预定画面的累积数至少为1并且不大于N的情况下要描绘的所述普通符号的描绘方式。

8.根据权利要求7所述的图像处理装置，其中

所述符号描绘块对每预定数目的画面描绘所述普通符号，使得在所述全画面运动的方向上要描绘的所述符号之间的距离在所述输出设备中的显示区域中超过预定值。

9.根据权利要求8所述的图像处理装置，其中

所述符号描绘块描绘在与所述全画面运动的方向正交的方向上延伸的线段形状的符号作为所述符号，

把在所述预定画面的累积数至少为1并且不大于N的情况下要描绘的所述普通符号的长度h设定到H*Mv/Mvmax，其中H是所述输出设备中的所述边缘的显示区域中的与所述全画面运动的方向正交的方向的长度，Mvmax是所述全画面运动之中的最大运动，并且Mv是每个画面的全画面运动，并且

以深色描绘对于每所述预定数目的画面要描绘的所述普通符号，并且以浅色描绘在其他画面中要描绘的所述普通符号。

10.根据权利要求7所述的图像处理装置，其中，

如果在所述全画面运动的方向上要描绘的所述符号之间的距离在所述输出设备的显示画面上小于预定值，则所述符号描绘块根据每个画面与前一画面之间的全画面运动差异与加速时段相应地描绘加速符号，与匀速时段相应地描绘匀速符号，并且与减速时段相应地描绘减速符号。

11.根据权利要求10所述的图像处理装置，还包括：

匀速数计算块，该匀速数计算块被配置为基于所述预定场景中每个画面与前一画面之间的所述全画面运动差异来计算每个画面的匀速数，其中，

如果在预定画面上发现存在积累，则所述匀速数计算块将所述预定画面的匀速数设定到0并且将匀速计数器递增1；如果发现不存在积累，则所述匀速数计算块将前一画面的匀速数设定到所述匀速计数器的值，将所述预定画面的匀速数设定到1，并且将所述匀速计数器的值设定到1；并且，

如果所述预定画面的匀速数至少为1并且不大于M，其中M是至少为1的整数，则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘所述加速符号和所述减速符号之一，而如果所述预定画面的匀速数超过所述M，则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘所述匀速符号。

12.根据权利要求11所述的图像处理装置，其中

所述匀速数计算块具有用于积累每个画面的所述全画面运动差异的累积手段，并且

通过判定所述累积手段的累积值是否在阈值范围内来判定所述预定画面是否具有匀速运动，并且如果发现所述预定画面不具有匀速运动，则将所述累积手段的累积值重置到0。

13.根据权利要求11所述的图像处理装置，其中

所述匀速数计算块通过判定所述预定画面的所述全画面运动差异是否在阈值范围内来判定所述预定画面是否具有匀速运动。

14.根据权利要求7所述的图像处理装置，其中

所述符号描绘块按照关系W*Vmin/(S+T)来计算所述显示区域上彼此最接近的符号之间的距离d，其中S是所述全画面运动的方向上一个画面的长度，T是所述全画面运动的总值，Vmin是当在所述全画面运动中未发现积累时的最小运动，并且W是所述输出设备中所述代表图像的显示区域的所述全画面运动的方向上的长度，从而基于如此获得的所述距离d来判定所述符号彼此之间的邻近度。

15.根据权利要求1所述的图像处理装置，还包括：

全画面运动计算块，该全画面运动计算块被配置为处理所述预定场景的图像信号以计算所述预定场景中的每个画面的全画面运动，其中

所述符号描绘块基于由所述全画面运动计算块计算出的所述预定场景中的每个画面的全画面运动，在由所述代表图像创建块创建的所述代表图像的边缘上描绘指示全画面运动的符号。

16.一种图像处理方法，包括以下步骤：

创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及

基于所述预定场景中的每个画面的全画面运动，在代表图像创建步骤中创建的所述代表图像的边缘上描绘指示全画面运动的符号，其中，

所述符号描绘步骤根据要在输出设备上显示的所述代表图像的显示大小来描绘指示全画面运动的符号。

17.一种图像处理装置，包括：

符号描绘块，该符号描绘块被配置为基于所述预定场景中的每个画面的全画面运动，在由所述代表图像创建块创建的所述代表图像的边缘上描绘指示全画面运动的符号。

18.一种图像处理装置，包括：

代表图像创建装置，用于创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及

符号描绘装置，用于基于所述预定场景中的每个画面的全画面运动，在由所述代表图像创建装置创建的所述代表图像的边缘上描绘指示全画面运动的符号，其中

所述符号描绘装置根据要在输出设备上显示的所述代表图像的显示大小来描绘指示全画面运动的符号。

19.一种图像处理装置，包括：

符号描绘装置，用于基于所述预定场景中的每个画面的全画面运动，在由所述代表图像创建装置创建的所述代表图像的边缘上描绘指示全画面运动的符号。