CN1960442A - 摄像设备和摄像方法 - Google Patents

Abstract

一种摄像设备和摄像方法。提供一种能够实时地为在网络上发出各种请求的用户提供多种服务图像处理设备。该图像处理设备包括：显像单元(230)，用于将图像数据显像成时变图像数据；图像处理单元(1)，用于对该时变图像数据进行图像处理；网络接口(320)，用于将由图像处理单元(1)处理过的时变图像数据发送到网络(4)上；以及网络控制单元(310)，用于控制由图像处理单元(1)进行了多种不同图像处理的时变图像数据，以使得在一个影像周期内将其输出到网络接口(320)，其中，该影像周期是与一个画面相对应的构成该时变图像数据的图像数据的更新间隔。

Description

摄像设备和摄像方法

技术领域

本发明涉及一种用于将时变图像数据发送到网络上的摄像设备和摄像方法。

背景技术

近年来，因特网已经广泛普及，并且一般通过WWW(万维网)等进行信息传输。在这种情况下，出现了一种具有实时拍摄图像并将影像(时变图像)发送到网络上的功能的摄像设备。佳能公司的网络照相机服务器(Network Camera Server)VB-C10就是其很好的例子。

当试图通过网络为用户提供服务时，因为用户的请求是多样化的，所以可能出现这样一种情况：对于在某个时间点拍摄的一个输入图像，请求以多个不同参数处理过的编码数据。作为试图响应这种请求的图像处理设备的第一个例子，存在这样一种图像处理设备，其试图通过具有多个编码处理单元来响应这种请求(例如，日本特开2003-309853号公报(P.19；图1和6；P.20；图3))。

因而，在试图通过具有多个编码处理单元来响应多个图像处理请求的情况下，可被提供的服务内容受到处理单元的数量的限制。通过增加处理单元的数量，可以缓解该限制。然而，具有摄像功能的网络照相机服务器等通常需要小型化，并且，可在其中安装的处理单元的数量受到板/芯片面积或发热量的限制。因此，存在处理单元的数量实际上受限的问题。

同时，在为了监控或传送的目的而实时拍摄图像并积累图像的情况下，决不允许丢掉从摄像设备输入的图像。例如，在获取从每秒拍摄30帧图像的摄像机输入的影像的情况下，原则上，用于处理任意给定帧所允许的时间为1/30秒，1/30秒是输入一帧图像所需的时间。以下将输入一帧图像所需的时间称为“一个影像周期”。需要一种在该影像周期内对上述多种多样的用户请求做出响应的系统。要求能够远程操作影像拍摄单元的网络照相机是实时的，并具有低延迟。

作为图像处理设备的第二个例子，存在这样一种图像处理设备，其试图通过根据需要读取预先存储在ROM中的各种转换算法，并使DSP执行该算法的处理来响应各种用户请求(例如，日本特开平06-125411号公报(P.8；图1；P.10；图4))。

在该技术中，仅仅由DSP根据该算法以分时方式并行地进行多个图像处理，而存在的问题是不能确保在一个影像周期内完成处理。

也就是说，将时变图像数据发送到网络上的现有技术的摄像设备难以保持实时地为在网络上发出各种请求的用户提供多种服务。

发明内容

本发明提供了一种能够实时地为在网络上发出各种请求的用户提供多种服务的摄像设备。

根据本发明，通过提供一种摄像设备来解决前述问题，该摄像设备包括：摄像单元，用于通过拍摄被摄体来获取图像数据；显像单元，用于将由所述摄像单元获取的图像数据显像成时变图像数据；图像处理单元，用于对所述时变图像数据进行图像处理；网络通信单元，用于将由所述图像处理单元处理后的所述时变图像数据发送到网络上；以及控制单元，用于控制由所述图像处理单元进行了多种不同的图像处理的时变图像数据，以在一个影像周期内将其输出到所述网络通信单元，其中，所述影像周期是与一个画面相对应的构成所述时变图像数据的图像数据的更新间隔。

根据本发明，通过提供一种包括以下步骤的摄像方法来解决前述问题：通过拍摄被摄体的图像来获取图像数据；将所获取的图像数据显像成时变图像数据；对所述时变图像数据进行图像处理；以及在一个影像周期内，将进行了多种不同类型的图像处理的时变图像数据发送到网络上，其中，所述影像周期是与一个画面相对应的且构成所述时变图像数据的图像数据的更新间隔。

通过下面结合附图对典型实施例的说明，本发明的其它特征将变得很明显。

附图说明

图1是示出根据本发明的第一实施例的摄像设备的结构的图；

图2是详细示出本发明的第一实施例中的图像处理单元的图；

图3是示出本发明的第一实施例中的图像处理单元的操作流程的图；

图4是示出使用根据本发明的第一实施例的摄像设备的系统的结构例子的图；

图5是示出本发明的第二实施例中阅读器侧所请求的图像的视场角(field angle)和分辨率的图；

图6是详细示出本发明的第二实施例中的图像处理单元的图；

图7是示出本发明的第二实施例中的图像处理单元的操作流程的图；

图8是详细示出本发明的第三实施例中的图像处理单元的图；

图9是示出本发明的第三实施例中的图像处理单元的操作流程的图；

图10是示出本发明的第三实施例中阅读器侧所请求的图像的视场角和分辨率的图；

图11是示出在本发明的第三实施例中连续两个影像周期的图像处理单元的操作流程的图；

图12是详细示出本发明的第四实施例中的图像处理单元的图；

图13是示出本发明的第四实施例中的图像处理单元的操作流程的图；

图14是示出本发明的第四实施例中阅读器侧所请求的图像的视场角和分辨率的图；

图15是详细示出本发明的第五实施例中的图像处理单元的图；

图16是示出本发明的第五实施例中阅读器侧所请求的图像的视场角和分辨率的图；

图17是详细示出本发明的第五实施例中的图像数据DMAC的图；

图18是示出本发明的第五实施例中图像数据DMAC与分辨率转换单元和光栅/块转换存储器之间的移交数据的定时的图；

图19是详细示出本发明的第五实施例中的光栅/块转换存储器的图；

图20是详细示出本发明的第五实施例中的分辨率转换单元的图；

图21是示出本发明的第六实施例中阅读器侧所请求的图像的视场角和分辨率的图；

图22是示出本发明的第六实施例中的图像处理单元的操作流程的图；

图23A和23B是示出本发明的第六实施例中连续两个影像周期的图像处理单元的操作流程的图；

图24是示出本发明的第七实施例中的图像处理单元的操作流程的图；以及

图25是详细示出本发明的第七实施例中的光栅/块转换存储器的图。

具体实施方式

现参照附图详细说明本发明的优选实施例。应该注意，在这些实施例中所说明的组件的相对配置、数字表达形式和数字值不限制本发明的范围，除非另外特别说明。

第一实施例

图1是示出根据本发明的第一实施例的摄像设备的框图。

在图1中，在摄像设备5中主要有三个组件，即，图像处理单元1、摄像单元2和通信单元3。摄像单元2包括影像进入的镜头210、用于将由该镜头收集的光转换成电信号的传感器220、以及用于对从传感器220获得的信号进行显像的显像单元230。

将显像后的信号作为图像数据送到图像处理单元1。在此对图像数据进行编码等处理，然后将该数据作为编码数据送到通信单元3。在通信单元3，根据网络控制单元310将已输入于此的编码数据发送到的网络的形式，对该数据进行打包等处理，然后将数据移交给网络接口320，作为将被传送的数据。网络接口320将该数据以与网络4的形式兼容的形式发送给网络4。假定网络4典型的是由Ethernet(注册商标)LAN等有线LAN所代表的网络、由IEEE802.11b类型代表的类型的无线LAN、或ISDN等公共线路网络。

在本实施例中，将图像处理单元1、摄像单元2和通信单元3描述为图1中独立的模块。然而，当通过硬件配置本实施例时，可以有各种实现形式，例如，作为独立的IC实现这些模块的形式和在一个芯片上集中并实现各个单元(例如，显像单元230、图像处理单元1和网络控制单元310)的某些部分的形式。也就是说，形式不受本实施例的限制。

图2是详细示出图像处理单元1的结构的框图。图2示出图像处理单元1中的帧缓冲器10、图像数据DMAC(direct memoryaccess controller，直接存储器存取控制器)20、光栅/块转换存储器40、CODEC 50、编码数据DMAC 60、控制序列器70、图像处理存储器11和数据缓冲器12。控制序列器70通过控制信号线与图像处理单元1中的图像数据DMAC 20、光栅/块转换存储器40、CODEC 50和编码数据DMAC 60中的每一个连接，并控制每个单元。而且，控制序列器70通过帧数据传送完成中断信号线与显像单元230连接，并通过图像与通信单元之间的控制信号71与通信单元3连接，且控制序列器70与它们相互交换信号以控制它们的操作。CODEC 50与图像处理存储器11连接，并且使用该存储器进行各种图像处理。此外，CODEC 50在其内具有参数寄存器51，并且，假定根据控制序列器70写入该参数寄存器中的值进行各种图像处理。

对于帧缓冲器10、图像处理存储器11和数据缓冲器12中的每一个，当在一个IC上实现图像处理单元的其它组件时，可以将它们中的每一个作为片上存储器(例如，作为SDR(single data rate，单倍数据速率)或DDR(double data rate，双倍数据速率)的SDRAM(同步DRAM))配置在同一IC上，或作为在该IC外部连接到该IC的存储装置来实现。另外对于所述存储器，各种结构都是可以的，例如，以独立的存储装置配置所述存储器中的每一个以及将它们配置在同一存储装置上。

将利用图1和图2详细说明摄像设备5的基本操作。在图1中，首先，通过传感器220获取关于由摄像单元2的镜头210所收集的光的图像信息，作为电信号。可以使用CCD图像传感器、CMOS图像传感器等作为传感器220。在本实施例中，假定传感器220是正方形像素逐行扫描格式(square pixel progressive format)CCD。假定其有效像素的数量是640×480的所谓VGA大小，并且，假定该传感器能够输出每1/30秒一帧的VGA图像。也就是说，假定本实施例中的一个影像周期为1/30秒(约33.3ms)。顺序读取由传感器220进行了光电转换并作为电信号获取的图像数据，并将其交给显像单元230。显像单元230对从传感器220获得的图像数据进行信号处理，以生成亮度信号和色差信号，并将其以可被随后的阶段容易处理的形式输出。这里，假定以YUV422格式输出它们。

将通过摄像单元2的显像单元230转换成YUV422形式的图像数据，以帧存储在图像处理单元1的帧缓冲器10中。将利用图2和图3中的时序图说明随后的操作。

将从显像单元230输出的数据以帧存储在帧缓冲器10中。如图3所示，帧缓冲器10的内部配置成双缓冲器形式，并且，第n帧和第(n+1)帧的图像数据被存储在不同区域(缓冲器A和B)。因此，例如，在某个影像周期中，在将第n帧的图像数据积累在缓冲器A中的情况下，在下一个影像周期内读取并使用第n帧的图像数据的同时，可以将第(n+1)帧的图像数据积累在缓冲器B中。

现假定刚刚完成第n帧在帧缓冲器10的缓冲器A中的积累。然后，发生从显像单元230到控制序列器70的帧数据传送完成中断(图3中的箭头1)。

响应于该帧数据传送完成中断，控制序列器70首先在CODEC50的参数寄存器51中设置用于指定CODEC处理单元应该进行什么处理的参数(图3中的箭头2a)。在本实施例中，假定该CODEC进行JPEG压缩处理。在这种情况下，压缩参数的典型例子是表示影像压缩度的Q值。

当参数寄存器51中的参数的设置结束时，控制序列器70指示图像数据DMAC 20从帧缓冲器10的缓冲器A读取第n帧的图像数据，并开始用于为CODEC 50提供该数据的传送(图3中的箭头3a)。

接收该指示，图像数据DMAC 20顺序从帧缓冲器10的缓冲器A读取第n帧的图像数据，并为光栅/块转换存储器40提供该数据。为了通过CODEC 50进行JPEG处理，需要以8×8像素的块提供数据。因此，通过光栅/块转换存储器40将该数据转换成该形式，然后将其提供给CODEC 50(图3中的箭头4a)。

CODEC 50根据设置在参数寄存器51中的参数值，对从光栅/块转换存储器40送来的图像数据进行JPEG压缩，以生成编码数据JPEGa。在本实施例中假定在第一次压缩中以Q值＝Qa进行压缩。将由CODEC 50压缩了的编码数据顺序移交给编码数据DMAC60，而编码数据DMAC 60以预定单位将该编码数据传送给数据缓冲器12。当完成从第n帧的图像数据生成的所有编码数据的传送时，控制序列器70将编码数据传送完成中断发送给通信单元3(图3中的箭头5a)。通过图像与通信单元之间的控制信号71传达该中断通知。

在通信单元3，响应于该编码数据传送完成中断，网络控制单元310从数据缓冲器12读取该编码数据，根据该编码数据将被传送到的网络的形式进行打包等处理，并将该数据交给网络接口320。网络接口320以与网络4的形式兼容的形式，将该数据传送给网络4。

图4是示出使用根据本实施例的摄像设备5的系统的结构例子的图。

显示终端400与网络4连接，并且用户利用该终端上的阅读器401显示通过摄像设备5所拍摄的图像。在图4中，存在总共8个显示终端400a到400h(其中5个未被示出)。假定阅读器401a到401h分别运行在所述显示终端上，并且，每一个用户正在使用其中一个。

在图4中所示的系统中，连接用户的网络环境、以及用户要求的图像质量等不同。如果可以利用与送到CODEC 50的参数寄存器51的参数相同的参数来实现用户要求的图像质量，则当摄像设备5的通信单元3的网络控制单元310将数据发送给每个用户的终端时，可以通过复制相同的编码数据并将所复制的数据移交给网络接口320，来将该影像数据提供给多个用户。

然而，在每个用户请求不同图像质量参数的情况下，不能仅通过如上所述复制数据来实现以上情况。而且，为了在不掉帧的情况下在用户显示终端400上平稳地显示时变图像，需要在一个影像周期(在本实施例中为1/30秒(约33.3ms))内进行每个用户所请求的图像处理。以下将利用图1到图4对在这种情况下进行的摄像设备5的操作进行说明。由于已利用图2和图3说明了该操作的基础，因而，将对响应于多个用户的请求所进行的操作和响应于该操作的一系列操作的流程进行说明。

在图4中，现假定使用显示终端400a到400h的用户分别要求具有由Q＝Qa到Qh所表示的Q值的JPEG图像。位于通信单元3的网络控制单元310中的处理性能判断单元311判断：在一个影像周期内，是否可以使图像处理单元处理各个终端所请求的处理的所有内容。在本实施例中，预先参考用于基于处理内容(例如，处理的种类、待处理的数据量以及压缩度)评价图像处理单元的处理性能的表。根据该结果，判断出对具有由Q＝Qa到Qh表示的Q值的JPEG图像进行处理不会出现问题，并将进行该处理的指示发送到图像处理单元。利用图2中的图像与通信单元之间的控制信号71，将该指示传达给图像处理单元1的控制序列器70。

在本实施例中，假定处理性能判断单元311位于通信单元3的网络控制单元310中。然而，例如，还可以将其配置在图像处理单元1中，或作为整合在图像处理单元1的控制序列器70中的功能的一部分来实现。基本上，为了实现该功能，其位置不受本实施例的限制。

在将处理性能判断单元311整合在控制序列器70中的情况下，通过网络控制单元310，由图像与通信单元之间的控制信号71将各个终端所请求的处理内容传达给控制序列器70中的处理性能判断单元311。利用该信息做出以上判断。然而，在这种情况下，即使处理性能判断单元311已判断出不能再接受压缩处理等图像处理，因为该判断单元在控制序列器70内部，所以新的用户请求也通过图像与通信单元之间的控制信号71传达给控制序列器70中的处理性能判断单元311，并且，沿着同一线路返回对该用户请求的拒绝应答。由于未与影像周期同步发送来自该网络上的用户的请求，因而，数据也被不定期地发送给控制序列器70。因此，图像处理单元1的控制可能受到不利影响。例如，控制序列器不得不对在意外定时做出的请求进行应答。

在处理性能判断单元311位于网络控制单元310中的情况下，基本上在网络控制单元310内判断响应于用户请求的处理，并且，仅在需要时，通过图像与通信单元之间的控制信号71将请求传达给控制序列器70。可以以与影像周期同步的恒定定时传达该数据。从通过如上所述仅进行必要的数据传输以尽可能地减轻整个处理负荷的角度考虑，如本实施例中那样，处理性能判断单元311位于通信单元3的网络控制单元310中更为理想。

在图3中，当使用压缩参数Q＝Qa的图像压缩处理结束，并且控制序列器70识别到已针对编码数据JPEGa发送了传送完成中断(图3中的箭头5a)时，控制序列器70检查下一个所请求的图像处理的参数。然后，如图3所示，在CODEC 50的参数寄存器51中设置下一个所请求的压缩要使用的参数Q＝Qb(图3中的箭头2b)。

随后的操作与在Q＝Qa情况下的相似。当在参数寄存器51中该参数的设置结束时，控制序列器70指示图像数据DMAC 20从帧缓冲器10的缓冲器A读取第n帧的图像数据，并开始用于为CODEC 50提供该数据的传送(图3中的箭头3b)。然后，接收该指示，图像数据DMAC 20从帧缓冲器10的缓冲器A顺序读取第n帧的图像数据，并将该数据提供给光栅/块转换存储器40。该图像数据被转换成8×8像素的块，并被提供给CODEC 50(图3中的箭头4b)。

CODEC 50根据设置在参数寄存器51中的参数值(在该时间点，Q＝Qb)，对从光栅/块转换存储器40给出的图像数据进行JPEG压缩，以生成编码数据JPEGb。将通过CODEC 50压缩的编码数据顺序移交给编码数据DMAC 60，而编码数据DMAC 60以预定单位将该编码数据传送给数据缓冲器12。当从第n帧的图像数据生成的Q＝Qb时的所有编码数据的传送完成时，控制序列器70将Q＝Qb时的编码数据JPEGb的传送完成中断，发送给通信单元3(图3中的箭头5b)。

在通信单元3，响应于Q＝Qb时所处理的编码数据的传送完成中断，网络控制单元310从数据缓冲器12读取该编码数据，并进行寻址处理等，使得可以将该编码数据发送给发出利用Q＝Qb进行处理的请求的显示终端400b。网络接口320通过网络4将该数据发送给显示终端400b。

根据各个用户所请求的不同Q值，在一个影像周期内多次重复该系列操作。在本实施例中，在一个影像周期内，总共进行8次与Qa到Qh相对应的参数设置和伴随的图像压缩处理，其中，处理性能判断单元311判断出在一个影像周期内这些图像压缩处理是可以实现的。从而，可以利用一个CODEC在一个影像周期内进行多次图像压缩处理，而无需并行实施多个处理单元，因此可以实时地为具有各种请求的网络上的用户提供多种服务。

例如，可以在多个用户的显示终端上平稳地显示具有不同质量的时变图像，而不掉帧。而且，由于消除了并行实施多个处理单元的必要，因而可以缩小板或芯片的面积，并且，还可以降低功耗。结果，可以提供小型化网络照相机。

而且，尤其通过处理性能判断单元311进行准确判断，可以将图像压缩处理等单元性能有效地利用到该性能的最大，并且，可以在保持实时性的同时，利用一个CODEC在一个影像周期内为更多用户提供多种服务。而且，通过将处理性能判断单元311配置在网络控制单元310中，可以在进一步缩减内部数据通信的同时，实现以上功能，从而可获得增强整体处理性能和降低功耗等效果。

第二实施例

在第一实施例中，用户所请求的图像处理在Q值上是不同的。然而，从另一方面，可能出现用户所请求的图像处理不局限于Q值的情况。将利用图1、图4、图5和图7对这样的情况进行说明。在本实施例中也使用第一实施例的图1和图4中相同的组件。

在本实施例中，假定图1中的摄像单元2的传感器220是全像素读取系统CMOS传感器，其有效像素的数量为1600×1200的所谓UXGA大小。假定像素是正方形像素，并且可以每1/30秒输出与一帧相对应的UXGA图像。也就是说，假定本实施例中的一个影像周期为1/30秒(约33.3ms)。

在这样的情况下，假定图4中的每个用户在UXGA图像内设置具有等于或小于VGA大小的任意图像区域，并切取和使用该部分图像。图5示出表示在UXGA图像大小内切取并使用哪一部分图像的例子。

在图5中，用a表示显示在图4中的显示终端400a的阅读器401a上的图像区域，用b表示显示在显示终端400b的阅读器401b上的图像区域。类似地示出了随后的图像区域，直到与显示终端400h相对应的图像区域h。这里，显示终端400a到400f的用户使用图像大小为VGA大小(640×480)的影像数据，而显示终端400g到400h的用户使用其图像大小为QVGA大小(320×240)的影像数据。

此外，位于通信单元3的网络控制单元310中的处理性能判断单元311判断是否可以使图像处理单元在一个影像周期内处理由各个终端所请求的处理的所有内容。在本实施例中，假定已判断出对图5中所示所有图像区域进行切取处理并且图像处理单元利用该影像进行JPEG图像处理不会出现问题，因此发出处理指示给图像处理单元。

在本实施例中，假定处理性能判断单元311位于通信单元3的网络控制单元310中。然而，例如，还可以与第一实施例相似地将其配置在图像处理单元1中，或作为整合在图像处理单元1的控制序列器70中的功能的一部分来实现。其位置不受本实施例的限制。然而，与第一实施例相似，从通过如上所述仅进行必要的数据传输以尽可能地减轻整个处理负荷的角度考虑，如本实施例中，处理性能判断单元311位于通信单元3的网络控制单元310中更为理想。

基于这些假定，将利用图6和图7并参照图1以及图4和图5，说明本实施例中的图像处理单元1的操作。

在图6中，将从显像单元230输出的UXGA大小图像数据以帧存储在帧缓冲器10中。如图7中所示，帧缓冲器10的内部配置成双缓冲器形式，并且，将第n帧和第(n+1)帧的图像数据存储在不同区域(缓冲器A和B)。

假定刚完成帧缓冲器10的缓冲器A中的第n帧数据的积累。然后发生从显像单元230到控制序列器70的帧数据传送完成中断(图7中的箭头1)。

与第一实施例相似，响应于该帧数据传送完成中断，控制序列器70首先在CODEC 50的参数寄存器51中设置用于指定CODEC处理单元应该进行什么处理的参数(图7中的箭头2a)。在本实施例中，假定CODEC进行JPEG压缩处理。在这种情况下，压缩参数的典型例子是表示影像的压缩度的Q值。假定此时设置显示终端400a所请求的Q＝Qa。

然后，控制序列器70指示图像数据DMAC 20从帧缓冲器10的缓冲器A读取第n帧图像数据，并开始为CODEC 50提供该数据的传送(图7中的箭头3a)。在这种情况下，控制序列器70为图像数据DMAC 20的传送区域设置寄存器21设置区域参数，该区域参数用于指定应当从积累在帧缓冲器10中的UXGA图像数据中读取哪个区域并将其送给CODEC 50。

假定网络上的显示终端400a到400h中的每一个已利用图6中的图像与通信单元之间的控制信号71，向图像处理单元1的控制序列器70请求了该区域参数。此时，将表示待送给CODEC 50的数据的开始位置的坐标数据和表示图像大小(VGA)的数据送给控制序列器70，以便指定显示终端400a所请求的VGA大小图像(图5中的区域)，并且，控制序列器70将从这些数据所确定的传送区域信息作为区域参数设置给传送区域设置寄存器21。

接收到该区域和大小的指定后，图像数据DMAC 20从帧缓冲器10的缓冲器A顺序读取第n帧的指定区域的图像数据，并将该数据提供给光栅/块转换存储器40。光栅/块转换存储单元将该数据转换成8×8块，并将该块提供给CODEC 50(图7中的箭头4a)。

CODEC 50根据设置在参数寄存器51中的参数值(Q＝Qa)对从光栅/块转换存储器40送来的图像数据进行JPEG压缩，以生成编码数据JPEGa。将由CODEC 50压缩的编码数据顺序移交给编码数据DMAC 60，编码数据DMAC 60以预定单位将该编码数据传送给数据缓冲器12。当完成由显示终端400a指定的、从第n帧中构成该区域的图像数据所生成的所有编码数据的传送时，控制序列器70将编码数据传送完成中断发送给通信单元3(图7中的箭头5a)。通过图像与通信单元之间的控制信号71传达该中断通知。

在通信单元3，响应于该编码数据传送完成中断，网络控制单元310从数据缓冲器12读取该编码数据，根据要将该编码数据发送到的网络的形式进行打包等处理，并将该数据交给网络接口320。网络接口320以显示终端400a作为目的地，将该数据以与网络4的形式兼容的形式发送到网络4。显示终端400a对所接收的数据进行显像，并将该数据作为VGA大小数据显示在阅读器401a上。

在图7中，当使用显示终端400a的区域参数和压缩参数Q＝Qa进行的图像压缩处理结束，并且控制序列器70识别出已发出编码数据JPEGa的传送完成中断时(图7中的箭头5a)，控制序列器70检查下一个所请求的图像处理的参数。然后，如图7中所示，在CODEC 50的参数寄存器51中设置下一个请求的压缩将使用的参数Q＝Qb(图7中的箭头2b)。

然后，当从帧缓冲器10的缓冲器A读取第n帧的图像数据时，控制序列器70基于显示终端400b的指定，指示图像数据DMAC 20在图像数据DMAC 20的传送区域设置寄存器21中设置应当以哪个大小读取哪一部分数据，并开始为C0DEC 50提供该数据的传送(图7中的箭头3b)。随后的操作与为显示终端400a所进行的操作相似。

根据各个用户所请求的不同参数(例如，图像区域和Q值)，在一个影像周期内多次重复该系列操作。在本实施例中，如图5中所示，基于不同的切取位置、大小和压缩参数的指定，在一个影像周期内总共进行8次参数设置和伴随的压缩处理。因此，可以利用一个CODEC在一个影像周期内对多个区域进行图像压缩处理，因此，在保持实时性的同时，可以为具有不同请求的网络上的用户提供多种服务。而且，可以通过指定任意位置和任意大小从一个高分辨率图像生成多个部分区域图像，并可以在一个影像周期内使用所述多个部分区域图像进行图像处理。

第三实施例

在第一和第二实施例中，对处理与所拍摄的原始图像的分辨率相同的图像的情况进行了说明。然而，还可能有这样一种情况：想要通过降低分辨率，在小屏幕显示器上使用具有与所拍摄的原始图像相同的视场角的影像。

将参照图1和图4以及图8到图11说明这样的情况。在本实施例中也使用第一实施例中的图1和图4中的相同组件。在本实施例中，与第二实施例相似，假定图1中的摄像单元2的传感器220是全像素读取系统CMOS传感器，并且有效像素的数量是1600×1200的所谓UXGA大小。假定像素是正方形像素，并可以每1/30秒输出与一帧相对应的UXGA图像。也就是说，假定本实施例中的一个影像周期为1/30秒(约33.3ms)。

图8是示出分辨率转换单元30位于图像处理单元1中的情况下的结构的图。与第二实施例中的图6相比，图像数据DMAC 20与光栅/块转换存储器40之间的数据路径分支成两个数据路径，并且，分辨率转换单元位于这两个数据路径中的一个上。控制序列器70根据需要切换数据路径以通过分辨率转换单元30提供数据。

图9是示出本实施例中的图像处理单元的操作的图；图10是示出本实施例中所请求的视场角和分辨率的图。

如图10所示，在本实施例中，假定请求以下数据：通过将UXGA大小数据转换成具有相同视场角的VGA大小图像并压缩该图像所获得的数据(数据a)、通过压缩从UXGA大小原始数据切取的VGA大小图像所获得的数据(数据b和c)、以及通过直接压缩UXGA大小图像所获得的数据(数据d)。这里，数据a到d分别对应于来自图4中的终端400a到400d的请求。

在图8中，将从显像单元230输出的UXGA大小图像数据以帧存储在帧缓冲器10中。如图9中所示，帧缓冲器10的内部配置成双缓冲器形式，第n帧和第(n+1)帧的图像数据被存储在不同区域(缓冲器A和B)。

现假定刚完成帧缓冲器10的缓冲器A中的第n帧的积累。然后发生从显像单元230到控制序列器70的帧数据传送完成中断(图9中的箭头1)。

与第二实施例相似，响应于该帧数据传送完成中断，控制序列器70首先在CODEC 50的参数寄存器51中设置用于指定CODEC处理单元应当进行什么处理的参数(图9中的箭头2a)。在本实施例中，假定该CODEC进行JPEG压缩处理。在这种情况下，压缩参数的典型例子是表示影像的压缩度的Q值。假定此时设置显示终端400a所请求的Q＝Qa。

然后，控制序列器70指示分辨率转换单元30进行将从图像数据DMAC 20输入的UXGA大小图像数据转换成VGA大小的分辨率转换(未示出该定时)。至于通过该分辨率转换将获得哪一大小，假定网络上的显示终端400a已经利用图8中的图像与通信单元之间的控制信号71，向图像处理单元1的控制序列器70做出了请求。

然后，控制序列器70指示图像数据DMAC 20从帧缓冲器10的缓冲器A读取第n帧图像数据，并开始通过分辨率转换单元30为CODEC 50提供该数据的传送(图9中的箭头3a)。在本实施例中的此时，由于需要读取所有UXGA数据并将该数据输入分辨率转换单元30，因而，在传送区域设置寄存器21中设置区域参数以进行这样的输入。尽管这在本实施例中没有特别说明，但是在这种情况下，如果在传送区域设置寄存器21中指定并设置了UXGA区域中的部分区域，则可以通过读取该区域中的数据并将其送到分辨率转换单元30来转换与该部分区域相对应的图像的分辨率。

当如上所述，通过图像数据DMAC 20开始从帧缓冲器10到分辨率转换单元30的数据传送时，分辨率转换单元30开始从UXGA到VGA的分辨率转换(图9中的箭头4)。然后，分辨率已被转换的图像数据按照被转换的顺序，依次提供给光栅/块转换存储器40。光栅/块转换存储单元将该数据转换成8×8块，并将该块提供给CODEC 50(图9中箭头5)。

CODEC 50根据设置在参数寄存器51中的参数值(Q＝Qa)，对从光栅/块转换存储器40送来的图像数据进行JPEG压缩以生成编码数据。与其它VGA数据的编码处理相比，需要更多的时间来编码数据a。这是因为，在本实施例中，用于从帧缓冲器10读取将被作为VGA数据的原始数据的UXGA数据并转换分辨率以生成VGA数据的处理是决定整个处理速度的因素。

通过CODEC 50压缩的编码数据被顺序移交给编码数据DMAC 60，编码数据DMAC 60以预定单位将该编码数据传送给数据缓冲器12。当构成该VGA数据的所有编码数据的传送完成时，控制序列器70发送编码数据传送完成中断给通信单元3(图9中的箭头6a)。通过图像与通信单元之间的控制信号71传达该中断通知。

在通信单元3，响应于该编码数据传送完成中断，网络控制单元310从数据缓冲器12读取该编码数据，根据将该编码数据发送到的网络的形式进行打包等处理，并将该数据交给网络接口320。网络接口320以显示终端400a作为目的地，将该数据以与网络4的形式兼容的形式发送到网络4。显示终端400a对所接收的数据进行显像，并将该数据作为VGA大小数据显示在阅读器401a上。

在图9中，当使用显示终端400a的压缩参数Q＝Qa进行的分辨率转换和图像压缩处理结束，并且控制序列器70识别出已发出编码数据JPEG:VGA-a的传送完成中断时(图9中的箭头6a)，控制序列器70检查下一个所请求的图像处理的参数。然后，在此将Q＝Qb设置在CODEC 50的参数寄存器51中(图9中的箭头2b)。

然后，当从帧缓冲器10的缓冲器A读取第n帧的图像数据时，控制序列器70指示图像数据DMAC 20基于显示终端400b的指定，在图像数据DMAC 20的传送区域设置寄存器21中，设置由图10中的b所表示的VGA数据的开始坐标和大小(VGA)所确定的传送区域信息，然后开始用于为CODEC 50提供该数据的传送(图9中的箭头3b)。随后的操作与第二实施例中为显示终端400a所进行的处理相似，并且，为终端400c类似地进行压缩所切取的VGA图像数据c的处理。

在图9中，当为显示终端400c的图像压缩处理结束，且控制序列器70识别出已发出编码数据JPEGc的传送完成中断时(图9中的箭头6c)，控制序列器70检查下一个所请求的图像处理的参数。这里，下一个所请求的操作是对未改变分辨率的UXGA大小图像数据d进行JPEG压缩，并将其发送给终端400d。

然而，直接压缩和发送UXGA图像数据加重了整个系统尤其是CODEC处理的负荷。因此，在本实施例中，在一个影像周期内仅处理UXGA图像的一半，剩下的一半在下一个影像周期中处理。由位于通信单元3的网络控制单元310中的处理性能判断单元311预先进行该判断。如果该情况是可接受的，则通知显示终端400d的用户即将开始服务。假定请求该影像的显示终端400d的用户已接受了该情况。

该处理的过程与其它图像的处理相似。也就是说，首先在CODEC 50的参数寄存器51中设置压缩所使用的参数Q＝Qd(图9中的箭头2d)，然后将用以在传送区域设置寄存器21中进行设置并开始该图像数据传送的指示，发送给图像数据DMAC 20(图9中的箭头3d)。然后，当开始该图像数据的传送时(图9中的箭头8)，CODEC 50开始使用所指定的参数进行JPEG压缩。当压缩了该UXGA数据的一半并将其传送给数据缓冲器12时，控制序列器70将编码数据JPEGd的传送完成中断发送给数据缓冲器通信单元3(图9的箭头6d)。

通过如上所述，在完成与一个画面(sheet)相对应的数据之前终止处理一次并将该处理移交给通信单元3，可以在通信单元3侧考虑了数据通信中的负荷的均衡化进行传送。

图11是示出使用连续两个影像周期对UXGA大小图像进行JPEG压缩的情况下所进行的操作的图。

与影像周期[1]相对应的内容与图9中所示的内容相同。当在影像周期[1]的后一半中对UXGA大小数据进行一半JPEG压缩时，需要在随后的影像周期[2]中对UXGA大小数据进行剩余的JPEG压缩。在这种情况下，压缩所使用的图像数据是第n帧图像数据，并且，第n帧图像数据被存储在构成帧缓冲器10的双缓冲器中的缓冲器A中。

在影像周期[2]中，缓冲器A基本上是输入第(n+2)帧数据的区域，因此，需要在第(n+2)帧数据重写第n帧数据前，对UXGA大小数据进行剩余一半的JPEG压缩。因此，与影像周期[1]不同，该压缩处理位于影像周期[2]的开头。通过以这样的次序进行该处理，移交数据给通信单元3被连续进行，其处理更简化。

在本实施例中，假定处理性能判断单元311位于通信单元3的网络控制单元310中。然而，与第一实施例相似，例如还可以将其配置在图像处理单元1中，或作为整合在图像处理单元1中的控制序列器70中的功能的一部分来实现。其位置不受本实施例的限制。如果处理性能判断单元311被整合在控制序列器70中，则通过网络控制单元310，由图像与通信单元之间的控制信号71将各个终端请求的处理内容传达给控制序列器70。利用该信息做出以上判断。然后，通过图像与通信单元之间的控制信号71将是否可以提供该服务的判断结果，传达给网络控制单元310，使得网络控制单元310将该信息发送给各终端。

然而，与第一实施例相似，从通过如上所述仅进行必要的数据传输以尽可能地减轻整个处理负荷的角度考虑，在本实施例中，处理性能判断单元311位于通信单元3的网络控制单元310中更为理想。

因此，可以利用一个CODEC在一个影像周期内，对多个区域进行图像压缩处理以及对具有多种分辨率的图像进行图像压缩处理。特别地，可以利用一个CODEC在一个影像周期内为多个用户，基于用户的要求处理高分辨率影像，以获得具有任意视场角和任意分辨率的图像，例如，通过切取高分辨率拍摄图像的任意区域并对其进行分辨率转换所获得的图像，以及未进行分辨率转换的部分切取图像。

此外，本实施例使得可以利用多个影像周期处理高分辨率数据。特别地，在本实施例中，通过将UXGA大小数据的JPEG压缩分配给两个连续影像周期并控制处理顺序使得该处理被连续进行，来提供服务。因此，消除了对专门用于保持跨多个影像周期的高分辨率数据的帧缓冲器的需要，获得节省存储器大小的效果。

然而，分配处理顺序的方法不是固定的，其可根据对用户的服务策略而改变。例如，还可以先于其它处理在一个影像周期的开头进行该处理。

此外，当需要跨多于两个的周期进行处理时，可以配置帧缓冲器以使得可以跨多个影像周期保持该帧数据，并且，保持该帧数据的方法不受本实施例的限制。

第四实施例

在第三实施例中，由于转换分辨率后的图像是直接顺序压缩的，因而它们仅可被使用一次。然而，可能作出以不同的压缩参数压缩通过对原始图像进行相同的分辨率转换所获得的图像的请求。在这种情况下，作为一种方法，可能要进行两次相同的分辨率转换。然而，特别当原始数据的图像分辨率高时，从帧缓冲器读取原始图像并对其进行分辨率转换需要长的时间，并且，降低了在一个影像周期内进行的处理的性能。

为了避免此种情况，如果在随后的处理中要求相同的分辨率转换处理，或如果使用分辨率转换后的图像进一步进行分辨率转换处理是有效的，则可以考虑将分辨率转换后的图像发送给CODEC的处理，同时，将该图像临时积累在帧缓冲器中一次以在随后的处理中使用。将参照图1和图4以及图12到图14对这种情况进行说明。

在本实施例中也使用第一实施例中的图1和图4中的相同组件。在本实施例中，与第二实施例相似，假定图1中的摄像单元2的传感器220是全像素读取系统CMOS传感器，并且其有效像素的数量是1600×1200的所谓UXGA大小。假定像素是正方形像素，并且可以每1/30秒输出与一帧相对应的UXGA图像。也就是说，假定本实施例中的一个影像周期为1/30秒(约33.3ms)。

图12示出用于临时积累通过分辨率转换单元30处理的数据的帧缓冲器(2)13位于图像处理单元1中的情况下的配置。与第三实施例中图8相比，添加了帧缓冲器(2)13作为功能块，并添加了来自分辨率转换单元30的数据路径和到图像数据DMAC 20的数据路径。

与帧缓冲器10、图像处理存储器11和数据缓冲器12相似，当在一个IC中实现图像处理单元的其它组件时，可以在同一IC上配置该帧缓冲器(2)13作为片上存储器，或可以作为在该IC外部与该IC连接的存储装置(例如，作为SDR或DDR的SDRAM)实现该帧缓冲器(2)13。而且，存储器的各种结构也都是可以的，例如，以独立的存储装置配置存储器中的每一个，或将它们配置在同一存储装置上。

图13是示出本实施例中图像处理单元的操作的图，图14是示出本实施例中所请求的视场角和分辨率的图。如图14所示，在本实施例中，假定请求以下数据：通过以不同的两种压缩参数对已经从UXGA大小数据转换成具有相同视场角VGA大小数据的图像进行压缩所获得的数据(数据a和b)、具有相同视场角的QVGA大小图像(数据d)、通过压缩从UXGA大小原始数据切取的VGA大小图像所获得的数据(数据c)、以及通过直接压缩UXGA大小图像所获得的数据(数据e)。这里，数据a到e分别对应于来自图4中的终端400a到400e的请求。

在图13中，从图像处理流程的开始到中间与第三实施例中的图9中的图像处理流程相同。不同点在于，当分辨率转换单元30开始从UXGA到VGA的分辨率转换时(图13中的箭头4a)，将分辨率转换后的图像数据顺序提供给光栅/块转换存储器40，并且，同时，将它们传送给帧缓冲器(2)13以开始VGA图像的积累(图13中的箭头9)。至于对是否在帧缓冲器(2)13中积累分辨率转换后的图像的判断，假定已经基于来自该网络上的各显示终端的请求，利用图像与通信单元之间的控制信号71，通过网络控制单元310，预先对图像处理单元1的控制序列器70为此进行了设置。

CODEC 50根据设置在参数寄存器51中的参数值(Q＝Qa)，对来自光栅/块转换存储器40的图像数据进行JPEG压缩(图13中的箭头5a)，以生成编码数据JPEG:VGA-a，并且，编码数据DMAC60将该数据顺序传送给数据缓冲器12。然后，当完成所有编码数据的传送时，控制序列器70将编码数据传送完成中断发送给数据缓冲器通信单元3(图13中的箭头6a)。通过图像与通信单元之间的控制信号71传达该中断通知。通过通信单元3将该图像发送给终端400a。

然后，控制序列器70检查下一个请求的图像处理的参数、视场角和分辨率。然后，在CODEC 50的参数寄存器51中设置下一个请求的压缩将使用的参数Q＝Qb(图13中的箭头2b)。

然后，控制序列器70指示图像数据DMAC 20在传送区域设置寄存器21中将帧缓冲器(2)13设置为数据传送源，并开始用于为CODEC 50提供该数据的传送(图13中的箭头3a)，以利用已被分辨率转换成VGA数据的数据，进行图像压缩处理。在通过光栅/块转换存储器40将VGA数据分块之后，图像数据DMAC 20从帧缓冲器(2)13读取该VGA数据，并将其提供给CODEC 50。CODEC50利用所设置的参数Qb进行压缩处理。

然后，在对VGA大小切取图像进行压缩之后，请求对与原始UXGA图像相同视场角的QVGA大小图像数据(数据d)进行处理。由于具有相同视场角的VGA图像已被积累在帧缓冲器(2)13中，因而，通过使用所积累的VGA图像进行分辨率转换，可以容易地生成所请求的QVGA图像。

控制序列器70首先指示分辨率转换单元30进行VGA到QVGA转换(未示出该定时)。然后，控制序列器70指示图像数据DMAC20在传送区域设置寄存器21中将帧缓冲器(2)13设置为数据传送源，并开始用于为CODEC 50提供该数据的传送(图13中的箭头3d)，从而利用已被分辨率转换成VGA数据的数据，进行图像分辨率转换。

图像数据DMAC 20从帧缓冲器(2)13读取VGA数据，并将其提供给分辨率转换单元30。通过光栅/块转换存储器40将由分辨率转换单元30从VGA转换成QVGA的图像数据分块，并将其提供给CODEC 50(图13中的箭头5d)。CODEC 50利用所设置的参数Qd进行压缩处理。由于随后的流程与第三实施例中的相似，因而省略对其的说明。

另外，在本实施例中，假定处理性能判断单元311位于通信单元3的网络控制单元310中。然而，与第一实施例相似，例如，还可以将其配置在图像处理单元1中，或作为整合在图像处理单元1的控制序列器70中的功能的一部分来实现。其位置不受本实施例的限制。然而，与第一实施例相似，从通过如上所述仅进行必要的数据传输以尽可能地减轻整个处理负荷的角度考虑，在本实施例中，处理性能判断单元311位于通信单元3的网络控制单元310中更为理想。

因此，除第三实施例的效果外，可以利用一个CODEC在一个影像周期内对多个区域有效地进行图像压缩处理。特别地，通过使得可以与在帧缓冲器中积累分辨率转换后的图像并行地在CODEC使用该图像，在多个显示终端请求具有相同的视场角的图像分辨率转换处理的情况下，消除了重复进行相同的分辨率转换或基于过分详细的数据进行压缩的必要。从而可以提高一个影像周期内的处理性能，并可以进行响应于来自更多用户的不同请求的处理。

第五实施例

在第四实施例中，从UXGA图像生成VGA图像，并将生成的VGA图像移交给光栅/块转换存储器40用于CODEC处理，同时，将其另外积累在帧缓冲器(2)中。关于这种情况下的处理流程，在时间上顺序进行分辨率转换、分块和CODEC处理。然而，在同一影像周期内要求对UXGA图像、和通过进行将UXGA图像转换成具有相同视场角的VGA大小的分辨率转换所获得的两个图像，进行数据处理的情况下，在对UXGA图像进行压缩后，为了分辨率转换再次从帧缓冲器读取UXGA数据意味着重复从帧缓冲器读取UXGA图像数据，这严重降低了效率。

可以考虑，在同一影像周期内，当要求对具有某一视场角的影像进行CODEC处理，且需要对通过对具有相同视场角的影像进行分辨率转换所获得的图像进行CODEC处理时，在仅从帧缓冲器读取该数据一次的同时，可以通过在时间上并行进行分辨率处理和CODEC处理既进行CODEC处理又进行分辨率转换处理。在本实施例，将利用图1、4和12以及图15到20说明这种情况。

在本实施例中同样使用第一实施例中的图1和4中的相同组件。用于第四实施例的图12也用于此。在本实施例中，与第二实施例相似，假定图1中的摄像单元2的传感器220是全像素读取系统CMOS传感器，并且有效像素的数量是1600×1200的所谓UXGA大小。假定像素是正方形像素，并且可以每1/30秒输出与一帧相对应的UXGA图像。也就是说，假定本实施例中的一个影像周期是1/30秒(约33.3ms)。由于图12中的组成模块的说明与第四实施例的相同，因而省略对其的详细说明。

图15是示出本实施例中的图像处理单元的操作的图，而图16是示出本实施例中所请求的视场角和分辨率的图。

如图16所示，在本实施例中，请求如下数据：通过压缩UXGA大小图像数据所获得的数据(数据a)、通过压缩被转换成VGA大小并具有与UXGA大小图像相同的视场角的图像所获得的数据(数据b)、具有与数据b相同的视场角的QVGA大小图像(数据c)、以及通过压缩从UXGA大小原始数据切取的VGA大小图像所获得的数据(数据d)。这里，数据a到d分别对应于来自图4中的终端400a到400d的请求。

处理性能判断单元311判断哪里存在重复的视场角或可以被并行操作的此类部分；以使得图像处理单元1发挥其最大性能的形式确定图像处理单元1的操作序列；并使用图像与通信单元之间的控制信号71指示控制序列器70进行操作。以下将说明图像处理单元1的该操作。

在图12中，将从显像单元230输出的UXGA大小图像数据以帧存储在帧缓冲器10中。如图15中所示，帧缓冲器10的内部配置成双缓冲器形式，将第n帧和第(n+1)帧的图像数据存储在不同区域(缓冲器A和B)。

假定刚刚完成帧缓冲器10的缓冲器A中的第n帧的数据的积累。然后，发生从显像单元230到控制序列器70的帧数据传送完成中断(图15中的箭头1)。

响应于该帧数据传送完成中断，控制序列器70首先在CODEC50的参数寄存器51中设置用于指定CODEC处理单元应当进行什么处理的参数(图15中的箭头2a)。在本实施例中，假定该CODEC进行JPEG压缩处理。在这种情况下，压缩参数的典型例子是表示影像的压缩度的Q值。假定此时设置显示终端400a所请求的Q＝Qa。

然后，控制序列器70指示分辨率转换单元30对从图像数据DMAC 20输入的UXGA大小图像数据进行分辨率转换，以转换成VGA大小。这样做是为了使用为压缩数据a所读取的UXGA数据，同时对数据b进行分辨率转换(未示出该定时)。在本实施例中，需要相互并行进行图像压缩处理和分辨率转换处理。至于该操作的并行处理的必要性，假定基于来自该网络上的各显示终端的请求，利用图像与通信单元之间的控制信号71，已通过网络控制单元310预先对图像处理单元1的控制序列器70进行了设置。

然后，控制序列器70指示图像数据DMAC 20从帧缓冲器10的缓冲器A读取第n帧的图像数据，并开始用于提供该数据的传送(图15中的箭头3a)。在本实施例中，需要并行为分辨率转换单元30和光栅/块转换存储器40提供从帧缓冲器10读取的数据，并在传送区域设置寄存器21中设置参数，使其得以实现。

将参照图17和18详细说明图像数据DMAC 20的操作。

这里，假定以YUV422形式输入该图像数据，并且以类似U0Y0V0Y1U1Y2V1Y3...的顺序将该数据存储在帧缓冲器10上。数据Y、U和V中每一个均为8位数据。在图17中，图像数据DMAC从帧缓冲器10以64位数据读取该数据，并将该数据存储在64位FIFO寄存器22中。

在64位FIFO寄存器22中，以8字节数据形式存储数据。在64位FIFO寄存器22的读取侧，具有两个输出目的地系统。一个是光栅/块转换存储器40，其每个时钟可以读取8字节宽的数据。另一个是分辨率转换单元30，其以各样本单位(8位)接收Y、U和V数据。

图18是示出64位FIFO寄存器22与作为数据输出目的地的光栅/块转换存储器40和分辨率转换单元30之间的数据交换的图。

64位FIFO寄存器22主要用于在rclk1的上升沿以64位数据宽度在FIFO读取端口24读取新数据。例如，在图18中的定时[1]和[4]，在FIFO读取端口24进行利用新值的更新。

当更新了FIFO读取端口的值时，光栅/块转换存储器40在wclk1的上升沿将数据获取到其内部。这里，在图18的定时[2]和[5]，读取该数据。

同时，分辨率转换单元30需要以各样本单位(以组成Y、U和V中的任何一个的8位宽度数据)接收数据。这里，假定图17和18中的FIFO读取端口24中用斜线表示的单元为到分辨率转换单元30的输出端口。分辨率转换单元30在srclk的每个上升沿以8位为单位从该端口读取图像数据。

例如，在[2]的上升沿读取U0，在[3]的上升沿读取Y0。同时，在FIFO读取端口，对每一srclk将数据向下移8位以更新数据，用于为下一次读取做准备。srclk、rclk1和wclk1的定时之间的关系如图18所示。因此，通过进行一次从帧缓冲器的读取，就能够进行光栅/块转换处理、CODEC处理和分辨率转换处理。

srclk、rclk1和wclk1是受如图17所示的图像数据DMAC 20中的时钟控制单元23控制的信号。在本实施例中，响应于控制序列器70对在哪一时钟定时操作每一时钟效率最高的指定，在保持图18中所示的相位关系的同时，时钟控制单元控制64位FIFO寄存器22与作为来自64位FIFO寄存器22的数据的输出目的地的光栅/块转换存储器40和分辨率转换单元30之间的数据交换。

当如上所述通过图像数据DMAC 20将该数据从帧缓冲器10传送到光栅/块转换存储器40时，光栅/块转换存储单元将该数据转换成8×8块，并将该块提供给CODEC 50，该CODEC开始压缩处理(图15中的箭头4a)。

图19是示出光栅/块转换存储器40的结构的图。

首先，与wclk1信号同步，将来自图像数据DMAC 20的64位FIFO寄存器22的读取端口24的光栅格式的图像数据存储在数据接收单元41中。将通过该数据接收单元分成Y、U和V信号的数据分别发送给信号选择器42、43和44。

在每个信号选择器的内部，连接所分开的数据以形成块的水平方向单位(8个样本)。当积累了与8个样本相对应的数据时，将该数据发送给各选择器的光栅/块转换线存储器。将线存储器配置为双缓冲器，即，Y0光栅/块转换线存储器45-1和Y1光栅/块转换线存储器45-2、U0光栅/块转换线存储器46-1和U1光栅/块转换线存储器46-2、以及V0光栅/块转换线存储器47-1和V1光栅/块转换线存储器47-2。每个线存储器由8个线配置而成，其中，每个线对应于64位宽存储器。

当将数据传送给CODEC 50时，在各线存储器Y、U和V中的一个存储器的所有8个线都填充有数据的阶段，从右沿顺序读取该数据。在这种情况下，与一列相对应的各线的右沿的数据，首先被读取给宏块传送缓冲器48。这意味着在该阶段准备了与由水平方向8个样本和垂直方向8个线组成的一个块相对应的数据，即，总共64个样本。然后，以两个Y信号块、一个U信号块、以及一个V信号块的顺序重复读取，并将该数据传送给CODEC 50。即使当正在进行读取到CODEC 50时，由于双缓冲器配置，可能在不从其进行读取的每个线存储器中填充数据。在CODEC开始压缩处理的同时，分辨率转换单元开始分辨率转换处理(图15中的箭头5a)。

图20是示出分辨率转换单元30的结构的图。

以类似U0Y0V0Y1U1Y2V1Y3...的顺序根据srclk将8位宽Y、U和V信号输入分辨率转换单元30。接收这些信号，选择器34将这些信号分类成Y信号和U/V信号。然后，分别将Y信号和U/V信号输入Y信号线缓冲器36和U/V信号线缓冲器31。在每一线缓冲器中，数据被每个时钟移动8位(对应于一个样本)。

对于U/V信号，当将该数据移位到位于用于输入到水平转换单元中的位置的寄存器的位置时的某一定时，将数据U0U1U2...(将使用的样本的数量根据所要求的分辨率转换而改变，以下相同)应用于U/V水平方向转换单元32，并将操作结果存储在U信号缓冲器33-1中。在下一个定时，由于寄存器移位了1位，因而将数据V0V1V2...应用于U/V水平方向转换单元32，并将操作结果存储在V信号缓冲器33-2中。接着，对数据U1U2U3...进行相似的操作。因此，交替地处理U和V数据。

对于Y信号，在某一定时将数据Y0Y1Y2Y3...应用于Y水平方向转换单元37，并将操作结果存储在Y信号缓冲器38中。在下一个定时，处理Y1Y2Y3Y4...数据。因此，在处理与一个像素相对应的每一个U和V数据时，对与两个像素相对应的Y数据执行处理。通过如上所述对U/V和Y信号进行并行处理，可以与信号的定时同步，对YUV422格式的数据进行分辨率转换。

此后，当将已对其进行了水平方向分辨率转换处理的数据积累在垂直方向U信号缓冲器33-1、V信号缓冲器33-2和Y信号缓冲器38中时，将该数据应用于垂直方向分辨率转换器以对其进行垂直方向分辨率转换。U/V垂直方向转换单元35交替处理U和V数据。与水平方向的情况相似，在U/V垂直方向转换单元35对与一个像素相对应的每一个U和V数据进行处理时，Y垂直方向转换单元39对与两个像素相对应的Y数据执行处理。

然后，在本实施例中，将已以这种方式进行了分辨率转换的图像数据发送给帧缓冲器(2)13，并等待下一个压缩处理。如果积累了分辨率转换后的数据，同时将其用于如第四实施例中所示的压缩处理，则处理后的数据还被输出给光栅/块转换存储器40。

回到图15，如上所述并行进行光栅/块转换、CODEC处理和分辨率转换处理。所生成的VGA数据被积累在帧缓冲器(2)13中，并等待开始使用该VGA数据的处理。同时，CODEC 50根据设置在参数寄存器51中的参数值(Q＝Qa)，对来自光栅/块转换存储器40的图像数据进行JPEG压缩，并且，将压缩后的编码数据JPEGa顺序移交给编码数据DMAC 60。编码数据DMAC 60将该编码数据以预定单位传送给数据缓冲器12。

然后，当完成了所有编码数据的传送时，控制序列器70发送编码数据传送完成中断给通信单元3(图15中的箭头6a)。通过图像与通信单元之间的控制信号71传达该中断通知。响应于该中断，通信单元3将JPEGa数据发送给显示终端400a。

当对UXGA数据的图像压缩结束时，开始使用先前已被分辨率转换并被积累在帧缓冲器(2)13中的VGA大小图像数据的处理。图像数据DMAC 20从帧缓冲器(2)13读取VGA大小图像数据，并开始处理(图15中的箭头3b)。此时，还利用该VGA数据并行进行CODEC 50中的处理和由分辨率转换单元30进行的从VGA到QVGA数据的分辨率转换处理(图15中的箭头4b和5b)。由分辨率转换单元30生成的QVGA数据被积累在帧缓冲器(2)13中，并被用于下一个压缩处理。由于随后的处理与前面所述的部分的操作相似，因而省略对其的说明。

在本实施例中，假定处理性能判断单元311位于通信单元3的网络控制单元310中。然而，与第一实施例相似，例如，还可以将其配置在图像处理单元1中，或作为整合在图像处理单元1的控制序列器70中的功能的一部分来实现。其位置不受本实施例的限制。然而，与第一实施例相似，从通过如上所述仅进行必要的数据传输以尽可能地减少整个处理的负荷的角度考虑，如本实施例中，处理性能判断单元311位于通信单元3的网络控制单元310中更为理想。

因此，除第四实施例的效果外，可以利用一个CODEC在一个影像周期内对多个区域高效地进行图像压缩处理。特别地，通过并行使用从编码处理单元中的帧缓冲器和分辨率转换单元读取的影像，当在同一影像周期中，多个显示终端请求处理具有相同视场角和不同分辨率的图像时，可以减少分辨率转换前读取原始数据的次数。因此，可以高效利用存储器和总线的带宽性能，并且，当在一个影像周期内处理多个图像时，可以提高处理性能。结果，可以进行与来自更多用户的不同请求相对应的处理。

第六实施例

在第三实施例中，在一个影像周期内，对具有UXGA大小的一半大小的图像、具有与UXGA图像相同的视场角的已通过分辨率转换被转换成VGA分辨率的图像、以及从UXGA大小图像切取的两种类型的VGA大小图像，进行处理。在第三实施例中未假定分辨率转换单元和CODEC并行操作。然而，如在第五实施例中所示，通过在分辨率转换单元和CODEC可以并行操作的情况下，进一步添加用于分开多次进行分辨率转换的功能，以及通过在连续进行对部分图像的处理的情况下添加用于跨多个影像周期进行处理的功能，可以进一步增强处理能力。

将利用图1、4和12以及图21到23A和23B说明这种情况。

在本实施例中同样使用第一实施例中的图1和4中的相同组件。在本实施例中还使用第四实施例中的图12中的相同组件。在本实施例中，与第二实施例相似，假定图1中的摄像单元2的传感器是全像素读取系统CMOS传感器，并假定有效像素的数量是1600×1200的所谓UXGA大小。假定像素是正方形像素，并且可以每1/30秒输出与一帧相对应的UXGA图像。也就是说，假定本实施例中的一个影像周期为1/30秒(约33.3ms)。

图21是示出本实施例中所请求的视场角和分辨率的图。

所请求的图像基本上与第三实施例中的图像(图10)相同。由于在本实施例中增强了处理性能，因而处理性能判断单元311新添加了从UXGA大小原始数据切取的VGA大小图像数据e作为处理目标。与其它图像相比，假定要求以一半帧速率处理通过直接压缩UXGA大小图像所获得的数据(数据d)。这里，数据a到e分别对应于来自图4中的终端400a到400e的请求。

图22示出该处理流程。在本实施例中，当请求对具有相同视场角和不同分辨率的图像的处理时，处理性能判断单元311检查是否存在可以通过利用从帧缓冲器读取一次来并行进行CODEC处理和分辨率转换处理的任何部分。如果存在可以并行进行该处理的任何部分，则处理性能判断单元311检查可以并行进行处理的该部分是否是部分图像。

例如，如在本实施例中那样，当请求在第一个影像周期中进行对1/2UXGA大小图像数据(数据d)的压缩和通过进行从UXGA大小原始数据的图像到VGA大小图像的分辨率转换所获得的图像(数据a)的压缩时，可以使用压缩1/2UXGA大小图像数据时从帧缓冲器读取的图像数据，以与该压缩并行进行UXGA到VGA分辨率转换的前一半。在这种情况下，处理性能判断单元311指示控制序列器70并行执行可以并行进行的部分，并基于该结果完成剩余的处理。

以下将对序列控制器70如何控制图像处理单元1的各组件以根据指示的内容执行处理进行说明。

基本处理流程几乎与第五实施例的处理流程相同。然而，这次，首先压缩的图像是具有UXGA大小的一半大小的图像。并且，与该处理并行地在随后的处理所要求的UXGA到VGA图像分辨率转换中，进行与可通过处理为了压缩所读取的1/2UXGA图像数据生成的1/2VGA大小图像相对应的处理(图22中的箭头5d)。所生成的1/2VGA图像被存储在帧缓冲器(2)13中。

当与该UXGA数据的一半相对应的处理结束时(图22中的箭头6d)，控制序列器70开始对具有与UXGA大小图像d相同的视场角的VGA大小图像a的处理。首先，控制序列器70从帧缓冲器(2)13读取该图像，并指示图像数据DMAC 20传送已被分辨率转换的1/2VGA数据部分(图22中的箭头3a)，从而进行CODEC处理。响应于该传送，CODEC 50开始压缩处理(图22中箭头4a)。

当使用积累在帧缓冲器(2)13中的1/2VGA数据部分的处理结束时，控制序列器70指示图像数据DMAMC 20将用于分辨率转换的原始数据的后一半1/2UXGA数据传送给分辨率转换单元30，以生成并压缩后一半VGA图像(图22中的箭头7a)。接收后一半1/2UXGA数据后，CODEC30开始进行剩余的UXGA到VGA转换(图22中的箭头8a)。

在光栅/块转换后将分辨率转换后的图像数据发送给CODEC50，并且，该CODEC对VGA数据的后一半进行压缩处理。因为随后的处理与上述的实施例中的说明是重复的，因此省略对其的说明。

图23A和23B示出跨两个连续的影像周期进行该处理的情况。这里，请求在两个连续的影像周期的每一个中处理UXGA图像的二等分中的一个，并进行这样的处理。图23A示出在每一个影像周期的段内安排要进行的该处理的情况。

图23A中的影像周期[1]示出图22中的相同内容。在这种情况下，在影像周期[2]中进行在影像周期[1]中所进行的第n帧的UXGA图像的压缩处理的后一半。然而，该图像不同于对影像周期[2]所请求的第(n+1)帧的VGA图像，因此，不能并行执行分辨率转换处理和CODEC处理。因此，需要在影像周期[2]中对VGA图像从头开始独立地进行分辨率转换处理。因此，与影像周期[1]相比，需要更长处理时间，并且在影像周期[2]中仅能对VGA切取图像(对应于数据e)进行较少处理。

然而，实际上，不必要求在影像周期[2]中进行的UXGA图像的后一半处理在时间[2]中进行。由于该数据已存在于帧缓冲器10的缓冲器A中，所以如果影像周期[1]的处理能力足够的话，将连续的两个影像周期作为一个周期，跨影像周期[1]和[2]进行处理不会出现问题。图23B示出这种情况。

这里，通过将影像周期[1]的过剩的处理时间应用于UXGA图像的后一半处理来预先进行该处理。因此在影像周期[2]中同样导致了过剩的处理时间，并且，VGA切取图像处理与图23A中的情况相比可以被多执行一次。因此，成功消除了影像周期[1]和[2]之间的图像处理能力之间的差异。

在本实施例中，假定处理性能判断单元311位于通信单元3的网络控制单元310中。然而，与第一实施例相似，例如还可以将其配置在图像处理单元1中，或作为整合在图像处理单元1的控制序列器70中功能的一部分来实现。基本上，其位置不受本实施例的限制。如果将处理性能判断单元311整合在控制序列器70中，则通过网络控制单元310，由图像与通信单元之间的控制信号71将各个终端所请求的处理的内容传达给控制序列器70。利用该信息做出以上判断。

然后，通过图像与通信单元之间的控制信号71将是否可以提供该服务的判断结果传达给网络控制单元310，以使得网络控制单元310将该信息发送给各终端。然而，与第一实施例相似，从通过如上所述仅进行必要的数据传输以尽可能地减轻整个处理负荷的角度考虑，在本实施例中那样，处理性能判断单元311位于通信单元3的网络控制单元310中更为理想。

因此，除第五实施例的效果外，通过并行处理可被并行处理的部分处理，即使是部分的并行处理，并通过提供一种能够在由于实现并行处理而部分进行了本来要求的处理时补充该处理的机构，可以增强一个影像周期内一个处理设备进行处理的能力。在本实施例中，可以对多于第三实施例的一个图像进行VGA图像处理。结果，可以在一个影像周期内通过一个处理设备，进行响应于来自更多用户的不同请求的处理。

而且，通过在多个连续影像周期对部分图像连续进行处理的情况下添加用于跨多个影像周期进行处理的功能，可以进一步增强处理能力，并降低由于执行的并行处理程度的差异所导致的多个影像周期中的处理能力间的变化。

第七实施例

在第一到第六实施例中，基本上都将JPEG压缩处理用作CODEC处理的例子。然而，CODEC处理不局限于JPEG压缩处理。将利用图1、12、19、24和25对在一个影像周期内以多种方法多次进行压缩处理的情况进行说明。

在本实施例中同样使用第一实施例中的图1中的相同组件。在本实施例中还使用第四实施例中的图12中的相同组件。而且，在本实施例中还使用第五实施例中的图19中的相同组件。与第一实施例相似，在本实施例中假定图1中的摄像单元1的传感器220是正方形像素逐行扫描格式CCD。假定有效像素的数量是640×480的所谓VGA大小，并且可以每1/30秒输出一帧VGA图像。也就是说，假定本实施例中的一个影像周期为1/30秒(约33.3ms)。

图24是示出在CODEC压缩处理中插入JPEG压缩和MPEG4压缩这两种处理的情况下的处理流程的图。图25是示出具有在进行MPEG4压缩时所需要的从YUV422到YUV420的转换功能的光栅/块转换存储器40的图。从组件的角度来看，图25类似于第五实施例中所示的图19。然而，与图19相比，每个光栅/块转换线存储器的线长度为半个，而线的数量为二倍。当本实施例中的CODEC50处理MPEG4时，对于Y信号，待处理的数据单位为16×16个样本。因此，组成各光栅/块转换线存储器的存储模块的使用与图19中的发生了改变，从而可以容易地提供该数据。

而且，在U/V的光栅/块转换线存储器46-1到46-4和47-1到47-4的各出口，添加了用于将YUV422数据转换成YUV420数据的数据转换单元49。该数据转换单元是由于改变了图19中的存储模块的使用而添加和连接的功能模块。该数据转换单元具有用于跳过不必要的处理的功能。

图25中的操作基本上与图19中的操作相同。不同点是：由于数据传送的单位主要是16线，因而考虑将Y信号的光栅/块转换线存储器配置为双缓冲器，在其中，45-1和45-2对被当作为一个16线缓冲器，而45-3和45-4对被当作另一个16线缓冲器。

而且，U/V的光栅/块转换线存储器46-1到46-4和47-1到47-4同样被认为是分别由46-1和46-2、46-3和46-4、47-1和47-2、以及47-3和47-4组成的双缓冲器。而且，当需要从YUV422到YUV420的信号转换时，在位于该线存储器的出口处的数据转换单元49，根据原始图像上垂直相邻的两个线的数据生成新的数据。

通过切换数据路径，可以将光栅/块转换存储器40从图19中所示的结构调整成图25中的结构。在本实施例中，通过根据待压缩的数据的特征改变数据路径的设置来切换数据路径。

参照图12并利用图24，对包括如上所述的包括光栅/块转换存储器40的图像处理单元1的操作流程进行说明。

在图12中，将从显像单元230输出的VGA大小图像数据以帧存储在帧缓冲器10中。如图24中所示，帧缓冲器10的内部配置成双缓冲器形式，第n帧和第(n+1)帧的图像数据被存储在不同区域(缓冲器A和B)。

现假定刚完成帧缓冲器10的缓冲器A中的第n帧的积累。然后，发生从显像单元230到控制序列器70的帧数据传送完成中断(图24中的箭头1)。

响应于该帧数据传送完成中断，控制序列器70首先将用于指定CODEC处理单元应当进行什么处理的参数设置到CODEC 50的参数寄存器51(图24中箭头2a)。在本实施例中，假定请求将使用MPEG4的压缩作为第一压缩处理。这里，控制序列器70在参数寄存器51中设置用于使得CODEC 50进行MPEG4处理的多个参数，并将CODEC 50的处理模式设置成MPEG4处理模式。

然后，控制序列器70指示光栅/块转换存储器40，将从图像数据DMAC 20输入的YUV422格式的VGA大小图像数据转换成YUV420格式，并将该数据提供给在MPEG4模式中的CODEC 50(图24中的箭头4a)。接收该指示后，光栅/块转换存储器40调整图25中所示的数据路径的结构，以能够在MPEG4模式中进行操作，并等待数据传送的开始。

然后，控制序列器70指示图像数据DMAC 20从帧缓冲器10的缓冲器A读取第n帧的图像数据，并开始用于为光栅/块转换存储器40提供该数据的传送(图24中的箭头3a)。接收该指示后，图像数据DMAC 20从帧缓冲器10读取该图像数据，并将其提供给光栅/块转换存储器40。

被提供了该图像数据后，光栅/块转换存储器40开始从YUV422到YUV420的转换(图24中的箭头7a)，并以预定顺序将分块后的数据提供给CODEC 50。被提供了分块后的图像数据后，CODEC 50以MPEG4格式进行图像压缩，并随后将编码数据移交给编码数据DMAC 60。编码数据DMAC 60以预定单位将该编码数据传送给数据缓冲器12。当构成第n帧中的图像的所有编码数据的传送完成时，控制序列器70将编码数据传送完成中断发送给数据缓冲器通信单元3(图24中的箭头6a)。通过图像与通信单元之间的控制信号71传达该中断通知。

在图24中，当控制序列器70识别出已发送了编码数据JPEG4的传送完成中断时(图24中的箭头6a)，控制序列器70检查下一个所请求的图像处理的参数。这里，假定下一个所请求的操作是对VGA大小图像数据以未改变的分辨率进行JPEG压缩。由于已知在随后的流程中存在使用通过对具有相同的视场角的数据进行到QVGA数据的分辨率转换所获得的数据的JPEG处理，因而需要为并行进行图像压缩处理和分辨率转换处理进行设置。

因此，控制序列器70首先在参数寄存器51中设置用于使CODEC 50进行JPEG处理的多个参数，并将CODEC 50的处理模式设置成JPEG处理模式(图24中的箭头2b)。

然后，控制序列器70指示光栅/块转换存储器40将分块处理模式改变成JPEG处理模式(图24中的箭头4b)。接收该指示后，光栅/块转换存储器40将数据路径的结构从图25中所示的结构调整成图19中所示的结构，以能够在JPEG模式中进行操作，并等待数据传送的开始。

然后，控制序列器70指示分辨率转换单元30对从图像数据DMAC 20输入的VGA大小图像数据进行到QVGA大小的分辨率转换(未示出该定时)。

然后，控制序列器70指示图像数据DMAC 20从帧缓冲器10的缓冲器A读取第n帧的图像数据，并开始用于为CODEC 50提供该数据的传送(图24中的箭头3b)。

在本实施例中，需要将从帧缓冲器10读取的数据并行提供给分辨率转换单元30和光栅/块转换存储器40，并且，在传送区域设置寄存器21中设置参数，以使其得以实现。

当图像数据DMAC 20开始数据传送时，分辨率转换单元30开始从VGA到QVGA的图像转换(图24中的箭头8b)，并将该数据积累在帧缓冲器(2)13中。同时，接收通过光栅/块转换存储器40分块的图像数据后，该CODEC开始JPEG方法的压缩(图24中的箭头5b)，并随后将已以JPEG方法压缩的编码数据JPEGb移交给编码数据DMAC 60。

编码数据DMAC 60以预定单位将该编码数据传送给数据缓冲器12。当第n帧中的编码数据JPEGb的传送完成时，控制序列器70将编码数据传送完成中断发送给数据缓冲器通信单元3(图24中的箭头6b)。通过图像与通信单元之间的控制信号71传达该中断通知。接着，利用已被分辨率转换成QVGA且积累在帧缓冲器(2)中的图像数据，开始JPEG压缩处理。由于随后的处理与上述实施例中的处理相似，因而省略对其的说明。

在本实施例中，也假定处理性能判断单元311位于通信单元3的网络控制单元310中。然而，例如，还可以将其配置在图像处理单元1中，或作为整合在图像处理单元1的控制序列器70中的功能的一部分来实现。其位置不受本实施例的限制。然而，与第一实施例相似，从通过如上所述仅进行必要的数据传输以尽可能地减轻整个处理负荷的角度考虑，在本实施例中，处理性能判断单元311位于通信单元3的网络控制单元310中更为理想。

因此，除上述第一到第六实施例的效果外，可以利用一个CODEC在一个影像周期内以多种编码方法高效进行图像压缩处理。特别地，通过具有用于根据压缩方法动态切换数据路径的机构，可以高效利用内部存储器并可以增强处理能力，同时提高IC内部的资源的高效利用。

根据本发明，可以利用一个CODEC在一个影像周期内多次进行图像处理而无需并行实施多个处理单元，因此，可以在保持实时性的同时，为发出各种请求的网络上的用户提供多种服务。而且，由于可以在无需并行执行多个处理单元的情况下提供服务，因而，在不削弱实时性的范围内，可以提供该服务而不会预先通过处理单元的数量限制服务的内容(影像压缩方法的种类、分辨率、以及Q值等)。

由于设置了能够在一个影像周期内多次设置处理参数的编码处理单元，因而可以在一个影像周期内在一个处理单元上进行根据用户所请求的各种图像参数的编码处理。例如，可以在不掉帧的情况下，在多个用户的显示终端上平稳地显示具有不同质量的时变图像。而且，由于消除了并行执行多个处理单元的必要，因而可以缩小板或芯片的面积，还可以降低功耗。结果，可以提供小型化摄像设备。

而且，提供了一种处理性能判断单元，用于基于来自网络上的用户的请求，判断在一个影像周期内可以进行的处理内容，并用于至少给图像处理单元指定图像处理的顺序或图像处理的内容。因此，可以将单元性能，例如图像压缩处理，高效地利用到最大性能，并且，可以在保持实时性的同时，利用一个CODEC在一个影像周期内为更多用户提供多种服务。此外，为网络通信单元设置了处理性能判断单元。因此，可以在更多地减少内部数据通信的同时实现以上功能，并且，可以实现整个处理性能的提高以及功耗的降低。

而且，除了编码处理单元外，图像处理单元还包括能够在一个影像周期内多次设置处理参数的图像切取处理单元。因此，除了通过设置编码处理单元所获得的效果外，还可以响应于来自用户的各种请求通过指定任一位置和任一大小从一个高分辨率图像生成多个部分区域图像，并在一个处理单元上在一个影像周期内使用多个部分区域图像进行图像处理。

除了编码处理单元外，图像处理单元还包括能够在一个影像周期内多次设置处理参数的分辨率转换单元。因此，除了通过设置编码处理单元所获得的效果外，还可以利用一个CODEC在一个影像周期内进行多个区域的图像处理和具有多种分辨率的图像的图像处理。特别地，可以为多个用户利用一个CODEC在一个影像周期内，对从高分辨率影像获得的、具有基于用户的请求的任意视场角和任意分辨率的图像进行处理，例如，通过切取具有高分辨率的所拍摄的图像的任何区域并进行分辨率转换所获得的图像、以及未经过分辨率转换的部分切取的图像。而且，还可以利用多个影像周期进行高分辨率数据的处理。特别地，通过将UXGA大小数据的JPEG压缩分配给两个连续的影像周期，并通过在提供服务中控制处理顺序使得在时间上连续进行该处理，消除了设置用于跨多个影像周期保持高分辨率数据的处理专用的帧缓冲器的必要，从而达到了节省存储器大小的效果。

而且，图像处理单元包括用于临时积累已进行了分辨率转换处理的图像数据的帧缓冲器，使得能够在一个影像周期内进行随后的处理。因此，当多个显示终端请求对具有相同视场角的图像的分辨率转换处理时，可以消除重复进行相同的分辨率转换以及基于过分详细的数据进行压缩等的必要，并且可以缩短随后的分辨率转换处理所需的时间。因此，可以增加在一个影像周期内在一个处理单元上所进行的处理的内容。

而且，图像处理单元具有用于在时间上并行为编码处理单元和分辨率转换单元提供一个图像数据的图像数据DMA机构。因此，在多个显示终端请求在同一影像周期内处理具有相同视场角和不同分辨率的图像的情况下，可以减少分辨率转换前用于读取原始数据所需的次数和时间，因此，可以高效使用存储器和总线的带宽性能。特别地，可以预期缩短在与使用高分辨率图像数据的图像处理有关的部分所需的处理时间的效果，并且，可以提高在一个影像周期内在一个处理单元上可以进行的处理内容。结果，可以进行与来自更多用户的不同请求相对应的处理。

而且，从一个图像数据中排除部分数据后剩余的部分数据被独立地提供给分辨率转换单元，并且，作为分开进行的分辨率转换处理的结果所获得的数据，通过编码处理单元作为一个图像数据进行处理。因此，可以减少用于从帧缓冲器读取图像数据所需的次数和时间。特别地，由于还可以并行使用部分数据，因而，可以预期缩短在与使用高分辨率图像数据的图像处理有关的部分所需的处理时间的效果，并且，可以增加在一个影像周期内在一个处理单元上可以进行的处理内容。而且，通过添加用于在多个连续影像周期连续进行部分图像的处理的情况下跨多个影像周期进行处理的功能，可以进一步增强处理能力并减少由于执行并行处理的程度上的差异所导致的多个影像周期中的处理能力间的改变。

通过使图像数据的编码处理对应于多种类型的编码处理，可以利用一个CODEC在一个影像周期内以多种编码方法高效进行图像压缩处理。特别地，通过根据多种类型的编码处理动态改变光栅/块转换单元的数据路径，可以处理多种类型的编码处理，而无需设置多种光栅/块转换单元。因此，提高了整个系统的存储器使用效率，并实现了缩小芯片的大小和摄像设备的大小。

其它实施例

注意，本发明可应用于包括单个装置的设备或由多个装置构成的系统。

而且，本发明可这样实现：直接或间接向系统或设备提供实现上述实施例的功能的软件程序，使用系统或设备的计算机读取所提供的程序代码，然后执行该程序代码。在这种情况下，只要系统或设备具有程序的功能，实现的方式无需依赖于程序。

因此，由于本发明的功能由计算机实现，所以安装在计算机上的程序代码本身也实现了本发明。换句话说，本发明的权利要求还覆盖用来实现本发明的功能的计算机程序。

在这种情况下，只要系统或设备具有程序的功能，该程序可以以任何形式来执行，例如目标代码、由解译器执行的程序、或向操作系统提供的脚本数据。

能用来提供程序的存储介质的例子包括：软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失型存储卡、ROM、以及DVD(DVD-ROM和DVD-R)。

关于提供程序的方法，客户计算机可以使用客户计算机的浏览器连接到因特网上的网站，可将本发明的计算机程序或该程序的自动安装压缩文件下载到记录介质例如硬盘上。而且，本发明的程序可通过将构成程序的程序代码分为多个文件，并从不同网站下载该文件来提供。换句话说，本发明的权利要求也覆盖将通过计算机实现本发明的功能的程序文件下载到多个用户的WWW(World Wide Web，万维网)服务器。

还可以在例如CD-ROM等存储介质上加密并存储本发明的程序，将该存储介质分发给用户，允许满足一定要求的用户通过因特网从网站下载解密密钥信息，并允许这些用户使用该密钥信息来解密该加密的程序，从而将程序安装在用户计算机中。

此外，除了通过由计算机执行所读取的程序来实现根据所述实施例的上述功能的情况之外，运行在计算机上的操作系统等可执行全部或部分实际处理，从而可由该处理来实现上述实施例的功能。

而且，当将从存储介质中读取的程序写入到插入计算机中的功能扩展板、或与计算机连接的功能扩展单元所配备的存储器之后，安装在功能扩展板或功能扩展单元上的CPU等执行全部或部分实际处理，从而可由该处理来实现上述实施例的功能。

尽管参考典型实施例说明了本发明，但应当指出，本发明不局限于所公开的实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改和等同结构和功能。

Claims (11)

1.一种摄像设备，包括：

摄像单元，用于通过拍摄被摄体的图像来获取图像数据；

显像单元，用于将由所述摄像单元获取的图像数据显像成时变图像数据；

图像处理单元，用于对所述时变图像数据进行图像处理；

网络通信单元，用于将由所述图像处理单元处理后的所述时变图像数据发送到网络上；以及

控制单元，用于控制在一个影像周期内将由所述图像处理单元进行了不同类型图像处理的时变图像数据输出到所述网络通信单元，其中，所述影像周期是与一个画面相对应的构成所述时变图像数据的图像数据的更新间隔。

2.根据权利要求1所述的摄像设备，其特征在于，

所述图像处理单元包括用于对所述图像数据进行编码的编码单元；以及

在所述一个影像周期内多次为所述编码单元设置参数。

3.根据权利要求2所述的摄像设备，其特征在于，

所述图像处理单元还包括图像切取单元，该图像切取单元用于从具有高分辨率的所述图像数据切取图像；以及

在所述一个影像周期内多次为所述图像切取单元设置参数。

4.根据权利要求2所述的摄像设备，其特征在于，

所述图像处理单元还包括用于转换所述图像数据的分辨率的分辨率转换器；以及

在所述一个影像周期内多次为所述分辨率转换器设置参数。

5.根据权利要求4所述的摄像设备，其特征在于，所述图像处理单元包括帧缓冲器，该帧缓冲器用于临时积累已进行了所述分辨率转换处理的所述图像数据，以使得能够在所述一个影像周期内进行随后的处理。

6.根据权利要求4所述的摄像设备，其特征在于，所述图像处理单元具有图像数据DMA机构，该图像数据DMA机构用于在时间上并行为所述编码单元和所述分辨率转换器提供图像数据。

7.根据权利要求6所述的摄像设备，其特征在于，

所述DMA机构在时间上并行为所述编码单元和所述分辨率转换器提供所述一个图像数据的部分数据；以及

所述图像处理单元将从所述一个图像数据中排除了所述部分数据后剩余的部分数据独立地提供给所述分辨率转换器，并将作为分开进行的所述分辨率转换处理的结果获得的数据作为所述一个图像数据，由所述编码单元对其进行处理。

8.根据权利要求2所述的摄像设备，其特征在于，

所述图像处理单元还包括光栅/块转换器，用于对所述图像数据进行光栅/块转换；

由所述编码单元对所述图像数据进行的编码对应于多种类型的编码；以及

所述图像处理单元根据所述多种类型的编码，动态地改变所述光栅/块转换器的数据路径。

9.根据权利要求1所述的摄像设备，其特征在于，还包括处理性能判断单元，该处理性能判断单元用于基于来自所述网络上的用户的请求来判断能够在所述一个影像周期内进行的处理内容，并为所述图像处理单元至少指定图像处理的顺序或所述图像处理的内容。

10.根据权利要求9所述的摄像设备，其特征在于，为所述网络通信单元设置所述处理性能判断单元。

11.一种摄像方法，包括以下步骤：

通过拍摄被摄体的图像来获取图像数据；

将所获取的图像数据显像成时变图像数据；

对所述时变图像数据进行图像处理；以及

在一个影像周期内，将进行了多种不同类型的图像处理的时变图像数据发送到网络上，其中，所述影像周期是与一个画面相对应的构成所述时变图像数据的图像数据的更新间隔。

Images