CN112422810B - 图像稳定设备及其控制方法和存储介质 - Google Patents

Abstract

本发明涉及一种图像稳定设备及其控制方法和存储介质。所述图像稳定设备包括：计算单元，其被配置为基于用于检测摄像设备的抖动的抖动检测部件的检测结果，通过改变被摄体图像和摄像元件的相对位置，来计算用于校正图像模糊的图像模糊校正量，其中，所述计算单元基于在对拍摄图像进行拍摄时所使用的摄像镜头的信息，来针对所述拍摄图像的二维平面的多个轴中的各轴，以不同的比例因子计算所述图像模糊校正量。

Description

图像稳定设备及其控制方法和存储介质

技术领域

本发明涉及用于校正摄像设备中的由该设备的抖动引起的图像模糊的技术。

背景技术

近年来，使用变形镜头(anamorphic lens)的许多摄像技术已逐渐用作视频领域中的摄像所用的技术。变形镜头可以按特定比例因子对拍摄图像的水平方向进行压缩，并且通过利用后处理按比例因子对压缩后的视频进行解压缩，可以获得具有电影屏幕的宽高比(2.39:1)的视频。

提出了用于针对使用变形镜头所拍摄到的图像来校正图像模糊的方法。

在日本专利3278206中，公开了以下的技术。在从使用变形镜头所拍摄到的视频检测到运动矢量、并且在对水平方向上的压缩进行解压缩之后校正图像模糊的情况下，由于从在水平方向上被压缩的图像检测到运动矢量，因此所检测到的运动矢量小于实际的运动矢量。因此，针对图像模糊校正，使用考虑到压缩的运动矢量。

然而，在日本专利3278206中，存在以下的问题。在日本专利3278206中，在对使用变形镜头所拍摄到的视频的水平方向上的压缩进行解压缩之后，可以使用考虑到该压缩的运动矢量来校正图像模糊。然而，另一方面，在针对仍被压缩的图像进行图像稳定时，由于过度校正而导致可能无法正确地校正图像模糊。另外，在针对仍被压缩的图像、通过与运动矢量分开地从诸如角速度传感器等的惯性传感器获得振动信息来校正图像模糊的情况下，同样发生过度校正，因而无法正确地校正图像模糊。

发明内容

本发明是有鉴于上述问题而构思的，并且针对使用诸如变形镜头等的如下的摄像镜头所拍摄到的视频实现合适的图像稳定控制，其中对于该摄像镜头，压缩比例因子对于拍摄视频在水平方向和垂直方向之间有所不同。

根据本发明的第一方面，提供一种图像稳定设备，包括：计算部件，其被配置为基于用于检测摄像设备的抖动的抖动检测部件的检测结果，来计算用于校正图像模糊的图像模糊校正量，其中，所述计算部件基于在对拍摄图像进行拍摄时所使用的摄像镜头的信息，来针对所述拍摄图像的二维平面的多个轴中的各轴，以不同的比例因子计算所述图像模糊校正量。

根据本发明的第二方面，提供一种图像稳定设备的控制方法，所述控制方法包括：基于用于检测摄像设备的抖动的抖动检测部件的检测结果，来计算用于校正图像模糊的图像模糊校正量，其中，基于在对拍摄图像进行拍摄时所使用的摄像镜头的信息，来针对所述拍摄图像的二维平面的多个轴中的各轴，以不同的比例因子计算所述图像模糊校正量。

根据本发明的第三方面，提供一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使得计算机执行上述的控制方法。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出根据本发明第一实施例的数字照相机的结构的框图。

图2是示出数字照相机的坐标系的图。

图3是用于说明第一实施例中的计算图像模糊校正量的操作的流程图。

图4是用于说明第一实施例中的电子校正量转换操作的流程图。

图5是示出根据第二实施例的数字照相机的结构的框图。

图6是用于说明第二实施例中的RS失真校正范围计算的流程图。

图7是用于说明第二实施例中的RS失真的图。

图8是示出根据第三实施例的数字照相机的结构的框图。

图9是用于说明第三实施例中的电子校正量转换操作的流程图。

图10是用于说明第三实施例中的失真率的图。

具体实施方式

以下将参考附图来详细说明实施例。注意，以下实施例并不意图限制所要求保护的发明的范围。在实施例中描述了多个特征，但并未限制成需要所有这样的特征的发明，并且可以适当组合多个这样的特征。此外，在附图中，将相同的附图标记赋予相同或相似的结构，并且省略了对这些结构的重复说明。

(第一实施例)

图1是示出根据本发明第一实施例的用于拍摄静止图像和运动图像且具有图像稳定设备的可更换镜头型数字照相机(摄像设备)100的结构的框图。注意，本发明也可应用于固定镜头型照相机，而不仅仅是可更换镜头型照相机。此外，不限于数字照相机，并且可以将本发明应用于各种图像稳定设备。

注意，在以下的实施例的说明中，将在摄像设备中发生的振动表示为“抖动”，并且将由于摄像设备的抖动而发生的拍摄图像的抖动表示为“图像模糊”。此外，如图2所示，作为在与光轴垂直的平面上彼此垂直的检测轴，沿垂直方向延伸的转动轴将被描述为横摆轴，并且沿水平方向延伸的转动轴将被描述为俯仰轴，并且沿光轴方向延伸的转动轴将被描述为侧倾轴。

在图1中，数字照相机100是由摄像镜头101和照相机本体150配置成的，并且摄像镜头101是通过将其附接至照相机本体150来使用的。

摄像镜头101包括用于进行变倍的变焦透镜102、作为用于进行图像稳定的移位透镜的校正光学系统103(第一图像稳定单元)、以及用于进行焦点调整的调焦透镜104。校正光学系统103通过改变摄像元件105相对于由摄像镜头101形成的被摄体图像的相对位置来进行图像稳定。这些透镜元件进行变焦、调焦和图像稳定操作，并且使得被摄体图像聚焦在摄像元件105的摄像面上。注意，在本实施例中，设想摄像镜头101是图像比例在二维平面中垂直的水平轴方向和垂直轴方向上分别不同的变形镜头。设想变形镜头能够按特定比例因子对拍摄图像的水平方向进行压缩，并且通过利用后处理按压缩的比例因子进行解压缩(恢复)，可以获得具有电影屏幕的宽高比(2.39:1)的视频。

摄像元件105由例如基于XY寻址的CMOS(互补金属氧化物半导体)图像传感器等构成。此外，摄像镜头101通过对摄像镜头101形成的光学图像进行光电转换来累积电荷，并且通过读取该电荷，从多个像素的信号生成图像信号(拍摄图像)，并将该图像信号供给至信号处理单元106。

此外，摄像元件105通过马达127，可以在与摄像镜头101的光轴垂直的方向上移动。通过在与摄像元件105的光轴垂直的平面中沿水平方向和垂直方向的移动、以及围绕光轴的转动移动，来校正摄像镜头101所形成的被摄体图像的图像模糊(第二图像稳定单元)。针对图像模糊所校正的被摄体图像由摄像元件105进行光电转换，并且所获得的图像信号被供给至信号处理单元106。

信号处理单元106对从摄像元件105输出的图像信号进行诸如白平衡调整处理和伽马校正处理等的信号处理，并且将作为其结果所生成的帧图像存储在图像存储器107中。

图像裁切控制单元108通过裁切图像存储器107中所存储的帧图像的预定区域来生成新的帧图像，并且将该新的帧图像供给至显示控制单元109和记录控制单元111。此时，通过根据数字照相机100的抖动移动预定区域的裁切位置，校正了由于数字照相机100的抖动而发生的帧之间的被摄体的位置的移动(图像模糊)。图像裁切控制单元108配置电子图像模糊校正部件(第三图像稳定单元)。注意，信号处理单元106和图像裁切控制单元108所进行的一系列操作是例如在符合NTSC格式的视频信号的情况下按60Hz的频率进行的，并且由此生成运动图像数据。

在以下所述的各实施例中，假定裁切处理是针对进行了利用变形镜头的水平压缩、但未进行用以恢复压缩后的比例因子的处理的拍摄图像而进行的。用于对由变形镜头压缩后的拍摄图像进行解压缩的处理通常被称为去挤压(de-squeeze)处理，而通过执行该去挤压处理，图像大小增大。由于该原因，与在去挤压处理之后执行裁切处理的情况相比，在去挤压处理之前执行裁切处理的情况下，处理负荷将变小，并且可以处理甚至高速帧频的拍摄。

显示控制单元109通过使得基于从图像裁切控制单元108供给的视频信号的图像(直通图像)显示在显示装置上来实现电子取景器功能。此外，显示控制单元109根据预期用途使得设置菜单图像或记录图像等显示在显示装置110上。显示装置110包括液晶显示元件(LCD)等。

记录控制单元111在用户进行用以指示记录的开始的操作时，进行控制，以将从图像存储器107供给的运动图像数据、静止图像数据或元数据等记录到记录介质112上。记录介质112包括诸如半导体存储器等的信息记录介质、或者诸如硬盘等的磁记录介质。

角速度传感器113检测数字照相机100的抖动。所检测到的抖动信号(检测结果)被供给至后面所述的图像模糊校正量计算单元117，并且用于控制图像稳定。角速度传感器113被布置成在与光轴垂直的平面上形成彼此垂直的检测轴。更具体地，角速度传感器113具有三个角速度传感器，以能够检测围绕作为沿垂直方向延伸的轴的横摆轴的抖动、围绕作为沿水平方向延伸的轴的俯仰轴的抖动、以及围绕作为沿光轴方向延伸的轴的侧倾轴的抖动(即，围绕三个轴的抖动)。角速度传感器113检测数字照相机100的抖动的角速度，并且输出与该角速度相对应的电压。

第一A/D转换单元114将从角速度传感器113输出的电压转换成数字角速度数据，并且将该角速度数据供给至后面将说明的图像模糊校正量计算单元117。

运动矢量检测单元115检测在与光轴垂直的平面上彼此垂直的两个方向(水平方向和垂直方向)上的运动矢量。用于检测运动矢量的方法可以是相关法或块匹配法。在一个示例中，假定块匹配法用在运动矢量检测单元115中。

在块匹配法中，首先将输入图像信号分割成多个适当大小的块(例如，16×16个像素)，并且以块为单位计算相对于先前视野或帧的固定范围的像素的差。此外，在该差的绝对值的总和最小的先前视野或帧中的块内进行搜索，并且检测到两个块之间的相对偏移作为该块的运动矢量。因此，可以导出以像素为单位的垂直方向和水平方向各自的移动量(具体为运动矢量)。

这样的运动矢量表示连续的拍摄图像的每单位时间的移动量，具体是数字照相机100的移动量。此外，在无法成功检测到运动矢量的情况下，做出运动矢量误差判断。作为运动矢量误差判断方法的一个示例，可以考虑在亮度信号小或者检测值为峰值等的条件下判断运动矢量误差。将所检测到的运动矢量供给至后面所述的图像模糊校正量计算单元117(其中，水平矢量为H_Vect且垂直矢量为V_Vect)，并且用于图像稳定控制。

光学参数获得单元116从摄像镜头101获得摄像镜头的特性信息，诸如焦距、光圈值、焦点位置、移位透镜移动量、失真率、变形镜头压缩因子或有效图像直径等。这样的信息无需直接从摄像镜头101获得，并且可以进行配置以获得经由用户界面等输入的值。将所获得的信息供给至图像模糊校正量计算单元117，并且用于控制图像稳定。

图像模糊校正量计算单元117计算出用于校正由于数字照相机100的抖动而发生的图像模糊的校正量，并且将该校正量供给至校正量分割控制单元118。注意，图像模糊校正量计算单元117所计算出的图像模糊校正量不是多个图像稳定单元中的各图像稳定单元的校正量，而是整个数字照相机100的图像模糊校正量。

校正量分割控制单元118将图像模糊校正量计算单元117所计算出的数字照相机整体的图像模糊校正量分割成用于利用多个图像稳定单元进行校正的校正量。在本实施例中，作为一个示例，将图像模糊校正量分割成用于利用摄像元件105的移动进行校正的校正量和用于利用图像裁切控制单元108进行校正的校正量。

摄像元件校正量转换单元119将从校正量分割控制单元118输出的校正量转换成用于利用摄像元件105适当地校正图像模糊的移动量，并且将该移动量作为驱动目标位置输出。

电子校正量转换单元120将从校正量分割控制单元118输出的校正量转换成用于利用图像裁切控制单元108适当地校正图像模糊的裁切位置，并且将该裁切位置设置到图像裁切控制单元108。

位置检测单元121检测摄像元件105的移动位置，并且输出与该位置相对应的电压。位置检测单元121的输出电压由放大器122放大成合适电压范围内的信号。放大器122的输出由第二A/D转换单元123转换成数字位置数据。

将作为位置数据相对于摄像元件105的驱动目标位置的差的偏差数据输入到控制滤波器124中。控制滤波器124针对所输入的数据应用诸如放大处理和相位补偿处理等的各种信号处理，并且将处理后的结果输出至脉冲宽度调制单元125。脉冲宽度调制单元125将控制滤波器124的输出调制成使脉冲波的占空比改变的波形(具体为PWM波形)，并且将该波形供给至马达驱动单元126。

马达127例如是音圈型马达，并且通过利用马达驱动单元126驱动马达127，使摄像元件105在与光轴垂直的方向上移动。然后，形成如下的反馈回路，其中在该反馈回路中，利用位置检测单元121检测移动后的摄像元件105的位置，并且计算下一偏差数据。然后，进行控制，以使驱动目标位置和位置数据之间的差变小。由此，控制摄像元件105的驱动以追踪驱动目标位置。注意，马达127可以是通过利用压电元件使振动板振动来产生驱动力的振动马达。

图3是用于说明图像模糊校正量计算单元117的校正量计算操作的流程图。注意，例如，在符合NTSC格式的视频信号的情况下，按诸如60Hz等的预定频率重复地执行图3所示的处理。

首先，在步骤S201中，获得拍摄时的摄像镜头的光学参数信息，诸如焦距、光圈值、焦点位置、失真率、变形镜头压缩因子或有效图像直径等。该信息的获得可以经由与摄像镜头101的电气通信来进行，或者可以进行配置，使得获得通过使用数字照相机100的用户界面手动输入的值。

在步骤S202中，利用角速度传感器113检测数字照相机100的围绕横摆轴和俯仰轴的抖动。注意，由于来自角速度传感器113的振动信息是角速度信息，因此通过利用HPF去除低频分量并且进一步利用积分器进行积分，来进行从角速度信息向角位移信息的转换。在这里进行的积分计算中，使用不完全积分来避免饱和，并且使用传统上已知的一次LPF。转换后的角位移数据分别为Yaw_rad和Pitch_rad。

在步骤S203中，使用先前帧和当前帧来检测运动矢量，并且计算运动矢量数据H_Vect和V_Vect。

在步骤S204中，使用在步骤S201中获得的变形镜头压缩因子，判断变形镜头是否附接至照相机本体150。在判断为附接了变形镜头的情况下，处理进入步骤S205，以及在判断为没有附接变形镜头的情况下，处理进入步骤S206。

在步骤S205中，针对在与光轴垂直的平面上彼此垂直的水平方向和垂直方向各自设置摄像镜头压缩比例因子。更具体地，水平方向和垂直方向上的摄像镜头的压缩比例因子分别为Yaw_Mag和Pitch_Mag，并且将在步骤S201中获得的变形镜头压缩因子设置到Yaw_Mag，并且针对Pitch_Mag设置表示等倍(full size)的1。

在步骤S206中，与步骤S205同样，设置在与光轴垂直的平面上彼此垂直的水平方向和垂直方向上的摄像镜头的压缩比例因子。这里，水平方向和垂直方向上的摄像镜头的压缩比例因子分别为Yaw_Mag和Pitch_Mag，并且将Yaw_Mag和Pitch_Mag这两者都设置为表示等倍的1。

在步骤S207中，根据在步骤S205或步骤S206中设置的摄像镜头的压缩比例因子和在步骤S201中获得的焦距信息，来针对各图像稳定轴计算虚拟焦距。更具体地，在步骤S201中所获得的焦距为f并且虚拟焦距分别为Yaw_f和Pitch_f的情况下，可以进行根据(等式1)和(等式2)的说明。

Yaw_f＝f·(1/Yaw_Mag) ...(等式1)

Pitch_f＝f·(1/Pitch_Mag) ...(等式2)

在步骤S208中，根据在步骤S202中转换得到的角位移数据Yaw_rad和Pitch_rad、在步骤S203中获得的运动矢量数据H_Vect和V_Vect、以及在步骤S207中计算出的虚拟焦距Yaw_f和Pitch_f，来计算与横摆轴和俯仰轴各自有关的图像模糊校正量。更具体地，在图像模糊校正量分别为H_Total和V_Total时，可以进行根据(等式3)和(等式4)的说明。

H_Total＝Yaw_f·tan(Yaw_rad)+H_Vect ...(等式3)

V_Total＝Pitch_f·tan(Pitch_rad)+V_Vect ...(等式4)

接着，将说明用于对如上所述获得的数字照相机100的整个图像模糊校正量进行分割的校正量分割控制单元118。

校正量分割控制单元118将图像模糊校正量计算单元117所计算出的图像模糊校正量H_Total和V_Total分割成利用摄像元件105的移动的图像稳定(第二图像稳定)所使用的校正量Y_Correct和Pitch Correct、以及电子图像模糊校正(第三图像稳定)所使用的校正量H_hom和V_hom。接着，将各个校正量输出至摄像元件校正量转换单元119和电子校正量转换单元120。注意，对于分割方法，可以进行配置，以根据基于角速度传感器113所计算出的图像模糊校正量来改变摄像元件校正量与电子校正量的比，并且还可以使用其它方法。

图4是用于说明电子校正量转换单元120中的转换操作的流程图。注意，例如，在符合NTSC格式的视频信号的情况下，按诸如60Hz等的预定频率重复地执行图4所示的处理。

首先，在步骤S301中，获得校正量分割控制单元118所计算出的图像模糊校正量H_hom和V_hom。

在步骤S302中，计算图像稳定范围。图像稳定范围是基于光学参数获得单元116所获得的有效图像直径信息、摄像元件105的读出范围和图像裁切控制单元108的可移动范围等来设置的，以不会碰到边缘，由此对图像模糊校正量H_hom和V_hom施加限制。应用了限制之后的图像模糊校正量是H_hom_final和V_hom_final。

在步骤S303中，将在步骤S302中计算出的图像模糊校正量H_hom_final和V_hom_final确定为图像裁切控制单元108所要使用的图像模糊校正量。

如上所述，在本实施例中，在附接变形镜头时，针对各图像稳定轴改变校正量，防止由于压缩比例因子的不同而导致的错误的图像稳定，并且实现了合适的图像稳定。因此，即使在附接变形镜头时发生抖动的情况下，也可以在不存在过度校正的情况下实现合适的图像稳定控制。

此外，在本实施例中，将说明使用第二图像稳定单元(利用摄像元件的移动的图像稳定)和第三图像稳定单元(电子图像模糊校正)的情况。然而，可以进行配置，以将本发明应用于如下的情况：代替第二图像稳定单元，使用第一图像稳定单元(利用布置在摄像镜头内的移位透镜的图像稳定)，或者使用所有三个类型的图像稳定单元。

(第二实施例)

图5是示出用于进行静止图像和运动图像的拍摄且具有根据本发明第二实施例的图像稳定设备的可更换镜头型数字照相机(摄像设备)500的结构的框图。注意，与图1所示的元件相同的元件将被赋予相同的附图标记，并且将不进行说明。

图5所示的数字照相机500的照相机本体151对应于图1的结构，并且添加了RS失真校正范围计算单元128和RS失真校正量计算单元129。这里，RS是后面所述的卷帘快门的缩写。此外，移除了电子校正量转换单元120和图像裁切控制单元108，并且添加了控制与电子校正量转换单元120有所不同的电子校正量转换单元130以及图像变换控制单元131。

注意，在本实施例中，与图3所示的第一实施例中的图像模糊校正量计算单元117的校正量计算操作同样，进行与变形镜头相对应的图像模糊校正量的计算。

图6是示出利用RS失真校正范围计算单元128的校正范围计算操作的流程图。注意，例如，在符合NTSC格式的视频信号的情况下，按诸如60Hz等的预定频率重复地执行图6所示的处理。

首先，在步骤S401中，获得拍摄时的摄像镜头的光学参数信息，诸如焦距、光圈值、焦点位置、失真率、变形镜头压缩因子和有效图像直径等。该信息的获得可以经由与摄像镜头101的电气通信来进行，并且可以进行配置以获得使用数字照相机500的用户界面手动输入的值。

在步骤S402中，针对各焦距临时确定RS失真校正范围。RS失真校正范围可以是根据针对预先决定的各焦距的校正表来确定的，并且可以进行配置，以根据图5的角速度传感器113所检测到的抖动信号的大小来改变RS失真校正范围。

在步骤S403中，将在步骤S402中临时确定的校正范围乘以变形镜头比例因子，并由此确定校正范围。必须通过后处理来根据压缩后的比例因子对变形镜头所拍摄到的图像进行解压缩。此时，如果在仍残留RS失真的状态下进行根据比例因子的解压缩，则与在未附接变形镜头的情况下相比，RS失真将变得更突出明显。由于该原因，与变形镜头的比例因子成比例地进行用以使校正范围与通常相比增大的控制。在临时确定的校正范围分别为H_RS_PreRange和V_RS_PreRange、并且所确定的范围分别为H_RS_Range和V_RS_Range的情况下，可以进行根据(等式5)和(等式6)的说明。

H_RS_Range＝H_RS_PreRange·Yaw_Mag ...(等式5)

V_RS_Range＝V_RS_PreRange·Pitch_Mag ...(等式6)

在RS失真校正量计算单元129中，基于图5的角速度传感器113检测到的振动信息和RS失真校正范围计算单元128所确定的校正范围，来计算RS失真校正量，并将该RS失真校正量输出至电子校正量转换单元130。在本实施例中，说明在移动数字照相机500之后拍摄静止被摄体时发生的滚动快门失真，并且仅针对H方向(水平方向)进行说明。

为了校正由于照相机抖动或步行时的摇摆而导致的滚动快门失真，需要通过使用角速度传感器等来计算在摄像元件上的像素的曝光持续时间作为基准时的、在关注像素的曝光持续时间的时间差期间产生的摄像面上的抖动量。这里，由于曝光持续时间的时间差足够小、使得在水平方向上的同一行上的像素之间可以忽略该曝光持续时间的时间差，因此将同一行内的像素视为具有相同的曝光持续时间，并且计算由于行之间的曝光持续时间的时间差而发生的抖动量。然而，在计算并保存所有行的抖动量时，大的操作量对系统的负荷变大，并且需要增加存储器容量。因此，在本实施例中，计算与离散地间隔剔除的行相对应的抖动量，并且通过插值来获得与这些行之间的行相对应的抖动量。

图7是如下的图：将构成一个画面的行间隔剔除为九个行L0～L8，时间是纵轴，RS失真校正量是横轴，并且针对时刻T0～T8标绘RS失真校正量C0～C8。

时刻T0～T8是在行L0作为基准时的各行的曝光持续时间的时间差，并且根据从时刻T0起在与各个行相对应的时刻之间产生的抖动量来计算RS失真校正量C0～C8。此外，基于离散的RS失真校正量C0～C8，使用诸如线性插值、多项式近似或最小二乘法等的公知方法，来计算与拍摄图像的各行相对应的RS失真校正量。

之后，基于由RS失真校正范围计算单元128确定的校正范围H_RS_Range和V_RS_Range，来限制所计算出的RS失真校正量C0～C8的范围，并且将该范围输出至电子校正量转换单元130。

电子校正量转换单元130将从校正量分割控制单元118供给的图像模糊校正量和从RS失真校正量计算单元129供给的RS失真校正量转换成用于在图像变换控制单元131中适当地校正图像模糊和RS失真的裁切位置/变换坐标。然后，将这些裁切位置/变换坐标设置到图像变换控制单元131。

注意，可以进行利用图像变换控制单元131的控制的范围是将在校正图像模糊时需要的图像稳定范围与在校正RS失真时需要的RS失真校正范围组合的范围，因此在图像稳定范围和RS失真校正范围之间存在折衷关系。因此，根据在图5的光学参数获得单元116中获得的有效图像直径信息、摄像元件105的读出范围、图像裁切控制单元108的可移动范围和在RS失真校正范围计算单元128中计算出的RS失真校正范围等，来对电子图像模糊校正中的图像模糊校正量H_hom和V_hom应用限制，以不会碰到边缘。应用了限制之后的图像模糊校正量为H_hom_final和V_hom_final，并且确定了图像模糊校正量。

图像变换控制单元131裁切图像存储器107中所存储的帧图像的预定区域，通过几何变换生成新的帧图像，并且将该帧图像供给至显示控制单元109和记录控制单元111。此时，通过根据数字照相机500的抖动移动预定区域的剪切位置，来校正由于数字照相机500的抖动而发生的帧之间的被摄体的位置的移动(图像模糊)。此外，可以同时实现用于校正由于数字照相机100的抖动而发生的RS失真的RS失真校正功能。注意，例如，在符合NTSC格式的视频信号的情况下，按60Hz的频率执行信号处理单元106和图像裁切控制单元108所进行的一系列操作，并由此生成运动图像数据。

如上所述，借助于本实施例，在附接了变形镜头时，针对各图像稳定轴改变校正量，可以防止由于压缩比例因子的不同而导致的错误的图像稳定，并且可以进行合适的图像稳定。

此外，利用变形镜头所拍摄到的视频，需要通过后处理来根据压缩后的比例因子进行解压缩，并且在当RS失真仍残留时利用比例因子对压缩图像进行了解压缩的情况下，与在未附接变形镜头的情况下相比，RS失真将变得更加显著。然而，如在本实施例中所述，由于变形镜头的压缩比例因子越高、合适的图像模糊校正量越趋于在H方向(水平方向)上减少，因此可以使缩小的范围成为RS失真校正范围。结果，即使在附接变形镜头时发生抖动的情况下，也可以在不存在过度校正的情况下实现合适的图像稳定控制，并且与未附接变形镜头的情况相比，可以增加RS失真校正量。结果，可以提供如下的图像稳定装置：即使在通过后处理进行了解压缩以利用比例因子从压缩恢复之后，也能防止RS失真显著。

(第三实施例)

图8是示出用于拍摄静止图像和运动图像且具有根据本发明第三实施例的图像稳定设备的可更换镜头型数字照相机(摄像设备)800的结构的框图。注意，与图1所示的元件相同的元件将被赋予相同的附图标记，并且将不说明这些元件。

图8所示的数字照相机800的照相机本体152对应于图1的结构，并且添加了控制与电子校正量转换单元120有所不同的电子校正量转换单元132。

注意，在本实施例中，与图3所示的第一实施例中的图像模糊校正量计算单元117的校正量计算操作同样，进行与变形镜头相对应的图像模糊校正量的计算。

图9是用于说明图8的电子校正量转换单元132的校正量转换操作的流程图。注意，例如，在符合NTSC格式的视频信号的情况下，按60Hz等的预定频率重复地执行图9所示的处理。

首先，在步骤S501中，获得由校正量分割控制单元118供给的电子图像模糊校正中的图像模糊校正量H_hom和V_hom。

在步骤S502中，获得拍摄时的摄像镜头的光学参数信息，诸如焦距、光圈值、焦点位置、失真率、变形镜头压缩因子或有效图像直径等。该信息的获得可以经由与摄像镜头101的电气通信来进行，或者可以进行配置，使得获得通过使用数字照相机100的用户界面手动输入的值。

在步骤S503中，计算临时图像稳定范围。根据在步骤S502中获得的有效图像直径信息、摄像元件105的读出范围和图像裁切控制单元108的可移动范围等来设置临时图像稳定范围，使得不会碰到边缘，并且对图像模糊校正量H_hom和V_hom施加限制。应用了限制之后的图像模糊校正量为H_hom_Limit和V_hom_Limit。

在步骤S504中，基于在步骤S502中获得的失真率来进行失真判断(失真变形判断)。所获得的失真率为Lens_Dist，并且通过与特定的预定失真率限制值Dist_Th进行比较，来判断Lens_Dist是否超过Dist_Th。在判断为失真率Lens_Dist超过Dist_Th的情况下，处理进入步骤S505，以及在判断为失真率Lens_Dist不超过Dist_Th的情况下，处理进入步骤S506。

图10是用于说明失真率Lens_Dist的图。在从无失真的图像的中心起的像高为S、并且与失真图像相比的像高差为ΔS的情况下，对于失真率Lens_Dist，可以进行根据等式(7)的说明。

Lens_Dist[％]＝100·(ΔS/S) ...(等式7)

在步骤S505中，基于在步骤S503中计算出的在应用限制之后的图像模糊校正量H_hom_Limit和V_hom_Limit、以及在步骤S502中获得的Lens_Dist，来计算进一步应用根据失真率的限制的图像模糊校正量。在应用根据失真率的限制之后的图像模糊校正量分别计算为H_hom_final和V_hom_final。

在步骤S506中，将在步骤S505中计算出的图像模糊校正量H_hom_final和V_hom_final确定为图像裁切控制单元108中所使用的图像模糊校正量。注意，在步骤S504中失真率不超过失真率限制值Dist_Th的情况下，在步骤S506中，将在步骤S503中计算出的在应用了限制之后的图像模糊校正量H_hom_Limit和V_hom_Limit确定为图像裁切控制单元108所使用的图像模糊校正量。

如上所述，借助于本实施例，在附接变形镜头时，针对各图像稳定轴改变校正量，可以防止由于压缩比例因子的不同而导致的错误的图像稳定，并且可以进行合适的图像稳定。

此外，在附接有失真率大于或等于预定失真率的摄像镜头时发生了抖动的情况下，可以实现在能够进行合适的图像稳定的范围内实现最大限度的图像稳定控制。

此外，在本实施例中，说明了使用第二图像稳定单元(利用摄像元件的移动的图像稳定)和第三图像稳定单元(电子图像模糊校正)的情况。然而，可以进行配置，使得：在代替第二图像稳定单元而使用第一图像稳定单元(利用移位透镜的图像稳定)、或者使用所有三个类型的图像稳定单元的情况下，应用本发明。

此外，在上述各实施例中，使用角速度传感器作为抖动检测部件的示例给出了说明，但可以采用其它的抖动检测部件。例如，可以进行配置，使得：使用加速度传感器来根据加速度计算抖动量，通过多个传感器的组合来检测抖动，并且相应地计算出设备的抖动量。

此外，诸如角速度传感器等的抖动检测部件可以是包括在摄像镜头101而不是照相机本体150中的结构。可选地，诸如角速度传感器等的抖动检测部件可以包括在照相机本体150和摄像镜头101这两者中，并且可以进行配置，使得通过使用这两个抖动检测部件来检测数字照相机100的抖动。

此外，在上述各实施例中，使用变形镜头作为针对拍摄视频的水平方向和垂直方向具有不同的压缩比例因子的摄像镜头的示例给出了说明，但可以使用其它摄像镜头。此外，可以进行配置，使得：照相机本体150从摄像镜头获得诸如镜头ID等的镜头类型信息，并且基于预先存储在照相机本体150的存储器中的针对各镜头类型的光学参数信息和所获得的镜头类型信息来获得(确定)摄像镜头光学参数信息。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种图像稳定设备，包括：

计算部件，其被配置为基于用于检测摄像设备的抖动的抖动检测部件的检测结果，来计算用于校正图像模糊的图像模糊校正量，其中，

所述抖动检测部件包括角速度传感器和用于检测多个图像之间的运动矢量的运动矢量检测部件，

所述计算部件基于针对在对拍摄图像进行拍摄时所使用的二维平面的多个轴中的各轴具有各自不同的压缩比例因子的摄像镜头的信息，来针对所述拍摄图像的所述二维平面的所述多个轴中的各轴，以不同的比例因子计算所述图像模糊校正量，

所述计算部件使用第一信息和第二信息来计算所述图像模糊校正量，其中，所述第一信息是通过使用所述不同的压缩比例因子而从所述角速度传感器的检测结果计算的，所述第二信息是通过不使用所述不同的压缩比例因子而从所述运动矢量计算的，以及

所述比例因子与所述摄像镜头的所述压缩比例因子相对应；以及所述图像稳定设备还包括：

电子图像模糊校正部件，其被配置为基于所述图像模糊校正量来对图像模糊进行电气校正，

其中，所述电子图像模糊校正部件被配置为针对未执行去挤压处理的拍摄图像，基于所述图像模糊校正量来对图像模糊进行电气校正以及通过图像变换来对卷帘快门失真进行校正，以及

所述去挤压处理包括对由所述摄像镜头压缩后的拍摄图像进行解压缩。

2.根据权利要求1所述的图像稳定设备，其中，所述二维平面的多个轴是彼此垂直的两个轴。

3.根据权利要求2所述的图像稳定设备，其中，所述二维平面的多个轴是水平方向的轴和垂直方向的轴。

4.根据权利要求3所述的图像稳定设备，其中，在所述摄像镜头中，水平方向的图像比例和垂直方向的图像比例不同。

5.根据权利要求4所述的图像稳定设备，其中，所述摄像镜头是用于在拍摄被摄体图像时在水平方向上对该图像进行压缩的镜头。

6.根据权利要求5所述的图像稳定设备，其中，所述计算部件将水平方向上的图像模糊校正量计算成小于垂直方向上的图像模糊校正量。

7.根据权利要求6所述的图像稳定设备，还包括控制部件，所述控制部件被配置为基于所述摄像镜头的信息来改变用于校正图像模糊的校正范围。

8.根据权利要求7所述的图像稳定设备，其中，在所述摄像镜头的水平方向上的图像比例和垂直方向上的图像比例不同的情况下，与所述摄像镜头的水平方向上的图像比例和垂直方向上的图像比例相同的情况相比，所述控制部件缩小用于校正图像模糊的校正范围。

9.根据权利要求7所述的图像稳定设备，其中，所述控制部件基于所述摄像镜头的信息，来进一步改变用于校正所述拍摄图像的所述卷帘快门失真的失真校正范围。

10.根据权利要求9所述的图像稳定设备，其中，在所述摄像镜头的水平方向上的图像比例和垂直方向上的图像比例不同的情况下，与所述摄像镜头的水平方向上的图像比例和垂直方向上的图像比例相同的情况相比，所述控制部件增大所述失真校正范围。

11.根据权利要求7所述的图像稳定设备，其中，所述控制部件基于所述摄像镜头的信息，来进一步改变用于校正所述拍摄图像的失真变形的校正范围。

12.根据权利要求1所述的图像稳定设备，其中，所述抖动检测部件包括加速度传感器。

13.根据权利要求1所述的图像稳定设备，其中，通过使所述摄像镜头内的透镜基于所述图像模糊校正量而移动，通过改变被摄体图像和摄像元件的相对位置来校正图像模糊。

14.根据权利要求1所述的图像稳定设备，其中，通过使摄像元件基于所述图像模糊校正量而移动，通过改变被摄体图像和所述摄像元件的相对位置来校正图像模糊。

15.根据权利要求1所述的图像稳定设备，其中，基于所述图像模糊校正量，通过使所述摄像镜头中的透镜以及摄像元件至少之一移动，通过改变被摄体图像和所述摄像元件的相对位置来校正图像模糊。

16.一种图像稳定设备的控制方法，所述控制方法包括：

基于用于检测摄像设备的抖动的抖动检测部件的检测结果，来计算用于校正图像模糊的图像模糊校正量，其中，

所述抖动检测部件包括角速度传感器和用于检测多个图像之间的运动矢量的运动矢量检测部件，

基于针对在对拍摄图像进行拍摄时所使用的二维平面的多个轴中的各轴具有各自不同的压缩比例因子的摄像镜头的信息，来针对所述拍摄图像的所述二维平面的所述多个轴中的各轴，以不同的比例因子计算所述图像模糊校正量；

使用第一信息和第二信息来计算所述图像模糊校正量，其中，所述第一信息是通过使用所述不同的压缩比例因子而从所述角速度传感器的检测结果计算的，所述第二信息是通过不使用所述不同的压缩比例因子而从所述运动矢量计算的，以及

所述比例因子与所述摄像镜头的所述压缩比例因子相对应；以及所述控制方法还包括：

基于所述图像模糊校正量来对图像模糊进行电气校正，

其中，针对未执行去挤压处理的拍摄图像，基于所述图像模糊校正量来对图像模糊进行电气校正以及通过图像变换来对卷帘快门失真进行校正，以及

所述去挤压处理包括对由所述摄像镜头压缩后的拍摄图像进行解压缩。

17.一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使得计算机执行根据权利要求16所述的控制方法。