CN1909590A - 摄像装置、图像校正方法以及程序 - Google Patents

Abstract

数码相机(1)具备3轴加速度传感器(32)。CPU(30)，基于通过该3轴加速度传感器(32)所检测的重力方向，判定摄像时相机的朝向，基于该相机的朝向计算用于将摄影图像向规定方向投影校正的参数，采用该参数对该摄影图像的变形进行校正。由此不需要摄影对象的轮廓信息，便可以对倾斜摄影后的图像的变形进行简单校正。

Description

摄像装置、图像校正方法以及程序

技术领域

本发明涉及一种例如数码相机等摄像装置，尤其涉及一种具备对因摄影对象对应的相机的倾斜而导致摄影变形了的图像进行校正的功能的摄像装置、和该摄像装置中采用的图像校正方法以及程序。

背景技术

随着近年来数码相机的普及，数码相机不单是用于简单的风景或人的摄影，还有对纸张文件或名片等文件、或显示在黑板等上的内容进行摄影，从而将那些图像数字化保存在个人计算机等中、并进行管理这样的用途。

在此，在将文件或黑板等作为摄影对象时，有时因摄影者的位置或照明光等的关系而从斜方向对摄影对象进行摄影。这种情况下，根据相机的倾斜度图像会变形成梯形，导致无法判别文字等。

以往，作为对这样的图像的变形进行校正的方法，有例如专利文献1中公开的方法。在该专利文献1中，提取摄影对象的轮廓信息，基于该轮廓信息对摄像图像的变形进行校正。由此，即便在将相机倾斜摄影时，也可以得到从正面摄影的矩形图像。

然而，在上述专利文献1的方法中，由于采用摄像对象的轮廓信息，因此存在当无法正确提取该轮廓信息时则无法进行校正的问题。这时，虽然也有用户在画面上指定图像的轮廓部分的方法，但是如果那样就非常麻烦，会给用户造成负担。

专利文献1：特开2005-115711号公报

发明内容

本发明就是鉴于上述这样的问题而形成的，其目的在于提供一种不需要摄像对象的轮廓信息，便可以对倾斜摄像的图像的变形简单地进行校正的摄像装置、图像校正方法以及程序。

本发明的一种技术方案是一种摄像装置，具备：摄影机构，其获得摄影对象的图像；重力检测机构，其检测重力方向；朝向判定机构，其基于通过该重力检测机构所检测的重力方向，判定摄像时相机的朝向；参数计算机构，其基于通过该朝向判定机构所判定的相机的朝向，算出用于将通过所述摄影机构所得到的摄影图像投影校正到规定的方向的参数；和图像校正机构，其采用通过该参数计算机构所算出的参数，对所述摄影图像的变形进行校正。

附图说明

图1是示出作为本发明的一实施方式的摄像装置以数码相机为例时的摄影状态的图，是令相机的镜头为垂直朝向(向下)的状态的图。

图2是示出作为本发明的一实施方式的摄像装置以数码相机为例时的摄影状态的图，示出令相机的镜头为水平朝向状态的图。

图3是表示该实施方式中的数码相机的电路结构的框图。

图4是用于说明该实施方式中的数码相机的图像校正的图。

图5是表示该实施方式中的数码相机的操作部所具备的SET键与上下左右的光标键的配置的图。

图6是表示该实施方式中的数码相机与放置在水平方向的摄影对象之间的关系的图。

图7是表示该实施方式中的数码相机与放置在垂直方向的摄像对象之间的关系的图。

图8为用于说明该实施方式中的当数码相机处于垂直方向时的投影校正的图。

图9为抽出图8的O-Q-P面与O-P-S面显示的图

图10为用于说明该实施方式中的当数码相机处于水平朝向时的投影校正的图。

图11为该实施方式中的由数码相机拍摄垂直立足的白板的一部分的图像的图。

图12为表示该实施方式中的数码相机的摄影处理的动作的流程图。

图13为用于说明该实施方式中的数码相机的霍夫变换的图。

图14是根据摄影图像检测水平方向的直线的方法进行说明的图。

具体实施方式

下面，参照附图说明本发明的实施方式。

(1)装置结构

图1以及图2是示出作为本发明的一实施方式相关的摄像装置以数码相机为例时的摄影状态的图。图1表示令相机的镜头为垂直朝向(向下)时的状态，图2表示令相机的镜头为水平朝向时的状态。

另外，以下说明中虽然使用“上下”，“左右”这样的表示方式，但是这是表示与摄影图像的坐标系对应的朝向。即，在现实世界的坐标系中，以重力方向为基准来表示朝向。因此，照相机的朝向表现为“垂直”，“水平”。与此相对，在摄影图像的坐标系中，一般将垂直方向表示为“上下”，将水平方向表示为“左右”。

本实施方式中的数码相机1，将被水平置于桌子上等的纸张2、或者垂直立在地板面等上的白板3上笔写的文字、或粘贴在上面的用纸等作为摄影对象。具备一种功能，即使在从正面以外的方向对该摄影对象倾斜摄影时，也能对变形成梯形的图像进行校正，并生成如同从正面摄影的图像。

如图1以及图2所示，在该数码相机1上，设置光学透镜部11、液晶监视器12、快门键13。

光学透镜部11，具备对光进行聚光的透镜等，对来自摄像对象的光进行聚光。液晶监视器12，用于显现出经由光学透镜部11而取入内部的图像。快门键13是用于指示摄影时刻的操作键。

图3为表示本实施方式中的数码相机1的电路结构的框图。

数码相机1，其结构具备：光学装置21、图像传感器22、存储器23、显示装置24、图像处理装置25、操作部26、计算机接口部27、外部存储IO装置28、程序代码存储装置29、CPU30、存储卡31、以及3轴加速度传感器32。

光学装置21，由光学透镜部11及其驱动部组成，在图像传感器22上使来自摄影对象的光聚光并使像成像。

图像传感器22，用于将通过光学装置21所成像的摄影对象的图像取入作为数字化了的图像数据，由例如CCD(Charge Coupled Device：电荷耦合元件)等构成。图像传感器22被CPU30控制，如果快门键13被按下，则生成预览用的分辨率低的数字图像数据，将该图像数据以每秒30张左右的间隔定期向像存储器23送出。并且，图像传感器22，在快门键13被按下时，生成分辨率高的图像数据，并将所生成的图像数据向存储器23送出。另外，图像传感器22可通过CPU30设定摄像灵敏度(ISO灵敏度)，依据摄影对象的明亮度可进行调整。

存储器23暂时存储来自图像传感器22的低分辨率的预览图像、高分辨率的图像数据或者图像处理装置25进行图像处理的源图像数据、以及处理后的图像数据。存储器23将暂时存储的图像数据向显示装置24或者图像处理装置25送出。另外，在该存储器23中设置有用于存储后述的投影校正参数的参数存储区域。

显示装置24具备液晶监视器12，用于使图像显示在液晶监视器12上。显示装置24，将存储器23暂时存储的低分辨率的预览图像或者分辨率高的图像显示在液晶监视器12上。

图像处理装置25，用于对于被暂时存储在存储器23中的图像数据执行图像数据的压缩等图像处理。另外，在本实施方式中，该图像处理装置25，执行用于将如图4(a)、(b)所示的变形成梯形的图像校正成该图(c)所示的图像的处理。

操作部26，除快门键13之外还由未图示的电源键、摄影键、再生键等构成，伴随那些键操作的信号被直接向CPU30送出。另外，如图5所示，该操作部26，具备：SET键110、和上下左右光标键111～114。这些键110、111～114被用作后述的投影校正的微调整用操作键。

计算机接口部27，在数码相机1与计算机(未图示)连接时，作为USB的存储类驱动器工作。由此，若计算机与数码相机1连接，则将存储卡31作为计算机的外部存储装置处理。

外部存储IO装置28在与存储卡31之间进行图像数据等的输入输出。存储卡31对从外部存储IO装置28供给的图像数据等进行存储。

程序代码存储装置29用于存储CPU30执行的程序，由ROM或闪存等构成。

CPU30，依据被保存在程序代码存储装置29中的程序来控制系统整体。另外，存储器23也可以被采用作为CPU30的工作存储器。

通过按下操作部26的开关/键，在从操作部26发送操作信息时，CPU30基于该操作信息对图像传感器22、存储器23、显示装置24、图像处理装置25等进行控制。

具体来说，在从操作部26发送摄影键被按下的意思的操作信息时，则CPU30将各部设定为摄影模式。在设定为摄像模式的状态下，如果快门键13未被按下，则CPU30将图像传感器22设定为预览模式，如果快门键13被按下，则CPU30将其设定为读入分辨率高的摄影对象图像的高分辨率模式。并且，在发送再生键被按下的意思的操作信息时，CPU30将各部设定为再生模式。

另外，CPU30或者经由外部存储IO装置28将预览图像、高分辨率图像的数据记录在存储卡31中，或者从存储卡31读出所被记录的图像数据。CPU30在存储卡31中记录以例如JPEG格式压缩后的图像数据。

CPU30，在将图像数据暂时存储在存储卡23中之际，将预览图像、高分辨率的图像数据记录在不同的记录区域中。并且，CPU30将图像数据划分为图像文件记录在存储卡31中。

并且，CPU30或者经由外部存储IO装置28将预览图像、高分辨率的图像数据记录在存储卡31中，或者从存储卡31中读出所被记录的图像数据。CPU30因此在存储卡31中制作用于保存图像数据的图像文件。

为了检测重力方向，而将3轴加速度传感器32设置在数码相机1的框体内。该3轴加速度传感器32可以从CPU30读出3轴各自的加速度成分。由此，在CPU30中可以判断数码相机1的摄影方向与重力方向之间的相对关系。另外，该3轴加速度传感器32近年来也以各种形式被实用化了，其中一例是采用压电电阻元件。

接着，针对通过上述结构的数码相机1所实现的图像校正进行详细说明。

(2)相机的朝向与投影校正控制

在数码相机1中搭载3轴加速度传感器32。通过该3轴加速度传感器32所检测的3轴的方向可以进行任意几何校正。为方便起见，考虑图6这样的I、J、K的坐标系。令I轴为CCD的横向、J轴为CCD的纵向、K轴为光轴的方向。

如图6所示，在令被水平置于桌子等上的纸张2为摄影对象时，数码相机1的光轴(K轴)朝着重力方向(G)。在以这样的朝向进行摄影时，数码相机1假定摄影对象被置于水平面上而进行投影校正。

另一方面，如图7所示，在令垂直立于地板面上的白板3为摄影对象时，数码相机1的光轴(K轴)朝着水平方向。在以这样的朝向进行摄影时，数码相机1假定摄影对象被置于垂直方向而进行投影校正。

在此，针对上述两种投影校正的切换方法进行说明。

将从3轴加速度传感器32读出的3轴的各成分记作(i，j，k)。在数码相机1为朝下时，由于光轴(K轴)朝向重力方向(G)，因此相机朝向的检测方法，如下述的式1所示利用成分k比其它成分的矢量之和大的条件。

当相机被垂直放置时， $\left|k\right|\≥\sqrt{i^2+j^2}$

当相机被水平放置时， $\left|k\right|<\sqrt{i^2+j^2}$ ……式1

并且，作为其它方法，由于预先知道重力的大小，因此如下述的式2所示，令该重力的大小为|G|，则无论成分K是否大约|G|/2都可以检测相机的朝向。

当相机被垂直放置时，|k|≥|G|/2

当相机被水平放置时，|k|＜|G|/2     ……式2

(3)相机为朝下时的投影校正

当数码相机1为朝下时，假定投影对象被水平放置而进行投影校正。所谓投影校正是说利用投影变换的图像的变形校正(梯形校正)。该投影校正是在J轴方向与K轴方向单独进行的。首先，针对J轴侧的投影校正进行说明。

图8为数码相机1在J-K平面上相对重力方向倾斜的一例。图中的点O是数码相机1的中心位置。另外，G为通过3轴加速度传感器32所检测出的重力矢量。这种情况下，由于数码相机1没有向I轴侧倾斜，因此G的I成分为0。

并且，φ是重力矢量G与K轴所成的角度。即，φ表示摄影对象的垂直方向的倾斜角度。与此相对，后述的φ表示摄像对象的水平方向的倾斜角度。在此，令G方向为0度，为方便起见，由于将J轴向正的角度定义为+方向，因此图8这样情况下的角度φ变成负。

另外，令K轴与J轴所组成的平面与纸张所置的平面F之间的交线为V轴。令I轴与K轴所组成的平面与F平面之间的交线为U轴。在该直线上与数码相机1的光轴(K轴)之间的交点为Q，将其作为原点(0，0)。并且，令U-V平面上的某个任意点P的坐标为(u，v)。令从点P向U轴上、V轴上引垂线后的点分别为R＝(u，0)，S＝(0，v)。图9(a)抽出O-Q-S面表示、该图(b)抽出O-P-S面表示。

图中f是数码相机1的焦点距离。考虑将用数码相机1所摄像的图像从数码相机1的中心点O向处于在光轴(K轴)上仅离开f的位置的虚拟屏幕上投影图像L。令该图像L的坐标系为X-Y，X轴与I轴、Y轴与J轴为相同的朝向。在图8的例中，表示图像F上的点P被投影成坐标p(x，y)。

这时成立式3的关系。

$x=\frac{u}{\mathrm{\&alpha;}-v/f\sin \mathrm{\&phi;}}$

$y=\frac{v\cos \mathrm{\&phi;}}{\mathrm{\&alpha;}-v/f\sin \mathrm{\&phi;}}$ ……式3

其中α＝w/f。虽然α表示图像L的坐标系(X-Y)与用纸面的坐标系(U-V)之间的尺度关系，但由于在校正处理中输出图像的坐标与输入图像的坐标相同，因此将该尺度α作为1处理。

为了使变换的描述简单，以后用同类坐标系进行描述。U-V平面上的点P的坐标(u，v)用下式4表示。H为投影校正参数(变换矩阵)。

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\end{array}\right]=H\left[\begin{array}{c}u\\ v\\ l\end{array}\right]$

$H=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]$ ……式4

其中最终的坐标(u，v)通过以下的式5计算：

$x=\frac{x^{\&prime;}}{z^{\&prime;}}=\frac{a_{11}u+a_{12}v+a_{13}}{a_{31}u+a_{32}v+a_{33}}$

$y=\frac{y^{\&prime;}}{z^{\&prime;}}=\frac{a_{21}u+a_{22}v+a_{23}}{a_{31}u+a_{32}v+a_{33}}$ ……式5

在本次坐标系中，上述式3由下式表示。其中α＝1。

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\end{array}\right]=H_{\mathrm{py}}\left[\begin{array}{c}u\\ v\\ l\end{array}\right]$

其中 $H_{\mathrm{py}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1/\cos \mathrm{\&psi;}& 0\\ 0& \tan \mathrm{\&psi;}/f& 1\end{array}\right]$ ……式6

Hpy是图像在上下方向的投影校正参数。

同样，在数码相机1的光轴(K轴)仅相对重力G处于I-K侧并倾斜φ时下式的关系成立：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\end{array}\right]=H_{\mathrm{px}}\left[\begin{array}{c}u\\ v\\ l\end{array}\right]$

其中 $H_{\mathrm{px}}=\left[\begin{array}{ccc}1/\cos \mathrm{\&phi;}& 0& 0\\ 0& 1& 0\\ \tan \mathrm{\&phi;}/f& 0& 1\end{array}\right]$ ……式7

式中Hpx是图像在左右方向的投影校正参数。

接着，令数码相机1的光轴相对重力的方向在I-K轴平面上倾斜φ，在J-K轴平面上仅倾斜ψ这样的情况下，式6与式7之间的合成关系成立：

$H=H_{\mathrm{px}}\&CenterDot;H_{\mathrm{py}}=\left[\begin{array}{ccc}1/\cos \mathrm{\&phi;}& 0& 0\\ 0& 1& 0\\ \tan \mathrm{\&phi;}/f& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1/\cos \mathrm{\&psi;}& 0\\ 0& \tan \mathrm{\&psi;}/f& 1\end{array}\right]$ ……式8

另外，在重力矢量G的成分为(i，j，k)时，式8的φ、ψ由下式的关系求出：

φ＝tan^-1(i/k)

其中-π/2＜φ＜π/2

ψ＝tan^-1(j/k)

其中-π/2＜ψ＜π/2          ……式9

实际的投影校正为，首先根据所检测出的重力矢量G的成分(i，j，k)依据式9求出φ、ψ。接着，由这些φ、ψ的值求出式8的H＝Hpx·Hpy的值。

接着，将H的值和校正图像的各坐标(u，v)代入上述式4中，得到与之对应的有投影变形的源图像的坐标(x，y)。这时，由于(x，y)的解并非限于整数，因此作为校正图像的输出图像的像素值P(u，v)可以根据作为源图像的输入图像的坐标(x，y)的周边的像素采用双线性插值法由下式求出。另外，所谓双线性插值法(bilinear interpolation)是一种图像插补法，是根据周围的4个像素值求出其坐标的像素值的方法。

P(u，v)＝(1-kx)*(1-ky)*p(X，Y)+kx*(1-ky)*p(X+1，Y)

       +(1-kx)*ky*p(X，Y+1)+kx*ky*p(X+1，Y+1)

其中一个图像的点p的坐标为p(x，y)，

kx：x的小数点后面的值

ky：y的小数点后面的值

X：整数部分(x)

Y：整数部分(y)              ……式10

在输出范围内的所有坐标点中执行以上步骤。由此可以将斜向摄影的图像校正为从正面方向摄影的图像。

(4)摄影校正的微调

对被水平置于桌子等上的纸张2进行摄影后的图像，根据上述(3)的方法便被很好地投影校正了。只是其中以作为摄影对象的纸面2被水平地放置为前提。因此，在例如桌子斜向倾斜的情况下，也无法正确校正。

在这样的情况下，用户通过一边看被显示在数码相机1的液晶监视器12上的校正图像，一边操作如图5所示的上下左右4个光标键111～114，从而可使投影角度φ、ψ增减以对图像的形状进行任意调整。

(5)相机为水平方向时的投影校正

接着，假设如图7所示数码相机1朝着水平方向对笔写在白板3上的文字、或粘贴在白板3上的纸张等进行摄影的情况。

这种情况下，如图10所示，数码相机1的重力矢量G与作为摄影对象的白板3上的平面F的V轴平行。从而虽然可以求出平面F的V轴与数码相机1的光轴K之间所成的角度，但无法对平面F的U轴与数码相机1的光轴K之间所成的角度进行特定。

因此，在数码相机1处于水平方向时，对于投影图像仅进行垂直方向的投影校正。即，仅针对因上下之间的长度不均而引起的图像的变形进行校正。这种情况下，虽然剩下水平方向的变形，但一般来说关于左右方向，由于摄影者可以将面对摄影对象的位置向右或左改变而容易调整，因此认为不会有特别的障碍。

并且，如果利用上述(4)所述的微调整功能，则也可以通过左右光标键113、114的操作由手动来校正水平方向的变形。

如图10所示，在数码相机1处于水平方向时，需要查找重力方向，在该重力方向进行投影校正。因此考虑辅助的I’-J’-K坐标空间。

J’轴是在I-J平面上垂直投影G轴的轴，其方向与G轴的朝向相反。I’轴是在相同的I-J平面上相对J’轴以数码相机1的原点O为中心旋转-90度的轴。K轴在任何一个坐标系都相同。如果数码相机1的光轴K与相机长度方向均相对重力G呈直角，则I-J-K空间与I’-J’-K’空间一致。

在此，将白板平面上的U-V坐标定义为将I’-J’平面向K轴方向投影后的坐标。

并且，与上述(3)的情况同样，考虑在从数码相机1的中心点O向处于在光轴(K轴)上仅离开f的位置的虚拟屏幕上投影图像L，令该图像L的坐标系为I’-J’坐标系的X2-Y2，令X2轴与I’轴、Y2轴与J’轴为相同的朝向。在图10的例中表示图像F上的点P(u，v)被向坐标p’(x2，y2)投影。

这时，若令点p’在X-Y坐标系中的坐标为(x，y)，则(x，y)与(x2，y2)之间的关系如下式：

$\left[\begin{array}{c}x\\ y\\ l\end{array}\right]=H_R\left[\begin{array}{c}x2\\ y2\\ 1\end{array}\right]$

其中 $H_R=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}& 0\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right]$ ……式11

H_R是校正垂直方向与图像的上下方向的旋转校正参数，表示X-Y坐标系与X’-Y’坐标系的坐标变换。这些坐标系所成的角度与I-J坐标与I’-J’坐标所成的角度θ相同。由于该θ根据定义是数码相机1的旋转轴(J轴)与重力矢量G之间所成的角度，因此由以下式表示：

θ＝tan^-1(i/j)

其中-π/2＜θ＜π/2       ……式12

并且，白板3的倾斜度只进行V轴侧的校正。即，因为投影校正只要沿着J’轴进行，且进行从J’轴向J轴的坐标旋转即可，因此此时的投影变换式由下式提供：

$H=H_R\&CenterDot;H_{\mathrm{py}}=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}& 0\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\&psi;}& 0\\ 0& -\sin \mathrm{\&psi;}/f& 1\end{array}\right]$ …式13

其中，式13的ψ是光轴K与投影对象平面之间所成的角度，由于现在是假定摄影对象相对重力G呈平行，因此ψ变成K轴在J’-K平面与水平方向的矢量G2所成的角度。因而ψ在重力G的成分为(i，j，k)时变成式14：

$\mathrm{\&psi;}={\tan }^{-1}(k/\sqrt{i^2+j^2})$

其中-π/2＜ψ＜π/2  ……式14

由此，根据式12、式14求出ψ、θ，通过将其值代入式13从而求出投影校正参数H。通过将该投影校正参数H代入上述式4的式中，从而可实现垂直方向的投影校正。

(6)在相机为水平方向且看到水平线时的投影校正

在上述(5)的方法中，虽然校正了数码相机1在垂直方向的投影变形，但未校正水平方向的投影变形。这是因为投影对象相对相机的光轴在水平面内具有怎样的倾斜度，在3轴加速度传感器32中是无法特定的。

因此提出了一种根据摄影对象找出水平方向的直线，根据该直线推测摄影对象在水平面内的倾斜度并进行投影校正的方法。

图11表示拍摄垂直立足的白板3的一部分后的图像。图中斜线所示的部分为白板。在该例中，拍摄了白板3的上边的直线L1，但表示下部未被收进角度内而断开的状态。另外，在该例中处于在垂直方向无投影变形的状态。

图中的直线L1通过进行边缘处理和霍夫变换(Hough transform)便可以检测。所谓霍夫变换是一种提取线段的方法。另外，关于通过霍夫变换进行的直线检测方法，之后采用图13详细说明。

现在令所检测的直线L1的式子如下述：

y＝ax+b    ……式15

当白板3向U轴(横轴方向)倾斜时上述式7的关系成立。并且，直线L1上的点(x，y)的对应坐标(u，v)始终具有一定的坐标。由这些根据上述式15求出下式的关系。

$\mathrm{\&phi;}={\tan }^{-1}\frac{\mathrm{af}}{b}$ ……式16

从而由下式在垂直方向无投影变形的情况下可以进行校正。

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\end{array}\right]=H_{\mathrm{px}}\left[\begin{array}{c}u\\ v\\ l\end{array}\right]$

其中 $H_{\mathrm{px}}=\left[\begin{array}{ccc}\cos \mathrm{\&phi;}& 0& 0\\ 0& 1& 0\\ -\sin \mathrm{\&phi;}/f& 0& 1\end{array}\right]$ ……式17

根据以上所述，只要按如下那样的步骤对摄影图像进行投影校正即可。

首先，由上述(5)所说明的方法，得到在垂直方向进行投影校正后的图像。

接着，再次将该校正图像作为输入图像进行水平方向的投影校正。因此制作表示该校正图像的轮廓的边缘图像，通过对该边缘图像进行霍夫变换从而算出与水平线接近的直线的式子。

接着，根据上述所算出的直线的参数a、b由上述式16求出摄影对象的倾斜度ψ，代入上述式17得到最终的变换式。

另外，在检测出多条直线时，优选根据各条直线求出ψ，推测它们的平均值作为摄影对象在水平方向的倾斜度并进行投影校正。

(7)改良后的直线检测法

在上述(6)的方法中，由于一旦进行上下方向的投影校正后，必须进行直线检测，因此耗费处理时间。

因此，根据未进行上下方向的投影校正的源图像，进行左右方向的直线的检测。此时的直线为：

y＝a′x+b′……式18

用上述式13将该直线在重力的垂直方向进行校正时的U-V坐标的直线式如下述所示：

$v=\frac{(a_{23}{a}_{32}-a_{22}{a}_{33})a^{\&prime;}+(a_{22}{a}_{31}-a_{21}{a}_{32})b^{\&prime;}+(a_{23}{a}_{31}-a_{21}{a}_{33})}{\mathrm{\&Delta;}}u$

$+\frac{(a_{22}{a}_{13}-a_{23}{a}_{12})a^{\&prime;}+(a_{21}{a}_{12}-a_{11}{a}_{22})b^{\&prime;}+(a_{21}{a}_{13}-a_{11}{a}_{23})}{\mathrm{\&Delta;}}$

$\mathrm{\&Delta;}=(a_{33}{a}_{12}-a_{32}{a}_{13})a^{\&prime;}+(a_{11}{a}_{32}-a_{12}{a}_{31})b^{\&prime;}+(a_{33}{a}_{11}-a_{31}{a}_{13})$

其中aij是H＝H_R·Hpy中的各要素         ……式19

$H=H_R\&CenterDot;H_{\mathrm{py}}=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]$ ……式20

该直线为在水平方向即横轴方向变形的直线。对该直线进一步进行变形校正。即，将上述式19的变量(u，v)变换成(x，y)，通过与上述式15进行比较可知，根据上述式16由下式求出水平方向的变形角度φ：

$\mathrm{\&phi;}={\tan }^{-1}\frac{(a_{23}{a}_{32}-a_{22}{a}_{33})a^{\&prime;}+(a_{22}{a}_{31}-a_{21}{a}_{32})b^{\&prime;}+(a_{23}+a_{31}-a_{21}{a}_{33})}{(a_{22}{a}_{13}-a_{23}{a}_{12})a^{\&prime;}+(a_{21}{a}_{12}-a_{11}{a}_{22})b^{\&prime;}+(a_{21}{a}_{13}-a_{11}{a}_{23})}f$ ……式21

从而合成投影校正参数H如下：

$H=H_R\&CenterDot;H_{\mathrm{py}}{\&CenterDot;H}_{\mathrm{px}}$

$=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}& 0\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\&psi;}& 0\\ 0& -\sin \mathrm{\&psi;}/f& 1\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\&phi;}& 0& 0\\ 0& 1& 0\\ -\sin \mathrm{\&phi;}/f& 0& 1\end{array}\right]$ ……式22

根据以上所述，只要按如下那样的步骤，对摄影图像进行投影校正即可。

首先，根据输入图像由上述式12、式14求出ψ、θ，求出H＝HR·Hpy。

接着，制作边缘图像，根据该边缘图像通过霍夫变换对与水平方向接近的直线进行检测。根据该直线的参数由上述式21求出φ，作为最终的投影校正参数，求出H＝HR·Hpy·Hpx。由此，采用上述式4通过双线性插值便可进行投影校正。

(8)实际的动作说明

接着，针对实现与上述的相机朝向相应的投影校正的数码相机1的动作进行说明。另外，以下的流程图所示的处理，是通过作为微计算机的CPU30读入被存储在程序代码存储装置29中的程序，依据该程序所描述的步骤所执行的。

图12为表示数码相机1的摄影处理的动作的流程图。该处理是由CPU30同时采用图像处理装置25所执行。以后，以CPU30执行的处理步骤为顺序进行说明。

首先，CPU30伴随快门键13的按下，对光学装置21、图像传感器22等进行控制并进行摄影处理，将通过图像传感器22所得到的图像取入存储器23中(步骤S101)。

接着，为了对数码相机1的朝向进行判断，CPU30从3轴加速度传感器32中读出I轴、J轴、K轴每个的成分。这种情况下由于在通常的摄影中是在让数码相机1静止的状态下进行的，因此可以将加速度成分(i，j，k)仅假定为重力成分G，成为G(i，j，k)(步骤S102)。另外，在此所说的数码相机1的朝向，是光学透镜部11所朝向的方向即光轴K的方向。

在此，将作为投影校正参数的Hpx、Hpy、H_R的3个要素初始化为单位矩阵I(步骤S103)。Hpx是数码相机1在水平方向、或者图像在左右方向的投影校正参数，Hpy是数码相机1在垂直方向、或者图像在上下方向的投影校正参数。并且，HR是对垂直方向与数码相机1的图像的上下方向进行校正的旋转校正参数。

接着，CPU30，依据上述式1或者式2判定数码相机1的朝向(步骤S104)。其结果为，在判定为数码相机1垂直朝向时，CPU30根据重力成分G依据上述式9求出φ、ψ，通过将该φ、ψ代入上述式6、7的矩阵Hpx、Hpy的要素中，从而求出图像在左右方向的投影校正参数Hpx、和图像在上下方向的投影校正参数Hpy(步骤S105)。该图像在左右方向的投影校正参数Hpx、和图像在上下方向的投影校正参数Hpy，分别被存储在存储器23的参数存储区域中。

接着，CPU30求出H＝H_R·Hpy·Hpx(步骤S106)。这时，由于HR被初始化为单位矩阵I，因此投影校正参数H与上述式8等值。从而通过采用该投影校正参数H，便可以对被置于水平面的摄影对象的投影变形进行校正。

在按照这样得到投影校正参数H时，CPU30将该投影校正参数H传递给图像处理装置25并指示投影校正图像的制作。由此在图像处理装置25中，通过对摄影图像进行投影校正，从而制作如同从正面摄影的矩形的图像(步骤S107)。

详细来说，采用由上述步骤S106所得到的投影校正参数H，通过将校正图像的各坐标(u，v)依次代入上述式5的变换式中，从而求出与该校正图像对应的有投影变形的源图像的坐标(x，y)。接着，依据上述式10根据坐标(x，y)的周边的像素采用双线性插值法求出校正图像的各像素值P(u，v)。

CPU30在将按照这样被投影校正后的图像复制在存储器23的显示区域之后，将其显示在液晶监视器12上(步骤S108)。由此用户便可以在画面上确认校正图像，根据需要可以进行微调整。

校正图像的显示之后，CPU30判断设置在操作部26上的SET键110是否被按下(步骤S109)。在SET键110被按下时(步骤S109的“是”)，CPU30在用图像处理装置25以规定的方式对校正图像进行压缩处理之后(步骤S110)，经由外部存储IO装置28向存储卡31传送并保存(步骤S111)。

接着，针对校正图像的微调整处理进行说明。

在上述步骤S109中SET键110未被按下时，CPU30依据被设置在操作部26中的光标键111～114的操作执行校正图像的微调整处理(步骤S112)。所谓微调整处理，是用于对根据摄影图像所自动检测的摄影对象的倾斜度φ与ψ进行微调整的处理。如图5所示，光标键111～114是用于进行上下、左右的方向指示的操作键。

CPU30在检测右光标键113或者左光标键114被按下时，对U轴侧的投影变形校正进行微调整。具体来说，CPU30在右光标键113被按下时、对于自动检测出的φ进行+1度的校正；左光标键114被按下时，对于自动检测出的φ进行-1度的校正，对图像在左右方向的投影校正参数Hpx的变换矩阵进行修正。

同样，CPU30在上光标键11被按下时，对于ψ进行+1度的校正；在下光标键112被按下时对于进行-1度的校正。按照这样对V轴侧的投影变形校正进行微调整，对图像在上下方向的投影校正参数Hpy的变换矩阵进行修正。

若通过这样的微调整对Hpx或者Hpy进行修正，则CPU30返回上述步骤S106，重新求出作为合成变换式的H。由于采用该修正后的H，重新显示被投影校正后的图像，因此用户可以一边确认该校正图像，一边进行投影校正的微调整。在校正图像可以满足的情况下，则按下SET键110。由此，对最终的校正图像进行压缩处理并保存在存储卡31中。

接着，针对相机的朝向为水平方向时的校正顺序进行说明。

在由上述步骤S104判定数码相机1的朝向为水平方向时，在步骤S113产生分支。

在数码相机1为水平朝向时，CPU30采用上述式12、式14根据重力矢量G的成分求出ψ、θ的角度，由那些值求出投影校正参数Hpy和H_R(步骤S113)。

接着，采用图14的摄影图像一例对根据摄影图像检测水平方向的直线的方法进行说明。摄影图像中的斜线部的区域表示在作为摄影对象的黑板稍微倾斜的状态下所摄影的区域。图中示出摄影图像的X轴、Y轴。这些轴朝向与相机的坐标系I、J相同的方向。

作为重力矢量G＝(i，j，k)，将该G矢量的I、J成分的部分矢量G’＝(i，j)与摄影图像重叠并图示。该矢量方向变成摄影图像中的重力方向。如果所检测的水平线相对纵向(K轴方向)为等距离且无投影变形时，变成与该G’呈直角的矢量v＝(-j，i)方向。如图所示，该矢量v与I轴所呈的角度θ’变成tan^-1(-i/j)的角度。然而，要进行实际检测的水平方向的直线，以该角度θ’为中心根据投影变形而改变角度。作为黑板在水平方向的直线一例的图中直线L1的角度θ1受与θ’相近的角度失真的影响。因而平行线的检测只要进行具有接近θ’的角度的直线的检测即可。

通常，由于假设因投影变形而产生改变的角度差存在大约±30度，因此CPU30所检测的直线的检测范围为以θ’为中心的(θ’-30度～θ’+30度)(步骤S114)。

接着，CPU30，跟踪输入图像的轮廓制作边缘图像(步骤S115)。接着，CPU30根据该边缘图像进行霍夫变换并检测直线，但此时的检测范围成为在上述步骤S114所设定的范围。基于在该检测范围内通过霍夫变换所得到的(ρ，θ)的投票数来检测直线(步骤S117)。

在此针对霍夫变换进行说明。

作为提取线段的方法，有被称作霍夫变换的方法。例如考虑如图13所示的x-y坐标系中的1根直线y＝ax+b。从原点O至该直线引垂线，若令该垂线的长度为ρ，令其与x轴之间所呈的角度为θ，则可以表示为：

ρ＝xcosθ+ysinθ。

即，在极坐标系中，如果知道一个点(ρ，θ)就能决定一条直线。将该(ρ，θ)称作直线y＝ax+b的霍夫变换。另外，将由(ρ，θ)所表示的线段上的像素数称作(ρ，θ)对应的投票数。该投票数越高，意味着越长的直线。

CPU30对上述(ρ，θ)的投票数的最大值与预先设定的阈值进行比较，如果在阈值以上，则检测到水平方向的直线(步骤S118的“是”)。另一方面，当比阈值少时，则未检测到水平方向的直线(步骤S118的“否”)。

在未检测到水平方向的直线时，转至步骤S106，求出合成变换H。这种情况下，由于没有求出Hpx而仍然是单位矩阵I，因此此时的H与上述式13相等。因而在步骤S107中变成在将例如白板3等作为摄影对象时的摄影图像相对重力仅在垂直方向被投影校正。

另一方面，在由步骤S188检测到直线时，CPU30根据上述投票最大值的(ρ，θ)求出上述式18的直线参数a’、b’(步骤S119)。

接着，CPU30，求出合成H＝H_R·Hpy，在根据H的要素和上述直线参数a’、b’，采用上述式21求出水平方向的变形角度φ之后，依据上述式7求出水平方向的投影校正参数Hpx(步骤S120)。

按照这样在检测到水平方向的直线时，基于该直线便可以算出水平方向的投影校正参数Hpx。接着，在步骤S106中，采用该Hpx和以前求出的HR、Hpy求出合成变换H，但该H与上述式22相等。因而在步骤S107中，变成将例如白板3等作为摄影对象时的摄影图像相对重力不仅在垂直方向，还包括水平方向在内被投影校正。

并且，在令数码相机1为水平朝向进行摄影的情况下，也与在垂直朝向时进行摄影的情况同样，可进行被投影校正后的图像的微调整(步骤S108～S112)。因此，即便在例如白板3稍微斜向倾斜立足的情况下，也可以通过手动操作对校正图像进行微图像之后，进行保存。

按照以上所述，根据本实施方式，根据由3轴加速度传感器32所检测出的重力方向的朝向，判断数码相机1相对被水平或者垂直放置的摄影对象的朝向，通过根据该朝向来切换投影校正的方法，从而不需要投影对象的轮廓信息便可以正确校正投影图像的失真。

并且，在像白板3这样的被垂直置于地板面等上的摄影对象的情况下，虽然通过3轴加速度传感器32仅根据重力检测是无法对图像在左右方向的失真进行投影校正，但通过从摄影图像中至少检测1根水平方向的直线，从而基于该直线便可以对图像的左右方向进行特定并进行投影校正。

并且，可以一边在监视器画面上确认被投影校正后的图像，一边通过上下左右光标键的操作进行微调整。由此，在调整成用户中意的样子之后便可以保存该摄影图像了。

另外，在上述实施方式中，虽然以通过数码相机摄影静态画面的情况为例作了说明，但并非限于静态画面的摄影，即使在摄影动态画面的情况也可以应用。

并且，本发明除数码相机之外，只要是例如带有相机的移动电话机等、具备摄影功能的电子机器，则可以应用于所有这些机器中。

总之，本发明并非仅限定于上述实施方式本身，在实施阶段在不脱离其主旨的范围内还可以对构成要素进行变形并具体化。另外，根据上述实施方式中公开的多个构成要素的适当的组合也可以形成各种发明。例如也可以从实施方式中公开的所有构成要素中删除几个构成要素。进而，也可以对不同的实施方式中的构成要素适当进行组合。

还有，上述实施方式中记载的方法，还可以作为可以让计算机执行的程序，或者写入例如磁盘(软盘、硬盘)、光盘(CD-ROM、DVD-ROM等)、半导体存储器等记录介质中并应用于各种装置中，或者将程序本身通过网络等传送介质进行传送后应用于各种装置中。实现本装置的计算机通过读入在记录介质中记录的程序或者经由传送介质所提供的程序，并根据该程序来控制动作，从而执行上述处理。

Claims (15)

1、一种摄像装置，具备：

摄影机构，其获得摄影对象的图像；

重力检测机构，其检测重力方向；

朝向判定机构，其基于通过该重力检测机构所检测的重力方向，判定摄像时相机的朝向；

参数计算机构，其基于通过该朝向判定机构所判定的相机的朝向，算出用于将通过所述摄影机构所得到的摄影图像投影校正到规定的方向的参数；和

图像校正机构，其采用通过该参数计算机构所算出的参数，对所述摄影图像的变形进行校正。

2、根据权利要求1所述的摄像装置，其特征在于，

所述参数计算机构，在通过所述朝向判定机构所判定的相机的朝向为垂直方向时，计算用于对所述摄影图像进行投影校正的参数，在通过所述朝向判定机构所判定的相机的朝向为水平方向时，计算用于将所述摄影图像向垂直方向投影校正的参数。

3、根据权利要求1所述的摄像装置，其特征在于，

还具备：直线检测机构，其根据通过所述摄影机构所得到的摄影图像检测水平方向的直线；和

第二参数计算机构，其基于通过所述朝向判定机构所判定的相机的朝向和通过所述直线检测机构所检测的直线，计算用于对通过所述摄影机构所得到的摄影图像进行投影校正的第二参数，

其中，采用所述参数与所述第二参数，对所述摄影图像的变形进行校正。

4、根据权利要求1所述的摄像装置，其特征在于，具备：

存储机构，其对通过所述参数计算机构所算出的参数进行存储；

显示机构，其对通过所述图像校正机构所校正的图像进行显示；

变更指示机构，其对被存储在所述存储机构中的参数的变更进行指示；和

控制机构，其依据由该变更指示机构发出的变更指示对参数进行变更，并将由该变更后的参数所得到的校正图像重新显示在所述显示机构上。

5、根据权利要求4所述的摄像装置，其特征在于，

所述变更指示机构，通过上下左右方向的光标键的操作，指示被存储在所述存储机构中的参数的变更。

6.一种图像校正方法，包括：

摄影步骤，获得摄影对象的图像；

重力检测步骤，检测重力方向；

朝向判定步骤，基于所述重力方向，判定在摄像时相机的朝向的步骤；

参数计算步骤，基于所述相机的朝向，计算用于将在所述摄影时所得到的摄影图像投影校正到规定的方向的参数；和

图像校正步骤，采用所述参数对所述摄影图像的变形进行校正。

7.根据权利要求6所述的图像校正方法，其特征在于，

所述参数计算步骤包括：在所述相机的朝向为垂直方向时，计算用于对所述摄影图像进行投影校正的参数；和在所述相机的朝向为水平方向时，计算用于将所述摄影图像向垂直方向投影校正的参数。

8.根据权利要求6所述的图像校正方法，其特征在于，

还包括：直线检测步骤，其根据摄影图像检测水平方向的直线；和

第二参数计算步骤，其基于所述相机的朝向和所述水平方向的直线，计算用于对所述摄影图像进行投影校正的第二参数，

其中，采用所述参数与所述第二参数，对所述摄影图像的变形进行校正。

9.根据权利要求6所述的图像校正方法，其特征在于，还包括：

存储步骤，其将参数存储在存储器中；

显示步骤，其将校正后的摄影图像显示在屏幕上；和

变更步骤，其依据规定的变更指示对被存储在所述存储器中的参数进行变更，并将由所述变更后的参数所得到的校正图像重新显示在所述屏幕上。

10.根据权利要求9所述的图像校正方法，其特征在于，

所述规定的变更指示，通过上下左右光标键的操作指示被存储在所述存储器中的参数的变更。

11.一种被存储在计算机可读取的记录介质中的计算机程序，其让计算机实现如下功能：

摄影功能，获得摄影对象的图像；

重力检测功能，检测重力方向；

朝向判定功能，基于所述重力方向，判定所述摄像时相机的朝向；

参数计算功能，基于所述相机的朝向，计算用于将在所述摄影时所得到的摄影图像投影校正到规定的方向的参数；和

图像校正功能，采用所述参数，对所述摄影图像的变形进行校正。

12.根据权利要求11所述的计算机程序，其特征在于，

所述参数计算功能包括：在所述相机的朝向为垂直方向时，计算用于对所述摄影图像进行投影校正的参数；和在所述相机的朝向为水平方向时，计算用于将所述摄影图像向垂直方向投影校正的参数。

13.根据权利要求11所述的计算机程序，其特征在于，使计算机还实现如下功能：

直线检测功能，根据摄影图像检测水平方向的直线；

第二参数计算功能，基于所述相机的朝向和所述水平方向的直线，计算用于对所述摄影图像进行投影校正的第二参数，

其中，图像校正功能包括通过采用所述参数与所述第二参数，对所述摄影图像的变形进行校正。

14.根据权利要求11所述的计算机程序，其特征在于，使计算机还实现如下功能：

存储功能，将参数存储在存储器中；

显示功能，将校正后的摄影图像显示在屏幕上；和

变更功能，依据规定的变更指示对被存储在所述存储器中的参数进行变更，并将由所述变更后的参数所得到的校正图像重新显示在所述屏幕上。

15.根据权利要求14所述的计算机程序，其特征在于，

所述规定的变更指示，通过上下左右光标键的操作指示被存储在所述存储器中的所述参数的变更。

Images