CN102932586A - 成像设备和方法 - Google Patents

Abstract

本发明涉及通过其可以更容易地确认构图的成像设备和方法以及程序。成像单元432接收来自镜头431的光并对成像图像进行成像；提取单元435提取作为具有与成像图像不相同的尺寸的图像的、且包括关注度高的被摄体的提取的图像；合成单元436合成所提取的图像，使得被摄体的位置与成像图像相匹配；并且显示单元438在可以显示整个成像图像的显示区域中，显示与具有和提取的图像相同的尺寸的预定区域相对应的部分的成像图像，并显示已被与成像图像相合成的提取的图像。本发明例如可以应用于数字照相机。

Description

成像设备和方法

相关申请

本申请是中国专利申请第200980100878.X号（国际申请号为PCT/JP2009/065625）的分案申请，其全部内容通过引用合并于此。

技术领域

本发明涉及成像设备和方法以及程序，具体涉及通过其可以更简单地确认构图的成像设备和方法以及程序。

背景技术

通常，在诸如数字照相机等的成像设备中可能存在两个成像系统。

例如，已经提出了一种具有对用户的前方进行成像的前方照相机和对用户后面进行成像的后方照相机的成像设备（例如参见专利文献1）。

然而，利用上述成像设备，用户不能同时利用两个成像系统对一个被摄体进行成像。

此外，利用通常的数字照相机，可以利用一个成像系统进行标准模式和广角模式之间的切换，但是用户不能同时确认每个模式下的构图。

此外，已经提出了一种具有两个显示单元的照相机，该显示单元分别显示已由相应的成像系统成像的图像。然而，由于存在两个显示单元，因此用户必须针对每个图像而确认构图。

引用列表

专利文献

专利文献1:日本未审专利申请公开2007-60721

发明内容

技术问题

如上所述，不容易以简单的方式对具有不同的图像范围的两个图像的构图进行确认。

针对上述问题已作出了本发明，本发明使得能够以更简单的方式确认构图。

问题的解决方案

根据本发明一个方面的成像设备包括：合成装置，用于对作为成像的被摄体的第一图像和具有与第一图像不相同的成像范围的第二图像进行合成，以使被摄体的位置相匹配；以及显示装置，用于显示已被合成装置合成了的第一图像和第二图像。

该成像设备还可以包括：成像装置，用于接收来自光学系统的光并对被摄体的第一图像进行成像；以及提取装置，用于从第一图像中提取作为具有与第一图像不相同的尺寸的图像并且包括具有高关注度的被摄体的第二图像，其中合成装置可以合成被提取装置提取的第二图像，使得被摄体的位置与第一图像相匹配，以及其中显示装置可以能够显示整个第一图像的显示区域中的具有与第二图像相同的尺寸的预定区域，显示对应部分的第一图像，并且显示已被与第一图像相合成的第二图像。

显示装置可以在该显示区域中增强并显示第二图像。

该显示区域可以是当成像模式是对纵横比为4:3的图像进行成像的标准模式时在其中显示整个第一图像的区域，以及其中该显示区域中的预定区域是当所述成像模式是对纵横比为16:9的图像进行成像的全景模式时在其中显示第一图像的部分的区域。

该成像设备还可以包括：裁切装置，用于裁切出预定区域的第一图像；以及记录装置，用于记录已被裁切装置裁切出的第一图像和已被提取装置提取的第二图像。

该合成装置可以对已被裁切装置裁切出的第一图像和已被提取装置提取的第二图像进行合成，记录装置可以记录已被合成装置合成的第一图像和第二图像。

该成像设备还可以包括：第一成像装置，用于接收来自第一光学系统的光并对被摄体的第一图像进行成像；第二成像装置，用于接收来自第二光学系统的光，并对具有与被摄体的第一图像不相同的视角的第二图像进行成像；以及第一图像质量调整装置，用于调整第二图像的图像质量，以使第二图像的图像质量与第一图像的图像质量不相同；其中合成装置关于第二图像合成第一图像，使得被摄体的位置与已被第一图像质量调整装置调整了图像质量的第二图像相匹配。

该成像设备还可以包括：对象检测装置，用于检测第二图像中的对象；以及第二图像质量调整装置，用于调整已被对象检测装置检测到的第二图像中的对象的区域的图像质量，以使所述对象的区域的图像质量与第二图像的图像质量不相同，其中合成装置对第一图像和已被第二图像质量调整装置调整了图像质量的第二图像中的对象的区域中的对象图像进行合成，使得被摄体的位置与第二图像相匹配。

该对象检测装置可以检测第二图像中的具有运动的对象。

该对象检测装置可以检测第二图像中的人的面部。

该成像设备还可以包括：构图分析装置，用于分析第二图像的构图；以及构图提取装置，用于基于构图分析装置分析的构图而从第二图像中提取具有与第一图像的视角不相同的视角的构图，其中合成装置对第一图像和具有由构图提取装置提取的构图的提取的图像进行合成，使得被摄体的位置与第二图像相匹配。

该第二成像装置可以接收来自第二光学系统的光，以对具有与第一图像相比更宽的被摄体的视角的第二图像进行成像。

该成像设备还可以包括：失真校正装置，用于校正第二图像的失真；以及光轴校正装置，用于使第二光学系统的光轴与第一光学系统的光轴相匹配，并确定第一图像被合成到第二图像的位置。

该第一图像质量调整装置可以调整第二图像的颜色信号的水平，以使第二图像的颜色信号的水平低于第一图像的颜色信号的水平。

该成像设备还可以设置有第二图像质量调整装置，用于调整第一图像的图像质量，以使第一图像的图像质量与第二图像的图像质量不相同。

该第二图像质量调整装置可以调整第一图像的颜色信号的水平，以使第一图像的颜色信号的水平大于第二图像的颜色信号的水平。

根据本发明一个方面的成像方法包括：合成步骤，用于对作为成像的被摄体的第一图像和具有与第一图像不相同的成像范围的第二图像进行合成；以及显示步骤，用于显示通过合成步骤的处理而已被合成了的第一图像和第二图像。

根据本发明一个方面的程序使计算机执行处理，该处理包括：合成步骤，用于对作为成像的被摄体的第一图像和具有与第一图像不相同的成像范围的第二图像进行合成；以及显示步骤，用于显示通过合成步骤的处理而已被合成了的第一图像和第二图像。

根据本发明的一方面，对作为成像的被摄体的第一图像和具有与第一图像不相同的成像范围的第二图像进行合成，并显示合成的第一图像和第二图像。

本发明的有益效果

根据本发明的一方面，可以更容易地确认构图。

附图说明

图1是示出作为应用本发明的成像设备的实施例的数字照相机的外观的示例的图。

图2是示出数字照相机所成像的成像图像的显示示例的图。

图3是示出数字照相机的功能配置示例的框图。

图4是示出图像处理单元的配置示例的框图。

图5是示出图像处理单元的配置示例的框图。

图6是示出图像处理单元的配置示例的框图。

图7是示出图像处理单元的配置示例的框图。

图8是示出图像处理单元的配置示例的框图。

图9是示出图像处理单元的配置示例的框图。

图10是描述图3中的数字照相机的图像显示处理的流程图。

图11是描述失真校正单元的失真校正处理的图。

图12是描述失真校正单元的失真校正处理的图。

图13是描述光轴校正单元的光轴校正处理的图。

图14是描述合成单元的合成处理的主图像和副图像的图像尺寸的调整的图。

图15是示出数字照相机的另一配置示例的框图。

图16是示出对象检测单元的配置示例的框图。

图17是示出对象检测单元的配置示例的框图。

图18是示出图像处理单元的配置示例的框图。

图19是描述图15中的数字照相机的图像显示处理的流程图。

图20是描述对象检测处理的示例的流程图。

图21是描述对象检测处理的另一示例的流程图。

图22是示出其中检测到的对象图像已被增强和显示的合成图像的示例的图。

图23是示出数字照相机的另一配置示例的框图。

图24是描述图23中的数字照相机的图像显示处理的流程图。

图25是示出推荐构图的示例的图。

图26是示出显示推荐构图的合成图像的示例的图。

图27是描述成像装置的纵横比的图。

图28是示出数字照相机的又一配置示例的框图。

图29是描述图28中的数字照相机的图像显示处理的流程图。

图30是描述裁切的图像的图。

图31是描述提取的图像的图。

图32是描述在显示单元上显示的合成图像的示例的图。

图33是描述图28中的数字照相机的图像记录处理的流程图。

图34是描述在记录单元上记录的合成图像的示例的图。

图35是示出计算机硬件的配置示例的框图。

具体实施方式

下面将参考附图描述本发明的实施例。注意，将以下面的顺序给出描述。

1.第一实施例

2.第二实施例

3.第三实施例

4.第四实施例

1.第一实施例

[成像设备的外观和成像图像]

图1示出了用作应用本发明的成像设备的实施例的数字照相机的外观的示例。

图1中的数字照相机11具有主镜头31和副镜头32这两个光学系统。主镜头31是所谓的标准镜头。副镜头32是广角镜头（即，鱼眼镜头等），与主镜头31相比，副镜头32的视角充分宽。

图2示出了数字照相机11所成像的成像图像的显示示例。

如图2所示，数字照相机11对经由副镜头32成像的图像（副图像）进行诸如失真校正之类的校正处理，并且进行预定的图像处理（例如使图像模糊或降低亮度和颜色饱和度）。此外，数字照相机11对经由主镜头31成像的图像（主图像）进行预定的图像处理（例如降低亮度和颜色饱和度）。例如如图2所示，数字照相机11调整主图像和副图像的位置和视角，并在设置在数字照相机11的背面上的未示出的显示单元上显示其中主图像和副图像已被合成的图像（合成图像）。用户可以通过确认未示出的显示单元上的显示内容来确认成像的视角。

图2所示的合成图像是以使得经过预定的校正和图像处理的副图像（广角图像）和主图像（标准图像）中的每个图像中的被摄体的位置相匹配的方式来合成的。

[数字照相机的功能配置示例]

接下来，参考图3中的框图来描述数字照相机11的功能配置示例。

图3中的数字照相机11由主镜头31、副镜头32、成像单元51、失真校正单元52、光轴校正单元53、图像处理单元54、成像单元55、图像处理单元56、合成单元57和显示单元58构成。

主镜头31和副镜头32与参考图1所描述的主镜头31和副镜头32相同，因此省略其说明。

成像单元51被配置成包括成像装置和A/D（模/数）转换器。成像单元51通过接收来自副镜头32的光并进行光电转换来对被摄体进行成像，并使所获得的模拟图像信号经历A/D转换。成像单元51向失真校正单元52提供作为A/D转换的结果而获得的数字图像数据（广角图像）。

失真校正单元52对来自成像单元51的广角图像（副图像）的副镜头32的失真进行校正，并向光轴校正单元53提供校正后的副图像。

光轴校正单元53使副镜头32的光轴与主镜头31的光轴相匹配，确定要被合成到副图像的主图像在来自失真校正单元52的副图像中的位置，并将示出其位置的位置信息连同副图像一起提供给图像处理单元54。

图像处理单元54使来自光轴校正单元53的副图像经历预定的图像处理（诸如画面、亮度、颜色浓度、色泽（color shade）、锐度等的调整），以比主图像更多地降低图像质量，并将此连同位置信息一起提供给合成单元57。

参考图4至图6中的框图来描述三种类型的图像处理单元54的配置示例。

图4是第一配置示例，并示出了通过其使副图像经历模糊处理的图像处理单元54的配置示例。

图4中的图像处理单元54由RGB/YUV转换器61、LPF（低通滤波器）62和YUV/RGB转换器63构成。

RGB/YUV转换器61基于下面的表达式（1）而将用作从光轴校正单元53提供的副图像的RGB信号转换为YUV信号。

[数学表达式1]

Y＝0.299R+0.587G+0.114B

U＝-0.169R-0.331G+0.500B…(1)

V＝0.500R-0.419G-0.081B

RGB/YUV转换器61将转换后的YUV信号中的Y信号（亮度信号）提供给LPF62，同时将U信号和V信号（色差信号）提供给YUV/RGB转换器63。

LPF62对从RGB/YUV转换器61提供的Y信号进行平滑处理，由此去除高频分量，并提供给YUV/RGB转换器63。

YUV/RGB转换器63基于下面的表达式（2）而将来自LPF62的Y信号（Y'）和来自RGB/YUV转换器61的U信号和V信号转换为RGB信号。

[数学表达式2]

R＝1.000Y+1.402V

G＝1.000Y-0.344U-0.714V…(2)

B＝1.000Y+1.772U

YUV/RGB转换器63将转换后的RGB信号（R'、G'、B'）作为副图像提供给合成单元57。

利用上述配置，图像处理单元54可以使副图像经历模糊处理。

图5是第二配置示例，并示出了用于降低副图像的颜色饱和度的图像处理单元54的配置示例。

图5中的图像处理单元54由RGB/HSV转换器71、颜色饱和度调整单元（S调整单元）72和HSV/RGB转换器73构成。

RGB/HSV转换器71基于下面的表达式（3）而将从光轴校正单元53提供的用作副图像的RGB信号转换为HSV信号。

[数学表达式3]

$S=\frac{\mathrm{MAX}-\mathrm{MIN}}{\mathrm{MAX}}$

V＝MAX

在表达式（3）中，分别地，MAX表示R、G、B中的最大值，MIN表示R、G、B中的最小值。RGB/HSV转换器71将转换后的HSV信号中的S信号（颜色饱和度信号）提供给S调整单元72，同时将H信号（色调信号）和V信号（明度值信号）提供给HSV/RGB转换单元73。

S调整单元72将从RGB/HSV转换器71提供的S信号乘以预定系数α（0<α<1），并将其提供给HSV/RGB转换器73。

HSV/RGB转换器73将来自S调整单元72的S信号（S’＝αS）以及来自RGB/HSV转换器71的H信号和V信号转换为RGB信号。

也就是说，当Hi=[H/60]mod6（[x]:小于等于x的最大整数，A modB:A/B的余数）、f=（H/60）–Hi、p=V（1-S）、q=V（1-fS）、t=V（1-（1-f）S）时，则基于下面的表达式（4）而将HSV信号转换为RGB信号。

[数学表达式4]

$\begin{array}{c}{H}_i=0\&DoubleRightArrow;R=V,G=t,B=p\\ H_i=1\&DoubleRightArrow;R=q,G=V,B=p\\ H_i=2\&DoubleRightArrow;R=p,G=V,B=t\\ H_i=3\&DoubleRightArrow;R=p,G=q,B=V\\ H_i=4\&DoubleRightArrow;R=t,G=p,B=V\\ H_i=5\&DoubleRightArrow;R=V,G=p,B=q\end{array}\&CenterDot;\&CenterDot;\&CenterDot;\left(4\right)$

HSV/RGB转换器73将转换后的RGB信号（R'、G'、B'）作为副图像而提供给合成单元57。

利用上述配置，图像处理单元54可以降低副图像的颜色饱和度。

图6是第三配置示例，并示出了降低副图像的明度值的图像处理单元54的配置示例。

图6中的图像处理单元54由RGB/HSV转换器81、明度值调整单元（V调整单元）82和HSV/RGB转换器83构成。

RGB/HSV转换器81基于上述表达式（3）而将从光轴校正单元53提供的用作副图像的RGB信号转换为HSV信号，并将转换后的HSV信号中的V信号提供给V调整单元82，同时将H信号和S信号提供给HSV/RGB转换器83。

V调整单元82将从RGB/HSV转换器81提供的V信号乘以预定系数β（0<β<1），并将其提供给HSV/RGB转换器83。

HSV/RGB转换器83基于上述表达式（4）而将来自V调整单元82的V信号（V’＝βV）以及来自RGB/HSV转换器81的H信号和S信号转换为RGB信号，并将转换后的RGB信号（R'、G'、B'）作为副图像而提供给合成单元57。

利用上述配置，图像处理单元54可以降低副图像的明度值。

因此，参考图4至图6描述的三种类型的图像处理单元54可以与这些图像处理单元54中的任意一个中的主图像的图像质量相比更多地降低副图像的图像质量。

返回到对图3的说明，成像单元55被配置成包括成像装置和A/D转换器。成像单元55通过接收来自主镜头31的光并进行光电转换来对被摄体进行成像，并使所获得的模拟图像信号经历A/D转换。成像单元55将作为A/D转换的结果而获得的数字图像数据（标准图像）提供给图像处理单元56。

图像处理单元56使来自成像单元55的主图像（标准图像）经历预定的图像处理（诸如画面、亮度、颜色浓度、色泽、锐度等的调整），以与副图像相比更多地提高图像质量，并将其提供给合成单元57。

现在将参考图7至图9中的框图来描述三种类型的图像处理单元56的配置示例。

图7是第一配置示例，并示出了执行用于增强主图像的形状和轮廓的增强处理的图像处理单元56的配置示例。

图7的图像处理单元56由RGB/YUV转换器91、HPF（高通滤波器）92、放大器93、加法单元94和YUV/RGB转换器95构成。

RGB/YUV转换器91基于上述表达式（1）而将用作来自成像单元55的主图像的RGB信号转换为YUV信号，并将转换后的YUV信号中的Y信号提供给HPF92和加法单元94，同时将U信号和V信号提供给YUV/RGB转换器95。

HPF92取出从RGB/YUV转换器91提供的Y信号的高频分量，并将其提供给放大器93。放大器93将来自HPF92的Y信号的高频分量放大A（A>1）倍，并将其提供给加法单元94。加法单元94将被放大器93放大后的Y信号的高频分量与来自RGB/YUV转换器91的Y信号相加，并将其提供给YUV/RGB转换器95。

YUV/RGB转换器95基于上述表达式（2）而将来自加法单元94的Y信号（Y'）以及来自RGB/YUV转换器91的U信号和V信号转换为RGB信号，并将转换后的RGB信号（R'、G'、B'）作为主图像而提供给合成单元57。

利用上述配置，图像处理单元56可以使主图像经历增强处理。

图8是第二配置示例，并示出了用于提高主图像的饱和度的图像处理单元56的配置示例。

图8中的图像处理单元56由RGB/HSV转换器101、饱和度调整单元（S调整单元）102和HSV/RGB转换器103构成。注意，RGB/HSV转换器101和HSV/RGB转换器103具有与被设置到图5中的图像处理单元54的RGB/HSV转换器71和HSV/RGB转换器73相类似的功能，因此省略其说明。

也就是说，S调整单元102将从RGB/HSV转换器101提供的S信号乘以预定系数α（α≥1），并将其提供给HSV/RGB转换器103。

利用上述配置，图像处理单元56可以提高主图像的饱和度。

图9是第三配置示例，并示出了提高副图像的明度值的图像处理单元56的配置示例。

图9中的图像处理单元56由RGB/HSV转换器111、明度值调整单元（V调整单元）112和HSV/RGB转换器113构成。注意，RGB/HSV转换器111和HSV/RGB转换器113具有与被设置到图6中的图像处理单元54的RGB/HSV转换器81和HSV/RGB转换器83相类似的功能，因此省略其说明。

也就是说，V调整单元112将从RGB/HSV转换器111提供的V信号乘以预定系数β（β≥1），并将其提供给HSV/RGB转换器113。

利用上述配置，图像处理单元56可以提高主图像的明度值。

因此，参考图7至图9描述的三种类型的图像处理单元56中的任意一种可以具有与副图像的图像质量相比被更多地提高的、其主图像的图像质量。

返回到图3中的说明，合成单元57基于来自图像处理单元54的位置信息而将来自图像处理单元56的主图像与来自图像处理单元54的副图像相合成，并将已被合成的合成图像提供给显示单元58。

显示单元58显示来自合成单元57的合成图像。

[数字照相机的图像显示处理]

接下来将参考图10中的流程图来描述图3中的数字照相机11的图像显示处理。

在步骤S11中，失真校正单元52对来自成像单元51的广角图像（副图像）中的副镜头32的失真进行校正，并将校正后的副图像提供给光轴校正单元53。

参考图11和图12来描述失真校正单元52的失真校正处理。

图11是描述通过失真校正而获得的预定尺寸的校正后的图像中的像素的像素位置（X,Y）与失真校正之前的副图像（圆形鱼眼图像）中的像素的像素位置（x,y）的相关性的图。

如图11所示，考虑以圆形鱼眼图像的中心作为xyz坐标的原点的、沿着在该圆形鱼眼图像的直径上截取的横截面的具有半径R的上半球。注意，校正后的图像在点（0,0,R）处与该上半球相接触。

在将xyz坐标的原点和点（X,Y，R）相连接的直线与上半球的球面之间的交点是（x,y，z）、且xyz坐标的原点和交点（x,y，z）之间的距离为R的情况下，下面的表达式（5）成立。

[数学表达式5]

$x=\frac{z}{R}X=\frac{R}{\sqrt{X^2+Y^2+R^2}}X$

…(5)

$y=\frac{z}{R}Y=\frac{R}{\sqrt{X^2+Y^2+R^2}}Y$

也就是说，失真校正单元52通过以下方式来生成校正后的图像：使在校正之后校正后的图像中的点（X,Y）的像素值成为校正之前的对应的圆形鱼眼图像中的点（x,y）的像素值。

注意，如图12所示，在与校正之后的校正后的图像中的点（X,Y）相对应的校正之前的圆形鱼眼图像中的点（x,y）不位于像素被布置于的网格点处的情况下，可以将外围像素（像素值）a至d插值为在点（x,y）处的像素值。作为插值方法，使用线性插值或双立方插值等。在图12中，在使用双线性插值的情况下，利用p=（1-t）{（1-s）a+sb}+t{（1-s）c+sd}来得到在点（x,y）处的像素值p。

返回到图10中的流程图，在步骤S12中，光轴校正单元53使副镜头32的光轴与主镜头31的光轴相匹配，并确定与副图像相合成的主图像在来自失真校正单元52的副图像中的位置。光轴校正单元53将表示其位置的位置信息和副图像提供给图像处理单元54。

现在，参考图13描述光轴校正单元53的光轴校正处理。

图13是描述主镜头31的光轴的坐标系（主镜头坐标系）与副镜头32的光轴的坐标系（副镜头坐标系）之间的关系的图。

在图13中，矢量h表示布置在数字照相机11上的主镜头31和副镜头32之间的x-y平面上的物理布置的差，并且旋转量R表示旋转偏移量，其中主镜头31光轴和副镜头32光轴的z轴为基准。也就是说，副镜头坐标系中的矢量v'=（x',y',z'）使用主镜头坐标系中的矢量v=（x,y，z），并用v'=Rv+h表示。也就是说，副镜头坐标系中的矢量v'是其中矢量v被旋转了旋转量R且矢量h被平行地移动的矢量。光轴校正单元53使用其关系，由此使副镜头32的光轴（坐标）与主镜头31的光轴（坐标）相匹配。

此外，光轴校正单元53进行对以下两个图像之间的匹配，由此确定被合成到副图像的主图像的位置：来自失真校正单元52的副图像的中心附近的区域内的图像、以及与该区域相对应的来自成像单元55的主图像。

返回到图10中的流程图，在步骤S13中，图像处理单元54对来自光轴校正单元53的副图像进行预定图像处理，以与主图像相比更多地降低图像质量。更具体地，图像处理单元54降低副图像的亮度、饱和度或者明度值。图像处理单元54将具有降低的图像质量的副图像连同来自光轴校正单元53的位置信息一起提供给合成单元57。现在，图像处理单元54仅提取副图像的亮度信号，并将黑白图像（monochrome image）提供给合成单元57。

在步骤S14中，图像处理单元56使来自成像单元55的主图像经历预定图像处理，以使图像质量提高到高于副图像的图像质量。更具体地，图像处理单元56提高主图像的亮度、饱和度或者明度值。图像处理单元56将具有提高的图像质量的主图像提供给合成单元57。现在，图像处理单元56还可以将具有预定的颜色和线型的框添加到主图像的周围，并将其提供给合成单元57。

在步骤S15中，合成单元57基于来自图像处理单元54的位置信息而将来自图像处理单元56的主图像和来自图像处理单元54的副图像相合成，并将已被合成的合成图像提供给显示单元58。

此时，主图像必须具有比副图像更小的尺寸，但是这取决于分别被设置到成像单元51和成像单元55的成像装置的尺寸。

例如，在分别被设置到成像单元51和成像单元55的成像装置的尺寸相同的情况下，可以生成具有不同范围的图像来作为具有相同尺寸的图像。因此，为了合成主图像和副图像，需要调整一个图像或另一图像的尺寸。

现在，参考图14来描述在合成单元57的合成处理中对主图像和副图像的图像尺寸的调整。

如图14中的A所示，假设当xyz坐标的原点是主镜头31的位置时的原点与用于捕获主图像I_m的成像单元55的成像装置之间的距离（z轴方向）是f_m。

此外，如图14中的B所示，假设当xyz坐标的原点是副镜头32的位置时的原点与用于捕获副图像I_s的成像单元51的成像装置之间的距离（z轴方向）是f_s。

如果考虑特定的被摄体距离Z，则如图14中的C所示，假设反映到主图像I_m的成像单元55的成像装置的范围为l_m，反映到副图像I_s的成像单元51的范围为l_s。此外，假设成像单元51和成像单元55中的每个的成像装置的尺寸为l。

此时，根据图14中的C中的关系，获得下面的表达式（6）。

[数学表达式6]

$l_m=\frac{Z}{f_m}\&CenterDot;l$ …(6)

$l_s=\frac{Z-f_m+f_s}{f_s}\&CenterDot;l$

此外，根据表达式（6）中的关系，通过下面的表达式（7）得到主图像I_m的尺寸与副图像I_s的尺寸的比l_m/l_s。

[数学表达式7]

$\frac{l_m}{l_s}=\frac{f_s}{Z-f_m+f_s}\&CenterDot;\frac{Z}{f_m}$

$=\frac{f_s}{f_m}\frac{1}{1-\frac{f_m-f_s}{Z}}$ …(7)

$\&ap;\frac{f_s}{f_m}(\underset{\&CenterDot;}{\&CenterDot;\&CenterDot;}Z>>f_m-f_s)$

此时，合成单元57通过将主图像I_m的尺寸乘以f_s/f_m来生成主图像I'_m，并将其与副图像I_s相合成。

因此，如图14中的D所示，生成其中主图像I'_m具有小于副图像I_s的尺寸的合成图像。

注意，不仅在成像单元51和成像单元55的成像装置的尺寸相同的情况下，而且在主图像I_m和副图像I_s的尺寸的关系不是如图14中的D所示的情况下，将主图像I_m的尺寸乘以预定的数字，由此可以调整主图像的尺寸。

返回到图10中的流程图，在步骤S16中，显示单元58显示来自合成单元57的合成图像。

根据上述处理，显示例如图2所示的合成图像，其中在具有降低的图像质量的广角图像的中心处合成具有期望用于拍摄的视图角度的标准图像，由此用户可以同时地且容易地确认两个构图的图像。

此外，用户可以确认广角图像中的除了期望用于拍摄的视角之外的构图，由此可以探寻改善的构图。

通过上述说明，除了期望用于拍摄的视角之外的图像已被描述为用来降低该图像的图像质量且仅对构图进行确认的配置，但是可以以增强的方式来显示该除了期望用于拍摄的视角之外的图像中包含的对象。

<2.第二实施例>

[数字照相机的配置示例]

图15示出了用来显示除了期望用于拍摄的视角之外的图像中的对象的数字照相机的配置示例。注意，通过图15中的数字照相机121，利用相同的名称和附图标记来表示具有与被设置到图3中的数字照相机11的功能相同的功能的配置，并且将适当地省略其说明。

也就是说，通过图15中的数字照相机121，与图3中的数字照相机11的不同之处在于，新设置了对象检测单元151和图像处理单元152，并且设置了合成单元153来代替合成单元57。

图15中的光轴校正单元53将表示其中经过了光轴校正的副图像和该副图像中的主图像被合成的位置的位置信息提供给图像处理单元54，同时将经过了光轴校正的副图像提供给对象检测单元151。

对象检测单元151检测来自光轴校正单元53的副图像中的对象，并将包括检测到的对象的区域的图像（检测到的对象图像）连同表示副图像中的位置的位置信息一起提供给图像处理单元152。

参考图16和图17来描述两种类型的对象检测单元151的配置示例。

图16示出了对象检测单元151的第一配置示例。

图16中的对象检测单元151由帧缓冲器161、帧间差分计算单元162、阈值处理单元163和标记单元164构成。

帧缓冲器161按照每个帧存储来自光轴校正单元53的副图像。

帧间差分计算单元162读出存储在帧缓冲器161中的一个帧之前的副图像I_t-1，并根据副图像I_t-1和来自光轴校正单元53的当前帧的副图像I_t而针对各个像素计算作为像素值差的帧间差分值。帧间差分计算单元162将计算结果提供给阈值处理单元163。

阈值处理单元163基于来自帧间差分计算单元162的帧间差分值而通过以下方式来进行二值化：将具有预定阈值或更大的差分值的像素设置为1，并将具有小于预定阈值的差分值的像素设置为0。此外，阈值处理单元163将二值化后的图像划分为预定的块，针对各个块对块内的像素值为1的像素进行计数，并基于其计数检测具有预定阈值或更大的计数的块作为运动块。阈值处理单元163将检测结果（运动块）提供给标记单元164。

标记单元164基于阈值处理单元163提供的运动块而进行标记处理。此外，标记单元164检测从外侧包围每个标记的块的矩形（外接框），并将其检测结果作为检测到的对象图像而提供给图像处理单元152。

通过上述配置，对象检测单元151可以检测副图像中的具有运动的对象。

图17示出了对象检测单元151的第二配置示例。

图17中的对象检测单元151由面部检测单元171构成。

面部检测单元171从来自光轴校正单元53的副图像I_t中检测面部，基于作为用于检测面部的区域的面部检测区域的位置和尺寸而提取面部图像，并将其作为检测到的对象图像提供给图像处理单元152。例如，面部检测单元171学习朝向各个方向的面部的面部图像，将学习的面部图像与和副图像I_t中的面部检测区域尺寸相同的区域中的图像相比较，并评估这是否是面部，由此检测面部。

通过上述配置，对象检测单元151可以检测副图像中的人的面部。

注意，通过上述说明，对象检测单元151具有用于检测具有运动或人（面部）的对象的配置，但是对象检测单元151不限于此，并且可以检测预定的对象（车辆、建筑等）。

返回到图15中的说明，图像处理单元152对来自对象检测单元151的检测到的对象图像执行预定的图像处理（对画面、亮度、颜色浓度、色调、锐度等的调整），以将其图像质量提高到高于副图像的图像质量，并将其连同位置信息一起提供给合成单元153。

现在，参考图18中的框图来描述图像处理单元152的配置示例。

图18示出了使检测到的对象图像经历增强处理的图像处理单元152的配置示例。

图18中的图像处理单元152由RGB/YUV转换器181、HPF182、放大器183、加法单元184和YUV/RGB转换器185构成。注意，RGB/YUV转换器181、HPF182、放大器183、加法单元184和YUV/RGB转换器185具有与被设置到图7所示的图像处理单元56的RGB/YUV转换器91、HPF92、放大器93、加法单元94和YUV/RGB转换器95相类似的功能，因此将省略其说明。

通过上述配置，图像处理单元152可以使检测到的对象图像经历增强处理。

返回到图15中的说明，合成单元153基于来自图像处理单元54的位置信息而将来自图像处理单元56的主图像和来自图像处理单元54的副图像相合成。此外，合成单元153基于来自图像处理单元152的位置信息而将来自对象检测单元151的检测到的对象图像合成到与已被合成的合成图像的副图像相对应的区域，并将其合成图像提供给显示单元58。

[数字照相机的图像显示处理]

接下来，参考图19中的流程图来描述图15中的数字照相机121的图像显示处理。注意，图19中的流程图中的步骤S31至S33和S36中的处理与参考图10中的流程图描述的步骤S11至S14中的处理相类似，因此省略其说明。

也就是说，在步骤S34中，对象检测单元151进行对象检测处理，以检测来自光轴校正单元53的副图像中的对象。对象检测单元151将包括检测到的对象的区域的图像（检测到的对象图像）连同表示副图像中的位置的位置信息一起提供给图像处理单元152。

现在，参考图20中的流程图来描述与步骤S34中的对象检测处理相对应的用于检测具有运动的对象的对象检测处理的示例。

在步骤S51中，帧间差分计算单元162读出存储在帧缓冲器161中的作为在先的一个帧的副图像I_t-1，并根据副图像I_t-1和来自光轴校正单元53的当前帧的副图像I_t而针对各个像素计算帧间差分值。帧间差分计算单元162将计算结果提供给阈值处理单元163。

在步骤S52中，阈值处理单元163基于来自帧间差分计算单元162的帧间差分值而通过以下方式来进行二值化：将具有预定阈值或更大的差分值的像素设置为1，并将具有小于预定阈值的差分值的像素设置为0。此外，阈值处理单元163将二值化后的图像划分为预定的块，针对每个块对块内的像素值为1的像素进行计数，并基于其计数而检测具有预定阈值或更大的计数的块作为运动块。阈值处理单元163将检测结果（运动块）提供给标记单元164。

在步骤S53中，标记单元164基于阈值处理单元163提供的运动块而进行标记处理。此外，标记单元164检测从外侧包围每个标记的块的矩形（外接框），并将其检测结果作为检测的对象图像提供给图像处理单元152。

根据上述处理，可以在副图像中检测具有运动的对象。

此外，可以在步骤S34中的对象检测处理中检测人的面部。

现在，参考图21中的流程图来描述用于检测人的面部的对象检测处理的示例。

在步骤S61中，面部检测单元171从来自光轴校正单元53的副图像I_t中检测面部，基于作为用于检测面部的区域的面部检测区域的位置和尺寸而提取面部图像，并将此作为检测到的对象图像提供给图像处理单元152。

根据上述处理，可以在副图像中检测人的面部。

注意，参考图20和图21中的流程图而描述的对象检测处理可以由具有图16和图17中描述的两种配置的数字照相机121的对象检测单元151并行地执行。

返回到图19中的流程图，在步骤S35中，图像处理单元152使来自对象检测单元151的检测到的对象图像经历预定的图像处理，以使图像质量提高到高于副图像的图像质量，并将其连同位置信息一起提供给合成单元153。更具体地，图像处理单元152提高检测到的对象图像的亮度、饱和度或明度值。图像处理单元152将具有提高的图像质量的检测到的对象图像提供给合成单元153。现在，图像处理单元152还可以将具有预定颜色的框添加到检测到的对象图像的周围，并将其提供给合成单元153。

在步骤S37中，合成单元153基于来自图像处理单元54的位置信息而将来自图像处理单元56的主图像和来自图像处理单元54的副图像相合成。此外，例如图22所示，合成单元153基于来自图像处理单元152的位置信息而将来自对象检测单元151的检测到的对象图像合成在与已被合成的合成图像的副图像相对应的区域中，并将该合成图像提供给显示单元58。

图22示出了其中检测到的对象图像已被以增强的方式显示的合成图像的示例。

在图22中，除了图2所示的合成图像之外，还在与合成图像的副图像相对应的区域中显示检测到的对象图像201和检测到的对象图像202。

在图22中，检测到的对象图像201是用作具有运动的对象的狗的图像，图16中的对象检测单元151检测对象（狗），并且图像处理单元152提高检测到的对象图像201的图像质量，由此在合成图像中对其进行增强和显示。

此外，检测到的对象图像202是人的图像，图17中的对象检测单元151检测人的面部，并且图像处理单元152提高检测到的对象图像202的图像质量，由此在合成图像中对其进行增强和显示。

因此，在合成图像上以增强的方式显示其中除了期望用于拍摄的视角（主图像）以外的图像中包含的对象被增强的图像，由此在执行在预先已固定焦点位置的状态下在静止图像中进行的所谓的“预聚焦”拍摄的情况下，即使在主图像中框出了除了期望的被摄体之外的对象，也可以在合成图像上确认其对象，由此可以更容易地测量快门定时。

根据上述处理，在具有降低的图像质量的广角图像的中心处合成期望用于拍摄的视角的标准图像，同时显示作为其中已合成了除了期望用于拍摄的视角以外的图像中包含的增强的对象的图像的合成图像。因此，用户可以容易地同时确认具有两个构图的图像，同时确认除了期望用于拍摄的图像角度以外的图像中包括的对象。

注意，通过上述说明，配置为使得仅在副图像中检测对象，但是配置还可以在主图像中检测对象。通过这种配置，可以检测例如在副图像和主图像之间显示的对象，由此例如可以在副图像中增强对象并且可以在主图像中降低图像质量。因此，即使在主图像中除了期望用于拍摄的被摄体以外的对象进入帧的情况下，也可以使这种对象的显示更不明显。

通过上述说明，已经描述了用于显示以用户期望拍摄的视角为中心的合成图像的配置，但是还可以以更合适的构图显示具有要被拍摄的视角的合成图像。

<3.第三实施例>

[数字照相机的配置示例]

图23示出了可以以更合适的构图在合成图像中向用户显示拍摄的视角的数字照相机的配置示例。注意，通过图23中的数字照相机221，具有与被设置到图15中的数字照相机121的功能相类似的功能的配置将具有相同的名称和相同的附图标记，因此适当地省略其说明。

也就是说，通过图23中的数字照相机221，与图15中的数字照相机121的不同之处在于，新设置了构图分析单元251和推荐构图提取单元252，并且设置了图像处理单元253和合成单元254来代替图像处理单元152和合成单元153。

图23中的对象检测单元151在来自光轴校正单元53的副图像中检测对象，并将表示检测到的对象在副图像中的位置的位置信息以及该副图像提供给构图分析单元251。

构图分析单元251基于来自对象检测单元151的副图像中的对象的位置信息而分析该副图像以及与该副图像中的该对象的位置相对应的构图，并进行确定。例如，构图分析单元251预先存储多个构图模式，使用模式匹配来从这些构图模式中选择最接近于副图像中的对象的布置的构图模式，并设置与副图像相对应的构图（推荐的构图）。构图分析单元251将表示所确定的构图的构图信息（例如，在作为构图的轮廓的矩形的左上方处的位置和在其右下方的位置）连同副图像一起提供给推荐构图提取单元252。

推荐构图提取单元252基于来自构图分析单元251的副图像和构图信息而从副图像中提取具有推荐的构图的图像（推荐构图图像），并将其连同构图信息一起提供给图像处理单元253。

图像处理单元253具有与图像处理单元56相同的功能，并对来自推荐构图提取单元252的推荐构图图像进行预定的图像处理（对画面、明度值、颜色浓度、色调、锐度等的调整），以将图像质量提高到高于副图像的图像质量，并将其连同构图信息一起提供给合成单元254。

合成单元254基于来自图像处理单元54的位置信息而合成来自图像处理单元56的主图像和来自图像处理单元54的副图像。此外，合成单元254基于来自图像处理单元253的构图信息而将来自图像处理单元253的推荐构图图像合成到与已被合成的合成图像的副图像相对应的区域，并将该合成图像提供给显示单元58。

[数字照相机的图像显示处理]

接下来，参考图24中的流程图来描述图23中的数字照相机221的图像显示处理。注意，图24中的流程图中的步骤S71至S74和S78中的处理与参考图10中的流程图所描述的步骤S31至S34和S36中的处理相类似，因此省略其说明。

在步骤S75中，构图分析单元251基于来自对象检测单元151的副图像和对象在该副图像中的位置信息而分析与该副图像中的该对象的布置相对应的构图，并确定推荐构图。例如，构图分析单元251预先存储多个构图模式，使用模式匹配来从这些构图模式中选择最接近于副图像中的对象的布置的构图模式，并将其设置为与该副图像相对应的推荐构图。构图分析单元251将表示所确定的构图的构图信息连同该副图像一起提供给推荐构图提取单元252。

图25示出了由构图分析单元251确定的推荐构图的示例。

图25所示出的构图是被称为三分割构图的构图，并且已知为通过具有在垂直线和水平线的交点处（图中的实心圆）的位置之一中的对象（被摄体）而被平衡的图像（照片）。注意，由构图分析单元251确定的构图（构图模式）不限于三分割构图，准备多个类型，例如用于给出水平方向上的宽度的水平线构图、用于增强垂直方向的垂直线构图、以及在两个相同或相类似的项彼此相邻时使用的对比构图。

返回到图24中的流程图，在步骤S76中，推荐构图提取单元252基于来自构图分析单元251的构图信息和副图像而从副图像中提取推荐构图图像，并将其连同构图信息一起提供给图像处理单元253。

在步骤S77中，图像处理单元253使来自推荐构图提取单元252的推荐构图图像经历预定的图像处理，以将图像质量提高到高于副图像的图像质量，并将其连同构图信息一起提供给合成单元254。现在，图像处理单元253还可以将具有预定的颜色和线型的框添加到推荐构图图像的周围，并将其提供给合成单元254。

在步骤S79中，合成单元254基于来自图像处理单元54的位置信息而合成来自图像处理单元56的主图像和来自图像处理单元54的副图像。此外，例如诸如图26所示地，合成单元254基于来自图像处理单元253的构图信息而将来自图像处理单元253的推荐构图图像合成到与已被合成的合成图像的副图像相对应的区域，并将该合成图像提供给显示单元58。

图26示出了已显示了推荐构图的合成图像的示例。

在图26中，除了图2所示的合成图像之外，还以表示推荐构图的轮廓的虚线在其合成图像上示出该推荐构图。

在上述说明中，推荐构图中的图像的图像质量高于副图像的图像质量，但是在主图像（当前视角）的一部分与推荐构图的一部分重叠的情况下，可能不能将其彼此区分开。因此，如图26所示，推荐构图可以仅简单地显示其轮廓（视角）。

根据上述处理，可以在合成图像上显示推荐构图。

因此，在合成图像上显示推荐构图，由此用户可以确认比当前用于拍摄（记录）的构图更合适的构图。

上面已经描述了可以显示更合适的构图的具有两种成像系统的数字照相机，但是即使在仅具有一个成像系统的数字照相机中，也可以显示更合适的构图。

现在，近来，随着高清晰度电视接收器已越来越普及，用于对来自诸如数字照相机之类的成像设备的其纵横比（水平垂直比）为16:9的图像进行成像、记录以及在高清晰度电视接收器上进行观看的需要已增加。

因此，具有其纵横比为4:3（或3:2）的实体成像装置（下文中称为成像装置）301的例如图27所示的通用成像设备可以具有用于对其纵横比为4:3（或3:2）的图像进行成像的标准模式以及用于对其纵横比为16:9的图像进行成像的全景模式。在标准模式中，使用整个成像装置301，并对其纵横比为4:3（或3:2）的图像进行成像、显示和记录。另一方面，在全景模式中，作为对图27中的具有成像装置301的上部的区域311和下部的区域312的成像装置的替代，使用具有矩形区域313且由此纵横比为16:9的成像装置，并对其纵横比为16:9的图像进行成像、显示和记录。

通过如上所述的成像设备，用于显示所谓的完全图像（throughimage）的显示单元的显示区域被配置为显示与图27中的整个成像装置301相对应的图像。因此，在用户以全景模式对被摄体进行成像的情况下，其中在显示单元上显示完全图像的显示区域成为与图27中的整个成像装置301的矩形区域313相对应的区域。

因此，在下文中将描述仅具有一个成像系统的数字照相机，其中在例如如上所述的成像设备中以全景模式显示比用户试图拍摄的构图更为合适的构图。

<4.第四实施例>

[数字照相机的功能配置示例]

图28示出了仅具有一个成像系统的数字照相机的配置示例。

图28中的数字照相机411由镜头431、成像单元432、图像处理单元433、裁切单元434、提取单元435、合成单元436、显示控制单元437、显示单元438、操作输入单元439、记录控制单元440和记录单元441构成。

镜头431是与图1中的数字照相机的主镜头31相类似的所谓的标准镜头。

成像单元432被配置为例如包括诸如CCD（电荷耦合器件）等的其纵横比为4:3的成像装置和A/D转换器。成像单元432通过接收来自镜头431的光并进行光电转换来对被摄体进行成像，并使获得的模拟图像信号经历A/D转换。成像单元432将作为A/D转换的结果而获得的数字图像数据（下文中称为成像图像）提供给图像处理单元433。

图像处理单元433使来自成像单元432的成像图像经历预定的图像处理。在图像处理单元433的成像模式是对其纵横比为4:3的图像进行成像的标准模式的情况下，将经过图像处理的成像图像提供给显示控制单元437和记录控制单元440。此外，在图像处理单元433的成像模式是对其纵横比为16:9的图像进行成像的全景模式的情况下，将经过图像处理的成像图像提供给裁切单元434和提取单元435。

对于已从图像处理单元433提供的成像图像，裁切单元434从其成像图像中裁切出在尺寸上与该成像图像不相同的其纵横比为16:9的图像。裁切单元434根据需要将裁切出的图像（裁切图像）提供给合成单元436、显示控制单元437或记录控制单元440。

对于已从图像处理单元433提供的成像图像，提取单元435在包括其被摄体的其成像图像中检测具有高关注度的被摄体，并提取具有与包括该被摄体的成像图像的尺寸不相同的其纵横比为16:9的区域的图像。提取单元435根据需要将所提取的图像提供给合成单元436或记录控制单元440。

合成单元436合成来自裁切单元434的裁切图像和来自提取单元435的提取的图像，并将已被合成的合成图像提供给显示控制单元437。

显示控制单元437控制显示单元438，并在显示单元438中显示各种类型的图像。例如，在成像模式处于标准模式的情况下，显示控制单元437在显示单元438上显示从图像处理单元433提供的成像图像。此外，在成像模式处于全景模式的情况下，显示控制单元437在显示单元438上显示从裁切单元434提供的裁切图像或从合成单元436提供的合成图像。

显示单元438在显示控制单元437的控制下适当地显示各种类型的图像。

用户对操作输入单元439进行操作，以输入对数字照相机411的指令。操作输入单元439例如由各种类型的操作按钮、远程控制、触摸面板、麦克风等构成，并且接收来自用户的操作并将表示这种操作内容的信号（信息）提供给数字照相机411的各个模块。

记录控制单元440控制记录单元441。例如，在记录控制单元440的成像模式处于标准模式的情况下，基于来自操作输入单元439的信号而在记录单元441中记录来自图像处理单元433的成像图像。此外，在记录控制单元440的成像模式处于全景模式的情况下，基于来自操作输入单元439的信号而在记录单元441中记录来自裁切单元434的裁切图像和来自提取单元435的提取的图像。此外，记录控制单元440基于来自操作输入单元439的信号而从记录单元441中读出图像，然后将其提供给显示控制单元437。

记录单元441在记录控制单元440的控制下在适当时记录各种类型的图像。

[数字照相机的图像显示处理]

接下来，参考图29中的流程图来描述图28中的数字照相机411的图像显示处理。注意，在操作输入单元439接收到来自用户的表示全景模式被选择作为成像模式的操作的情况下，开始图29中的图像显示处理。

在步骤S111中，成像单元432对被摄体进行成像。更具体地，成像单元432通过接收来自镜头431的光并进行光电转换来对被摄体进行成像，使获得的模拟图像信号经历A/D转换，并将获得的成像图像提供给图像处理单元433。

在步骤S112中，图像处理单元433对来自成像单元432的成像图像进行诸如去马赛克（demosaic）处理、白平衡调整处理、伽马校正处理等的图像处理，并将其提供给裁切单元434和提取单元435。

在步骤S113中，裁切单元434从提供自图像处理单元433的成像图像中裁切出其纵横比为16:9的图像，并将作为其结果而获得的裁切图像提供给合成单元436。更具体地，裁切单元434裁切出来自图像处理单元433的其纵横比为4:3的成像图像中的与图27中描述的成像装置301中的矩形区域313相对应的部分的图像。

例如，如图30中的左侧所示，在获得了其中被摄体为猫的成像图像511（纵横比为4:3）的情况下，裁切单元434裁切出成像图像511中的用点划线示出的区域的图像，并获得图30中的右侧所示的裁切图像512。如图30所示，在其纵横比为16:9的裁切图像512中，用作被摄体的猫位于最上部，并且切掉了包括耳朵的头部的部分。对于要被以全景模式拍摄和显示的图像来说，不能说裁切图像512是具有良好构图的图像。

如上所述，利用具有其纵横比为4:3的成像装置的传统的数字照相机，在用户以全景模式对被摄体进行成像的情况下，在显示单元上显示的图像成为与由整个成像装置成像的成像图像511相关的、用图30中的点划线示出的区域中的图像。在不习惯这种操作的用户以全景模式使用这种数字照相机的情况下，显示单元可以显示并记录例如图30中的裁切图像512中的图像。

返回到图29中的流程图，在步骤S114中，提取单元435在从图像处理单元433提供的成像图像中检测具有高关注度的被摄体。提取单元435提取包括其被摄体的其纵横比为16:9的区域的图像，并将作为其结果而获得的提取的图像提供给合成单元436。

更具体地，提取单元435针对成像图像的每个区域而生成表示与亮度相关的信息的亮度信息图、表示与颜色相关的信息的颜色信息图、表示与边缘相关的信息的边缘信息图、以及表示与运动相关的信息的运动信息图。

现在，在不必单独区分亮度信息图至运动信息图中的每个而将这些简单地称为信息图的情况下，包含在这些信息图中的信息是表示与包括被摄体的区域中相比更多的包括的特征的特征量的信息。该信息图成为其中信息与成像图像的每个区域相关且被排列的信息图。也就是说，信息图是表示成像图像的每个区域中的特征量的信息。

因此，各个信息图中的具有更多信息量的区域（即，成像图像上的与具有更多特征量的区域相对应的区域）成为更有可能包括被摄体的区域，并且可以通过每个信息图来识别成像图像中的包括被摄体的区域。

提取单元435基于亮度信息图、颜色信息图、边缘信息图、和运动信息图来识别成像图像中的包括被摄体的其纵横比为16:9的区域，并提取该区域中的图像作为提取的图像。

例如，如图31中的左侧所示，在获得成像图像511（纵横比为4:3）的情况下，提取单元435在成像图像511中检测到用作被摄体的猫作为具有高关注度的对象，提取用虚线表示的区域的图像（纵横比16:9）以包括被摄体，并获得图31的右侧所示的提取图像513。如图31所示，用作被摄体的猫大致位于其纵横比为16:9的提取的图像513的中心处。提取的图像513是作为要被以全景模式拍摄和显示的图像的、具有良好构图的图像。

注意，例如在“Laurent Itti、Christof Koch和Ernst Niebur的“AModel of Saliency-Based Visual Attention for Rapid Scene Analysis””中详细公开了用于从成像图像中提取诸如亮度、颜色和边缘之类的信息的方法。

返回到图29中的流程图，在步骤S115中，合成单元436合成来自裁切单元434的裁切图像和来自提取单元435的提取的图像，使得被摄体的位置相匹配，并将已被合成的合成图像提供给显示控制单元437。

在步骤S116中，显示控制单元437在显示单元438上显示从合成单元436提供的合成图像。

图32示出了在显示单元438上显示的合成图像的示例。

在图32中，数字照相机411的显示单元438的显示区域具有4:3的纵横比。在全景模式下，显示控制单元437在显示单元438的显示区域的上部区域和下部区域中显示黑色图像（所谓的黑带），由此形成纵横比为16:9的显示区域。

如图32所示，显示控制单元437在显示单元438的纵横比为16:9的显示区域上显示与合成图像的裁切图像相对应的部分。此外，显示控制单元437显示在图中由虚线示出的框，以在显示单元438上增强合成图像中的与提取的图像相对应的部分。此时，落入显示单元438的显示区域的黑带（上部）中的合成图像中的与提取的图像相对应的部分中的一部分被显示为具有低亮度的合成图像。注意，可以显示在显示单元438上显示的提取的图像，以如同图32中那样地用框来增强，并使得用户可以确认提取的图像的显示范围。

根据上述处理，可以一起显示具有用户试图以仅具有一个成像系统的数字照相机的全景模式来拍摄的构图的图像以及具有其中关注度高的被摄体位于中心处的构图的图像，由此用户可以确认与用户试图拍摄（记录）的构图相比更合适的构图。

注意，通过上述处理，在显示单元438上一起显示裁切图像和提取的图像，但是可以一起显示成像图像和提取的图像，并且在落入显示单元438的显示区域的黑带中的部分中亮度被降低。

上面已经描述了用于一起显示具有用户试图以全景模式拍摄的构图的图像和具有其中关注度高的被摄体位于中心处的构图的图像的处理，但是还可以记录具有用户试图以全景模式拍摄的构图的图像和具有其中关注度高的被摄体位于中心处的构图的图像。

[数字照相机的图像记录处理]

现在，参考图33中的流程图来描述图28中的数字照相机411的图像记录处理。注意，在操作输入单元439从用户接收到表示全景模式被选择作为成像模式的操作的情况下，开始图33中的图像记录处理。

注意，除了在步骤S213中将裁切图像提供给显示控制单元437和记录控制单元440的点、以及在步骤S214中将提取的图像提供给记录控制单元440的点之外，图33中的流程图中的步骤S211至S214中的处理基本上与图29中的流程图中的步骤S111至S114中的处理相同，因此省略其说明。

在步骤S215中，显示控制单元437在显示单元438上显示从裁切单元434提供的裁切图像。更具体地，如图32所示，显示控制单元437在显示单元438的具有纵横比16:9的显示区域上显示该裁切图像。此时，在显示单元438的显示区域中，在上部的区域和下部的区域中显示黑带。

在步骤S216中，记录控制单元440确定是否已按下了用作操作输入单元439的快门按钮。

在在步骤S216中确定尚未按下快门按钮的情况下，处理返回到步骤S211，并重复随后的处理。

另一方面，在在步骤S216中确定已按下了快门按钮的情况下，即，在将来自操作输入单元440的表示快门按钮已被按下的信号提供给记录控制单元440的情况下，处理前进到步骤S217。

在步骤S217中，记录控制单元440基于来自操作输入单元440的信号而将来自裁切单元434的裁切图像和来自提取单元435的提取的图像记录在记录单元441中。例如，将用图30描述的裁切图像512和用图31描述的提取的图像513记录在记录单元441中。

通过传统的数字照相机，在诸如图30中描述的裁切图像512之类的图像是具有不熟悉拍摄的用户试图以全景模式拍摄的构图的图像的情况下，要记录的图像也成为例如用图30描述的裁切图像513中所示的图像。在这种情况下，不能生成在记录的图像中不包括的被摄体的部分（丢失的部分），并且不能获得具有更好的构图的图像。

根据上述处理，可以以全景模式记录裁切图像和提取的图像，因此拍摄了具有用户不习惯拍摄的构图的图像，并且可以记录具有与拍摄的构图相比更适合于用户的构图的图像。

此外，记录具有用户已拍摄的构图的图像和具有与用户拍摄的构图相比更合适的构图的图像，由此用户可以比较两个图像，这可以有助于用户改进拍摄技术。

在上述处理中，裁切图像和提取的图像均被记录在记录单元441中，但是可以在记录单元441中记录其中合成了用图29中的流程图描述的裁切图像和提取的图像的合成图像。

图34示出了记录在记录单元441中的合成图像的示例。

在图34中的合成图像601中，用点划线示出的部分对应于裁切图像，用虚线示出的部分对应于提取的图像。现在，考虑被划分为三个区域611至613的合成图像601。此时，区域611是不存在于裁切图像中但存在于提取的图像中的部分，区域612是存在于裁切图像和提取的图像两者中的部分，区域613是存在于裁切图像中但不存在于提取的图像中的部分。

在通过用户操作从操作输入单元439提供表示用于播放（显示）裁切图像的指令的信号的情况下，记录控制单元440读出合成图像601中的区域612和613，并将这些区域提供给显示控制单元437。此外，在由于用户操作而从操作输入单元439提供表示用于播放提取的图像的指令的信号的情况下，记录控制单元440读出合成图像601中的区域611和612，并将这些区域提供给显示控制单元437。

因此，在考虑播放（显示）裁切图像和提取的图像中的每个图像的情况下，即使不在记录单元441中记录裁切图像和提取的图像中的每个图像，也仅必须记录一个合成图像，由此可以减少记录单元441中的记录量。

注意，在不生成合成图像601的情况下，可以一起记录与区域611相对应的图像和裁切图像，并且可以一起记录与区域613相对应的图像和提取的图像。

此外，通过上述处理，在已操作了用作操作输入单元439的快门按钮时记录提取的图像，但是例如可以在提取的图像的构图与预先准备的诸如三分割构图、水平线构图或放射线构图之类的构图模式相匹配时记录提取的图像。

因此，即使用户不操作快门按钮，也可以记录具有更好的构图的图像。

此外，通过上述处理，图像处理单元433对从成像单元432的所有成像装置获得的图像数据执行预定的图像处理，但是可以对从与图27中的成像装置301的区域313相对应的成像装置获得的图像数据进行图像处理，直到用作操作输入单元439的快门按钮被操作，并且在该快门按钮已被操作时可以对从所有成像装置获得的图像数据进行图像处理。

因此，可以减少直到快门按钮被操作为止的图像处理单元433的处理负荷。

可以使用硬件执行上述的系列处理，或者可以使用软件执行上述的系列处理。在使用软件执行该系列处理的情况下，例如通过安装各种类型的程序而将构成软件的程序从程序记录介质安装到内置有专用硬件的计算机中，或者安装到可以执行各种类型的功能的通用个人计算机等中。

图xx是示出使用程序执行上述的系列处理的计算机硬件的配置示例的框图。

在该计算机中，CPU（中央处理单元）901、ROM（只读存储器）902和RAM（随机存取存储器）903通过总线904而相互连接。

总线904还具有连接到总线904的输入/输出接口905。输入/输出接口905具有连接到输入/输出接口905的：由键盘、鼠标、麦克风等构成的输入单元906，由显示器、扬声器等构成的输出单元907，由硬盘或非易失性存储器等构成的存储单元908，由网络接口等构成的通信单元909，以及用于驱动诸如磁盘、光盘、磁光盘或半导体存储器等的可拆卸介质911的驱动910。

通过如上配置的计算机，例如，CPU901经由输入/输出接口905和总线904将存储在存储单元908中的程序加载到RAM903中并执行该程序，由此执行上述的系列处理。

计算机（CPU901）所执行的程序被记录在可拆卸介质911上，其中可拆卸介质911是由例如磁盘（包括软盘）、光盘（CD-ROM（压缩盘-只读存储器）、DVD（数字通用盘）等）、磁光盘、半导体存储器等构成的封装介质，或者替代性地，计算机（CPU901）所执行的程序被经由诸如局域网、因特网或数字卫星广播之类的有线传输介质或无线传输介质来提供。

该程序可以被通过安装在驱动910上的可拆卸介质911而经由输入/输出接口905安装在存储单元908中。此外，该程序可以被经由有线传输介质或无线传输介质使用通信单元909而接收来被安装在存储单元908上。替代性地，该程序可以被预先安装在ROM902或存储单元908中。

注意，计算机所执行的程序可以是其中沿着在本说明书中描述的顺序以时序方式执行处理的程序，或者可以是其中并行地或在诸如被调用时等的必要的时间执行处理的程序。

另外，下面的配置也在本发明的保护范围以内：

（1）一种成像设备，包括：

成像装置，用于对包括预定的被摄体的第一图像进行成像；

检测装置，用于从所述第一图像中检测作为在尺寸上与所述第一图像不相同的图像并且包括所述被摄体的第二图像；

合成装置，用于将由所述检测装置检测到的所述第二图像合成到所述第一图像，使得所述被摄体的位置相匹配；以及

显示装置，用于在能够显示整个所述第一图像的显示区域中与所述第二图像尺寸相同的预定区域中，显示所述第一图像的对应部分，并在所述显示区域中显示已被与所述第一图像相合成的所述第二图像。

（2）根据（1）所述的成像设备，其中所述显示装置以增强的方式在所述显示区域中显示已被与所述第一图像相合成的所述第二图像。

（3）根据（1）所述的成像设备，其中所述显示区域是当处于对纵横比为4:3的图像进行成像的模式中时在其中显示整个所述第一图像的区域；以及

其中所述显示区域中的所述预定区域是当处于对纵横比为16:9的图像进行成像的模式中时在其中显示所述第一图像的部分的区域。

（4）根据（1）所述的成像设备，还包括：

裁切装置，用于裁切所述预定区域的所述第一图像；以及

记录装置，用于记录已被所述裁切装置裁切的所述预定区域的所述第一图像和已被所述检测装置检测到的所述第二图像。

（5）根据权利要求4所述的成像设备，其中所述合成装置对已被所述裁切装置裁切的所述预定区域的所述第一图像和已被所述检测装置检测到的所述第二图像进行合成，以及其中

所述记录装置记录已被所述合成装置合成的已被所述裁切装置裁切的所述预定区域的所述第一图像和已被所述检测装置检测到的所述第二图像。

（6）一种成像方法，包括：

成像步骤，用于对包括预定被摄体的第一图像进行成像；

检测步骤，用于从所述第一图像中检测作为在尺寸上与所述第一图像不相同的图像的包括所述被摄体的第二图像；

合成步骤，用于将通过所述检测步骤中的处理检测到的所述第二图像合成到所述第一图像，使得所述被摄体的位置相匹配；以及

显示步骤，用于在能够显示整个所述第一图像的显示区域中与所述第二图像尺寸相同的预定区域中，显示所述第一图像的对应部分，并在所述显示区域中显示已被与所述第一图像相合成的所述第二图像。

（7）一种成像设备，包括：

第一成像装置，用于接收来自第一光学系统的光，并对包括预定的被摄体的第一图像进行成像；

第二成像装置，用于接收来自第二光学系统的光，并对作为在视角上与所述第一图像不相同的图像的包括所述预定的被摄体的第二图像进行成像；

第一图像质量调整装置，用于调整所述第二图像的图像质量，以使所述第二图像的图像质量与所述第一图像的图像质量不相同；以及

合成装置，用于将所述第一图像合成到已被所述第一图像质量调整装置调整了图像质量的所述第二图像，使得所述被摄体的位置相匹配。

（8）根据（7）所述的成像设备，还包括：显示装置，用于显示由所述合成装置合成的图像。

（9）根据（7）所述的成像设备，还包括：

对象检测装置，用于检测所述第二图像中的对象；以及

第二图像质量调整装置，用于调整已被所述对象检测装置检测到的所述第二图像中的所述对象的区域的图像质量，以使所述对象的区域的图像质量与所述第二图像的图像质量不相同，

其中，所述合成装置以所述被摄体匹配的位置作为基准而将所述第一图像以及已被所述第二图像质量调整装置调整了图像质量的所述第二图像中的所述对象的所述区域中的对象图像合成到所述第二图像。

（10）根据（9）所述的成像设备，其中所述对象检测装置检测所述第二图像中的具有运动的所述对象。

（11）根据（9）所述的成像设备，其中所述对象检测装置检测所述第二图像中的人的面部。

（12）根据（7）所述的成像设备，还包括：

构图分析装置，用于分析所述第二图像的构图；以及

构图提取装置，用于基于所述构图分析装置分析的所述构图而从所述第二图像中提取具有与所述第一图像的视角不相同的视角的构图；

其中，所述合成装置以所述被摄体的位置作为基准而将所述第一图像以及具有由所述构图提取装置提取的所述构图的提取的图像合成到所述第二图像。

（13）根据（7）所述的成像设备，其中所述第二成像装置对具有与所述第一图像相比更宽的视角的所述第二图像进行成像。

（14）根据（7）所述的成像设备，还包括：

失真校正装置，用于校正所述第二图像的失真；以及

光轴校正装置，用于使所述第二光学系统的光轴与所述第一光学系统的光轴相匹配，并确定所述第一图像被合成到所述第二图像的位置。

（15）根据（7）所述的成像设备，其中所述第一图像质量调整装置调整所述第二图像的颜色信号的水平，以使所述第二图像的颜色信号的水平低于所述第一图像的颜色信号的水平。

（16）根据（15）所述的成像设备，其中所述第二图像质量调整装置调整所述第一图像的颜色信号的水平，以使所述第一图像的颜色信号的水平高于所述第二图像的颜色信号的水平。

（17）一种成像方法，包括：

第一成像步骤，用于接收来自第一光学系统的光，并对包括预定的被摄体的第一图像进行成像；

第二成像控制步骤，用于接收来自第二光学系统的光，并对作为在视角上与所述第一图像不相同的图像的包括所述预定的被摄体的第二图像进行成像；

图像质量调整步骤，用于调整所述第二图像的图像质量，以使所述第二图像的图像质量与所述第一图像的图像质量不相同；以及

合成步骤，用于将所述第一图像合成到通过所述第一图像质量调整步骤中的处理而已被调整了图像质量的所述第二图像，使得所述被摄体的位置相匹配。

此外，本实施方式的实施例不限于上述实施例，并且在不脱离本发明的实质的情况下可以进行各种变型。

附图标记说明

11数字照相机、31主镜头、32副镜头、51成像单元、52失真校正单元、53光轴校正单元、54图像处理单元、55成像单元、56图像处理单元、57合成单元、58显示单元、121数字照相机、151对象检测单元、152图像处理单元、153合成单元、221数字照相机、251构图分析单元、252推荐构图提取单元、253图像处理单元、254合成单元

Claims (11)

1.一种成像设备，包括：

第一成像装置，用于接收来自第一光学系统的光，并对包括预定的被摄体的第一图像进行成像；

第二成像装置，用于接收来自第二光学系统的光，并对作为在视角上与所述第一图像不相同的图像的包括所述预定的被摄体的第二图像进行成像；

第一图像质量调整装置，用于调整所述第二图像的图像质量，以使所述第二图像的图像质量与所述第一图像的图像质量不相同；以及

合成装置，用于将所述第一图像合成到已被所述第一图像质量调整装置调整了图像质量的所述第二图像，使得所述被摄体的位置相匹配。

2.根据权利要求1所述的成像设备，还包括：显示装置，用于显示由所述合成装置合成的图像。

3.根据权利要求1所述的成像设备，还包括：

对象检测装置，用于检测所述第二图像中的对象；以及

第二图像质量调整装置，用于调整已被所述对象检测装置检测到的所述第二图像中的所述对象的区域的图像质量，以使所述对象的区域的图像质量与所述第二图像的图像质量不相同，

其中，所述合成装置以所述被摄体匹配的位置作为基准而将所述第一图像以及已被所述第二图像质量调整装置调整了图像质量的所述第二图像中的所述对象的所述区域中的对象图像合成到所述第二图像。

4.根据权利要求3所述的成像设备，其中所述对象检测装置检测所述第二图像中的具有运动的所述对象。

5.根据权利要求3所述的成像设备，其中所述对象检测装置检测所述第二图像中的人的面部。

6.根据权利要求1所述的成像设备，还包括：

构图分析装置，用于分析所述第二图像的构图；以及

构图提取装置，用于基于所述构图分析装置分析的所述构图而从所述第二图像中提取具有与所述第一图像的视角不相同的视角的构图；

其中，所述合成装置以所述被摄体的位置作为基准而将所述第一图像以及具有由所述构图提取装置提取的所述构图的提取的图像合成到所述第二图像。

7.根据权利要求1所述的成像设备，其中所述第二成像装置对具有与所述第一图像相比更宽的视角的所述第二图像进行成像。

8.根据权利要求1所述的成像设备，还包括：

失真校正装置，用于校正所述第二图像的失真；以及

光轴校正装置，用于使所述第二光学系统的光轴与所述第一光学系统的光轴相匹配，并确定所述第一图像被合成到所述第二图像的位置。

9.根据权利要求1所述的成像设备，其中所述第一图像质量调整装置调整所述第二图像的颜色信号的水平，以使所述第二图像的颜色信号的水平低于所述第一图像的颜色信号的水平。

10.根据权利要求9所述的成像设备，其中所述第二图像质量调整装置调整所述第一图像的颜色信号的水平，以使所述第一图像的颜色信号的水平高于所述第二图像的颜色信号的水平。

11.一种成像方法，包括：

第一成像步骤，用于接收来自第一光学系统的光，并对包括预定的被摄体的第一图像进行成像；

第二成像控制步骤，用于接收来自第二光学系统的光，并对作为在视角上与所述第一图像不相同的图像的包括所述预定的被摄体的第二图像进行成像；

图像质量调整步骤，用于调整所述第二图像的图像质量，以使所述第二图像的图像质量与所述第一图像的图像质量不相同；以及

合成步骤，用于将所述第一图像合成到通过所述第一图像质量调整步骤中的处理而已被调整了图像质量的所述第二图像，使得所述被摄体的位置相匹配。

Images