[go: up one dir, main page]

CN102387301B - 成像设备和成像方法 - Google Patents

成像设备和成像方法 Download PDF

Info

Publication number
CN102387301B
CN102387301B CN201110236738.4A CN201110236738A CN102387301B CN 102387301 B CN102387301 B CN 102387301B CN 201110236738 A CN201110236738 A CN 201110236738A CN 102387301 B CN102387301 B CN 102387301B
Authority
CN
China
Prior art keywords
imaging
image
imaging device
shooting image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110236738.4A
Other languages
English (en)
Other versions
CN102387301A (zh
Inventor
岩崎正则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010189302A external-priority patent/JP2012049773A/ja
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN102387301A publication Critical patent/CN102387301A/zh
Application granted granted Critical
Publication of CN102387301B publication Critical patent/CN102387301B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种成像设备和成像方法,该成像设备包括:光学系统,其形成与穿过透镜入射的对象光对应的像;成像装置,其生成与穿过透镜入射的对象光对应的信号,并输出该信号作为拍摄图像;获取装置,用于获取距对象的距离;校正装置,用于基于与获取装置所获取的对象距离对应的光学系统的成像特性,校正从成像装置输出的拍摄图像中的模糊。

Description

成像设备和成像方法
技术领域
本发明涉及一种成像设备、成像方法和程序,更具体地讲,涉及一种允许用减少的计算量生成聚焦图像的成像设备、成像方法和程序。
背景技术
当使用数字静态相机或任何其他类似的成像设备来拍摄图像时,使用者通常执行预定操作以对所需对象聚焦。具体地讲,使用者将数字静态相机对准所需对象使得对象落在取景器的中心,然后半按快门按钮以聚焦对象。
通常,数字静态相机的聚焦操作这样执行:利用对比度方法确定使对象图像的对比度最大的透镜位置并将透镜移动到如此确定的透镜位置。上述聚焦操作就是所谓的自动聚焦。或者,利用基于光学测距计的测距仪来叠加利用沿两条不同光路传播的光通量生成的图像,从而使对象图像聚焦。
另外有一种技术,其中使用者在具有触摸面板功能的电子取景器(EVF)所显示的实时图像(称作直通图像)中选择预定对象,相机(自动地)测量距包含所选对象的区域的距离并对该对象聚焦(例如,参见JP-A-8-122847)。
发明内容
然而,在拍摄已如上所述自动聚焦的对象的图像之前,距对象的距离可能突然改变或者自动聚焦可能没有非常精确地执行。在这种情况下,所得的拍摄图像不是聚焦图像,而是散焦图像。
为了解决这一问题,可以想到对这样的散焦图像执行预定信号处理,以校正模糊并生成聚焦图像。具体地讲,估计表示散焦图像中的模糊量的模糊函数,并且基于与距对象的距离(对象距离)对应的透镜成像特性,利用估计出的模糊函数的反函数对散焦图像执行逆计算。这样,无需自动聚焦操作就可生成聚焦图像。
然而,由于距散焦图像中所包含的对象的距离是未知的,所以需要基于与每一可能的对象距离对应的透镜成像特性对散焦图像执行信号处理。在这种情况下,计算量是巨大的。
因此,期望以减少的计算量生成聚焦图像。
根据本发明一个实施例的成像设备包括:光学系统,其形成与穿过透镜入射的对象光对应的像;成像装置,其生成与穿过透镜入射的对象光对应的信号,并输出该信号作为拍摄图像;获取装置,用于获取距对象的距离;校正装置,用于基于与获取装置所获取的对象距离对应的光学系统的成像特性,校正从成像装置输出的拍摄图像中的模糊。
所述成像设备还可包括:显示装置,其用于显示拍摄图像;选择装置,用于基于使用者的操作选择在显示装置上显示的拍摄图像中的对象。校正装置可根据与获取装置获取的对象距离中的、距选择装置所选的对象的距离对应的光学系统的成像特性,校正拍摄图像中的模糊。
显示装置可显示直通图像(through image),所述直通图像是实时拍摄的图像,并且是通过命令成像装置执行像素值加法或抽选读取而生成的。选择装置可基于使用者的操作选择直通图像之一中的对象。获取装置可获取在选择装置选择直通图像中的对象时的距该对象的距离。校正装置可根据与获取装置所获取的对象距离中的、距选择装置在直通图像中选择的对象的距离对应的光学系统的成像特性,校正拍摄图像中的模糊。
成像设备还可包括生成装置,其用于从直通图像生成聚焦直通图像,所述聚焦直通图像被生成为使得选择装置在直通图像中选择的对象被聚焦。显示装置可显示由生成装置生成的聚焦直通图像。
成像装置可输出与穿过透镜入射的对象光对应的信号的一部分,该信号部分用作表示距对象的距离的距离信息。获取装置可基于从成像装置输出的距离信息获取距对象的距离。
所述透镜可以是对无穷远处或远距离处的物体聚焦的单焦距透镜。
所述透镜可以是变焦透镜,校正装置可基于光学系统的成像特性校正拍摄图像中的模糊,所述成像特性是预先获得的,并且不仅与获取装置所获取的对象距离对应,而且与变焦透镜的变焦状态对应。
校正装置可基于与获取装置获取的对象距离对应的光学系统的点像强度分布来校正拍摄图像中的模糊。
校正装置可基于与获取装置获取的对象距离对应的光学系统的线像强度分布来校正拍摄图像中的模糊。
校正装置可基于与获取装置获取的对象距离对应的光学系统的光学传递函数来校正拍摄图像中的模糊。
根据本发明一个实施例的成像方法用于成像设备,所述成像设备包括:光学系统,其形成与穿过透镜入射的对象光对应的像;成像装置,其生成与穿过透镜入射的对象光对应的信号,并输出该信号作为拍摄图像;获取装置,用于获取距对象的距离;校正装置,用于基于与获取装置所获取的对象距离对应的光学系统的成像特性,校正从成像装置输出的拍摄图像中的模糊。所述方法包括:利用获取装置获取距对象的距离;利用校正装置基于与在获取步骤中获取的对象距离对应的光学系统的成像特性,校正从成像装置输出的拍摄图像中的模糊。
根据本发明一个实施例的程序命令计算机执行成像设备中的成像处理,所述成像设备包括光学系统和成像装置,所述光学系统形成与穿过透镜入射的对象光对应的像,所述成像装置生成与穿过透镜入射的对象光对应的信号,并输出该信号作为拍摄图像。所述程序命令计算机执行以下步骤:控制距对象的距离的获取的获取控制步骤;基于与在获取控制步骤中获取的对象距离对应的光学系统的成像特性,校正从成像装置输出的拍摄图像中的模糊的校正步骤。
在本发明的另一实施例中,获取距对象的距离,并且基于与获取的距对象的距离对应的光学系统的成像特性来校正从成像装置输出的拍摄图像中的模糊。
在本发明的任一实施例中,可在计算量减小的情况下生成聚焦图像。
附图说明
图1是示出本发明所应用于的成像设备的实施例的构造的框图;
图2示出形成测距图像传感器的像素的排列方式;
图3是示出成像设备的示例性功能构造的框图;
图4是示出成像处理的流程图;
图5是示出模糊校正处理的流程图;
图6是示出成像处理的另一例子的流程图;
图7是示出成像设备的另一示例性功能构造的框图;
图8是示出图7所示的成像设备所执行的成像处理的流程图;
图9是示出成像设备的另一示例性功能构造的框图;
图10是示出图9所示的成像设备所执行的成像处理的流程图;
图11是示出计算机的硬件的示例性构造的框图。
具体实施方式
下面将参照附图描述本发明的实施例。将按照下列顺序进行描述。
1.第一实施例(设置有单焦距透镜并且响应于快门操作拍摄图像的构造)
2.第二实施例(设置有单焦距透镜并且响应于触摸操作拍摄图像的构造)
3.第三实施例(设置有变焦透镜并且响应于快门操作拍摄图像的构造)
<1.第一实施例>
[成像设备的构造]
图1示出本发明所应用于的成像设备的实施例的构造。
图1所示的成像设备11被构造为例如数字静态相机,并且根据使用者的操作拍摄对象的图像、存储拍摄的对象图像(静止图像)并将拍摄的图像呈现给使用者。
例如,成像设备11至少在下列操作模式下操作:成像模式,在成像模式下拍摄对象的图像并记录拍摄的图像;图像观看模式,在图像观看模式下使用者可观看记录的拍摄图像。当使用者操作成像设备11并选择成像模式时,成像设备11响应于使用者的快门操作拍摄对象的图像并记录拍摄的图像。当使用者操作成像设备11并选择图像观看模式时,成像设备11允许使用者从记录的拍摄图像中选择所需的拍摄图像,并显示选定的拍摄图像。
图1所示的成像设备11包括光学系统31、测距图像传感器32、A/D(模拟至数字)转换器33、时序发生器34、图像处理器35、相机信号处理器36、存储器37、监视器38、操作单元39、控制器40和测距辅助光发射器41。
光学系统31将对象的像送至测距图像传感器32,在测距图像传感器32处拍摄图像。
包括透镜31a和光圈31b的光学系统31调节穿过透镜31a入射的来自对象的光量,并使所得到的光入射在测距图像传感器32。
光学系统31不需要调节与穿过透镜31a入射的来自对象的光相对应的像的形成位置。也就是说,透镜31a是单目透镜,其被设计为具有单个焦距并对距透镜31a 2米、4米或其他距离处的远点(远处物体)、甚至无穷远点进行聚焦。光圈31b调节穿过透镜31a入射在测距图像传感器32上的光量。
测距图像传感器32是CCD(电荷耦合器件)传感器、CMOS(互补金属氧化物半导体)传感器或者任何其他合适的传感器,其拍摄对象的图像并输出所得到的图像信号。
即,测距图像传感器32接收穿过光学系统31入射的光,在光电转换处理中根据接收的光量将所述光转换为电信号形式的图像信号(模拟信号),并将该图像信号送至A/D转换器33。
测距图像传感器32还向A/D转换器33提供与穿过透镜31a入射的来自对象的光相对应的信号的一部分作为距离信息(模拟信号),所述距离信息表示成像设备11与对象之间的距离。
现在将参照图2描述形成测距图像传感器32的像素的排列形式。
典型的图像传感器采用所谓的Bayer布局,其中颜色R(红色)、G(绿色)和B(蓝色)被分配给像素,使得G像素排列成棋盘图案,R和B像素设置在G像素之间。
图2所示的测距图像传感器32被构造为使得像典型图像传感器中一样排列成棋盘图案的G像素(每一组2×2(=4)相邻的RGBG像素中的G像素)的一半被用作用于测距的像素(图2中被涂黑)。
测距图像传感器32接收从测距辅助光发射器41(将稍后描述)投射至对象、被对象反射、并入射在用于测距的像素上的光。测距图像传感器32利用所谓的TOF(飞行时间)方法基于从光投射到接收到光的时间段来确定距对象的距离,并输出表示距对象的距离的距离信息。
即,测距图像传感器32不仅可输出由用于成像的RGB像素生成的图像信号,而且可输出由用于测距的像素生成的距离信息。
在图2所示的测距图像传感器32中,四个像素中的一个像素被用作测距像素,测距像素与全部RGB像素之比被任意设定,例如1比16像素。另外,尽管测距图像传感器32是由RGB像素和测距像素形成的单个(单面板)传感器(即,像素被集成到一个芯片中),但是作为另外一种选择,其还可由两个传感器——图像传感器和测距传感器形成,其中图像传感器采用上述Bayer布局,而测距传感器的所有像素均用于测距。在这种情况下,测距传感器中的一个像素仅需要对应于图像传感器中的一个像素、四个像素或任意其他数目像素。换言之,测距传感器中的像素数目(像素排列)没有必要等于图像传感器中的像素数目(像素排列)。作为另外一种选择,测距图像传感器32可以是三面板传感器。具体地讲,在至少一个RGB图像传感器中,例如,2×2(=4)相邻像素中的一个像素可用作测距像素。
再返回参照图1描述成像设备11的构造。A/D转换器33将测距图像传感器32送来的模拟信号(图像信号和距离信息)转换为数字信号,并将所述数字信号输出给图像处理器35。
例如,当测距图像传感器32为CCD传感器时,时序发生器34在控制器40的控制下生成用于驱动CCD的时序信号,并将所述时序信号提供给测距图像传感器32和A/D转换器33。
图像处理器35在控制器40的控制下对来自A/D转换器33的数字信号(图像信号)执行预定的图像处理,并将处理过的信号送至相机信号处理器36。
相机信号处理器36对来自图像处理器35的图像信号执行多种处理(例如,颜色校正、白平衡调节、灰阶转换、伽马校正、YC转换和压缩),并将处理过的信号记录在存储器中,并将其显示在监视器38上。
操作单元39由层叠在监视器38上的按钮、拨盘、操纵杆、触摸面板以及其他部件形成,并接收使用者的操作输入。
控制器40基于表示使用者的操作输入的信号来控制成像设备11中的部件。
测距辅助光发射器41朝对象发射光,对象反射所述光,反射的光被测距图像传感器32中的测距像素接收(已参照图2进行了描述)。
[成像设备的示例性功能构造]
接下来将参照图3描述图1所示的成像设备11的示例性功能构造。
图3所示的成像设备11包括成像部51、输入部52、输入控制部53、成像控制部54、距离信息获取部55、显示控制部56、显示部57、记录控制部58、记录部59和模糊校正部60。
成像部51包括透镜51a和测距图像传感器51b。透镜51a和测距图像传感器51b与图1所示的透镜31a和测距图像传感器32相同,因此将不再对透镜51a和测距图像传感器51b进行详细描述。进入透镜51a的对象光被聚焦在测距图像传感器51b上,成像部51不仅将携带所形成的对象图像的图像信号提供给成像控制部54,而且将表示距成像的对象的距离的距离信息提供给距离信息获取部55。
输入部52对应于图1所示的操作单元39,当使用者对操作单元39进行操作时,输入部52接收来自操作单元39的输入,并将表示与使用者的操作对应的输入的信号(操作信号)送至输入控制部53。
输入控制部53将与来自输入部52的操作信号对应的指令提供给成像控制部54和距离信息获取部55。
成像控制部54基于来自成像部51的图像信号生成携带要在显示部57上显示的显示图像的图像信号,并将生成的图像信号提供给显示控制部56。成像控制部54还根据来自输入控制部53的指令从成像部51获取图像信号,并将获取的图像信号送至记录控制部58。
距离信息获取部55根据来自输入控制部53的指令从成像部51获取距离信息,并将该距离信息送至记录控制部58。
显示控制部56基于来自成像控制部54的携带显示图像的图像信号将所述显示图像显示在显示部57上。作为另外一种选择,显示控制部56将经由记录控制部58从记录部59送来(读取)的图像信号所携带的图像显示在显示部57上。
显示部57对应于图1所示的监视器38,其在显示控制部56的控制下显示图像。
记录控制部58基于测距图像传感器51b中的像素(例如,基于四个相邻像素)使来自成像控制部54的图像信号与来自距离信息获取部55的距离信息关联,并将彼此关联的图像信号和距离信息记录在记录部59中。作为另外一种选择,记录控制部58根据需要读取记录在记录部59中的图像信号和距离信息,并将它们提供给显示控制部56和模糊校正部60。
记录部59对应于图1所示的存储器37,其记录来自记录控制部58的图像信号和距离信息。记录控制部58根据需要读取记录在记录部59中的图像信号和距离信息。
模糊校正部60根据来自输入控制部53的指令校正来自记录控制部58的图像信号所携带的拍摄图像中所包含的模糊,并将校正过的拍摄图像提供给记录控制部58。提供给记录控制部58的模糊校正过的拍摄图像被记录在记录部59中。
[成像设备所执行的成像处理]
接下来将参照图4的流程图描述成像设备11所执行的成像处理。
例如,当使用者打开成像设备11并对其进行操作以选择成像模式时,成像设备11工作在允许使用者拍摄图像的成像模式下。在步骤S11中,成像控制部54控制成像部51在显示部57上显示直通图像,所述直通图像是实时拍摄的图像。
具体地讲,成像控制部54命令测距图像传感器51b执行像素值加法或抽选读取,以生成携带例如具有VGA(视频图形阵列)大小的显示图像(以下简称为显示图像)的图像信号,并将该图像信号送至显示控制部56。显示控制部56将来自成像控制部54的显示图像作为直通图像显示在显示部57上。这样,使用者可查看实时显示在显示部57上的直通图像,并确定将拍摄的图像的构成。
在步骤S12中,输入控制部53判断使用者是否执行了快门操作,即,使用者是否按下用作快门按钮的输入部52。
当步骤S12中的判断表明没有执行快门操作时,控制返回到步骤S11,并且重复地执行步骤S11和S12中的处理,直到快门操作被执行。
另一方面,步骤S12中的判断表明执行了快门操作,输入控制部53发出与表示通过输入部52执行的快门操作的操作信号对应的指令给成像控制部54和距离信息获取部55,控制进行到步骤S13。
在步骤S13中,成像控制部54根据来自输入控制部53的指令执行成像处理。具体地讲,当输入控制部53发出指令给成像控制部54时,成像控制部54从测距图像传感器51b读取所有像素值,以生成携带例如具有全HD(全高清)大小的拍摄图像(以下简称为拍摄图像)的图像信号,并将所述拍摄图像提供给记录控制部58。
在步骤S14中,当输入控制部53发出指令给距离信息获取部55时,距离信息获取部55从测距图像传感器51b获取距离信息,并将该距离信息提供给记录控制部58。
步骤S13和S14中的处理可同时进行。
在步骤S15中,记录控制部58基于测距图像传感器51b中的像素使来自成像控制部54的拍摄图像与来自距离信息获取部55的距离信息关联,并将彼此关联的拍摄图像与距离信息记录在记录部59中。
如参照图2描述的,测距图像传感器51b(测距图像传感器32)中的四个相邻像素由三个RGB像素和一个测距像素形成,所述三个RGB像素作为整体输出图像信号。现在,四个相邻像素被当作一个块。每一块生成携带拍摄图像的图像信号(以下称为图像信息)和距离信息。换言之,拍摄图像中的每一块的图像信息和距离信息利用表示该块在拍摄图像中的位置的坐标来彼此关联。
在前一部分中,每一块的图像信息和距离信息彼此分离,并利用块的坐标来彼此关联。作为另外一种选择,对于每一块,距离信息可被包含在图像信息中。
另外,在前一部分中,四个相邻像素形成单个块。一个块仅需要包含至少一个测距像素,例如,4×4=16个相邻像素可形成单个块。
在步骤S16中,输入控制部53判断使用者是否对用作模式切换按钮、电源开/关按钮或其他按钮(未示出)的输入部52执行了按压操作,以发出终止成像模式的指令。
当步骤S16中的判断表明没有发出终止成像模式的指令时,控制返回到步骤S11,并且重复地执行步骤S11至S16中的处理。
另一方面,当步骤S16中的判断表明已发出了终止成像模式的指令时,成像处理终止。
通过执行上述处理,成像设备11可响应于使用者的快门操作记录具有使用者期望的构图的拍摄图像。由于透镜51a(透镜31a)是对遥远位置处或无穷远处的对象进行聚焦的单焦距透镜,所以得到的拍摄图像包含聚焦的远处对象。拍摄的图像可以是包含远处风景或任何其他远处对象的优异的自然风景图像。
然而,上述处理通常不会生成成像设备11近处对象的聚焦图像,或者成像设备11近处对象在拍摄的图像中全部是模糊的。
接下来将描述校正记录部59中记录的拍摄图像中由使用者选定的模糊对象的模糊校正处理。
[成像设备所执行的模糊校正]
图5是示出成像设备11所执行的模糊校正的流程图。
例如,当使用者对操作单元进行操作以选择图像观看模式时,成像设备11工作在允许使用者观看记录的拍摄图像的图像观看模式下,并且显示部57显示与记录部59中记录的拍摄图像对应的缩略图列表。缩略图伴随有表示其是否经受模糊校正的图标。当使用者对操作单元进行操作以从缩略图列表中选择未受过模糊校正的缩略图时,模糊校正开始。
在步骤S31中,在记录部59中记录的拍摄图像中,记录控制部58从记录部59读取与使用者选定的缩略图对应的拍摄图像以及与该拍摄图像关联的距离信息。在如此读取的拍摄图像和距离信息中,记录控制部58将拍摄图像提供给显示控制部56,并将拍摄图像和距离信息二者提供给模糊校正部60。
在步骤S32中,显示控制部56将来自记录控制部58的拍摄图像显示在显示部57上。由于来自记录控制部58的拍摄图像如上所述具有全HD大小,所以显示控制部56将来自记录控制部58的拍摄图像的分辨率转换为可以显示在显示部57上的VGA大小的图像,并将转换后的图像显示在显示部57上。
在步骤S33中,输入控制部53基于来自层叠在监视器38上的用作触摸面板的输入部52的操作信号,判断使用者是否在显示部57上所显示的分辨率转换后的拍摄图像(以下称为“显示拍摄图像”)中选择了预定对象。
步骤S33中的判断表明没有选择显示拍摄图像中的对象,重复执行步骤S33中的处理,直到输入控制部53判断显示拍摄图像中的预定对象被选择。
另一方面,当步骤S33中的判断表明显示拍摄图像中的对象已被选择时,输入控制部53将关于拍摄图像上的坐标的坐标信息提供给模糊校正部60。坐标信息被包含在来自用作触摸面板的输入部52的操作信号中,并且所述坐标表示与使用者在显示拍摄图像中所选定的对象部分相对应的区域(块)。
在步骤S34中,模糊校正部60基于与来自记录控制部58的距离信息相对应的透镜51a的成像特性,校正来自记录控制部58的拍摄图像中的模糊,所述距离信息对应于来自输入控制部53的坐标信息所表示的坐标,即,所述距离信息与使用者所选定的对象部分相关联。
通常,利用依赖于透镜51a的特性和对象距离的点强度分布(点像强度分布:PSF)来对包含在拍摄图像中并具有预定对象距离的对象的模糊分布进行建模。
模糊校正部60通过对拍摄图像执行去卷积来执行模糊校正。根据与拍摄图像中的与显示拍摄图像中由使用者在显示部57上触摸(选择)的区域对应的区域(拍摄图像中的该区域以下称为选定区域)相关联的距离信息(对象距离),利用PSF来执行去卷积。模糊校正部60将模糊校正后的拍摄图像送至记录控制部58。
在全HD大小的拍摄图像中,例如,选定区域可对应于前面描述的一个块,或者可以是由若干块形成的区域。当选定区域由若干块形成时,PSF所依赖于的距离信息可与所述若干块中大致中心的一个块相关联,或者可以是与所述若干块相关联的距离信息的平均值。
由于距拍摄图像中被选定的对象(使用者想要聚焦的对象)的距离以如上所述距离信息的形式预先已知,所以模糊校正部60可执行模糊校正,而无需利用与每一可能的对象距离对应的PSF来对拍摄图像执行去卷积。
在步骤S35中,记录控制部58将来自模糊校正部60的模糊校正后的拍摄图像记录在记录部59中。
在上述处理中,在与表示对象距离的距离信息相关联的拍摄图像中选择预定对象,并且基于与选定的对象部分所关联的距离信息相对应的透镜成像特性对拍摄图像执行模糊校正。即,由于距拍摄图像中被选定的对象(使用者想要聚焦的对象)的距离以距离信息的形式预先已知,所以成像设备可执行模糊校正,而无需利用与每一可能的对象距离对应的PSF来对拍摄图像执行去卷积。结果,成像设备可在不执行自动聚焦、也不以其他方式使对象聚焦的情况下,以减小的计算量生成聚焦图像。
在上面的描述中,在对拍摄图像执行模糊校正时,模糊校正部60使用PSF(点像强度分布)作为与距离信息对应的透镜51a的成像特性。作为另外一种选择,透镜51a的成像特性可以是通过对点像强度分布执行二维傅里叶变换而获得的线像强度分布(LSF)或光学传递函数(OTF)。OTF是表示图像在空间频域中的劣化程度的函数。
作为另外一种选择,通过执行参照图4的流程图描述的成像处理而提供的拍摄图像可经由记录介质或任何其他合适的介质(未示出)提供给图像处理设备,例如个人计算机,并且可在该图像处理设备中执行上述模糊校正。在这种情况下,图像处理设备不包括图1所示成像设备11中的成像部51、成像控制部54和距离信息获取部55。在如此构造的图像处理设备所执行的模糊校正中,显示在显示部57上的显示拍摄图像可仍是全HD大小的图像,可例如通过使用者的鼠标点击操作而非触摸面板上的触摸操作来执行对象选择。
另外,在上面的描述中,当在成像设备11中成像模式被切换为图像观看模式时,在使用者从缩略图拍摄图像列表中选择未受过模糊校正的拍摄图像时执行模糊校正。作为另外一种选择,可在成像模式被切换为包括图像观看模式在内的其他模式时自动执行模糊校正。
[成像设备所执行的成像处理的另一例子]
接下来将参照图6描述在成像模式终止后自动执行模糊校正的成像处理。
图6的流程图中步骤S71至S76中的处理与图4的流程图中步骤S11至S16中的那些处理基本上相同,图6的流程图中步骤S78至S81中的处理与图5的流程图中步骤S32至S35中的那些处理基本上相同。因此将不再对图6中的上述步骤进行描述。
即,在步骤S71至S75中的处理中,拍摄图像和距离信息彼此关联并被记录,在步骤S76中,判断使用者是否对用作模式切换按钮(未示出)的输入部52执行了按压操作并且发出了终止成像模式的指令。
当步骤S76中的判断表明终止成像模式的指令已经发出,则控制进行到步骤S77。
在步骤S77中,在步骤S71至S75的处理中被拍摄并记录在记录部59中的拍摄图像中,记录控制部58从记录部59读取沿着时间轴最早记录(拍摄)的拍摄图像以及与该拍摄图像关联的距离信息。在如此读取的拍摄图像和距离信息中,记录控制部58将拍摄图像提供给显示控制部56,将拍摄图像和距离信息二者提供给模糊校正部60。
在步骤S78至S81的处理中将模糊校正后的拍摄图像记录在记录部59中之后,记录控制部58在步骤S82中判断是否对步骤S71至S75的处理中所拍摄并记录的所有拍摄图像执行了模糊校正。
当步骤S82中的判断表明并非所有拍摄图像均被处理时,控制返回步骤S77,并对剩余拍摄图像按照拍摄时间的降序重复地执行步骤S77以及后续步骤中的处理。
另一方面,当步骤S82中的判断表明所有拍摄图像均已被处理时,成像处理终止。
在上述处理中,在与表示对象距离的距离信息相关联的拍摄图像中选择预定对象,并且基于与选定的对象部分所关联的距离信息相对应的透镜成像特性来校正拍摄图像中的模糊。即,由于距拍摄图像中被选定的对象(使用者想要聚焦的对象)的距离以距离信息的形式预先已知,所以成像设备可执行模糊校正,而无需利用与每一可能的对象距离对应的PSF来对拍摄图像执行去卷积。结果,成像设备可在不执行自动聚焦、也不以其它方式使对象聚焦的情况下,以减小的计算量生成聚焦图像。
上面的描述是参照使用者在已经获得的拍摄图像中选择使用者想要聚焦的对象的配置进行的。作为另外一种选择,使用者可在拍摄图像之前选择直通图像中的使用者想要聚焦的对象。
<2.第二实施例>
[成像设备的示例性功能构造]
图7示出成像设备的示例性功能构造,该成像设备被构造为使得使用者在拍摄图像之前在直通图像中选择使用者想要聚焦的对象。
成像设备111包括成像部51、输入部52、输入控制部53、成像控制部54、距离信息获取部55、显示控制部56、显示部57、记录部59、模糊校正部60、聚焦图像生成部151和记录控制部152。
在图7所示的成像设备111中,与图3所示的成像设备11中所提供的部件具有相同功能的部件具有相同的名称和标号,将视情况不再对这些部件进行描述。
即,图7所示的成像设备111与图3所示的成像设备11的不同之处在于:新设置了聚焦图像生成部151,记录控制部58被记录控制部152代替。
聚焦图像生成部151根据来自输入控制部53的指令,基于来自成像控制部54的显示图像和来自距离信息获取部55的距离信息生成显示聚焦图像。显示聚焦图像被生成为使得使用者在显示图像中选定的对象被聚焦。然后,聚焦图像生成部151将显示聚焦图像送至显示控制部56和记录控制部152。
记录控制部152不仅基于测距图像传感器51b中的像素使来自成像控制部54的图像信号与来自距离信息获取部55的距离信息关联,而且使显示聚焦图像与图像信号及距离信息关联,并将彼此关联的图像信号、距离信息和显示聚焦图像记录在记录部59中。记录控制部152根据需要读取记录在记录部59中的图像信号、距离信息和显示聚焦图像,并将它们提供给显示控制部56和模糊校正部60。
[成像设备所执行的成像处理]
接下来将参照图8中的流程图描述成像设备111所执行的成像处理。
例如,当使用者打开成像设备111并对其进行操作以选择成像模式时,成像设备111工作在允许使用者拍摄图像的成像模式下。在步骤S111中,成像控制部54控制成像部51在显示部57上显示直通图像,这些直通图像是实时拍摄的图像。
具体地讲,成像控制部54命令测距图像传感器51b执行像素值加法或抽选读取,以生成例如具有VGA大小的显示图像,并将该显示图像送至显示控制部56。显示控制部56将来自成像控制部54的显示图像作为直通图像显示在显示部57上。
在步骤S112中,输入控制部53基于来自层叠在监视器38上的用作触摸面板的输入部52的操作信号,判断使用者是否在显示部57上所显示的显示图像中选择了预定对象。
当步骤S112中的判断表明没有选择显示图像中的对象时,重复执行步骤S111和S112中的处理,直到输入控制部53判断显示图像中的预定对象被选择。
另一方面,当步骤S112中的判断表明显示图像中的对象已被选择时,输入控制部53发出与来自用作触摸面板的输入部52的表示对象选择操作的操作信号相对应的指令给成像控制部54和距离信息获取部55。输入控制部53还向聚焦图像生成部151提供包含在操作信号中并表示使用者在显示图像上选定的对象部分的坐标的坐标信息。
在步骤S113中,成像控制部54根据来自输入控制部53的指令执行成像处理。具体地讲,成像控制部54不仅生成如上所述的显示图像,而且在输入控制部53发出指令给成像控制部54时,从测距图像传感器51b读取所有像素值,以生成例如具有全HD大小的拍摄图像,并将该拍摄图像送至记录控制部152。
在步骤S114中,距离信息获取部55在输入控制部53发出指令给距离信息获取部55时从测距图像传感器51b获取距离信息,并将该距离信息提供给聚焦图像生成部151和记录控制部152。
在步骤S115中,聚焦图像生成部151在输入控制部53将坐标信息提供给聚焦图像生成部151时获取成像控制部54所生成的显示图像。
在步骤S116中,基于来自输入控制部53的坐标信息和来自距离信息获取部55的距离信息,聚焦图像生成部151使用从成像控制部54获取的显示图像来生成显示聚焦图像,在该显示聚焦图像中使用者在显示图像中选定的对象部分被聚焦。
具体地讲,聚焦图像生成部151通过对显示图像执行去卷积来执行模糊校正。根据与拍摄图像中的与显示图像中由使用者在显示部57上触摸(选择)的区域对应的选定区域相关联的距离信息(对象距离),利用PSF来执行去卷积。聚焦图像生成部151将显示聚焦图像(它是模糊校正后的显示图像)提供给显示控制部56和记录控制部152。需要注意的是,表示使用者所触摸的区域(对象部分)的坐标信息被添加到显示聚焦图像。
在步骤S117中,显示控制部56将来自聚焦图像生成部151的显示聚焦图像显示在显示部57上。
步骤S113和S114中的处理以及步骤S115至S117中的处理可同时进行。
在步骤S118中,记录控制部152基于测距图像传感器51b中的像素使来自成像控制部54的拍摄图像、来自距离信息获取部55的距离信息以及来自聚焦图像生成部151的显示聚焦图像彼此关联,并将彼此关联的拍摄图像、距离信息和显示聚焦图像记录在记录部59中。
需要注意的是,由于通过命令测距图像传感器51b(测距图像传感器32)执行像素值加法或抽选读取来生成显示聚焦图像,所以显示聚焦图像中的单个像素与通过从测距图像传感器51b(测距图像传感器32)读取所有像素值而生成的拍摄图像中的预定数量的块(预定数量的像素)关联。
在步骤S119中,输入控制部53判断使用者是否对用作模式切换按钮(未示出)的输入部52执行了按压操作以发出终止成像模式的指令。
当步骤S119中的判断表明没有发出终止成像模式的指令时,控制返回步骤S111,并且重复地执行步骤S111至S119中的处理。
另一方面,当步骤S119中的判断表明终止成像模式的指令已经发出时,控制进行到步骤S120。
在步骤S120中,在步骤S111至S118的处理中被拍摄并记录在记录部59中的拍摄图像中,记录控制部152从记录部59读取沿着时间轴最早记录(拍摄)的拍摄图像以及与该拍摄图像关联的距离信息和显示聚焦图像。记录控制部152将如此读取的拍摄图像、距离信息和显示聚焦图像提供给模糊校正部60。
在步骤S121中,模糊校正部60基于与来自记录控制部152的距离信息相对应的透镜51a的成像特性,校正来自记录控制部152的拍摄图像中的模糊,所述距离信息对应于来自输入控制部152的添加到显示聚焦图像的坐标信息所表示的坐标,即,所述距离信息与使用者所选定的对象部分相关联。
具体地讲,模糊校正部60通过对拍摄图像执行去卷积来执行模糊校正。根据与拍摄图像中的与显示聚焦图像中由添加到显示聚焦图像的坐标信息表示的区域对应的选定区域相关联的距离信息(对象距离),利用PSF来执行去卷积。模糊校正部60将模糊校正后的拍摄图像送至记录控制部152。
由于距显示图像中被选定的对象(使用者想要聚焦的对象)的距离以如上所述距离信息的形式预先已知,所以模糊校正部60可执行模糊校正,而无需利用与每一可能的对象距离对应的PSF来对拍摄图像执行去卷积。
在步骤S122中,记录控制部152将来自模糊校正部60的模糊校正后的拍摄图像记录在记录部59中。
在步骤S123中,记录控制部152判断是否对步骤S111至S118的处理中所拍摄并记录的所有拍摄图像执行了模糊校正。
当步骤S123中的判断表明并非所有拍摄图像均被处理时,控制返回步骤S120,并对剩余拍摄图像按照拍摄时间的降序重复地执行步骤S210以及后续步骤中的处理。
另一方面,当步骤S123中的判断表明所有拍摄图像均已被处理时,成像处理终止。
在上述处理中,当选择显示图像(直通图像)中的预定对象时,获取(拍摄)与表示距对象的距离的距离信息相关联的拍摄图像,并且基于与距离信息对应的透镜成像特性来校正拍摄图像中的模糊,所述距离信息与拍摄图像中的对应于显示图像中选定的对象部分的区域相关联。即,由于距显示图像中被选定的对象(使用者想要聚焦的对象)的距离以距离信息的形式预先已知,所以成像设备可执行模糊校正,而无需利用与每一可能的对象距离对应的PSF来对拍摄图像执行去卷积。结果,成像设备可在不执行自动聚焦、也不以其它方式使对象聚焦的情况下,以减小的计算量生成聚焦图像。
另外,当在显示图像中选定对象时,对通过执行像素值加法或抽选读取而生成的显示图像执行模糊校正,并且显示得到的显示聚焦图像。然而,该处理中的计算量小于对通过读取所有像素值而生成的拍摄图像执行模糊校正的情况下通常所需的计算量。此外,在成像模式期间(步骤S111至S118),不对拍摄图像执行模糊校正,而是仅将拍摄图像和距离信息记录在记录部59中,由此实时地进行成像处理,并且使用者因此可在查看直通图像的同时连续拍摄图像。需要注意的是,当成像设备在成像模式期间不执行高负载处理时,可与成像模式中的处理同时地对拍摄图像执行模糊校正。
上面的描述是参照使用者选择显示图像中的对象并生成包含被聚焦的对象的拍摄图像的配置进行的。作为另外一种选择,成像控制部54设置有脸部识别、人识别或任何其他对象识别功能,以使显示图像中的对象可经受脸部识别或人识别,并且可生成包含被聚焦的对象的拍摄图像。
此外,上面的描述是参照单焦距透镜用作成像部51中的透镜51a的构造进行的。下面将参照变焦透镜用作成像部51中的透镜的构造进行描述。
<3.第三实施例>
[成像设备的示例性功能构造]
图9示出使用变焦透镜作为成像部51中的透镜的成像设备的示例性功能构造。
成像设备211包括成像部51、输入部52、输入控制部53、成像控制部54、距离信息获取部55、显示控制部56、显示部57、记录控制部58、记录部59、变焦信息获取部231、模糊校正部232和模糊校正数据存储部233。成像部51包括测距图像传感器51b和变焦透镜234。
在图9所示的成像设备211中,与图3所示的成像设备11中所提供的部件具有相同功能的部件具有相同的名称和标号,将视情况不再对这些部件进行描述。
即,图9所示的成像设备211与图3所示的成像设备11的不同之处在于:新设置了变焦信息获取部231和模糊校正数据存储部233,并且透镜51a和模糊校正部60被变焦透镜234和模糊校正部232取代。
变焦信息获取部231根据来自输入控制部53的指令从成像部51获取关于成像部51中的变焦透镜234的变焦倍率的变焦信息,并将该变焦信息提供给模糊校正部232。
模糊校正部232根据来自输入控制部53的指令从模糊校正数据存储部233读取模糊校正数据,所述模糊校正数据对应于来自变焦信息获取部231的变焦信息。模糊校正部232使用如此读取的模糊校正数据来校正包含在来自记录控制部58的拍摄图像中的模糊,并将模糊校正后的拍摄图像送至记录控制部58。送至记录控制部58的模糊校正后的拍摄图像被记录在记录部59中。
模糊校正数据存储部233由例如闪存形成,并存储预先准备的对应于变焦信息的模糊校正数据。模糊校正部232根据需要读取存储在模糊校正数据存储部233中的模糊校正数据。
基于来自输入控制部53的指令来驱动变焦透镜234,并基于变焦透镜234的位置来确定变焦倍率。即,由变焦信息获取部231获取的变焦信息对应于变焦透镜234的位置。
[成像设备所执行的成像处理]
接下来将参照图10的流程图描述成像设备211所执行的成像处理。
图10的流程图中步骤S211至S214中的处理与图6的流程图中步骤S71至S74中的那些处理基本上相同,将不再对图10中的上述处理进行描述。
当图10的步骤S212中的判断表明执行了快门操作时,输入控制部53发出与表示通过输入部52执行的快门操作的操作信号对应的指令给成像控制部54、距离信息获取部55和变焦信息获取部231。
在步骤S215中,变焦信息获取部231在输入控制部53发出指令给变焦信息获取部231时获取与成像部51中的变焦透镜234相关联的变焦信息,并且变焦信息获取部231将该变焦信息送至记录控制部58。
在步骤S216中,记录控制部58不仅基于测距图像传感器51b中的像素使来自成像控制部54的拍摄图像与来自距离信息获取部55的距离信息关联,而且使变焦信息与拍摄图像及距离信息关联,然后将彼此关联的拍摄图像、距离信息和变焦信息记录在记录部59中。
在步骤S217中,输入控制部53判断使用者是否对用作模式切换按钮(未示出)的输入部52执行了按压操作以发出终止成像模式的指令。
当步骤S217中的判断表明没有发出终止成像模式的指令时,控制返回到步骤S211,并且重复地执行步骤S211至S217中的处理。
另一方面,当步骤S217中的判断表明已发出了终止成像模式的指令时,控制进行到步骤S218。
在步骤S218中,在步骤S211至S216的处理中被拍摄并记录在记录部59中的多幅拍摄图像当中,记录控制部58从记录部59读取沿着时间轴最早记录的拍摄图像以及与该拍摄图像关联的距离信息和变焦信息。在如此读取的拍摄图像、距离信息和变焦信息中,记录控制部58将拍摄图像提供给显示控制部56,并将拍摄图像、距离信息和变焦信息提供给模糊校正部232。
在步骤S219中,显示控制部56将来自记录控制部58的拍摄图像显示在显示部57上。由于来自记录控制部58的拍摄图像如上所述具有全HD大小,所以显示控制部56将来自记录控制部58的拍摄图像的分辨率转换为可以显示在显示部57上的VGA大小的图像,并将转换后的图像显示在显示部57上。
在步骤S220中,输入控制部53基于来自层叠在监视器38上的用作触摸面板的输入部52的操作信号,判断使用者是否在显示部57上所显示的分辨率转换后的显示拍摄图像中选择了预定对象。
步骤S220中的判断表明没有选择显示拍摄图像中的对象,重复执行步骤S220中的处理,直到输入控制部53判断显示拍摄图像中的预定对象被选择。
另一方面,当步骤S220中的判断表明显示拍摄图像中的对象已被选择时,输入控制部53将关于拍摄图像上的坐标的坐标信息提供给模糊校正部232。该坐标信息被包含在来自用作触摸面板的输入部52的操作信号中,并且所述坐标表示与使用者在显示拍摄图像中选定的对象部分对应的区域(块)
在步骤S221中,模糊校正部232基于不仅与来自记录控制部58的距离信息对应,而且与来自记录控制部58的变焦信息对应的透镜51a的成像特性,校正来自记录控制部58的拍摄图像中的模糊,所述距离信息对应于来自输入控制部53的坐标信息所表示的坐标,即,所述距离信息与使用者所选定的对象部分相关联。
具体地讲,模糊校正部232首先从模糊校正数据存储部233读取与来自记录控制部58的变焦信息对应的模糊校正数据。具体地讲,存储在模糊校正数据存储部233中的模糊校正数据的例子是针对每一预定透镜位置预先准备的有关变焦透镜234的PSF的数据(PSF数据)。即,在该处理中读取与这样的变焦透镜234位置对应的PSF数据,在该位置处实现了变焦信息所表示的变焦倍率。
没有必要为连续的透镜位置(变焦倍率)准备PSF数据,而是可以针对离散的变焦倍率准备PSF数据。如果没有以模糊校正数据的形式准备与特定变焦信息所表示的变焦倍率对应的PSF数据,则可通过对准备的PSF数据进行线性插值或者其他处理来确定对应的PSF数据。
然后,模糊校正部232通过对拍摄图像执行去卷积来执行模糊校正。利用由从模糊校正数据存储部233读取的PSF数据表示并与距离信息(对象距离)一致的PSF来执行去卷积,所述距离信息与拍摄图像中的与显示拍摄图像中由使用者在显示部57上触摸(选择)的区域对应的选定区域相关联。模糊校正部232将模糊校正后的拍摄图像提供给记录控制部58。
在步骤S222中,记录控制部58将来自模糊校正部232的模糊校正后的拍摄图像记录在记录部59中。
在步骤S223中,记录控制部58判断是否对步骤S211至S216的处理中所拍摄并记录的所有拍摄图像执行了模糊校正。
当步骤S223中的判断表明并非所有拍摄图像均被处理时,控制返回步骤S218,并对剩余拍摄图像按照拍摄时间的降序重复地执行步骤S218以及后续步骤中的处理。
另一方面,当步骤S223中的判断表明所有拍摄图像均已被处理时,成像处理终止。
在上述处理中,在与关于对象距离的距离信息相关联的拍摄图像中选择预定对象,并且基于不仅与选定对象部分所关联的距离信息对应、而且与变焦透镜所关联的变焦信息对应的变焦透镜成像特性来校正拍摄图像中的模糊。即,由于距拍摄图像中被选定的对象(使用者想要聚焦的对象)的距离以距离信息的形式预先已知,并且预先准备与变焦透镜所关联的变焦信息(变焦倍率)对应的PSF,所以成像设备可执行模糊校正,而无需利用与每一可能的对象距离对应的PSF来在每一对象距离下对拍摄图像执行去卷积。结果,包括变焦透镜的成像设备也可在不执行自动聚焦,也不以其它方式使对象聚焦的情况下,以减小的计算量生成聚焦图像。
在上面的描述中,在包括单目透镜的成像设备中利用TOF(飞行时间)方法及测距图像传感器51b(测距图像传感器32)来确定距对象的距离。并非必须使用上述构造,上述构造可用任何其他合适的构造代替来确定距对象的距离。
例如,在包括光轴彼此平行的右透镜和左透镜(双目透镜)的成像设备中,对象被设置在成像设备的中心线上(两个光轴之间的中心线上),并且可基于穿过两个透镜形成的对象图像的位置差来确定距对象的距离。
另外,上面的描述是参照成像设备为拍摄静态图像的数字静态相机的构造进行的。作为另外一种选择,例如,成像设备可为拍摄视频图像的数字视频摄像机。在这种情况下,对在对象被选定时所拍摄的图像执行模糊校正。
此外,上面的描述是参照设置在成像设备中的光学系统31无需调节与穿过透镜31a入射的对象光对应的像的形成位置的情况进行的。作为另外一种选择,成像设备可具有以下两种操作模式:没有必要调节焦点位置的第一模式以及执行所谓的自动聚焦的第二模式,并且操作模式可在第一和第二模式之间切换。在这种情况下,当成像设备在第一模式下操作时执行上述成像处理。
上述一系列处理可利用硬件或软件来实现。当这一系列处理利用软件来实现时,形成所述软件的程序从程序记录介质被安装到含在专用硬件中的计算机或例如安装有各种程序以提供各种功能的通用个人计算机。
图11是示出以程序形式执行上述一系列处理的计算机硬件的示例性构造的框图。
所述计算机包括经由总线904彼此连接的CPU(中央处理单元)901、ROM(只读存储器)902以及RAM(随机访问存储器)903。
输入/输出接口905也连接到总线904。下列部件连接到输入/输出接口905:由键盘、鼠标、麦克风和其他装置形成的输入部906、由显示器、扬声器和其他装置形成的输出部907、由硬盘驱动器、非易失性存储器和其他装置形成的存储部908、由网络接口和其他装置形成的通信部909、以及驱动可移动介质911(例如,磁盘、光盘、磁光盘和半导体存储器)的驱动器910。
在如此构造的计算机中,CPU 901经由输入/输出接口905和总线904将存储在例如存储部908中的程序载入RAM 903中,并运行所述程序以执行上述一系列处理。
将由计算机(CPU 901)运行的程序可被例如记录在可移动介质911上,所述可移动介质911是由例如磁盘(包括软盘)、光盘(例如,CD-ROM(紧凑盘-只读存储器)和DVD(数字多功能盘))、磁光盘和半导体存储器形成的封装介质。所述程序还可经由有线或无线传输介质提供,例如局域网、互联网和数字卫星广播。
可通过将可移动介质911载入驱动器910中经由输入/输出接口905将以上述任何形式提供的程序安装在存储部908中。作为另外一种选择,可经由有线或无线传输介质通过通信部909接收所述程序来将其安装到存储部908中。作为另外一种选择,可预先将所述程序安装在ROM 902或存储部908中。
将由计算机运行的程序可以是按照本文所述的时间次序连续执行处理的程序,或者是同时执行处理或按照必要的时序(当处理被调用时)执行每一处理的程序。
本发明的实施例不限于上述那些实施例,在不脱离本发明主旨的情况下,可进行各种修改。
本申请包含的主题涉及2010年8月26日提交到日本专利局的日本优先权专利申请JP2010-189302中公开的主题,所述申请的全部内容通过引用合并于此。
本领域技术人员应当理解的是,在不脱离所附权利要求或其等同物的范围的情况下,根据设计要求和其他因素可进行各种修改、组合、子组合和替代。

Claims (12)

1.一种成像设备,包括:
光学系统,该光学系统形成与穿过透镜入射的对象光对应的像;
成像装置,该成像装置生成与穿过所述透镜入射的对象光对应的信号,并输出该信号作为拍摄图像;
获取装置,用于获取从所述光学系统到所述拍摄图像中正在被拍摄的对象的距离;和
校正装置,用于基于与所述获取装置获取的距离对应的所述光学系统的成像特性,校正从所述成像装置输出的拍摄图像中的模糊,
其中所获取的距离是与对应于所述对象的拍摄图像中的多个块相关联的距离信息的平均值,所述多个块中的每个块包括至少四个相邻像素。
2.根据权利要求1所述的成像设备,还包括:
显示装置,用于显示所述拍摄图像;和
选择装置,用于基于使用者的操作选择在所述显示装置上显示的拍摄图像中的对象,
其中所述校正装置根据与所述获取装置获取的对象距离中的、距所述选择装置所选的对象的距离对应的所述光学系统的成像特性,校正所述拍摄图像中的模糊。
3.根据权利要求2所述的成像设备,
其中所述显示装置显示直通图像,所述直通图像是实时拍摄的图像,并且是通过命令所述成像装置执行像素值加法或抽选读取而生成的,
所述选择装置基于使用者的操作选择一个直通图像中的对象,
所述获取装置获取在所述选择装置选择直通图像中的对象时的距该对象的距离,
所述校正装置根据与所述获取装置获取的对象距离中的、距所述选择装置在直通图像中选择的对象的距离对应的所述光学系统的成像特性,校正所述拍摄图像中的模糊。
4.根据权利要求3所述的成像设备,还包括:
生成装置,用于从直通图像生成聚焦直通图像,所述聚焦直通图像被生成为使得由所述选择装置在直通图像中选择的对象被聚焦,
其中所述显示装置显示由所述生成装置生成的聚焦直通图像。
5.根据权利要求1所述的成像设备,
其中所述成像装置输出与穿过所述透镜入射的对象光对应的信号的一部分,所述信号的该部分用作表示距对象的距离的距离信息,
所述获取装置基于从所述成像装置输出的距离信息获取距对象的距离。
6.根据权利要求1所述的成像设备,
其中所述透镜是对无穷远处或远距离处的物体聚焦的单焦距透镜。
7.根据权利要求1所述的成像设备,
其中所述透镜是变焦透镜,
所述校正装置基于所述光学系统的成像特性校正所述拍摄图像中的模糊,所述成像特性已被预先获得,并且不仅与所述获取装置获取的对象距离对应,而且与变焦透镜的变焦状态对应。
8.根据权利要求1所述的成像设备,
其中所述校正装置基于与所述获取装置获取的对象距离对应的所述光学系统的点像强度分布来校正所述拍摄图像中的模糊。
9.根据权利要求1所述的成像设备,
其中所述校正装置基于与所述获取装置获取的对象距离对应的所述光学系统的线像强度分布来校正所述拍摄图像中的模糊。
10.根据权利要求1所述的成像设备,
其中所述校正装置基于与所述获取装置获取的对象距离对应的所述光学系统的光学传递函数来校正所述拍摄图像中的模糊。
11.一种在包括光学系统的成像设备中使用的成像方法,包括:
获取从所述光学系统到拍摄图像中正在被拍摄的对象的距离;及
基于与所获取的距离对应的所述光学系统的成像特性,校正所述拍摄图像中的模糊,
其中所获取的距离是与对应于所述对象的拍摄图像中的多个块相关联的距离信息的平均值,所述多个块中的每个块包括至少四个相邻像素。
12.一种在包括光学系统的成像设备中使用的成像系统,包括:
用于获取从所述光学系统到拍摄图像中正在被拍摄的对象的距离的装置;和
基于与所获取的距离对应的所述光学系统的成像特性,校正所述拍摄图像中的模糊的装置,
其中所获取的距离是与对应于所述对象的拍摄图像中的多个块相关联的距离信息的平均值,所述多个块中的每个块包括至少四个相邻像素。
CN201110236738.4A 2010-08-26 2011-08-18 成像设备和成像方法 Expired - Fee Related CN102387301B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-189302 2010-08-26
JP2010189302A JP2012049773A (ja) 2010-08-26 2010-08-26 撮像装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN102387301A CN102387301A (zh) 2012-03-21
CN102387301B true CN102387301B (zh) 2016-12-14

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0981245A2 (en) * 1998-08-20 2000-02-23 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, basic layout of photoelectric conversion cell and storage medium
CN1652009A (zh) * 2004-02-03 2005-08-10 佳能株式会社 成像设备
US20090147999A1 (en) * 2007-12-10 2009-06-11 Fujifilm Corporation Image processing system, image processing method, and computer readable medium
US20100103311A1 (en) * 2007-06-06 2010-04-29 Sony Corporation Image processing device, image processing method, and image processing program
CN102422630A (zh) * 2009-05-12 2012-04-18 佳能株式会社 摄像设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0981245A2 (en) * 1998-08-20 2000-02-23 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, basic layout of photoelectric conversion cell and storage medium
CN1652009A (zh) * 2004-02-03 2005-08-10 佳能株式会社 成像设备
US20100103311A1 (en) * 2007-06-06 2010-04-29 Sony Corporation Image processing device, image processing method, and image processing program
US20090147999A1 (en) * 2007-12-10 2009-06-11 Fujifilm Corporation Image processing system, image processing method, and computer readable medium
CN102422630A (zh) * 2009-05-12 2012-04-18 佳能株式会社 摄像设备

Similar Documents

Publication Publication Date Title
JP7052850B2 (ja) 撮像装置
TWI471004B (zh) 成像裝置、成像方法及程式
CN108141531B (zh) 摄像装置
KR101501395B1 (ko) 촬상 장치 및 촬상 방법
CN103002211B (zh) 摄影设备
CN101867723A (zh) 图像处理装置、摄像装置及图像再生装置
CN101959020A (zh) 成像装置和成像方法
CN102209197A (zh) 摄像装置及摄像方法
CN101115139A (zh) 拍摄装置和曝光控制方法
CN106254754A (zh) 拍摄装置、图像处理装置、拍摄装置的控制方法
JP2015073185A (ja) 画像処理装置、画像処理方法およびプログラム
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
CN103139472A (zh) 数字拍摄设备及其控制方法
CN102387301B (zh) 成像设备和成像方法
JP2019087924A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2014011639A (ja) 撮像装置
JP2023038037A (ja) 電子機器及び制御方法
JP6723853B2 (ja) 撮像装置およびその制御方法
US12469241B2 (en) Image processing apparatus, image processing method, recording medium, and image processing system, with change instruction to change form of 3D data
CN114208153B (zh) 不使用防抖的多重拍摄图像捕获
JP7079833B2 (ja) 携帯情報端末
JP2020085967A (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2025180131A (ja) 制御装置、撮像装置、制御方法、プログラム、および記憶媒体
JP2025187088A (ja) 撮像装置
JP2026006551A (ja) 焦点検出装置、撮像装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20160830

Address after: Kanagawa, Japan

Applicant after: SONY SEMICONDUCTOR SOLUTIONS Corp.

Address before: Tokyo, Japan

Applicant before: Sony Corp.

GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161214