[go: up one dir, main page]

CN107306337B - 图像处理装置、摄像装置及图像处理方法 - Google Patents

图像处理装置、摄像装置及图像处理方法 Download PDF

Info

Publication number
CN107306337B
CN107306337B CN201710255678.8A CN201710255678A CN107306337B CN 107306337 B CN107306337 B CN 107306337B CN 201710255678 A CN201710255678 A CN 201710255678A CN 107306337 B CN107306337 B CN 107306337B
Authority
CN
China
Prior art keywords
image
optical system
amount
distortion aberration
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710255678.8A
Other languages
English (en)
Other versions
CN107306337A (zh
Inventor
小石菜津三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107306337A publication Critical patent/CN107306337A/zh
Application granted granted Critical
Publication of CN107306337B publication Critical patent/CN107306337B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Lenses (AREA)
  • Image Processing (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

图像处理装置、摄像装置及图像处理方法。图像处理装置具有：防振用光学系统驱动量取得部，其取得与摄像光学系统的光轴垂直的方向上的防振用光学系统的驱动量；畸变像差校正部，其使用光轴与摄像图像的图像中心的偏差量，对摄像图像进行基于偏差量的像面上的畸变像差的校正；以及偏差量换算部，其根据与防振用光学系统的驱动量对应的像面上的畸变像差的形状、和与偏差量对应的像面上的畸变像差的形状之间的相关关系，计算换算中心偏差量。畸变像差校正部使用换算中心偏差量作为偏差量进行畸变像差的校正。

Description

图像处理装置、摄像装置及图像处理方法
技术领域
本发明涉及图像处理装置、摄像装置及图像处理方法。
背景技术
关于用于抑制摄像装置因手抖等而引起的摄像图像的抖动(像抖)的方法，已知有光学式的抖动抑制处理，根据所产生的抖动驱动为构成摄像光学系统的一部分而设置的防振用光学系统。并且，通过摄像光学系统得到的摄像图像由于摄像光学系统的畸变像差等的影响而变形。这种畸变像差等通常通过几何变换处理进行校正。日本特开2015－022027号公报所提出的摄像装置根据防振用光学系统的驱动量及驱动方向决定几何变换处理的基准坐标，由此提高像差校正的精度。
日本特开2015－022027号公报的方法是以如下的两个形状相同为前提的，该两个形状是由于防振用光学系统的偏心而产生的摄像元件的像面上的畸变像差的形状、和在以相同的驱动量驱动摄像元件时由于图像中心和光轴中心的偏差而产生的摄像元件的像面上的畸变像差的形状。但是，实际上由于防振用光学系统的偏心而产生的摄像元件的像面上的畸变像差的形状，往往是和在以相同的驱动量驱动摄像元件时由于图像中心和光轴中心的偏差而产生的摄像元件的像面上的畸变像差的形状不同的。因此，日本特开2015－022027号公报的方法在进行畸变像差的校正时有可能产生校正残量。
发明内容
本发明正是鉴于上述情况而完成的，其目的在于，提供图像处理装置、摄像装置及图像处理方法，能够利用简易的方法也考虑因防振用光学系统的偏心而引起的像面上的畸变像差的形状变化而进行精度良好的畸变像差校正。
本发明的第一方式的图像处理装置对摄像图像进行处理，该摄像图像基于由摄像光学系统成像于像面上的像，该摄像光学系统具有根据摄像元件的所述像面上的像抖而被驱动的防振用光学系统，其中，所述图像处理装置具有：防振用光学系统驱动量取得部，其取得与所述摄像光学系统的光轴垂直的方向上的所述防振用光学系统的驱动量；畸变像差校正部，其使用所述光轴与所述摄像图像的图像中心之间的偏差量，对所述摄像图像进行基于所述偏差量的、所述像面上的畸变像差的校正；以及偏差量换算部，其根据与所述防振用光学系统的驱动量对应的所述像面上的畸变像差的形状、和与所述偏差量对应的所述像面上的畸变像差的形状之间的相关关系，计算与所述防振用光学系统驱动量取得部所取得的驱动量对应的所述偏差量作为换算中心偏差量，所述畸变像差校正部使用所述换算中心偏差量作为所述偏差量进行所述畸变像差的校正。
本发明的第二方式的图像处理方法对摄像图像进行处理，该摄像图像基于由摄像光学系统成像于像面上的像，该摄像光学系统具有根据摄像元件的所述像面上的像抖而被驱动的防振用光学系统，其中，所述图像处理方法包括如下步骤：取得与所述摄像光学系统的光轴垂直的方向上的所述防振用光学系统的驱动量；根据与所述防振用光学系统的驱动量对应的所述像面上的畸变像差的形状、和与所述光轴和所述摄像图像的图像中心之间的偏差量对应的所述像面上的畸变像差的形状之间的相关关系，计算与所述防振用光学系统的驱动量对应的所述偏差量作为换算中心偏差量；使用所述换算中心偏差量作为所述偏差量进行所述畸变像差的校正。
附图说明
图1A及图1B是对像抖进行说明的图。
图2A是对光学系统移位式的抖动抑制处理进行说明的图。
图2B是对摄像元件移位式的抖动抑制处理进行说明的图。
图2C是对电子式的抖动抑制处理进行说明的图。
图3A是示出未产生像抖的摄像图像的图。
图3B是示出产生了像抖的摄像图像的图。
图3C是示出对图3B的像抖应用了摄像元件移位式或者电子式的抖动抑制处理后的摄像图像的图。
图4是示出对图3B的像抖应用了光学系统移位式的抖动抑制处理后的摄像图像的图。
图5是示出因防振用光学系统的偏心而引起的畸变像差的形状变化、和因图像中心与光轴中心的偏差而引起的畸变像差的形状变化之间的关系的一例的图。
图6A及图6B是示出像面上的畸变像差的形状相似的防振用光学系统的驱动量、和摄像元件的驱动量之间的相关关系的一例的图。
图7是示出第1实施方式的摄像系统的结构的图。
图8是示出第1实施方式的摄影动作的流程图。
图9A、9B、9C是对求出系数α的思路进行说明的图。
图10是对求出系数α时的测定系统进行说明的图。
图11是对摄像图像中的位于同一行上的点和点之间的倾斜的求解方式进行说明的图。
图12是摄像图像中的位于同一条线上的点和点之间的倾斜的一例。
图13是示出针对防振用光学系统的驱动量绘制网格为直线的点的高度而得到的一例的直线的图。
图14是示出第2实施方式的摄像系统的结构的图。
图15是示出第2实施方式的摄影动作的流程图。
图16是示出在(程序1)及(程序2)取得的各摄像图像的网格点的图。
图17是示出绘制防振用光学系统104的驱动量和摄像元件202的驱动量之间的关系而得到的一例的曲线的图。
图18是示出第3实施方式的摄像系统的结构的图。
图19是示出第3实施方式的摄影动作的流程图。
图20是示出基于防振用光学系统的驱动量的像面上的畸变像差的形状、和基于图像中心与光轴中心的偏差量的像面上的畸变像差的形状之间的相关关系的表的例子。
图21是示出第4实施方式的摄像系统的结构的图。
图22是示出第4实施方式的摄影动作的流程图。
图23是示出将光学状态和系数α对应起来而得到的表的例子的图。
具体实施方式
下面，参照附图说明本发明的实施方式。首先，说明本发明的各实施方式的图像处理方法的原理。为此，对像抖的抑制处理进行说明。图1A及图1B是对像抖进行说明的图。图1A示出摄像装置未产生抖动时的被摄体和摄像装置之间的关系。图1B示出在摄像装置的图像中心产生了角度为θ的抖动时的被摄体和摄像装置之间的关系。图1A及图1B的z轴例如是与地面平行的方向，y轴例如是与地面垂直的方向。
来自被摄体的任意物点的光束在光瞳位置形成像，然后在防振用光学系统2通过，在摄像元件1的像面上再次成像。这些光束的入射角和出射角都是。当在摄像装置未产生抖动时，摄像光学系统的光轴中心和摄像元件的像面中心(设为与图像中心一致)的y轴位置一致。因此，在摄像光学系统的光轴中心通过的光，在防振用光学系统2的光轴中心通过而入射到摄像元件1的像面中心PO。另一方面，当在摄像装置产生角度θ的像抖时，摄像光学系统的光轴中心的y轴位置和摄像元件1的像面中心的y轴位置之间产生偏差。根据该偏差的大小，从被摄体的同一个物点射出的光束成像于摄像元件的不同位置。由于该成像位置的偏差而产生像抖。这种像抖不限于角度抖动，也由于摄像装置沿与像面平行的方向移动的并进偏差而产生。
关于用于抑制像抖的抖动抑制方法，已知主要有光学系统移位式、摄像元件移位式、电子式这三种方法。光学系统移位式的抖动抑制处理是如图2A所示的处理，该处理根据所检测出的抖动，在与摄像光学系统的光轴垂直的面内对作为摄像光学系统的一部分的防振用光学系统2进行驱动，由此抑制抖动。即，在光学系统移位式的抖动抑制处理中，像面中心PO不移动，光束的成像位置移动到P1。摄像元件移位式的抖动抑制处理是如图2B所示的处理，该处理根据所检测出的抖动，在与摄像光学系统的光轴垂直的面内对摄像元件1进行驱动，由此抑制抖动。即，在摄像元件移位式的抖动抑制处理中，像面中心PO移动到P1。电子式的抖动抑制处理是如图2C所示的处理，该处理根据所检测出的抖动，变更摄像图像(与光轴垂直的面内)的切取范围，由此抑制抖动。即，在电子式的抖动抑制处理中，像面中心PO和成像位置都不移动，仅摄像图像的切取范围变化。
图3A示出未产生像抖的摄像图像。假设摄像光学系统的光轴与被摄体一致，在没有像抖的情况下，像面上的被摄体O的位置与图像中心PO的位置一致。并且，摄像光学系统的光轴与像面相交的交点位置和图像中心PO一致。无论是鼓形的畸变像差还是枕形的畸变像差，像差都是以摄像光学系统的光轴为中心呈点对称地产生的。因此，在图3A的情况下，对摄像图像产生影响的像差D呈以图像中心PO为中心的点对称形状。
图3B示出产生了像抖的摄像图像。由于摄像装置的抖动，摄像光学系统的光轴偏离被摄体，导致像面上的被摄体O的位置从图像中心PO的位置移动。另一方面，在未进行抖动抑制处理时，摄像光学系统的光轴与像面相交的交点位置和图像中心PO一致。因此，在图3B的情况下，对摄像图像产生影响的像差D呈以图像中心PO为中心的点对称形状。
图3B是示出产生了像抖的摄像图像的图，图3C示出对图3B的像抖应用了摄像元件移位式或者电子式的抖动抑制处理后的摄像图像。通过抖动抑制处理，使图像中心PO与被摄体O的位置一致。另一方面，摄像光学系统的光轴与像面相交的交点位置P1偏离图像中心PO。因此，在图3C的情况下，对摄像图像产生影响的像差D成为非点对称形状。在对比图3C的像差D与图3A及图3B的像差D时，图3C的像差D的形状看起来通过抖动抑制处理而变形。
另一方面，图4示出对图3B的像抖应用了光学系统移位式的抖动抑制处理后的摄像图像。如图4所示，在光学系统移位式的抖动抑制处理中，通过抖动抑制处理，使摄像光学系统的光轴与像面相交的交点位置PO与被摄体O的位置一致。如前面所述，像差是以摄像光学系统的光轴为中心呈点对称地产生的。因此，在抖动抑制处理前以防振用光学系统2的驱动前的光轴和像面的交点P2为中心呈点对称地产生的像差D，在抖动抑制处理后以防振用光学系统2的驱动后的光轴和像面的交点PO为中心呈非点对称地产生。在对比图4的像差D与图3A或者图3B的像差D时，图4的像差D的形状看起来通过抖动抑制处理而变形。
作为用于正确校正随着抖动抑制处理而形成的畸变像差的形状变化的方法，可以采用考虑畸变像差形状的变化而进行畸变像差校正的方法。在通常的畸变像差校正中，预先定义理想像高Y(校正后的像高)和实际像高Y’(校正前的像高)之间的关系。该关系利用例如式(1)那样的近似多项式进行定义。并且，在实际的处理中，通过使用了预先定义的关系的坐标变换进行畸变像差校正。具体而言，使用定义式计算校正前的图像和校正后的图像的对应坐标，按照该对应坐标对校正前的图像中的各像素进行再配置，由此进行校正。
Y＝D0+D1Y’+D2Y’2+D3Y’3+……式(1)
在针对摄像元件移位式或者电子式的抖动抑制处理后的摄像图像的畸变像差校正中，通过考虑了图像中心和光轴中心的偏差量(本来的畸变像差的产生中心)的通常那样的畸变像差校正，能够进行包含了像差形状的变化的校正。另一方面，因防振用光学系统的偏心而引起的畸变像差的形状变化、和因图像中心与光轴中心的偏差而引起的畸变像差的形状变化，其发生原理是不同的，因而即使是进行考虑了图像中心和光轴中心的偏差量的通常那样的畸变像差校正，也产生校正残量。
因防振用光学系统的偏心而引起的畸变像差的形状变化、和因图像中心与光轴中心的偏差而引起的畸变像差的形状变化，虽然其发生原理不同，但是具有大致相似的性质。图5是示出因防振用光学系统的偏心而引起的畸变像差的形状变化、和因图像中心与光轴中心的偏差而引起的畸变像差的形状变化之间的关系的一例的图。在图5中，以容易理解的方式仅示出畸变像差形状的变化，假设摄像对象的被摄体是网格图案的被摄体。并且，图5的左侧示出如下情况时的摄像图像的畸变像差形状，即，使摄像系统(安装有摄像光学系统的状态的摄像装置)垂直移动0mm、垂直移动0.05mm、垂直移动0.1mm，在为了校正因这些移动而引起的像抖而对摄像元件垂直驱动0mm、垂直驱动0.05mm、垂直驱动0.1mm的状态下拍摄被摄体。图5的右侧示出如下情况时的摄像图像的畸变像差形状，即，使摄像系统(安装有摄像光学系统的状态的摄像装置)按照与图5的左侧相同的条件垂直移动0mm、垂直移动0.05mm、垂直移动0.1mm，在为了校正因这些移动而引起的像抖而对防振用光学系统垂直驱动0mm、垂直驱动0.05mm、垂直驱动0.1mm的状态下拍摄被摄体。另外，在图5中为了简化说明，假设在防振用光学系统被驱动了1mm时，像在像面上移动1mm。根据防振用光学系统的构造，防振用光学系统的驱动量d和在像面上的移动量m不一定一致，而形成为如式(2)所示的比例关系。在图5中，假设式(2)的像面移动量灵敏度s为1。此时，在摄像元件和防振用光学系统中为抑制相同抖动所需要的驱动量是相同的。
m＝s×d 式(2)
其中，s＝(1-β2)×β3 式(3)
(β2：防振用光学系统的倍率，β3：摄像光学系统的防振用光学系统的后组的倍率)
根据图5可知，即使是在摄像元件的驱动量和防振用光学系统的驱动量相同的条件下对比畸变像差形状时，两者的畸变像差形状也不一致。但是，在图5的情况下，对防振用光学系统驱动0.05mm的状态和对摄像元件驱动0.1mm的状态这两者的畸变像差形状相似。
因此，在想要校正对防振用光学系统驱动0.05mm后的状态的摄像图像的情况下，如果存在式(1)等的“能够考虑图像中心和光轴中心的偏差来校正关于光轴中心呈点对称地产生的畸变像差的机构”，可以对该机构赋值0.1mm作为图像中心和光轴中心的偏差量。由此，能够大致校正随着防振用光学系统的驱动而形成的畸变像差的形状变化(畸变像差形状的非点对称变化)。
在具体的处理中，例如预先定义像面上的畸变像差的形状相似的防振用光学系统的驱动量和摄像元件的驱动量之间的相关关系。并且，在进行了防振用光学系统的驱动时，将防振用光学系统的驱动量换算为对应的摄像元件的驱动量，按照换算后的驱动量进行例如基于式(1)的畸变像差校正。图6A及图6B是像面上的畸变像差的形状相似的防振用光学系统的驱动量、和摄像元件的驱动量之间的相关关系的一例。图6A是相关关系呈线性的例子。在相关关系呈线性的情况下，在进行畸变像差校正时，通过对防振用光学系统的驱动量乘以规定的系数来进行换算。另一方面，图6B是相关关系呈非线性的例子。在相关关系呈非线性的情况下，预先定义表示其曲线的近似式。并且，在进行畸变像差校正时，使用近似式对防振用光学系统的驱动量进行换算。图6B的关系例如以二次式近似。但是，不一定需要以二次式近似。图6B的关系以三次式以上的适当次数的算式进行了近似，但不限于此。另外，不限于多项式，也可以以适当的数学式近似。
[第1实施方式]
图7是示出第1实施方式的摄像系统的结构的图。摄像系统10具有摄像光学系统100和摄像装置200。摄像光学系统100安装于摄像装置200。在摄像光学系统100被安装于摄像装置200时，摄像光学系统100和摄像装置200被通信自如地连接。此时，摄像光学系统100按照摄像装置200的控制进行动作。
摄像光学系统100具有光学系统防振机构102、抖动量检测部106、相关信息记录部108。
光学系统防振机构102包括用于使来自被摄体的光束成像于摄像元件的像面上的光学系统。并且，光学系统防振机构102具有防振用光学系统104。光学系统防振机构102按照在抖动量检测部106检测出的摄像光学系统100的抖动量，在与光学系统防振机构102的光轴垂直的面内驱动防振用光学系统104。通过防振用光学系统104改变来自被摄体的光束的成像位置，由此抑制抖动。
抖动量检测部106例如是陀螺仪传感器或者加速度传感器，检测在摄像光学系统100产生的抖动量。该抖动包括例如绕对摄像光学系统100定义的正交3轴的角度抖动及旋转抖动。并且，该抖动也可以包括例如沿着对摄像光学系统100定义的正交3轴的并进抖动。
相关信息记录部108例如是闪存。在相关信息记录部108中记录表示与防振用光学系统104的驱动量对应的摄像元件202的像面上的畸变像差的形状、和与图像中心和光轴中心的偏差对应的摄像元件202的像面上的畸变像差的形状之间的相关关系的信息。例如，作为表示相关关系的信息，例如能够预先记录用于将防振用光学系统的驱动量换算为摄像元件的驱动量的系数α。关于该系数α的详细情况在后面进行说明。
摄像装置200具有摄像元件202、记录部204、输入部206、控制部210。
摄像元件202具有由像素构成的像面。像素由光电二极管等光电转换元件构成，生成与入射光的量对应的电荷。这种结构的摄像元件202生成与入射至像面的光束对应的图像信号(摄像图像)。在本实施方式中，摄像元件202的方式可以是CCD方式和CMOS方式中任何方式。并且，也可以在像素的前面设置滤色器和微镜。
记录部204是内置于摄像装置200或者安装于摄像装置200的存储器。在记录部204记录作为摄影处理的结果而得到的图像文件。
输入部206例如是摄影者对摄像装置200进行各种指示用的操作部件。输入部206包括例如记录开始按钮208。记录开始按钮208是对摄像装置200提供图像记录开始的指示用的操作部件。另外，输入部206也可以具有触摸屏等其它操作部件。
控制部210构成为例如CPU、ASIC这样的控制电路。控制部210控制摄像装置200的各种动作。本实施方式的控制部210具有防振用光学系统驱动量取得部212、偏差量换算部214、畸变像差校正部216。
防振用光学系统驱动量取得部212从防振用光学系统104取得其驱动量。驱动量是由编码器等检测出来的。
偏差量换算部214使用在相关信息记录部108记录的相关关系的信息，将防振用光学系统104的驱动量换算为随着摄像元件202的驱动而形成的图像中心和光轴中心的偏差量。
畸变像差校正部216对在摄像元件202得到的摄像图像进行畸变像差校正。畸变像差校正是按照前述的式(1)进行的。另外，畸变像差校正部216也可以构成为进行畸变像差校正以及畸变像差校正以外的各种图像处理(白平衡校正、灰度校正等)。
如上所述的控制部210的各种功能可以利用一个硬件或者软件来实现，也可以利用多个硬件或者软件来实现。并且，也可以是一部分功能与控制部210分体设置。另外，也可以是一部分功能与摄像装置200也分体设置。例如，也可以在能够与摄像装置200进行通信地构成的图像处理装置中设置防振用光学系统驱动量取得部212、偏差量换算部214、畸变像差校正部216。该图像处理装置可以具有摄像功能，也可以不具有摄像功能。
下面，说明第1实施方式的摄像系统10的动作。图8是示出包括第1实施方式的图像处理方法在内的摄影动作的流程图。在此，图8是动态图像摄影动作的流程图。但是，在以下的动态图像摄影动作中说明的畸变像差校正也能够在静态图像摄影动作中适用。
图8的动作例如是通过摄影者按下记录开始按钮208而开始的。在图8的动作开始时，在步骤S1，控制部210开始摄影动作。具体而言，控制部210开始摄像元件202的反复曝光动作。
在步骤S2，抖动量检测部106检测摄像光学系统100的抖动量。在步骤S3，光学系统防振机构102驱动防振用光学系统104，以消除在抖动量检测部106检测出的摄像光学系统100的抖动。由此，抑制在摄像元件202的像面上的抖动(像抖)。
在步骤S4，控制部210通过防振用光学系统驱动量取得部212取得防振用光学系统104的驱动量。
在步骤S5，控制部210通过偏差量换算部214使用在相关信息记录部108记录的相关关系的信息，将防振用光学系统104的驱动量换算为随着摄像元件202的驱动而形成的图像中心和光轴中心的偏差量。下面，将该换算出的偏差量记述为换算中心偏差量。例如，如果在像面上的畸变像差的形状相似的防振用光学系统的驱动量和摄像元件的驱动量之间的相关关系是线性的，则对防振用光学系统的驱动量乘以系数α(表示随着图像中心和光轴中心的偏差量而形成的畸变像差形状与随着防振用光学系统的驱动而形成的畸变像差形状之间的相关的值)，由此计算出换算中心偏差量。
通过探寻将防振用光学系统104驱动任意量时的像面上的畸变像差形状、与图像中心和光轴中心偏差何种程度(对摄像元件202驱动何种程度)时的畸变像差形状最相似(相关关系)，并对该关系进行例如线性近似，由此决定系数α。在此，相关关系的探寻可以通过视觉观察来进行，也可以使用以下所示的计算来进行。
首先，假设拍摄如图9A所示的网格图案的被摄体OF。本来，畸变像差是以光轴为中心呈点对称地产生的，在拍摄到网格图案的被摄体OF的情况下，摄像图像的中心线(在图像中心PO通过的线)成为如图9A所示的直线。
另外，在如图9B所示为抑制抖动而驱动摄像元件202时，如前面所述在像面上的畸变像差的形状变化。在这种情况下，摄像图像的中心线弯曲。但是，在驱动摄像元件202时的畸变像差的形状变化仅仅是基于图像中心和光轴的偏差的变化。因此，如图9B所示，在本来的光轴中心(像差的产生中心)所在的摄像图像上的点P1通过的线成为直线。
另外，在如图9C所示为抑制抖动而驱动防振用光学系统104时，如前面所述在像面上的畸变像差的形状也变化。在这种情况下，摄像图像的中心线弯曲。基于图像中心和光轴的偏差的畸变像差形状的变化和基于防振用光学系统的驱动(偏心)的畸变像差形状的变化是根据不同的原理产生的。如前面所述，基于图像中心和光轴的偏差的畸变像差形状的变化和基于防振用光学系统的驱动(偏心)的畸变像差形状的变化具有相关性。即，即使是畸变像差形状由于防振用光学系统的驱动(偏心)而变化，也存在所拍摄的网格成为直线的点(图9C的点P3)。
这样，如果将图像中心PO和网格被拍摄成直线的点P3的偏差量处理成暂时的图像中心和光轴的偏差量，则能够使随着防振用光学系统的驱动而变形的畸变像差的形状、与随着图像中心和光轴中心的偏差而变形的畸变像差的形状相似。但是，如图9C所示，所拍摄的网格成为直线的点往往与防振用光学系统的驱动前的像面和光轴的交点(图9C的点P2)不对应。因此，不能单纯地根据防振用光学系统的驱动量计算网格被拍摄成直线的点的坐标。因此，在按照以下所述的程序驱动防振用光学系统时，探寻所拍摄的网格成为直线的点的坐标。
(程序1)考虑如图10所示的利用摄像装置200拍摄网格图案的被摄体OF的测定系统。在这样的测定系统中，使摄像系统10(安装有摄像光学系统100的状态的摄像装置200)移动任意量(赋予任意的抖动)。并且，驱动防振用光学系统104以校正基于该移动的像抖。在该状态下，利用摄像装置200拍摄网格图案的被摄体OF。
(程序2)如图11所示，从摄像图像中探寻位于同一行上的点和点之间的倾斜1-4。在探寻后，例如通过回归计算等估计在倾斜1-4中值为0的倾斜(即所拍摄的网格成为直线的点)。例如，假设如图12所示得到倾斜1-4的值，估计在距中心点为横向0mm、高度方向2.42mm的位置存在所拍摄的网格成为直线的点。在此，在基于回归计算等的估计中求出倾斜为0的点的坐标。倾斜为0的点的坐标的求解方法不限于回归计算。例如，通过使网格图案更加精细化，能够更精密地求出倾斜。在这种情况下，能够通过求出倾斜最接近0的点的坐标来取代回归计算等。
(程序3)改变摄像系统10的移位量来反复任意次数进行(程序1)及(程序2)。并且，如图13所示，绘制防振用光学系统的驱动量(与摄像元件的驱动量成比例)和所拍摄的网格成为直线的点的高度(像高)。在对所绘制的点进行线性近似时，该直线的倾斜成为系数α。
在(程序1)-(程序3)中假设是以实际的摄像图像进行的。不限于此，也可以通过使用了光线追踪等的模拟来计算系数α。并且，假设反复进行(程序1)及(程序2)来进行说明。不限于此，也可以仅进行一次(程序1)及(程序2)来计算系数α。并且，摄像元件的驱动量能够根据式(2)利用防振用光学系统的驱动量表示。因此，可以根据摄像元件202的驱动量和所拍摄的网格成为直线的点的高度之间的关系计算系数α。在这种情况下，即使像面移动量灵敏度不是1，也能够记录相关关系的信息。
在此，返回到图8的说明。在步骤S6，控制部210将在步骤S5得到的换算中心偏差量输入到畸变像差校正部216，进行对摄像图像的畸变像差校正。例如，畸变像差校正部216将换算中心偏差量作为图像中心和光轴的偏差量进行基于式(1)的畸变像差校正。然后，控制部210根据需要进行畸变像差校正以外的校正，将摄像图像记录在记录部204中。
在步骤S7，控制部210判定是否结束摄影动作。例如，在记录开始按钮被摄影者再次按下或者摄像装置200的电源被断开时，判定为结束摄影动作。当在步骤S7中判定为不结束摄影动作时，处理返回到步骤S2。在这种情况下，摄影动作继续。当在步骤S7中判定为结束摄影动作时，图8的处理结束。
在如上所说明的本实施方式中，将表示与防振用光学系统的驱动量对应的摄像元件的像面上的畸变像差的形状、和与图像中心和光轴中心的偏差对应的摄像元件的像面上的畸变像差的形状之间的相关关系的信息记录在记录部中。并且，根据表示该相关关系的信息将防振用光学系统的驱动量换算为图像中心和光轴中心的偏差量，根据该换算出的偏差量进行与对关于光轴中心呈点对称地产生的畸变像差的校正相同的畸变像差校正。由此，虽然近似，但是能够利用简单的结构高精度地进行考虑了因防振用光学系统的偏心而形成的像面上的畸变像差的变形的畸变像差校正。
在此，在图8中一定进行抖动的抑制。抖动的检测及抑制也可以按照摄影者的指示而开始。并且，也可以在摄影动作开始前(例如实时取景图像显示时)实施。
另外，相关信息记录部108不一定需要设于摄像光学系统100。相关信息记录部108也可以设于例如摄像装置200。并且，相关信息记录部108也可以设于与摄像光学系统100及摄像装置200分体的服务器等。
[第2实施方式]
下面，说明第2实施方式。图14是示出第2实施方式的摄像系统的结构的图。在本实施方式中，摄像装置200具有摄像光学系统100、摄像元件防振机构218、记录部204、输入部206、控制部210。其中，记录部204和输入部206与在第1实施方式中说明的内容相同。因此，对它们标注与图7相同的参照标号并省略说明。
在第2实施方式中，摄像光学系统100与摄像装置200设置成为一体。第2实施方式的摄像光学系统100的基本结构与在第1实施方式中说明的结构相同。
摄像元件防振机构218具有能够沿与像面平行的方向进行驱动而构成的摄像元件202。另外，摄像元件防振机构218具有抖动量检测部220。抖动量检测部220例如是陀螺仪传感器或者加速度传感器，检测在摄像元件202产生的抖动量。摄像元件防振机构218根据在抖动量检测部220检测出的抖动量驱动摄像元件202，由此抑制像抖。
第2实施方式的控制部210具有防振用光学系统驱动量取得部212、偏差量换算部214、畸变像差校正部216、以及摄像元件驱动量取得部222。
第2实施方式的偏差量换算部214具有相关信息记录部224。相关信息记录部224与相关信息记录部108相对应。在相关信息记录部224记录表示与防振用光学系统104的驱动量对应的摄像元件202的像面上的畸变像差的形状、和与图像中心和光轴中心的偏差对应的摄像元件202的像面上的畸变像差的形状之间的相关关系的信息。
摄像元件驱动量取得部222从摄像元件防振机构218取得摄像元件202的驱动量。
下面，说明第2实施方式的摄像系统10的动作。图15是示出第2实施方式的摄影动作的流程图。在此，图15是动态图像摄影动作的流程图。但是，在下面的动态图像摄影动作中说明的畸变像差校正也能够在静态图像摄影动作中适用。另外，在图15的动作中，对与第1实施方式相同的动作标注与图8相同的步骤号码，并适当省略说明。
图15的步骤S1-S4的动作与图8的步骤S1-S4的动作相同，因而省略说明。
在步骤S5，控制部210通过偏差量换算部214计算换算中心偏差量。换算中心偏差量的计算例如也可以与第1实施方式一样地进行。并且，如前面所述，相关关系的信息也可以是基于二次以上的多项式的近似式。这样的近似式例如能够按照下面所述的程序得到。
(程序1)使摄像装置200移动任意量(赋予任意的抖动)。并且，驱动防振用光学系统104以校正基于该移动的像抖。在该状态下，通过摄像装置200拍摄网格图案的被摄体OF。变更摄像装置200的移位量来进行任意次数的这种摄像。例如，使摄像装置200在0mm～1mm的范围内逐次移动0.1mm进行11次摄像。
(程序2)使摄像装置200进行与(程序1)相同的移动。并且，驱动摄像元件202以校正基于该移动的像抖。在该状态下，通过摄像装置200拍摄网格图案的被摄体OF。变更摄像装置200的移位量来进行与(程序1)相同次数的这种摄像。例如，使摄像装置200在0mm～1mm的范围内逐次移动0.1mm进行11次摄像。
(程序3)如图16所示，取得在(程序1)及(程序2)所取得的各摄像图像的网格点的位置。网格点的位置可以通过视觉观察来取得，也可以使用图案匹配等公知的技术自动取得。
(程序4)计算使防振用光学系统104驱动任意量的摄像图像内的网格点的坐标位置、与使摄像元件202驱动任意量后的摄像图像内的网格点的坐标位置之间的欧几里得距离的总和。并且，求出使该总和为最小的防振用光学系统104的驱动量与摄像元件202的驱动量的组合。该组合是像面上的畸变像差的形状最相似的驱动量的组合。在此，根据坐标点的欧几里得距离的总和计算伴随防振用光学系统的驱动的像面上的畸变像差形状与伴随摄像元件的驱动的像面上的畸变像差形状之间的相关。与此不同，相关也可以通过计算摄像图像自身的欧几里得距离来求出。并且，也可以不根据摄像图像整体的坐标点的欧几里得距离，而根据摄像图像的一部分例如仅中心线的欧几里得距离计算相关。
(程序5)如图17所示，绘制在(程序4)求出的防振用光学系统104的驱动量与摄像元件202的驱动量之间的关系。根据该绘制的点使用最小二乘法等公知的方法计算近似式。
在此，返回到图15的说明。在步骤S8，抖动量检测部220检测摄像装置200的抖动量。在步骤S9，摄像元件防振机构218驱动摄像元件202，以消除在抖动量检测部220检测出的摄像元件202的抖动。由此，抑制在摄像元件202的像面上的抖动(像抖)。在步骤S10，控制部210取得摄像元件202的驱动量。
在本实施方式中，在步骤S4也驱动防振用光学系统104。因此，像抖的校正量是将防振用光学系统104的驱动量和摄像元件202的驱动量相加而得的。此时的各个驱动量的比例例如是预先设定的。例如，如果驱动比例是1:1，则相对于所检测出的抖动量，防振用光学系统104的驱动量和摄像元件202的驱动量为各50％。该比例也可以根据抖动的频率决定。例如，在构成为光学系统防振机构102能够高精度地驱动防振用光学系统104、摄像元件防振机构218不能高精度地驱动摄像元件202时，也能够构成为通过防振用光学系统104的驱动对高频的抖动进行校正，通过摄像元件202的驱动对低频的抖动进行校正。
在步骤S6，控制部210将在步骤S5得到的换算中心抖动量输入到畸变像差校正部216，进行对摄像图像的畸变像差校正。例如，畸变像差校正部216把将换算中心偏差量与摄像元件202的驱动导致的图像中心和光轴的偏差量相加而得的值作为图像中心与光轴的偏差量，进行基于式(1)的畸变像差校正。然后，控制部210根据需要进行畸变像差校正以外的校正，将摄像图像记录在记录部204中。
在步骤S7，控制部210判定是否结束摄影动作。例如，当在步骤S7中判定为不结束摄影动作时，处理返回到步骤S2。在这种情况下，摄影动作继续。当在步骤S7中判定为结束摄影动作时，图15的处理结束。
在如上所说明的本实施方式中，能够利用简单的结构高精度地进行考虑了因防振用光学系统的偏心而形成的像面上的畸变像差的变形的畸变像差校正。
并且，在第2实施方式中使用防振用光学系统的驱动和摄像元件的驱动双方进行抖动的抑制。因此，与单独使用任意一方的情况相比，能够增大可抑制的抖动的大小。并且，通过使防振用光学系统的驱动的精度和摄像元件的驱动的精度不同，能够进行与抖动的频率对应的抖动的抑制。
在此，本实施方式的摄像装置200具有两个抖动量检测部，即检测摄像光学系统100的抖动量的抖动量检测部106、和检测摄像元件202的抖动量的抖动量检测部220。与此相对，摄像光学系统100和摄像元件202都设于摄像装置200的内部，因而也可以是摄像装置200具有一个抖动量检测部。在这种情况下，将摄像光学系统100的抖动量和摄像元件202的抖动量任意一方视为与另一方相同进行驱动。另外，也可以另外设置根据在一个抖动量检测部检测出的抖动量估计必要部位的抖动量的电路。
另外，在图15中一定进行抖动的抑制。抖动的检测及抑制也可以按照摄影者的指示而开始。并且，也可以在摄影动作开始前(例如实时取景图像显示时)实施。
另外，在图15中防振用光学系统104的驱动和摄像元件202的驱动是依次进行的。与此不同，也可以并行地进行防振用光学系统104的驱动和摄像元件202的驱动。
另外，相关信息记录部224不一定需要设于偏差量换算部214中。相关信息记录部224也可以与控制部210分体设置。并且，相关信息记录部224也可以设于与摄像光学系统100及摄像装置200分体的服务器等。
[第3实施方式]
下面，说明第3实施方式。图18是示出第3实施方式的摄像系统的结构的图。在本实施方式中，摄像装置200具有摄像光学系统100、摄像元件202、记录部204、输入部206、控制部210、抖动量检测部225。其中，记录部204和输入部206与在第1实施方式中说明的内容相同。因此，对它们标注与图7相同的参照标号并省略说明。
抖动量检测部225例如是陀螺仪传感器或者加速度传感器，检测在摄像元件202的壳体产生的抖动量。
另外，第3实施方式的控制部210具有防振用光学系统驱动量取得部212、偏差量换算部214、畸变像差校正部216、以及防振量决定部226、切取范围取得部228、电子防振部230。
此外，第3实施方式的控制部210在与偏差量换算部214不同的部位具有相关信息记录部224。相关信息记录部224和第2实施方式一样与相关信息记录部108相对应。在相关信息记录部224中记录表示与防振用光学系统104的驱动量对应的摄像元件202的像面上的畸变像差的形状、和与图像中心和光轴中心的偏差对应的摄像元件202的像面上的畸变像差的形状之间的相关关系的信息。
防振量决定部226根据在抖动量检测部225检测的抖动量，分别决定防振用光学系统104的驱动量和基于电子防振部230的切取范围。
切取范围取得部228从防振量决定部226取得基于电子防振部230的切取范围。
电子防振部230按照由防振量决定部226决定的切取范围切取摄像图像的一部分区域，由此抑制像抖。
下面，说明第3实施方式的摄像系统10的动作。图19是示出第3实施方式的摄影动作的流程图。在此，图19是动态图像摄影动作的流程图。但是，在下面的动态图像摄影动作中说明的畸变像差校正也能够在静态图像摄影动作中适用。另外，在图19的动作中，对与第1实施方式相同的动作标注与图8相同的步骤号码，并适当省略说明。
图19的步骤S1-S2的动作与图8的步骤S1-S2的动作相同，因而省略说明。在图19中，当在步骤S2检测出抖动量后进行步骤S11的处理。
在步骤S11，控制部210根据在抖动量检测部225检测出的抖动量，通过防振量决定部226分别决定防振用光学系统104的驱动量和基于电子防振部230的切取范围。此时基于防振用光学系统104的驱动的抖动抑制与基于电子防振部230的处理的抖动抑制的比例例如是预先设定的。例如，如果比例为1:1，则针对所检测出的抖动量，基于防振用光学系统104的驱动的抖动抑制与基于电子防振部230的处理的抖动抑制的比例为各50％。
图19的步骤S3-S4的动作与图8的步骤S3-S4的动作相同，因而省略说明。
在步骤S5，控制部210通过偏差量换算部214计算换算中心偏差量。换算中心偏差量的计算例如也可以与第1实施方式一样地进行。并且，换算中心偏差量也可以根据如图20所示的表进行计算，该表示出预先记录于相关信息记录部224的基于防振用光学系统的驱动量的像面上的畸变像差形状、和基于图像中心与光轴中心的偏差量的像面上的畸变像差形状之间的相关关系。
在生成图20所示的表时的相关关系的计算方式依据第1实施方式或者第2实施方式的(程序1)-(程序5)。在求出表中没有的关于防振用光学系统104的驱动量的换算中心偏差量的情况下，偏差量换算部214例如参照在相关信息记录部224记录的信息中最接近的驱动量求出换算中心偏差量。在这种情况下，例如在防振用光学系统104的驱动量是0.12[mm]的情况下，偏差量换算部214使用与驱动量0.1[mm]对应的换算中心偏差量即0.3[mm]。并且，偏差量换算部214也可以通过使用了在相关信息记录部224记录的信息中与当前的驱动量接近的多个驱动量的线性插值等，求出换算中心偏差量。在这种情况下，例如在防振用光学系统104的驱动量是0.12[mm]的情况下，偏差量换算部214通过驱动量0.1[mm]的换算中心偏差量和驱动量0.2[mm]的换算中心偏差量的线性插值，求出换算中心偏差量。
在此，返回到图19的说明。在步骤S12，电子防振部230设定所决定的切取范围。在步骤S13，电子防振部230按照所设定的切取范围进行摄像图像的切取。以消除抖动的方式使切取范围移动，由此抑制摄像元件202的像面上的抖动(像抖)。
在步骤S6，控制部210将在步骤S5得到的换算中心偏差量输入到畸变像差校正部216，进行对摄像图像的畸变像差校正。例如，畸变像差校正部216把将换算中心偏差量与摄像元件202的驱动导致的图像中心和光轴的偏差量相加而得的值作为图像中心与光轴的偏差量，进行基于式(1)的畸变像差校正。然后，控制部210根据需要进行畸变像差校正以外的校正，将摄像图像记录在记录部204中。
在步骤S7，控制部210判定是否结束摄影动作。当在步骤S7中判定为不结束摄影动作时，处理返回到步骤S2。在这种情况下，摄影动作继续。当在步骤S7中判定为结束摄影动作时，图19的处理结束。
在如上所说明的本实施方式中，也能够利用简单的结构高精度地进行考虑了因防振用光学系统的偏心而形成的像面上的畸变像差的变形的畸变像差校正。
并且，在第3实施方式中使用防振用光学系统的驱动和电子防振双方进行抖动的抑制。因此，与单独使用任意一方的情况相比，能够增大可抑制的抖动的大小。
在此，本实施方式的摄像装置200只有一个抖动量检测部225，抖动量检测部225可以是抖动量检测部106和抖动量检测部220任意一方。并且，摄像装置200也可以是除抖动量检测部225以外，还具有抖动量检测部106和抖动量检测部220任意一方或者双方。另外，也可以另外设置根据在一个抖动量检测部检测出的抖动量估计必要部位的抖动量的电路。
另外，在图19中一定进行抖动的抑制。抖动的检测及抑制也可以按照摄影者的指示而开始。并且，也可以在摄影动作开始前(例如实时取景图像显示时)实施。
另外，在图19中防振用光学系统104的驱动和电子防振是依次进行的。与此不同，也可以并行地进行防振用光学系统104的驱动和电子防振。
另外，相关信息记录部224也可以设于偏差量换算部214。相关信息记录部224也可以与控制部210分体设置。并且，相关信息记录部224也可以设于与摄像光学系统100及摄像装置200分体的服务器等。
[第4实施方式]
下面，说明第4实施方式。图21是示出第4实施方式的摄像系统的结构的图。在本实施方式中，摄像装置200与第1实施方式一样具有能够安装于摄像装置200的摄像光学系统100。
摄像光学系统100具有光学系统防振机构102和光学状态变更部110。
光学系统防振机构102包括用于使来自被摄体的光束成像于摄像元件的像面上的光学系统。并且，光学系统防振机构102具有防振用光学系统104。在本实施方式中，光学系统防振机构102按照在摄像装置200的抖动量检测部225检测出的抖动量驱动防振用光学系统104。
光学状态变更部110变更摄像光学系统100的光学状态(例如焦点位置和焦距)。光学状态变更部110包括例如通过沿光轴方向进行驱动来调整摄像光学系统100的焦点位置的对焦光学系统、和通过沿光轴方向进行驱动来调整摄像光学系统100的焦距的变倍光学系统。
摄像装置200具有摄像元件防振机构218、记录部204、输入部206、控制部210、抖动量检测部225。其中，记录部204和输入部206与在第1实施方式中说明的内容相同。因此，对它们标注与图7相同的参照标号并省略说明。
摄像元件防振机构218具有能够沿与像面平行的方向进行驱动而构成的摄像元件202。在本实施方式中，摄像元件防振机构218根据在抖动量检测部225检测出的抖动量驱动摄像元件202。
第4实施方式的控制部210具有防振用光学系统驱动量取得部212、偏差量换算部214、畸变像差校正部216、摄像元件驱动量取得部222、切取范围取得部228、以及电子防振部230。其中，防振用光学系统驱动量取得部212、偏差量换算部214、畸变像差校正部216、摄像元件驱动量取得部222、切取范围取得部228及电子防振部230，与在第2或者第3实施方式中说明的内容相同。因此，对它们标注与图14或者图18相同的参照标号并省略说明。
并且，第4实施方式的控制部210在与偏差量换算部214不同的部位具有相关信息记录部224。相关信息记录部224与第2实施方式一样和相关信息记录部108相对应。在相关信息记录部224记录表示与防振用光学系统104的驱动量对应的摄像元件202的像面上的畸变像差的形状、和与图像中心和光轴中心的偏差对应的摄像元件202的像面上的畸变像差的形状之间的相关关系的信息。在本实施方式中，表示相关关系的信息是按照每种光学状态记录的。详情在后面进行说明。
下面，说明第4实施方式的摄像系统10的动作。图22是示出第4实施方式的摄影动作的流程图。在此，图22是动态图像摄影动作的流程图。但是，在下面的动态图像摄影动作中说明的畸变像差校正也能够在静态图像摄影动作中适用。另外，在图22的动作中，对与第1～第3实施方式相同的动作标注与图8、图15或者图19相同的步骤号码，并适当省略说明。
图22的步骤S1-S4的动作与图8的步骤S1-S4的动作相同，因而省略说明。在第4实施方式中，在步骤S4之后进行步骤S14的动作。在步骤S14，控制部210从光学状态变更部110取得摄像光学系统100的光学状态(例如焦点位置及焦距)。
在步骤S5，控制部210将从光学状态变更部110取得的摄像光学系统100的光学状态输入到偏差量换算部214，计算换算中心偏差量。换算中心偏差量的计算例如也可以与第1实施方式一样地进行。但是，在第4实施方式中，根据光学状态计算换算中心偏差量。在这种情况下，偏差量换算部214例如从图23所示那样的将光学状态和系数α对应起来的表中取得与光学状态对应的系数α。
在生成图23的表时的相关关系的计算方式依据第1实施方式或者第2实施方式的(程序1)-(程序5)。但是，不仅改变摄像系统10的移位量，而且也改变光学状态来计算相关关系，这一点与第1实施方式或者第2实施方式的(程序1)-(程序5)不同。在图23中仅记录了以某种程度而间取的光学状态的系数α。关于记录何种程度的数量的系数α，例如可以根据相关信息记录部224的记录容量等适当设定。如果相关信息记录部224的记录容量允许，例如也可以将焦点位置或者焦距设为0.1mm刻度来记录系数α。
并且，在求出关于表中没有的光学状态的换算中心偏差量的情况下，偏差量换算部214例如根据表示焦点位置X及焦距Y与系数α之间的关系的近似式取得任意的光学状态的α。并且，也可以与第3实施方式一样，偏差量换算部214例如参照记录于相关信息记录部224的信息中最接近的光学状态求出换算中心偏差量。在这种情况下，例如在焦距为11mm、焦点位置是接近无限的中间的情况下，偏差量换算部214使用焦点位置无限、焦距为10mm的状态的α。另外，偏差量换算部214也可以通过使用了记录于相关信息记录部224的信息中与当前的光学状态接近的多个光学状态的线性插值等求出换算中心偏差量。例如在焦距为15mm、焦点位置在中间和极近之间的情况下，偏差量换算部214通过使用了以下4个系数的线性插值等求出换算中心偏差量(系数α)，即，焦距为10mm、焦点位置为极近的系数α10-near，焦距为10mm、焦点位置为中间的系数α10-middle，焦距为20mm、焦点位置为极近的系数α20-near，以及焦距为20mm、焦点位置为中间的系数α20-middle。
图22的步骤S9～S10的动作与图15的步骤S9～S10的动作相同，图22的步骤S12～S13的动作与图19的步骤S12～S13的动作相同，因而省略说明。另外，在本实施方式中，像抖的校正量是将防振用光学系统104的驱动量、摄像元件202的驱动量、和基于电子防振的移位量相加而得的。此时的各个驱动量的比例例如是预先设定的。例如，如果驱动比例是1:1:1，则针对检测出的抖动量，防振用光学系统104的驱动量、摄像元件202的驱动量、和基于电子防振的移位量是各33％。
在步骤S6，控制部210将在步骤S5得到的换算中心偏差量输入到畸变像差校正部216，进行对摄像图像的畸变像差校正。例如，畸变像差校正部216把将换算中心偏差量与摄像元件202的驱动导致的图像中心和光轴的偏差量相加而得的值作为图像中心与光轴的偏差量，进行基于式(1)的畸变像差校正。然后，控制部210根据需要进行畸变像差校正以外的校正，将摄像图像记录在记录部204中。
在步骤S7，控制部210判定是否结束摄影动作。例如，当在步骤S7中判定为不结束摄影动作时，处理返回到步骤S2。在这种情况下，摄影动作继续。当在步骤S7中判定为结束摄影动作时，图22的处理结束。
在如上所说明的本实施方式中，能够利用简单的结构高精度地进行考虑了因防振用光学系统的偏心而形成的像面上的畸变像差的变形的畸变像差校正。并且，与防振用光学系统的驱动量对应的摄像元件的像面上的畸变像差的形状、和与图像中心和光轴中心的偏差对应的摄像元件的像面上的畸变像差的形状之间的相关关系，能够根据摄像光学系统的光学状态而变化。在本实施方式中，能够也考虑与摄像光学系统的光学状态对应的畸变像差的变形进行畸变像差校正。
并且，在第4实施方式中使用防振用光学系统的驱动、摄像元件的驱动和电子防振进行抖动的抑制。因此，与单独使用任意一方的情况相比，能够增大可抑制的抖动的大小。
在此，本实施方式的摄像装置200只有一个抖动量检测部225，抖动量检测部225可以是抖动量检测部106和抖动量检测部220中的任意一方。并且，摄像装置200也可以是除抖动量检测部225以外，还具有抖动量检测部106和抖动量检测部220任意一方或者双方。另外，也可以另外设置根据在一个抖动量检测部检测出的抖动量估计必要部位的抖动量的电路。
另外，在图22中一定进行抖动的抑制。抖动的检测及抑制也可以按照摄影者的指示而开始。并且，也可以在摄影动作开始前(例如实时取景图像显示时)实施。
另外，在图22中防振用光学系统104的驱动、摄像元件的驱动和电子防振是依次进行的。与此不同，也可以并行地进行防振用光学系统104的驱动、摄像元件的驱动和电子防振。
另外，相关信息记录部224也可以设于偏差量换算部214。相关信息记录部224也可以与控制部210分体设置。并且，相关信息记录部224也可以设于与摄像光学系统100及摄像装置200分体的服务器等。
另外，也能够将前述的实施方式的各处理存储为能够使作为计算机的CPU等执行的程序。此外，也能够存储在存储卡、磁盘、光盘、半导体存储器等外部存储装置的存储介质中进行分发。并且，CPU等读取在该外部存储装置的存储介质中存储的程序，并按照该读取的程序控制动作，由此能够执行上述的处理。

Claims (13)

1.一种图像处理装置，其对摄像图像进行处理，该摄像图像是由摄像光学系统成像于像面上的像，该摄像光学系统具有根据摄像元件的所述像面上的像抖而被驱动的防振用光学系统，其中，所述图像处理装置具有：
防振用光学系统驱动量取得部，其取得与所述摄像光学系统的光轴垂直的方向上的所述防振用光学系统的驱动量；
畸变像差校正部，其使用所述光轴与所述摄像图像的图像中心之间的偏差量，对所述摄像图像进行基于所述偏差量的、所述像面上的畸变像差的校正；以及
偏差量换算部，其根据与所述防振用光学系统的驱动量对应的所述像面上的畸变像差的形状、和与所述偏差量对应的所述像面上的畸变像差的形状之间的相关关系，计算与所述防振用光学系统驱动量取得部所取得的驱动量对应的所述偏差量作为换算中心偏差量，
所述畸变像差校正部使用所述换算中心偏差量作为所述偏差量进行所述畸变像差的校正。
2.根据权利要求1所述的图像处理装置，其中，
所述偏差量换算部对所述防振用光学系统的驱动量乘以规定的系数，由此计算所述换算中心偏差量。
3.根据权利要求1所述的图像处理装置，其中，
所述偏差量换算部根据对所述防振用光学系统的驱动量和所述换算中心偏差量之间的关系进行近似的近似式，计算所述换算中心偏差量。
4.根据权利要求1所述的图像处理装置，其中，
所述偏差量换算部根据表示所述防振用光学系统的驱动量与所述换算中心偏差量之间的关系的表，计算所述换算中心偏差量。
5.根据权利要求1所述的图像处理装置，其中，
所述偏差量换算部计算与所述摄像光学系统的光学状态对应的所述换算中心偏差量，
所述畸变像差校正部使用与所述摄像光学系统的光学状态对应的所述换算中心偏差量进行所述畸变像差的校正。
6.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还具有：
电子式防振部，其根据所述像面上的像抖变更所述摄像图像的切取范围；以及
电子式防振切取范围变更量取得部，其取得所述电子式防振部对所述摄像图像的切取范围的变更量，
所述畸变像差校正部使用所述换算中心偏差量和所述切取范围的变更量进行所述畸变像差的校正。
7.一种摄像装置，其中，所述摄像装置具有：
权利要求1所述的图像处理装置；以及
所述摄像元件，其拍摄通过所述摄像光学系统而成像的像。
8.根据权利要求7所述的摄像装置，其中，所述摄像装置还具有：
摄像元件防振部，其根据所述像面上的像抖驱动所述摄像元件；以及
摄像元件驱动量取得部，其取得所述摄像元件的驱动量，
所述畸变像差校正部还使用所述摄像元件的驱动量进行所述畸变像差的校正。
9.根据权利要求7所述的摄像装置，其中，所述摄像装置还具有：
电子式防振部，其根据所述像面上的像抖变更所述摄像图像的切取范围；以及
电子式防振切取范围变更量取得部，其取得所述电子式防振部对摄像图像的切取范围的变更量，
所述畸变像差校正部还使用所述切取范围的变更量进行所述畸变像差的校正。
10.根据权利要求7所述的摄像装置，其中，所述摄像装置还具有：
摄像光学系统，其具有所述防振用光学系统；以及
光学防振部，其根据所述像面上的像抖来驱动所述防振用光学系统。
11.根据权利要求10所述的摄像装置，其中，
所述摄像装置还具有抖动量检测部，该抖动量检测部检测所述摄像元件或者所述摄像光学系统的抖动量，
所述防振用光学系统驱动量取得部取得所述防振用光学系统的驱动量，所述防振用光学系统的驱动量是根据所述抖动量检测部检测出的所述抖动量计算的。
12.根据权利要求7所述的摄像装置，其中，
所述摄像装置还具有记录有关所述相关关系的信息的相关信息记录部。
13.一种图像处理方法，对摄像图像进行处理，该摄像图像是由摄像光学系统成像于像面上的像，该摄像光学系统具有根据摄像元件的所述像面上的像抖而被驱动的防振用光学系统，其中，所述图像处理方法包括如下步骤：
取得与所述摄像光学系统的光轴垂直的方向上的所述防振用光学系统的驱动量；
根据与所述防振用光学系统的驱动量对应的所述像面上的畸变像差的形状、和与所述光轴和所述摄像图像的图像中心之间的偏差量对应的所述像面上的畸变像差的形状之间的相关关系，计算与所述防振用光学系统的驱动量对应的所述偏差量作为换算中心偏差量；
使用所述换算中心偏差量作为所述偏差量进行所述畸变像差的校正。
CN201710255678.8A 2016-04-20 2017-04-19 图像处理装置、摄像装置及图像处理方法 Expired - Fee Related CN107306337B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016084744A JP6746364B2 (ja) 2016-04-20 2016-04-20 画像処理装置、撮像装置及び画像処理方法
JP2016-084744 2016-04-20

Publications (2)

Publication Number Publication Date
CN107306337A CN107306337A (zh) 2017-10-31
CN107306337B true CN107306337B (zh) 2020-01-17

Family

ID=60089866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710255678.8A Expired - Fee Related CN107306337B (zh) 2016-04-20 2017-04-19 图像处理装置、摄像装置及图像处理方法

Country Status (3)

Country Link
US (1) US10237485B2 (zh)
JP (1) JP6746364B2 (zh)
CN (1) CN107306337B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
DE102018107950B4 (de) * 2017-04-18 2025-02-20 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung
JP7182994B2 (ja) * 2017-12-07 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7214492B2 (ja) * 2019-02-08 2023-01-30 キヤノン株式会社 撮像装置およびレンズ装置
CN109961410B (zh) * 2019-02-28 2022-12-20 中航华东光电有限公司 一种优化的图像预畸变方法
JP7630509B2 (ja) * 2020-06-09 2025-02-17 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104808416A (zh) * 2014-01-28 2015-07-29 Lg伊诺特有限公司 镜头移动单元和具有镜头移动单元的摄像头模块

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292969A (ja) * 2005-04-08 2006-10-26 Fujinon Corp 像振れ補正装置
JP2006301098A (ja) * 2005-04-18 2006-11-02 Sony Corp 光学装置、レンズユニット及び撮像装置
KR101550868B1 (ko) * 2009-03-19 2015-09-08 한화테크윈 주식회사 렌즈 및 미러에 의한 영상왜곡 보정방법
JP2011215395A (ja) * 2010-03-31 2011-10-27 Canon Inc 収差補正機能を有する撮像装置及び撮像装置における収差補正方法
JP2012070046A (ja) * 2010-09-21 2012-04-05 Sony Corp 収差補正装置、収差補正方法、および、プログラム
KR20130013514A (ko) * 2011-07-28 2013-02-06 삼성전자주식회사 줌 렌즈 및 이를 구비한 촬영 장치
JP5736512B2 (ja) * 2012-06-22 2015-06-17 富士フイルム株式会社 撮像装置およびその動作制御方法
JP5997557B2 (ja) * 2012-09-20 2016-09-28 キヤノン株式会社 撮像装置及びその制御方法
JP6087671B2 (ja) * 2013-03-12 2017-03-01 キヤノン株式会社 撮像装置およびその制御方法
JP2014202922A (ja) * 2013-04-05 2014-10-27 キヤノン株式会社 撮像装置およびその制御方法
JP6253280B2 (ja) * 2013-07-04 2017-12-27 キヤノン株式会社 撮像装置およびその制御方法
JP6209002B2 (ja) * 2013-07-16 2017-10-04 キヤノン株式会社 撮像装置およびその制御方法
JP6223135B2 (ja) * 2013-11-14 2017-11-01 キヤノン株式会社 撮像装置およびその制御方法
JP6257289B2 (ja) * 2013-12-03 2018-01-10 キヤノン株式会社 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP6223161B2 (ja) * 2013-12-10 2017-11-01 キヤノン株式会社 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP6478457B2 (ja) * 2014-01-23 2019-03-06 キヤノン株式会社 焦点調節装置及び焦点調節方法
JP6438671B2 (ja) * 2014-04-10 2018-12-19 オリンパス株式会社 焦点調節装置、カメラシステム、および撮像装置の焦点調節方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104808416A (zh) * 2014-01-28 2015-07-29 Lg伊诺特有限公司 镜头移动单元和具有镜头移动单元的摄像头模块

Also Published As

Publication number Publication date
JP2017194569A (ja) 2017-10-26
US20170310897A1 (en) 2017-10-26
US10237485B2 (en) 2019-03-19
CN107306337A (zh) 2017-10-31
JP6746364B2 (ja) 2020-08-26

Similar Documents

Publication Publication Date Title
CN107306337B (zh) 图像处理装置、摄像装置及图像处理方法
JP6682336B2 (ja) カメラシステム、及びカメラ本体
JP6209002B2 (ja) 撮像装置およびその制御方法
KR101624450B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP6170395B2 (ja) 撮像装置およびその制御方法
JP5011387B2 (ja) 撮像装置
JP2012003233A (ja) 画像処理装置、画像処理方法およびプログラム
JP2017092616A (ja) 像ブレ補正装置及び方法
JP7009107B2 (ja) 撮像装置およびその制御方法
JP2017090580A (ja) 像ブレ補正装置及び方法
CN108737726A (zh) 图像处理设备和方法、摄像设备和计算机可读存储介质
US20190260933A1 (en) Image capturing apparatus performing image stabilization, control method thereof, and storage medium
US20160044241A1 (en) Image processing apparatus for generating wide-angle image by compositing plural images, image processing method, storage medium storing image processing program, and image pickup apparatus
KR20160140193A (ko) 영상 보정 회로 및 그 보정 방법
JP6526273B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP7640635B2 (ja) ぶれ補正装置、撮像装置、監視システム、及びプログラム
US20190260938A1 (en) Image capturing apparatus performing image stabilization, control method thereof, and storage medium
JP6628678B2 (ja) 距離測定装置、撮像装置、および距離測定方法
US10999491B2 (en) Control apparatus, image capturing apparatus, control method, and storage medium
JP2021033015A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
TWI858562B (zh) 電子裝置與其影像穩定功能的增益校正方法
JP2012163852A (ja) ブレ補正装置及び光学機器
CN118540582A (zh) 图像稳定功能的增益校正方法及电子装置
JP7137433B2 (ja) ブレ補正装置、撮像装置、ブレ補正方法、及びプログラム
US20150358544A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200117

CF01 Termination of patent right due to non-payment of annual fee