CN104065871A - 摄像装置及其控制方法 - Google Patents
摄像装置及其控制方法 Download PDFInfo
- Publication number
- CN104065871A CN104065871A CN201410105635.8A CN201410105635A CN104065871A CN 104065871 A CN104065871 A CN 104065871A CN 201410105635 A CN201410105635 A CN 201410105635A CN 104065871 A CN104065871 A CN 104065871A
- Authority
- CN
- China
- Prior art keywords
- signal
- image
- picture signal
- camera head
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/805—Coatings
- H10F39/8057—Optical shielding
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/806—Optical elements or arrangements associated with the image sensors
- H10F39/8063—Microlenses
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
本发明提供摄像装置及其控制方法。在从分割像素的相加信号中减去分割像素的非饱和读出值的结构中,提供了能够针对饱和信号进行焦点检测的摄像装置。该摄像装置包括减法单元和抑制单元。该减法单元通过从作为从图像传感器输出的第一图像信号和第二图像信号的总和而获取的相加信号中,减去从图像传感器输出的第一图像信号,来获得第二图像信号,并且该抑制单元将第一图像信号抑制为等于或小于预定值的值。
Description
技术领域
本公开涉及摄像装置以及该摄像装置的控制方法。本公开还涉及用于使用由与多个光电转换单元相对应的微透镜构成的图像传感器来获得光瞳分割图像的技术,更具体地涉及用于更好地校正由于像素的各光电转换单元中发生的饱和引起的图像失真的技术。
背景技术
传统上,提供了一种用于使用由与多个光电转换单元相对应的微透镜构成的图像传感器来进行焦点检测的技术,其中,获得光瞳分割图像并且获取所获得的两个光瞳分割图像之间的相位差。
例如,日本特开2001-83407号公报讨论了一种用于通过传统信号处理技术来生成查看图像的技术,其中,通过获取光瞳分割图像的相位差来进行焦点检测,同时通过将与同一微透镜相对应的光电转换单元的所有值相加,以将该相加值视为一个像素的值,使得其像素阵列与传统摄像像素的像素阵列相同。
在日本特许第4691930号公报中,在非饱和状态下读取与在同一微透镜内的一部分光电转换单元生成的电荷相对应的值之后,读取与同一微透镜内的所有光电转换单元生成的电荷相对应的相加值。然后,由所读取的值的差值来估计其他光电转换单元的值,使得能够获得相位差图像信号,同时保持摄像像素信号的高感光度特性。
然而,在日本特许第4691930号公报中讨论的上述传统技术中,出现了如下的问题:由于在为了具有更高国际化标准组织(ISO)感光度而增加增益时发生饱和,所以信号波形显著失真。
例如,在ISO200中使用针对ISO100设计的图像传感器的情况下,通过增加增益来将其信号振幅翻倍。
在ISO200中,利用能够存储在图像传感器的像素中的电荷的饱和水平的一半,模拟数字(AD)转换器超出其转换范围而达到明显的饱和水平。能够存储在分割像素中的、作为其相加值的电荷量高达AD转换范围量的两倍。在这种状态下,即使从分割像素的相加值中减去一个分割像素的值,也无法恢复另一分割像素的值。
在极端情况下,如果在所有光电转换单元生成的电荷的相加值以及一个光电转换单元的电荷的值二者均达到饱和水平,则产生如下现象:当从相加值中减去一个值时,其另一个值变为0。在这种情况下,即使通过获取在这种状态下获得的两个光瞳分割图像的相位差来进行焦点检测,也无法正确地进行焦点检测。
发明内容
因此,在从分割像素的相加信号值中减去分割像素的非饱和读取值的结构中,本公开旨在提供一种能够针对饱和信号进行焦点检测的摄像装置。
根据本发明的一方面,提供了一种摄像装置,该摄像装置包括由具有多个光电转换单元的摄像像素构成的图像传感器、以及使用由所述多个光电转换单元检测到的一对图像信号来进行相位差检测型焦点调节的焦点调节单元。该摄像装置包括减法单元以及抑制单元。所述一对图像信号中的一个信号是第一图像信号,而所述一对图像信号中的另一信号是第二图像信号。所述减法单元通过从对从所述图像传感器输出的所述第一图像信号和所述第二图像信号相加而获取的相加信号中,减去从所述图像传感器输出的所述第一图像信号,来生成所述第二图像信号,并且所述抑制单元将所述第一图像信号抑制为等于或小于预定值的值。
通过以下参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。
附图说明
图1是例示根据本发明的示例性实施例的焦点检测像素分离单元的框图。
图2是根据本发明的示例性实施例的图像传感器的截面图。
图3A和图3B是例示根据本发明的示例性实施例的入射光输出特性的图。
图4是根据本发明的示例性实施例的各部分的时序图。
图5是根据本发明的示例性实施例的图像传感器的区域分割图。
图6是例示根据本发明的第一示例性实施例的摄像装置的框图。
图7A至图7C是例示根据本发明的示例性实施例的各部分的信号波形图。
图8是根据本发明的第二示例性实施例的焦点检测像素分离处理的程序的流程图。
图9A和图9B是例示根据本发明的第三和第四示例性实施例的图像A、图像A+B以及图像B的信号波形的波形图。
图10A至图10C是例示根据本发明的第三示例性实施例的入射光输出特性的图。
图11是根据本发明的第三示例性实施例的电路框图。
图12是例示根据本发明的第五示例性实施例的再聚焦处理的成像面的示意图。
图13A和图13B是例示根据本发明的第六示例性实施例的遮蔽特性的图。
图14是例示根据本发明的第六示例性实施例的图像传感器的摄像面的主视图。
图15A至图15C是根据本发明的示例性实施例的摄像面相位差自动聚焦(AF)的原理图。
具体实施方式
以下将参照附图详细描述本发明的各种示例性实施例、特征及方面。
图2是例示根据本发明的示例性实施例的图像传感器的像素的截面图。该像素包括微透镜204、滤色器203、光电转换单元201和202、布线层205。如图2中所示,通过提供具有两个光电转换单元201和202的一个微透镜来进行光瞳分割,并且使用从各光电转换单元201和202获得的图像的相位差来进行焦点检测。
另外,能够通过对光电转换单元201和202的值进行相加来获得完整的光瞳图像。因为滤色器203由以拜耳(Bayer)阵列布置的红色(R)、绿色(G)以及蓝色(B)的各滤波器构成,所以能够使用光电转换单元202和202的相加图像来获得彩色图像。
从光电转换单元201获得的图像被称为图像A,从光电转换单元202获得的图像被称为图像B,通过对光电转换单元201和202的图像进行相加而获得的图像被称为图像A+B。
根据本发明的示例性实施例的图像传感器包括用于在非饱和状态下仅读取图像A的功能、以及用于对光电转换单元201和202的电荷进行相加并读取作为图像A+B的功能。
图5是例示根据本发明的示例性实施例的图像传感器的光接收面的图。宽度501代表整个图像传感器的有效像素,用作图像A+B的读出区域。
宽度502代表能够将图像A读取到的区域。
为了缩短图像传感器读取图像的时间,图像传感器被设计为将图像A仅读取到用于焦点检测的区域。
将参照图4中的时序图来描述根据本发明的示例性实施例的图像传感器的读出定时。
在图4中,信号405代表图像传感器的读出信号的一个水平周期。信号405包括水平空白周期401、图像A读出周期402以及图像A+B读出周期403。如图4中所示,能够在比针对单独读取图像A和图像B的情况短的水平周期内读取所需的信息。
在根据本发明的示例性实施例的摄像装置中,通过从读取的图像A+B中减去读取的图像A来获得图像B。
将参照例示传统技术特性的图3A和图3B的图来描述传统技术的问题。
图3A是例示在ISO100的情况下图像传感器的特性的图。在图3A中,因为通常基于ISO100来设计图像传感器,所以为方便起见,图像传感器的感光度被例示为“ISO100”。因此,该“ISO100”与图像传感器的最小感光度同义使用。
在图3A中,横轴是入射光量,而纵轴是输出水平。在图像A和图像B两者中,根据入射光量增加输出。然而,在图像A和图像B达到了饱和水平后,即使入射光量增加,输出水平也不会增加。
这是因为与入射光量成比例地光电转换的电荷量超出像素的存储容量。
因为图像A+B是图像A和图像B的信号水平的相加值,所以如果图像A和图像B饱和,则即使入射光量增加,图像A+B的输出水平也不会增加。
与之相反,图3B是例示在信号被放大到ISO100中的两倍的ISO200的情况下图像传感器的特性的图。
因为图像传感器的光电转换特性的感光度无法被改变,所以在以更高感光度使用图像传感器的情况下,通过增加AD转换前的模拟放大器的增益来实现感光度的改变。
因此,根据AD转换范围来确定ISO200中的饱和水平。
因此,即使信号水平饱和,光电转换元件转换的电荷也在像素中连续累积。在图3B中,即使图像A+B达到AD转换范围的饱和水平,图像A信号的输出水平也持续上升,从而其输出水平达到与图像A+B的饱和水平相同的值。
图像B具有与图像A相同的特性。然而,通过从图像A+B中减去图像A而生成的图像B的输出在图像A的输出超出图像A+B的饱和水平的一半时开始减少,并在图像A的信号水平与图像A+B一致时变为0。
将参照图7A至图7C中的信号波形图来描述饱和状态下的图像B信号。在图7A中,图像A+B701是图像A+B的波形,而图像A702是图像A的波形。在波形701和702的中央位置发生饱和。图7B例示了由图3B的特性生成的图像B的波形。图像A702是图像A的波形,而图像B703是图像B的波形。图像B703的信号水平在图像A702饱和的部分为0。在焦点检测中,必须检测图像A与图像B的相位差。然而,因为图像在饱和部分显著失真,所以焦点检测的结果将偏离。
本发明的目的在于解决上述问题。
为了解决上述问题,提供了摄像装置,该摄像装置包括由具有多个光电转换单元的摄像像素构成的图像传感器、以及使用由所述多个光电转换单元检测到的一对图像信号来进行摄像面相位差检测型焦点调节的焦点调节单元。摄像装置包括减法单元和抑制单元。所述一对图像信号中的一个信号是第一图像信号,而所述一对图像信号中的另一个信号是第二图像信号。减法单元通过从对从所述图像传感器输出的所述第一图像信号和所述第二图像信号进行相加而获取的相加信号中减去从所述图像传感器输出的所述第一图像信号,来生成所述第二图像信号,抑制单元将所述第一图像信号抑制为等于或小于预定值的值。
相加信号是图像A+B的图像信号,而第二图像信号是图像A的图像信号或图像B的图像信号中的任意一者。
将参照图15A至图15C来描述根据本发明的第一至第四示例性实施例的摄像面相位差AF的光学原理。
下文中,将参照图15A至图15C来描述使用图像A和图像B的摄像装置的测距信息获取操作。
如图15A至图15C中所示,图像传感器包括具有在各微透镜(ML)下分离布置的像素a和像素b的多个单位像素单元P。已知在ML下布置的像素a和像素b是以ML作为出射光瞳的光瞳分割像素。
当进行测距操作时,由像素a和像素b构成的图像A像素和图像B像素的输出分别沿列方向(或行方向)组合,并且图像A和图像B的输出的各个被生成并处理作为相同颜色单位的像素单元组的输出。之后,通过相关计算来求出其相应点之间的偏差。能够通过以下公式求出相关计算的结果。
<公式>
C=Σ|YAn-YBn|
在以上中,“n”代表水平方向上微透镜的数量。另外,通过将相应像素相对Ybn偏移而获取的值被绘制,并且具有最小值的偏差量被确定为对焦位置。在图15A至图15C的下部中例示了偏差量(视差量)与对焦状态之间的关系。
如图15A中所示,在对焦状态下,图像光学系统的成像位置是单位像素单元P7的ML下的位置PD,从而图像A的像素组和图像B的像素组彼此近似一致。此时,通过相关性计算求出的图像A像素组与图像B像素组的图像偏差量D(a)的值近似接近于0。
如图15B中所示,在后焦点状态下,作为图像光学系统的成像位置,图像A的像素在单位像素单元P5的ML下,图像B的像素在单位像素单元P9的ML下。此时,通过相关性计算求出图像A像素组与图像B像素组的图像偏差量D(b)。
如图15C中所示,在前焦点状态下,作为图像光学系统的成像位置,图像A的像素在单位像素单元P9的ML下,图像B的像素在单位像素单元P5的ML下。此时,通过相关性计算求出沿与图15B中的后焦点状态的偏差方向相对的方向偏移的图像A像素组与图像B像素组之间的偏差的图像偏差量D(c)。这表示在对焦状态下图像A像素组与图像B像素组“观察”同一被摄体,而在后焦点状态和前焦点状态下,图像A像素组与图像B像素组“观察”偏移了图像偏差量D的被摄体。
在实际对焦操作中,基于图像偏差量D和基线长度通过已知技术求出散焦量,并将散焦量输出到驱动单元。然后,通过移动图像光学系统来进行针对被摄体的对焦操作。
下文中,将参照图6中的框图来描述根据本发明的第一示例性实施例的摄像装置。该摄像装置包括聚焦透镜601、包括图2所示的像素结构的图像传感器602、以及焦点检测像素分离单元604。
基于来自图像传感器602的输出603,焦点检测像素分离单元604将图像分离为图像A、图像B以及图像A+B。图像A+B被输入到信号处理电路607以被转换为彩色视频信号。图像A和图像B被输入到焦点检测电路608并用于焦点检测。控制微计算机609读取由焦点检测电路608获取的焦点检测结果并控制聚焦透镜601。控制微计算机609控制整个摄像装置。控制微计算机609包括减法单元的功能。
图1是例示图6的焦点检测像素分离单元604的内部电路的框图。输出101是图像传感器602的输出,行存储器103存储图像A信号。定时生成单元104控制焦点检测像素分离单元604的定时。关于输入信号,定时生成单元104通过以预定定时控制开关105、106、107以及108来使图像A+B与图像A同步。
将参照图4的时序图来描述定时。信号405代表输出信号101。信号405按照水平空白周期401、图像A读出周期402、以及图像A+B读出周期403的顺序被输入。图像A读出时间周期402中输入的图像信号通过开关105被输入到图像A行存储器103中。
然后,开关106和开关107在周期404中彼此通信,从而使图像A信号与图像A+B信号同步。从图像A行存储器103中输出波形408。图像A限制器单元109用作根据本发明的抑制单元。图像A限制器单元109将输入限制值102与开关107的输出比较。然后,在其输出超过限制值102的情况下,图像A限制器单元109通过切换内部开关来用限制值102替换输出。
从自开关106输出的A+B信号中减去由此生成的图像A信号,从而生成图像B信号并将其输出到端子110。此外,控制微计算机609将适当的值设置为限制值102。
在第一示例性实施例中,限制值102被设置为近似为图像A+B的饱和水平的一半的值。在图4的时序图中,信号408和信号407分别代表同步的图像A和B。信号406代表从开关108输出的图像A+B。因为提供了图像A限制器单元109,所以即使增加增益以具有诸如ISO200的较高灵敏度,也可以获得图3A所示的特性。图7C是例示针对图像A的值被图像A限制器单元109限制从而不超过预定值的情况的图像A和图像B的波形的波形图。图像A702是图像A的波形,而图像B703是图像B的波形。如图7C中所示,因为图像A和图像B的一致性水平增加,所以可以通过相关性计算获取优选结果,并且焦点检测的精度将被提高。
在图6的焦点检测电路608中,将通过获取图像A与图像B之间的偏差量来计算散焦量。然而,因为其并非本发明的基本主旨,其详细描述将被省略。
在下文中,将参照图8中的流程图来描述根据第二示例性实施例的摄像装置。在第一示例性实施例中,图像A限制器单元109和焦点检测像素分离单元604的各个由电路构成。在本示例性实施例中,通过微计算机来执行作为抑制单元的功能。
图8是图像A的限制处理以及图像B的分离处理的程序的流程图,各个处理基于微计算机的存储器中存储的图像A和图像A+B来执行。
在步骤S801中,中央处理单元(CPU)启动程序。在步骤S802中,CPU初始化输入图像A、输入图像A+B以及输出图像B被存储至的存储器中的地址。在步骤S803中,CPU读取图像A像素。在步骤S804中,CPU将图像A像素的值与限制值比较。在图像A像素的值超过限制值的情况下(步骤S804中“是”),处理进行到步骤S805。在步骤S805中,CPU用限制值替换图像A像素的值。在CPU使或者不使处理从步骤S804进行到步骤S805的任意情况下,CPU都接着使处理进行到步骤S806并且读取图像A+B像素。在图像A像素的值不超出限制值的情况下(步骤S804中“否”),处理进行到步骤S806。在步骤S806中,CPU读取图像A+B像素。
在步骤S807中,CPU从图像A+B像素中减去图像A像素以生成图像B像素,并且将图像B像素写入图像B像素的存储器区域中。在步骤S808中,CPU确定是否全部像素已被处理。在其处理尚未完成的情况下(步骤S808中“否”),处理进行到步骤S809。在步骤S809中,CPU将输入-输出指针向前移动并且使处理进行到步骤S803。
CPU针对全部像素执行步骤S803至S808中的处理。当全部像素已被处理时(步骤S808中“是”),处理进行到步骤S810,使得CPU结束处理。
在下文中,将描述第三示例性实施例。图9A是例示图像A、图像A+B及图像B的信号的波形图。图像A+B901是图像A+B的信号波形,图像B902是图像B的信号波形,图像A903是图像A的信号波形。图9B例示了利用第一示例性实施例中描述的电路获得的图像A903和图像B902的信号波形。
线905代表针对图像A903和图像B902的限制值。此时,因为图像A+B901尚未达到饱和水平,所以即使图像A903未被限制为限制值,也可以正确获得图像B902。然而,因为图像A903被限制,所以图像A903中最初包括的振幅在减法后转移至图像B902。
在图9B中,由部分906表示的区域示出了图像A903的振幅转移至图像B902。当图像A+B901不饱和时,即使图像A903超出预定值(阈值),也可以通过减法正确获得图像B902。因此,为了避免上述现象,在确定图像A+B901是否饱和后可以用限制值替换其值。
如果根据图像A+B901是否饱和来用限制值替换该值,则存在信号水平可能会在替换部分骤变的风险。因为信号水平中的该骤变可能引起不自然噪声,所以限制值和非限制值必须被平滑替换。
图10C是例示针对用限制值平滑替换非限制值的情况的入射光量与输出之间的关系的图。限制值相对非限制值的混合比率从略小于图像A+B901的饱和值的值逐渐改变,从而其值在图像A+B901达到了饱和水平的点被完全改变为限制值。如上所述,当图像A+B901不在饱和点附近时,将不应用限制值。利用该结构,如图9A中所示的图像A903和图像B902可以在许多情况下被获得。
将参照图11中所示的电路图来描述本示例性实施例的结构。图11是根据本示例性实施例的电路图,例示了与图1的图像A限制器单元109对应的部分。图像A限制值1105是如第一示例性实施例中描述的相同的限制值。紧接在开关1110之后的信号是如第一示例性实施例中描述的相同的信号。在本示例性实施例中,除了第一示例性实施例中描述的结构的信号外,还采用图像A+B。通过计算单元1107获取图像A+B1103与限制器有效预定值(阈值)1101之差,并且所获取的值被输入到限制器1108。限制器1108用0替换负值。因此,当图像A+B1103的值小于限制器有效预定值(阈值)1101时,限制器1108的值将为0。
要作为完整限制阈值1102输入的值是用限制值完全替换的预定值(阈值)。一般地,对其设置与图像A+B的饱和水平相等的值。减法单元1106输出限制器有效预定值(阈值)1101与饱和水平之差。该差值用作针对限制值相对非限制值的混合比率中的变化的分辨率。当限制器1108的输出为“比率”并且减法器单元1106的输出为“分辨率”时,“比率”可以采用从0到“分辨率”的值。
另外,因为减法单元1113从“分辨率”中减去“比率”,所以当“比率”为0时,减法单元1113的输出值等于“分辨率”,而当“比率”等于“分辨率”时,输出值为0。图像A1104和图像A限制值1105分别与“比率”和“分辨率-比率”相乘,通过加法单元1114被相加到一起,然后通过除法单元1115除以“分辨率”。通过以上结构,图像A1104和图像A限制值1105以通过“比率/分辨率”的计算确定的比率来被混合。
在本示例性实施例中,基于相加信号来确定限制后图像A信号相对限制前图像A信号的混合比率,并且利用以该混合比率混合的信号来执行相位差检测型焦点调节。
利用该结构,当图像A+B不饱和时,能够与图像A与图像B之间的平衡无关地获取正确的值,而当图像A+B饱和时,对图像A应用限制值。另外,因为在图像A+B饱和的时刻不突然对其应用限制值,所以其波形将不失真。在本示例性实施例中,描述了用于平滑切换到限制处理的电路。
在第四示例性实施例中,摄像装置包括第一相关性计算单元以及第二相关性计算单元。第一相关性计算单元在不对图像A应用限制值的情况下利用图9A的图像A和图像B来执行相关性计算,第二相关性计算单元利用通过采用第一示例性实施例中描述的图像A限制器单元109获得的图9B的图像A和图像B来执行相关性计算。在本示例性实施例中,摄像装置通过从由第一相关性计算单元获取的相关性计算结果以及由第二相关性计算单元获取的相关性计算结果中选择,来使用最可靠的相关性计算结果。在本示例性实施例中,采用绝对值差和(SAD)来确定最可靠的相关性计算结果的最小值。
SAD用作表示针对其偏差量的最相关的图像之间的相似度的指标。利用该结构,在诸如图9B的部分906中所示的失真的图像A限制器单元109的负面效果变得大于诸如偏差量的改善的图像A限制器单元109的有益效果的情况下,选择利用图9A的波形获取的相关性计算结果,由此使得能够获取更好的结果。
换言之,根据本示例性实施例,摄像装置包括被构造为进行第一相位差信号和第二相位差信号的可靠性确定的可靠性确定单元。由抑制单元进行抑制前的第一图像信号(图像A信号)以及使用抑制单元进行抑制前的第一图像信号计算的第二图像信号(图像B信号)来获取第一相位差信号。由抑制单元进行抑制后的第一图像信号以及使用抑制单元进行抑制后的第一图像信号计算的第二图像信号来获取第二相位差信号。在摄像装置中,焦点调节单元从第一相位差信号和第二相位差信号中利用具有较高可靠性的相位差信号来进行相位差检测型焦点调节。
在第一至第四示例性实施例中,通过进行图像A和图像B的相关性计算来执行焦点调节。在第五示例性实施例中,将执行再聚焦处理。图12是例示再聚焦处理的成像面的示意图。图像传感器由微透镜204以及光电转换元件1201至1204构成。光电转换元件1201和1204被布置在图像传感器的表面上,光电转换元件1201被布置在作为从左的第二图像B像素的图像B像素B2上。
通过将与同一微透镜相对应的像素A和像素B的信号(诸如图12中的像素A1和像素B1或者像素A2和像素B2的信号)相加来获取摄像面上形成的图像A+B。假设紧接摄像面之后的平面为再聚焦位置,进入光电转换元件1201的光束将进入光电转换元件1202的传感器。同样,进入光电转换元件1204的光束将进入光电转换元件1203。
根据本示例性实施例,摄像装置包括减法单元和抑制单元。一对信号中的一个信号为第一信号,而一对信号中的另一信号为第二信号。减法单元通过从将从图像传感器输出的第一信号和第二信号相加而获取的相加信号中减去从图像传感器输出的第一信号来生成第二信号,抑制单元将第一信号抑制为等于或小于预定值的值。
通过采用上述原理,利用光电转换元件1202和1203的组合,对像素A和像素B的信号进行相加,能够以伪方式获得在摄像面前后位置获得的图像。除了焦点检测外,根据本发明的技术还可以应用到上述再聚焦图像的获取。
在第六示例性实施例中,为了使预定值符合遮蔽特性,根据摄像面的位置或透镜的光学特性来改变限制值。
将参照图13A所示的透镜的截面图来描述遮蔽的原因。透镜包括前透镜1301、光圈1302以及后透镜1303。前透镜1301的框架称为前框架,而后透镜1303的框架称为后框架。摄像面1304位于后透镜1303侧上。
图13B是例示从摄像面1304的位置x和位置y观看到的前透镜1301、光圈1302以及后透镜1303的各个框架的重叠状态的图。在图13B中,仅光圈1302限制从位置x观看到的光量。然而,当从位置y观看时,除了光圈1302的限制外,前透镜1301和后透镜1303的前框架和后框架也限制光量。
图14是例示在图13B的位置y中的光接收范围与图像传感器的光电转换单元201和202重叠的状态。如图14中所示,光接收范围在光电转换单元201与202中显著不同。如上所述,“遮蔽”是光量随着摄像面从光轴中心偏离而减少以使图像高度增加的现象,并且光瞳分割的图像具有图像随着其图像高度增加而变得不平衡的特性。
在第一示例性实施例中,限制值102被设置为图像A+B的饱和水平的一半。然而,对焦面上的像素的信号水平的比率、或者像素A到像素B的信号水平的比率与遮蔽变化的值近似相同。因此,限制值可期望符合遮蔽平衡比率。
如上参照图13所描述的,遮蔽的状态受到透镜框架的大小以及摄像面与透镜框架之间的距离影响。
在第六示例性实施例中,根据摄像面的位置来改变限制值。还根据透镜的结构来改变限制值。
在第一至第六示例性实施例中,描述了包括两个光电转换单元的微透镜。然而,如果微透镜包括多于两个的光电转换单元,则能够获得如上所述的相同效果。另外,在第一和第二示例性实施例中,描述了以Bayer阵列布置的RGB滤色器。然而,通过互补滤色器能够获得相同效果。
如上描述了根据本发明的优选示例性实施例。然而,本发明并不限于上述示例性实施例,在本发明的范围内可以进行多种变化及修改。
根据本发明,在用于从相加信号减去一个信号的系统中,能够适当地处理饱和信号。
其他实施例
本发明的实施例还可以通过读出并执行记录在存储介质(例如,非暂时性计算机可读存储介质)上的用于执行本发明的上述实施例中的一个或更多个的功能的计算机可执行指令的系统或装置的计算机来实现,以及通过由系统或装置的计算机通过例如从存储介质读出并执行用于进行上述实施例中的一个或更多个的功能的计算机可执行指令来执行的方法来实现。所述计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一者或更多,并且可以包括独立的计算机或独立的计算机处理器的网络。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩盘(CD)、数字通用盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等中的一者或更多。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释,以使所述范围涵盖所有的此类变型例以及等同结构和功能。
Claims (8)
1.一种摄像装置,其包括具有多个光电转换单元的图像传感器、以及用于使用由所述多个光电转换单元检测到的一对图像信号来进行相位差检测型焦点调节的焦点调节单元,该摄像装置包括:
减法单元,其被配置为在所述一对图像信号包括第一图像信号和第二图像信号的情况下,通过从作为从所述图像传感器输出的所述第一图像信号和所述第二图像信号的总和而获取的相加信号中,减去从所述图像传感器输出的所述第一图像信号,来获得所述第二图像信号;以及
抑制单元,其被配置为将所述第一图像信号抑制为等于或小于预定值的值。
2.根据权利要求1所述的摄像装置,其中,所述图像传感器包括具有所述多个光电转换单元的摄像像素,并且所述预定值根据所述摄像像素在摄像面内的位置和/或图像光学系统的光学特性而改变。
3.根据权利要求1所述的摄像装置,其中,所述图像传感器放大并输出所述第一图像信号和所述第二图像信号。
4.根据权利要求1所述的摄像装置,
其中,所述摄像装置基于所述相加信号,确定所述抑制单元进行抑制后的第一图像信号与所述抑制单元进行抑制前的第一图像信号的混合比率;并且
其中,所述焦点调节单元使用以所述混合比率混合的信号来进行相位差检测型焦点调节。
5.根据权利要求4所述的摄像装置,该摄像装置还包括:
可靠性确定单元,其被配置为进行第一相位差信号和第二相位差信号的可靠性确定,其中,由所述抑制单元进行抑制前的第一图像信号以及使用所述抑制单元进行抑制前的第一图像信号计算出的第二图像信号来获取所述第一相位差信号,并且由所述抑制单元进行抑制后的第一图像信号以及使用所述抑制单元进行抑制后的第一图像信号计算出的第二图像信号来获取所述第二相位差信号,
其中,所述焦点调节单元使用所述第一相位差信号和所述第二相位差信号中的具有更高可靠性的一者,来进行相位差检测型焦点调节。
6.一种摄像装置,其包括具有多个光电转换单元并且输出由所述多个光电转换单元检测到的一对信号的图像传感器,该摄像装置包括:
减法单元,其被配置为在所述一对信号包括第一信号和第二信号的情况下,通过从作为从所述图像传感器输出的所述第一信号和所述第二信号的总和而获取的相加信号中,减去从所述图像传感器输出的所述第一信号,来获得所述第二信号;以及
抑制单元,其被配置为将所述第一信号抑制为等于或小于预定值的值。
7.一种摄像装置的控制方法,该摄像装置使用通过构成图像传感器的摄像像素的多个光电转换单元检测到的一对图像信号,来进行相位差检测型焦点调节,该控制方法包括以下步骤:
在所述一对图像信号包括第一图像信号和第二图像信号的情况下,从作为从所述图像传感器输出的所述第一图像信号和所述第二图像信号的总和而获取的相加信号中,减去从所述图像传感器输出的所述第一图像信号;以及
将所述第一图像信号抑制为等于或小于预定值的值。
8.一种摄像装置的控制方法,该摄像装置输出通过构成图像传感器的摄像像素的多个光电转换单元检测到的一对信号,该控制方法包括以下步骤:
在所述一对信号包括第一信号和第二信号的情况下,从作为从所述图像传感器输出的所述第一信号和所述第二信号的总和而获取的相加信号中,减去从所述图像传感器输出的所述第一信号;以及
将所述第一信号抑制为等于或小于预定值的值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013058767A JP6116301B2 (ja) | 2013-03-21 | 2013-03-21 | 撮像装置及びその制御方法 |
| JP2013-058767 | 2013-03-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104065871A true CN104065871A (zh) | 2014-09-24 |
| CN104065871B CN104065871B (zh) | 2017-10-24 |
Family
ID=51553384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410105635.8A Active CN104065871B (zh) | 2013-03-21 | 2014-03-20 | 摄像装置及其控制方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9602713B2 (zh) |
| JP (1) | JP6116301B2 (zh) |
| KR (1) | KR101628680B1 (zh) |
| CN (1) | CN104065871B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105979160A (zh) * | 2015-03-11 | 2016-09-28 | 佳能株式会社 | 摄像装置及摄像装置的控制方法 |
| CN107370939A (zh) * | 2016-05-12 | 2017-11-21 | 佳能株式会社 | 焦点检测装置及其控制方法、摄像设备和计算机可读介质 |
| CN107979717A (zh) * | 2016-10-24 | 2018-05-01 | 奥林巴斯株式会社 | 摄像装置 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6234054B2 (ja) * | 2013-04-25 | 2017-11-22 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
| JP5865299B2 (ja) * | 2013-06-27 | 2016-02-17 | オリンパス株式会社 | 焦点調節装置、カメラシステム、及び焦点調節方法 |
| JP6600170B2 (ja) * | 2014-07-07 | 2019-10-30 | キヤノン株式会社 | 撮像素子及びその制御方法並びに撮像装置 |
| JP6486051B2 (ja) * | 2014-09-29 | 2019-03-20 | キヤノン株式会社 | 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置 |
| JP6426992B2 (ja) * | 2014-12-08 | 2018-11-21 | キヤノン株式会社 | 撮像装置、焦点検出方法、プログラム、及び記憶媒体 |
| JP6218799B2 (ja) | 2015-01-05 | 2017-10-25 | キヤノン株式会社 | 撮像素子及び撮像装置 |
| US10070088B2 (en) * | 2015-01-05 | 2018-09-04 | Canon Kabushiki Kaisha | Image sensor and image capturing apparatus for simultaneously performing focus detection and image generation |
| JP6491539B2 (ja) * | 2015-05-22 | 2019-03-27 | キヤノン株式会社 | 撮像装置及びその制御方法、システムならびにプログラム |
| JP6541477B2 (ja) * | 2015-07-02 | 2019-07-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
| JP2017022528A (ja) * | 2015-07-09 | 2017-01-26 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラムならびに撮像装置 |
| JP6602109B2 (ja) * | 2015-08-28 | 2019-11-06 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 |
| US9961255B2 (en) | 2016-02-09 | 2018-05-01 | Canon Kabushiki Kaisha | Image capturing apparatus, control method thereof, and storage medium |
| EP3211673B1 (de) * | 2016-02-16 | 2020-11-04 | Espros Photonics AG | Hdr pixel |
| JP6941011B2 (ja) | 2017-09-04 | 2021-09-29 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| US10924655B2 (en) | 2017-11-06 | 2021-02-16 | Canon Kabushiki Kaisha | Image-capturing apparatus and control method thereof |
| JP7051613B2 (ja) * | 2017-11-06 | 2022-04-11 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JP7425562B2 (ja) | 2019-08-14 | 2024-01-31 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JP2023116360A (ja) * | 2022-02-09 | 2023-08-22 | キヤノン株式会社 | 制御装置、電子機器、制御方法、及びプログラム |
| JP2024008154A (ja) | 2022-07-07 | 2024-01-19 | キヤノン株式会社 | 画像処理装置、表示装置および画像処理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001083407A (ja) * | 1999-09-13 | 2001-03-30 | Canon Inc | 撮像装置 |
| US20100182478A1 (en) * | 2007-07-03 | 2010-07-22 | Yasuhiro Sawada | Image Processing Device, Imaging Device, Image Processing Method, Imaging Method, And Image Processing Program |
| US20110199506A1 (en) * | 2008-11-11 | 2011-08-18 | Canon Kabushiki Kaisha | Focus detection apparatus and control method therefor |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3486316B2 (ja) * | 1996-03-15 | 2004-01-13 | ペンタックス株式会社 | 測量機の自動焦点装置 |
| JP2000266991A (ja) * | 1999-03-18 | 2000-09-29 | Canon Inc | 焦点検出装置及びオートフォーカスカメラ |
| JP3491085B2 (ja) | 1999-06-21 | 2004-01-26 | 好高 青山 | 蛇口ユニット |
| JP4691930B2 (ja) | 2004-09-10 | 2011-06-01 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール |
| JP5028154B2 (ja) * | 2007-06-20 | 2012-09-19 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5543098B2 (ja) * | 2008-11-14 | 2014-07-09 | キヤノン株式会社 | 撮像装置 |
| JP2012027390A (ja) * | 2010-07-27 | 2012-02-09 | Olympus Corp | 撮像装置 |
| JP5676962B2 (ja) * | 2010-08-03 | 2015-02-25 | キヤノン株式会社 | 焦点検出装置および撮像装置 |
| JP4821921B2 (ja) * | 2010-09-03 | 2011-11-24 | ソニー株式会社 | 固体撮像装置および電子機器 |
| JP5293716B2 (ja) * | 2010-09-30 | 2013-09-18 | 株式会社ニコン | 交換レンズ、カメラボディおよびカメラシステム |
| JP5742313B2 (ja) * | 2011-03-10 | 2015-07-01 | 株式会社ニコン | 撮像装置 |
| US20130002936A1 (en) * | 2011-06-30 | 2013-01-03 | Nikon Corporation | Image pickup apparatus, image processing apparatus, and storage medium storing image processing program |
| JP5618943B2 (ja) * | 2011-08-19 | 2014-11-05 | キヤノン株式会社 | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム |
| US8749640B2 (en) * | 2011-10-11 | 2014-06-10 | Raytheon Company | Blur-calibration system for electro-optical sensors and method using a moving multi-focal multi-target constellation |
| JP2014183206A (ja) * | 2013-03-19 | 2014-09-29 | Sony Corp | 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器 |
| JP6317548B2 (ja) * | 2013-04-10 | 2018-04-25 | キヤノン株式会社 | 撮像装置及びその制御方法 |
-
2013
- 2013-03-21 JP JP2013058767A patent/JP6116301B2/ja active Active
-
2014
- 2014-03-17 KR KR1020140030786A patent/KR101628680B1/ko active Active
- 2014-03-18 US US14/217,795 patent/US9602713B2/en active Active
- 2014-03-20 CN CN201410105635.8A patent/CN104065871B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001083407A (ja) * | 1999-09-13 | 2001-03-30 | Canon Inc | 撮像装置 |
| US20100182478A1 (en) * | 2007-07-03 | 2010-07-22 | Yasuhiro Sawada | Image Processing Device, Imaging Device, Image Processing Method, Imaging Method, And Image Processing Program |
| US20110199506A1 (en) * | 2008-11-11 | 2011-08-18 | Canon Kabushiki Kaisha | Focus detection apparatus and control method therefor |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105979160A (zh) * | 2015-03-11 | 2016-09-28 | 佳能株式会社 | 摄像装置及摄像装置的控制方法 |
| CN105979160B (zh) * | 2015-03-11 | 2019-01-18 | 佳能株式会社 | 摄像装置及摄像装置的控制方法 |
| CN107370939A (zh) * | 2016-05-12 | 2017-11-21 | 佳能株式会社 | 焦点检测装置及其控制方法、摄像设备和计算机可读介质 |
| US10523860B2 (en) | 2016-05-12 | 2019-12-31 | Canon Kabushiki Kaisha | Focus detection device, control method thereof, and image capture apparatus |
| CN107370939B (zh) * | 2016-05-12 | 2020-06-12 | 佳能株式会社 | 焦点检测装置及其控制方法、摄像设备和计算机可读介质 |
| CN107979717A (zh) * | 2016-10-24 | 2018-05-01 | 奥林巴斯株式会社 | 摄像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140285707A1 (en) | 2014-09-25 |
| JP6116301B2 (ja) | 2017-04-19 |
| US9602713B2 (en) | 2017-03-21 |
| KR101628680B1 (ko) | 2016-06-09 |
| KR20140115989A (ko) | 2014-10-01 |
| CN104065871B (zh) | 2017-10-24 |
| JP2014182360A (ja) | 2014-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104065871B (zh) | 摄像装置及其控制方法 | |
| US9736410B2 (en) | Image pickup apparatus capable of selectively using one of correction values to correct image signals, image pickup system, signal processing method, and non-transitory computer-readable storage medium | |
| CN104285436B (zh) | 摄像装置和摄像装置的控制方法 | |
| US10015376B2 (en) | Imaging apparatus with phase difference focus detection and method for controlling same | |
| US10033951B2 (en) | Image sensor that performs different readout operations and image capturing apparatus including image sensor | |
| JP6381274B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP6021622B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN104919352B (zh) | 摄像装置和图像校正方法以及图像处理装置和图像处理方法 | |
| US10009559B2 (en) | Imaging apparatus, method for controlling the same, and program | |
| US9503661B2 (en) | Imaging apparatus and image processing method | |
| US10630882B2 (en) | Image pickup apparatus having function of correcting defocusing and method for controlling the same | |
| CN105144697A (zh) | 摄像装置、照相机系统以及图像处理方法 | |
| JP6460669B2 (ja) | 撮像装置 | |
| JP6748477B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
| US9736354B2 (en) | Control apparatus, image pickup apparatus, control method, and storage medium | |
| US10477098B2 (en) | Control apparatus which sets defocus amount used for focusing, image capturing apparatus, control method, and storage medium | |
| US10341556B2 (en) | Image capturing apparatus and control method therefor | |
| JP5792349B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP2018014625A (ja) | 画像処理装置およびその制御方法、撮像装置 | |
| JP2018014626A (ja) | 画像処理装置およびその制御方法、撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |