WO2015141081A1 - 撮像装置及び合焦制御方法 - Google Patents
撮像装置及び合焦制御方法 Download PDFInfo
- Publication number
- WO2015141081A1 WO2015141081A1 PCT/JP2014/082796 JP2014082796W WO2015141081A1 WO 2015141081 A1 WO2015141081 A1 WO 2015141081A1 JP 2014082796 W JP2014082796 W JP 2014082796W WO 2015141081 A1 WO2015141081 A1 WO 2015141081A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- unit
- region
- detection
- signal detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
- H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Definitions
- the present invention relates to an imaging apparatus and a focus control method.
- an information device having the above imaging function is referred to as an imaging device.
- These imaging apparatuses employ a phase difference AF (Auto Focus) method (see, for example, Patent Documents 1 to 3) as a focusing control method for focusing on a main subject.
- AF Auto Focus
- phase difference detection pixels whose light shielding film openings are decentered in opposite directions are discretely distributed on the entire imaging surface. The provided one is used.
- This phase difference detection pixel has a lower sensitivity than a normal imaging pixel in which the light shielding film opening is not decentered with respect to the photoelectric conversion unit. Therefore, when the subject has low illuminance, the detection signal level of the phase difference detection pixel is lowered. In order to compensate for such a decrease in the detection signal level, if the gain calculation is simply performed and the correlation calculation is performed, an error occurs in the correlation calculation result. Therefore, the signal amount is increased by adding the detection signals of the phase difference detection pixels.
- Patent Document 1 describes a configuration in which detection signals of a plurality of phase difference detection pixels arranged in an oblique direction are added, and a correlation calculation is performed using the added detection signals to generate a defocus amount.
- Patent Document 2 discloses a configuration in which detection signals of a plurality of phase difference detection pixels having the same horizontal position are added and a defocus amount is generated based on the added detection signal.
- a detection signal is added by a plurality of phase difference detection pixels arranged in a specific direction, and correlation calculation is performed using the detection signal after the addition.
- a bright subject portion is imaged on some of the plurality of phase difference detection pixels, and a dark subject portion is imaged on the remaining portions of the plurality of phase difference detection pixels.
- the edges are blurred due to the addition of the detection signals, an error occurs in the correlation calculation result of the detection signals after the addition.
- the present invention has been made in view of the above circumstances, and an imaging apparatus capable of improving the accuracy of focusing control regardless of the subject even when the detection signal level of the phase difference detection pixel is low.
- An object is to provide a focusing control method.
- An imaging apparatus includes a first signal detection unit that detects a signal corresponding to a light beam that has passed through one of the pupil regions of the imaging optical system that is divided into two divided regions in one direction, and And a plurality of the first signal detectors and the first signal detectors having a pair of second signal detectors for detecting a signal corresponding to the light flux that has passed through the other divided region and arranged in the one direction.
- An imaging element having an imaging surface in which a plurality of second signal detection units that are paired with each other are arranged in a direction orthogonal to the one direction, and a plurality of regions in an arbitrary region of the plurality of regions
- Each of the first signal detection units is paired with each of the plurality of first signal detection units and the first signal detection unit to be added with a detection signal in each region excluding the arbitrary region.
- the second signal detection unit that forms An addition target determining unit that determines the second signal detection unit to be added to a detection signal in a region by comparing subject images formed in each of the plurality of regions, and the plurality of the plurality of signals in the arbitrary region Detection signal group obtained by adding each detection signal of the first signal detection unit and the detection signal of the first signal detection unit determined as the addition target for each first signal detection unit And detection signals of each of the plurality of second signal detection units in the arbitrary region, and detection signals of the second signal detection unit determined as addition targets for the respective second signal detection units Based on the first defocus amount, a defocus amount generation unit that generates a first defocus amount from the result of the correlation calculation, and a correlation calculation with the detection signal group obtained by adding Of the above imaging optical system Comprising a focusing control unit for performing focus control, the.
- the focus control method of the present invention includes a first signal detection unit that detects a signal corresponding to a light beam that has passed through one of the pupil regions of the imaging optical system that is divided in one direction, and the other
- a pair of second signal detectors for detecting a signal corresponding to the light flux that has passed through the divided region, and a plurality of the first signal detectors and the first signal detectors arranged in one direction are paired with each other.
- a focusing control method for an imaging apparatus having an imaging surface in which a region where the second signal detection unit to be assembled is arranged has an imaging surface arranged in a direction orthogonal to the one direction, and having an imaging element for imaging a subject through the imaging optical system.
- the first signal to be added to the detection signal in each region except the arbitrary region A detection unit and each of the plurality of first signal detection units.
- the second signal detection unit that forms an image of the subject image that forms an image on each of the plurality of regions with the second signal detection unit that is the addition target of the detection signal in each region except for the arbitrary region.
- the addition target determination step determined by comparison, the detection signals of each of the plurality of first signal detection units in the arbitrary region, and the first determination unit determined as the addition target for each of the first signal detection units
- Generate defocus Comprising a generation step, and a focus control step performs a focusing control of the imaging optical system based on said first defocus amount.
- an imaging apparatus and a focus control method capable of improving the accuracy of focus control regardless of the subject even when the detection signal level of the phase difference detection pixel is low. it can.
- FIG. 1 is a diagram illustrating a schematic configuration of a digital camera as an example of an imaging apparatus for describing an embodiment of the present invention.
- FIG. 2 is a schematic plan view showing an overall configuration of an image sensor 5 mounted on the digital camera shown in FIG. 1.
- FIG. 3 is a partially enlarged view of one AF area 53 shown in FIG. 2.
- FIG. 4 is a diagram showing only phase difference detection pixels 52A and 52B shown in FIG. 3; It is a figure which shows the cross-sectional structure of 52 A of phase difference detection pixels shown in FIG. It is a figure for demonstrating the method of determining an addition object pixel. It is a figure which shows the modification of the edge D shown in FIG. 4 is a flowchart for explaining an autofocus operation of the digital camera shown in FIG. 1.
- FIG. 1 is a diagram showing a schematic configuration of a digital camera as an example of an imaging apparatus for explaining an embodiment of the present invention.
- the digital camera shown in FIG. 1 includes a lens device having an imaging lens 1 including a focus lens for adjusting the focus, a zoom lens, and the like, and an aperture 2.
- the lens device constitutes an imaging optical system.
- the lens device shown in FIG. 1 is fixed to the camera body, but may be exchangeable for another lens device.
- the imaging lens 1 only needs to include at least a focus lens.
- the focus lens may be a single focus lens that performs focus adjustment by moving the entire lens system.
- the digital camera includes a CCD type or CMOS type imaging device 5 that images a subject through a lens device, and an analog signal processing unit 6 that performs analog signal processing such as correlated double sampling processing connected to the output of the imaging device 5. And an A / D conversion circuit 7 for converting an analog signal output from the analog signal processing unit 6 into a digital signal.
- the analog signal processing unit 6 and the A / D conversion circuit 7 are controlled by the system control unit 11.
- the analog signal processing unit 6 and the A / D conversion circuit 7 may be built in the image sensor 5.
- a system control unit 11 that performs overall control of the entire electric control system of the digital camera controls the lens driving unit 8 to drive a focus lens included in the imaging lens 1 to focus on a main subject, or to perform imaging. The position of the zoom lens included in the lens 1 is adjusted. Further, the system control unit 11 adjusts the exposure amount by controlling the aperture amount of the aperture 2 via the aperture drive unit 9.
- system control unit 11 drives the imaging device 5 via the imaging device driving unit 10 and outputs the subject image captured through the imaging lens 1 as a captured image signal.
- An instruction signal from the user is input to the system control unit 11 through the operation unit 14.
- This instruction signal includes an instruction signal for instructing execution of focusing control of the imaging optical system.
- the electric control system of the digital camera includes an interpolation calculation and a gamma correction for the main memory 16, the memory control unit 15 connected to the main memory 16, and the captured image signal output from the A / D conversion circuit 7.
- a digital signal processing unit 17 that performs calculation and RGB / YC conversion processing to generate captured image data, a phase difference AF processing unit 19, and an external memory control unit 20 to which a detachable recording medium 21 is connected;
- a display control unit 22 to which a display unit 23 mounted on the back of the camera or the like is connected.
- the memory control unit 15, the digital signal processing unit 17, the phase difference AF processing unit 19, the external memory control unit 20, and the display control unit 22 are connected to each other by a control bus 24 and a data bus 25. Controlled by command.
- FIG. 2 is a schematic plan view showing the overall configuration of the image sensor 5 mounted on the digital camera shown in FIG.
- the imaging element 5 has an imaging surface 50 on which a large number of pixels arranged in a two-dimensional manner are arranged in a row direction X and a column direction Y orthogonal thereto.
- nine AF areas 53 which are areas to be focused, are set in the example of FIG.
- the AF area 53 is an area including imaging pixels and phase difference detection pixels as pixels.
- the imaging pixels are arranged in the portion of the imaging surface 50 excluding the AF area 53.
- the AF area 53 may be provided on the imaging surface 50 without a gap.
- FIG. 3 is a partially enlarged view of one AF area 53 shown in FIG.
- pixels 51 are two-dimensionally arranged.
- Each pixel 51 includes a photoelectric conversion unit such as a photodiode and a color filter formed above the photoelectric conversion unit.
- a pixel 51 (R pixel 51) including a color filter (R filter) that transmits red light is denoted by “R”, and a pixel 51 including a color filter (G filter) that transmits green light.
- the letter “G” is assigned to (G pixel 51), and the letter “B” is assigned to pixel 51 (B pixel 51) including a color filter (B filter) that transmits blue light.
- the color filter array is a Bayer array over the entire imaging surface 50.
- phase difference detection pixels 52A and 52B In the AF area 53, part of the G pixel 51 (the shaded pixels in FIG. 3) are phase difference detection pixels 52A and 52B.
- each G pixel 51 in an arbitrary pixel row among the pixel rows including the R pixel 51 and the G pixel 51 is a phase difference detection pixel 52A.
- the G pixel 51 of the same color closest to the column direction Y with respect to each G pixel 51 is a phase difference detection pixel 52B.
- a phase difference detection pixel 52A and a phase difference detection pixel 52B of the same color closest to the column direction Y form a pair.
- FIG. 4 is a diagram showing a plurality of pairs arranged in the X direction shown in FIG.
- the phase difference detection pixel 52A receives a light beam that has passed through one divided area of the pupil area of the imaging lens 1 divided in one direction (X direction in the example of FIG. 3), and detects a signal corresponding to the amount of light received. It is a 1st signal detection part.
- the phase difference detection pixel 52B is a second signal detection unit that receives a light beam that has passed through the other divided region of the pupil region of the imaging lens 1 and detects a signal corresponding to the amount of received light.
- the plurality of pixels 51 other than the phase difference detection pixels 52A and 52B are imaging pixels.
- This imaging pixel is a third signal detection unit that receives a light beam that has passed through both of the two divided regions of the pupil region of the imaging lens 1 and detects a signal corresponding to the amount of received light.
- the AF area 53 includes a plurality of phase difference detection pixels 52A arranged in the X direction, and a phase difference detection pixel 52B paired with each of the plurality of phase difference detection pixels 52A. Are arranged in the Y direction. In this region R, a pixel row including only the imaging pixels 51 is arranged between a pixel row including the phase difference detection pixels 52A and a pixel row including the phase difference detection pixels 52B.
- a light shielding film is provided above the photoelectric conversion unit of each pixel 51, and an opening that defines a light receiving area of the photoelectric conversion unit is formed in the light shielding film.
- the center of the opening of the imaging pixel 51 coincides with the center of the photoelectric conversion unit of the imaging pixel 51.
- the center of the opening (outlined portion in FIG. 4) of the phase difference detection pixel 52A is eccentric to the right side with respect to the center of the photoelectric conversion unit of the phase difference detection pixel 52A.
- the center of the opening (outlined portion in FIG. 4) of the phase difference detection pixel 52B is decentered to the left with respect to the center of the photoelectric conversion unit of the phase difference detection pixel 52B.
- the right direction here is one direction of the X direction shown in FIG. 3, and the left direction is the other direction of the X direction.
- FIG. 5 is a diagram showing a cross-sectional configuration of the phase difference detection pixel 52A. As shown in FIG. 5, in the phase difference detection pixel 52A, the opening c is eccentric to the right with respect to the photoelectric conversion unit (PD).
- PD photoelectric conversion unit
- the pixel group including the phase difference detection pixels 52A in an arbitrary row, and the phase difference detection pixels 52B arranged at the same distance in one direction with respect to the phase difference detection pixels 52A of the pixel group.
- the phase difference in the row direction X in the image captured by each of these two pixel groups can be detected.
- the phase difference AF processing unit 19 shown in FIG. 1 generates the defocus amount by one of the following two methods according to the brightness of the subject.
- the phase difference AF processing unit 19 functions as a defocus amount generation unit.
- the phase difference AF processing unit 19 detects detection signal groups of the phase difference detection pixel 52A and the phase difference detection pixel 52B for each region R in the AF area 53 selected by the user operation or the like from the nine AF areas 53.
- the correlation between the images is calculated, and a phase difference that is a relative positional shift amount between the image captured by the phase difference detection pixel 52A and the image captured by the phase difference detection pixel 52B is calculated.
- the phase difference AF processing unit 19 defocuss the amount of movement of the focus lens necessary for matching the imaging surface of the main subject with the imaging lens 1 with the imaging surface 50 of the imaging device 5.
- a quantity Dfr is generated.
- the phase difference AF processing unit 19 averages the defocus amount Dfr generated for each region R, and notifies the system control unit 11 of the defocus amount Df obtained by averaging.
- the phase difference AF processing unit 19 adds detection signals to each of the plurality of phase difference detection pixels 52A in the arbitrary region R of the selected AF area 53 in each region R excluding the arbitrary region R.
- the target phase difference detection pixel 52A is determined.
- the phase difference AF processing unit 19 applies the phase difference detection pixel 52B paired with each of the plurality of phase difference detection pixels 52A in the arbitrary region R in each region R except the arbitrary region R. Then, the phase difference detection pixel 52B to be added with the detection signal is determined.
- the phase difference AF processing unit 19 functions as an addition target determination unit.
- the phase difference AF processing unit 19 detects each of the plurality of phase difference detection pixels 52A in the arbitrary region R, and detects the phase difference in the other region R determined to be added to each of the detection signals. The detection signal of the pixel 52A is added. Further, the phase difference AF processing unit 19 detects each detection signal of the plurality of phase difference detection pixels 52B in the arbitrary region R and the position in the other region R determined as an addition target for each of the detection signals. The detection signal of the phase difference detection pixel 52B is added.
- the phase difference AF processing unit 19 performs a correlation calculation between the detection signal group of the phase difference detection pixel 52A and the detection signal group of the phase difference detection pixel 52B after the addition, and from the result of this correlation calculation, the first A defocus amount Df1 is generated, and the first defocus amount Df1 is notified to the system control unit 11.
- phase difference AF processing unit 19 determines a pixel to be added
- FIG. 6 shows the AF area 53 shown in FIG. In FIG. 6, among the three regions R in the AF area 53, the top is the region R1, the middle is the region R2, and the bottom is the region R3.
- phase difference detection pixels 52A that are detection signal addition targets are determined in the respective regions R2 and R3 except for the region R1. How to do will be described.
- the phase difference AF processing unit 19 first compares the first subject image formed in the region R1 with the second subject image formed in the region R2.
- the detection signal waveforms of the eight phase difference detection pixels 52A surrounded by the thick line in the region R1 are indicated by reference numeral 60.
- the detection signal waveforms of all the phase difference detection pixels 52A in the region R2 are indicated by reference numeral 61.
- the horizontal axis is the position of the phase difference detection pixel 52A.
- the detection signal waveform 60 and the detection signal waveform 61 are slightly shifted in the Y direction, but this shift does not actually exist.
- a low-luminance portion of the subject imaged on the imaging surface is indicated by a symbol D.
- the boundary between this part D and the other part is the edge of the subject.
- the detection signal waveform 60 corresponds to the first subject image formed in the region R1.
- the detection signal waveform 61 corresponds to the second subject image formed in the region R2. Therefore, the phase difference AF processing unit 19 determines the addition target by matching the detection signal waveform 60 and the detection signal waveform 61.
- the phase difference AF processing unit 19 obtains a difference between detection signals having the same position in the X direction in the detection signal waveforms 60 and 61, and obtains an integrated value of the difference.
- the phase difference AF processing unit 19 shifts the X-direction position of each detection signal of the detection signal waveform 60 one by one, and similarly obtains an integrated value of the difference at each position.
- a shift amount Sa in the X direction of the detection signal waveform 60 when the integrated value becomes the minimum (a distance of two pixels in the example in the figure) is generated.
- This shift amount Sa is in the X direction of the first subject image necessary to maximize the degree of coincidence between the first subject image formed in the region R1 and the second subject image formed in the region R2. It becomes the amount of shift.
- the phase difference AF processing unit 19 matches the detection signal waveform 60 with the detection signal waveforms of all the phase difference detection pixels 52A in the region R3 in the same manner, and the first subject image formed in the region R1 A shift amount Sb in the X direction of the first subject image necessary to maximize the degree of coincidence with the second subject image formed in the region R3 is generated.
- the phase difference AF processing unit 19 shifts the shift amount Sa in the X direction with respect to each of the eight phase difference detection pixels 52A surrounded by the thick frame in the region R1 among the phase difference detection pixels 52A in the region R2.
- the phase difference detection pixel 52A at the position (the pixel surrounded by the broken line in FIG. 6) is to be added.
- phase difference AF processing unit 19 pairs the phase difference detection pixels 52B in the region R2 with each of the eight phase difference detection pixels 52A surrounded by the thick frame in the region R1.
- the phase difference detection pixel 52B (the pixel below the phase difference detection pixel 52A surrounded by the broken line in FIG. 6) at the position shifted by the shift amount Sa in the X direction with respect to 52B is to be added.
- phase difference AF processing unit 19 shifts each of the eight phase difference detection pixels 52A surrounded by the thick frame in the region R1 out of the phase difference detection pixels 52A in the region R3 in the X direction.
- a phase difference detection pixel 52A (a pixel surrounded by a broken line in FIG. 6) located at a position shifted by Sb is set as an addition target.
- phase difference AF processing unit 19 forms a pair with each of the eight phase difference detection pixels 52A surrounded by the thick frame in the region R1 among the phase difference detection pixels 52B in the region R3.
- the phase difference detection pixel 52B (the pixel below the phase difference detection pixel 52A surrounded by the broken line in FIG. 6) at the position shifted by the shift amount Sb in the X direction with respect to 52B is to be added.
- the detection signals of the plurality of phase difference detection pixels 52A (52B) to be added are all signals having a high luminance or signals having a low luminance. For this reason, it is possible to prevent the edge from being blurred by the addition and causing an error in the correlation calculation result.
- the number of phase difference detection pixels 52A serving as a reference for determining the addition target is smaller than all the phase difference detection pixels 52A in the region R1. This is because when adding in the oblique direction, if all the phase difference detection pixels 52A in the region R1 are used as a reference, there is no addition destination for the phase difference detection pixels 52A at the end in the X direction. It is because it ends.
- the system control unit 11 drives the focus lens according to the defocus amount Df or the first defocus amount Df1 notified from the phase difference AF processing unit 19, and performs focusing control of the imaging optical system. Do.
- the system control unit 11 functions as a focus control unit.
- FIG. 8 is a diagram for explaining the operation of the digital camera shown in FIG.
- the region R aligned in the Y direction is assumed to be R1, R2,..., Rm (m is a natural number of 2 or more) in order from the end.
- the system control unit 11 starts displaying a live view image (step S1).
- the system control unit 11 repeatedly performs control to display an image based on captured image data obtained by capturing an image of a subject with the image sensor 5 on the display unit 23.
- a focus control execution instruction for the imaging optical system (hereinafter referred to as an autofocus execution instruction, which is referred to as an autofocus execution instruction in the drawing) by a half-press operation of a shutter button included in the operation unit 14 or the like (Step S2: YES)
- the system control unit 11 updates the latest image signal (hereinafter referred to as the captured image signal) among the captured image signals obtained at the time when the autofocus execution instruction is given.
- the brightness of the subject imaged by the image sensor 5 is determined using Ga). For example, the system control unit 11 obtains the average or integrated value of the luminance values of the captured image signal Ga as the brightness.
- step S3: YES If the calculated brightness is less than or equal to the threshold (step S3: YES), the system control unit 11 causes the phase difference AF processing unit 19 to perform step S4, and if the calculated brightness exceeds the threshold ( Step S3: NO), the phase difference AF processing unit 19 performs the process of Step S13.
- step S13 the phase difference AF processing unit 19 detects the phase difference detection pixel 52A and the phase difference detection pixel 52B in each of the regions R1 to Rm of the selected AF area 53 in the captured image signal Ga. A correlation calculation is performed between the signal groups to generate a defocus amount Dfr for each of the regions R1 to Rm. Further, the phase difference AF processing unit 19 generates an average value of the defocus amount Dfr as the final defocus amount Df, and notifies the system control unit 11 of the defocus amount Df.
- the system control unit 11 moves the focus lens to the in-focus position according to the defocus amount Df notified from the phase difference AF processing unit 19 (step S14), and completes the autofocus.
- the amount of shift Sj in the X direction of the first subject image necessary to maximize the degree of coincidence between the first subject image formed in the region R1 and the second subject image formed in the region Rj. Is calculated.
- phase difference AF processing unit 19 compares the calculated shift amount Sj with the threshold value TH1, and if the shift amount Sj is equal to or greater than the threshold value TH1 (step S5: NO), the phase difference AF processing unit 19 adds the shift amount Sj to the calculated region Rj.
- Certain phase difference detection pixels 52A and 52B are excluded from detection signal addition targets for the phase difference detection pixels 52A and 52B in the region R1 (step S7).
- step S7 the region where the shift amount Sj is greater than or equal to the threshold value TH1 is excluded from the detection signal addition targets.
- step S5 If the shift amount Sj is less than the threshold TH1 (step S5: YES), the phase difference AF processing unit 19 has shifted the shift amount Sj in the X direction with respect to each of the plurality of phase difference detection pixels 52A in the region R1.
- the phase difference detection pixel 52A in the region Rj at the position is determined as an addition target.
- the phase difference AF processing unit 19 adds the phase difference detection pixels 52B in the region Rj located at the position shifted by the shift amount Sj in the X direction to each of the plurality of phase difference detection pixels 52B in the region R1. (Step S6).
- step S8 the phase difference AF processing unit 19 detects the detection signal of the phase difference detection pixel 52A in the region R1, and the regions R2 to Rm determined as addition targets for the phase difference detection pixel 52A. Are added to the detection signals of the respective phase difference detection pixels 52A. Further, the phase difference AF processing unit 19 detects the detection signal of the phase difference detection pixel 52B in the region R1 and the phase difference detection of each of the regions R2 to Rm determined to be added to the phase difference detection pixel 52B. The detection signal of the pixel 52B is added (step S10).
- the phase difference AF processing unit 19 performs a correlation calculation between the detection signal group of the phase difference detection pixel 52A and the detection signal group of the phase difference detection pixel 52B after the addition, and the first result is obtained from the result of the correlation calculation.
- a defocus amount Df1 is generated (step S11).
- the system controller 11 When the first defocus amount Df1 is generated, the system controller 11 is notified of the first defocus amount Df1. Then, the system control unit 11 drives the focus lens according to the first defocus amount Df1 (step S12), and the autofocus is completed.
- the correlation calculation is performed after adding the detection signals of the phase difference detection pixels 52A (52B) in a plurality of rows. A reduction in focus amount generation accuracy can be prevented.
- the position of the pixel to be added is determined for each region R according to the subject pattern, the defocus amount generation accuracy can be improved.
- the shift amount can be calculated in the same manner. Further, the amount of shift can be calculated in the same manner by matching the detection signals of the imaging pixels 51 in each of the two regions to be compared.
- a case will be described in which the detection signals of the imaging pixels 51 in each of the two regions to be compared are matched.
- matching is performed with the detection signals of the imaging pixels 51 in a row not including the phase difference detection pixels 52A and 52B in the region R2.
- the imaging pixel since the imaging pixel has higher sensitivity than the phase difference detection pixel, the shift amount calculation accuracy can be increased.
- the detection signal of the imaging pixel 51 in the row including the phase difference detection pixel 52A or the phase difference detection pixel 52B in the region R1 and the phase difference detection pixel 52A or the phase difference detection pixel 52B in the region R2 Matching may be performed with the detection signals of the imaging pixels 51 in the included row. In this way, by performing matching between the imaging pixels in the same row as the phase difference detection pixels, it is possible to further increase the calculation accuracy of the shift amount.
- the shift amount Sc is calculated by comparing the subject images in the region R1 and the region R2.
- the subject images in the region R2 and the region R3 it is necessary to maximize the degree of coincidence between the subject image R2a formed in the region R2 and the subject image R3a formed in the region R3.
- a shift amount Sd in the X direction of the subject image R2a is calculated.
- the comparison of the subject image between the region R2 and the region R3 is performed by shifting the phase difference detection pixels 52A (52B) in the region R2 by the shift amount Sc with respect to the phase difference detection pixels 52A and 52B in the region R1. This is performed by matching the detection signals of the phase difference detection pixels 52A (52B) in FIG. 5 with the detection signals of all the phase difference detection pixels 52A (52B) in the region R3.
- phase difference detection pixel 52A (52B) in the region R2 at the position shifted by the shift amount Sc in the X direction with respect to the phase difference detection pixel 52A (52B) in the region R1 is detected as the phase difference detection in the region R1.
- the pixel 52A (52B) is added.
- the phase difference detection pixel 52A (52B) in the region R3 at the position shifted by the shift amount Sd in the X direction with respect to each phase difference detection pixel 52A (52B) to be added in the region R2 is in the region R1.
- the phase difference detection pixel 52A (52B) is an addition target.
- steps S4 to S11 in FIG. 8 is performed on the entire selected AF area 53, but the present invention is not limited to this.
- the selected AF area 53 is divided in the Y direction (four divisions in the example of FIG. 9).
- Each block 53A to 53D shown in FIG. 9 may have a configuration in which the region R1 and the region Rj are arranged in the Y direction.
- the phase difference AF processing unit 19 generates the first defocus amount Df1 by performing the processes of steps S4 to S11 for each of the blocks 53A, 53B, 53C, and 53D, and generates the generated four first defocuses.
- a final second defocus amount Df2 is generated from the amount Df1.
- the system control unit 11 drives the focus lens according to the second defocus amount Df2.
- the second defocus amount Df2 may be an average value of the four first defocus amounts Df1, for example.
- the phase difference AF processing unit 19 generates the first defocus amount Df1 as follows.
- a block to be determined may be determined.
- the phase difference AF processing unit 19 performs the detection signal group of the phase difference detection pixel 52A and the phase difference detection pixel 52B in each of all the regions including the region R1 and the region Rj for an arbitrary block. And a third defocus amount Df3 is generated from the result of the correlation calculation. Thus, m third defocus amounts Df3 are generated in one block.
- the phase difference AF processing unit 19 generates a variation in the m third defocus amounts Df3 generated for the arbitrary block. If this variation is equal to or greater than the threshold value TH2, this block is excluded from the generation target of the first defocus amount Df1, and if this variation is less than the threshold value TH2, the first defocus amount is determined for this block. It is assumed that Df1 is generated.
- the difference between the maximum value and the minimum value of the m third defocus amounts Df3, the third defocus values generated for the adjacent regions R are used. What is necessary is just to calculate the maximum value among the differences in the focus amount Df3, the variance of the difference in the third defocus amount Df3 generated for the adjacent region R, and the like.
- the phase difference AF processing unit 19 After performing the above processing for other blocks, the phase difference AF processing unit 19 performs the processing from step S4 to step S11 only on the block for which the first defocus amount Df1 is to be generated. A focus amount Df1 is generated. Then, the phase difference AF processing unit 19 generates a second defocus amount Df2 from the generated first defocus amount Df1.
- the large variation in the m third defocus amounts Df3 generated for the block into which the AF area 53 is divided means that the subject image formed in this block has both near and far object distances.
- the reliability of the second defocus amount Df2 is obtained by obtaining the second defocus amount Df2 from the first defocus amount Df1 generated for the blocks excluding the block on which the subject in which the perspective is mixed is formed. Can be increased.
- step S4 the processing after step S4 is performed when the subject is dark.
- the addition of the detection signal of the phase difference detection pixel is necessary in an imaging situation where the detection signal level of the phase difference detection pixels 52A and 52B is low, and is not limited to when the subject is dark.
- step S4 when the angle of light incident on the image sensor 5 increases and the light incident on the phase difference detection pixels 52A and 52B decreases (during wide-angle imaging), the processing from step S4 onward may be performed. Alternatively, when the detection signal level of the phase difference detection pixels 52A and 52B is small, the processing after step S4 may be performed.
- the image sensor 5 may be configured to have a plurality of pairs of the first signal detection unit and the second signal detection unit, and is not limited to the configuration illustrated in FIGS.
- all the pixels included in the image sensor 5 are the imaging pixels 51, each of the imaging pixels 51 is divided into two, one division area is the phase difference detection pixel 52A, and the other division area is the position.
- the phase difference detection pixel 52B may be used.
- FIG. 10 is a diagram showing a configuration in which all the pixels included in the image sensor 5 are set as the imaging pixels 51 and each imaging pixel 51 is divided into two.
- the imaging pixel 51 given R in the imaging device 5 is divided into two, and the divided two are used as a phase difference detection pixel r ⁇ b> 1 and a phase difference detection pixel r ⁇ b> 2, respectively.
- the imaging pixel 51 with G in the imaging element 5 is divided into two, and the two divided pixels are used as a phase difference detection pixel g1 and a phase difference detection pixel g2, respectively.
- the imaging pixel 51 with B in the imaging device 5 is divided into two, and the two divided pixels are used as a phase difference detection pixel b1 and a phase difference detection pixel b2, respectively.
- phase difference detection pixels r1, g1, and b1 are each a first signal detection unit
- the phase difference detection pixels r2, g2, and b2 are each a second signal detection unit. Signals can be read independently from the first signal detector and the second signal detector.
- the imaging pixel 51 also functions as a third signal detection unit. As described above, in the configuration of FIG. 6, all the pixels can be used as both the phase difference detection pixel and the imaging pixel.
- the region including the imaging pixels 51 in the first row is the region R1
- the region including the imaging pixels 51 in the third row is the region R2
- the imaging pixels in the fifth row is the region R3.
- a region including 51 is a region R3, and a region including the imaging pixels 51 in the seventh row is a region R4.
- the detection signals of the first signal detection units, the detection signals of the second signal detection unit, or the detection signals of the third signal detection unit is calculated by performing matching.
- the sampling interval in the X direction between the two detection signal groups to be matched can be minimized. Accordingly, the calculation accuracy of the shift amount can be further increased as compared with the configuration of the image sensor shown in FIGS.
- a digital camera is taken as an example of the imaging device, but an embodiment of a smartphone with a camera as the imaging device will be described below.
- FIG. 11 shows an appearance of a smartphone 200 that is an embodiment of the imaging apparatus of the present invention.
- a smartphone 200 shown in FIG. 11 has a flat housing 201, and a display input in which a display panel 202 as a display unit and an operation panel 203 as an input unit are integrated on one surface of the housing 201. Part 204 is provided.
- Such a housing 201 includes a speaker 205, a microphone 206, an operation unit 207, and a camera unit 208.
- the configuration of the housing 201 is not limited thereto, and for example, a configuration in which the display unit and the input unit are independent can be employed, or a configuration having a folding structure and a slide mechanism can be employed.
- FIG. 12 is a block diagram showing a configuration of the smartphone 200 shown in FIG.
- the main components of the smartphone include a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit. 213, a GPS (Global Positioning System) receiving unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
- a wireless communication function for performing mobile wireless communication via a base station device BS (not shown) and a mobile communication network NW (not shown) is provided.
- the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 220. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
- the display input unit 204 controls the main control unit 220 to display images (still images and moving images), character information, and the like to visually transmit information to the user and to detect user operations on the displayed information.
- a so-called touch panel which includes a display panel 202 and an operation panel 203.
- the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
- LCD Liquid Crystal Display
- OELD Organic Electro-Luminescence Display
- the operation panel 203 is a device that is placed so that an image displayed on the display surface of the display panel 202 is visible and detects one or more coordinates operated by a user's finger or stylus.
- a detection signal generated due to the operation is output to the main control unit 220.
- the main control unit 220 detects an operation position (coordinates) on the display panel 202 based on the received detection signal.
- the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as an embodiment of the imaging apparatus of the present invention integrally constitute a display input unit 204.
- the arrangement 203 covers the display panel 202 completely.
- the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
- the operation panel 203 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 202. May be included).
- the operation panel 203 may include two sensitive areas of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
- the position detection method employed in the operation panel 203 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
- the call unit 211 includes a speaker 205 and a microphone 206, converts user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220. 210 or the audio data received by the external input / output unit 213 is decoded and output from the speaker 205.
- the speaker 205 can be mounted on the same surface as the display input unit 204, and the microphone 206 can be mounted on the side surface of the housing 201.
- the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
- the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and is turned on when pressed with a finger or the like, and turned off when the finger is released with a restoring force such as a spring. It is a push button type switch.
- the storage unit 212 includes a control program and control data of the main control unit 220, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
- the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a removable external memory slot.
- Each of the internal storage unit 217 and the external storage unit 218 constituting the storage unit 212 includes a flash memory type (hard memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
- a flash memory type hard memory type
- hard disk type hard disk type
- multimedia card micro type multimedia card micro type
- a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
- the external input / output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
- external devices for example, universal serial bus (USB), IEEE 1394, etc.
- a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ZigBee) (registered trademark, etc.) for direct or indirect connection.
- an external device connected to the smartphone 200 for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber).
- Identity Module Card / UIM (User Identity Module Card) card external audio / video equipment connected via audio / video I / O (Input / Output) terminal, external audio / video equipment connected wirelessly, yes / no
- the external input / output unit 213 transmits data received from such an external device to each component inside the smartphone 200, or allows the data inside the smartphone 200 to be transmitted to the external device. Can do.
- the GPS receiving unit 214 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 220, executes positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 200 Detect the position consisting of longitude and altitude.
- the GPS reception unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS reception unit 214 can also detect the position using the position information.
- the motion sensor unit 215 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 200 in accordance with an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction and acceleration of the smartphone 200 are detected. The detection result is output to the main control unit 220.
- the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 in accordance with an instruction from the main control unit 220.
- the main control unit 220 includes a microprocessor, operates according to a control program and control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner.
- the main control unit 220 includes a mobile communication control function that controls each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 210.
- the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
- Examples of the application processing function include an infrared communication function for controlling the external input / output unit 213 to perform data communication with the opposite device, an e-mail function for transmitting / receiving e-mails, and a web browsing function for browsing web pages. .
- the main control unit 220 has an image processing function such as displaying video on the display input unit 204 based on image data (still image or moving image data) such as received data or downloaded streaming data.
- the image processing function is a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
- the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203.
- the main control unit 220 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
- a software key such as a scroll bar, or a window for creating an e-mail.
- the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 202.
- the main control unit 220 detects a user operation through the operation unit 207 or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 203. Or a display image scroll request through a scroll bar.
- the main control unit 220 causes the operation position with respect to the operation panel 203 to overlap with the display panel 202 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 202.
- a touch panel control function for controlling the sensitive area of the operation panel 203 and the display position of the software key.
- the main control unit 220 can also detect a gesture operation on the operation panel 203 and execute a preset function in accordance with the detected gesture operation.
- Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
- the camera unit 208 includes configurations other than the external memory control unit 20, the recording medium 21, the display control unit 22, the display unit 23, and the operation unit 14 in the digital camera shown in FIG.
- the captured image data generated by the camera unit 208 can be recorded in the storage unit 212 or output through the input / output unit 213 or the wireless communication unit 210.
- the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited to this and may be mounted on the back surface of the display input unit 204. .
- the camera unit 208 can be used for various functions of the smartphone 200.
- an image acquired by the camera unit 208 can be displayed on the display panel 202, or the image of the camera unit 208 can be used as one of operation inputs of the operation panel 203.
- the GPS receiving unit 214 detects a position
- the position can be detected with reference to an image from the camera unit 208.
- the optical axis direction of the camera unit 208 of the smartphone 200 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
- the image from the camera unit 208 can also be used in the application software.
- the position information acquired by the GPS receiver 214 to the image data of the still image or the moving image, the voice information acquired by the microphone 206 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 215 can be added and recorded in the storage unit 212, or can be output through the input / output unit 213 and the wireless communication unit 210.
- the image sensor 5 is used as the image sensor of the camera unit 208, and the main control unit 220 performs the processing described with reference to FIG. Even when the distance is low, high-precision focusing control is possible regardless of the subject.
- the disclosed imaging device includes a first signal detection unit that detects a signal corresponding to a light beam that has passed through one of the pupil regions of the imaging optical system that is divided into two divided regions in one direction, and And a plurality of the first signal detectors and the first signal detectors having a pair of second signal detectors for detecting a signal corresponding to the light flux that has passed through the other divided region and arranged in the one direction.
- An imaging element having an imaging surface in which a plurality of second signal detection units that are paired with each other are arranged in a direction orthogonal to the one direction, and a plurality of regions in an arbitrary region of the plurality of regions
- Each of the first signal detection units is paired with each of the plurality of first signal detection units and the first signal detection unit to be added with a detection signal in each region excluding the arbitrary region.
- the above-mentioned arbitrary area is excluded from the second signal detection unit that forms An addition target determining unit that determines the second signal detection unit to be added with a detection signal in each region by comparing subject images formed in each of the plurality of regions, and the plurality of the plurality of signals in the arbitrary region
- a detection signal obtained by adding each detection signal of the first signal detection unit to the detection signal of the first signal detection unit determined as the addition target for each first signal detection unit Group, detection signals of each of the plurality of second signal detection units in the arbitrary region, and detection of the second signal detection unit determined as the addition target for each of the second signal detection units
- a defocus amount generation unit that performs a correlation operation with a detection signal group obtained by adding the signals and generates a first defocus amount from the result of the correlation operation, and based on the first defocus amount Imaging optical system Comprising a focusing control unit for performing focus control, the.
- the addition target determination unit includes a degree of coincidence between the first subject image formed in the arbitrary region and the second subject image formed in each region excluding the arbitrary region. And calculating the shift amount of the first subject image in the one direction necessary for maximizing the image for each area excluding the arbitrary area, and the first signal in each area excluding the arbitrary area.
- the first signal is located at a position shifted from the shift amount calculated for each of the plurality of first signal detection units in the arbitrary region.
- the signal detection unit is determined as the addition target, and the second signal detection unit at the position shifted by the shift amount with respect to each of the plurality of second signal detection units in the arbitrary region is determined as the addition target. Also good.
- the addition target determination unit excludes the first signal detection unit and the second signal detection unit in the region in which the shift amount is equal to or greater than a first threshold from the addition target. May be.
- the addition target determination unit compares the subject images formed in each of the plurality of regions, and compares the first signal detection unit or the second signal in each of the plurality of regions. You may perform by the matching of the detection signal of a signal detection part.
- a third signal detection unit that detects a signal corresponding to the light flux that has passed through the two divided regions is further arranged in the region, and the addition target determination unit includes the plurality of addition target determination units.
- the comparison of the subject images formed in each of the regions may be performed by matching the detection signals of the third signal detection unit in each of the plurality of regions.
- the addition target determining unit compares the subject images formed in each of the plurality of regions, and compares the subject image formed in each of the plurality of regions with the first signal detection unit or the second signal detection unit.
- the detection may be performed by matching the detection signals of the third signal detection unit in the same row as the signal detection unit.
- the pair in the region functions as a third signal detection unit that detects a signal corresponding to the light beam that has passed through the two divided regions by adding the detection signals.
- the addition target determining unit may compare a subject image formed on each of the plurality of regions with a detection signal of the first signal detection unit of each pair in each of the plurality of regions. You may perform by matching of the detection signals which added the detection signal of the said 2nd signal detection part.
- the addition target determination unit determines the addition target for each block when the imaging surface is divided into blocks composed of the plurality of regions, and the defocus amount generation unit
- the first defocus amount may be generated for each block, and the second defocus amount may be generated from the first defocus amount generated for each block, and the focusing control unit may The focusing control of the imaging optical system may be performed according to the defocus amount.
- the defocus amount generation unit includes the detection signal of the first signal detection unit and the second signal output from the plurality of pairs in each of the plurality of regions included in the block.
- a correlation calculation is performed with the detection signal of the signal detection unit, a third defocus amount is generated from the result of the correlation calculation, and a variation in the third defocus amount generated for each of the plurality of regions is detected.
- the second defocus amount may be generated from the first defocus amount generated for blocks other than the block that is equal to or greater than the second threshold.
- the focus control method of the disclosed imaging apparatus includes a first signal detection unit that detects a signal corresponding to a light beam that has passed through one of the divided regions of the imaging optical system divided in one direction, and And a plurality of the first signal detectors and the first signal detectors having a pair of second signal detectors for detecting a signal corresponding to the light flux that has passed through the other divided region and arranged in the one direction.
- the first signal detection target is added to each of the areas other than the arbitrary area.
- the second signal detection unit to be added with the detection signal in each region excluding the arbitrary region is formed on the second signal detection unit paired with each of the plurality of regions.
- An addition target determination step that is determined by comparing subject images to be detected, each detection signal of the plurality of first signal detection units in the arbitrary region, and the addition target for each first signal detection unit
- a detection signal group obtained by adding the determined detection signals of the first signal detection unit, detection signals of each of the plurality of second signal detection units in the arbitrary region, and the second A correlation calculation is performed with a detection signal group obtained by adding the detection signal of the second signal detection unit determined as the addition target to the signal detection unit of the second signal detection unit.
- a defocus that generates the focus amount Comprising a Okasu amount generating step, and a focus control step performs a focusing control of the imaging optical system based on said first defocus amount.
- the present invention is highly convenient and effective when applied to a digital camera or the like.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
位相差検出用画素の信号レベルが低くなる場合でも、被写体によらずに、合焦制御の精度を向上させることができる撮像装置及び合焦制御方法を提供する。位相差AF処理部(19)は、AFエリア(53)にある領域R1と領域Rj(j=2~m)の間で被写体像を比較して、領域Rjにある位相差検出用画素(52A,52B)のうち、領域R1にある位相差検出用画素(52A,52B)に対し検出信号の加算対象とするものを決定する。そして、領域R1の位相差検出用画素(52A,52B)とこれに対して加算対象とした位相差検出用画素(52A,52B)とで検出信号を加算し、加算後の検出信号を用いた相関演算の結果により、デフォーカス量(Df1)を生成する。システム制御部(11)は、デフォーカス量(Df1)にしたがってフォーカスレンズを駆動して合焦制御を行う。
Description
本発明は、撮像装置及び合焦制御方法に関する。
近年、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、PDA(Personal Digital Assistant,携帯情報端末)等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。
これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、位相差AF(Auto Focus)方式(例えば特許文献1~3参照)が採用されている。
位相差AF方式により合焦制御を行う撮像装置に搭載される固体撮像素子には、例えば、遮光膜開口が互いに逆方向に偏心した位相差検出用画素のペアを撮像面の全面に離散的に設けたものが使用される。
この位相差検出用画素は、遮光膜開口が光電変換部に対して偏心していない通常の撮像用画素と比べて感度が低い。そのため、被写体が低照度の場合には、位相差検出用画素の検出信号レベルが低下してしまう。このような検出信号レベルの低下を補うべく、単純にゲインアップ処理をして相関演算を行うと、相関演算結果において誤差が生じてしまう。そこで、位相差検出用画素の検出信号同士を加算することによって信号量を増やすことが行われている。
特許文献1には、斜め方向に並ぶ複数の位相差検出用画素の検出信号を加算し、加算後の検出信号を用いて相関演算してデフォーカス量を生成する構成が記載されている。
また、特許文献2には、水平方向位置が同じである複数の位相差検出用画素の検出信号を加算し、加算後の検出信号に基づいてデフォーカス量を生成する構成が開示されている。
特許文献1,2に記載の撮像装置は、いずれも、特定の方向に並ぶ複数の位相差検出用画素で検出信号を加算し、加算後の検出信号を用いて相関演算を行うものである。しかし、これらの複数の位相差検出用画素の一部には明るい被写体部分が結像し、これらの複数の位相差検出用画素の残りの部分には暗い被写体部分が結像しているような場合、つまり、特定の方向に交差して被写体のエッジが存在している場合がある。この場合、検出信号の加算によってエッジがぼやけることになるため、加算後の検出信号の相関演算結果に誤差が生じることになる。
本発明は、上記事情に鑑みてなされたものであり、位相差検出用画素の検出信号レベルが低くなる場合でも、被写体によらずに、合焦制御の精度を向上させることができる撮像装置及び合焦制御方法を提供することを目的とする。
本発明の撮像装置は、一方向に2つの分割領域に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第1の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第2の信号検出部のペアを有し、上記一方向に並ぶ複数の上記第1の信号検出部及びその第1の信号検出部とペアを組む複数の上記第2の信号検出部が配置される領域が上記一方向に直交する方向に並ぶ撮像面を有する撮像素子と、複数の上記領域のうちの任意の領域にある複数の上記第1の信号検出部の各々に対し、上記任意の領域を除く各領域において検出信号の加算対象とする上記第1の信号検出部と、その複数の第1の信号検出部の各々とペアを組む上記第2の信号検出部に対し、上記任意の領域を除く各領域において検出信号の加算対象とする上記第2の信号検出部とを上記複数の領域の各々に結像する被写体像の比較によって決定する加算対象決定部と、上記任意の領域にある上記複数の第1の信号検出部の各々の検出信号と、その各第1の信号検出部に対し上記加算対象として決定された第1の信号検出部の検出信号とを加算することにより得られる検出信号群と、上記任意の領域にある上記複数の第2の信号検出部の各々の検出信号と、その各第2の信号検出部に対し上記加算対象として決定された第2の信号検出部の検出信号とを加算することにより得られる検出信号群との相関演算を行い、上記相関演算の結果から第1のデフォーカス量を生成するデフォーカス量生成部と、上記第1のデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御部と、を備える。
本発明の合焦制御方法は、一方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第1の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第2の信号検出部のペアを有し、上記一方向に並ぶ複数の上記第1の信号検出部及びその第1の信号検出部とペアを組む上記第2の信号検出部が配置される領域が上記一方向に直交する方向に並ぶ撮像面を有し、上記撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置の合焦制御方法であって、複数の上記領域のうちの任意の領域にある複数の上記第1の信号検出部の各々に対し、上記任意の領域を除く各領域において検出信号の加算対象とする上記第1の信号検出部と、その複数の第1の信号検出部の各々とペアを組む上記第2の信号検出部に対し、上記任意の領域を除く各領域において検出信号の加算対象とする上記第2の信号検出部とを上記複数の領域の各々に結像する被写体像の比較によって決定する加算対象決定ステップと、上記任意の領域にある上記複数の第1の信号検出部の各々の検出信号と、その各第1の信号検出部に対し上記加算対象として決定された第1の信号検出部の検出信号とを加算することにより得られる検出信号群と、上記任意の領域にある上記複数の第2の信号検出部の各々の検出信号と、その各第2の信号検出部に対し上記加算対象として決定された第2の信号検出部の検出信号とを加算することにより得られる検出信号群との相関演算を行い、上記相関演算の結果から第1のデフォーカス量を生成するデフォーカス量生成ステップと、上記第1のデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御ステップと、を備える。
本発明によれば、位相差検出用画素の検出信号レベルが低くなる場合でも、被写体によらずに、合焦制御の精度を向上させることができる撮像装置及び合焦制御方法を提供することができる。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。
図1に示すデジタルカメラは、焦点調節のためのフォーカスレンズ、及び、ズームレンズ等を含む撮像レンズ1と、絞り2とを有するレンズ装置を備える。レンズ装置は撮像光学系を構成する。
図1に示すレンズ装置はカメラ本体に固定されているが、別のレンズ装置に交換可能であってもよい。撮像レンズ1は少なくともフォーカスレンズを含んでいればよい。フォーカスレンズは、レンズ系全体を移動させることで焦点調節を行う単焦点レンズでもよい。
デジタルカメラは、レンズ装置を通して被写体を撮像するCCD型やCMOS型等の撮像素子5と、撮像素子5の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、アナログ信号処理部6から出力されるアナログ信号をデジタル信号に変換するA/D変換回路7とを備える。
アナログ信号処理部6及びA/D変換回路7は、システム制御部11によって制御される。アナログ信号処理部6及びA/D変換回路7は撮像素子5に内蔵されることもある。
デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、レンズ駆動部8を制御し撮像レンズ1に含まれるフォーカスレンズを駆動して主要被写体に合焦させる合焦制御を行ったり、撮像レンズ1に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部11は、絞り駆動部9を介して絞り2の開口量を制御することにより、露光量の調整を行う。
また、システム制御部11は、撮像素子駆動部10を介して撮像素子5を駆動し、撮像レンズ1を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。この指示信号には、撮像光学系の合焦制御の実行を指示する指示信号が含まれる。
更に、このデジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、A/D変換回路7から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びRGB/YC変換処理等を行って撮影画像データを生成するデジタル信号処理部17と、位相差AF処理部19と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された表示部23が接続される表示制御部22と、を備える。
メモリ制御部15、デジタル信号処理部17、位相差AF処理部19、外部メモリ制御部20、及び表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
図2は、図1に示すデジタルカメラに搭載される撮像素子5の全体構成を示す平面模式図である。
撮像素子5は、行方向X及びこれに直交する列方向Yに二次元状に配列された多数の画素が配置された撮像面50を有する。この撮像面50には、フォーカスを合わせる対象となるエリアであるAFエリア53が図2の例では9つ設定されている。
AFエリア53は、画素として撮像用画素と位相差検出用画素とを含むエリアである。
撮像面50のうちAFエリア53を除く部分には、撮像用画素だけが配置される。なお、AFエリア53は、撮像面50に隙間無く設けてあってもよい。
図3は、図2に示す1つのAFエリア53の部分拡大図である。
AFエリア53には、画素51(図中正方形のブロック)が二次元状に配列されている。各画素51は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。
図3では、赤色光を透過するカラーフィルタ(Rフィルタ)を含む画素51(R画素51)には“R”の文字を付し、緑色光を透過するカラーフィルタ(Gフィルタ)を含む画素51(G画素51)には“G”の文字を付し、青色光を透過するカラーフィルタ(Bフィルタ)を含む画素51(B画素51)には“B”の文字を付している。カラーフィルタの配列は撮像面50全体でベイヤ配列となっている。
AFエリア53では、G画素51の一部(図3中の網掛けを付した画素)が位相差検出用画素52A,52Bとなっている。図3の例では、R画素51とG画素51を含む画素行のうちの任意の画素行における各G画素51が位相差検出用画素52Aとなっている。また、この各G画素51に対して列方向Yに最も近い同色のG画素51が位相差検出用画素52Bとなっている。位相差検出用画素52Aと、これに対して列方向Yに最も近い同色の位相差検出用画素52Bとがペアを構成している。
図4は、図3に示すX方向に並ぶ複数のペアを示した図である。
位相差検出用画素52Aは、一方向(図3の例ではX方向)に分割された撮像レンズ1の瞳領域の一方の分割領域を通過した光束を受光し受光量に応じた信号を検出する第1の信号検出部である。
位相差検出用画素52Bは、撮像レンズ1の瞳領域の他方の分割領域を通過した光束を受光し受光量に応じた信号を検出する第2の信号検出部である。
なお、AFエリア53において、位相差検出用画素52A,52B以外の複数の画素51は撮像用画素である。この撮像用画素は、撮像レンズ1の瞳領域の上記2つの分割領域の双方を通過した光束を受光し受光量に応じた信号を検出する第3の信号検出部である。
図3に示したように、AFエリア53には、X方向に並ぶ複数の位相差検出用画素52Aと、この複数の位相差検出用画素52Aの各々とペアを組む位相差検出用画素52Bとが配置される領域Rが、Y方向に複数配列されている。この領域Rにおいて、位相差検出用画素52Aを含む画素行と、位相差検出用画素52Bを含む画素行との間には、撮像用画素51のみを含む画素行が配置されている。
各画素51の光電変換部上方には遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。
撮像用画素51の開口の中心は、撮像用画素51の光電変換部の中心と一致している。これに対し、位相差検出用画素52Aの開口(図4の白抜き部分)の中心は、位相差検出用画素52Aの光電変換部の中心に対し右側に偏心している。
また、位相差検出用画素52Bの開口(図4の白抜き部分)の中心は、位相差検出用画素52Bの光電変換部の中心に対して左側に偏心している。ここでいう右方向は、図3で示すX方向の一方の方向であり、左方向はX方向のもう一方の方向である。
図5は、位相差検出用画素52Aの断面構成を示す図である。図5に示すように、位相差検出用画素52Aは、開口cが光電変換部(PD)に対して右に偏心している。
図5に示すように、光電変換部の片側を遮光膜によって覆う事によって、遮光膜で覆った方向と逆の方向から入射した光を選択的に遮光することができる。
この構成により、任意の行にある位相差検出用画素52Aからなる画素群と、この画素群の各位相差検出用画素52Aに対して一方向に同一距離で配置された位相差検出用画素52Bからなる画素群とによって、これら2つの画素群の各々によって撮像される像における行方向Xの位相差を検出することができる。
図1に示す位相差AF処理部19は、被写体の明るさに応じて、以下の2つの方法のいずれかでデフォーカス量を生成する。位相差AF処理部19は、デフォーカス量生成部として機能する。
(第1の方法)
位相差AF処理部19は、9つのAFエリア53の中からユーザ操作等により選択されたAFエリア53において、領域R毎に、位相差検出用画素52A及び位相差検出用画素52Bの検出信号群同士の相関演算を行い、位相差検出用画素52Aによって撮像される像と位相差検出用画素52Bによって撮像される像の相対的な位置ずれ量である位相差を演算する。
位相差AF処理部19は、9つのAFエリア53の中からユーザ操作等により選択されたAFエリア53において、領域R毎に、位相差検出用画素52A及び位相差検出用画素52Bの検出信号群同士の相関演算を行い、位相差検出用画素52Aによって撮像される像と位相差検出用画素52Bによって撮像される像の相対的な位置ずれ量である位相差を演算する。
位相差AF処理部19は、この位相差に基づいて、撮像レンズ1による主要被写体の結像面と撮像素子5の撮像面50とを一致させるために必要なフォーカスレンズの移動量であるデフォーカス量Dfrを生成する。位相差AF処理部19は、各領域Rについて生成したデフォーカス量Dfrを平均し、平均して得たデフォーカス量Dfをシステム制御部11に通知する。
(第2の方法)
位相差AF処理部19は、選択されたAFエリア53の任意の領域Rにある複数の位相差検出用画素52Aの各々に対し、この任意の領域Rを除く各領域Rにおいて、検出信号の加算対象とする位相差検出用画素52Aを決定する。また、位相差AF処理部19は、任意の領域Rにある上記複数の位相差検出用画素52Aの各々とペアを組む位相差検出用画素52Bに対し、任意の領域Rを除く各領域Rにおいて、検出信号の加算対象とする位相差検出用画素52Bを決定する。位相差AF処理部19は加算対象決定部として機能する。
位相差AF処理部19は、選択されたAFエリア53の任意の領域Rにある複数の位相差検出用画素52Aの各々に対し、この任意の領域Rを除く各領域Rにおいて、検出信号の加算対象とする位相差検出用画素52Aを決定する。また、位相差AF処理部19は、任意の領域Rにある上記複数の位相差検出用画素52Aの各々とペアを組む位相差検出用画素52Bに対し、任意の領域Rを除く各領域Rにおいて、検出信号の加算対象とする位相差検出用画素52Bを決定する。位相差AF処理部19は加算対象決定部として機能する。
位相差AF処理部19は、任意の領域Rにある上記複数の位相差検出用画素52Aの各々の検出信号と、この各々に対して加算対象として決定した他の領域Rにある位相差検出用画素52Aの検出信号とを加算する。また、位相差AF処理部19は、上記任意の領域Rにある上記複数の位相差検出用画素52Bの各々の検出信号と、この各々に対して加算対象として決定した他の領域Rにある位相差検出用画素52Bの検出信号とを加算する。そして、位相差AF処理部19は、加算後の位相差検出用画素52Aの検出信号群と位相差検出用画素52Bの検出信号群との相関演算を行い、この相関演算の結果から第1のデフォーカス量Df1を生成し、第1のデフォーカス量Df1をシステム制御部11に通知する。
位相差AF処理部19が加算対象となる画素を決定する方法について、図6を用いて具体的に説明する。
図6には、図3で図示したAFエリア53が示されている。図6では、AFエリア53にある3つの領域Rのうち、一番上を領域R1とし、真ん中を領域R2とし、一番下を領域R3としている。図6において、任意の領域R1にある太線で囲った8つの位相差検出用画素52Aに対し、領域R1を除く各領域R2,R3において検出信号の加算対象となる位相差検出用画素52Aを決定する方法について説明する。
位相差AF処理部19は、まず、領域R1に結像する第1の被写体像と、領域R2に結像する第2の被写体像を比較する。
図6には、領域R1にある太線で囲った8つの位相差検出用画素52Aの検出信号波形を符号60で示している。また、領域R2にある全ての位相差検出用画素52Aの検出信号波形を符号61で示している。符号60,61で示す波形は、横軸を位相差検出用画素52Aの位置としたものである。
なお、図6では、検出信号波形60と検出信号波形61をY方向に僅かにずらして示しているが、実際にはこのずれは存在しない。また、図6では、撮像面に結像する被写体のうちの輝度が低い部分を符号Dで示している。この部分Dとそれ以外の部分との境界が被写体のエッジとなる。
ここで、検出信号波形60は、領域R1に結像する第1の被写体像に対応する。また、検出信号波形61は、領域R2に結像する第2の被写体像に対応する。そこで、位相差AF処理部19は、検出信号波形60と検出信号波形61のマッチングを行うことで加算対象を決定する。
具体的には、位相差AF処理部19は、検出信号波形60,61において、X方向位置が同じ検出信号の差分を求め、この差分の積算値を求める。位相差AF処理部19は、検出信号波形60の各検出信号のX方向位置を1つずつずらしていき、各位置において同様に差分の積算値を求める。
そして、この積算値が最小となったときの検出信号波形60のX方向のずらし量Sa(図の例では2画素分の距離)を生成する。このずらし量Saが、領域R1に結像する第1の被写体像と領域R2に結像する第2の被写体像との一致度を最大にするために必要な第1の被写体像のX方向へのずらし量となる。
位相差AF処理部19は、検出信号波形60と、領域R3の全ての位相差検出用画素52Aの検出信号波形とのマッチングも同様に行って、領域R1に結像する第1の被写体像と領域R3に結像する第2の被写体像との一致度を最大にするために必要な第1の被写体像のX方向へのずらし量Sbを生成する。
位相差AF処理部19は、領域R2の位相差検出用画素52Aのうち、領域R1にある太枠で囲った8つの位相差検出用画素52Aの各々に対し、X方向にずらし量Saずれた位置にある位相差検出用画素52A(図6中の破線で囲った画素)を加算対象とする。
また、位相差AF処理部19は、領域R2の位相差検出用画素52Bのうち、領域R1にある太枠で囲った8つの位相差検出用画素52Aの各々とペアを組む位相差検出用画素52Bに対し、X方向にずらし量Saずれた位置にある位相差検出用画素52B(図6中の破線で囲った位相差検出用画素52Aの下にある画素)を加算対象とする。
同様に、位相差AF処理部19は、領域R3の位相差検出用画素52Aのうち、領域R1にある太枠で囲った8つの位相差検出用画素52Aの各々に対し、X方向にずらし量Sbずれた位置にある位相差検出用画素52A(図6中の破線で囲った画素)を加算対象とする。
また、位相差AF処理部19は、領域R3の位相差検出用画素52Bのうち、領域R1にある太枠で囲った8つの位相差検出用画素52Aの各々とペアを組む位相差検出用画素52Bに対し、X方向にずらし量Sbずれた位置にある位相差検出用画素52B(図6中の破線で囲った位相差検出用画素52Aの下にある画素)を加算対象とする。
このような処理により、加算される複数の位相差検出用画素52A(52B)の検出信号は、全て輝度が高い部分の信号又は輝度が低い部分の信号となる。このため、加算によってエッジがぼやけてしまって、相関演算結果に誤差が生じるのを防ぐことができる。
また、領域R1と領域R2とでマッチング(被写体像の比較)を行い、領域R1と領域R3とでマッチング(被写体像の比較)を行って加算対象画素を決めることで、図7に示すように、AFエリア53において途中で方向が変わるエッジが存在していた場合でも、このエッジの形状に沿って加算を行うことができる。したがって、相関演算結果に誤差が生じるのを防ぐことができる。
なお、図6,7において、加算対象を決める基準となる位相差検出用画素52Aの数は、領域R1にある全ての位相差検出用画素52Aよりも少ない数としている。これは、斜め方向に加算を行う場合、領域R1の全ての位相差検出用画素52Aを基準にしてしまうと、X方向端部にある位相差検出用画素52Aについては加算先が存在しなくなってしまうためである。
図1に戻り、システム制御部11は、位相差AF処理部19から通知されたデフォーカス量Df又は第1のデフォーカス量Df1にしたがってフォーカスレンズを駆動して、撮像光学系の合焦制御を行う。システム制御部11は合焦制御部として機能する。
以下、図1のデジタルカメラの動作について説明する。
図8は、図1に示すデジタルカメラの動作を説明するための図である。以下では、選択されているAFエリア53において、Y方向に並ぶ領域Rを端から順にR1、R2、・・・、Rm(mは2以上の自然数)とする。
デジタルカメラが撮像モードに設定されると、システム制御部11は、ライブビュー画像の表示を開始させる(ステップS1)。
具体的には、システム制御部11は、撮像素子5により被写体を撮像し、撮像して得られる撮像画像データに基づく画像を表示部23に表示させる制御を繰り返し行う。
ライブビュー画像の表示が開始された後、操作部14に含まれるシャッタボタンの半押し操作等によって撮像光学系の合焦制御の実行指示(以下、オートフォーカスの実行指示と称し、図面ではAF指示と称する)がなされると(ステップS2:YES)、システム制御部11は、このオートフォーカスの実行指示がなされた時点で得られている撮像画像信号のうち最新の画像信号(以下、撮像画像信号Gaと称する)を用いて、撮像素子5によって撮像されている被写体の明るさを判定する。例えば、システム制御部11は、撮像画像信号Gaの輝度値の平均又は積算値を明るさとして求める。
システム制御部11は、求めた明るさが閾値以下であれば(ステップS3:YES)、位相差AF処理部19にステップS4の処理を行わせ、求めた明るさが閾値を超えていれば(ステップS3:NO)、位相差AF処理部19にステップS13の処理を行わせる。
ステップS13において、位相差AF処理部19は、撮像画像信号Gaのうち、選択されているAFエリア53の領域R1~Rmの各々にある位相差検出用画素52Aと位相差検出用画素52Bの検出信号群同士で相関演算を行って、領域R1~Rmの各々についてデフォーカス量Dfrを生成する。更に、位相差AF処理部19は、このデフォーカス量Dfrの平均値を最終的なデフォーカス量Dfとして生成し、デフォーカス量Dfをシステム制御部11に通知する。
システム制御部11は、位相差AF処理部19から通知されたデフォーカス量Dfにしたがって、フォーカスレンズを合焦位置に移動させて(ステップS14)、オートフォーカスを完了する。
ステップS4において、位相差AF処理部19は、領域R1と領域Rj(j=2~m、初期値は2)とで、これらに結像する被写体像を比較して、図6で説明した方法により、領域R1に結像する第1の被写体像と領域Rjに結像する第2の被写体像との一致度を最大にするために必要な第1の被写体像のX方向へのずらし量Sjを算出する。
次に、位相差AF処理部19は、算出したずらし量Sjと閾値TH1を比較し、ずらし量Sjが閾値TH1以上であれば(ステップS5:NO)、ずらし量Sjが算出された領域Rjにある位相差検出用画素52A,52Bを、領域R1の位相差検出用画素52A,52Bに対する検出信号の加算対象から除外する(ステップS7)。
ずらし量Sjが大きすぎると、大幅にずれた位置にある位相差検出用画素同士で検出信号が加算されることになり、最終的に求まるデフォーカス量の信頼性が低下する。このため、ステップS7では、ずらし量Sjが閾値TH1以上となる領域については検出信号の加算対象から除外している。
位相差AF処理部19は、ずらし量Sjが閾値TH1未満であれば(ステップS5:YES)、領域R1にある複数の位相差検出用画素52Aの各々に対し、X方向にずらし量Sjずれた位置にある領域Rjの位相差検出用画素52Aを加算対象として決定する。また、位相差AF処理部19は、領域R1にある複数の位相差検出用画素52Bの各々に対し、X方向にずらし量Sjずれた位置にある領域Rjの位相差検出用画素52Bを加算対象として決定する(ステップS6)。
ステップS6及びステップS7の後、位相差AF処理部19は、j=mかどうかを判定する(ステップS8)。位相差AF処理部19は、ステップS8の判定がNOであれば、ステップS9でjをj+1にして、ステップS4の処理を行う。
位相差AF処理部19は、ステップS8の判定がYESであれば、領域R1の位相差検出用画素52Aの検出信号と、この位相差検出用画素52Aに対し加算対象として決定した領域R2~Rmの各々の位相差検出用画素52Aの検出信号とを加算する。また、位相差AF処理部19は、領域R1の位相差検出用画素52Bの検出信号と、この位相差検出用画素52Bに対して加算対象として決定した領域R2~Rmの各々の位相差検出用画素52Bの検出信号とを加算する(ステップS10)。
次に、位相差AF処理部19は、加算後の位相差検出用画素52Aの検出信号群と位相差検出用画素52Bの検出信号群とで相関演算を行い、この相関演算の結果から第1のデフォーカス量Df1を生成する(ステップS11)。
第1のデフォーカス量Df1が生成されると、第1のデフォーカス量Df1がシステム制御部11に通知される。そして、システム制御部11は、第1のデフォーカス量Df1にしたがってフォーカスレンズを駆動し(ステップS12)、オートフォーカスが完了する。
以上のように、図1のデジタルカメラによれば、被写体が暗い場合であっても、位相差検出用画素52A(52B)の検出信号を複数行で加算してから相関演算を行うため、デフォーカス量の生成精度低下を防ぐことができる。また、被写体パターンに応じて、領域R毎に、加算対象となる画素の位置が決まるため、デフォーカス量の生成精度を向上させることができる。
図6の説明では、領域R1とそれ以外の領域R2(R3)とにそれぞれ結像する被写体像の一致度が最大となるずらし量を求めるために、比較対象とした2つの領域の各々にある位相差検出用画素52Aの検出信号同士のマッチングを行うものとした。
しかし、比較対象とした2つの領域の各々にある位相差検出用画素52Bの検出信号同士のマッチングを行っても同様にずらし量を算出することができる。また、比較対象とした2つの領域の各々にある撮像用画素51の検出信号同士のマッチングを行っても同様にずらし量を算出することができる。
比較対象とした2つの領域の各々にある撮像用画素51の検出信号同士のマッチングを行う場合について説明する。この場合は、例えば、図6において領域R1と領域R2に結像する被写体像を比較する際、領域R1にある位相差検出用画素52A,52Bを含まない行の撮像用画素51の検出信号と、領域R2にある位相差検出用画素52A,52Bを含まない行の撮像用画素51の検出信号とでマッチングを行う。この方法では、撮像用画素は位相差検出用画素に比べて感度が高いため、ずらし量の算出精度を上げることができる。
または、領域R1にある位相差検出用画素52A又は位相差検出用画素52Bを含む行の撮像用画素51の検出信号と、領域R2にある位相差検出用画素52A又は位相差検出用画素52Bを含む行の撮像用画素51の検出信号とでマッチングを行ってもよい。このように、位相差検出用画素と同じ行にある撮像用画素同士でマッチングを行うことで、ずらし量の算出精度を更に上げることができる。
なお、図6では、ずらし量を算出する基準の領域を領域R1とする例を説明した。しかし、基準とする領域は順次変えていってもよい。
例えば、最初は、領域R1と領域R2とで被写体像の比較を行ってずらし量Scを算出する。次に、領域R2と領域R3とで被写体像の比較を行って、領域R2に結像する被写体像R2aと、領域R3に結像する被写体像R3aとの一致度を最大にするために必要な被写体像R2aのX方向へのずらし量Sdを算出する。
領域R2と領域R3とで被写体像の比較は、領域R2にある位相差検出用画素52A(52B)のうち、領域R1の位相差検出用画素52A,52Bに対してずらし量Scだけずらした位置にある位相差検出用画素52A(52B)の検出信号と、領域R3にある全ての位相差検出用画素52A(52B)の検出信号とのマッチングによって行う。
そして、領域R1にある位相差検出用画素52A(52B)に対し、X方向にずらし量Scずれた位置にある領域R2の位相差検出用画素52A(52B)を、領域R1にある位相差検出用画素52A(52B)の加算対象とする。また、領域R2において加算対象とした各位相差検出用画素52A(52B)に対し、X方向にずらし量Sdずれた位置にある領域R3の位相差検出用画素52A(52B)を、領域R1にある位相差検出用画素52A(52B)の加算対象とする。
このようにすることで、常に隣接する2つの領域で被写体像を比較することになるため、ずらし量の信頼性を高めることができる。
ここまでは、選択されたAFエリア53全体に対し、図8のステップS4~ステップS11の処理を行うものとしたが、これに限らない。例えば、図9に示すように、選択されたAFエリア53をY方向に分割(図9の例では4分割)する。図9に示す各ブロック53A~53Dは、領域R1及び領域RjがY方向に配置された構成であればよい。
そして、位相差AF処理部19は、ブロック53A,53B,53C,53D毎にステップS4~ステップS11の処理を行って第1のデフォーカス量Df1を生成し、生成した4つの第1のデフォーカス量Df1から最終的な第2のデフォーカス量Df2を生成する。この場合、システム制御部11は、第2のデフォーカス量Df2にしたがってフォーカスレンズを駆動する。
第2のデフォーカス量Df2は、例えば4つの第1のデフォーカス量Df1の平均値とすればよい。
このようにすることで、AFエリア53内でエッジの方向が細かく変わる模様の被写体であっても、デフォーカス量の生成精度を確保することができる。
図9のようにAFエリア53を分割してブロック毎に第1のデフォーカス量Df1を生成する構成において、位相差AF処理部19は、次のようにして第1のデフォーカス量Df1を生成すべきブロックを決定してもよい。
具体的には、位相差AF処理部19は、任意のブロックに対し、領域R1と領域Rjを含む全ての領域の各々において、位相差検出用画素52Aの検出信号群と位相差検出用画素52Bの検出信号群との相関演算を行い、この相関演算の結果から第3のデフォーカス量Df3を生成する。これにより、1つのブロックには、m個の第3のデフォーカス量Df3が生成される。
位相差AF処理部19は、この任意のブロックについて生成したm個の第3のデフォーカス量Df3のばらつきを生成する。そして、このばらつきが閾値TH2以上であれば、このブロックについては第1のデフォーカス量Df1の生成対象から除外し、このばらつきが閾値TH2未満であれば、このブロックについては第1のデフォーカス量Df1の生成対象とする。
m個の第3のデフォーカス量Df3のばらつきを示す指標としては、m個の第3のデフォーカス量Df3のうちの最大値と最小値の差分、隣接する領域Rについて生成した第3のデフォーカス量Df3の差分のうちの最大値、隣接する領域Rについて生成した第3のデフォーカス量Df3の差分の分散、等を算出すればよい。
位相差AF処理部19は以上の処理を他のブロックについても行った後、第1のデフォーカス量Df1の生成対象としたブロックについてのみ、ステップS4~ステップS11の処理を行って第1のデフォーカス量Df1を生成する。そして、位相差AF処理部19は、生成した第1のデフォーカス量Df1から第2のデフォーカス量Df2を生成する。
AFエリア53を分割したブロックについて生成されるm個の第3のデフォーカス量Df3のばらつきが大きいということは、このブロックに結像する被写体像に、被写体距離が近いものと遠いものとが混在していることを意味する。このような場合で、上述したように位相差検出用画素52A(52B)の検出信号を加算すると、被写体距離が遠いものと近いものを加算することになってしまい、生成される第1のデフォーカス量Dfの信頼性は低くなる。
このため、遠近が混在する被写体が結像するブロックを除くブロックについて生成した第1のデフォーカス量Df1から第2のデフォーカス量Df2を求めることで、第2のデフォーカス量Df2の信頼性を高めることができる。
なお、図8の動作例では、被写体が暗いときにステップS4以降の処理を行うものとした。しかし、位相差検出用画素の検出信号の加算が必要となるのは、位相差検出用画素52A,52Bの検出信号レベルが低くなるような撮像状況であり、被写体が暗いときだけに限らない。
例えば、撮像素子5に入射する光線角度が大きくなって位相差検出用画素52A,52Bに入射する光が少なくなるような場合(広角撮像時)にステップS4以降の処理を行ってもよい。または、位相差検出用画素52A,52Bの検出信号レベルが小さい場合にステップS4以降の処理を行ってもよい。
また、撮像素子5は、第1の信号検出部と第2の信号検出部のペアを複数有する構成であればよく、図2~5に示した構成に限らない。
例えば、撮像素子5に含まれる全ての画素を撮像用画素51とし、各撮像用画素51を2つに分割して、一方の分割エリアを位相差検出用画素52Aとし、他方の分割エリアを位相差検出用画素52Bとした構成であってもよい。
図10は、撮像素子5に含まれる全ての画素を撮像用画素51とし、各撮像用画素51を2つに分割した構成を示す図である。
図10の構成では、撮像素子5においてRを付した撮像用画素51を2つに分割し、分割した2つをそれぞれ位相差検出用画素r1と位相差検出用画素r2としている。
また、撮像素子5においてGを付した撮像用画素51を2つに分割し、分割した2つをそれぞれ位相差検出用画素g1と位相差検出用画素g2としている。
また、撮像素子5においてBを付した撮像用画素51を2つに分割し、分割した2つをそれぞれ位相差検出用画素b1と位相差検出用画素b2としている。
この構成では、位相差検出用画素r1,g1,b1がそれぞれ第1の信号検出部となり、位相差検出用画素r2,g2,b2がそれぞれ第2の信号検出部となる。第1の信号検出部と第2の信号検出部からは独立に信号を読み出すことができる。
そして、第1の信号検出部と第2の信号検出部の信号を加算すると、位相差のない通常の撮像用信号を得られる。つまり、撮像用画素51は、第3の信号検出部としても機能する。このように、図6の構成では、全ての画素を、位相差検出用画素と撮像用画素との両方として用いることができる。
図10の構成では、例えば、1行目にある撮像用画素51を含む領域が領域R1となり、3行目にある撮像用画素51を含む領域が領域R2となり、5行目にある撮像用画素51を含む領域が領域R3となり、7行目にある撮像用画素51を含む領域が領域R4となる。
領域R1と領域R2との間でずらし量を算出する場合は、第1の信号検出部の検出信号同士、第2の信号検出部の検出信号同士、又は第3の信号検出部の検出信号同士でマッチングを行ってずらし量を算出する。
この構成によれば、位相差検出用画素の検出信号を用いてマッチングを行っても、マッチングを行う2つの検出信号群のX方向のサンプリング間隔を最小にすることができる。したがって、図2~5の撮像素子の構成と比べて、ずらし量の算出精度を更に上げることができる。
本明細書では撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。
図11は、本発明の撮像装置の一実施形態であるスマートフォン200の外観を示すものである。図11に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図12は、図11に示すスマートフォン200の構成を示すブロック図である。図12に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部204は、主制御部220の制御により、画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
図11に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体201の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部211は、スピーカ205やマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。また、図11に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
操作部207は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図11に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部212は、主制御部220の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達することや、スマートフォン200の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210や外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部215は、例えば、3軸の加速度センサなどを備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向や加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部220は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部208は、図1に示したデジタルカメラにおける外部メモリ制御部20、記録媒体21、表示制御部22、表示部23、及び操作部14以外の構成を含む。カメラ部208によって生成された撮像画像データは、記憶部212に記録したり、入出力部213や無線通信部210を通じて出力したりすることができる。図11に示すスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することや、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等などを付加して記憶部212に記録したり、入出力部213や無線通信部210を通じて出力したりすることもできる。
以上のような構成のスマートフォン200においても、カメラ部208の撮像素子として撮像素子5を用い、主制御部220において図8で説明した処理を行うことで、位相差検出用画素の検出信号レベルが低い場合でも、被写体によらずに、精度の高い合焦制御が可能になる。
以上説明してきたように、本明細書には以下の事項が開示されている。
開示された撮像装置は、一方向に2つの分割領域に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第1の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第2の信号検出部のペアを有し、上記一方向に並ぶ複数の上記第1の信号検出部及びその第1の信号検出部とペアを組む複数の上記第2の信号検出部が配置される領域が上記一方向に直交する方向に並ぶ撮像面を有する撮像素子と、複数の上記領域のうちの任意の領域にある複数の上記第1の信号検出部の各々に対し、上記任意の領域を除く各領域において検出信号の加算対象とする上記第1の信号検出部と、その複数の第1の信号検出部の各々とペアを組む上記第2の信号検出部に対し、上記任意の領域を除く各領域において検出信号の加算対象とする上記第2の信号検出部とを上記複数の領域の各々に結像する被写体像の比較によって決定する加算対象決定部と、上記任意の領域にある上記複数の第1の信号検出部の各々の検出信号と、その各第1の信号検出部に対し上記加算対象として決定された第1の信号検出部の検出信号とを加算することにより得られる検出信号群と、上記任意の領域にある上記複数の第2の信号検出部の各々の検出信号と、その各第2の信号検出部に対し上記加算対象として決定された第2の信号検出部の検出信号とを加算することにより得られる検出信号群との相関演算を行い、上記相関演算の結果から第1のデフォーカス量を生成するデフォーカス量生成部と、上記第1のデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御部と、を備える。
開示された撮像装置において、上記加算対象決定部は、上記任意の領域に結像する第1の被写体像と、上記任意の領域を除く各領域に結像する第2の被写体像との一致度を最大にするために必要な上記第1の被写体像の上記一方向へのずらし量を上記任意の領域を除く領域毎に算出し、上記任意の領域を除く各領域にある上記第1の信号検出部及び上記第2の信号検出部のうち、上記任意の領域にある上記複数の第1の信号検出部の各々に対しその各領域について算出された上記ずらし量ずれた位置にある第1の信号検出部を加算対象として決定し、上記任意の領域にある上記複数の第2の信号検出部の各々に対しそのずらし量ずれた位置にある第2の信号検出部を加算対象として決定してもよい。
開示された撮像装置において、上記加算対象決定部は、上記ずらし量が第1の閾値以上となる上記領域にある上記第1の信号検出部及び上記第2の信号検出部を上記加算対象から除外してもよい。
開示された撮像装置において、上記加算対象決定部は、上記複数の領域の各々に結像する被写体像の比較を、上記複数の領域の各々にある上記第1の信号検出部又は上記第2の信号検出部の検出信号のマッチングにより行ってもよい。
開示された撮像装置において、上記領域には、上記2つの分割領域を通過した光束に応じた信号を検出する第3の信号検出部が更に配置されており、上記加算対象決定部は、上記複数の領域の各々に結像する被写体像の比較を、上記複数の領域の各々にある上記第3の信号検出部の検出信号同士のマッチングにより行ってもよい。
開示された撮像装置において、上記加算対象決定部は、上記複数の領域の各々に結像する被写体像の比較を、上記複数の領域の各々にある、上記第1の信号検出部又は上記第2の信号検出部と同じ行にある上記第3の信号検出部の検出信号同士のマッチングにより行ってもよい。
開示された撮像装置において、上記領域にある上記ペアは、検出信号を加算することで、上記2つの分割領域を通過した光束に応じた信号を検出する第3の信号検出部として機能するものであってもよく、上記加算対象決定部は、上記複数の領域の各々に結像する被写体像の比較を、上記複数の領域の各々にある各ペアの上記第1の信号検出部の検出信号と上記第2の信号検出部の検出信号を加算した検出信号同士のマッチングにより行ってもよい。
開示された撮像装置において、上記加算対象決定部は、上記撮像面を上記複数の領域からなるブロックに分割したときの上記ブロック毎に上記加算対象を決定し、上記デフォーカス量生成部は、上記ブロック毎に上記第1のデフォーカス量を生成し、上記ブロック毎に生成した第1のデフォーカス量から第2のデフォーカス量を生成してもよく、上記合焦制御部は、上記第2のデフォーカス量にしたがって上記撮像光学系の合焦制御を行ってもよい。
開示された撮像装置において、上記デフォーカス量生成部は、上記ブロックに含まれる上記複数の領域の各々において、複数の上記ペアから出力される上記第1の信号検出部の検出信号と上記第2の信号検出部の検出信号とで相関演算を行い、その相関演算の結果から第3のデフォーカス量を生成し、上記複数の領域の各々について生成された上記第3のデフォーカス量のばらつきが第2の閾値以上となる上記ブロックを除くブロックについて生成した上記第1のデフォーカス量から上記第2のデフォーカス量を生成してもよい。
開示された撮像装置の合焦制御方法は、一方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第1の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第2の信号検出部のペアを有し、上記一方向に並ぶ複数の上記第1の信号検出部及びその第1の信号検出部とペアを組む上記第2の信号検出部が配置される領域が上記一方向に直交する方向に並ぶ撮像面を有し、上記撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置の合焦制御方法であって、複数の上記領域のうちの任意の領域にある複数の上記第1の信号検出部の各々に対し、上記任意の領域を除く各領域において検出信号の加算対象とする上記第1の信号検出部と、その複数の第1の信号検出部の各々とペアを組む上記第2の信号検出部に対し、上記任意の領域を除く各領域において検出信号の加算対象とする上記第2の信号検出部とを上記複数の領域の各々に結像する被写体像の比較によって決定する加算対象決定ステップと、上記任意の領域にある上記複数の第1の信号検出部の各々の検出信号と、その各第1の信号検出部に対し上記加算対象として決定された第1の信号検出部の検出信号とを加算することにより得られる検出信号群と、上記任意の領域にある上記複数の第2の信号検出部の各々の検出信号、その各第2の信号検出部に対し上記加算対象として決定された第2の信号検出部の検出信号とを加算することにより得られる検出信号群との相関演算を行い、上記相関演算の結果から第1のデフォーカス量を生成するデフォーカス量生成ステップと、上記第1のデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御ステップと、を備える。
本発明は、デジタルカメラ等に適用して利便性が高く、有効である。
1 撮像レンズ
2 絞り
5 撮像素子
11 システム制御部(合焦制御部)
19 位相差AF処理部(デフォーカス量生成部、加算対象決定部)
50 撮像面
51 撮像用画素(第3の信号検出部)
52A,52B 位相差検出用画素(第1の信号検出部、第2の信号検出部)
53 AFエリア
53A,53B,53C,53D ブロック
2 絞り
5 撮像素子
11 システム制御部(合焦制御部)
19 位相差AF処理部(デフォーカス量生成部、加算対象決定部)
50 撮像面
51 撮像用画素(第3の信号検出部)
52A,52B 位相差検出用画素(第1の信号検出部、第2の信号検出部)
53 AFエリア
53A,53B,53C,53D ブロック
Claims (10)
- 一方向に2つの分割領域に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第1の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第2の信号検出部のペアを有し、前記一方向に並ぶ複数の前記第1の信号検出部及び当該第1の信号検出部とペアを組む複数の前記第2の信号検出部が配置される領域が前記一方向に直交する方向に並ぶ撮像面を有する撮像素子と、
複数の前記領域のうちの任意の領域にある複数の前記第1の信号検出部の各々に対し、前記任意の領域を除く各領域において検出信号の加算対象とする前記第1の信号検出部と、当該複数の第1の信号検出部の各々とペアを組む前記第2の信号検出部に対し、前記任意の領域を除く各領域において検出信号の加算対象とする前記第2の信号検出部とを、前記複数の領域の各々に結像する被写体像の比較によって決定する加算対象決定部と、
前記任意の領域にある前記複数の第1の信号検出部の各々の検出信号と、当該各第1の信号検出部に対し前記加算対象として決定された第1の信号検出部の検出信号とを加算することにより得られる検出信号群と、前記任意の領域にある前記複数の第2の信号検出部の各々の検出信号と、当該各第2の信号検出部に対し前記加算対象として決定された第2の信号検出部の検出信号とを加算することにより得られる検出信号群との相関演算を行い、前記相関演算の結果から第1のデフォーカス量を生成するデフォーカス量生成部と、
前記第1のデフォーカス量に基づいて前記撮像光学系の合焦制御を行う合焦制御部と、を備える撮像装置。
- 請求項1記載の撮像装置であって、
前記加算対象決定部は、前記任意の領域に結像する第1の被写体像と、前記任意の領域を除く各領域に結像する第2の被写体像との一致度を最大にするために必要な前記第1の被写体像の前記一方向へのずらし量を前記任意の領域を除く領域毎に算出し、前記任意の領域を除く各領域にある前記第1の信号検出部及び前記第2の信号検出部のうち、前記任意の領域にある前記複数の第1の信号検出部の各々に対し当該各領域について算出された前記ずらし量ずれた位置にある第1の信号検出部を前記加算対象として決定し、前記任意の領域にある前記複数の第2の信号検出部の各々に対し当該ずらし量ずれた位置にある第2の信号検出部を前記加算対象として決定する撮像装置。
- 請求項2記載の撮像装置であって、
前記加算対象決定部は、前記ずらし量が第1の閾値以上となる前記領域にある前記第1の信号検出部及び前記第2の信号検出部を前記加算対象から除外する撮像装置。
- 請求項1~3のいずれか1項記載の撮像装置であって、
前記加算対象決定部は、前記複数の領域の各々に結像する被写体像の比較を、前記複数の領域の各々にある前記第1の信号検出部又は前記第2の信号検出部の検出信号のマッチングにより行う撮像装置。
- 請求項1~3のいずれか1項記載の撮像装置であって、
前記領域には、前記2つの分割領域を通過した光束に応じた信号を検出する第3の信号検出部が更に配置されており、
前記加算対象決定部は、前記複数の領域の各々に結像する被写体像の比較を、前記複数の領域の各々にある前記第3の信号検出部の検出信号同士のマッチングにより行う撮像装置。
- 請求項5記載の撮像装置であって、
前記加算対象決定部は、前記複数の領域の各々に結像する被写体像の比較を、前記複数の領域の各々にある、前記第1の信号検出部又は前記第2の信号検出部と同じ行にある前記第3の信号検出部の検出信号同士のマッチングにより行う撮像装置。
- 請求項1~3のいずれか1項記載の撮像装置であって、
前記領域にある前記ペアは、検出信号を加算することで、前記2つの分割領域を通過した光束に応じた信号を検出する第3の信号検出部として機能するものであり、
前記加算対象決定部は、前記複数の領域の各々に結像する被写体像の比較を、前記複数の領域の各々にある各ペアの前記第1の信号検出部の検出信号と前記第2の信号検出部の検出信号を加算した検出信号同士のマッチングにより行う撮像装置。
- 請求項1~7のいずれか1項記載の撮像装置であって、
前記加算対象決定部は、前記撮像面を前記複数の領域からなるブロックに分割したときの前記ブロック毎に前記加算対象を決定し、
前記デフォーカス量生成部は、前記ブロック毎に前記第1のデフォーカス量を生成し、前記ブロック毎に生成した第1のデフォーカス量から第2のデフォーカス量を生成し、
前記合焦制御部は、前記第2のデフォーカス量にしたがって前記撮像光学系の合焦制御を行う撮像装置。
- 請求項8記載の撮像装置であって、
前記デフォーカス量生成部は、前記ブロックに含まれる前記複数の領域の各々において、複数の前記ペアから出力される前記第1の信号検出部の検出信号と前記第2の信号検出部の検出信号とで相関演算を行い、当該相関演算の結果から第3のデフォーカス量を生成し、前記複数の領域の各々について生成された前記第3のデフォーカス量のばらつきが第2の閾値以上となる前記ブロックを除くブロックについて生成した前記第1のデフォーカス量から前記第2のデフォーカス量を生成する撮像装置。
- 一方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第1の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第2の信号検出部のペアを有し、前記一方向に並ぶ複数の前記第1の信号検出部及び当該第1の信号検出部とペアを組む複数の前記第2の信号検出部が配置される領域が前記一方向に直交する方向に並ぶ撮像面を有し、前記撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置の合焦制御方法であって、
複数の前記領域のうちの任意の領域にある複数の前記第1の信号検出部の各々に対し、前記任意の領域を除く各領域において検出信号の加算対象とする前記第1の信号検出部と、当該複数の第1の信号検出部の各々とペアを組む前記第2の信号検出部に対し、前記任意の領域を除く各領域において検出信号の加算対象とする前記第2の信号検出部とを前記複数の領域の各々に結像する被写体像の比較によって決定する加算対象決定ステップと、
前記任意の領域にある前記複数の第1の信号検出部の各々の検出信号と、当該各第1の信号検出部に対し前記加算対象として決定された第1の信号検出部の検出信号とを加算することにより得られる検出信号群と、前記任意の領域にある前記複数の第2の信号検出部の各々の検出信号と、当該各第2の信号検出部に対し前記加算対象として決定された第2の信号検出部の検出信号とを加算することにより得られる検出信号群との相関演算を行い、前記相関演算の結果から第1のデフォーカス量を生成するデフォーカス量生成ステップと、
前記第1のデフォーカス量に基づいて前記撮像光学系の合焦制御を行う合焦制御ステップと、を備える合焦制御方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201480076452.6A CN106062607B (zh) | 2014-03-18 | 2014-12-11 | 摄像装置及对焦控制方法 |
| JP2016508454A JP5982600B2 (ja) | 2014-03-18 | 2014-12-11 | 撮像装置及び合焦制御方法 |
| US15/233,621 US9819853B2 (en) | 2014-03-18 | 2016-08-10 | Imaging device and focusing control method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014054993 | 2014-03-18 | ||
| JP2014-054993 | 2014-03-18 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US15/233,621 Continuation US9819853B2 (en) | 2014-03-18 | 2016-08-10 | Imaging device and focusing control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015141081A1 true WO2015141081A1 (ja) | 2015-09-24 |
Family
ID=54144077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2014/082796 Ceased WO2015141081A1 (ja) | 2014-03-18 | 2014-12-11 | 撮像装置及び合焦制御方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9819853B2 (ja) |
| JP (1) | JP5982600B2 (ja) |
| CN (1) | CN106062607B (ja) |
| WO (1) | WO2015141081A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017037978A1 (ja) * | 2015-08-31 | 2017-03-09 | ソニー株式会社 | 検出装置、検出方法、検出プログラムおよび撮像装置 |
| JP2017223741A (ja) * | 2016-06-13 | 2017-12-21 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106030366B (zh) * | 2014-03-18 | 2018-07-10 | 富士胶片株式会社 | 摄像装置及对焦控制方法 |
| US10264174B2 (en) * | 2015-12-08 | 2019-04-16 | Samsung Electronics Co., Ltd. | Photographing apparatus and focus detection method using the same |
| CN107040724B (zh) | 2017-04-28 | 2020-05-15 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| US11394866B2 (en) * | 2017-08-09 | 2022-07-19 | Sony Group Corporation | Signal processing device, imaging device, signal processing meihod and program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05150155A (ja) * | 1991-11-29 | 1993-06-18 | Canon Inc | 自動焦点検出装置及び半導体光電エリアセンサ装置 |
| JP2008103885A (ja) * | 2006-10-18 | 2008-05-01 | Nikon Corp | 撮像素子、焦点検出装置および撮像装置 |
| JP2009031562A (ja) * | 2007-07-27 | 2009-02-12 | Nikon Corp | 受光素子、受光装置、焦点検出装置、カメラ |
| JP2011109576A (ja) * | 2009-11-20 | 2011-06-02 | Mitsubishi Electric Corp | 撮像装置 |
| WO2011136031A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 撮像装置 |
| WO2012073727A1 (ja) * | 2010-11-30 | 2012-06-07 | 富士フイルム株式会社 | 撮像装置及びその合焦位置検出方法 |
| JP2012159533A (ja) * | 2011-01-28 | 2012-08-23 | Olympus Corp | 撮像装置及び撮像素子制御方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5428420A (en) * | 1991-08-28 | 1995-06-27 | Canon Kabushiki Kaisha | Focus detecting apparatus having photoelectric area sensors |
| JP2002258142A (ja) * | 2001-02-28 | 2002-09-11 | Canon Inc | 撮像装置 |
| JP2005156900A (ja) * | 2003-11-26 | 2005-06-16 | Kyocera Corp | 焦点検出用センサ−とその焦点検出用センサ−を有する焦点検出装置及び焦点検出方法並びに電子撮像装置 |
| JP5045350B2 (ja) * | 2007-10-01 | 2012-10-10 | 株式会社ニコン | 撮像素子および撮像装置 |
| JP5276374B2 (ja) * | 2008-07-25 | 2013-08-28 | キヤノン株式会社 | 焦点検出装置 |
| JP5202289B2 (ja) | 2008-12-25 | 2013-06-05 | キヤノン株式会社 | 撮像装置 |
| JP5159700B2 (ja) * | 2009-05-19 | 2013-03-06 | キヤノン株式会社 | 光学装置及び焦点検出方法 |
| JP2011135191A (ja) | 2009-12-22 | 2011-07-07 | Canon Inc | 撮像装置及び画像処理装置 |
| JP5638849B2 (ja) * | 2010-06-22 | 2014-12-10 | オリンパス株式会社 | 撮像装置 |
| JP5868090B2 (ja) * | 2011-09-20 | 2016-02-24 | 三菱電機株式会社 | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 |
| JP5613843B2 (ja) | 2011-09-28 | 2014-10-29 | 富士フイルム株式会社 | 固体撮像素子、撮像装置、及び合焦制御方法 |
| JP2014137468A (ja) * | 2013-01-17 | 2014-07-28 | Sony Corp | 撮像装置および撮像方法 |
| JP6190119B2 (ja) * | 2013-02-08 | 2017-08-30 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
-
2014
- 2014-12-11 WO PCT/JP2014/082796 patent/WO2015141081A1/ja not_active Ceased
- 2014-12-11 CN CN201480076452.6A patent/CN106062607B/zh active Active
- 2014-12-11 JP JP2016508454A patent/JP5982600B2/ja active Active
-
2016
- 2016-08-10 US US15/233,621 patent/US9819853B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05150155A (ja) * | 1991-11-29 | 1993-06-18 | Canon Inc | 自動焦点検出装置及び半導体光電エリアセンサ装置 |
| JP2008103885A (ja) * | 2006-10-18 | 2008-05-01 | Nikon Corp | 撮像素子、焦点検出装置および撮像装置 |
| JP2009031562A (ja) * | 2007-07-27 | 2009-02-12 | Nikon Corp | 受光素子、受光装置、焦点検出装置、カメラ |
| JP2011109576A (ja) * | 2009-11-20 | 2011-06-02 | Mitsubishi Electric Corp | 撮像装置 |
| WO2011136031A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 撮像装置 |
| WO2012073727A1 (ja) * | 2010-11-30 | 2012-06-07 | 富士フイルム株式会社 | 撮像装置及びその合焦位置検出方法 |
| JP2012159533A (ja) * | 2011-01-28 | 2012-08-23 | Olympus Corp | 撮像装置及び撮像素子制御方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017037978A1 (ja) * | 2015-08-31 | 2017-03-09 | ソニー株式会社 | 検出装置、検出方法、検出プログラムおよび撮像装置 |
| JPWO2017037978A1 (ja) * | 2015-08-31 | 2018-06-14 | ソニー株式会社 | 検出装置、検出方法、検出プログラムおよび撮像装置 |
| US11275230B2 (en) | 2015-08-31 | 2022-03-15 | Sony Group Corporation | Detection apparatus, detection method, detection program, and imaging apparatus |
| JP2017223741A (ja) * | 2016-06-13 | 2017-12-21 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106062607B (zh) | 2018-09-25 |
| US20160353010A1 (en) | 2016-12-01 |
| JPWO2015141081A1 (ja) | 2017-04-06 |
| CN106062607A (zh) | 2016-10-26 |
| US9819853B2 (en) | 2017-11-14 |
| JP5982600B2 (ja) | 2016-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5982601B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP5690974B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP5799178B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP6307526B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP6028112B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP5779726B2 (ja) | 撮像装置及び露出決定方法 | |
| JP5872122B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP5978411B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP5677625B2 (ja) | 信号処理装置、撮像装置、信号補正方法 | |
| JP5982600B2 (ja) | 撮像装置及び合焦制御方法 | |
| WO2017057071A1 (ja) | 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置 | |
| JP5990665B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP6364560B2 (ja) | 合焦制御装置、撮像装置、合焦制御方法、及び、合焦制御プログラム | |
| JP6186498B2 (ja) | 撮像装置及び合焦制御方法 | |
| WO2016038936A1 (ja) | 撮像装置及び合焦制御方法 | |
| JP6171105B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP5978415B2 (ja) | 撮像装置及び合焦制御方法 | |
| WO2017057072A1 (ja) | 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14885908 Country of ref document: EP Kind code of ref document: A1 |
|
| DPE2 | Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101) | ||
| ENP | Entry into the national phase |
Ref document number: 2016508454 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 14885908 Country of ref document: EP Kind code of ref document: A1 |