[go: up one dir, main page]

WO2011052172A1 - 撮像装置およびそれを用いた測距装置 - Google Patents

撮像装置およびそれを用いた測距装置 Download PDF

Info

Publication number
WO2011052172A1
WO2011052172A1 PCT/JP2010/006266 JP2010006266W WO2011052172A1 WO 2011052172 A1 WO2011052172 A1 WO 2011052172A1 JP 2010006266 W JP2010006266 W JP 2010006266W WO 2011052172 A1 WO2011052172 A1 WO 2011052172A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
optical system
image
imaging
sharpness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/006266
Other languages
English (en)
French (fr)
Inventor
典広 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011510598A priority Critical patent/JP4796666B2/ja
Priority to US13/146,714 priority patent/US8520125B2/en
Priority to CN201080003670.9A priority patent/CN102257822B/zh
Publication of WO2011052172A1 publication Critical patent/WO2011052172A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/144—Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Definitions

  • the present invention relates to an imaging apparatus such as a camera.
  • the refractive index of light with respect to the material constituting the lens varies depending on the wavelength. Therefore, when light of various wavelengths is incident on the optical system of the imaging apparatus, axial chromatic aberration occurs, and images with different sharpness (sharpness of the image) are obtained depending on colors. When a color with low sharpness is included in the image, the color causes deterioration in image quality.
  • an imaging apparatus such as a camera
  • the imaging apparatus requires separate means for detecting the focus state and means for adjusting the focus.
  • Patent Document 1 A technique for realizing depth extension and correction of longitudinal chromatic aberration has been proposed (Patent Document 1).
  • Patent Document 1 A technique for realizing depth extension and correction of longitudinal chromatic aberration has been proposed (Patent Document 1).
  • the sharpness of the second color component can be increased by reflecting the sharpness of the first color component in the second color component.
  • the depth of field can be increased, and subjects at various distances can be imaged relatively clearly without adjusting the focus.
  • Patent Document 1 In the configuration of Patent Document 1, in order to reflect the sharpness of the first color component in the second color component, information on the sharpness of both the first color component and the second color component is necessary. . For this reason, the depth of focus is limited to a range in which information on the sharpness of all colors exists. As described above, in the configuration of Patent Document 1, there is a limit to the range in which the depth of focus can be expanded, and it has been difficult to sufficiently increase the depth of field.
  • the image when imaging a single color (for example, blue) subject with a black background, the image does not include components of colors (green and red) other than the subject color. Therefore, when the image of the subject is blurred due to axial chromatic aberration, the sharpness of other colors on the image cannot be detected and reflected on the sharpness of the subject.
  • the present invention has been made to solve the above-described problems, and a main object of the present invention is to provide an imaging apparatus that can obtain an image with high depth of focus and a large depth of field and high sharpness. is there. Another object of the present invention is to provide an imaging apparatus capable of photographing a single color (for example, blue) subject with a black background with high sharpness.
  • a single color for example, blue
  • An image pickup apparatus includes a first optical system having axial chromatic aberration at different imaging positions on the optical axes of the first color, the second color, and the third color, and light transmitted through the first optical system.
  • a first imaging region for generating an image of at least one of the first, second, and third colors, and an axial chromatic aberration different from that of the first optical system.
  • a second imaging system for generating an image including a component of the same color as the component of the at least one color using the second optical system and the light transmitted through the second optical system; and Of the image of the at least one color component generated in the imaging region and the image of the component of the at least one color generated in the second imaging region, the image of the component with the higher sharpness is used.
  • an arithmetic processing unit for generating an output image.
  • Another imaging apparatus includes a first optical system having axial chromatic aberration at different imaging positions on the optical axes of the first color, the second color, and the third color, and passing through the first optical system.
  • a first imaging region that generates an image of at least one of the first color, second color, and third color using the light, and axial chromatic aberration different from that of the first optical system
  • a second imaging system that generates an image including a component having the same color as the at least one color component using light transmitted through the second optical system, and Of the image of the at least one color component generated in one imaging region and the image of the component of the at least one color generated in the second imaging region, an image of a component having a larger contrast
  • an arithmetic processing unit that generates an output image.
  • the sharpness of the output image can be obtained by a simple method. Can be increased. In addition, since the depth of focus can be increased as compared with the prior art, a sufficiently large depth of field can be obtained.
  • the sharpness of the subject color is greater than a predetermined value in any of the two or more imaging regions. It has become. Therefore, an image with high sharpness can be generated.
  • FIG. 1 is a schematic diagram illustrating a first embodiment of an imaging apparatus A according to the present invention.
  • (A) through (3) are graphs showing the spherical aberration, astigmatism, and distortion in the first optical system 10, respectively.
  • (B) (1) to (3) are graphs showing the spherical aberration, astigmatism and distortion in the second optical system 20, respectively.
  • FIG. 4A is a graph showing axial chromatic aberration in the first optical system 10.
  • (B) is a graph showing axial chromatic aberration in the second optical system 20.
  • 6 is a graph showing through focus MTF characteristics of the first optical system 10 and the second optical system 20.
  • FIG. 6 is a diagram schematically illustrating through-focus MTF characteristics of the first optical system 10 and through-focus MTF characteristics of the second optical system 20 for each subject distance.
  • A is a graph which shows the point image intensity distribution for every color which spreads on the 1st color image acquired from the 1st optical system 10 from the optical axis to the circumference
  • B is a graph showing the point image intensity distribution for each color spreading from the optical axis to the periphery thereof on the second color image acquired from the second optical system 20.
  • (C) is a graph showing a point image intensity distribution when a color with high sharpness is selected from each of the first color image and the second color image.
  • (D) is a graph showing a point image intensity distribution when the first color image and the second color image are added for each color.
  • (A) is a graph which shows the red point image intensity distribution of the 2nd optical system 20, the distribution which gave it once differentiation, and the distribution which gave twice differentiation.
  • (B) is a graph showing the point image intensity distribution when the second derivative of the red point image intensity distribution in the second optical system 20 is subtracted from the blue point image intensity distribution in the first optical system 10.
  • . 6 is a graph showing through focus MTF characteristics of the first optical system 10 and the second optical system 20. It is a graph which shows the through focus MTF characteristic of the 1st optical system 10a and the 2nd optical system 20a.
  • FIG. 10 It is a graph which shows the through focus MTF characteristic of the 1st optical system 10b and the 2nd optical system 20b. It is a schematic diagram which shows 2nd Embodiment of the imaging device A by this invention.
  • (A) through (3) are graphs showing spherical aberration, astigmatism, and distortion in the first optical system 30, respectively.
  • (B) (1) to (3) are graphs showing spherical aberration, astigmatism, and distortion in the second optical system 40, respectively.
  • (A), (b) is a graph which shows the axial chromatic aberration of the 1st optical system 30, and the axial chromatic aberration of the 2nd optical system 40, respectively. It is a figure for demonstrating the principle of the triangulation in a distance measuring device.
  • 3 is a graph showing through focus MTF characteristics of a first optical system 30 and a second optical system 40;
  • 5 is a graph showing axial chromatic aberration of each optical system in an imaging apparatus having three optical systems.
  • FIG. 1 is a schematic diagram showing a first embodiment of an imaging apparatus A according to the present invention.
  • the imaging apparatus A according to the present embodiment includes a first optical system 10, a first imaging area Na on which light transmitted through the first optical system 10 is incident, a second optical system 20, and a second optical system.
  • a second imaging region Nb in which light transmitted through the system 20 is incident and an arithmetic processing unit C that acquires images from the first imaging region Na and the second imaging region Nb are provided.
  • the first optical system 10 includes an aperture stop Sa, a lens L1a, and a lens L2a, and the lens L1a and the lens L2a have a common optical axis.
  • the second optical system 20 includes a stop Sb, a lens L1b, and a lens L2b, and the lens L1b and the lens L2b have a common optical axis.
  • the lenses L1b and L2b in the second optical system 20 have axial chromatic aberration different from those of the lenses L1a and L2a in the first optical system 10.
  • the direction toward the image plane on the optical axis of the lenses L1b and L2b (the direction from the lenses L1b and L2b to the second imaging region Nb).
  • light rays are imaged in the order of red, green, and blue.
  • the sharpness of the color components of red, blue, and green in the image obtained by the first imaging region Na, and the second is different from the sharpness of the color components of red, blue and green in the image obtained by the imaging region Nb.
  • the sharpness in each of red, blue, and green from the first color image obtained in the first imaging area Na and the second color image obtained in the second imaging area Nb.
  • the light incident on the first optical system 10 and the second optical system 20 does not necessarily have to be three colors of blue (B), green (G), and red (R). Two of these three colors may be used, or one of these three colors may be used.
  • B blue
  • G green
  • R red
  • Two of these three colors may be used, or one of these three colors may be used.
  • the absolute value of the difference between the luminance value of a predetermined minute area on the acquired image and the luminance value of the minute area adjacent to the predetermined minute area is used for evaluation of the level of sharpness.
  • the spectroscopic member M is disposed between the lens L1a in the first optical system 10 and the lens L1b in the second optical system 20.
  • the spectroscopic member M is, for example, a half mirror, and plays a role of dividing the light beam 1 from the subject into two and guiding it to the lens L1a of the first optical system 10 and the lens L1b of the second optical system 20.
  • the optical axes of the lenses L1a and L1b are arranged so as to be orthogonal to each other.
  • the lenses L1a and L1b are arranged so that the angle between each optical axis and the mirror surface of the spectroscopic member M is 45 °.
  • the light reflected by the spectral member M is incident on the lens L ⁇ b> 1 a via the diaphragm Sa of the first optical system 10.
  • the light that has passed through the spectral member M without being reflected by the spectral member M is incident on the lens L1b via the stop Sb of the second optical system 20.
  • the light that has passed through the lenses L1a and L2a in the first optical system 10 enters the first imaging region Na.
  • the light that has passed through the lenses L1b and L2b in the second optical system 20 enters the second imaging region Nb.
  • the color components included in the images incident on the respective imaging regions Na and Nb are substantially equal. Are identical.
  • the first and second imaging regions Na and Nb are connected to the arithmetic processing unit C, and the arithmetic processing unit C receives two color images (first images) acquired from the first imaging region Na and the second imaging region Nb.
  • the color image and the second color image) are processed to generate one color image (output image).
  • the axial chromatic aberrations of the first optical system 10 and the second optical system 20 are different from each other.
  • the order and position in which each light beam forms an image can be adjusted by the shape, material, and arrangement of each lens.
  • Table 1 and Table 2 show design data of the first optical system 10 and the second optical system 20 in the imaging apparatus A shown in FIG.
  • ri is the paraxial radius of curvature (mm) of each surface
  • di is the center distance (mm) of each surface
  • nd is the refractive index of the d line of the lens or filter
  • ⁇ d is the lens or filter. The Abbe number of d line is shown.
  • (1), (2), and (3) in FIG. 2 (a) show the spherical aberration, astigmatism, and distortion of the first optical system 10, respectively.
  • (1), (2), and (3) in FIG. 2B show the spherical aberration, astigmatism, and distortion of the second optical system 20, respectively.
  • 3A and 3B show the axial chromatic aberration of the first optical system 10 and the axial chromatic aberration of the second optical system 20, respectively.
  • the horizontal axis indicates the wavelength of light
  • the vertical axis indicates the imaging position when the focal position of light having a wavelength of 0.55 ⁇ m (green) is used as a reference (0.00).
  • a shift is indicated. From FIG. 3A, it can be seen that in the first optical system 10, the shorter the wavelength, the more concentrated on the subject side (that is, the lens L1a, L2a side).
  • the first optical system 10 light rays are imaged in the order of blue, green, and red in the direction toward the image plane on the optical axis (the direction from the lenses L1a and L2a toward the first imaging region Na).
  • the second optical system 20 light having a shorter wavelength gathers closer to the second imaging region Nb on the optical axis. That is, in the second optical system 20, light rays are imaged in the order of red, green, and blue in the direction from the lenses L1b and L2b on the optical axis toward the second imaging region Nb.
  • the lens L1a is a convex lens
  • the lens L2a is a concave lens
  • the lens L1b is a convex lens
  • the lens L2b is a concave lens.
  • the first optical system 10 is designed so that the axial chromatic aberration is insufficiently corrected, and the second optical system.
  • the axial chromatic aberration is overcorrected.
  • the combination of the shapes of the lenses L1a and L2a (concave lens or convex lens) and the shapes of the lenses L1b and L2b according to the present embodiment is not limited to the configuration shown in FIG.
  • the arithmetic processing unit C includes a first sharpness detection unit C1, a second sharpness detection unit C2, and an image generation unit C3 that generates an output image.
  • the first sharpness detection unit C1 detects the sharpness of each color for each predetermined region in the image from the first imaging region Na.
  • the second sharpness detection unit C2 detects the sharpness of each color for each predetermined region in the image from the second imaging region Nb.
  • the image generation unit C3 generates an output image based on the sharpness calculated by the first sharpness detection unit C1 and the second sharpness detection unit C2.
  • the arithmetic processing unit C may be a circuit that realizes arithmetic processing, or may be software.
  • the sharpness of the images obtained in the first and second imaging areas Na and Nb varies depending on the distance to the subject. How the sharpness changes depending on the distance to the subject can be expressed by the MTFs of the first and second optical systems 10 and 20.
  • MTF is a characteristic of a lens that represents how faithfully the contrast of a subject can be reproduced on the image plane. It can be determined that the higher the MTF value, the higher the sharpness.
  • MTF is used for designing the first and second optical systems 10 and 20 in order to obtain a desired sharpness.
  • the through focus MTF characteristics of the first optical system 10 and the second optical system 20 that can obtain a desired sharpness will be described.
  • FIG. 4 is a graph showing the through focus MTF characteristics of the first optical system 10 and the second optical system 20.
  • the upper graph in FIG. 4 shows the through focus MTF characteristic of the first optical system 10
  • the lower graph in FIG. 4 shows the through focus MTF characteristic of the second optical system 20.
  • the horizontal axis indicates the focus shift
  • the vertical axis indicates the MTF when the spatial frequency is 30 Lp / mm.
  • MBa, MGa, and MRa indicate blue, green, and red through focus MTF characteristics, respectively.
  • PBa, PGa, and PRa indicate the peak positions.
  • MRb, MGb, and MBb indicate red, green, and blue through focus MTF characteristics, respectively.
  • PRb, PGb, and PBb indicate respective peak positions.
  • the focus shift amounts of PBa and PRb are set to be substantially the same, and the focus shift amounts of PRa and PBb are set to be substantially the same.
  • the positions of these peaks do not necessarily have to be designed to be substantially the same.
  • FIG. 5 is a diagram schematically showing the through focus MTF characteristic of the first optical system 10 and the through focus MTF characteristic of the second optical system 20 for each subject distance. The higher the MTF on the imaging surface, the higher the sharpness.
  • the MTF values of the colors of the images obtained in the first and second imaging areas Na and Nb differ depending on the subject distance.
  • the MTF value of blue 1Bn of the first optical system 10 is larger than the blue MTF value of the second optical system 20.
  • the green 2TFn MTF value of the second optical system 20 is larger than the green MTF value of the first optical system 10.
  • the MTF value of red 2Rn of the second optical system 20 is larger than the red MTF value of the first optical system 10.
  • red 1Rm of the first optical system 10 and green 2Gm and blue 2Bm of the second optical system 20 are selected in the case of a medium distance.
  • red 1Rf and green 1Gf of the first optical system 10 and blue 2Bf of the second optical system 20 are selected in the case of a long distance.
  • the design is performed so as to have the through focus MTF characteristic shown in FIG. At that time, an MTF value that can obtain a desired sharpness is set as a boundary value.
  • the range of the subject distance in which the higher MTF value is larger than the boundary value is generally the depth of field.
  • the “boundary value” is a predetermined value K shown in FIG. 8 and the like, and the predetermined value K will be described later.
  • the MTF represents how faithfully the contrast of the subject can be reproduced on the image plane
  • the spatial frequency of the subject is required to calculate the MTF value. Therefore, the MTF value cannot be directly detected from an arbitrary image during actual imaging. Therefore, at the time of actual imaging, the luminance value is used to evaluate the level of sharpness. The higher the sharpness, the less blurring of the image. Usually, an image with higher sharpness has a larger difference in luminance value between adjacent minute regions.
  • the first sharpness detection unit C1 determines the luminance value of a predetermined minute area on the image acquired in the first imaging area Na and the luminance of a minute area adjacent to the predetermined minute area. Value. Further, the absolute value of the difference between these luminance values is calculated. Similarly, the second sharpness detection unit C2 also calculates the absolute value of the difference in luminance value from the image acquired in the second imaging region Nb. Next, the image generation unit C3 compares the absolute value obtained from the image of the first imaging area Na with the absolute value obtained from the image of the second imaging area Nb. It can be determined that the greater the value of the absolute value obtained from the image of the first imaging area Na and the absolute value obtained from the image of the second imaging area Nb, the higher the sharpness. The above determination is performed for each color component (red, blue, green) for each predetermined minute area.
  • the first and second optical systems 10 and 20 are designed by the above-described method, if the subject is located within the depth of field, the images of the first and second imaging regions Na and Nb Of these, the sharpness of the larger absolute value of the luminance value difference is within a desired value range. Therefore, an image with high sharpness can be selected for each color by comparing the absolute values of the luminance value differences without measuring the distance to the subject.
  • the sharpness may be obtained based on a frequency spectrum obtained by Fourier-transforming the luminance value of an image block having a predetermined size.
  • the response value at a predetermined spatial frequency can be obtained as the sharpness. That is, it is possible to evaluate the sharpness of an image by comparing response values at a predetermined spatial frequency. Since the image is two-dimensional, a method for obtaining the sharpness using a two-dimensional Fourier transform is desirable.
  • the first and second sharpness detection units C1 and C2 in the arithmetic processing unit C actually calculate the sharpnesses of the first optical system 10 and the second optical system 20, and the respective colors.
  • the higher sharpness of the components may be selected.
  • FIG. 6A is a graph showing the point image intensity distribution for each color spreading from the optical axis to the periphery thereof on the first color image acquired from the first optical system 10 at a predetermined distance.
  • FIG. 6B is a graph showing a point image intensity distribution for each color spreading from the optical axis to the periphery thereof on the second color image acquired from the second optical system 20. 6 (a) and 6 (b), it can be seen that the first optical systems 10 and 20 have different point image intensity distributions.
  • FIG. 6C is a graph showing the point image intensity distribution when a color with high sharpness is selected from the first color image and the second color image.
  • Blue (B1) in FIG. 6 (a) shows higher sharpness than blue (B2) in FIG. 6 (b).
  • each of red (R1) and green (G1) in FIG. 6A shows lower sharpness than each of red (R2) and green (B2) in FIG. 6B. Therefore, when the higher sharpness is selected for each color, an image is generated using red (R2), green (G2), and blue (B1) as shown in FIG.
  • a synthesis method it is possible to obtain a sharpness higher than the sharpness that can be acquired by one optical system as shown in FIGS.
  • FIG. 6D is a graph showing a point image intensity distribution when the first color image and the second color image are added for each color. Also by such a synthesis method, a sharpness higher than the sharpness that can be obtained by one optical system as shown in FIGS. 6A and 6B can be obtained.
  • Which of the methods shown in FIGS. 6C and 6D is selected as the synthesis method may be determined according to the subject. For example, in the case of a bright subject, a synthesis method as shown in FIG. 6C may be selected, and in the case of a dark subject, a synthesis method as shown in FIG. 6D may be selected.
  • the blue sharpness is lower than the green and red sharpness even after the synthesis.
  • the sharpness of red which has the highest sharpness, in the sharpness of blue
  • the sharpness of blue can be increased to the same degree as the sharpness of other colors. The method will be specifically described below.
  • FIG. 7A is a graph showing a red point image intensity distribution of the second optical system 20, a distribution obtained by differentiating it once, and a distribution obtained by applying a second derivative.
  • differentiation is performed once, a gradient of distribution intensity before differentiation is obtained.
  • the differentiation is performed twice, the change in the distribution intensity before the differentiation is emphasized, so that the distribution subjected to the differentiation twice becomes an edge detection filter. Accordingly, the blue sharpness can be increased by subtracting the second derivative of the red point image intensity distribution in the second optical system 20 from the blue point image intensity distribution in the first optical system 10.
  • FIG. 7B a color image with good sharpness can be generated for all color components.
  • the sharpness of blue can also be increased by subtracting the distribution obtained by differentiating the blue component twice from the blue point image intensity distribution.
  • the edge cannot be detected satisfactorily even if the differentiation is performed twice, so that the sharpness cannot be increased sufficiently. Therefore, as described above, it is preferable to reduce the second derivative of other color components having high sharpness.
  • the explanation for sharpening the point image intensity distribution is performed in one dimension, but since the image is in two dimensions, the sharpening process is actually performed in two dimensions.
  • the second derivative is subtracted as it is, but it may be reduced by multiplying the second derivative by a predetermined coefficient.
  • the upper graph in FIG. 8 shows the through focus MTF characteristic of the first optical system 10
  • the lower graph in FIG. 8 is a graph showing the through focus MTF characteristic of the second optical system 20.
  • the vertical axis indicates MTF values at predetermined spatial frequencies of red, green, and blue
  • the horizontal axis indicates a position on the optical axis.
  • curves MBa, MGa, and MRa indicate blue, green, and red MTF characteristics, respectively.
  • the curves MBa, MGa, and MRa overlap each other.
  • Curves MRb, MGb, and MBb indicate red, green, and blue MTF characteristics, respectively.
  • the curves MRb, MGb, MBb overlap each other.
  • the horizontal axis includes a first range W10, a second range W12, a third range W13, and a fourth range W23.
  • the second range W12 is an imaging position when the subject distance is longer than the first range W10.
  • the third range W13 is an imaging position when the subject distance is longer than the first range W10 and the second range W12
  • the fourth range W23 is a subject distance longer than the first range W10 to the third range W13. This is the imaging position when the length is long.
  • the red, green, and blue MTF values of the first optical system 10 are all equal to or greater than the predetermined value K.
  • the MTF values of all the colors of the second optical system 20 instead of the first optical system 10 may be a value equal to or greater than the predetermined value K.
  • the blue MTF value of the first optical system 10 is a value greater than or equal to the predetermined value K, and the green and red MTF values are values less than the predetermined value K.
  • the red and green MTF values of the second optical system 20 are equal to or greater than the predetermined value K.
  • the blue and green MTF values of the first optical system 10 are values greater than or equal to the predetermined value K, and the red MTF values are less than the predetermined value K.
  • the red MTF value of the second optical system 20 is not less than the predetermined value K.
  • the green and red MTF values of the first optical system 10 are values greater than or equal to the predetermined value K, and the blue MTF values are less than the predetermined value K.
  • the blue MTF value of the second optical system 20 is not less than the predetermined value K.
  • the MTF values of all colors can be set to a predetermined value K or more in either the first optical system 10 or the second optical system 20.
  • K a predetermined value
  • the sharpness of the image can be increased in the range Ws.
  • an imaging apparatus having only the first optical system 10 when an imaging apparatus having only the first optical system 10 is considered, an image with high sharpness can be acquired only in the third range W13 shown in FIG.
  • the depth of focus can be greatly expanded as compared with an imaging apparatus having only a single optical system, and thus a sufficiently large depth of field is obtained. be able to.
  • any one of the image data obtained from the first optical system 10 and the second optical system 20 is used. Compared with the case of having a single optical system, an image with high sharpness can be generated in a wide range.
  • FIG. 8 is a graph showing the through focus MTF characteristics of the first optical system 10a and the second optical system 20a.
  • first optical system 10a light gathers in the order of blue, green, and red in the direction toward the image plane (the direction from the lens toward the imaging region), and in the second optical system 20a, the direction toward the image plane.
  • light gathers in the order of red, blue, and green that is, in the first optical system 10a and the second optical system 20a, the color that is most condensed on the lens side, the color that is most condensed on the image plane side, and the color that is condensed between these colors are: , All different.
  • the green MTF value is less than the predetermined value K in the first optical system 10a and the second optical system 20a. Therefore, in the first range W10, the green sharpness cannot be increased.
  • the blue and green MTF values of the first optical system 10a are values greater than or equal to the predetermined value K, and the red MTF values are less than the predetermined value K.
  • the red MTF value of the second optical system 20a is not less than the predetermined value K.
  • the red, green, and blue MTF values of the first optical system 10a are all equal to or greater than the predetermined value K.
  • the MTF values of all the colors of the second optical system 20a instead of the first optical system 10a may be a value equal to or greater than the predetermined value K.
  • the green and red MTF values of the first optical system 10a are values greater than or equal to the predetermined value K, and the blue MTF values are less than the predetermined value K.
  • the blue MTF value of the second optical system 20a is not less than the predetermined value K.
  • FIG. 10 is a graph showing through focus MTF characteristics of the first optical system 10b and the second optical system 20b.
  • first optical system 10b light gathers in the order of blue, green, and red in the direction toward the image plane (the direction from the lens toward the imaging region), and in the second optical system 20b, the direction toward the image plane.
  • light gathers in the order of green, blue, and red that is, in the first optical system 10b and the second optical system 20b, the color that is most condensed on the lens side is different from the color that is condensed on the center, but the color that is most condensed on the image plane side is different. The same.
  • the red MTF values of the first optical system 10b and the second optical system 20b are less than the predetermined value K. Therefore, in the first range W10, the red sharpness cannot be increased.
  • the red MTF values of the first optical system 10b and the second optical system 20b are less than the predetermined value K. Therefore, in the second range W12, the red sharpness cannot be increased.
  • the red, green, and blue MTF values of the first optical system 10b are all equal to or greater than the predetermined value K.
  • the MTF values of all the colors of the second optical system 20b instead of the first optical system 10b may be a value equal to or greater than the predetermined value K.
  • the green and red MTF values of the first optical system 10b are values greater than or equal to the predetermined value K, and the blue MTF values are less than the predetermined value K.
  • the blue MTF value is equal to or greater than the predetermined value K.
  • the order in which the respective colors are collected in the first optical system 10 (10a, 10b) is the same (blue, green, red in the direction toward the image plane). ).
  • the order in which the respective colors are collected in the first optical system 10 (10a, 10b) is not limited to this order.
  • the first optical system 10 in the third range W13
  • the MTF values of the first color to the third color of at least one of the system 10 and the second optical system 20 are both equal to or higher than a predetermined value.
  • the MTF values of the first color and the second color are equal to or greater than a predetermined value in the first optical system 10
  • the MTF value of the third color is less than the predetermined value in the first optical system 10
  • the MTF values of the second color and the third color are equal to or greater than a predetermined value in the first optical system 10, and the MTF value of the first color is less than the predetermined value in the first optical system 10. In the second optical system 20, it becomes a predetermined value or more.
  • the first optical system 10 and the second optical system 20 when the respective lights are collected from the lens side in the order of red, green, blue or blue, green, red (the form shown in FIG. 8). Compared with other forms, the peak positions of the light of the three colors are farthest from each other. Therefore, in such a form, the depth of focus can be maximized.
  • the predetermined spatial frequency is set to, for example, about 1/3 to 1/2 of the Nyquist frequency in an image sensor with a Bayer array.
  • the Nyquist frequency is 1 / (pixel pitch ⁇ 2).
  • the predetermined value of the MTF is preferably set to a value of about 15% or more at the spatial frequency, for example.
  • the sharpness of the output image can be increased by a simple method.
  • the first and second imaging areas Na and Nb are arranged at any position between the second range W12 and the fourth range W23, three colors are provided. All the sharpnesses can be made larger than the predetermined value K. Therefore, since the depth of focus can be greatly increased as compared with the conventional case, a sufficiently large depth of field can be obtained. Furthermore, according to the present embodiment, it is possible to photograph subjects with various subject distances without using a means for detecting a focus state or a means for performing adjustment.
  • the sharpness of the subject color is a predetermined value K in either the first or second imaging region Na, Nb. Is bigger than. Therefore, an image with high sharpness can be generated.
  • the image sharpness is evaluated by comparing the absolute value of the difference between the brightness values, that is, the sharpness itself, but in addition, for example, by comparing the contrast value. You may go.
  • the contrast value can be obtained from, for example, a ratio (Lmax / Lmin) between the maximum luminance value Lmax and the minimum luminance value Lmin in a predetermined calculation block.
  • the sharpness is a difference between luminance values, whereas the contrast value is a ratio of luminance values.
  • the contrast value may be obtained from the ratio of one point that is the maximum luminance value and one point that is the minimum luminance value.
  • the arithmetic processing unit C includes a first contrast detection unit that detects the contrast of each color for each predetermined region in the image from the first imaging region Na, and a predetermined region in the image from the second imaging region Nb.
  • the second contrast detection unit detects the contrast of each color.
  • the first optical system 10 and the second optical system 20 each have two lenses.
  • each of the two optical systems may be constituted by a single lens, and a diffraction grating may be provided on the lens surface of one of the single lenses.
  • FIG. 11 is a schematic diagram showing a second embodiment of the imaging apparatus A according to the present invention.
  • the imaging apparatus A of the present embodiment includes a first optical system 30, a first imaging area Na into which light from the first optical system 30 is incident, a second optical system 40, and a second optical system.
  • the first optical system 30 includes a stop Sa, a single lens La, and a filter Fa.
  • the second optical system 40 includes a stop Sb, a single lens Lb, and a filter Fb.
  • the direction toward the image plane on the optical axis of the lens La (the direction from the lens La toward the first imaging region Na).
  • light rays are imaged in the order of blue (B), green (G), and red (R).
  • the lens Lb in the second optical system 40 has axial chromatic aberration different from that of the lens La in the first optical system 30.
  • the lens Lb in the second optical system 40 when light enters the lens Lb in the second optical system 40, for example, red or green in the direction toward the image plane on the optical axis of the lens Lb (the direction from the lens Lb toward the second imaging region Nb).
  • the light rays are imaged in the order of blue.
  • the axial chromatic aberration of the second optical system 40 is reversed because the axial chromatic aberration is controlled by providing a diffraction grating on the image side lens surface of the single lens Lb.
  • the arithmetic processing unit C processes two images acquired from the first imaging area Na and the second imaging area Nb to generate one image.
  • Table 3 and Table 4 show design data of the first optical system 30 and the second optical system 40 in the imaging apparatus A shown in FIG.
  • ri is the paraxial radius of curvature (mm) of each surface
  • di is the surface center distance (mm) of each surface
  • nd is the refractive index of the d line of the lens or filter
  • ⁇ d is the lens or filter. The Abbe number of d line is shown.
  • Equation 2 the unit is expressed in (Equation 2) with radians.
  • (1), (2), and (3) in FIG. 12A show the spherical aberration, astigmatism, and distortion of the first optical system 30, respectively.
  • (1), (2) and (3) in FIG. 12B show the spherical aberration, astigmatism and distortion of the second optical system 40, respectively.
  • FIGS. 13A and 13B show the axial chromatic aberration of the first optical system 30 and the axial chromatic aberration of the second optical system 40, respectively.
  • the horizontal axis indicates the wavelength of light
  • the vertical axis indicates the shift of the imaging position when the wavelength is 0.55 ⁇ m (green).
  • this embodiment has an arrangement in which the optical axis of the first optical system 30 and the optical axis of the second optical system 40 are parallel to each other.
  • parallax is generated between the first color image acquired by the first optical system 30 and the second color image acquired by the second optical system 40. The amount of parallax can be extracted by pattern matching.
  • the arithmetic processing unit C of the present embodiment includes an image from the first optical system 30 and a second optical system in addition to the first sharpness detection unit C1, the second sharpness detection unit C2, and the image generation unit C3.
  • 40 includes a parallax amount detection unit C4 that detects the amount of parallax between the image 40 and the image.
  • FIG. 14 is a diagram for explaining the triangulation of the distance measuring device. As shown in FIG. 14, a point P on the object O is a measurement point. The image of the object O is formed on the first imaging region Na by the lens La of the first optical system 30, and is formed on the second imaging region Nb by the lens Lb of the second optical system 40.
  • the point P When the point P is located on the optical axis Aa of the first optical system 30, the point P forms an image at a point where the first imaging region Na and the optical axis Aa of the first optical system 30 intersect.
  • the second optical system 40 is arranged such that the optical axis Aa of the first optical system 30 and the optical axis Ab of the second optical system 40 are parallel to each other with a predetermined distance B.
  • a line segment connecting the point where the second imaging region Nb and the optical axis Ab of the second optical system 40 intersect with the point where the first imaging region Na and the optical axis Aa of the first optical system intersect is A line segment serving as a reference for triangulation that does not change depending on the position of an object, and is called a base line.
  • the baseline length, which is the length of this baseline, is equal to the interval B.
  • the point P is imaged at a position separated from the optical axis Ab of the second optical system 40 by a distance ⁇ on the base line. This is called parallax, and its length is called parallax amount ⁇ .
  • the parallax amount ⁇ is obtained by performing pattern matching using the first color image formed in the first imaging area Na and the second color image formed in the second imaging area Nb.
  • the unit of the parallax amount ⁇ is a pixel, but can be calculated in units of 0.1 pixel (sub-pixel unit) by interpolation processing.
  • the parallax amount detection unit C4 in the arithmetic processing unit C detects the parallax amount ⁇ for each minute region of the image obtained by the first and second imaging regions Na and Nb, and based on the detected parallax amount ⁇ , Perform alignment.
  • the arithmetic processing unit C can generate an image based on the image having the higher sharpness for each color by the same method as in the first embodiment.
  • the parallax cannot be accurately detected if the above-described pattern matching is performed with a color image. Comparing the spherical aberration diagrams of FIGS. 12A and 12B, the green component (550 nm) has similar characteristics to each other. Therefore, the parallax amount ⁇ can be detected with high accuracy by performing pattern matching using only the green color component.
  • Equation 3 is obtained for Z, and the distance Z can be obtained by the principle of triangulation by substituting the parallax amount ⁇ , the base line length B and the focal length f into (Equation 3).
  • the focus shift amounts of PBa and PRb are substantially the same in FIG. 4, and the focus shift amounts of PRa and PBb are substantially the same in FIG.
  • the green focus shift amounts are aligned, and the red and blue focus shift amounts are just reversed. It is difficult to design the lens material in terms of the wavelength dispersion characteristics of the lens material. Therefore, in the first embodiment, a deviation occurs between PGa and PGb.
  • the green focus shift amounts of the first optical system 30 and the second optical system 40 are made uniform.
  • the axial chromatic aberration can be set so that the red and blue focus shift amounts are just reversed. Thereby, an image with higher sharpness can be generated.
  • a diffraction grating is provided to correct the axial chromatic aberration of the optical system.
  • the axial chromatic aberration of the second optical system 40 is overcorrected by the diffraction grating, and the first optical system is used. It is set so as to be reversed with 30 axial chromatic aberrations.
  • FIG. 15 is a graph showing through focus MTF characteristics of the first optical system 30 and the second optical system 40.
  • the upper graph in FIG. 15 shows the through focus MTF characteristic of the first optical system 30, and the lower graph in FIG. 15 shows the through focus MTF characteristic of the second optical system 40.
  • the horizontal axis indicates focus shift, and the vertical axis indicates MTF with a spatial frequency of 30 Lp / mm.
  • MBa, MGa, and MRa indicate blue, green, and red through focus MTF characteristics, respectively.
  • PBa, PGa, and PRa indicate the peak positions.
  • MRb, MGb, and MBb indicate red, green, and blue through-focus MTF characteristics, respectively.
  • PRb, PGb, and PBb indicate respective peak positions.
  • the focus shift amounts of PGa and PGb are aligned with each other, the focus shift amounts of PBa and PRb are substantially the same, and the focus shift amounts of PRa and PBb are substantially the same. It is set.
  • the first and second sharpness detection units C1 and C2 in the arithmetic processing unit C actually have the sharpness (absolute difference in luminance values) of the first optical system 30 and the second optical system 40. Value) is calculated, and a higher sharpness (absolute value of luminance value difference) may be selected for each color component.
  • the color component having the higher MTF characteristic at the distance may be selected using the distance to the subject. In this case, the correlation between the subject distance and the MTF characteristic in each of the first optical system 30 and the second optical system 40 is recorded in the arithmetic processing unit C, and the distance to the subject is measured. Later, the color component having the higher MTF characteristic is selected.
  • the axial chromatic aberration can be controlled by providing a diffraction grating on the lens surface of the single lens Lb, the focus shift amounts of the three colors can be made substantially the same. As a result, an output image with higher sharpness can be generated, and the amount of parallax can be calculated with high accuracy.
  • the optical path is not divided by the half mirror as in the first embodiment, a brighter image can be acquired as compared with the first embodiment.
  • each of the optical systems 30 and 40 is composed of a single lens, but each of the optical systems 30 and 40 may be composed of a plurality of lenses.
  • each optical system of the present embodiment may be used and the optical path may be divided by a half mirror as in the first embodiment. In this case, as described above, it is not always necessary to make the green focus shift amounts uniform in the first optical system 30 and the second optical system 40.
  • the imaging apparatus is configured by the two optical systems 30 and 40, but may be configured by three or more optical systems having different axial chromatic aberration characteristics.
  • FIG. 16 is a graph showing the axial chromatic aberration of each optical system in an imaging apparatus having three optical systems.
  • the horizontal axis indicates the wavelength of light
  • the vertical axis indicates the shift (focus shift) of the imaging position when the focal position of light having a wavelength of 0.55 ⁇ m (green) is used as a reference (0.00).
  • 0.00 0.55 ⁇ m
  • the focus shift of light having wavelengths of 0.45 ⁇ m and 0.65 ⁇ m is 0, and the range from 0.45 ⁇ m to 0.65 ⁇ m is moderate with a peak at a wavelength of 0.55 ⁇ m.
  • the focus is shifted to the subject side.
  • the imaging apparatus of the present invention is useful as an imaging apparatus such as a digital still camera or a digital video camera. It can also be applied to applications such as distance measuring devices.
  • a Image pickup device Sa First diaphragm of optical system Sb Second diaphragm of optical system L1a, L2a, La Lens constituting first optical system L2b, L2b, Lb Lens constituting second optical system Na First Imaging area Nb second imaging area 10, 10a, 10b first optical system 20, 20a, 20b second optical system 30 first optical system 40 second optical system

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　本発明の撮像装置は、第１色、第２色、第３色の光軸上における結像位置が異なる軸上色収差を有する第１の光学系１０と、前記第１の光学系１０を透過した光を用いて、前記第１色、第２色、第３色のうち少なくとも１つの色の成分の画像を生成する第１の撮像領域Ｎａと、前記第１の光学系１０とは異なる軸上色収差を有する第２の光学系２０と、前記第２の光学系２０を透過した光を用いて、少なくとも１つの色の成分と同じ色の成分を含む画像を生成する第２の撮像領域Ｎｂと、第１の撮像領域Ｎａにおいて生成された少なくとも１つの色の成分の画像、および第２の撮像領域Ｎｂにおいて生成された少なくとも１つの色の成分の画像のうち、鮮鋭度の高い方の成分の画像を用いて、出力画像を生成する演算処理部Ｃとを備える。

Description

撮像装置およびそれを用いた測距装置
　本発明はカメラ等の撮像装置に関する。
　レンズを構成する材料に対する光の屈折率は波長によって異なる。そのため、撮像装置の光学系に様々な波長の光が入射した場合、軸上色収差が生じ、色によって鮮鋭度（画像のシャープさ）の異なる画像が得られる。鮮鋭度の低い色が画像に含まれる場合には、その色が画質劣化の要因となる。
　また、カメラ等の撮像装置では、被写体の位置が被写界深度の範囲内に含まれる場合に、フォーカスが合い、鮮明な画像を撮像することができる。様々な位置に配置される被写体の撮像を可能にするためには、撮像装置には、フォーカス状態を検出する手段と、フォーカスの調整を行う手段とが別途必要となる。
　以上の課題を解決するために、光学系の軸上色収差を利用して第１の色成分の鮮鋭度を第１の色成分とは異なる第２の色成分に反映させることにより、被写界深度の拡張と軸上色収差の補正を実現する技術が提案されている（特許文献１）。特許文献１の方法によると、第１の色成分の鮮鋭度を第２の色成分に反映させることにより、第２の色成分の鮮鋭度を高めることができる。これにより、被写界深度を大きくすることができ、フォーカスの調整を行わずにより様々な距離の被写体を比較的鮮明に撮像することができる。
特表２００８－５３２４４９号公報
　特許文献１の構成において、第１の色成分の鮮鋭度を第２の色成分に反映させるためには、第１の色成分および第２の色成分の両方の鮮鋭度の情報が必要である。そのため、焦点深度は全ての色の鮮鋭度の情報が存在する範囲に限られる。このように、特許文献１の構成においては、焦点深度を拡大することができる範囲には限界があり、被写界深度を十分に大きくすることが困難であった。
　また、例えば黒色を背景とする単色（例えば青色）の被写体を撮像する場合、画像には、被写体の色以外の色（緑色および赤色）の成分が存在しない。そのため、軸上色収差によって被写体の画像がぼけている場合、画像上の他の色の鮮鋭度を検出して被写体の鮮鋭度に反映させることができない。
　本発明は、上記課題を解決するためになされたものであり、その主な目的は、焦点深度および被写界深度が大きく、鮮鋭度の高い画像を得ることができる撮像装置を提供することにある。本発明の他の目的は、黒色を背景とする単色（例えば青色）の被写体を高い鮮鋭度で撮影することができる撮像装置を提供することにある。
　本発明の撮像装置は、第１色、第２色、第３色の光軸上における結像位置が異なる軸上色収差を有する第１の光学系と、前記第１の光学系を透過した光を用いて、前記第１色、第２色、第３色のうち少なくとも１つの色の成分の画像を生成する第１の撮像領域と、前記第１の光学系とは異なる軸上色収差を有する第２の光学系と、前記第２の光学系を透過した光を用いて、前記少なくとも１つの色の成分と同じ色の成分を含む画像を生成する第２の撮像領域と、前記第１の撮像領域において生成された前記少なくとも１つの色の成分の画像、および前記第２の撮像領域において生成された前記少なくとも１つの色の成分の画像のうち、鮮鋭度の高い方の成分の画像を用いて、出力画像を生成する演算処理部とを備える。
　本発明の他の撮像装置は、第１色、第２色、第３色の光軸上における結像位置が異なる軸上色収差を有する第１の光学系と、前記第１の光学系を透過した光を用いて、前記第１色、第２色、第３色のうち少なくとも１つの色の成分の画像を生成する第１の撮像領域と、前記第１の光学系とは異なる軸上色収差を有する第２の光学系と、前記第２の光学系を透過した光を用いて、前記少なくとも１つの色の成分と同じ色の成分を含む画像を生成する第２の撮像領域と、前記第１の撮像領域において生成された前記少なくとも１つの色の成分の画像、および前記第２の撮像領域において生成された前記少なくとも１つの色の成分の画像のうち、コントラストの大きい方の成分の画像を用いて、出力画像を生成する演算処理部とを備える。
　本発明によると、２つ以上の撮像領域からの画像のうち、それぞれの色における鮮鋭度の高い方の画像成分に基づいて出力画像を生成することにより、簡単な手法によって出力画像の鮮鋭度を高めることができる。また、従来よりも焦点深度を拡大することができるため、十分に大きな被写界深度を得ることができる。
　さらに、本発明によると、黒色を背景とした赤、緑または青の単色の被写体を撮像する場合、２つ以上の撮像領域のいずれかにおいては、被写体の色の鮮鋭度は所定値よりも大きくなっている。そのため、鮮鋭度の高い画像を生成することができる。
本発明による撮像装置Ａの第１の実施形態を示す模式図である。 （ａ）の（１）から（３）は、第１の光学系１０における球面収差、非点収差および歪曲収差のそれぞれを示すグラフである。（ｂ）の（１）から（３）は、第２の光学系２０における球面収差、非点収差および歪曲収差のそれぞれを示すグラフである。 （ａ）は、第１の光学系１０における軸上色収差を示すグラフである。（ｂ）は、第２の光学系２０における軸上色収差を示すグラフである。 第１の光学系１０、第２の光学系２０のスルーフォーカスＭＴＦ特性を示すグラフである。 第１の光学系１０のスルーフォーカスＭＴＦ特性および第２の光学系２０のスルーフォーカスＭＴＦ特性を、被写体距離毎に模式的に示す図である。 （ａ）は、第１の光学系１０から取得した第１のカラー画像上において、光軸上からその周囲に広がる色毎の点像強度分布を示すグラフである。（ｂ）は、第２の光学系２０から取得した第２のカラー画像上において、光軸上からその周囲に広がる色毎の点像強度分布を示すグラフである。（ｃ）は、第１のカラー画像と第２のカラー画像から鮮鋭度の高い色をそれぞれ選択した場合の点像強度分布を示したグラフである。（ｄ）は、第１のカラー画像と第２のカラー画像を色毎に加算した場合の点像強度分布を示すグラフである。 （ａ）は、第２の光学系２０の赤色の点像強度分布と、それに１回微分を施した分布、２回微分を施した分布とを示すグラフである。（ｂ）は、第１の光学系１０における青色の点像強度分布から第２の光学系２０における赤色の点像強度分布の２回微分を減じた場合の点像強度分布を示すグラフである。 第１の光学系１０、第２の光学系２０のスルーフォーカスＭＴＦ特性を示すグラフである。 第１の光学系１０ａおよび第２の光学系２０ａのスルーフォーカスＭＴＦ特性を示すグラフである。 第１の光学系１０ｂおよび第２の光学系２０ｂのスルーフォーカスＭＴＦ特性を示すグラフである。 本発明による撮像装置Ａの第２の実施形態を示す模式図である。 （ａ）の（１）から（３）は、第１の光学系３０における球面収差、非点収差および歪曲収差のそれぞれを示すグラフである。（ｂ）の（１）から（３）は、第２の光学系４０における球面収差、非点収差および歪曲収差のそれぞれを示すグラフである。 （ａ）、（ｂ）は、それぞれ第１の光学系３０の軸上色収差と第２の光学系４０の軸上色収差とを示すグラフである。 測距装置における三角測量の原理を説明するための図である。 第１の光学系３０、第２の光学系４０のスルーフォーカスＭＴＦ特性を示すグラフである。 ３つの光学系を有する撮像装置において、それぞれの光学系の軸上色収差を示すグラフである。
　以下、図面を参照しながら本発明による撮像装置の実施形態を説明する。
　　（第１の実施形態）
　図１は、本発明による撮像装置Ａの第１の実施形態を示す模式図である。本実施形態の撮像装置Ａは、第１の光学系１０と、第１の光学系１０を透過した光が入射する第１の撮像領域Ｎａと、第２の光学系２０と、第２の光学系２０を透過した光が入射する第２の撮像領域Ｎｂと、第１の撮像領域Ｎａおよび第２の撮像領域Ｎｂから画像を取得する演算処理部Ｃとを備える。第１の光学系１０は、絞りＳａ、レンズＬ１ａおよびレンズＬ２ａから構成され、レンズＬ１ａおよびレンズＬ２ａは共通の光軸を有する。第２の光学系２０は、絞りＳｂ、レンズＬ１ｂおよびレンズＬ２ｂから構成され、レンズＬ１ｂおよびレンズＬ２ｂは共通の光軸を有する。
　第１の光学系１０におけるレンズＬ１ａ、Ｌ２ａに光が入射すると、軸上色収差に起因して、レンズＬ１ａ、Ｌ２ａの光軸上の像面に向う方向（レンズＬ１ａ、Ｌ２ａから第１の撮像領域Ｎａに向う方向）に、例えば、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の順に光線が結像する。
　一方、第２の光学系２０におけるレンズＬ１ｂ、Ｌ２ｂは、第１の光学系１０におけるレンズＬ１ａ、Ｌ２ａとは異なる軸上色収差を有する。例えば、第２の光学系２０におけるレンズＬ１ｂ、Ｌ２ｂに光が入射すると、レンズＬ１ｂ、Ｌ２ｂの光軸上の像面に向う方向（レンズＬ１ｂ、Ｌ２ｂから第２の撮像領域Ｎｂに向う方向）に、例えば、赤色、緑色、青色の順に光線が結像する。
　第１の光学系１０および第２の光学系２０が互いに異なる軸上色収差を有するため、第１の撮像領域Ｎａによって得られる画像における赤、青、緑それぞれの色成分の鮮鋭度と、第２の撮像領域Ｎｂによって得られる画像における赤、青、緑それぞれの色成分の鮮鋭度とは異なる。この違いを利用して、第１の撮像領域Ｎａにおいて得られた第１のカラー画像および第２の撮像領域Ｎｂにおいて得られた第２のカラー画像から、赤色、青色、緑色のそれぞれにおける鮮鋭度の高い方の色成分を用いることにより、それぞれの色の鮮鋭度（または解像度）の高い出力画像を生成することができる。
　なお、第１の光学系１０および第２の光学系２０に入射する光は、必ずしも、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の３色でなくてもよい。これら３色のうちの２色であってもよいし、これら３色のうちの１色であってもよい。第１のカラー画像および第２のカラー画像が赤色、青色、緑色の全ての色成分を含んでいない場合には、これらの画像に含まれている色のそれぞれにおいて鮮鋭度の高い方の色成分を用いることにより、画像に含まれている色について鮮鋭度の高い出力画像を得ることができる。このような処理は、演算処理部Ｃによって行うことができる。
　鮮鋭度が高いほど画像のボケが少なくなるため、通常、隣接する微小領域間の輝度値の差（階調の差）は大きくなると考えられる。そのため、本実施形態では、鮮鋭度の高低の評価に、取得した画像上の所定の微小領域の輝度値と、この所定の微小領域と隣接する微小領域の輝度値の差分の絶対値を用いる。
　以下、本実施形態の撮像装置Ａについて、再度図１を参照しながら、より詳細に説明する。
　本実施形態の撮像装置Ａにおいては、第１の光学系１０におけるレンズＬ１ａと第２の光学系２０におけるレンズＬ１ｂとの間に分光部材Ｍが配置されている。分光部材Ｍは例えばハーフミラーであり、被写体からの光線１を２分割して第１の光学系１０のレンズＬ１ａと第２の光学系２０のレンズＬ１ｂに導く役割を果たす。レンズＬ１ａ、Ｌ１ｂの光軸は互いに直交するように配置されている。かつ、レンズＬ１ａ、Ｌ１ｂは、それぞれの光軸と分光部材Ｍの鏡面との角度が４５°になるように配置されている。分光部材Ｍに入射した光のうち分光部材Ｍによって反射された光は、第１の光学系１０の絞りＳａを介して、レンズＬ１ａに入射する。一方、分光部材Ｍに入射した光のうち分光部材Ｍによって反射されずに分光部材Ｍを通過した光は、第２の光学系２０の絞りＳｂを介してレンズＬ１ｂに入射する。第１の光学系１０においてレンズＬ１ａ、Ｌ２ａを通過した光は、第１の撮像領域Ｎａに入射する。第２の光学系２０においてレンズＬ１ｂ、Ｌ２ｂを通過した光は、第２の撮像領域Ｎｂに入射する。このように、第１の撮像領域Ｎａおよび第２の撮像領域Ｎｂには、同じ被写体からの光が到達するため、それぞれの撮像領域Ｎａ、Ｎｂに入射する画像に含まれる色成分は、実質的に同一である。
　第１、第２の撮像領域Ｎａ、Ｎｂは演算処理部Ｃに接続され、演算処理部Ｃは、第１の撮像領域Ｎａおよび第２の撮像領域Ｎｂから取得した２つのカラー画像（第１のカラー画像および第２のカラー画像）を処理して、１つのカラー画像（出力画像）を生成する。
　上述したように、第１の光学系１０と第２の光学系２０の軸上色収差は互いに異なっている。それぞれの光線が結像する順と位置は、それぞれのレンズの形状や材質ならびに配置によって調整することができる。
　表１および表２は、図１に示す撮像装置Ａにおける第１の光学系１０と第２の光学系２０の設計データをそれぞれ示している。表１と表２において、ｒｉは各面の近軸曲率半径（ｍｍ）、ｄｉは各面の面中心間隔（ｍｍ）、ｎｄはレンズまたはフィルタのｄ線の屈折率、νｄはレンズまたはフィルタのｄ線のアッベ数を示している。
Figure JPOXMLDOC01-appb-T000001
Figure JPOXMLDOC01-appb-T000002
　図２（ａ）の（１）、（２）および（３）は、それぞれ第１の光学系１０の球面収差、非点収差および歪曲収差を示す。図２（ｂ）の（１）、（２）および（３）はそれぞれ第２の光学系２０の球面収差、非点収差および歪曲収差を示す。
　図３（ａ）、（ｂ）は、それぞれ第１の光学系１０の軸上色収差と第２の光学系２０の軸上色収差とを示している。図３（ａ）、（ｂ）において、横軸は光の波長を示し、縦軸は波長０．５５μｍ（緑色）の光の焦点位置を基準（０．００）とした場合の結像位置のずれ（フォーカスシフト）を示している。図３（ａ）から、第１の光学系１０では、波長が短い光ほど被写体側（すなわちレンズＬ１ａ、Ｌ２ａ側）に集まることがわかる。即ち、第１の光学系１０では、光軸上の像面に向う方向（レンズＬ１ａ、Ｌ２ａから第１の撮像領域Ｎａに向かう方向）に、青色、緑色、赤色の順で光線が結像する。一方、図３（ｂ）から、第２の光学系２０では、波長が短い光ほど光軸上の第２の撮像領域Ｎｂ側に集まることがわかる。即ち、第２の光学系２０では、光軸上のレンズＬ１ｂ、Ｌ２ｂから第２の撮像領域Ｎｂに向かう方向に、赤色、緑色、青色の順で光線が結像する。
　図１に示すように、レンズＬ１ａは凸レンズであって、レンズＬ２ａは凹レンズである。同様に、レンズＬ１ｂは凸レンズであって、レンズＬ２ｂは凹レンズである。通常、このような凹凸２枚構成のレンズは軸上色収差を補正するために用いられるが、本実施形態では第１の光学系１０では軸上色収差を補正不足の設計とし、第２の光学系２０では軸上色収差を過補正の設計としている。なお、本実施形態のレンズＬ１ａ、Ｌ２ａの形状（凹レンズまたは凸レンズ）の組み合わせと、レンズＬ１ｂ、Ｌ２ｂの形状の組み合わせは、図１に示す構成に限られない。
　演算処理部Ｃは、第１鮮鋭度検出部Ｃ１と、第２鮮鋭度検出部Ｃ２と、出力画像が生成される画像生成部Ｃ３とを備える。第１鮮鋭度検出部Ｃ１は、第１の撮像領域Ｎａからの画像における所定領域ごとにそれぞれの色の鮮鋭度を検出する。第２鮮鋭度検出部Ｃ２は、第２の撮像領域Ｎｂからの画像における所定領域毎に各色の鮮鋭度を検出する。画像生成部Ｃ３は、第１鮮鋭度検出部Ｃ１および第２鮮鋭度検出部Ｃ２において算出された鮮鋭度に基づいて出力画像を生成する。演算処理部Ｃは、演算処理を実現する回路であってもよいし、ソフトウェアであってもよい。
　第１、第２の撮像領域Ｎａ、Ｎｂにおいて得られる画像の鮮鋭度は、被写体までの距離によって変化する。鮮鋭度が被写体までの距離によってどのように変化するかは、第１、第２の光学系１０、２０のＭＴＦによって表すことができる。ＭＴＦとは、被写体の持つコントラストを像面上でどれだけ忠実に再現できるかを表すレンズの特性であり、ＭＴＦ値が高いほど、鮮鋭度が高いと判断することができる。本実施形態では、所望の鮮鋭度を得るため、第１、第２の光学系１０、２０の設計にＭＴＦが用いられる。以下、所望の鮮鋭度を得ることができる第１の光学系１０、第２の光学系２０のスルーフォーカスＭＴＦ特性について説明する。
　図４は、第１の光学系１０、第２の光学系２０のスルーフォーカスＭＴＦ特性を示すグラフである。図４における上のグラフは第１の光学系１０のスルーフォーカスＭＴＦ特性を示し、図４における下のグラフは第２の光学系２０のスルーフォーカスＭＴＦ特性を示す。図４において、横軸はフォーカスシフトを示しており、縦軸は空間周波数が３０Ｌｐ／ｍｍのときのＭＴＦを示している。第１の光学系１０の特性を示すグラフにおいて、ＭＢａ、ＭＧａ、ＭＲａは、それぞれ青色、緑色、赤色のスルーフォーカスＭＴＦ特性を示している。また、ＰＢａ、ＰＧａ、ＰＲａは、それぞれのピーク位置を示している。同様に、第２の光学系２０の特性を示すグラフにおいて、ＭＲｂ、ＭＧｂ、ＭＢｂは、それぞれ赤色、緑色、青色のスルーフォーカスＭＴＦ特性を示している。また、ＰＲｂ、ＰＧｂ、ＰＢｂは、それぞれのピーク位置を示している。本実施形態では、ＰＢａとＰＲｂのフォーカスシフト量が略同一に、ＰＲａとＰＢｂのフォーカスシフト量が略同一になるように設定している。ただし、これらのピークの位置は必ずしも略同一になるように設計しなくてもよい。
　図５は、第１の光学系１０のスルーフォーカスＭＴＦ特性および第２の光学系２０のスルーフォーカスＭＴＦ特性を、被写体距離毎に模式的に示す図である。撮像面におけるＭＴＦが高いほど鮮鋭度が高いことを意味している。
　一般に、被写体の距離がレンズから近いほど、レンズを通過した光はレンズから遠い領域（被写体から遠い領域）に集まる。そのため、図５に示すように、被写体距離を近距離、中距離、遠距離に分けた場合、ＭＴＦ特性のピーク位置は、近距離、中距離、遠距離の順にレンズから遠い位置に配置される。このように、被写体距離がどの程度であるかによって、第１、第２の撮像領域Ｎａ、Ｎｂにおいて得られる画像のそれぞれの色のＭＴＦ値に違いが生じる。
　被写体距離が近距離の場合には、図５に示すように、第１の光学系１０の青色１ＢｎのＭＴＦ値のほうが第２の光学系２０の青色のＭＴＦ値よりも大きい。一方、第２の光学系２０の緑色２ＧｎのＭＴＦ値のほうが第１の光学系１０の緑色のＭＴＦ値よりも大きい。また、第２の光学系２０の赤色２ＲｎのＭＴＦ値のほうが、第１の光学系１０の赤色のＭＴＦ値よりも大きい。それぞれの色においてＭＴＦ値の高いほうを選択すると、第１の光学系１０の青色１Ｂｎ、第２の光学系２０の緑色２Ｇｎ、赤色２Ｒｎが選択される。
　同様の方法によると、中距離の場合には、第１の光学系１０の赤色１Ｒｍと第２の光学系２０の緑色２Ｇｍ、青色２Ｂｍとが選択される。遠距離の場合には、第１の光学系１０の赤色１Ｒｆ、緑色１Ｇｆと第２の光学系２０の青色２Ｂｆとが選択される。
　第１の光学系１０、２０の設計時には、図５に示すスルーフォーカスＭＴＦ特性を有するように設計が行われる。その際には、所望の鮮鋭度を得ることができるＭＴＦ値が境界値として設定される。そして、第１、第２の光学系１０、２０から得られた画像のそれぞれの色について、ＭＴＦ値が高い方の値が上記境界値よりも大きくなる被写体距離の範囲（図５における近距離、中距離、遠距離を含む範囲）が概ね被写界深度となる。なお、「境界値」は、図８等に示される所定値Ｋのことであり、所定値Ｋについては後述する。
　ＭＴＦは、被写体の持つコントラストを像面上でどれだけ忠実に再現できるかを表すため、ＭＴＦ値を算出するには、被写体の空間周波数が必要になる。そのため、実際の撮像時に、任意の画像からはＭＴＦ値を直接検出することはできない。したがって、実際の撮像時には、鮮鋭度の高低を評価するために輝度値が用いられる。鮮鋭度が高いほど画像のボケが少ないため、通常は、鮮鋭度が高い画像の方が、隣接する微小領域間の輝度値の差が大きい。
　具体的には、まず、第１鮮鋭度検出部Ｃ１は、第１の撮像領域Ｎａにおいて取得された画像上の所定の微小領域の輝度値と、この所定の微小領域と隣接する微小領域の輝度値とを算出する。さらに、これらの輝度値の差の絶対値を算出する。同様に、第２鮮鋭度検出部Ｃ２も、第２の撮像領域Ｎｂにおいて取得された画像から、輝度値の差の絶対値を算出する。次に、画像生成部Ｃ３は、第１の撮像領域Ｎａの画像から求められた絶対値と第２の撮像領域Ｎｂの画像から求められた絶対値とを比較する。第１の撮像領域Ｎａの画像から求められた絶対値と第２の撮像領域Ｎｂの画像から求められた絶対値とのうち値の大きいほうが鮮鋭度が高いと判断することができる。以上のような判断を、所定の微小領域毎にそれぞれの色成分（赤、青、緑）において行う。
　第１、第２の光学系１０、２０が上述の方法で設計されている場合、被写体が被写界深度内に配置していれば、第１、第２の撮像領域Ｎａ、Ｎｂの画像のうち輝度値の差の絶対値の大きい方の鮮鋭度は所望の値の範囲内になる。したがって、被写体までの距離を測らなくても、輝度値の差の絶対値を比較することにより、それぞれの色について、高い鮮鋭度の画像を選択することができる。
　また、鮮鋭度は、所定の大きさの画像ブロックの輝度値をフーリエ変換した周波数スペクトルに基づいて求めてもよい。この場合、所定の空間周波数における応答値を鮮鋭度として求めることができる。つまり、所定の空間周波数における応答値を比較することで、画像の鮮鋭度の高低評価を行うことができる。なお、画像は２次元であるため、２次元フーリエ変換を用いて鮮鋭度を求める方法が望ましい。
　本実施形態においては、演算処理部Ｃ内の第１、第２鮮鋭度検出部Ｃ１、Ｃ２において実際に第１の光学系１０および第２の光学系２０の鮮鋭度が算出され、それぞれの色成分において鮮鋭度が高いほうが選択されてもよい。
　カラー画像合成の手段としては、前述した鮮鋭度の高い色をそれぞれ選択して１つの出力画像を合成する手法や、２つのカラー画像を色毎に加算して合成する手法がある。この方法によって、被写体距離が変化しても鮮鋭度の高い出力画像を生成することができる。
　図６（ａ）は、それぞれ所定距離における第１の光学系１０から取得した第１のカラー画像上において、光軸上からその周囲に広がる色毎の点像強度分布を示すグラフである。図６（ｂ）は、第２の光学系２０から取得した第２のカラー画像上において、光軸上からその周囲に広がる色毎の点像強度分布を示すグラフである。図６（ａ）、（ｂ）から、第１の光学系１０、２０では、互いに点像強度分布が異なることがわかる。
　図６（ｃ）は、第１のカラー画像と第２のカラー画像から鮮鋭度の高い色を選択した場合の点像強度分布を示したグラフである。図６（ａ）の青（Ｂ１）は、図６（ｂ）の青（Ｂ２）よりも高い鮮鋭度を示している。一方、図６（ａ）の赤（Ｒ１）および緑（Ｇ１）のそれぞれは、図６（ｂ）の赤（Ｒ２）および緑（Ｂ２）のそれぞれよりも低い鮮鋭度を示している。そのため、それぞれの色で鮮鋭度の高いほうを選択すると、図６（ｃ）に示すように、赤（Ｒ２）、緑（Ｇ２）および青（Ｂ１）を用いて画像の生成が行われる。このような合成手法によって、図６（ａ）、（ｂ）のように１つの光学系によって取得できる鮮鋭度よりも高い鮮鋭度を得ることができる。
　図６（ｄ）は、第１のカラー画像と第２のカラー画像を色毎に加算した場合の点像強度分布を示すグラフである。このような合成手法によっても、図６（ａ）、（ｂ）のように１つの光学系によって取得できる鮮鋭度よりも高い鮮鋭度を得ることができる。
　合成手法として図６（ｃ）、（ｄ）に示す手法のいずれを選択するのかは、被写体に応じて決定すればよい。例えば、明るい被写体の場合は図６（ｃ）のような合成手法を選択し、暗い被写体の場合は図６（ｄ）のような合成手法を選択すればよい。
　図６（ｃ）、（ｄ）に示す合成手法では、合成後も青色の鮮鋭度は緑色や赤色の鮮鋭度に比べて低い。このような場合、最も鮮鋭度が高い赤色の鮮鋭度を青色の鮮鋭度に反映することによって、青色の鮮鋭度を他の色の鮮鋭度並みに増加させることができる。以下、その方法について具体的に説明する。
　図７（ａ）は、第２の光学系２０の赤色の点像強度分布と、それに１回微分を施した分布、２回微分を施した分布とを示すグラフである。１回微分を行った場合には、微分前の分布強度の勾配が得られる。一方、２回微分を行った場合には、微分前の分布強度の変化が強調されるため、２回微分を施した分布はエッジ検出フィルタとなる。従って、第１の光学系１０における青色の点像強度分布から第２の光学系２０における赤色の点像強度分布の２回微分を減ずることによって、青色の鮮鋭度を増加させることができる。その結果、図７（ｂ）に示すように、全ての色成分において良好な鮮鋭度のカラー画像を生成することができる。
　なお、青色の点像強度分布から、青色成分を２回微分した分布を減ずることによっても、青色の鮮鋭度を増加させることができる。しかしながら、青色の像ボケが大きい場合は２回微分を実施しても良好にエッジ検出ができないため、鮮鋭度を十分に増加させることができない。従って、前述のように鮮鋭度の高い他の色成分の２回微分を減ずることが好ましい。
　本実施形態では、説明を簡単にするため、点像強度分布を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。また、本実施形態では、２回微分をそのまま減じているが、２回微分に所定の係数を乗じて減じてもよい。
　次に、第１の光学系１０および第２の光学系２０における軸上色収差の範囲を説明する。図８の上のグラフは、第１の光学系１０のスルーフォーカスＭＴＦ特性を示し、図８の下のグラフは、第２の光学系２０のスルーフォーカスＭＴＦ特性を示すグラフである。図８において、縦軸は赤色、緑色および青色の所定の空間周波数におけるＭＴＦ値を示し、横軸は光軸上の位置を示す。
　図８において、曲線ＭＢａ、ＭＧａ、ＭＲａはそれぞれ、青色、緑色、赤色のＭＴＦ特性を示す。曲線ＭＢａ、ＭＧａ、ＭＲａは、互いにオーバーラップしている。曲線ＭＲｂ、ＭＧｂ、ＭＢｂはそれぞれ、赤色、緑色、青色のＭＴＦ特性を示す。曲線ＭＲｂ、ＭＧｂ、ＭＢｂは、互いにオーバーラップしている。
　図８に示すように、横軸は、第１範囲Ｗ１０、第２範囲Ｗ１２、第３範囲Ｗ１３および第４範囲Ｗ２３を含む。第２範囲Ｗ１２は第１範囲Ｗ１０よりも被写体距離が長い場合の結像位置である。同様に、第３範囲Ｗ１３は第１範囲Ｗ１０および第２範囲Ｗ１２よりも被写体距離が長い場合の結像位置であり、第４範囲Ｗ２３は第１範囲Ｗ１０から第３範囲Ｗ１３よりも被写体距離が長い場合の結像位置である。
　第３範囲Ｗ１３において、第１の光学系１０の赤色、緑色、青色全てのＭＴＦ値は所定値Ｋ以上の値である。なお、第１の光学系１０ではなく第２の光学系２０の全ての色のＭＴＦ値が所定値Ｋ以上の値であってもよい。
　第１範囲Ｗ１０において、第１の光学系１０の青色のＭＴＦ値が所定値Ｋ以上の値であり、緑色および赤色のＭＴＦ値が所定値Ｋ未満の値である。一方、第２の光学系２０の赤色および緑色のＭＴＦ値が所定値Ｋ以上の値である。
　第２範囲Ｗ１２において、第１の光学系１０の青色および緑色のＭＴＦ値が所定値Ｋ以上の値であり、赤色のＭＴＦ値が所定値Ｋ未満の値である。一方、第２の光学系２０の赤色のＭＴＦ値が所定値Ｋ以上の値である。
　第４範囲Ｗ２３において、第１の光学系１０の緑色および赤色のＭＴＦ値が所定値Ｋ以上の値であり、青色のＭＴＦ値が所定値Ｋ未満の値である。一方、第２の光学系２０の青色のＭＴＦ値が所定値Ｋ以上の値である。
　本実施形態では、範囲Ｗｓでは、全ての色のＭＴＦ値を、第１の光学系１０および第２の光学系２０のいずれかにおいて所定値Ｋ以上にすることができる。これらの色情報に基づいて画像を生成することにより、範囲Ｗｓにおいて、画像の鮮鋭度を高めることが可能となる。
　ここで、第１の光学系１０のみを有する撮像装置を考えた場合、鮮鋭度の高い画像を取得することができるのは、図８に示す第３の範囲Ｗ１３のみとなる。本実施形態では、２つの光学系を用いることにより、単一の光学系のみを有する撮像装置と比較して、焦点深度を大幅に拡大することができるため、十分に大きな被写界深度を得ることができる。また、黒色を背景とした赤色、緑色または青色単色の被写体を撮影する場合にも、第１の光学系１０および第２の光学系２０から得られた画像データのうちのいずれかを用いることにより、単一の光学系を有する場合に比べ、広範囲において鮮鋭度の高い画像を生成することができる。
　図８では、第１の光学系１０においてそれぞれの色の光が集まる順と第２の光学系において色が集光する順番とが反転している。本実施形態においてそれぞれの色の光が集まる順番は、それ以外の順番であってもよい。以下、図８とは異なる順で光が集まる場合について説明する。図９は、第１の光学系１０ａおよび第２の光学系２０ａのスルーフォーカスＭＴＦ特性を示すグラフである。第１の光学系１０ａにおいては、像面に向う方向（レンズから撮像領域に向う方向）に、青色、緑色、赤色の順に光が集まり、第２の光学系２０ａにおいては、像面に向う方向に、赤色、青色、緑色の順に光が集まる。すなわち、第１の光学系１０ａと第２の光学系２０ａとにおいては、最もレンズ側に集光する色と、最も像面側に集光する色と、これらの間に集光する色とは、全て異なる。
　このような場合、第１範囲Ｗ１０においては、第１の光学系１０ａおよび第２の光学系２０ａにおいて、緑色のＭＴＦ値が所定値Ｋ未満の値となる。したがって、第１の範囲Ｗ１０では、緑色の鮮鋭度を高くすることができない。
　第２範囲Ｗ１２において、第１の光学系１０ａの青色および緑色のＭＴＦ値が所定値Ｋ以上の値であり、赤色のＭＴＦ値が所定値Ｋ未満の値である。一方、第２の光学系２０ａの赤色のＭＴＦ値が所定値Ｋ以上の値である。
　第３範囲Ｗ１３において、第１の光学系１０ａの赤色、緑色、青色全てのＭＴＦ値が所定値Ｋ以上の値である。なお、第１の光学系１０ａではなく第２の光学系２０ａの全ての色のＭＴＦ値が所定値Ｋ以上の値であってもよい。
　第４範囲Ｗ２３において、第１の光学系１０ａの緑色および赤色のＭＴＦ値が所定値Ｋ以上の値であり、青色のＭＴＦ値が所定値Ｋ未満の値である。一方、第２の光学系２０ａの青色のＭＴＦ値が所定値Ｋ以上の値である。
　以上の結果から、図９に示すような場合には、第２の範囲Ｗ１２から第４の範囲Ｗ２３において、図８に示す場合と同様の条件が満たされる。
　さらに、図８、図９とは異なる順で光が集まる場合について説明する。図１０は、第１の光学系１０ｂおよび第２の光学系２０ｂのスルーフォーカスＭＴＦ特性を示すグラフである。第１の光学系１０ｂにおいては、像面に向う方向（レンズから撮像領域に向う方向）に、青色、緑色、赤色の順に光が集まり、第２の光学系２０ｂにおいては、像面に向う方向に、緑色、青色、赤色の順に光が集まる。すなわち、第１の光学系１０ｂと第２の光学系２０ｂとにおいては、最もレンズ側に集光する色と、中央に集光する色とは異なるが、最も像面側に集光する色が同じである。
　このような場合、第１範囲Ｗ１０においては、第１の光学系１０ｂおよび第２の光学系２０ｂの赤色のＭＴＦ値が所定値Ｋ未満の値となる。したがって、第１の範囲Ｗ１０では、赤色の鮮鋭度を高くすることができない。
　第２範囲Ｗ１２においても、第１の光学系１０ｂおよび第２の光学系２０ｂの赤色のＭＴＦ値が所定値Ｋ未満の値となる。したがって、第２の範囲Ｗ１２では、赤色の鮮鋭度を高くすることができない。
　第３範囲Ｗ１３においては、第１の光学系１０ｂの赤色、緑色、青色全てのＭＴＦ値が所定値Ｋ以上の値である。なお、第１の光学系１０ｂではなく第２の光学系２０ｂの全ての色のＭＴＦ値が所定値Ｋ以上の値であってもよい。
　第４範囲Ｗ２３においては、第１の光学系１０ｂの緑色および赤色のＭＴＦ値が所定値Ｋ以上の値であり、青色のＭＴＦ値が所定値Ｋ未満の値である。一方、第２の光学系２０ｂにおいて、青色のＭＴＦ値が所定値Ｋ以上の値である。
　以上の結果から、図１０に示すような場合には、第３の範囲Ｗ１３および第４の範囲Ｗ２３において、図８、図９に示す場合と同様の条件が満たされる。
　なお、図８から図１０では、互いの対応を分かりやすくするため、第１の光学系１０（１０ａ、１０ｂ）においてそれぞれの色が集まる順を同一（像面に向う方向に青色、緑色、赤色）とした。しかしながら、本実施形態では、第１の光学系１０（１０ａ、１０ｂ）においてそれぞれの色が集まる順は、この順番に限らない。
　図８および図９において示す結果は、空間周波数が等しいＭＴＦ値を比較した場合、以下のように一般化できる。第１の光学系１０が、像面に向かう方向に、第１色、第２色、第３色の順で光線が集まる軸上色収差を示す場合、第３の範囲Ｗ１３において、第１の光学系１０および第２の光学系２０のうちの少なくともいずれか一方の第１色から第３色のＭＴＦ値がいずれも所定値以上となる。第２範囲Ｗ１２では、第１色および第２色のＭＴＦ値が、第１の光学系１０において所定値以上となり、第３色のＭＴＦ値が、第１の光学系１０において所定値未満となり、かつ第２の光学系２０において所定値以上となる。第４の範囲Ｗ２３では、第２色および第３色のＭＴＦ値が、第１の光学系１０において所定値以上となり、第１色のＭＴＦ値が、第１の光学系１０において所定値未満となり、かつ第２の光学系２０において所定値以上となる。
　ただし、このような条件が成立するのは、第１の光学系１０と第２の光学系２０とにおいて、それぞれの色の光が集まる順が反転する場合（図８）、または、第１の光学系１０と第２の光学系２０とにおいて、最もレンズ側に集光する色と、最も像面側に集光する色と、これらの間に集光する色とは、全て異なる場合（図９）である。第１の光学系１０と第２の光学系２０とにおいて、最もレンズ側に集光する色または最も像面側に集光する色が一致する場合（図１０）には、このような条件は成立しない。なお、第１色、第２色、第３色としては、青色、緑色、赤色をどのように組み合わせてもよい。
　ただし、第１の光学系１０および第２の光学系２０において、それぞれの光がレンズ側から赤、緑、青または青、緑、赤のいずれかの順に集まる場合（図８に示す形態）には、それ以外の形態と比較して、３つの色の光のピーク位置が互いに最も離間する。そのため、このような形態では、もっとも焦点深度を大きくすることができる。
　また、所定の空間周波数はベイヤー配列の撮像素子においては、例えばナイキスト周波数の１／３から１／２程度に設定することが望ましい。ここで、ナイキスト周波数とは、１／（画素ピッチ×２）である。また、前記ＭＴＦの所定値とは、例えば、前記空間周波数において１５％程度以上の値に設定することが望ましい。
　本実施形態によると、第１の撮像領域Ｎａからの第１のカラー画像および第２の撮像領域Ｎｂからの第２のカラー画像のうち、それぞれの色における鮮鋭度の高い方の色成分に基づいて出力画像を生成することにより、簡単な手法によって出力画像の鮮鋭度を高めることができる。また、図８および図９に示すように、第２の範囲Ｗ１２から第４の範囲Ｗ２３までの間のどの位置に第１、第２の撮像領域Ｎａ、Ｎｂが配置した場合にも、３色全ての鮮鋭度を所定の値Ｋよりも大きくすることができる。したがって、従来よりも焦点深度を大幅に拡大することができるため、十分に大きな被写界深度を得ることができる。さらに、本実施形態によると、フォーカス状態を検出する手段や調整を行う手段を用いずに、より様々な被写体距離の被写体を撮影することができる。
　本実施形態では、黒色を背景とした赤、緑または青の単色の被写体を撮像する場合、第１、第２の撮像領域Ｎａ、Ｎｂのいずれかでは、被写体の色の鮮鋭度は所定値Ｋよりも大きくなっている。そのため、鮮鋭度の高い画像を生成することができる。
　なお、本実施形態の説明では、カラー画像の光軸上の領域の合成のみについて記載した。軸外領域については、倍率色収差補正や歪曲収差補正を実施した上でカラー画像を生成することが好ましい。
　なお、本実施形態では、画像の鮮鋭度の高低評価を、輝度値の差分の絶対値、つまり鮮鋭度それ自体を比較することで行ったが、それ以外に、例えばコントラスト値を比較することで行ってもよい。通常、コントラスト値が大きい画像の方が、鮮鋭度が高い。コントラスト値は、例えば、所定の演算ブロック内における最大輝度値Ｌmaxと最低輝度値Lminとの比(Lmax/Lmin)から求めることができる。鮮鋭度は輝度値の差分であるのに対し、コントラスト値は輝度値の比である。最大輝度値である一点と最低輝度値である一点との比からコントラスト値を求めてもよいし、例えば輝度値の上位数点の平均値と、輝度値の下位数点の平均値との比からコントラスト値を求めてもよい。この場合、演算処理部Ｃは、第１の撮像領域Ｎａからの画像における所定領域ごとに各色のコントラストを検出する第１コントラスト検出部と、第２の撮像領域Ｎｂからの画像における所定領域毎に各色のコントラストを検出する第２コントラスト検出部とを備える構成となる。
　なお、本実施の形態では、第１の光学系１０と第２の光学系２０とがそれぞれ２枚のレンズを有する構成で説明したが、本発明はこの構成に限定されるものではない。例えば、２つの光学系がそれぞれ単レンズで構成され、一方の単レンズのレンズ面に回折格子を設ける構成でもよい。
　　（第２の実施形態）
　図１１は、本発明による撮像装置Ａの第２の実施形態を示す模式図である。本実施形態の撮像装置Ａは、第１の光学系３０と、第１の光学系３０からの光が入射する第１の撮像領域Ｎａと、第２の光学系４０と、第２の光学系４０からの光が入射する第２の撮像領域Ｎｂと、第１の撮像領域Ｎａおよび第２の撮像領域Ｎｂから画像を取得する演算処理部Ｃとを備えている。第１の光学系３０は、絞りＳａ、単レンズＬａおよびフィルタＦａから構成される。第２の光学系４０は、絞りＳｂ、単レンズＬｂおよびフィルタＦｂから構成される。
　第１の光学系３０におけるレンズＬａに光が入射すると、軸上色収差に起因して、レンズＬａの光軸上の像面に向う方向（レンズＬａから第１の撮像領域Ｎａに向う方向）に、例えば、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の順に光線が結像する。
　一方、第２の光学系４０におけるレンズＬｂは、第１の光学系３０におけるレンズＬａとは異なる軸上色収差を有する。例えば、第２の光学系４０におけるレンズＬｂに光が入射すると、レンズＬｂの光軸上の像面に向う方向（レンズＬｂから第２の撮像領域Ｎｂに向う方向）に、例えば、赤色、緑色、青色の順に光線が結像する。第２の光学系４０の軸上色収差が逆転しているのは、単レンズＬｂの像側のレンズ面に回折格子を設けることにより軸上色収差を制御しているためである。
　演算処理部Ｃは、第１の撮像領域Ｎａおよび第２の撮像領域Ｎｂから取得した２つの画像を処理して、１つの画像を生成する。
　表３および表４は、図１１に示す撮像装置Ａにおける第１の光学系３０と第２の光学系４０の設計データをそれぞれ示している。表３と表４において、ｒｉは各面の近軸曲率半径（ｍｍ）、ｄｉは各面の面中心間隔（ｍｍ）、ｎｄはレンズまたはフィルタのｄ線の屈折率、νｄはレンズまたはフィルタのｄ線のアッベ数を示している。
Figure JPOXMLDOC01-appb-T000003
Figure JPOXMLDOC01-appb-T000004
　レンズの非球面形状は、面頂点の接平面から光軸方向の距離をｘ、光軸からの高さをｈとして、ｒを近軸曲率半径、ｋを円錐定数、Ａｍ（ｍ＝４，６，８，１０，１２）を第ｍ次の非球面係数としたとき（数１）で表される。
Figure JPOXMLDOC01-appb-M000001
　また、表４において回折面（Ｒ２面）における位相差関数φ（ｈ）は、光軸からの高さをｈとし、Ｂｎ（ｎ＝２，４，６，８，１０）を第ｎ次の位相関数の係数としたとき、単位をラジアンとして（数２）で表される。
Figure JPOXMLDOC01-appb-M000002
　図１２（ａ）の（１）、（２）および（３）は、それぞれ第１の光学系３０の球面収差、非点収差および歪曲収差を示す。図１２（ｂ）の（１）、（２）および（３）はそれぞれ第２の光学系４０の球面収差、非点収差および歪曲収差を示す。
　図１３（ａ）、（ｂ）は、それぞれ第１の光学系３０の軸上色収差と第２の光学系４０の軸上色収差とを示している。図１３（ａ）、（ｂ）において、横軸は光の波長を示し、縦軸は波長０．５５μｍ（緑色）を基準とした場合の結像位置のズレを示している。図１３（ａ）から、第１の光学系３０では、波長が短い光ほど被写体側（すなわちレンズＬａ側）に集まることがわかる。即ち、第１の光学系３０では、光軸の像面に向う方向（レンズＬａから第１の撮像領域Ｎａに向う方向）に、青色、緑色、赤色の順で光線が結像する。一方、図１３（ｂ）から、第２の光学系４０では、波長が短い光ほど光軸上の第２の撮像領域Ｎｂ側に集まることがわかる。即ち、第２の光学系４０では、光軸上のレンズＬｂから第２の撮像領域Ｎｂに向かう方向に、赤色、緑色、青色の順で光線が結像する。
　本実施形態は、第１の実施形態とは異なり、第１の光学系３０の光軸と第２の光学系４０の光軸とが平行になるような配置を有する。本実施形態では、第１の光学系３０で取得した第１のカラー画像と第２の光学系４０で取得した第２のカラー画像との間には視差が生じている。視差量はパターンマッチングにより抽出することができる。
　本実施形態の演算処理部Ｃには、第１鮮鋭度検出部Ｃ１、第２鮮鋭度検出部Ｃ２および画像生成部Ｃ３の他に、第１の光学系３０からの画像と第２の光学系４０からの画像との間の視差量を検出する視差量検出部Ｃ４を備える。
　図１４は、測距装置の三角測量について説明するための図である。図１４に示すように、対象物Ｏ上の点Ｐを測定点とする。対象物Ｏの像は、第１の光学系３０のレンズＬａによって第１の撮像領域Ｎａに結像され、第２の光学系４０のレンズＬｂによって第２の撮像領域Ｎｂに結像される。
　点Ｐが第１の光学系３０の光軸Ａａ上に位置する場合、点Ｐは、第１の撮像領域Ｎａと第１の光学系３０の光軸Ａａとが交わる点で結像する。第２の光学系４０は、第１の光学系３０の光軸Ａａと第２の光学系４０の光軸Ａｂとが所定の間隔Ｂを隔てて互いに平行となるように配置される。
　第２の撮像領域Ｎｂと第２の光学系４０の光軸Ａｂとが交わる点と、第１の撮像領域Ｎａと第１の光学系の光軸Ａａとが交わる点とを結ぶ線分は、対象物の位置によって変化しない三角測量の基準となる線分であり、基線と呼ばれる。この基線の長さである基線長は間隔Ｂに等しい。
　第２の撮像領域Ｎｂでは、点Ｐは、第２の光学系４０の光軸Ａｂから基線の上において距離Δだけ離れた位置に結像する。これを視差といい、その長さを視差量Δという。
　第１および第２の光学系３０、４０の撮像レンズＬａ、Ｌｂの焦点距離をｆとすると、以下の近似式が成り立つ。
Figure JPOXMLDOC01-appb-M000003
　視差量Δは、第１の撮像領域Ｎａに結像した第１のカラー画像と、第２の撮像領域Ｎｂに結像した第２のカラー画像とを用いてパターンマッチングを行うことによって求められる。視差量Δの単位は画素となるが、補間処理によって０．１画素単位（サブピクセル単位）で演算することも可能である。
　演算処理部Ｃにおける視差量検出部Ｃ４は、第１、第２の撮像領域Ｎａ、Ｎｂによって得られた画像の微小領域毎に視差量Δを検出し、検出した視差量Δに基づいて画像の位置あわせを行う。演算処理部Ｃは、第１の実施形態と同様の方法によって、色ごとに鮮鋭度の高いほうの画像に基づいて画像を生成することができる。
　ただし、第１の光学系３０と第２の光学系４０は互いに異なる軸上色収差を有するため、カラー画像のまま前述のパターンマッチングを行うと視差を精度良く検出することができない。図１２（ａ）、（ｂ）の球面収差図を比較すると、緑色の成分（５５０ｎｍ）は互いに類似した特性を有している。よって、緑色の色成分のみを用いてパターンマッチングを行うことにより精度良く視差量Δを検出することができる。
　（数３）をＺについて求め、視差量Δ、基線長Ｂおよび焦点距離ｆを（数３）に代入することによって、三角測量の原理により距離Ｚを求めることができる。
　第１の実施形態では、図４においてＰＢａとＰＲｂとのフォーカスシフト量が略同一に、ＰＲａとＰＢｂとのフォーカスシフト量が略同一になるように設計している。第１の実施形態のように各光学系１０、２０のそれぞれが２枚のレンズから構成されている場合、緑色のフォーカスシフト量を揃え、かつ、赤色と青色のフォーカスシフト量がちょうど逆転するように設計することはレンズ材の波長分散特性の特性上困難である。したがって、第１の実施形態では、ＰＧａとＰＧｂとの間にズレが生じている。
　一方、本実施形態では、第２の光学系４０の被写体側のレンズ面に回折格子を設けることにより、第１の光学系３０と第２の光学系４０との緑色のフォーカスシフト量を揃えても、赤色と青色のフォーカスシフト量をちょうど逆転させるように軸上色収差を設定することができる。これにより、より鮮鋭度の高い画像を生成することができる。
　一般的に、光学系の軸上色収差を補正するために回折格子を設けるが、本実施形態では、回折格子により第２の光学系４０の軸上色収差を過補正し、かつ第１の光学系３０の軸上色収差と逆転するように設定している。
　図１５は、第１の光学系３０、第２の光学系４０のスルーフォーカスＭＴＦ特性を示すグラフである。
　図１５における上のグラフは第１の光学系３０のスルーフォーカスＭＴＦ特性を示し、図１５における下のグラフは第２の光学系４０のスルーフォーカスＭＴＦ特性を示す。図１５において、横軸はフォーカスシフトを示しており、縦軸は空間周波数が３０Ｌｐ／ｍｍのＭＴＦを示している。第１の光学系３０の特性を示すグラフにおいて、ＭＢａ、ＭＧａ、ＭＲａは、それぞれ青色、緑色、赤色のスルーフォーカスＭＴＦ特性を示している。また、ＰＢａ、ＰＧａ、ＰＲａは、それぞれのピーク位置を示している。同様に、第２の光学系４０の特性を示すグラフにおいて、ＭＲｂ、ＭＧｂ、ＭＢｂは、それぞれ赤色、緑色、青色のスルーフォーカスＭＴＦ特性を示している。また、ＰＲｂ、ＰＧｂ、ＰＢｂは、それぞれのピーク位置を示している。前述した通り、本実施形態では、ＰＧａとＰＧｂのフォーカスシフト量を互いに揃えたとき、ＰＢａとＰＲｂとのフォーカスシフト量を略同一に、ＰＲａとＰＢｂとのフォーカスシフト量を略同一になるように設定している。
　本実施形態においては、演算処理部Ｃ内の第１、第２鮮鋭度検出部Ｃ１、Ｃ２において実際に第１の光学系３０および第２の光学系４０の鮮鋭度（輝度値の差の絶対値）が算出され、それぞれの色成分において鮮鋭度（輝度値の差の絶対値）が高いほうが選択されてもよい。または、被写体までの距離を用いて、その距離において高いほうのＭＴＦ特性を有する色成分を選択してもよい。この場合、演算処理部Ｃ内には、第１の光学系３０と第２の光学系４０とのそれぞれにおける被写体距離とＭＴＦ特性との相関関係が記録されており、被写体までの距離を測定した後で、高い方のＭＴＦ特性を有する色成分が選択される。
　本実施形態では、第１の実施形態と同様の効果を得ることができ、さらに、測距装置としての機能が実現できる。
　また、単レンズＬｂのレンズ面に回折格子を設けることにより、軸上色収差を制御できるため、３色のフォーカスシフト量を略同一にすることができる。これにより、さらに鮮鋭度の高い出力画像を生成することができると共に、高い精度で視差量を算出することができる。本実施形態においては、第１の実施形態のようにハーフミラーによって光路を分割していないため、第１の実施形態と比較して、さらに明るい画像を取得することができる。
　本実施形態においては、各光学系３０、４０のそれぞれを１枚のレンズから構成したが、各光学系３０、４０を複数枚のレンズから構成してもよい。
　また、本実施形態の各光学系を用い、かつ、第１の実施形態のようにハーフミラーによって光路を分割してもよい。この場合、上述したように第１の光学系３０と第２の光学系４０とにおいて、緑色のフォーカスシフト量を必ずしも揃える必要はない。
　本実施形態においては、撮像装置を２つの光学系３０、４０によって構成しているが、３つ以上の軸上色収差特性の互いに異なる光学系によって構成してもよい。図１６は、３つの光学系を有する撮像装置において、それぞれの光学系の軸上色収差を示すグラフである。図１６において、横軸は光の波長を示し、縦軸は波長０．５５μｍ（緑色）の光の焦点位置を基準（０．００）とした場合の結像位置のずれ（フォーカスシフト）を示している。図１６に示すように、第１の光学系では、波長が短い光ほど被写体側（すなわちレンズ側）に集まる。第２の光学系では、波長が短い光ほど撮像領域側に集まる。第３の光学系では、波長が０．４５μｍおよび０．６５μｍの光のフォーカスシフトが０になり、０．４５μｍから０．６５μｍまでの間では、０．５５μｍの波長のときをピークとして、緩やかに焦点が被写体側にシフトしている。これらの３つの光学系を用いることにより、２つの光学系を用いる場合と比較して、中間距離での鮮鋭度を高めることができる。
　本発明の撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置として有用である。また測距装置等の用途にも応用できる。
　Ａ　　　　　　　　　　　　　撮像装置
　Ｓａ　　　　　　　　　　　　第１の光学系の絞り
　Ｓｂ　　　　　　　　　　　　第２の光学系の絞り
　Ｌ１ａ、Ｌ２ａ、Ｌａ　　　　第１の光学系を構成するレンズ
　Ｌ２ｂ、Ｌ２ｂ、Ｌｂ　　　　第２の光学系を構成するレンズ
　Ｎａ　　　　　　　　　　　　第１の撮像領域
　Ｎｂ　　　　　　　　　　　　第２の撮像領域
　１０、１０ａ、１０ｂ　　　　第１の光学系
　２０、２０ａ、２０ｂ　　　　第２の光学系
　３０　　　　　　　　　　　　第１の光学系
　４０　　　　　　　　　　　　第２の光学系

Claims (18)

  1. 　第１色、第２色、第３色の光軸上における結像位置が異なる軸上色収差を有する第１の光学系と、
    　前記第１の光学系を透過した光を用いて、前記第１色、第２色、第３色のうち少なくとも１つの色の成分の画像を生成する第１の撮像領域と、
    　前記第１の光学系とは異なる軸上色収差を有する第２の光学系と、
    　前記第２の光学系を透過した光を用いて、前記少なくとも１つの色の成分と同じ色の成分を含む画像を生成する第２の撮像領域と、
    　前記第１の撮像領域において生成された前記少なくとも１つの色の成分の画像、および前記第２の撮像領域において生成された前記少なくとも１つの色の成分の画像のうち、鮮鋭度の高い方の成分の画像を用いて、出力画像を生成する演算処理部とを備える、撮像装置。
  2. 　前記第１の撮像領域および前記第２の撮像領域は、前記第１色、第２色、第３色のうち複数の色の成分の画像を生成し、
    　前記演算処理部は、前記複数の色のそれぞれにおいて鮮鋭度の高い方の成分の画像を用いて、前記出力画像を生成する、請求項１に記載の撮像装置。
  3. 　前記第１の光学系においては、前記光軸上の像面に向かう方向に、前記第１色、第２色、第３色の順で光線の結像位置が配置し、
    　前記演算処理部は、前記第１の撮像領域からの画像および前記第２の撮像領域からの画像に前記第１色、前記第２色および前記第３色の成分が含まれる場合には、前記第１色、前記第２色、前記第３色それぞれにおける鮮鋭度の高い方の成分を用いて、前記第１色、前記第２色、前記第３色の成分を含む前記出力画像を生成する、請求項１または２に記載の撮像装置。
  4. 　前記第１の光学系および前記第２の光学系は、
    　前記第１色および前記第２色の前記所定の空間周波数におけるＭＴＦ値が、前記第１の光学系において所定値以上となり、前記第３色の前記所定の空間周波数におけるＭＴＦ値が、前記第１の光学系において前記所定値未満となり、かつ前記第２の光学系において前記所定値以上となる光軸上の第１範囲と、
    　前記第１の光学系および前記第２の光学系のうちの少なくともいずれか一方において、前記第１色から前記第３色の前記所定の空間周波数におけるＭＴＦ値がいずれも所定値以上となる光軸上の第２範囲と、
    　前記第２色および前記第３色の前記所定の空間周波数におけるＭＴＦ値が、前記第１の光学系において前記所定値以上となり、前記第１色の前記所定の空間周波数におけるＭＴＦ値が、前記第１の光学系において前記所定値未満となり、かつ前記第２の光学系において前記所定値以上となる光軸上の第３範囲とを有するスルーフォーカスＭＴＦ特性を有する、請求項３に記載の撮像装置。
  5. 　前記第２の範囲は、前記第１の範囲よりも被写体距離が長い場合に前記第１の撮像領域および前記第２の撮像領域が配置される前記光軸上の位置であり、
    　前記第３の範囲は、前記第１の範囲および前記第２の範囲よりも被写体距離が長い場合に前記第１の撮像領域および前記第２の撮像領域が配置される前記光軸上の位置である、請求項３に記載の撮像装置。
  6. 　前記第１の光学系の光路と前記第２の光学系の光路を分割する分光部材をさらに備える、請求項１から５のいずれかに記載の撮像装置。
  7. 　前記第１の光学系の光軸と前記第２の光学系の光軸が平行であって、
    　前記第１の撮像領域と前記第２の撮像領域とが同一平面状に配置される、請求項１から５のいずれかに記載の撮像装置。
  8. 　前記第１色、第２色、第３色は、青色、緑色、赤色であり、
    　前記第１の光学系では、光軸上の像面に向う方向に青色、緑色、赤色の順で光線が結像し、
    　前記第２の光学系では、光軸上の像面に向う方向に赤色、緑色、青色の順で光線が結像する、請求項１から７のいずれかに記載の撮像装置。
  9. 　前記演算処理部は、
    　前記第１の光学系からの画像における所定領域毎に各色の鮮鋭度を検出する第１鮮鋭度検出部と、
    　前記第２の光学系からの画像における所定領域毎に各色の鮮鋭度を検出する第２鮮鋭度検出部と、
    　前記第１の光学系からの画像の所定領域毎の各色の鮮鋭度と前記第２の光学系からの画像の所定領域毎の各色の鮮鋭度とに基づいて所定領域毎に前記出力画像を生成する画像生成部とを備えている、請求項１から８のいずれかに記載の撮像装置。
  10. 　前記演算処理部は、前記第１の光学系の緑色の成分と前記第２の光学系の緑色の成分との視差量を検出する視差量検出部をさらに備え、
    　前記画像生成部では、前記視差量に基づいて前記出力画像を生成する、請求項９に記載の撮像装置。
  11. 　前記演算処理部は、前記第１の撮像領域からの画像および前記第２の撮像領域からの画像のうち、前記第１色、前記第２色および前記第３色のそれぞれにおける鮮鋭度の高い方の成分を、出力画像の前記第１色、前記第２色、前記第３色の成分として用いる、請求項１から１０のいずれかに記載の撮像装置。
  12. 　前記演算処理部は、前記第１の撮像領域からの画像における前記第１色、前記第２色および前記第３色の成分と、前記第２の撮像領域からの画像における前記第１色、前記第２色および前記第３色の成分とを色ごとに加算して前記出力画像を生成する、請求項１から１０のいずれかに記載の撮像装置。
  13. 　前記演算処理部は、前記第１色、前記第２色および前記第３色のうち最も高い鮮鋭度の成分に基づいて他の成分を鮮鋭化させる、請求項１から１２のいずれかに記載の撮像装置。
  14. 　前記第１の光学系および前記第２の光学系のうち少なくとも一方において、少なくとも１つのレンズ面が回折レンズ形状を有する、請求項１から１３のいずれかに記載の撮像装置。
  15. 　前記視差量に基づいて被写体までの距離を測定する、請求項１０に記載の撮像装置。
  16. 　第１色、第２色、第３色の光軸上における結像位置が異なる軸上色収差を有する第１の光学系と、
    　前記第１の光学系を透過した光を用いて、前記第１色、第２色、第３色のうち少なくとも１つの色の成分の画像を生成する第１の撮像領域と、
    　前記第１の光学系とは異なる軸上色収差を有する第２の光学系と、
    　前記第２の光学系を透過した光を用いて、前記少なくとも１つの色の成分と同じ色の成分を含む画像を生成する第２の撮像領域と、
    　前記第１の撮像領域において生成された前記少なくとも１つの色の成分の画像、および前記第２の撮像領域において生成された前記少なくとも１つの色の成分の画像のうち、コントラストの大きい方の成分の画像を用いて、出力画像を生成する演算処理部とを備える、撮像装置。
  17. 　前記第１の撮像領域および前記第２の撮像領域は、前記第１色、第２色、第３色のうち複数の色の成分の画像を生成し、
    　前記演算処理部は、前記複数の色のそれぞれにおいてコントラストの大きい方の成分の画像を用いて、前記出力画像を生成する、請求項１に記載の撮像装置。
  18. 　前記演算処理部は、
    　前記第１の光学系からの画像における所定領域毎に各色のコントラストを検出する第１コントラスト検出部と、
    　前記第２の光学系からの画像における所定領域毎に各色のコントラストを検出する第２コントラスト検出部と、
    　前記第１の光学系からの画像の所定領域毎の各色のコントラストと前記第２の光学系からの画像の所定領域の各色のコントラストとに基づいて所定領域毎に前記出力画像を生成する画像生成部とを備えている、請求項１６または１７に記載の撮像装置。
PCT/JP2010/006266 2009-10-27 2010-10-22 撮像装置およびそれを用いた測距装置 Ceased WO2011052172A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011510598A JP4796666B2 (ja) 2009-10-27 2010-10-22 撮像装置およびそれを用いた測距装置
US13/146,714 US8520125B2 (en) 2009-10-27 2010-10-22 Imaging device and distance-measuring device using same
CN201080003670.9A CN102257822B (zh) 2009-10-27 2010-10-22 摄像装置和使用它的测距装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009246789 2009-10-27
JP2009-246789 2009-10-27

Publications (1)

Publication Number Publication Date
WO2011052172A1 true WO2011052172A1 (ja) 2011-05-05

Family

ID=43921607

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006266 Ceased WO2011052172A1 (ja) 2009-10-27 2010-10-22 撮像装置およびそれを用いた測距装置

Country Status (4)

Country Link
US (1) US8520125B2 (ja)
JP (1) JP4796666B2 (ja)
CN (1) CN102257822B (ja)
WO (1) WO2011052172A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012176355A1 (ja) * 2011-06-23 2012-12-27 パナソニック株式会社 撮像装置
CN103260039A (zh) * 2012-02-17 2013-08-21 索尼公司 图像处理设备、图像处理方法以及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6004371B2 (ja) * 2011-11-16 2016-10-05 パナソニックＩｐマネジメント株式会社 撮像装置
WO2013156101A1 (en) 2012-04-18 2013-10-24 Sony Corporation Method and optical system for determining a depth map of an image
WO2015059346A1 (en) * 2013-10-25 2015-04-30 Nokia Technologies Oy An apparatus and a method for producing a depth-map
WO2019048492A1 (en) * 2017-09-08 2019-03-14 Sony Corporation IMAGING DEVICE, METHOD AND PROGRAM FOR PRODUCING IMAGES OF A SCENE
US11402635B1 (en) * 2018-05-24 2022-08-02 Facebook Technologies, Llc Systems and methods for measuring visual refractive error
JP2022516038A (ja) * 2018-12-21 2022-02-24 スコピオ ラブズ リミテッド 顕微鏡画像の圧縮された入手

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066646A (ja) * 1992-06-17 1994-01-14 Matsushita Electric Ind Co Ltd 撮像装置
JPH09116807A (ja) * 1995-10-24 1997-05-02 Nippon Hoso Kyokai <Nhk> 撮像装置
JP2006020275A (ja) * 2004-05-31 2006-01-19 Nikon Corp Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141988A (ja) * 1999-08-31 2001-05-25 Canon Inc 焦点調節装置及びその制御方法及びその制御プログラムを供給する媒体
FR2827459B1 (fr) * 2001-07-12 2004-10-29 Poseidon Procede et systeme pour fournir a des logiciels de traitement d'image des informations formatees liees aux caracteristiques des appareils de capture d'image et/ou des moyens de restitution d'image
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
EP2466871A3 (en) * 2003-10-22 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and method for producing the same, portable equipment, and imaging sensor and method for producing the same.
JP2005142869A (ja) * 2003-11-06 2005-06-02 Pentax Corp 光学機器、望遠鏡本体および望遠鏡
JP4411109B2 (ja) 2004-03-12 2010-02-10 マイクロバイオ株式会社 ３次元領域内の被写体の撮影方法および撮影装置
EP1746846B1 (en) 2004-04-12 2019-03-20 Nikon Corporation Image processing device having color shift-correcting function, image processing program, and electronic camera
JP2005348319A (ja) 2004-06-07 2005-12-15 Canon Inc 撮像記録装置
FR2881011B1 (fr) 2005-01-19 2007-06-29 Dxo Labs Sa Procede de realisation d'un appareil de capture et/ou restitution d'images et appareil obtenu par ce procede
JP5535476B2 (ja) * 2005-03-07 2014-07-02 ディーエックスオー ラブズ カラーデジタル画像を使用する、機能すなわち鮮鋭度の変更を活動化する方法
JP2008085773A (ja) * 2006-09-28 2008-04-10 Olympus Corp 色収差補正撮像装置及び色収差補正方法
JP2009153074A (ja) 2007-12-21 2009-07-09 Olympus Corp 画像撮影装置
JP5078148B2 (ja) * 2008-03-10 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP4966894B2 (ja) * 2008-03-18 2012-07-04 株式会社リコー 画像撮像装置
JP5132401B2 (ja) * 2008-04-16 2013-01-30 キヤノン株式会社 画像処理装置及び画像処理方法
FR2940720B1 (fr) * 2008-12-31 2011-03-18 St Microelectronics Sa Dispositif de saisie d'images comprenant des moyens de correction de mise au point
US8379321B2 (en) * 2009-03-05 2013-02-19 Raytheon Canada Limited Method and apparatus for accurate imaging with an extended depth of field
FR2949003B1 (fr) * 2009-08-10 2017-09-08 Dxo Labs Systeme et procede de capture d'images avec deux modes de fonctionnement
JP5404376B2 (ja) * 2009-12-24 2014-01-29 株式会社東芝 カメラモジュール及び画像処理装置
JP5528139B2 (ja) * 2010-02-02 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
US8711215B2 (en) * 2010-08-06 2014-04-29 Panasonic Corporation Imaging device and imaging method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066646A (ja) * 1992-06-17 1994-01-14 Matsushita Electric Ind Co Ltd 撮像装置
JPH09116807A (ja) * 1995-10-24 1997-05-02 Nippon Hoso Kyokai <Nhk> 撮像装置
JP2006020275A (ja) * 2004-05-31 2006-01-19 Nikon Corp Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012176355A1 (ja) * 2011-06-23 2012-12-27 パナソニック株式会社 撮像装置
CN102959960A (zh) * 2011-06-23 2013-03-06 松下电器产业株式会社 摄像装置
JP5406383B2 (ja) * 2011-06-23 2014-02-05 パナソニック株式会社 撮像装置
EP2725802A4 (en) * 2011-06-23 2014-07-02 Panasonic Corp IMAGING DEVICE
US8836825B2 (en) 2011-06-23 2014-09-16 Panasonic Corporation Imaging apparatus
CN102959960B (zh) * 2011-06-23 2015-04-01 松下电器产业株式会社 摄像装置
CN103260039A (zh) * 2012-02-17 2013-08-21 索尼公司 图像处理设备、图像处理方法以及程序

Also Published As

Publication number Publication date
US8520125B2 (en) 2013-08-27
US20110286634A1 (en) 2011-11-24
CN102257822B (zh) 2014-01-08
JPWO2011052172A1 (ja) 2013-03-14
JP4796666B2 (ja) 2011-10-19
CN102257822A (zh) 2011-11-23

Similar Documents

Publication Publication Date Title
JP4796666B2 (ja) 撮像装置およびそれを用いた測距装置
CN111699415B (zh) 用于全色成像的超颖表面和系统以及成像的方法
JP5681954B2 (ja) 撮像装置及び撮像システム
US8044331B2 (en) Image pickup apparatus and method for manufacturing the same
JP4076242B2 (ja) 電子撮像装置
JP5144841B1 (ja) 撮像装置
KR101610975B1 (ko) 단일-렌즈 확장피사계심도 촬상시스템
JP6580673B2 (ja) 画像を記録するための装置および方法
JP5358039B1 (ja) 撮像装置
US11640040B2 (en) Simultaneous focal length control and achromatic computational imaging with quartic metasurfaces
US8331030B2 (en) Optical system provided with a device for augmenting its depth of field
JP5406383B2 (ja) 撮像装置
JP6991957B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2012519919A (ja) 拡張被写界深度を有する正確な画像化方法および装置
US10268020B2 (en) Optical image capturing system
WO2012127552A1 (ja) 画像処理装置、撮像装置及び画像処理方法
WO2011158507A1 (ja) 画像処理装置及び画像処理方法
US20180338049A1 (en) Image processing apparatus performing image recovery processing, imaging apparatus, image processing method, and storage medium
JP5409588B2 (ja) 焦点調節方法、焦点調節プログラムおよび撮像装置
CN102193166B (zh) 成像镜头和成像系统
JP2009192412A (ja) 波面計測装置およびプログラム
US20250180430A1 (en) Apparatus, method, and storage medium
JP2009041968A (ja) 復元処理を前提としたレンズの評価方法および装置、評価用補正光学系
JPH11304591A (ja) 分光画像取得装置
JP2011022358A (ja) 光学系および撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003670.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011510598

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10826308

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13146714

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10826308

Country of ref document: EP

Kind code of ref document: A1