[go: up one dir, main page]

WO2012144162A1 - ３次元撮像装置、光透過部、画像処理装置、およびプログラム - Google Patents

３次元撮像装置、光透過部、画像処理装置、およびプログラム Download PDF

Info

Publication number
WO2012144162A1
WO2012144162A1 PCT/JP2012/002517 JP2012002517W WO2012144162A1 WO 2012144162 A1 WO2012144162 A1 WO 2012144162A1 JP 2012002517 W JP2012002517 W JP 2012002517W WO 2012144162 A1 WO2012144162 A1 WO 2012144162A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
imaging device
depth
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/002517
Other languages
English (en)
French (fr)
Inventor
政夫 平本
育規 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013510864A priority Critical patent/JP5927570B2/ja
Priority to CN201280001375.9A priority patent/CN102918355B/zh
Priority to US13/807,059 priority patent/US9544570B2/en
Publication of WO2012144162A1 publication Critical patent/WO2012144162A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system

Definitions

  • This application relates to a monocular three-dimensional imaging technique for creating a parallax image using one optical system and one imaging device.
  • image sensors In recent years, there has been a remarkable increase in functionality and performance of digital cameras and digital movies using solid-state image sensors such as CCDs and CMOSs (hereinafter sometimes referred to as “image sensors”).
  • image sensors due to advances in semiconductor manufacturing technology, the pixel structure in a solid-state image sensor has been miniaturized. As a result, higher integration of pixels and drive circuits of solid-state image sensors has been attempted. For this reason, in a few years, the number of pixels of the image sensor has increased significantly from about 1 million pixels to over 10 million pixels. Furthermore, the quality of the image obtained by imaging has improved dramatically.
  • a thin liquid crystal display or a plasma display enables high-resolution and high-contrast display without taking up space, and high performance is realized.
  • Such a flow of improving the quality of video is spreading from a two-dimensional image to a three-dimensional image.
  • polarized glasses are required, but high-quality three-dimensional display devices are being developed.
  • a typical method having a simple configuration is a method of acquiring a right-eye image and a left-eye image using an imaging system including two cameras.
  • an imaging system including two cameras.
  • two-lens imaging method since two cameras are used, the imaging apparatus becomes large and the cost can be high. Therefore, a method (monocular imaging method) for acquiring a plurality of images having parallax (hereinafter sometimes referred to as “multi-viewpoint images”) using one camera has been studied.
  • Patent Document 1 discloses a system using two polarizing plates whose transmission axes are orthogonal to each other and a rotating polarizing filter.
  • FIG. 14 is a schematic diagram illustrating a configuration of an imaging system according to the method.
  • the imaging device includes a polarizing plate 11 with 0 degree polarization, a polarizing plate 12 with 90 degree polarization, a reflecting mirror 13, a half mirror 14, a circular polarizing filter 15, a driving device 16 that rotates the circular polarizing filter 15, the optical lens 3, An imaging device 9 that acquires an image formed by the optical lens is provided.
  • the half mirror 14 reflects the light transmitted through the polarizing plate 11 and reflected by the reflecting mirror 13, and transmits the light transmitted through the polarizing plate 12.
  • the light transmitted through the polarizing plates 11 and 12 disposed at positions separated from each other enters the imaging device 9 via the half mirror 14, the circular polarizing filter 15, and the optical lens 3, An image is acquired.
  • the principle of imaging in this method is that by rotating the circular polarizing filter 15, light incident on each of the two polarizing plates 11 and 12 is captured at different timings, and two images having parallax are acquired. That's it.
  • Patent Document 2 discloses a method for simultaneously acquiring two images with parallax without using mechanical drive.
  • An imaging apparatus collects light incident from two incident areas by a reflecting mirror and receives the light with an imaging element in which two types of polarizing filters are alternately arranged, without using a mechanical drive unit. Two images with parallax are acquired.
  • FIG. 15 is a schematic diagram showing a configuration of an imaging system in this method.
  • This imaging system includes two polarizing plates 11 and 12 whose transmission axes are orthogonal to each other, a reflecting mirror 13, an optical lens 3, and an imaging element 2.
  • the imaging device 2 includes a plurality of pixels 10 and polarizing filters 17 and 18 arranged in a one-to-one correspondence with the pixels on the imaging surface.
  • the polarizing filters 17 and 18 are alternately arranged on all pixels.
  • the directions of the transmission axes of the polarizing filters 17 and 18 coincide with the directions of the transmission axes of the polarizing plates 11 and 12, respectively.
  • incident light passes through the polarizing plates 11 and 12, is reflected by the reflecting mirror 13, passes through the optical lens 3, and enters the imaging surface of the imaging device 1.
  • the light that passes through the polarizing plates 11 and 12 and enters the image sensor 1 is photoelectrically converted by the pixels that pass through the polarizing filters 17 and 18 and face each other.
  • an image formed by light incident on the image sensor 1 through the polarizing plates 11 and 12 is called a right-eye image and a left-eye image, respectively
  • the right-eye image and the left-eye image are polarization filters. 17 and 18 are obtained from the pixel group facing to each other.
  • Patent Document 3 discloses a technique that can acquire a plurality of images having parallax and a normal image with a single image sensor in order to reduce the amount of light received by the image sensor. According to this technique, when two images having parallax are acquired and when a normal image is acquired, a part of the constituent elements are mechanically interchanged so that the two images having the parallax and the normal image have one image sensor. Obtained by.
  • the point that two polarizing filters are arranged on the optical path when acquiring two images having parallax is the same as the technique disclosed in Patent Document 2.
  • the polarizing filter is mechanically removed from the optical path. By incorporating such a mechanism, it is possible to obtain a plurality of images having parallax and a normal image having a high light utilization rate.
  • FIG. 16 is a diagram schematically illustrating an imaging system disclosed in Patent Document 4.
  • the imaging system includes a lens 3, a lens diaphragm 19, a light flux limiting plate 20 on which two color filters 20a and 20b having different transmission wavelength ranges are arranged, and a photosensitive film 21.
  • the color filters 20a and 20b are filters that transmit, for example, red and blue light, respectively.
  • the incident light passes through the lens 3, the lens diaphragm 19, and the light beam limiting plate 20, and forms an image on the photosensitive film.
  • a magenta color image is formed on the photosensitive film by the light transmitted through each of these two color filters.
  • the positions of the color filters 20a and 20b are different, parallax occurs in the image formed on the photosensitive film.
  • a photograph is made from a photosensitive film and glasses with red and blue films attached for the right eye and the left eye, respectively, an image with a sense of depth can be seen.
  • a multi-viewpoint image can be created using two color filters.
  • FIG. 17 is a diagram schematically showing a light flux limiting plate in this technique.
  • a light flux limiting plate in which an R region 22R that transmits red light, a G region 22G that transmits green light, and a B region 22B that transmits blue light are provided on a plane perpendicular to the optical axis of the imaging optical system. 22 is used.
  • the light transmitted through these areas is received by a color imaging device having R pixels for red, G pixels for green, and B pixels for blue, whereby an image of light transmitted through each area is acquired.
  • Patent Document 6 discloses a technique for acquiring a plurality of images having parallax using the same configuration as Patent Document 5.
  • FIG. 18 is a diagram schematically showing the light flux limiting plate disclosed in Patent Document 6. As shown in FIG. Also with this technique, an image with parallax can be created by transmitting incident light through the R region 23R, the G region 23G, and the B region 23B provided on the light flux limiting plate 23.
  • Patent Document 7 discloses a technique for generating a plurality of images having parallax by using a pair of filters of different colors arranged symmetrically with respect to the optical axis.
  • a red filter and a blue filter as a pair of filters
  • the R pixel that detects red light observes the light transmitted through the red filter
  • the B pixel that detects blue light receives the light transmitted through the blue filter.
  • the positions of the red filter and the blue filter are different, the incident direction of light received by the R pixel and the incident direction of light received by the B pixel are different from each other.
  • the image observed at the R pixel and the image observed at the B pixel are images having different viewpoints.
  • the amount of parallax is calculated by obtaining corresponding points for each pixel from these images.
  • the distance from the camera to the subject is obtained from the calculated amount of parallax and the focal length information of the camera.
  • Patent Document 8 a diaphragm to which two color filters having different aperture sizes (for example, red and blue) are attached, or two color filters having different colors are attached to positions symmetrical with respect to the optical axis.
  • a technique for obtaining distance information of a subject from two images acquired using a diaphragm In this technique, when light transmitted through red and blue color filters having different aperture sizes is observed, the degree of blur observed for each color is different. For this reason, the two images corresponding to the red and blue color filters have different degrees of blur depending on the distance of the subject. By obtaining corresponding points from these images and comparing the degree of blur, distance information from the camera to the subject can be obtained.
  • the two images corresponding to the red and blue color filters are images having parallax.
  • an image with parallax can be generated by arranging RGB color filters on the light flux limiting plate.
  • the amount of incident light is reduced.
  • Patent Document 9 discloses a technique capable of obtaining a plurality of images having parallax and a normal image having no problem in terms of light quantity by using a diaphragm in which RGB color filters are arranged. Yes.
  • this technique only light that has passed through the RGB color filter is received when the diaphragm is closed, and the RGB color filter area is removed from the optical path when the diaphragm is opened, so that all incident light can be received. .
  • an image with parallax can be obtained when the diaphragm is closed, and a normal image with a high light utilization rate can be obtained when the diaphragm is opened.
  • a multi-viewpoint image can be generated, but since a polarizing plate or a color filter is used, the amount of light incident on the image sensor is reduced. In order to secure the amount of incident light, a mechanism that removes the polarization portion or the color filter region from the optical path is necessary. In the prior art, a multi-viewpoint image and an image with a high light utilization rate are simultaneously used without using such a mechanism. Can't get.
  • the depth information is usually estimated by extracting a feature portion from each image and performing matching between the feature portions.
  • depth information is estimated by calculating a pixel shift based on a linear color model in an RGB color space.
  • Embodiments of the present invention provide an imaging technique that can simultaneously acquire an image with high light utilization and depth information without using a conventional method for estimating depth information.
  • a three-dimensional imaging device includes a light transmission unit including a transmission region in which spectral transmittance characteristics change along a first direction, and the light transmission unit.
  • An image sensor that outputs a photoelectric conversion signal corresponding to the received light, an image forming unit that forms an image on an image pickup surface of the image sensor, and an image output from the image sensor.
  • the contour in the first direction of the subject included in the image generated based on the photoelectric conversion signal is extracted, and information on the depth of the subject is obtained based on the lightness or hue pattern of the background in the vicinity of the extracted contour.
  • an image processing unit for estimation is performed by the contour in the first direction of the subject included in the image generated based on the photoelectric conversion signal.
  • the depth information can be calculated because the information about the depth of the subject can be converted into the brightness or color information on the image.
  • depth information and a high-sensitivity image can be acquired simultaneously by increasing the transmittance of a region other than the transmission region of the light transmission unit.
  • FIG. 1 is a block diagram illustrating an overall configuration of an imaging apparatus according to an exemplary embodiment 1.
  • FIG. FIG. 2 is a schematic diagram illustrating a schematic configuration of a light transmitting plate, an optical lens, and an image sensor in Exemplary Embodiment 1. It is a front view of the translucent board in exemplary Embodiment 1.
  • FIG. 3 is a basic color configuration diagram of an imaging unit of a solid-state imaging element in an exemplary embodiment 1. It is a figure which shows typically the imaging
  • FIG. FIG. 3 is a flowchart showing a flow of image processing in exemplary embodiment 1. It is a figure which shows the pixel signal of the right imaging area
  • FIG. 1 It is a figure which shows the pixel signal of the right imaging area
  • FIG. It is a figure which shows rotation operation
  • FIG. It is a front view of the translucent board in exemplary Embodiment 2. It is a transmission characteristic figure of the strip
  • FIG. 2 is a configuration diagram of an imaging system in Patent Document 1.
  • FIG. 10 is a configuration diagram of an imaging system in Patent Document 2.
  • FIG. 10 is a configuration diagram of an imaging system in Patent Document 4. It is an external view of the light beam restricting plate in Patent Document 5. It is an external view of the light beam restricting plate in Patent Document 6.
  • a three-dimensional imaging apparatus includes a light transmission unit having a transmission region in which spectral transmittance characteristics change along a first direction, and light transmitted through the light transmission unit.
  • An image sensor that is arranged to receive and outputs a photoelectric conversion signal corresponding to the received light; an imaging unit that forms an image on an imaging surface of the image sensor; and the photoelectric conversion signal output from the image sensor
  • An image processing unit that extracts a contour in the first direction of a subject included in an image generated based on the information, and estimates information on the depth of the subject based on a background brightness or hue pattern in the vicinity of the extracted contour And.
  • the transmission region has three or more types of transmission wavelength regions along the first direction.
  • the three-dimensional imaging device includes, in one aspect, a rotation drive unit that rotates the transmission region on a plane perpendicular to the optical axis.
  • the image processing unit extracts the contour of the subject by comparing a plurality of images acquired in different rotation states.
  • the image processing unit is configured to acquire the first acquired when the transmissive region is in the first state.
  • the contour of the subject is extracted based on the difference between the image and the second image acquired when the transmissive region is in the second state rotated 180 degrees from the first state.
  • the spectral transmittance characteristics of the transmission region continuously and periodically change along the first direction. is doing.
  • the transmissive region is arranged in blue, cyan, green, yellow arranged along the first direction. , Red and magenta wavelength regions, each of which has six types of regions.
  • the image processing unit is configured to set the depth of the subject and the brightness at the peripheral pixels of the contour, The depth of the subject is estimated based on information indicating the relationship with the hue pattern.
  • a portion other than the transmission region in the light transmission portion is transparent.
  • the image processing unit calculates the depth amount based on information indicating the estimated depth. A depth image is generated.
  • the image processing unit generates a color image based on the photoelectric conversion signal output from the imaging element. Generate.
  • the light transmission unit according to an aspect of the present invention can be used in the three-dimensional imaging device according to any one of items (1) to (11).
  • the image processing apparatus can be used for the three-dimensional imaging apparatus according to any one of items (1) to (11).
  • the image processing apparatus extracts a contour in the first direction of a subject included in an image generated based on the photoelectric conversion signal output from the image sensor, and brightness or hue of a background in the vicinity of the extracted contour
  • An image processing unit that estimates information on the depth of the subject based on the pattern.
  • the image processing program according to an aspect of the present invention can be used for the three-dimensional imaging device according to any one of items (1) to (11).
  • the program extracts a contour in the first direction of a subject included in an image generated based on the photoelectric conversion signal output from the image sensor, and a background in the vicinity of the extracted contour.
  • a step of estimating information relating to the depth of the subject based on a lightness or hue pattern is executed.
  • FIG. 1 is a block diagram illustrating the overall configuration of the imaging apparatus according to the present embodiment.
  • the imaging apparatus according to the present embodiment is a digital electronic camera, and includes an imaging unit 100 and a signal processing unit 200 that generates a signal (image signal) indicating an image based on a signal generated by the imaging unit 100. ing.
  • the imaging unit 100 includes a color solid-state imaging device 2a (hereinafter simply referred to as “imaging device”) including a plurality of photosensitive cells (pixels) arranged on an imaging surface, and spectral transmittance along a specific direction.
  • imaging device a color solid-state imaging device 2a
  • a translucent plate (light transmitting portion) 1 that transmits incident light on which a band-shaped color filter whose characteristics are changed, and an optical lens 3 for forming an image on the imaging surface of the color solid-state imaging device 2a;
  • An infrared cut filter 4 is provided.
  • the imaging unit 100 also generates a basic signal for driving the color solid-state imaging device 2a, receives an output signal from the color solid-state imaging device 2a, and sends it to the signal processing unit 200.
  • An element driving unit 6 that drives the color solid-state imaging device 2a based on the basic signal generated by the signal generating / receiving unit 5 is provided.
  • the color solid-state imaging device 2a is typically a CCD or CMOS sensor, and is manufactured by a known semiconductor manufacturing technique.
  • the signal generation / reception unit 5 and the element driving unit 6 are composed of an LSI such as a CCD driver, for example.
  • the “spectral transmittance characteristic” means the wavelength dependency of the transmittance in the wavelength range of visible light.
  • the signal processing unit 200 processes the signal output from the imaging unit 100 to generate a color image and subject depth information, and a memory 30 that stores various data used to generate the image signal. And an interface (IF) unit 8 for transmitting the generated image signal and depth information to the outside.
  • the image processing unit 7 can be suitably realized by a combination of hardware such as a known digital signal processor (DSP) and software that executes image processing including image signal generation processing.
  • DSP digital signal processor
  • the image processing unit 7 generates a color image, extracts a contour (edge) included in the image, and calculates depth information from color information in the vicinity of the contour.
  • the image processing unit 7 also converts the depth information into a luminance signal, and generates a black and white image indicating the depth distribution.
  • the memory 30 is configured by a DRAM or the like.
  • the memory 30 records the signal obtained from the imaging unit 100 and temporarily records the image data generated by the image processing unit 7 and the compressed image data. These image data are sent to a recording medium (not shown) or
  • the imaging apparatus may include known components such as an electronic shutter, a viewfinder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present embodiment. .
  • FIG. 2 is a diagram schematically showing an arrangement relationship of the light-transmitting plate 1, the lens 3, and the image pickup device 2a in the image pickup unit 100.
  • the lens 3 may be a lens unit composed of a plurality of lens groups, but is illustrated as a single lens in FIG. 2 for simplicity.
  • the translucent plate 1 has a band-like color filter (transmission region) 1a whose spectral transmittance characteristics change along the horizontal direction, and transmits incident light.
  • the lens 3 is a known lens, collects the light transmitted through the translucent plate 1, and forms an image on the imaging surface 2b of the imaging element 2a.
  • the “horizontal direction” means the x direction shown in the referenced drawings and does not necessarily coincide with a direction parallel to the ground surface.
  • FIG. 3 is a front view of the translucent plate 1 in the present embodiment.
  • the shape of the translucent plate 1 in the present embodiment is a circle like the lens 3.
  • the translucent plate 1 has a band-like color filter 1a at the center thereof, and the other region 1b is transparent.
  • This band-shaped color filter 1a gradually changes its transmission wavelength range from left to right in the drawing, from red (R), yellow (Ye), green (G), cyan (Cy), blue (B), and magenta (Mg).
  • R red
  • Ye yellow
  • G green
  • Cy cyan
  • B blue
  • Mg magenta
  • the transmittance of the R, G, and B filter portions is substantially equal, and the transmittance of each of the Ye, Cy, and Mg filter portions is about 2 of the transmittance of each of the R, G, and B filter portions. It shall be doubled.
  • FIG. 4 shows a part of the plurality of photosensitive cells 50 arranged in a matrix on the imaging surface 2b of the imaging device 2a.
  • Each photosensitive cell 50 is typically a photodiode, and outputs an electrical signal (hereinafter referred to as “photoelectric conversion signal” or “pixel signal”) corresponding to the amount of received light by photoelectric conversion.
  • a color filter is disposed on the light incident side facing each photosensitive cell 50.
  • the color filter arrangement in this embodiment is a horizontal stripe arrangement having a basic configuration of 3 rows and 1 column. The first row is a red element (R), and the second row is a green element (G). The third line is the blue element (B).
  • the color filter of each element is manufactured using a known pigment or the like.
  • the red color filter selectively transmits light in the red wavelength range
  • the green color filter selectively transmits light in the green wavelength range
  • the blue color filter selectively transmits light in the blue wavelength range.
  • each photosensitive cell 50 light incident on the imaging device during exposure is imaged on the imaging surface 2b of the imaging device 2a through the light transmitting plate 1, the lens 3, and the infrared cut filter 4, and is photoelectrically converted by each photosensitive cell 50. Is done.
  • the photoelectric conversion signal output by each photosensitive cell 50 is sent to the signal processing unit 200 via the signal generation / reception unit 5.
  • the image processing unit 7 in the signal processing unit 200 performs colorization of the image and calculation of depth information based on the transmitted signal.
  • the depth information is converted into a luminance signal according to the amount of the depth, and is output as a monochrome image.
  • FIG. 5 is a diagram schematically showing a situation when the background 32 and the foreground subject 31 are imaged through the light transmitting plate 1.
  • the imaging device 2 a When imaging is performed under the situation shown in the drawing, the imaging device 2 a outputs a photoelectric conversion signal based on light reflected by the foreground subject 31 and the background 32.
  • the photoelectric conversion signal is sent from the image sensor 2 a to the image processing unit 7 via the signal generation / reception unit 5.
  • the image processing unit 7 performs the following two processes using the sent photoelectric conversion signal, and outputs two images as respective processing results. As a first process, a predetermined colorization process is performed, and a color image is generated.
  • the contour extraction of the image As the second processing, the contour extraction of the image, the depth estimation based on the coloring in the horizontal direction in the vicinity of the contour, and the generation of a black and white image (hereinafter referred to as “depth image”) having the depth amount as the luminance value of the image. Is done.
  • depth image a black and white image having the depth amount as the luminance value of the image.
  • FIG. 6 is a flowchart showing the flow of image generation processing in the present embodiment.
  • the image processing unit 7 generates a color image based on the photoelectric conversion signal generated by the image sensor 2a.
  • step S11 the horizontal contour of the subject included in the generated color image is extracted.
  • step S12 the background color near the contour is detected.
  • step S13 a hue pattern of pixels near the contour is detected.
  • step S14 the depth of the subject is calculated from the hue pattern of the pixels near the contour.
  • a depth image is generated based on the calculated depth amount. Details of each step will be described below.
  • a color image is generated from the output of the image sensor 2a.
  • the image sensor 2a has an RGB horizontal stripe arrangement. Therefore, RGB signals (color signals) can be directly obtained with 3 pixels in 3 rows and 1 column as one unit, and a color image is generated based on these color signals.
  • RGB signals color signals
  • the horizontal stripe color arrangement shown in FIG. 4 since the horizontal stripe color arrangement shown in FIG. 4 is used, a color image with high resolution in the horizontal direction can be created.
  • the band-shaped color filter 1a is disposed at the center of the light-transmitting plate 1, a part of light is absorbed by the band-shaped color filter 1a and the amount of light is lost, but the other light is lost. Without photoelectric conversion.
  • the color scheme of the band-shaped color filter 1a is not only the primary colors (R, G, B) but also the complementary colors (Ye, Cy, Mg), and therefore, compared to the configuration using only the primary color filters.
  • the light transmittance is high.
  • the image of the subject is not basically colored by the band-shaped color filter 1a. From the above, by sufficiently reducing the size of the band-shaped color filter 1a, it is possible to generate a color image having no problem with image sensitivity and color characteristics.
  • the image processing unit 7 extracts a contour in the horizontal direction of an image (captured image) acquired by imaging.
  • the contour is extracted using the result of the color image generation process. Specifically, first, color components are removed from the color image obtained by the color image generation process described above to create a monochrome image. Next, in the black-and-white image, signal difference processing between two pixels adjacent in the horizontal direction is performed, and if the difference value is equal to or higher than a preset level, the portion is set as the image outline in the horizontal direction.
  • the image processing unit 7 extracts a contour in the horizontal direction by performing such signal difference processing on the entire image.
  • step S12 the background color near the extracted contour is detected.
  • the region in which the color is detected is the left side region of the contour (corresponding to the left imaging region 33 shown in FIG. 5) in the contour in the left half of the image, and the right region of the contour in the contour in the right half of the image ( Corresponding to the right imaging region 34 shown in FIG.
  • the specific area width (the number of pixels in the horizontal direction) of the left area 33 and the right area 34 is set to a width corresponding to the assumed depth range, assuming a depth range of the imaging area in advance. .
  • the color of the right imaging region 34 in FIG. 5 is white
  • the area ratio of the band-like color filter 1a of the light-transmitting plate 1 shown in FIG. 3 to the other transparent region 1b is 1: k.
  • the areas on the image corresponding to the left imaging area 34 and the right imaging area 34 are affected by the band-like color filter 1a, and the color continuously changes in the horizontal direction.
  • light incident on the image sensor 2a from the left end portion of the right imaging region 34 in FIG. 5 is transmitted only through the right end (Mg region) of the band-like color filter 1a, so that the pixel corresponding to the portion is Mg Colored.
  • the portion on the image corresponding to that portion is not colored.
  • FIG. 7 is a diagram schematically showing the signal levels of six pixels in the horizontal direction on the image corresponding to the right imaging region 34. As illustrated in FIG. 7, the signal level increases from the pixel corresponding to the left end of the right imaging region 34 toward the pixel corresponding to the right end.
  • the signals of 7 pixels arranged in the horizontal direction are represented by S (i), S (i + 1), S (i + 2),..., S (i + 6), and the contour is S ( Assume that this is the boundary between i) and S (i + 1).
  • a pixel signal S corresponding to the left end of the right imaging region 34 is displayed.
  • (i + 1) is expressed as Mg + k (1) (R + G + B).
  • the pixel signal S (i + 6) at the right end of the right imaging region 34 is expressed as (Mg + B + Cy + G + Ye + R) + k (6) (R + G + B).
  • S (i + 2) is expressed as (Mg + B) + k (2) (R + G + B).
  • S (i + 3) is expressed as (Mg + B + Cy) + k (3) (R + G + B).
  • S (i + 4) is expressed as (Mg + B + Cy + G) + k (4) (R + G + B).
  • S (i + 5) is expressed as (Mg + B + Cy + G + Ye) + k (5) (R + G + B).
  • the pixel unit is assumed to be 3 pixels of 3 rows and 1 column shown in FIG. 4, and these 3 pixels are collectively considered as 1 pixel.
  • the background color can be determined to be Cy.
  • a database that associates the RGB ratio with the corresponding background color is prepared in advance and recorded in the memory 30.
  • the image processing unit 7 refers to the database, and detects the color in the background region near the contour from the RGB ratio of the pixels near the contour on the image.
  • step S13 a hue pattern in the contour peripheral region is detected. Specifically, after removing the color component signal detected in step S12 from each pixel signal in the peripheral area of the contour, the color component is calculated by performing a difference calculation between the pixels. For example, in the example shown in FIG. 7, since the color of the right imaging region 34 is white, the white component k (j) (R) from each pixel signal S (i + 1), S (i + 2),. + G + B) is removed. Then, the pixel signals S (i + 1) to S (i + 6) in the right imaging region 34 are expressed by the following equations 1 to 6, respectively.
  • step S14 the characteristics of the color pattern around the contour are examined, and the depth corresponding to the characteristics is calculated.
  • the depth means the distance between the subject 31 and the background 32 shown in FIG. If the depth distance is short, the hue pattern is also limited. Conversely, if the depth distance is long, the range of the hue pattern is also widened. That is, there is a correlation between the depth information of the subject 31 and the hue pattern near the contour.
  • data indicating the correlation is prepared in advance and recorded in the memory 30.
  • the image processing unit 7 refers to the correlation data and calculates the depth from the hue pattern in the contour.
  • the distance between the foreground subject 31 and the background 32 is halved with respect to the state in which the hue pattern of the right imaging region 34 is expressed by Equations 1 and 7 to 11, that is, six colors are obtained with six pixels. Then, as shown in FIG. 8, three colors are obtained with three pixels.
  • the image processing unit 7 in the present embodiment obtains depth information using this correlation.
  • the depth information is not absolute distance information but relative information.
  • step S15 the depth information obtained in step S14 is converted into brightness information (monochrome image). Specifically, the image processing unit 7 horizontally scans the captured image and calculates the depth every time a contour is detected. The calculated depth information is cumulatively added to calculate the maximum depth value. The brightness of each pixel is determined using the maximum depth value as the maximum brightness value. For example, when converting to an 8-bit monochrome image, the maximum luminance value is converted to an image of 255.
  • a color image with little light loss can be obtained and a depth image of a subject can be obtained by arranging the translucent plate 1 having the band-shaped color filter 1a in the color imaging system. Is obtained.
  • an excellent effect is obtained that a relative depth between subjects can be calculated by extracting a contour from the obtained color image and examining a coloring hue in the peripheral region of the contour. If relative depth information between subjects can be obtained, it is also possible to obtain subject depth information based on the position of the imaging device by calculation using the information.
  • each filter portion of the band-shaped color filter 1a is configured to transmit only light in a corresponding specific wavelength region and not transmit other light. Further, the transmittances of the R, G, and B filter portions are substantially equal, and the transmittances of the Ye, Cy, and Mg filter portions are approximately twice the transmittances of the R, G, and B filter portions. It was supposed to be. However, the strip-shaped color filter 1a does not have to strictly satisfy these conditions. Ideally, the above conditions should be satisfied, but even if the characteristics of the band-like color filter 1a deviate from the ideal characteristics, the above signal processing has been corrected to compensate for the deviation. If there is no problem.
  • the color arrangement of the band-like color filter 1a in the translucent plate 1 is red (R), yellow (Ye), green (G), cyan (Cy), blue (B), and magenta (Mg).
  • the present invention is not limited to this, and other color arrangements may be used.
  • the types of color arrangement of the band-like color filter 1a are not limited to seven types. However, from the viewpoint of increasing the depth calculation accuracy, it is preferable that there are three or more types of color arrangement. Further, from the viewpoint of obtaining an image having no problem as a color image, it is preferable that the result of adding all the colors of the band-like color filter 1a is white as in the present embodiment. Good. However, if the band-like color filter 1a whose result of adding up all colors is close to white is used, depth information can be calculated without any problem as a color image.
  • the basic color configuration of the color image pickup device 2a is an RGB horizontal stripe arrangement, but the present invention is not limited to this, and other three or more basic color arrangements may be used.
  • the depth calculation accuracy is lower than that of the horizontal stripe arrangement, but there is no problem even if a Bayer arrangement comprising a red element, a blue element, and two green elements is used.
  • the condensing lens 3 and the translucent plate 1 are assumed to be circular, there is no problem in effect even if the condensing lens 3 and the translucent plate 1 have other shapes such as a square shape.
  • the color filter 1a in the translucent plate 1 is formed in a band shape
  • the present invention is not limited to this, and there is no problem even if the color filter is arranged on the entire surface of the translucent plate 1.
  • a filter that changes the hue (transmission wavelength range) in the rotation direction and changes the color intensity (transmittance) in the radial direction such as the Munsell hue ring
  • the depth in all directions as well as the horizontal direction is used. Can be calculated.
  • a filter whose transmission wavelength region or transmittance changes concentrically may be used. In any of these filters, it is preferable that the transmittance characteristics are designed so that the total sum of transmitted light is close to that of white light.
  • the lens 3 may be arranged farther from the imaging element 2a than the translucent plate 1 as long as an image can be formed on the imaging surface 2b.
  • the lens 3 and the translucent plate 1 may be configured integrally.
  • the image processing unit 7 in the present embodiment generates a color image and a depth image at the same time, but may generate only a depth image without generating a color image. Further, only depth information may be generated by the above processing, and a depth image may not be generated. Furthermore, the image processing according to the present embodiment may be executed by another device independent of the imaging device. For example, a computer in which a signal obtained by an imaging apparatus having the imaging unit 100 according to the present embodiment is read by another apparatus (image processing apparatus) and a program for defining the above signal calculation processing is incorporated in the image processing apparatus. The same effect as that of the present embodiment can also be obtained by executing the above.
  • FIG. 9 is a block diagram showing the overall configuration of the imaging apparatus of the present embodiment.
  • the imaging apparatus according to the present embodiment includes a rotation drive unit 40 as a rotation mechanism.
  • the rotation driving unit 40 has a motor for rotating the light transmissive plate 1, and rotates the light transmissive plate 1 based on a command from the element driving unit 6.
  • a specific method for rotating the light transmitting plate 1 can be realized by attaching a belt to the light transmitting plate 1 and rotating the belt with a motor as described in Non-Patent Document 1, for example.
  • the imaging apparatus captures an image once in a state (a) in which the band-shaped color filter 1a of the translucent plate 1 is kept horizontal, and then rotates the translucent plate 1 by 180 degrees (b) ) Take another picture. Difference processing is performed on the two captured images, and different portions are extracted as image data from the difference result. Thereby, areas on the image corresponding to the left imaging area 33 and the right imaging area 34 can be specified.
  • the left imaging region 33 and the right imaging region 34 cannot be clearly specified, but in the present embodiment, these regions can be clearly specified. This is because each pixel corresponding to the left imaging region 33 and the right imaging region 34 changes in signal level for each imaging due to a change in the color arrangement of the band-shaped color filter 1a. Therefore, the left imaging region 33 and the right imaging region 34 can be clearly identified from the difference result between the two images.
  • the processing after specifying the left imaging region 33 and the right imaging region 34 is the same as in the first embodiment. Thus, since the left imaging area 33 and the right imaging area 34 can be clearly identified, the accuracy of depth calculation can be improved.
  • the translucent plate 1 is rotated 180 degrees and imaged twice before and after the rotation, whereby the left imaging area 33 and the right imaging area 34 are obtained from the difference between the two captured images. It can be clearly identified. As a result, the depth calculation accuracy can be further improved.
  • the imaging is performed twice by rotating the translucent plate 1 by 180 degrees by the rotation driving unit 40, but the rotation angle and the number of imaging may be changed.
  • the light transmitting plate 1 may be rotated by 90 degrees, and four pairs of multiple viewpoint images may be generated by performing imaging four times.
  • the arrangement of the band-shaped color filter 1a of the light transmitting plate 1 is the same as that of the first embodiment, but the method of changing the spectral transmittance characteristics of the band-shaped color filter 1a is different.
  • the strip-shaped color filter 1a in the present embodiment is gray in color, that is, does not have wavelength selectivity, and its transmittance periodically changes along the horizontal direction (x direction). Since the color filter 1a is gray, in this embodiment, the depth is calculated using the luminance signal of the color image instead of the RGB pixel signals.
  • omitted a different point from Embodiment 1 is demonstrated and description about a common matter is abbreviate
  • FIG. 11 shows a front view of the translucent plate 1 in the present embodiment.
  • the band-shaped color filter 1a does not have wavelength selectivity, but the transmittance changes like a cos function, and has two locations where the transmittance is high and low.
  • FIG. 12 shows a graph of the transmittance.
  • the horizontal axis represents the coordinate x on the color filter 1a
  • the vertical axis represents the transmittance Tr.
  • Tr (1/2) cosX + 1/2
  • the luminance values of the areas on the image corresponding to the left imaging area 33 and the right imaging area 34 are in the horizontal direction of the transmittance of the band-shaped color filter 1a.
  • FIG. 13A shows a graph of the integral value ⁇ Tr represented by Expression 13.
  • the periodic function of the first term before and after the integration is characterized in that the waveform does not change because the cos function is merely a sin function. Therefore, the image processing unit 7 in the present embodiment removes signals corresponding to the terms of the linear function shown in Expression 13 from the pixel signals corresponding to the left imaging region 33 and the right imaging region 34, and then is arranged in the horizontal direction. Analyze the waveform of the signal of multiple pixels.
  • FIG. 13B shows a graph of a function obtained by removing a linear function term from Tr represented by Expression 13. The image processing unit 7 detects a waveform similar to the periodic function shown in FIG.
  • the image processing unit 7 obtains the depth from the waveform of the periodic function based on the image data by referring to the information.
  • the translucent plate 1 having the band-shaped color filter 1a in which the color of the band-shaped color filter 1a is gray and the transmittance periodically changes along the horizontal direction is used.
  • a waveform of a periodic function appears in the luminance value of the area on the image corresponding to the left imaging area 33 and the right imaging area 34, and the depth can be calculated from the waveform.
  • information related to the depth of the subject is estimated based on the background brightness pattern in the vicinity of the contour.
  • the color of the band-shaped color filter 1a of the translucent plate is gray.
  • the present invention is not limited to this, and any color can be used as long as the transmittance changes periodically. Good.
  • the band-shaped color filter 1a may have wavelength selectivity. Even when the spectral transmittance characteristic pattern of the band-shaped color filter 1a is different from the above, depth information can be obtained by executing signal processing according to the spectral transmittance characteristic pattern.
  • the image sensor 2a may be a monochrome image sensor instead of a color image sensor. Further, in the present embodiment, as in the second embodiment, the contour may be extracted by rotating the light transmitting plate 1.
  • the three-dimensional imaging device is effective for all cameras using a solid-state imaging device.
  • it can be used for consumer cameras such as digital cameras and digital video cameras, and industrial solid-state surveillance cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

　ある実施形態において、３次元撮像装置は、第１の方向に沿って分光透過率特性が変化している透過領域１ａを有する光透過部１と、光透過部１を透過した光を受けるように配置され、受けた光に応じた光電変換信号を出力する撮像素子２ａと、撮像素子２ａから出力された光電変換信号に基づいて生成される画像に含まれる被写体の第１方向における輪郭を抽出し、前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部とを備えている。

Description

３次元撮像装置、光透過部、画像処理装置、およびプログラム
　本願は１つの光学系と１つの撮像素子を用いて視差画像を作る単眼の３次元撮像技術に関する。
　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
　３次元撮像技術に関して、単純な構成をもつ代表的な方式として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。
　例えば、特許文献１には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いた方式が開示されている。図１４は、当該方式による撮像系の構成を示す模式図である。撮像装置は、０度偏光の偏光板１１、９０度偏光の偏光板１２、反射鏡１３、ハーフミラー１４、円形の偏光フィルタ１５、円形の偏光フィルタ１５を回転させる駆動装置１６、光学レンズ３、光学レンズにより結像された像を取得する撮像装置９を備えている。ここで、ハーフミラー１４は、偏光板１１を透過して反射鏡１３で反射された光を反射し、偏光板１２を透過した光を透過させる。以上の構成により、互いに離れた場所に配置された偏光板１１、１２をそれぞれ透過した光は、ハーフミラー１４、円形の偏光フィルタ１５、および光学レンズ３を経由して撮像装置９に入射し、画像が取得される。この方式における撮像の原理は、円形の偏光フィルタ１５を回転させることにより、２枚の偏光板１１、１２のそれぞれに入射した光を別々のタイミングで捉え、視差を有する２つの画像を取得する、というものである。
　しかしながら、上記方式では、円形の偏光フィルタ１５を回転しながら、時間分割によって異なる位置の画像を撮像するため、視差を有する２つの画像を同時に取得できないという課題がある。また、機械的駆動を用いるため、耐久性に問題があり得る。その上、全入射光を偏光板１１、１２および偏光フィルタ１５で受けるため、撮像装置９が受ける光の量（受光量）が５０％以上も低下するという課題もある。
　上記方式に対して、機械的駆動を用いることなく視差のある２つの画像を同時に取得する方式が特許文献２に開示されている。この方式による撮像装置は、２つの入射領域から入射する光を反射鏡によって集光し、２種類の偏光フィルタが交互に配列された撮像素子で受光することにより、機械的駆動部を用いずに視差のある２つの画像を取得する。
　図１５は、この方式における撮像系の構成を示す模式図である。この撮像系は、透過軸の方向が互いに直交する２つの偏光板１１、１２と、反射鏡１３と、光学レンズ３と、撮像素子２とを有する。撮像素子２は、その撮像面に、複数の画素１０と、画素に１対１に対応して配置された偏光フィルタ１７、１８とを備える。偏光フィルタ１７、１８は全画素上に交互に配列されている。ここで、偏光フィルタ１７、１８の透過軸の向きは、それぞれ偏光板１１、１２の透過軸の向きと一致している。
　以上の構成により、入射光は偏光板１１、１２を透過し、反射鏡１３で反射され、光学レンズ３を通り、撮像素子１の撮像面に入射する。偏光板１１、１２をそれぞれ透過して撮像素子１に入射する光は、それぞれ偏光フィルタ１７、１８を透過してそれらに対向する画素で光電変換される。ここで、偏光板１１、１２をそれぞれ通って撮像素子１に入射する光によって形成される画像を、それぞれ右目用画像、左目用画像と呼ぶと、右目用画像、左目用画像は、それぞれ偏光フィルタ１７、１８に対向する画素群から得られる。
　このように、特許文献２に開示された方式では、特許文献１に開示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に透過軸の方向が互いに直交する２種類の偏光フィルタが交互に配置される。これにより、特許文献１の方式に比べて解像度が１／２に低下するが、１つの撮像素子を用いて視差を有する右目用画像と左目用画像とを同時に得ることができる。しかしながら、この技術においても、特許文献１の技術と同様、入射光が偏光板及び偏光フィルタを透過する際に光量が減少するため、撮像素子の受光量は大きく減少する。
　撮像素子の受光量が低下するという問題に対して、視差を有する複数の画像と通常の画像とを１つの撮像素子で取得できる技術が特許文献３に開示されている。この技術によれば、視差を有する２つの画像の取得時と通常画像の取得時とで構成要素の一部が機械的に入れ替わることによって視差を有する２つの画像と通常画像とが１つの撮像素子によって取得される。視差を有する２つの画像を取得する際に光路上に２つの偏光フィルタが配置される点は特許文献２に開示された技術と同じである。一方、通常画像を取得する際には、偏光フィルタは機械的に光路から取り外される。このような機構を取り入れることにより、視差を有する複数の画像と光利用率の高い通常画像とを得ることができる。
　上記の特許文献１～３に開示された方式では、偏光板や偏光フィルタが用いられるが、他のアプローチとして、色フィルタが用いられる方式もある。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する方式が特許文献４に開示されている。図１６は、特許文献４に開示された撮像系を模式的に示す図である。撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。
　以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルムに結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム上にはこれらの２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献４に開示された技術によれば、２つの色フィルタを使って複数視点画像を作ることができる。
　特許文献４に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献５に開示されている。図１７は、この技術における光束制限版を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限版２２が用いられる。これらの領域を透過した光を赤用のＲ画素、緑用のＧ画素、青用のＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。
　また、特許文献６にも、特許文献５と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１８は、特許文献６に開示された光束制限板を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差のある画像を作ることができる。
　特許文献７も同様に、光軸に対して対称的に配置された、互いに色の異なる一対のフィルタを用いて視差を有する複数の画像を生成する技術を開示している。一対のフィルタとして赤色のフィルタおよび青色のフィルタを利用することにより、赤色光を検知するＲ画素は赤フィルタを透過した光を観測し、青色光を検知するＢ画素は青フィルタを透過した光を観測する。赤フィルタと青フィルタとは位置が異なるため、Ｒ画素が受ける光の入射方向とＢ画素が受ける光の入射方向とは互いに異なる。その結果、Ｒ画素で観測される画像とＢ画素で観測される画像とは、互いに視点の異なる画像となる。これらの画像から画素ごとに対応点を求めることにより、視差量が算出される。算出された視差量とカメラの焦点距離情報とから、カメラから被写体までの距離が求められる。
　特許文献８は、口径サイズが互いに異なる２枚の色フィルタ（例えば、赤と青）が取り付けられた絞り、または色の異なる２枚の色フィルタが光軸に対して左右対称の位置に取り付けられた絞りを用いて取得した２つの画像から被写体の距離情報を求める技術を開示している。この技術では、口径サイズが互いに異なる赤および青の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測されるボケの程度が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、被写体の距離によってボケの程度が異なる画像となる。これらの画像から対応点を求め、ボケの程度を比較することにより、カメラから被写体までの距離情報が得られる。一方、光軸に対して左右対称の位置に取り付けられた色の異なる２枚の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測される入射光の方向が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、視差を有する画像となる。これらの画像から対応点を求め、対応点間の距離を求めることにより、カメラから被写体までの距離情報が得られる。
　上記の特許文献４～８に示された技術によれば、光束制限板にＲＧＢの色フィルタを配置することによって視差のある画像を生成することができる。しかしながら、光束制限板を用いるため、入射光量が減少する。また、視差の効果を高めるにはＲＧＢの色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、そのようにすると入射光量はさらに減少する。
　以上の技術に対して、ＲＧＢの色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献９に開示されている。この技術では、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけが受光され、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外されるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では視差のある画像を取得し、絞りを開いた状態では光利用率の高い通常画像を得ることができる。
特開昭６２－２９１２９２号公報 特開昭６２－２１７７９０号公報 特開２００１－０１６６１１号公報 特開平２－１７１７３７号公報 特開２００２－３４４９９９号公報 特開２００９－２７６２９４号公報 特開２０１０－３８７８８号公報 特開２０１０―７９２９８号公報 特開２００３－１３４５３３号公報
森上雄太、高木健、石井抱：視点変換アイリスによる実時間単眼ステレオシステム、第２７回日本ロボット学会学術講演会講演論文集、３Ｒ２－０６、２００９．
　従来技術によれば、複数視点画像を生成することはできるが、偏光板あるいは色フィルタが用いられるため、撮像素子に入射する光の量が減少する。入射光量を確保するためには、偏光部分あるいは色フィルタ領域を光路上から外す機構が必要であり、従来技術ではそのような機構を用いずに複数視点画像と光利用率の高い画像とを同時に得ることができない。
　また、従来技術では、得られた複数視点画像から奥行き情報を推定する場合、通常、各々の画像において特徴部分を抽出し、特徴部分の間の照合を行うことによって奥行き情報が推定される。あるいは、特許文献６で説明されているように、ＲＧＢ色空間における線形色モデルに基づいて画素ずれを算出することにより、奥行き情報が推定される。
　本発明の実施形態は、従来の奥行き情報を推定する方法を用いることなく、光利用率の高い画像と奥行き情報とを同時に取得し得る撮像技術を提供する。
　上記課題を解決するために、本発明の一態様に係る３次元撮像装置は、第１の方向に沿って分光透過率特性が変化している透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置され、受けた光に応じた光電変換信号を出力する撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部とを備えている。
　上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
　本発明の実施形態に係る３次元撮像装置によれば、被写体の奥行きに関する情報を、画像上の明るさまたは色の情報に変換できるため、奥行き情報の算出が可能となる。また、ある実施形態によれば、光透過部の透過領域以外の領域の透過率を大きくすることにより、奥行き情報と高感度画像とを同時に取得できる。
例示的な実施形態１における撮像装置の全体構成を示すブロック図である。 例示的な実施形態１における透光板、光学レンズ、および撮像素子の概略構成を示す模式図である。 例示的な実施形態１における透光板の正面図である。 例示的な実施形態１における固体撮像素子の撮像部の基本色構成図である。 例示的な実施形態１における撮影状況を模式的に示す図である。 例示的な実施形態１における画像処理の流れを示すフロー図である。 例示的な実施形態１における右撮像領域の画素信号を示す図である。 例示的な実施形態１における右撮像領域の画素信号を示す図である（前景被写体と背景との距離が1/2の場合）。 例示的な実施形態２における撮像装置の全体構成を示すブロック図である。 例示的な実施形態２における透光板の回転動作を示す図である。 例示的な実施形態２における透光板の正面図である。 例示的な実施形態２における帯状色フィルタの透過特性図である。 （ａ）は、例示的な実施形態３における信号ΣＴｒの水平距離Ｘに対する変化を示す図であり、（ｂ）は、例示的な実施形態３における信号ΣＴｒ－（１／２）Ｘの水平距離Ｘに対する変化を示す図である。 特許文献１における撮像系の構成図である。 特許文献２における撮像系の構成図である。 特許文献４における撮像系の構成図である。 特許文献５における光束制限板の外観図である。 特許文献６における光束制限板の外観図である。
　本発明の例示的な実施形態の概要は以下のとおりである。
　（１）本発明の一態様に係る３次元撮像装置は、第１の方向に沿って分光透過率特性が変化している透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置され、受けた光に応じた光電変換信号を出力する撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部とを備えている。
　（２）ある態様において、前記透過領域は、前記第１の方向に沿って、透過波長域が３種類以上に変化している。
　（３）項目（１）または（２）に記載の３次元撮像装置のある態様において、記透過領域は、無彩色光が前記透過領域を透過したとき、透過光の総和が無彩色光になるように設計されている。
　（４）項目（１）から（３）のいずれかに記載の３次元撮像装置は、ある態様において、光軸に対して垂直な平面上で、前記透過領域を回転させる回転駆動部を有し、前記画像処理部は、異なる回転状態で取得された複数の画像を比較することにより、前記被写体の輪郭を抽出する。
　（５）項目（１）から（４）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、前記透過領域が第１の状態にあるときに取得された第１の画像と、前記透過領域が前記第１の状態から１８０度回転した第２の状態にあるときに取得された第２の画像との差分に基づいて前記被写体の輪郭を抽出する。
　（６）項目（１）から（５）のいずれかに記載の３次元撮像装置のある態様において、前記透過領域の分光透過率特性は、前記第１の方向に沿って連続かつ周期的に変化している。
　（７）項目（１）から（６）のいずれかに記載の３次元撮像装置のある態様において、前記透過領域は、前記第１の方向に沿って配列された、青、シアン、緑、黄、赤、マゼンタの波長域の光をそれぞれ透過させる６種類の領域を有している。
　（８）項目（１）から（７）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、予め設定された、前記被写体の奥行きと前記輪郭の周辺画素における明度または色相のパターンとの関係を示す情報に基づいて、前記被写体の奥行きを推定する。
　（９）項目（１）から（８）のいずれかに記載の３次元撮像装置のある態様において、前記光透過部における前記透過領域以外の部分は透明である。
　（１０）項目（１）から（９）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、推定した前記奥行きを示す情報に基づいて、前記奥行きの量を画素値とする奥行き画像を生成する。
　（１１）項目（１）から（１０）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、前記撮像素子から出力された前記光電変換信号に基づいて、カラー画像を生成する。
　（１２）本発明の一態様に係る光透過部は、項目（１）から（１１）のいずれかに記載の３次元撮像装置に利用され得る。
　（１３）本発明の一態様に係る画像処理装置は、項目（１）から（１１）のいずれかに記載の３次元撮像装置に利用され得る。画像処理装置は、前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部を備えている。
　（１４）本発明の一態様に係る画像処理プログラムは、項目（１）から（１１）のいずれかに記載の３次元撮像装置に利用され得る。当該プログラムは、コンピュータに対し、前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定するステップを実行させる。
　以下、添付の図面を参照しながら、本発明の実施形態をより具体的に説明する。以下の説明において、全ての図にわたって共通または対応する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。
　（実施形態１）
　まず、本発明の第１の実施形態による３次元撮像装置（以下、単に「撮像装置」と呼ぶ。）を説明する。図１は、本実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。
　撮像部１００は、撮像面上に配列された複数の光感知セル（画素）を備えるカラー固体撮像素子２ａ（以下、単に「撮像素子」と呼ぶ。）と、特定の方向に沿って分光透過率特性が変化している帯状色フィルタが配置された入射光を透過させる透光板（光透過部）１と、カラー固体撮像素子２ａの撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、カラー固体撮像素子２ａを駆動するための基本信号を発生するとともにカラー固体撮像素子２ａからの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいてカラー固体撮像素子２ａを駆動する素子駆動部６とを備えている。カラー固体撮像素子２ａは、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。なお、本明細書において「分光透過率特性」とは、可視光の波長域における透過率の波長依存性を意味するものとする。
　信号処理部２００は、撮像部１００から出力された信号を処理してカラー画像および被写体の奥行き情報を生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号および奥行き情報を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。画像処理部７は、カラー画像を生成すると共に、画像に含まれる輪郭（エッジ）を抽出し、輪郭近傍の色情報から奥行き情報を算出する。画像処理部７はまた、奥行き情報を輝度信号に変換し、奥行きの分布を示す白黒画像を生成する。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
　なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。
　次に、図２～４を参照しながら撮像部１００の構成をより詳細に説明する。以下の説明において、図中に示すｘｙ座標を用いる。
　図２は、撮像部１００における透光板１、レンズ３、および撮像素子２ａの配置関係を模式的に示す図である。図２では、透光板１、レンズ３、および撮像素子２ａ以外の構成要素は省略されている。レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。透光板１は、水平方向に沿って分光透過率特性が変化している帯状色フィルタ（透過領域）１ａを有し、入射光を透過させる。レンズ３は、公知のレンズであり、透光板１を透過した光を集光し、撮像素子２ａの撮像面２ｂに結像する。なお、本明細書において、「水平方向」とは、参照される図面に示すｘ方向を意味し、必ずしも地表面に対して平行な方向と一致している必要はない。
　図３は、本実施形態における透光板１の正面図である。本実施形態における透光板１の形状は、レンズ３と同様、円形である。透光板１は、その中央部分に帯状色フィルタ１ａを有し、その他の領域１ｂは透明である。この帯状色フィルタ１ａは、図面左から右にかけて、赤(R)、黄(Ye)、緑(G)、シアン(Cy)、青(B)、マゼンタ(Mg)と透過波長域が徐々に変化し、全色を合算した結果が白になることが特徴である。これにより、無彩色の光（白色光）が帯状色フィルタ１ａを透過したとき、透過した部分によって波長は異なるが、全体として透過光の総和は無彩色の光になる。本実施形態では、Ｒ、Ｇ、Ｂの各フィルタ部分の透過率はほぼ等しく、Ｙｅ、Ｃｙ、Ｍｇの各フィルタ部分の透過率は、Ｒ、Ｇ、Ｂの各フィルタ部分の透過率の約２倍であるものとする。
　図４は、撮像素子２ａの撮像面２ｂに行列状に配列された複数の光感知セル５０の一部を示している。各光感知セル５０は、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶ。）を出力する。各光感知セル５０に対向して光入射側に色フィルタが配置されている。図４に示すように、本実施形態における色フィルタ配列は、３行１列を基本構成とする水平ストライプ配列であり、１行目が赤要素（Ｒ）、２行目が緑要素（Ｇ）、３行目が青要素（Ｂ）である。各要素の色フィルタは、公知の顔料などを用いて作製される。赤要素の色フィルタは赤の波長域の光を、緑要素の色フィルタは緑の波長域の光を、青要素の色フィルタは青の波長域の光を選択的に透過させる。
　以上の構成により、露光中に撮像装置に入射する光は、透光板１、レンズ３、赤外カットフィルタ４を通して撮像素子２ａの撮像面２ｂに結像され、各光感知セル５０によって光電変換される。各光感知セル５０によって出力された光電変換信号は、信号発生／受信部５を介して信号処理部２００に送出される。信号処理部２００における画像処理部７は、送られてきた信号に基づいて画像のカラー化および奥行き情報の算出を行う。奥行き情報は、その奥行きの量に応じて輝度信号に変換され、白黒画像として出力される。
　次に、本実施形態における撮像動作および画像処理を説明する。
　図５は、透光板１を介して背景３２および前景被写体３１を撮像するときの状況を模式的に表す図である。図示される状況下で撮像を行うとき、撮像素子２ａは、前景被写体３１および背景３２で反射された光による光電変換信号を出力する。光電変換信号は、撮像素子２ａから信号発生／受信部５を介して画像処理部７に送られる。画像処理部７では送られた光電変換信号を用いて以下の２つの処理を行い、それぞれの処理結果として２つの画像を出力する。１つ目の処理として、所定のカラー化処理が行われ、カラー画像が生成される。２つ目の処理として、画像の輪郭抽出、輪郭近傍の水平方向における着色に基づく奥行き推定、および奥行きの量を画像の輝度値とする白黒画像（以下、「奥行き画像」と呼ぶ。）の生成が行われる。以下、カラー画像生成および奥行き画像生成の処理をより具体的に説明する。
　図６は、本実施形態における画像生成処理の流れを示すフロー図である。画像処理部７は、まずステップＳ１０において、撮像素子２ａによって生成された光電変換信号に基づいてカラー画像を生成する。ステップＳ１１において、生成したカラー画像に含まれる被写体の水平方向の輪郭を抽出する。ステップＳ１２において、輪郭近傍の背景の色を検出する。ステップＳ１３において、輪郭近傍の画素の色相のパターンを検出する。ステップＳ１４において、輪郭近傍の画素の色相のパターンから被写体の奥行きを算出する。ステップＳ１５において、算出した奥行きの量に基づいて奥行き画像を生成する。以下、各ステップの詳細を説明する。
　まず、ステップＳ１０において、撮像素子２ａの出力からカラー画像が生成される。本実施形態では、撮像素子２ａは、ＲＧＢの水平ストライプ配列を有している。したがって、３行１列の３画素を１単位として直接ＲＧＢ信号（カラー信号）を得ることができ、これらのカラー信号に基づいてカラー画像が生成される。特に本実施形態では、図４に示す水平ストライプ状の色配置が用いられるため、水平方向に高解像なカラー画像を作ることができる。本実施形態では、透光板１の中央に帯状色フィルタ１ａが配置されているため、当該帯状色フィルタ１ａで光の一部が吸収され、光量は損失するが、それ以外の光は損失することなく光電変換される。また、本実施形態では、帯状色フィルタ１ａの配色は原色（Ｒ、Ｇ、Ｂ）だけでなく、補色（Ｙｅ、Ｃｙ、Ｍｇ）も加えた構成であるため、原色フィルタのみを用いる構成に比べ、光透過率は高い。その上、当該帯状色フィルタ１ａを透過する光の総和は白色であるため、基本的に帯状色フィルタ１ａによって被写体の画像が着色されることはない。以上のことから、帯状色フィルタ１ａのサイズを十分小さくすることにより、画像の感度および色特性として問題ないカラー画像を生成することができる。
　ステップＳ１１では、画像処理部７は、撮像によって取得した画像（撮像画像）の水平方向における輪郭を抽出する。画像の輪郭抽出には幾つかの方法があり、いずれの方法を適用してもよい。本実施形態では、上記カラー画像生成処理の結果を利用して輪郭を抽出することとする。具体的には、まず、上記のカラー画像生成処理によって得られたカラー画像から色成分を除去し、白黒画像を作る。次に当該白黒画像において、水平方向に隣接する２画素間の信号差分処理を行い、差分値が予め設定されたレベル以上であれば、当該箇所を水平方向における画像の輪郭とする。画像処理部７は、画像全体について、このような信号差分処理を行うことにより、水平方向についての輪郭を抽出する。
　ステップＳ１２では、抽出された輪郭の近傍の背景の色が検出される。色が検出される領域は、画像の左半分における輪郭では、当該輪郭の左側領域（図５に示す左撮像領域３３に対応）であり、画像の右半分における輪郭では、当該輪郭の右側領域（図５に示す右撮像領域３４に対応）である。但し、左側領域３３および右側領域３４の具体的な領域幅（水平方向の画素数）は、撮影領域の奥行きの範囲を予め想定し、その想定された奥行きの範囲に相当する幅に設定される。
　例えば、図５の右撮像領域３４の色が白で、図３に示す透光板１の帯状色フィルタ１ａとその他の透明領域１ｂとの面積比を１：ｋであるとする。左撮像領域３４および右撮像領域３４に相当する画像上の領域は、帯状色フィルタ１ａの影響を受け、水平方向に連続的に色が変化することになる。例えば、図５の右撮像領域３４のうち図の左端の部分から撮像素子２ａに入射する光は、帯状色フィルタ１ａの右端（Ｍｇ領域）のみを透過するため、当該部分に相当する画素はＭｇに着色される。一方、右撮像領域３４のうち図の右端の部分からは帯状色フィルタ１ａの全体を透過した光束が撮像素子２ａに入射するため、当該部分に相当する画像上の箇所は着色されない。
　図７は、右撮像領域３４に相当する画像上の水平方向の６画素の信号レベルを模式的に示す図である。図７に示すように、右撮像領域３４の左端に相当する画素から右端に相当する画素に向けて信号レベルが増加する。図７では、水平方向に並ぶ７画素の信号を、S(i)、S(i+1)、S(i+2)、・・・、S(i+6)で表し、輪郭はS(i)とS(i+1)の境であるものとする。また、各画素信号におけるＷ(=R+G+B)成分をk(j)と表し、ｊ＝１～６、k(6)=ｋとする。これらの信号に含まれる各色成分の強度を示す信号を、当該色成分を表す記号（Ｍｇ、Ｂ、Ｃｙ、Ｇ、Ｙｅ、Ｒ）で表すと、右撮像領域３４の左端に対応する画素信号S(i+1)は、Mg+k(1)(R+G+B)と表される。右撮像領域３４の右端の画素信号S(i+6)は、(Mg+B+Cy+G+Ye+R)+k(6)(R+G+B)と表される。その他の画素信号についても同様に、S(i+2)は、(Mg+B)+k(2)(R+G+B)と表される。S(i+3)は、(Mg+B+Cy)+k(3)(R+G+B)と表される。S(i+4)は、(Mg+B+Cy+G)+k(4)(R+G+B) と表される。S(i+5)は、(Mg+B+Cy+G+Ye)+k(5)(R+G+B)と表される。但し、ここでは画素単位を図４に示す３行１列の３画素とし、それらの３画素をまとめて１画素と考える。
　結局、右撮像領域３４全体では、画素信号の総和は、9R+9G+15B+Σk(j)(R+G+B)と表され、ＲＧＢの信号比率はＲ：Ｇ：Ｂ＝(9+Σk(j))：(9+Σk(j))：(15+Σk(j))となる。k(j)はレンズ形状によって決まる既知の数であるので、このＲＧＢ比を求めることができる。ＲＧＢ比は、輪郭近傍の背景の色によって異なるため、ＲＧＢ比を求めれば、背景の色を特定することができる。例えば、ＲＧＢ比が、Ｒ：Ｇ：Ｂ＝０：(9+Σk(j))：(15+Σk(j))に近い場合、背景色はＣｙであると判定できる。本実施形態では、ＲＧＢ比と対応する背景色とを関連付けるデータベースが予め用意され、メモリ３０に記録されている。画像処理部７は、当該データベースを参照することにより、画像上の輪郭近傍の画素のＲＧＢ比から、当該輪郭近傍の背景領域における色を検出する。
　ステップＳ１３では、輪郭周辺領域における色相のパターンが検出される。具体的には、輪郭周辺領域の各画素信号から、ステップＳ１２で検出した色成分の信号を除去した後、画素間で差分演算を行うことによって色成分を算出する。例えば、図７に示す例では、右撮像領域３４の色が白であるため、各画素信号S(i+1)、S(i+2)、・・・から白成分k(j)(R+G+B)が除去される。そうすると、右撮像領域３４における画素信号S(i+1)～S(i+6)は、それぞれ以下の式１～式６で表される。
　（式１）S(i+1)＝Mg
　（式２）S(i+2)＝Mg＋B
　（式３）S(i+3)＝Mg＋B＋Cy
　（式４）S(i+4)＝Mg＋B＋Cy＋G
　（式５）S(i+5)＝Mg＋B＋Cy＋G＋Ye
　（式６）S(i+6)＝Mg＋B＋Cy＋G＋Ye＋R
　さらに、各画素信号間の差分演算を行うと、以下の式７～式１１が得られる。但し、式７～式１１において、画素差分信号ＤjkはＤjk＝S(i+k)－S(i+j)とする。
　（式７）Ｄ12＝S(i+2)－S(i+1)＝B
　（式８）Ｄ23＝S(i+3)－S(i+2)＝Cy
　（式９）Ｄ34＝S(i+4)－S(i+3)＝G
　（式１０）Ｄ45＝S(i+5)－S(i+4)＝Ye
　（式１１）Ｄ56＝S(i+6)－S(i+5)＝R
　これらの演算の結果、Ｄ12～Ｄ56とS(i+1)とを組み合わせることにより、光源が白色の場合の帯状色フィルタ１ａの色に対応する信号Mg～Rが算出されることになる。このことは、右画像領域３４や左画像領域３３のような輪郭周辺領域の色を光源色として帯状色フィルタの透過色を算出することと同じであると言える。
　ステップＳ１４では、輪郭周辺における色模様の特性を調べ、その特性に応じた奥行きを算出する。ここで、奥行きとは、図５に示す被写体３１と背景３２との距離を意味するものとする。もし奥行き距離が短ければ、色相のパターンも限られたものになる。逆に、もし奥行き距離が長ければ、色相のパターンの範囲も広がる。すなわち、被写体３１の奥行き情報と当該輪郭近傍における色相のパターンには相関関係がある。本実施形態では、その相関関係を示すデータが予め用意され、メモリ３０に記録されている。画像処理部７は、その相関データを参照し、輪郭における色相のパターンから奥行きを算出する。
　例えば、右撮像領域３４の色相のパターンが式１および式７～１１で示される状態、すなわち６画素で６色が得られる状態に対し、前景被写体３１と背景３２との距離が1/2になると、図８に示すように、３画素で３色が得られる状態になる。このように、得られる色相のパターンと、前景被写体３１から背景３２までの距離との間には相関関係があることがわかる。本実施形態における画像処理部７は、この相関関係を利用して奥行き情報を得る。但し、上記のように、奥行き情報は絶対的な距離情報ではなく、相対的な情報である。
　ステップＳ１５では、ステップＳ１４で求められた奥行き情報を明るさの情報（白黒画像）に変換する。具体的には、画像処理部７は、撮像画像を水平走査し、輪郭が検出されるごとに奥行きを算出する。算出した奥行き情報は累積加算され、最大奥行き値が算出される。その最大奥行き値を明るさの最大値として、各画素の明るさが決定される。例えば、８ビットの白黒画像に変換する場合、最大輝度値が２５５の画像に変換される。
　以上のように、本実施形態の撮像装置によれば、カラー撮像系に帯状色フィルタ１ａを有する透光板１を配置することにより、光損失の少ないカラー画像が得られると共に、被写体の奥行き画像が得られる。本実施形態では、得られたカラー画像から輪郭を抽出し、当該輪郭周辺領域における着色の色相を調べることにより、被写体間の相対的な奥行きを算出できるという優れた効果を奏する。また、被写体間の相対的な奥行き情報が得られれば、それらを用いた演算により、撮像装置の位置を基準とする被写体の奥行き情報を得ることも可能となる。
　なお、上記の説明では、帯状色フィルタ１ａの各フィルタ部分は、対応する特定の波長域の光のみを透過させ、それ以外の光を透過させないように構成されているものとした。また、Ｒ、Ｇ、Ｂの各フィルタ部分の透過率はほぼ等しく、Ｙｅ、Ｃｙ、Ｍｇの各フィルタ部分の透過率は、Ｒ、Ｇ、Ｂの各フィルタ部分の透過率の概ね２倍であるものとした。しかしながら、帯状色フィルタ１ａは、厳密にこれらの条件を満足している必要はない。上記の条件を満足していることが理想であるが、帯状色フィルタ１ａの特性が理想的な特性からずれていたとしても、そのずれを補償するように上記の信号処理に補正が加えられていれば問題はない。
　また、本実施形態では、透光板１における帯状色フィルタ１ａの色配置を赤(R)、黄(Ye)、緑(G)、シアン(Cy)、青(B)、マゼンタ(Mg)としたが、これに限定されるものではなく、他の色配置でもよい。さらに、帯状色フィルタ１ａの色配置の種類は７種類に限られない。ただし、奥行き算出精度を高める観点から、色配置の種類は３種類以上であることが好ましい。また、カラー画像として問題のない画像を取得する観点から、本実施形態のように、帯状色フィルタ１ａの全色を合算した結果が白になることが好ましいが、厳密に白にならなくてもよい。ただし、全色を合算した結果が白に近い帯状色フィルタ１ａを用いれば、カラー画像として問題なく、かつ奥行き情報を算出できる。
　また、本実施形態では、カラー撮像素子２ａの基本色構成をＲＧＢの水平ストライプ配列としたが、これに限定するものではなく、その他の３色以上の基本色配置を用いてもよい。例えば、奥行き算出精度は水平ストライプ配列よりも低下するが、赤要素、青要素と２つの緑要素からなるBayer配列を用いても問題はない。その他、集光レンズ３および透光板１は円形であるものとしたが、四角形状等の他の形状であっても効果には何ら問題はない。また、透光板１における色フィルタ１ａは帯状としたが、これに限定するものではなく、透光板１の全面に配色されたものであっても問題はない。例えば、マンセル色相環のように回転方向に色相（透過波長域）が変化し、半径方向に色の濃さ（透過率）が変化するフィルタを用いた場合、水平方向だけでなくあらゆる方向の奥行きを算出でき得る。あるいは、同心円状に透過波長域または透過率が変化するフィルタを用いてもよい。これらのどのフィルタについても、透過光の総和が白色光に近くなるように、透過率特性が設計されていることが好ましい。
　なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面２ｂに像を形成できれば透光板１よりも撮像素子２ａから離れて配置されていてもよい。また、レンズ３と透光板１とが一体となって構成されていてもよい。
　本実施形態における画像処理部７は、カラー画像と奥行き画像とを同時に生成するが、カラー画像を生成せずに、奥行き画像だけを生成してもよい。また、上記の処理によって奥行き情報のみを生成し、奥行き画像を生成しないように構成されていてもよい。さらに、本実施形態による画像処理を、撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に読み込ませ、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても本実施形態と同様の効果を得ることができる。
　（実施形態２）
　次に、本発明の第２の実施形態を説明する。本実施形態では、透光板１に回転機構を組み込み、当該回転機構が、光軸に対して垂直な面上で透光板１を回転させることにより、連続で２回の撮像が行われる。その他の構成は実施形態１と同じであるため、重複する事項についての説明は省略する。
　図９は、本実施形態の撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、回転機構として、回転駆動部４０を備えている。回転駆動部４０は、透光板１を回転させるためのモータを有し、素子駆動部６からの指令に基づいて透光板１を回転させる。透光板１の回転の具体的方法としては、例えば非特許文献１に記載されているように、透光板１にベルトを付け、モータでベルトを回転させることによって実現できる。
　以下、本実施形態における撮像動作を説明する。撮像装置は、図１０に示すように、透光板１の帯状色フィルタ１ａを水平に保った状態（ａ）で１度撮像し、続いて透光板１を１８０度回転させた状態（ｂ）でもう１度撮像する。撮像された２つの画像は差分処理が施され、その差分結果から、画像データとして異なる部分が抽出される。これにより、左撮像領域３３および右撮像領域３４に相当する画像上の領域を特定することができる。
　上記の実施形態１では、左撮像領域３３および右撮像領域３４を明確に特定することができないが、本実施形態では、それらの領域を明確に特定することができる。なぜなら、左撮像領域３３および右撮像領域３４に対応する各画素は、帯状色フィルタ１ａの色配置の変化によって撮像ごとに信号レベルが変わるためである。したがって、両画像の差分結果から、左撮像領域３３と右撮像領域３４とを明確に特定することができる。左撮像領域３３および右撮像領域３４を特定した後の処理は実施形態１と同じである。このように、左撮像領域３３と右撮像領域３４とが明確に特定できるため、奥行き算出の精度を向上でき得る。
　以上のように、本実施形態によれば、透光板１を１８０度回転させ、回転前後で２回撮像することにより、２つの撮像画像の差分から左撮像領域３３と右撮像領域３４とを明確に特定することができる。その結果、奥行き算出の精度をさらに向上できるという効果を奏する。
　なお、本実施形態では、回転駆動部４０によって透光板１を１８０度回転させることによって２回の撮像が行われるが、回転角と撮像回数を変えてもよい。例えば、透光板１を９０度ずつ回転させ、４回撮像を行うことにより、上下左右の２対の複数視点画像を生成してもよい。
　（実施形態３）
　次に本発明の第３の実施形態を説明する。本実施形態では、透光板１の帯状色フィルタ１ａの配置は実施形態１と同じであるが、帯状色フィルタ１ａの分光透過率特性の変化の仕方が異なっている。本実施形態における帯状色フィルタ１ａは、色が灰色、即ち、波長選択性を有しておらず、その透過率が水平方向（ｘ方向）に沿って周期的に変化している。色フィルタ１ａが灰色なので、本実施形態では、ＲＧＢの各画素信号ではなく、カラー画像の輝度信号を用いて奥行きが算出される。以下、実施形態１と異なる点を説明し、共通する事項についての説明は省略する。
　図１１に本実施形態における透光板１の正面図を示す。本実施形態では、帯状色フィルタ１ａは、波長選択性を有していないが、透過率がcos関数のように変化し、透過率の高い箇所と低い箇所とをそれぞれ２箇所有している。図１２にその透過率のグラフを示す。図１２において、横軸は色フィルタ１ａ上の座標ｘを表し、縦軸は透過率Ｔｒを表す。この透過率Trを式を用いて表現すると以下の式１２のように表される。
　（式１２）Tr＝(1/2)cosＸ+1/2
　このような透過率分布を有する帯状色フィルタ１ａを用いた場合、左撮像領域３３および右撮像領域３４に対応する画像上の領域の輝度値は、帯状色フィルタ１ａの透過率の水平方向についての積分で表される。本実施形態では、光透過率Trが式１２で表される周期関数なので、それを積分した値ΣTrは、以下の式１３に示すように、周期関数の項と１次関数の項との和で表される。
　（式１３）ΣTr＝(1/2)sinX+(1/2)Ｘ
　図１３（ａ）に、式１３で表される積分値ΣTrのグラフを示す。積分前後の第１項の周期関数はcos関数がsin関数になるだけなので、波形としては変化しないという特徴がある。そこで、本実施形態における画像処理部７は、左撮像領域３３および右撮像領域３４に相当する画素信号から式１３に示す１次関数の項に相当する信号を除去した後、水平方向に配列された複数画素の信号の波形を解析する。図１３（ｂ）は、式１３で表されるＴｒから１次関数の項を除去した関数のグラフを示している。画像処理部７は、左撮像領域３３および右撮像領域３４に相当する複数画素の画素信号から、図１３（ｂ）に示す周期関数と同様の波形を検出し、当該波形を解析することにより、奥行きを計測する。具体的には、予め奥行きと当該周期関数の波形（例えば波長）との関係を示す情報が予め用意され、メモリ３０等に記録される。画像処理部７は、当該情報を参照することにより、画像データに基づく周期関数の波形から奥行きを求める。
　以上のように、本実施形態によれば、帯状色フィルタ１ａの色が灰色でその透過率が水平方向に沿って周期的に変化している帯状色フィルタ１ａを有する透光板１が用いられる。このような構成により、左撮像領域３３および右撮像領域３４に相当する画像上の領域の輝度値に周期関数の波形が現れ、当該波形から奥行きを算出できるという効果を奏する。このように、本実施形態では、輪郭近傍における背景の明度のパターンに基づいて被写体の奥行きに関する情報が推定される。
　なお、本実施形態では、透光板の帯状色フィルタ１ａの色を灰色としたが、これに限定するものではなく、透過率が周期的に変化するものであれば、いかなる色であってもよい。また、各画素の輝度信号に基づいて奥行き情報が推定されるため、帯状色フィルタ１ａに波長選択性があってもよい。帯状色フィルタ１ａの分光透過率特性のパターンが上記とは異なる場合であっても、その分光透過率特性のパターンに応じた信号処理を実行することにより、奥行き情報を得ることができる。
　また、本実施形態では、奥行き情報の算出には輝度信号が用いられるため、撮像素子２ａは、カラー撮像素子でなく、白黒撮像素子であってもよい。さらに、本実施形態においても、実施形態２と同様、透光板１を回転させることによって輪郭を抽出してもよい。
　本発明の実施形態にかかる３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラ等に利用できる。
　１　透光板
　１ａ　帯状色フィルタ
　１ｂ　透明部
　２　固体撮像素子
　２ａ　カラー固体撮像素子
　２ｂ　撮像面
　３　光学レンズ
　４　赤外カットフィルタ
　５　信号発生／受信部
　６　素子駆動部
　７　画像処理部
　８　画像インターフェース部
　９　撮像装置
　１０　画素
　１１　０度偏光の偏光板
　１２　９０度偏光の偏光板
　１３　反射鏡
　１４　ハーフミラー
　１５　円形の偏光フィルタ
　１６　偏光フィルタを回転させる駆動装置
　１７、１８　偏光フィルタ
　１９　レンズ絞り
　２０、２２、２３　光束制限板
　２０ａ　赤系統の光を透過させる色フィルタ
　２０ｂ　青系統の光を透過させる色フィルタ
　２１　感光フィルム
　２２Ｒ、２３Ｒ　光束制限板のＲ光透過領域
　２２Ｇ、２３Ｇ　光束制限板のＧ光透過領域
　２２Ｂ、２３Ｂ　光束制限板のＢ光透過領域
　３０　メモリ
　３１　前景被写体
　３２　背景
　３３　左撮像領域
　３４　右撮像領域
　４０　回転駆動部
　５０　画素

Claims (14)

  1. 　第１の方向に沿って分光透過率特性が変化している透過領域を有する光透過部と、
    　前記光透過部を透過した光を受けるように配置され、受けた光に応じた光電変換信号を出力する撮像素子と、
    　前記撮像素子の撮像面に像を形成する結像部と、
    　前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部と、
    を備えている、３次元撮像装置。
  2. 　前記透過領域は、前記第１の方向に沿って、透過波長域が３種類以上に変化している、請求項１に記載の３次元撮像装置。
  3. 　前記透過領域は、無彩色光が前記透過領域を透過したとき、透過光の総和が無彩色光になるように設計されている、請求項１または２に記載の３次元撮像装置。
  4. 　光軸に対して垂直な平面上で、前記透過領域を回転させる回転駆動部を有し、
    　前記画像処理部は、異なる回転状態で取得された複数の画像を比較することにより、前記被写体の輪郭を抽出する、請求項１から３のいずれかに記載の３次元撮像装置。
  5. 　前記画像処理部は、前記透過領域が第１の状態にあるときに取得された第１の画像と、前記透過領域が前記第１の状態から１８０度回転した第２の状態にあるときに取得された第２の画像との差分に基づいて前記被写体の輪郭を抽出する、請求項４に記載の３次元撮像装置。
  6. 　前記透過領域の分光透過率特性は、前記第１の方向に沿って連続かつ周期的に変化している、請求項１から５のいずれかに記載の３次元撮像装置。
  7. 　前記透過領域は、前記第１の方向に沿って配列された、青、シアン、緑、黄、赤、マゼンタの波長域の光をそれぞれ透過させる６種類の領域を有している、請求項１から６のいずれかに記載の３次元撮像装置。
  8. 　前記画像処理部は、予め設定された、前記被写体の奥行きと前記輪郭の周辺画素における明度または色相のパターンとの関係を示す情報に基づいて、前記被写体の奥行きを推定する、請求項１から７のいずれかに記載の３次元撮像装置。
  9. 　前記光透過部における前記透過領域以外の部分は透明である、請求項１から８のいずれかに記載の３次元撮像装置。
  10. 　前記画像処理部は、推定した前記奥行きを示す情報に基づいて、前記奥行きの量を画素値とする奥行き画像を生成する、請求項１から９のいずれかに記載の３次元撮像装置。
  11. 　前記画像処理部は、前記撮像素子から出力された前記光電変換信号に基づいて、カラー画像を生成する、請求項１から１０のいずれかに記載の３次元撮像装置。
  12. 　請求項１から１１のいずれかに記載の３次元撮像装置に利用される光透過部。
  13. 　請求項１から１１のいずれかに記載の３次元撮像装置に利用される画像処理装置であって、
    　前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部を備えている、
    画像処理装置。
  14. 　請求項１から１１のいずれかに記載の３次元撮像装置に利用される画像処理プログラムであって、
    　コンピュータに対し、
    　前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定するステップ
    を実行させる画像処理プログラム。
PCT/JP2012/002517 2011-04-22 2012-04-11 ３次元撮像装置、光透過部、画像処理装置、およびプログラム Ceased WO2012144162A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013510864A JP5927570B2 (ja) 2011-04-22 2012-04-11 ３次元撮像装置、光透過部、画像処理装置、およびプログラム
CN201280001375.9A CN102918355B (zh) 2011-04-22 2012-04-11 三维摄像装置、图像处理装置
US13/807,059 US9544570B2 (en) 2011-04-22 2012-04-11 Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011096333 2011-04-22
JP2011-096333 2011-04-22

Publications (1)

Publication Number Publication Date
WO2012144162A1 true WO2012144162A1 (ja) 2012-10-26

Family

ID=47041296

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002517 Ceased WO2012144162A1 (ja) 2011-04-22 2012-04-11 ３次元撮像装置、光透過部、画像処理装置、およびプログラム

Country Status (4)

Country Link
US (1) US9544570B2 (ja)
JP (1) JP5927570B2 (ja)
CN (1) CN102918355B (ja)
WO (1) WO2012144162A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022244176A1 (ja) * 2021-05-20 2022-11-24

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6173065B2 (ja) * 2013-06-21 2017-08-02 オリンパス株式会社 撮像装置、画像処理装置、撮像方法及び画像処理方法
KR102112298B1 (ko) * 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
US20150229910A1 (en) * 2014-02-07 2015-08-13 National University Of Singapore Method and apparatus for stereoscopic imaging
US9491442B2 (en) 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US10416511B2 (en) * 2016-08-31 2019-09-17 Panasonic Liquid Crystal Display Co., Ltd. Liquid crystal display device
CN113867076B (zh) * 2021-11-08 2023-04-28 Oppo广东移动通信有限公司 切趾滤镜及其制备方法、及相关产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171740A (ja) * 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオ写真用カメラ
JP2001074432A (ja) * 1999-09-08 2001-03-23 Fuji Xerox Co Ltd 画像撮像装置
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
WO2011142062A1 (ja) * 2010-05-11 2011-11-17 パナソニック株式会社 ３次元撮像装置
WO2011151948A1 (ja) * 2010-06-02 2011-12-08 パナソニック株式会社 ３次元撮像装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748878B2 (ja) 1986-03-19 1995-05-24 日本放送協会 立体画像撮像表示システム
JPS62291292A (ja) 1986-06-11 1987-12-18 Sharp Corp 撮像装置
JPS62292292A (ja) * 1986-06-12 1987-12-18 Yamazaki Mazak Corp レ−ザ加工機
JPH02171737A (ja) 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
JPH1198418A (ja) * 1997-09-24 1999-04-09 Toyota Central Res & Dev Lab Inc 撮像装置
DE69921240T2 (de) * 1998-07-09 2006-02-02 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Herstellung eines Stereoskopischen Bildes
US6807295B1 (en) 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP3863319B2 (ja) 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
KR100379763B1 (ko) * 2001-04-14 2003-04-10 강승연 입체안경 없이 볼 수 있는 입체영상촬영장치
JP2002344999A (ja) 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
JP3869702B2 (ja) 2001-10-30 2007-01-17 ペンタックス株式会社 ステレオ画像撮像装置
JP2005037378A (ja) * 2003-06-30 2005-02-10 Sanyo Electric Co Ltd 奥行計測方法と奥行計測装置
WO2005013623A1 (en) * 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Multi-view image generation
EP1714251A1 (en) * 2004-02-03 2006-10-25 Koninklijke Philips Electronics N.V. Creating a depth map
KR100660519B1 (ko) * 2005-12-12 2006-12-22 (주)토핀스 3차원영상촬영대가 구비된 실험물 촬영장치
US7742128B2 (en) 2006-11-22 2010-06-22 Canon Kabushiki Kaisha Hybrid color display apparatus having large pixel and small pixel display modes
JP5408863B2 (ja) * 2006-11-22 2014-02-05 キヤノン株式会社 表示装置
CN101720480B (zh) * 2007-07-03 2012-07-18 皇家飞利浦电子股份有限公司 计算深度图
KR101327794B1 (ko) * 2007-10-23 2013-11-11 삼성전자주식회사 깊이 정보 획득 방법 및 장치
JP5099704B2 (ja) 2008-08-06 2012-12-19 独立行政法人産業技術総合研究所 高さを測定する方法及び高さ測定装置
GB2463480A (en) 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
KR101497503B1 (ko) * 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
US8538135B2 (en) * 2009-12-09 2013-09-17 Deluxe 3D Llc Pulling keys from color segmented images
US8638329B2 (en) * 2009-12-09 2014-01-28 Deluxe 3D Llc Auto-stereoscopic interpolation
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
KR101690297B1 (ko) * 2010-04-12 2016-12-28 삼성디스플레이 주식회사 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
JP5197683B2 (ja) * 2010-06-30 2013-05-15 株式会社東芝 奥行き信号生成装置及び方法
JP5406151B2 (ja) * 2010-09-24 2014-02-05 パナソニック株式会社 ３次元撮像装置
JP5406163B2 (ja) * 2010-10-21 2014-02-05 パナソニック株式会社 ３次元撮像装置および画像処理装置
US20150029312A1 (en) * 2012-02-21 2015-01-29 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture
US10387960B2 (en) * 2012-05-24 2019-08-20 State Farm Mutual Automobile Insurance Company System and method for real-time accident documentation and claim submission
US9030470B2 (en) * 2012-08-14 2015-05-12 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system for rapid three-dimensional shape measurement
US8891905B2 (en) * 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171740A (ja) * 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオ写真用カメラ
JP2001074432A (ja) * 1999-09-08 2001-03-23 Fuji Xerox Co Ltd 画像撮像装置
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
WO2011142062A1 (ja) * 2010-05-11 2011-11-17 パナソニック株式会社 ３次元撮像装置
WO2011151948A1 (ja) * 2010-06-02 2011-12-08 パナソニック株式会社 ３次元撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022244176A1 (ja) * 2021-05-20 2022-11-24
WO2022244176A1 (ja) * 2021-05-20 2022-11-24 日本電気株式会社 欠品検出装置、欠品検出方法、及びプログラム
JP7544269B2 (ja) 2021-05-20 2024-09-03 日本電気株式会社 欠品検出装置、欠品検出方法、及びプログラム

Also Published As

Publication number Publication date
US20130107009A1 (en) 2013-05-02
CN102918355A (zh) 2013-02-06
CN102918355B (zh) 2017-05-31
JP5927570B2 (ja) 2016-06-01
US9544570B2 (en) 2017-01-10
JPWO2012144162A1 (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
JP5421365B2 (ja) ３次元撮像装置
JP5227368B2 (ja) ３次元撮像装置
JP5879549B2 (ja) ライトフィールド撮像装置、および画像処理装置
JP5923754B2 (ja) ３次元撮像装置
JP5927570B2 (ja) ３次元撮像装置、光透過部、画像処理装置、およびプログラム
US20170264811A1 (en) Phase detection autofocus using opposing filter masks
JP5406151B2 (ja) ３次元撮像装置
US20120112037A1 (en) Three-dimensional imaging device
CN105872525A (zh) 图像处理装置和图像处理方法
JP5186517B2 (ja) 撮像装置
JP5995084B2 (ja) ３次元撮像装置、撮像素子、光透過部、および画像処理装置
WO2013136809A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5507362B2 (ja) ３次元撮像装置および光透過板
JP5406163B2 (ja) ３次元撮像装置および画像処理装置
JP2019075703A (ja) 偏光撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280001375.9

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2013510864

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12773977

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13807059

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12773977

Country of ref document: EP

Kind code of ref document: A1