[go: up one dir, main page]

WO2021117633A1 - 撮像装置、情報処理装置、撮像方法、および情報処理方法 - Google Patents

撮像装置、情報処理装置、撮像方法、および情報処理方法 Download PDF

Info

Publication number
WO2021117633A1
WO2021117633A1 PCT/JP2020/045246 JP2020045246W WO2021117633A1 WO 2021117633 A1 WO2021117633 A1 WO 2021117633A1 JP 2020045246 W JP2020045246 W JP 2020045246W WO 2021117633 A1 WO2021117633 A1 WO 2021117633A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
polarization
subject
light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/045246
Other languages
English (en)
French (fr)
Inventor
信一郎 五味
哲平 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to US17/756,776 priority Critical patent/US12293534B2/en
Priority to CN202080079371.7A priority patent/CN114731368B/zh
Priority to JP2021563921A priority patent/JP7447916B2/ja
Publication of WO2021117633A1 publication Critical patent/WO2021117633A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/06—Roll-film cameras adapted to be loaded with more than one film, e.g. with exposure of one or the other at will
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Definitions

  • the present disclosure relates to an imaging device, an information processing device, an imaging method, and an information processing method.
  • illuminance difference stereo method As one of the methods for measuring the three-dimensional shape of a subject.
  • the illuminance difference stereo method light is sequentially and individually applied to a subject from a plurality of directions, and the distance to the subject and the three-dimensional shape of the subject are measured from the difference in shadow (see, for example, Patent Document 1).
  • the present disclosure proposes an imaging device, an information processing device, an imaging method, and an information processing method capable of accurately measuring the three-dimensional shape of an animal body.
  • an imaging device includes an image pickup unit, a separation unit, a calculation unit, and an estimation unit.
  • the imaging unit includes a plurality of illuminations having different polarization directions of the light irradiating the subject and a polarization sensor, and captures an image of the subject to which the light is simultaneously irradiated from the plurality of illuminations.
  • the separation unit separates the pixel signals corresponding to each of the polarization directions from the image captured by the imaging unit to generate an image for each of the polarization directions.
  • the calculation unit calculates the normal on the surface of the subject by the illuminance difference stereo method from the image for each polarization direction.
  • the estimation unit estimates the shape of the subject based on the normal calculated by the calculation unit.
  • this method is difficult to apply to an animal subject because the position shift occurs due to the movement of the subject during the switching of lighting and accurate measurement cannot be performed, and only the subject of a stationary object is accurate.
  • the three-dimensional shape cannot be measured.
  • wavelength division multiplexing measurement method in which the illumination is multiplexed by using the difference in the color of the light irradiating the subject, and the three-dimensional shape of the subject is measured by one imaging without switching the illumination.
  • the wavelength multiplexing method when a subject is simultaneously irradiated with light having a different wavelength (color) from multiple lights to image the subject, each color component is extracted from the captured image, and each light is illuminated by itself. The three-dimensional shape of the subject is measured by obtaining the shadow of the subject.
  • the wavelength division multiplexing method it is possible to measure the three-dimensional shape of the subject by one imaging without switching the illumination. Therefore, even when the subject is an animal body, the three-dimensional shape of the subject is obtained. Can be measured.
  • the color of the light emitted to the subject is changed by applying a different narrow-band bandpass filter to each illumination, so that the amount of light is reduced by passing through the narrow-band bandpass filter.
  • the S / N ratio may deteriorate and the measurement accuracy may decrease.
  • the imaging device, the information processing device, the imaging method, and the information processing method according to the present disclosure accurately measure the three-dimensional shape of the animal body without increasing the cost.
  • FIG. 1 is an explanatory diagram showing an outline of an imaging method and an information processing method according to the present disclosure.
  • an animal is imaged by multiplexing illumination using polarized light and simultaneously irradiating a subject with light having different polarization directions from a plurality of directions in one imaging. Allows measurement of the three-dimensional shape of the body.
  • one camera 10 and a plurality of (here, four) light sources L 1 , L 2 , L 3 , and L 4 are prepared.
  • the light sources L 1 , L 2 , L 3 , and L 4 are arranged in different directions (hereinafter, referred to as light source directions) S 1 , S 2 , S 3 , and S 4 with respect to the subject 100.
  • the number of light sources is not limited to four.
  • the light source L 1, L 2, L 3 , L 4 , the polarization filter is a polarization direction different from the irradiation portion of light F 1, F 2, F 3 , F 4 is provided, subject to each polarization direction different light Irradiate to 100. Further, the light source L 1, L 2, L 3 , L 4 , the polarization direction and the light source direction of the irradiated light (the position with respect to the subject) is associated in advance.
  • the camera 10 includes a polarization sensor 11.
  • each polarization direction component is separated from the image data acquired by the polarization sensor 11 by signal separation processing. Then, based on the correspondence between the polarization direction and the light source direction of the light associated in advance, the image I that would be obtained when the light sources L 1 , L 2 , L 3 , and L 4 in each direction are irradiated independently. Calculate 1 , I 2 , I 3 , and I 4.
  • the normal image I 5 is calculated by performing the normal calculation process for each image I 1 , I 2 , I 3 , and I 4 , and the subject is subjected to the distance estimation process using the normal image I 5.
  • FIG. 2 is a block diagram showing a configuration example of the imaging device according to the present disclosure.
  • the imaging device 1 according to the present disclosure includes an imaging unit 2 and an information processing device 3.
  • the imaging unit 2 includes light sources L 1 , L 2 , L 3 , L 4 provided with polarizing filters F 1 , F 2 , F 3 , and F 4 shown in FIG. 1, and a camera 10.
  • Imaging unit 2 a polarization filter F 1, F 2, F 3 , F 4 each light source L 1 through a, L 2, L 3, L 4 subject 100 in a state where polarization directions different light is irradiated simultaneously from The image is captured by the camera 10 and the image data of the captured image is output to the information processing device 3.
  • the information processing device 3 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and various circuits.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the information processing device 3 includes a calibration unit 4, a signal separation unit 5, and a normal calculation unit 6 that function by executing an information processing program stored in a ROM by a CPU using RAM as a work area. , A distance estimation unit 7 is provided.
  • Part or all of the calibration unit 4, signal separation unit 5, normal calculation unit 6, and distance estimation unit 7 included in the information processing device 3 are ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array). ) Etc. may be configured. Further, the signal separation unit 5, the normal calculation unit 6, and the distance estimation unit 7 do not necessarily have to be provided in the information processing device 3, and may be provided, for example, on the cloud.
  • the calibration unit 4, the signal separation unit 5, the normal calculation unit 6, and the distance estimation unit 7 included in the information processing device 3 realize or execute the information processing operations described below, respectively.
  • the internal configuration of the information processing device 3 is not limited to the configuration shown in FIG. 2, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the calibration unit 4 includes a storage unit, and provides information on linearization of the output brightness of the camera 10, information on shading data generated when illuminated by each light source, information in which the light source direction and the polarization direction are associated with each other, and the like.
  • FIG. 3 is an explanatory diagram showing the relationship between the exposure amount of the camera and the output brightness according to the present disclosure. As shown in FIG. 3, in the camera 10, the larger the exposure amount i, the higher the output brightness i'in the captured image. However, as shown by the solid line in FIG. 3, the change in the output brightness i'of the camera 10 with the change in the exposure amount i is not linear.
  • the calibration unit 4 measures the brightness of the images to be sequentially captured while changing the exposure amount i of the camera 10, and determines the relationship between the exposure amount i of the camera 10 and the output brightness i'shown by the solid line in FIG. Calculate the characteristic function shown and store the inverse conversion function of the characteristic function.
  • the inverse transformation function is used when the preprocessing unit 51 (see FIG. 13) included in the signal separation unit 5, which will be described later, linearizes the image signal. As a result, the characteristic of the output brightness i'of the camera 10 is corrected to be linear as shown by the dotted line in FIG.
  • the calibration unit 4 acquires and stores shading data indicating the state of shadows generated when light is irradiated by the light sources L 1 , L 2 , L 3 , and L 4.
  • FIG. 4 and 5 are explanatory views of a shading data acquisition method according to the present disclosure.
  • a gray plate 101 is arranged at a place where the subject 100 (see FIG. 1) is placed. Then, the gray plate 101 is sequentially irradiated with light by the light sources L 1 , L 2 , L 3 , and L 4 , and the image of the gray plate 101 is captured by the camera 10.
  • the positions of the light sources L 1 , L 2 , L 3 , and L 4 with respect to the gray plate 101 are different from each other. Therefore, as shown in FIG. 4, for example, in the lit light sources L 1, is the image I 11 are imaging shadow becomes darker as direction from the lower left of the image to the upper right, to the lit light source L 2, the image Image I 12 in which the shadow becomes darker from the upper left to the lower right of the image is captured.
  • the calibration unit 4 acquires and stores the image data of these images I 11 , I 12 , I 13 , and I 14 as shading data.
  • the calibration unit 4 detects each light source direction.
  • 6 to 8 are explanatory views of a light source direction detection method according to the present disclosure. As shown in FIG. 6, when detecting the direction of the light source, for example, a sphere 102 having a mirror-finished surface is placed at a place where the subject 100 (see FIG. 1) is placed. Then, the light sources L 1 , L 2 , L 3 , and L 4 sequentially irradiate the sphere 102 with light, and the camera 10 captures an image of the sphere 102.
  • the positions of the light sources L 1 , L 2 , L 3 , and L 4 with respect to the sphere 102 are different from each other. Therefore, as shown in FIG. 7, for example, while the light source L 1 is lit, the image I 21 in which the position near the lower left of the sphere 102 is reflected as a high-brightness highlight portion is imaged, and the light source L 2 is lit. Image I 22 is captured in which the position near the upper left of the sphere 102 is reflected as a highlight portion.
  • the image I 23 in which the position near the upper right of the sphere 102 is reflected as a highlight portion is imaged, and while the light source L 4 is lit, the position near the lower right of the sphere 102 is high.
  • the image I 24 reflected as a light unit is imaged.
  • the calibration unit 4 can calculate the light source directions of the light sources L 1 , L 2 , L 3 , and L 4 by the following equation (1).
  • the calibration unit 4 associates the light source directions of the light sources L 1 , L 2 , L 3 , and L 4 with the polarization directions of the emitted light.
  • the gray plate 101 When associating the light source direction with the polarization direction, the gray plate 101 (see FIG. 4) is imaged by the camera 10 in the same manner as when the shading data is acquired.
  • the calibration unit 4 performs linearization and shading correction of image data imaged determines the polarization angle phi i performs estimation of the polarization model which will be described later, and the polarization direction of the polarized illuminating i the polarization angle phi i, previously It is associated with the detected light source direction and stored as a light source direction / polarization direction correspondence table.
  • FIG. 9 is an explanatory diagram showing an example of a light source direction / polarization direction correspondence table according to the present disclosure.
  • the light source L 1 of the light source number (i) is 1, the polarization direction (phi i) as phi 1 is associated, S 1 is associated as a light source direction (S i).
  • the light source L 2 having the light source number (i) is associated with ⁇ 2 as the polarization direction ( ⁇ i ) and S 2 as the light source direction (S i ).
  • the light source number (i) is the light source L 3 of 3, the polarization direction (phi i) as phi 3 is associated, is S 3 are associated as a light source direction (S i).
  • the light source L 4 having the light source number (i) is associated with ⁇ 4 as the polarization direction ( ⁇ i ) and S 4 as the light source direction (S i ).
  • the imaging unit 2 includes a plurality of polarized lights 21, 22, 23, 24, a camera 10, and a shooting control unit 12.
  • Each polarized light 21, 22, 23, 24 uses a white LED light source L 1 , L 2 , L 3 , L 4, and polarizing filters F 1 , F 2 , F 3 , F 4 having different polarization directions, respectively.
  • the polarizing filters F 1 , F 2 , F 3 , and F 4 are filters that selectively transmit light having polarization directions of 0 °, 45 °, 90 °, and 135 °, respectively.
  • the camera 10 includes a polarization sensor 11. As shown in FIG. 11, the polarization sensor 11 selectively causes a pixel array 13 in which a plurality of image pickup elements are arranged in a matrix and light in different polarization directions associated with each image pickup element to enter the image pickup element. A polarizing filter 14 and a microlens 15 provided for each image sensor are provided.
  • the polarizing filter 14 has regions 14a, 14b, 14c in which wire grids in four directions (0 °, 45 °, 90 °, 135 °) are arranged at positions facing each image sensor. , 14d are arranged, for example, in the same arrangement as the Bayer arrangement.
  • the photographing control unit 12 turns on the plurality of polarized lights 21, 22, 23, 24 at the same time, and after that, the camera 10 images the subject 100 (see FIG. 1), and then the polarized lights 21, Turn off 22, 23, 24.
  • the photographing control unit 12 when performing moving image imaging, causes the camera 10 to repeatedly perform imaging with the plurality of polarized lights 21, 22, 23, 24 turned on at the same time, and the user stops the imaging. Continue imaging until instructed.
  • the photographing control unit 12 turns off the polarized lights 21, 22, 23, 24 after the moving image imaging is completed.
  • the shooting control unit 12 acquires image data of the captured image from the camera 10 and outputs the image data to the signal separation unit 5 in the subsequent stage.
  • FIG. 13 is a block diagram showing a configuration example of the signal separation unit according to the present disclosure.
  • the signal separation unit 5 according to the present disclosure includes a preprocessing unit 51, a polarization demosaic unit 52, a polarization model estimation unit 53, and a polarization luminance calculation unit 54.
  • the preprocessing unit 51 linearizes the output brightness i'of the camera 10 in the image data input from the camera 10 and performs shading correction.
  • the preprocessing unit 51 linearizes the output brightness i'using the following equation (2).
  • Pre-processing unit 51 as shown in equation (2), the output luminance j x of each pixel in the y, the output luminance j'x was linearized by applying the inverse transformation function characteristic function of the camera 10, y Is calculated.
  • the preprocessing unit 51 performs shading correction using the following equation (3). As shown in the equation (3), the preprocessing unit 51 converts the linearized output luminance j'x , y into the luminance l of the corresponding pixel in the images I 11 , I 12 , I 13 , and I 14 shown in FIG. The shading-corrected output luminance j ′′ x, y is calculated by dividing by 1 l 2 ... l M.
  • the polarization demosaic unit 52 obtains data in these four directions for each pixel from the data in each direction of 0 °, 45 °, 90 °, and 135 ° assigned to each pixel (j ′′ ′′ x, y (j ′′ ′′ x, y ( 0), j ′′ ′′ x, y (45), j ′′ ′′ x, y (90), j ′′ ′′ x, y (135)).
  • FIG. 14 is an explanatory diagram of the polarized light demosaic process according to the present disclosure.
  • the polarization demosaic unit 52 uses the data a, b, c, d of the image pickup device provided with the 90 ° wire grid (see FIG. 12) to form A, B, C.
  • the data of the image I 31 subjected to the polarization demosaic processing is calculated.
  • the polarization demosaic unit 52 calculates the data for each pixel by the same method for the data in the polarization directions of 0 °, 45 °, and 135 °. Returning to FIG. 13, the polarization demosaic unit 52 uses the calculated data (j ′′ ′′ x, y (0), j ′′ ′′ x, y (45), j ′′ ′′ x, y (90), j ′′. '' X, y (135)) is output to the polarization model estimation unit 53.
  • the polarization model estimation unit 53 estimates a polarization model that shows the correspondence between the deflection angle and the brightness.
  • FIG. 15 is an explanatory diagram showing an example of the polarization model according to the present disclosure.
  • the polarization model estimation unit 53 uses the polarization sensor data (j ′′ ′′ x, y (0), j ′′ ′′ x, y (45), j ′′ ′′ x, y (90) obtained for each pixel. , J ′′ ′′ x, y (135)) to estimate the polarization model shown in FIG.
  • the signal separation unit 5 can estimate the brightness I ( ⁇ ) at an arbitrary deflection angle ( ⁇ ).
  • the polarization model shown in FIG. 15 is expressed by the following equation (5).
  • the polarization model estimation unit 53 obtains the unknown parameters I max , I min , and ⁇ in the above equation (5) from the captured data I ( ⁇ 1 ), ..., I ( ⁇ M).
  • the polarization model estimation unit 53 can obtain the unknown parameters I max , I min, and ⁇ by the following equation (9).
  • the polarization luminance calculation unit 54 corresponds to each light source L 1 , L 2 , L 3 , L 4 by using the unknown parameters I max , I min , ⁇ , and equation (5) obtained by the polarization model estimation unit 53.
  • the polarization brightness calculation unit 54 uses the angle of the polarization direction in the light source direction / polarization direction correspondence table 55.
  • FIG. 16 is an explanatory diagram of a normal calculation method according to the present disclosure.
  • the normal calculation unit 6 has, for example, when there are three light sources L 1 , L 2 , and L 3, the light source vector S corresponding to the light source direction in the light source direction / polarization direction correspondence table 55.
  • the normal vector n is calculated for each pixel by performing the operations of the following equations (10) and (12) using i and the brightness i of each pixel input from the polarization brightness calculation unit 54.
  • the normal calculation unit 6 calculates the normal vector n for each pixel by performing the operations of the following equations (11) and (12). calculate.
  • M in the equation (11) is 4.
  • the distance estimation unit 7 calculates the distance Z from a certain reference point to the corresponding point on the subject for each pixel by using the normal information obtained for each pixel.
  • the distance estimation unit 7 calculates the distance Z by using, for example, the Francot-Chellappa algorithm represented by the following equation (13) using a Fourier basis.
  • P and q in the above formula (13) are x component and y component of the normal vector n calculated by the normal calculation unit 6.
  • F is a Fourier transform
  • ⁇ x is a spatial frequency (x)
  • ⁇ x is a spatial frequency (y).
  • the distance estimation unit 7 sets a certain reference point in advance, integrates the gradient field from the reference point, and estimates the shape (distance Z) of the subject. At this time, the distance estimation unit 7 calculates the distance Z so that the derivatives of the gradient field and the shape match.
  • FIGS. 17 to 19. 17 to 19 are flowcharts showing processes executed by the imaging apparatus according to the present disclosure.
  • FIG. 17 shows an example of the calibration process executed by the calibration unit 4.
  • FIG. 18 shows an example of the three-dimensional shape measurement process performed by the image pickup apparatus.
  • FIG. 19 shows an example of signal separation processing in the three-dimensional shape measurement processing.
  • the calibration unit 4 When performing the calibration process, as shown in FIG. 17, the calibration unit 4 first performs an inverse conversion function of the camera characteristics (characteristic function indicating the relationship between the exposure amount of the camera 10 and the output brightness shown in FIG. 3). Calculate and store (step S101). Subsequently, the calibration unit 4 acquires and stores shading data (see FIG. 5) (step S102).
  • the calibration unit 4 calculates the light source direction of each light source (light source L 1 , L 2 , L 3 , L 4 ) (step S103), and each light source (light source L 1 , L 2 , L 3 , L 4). ) Is calculated (step S104). Then, the calibration unit 4 associates each light source direction with the polarization direction and stores it as a light source direction / polarization direction correspondence table 55 (step S105), and ends the calibration process.
  • the image pickup unit 2 When performing the three-dimensional shape measurement process, as shown in FIG. 18, the image pickup unit 2 first performs the image pickup process (step S201). In the imaging process, the imaging unit 2 simultaneously irradiates the three-dimensionally shaped measurement object with light having different polarization directions from a plurality of directions, and the polarization sensor 11 images the measurement object. Subsequently, the signal separation unit 5 performs a signal separation process for separating an image signal corresponding to each polarization direction from the image captured by the image pickup unit 2 (step S202).
  • the signal separation unit 5 first performs preprocessing (step S301).
  • the signal separation unit 5 linearizes the output brightness of the camera 10 in the captured image using the inverse conversion function of the camera characteristics, and performs shading correction of the captured image using the shading data.
  • the signal separation unit 5 performs polarization demosaic processing (step S302).
  • the signal separation unit 5 generates image data for each polarization direction by demosacing the captured image after shading correction (see FIG. 14) and complementing the captured image.
  • the signal separation unit 5 performs the polarization model estimation process (step S303).
  • the signal separation unit 5 calculates unknown parameters (I max , I min , ⁇ ) in the polarization model (Equation (5)) from the image data (brightness for each pixel) for each polarization direction. Estimate the polarization model by
  • the signal separation unit 5 performs the polarization luminance calculation process (step S304).
  • the signal separation unit 5 determines the brightness of each pixel in the image for each light source direction based on the polarization direction corresponding to the light source direction included in the light source direction / polarization direction correspondence table 55 and the polarization model. It is calculated and output to the normal line calculation unit 6.
  • the normal calculation unit 6 performs the normal calculation process (step S203).
  • the normal calculation unit 6 sets the surface of the object to be measured pixel by pixel based on the brightness of each pixel in the image for each light source direction calculated by the signal separation process and the known light source direction. Calculate the normal vector.
  • the distance estimation unit 7 performs the distance estimation process (step S204).
  • the distance estimation unit 7 calculates the distance from a predetermined reference point to a point on the measurement object for each pixel by using the normal vector for each pixel calculated by the normal calculation process. Measures the three-dimensional shape of the object to be measured.
  • FIG. 20 is an explanatory diagram showing a modified example of the camera according to the present disclosure.
  • the camera according to the modified example includes the polarization sensor 10A shown in FIG.
  • the polarizing sensor 10A includes beam splitters 15a, 15b, 15c, 15d, image sensors 10a, 10b, 10c, 10d, and polarizing filters 11a, 11b, 11c, 11d.
  • the beam splitters 15a, 15b, 15c, 15d divide the incident light into a plurality of light rays.
  • the image sensors 10a, 10b, 10c, and 10d receive each light beam.
  • the polarizing filters 11a, 11b, 11c, 11d are provided between the image sensors 10a, 10b, 10c, 10d and the beam splitters 15a, 15b, 15c, 15d, and the polarization directions are set for each of the image sensors 10a, 10b, 10c, 10d. Is different.
  • the polarizing filter 11a selectively transmits light having a polarization angle of 0 °, for example.
  • the polarizing filter 11b selectively transmits light having a polarization angle of, for example, 45 °.
  • the polarizing filter 11c selectively transmits light having a polarization angle of 90 °, for example.
  • the polarizing filter 11d selectively transmits, for example, light having a polarization angle of 135 °.
  • the image sensor 10a can capture an image of a subject to which only light having a polarization angle of 0 ° is applied.
  • the image sensor 10b can capture an image of a subject to which only light having a polarization angle of 45 ° is applied.
  • the image sensor 10c can capture an image of a subject to which only light having a polarization angle of 90 ° is applied.
  • the image sensor 10d can capture an image of a subject to which only light having a polarization angle of 135 ° is applied.
  • the imaging device 1 By providing the polarization sensor 10A shown in FIG. 20 in place of the polarization sensor 11, the imaging device 1 eliminates the need for the polarization demosaic processing performed by the polarization demosaic unit 52, so that the processing load can be reduced.
  • the image pickup apparatus includes an image pickup unit 2, a signal separation unit 5, a normal calculation unit 6, and a distance estimation unit 7.
  • the image pickup unit 2 includes a plurality of polarized lights 21, 22, 23, 24 and a polarizing sensor 11 having different polarization directions of the light irradiating the subject 100, and the light is simultaneously emitted from the plurality of polarized lights 21, 22, 23, 24. An image of the subject 100 to be irradiated is captured.
  • the signal separation unit 5 separates the pixel signals corresponding to each polarization direction from the image captured by the image pickup unit 2 to generate an image for each polarization direction.
  • the normal calculation unit 6 calculates the normal on the surface of the subject from the image for each polarization direction by the illuminance difference stereo method.
  • the distance estimation unit 7 estimates the shape of the subject based on the normal calculated by the normal calculation unit. As a result, the image pickup apparatus 1 can accurately measure the three-dimensional shape of the animal body.
  • the image pickup apparatus 1 relates to the polarized light 21,22,23,24, the polarization direction of the light emitted by the polarized light 21,22,23,24, and the subject 100 of the polarized light 21,22,23,24.
  • the signal separation unit 5 is a polarization model showing a correspondence relationship between an arbitrary polarization direction and the brightness of each pixel in an image of a subject irradiated with light in the polarization direction, based on the brightness of each pixel in an image for each polarization direction.
  • the image pickup apparatus 1 can calculate the accurate brightness of each pixel in the image for each of the polarized lights 21, 22, 23, 24.
  • the normal calculation unit 6 calculates the normal on the surface of the subject 100 based on the brightness of each pixel in the image for each of the polarized lights 21, 22, 23, and 24 and the corresponding information. As a result, the image pickup apparatus 1 can calculate a more accurate normal.
  • the plurality of polarized illuminations 21, 22, 23, 24 are provided with polarizing filters F 1 , F 2 , F 3 , and F 4 having different polarization directions on the light emitting surfaces of the light sources L 1 , L 2 , L 3 , and L 4. Be done.
  • the image pickup apparatus 1 increases the number of light source directions without increasing the cost, for example, by simply increasing the number of light sources that emit white light and the number of deflection directions of light transmitted by the polarizing filter provided in the light sources. be able to.
  • the polarizing sensor 11 has a pixel array 13 and a polarizing filter 14.
  • a pixel array 13 a plurality of image pickup elements are arranged in a matrix.
  • the polarizing filter 14 selectively causes light in different polarization directions associated with the image sensor to enter the image sensor.
  • the image pickup apparatus 1 can capture a plurality of images for each light having different polarization directions by one pixel array 13.
  • the polarizing sensor 11 includes beam splitters 15a, 15b, 15c, 15d, image sensors 10a, 10b, 10c, 10d, and polarizing filters 11a, 11b, 11c, 11d.
  • the beam splitters 15a, 15b, 15c, 15d split the incident light into a plurality of light rays.
  • the image sensors 10a, 10b, 10c, and 10d receive each light beam.
  • the polarizing filters 11a, 11b, 11c, 11d are provided between the image sensors 10a, 10b, 10c, 10d and the beam splitters 15a, 15b, 15c, 15d, and the polarization directions are set for each of the image sensors 10a, 10b, 10c, 10d. Is different. As a result, the image pickup apparatus 1 does not require the polarization demosaicing process, so that the processing load can be reduced.
  • the computer captures an image of a subject that is simultaneously irradiated with light from a plurality of illuminations having different polarization directions of the light emitted to the subject 100 by the polarization sensor 11, and each polarization is obtained from the image captured by the polarization sensor 11.
  • the pixel signals corresponding to the directions are separated to generate an image for each polarization direction, the normal on the surface of the subject is calculated from the image for each polarization direction by the illuminance difference stereo method, and the shape of the subject is estimated based on the normal. Including doing.
  • the imaging method can accurately measure the three-dimensional shape of the animal body.
  • the information processing device 3 has a storage unit, a signal separation unit 5, a normal calculation unit 6, and a distance estimation unit 7.
  • the storage unit includes a plurality of polarized lights 21, 22, 23, 24 having different polarization directions of the light irradiating the subject 100, the polarization directions of the light emitted by the polarized lights 21, 22, 23, 24, and the polarized lights.
  • the light source direction / polarization direction correspondence table 55 which is the correspondence information in which the directions of 21, 22, 23, and 24 with respect to the subject are associated with each other, is stored.
  • the signal separation unit 5 separates the pixel signals corresponding to each polarization direction from the image captured by the polarization sensor 11 by the subject 100, which is simultaneously irradiated with light from the plurality of polarized illuminations 21, 22, 23, 24, and provides corresponding information. An image for each illumination is generated based on.
  • the normal calculation unit 6 calculates the normal on the surface of the subject 100 by the illuminance difference stereo method from the images for each of the polarized lights 21, 22, 23, and 24.
  • the distance estimation unit 7 estimates the shape of the subject 100 based on the normal calculated by the normal calculation unit 6. As a result, the information processing device 3 can accurately measure the three-dimensional shape of the animal body.
  • the information processing method includes a plurality of lights 21, 22, 23, 24 having different polarization directions of the light emitted by the computer to the subject 100, the polarization directions of the light emitted by the lights 21, 22, 23, 24, and the said light.
  • the light source direction / polarization direction correspondence table 55 which is the correspondence information in which the directions of the polarized illuminations 21, 22, 23, 24 with respect to the subject 100 are associated with each other, is stored, and light is simultaneously emitted from the plurality of polarized illuminations 21, 22, 23, 24.
  • the irradiated subject 100 separates the pixel signals corresponding to each polarization direction from the image captured by the polarization sensor 11, generates images for each of the polarized illuminations 21, 22, 23, and 24 based on the corresponding information, and the polarized illumination. This includes calculating the normal line on the surface of the subject 100 by the illuminance difference stereo method from the images for every 21, 22, 23, and 24, and estimating the shape of the subject 100 based on the normal line. As a result, the information processing method can accurately measure the three-dimensional shape of the animal body.
  • the present technology can also have the following configurations.
  • An imaging unit that includes a plurality of illuminations having different polarization directions of light irradiating the subject and a polarization sensor, and captures an image of the subject that is simultaneously irradiated with light from the plurality of illuminations.
  • a separation unit that separates pixel signals corresponding to each polarization direction from an image captured by the imaging unit to generate an image for each polarization direction.
  • a calculation unit that calculates a normal on the surface of the subject by the illuminance difference stereo method from the image for each polarization direction.
  • An imaging device including an estimation unit that estimates the shape of the subject based on a normal calculated by the calculation unit.
  • a storage unit further includes a storage unit that stores corresponding information in which the lighting, the polarization direction of the light emitted by the lighting, and the direction of the lighting with respect to the subject are associated with each other.
  • the separation part Based on the brightness of each pixel in the image for each polarization direction, a polarization model showing the correspondence between the brightness of each pixel in the image of the subject irradiated with the light in the arbitrary polarization direction is estimated, and the polarization model is estimated.
  • the imaging device according to (1) above, which calculates the brightness of each pixel in the image for each illumination based on the polarization model and the corresponding information.
  • the calculation unit The imaging device according to (2), wherein a normal on the surface of the subject is calculated based on the brightness of each pixel in the image for each illumination and the corresponding information.
  • the plurality of lights The imaging device according to any one of (1) to (3) above, wherein a polarizing filter having a different polarization direction is provided on a light emitting surface of a light source.
  • the polarization sensor A pixel array in which multiple image sensors are arranged in a matrix, and The image pickup apparatus according to any one of (1) to (4) above, which has a polarizing filter that selectively incidents light in different polarization directions associated with the image pickup device onto the image pickup device.
  • the polarization sensor A beam splitter that splits the incident light into multiple rays, An image sensor that receives each light beam and The imaging apparatus according to any one of (1) to (4) above, which is provided between the image sensor and the beam splitter and has a polarizing filter having a different polarization direction for each image sensor.
  • the computer An image of the subject, which is simultaneously irradiated with light from a plurality of illuminations having different polarization directions of the light emitted to the subject, is captured by a polarization sensor. Pixel signals corresponding to each polarization direction are separated from the image captured by the polarization sensor to generate an image for each polarization direction.
  • the normal on the surface of the subject is calculated from the image for each polarization direction by the illuminance difference stereo method.
  • An imaging method including estimating the shape of the subject based on the normal.
  • a storage unit that stores a plurality of illuminations having different polarization directions of light irradiating the subject, corresponding information in which the polarization directions of the light emitted by the illuminations and the directions of the illuminations with respect to the subject are associated with each other. Separation in which the subject, which is simultaneously irradiated with light from the plurality of illuminations, separates the pixel signals corresponding to the respective polarization directions from the image captured by the polarization sensor and generates an image for each illumination based on the corresponding information.
  • the Department and A calculation unit that calculates a normal on the surface of the subject by the illuminance difference stereo method from the image for each illumination.
  • An information processing device having an estimation unit that estimates the shape of the subject based on a normal calculated by the calculation unit.
  • the computer A plurality of lights having different polarization directions of the light irradiating the subject, the polarization directions of the light radiated by the lights, and the corresponding information in which the directions of the lights with respect to the subject are associated with each other are stored.
  • the subject which is simultaneously irradiated with light from the plurality of illuminations, separates the pixel signals corresponding to the respective polarization directions from the image captured by the polarization sensor, and generates an image for each illumination based on the corresponding information.
  • the normal on the surface of the subject is calculated from the image for each illumination by the illuminance difference stereo method.
  • An information processing method including estimating the shape of the subject based on the normal.

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る撮像装置（１）は、撮像部（２）と、信号分離部（５）と、法線算出部（６）と、距離推定部（７）とを有する。撮像部（２）は、被写体へ照射する光の偏光方向が異なる複数の偏光照明（２１～２４）と偏光センサ（１１）とを備え、複数の偏光照明（２１～２４）から同時に光が照射される被写体の画像を撮像する。信号分離部（５）は、撮像部（２）によって撮像される画像から各偏光方向に対応する画素信号を分離して偏光方向毎の画像を生成する。法線算出部（６）は、偏光方向毎の画像から照度差ステレオ法によって被写体の表面における法線を算出する。距離推定部（７）は、法線算出部（６）によって算出される法線に基づいて被写体の形状を推定する。

Description

撮像装置、情報処理装置、撮像方法、および情報処理方法
　本開示は、撮像装置、情報処理装置、撮像方法、および情報処理方法に関する。
　被写体の３次元形状を計測する方法の一つとして、照度差ステレオ法がある。照度差ステレオ法では、複数の方向から被写体へ順次個別に光を当て、その陰影の違いから被写体までの距離や被写体の３次元形状を測定する（例えば、特許文献１参照）。
特開２０１７－７２４９９号公報
　しかしながら、上記の従来技術では、照明を切替えながらカメラによって順次被写体を撮像するため、被写体が動物体である場合、照明の切替え中に被写体の動きによる位置ずれが生じ、正確な測定を行うことができない。
　そこで、本開示では、動物体の３次元形状を正確に測定することができる撮像装置、情報処理装置、撮像方法、および情報処理方法を提案する。
　本開示によれば、撮像装置が提供される。撮像装置は、撮像部と、分離部と、算出部と、推定部とを有する。撮像部は、被写体へ照射する光の偏光方向が異なる複数の照明と偏光センサとを備え、前記複数の照明から同時に光が照射される前記被写体の画像を撮像する。分離部は、前記撮像部によって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成する。算出部は、前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する。推定部は、前記算出部によって算出される法線に基づいて前記被写体の形状を推定する。
本開示に係る撮像方法および情報処理方法の概要を示す説明図である。 本開示に係る撮像装置の構成例を示すブロック図である。 本開示に係るカメラの露光量と出力輝度との関係を示す説明図である。 本開示に係るシェーディングデータの取得方法の説明図である。 本開示に係るシェーディングデータの取得方法の説明図である。 本開示に係る光源方向の検出方法の説明図である。 本開示に係る光源方向の検出方法の説明図である。 本開示に係る光源方向の検出方法の説明図である。 本開示に係る光源方向／偏光方向対応表の一例を示す説明図である。 本開示に係る撮像部の説明図である。 本開示に係る撮像部の説明図である。 本開示に係る撮像部の説明図である。 本開示に係る信号分離部の構成例を示すブロック図である。 本開示に係る偏光デモザイク処理の説明図である。 本開示に係る偏光モデルの一例を示す説明図である。 本開示に係る法線算出方法の説明図である。 本開示に係る撮像装置が実行する処理を示すフローチャートである。 本開示に係る撮像装置が実行する処理を示すフローチャートである。 本開示に係る撮像装置が実行する処理を示すフローチャートである。 本開示に係るカメラの変形例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［１．本開示に係る課題］
　基本的な照度差ステレオ法では、被写体に対する光の照射方向が異なる複数の照明を順次切替えながら被写体へ光を当て、各照明によって照らされた被写体の画像を撮像し、各画像における被写体の陰影の違いに基づいて被写体の３次元形状を測定する。
　しかしながら、この方法では、照明の切替え中に被写体の動きによる位置ずれが生じ、正確な測定を行うことができないため、動物体の被写体に適用することが困難であり、静止物体の被写体しか正確な３次元形状を測定することができない。
　このため、被写体へ照射する光の色の違いを用いて照明を多重化し、照明の切り替えを行わずに、１度の撮像で被写体の３次元形状を測定する波長多重方式の計測方法がある。波長多重方式では、複数の照明から同時に被写体に対して、それぞれ波長（色）が異なる光を照射して被写体を撮像し、撮影画像からそれぞれの色成分を抽出し、各照明単体で照明した場合の陰影を求めて被写体の３次元形状を測定する。
　このように、波長多重方式では、照明を切替える必要がなく１度の撮像によって被写体の３次元形状を測定することが可能であるため、被写体が動物体である場合にも、被写体の３次元形状を測定することができる。
　ただし、波長多重方式は、例えば、各照明に異なる狭帯域のバンドパスフィルタを適用することによって被写体へ照射する光の色を変えるので、狭帯域のバンドパスフィルタを透過することで光量が低下し、Ｓ/Ｎ比が劣化して測定精度が低下することがある。
　また、照明の色と被写体の色との弁別が難しい場合は、測定誤差が発生することがある。さらに、被写体へ照射する光の色の数を増やす場合には、より狭帯域なバンドパスフィルタを用いたり、発色する色が異なるＬＥＤ（Light　Emitting　Diode）の数を増やしたりする必要があり、コストが増大する。そこで、本開示に係る撮像装置、情報処理装置、撮像方法、および情報処理方法は、コストを増大させることなく動物体の３次元形状を正確に測定する。
［２．撮像方法および情報処理方法の概要］
　まず、図１を参照して本開示に係る撮像方法および情報処理方法の概要について説明する。図１は、本開示に係る撮像方法および情報処理方法の概要を示す説明図である。
　本開示に係る撮像方法および情報処理方法では、偏光を用いた照明の多重化を行い、１度の撮像で複数の方向から偏光方向の異なる光を被写体へ同時に照射して撮像することによって、動物体の３次元形状の測定を可能にする。
　例えば、図１に示すように、１つのカメラ１０と、複数（ここでは、４つ）の光源Ｌ１，Ｌ２，Ｌ３，Ｌ４を用意する。光源Ｌ１，Ｌ２，Ｌ３，Ｌ４は、被写体１００に対して異なる方向（以下、光源方向と記載する）Ｓ１，Ｓ２，Ｓ３，Ｓ４に配置される。なお、光源の数は、４つに限定されるものではない。
　また、光源Ｌ１，Ｌ２，Ｌ３，Ｌ４は、光の照射部に偏光方向が異なる偏光フィルタＦ１，Ｆ２，Ｆ３，Ｆ４が設けられ、それぞれ偏光方向が異なる光を被写体１００へ照射する。また、光源Ｌ１，Ｌ２，Ｌ３，Ｌ４は、照射する光の偏光方向と光源方向（被写体に対する位置）が予め対応付けられる。
　カメラ１０は、偏光センサ１１を備える。本開示に係る撮像方法および情報処理方法では、偏光センサ１１によって取得される画像データから信号分離処理によって各偏光方向成分を分離する。そして、予め対応付けた光の偏光方向と光源方向との対応関係に基づいて、各方向の光源Ｌ１，Ｌ２，Ｌ３，Ｌ４から単独に照射した場合に得られるであろう画像Ｉ１，Ｉ２，Ｉ３，Ｉ４を算出する。
　その後、各画像Ｉ１，Ｉ２，Ｉ３，Ｉ４について法線算出処理を行うことによって、法線画像Ｉ５を算出し、法線画像Ｉ５を用いて距離推定処理を行うことによって被写体１００の表面３次元形状を推定する。これにより、本開示に係る撮像方法および情報処理方法では、動物体の３次元形状を正確に測定することができる。
　この方法によれば、光源を増やす場合に、各照明に設ける偏光フィルタの方向を変えるだけで良いのでコストが増大することがなく、狭帯域なバンドパスフィルタを使用しないため光量が減少することもないので、３次元形状の測定精度を向上させることができる。
［３．撮像装置の構成］
　次に、図２を参照して本開示に係る撮像装置の構成について説明する。図２は、本開示に係る撮像装置の構成例を示すブロック図である。図２に示すように、本開示に係る撮像装置１は、撮像部２と、情報処理装置３とを備える。
　撮像部２は、図１に示した偏光フィルタＦ１，Ｆ２，Ｆ３，Ｆ４が設けられる光源Ｌ１、Ｌ２，Ｌ３，Ｌ４と、カメラ１０とを含む。撮像部２は、偏光フィルタＦ１，Ｆ２，Ｆ３，Ｆ４を介して各光源Ｌ１，Ｌ２，Ｌ３，Ｌ４から偏光方向の異なる光が同時に照射された状態の被写体１００をカメラ１０によって撮像し、撮像画像の画像データを情報処理装置３へ出力する。
　情報処理装置３は、例えば、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）等を有するマイクロコンピュータや各種の回路を含む。
　情報処理装置３は、ＣＰＵがＲＯＭに記憶された情報処理プログラムを、ＲＡＭを作業領域として使用して実行することにより機能するキャリブレーション部４と、信号分離部５と、法線算出部６と、距離推定部７とを備える。
　なお、情報処理装置３が備えるキャリブレーション部４、信号分離部５、法線算出部６、および距離推定部７は、一部または全部がＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアで構成されてもよい。また、信号分離部５、法線算出部６、および距離推定部７は、必ずしも情報処理装置３に設けられている必要はなく、例えば、クラウド上に設けられてもよい。
　情報処理装置３が備えるキャリブレーション部４、信号分離部５、法線算出部６、および距離推定部７は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、情報処理装置３の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
［４．１．キャリブレーション部］
　キャリブレーション部４は、記憶部を備えており、カメラ１０の出力輝度のリニア化に関する情報、各光源で照明した場合に生じるシェーディングデータの情報、光源方向と偏光方向とを対応付けした情報等を記憶する。
［４．１．１．カメラの出力輝度のリニア化］
　図３は、本開示に係るカメラの露光量と出力輝度との関係を示す説明図である。図３に示すように、カメラ１０は、露光量ｉが多くなるほど、撮像画像における出力輝度ｉ´が高くなる。ただし、図３に実線で示すように、露光量ｉの変化に伴うカメラ１０の出力輝度ｉ´の変化は線形（リニア）ではない。
　このため、キャリブレーション部４は、カメラ１０の露光量ｉを変化させながら順次撮像する画像の輝度を測定し、図３に実線で示すカメラ１０の露光量ｉと出力輝度ｉ´との関係を示す特性関数を算出し、特性関数の逆変換関数を記憶しておく。逆変換関数は、信号分離部５が備える後述の前処理部５１（図１３参照）が画像信号のリニア化を行う場合に使用される。これにより、カメラ１０の出力輝度ｉ´の特性が図３に点線で示すような線形（リニア）に補正される。
［４．１．２．シェーディングデータの記憶］
　また、キャリブレーション部４は、各光源Ｌ１，Ｌ２，Ｌ３，Ｌ４によって光を照射した場合に生じる陰影の状態を示すシェーディングデータを取得して記憶する。
　図４および図５は、本開示に係るシェーディングデータの取得方法の説明図である。図４に示すように、シェーディングデータを取得する場合には、被写体１００（図１参照）が置かれる場所に、例えば、灰色板１０１を配置する。そして、各光源Ｌ１，Ｌ２，Ｌ３，Ｌ４によって灰色板１０１へ順次光を照射し、カメラ１０によって灰色板１０１の画像を撮像する。
　このとき、各光源Ｌ１，Ｌ２，Ｌ３，Ｌ４は、それぞれ灰色板１０１に対する位置が異なる。このため、図４に示すように、例えば、光源Ｌ１の点灯中には、画像の左下から右上へ向うにつれて陰影が濃くなる画像Ｉ１１が撮像され、光源Ｌ２の点灯中には、画像の左上から右下へ向うにつれて陰影が濃くなる画像Ｉ１２が撮像される。
　また、光源Ｌ３の点灯中には、画像の右上から左下へ向うにつれて陰影が濃くなる画像Ｉ１３が撮像され、光源Ｌ４の点灯中には、画像の右下から左上へ向うにつれて陰影が濃くなる画像Ｉ１４が撮像される。キャリブレーション部４は、これらの画像Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４の画像データをシェーディングデータとして取得して記憶する。
［４．１．３．光源方向の検出］
　また、キャリブレーション部４は、各光源方向の検出を行う。図６～図８は、本開示に係る光源方向の検出方法の説明図である。図６に示すように、光源方向の検出を行う場合には、被写体１００（図１参照）が置かれる場所に、例えば、表面が鏡面仕上げされた形状が既知の球体１０２を配置する。そして、各光源Ｌ１，Ｌ２，Ｌ３，Ｌ４によって球体１０２へ順次光を照射し、カメラ１０によって球体１０２の画像を撮像する。
　このとき、各光源Ｌ１，Ｌ２，Ｌ３，Ｌ４は、それぞれ球体１０２に対する位置が異なる。このため、図７に示すように、例えば、光源Ｌ１の点灯中には、球体１０２の左下寄りの位置が輝度の高いハイライト部として映る画像Ｉ２１が撮像され、光源Ｌ２の点灯中には、球体１０２の左上寄りの位置がハイライト部として映る画像Ｉ２２が撮像される。
　また、光源Ｌ３の点灯中には、球体１０２の右上寄りの位置がハイライト部として映る画像Ｉ２３が撮像され、光源Ｌ４の点灯中には、球体１０２の右下寄りの位置がハイライト部として映る画像Ｉ２４が撮像される。
　このとき、図８に示すように、ハイライト部の中心における法線方向ｎが、視線方向（カメラ１０の撮像方向）Ｖと光源方向Ｓのハーフベクトルとなる。このため、キャリブレーション部４は、下記式（１）によって各光源Ｌ１，Ｌ２，Ｌ３，Ｌ４の光源方向を算出することができる。
Figure JPOXMLDOC01-appb-M000001
［４．１．４．光源方向と偏光方向との対応付け］
　また、キャリブレーション部４は、各光源Ｌ１，Ｌ２，Ｌ３，Ｌ４の光源方向と照射する光の偏光方向との対応付けを行う。
　光源方向と偏光方向との対応付けを行う場合、シェーディングデータを取得する場合と同様に、カメラ１０によって灰色板１０１（図４参照）を撮像する。キャリブレーション部４は、撮像された画像データのリニア化およびシェーディング補正を行い、後述する偏光モデルの推定を行って偏光角φｉを求め、偏光角φｉを偏光照明iの偏光方向とし、先に検出した光源方向と対応付け、光源方向／偏光方向対応表として記憶する。
　図９は、本開示に係る光源方向／偏光方向対応表の一例を示す説明図である。図９に示す例では、光源番号（ｉ）が１の光源Ｌ１に、偏光方向（φｉ）としてφ１が対応付けられ、光源方向（Ｓｉ）としてＳ１が対応付けられている。光源番号（ｉ）が２の光源Ｌ２に、偏光方向（φｉ）としてφ２が対応付けられ、光源方向（Ｓｉ）としてＳ２が対応付けられている。
　また、光源番号（ｉ）が３の光源Ｌ３に、偏光方向（φｉ）としてφ３が対応付けられ、光源方向（Ｓｉ）としてＳ３が対応付けられている。光源番号（ｉ）が４の光源Ｌ４に、偏光方向（φｉ）としてφ４が対応付けられ、光源方向（Ｓｉ）としてＳ４が対応付けられている。
［４．１．５．撮像部の構成］
　ここで、信号分離部５の説明を行う前に、図１０～図１２を参照して撮像部２の構成について説明する。図１０～図１２は、本開示に係る撮像部の説明図である。図１０に示すように、撮像部２は、複数の偏光照明２１，２２，２３，２４と、カメラ１０と、撮影制御部１２とを含む。
　各偏光照明２１，２２，２３，２４は、白色ＬＥＤである光源Ｌ１，Ｌ２，Ｌ３，Ｌ４と、それぞれ偏光方向が異なる偏光フィルタＦ１，Ｆ２，Ｆ３，Ｆ４とを含む。偏光フィルタＦ１，Ｆ２，Ｆ３，Ｆ４は、例えば、それぞれ偏光方向が０°，４５°，９０°，１３５°の光を選択的に透過させるフィルタである。
　カメラ１０は、偏光センサ１１を備える。偏光センサ１１は、図１１に示すように、複数の撮像素子が行列状に配列される画素アレイ１３と、各撮像素子に対応付けられた異なる偏光方向の光を選択的に撮像素子へ入射させる偏光フィルタ１４と、撮像素子毎に設けられるマイクロレンズ１５とを備える。
　偏光フィルタ１４には、図１２に示すように、各撮像素子と対向する位置に、４方向（０°，４５°，９０°，１３５°）のワイヤグリッドが配置された領域１４ａ，１４ｂ，１４ｃ，１４ｄが、例えば、ベイヤ配列と同様の配置で配列される。
　図１０へ戻り、撮影制御部１２は、複数の偏光照明２１，２２，２３，２４を全て同時に点灯させ、その後、カメラ１０によって被写体１００（図１参照）を撮像させた後、偏光照明２１，２２，２３，２４を消灯させる。
　また、撮影制御部１２は、動画撮像を行う場合には、複数の偏光照明２１，２２，２３，２４を全て同時に点灯させた状態で、カメラ１０による撮像を繰り返し行わせ、ユーザから撮像の停止指示があるまで、撮像を継続させる。撮影制御部１２は、動画撮像が終了した後に、偏光照明２１，２２，２３，２４を消灯させる。撮影制御部１２は、カメラ１０から撮像画像の画像データを取得して、後段の信号分離部５へ出力する。
［４．１．６．信号分離部］
　次に、図１３を参照して信号分離部について説明する。図１３は、本開示に係る信号分離部の構成例を示すブロック図である。図１３に示すように、本開示に係る信号分離部５は、前処理部５１と、偏光デモザイク部５２と、偏光モデル推定部５３と、偏光輝度算出部５４とを備える。
　前処理部５１は、カメラ１０から入力される画像データにおけるカメラ１０の出力輝度ｉ´のリニア化と、シェーディング補正とを行う。前処理部５１は、下記式（２）を使用して出力輝度ｉ´のリニア化を行う。
Figure JPOXMLDOC01-appb-M000002
 　前処理部５１は、式（２）に示すように、各画素の出力輝度ｊｘ，ｙに、カメラ１０の特性関数の逆変換関数を適用することによってリニア化した出力輝度ｊ´ｘ，ｙを算出する。
　また、前処理部５１は、下記式（３）を使用してシェーディング補正を行う。
Figure JPOXMLDOC01-appb-M000003
 　前処理部５１は、式（３）に示すように、リニア化した各出力輝度ｊ´ｘ，ｙを図５に示す画像Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４における対応する画素の輝度ｌ１ｌ２・・・ｌＭによって除算することによってシェーディング補正した出力輝度ｊ´´ｘ，ｙを算出する。
　偏光デモザイク部５２は、各画素に割り当てられた０°，４５°，９０°，１３５°の各方向のデータから、各画素ごとにこれら４方向のデータを求める（ｊ´´´ｘ，ｙ（０），ｊ´´´ｘ，ｙ（４５），ｊ´´´ｘ，ｙ（９０），ｊ´´´ｘ，ｙ（１３５））。
　図１４は、本開示に係る偏光デモザイク処理の説明図である。例えば、図１４に示すように、偏光センサ１１によって撮像された画像Ｉ３０における各９０°の偏光方向のデータを求める場合、下記式（４）を使用する。
Figure JPOXMLDOC01-appb-M000004
 　偏光デモザイク部５２は、式（４）に示すように、９０°のワイヤグリッド（図１２参照）が設けられた撮像素子のデータａ，ｂ，ｃ，ｄを用いて、Ａ，Ｂ，Ｃのデータを算出して補完することにより、偏光デモザイク処理を行った画像Ｉ３１のデータを算出する。
　偏光デモザイク部５２は、０°，４５°，１３５°の偏光方向のデータについても同様の手法によって各画素毎のデータを算出する。図１３に戻り、偏光デモザイク部５２は、算出したデータ（ｊ´´´ｘ，ｙ（０），ｊ´´´ｘ，ｙ（４５），ｊ´´´ｘ，ｙ（９０），ｊ´´´ｘ，ｙ（１３５））を偏光モデル推定部５３へ出力する。
　偏光モデル推定部５３は、偏向角と輝度との対応関係を示す偏光モデルを推定する。図１５は、本開示に係る偏光モデルの一例を示す説明図である。偏光モデル推定部５３は、各画素ごとに求められた偏光センサデータ（ｊ´´´ｘ，ｙ（０），ｊ´´´ｘ，ｙ（４５），ｊ´´´ｘ，ｙ（９０），ｊ´´´ｘ，ｙ（１３５））を用いて、図１５に示す偏光モデルを推定する。信号分離部５は、かかる偏光モデルを使用することによって、任意の偏向角（α）の場合の輝度I（α）を推定することができる。
　図１５に示す偏光モデルは、式で表すと下記式（５）のようになる。
Figure JPOXMLDOC01-appb-M000005
 　偏光モデル推定部５３は、撮影データであるI（α１），・・・，I（αM）から、上記式（５）における未知パラメータであるIｍａｘ，Iｍｉｎ，ψを求める。
　上記式（５）は、行列で表すと下記式（６）のようになる。
Figure JPOXMLDOC01-appb-M000006
　そして、式（６）における既知行列をＡ、未知パラメータをｘ、撮影データをｂとすると、式（６）は、下記式（７）のようになる。
Figure JPOXMLDOC01-appb-M000007
　そして、既知行列をＡの逆行列Ａ－１を用いて式（７）を変形すると、下記（８）のようになり、
Figure JPOXMLDOC01-appb-M000008
 　これにより、偏光モデル推定部５３は、下記式（９）によって未知パラメータIｍａｘ，Iｍｉｎ，ψを求めることができる。
Figure JPOXMLDOC01-appb-M000009
　偏光輝度算出部５４は、偏光モデル推定部５３によって求められた未知パラメータIｍａｘ，Iｍｉｎ，ψ、式（５）を用いて、各光源Ｌ１，Ｌ２，Ｌ３，Ｌ４に対応した偏光方向で照明した場合の画像輝度（ｉ＝Ｉ（φ１）～（φ４））を、画素毎に求める。このとき、偏光輝度算出部５４は、光源方向／偏光方向対応表５５内の偏光方向の角度を使用する。
［５．法線算出部］
　次に、図１６を参照して法線算出部６による法線算出方法について説明する。図１６は、本開示に係る法線算出方法の説明図である。
　法線算出部６は、図１６に示すように、例えば、３個の光源Ｌ１，Ｌ２，Ｌ３がある場合、光源方向／偏光方向対応表５５内の光源方向に対応する光源ベクトルＳｉ、および偏光輝度算出部５４から入力される各画素の輝度ｉを使用し、下記式（１０）、（１２）の演算を行うことによって、画素毎に法線ベクトルｎを算出する。
　また、法線算出部６は、Ｍ個の光源Ｌ１，・・・，ＬＭがある場合、下記式（１１）、（１２）の演算を行うことによって、画素毎に法線ベクトルｎを算出する。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 　なお、本実施形態では、４個の光源Ｌ１，Ｌ２，Ｌ３，Ｌ４を使用しているため、式（１１）におけるＭは４となる。
［６．距離推定部］
　次に、距離推定部７について説明する。距離推定部７は、各画素ごとに求められた法線情報を用いて、各画素ごとに、ある基準点から対応する被写体上の点までの距離Ｚを算出する。距離推定部７は、例えば、フーリエ基底を用いた下記式（１３）で表されるＦｒａｎｋｏｔ－Ｃｈｅｌｌａｐｐａアルゴリズムを用いて距離Ｚを算出する。
Figure JPOXMLDOC01-appb-M000013
 　上記式（１３）におけるｐ，ｑは、法線算出部６によって算出された法線ベクトルｎのｘ成分，ｙ成分である。また、Ｆは、フーリエ変換、ξｘは、空間周波数（ｘ）であり、ξｘは、空間周波数（ｙ）である。
　距離推定部７は、予めある基準点を設定し、そこから勾配場を積分して被写体の形状（距離Ｚ）を推定する。このとき、距離推定部７は、勾配場と形状との微分が一致するように距離Ｚを算出する。
［７．撮像装置が実行する処理］
　次に、図１７～図１９を参照して本開示に係る撮像装置が実行する処理の一例について説明する。図１７～図１９は、本開示に係る撮像装置が実行する処理を示すフローチャートである。
　なお、図１７には、キャリブレーション部４が実行するキャリブレーション処理の一例を示している。図１８には、撮像装置が行う３次元形状測定処理の一例を示している。図１９には、３次元形状測定処理における信号分離処理の一例を示している。
　キャリブレーション処理を行う場合、図１７に示すように、キャリブレーション部４は、まず、カメラ特性（図３に示すカメラ１０の露光量と出力輝度との関係を示す特性関数）の逆変換関数を算出して記憶する（ステップＳ１０１）。続いて、キャリブレーション部４は、シェーディングデータ（図５参照）を取得して記憶する（ステップＳ１０２）。
　その後、キャリブレーション部４は、各光源（光源Ｌ１，Ｌ２，Ｌ３，Ｌ４）の光源方向を算出し（ステップＳ１０３）、各光源（光源Ｌ１，Ｌ２，Ｌ３，Ｌ４）の偏光方向を算出する（ステップＳ１０４）。そして、キャリブレーション部４は、各光源方向と偏光方向とを対応付けて光源方向／偏光方向対応表５５として記憶し（ステップＳ１０５）、キャリブレーション処理を終了する。
　３次元形状測定処理を行う場合、図１８に示すように、まず、撮像部２は、撮像処理を行う（ステップＳ２０１）。撮像処理では、撮像部２は、３次元形状の測定対象物に対して、複数の方向から偏光方向が異なる光を同時に照射し、偏光センサ１１によって測定対象物を撮像する。続いて、信号分離部５は、撮像部２によって撮像された画像から各偏光方向に対応する画像信号を分離する信号分離処理を行う（ステップＳ２０２）。
　ここで、図１９を参照して信号分離処理について説明する。信号分離処理では、図１９に示すように、信号分離部５は、まず、前処理を行う（ステップＳ３０１）。前処理では、信号分離部５は、カメラ特性の逆変換関数を使用して撮像画像におけるカメラ１０の出力輝度をリニア化し、シェーディングデータを使用して撮像画像のシェーディング補正を行う。
　続いて、信号分離部５は、偏光デモザイク処理を行う（ステップＳ３０２）。偏光デモザイク処理では、信号分離部５は、シェーディング補正後の撮像画像をデモザイク処理（図１４参照）して補完することにより、偏光方向毎の画像データを生成する。
　その後、信号分離部５は、偏光モデル推定処理を行う（ステップＳ３０３）。偏光モデル推定処理では、信号分離部５は、偏光方向毎の画像データ（画素毎の輝度）から偏光モデル（式（５））における未知のパラメータ（Iｍａｘ，Iｍｉｎ，ψ）を算出することによって、偏光モデルを推定する。
　続いて、信号分離部５は、偏光輝度算出処理を行う（ステップＳ３０４）。偏光輝度算出処理では、信号分離部５は、光源方向／偏光方向対応表５５に含まれる光源方向に対応する偏光方向と、偏光モデルとに基づいて、光源方向毎の画像における各画素の輝度を算出し、法線算出部６へ出力する。
　図１８へ戻り、信号分離処理が終了すると、法線算出部６は、法線算出処理を行う（ステップＳ２０３）。法線算出処理では、法線算出部６は、信号分離処理によって算出された光源方向毎の画像における各画素の輝度と、既知の光源方向とに基づいて、画素毎に測定対象物の表面における法線ベクトルを算出する。
　続いて、距離推定部７は、距離推定処理を行う（ステップＳ２０４）。距離推定処理では、距離推定部７は、法線算出処理によって算出された画素毎の法線ベクトルを用いて、画素毎に所定の基準点から測定対象物上の点までの距離を算出することによって、測定対象物の３次元形状を測定する。
［８．カメラの変形例］
　次に、図２０を参照してカメラ１０の変形例について説明する。図２０は、本開示に係るカメラの変形例を示す説明図である。変形例に係るカメラは、図２０に示す偏光センサ１０Ａを備える。
　偏光センサ１０Ａは、ビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄと、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄと、偏光フィルタ１１ａ，１１ｂ，１１ｃ，１１ｄとを備える。
　ビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄは、入射光を複数の光線に分割する。イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄは、各光線を受光する。偏光フィルタ１１ａ，１１ｂ，１１ｃ，１１ｄは、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄとビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄとの間に設けられ、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄ毎に偏光方向が異なる。
　偏光フィルタ１１ａは、例えば、偏光角度が０°の光を選択的に透過させる。偏光フィルタ１１ｂは、例えば、偏光角度が４５°の光を選択的に透過させる。偏光フィルタ１１ｃは、例えば、偏光角度が９０°の光を選択的に透過させる。偏光フィルタ１１ｄは、例えば、偏光角度が１３５°の光りを選択的に透過させる。
　これにより、イメージセンサ１０ａは、偏光角度が０°の光だけが当てられた被写体の画像を撮像することができる。イメージセンサ１０ｂは、偏光角度が４５°の光だけが当てられた被写体の画像を撮像することができる。イメージセンサ１０ｃは、偏光角度が９０°の光だけが当てられた被写体の画像を撮像することができる。イメージセンサ１０ｄは、偏光角度が１３５°の光だけが当てられた被写体の画像を撮像することができる。
　撮像装置１は、偏光センサ１１に代えて図２０に示す偏光センサ１０Ａを備えることにより、偏光デモザイク部５２が行う偏光デモザイク処理が不要となるため、処理負荷を低減することが可能となる。
［９．効果］
　撮像装置は、撮像部２と、信号分離部５と、法線算出部６と、距離推定部７とを有する。撮像部２は、被写体１００へ照射する光の偏光方向が異なる複数の偏光照明２１，２２，２３，２４と偏光センサ１１とを備え、複数の偏光照明２１，２２，２３，２４から同時に光が照射される被写体１００の画像を撮像する。信号分離部５は、撮像部２によって撮像される画像から各偏光方向に対応する画素信号を分離して偏光方向毎の画像を生成する。法線算出部６は、偏光方向毎の画像から照度差ステレオ法によって被写体の表面における法線を算出する。距離推定部７は、法線算出部によって算出される法線に基づいて被写体の形状を推定する。これにより、撮像装置１は、動物体の３次元形状を正確に測定することができる。
　撮像装置１は、各偏光照明２１，２２，２３，２４、当該偏光照明２１，２２，２３，２４によって照射される光の偏光方向、および当該偏光照明２１，２２，２３，２４の被写体１００に対する方向が対応付けられた対応情報である光源方向／偏光方向対応表５５を記憶する記憶部をさらに備える。信号分離部５は、偏光方向毎の画像における各画素の輝度に基づいて、任意の偏光方向と当該偏光方向の光が照射された被写体の画像における各画素の輝度との対応関係を示す偏光モデルを推定し、偏光モデルと対応情報とに基づいて偏光照明２１，２２，２３，２４毎の画像における各画素の輝度を算出する。これにより、撮像装置１は、各偏光照明２１，２２，２３，２４毎の画像における各画素の正確な輝度を算出することができる。
　法線算出部６は、偏光照明２１，２２，２３，２４毎の画像における各画素の輝度と対応情報とに基づいて、被写体１００の表面における法線を算出する。これにより、撮像装置１は、より正確な法線を算出することができる。
　複数の偏光照明２１，２２，２３，２４は、それぞれ偏光方向が異なる偏光フィルタＦ１、Ｆ２、Ｆ３、Ｆ４が光源Ｌ１、Ｌ２、Ｌ３、Ｌ４の光出射面に設けられる。これにより、撮像装置１は、例えば、白色に発光する光源と、光源に設ける偏光フィルタが透過させる光の偏向方向の数を増やすだけで、コストを増大させることなく、光源方向の数を増加させることができる。
　偏光センサ１１は、画素アレイ１３と、偏光フィルタ１４とを有する。画素アレイ１３は、複数の撮像素子が行列状に配列される。偏光フィルタ１４は、撮像素子に対応付けられた異なる偏光方向の光を選択的に撮像素子へ入射させる。これにより、撮像装置１は、一つの画素アレイ１３によって、偏光方向が異なる複数の光毎の画像を撮像することができる。
　偏光センサ１１は、ビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄと、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄと、偏光フィルタ１１ａ，１１ｂ，１１ｃ，１１ｄとを有する。ビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄは、入射光を複数の光線に分割する。イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄは、各光線を受光する。偏光フィルタ１１ａ，１１ｂ，１１ｃ，１１ｄは、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄとビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄとの間に設けられ、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄ毎に偏光方向が異なる。これにより、撮像装置１は、偏光デモザイク処理が不要となるため、処理負荷を低減することが可能となる。
　撮像方法は、コンピュータが、被写体１００へ照射する光の偏光方向が異なる複数の照明から同時に光が照射される被写体の画像を偏光センサ１１によって撮像し、偏光センサ１１によって撮像される画像から各偏光方向に対応する画素信号を分離して偏光方向毎の画像を生成し、偏光方向毎の画像から照度差ステレオ法によって被写体の表面における法線を算出し、法線に基づいて被写体の形状を推定することを含む。これにより、撮像方法は、動物体の３次元形状を正確に測定することができる。
　情報処理装置３は、記憶部と、信号分離部５と、法線算出部６と、距離推定部７とを有する。記憶部は、被写体１００へ照射する光の偏光方向が異なる複数の偏光照明２１，２２，２３，２４、当該偏光照明２１，２２，２３，２４によって照射される光の偏光方向、および当該偏光照明２１，２２，２３，２４の被写体に対する方向が対応付けられた対応情報である光源方向／偏光方向対応表５５を記憶する。信号分離部５は、複数の偏光照明２１，２２，２３，２４から同時に光が照射される被写体１００が偏光センサ１１によって撮像された画像から各偏光方向に対応する画素信号を分離して対応情報に基づいて照明毎の画像を生成する。法線算出部６は、偏光照明２１，２２，２３，２４毎の画像から照度差ステレオ法によって被写体１００の表面における法線を算出する。距離推定部７は、法線算出部６によって算出される法線に基づいて被写体１００の形状を推定する。これにより、情報処理装置３は、動物体の３次元形状を正確に測定することができる。
　情報処理方法は、コンピュータが、被写体１００へ照射する光の偏光方向が異なる複数の照明２１，２２，２３，２４、当該照明２１，２２，２３，２４によって照射される光の偏光方向、および当該偏光照明２１，２２，２３，２４の被写体１００に対する方向が対応付けられた対応情報である光源方向／偏光方向対応表５５を記憶し、複数の偏光照明２１，２２，２３，２４から同時に光が照射される被写体１００が偏光センサ１１によって撮像された画像から各偏光方向に対応する画素信号を分離して対応情報に基づいて偏光照明２１，２２，２３，２４毎の画像を生成し、偏光照明２１，２２，２３，２４毎の画像から照度差ステレオ法によって被写体１００の表面における法線を算出し、法線に基づいて被写体１００の形状を推定することを含む。これにより、情報処理方法は、動物体の３次元形状を正確に測定することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　被写体へ照射する光の偏光方向が異なる複数の照明と偏光センサとを備え、前記複数の照明から同時に光が照射される前記被写体の画像を撮像する撮像部と、
　前記撮像部によって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成する分離部と、
　前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する算出部と、
　前記算出部によって算出される法線に基づいて前記被写体の形状を推定する推定部と
　を有する撮像装置。
（２）
　各前記照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶する記憶部
　をさらに備え、
　前記分離部は、
　前記偏光方向毎の画像における各画素の輝度に基づいて、任意の偏光方向と当該偏光方向の光が照射された被写体の画像における各画素の輝度との対応関係を示す偏光モデルを推定し、前記偏光モデルと前記対応情報とに基づいて前記照明毎の画像における各画素の輝度を算出する
　前記（１）に記載の撮像装置。
（３）
　前記算出部は、
　前記照明毎の画像における各画素の輝度と前記対応情報とに基づいて、前記被写体の表面における法線を算出する
　前記（２）に記載の撮像装置。
（４）
　前記複数の照明は、
　それぞれ偏光方向が異なる偏光フィルタが光源の光出射面に設けられる
　前記（１）から（３）のいずれかに記載の撮像装置。
（５）
　前記偏光センサは、
　複数の撮像素子が行列状に配列される画素アレイと、
　前記撮像素子に対応付けられた異なる偏光方向の光を選択的に前記撮像素子へ入射させる偏光フィルタと
　を有する前記（１）から（４）のいずれかに記載の撮像装置。
（６）
　前記偏光センサは、
　入射光を複数の光線に分割するビームスプリッタと、
　各光線を受光するイメージセンサと、
　前記イメージセンサと前記ビームスプリッタとの間に設けられ、前記イメージセンサ毎に偏光方向が異なる偏光フィルタと
　を有する前記（１）から（４）のいずれかに記載の撮像装置。
（７）
　コンピュータが、
　被写体へ照射する光の偏光方向が異なる複数の照明から同時に光が照射される前記被写体の画像を偏光センサによって撮像し、
　前記偏光センサによって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成し、
　前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出し、
　前記法線に基づいて前記被写体の形状を推定する
　ことを含む撮像方法。
（８）
　被写体へ照射する光の偏光方向が異なる複数の照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶する記憶部と、
　前記複数の照明から同時に光が照射される前記被写体が偏光センサによって撮像された画像から各前記偏光方向に対応する画素信号を分離して前記対応情報に基づいて前記照明毎の画像を生成する分離部と、
　前記照明毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する算出部と、
　前記算出部によって算出される法線に基づいて前記被写体の形状を推定する推定部と
　を有する情報処理装置。
（９）
　コンピュータが、
　被写体へ照射する光の偏光方向が異なる複数の照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶し、
　前記複数の照明から同時に光が照射される前記被写体が偏光センサによって撮像された画像から各前記偏光方向に対応する画素信号を分離して前記対応情報に基づいて前記照明毎の画像を生成し、
　前記照明毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出し、
　前記法線に基づいて前記被写体の形状を推定する
　ことを含む情報処理方法。
　１　撮像装置
　２　撮像部
　３　情報処理装置
　４　キャリブレーション部
　５　信号分離部
　６　法線算出部
　７　距離推定部
　１０　カメラ
　１１　偏光センサ
　１２　撮影制御部
　５１　前処理部
　５２　偏光デモザイク部
　５３　偏光モデル推定部
　５４　偏光輝度算出部
　５５　光源方向／偏光方向対応表

Claims (9)

  1. 　被写体へ照射する光の偏光方向が異なる複数の照明と偏光センサとを備え、前記複数の照明から同時に光が照射される前記被写体の画像を撮像する撮像部と、
    　前記撮像部によって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成する分離部と、
    　前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する算出部と、
    　前記算出部によって算出される法線に基づいて前記被写体の形状を推定する推定部と
    　を有する撮像装置。
  2. 　各前記照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶する記憶部
    　をさらに備え、
    　前記分離部は、
    　前記偏光方向毎の画像における各画素の輝度に基づいて、任意の偏光方向と当該偏光方向の光が照射された被写体の画像における各画素の輝度との対応関係を示す偏光モデルを推定し、前記偏光モデルと前記対応情報とに基づいて前記照明毎の画像における各画素の輝度を算出する
    　請求項１に記載の撮像装置。
  3. 　前記算出部は、
    　前記照明毎の画像における各画素の輝度と前記対応情報とに基づいて、前記被写体の表面における法線を算出する
    　請求項２に記載の撮像装置。
  4. 　前記複数の照明は、
    　それぞれ偏光方向が異なる偏光フィルタが光源の光出射面に設けられる
    　請求項１に記載の撮像装置。
  5. 　前記偏光センサは、
    　複数の撮像素子が行列状に配列される画素アレイと、
    　前記撮像素子に対応付けられた異なる偏光方向の光を選択的に前記撮像素子へ入射させる偏光フィルタと
    　を有する請求項１に記載の撮像装置。
  6. 　前記偏光センサは、
    　入射光を複数の光線に分割するビームスプリッタと、
    　各光線を受光するイメージセンサと、
    　前記イメージセンサと前記ビームスプリッタとの間に設けられ、前記イメージセンサ毎に偏光方向が異なる偏光フィルタと
    　を有する請求項１に記載の撮像装置。
  7. 　コンピュータが、
    　被写体へ照射する光の偏光方向が異なる複数の照明から同時に光が照射される前記被写体の画像を偏光センサによって撮像し、
    　前記偏光センサによって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成し、
    　前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出し、
    　前記法線に基づいて前記被写体の形状を推定する
    　ことを含む撮像方法。
  8. 　被写体へ照射する光の偏光方向が異なる複数の照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶する記憶部と、
    　前記複数の照明から同時に光が照射される前記被写体が偏光センサによって撮像された画像から各前記偏光方向に対応する画素信号を分離して前記対応情報に基づいて前記照明毎の画像を生成する分離部と、
    　前記照明毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する算出部と、
    　前記算出部によって算出される法線に基づいて前記被写体の形状を推定する推定部と
    　を有する情報処理装置。
  9. 　コンピュータが、
    　被写体へ照射する光の偏光方向が異なる複数の照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶し、
    　前記複数の照明から同時に光が照射される前記被写体が偏光センサによって撮像された画像から各前記偏光方向に対応する画素信号を分離して前記対応情報に基づいて前記照明毎の画像を生成し、
    　前記照明毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出し、
    　前記法線に基づいて前記被写体の形状を推定する
    　ことを含む情報処理方法。
PCT/JP2020/045246 2019-12-13 2020-12-04 撮像装置、情報処理装置、撮像方法、および情報処理方法 Ceased WO2021117633A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/756,776 US12293534B2 (en) 2019-12-13 2020-12-04 Imaging device, information processing device, imaging method, and information processing method
CN202080079371.7A CN114731368B (zh) 2019-12-13 2020-12-04 成像装置、信息处理装置、成像方法和信息处理方法
JP2021563921A JP7447916B2 (ja) 2019-12-13 2020-12-04 撮像装置、情報処理装置、撮像方法、および情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-225887 2019-12-13
JP2019225887 2019-12-13

Publications (1)

Publication Number Publication Date
WO2021117633A1 true WO2021117633A1 (ja) 2021-06-17

Family

ID=76330334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045246 Ceased WO2021117633A1 (ja) 2019-12-13 2020-12-04 撮像装置、情報処理装置、撮像方法、および情報処理方法

Country Status (4)

Country Link
US (1) US12293534B2 (ja)
JP (1) JP7447916B2 (ja)
CN (1) CN114731368B (ja)
WO (1) WO2021117633A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021117232A (ja) * 2020-01-27 2021-08-10 コグネックス・コーポレイション 複数タイプの光を用いるビジョン検査のためのシステム及び方法
JP2022100524A (ja) * 2020-12-24 2022-07-06 オムロン株式会社 検査システムおよび検査方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024256008A1 (en) * 2023-06-15 2024-12-19 Hexagon Technology Center Gmbh Measuring system for measuring a surface of an object or skin of a person

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140118502A1 (en) * 2011-07-13 2014-05-01 Dongguk University Gyeongju Campus Industry-Academy Cooperation Foundation System and method for extracting a 3d shape of a hot metal surface
US20140168382A1 (en) * 2011-06-22 2014-06-19 Dongguk University Gyeongju Campus Industry-Academy Cooperation Foundation Method and system for reliable 3d shape extraction of metal surface
JP2018073122A (ja) * 2016-10-28 2018-05-10 キヤノン株式会社 画像処理装置および画像処理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044507B (zh) 2005-09-01 2010-08-18 松下电器产业株式会社 图像处理方法以及图像处理装置
JP2007206797A (ja) 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
CN101422035B (zh) * 2006-05-29 2012-02-29 松下电器产业株式会社 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法
JP4435867B2 (ja) * 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
CN101960859B (zh) * 2008-07-08 2013-04-10 松下电器产业株式会社 图像处理方法、图像处理装置、图像合成方法和图像合成装置
WO2010073547A1 (ja) 2008-12-25 2010-07-01 パナソニック株式会社 画像処理装置及び擬似立体画像生成装置
EP2223650A1 (en) * 2009-02-25 2010-09-01 The Provost, Fellows and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth near Dublin Method and apparatus for imaging tissue topography
CN103037752B (zh) * 2010-09-24 2015-05-13 松下电器产业株式会社 图像处理装置
JP2012143363A (ja) 2011-01-11 2012-08-02 Panasonic Corp 画像処理装置
JP5503573B2 (ja) * 2011-02-21 2014-05-28 日本放送協会 撮像装置および画像処理情報生成プログラム
WO2013080658A1 (ja) * 2011-11-29 2013-06-06 オリンパスメディカルシステムズ株式会社 偏光観察装置
CN103826530B (zh) * 2012-07-25 2015-12-30 松下电器产业株式会社 摄像系统
US20170065178A1 (en) * 2014-03-12 2017-03-09 Sony Corporation Measurement device and measurement method
JP6432968B2 (ja) * 2014-06-26 2018-12-05 国立大学法人岐阜大学 物体形状推定装置及びプログラム
JP6673327B2 (ja) * 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
CN107533370B (zh) * 2015-04-30 2021-05-11 索尼公司 图像处理设备、图像处理方法和程序
WO2017013913A1 (ja) * 2015-07-17 2017-01-26 ソニー株式会社 視線検出装置、アイウェア端末、視線検出方法及びプログラム
JP6556013B2 (ja) * 2015-10-08 2019-08-07 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP6679289B2 (ja) * 2015-11-30 2020-04-15 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体
WO2018017897A1 (en) * 2016-07-20 2018-01-25 Mura Inc. Systems and methods for 3d surface measurements
CN108267896A (zh) * 2016-12-30 2018-07-10 深圳超多维光电子有限公司 偏振成像装置和方法
US10108261B1 (en) * 2017-07-05 2018-10-23 Oculus Vr, Llc Eye tracking based on light polarization
JP7103357B2 (ja) * 2017-07-26 2022-07-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP6892603B2 (ja) * 2017-12-07 2021-06-23 富士通株式会社 距離計測装置、距離計測方法および距離計測プログラム
CN109285213A (zh) * 2018-07-18 2019-01-29 西安电子科技大学 全方位偏振三维重建方法
JP7236854B2 (ja) * 2018-12-11 2023-03-10 キヤノン株式会社 形状情報取得装置および形状情報取得方法、プログラム並びに記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168382A1 (en) * 2011-06-22 2014-06-19 Dongguk University Gyeongju Campus Industry-Academy Cooperation Foundation Method and system for reliable 3d shape extraction of metal surface
US20140118502A1 (en) * 2011-07-13 2014-05-01 Dongguk University Gyeongju Campus Industry-Academy Cooperation Foundation System and method for extracting a 3d shape of a hot metal surface
JP2018073122A (ja) * 2016-10-28 2018-05-10 キヤノン株式会社 画像処理装置および画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021117232A (ja) * 2020-01-27 2021-08-10 コグネックス・コーポレイション 複数タイプの光を用いるビジョン検査のためのシステム及び方法
JP7413293B2 (ja) 2020-01-27 2024-01-15 コグネックス・コーポレイション 複数タイプの光を用いるビジョン検査のためのシステム及び方法
JP2022100524A (ja) * 2020-12-24 2022-07-06 オムロン株式会社 検査システムおよび検査方法
JP7686965B2 (ja) 2020-12-24 2025-06-03 オムロン株式会社 検査システムおよび検査方法

Also Published As

Publication number Publication date
US12293534B2 (en) 2025-05-06
CN114731368A (zh) 2022-07-08
CN114731368B (zh) 2024-07-16
US20230342963A1 (en) 2023-10-26
JP7447916B2 (ja) 2024-03-12
JPWO2021117633A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
Feng et al. General solution for high dynamic range three-dimensional shape measurement using the fringe projection technique
CN104634276B (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
JP7447916B2 (ja) 撮像装置、情報処理装置、撮像方法、および情報処理方法
JP6478713B2 (ja) 計測装置および計測方法
JP7056131B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP5948496B2 (ja) ３次元形状測定装置の高さ測定方法
JP6556013B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2016038315A (ja) 計測装置、基板検査装置、及びその制御方法
CN104634277A (zh) 拍摄设备和方法、三维测量系统、深度计算方法和设备
JP2009025189A (ja) 計測器
JP2022177166A (ja) 検査方法、プログラム、及び、検査システム
WO2019066724A1 (en) LIGHT PROJECTION SYSTEMS
KR101766468B1 (ko) 트리플 주파수 패턴을 이용한 3차원 형상 측정 방법
CN114689604B (zh) 具有光滑表面的待测物于光学检测上的影像处理方法及其检测系统
JP2018116032A (ja) 被計測物の形状を計測する計測装置
JPWO2017168477A1 (ja) 撮像装置および画像処理方法
KR20130064564A (ko) 역구배를 가지는 대상물체의 입체형상 측정 장치
US20200250847A1 (en) Surface reconstruction of an illuminated object by means of photometric stereo analysis
JP6432968B2 (ja) 物体形状推定装置及びプログラム
JP2010078339A (ja) ３次元形状計測装置および方法並びにプログラム
US20250047986A1 (en) Method and arrangements for obtaining and associating multispectral 2d image data with 3d image data from light triangulation
KR101750883B1 (ko) 비전 검사 시스템의 3차원 형상 측정 방법
KR101223800B1 (ko) Ｒｇｂ 컬러가 적용된 모아레를 이용한 형상 측정장치
JP2011252835A (ja) 三次元形状計測装置
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20898419

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563921

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20898419

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17756776

Country of ref document: US