[go: up one dir, main page]

WO2019207886A1 - 情報処理装置と情報処理方法およびプログラム - Google Patents

情報処理装置と情報処理方法およびプログラム Download PDF

Info

Publication number
WO2019207886A1
WO2019207886A1 PCT/JP2019/003391 JP2019003391W WO2019207886A1 WO 2019207886 A1 WO2019207886 A1 WO 2019207886A1 JP 2019003391 W JP2019003391 W JP 2019003391W WO 2019207886 A1 WO2019207886 A1 WO 2019207886A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
information
degree
object surface
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/003391
Other languages
English (en)
French (fr)
Inventor
哲平 栗田
俊 海津
康孝 平澤
雄飛 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US17/048,762 priority Critical patent/US11847762B2/en
Publication of WO2019207886A1 publication Critical patent/WO2019207886A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Definitions

  • This technology makes it possible to acquire object surface information that is robust against noise with respect to an information processing apparatus, an information processing method, and a program.
  • a polarization image is used to detect the surface shape of a subject.
  • the degree of polarization is calculated from a polarization image, and based on the degree of polarization, a shadow region caused by the subject's normal line not facing the light source and the light that is blocked by the shield are generated. Discrimination from the area is performed.
  • the object surface information such as the degree of polarization acquired from the polarization image is affected by the noise, and there is a possibility that the accuracy of processing using the object surface information is reduced.
  • the information processing apparatus includes an information correction unit that corrects object surface information calculated based on polarization information according to a noise amount of the polarization information.
  • the noise amount calculation unit calculates the noise amount of the polarization information for each pixel based on the noise variance generated in the polarization imaging unit that acquired the polarization information.
  • the information correction unit calculates the object surface information, for example, the degree of polarization of the object surface, the zenith angle, or the reflection component for each pixel based on the polarization information, and the calculated object surface information is calculated by the noise amount calculation unit. Correct according to the amount of noise.
  • the correction of the object surface information is performed based on change characteristic information indicating a change in the object surface information according to the amount of noise.
  • the object surface information is a degree of polarization or a specular reflection component
  • the information correction unit has, as characteristic information, a table showing the object surface information after change according to the amount of noise for each amount of noise for each degree of polarization.
  • the noise amount calculated by the noise amount calculation unit the object surface information before change corresponding to the object surface information after change that minimizes the difference from the object surface information calculated based on the polarization information is corrected. It is object surface information.
  • the object surface information is the zenith angle
  • the information correction unit has a table indicating the change in the degree of polarization according to the amount of noise for each zenith angle as change characteristic information, and is calculated by the noise amount calculation unit.
  • the zenith angle corresponding to the degree of polarization that minimizes the difference from the degree of polarization calculated based on the polarization information in the amount of noise is defined as the corrected zenith angle.
  • the information correction unit corrects the object surface information corrected using the correction gain set based on the object surface information calculated based on the noise amount calculated by the noise amount calculation unit and the polarization information.
  • the object surface information may be used.
  • the noise amount calculation unit calculates the ratio of the average luminance value of the polarization information with respect to the dispersion of the noise of the polarization information as the noise amount.
  • the object surface information is a degree of polarization or a specular reflection component
  • the information correction unit corrects a DC component obtained by smoothing the object surface information calculated based on the polarization information according to the amount of noise.
  • the information correction unit uses the difference between the object surface information calculated based on the polarization information and the direct current component as an alternating current component of the object surface information, and adds the alternating current component and the direct current component corrected according to the amount of noise. The result may be corrected object surface information.
  • the object surface information is the zenith angle
  • the information correction unit calculates the zenith angle with respect to the degree of polarization that minimizes the difference from the direct current component obtained by smoothing the degree of polarization calculated based on the polarization information.
  • a corrected zenith angle a zenith angle corresponding to an alternating current component of the degree of polarization calculated based on polarization information may be added to the zenith angle to obtain a corrected zenith angle.
  • the information processing apparatus calculates a non-polarized component from the polarization imaging unit that acquires polarization information, the normal information generation unit that generates normal information based on the object surface information corrected by the information correction unit, or the polarization information.
  • a diffuse reflection calculation unit that calculates a diffuse reflection component by subtracting the specular reflection component corrected by the information correction unit from the non-polarized component may be further provided.
  • An information processing method includes correcting object surface information calculated based on polarization information by an information correction unit according to a noise amount of the polarization information.
  • the third aspect of this technology is A program that causes a computer to calculate object surface information based on polarization information, A program for causing a computer to execute a procedure for correcting object surface information calculated based on the polarization information according to a noise amount of the polarization information.
  • the program of the present technology is, for example, a storage medium or a communication medium provided in a computer-readable format to a general-purpose computer that can execute various program codes, such as an optical disk, a magnetic disk, or a semiconductor memory. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer.
  • the amount of noise in the polarization information is calculated, and the object surface information calculated based on the polarization information is corrected according to the calculated amount of noise. Therefore, object surface information that is robust against noise can be acquired. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 exemplifies a system configuration using an information processing apparatus of the present technology.
  • the information acquisition system 10 includes a polarization imaging unit 20 and an information processing unit 30.
  • the polarization imaging unit 20 acquires different polarization images having polarization directions of at least three directions (which may include non-polarization in the polarization direction) and outputs the acquired polarization images to the information processing unit 30.
  • FIG. 2 illustrates the configuration of a polarization imaging unit that acquires a polarization image.
  • the polarization imaging unit 20 arranges a polarization filter 202 having a plurality of polarization direction pixel configurations on an image sensor 201 provided with a mosaic filter (not shown) on the imaging surface. It has been configured.
  • By performing imaging using the polarization imaging unit 20 having such a configuration it is possible to acquire a polarization image having polarization components in a plurality of directions.
  • FIG. 2A illustrates the case where a polarizing filter 202 serving as a pixel in any of four different polarization directions (polarization directions are indicated by arrows) is arranged on the front surface of the image sensor 201.
  • FIG. 2B the polarization imaging unit 20 may generate a polarization image having polarization components in a plurality of directions by using the configuration of the multi-lens array.
  • a plurality (four in the figure) of lenses 203 are provided on the front surface of the image sensor 201, and an optical image of a subject is formed on the imaging surface of the image sensor 201 by each lens 203.
  • a polarizing plate 204 is provided on the front surface of each lens 203 so that the polarizing direction of the polarizing plate 204 is different. If the polarization imaging unit 20 is configured in this way, a polarization image having polarization components in a plurality of directions can be acquired by one imaging. Further, as shown in FIG. 2C, a configuration in which polarizing plates 212-1 to 212-4 having different polarization directions are provided in front of the imaging units 210-1 to 210-4, from a plurality of different viewpoints. A plurality of polarization images having different polarization directions may be generated.
  • the parallax can be ignored in a plurality of polarized images having different polarization directions. .
  • the polarization images having different polarization directions are aligned according to the parallax amount.
  • the information processing unit 30 corrects the object surface information calculated based on the polarization information acquired by the polarization imaging unit 20 according to the noise amount of the polarization information.
  • the information processing unit 30 calculates the polarization degree, the zenith angle, or the reflection component of the object surface as the object surface information from the polarization information, for example, the polarization image.
  • the information processing unit 30 corrects the calculated object surface information according to the amount of noise in the polarization image based on change characteristic information indicating a change in the object surface information according to the amount of noise.
  • FIG. 3 illustrates the configuration of the first embodiment.
  • the information processing unit 30 includes an interpolation processing unit 31, a polarization degree calculation unit 32, a noise amount calculation unit 33, and a polarization degree correction unit 34.
  • a zenith angle calculation unit 41 When the normal information is generated by the information processing unit 30, a zenith angle calculation unit 41, an azimuth angle calculation unit 43, and a normal information generation unit 44 may be further provided.
  • the interpolation processing unit 31 may be provided in the polarization imaging unit 20.
  • the polarization degree correction unit 34 corresponds to the information correction unit.
  • the interpolation processing unit 31 performs an interpolation process using an image signal of a polarization image made up of pixels for each of a plurality of polarization components generated by the polarization imaging unit 20, and generates a polarization image for each polarization component.
  • the pixel signal of the interpolation target pixel is calculated based on the pixel signal of the pixel of the same polarization component located in the vicinity of the interpolation target pixel.
  • the interpolation processing unit 31 outputs the generated polarization image for each polarization component to the polarization degree calculation unit 32, the noise amount calculation unit 33, and the azimuth angle calculation unit 43.
  • the polarization degree calculation unit 32 calculates the polarization degree based on the polarization image for each polarization component.
  • the relationship between the polarization image and the polarization degree will be described.
  • the light source LT is used to illuminate the subject OB
  • the imaging unit CM images the subject OB via the polarizing plate PL.
  • the luminance of the subject OB changes according to the polarization direction of the polarizing plate PL.
  • the highest luminance is Imax and the lowest luminance is Imin.
  • the x-axis and y-axis in the two-dimensional coordinates are on the plane of the polarizing plate PL, and the angle in the y-axis direction with respect to the x-axis is a polarization angle ⁇ indicating the polarization direction (transmission axis angle) of the polarizing plate PL.
  • the polarizing plate PL returns to the original polarization state when the polarization direction is rotated by 180 degrees, and has a period of 180 degrees.
  • the polarization angle ⁇ when the maximum luminance Imax is observed is defined as an azimuth angle ⁇ .
  • Equation (1) when the polarization direction of the polarizing plate PL is changed, the observed luminance I ( ⁇ ) can be expressed by the polarization model equation of Equation (1).
  • FIG. 5 illustrates the relationship between the luminance and the polarization angle.
  • Parameters a, b, and c in Expression (1) are parameters that express a Cos waveform due to polarized light.
  • Expression (1) is expressed as Expression (2)
  • the luminance I ( ⁇ ) becomes a matrix shown in Expression (3)
  • the coefficient A becomes a matrix shown in Expression (4). Therefore, the parameters a, b, and c are values calculated based on Expression (5).
  • the parameters a, b, and c can be calculated using the luminance values in the three polarization directions.
  • the degree of polarization calculation unit 32 calculates the degree of polarization ⁇ for each pixel based on Expression (6), and outputs it to the degree of polarization correction unit 34. Note that parameters a, b, and c in equation (6) are values calculated based on equation (5).
  • the noise amount calculation unit 33 calculates the noise amount based on the polarization image for each polarization component.
  • the noise amount calculation unit 33 calculates, as a noise amount, the variance of noise in the average luminance value of the polarization image for each polarization component, based on a preset noise model represented by, for example, Expression (7).
  • the average luminance value corresponds to the parameter c in Expression (5).
  • the coefficient “n0” is a coefficient used for calculating the variance of the shot noise distribution when the output from the image sensor 201 is an average luminance value.
  • the coefficient “n1” corresponds to the distribution of the thermal noise distribution of the image sensor 201.
  • the noise amount calculation unit 33 calculates the noise amount SNR for each pixel using the average luminance value (parameter c) and the variance ⁇ based on the equation (8). Note that the unit of the amount of noise shown in Expression (8) is decibels.
  • the noise amount calculation unit 33 may perform at least one of time direction and spatial direction filter processing so that the influence of noise can be reduced even if noise is superimposed on the average luminance value. For example, the average luminance value of a plurality of frames at the noise calculation target pixel position may be averaged to obtain the average luminance value of the noise calculation target pixel position. The average luminance value of pixels within a predetermined range with the noise calculation target pixel position as a reference May be averaged to obtain the average luminance value of the noise calculation target pixel position. As described above, the noise amount can be stably calculated by reducing the influence of noise on the average luminance value. The noise amount calculation unit 33 outputs the calculated noise amount to the polarization degree correction unit 34.
  • the polarization degree correction unit 34 corrects the polarization degree based on the polarization degree calculated by the polarization degree calculation unit 32 and the noise amount calculated by the noise amount calculation unit 33.
  • the polarization degree correction unit 34 has, as change characteristic information, a look-up table LUT [SNR] [ ⁇ ] indicating the degree of polarization after change corresponding to the noise amount for each noise amount.
  • the polarization degree correction unit 34 uses the degree of polarization (pin) calculated by the polarization degree calculation unit 32, the noise amount SNR calculated by the noise amount calculation unit 33, and the lookup table LUT [SNR] [ ⁇ ].
  • the corrected degree of polarization ⁇ out is output.
  • Formula (9) shows a generation formula of the lookup table LUT [SNR] [ ⁇ ].
  • the variable ⁇ in the equation (9) is a value calculated based on the equation (10), and I0 () and I1 () in the equation (9) and the equation (37) described later are shown in the equation (11).
  • it is the first type modified Bessel function.
  • FIG. 6 illustrates the lookup table LUT [SNR] [ ⁇ ].
  • the row direction indicates the polarization degree ⁇ before the change
  • the column direction indicates the noise amount SNR.
  • the polarization degree It shows the degree of polarization after change, which shows how it changes when ⁇ is the noise amount SNR.
  • the polarization degree correction unit 34 calculates the expression (12) by using the polarization degree ⁇ in calculated by the polarization degree calculation unit 32, the noise amount SNR calculated by the noise amount calculation unit 33, and the lookup table.
  • the degree of polarization before change corresponding to the degree of polarization after change that minimizes the difference from the calculated degree of polarization ⁇ in in the noise amount SNR is defined as the degree of polarization ⁇ out after correction.
  • the noise amount SNR calculated by the noise amount calculation unit 33 is SNRp
  • p rows in the lookup table LUT [SNR] [ ⁇ ] are used.
  • the difference between the polarization degree ⁇ pq and the polarization degree ⁇ in after the change is minimum in the p-th row
  • the polarization degree ⁇ q in the q column of the polarization degree ⁇ pq after the change is set as the corrected polarization degree ⁇ out.
  • the polarization degree correction unit 34 outputs the corrected degree of polarization to the zenith angle calculation unit 41. Since the degree of polarization ⁇ is calculated based on the above equation (6), if an error occurs in the parameters a and b due to noise, the error in the direction in which the degree of polarization ⁇ increases regardless of whether the error is positive or negative. Will occur. However, the degree of polarization correction unit 34 can output a degree of polarization with little error to the zenith angle calculation unit 41.
  • the zenith angle calculation unit 41 calculates the zenith angle using the corrected polarization degree supplied from the polarization degree correction unit 34.
  • the zenith angle calculation unit 41 calculates the zenith angle ⁇ based on the equation (13).
  • Expression (13) is a calculation expression when diffuse reflection is dominant, and parameters A, B, C, and D are calculated based on Expressions (14) to (17).
  • the parameter n is a relative refractive index.
  • the zenith angle calculation unit 41 calculates the zenith angle using equation (18).
  • parameters A and B are calculated based on Expressions (19) and (20).
  • Fig. 7 shows the relationship between the degree of polarization and the zenith angle.
  • the zenith angle since two zenith angles are calculated with respect to the degree of polarization, one of the zenith angles is used. For example, in selecting the zenith angle, information corresponding to the normal line may be calculated from information such as a distance sensor, and the zenith angle may be selected based on the calculation result. For example, the smaller zenith angle is selected so that the selection result is stable. You may always choose.
  • the azimuth angle calculation unit 43 calculates the azimuth angle based on the luminance value for each polarization direction.
  • the azimuth angle calculation unit 43 calculates the azimuth angle ⁇ based on the formula (21) when diffuse reflection is dominant, and the azimuth angle ⁇ based on the formula (22) when specular reflection is dominant. Is calculated.
  • parameters a, b, and c are values calculated based on equation (5).
  • the normal information generation unit 44 performs calculations of equations (23) to (25) using the zenith angle ⁇ calculated by the zenith angle calculation unit 41 and the azimuth angle ⁇ calculated by the azimuth angle calculation unit 43. As shown in FIG. 8, normal information indicating a normal three-dimensional vector (X, Y, Z) is generated.
  • X cos ⁇ ⁇ sin ⁇ (23)
  • Y sin ⁇ ⁇ sin ⁇ (24)
  • Z cos ⁇ (25)
  • FIG. 9 is a flowchart illustrating the operation of the first embodiment.
  • the information processing unit 30 acquires a polarization image.
  • the information processing unit 30 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST2.
  • step ST2 the information processing unit 30 performs an interpolation process.
  • the interpolation processing unit 31 of the information processing unit 30 performs an interpolation process using the polarization image acquired in step ST1, and generates a polarization image for each polarization component from a polarization image composed of pixels for each of the plurality of polarization components. Proceed to ST3.
  • step ST3 the information processing unit 30 performs a polarization degree calculation process.
  • the polarization degree calculation unit 32 of the information processing unit 30 performs the calculation of Expression (6) for each pixel using the polarization image for each polarization component, calculates the polarization degree ⁇ , and proceeds to step ST4.
  • step ST4 the information processing section 30 performs a noise amount calculation process.
  • the noise amount calculation unit 33 of the information processing unit 30 calculates the noise amount SNR for each pixel using the polarization image for each polarization component, and proceeds to step ST5.
  • step ST5 the information processing unit 30 performs polarization degree correction processing.
  • the polarization degree correction unit 34 of the information processing unit 30 uses a lookup table LUT [SNR] [ ⁇ ] stored in advance, based on the polarization degree calculated in step ST3 and the noise amount calculated in step ST4. Then, the corrected degree of polarization is acquired, and the process proceeds to step ST6.
  • step ST6 the information processing section 30 performs a zenith angle calculation process.
  • the zenith angle calculation unit 41 of the information processing unit 30 performs the calculation of Expression (13) for each pixel using the corrected polarization degree obtained in step ST5, and proceeds to the calculation step ST7.
  • step ST7 the information processing section 30 performs an azimuth calculation process.
  • the azimuth angle calculation unit 43 of the information processing unit 30 calculates the azimuth angle ⁇ by performing the calculation of Expression (21) using the polarization image for each polarization component, for example, assuming that diffuse reflection is dominant.
  • the azimuth angle ⁇ is calculated based on the equation (22).
  • the azimuth calculation unit 43 calculates the azimuth using the polarization image for each polarization component, and proceeds to step ST8.
  • step ST8 the information processing section 30 performs normal information generation processing.
  • the normal information generation unit 44 of the information processing unit 30 performs calculations of Expressions (23) to (25) using the zenith angle ⁇ calculated in step ST6 and the azimuth angle ⁇ calculated in step ST7, and normals
  • the normal information indicating the three-dimensional vector (X, Y, Z) is generated.
  • step ST3 or step ST4 may be performed first, and the degree of polarization and the amount of noise may be calculated by parallel processing. Further, the azimuth angle calculation process of step ST7 may be performed at any timing after the interpolation process and before the normal line information generation process. Furthermore, when the polarization image acquired in step ST1 is an image for each polarization direction, it is not necessary to perform the interpolation process in step ST2.
  • the degree of polarization in which the influence of noise is corrected based on the change characteristic information indicating the change in degree of polarization according to the amount of noise.
  • the degree of polarization ⁇ calculated based on Expression (6) if an error occurs in the parameters a and b due to noise, the error is increased in the direction in which the degree of polarization ⁇ increases, regardless of whether the error is positive or negative. Arise.
  • the polarization degree in which the influence of noise is corrected can be calculated, it is possible to generate accurate normal information using the corrected polarization degree.
  • Second Embodiment> Next, a second embodiment will be described. In the second embodiment, the configuration is simplified compared to the first embodiment.
  • the information processing unit 30 of the second embodiment has the same configuration as that of the first embodiment, and the operation of the polarization degree correction unit is different from that of the first embodiment.
  • the polarization degree correction unit 34 uses a correction gain function as change characteristic information indicating a change in the degree of polarization according to the amount of noise.
  • the polarization degree correction unit 34 uses a correction gain function to calculate a correction gain according to the noise amount SNR calculated by the noise amount calculation unit 33 and the degree of polarization (pin) calculated based on the polarization image by the polarization degree calculation unit 32. Based on g (SNR, ⁇ in), the degree of polarization ⁇ in is corrected using the calculated correction gain.
  • Equation (26) represents a correction equation for the degree of polarization.
  • Expression (27) represents the correction gain function g (SNR, ⁇ in), and the variable t is a value calculated based on Expression (28).
  • parameter th0 is a value calculated based on Expression (29)
  • parameter th1 is a value calculated based on Expression (30).
  • the operation of the second embodiment is the same as that of the first embodiment shown in FIG. 9, and the polarization degree correction process in step ST5 is different. That is, the degree of polarization correction unit 34 of the information processing unit 30 acquires the degree of polarization after correction using the degree of polarization calculated in step ST3, the amount of noise calculated in step ST4, and the correction gain function g (SNR, ⁇ in). To do.
  • the degree of polarization can be corrected using the correction gain function g (SNR, ⁇ in). Therefore, as in the first embodiment, the lookup table LUT [SNR] [ There is no need to store ⁇ ], and the configuration can be simplified as compared with the first embodiment.
  • the information processing unit 30 of the third embodiment has the same configuration as that of the second embodiment, and the operations of the noise calculation unit and the polarization degree correction unit are different from those of the second embodiment.
  • the noise amount calculation unit 33 calculates the noise amount based on the polarization image for each polarization component.
  • the noise amount calculation unit 33 may perform at least one of the filtering process in the time direction and the spatial direction so that the influence of the noise can be reduced even if the noise is superimposed on the average luminance value. Good.
  • the noise amount calculation unit 33 outputs the calculated noise amount to the polarization degree correction unit 34.
  • the polarization degree correction unit 34 performs the correction calculation of Expression (26) using the correction gain function g (SNR, ⁇ in) shown in Expression (27), and calculates the corrected degree of polarization ⁇ out. Further, since the noise amount SNR [ratio] calculated by the noise amount calculation unit 33 is the ratio of the average luminance value (parameter c) to the variance ⁇ , the calculation formula for the parameter th1 is the equation (32). Compared with the equation (30) in the embodiment, the parameter th1 can be easily calculated.
  • the operation of the third embodiment is the same as that of the first embodiment shown in FIG. 9, and the noise amount calculation process in step ST4 and the polarization degree correction process in step ST5 are different. That is, the noise amount calculation unit 33 of the information processing unit 30 calculates the ratio of the average luminance value to the dispersion as the noise amount SNR [ratio] , and the polarization degree correction unit 34 calculates the degree of polarization calculated in step ST3 and step ST4. The degree of polarization after correction is acquired using the noise amount SNR [ratio] calculated in step (b) and the correction gain function g (SNR, ⁇ in).
  • the calculation cost can be reduced as compared with the second embodiment by using the ratio of the average luminance value to the variance as the noise amount calculated by the noise amount calculation unit 33.
  • the fourth embodiment has a configuration that is more robust with respect to variations in the degree of polarization compared to the first to third embodiments.
  • the information processing unit 30 of the fourth embodiment has the same configuration as that of the second embodiment, and the operation of the polarization degree correction unit is different from that of the second embodiment.
  • the polarization degree correction unit 34 corrects the direct current component (DC component) obtained by smoothing the polarization degree ⁇ in calculated by the polarization degree calculation unit 32 according to the noise amount SNR. Further, the polarization degree correction unit 34 calculates the corrected degree of polarization ⁇ out by adding an alternating current component (AC component) of the degree of polarization to the corrected DC component. Equation (33) represents a correction equation for the degree of polarization.
  • any method may be used to calculate the DC component ⁇ dc of the degree of polarization ⁇ in, and the polarization degree correction unit 34 smoothes the degree of polarization using, for example, a Gaussian filter to calculate the DC component ⁇ dc.
  • FIG. 10 illustrates filter coefficients of the Gaussian filter, and the center position corresponds to the processing target pixel.
  • the degree of polarization correction unit 34 calculates the DC component ⁇ dc of the degree of polarization in the processing target pixel by adding the multiplication results of the degree of polarization and the filter coefficient and multiplying the addition result by the sum of the weights.
  • the operation of the fourth embodiment is the same as that of the first embodiment shown in FIG. 9, and the polarization degree correction process in step ST5 is different. That is, the polarization degree correction unit 34 of the information processing unit 30 corrects the DC component obtained by smoothing the polarization degree calculated in step ST3 based on the noise amount SNR calculated in step ST4, and the corrected DC component. Is added to the AC component to obtain the corrected polarization degree.
  • the fourth embodiment similarly to the first embodiment, it is possible to calculate the degree of polarization in which the influence of noise is corrected and to generate accurate normal information.
  • the DC component obtained by smoothing the polarization degree calculated by the polarization degree calculation unit 32 is corrected according to the amount of noise. Robust correction processing is possible.
  • FIG. 11 illustrates the configuration of the fifth embodiment.
  • the information processing unit 30 includes an interpolation processing unit 31, a degree of polarization calculation unit 32, a noise amount calculation unit 33, an error correction zenith angle calculation unit 42, an azimuth angle calculation unit 43, and a normal line information generation unit 44.
  • the error correction zenith angle calculation unit 42 corresponds to an information correction unit.
  • the interpolation processing unit 31 performs an interpolation process using the image signal of the polarization image composed of pixels for each of the plurality of polarization components generated by the polarization imaging unit 20, and performs the interpolation processing for each polarization component. A polarized image is generated.
  • the interpolation processing unit 31 outputs the generated polarization image for each polarization component to the polarization degree calculation unit 32, the noise amount calculation unit 33, and the azimuth angle calculation unit 43.
  • the polarization degree calculation unit 32 calculates the degree of polarization for each pixel based on the polarization image for each polarization component, and outputs it to the error correction zenith angle calculation unit 42 as in the first embodiment.
  • the noise amount calculation unit 33 calculates the noise amount for each pixel based on the polarization image for each polarization component, and outputs the noise amount to the error correction zenith angle calculation unit 42, as in the first embodiment.
  • the error correction zenith angle calculation unit 42 calculates the zenith angle in which the error is corrected based on the polarization degree calculated by the polarization degree calculation unit 32 and the noise amount calculated by the noise amount calculation unit 33.
  • the error correction zenith angle calculation unit 42 has a two-dimensional table TN [SNR] [ ⁇ ] indicating change in polarization degree according to the amount of noise for each zenith angle as change characteristic information.
  • the error correction zenith angle calculation unit 42 corresponds to the polarization degree ( ⁇ in) calculated by the polarization degree calculation unit 32 and the noise amount SNR calculated by the noise amount calculation unit 33.
  • the zenith angle ⁇ out in which the error is corrected is calculated using the two-dimensional table TL [SNR] [ ⁇ ].
  • the error correction zenith angle calculation unit 42 acquires the degree of polarization corresponding to the noise amount SNR calculated by the noise amount calculation unit 33 from the two-dimensional table TL [SNR] [ ⁇ ], and is calculated by the polarization degree calculation unit 32.
  • the zenith angle corresponding to the degree of polarization that minimizes the difference from the degree of polarization ⁇ in is output to the normal information generation unit 44 as the zenith angle ⁇ out in which the error is corrected.
  • Formula (34) shows a formula for calculating the zenith angle ⁇ out in which the error is corrected.
  • the azimuth angle calculation unit 43 calculates an azimuth angle based on the luminance value for each polarization direction and outputs the azimuth angle to the normal vector information generation unit 44.
  • the normal line information generation unit 44 uses the zenith angle ⁇ calculated by the error correction zenith angle calculation unit 42 and the azimuth angle ⁇ calculated by the azimuth angle calculation unit 43, as in the first embodiment. Normal line information indicating a three-dimensional vector (X, Y, Z) is generated.
  • FIG. 12 is a flowchart illustrating the operation of the fifth embodiment.
  • the information processing unit 30 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST12.
  • step ST12 the information processing unit 30 performs an interpolation process.
  • the interpolation processing unit 31 of the information processing unit 30 performs an interpolation process using the polarization image acquired in step ST11, generates a polarization image for each polarization component from a polarization image composed of pixels for each of the plurality of polarization components, and performs step Proceed to ST13.
  • step ST13 the information processing section 30 performs a polarization degree calculation process.
  • the polarization degree calculation unit 32 of the information processing unit 30 performs the calculation of Expression (6) for each pixel using the polarization image for each polarization component, calculates the polarization degree ⁇ , and proceeds to step ST14.
  • step ST14 the information processing section 30 performs a noise amount calculation process.
  • the noise amount calculation unit 33 of the information processing unit 30 calculates the noise amount SNR for each pixel using the polarization image for each polarization component, and proceeds to step ST15.
  • step ST15 the information processing section 30 performs error correction zenith angle calculation processing.
  • the error correction zenith angle calculation unit 42 of the information processing unit 30 uses the two-dimensional table TL [SNR] [ ⁇ ] stored in advance, the degree of polarization calculated in step ST13, and the amount of noise calculated in step ST14.
  • the calculation of Expression (34) is performed to calculate the zenith angle in which the error is corrected, and the process proceeds to step ST16.
  • step ST16 the information processing section 30 performs azimuth calculation processing.
  • the azimuth angle calculation unit 43 of the information processing unit 30 calculates the azimuth angle ⁇ by performing the calculation of Expression (21) using the polarization image for each polarization component, for example, assuming that diffuse reflection is dominant.
  • the azimuth angle ⁇ is calculated based on the equation (22).
  • the azimuth calculation unit 43 calculates the azimuth using the polarization image for each polarization component, and proceeds to step ST17.
  • step ST17 the information processing section 30 performs normal information generation processing.
  • the normal information generation unit 44 of the information processing unit 30 performs calculations of Expressions (23) to (25) using the zenith angle ⁇ calculated in step ST15 and the azimuth angle ⁇ calculated in step ST16, and normals
  • the normal information indicating the three-dimensional vector (X, Y, Z) is generated.
  • any of the processes of step ST13 and step ST14 may be performed first, and the degree of polarization and the amount of noise may be calculated by parallel processing. Further, the azimuth calculation processing in step ST16 may be performed at any timing after the interpolation processing and before the normal information generation processing. Furthermore, when the polarization image acquired in step ST11 is an image for each polarization direction, it is not necessary to perform the interpolation process in step ST12.
  • the zenith angle in which the influence of noise is corrected can be calculated.
  • normal information can be generated with high accuracy by using the corrected zenith angle.
  • the sixth embodiment has a configuration that is more robust with respect to variations in polarization degree than the fifth embodiment.
  • the information processing unit 30 of the sixth embodiment has the same configuration as that of the fifth embodiment, and the operation of the error correction zenith angle calculation unit is different from that of the fifth embodiment.
  • the error correction zenith angle calculation unit 42 is a two-dimensional DC component (DC component) obtained by smoothing the polarization degree ⁇ in calculated by the polarization degree calculation unit 32, the noise amount SNR calculated by the noise amount calculation unit 33, and two-dimensional. Based on the table TL [SNR] [ ⁇ ], the zenith angle corresponding to the degree of polarization that minimizes the difference from the DC component of the degree of polarization ⁇ in is defined as the zenith angle ⁇ dc in which the error with respect to the DC component is corrected. Note that the process of smoothing the degree of polarization ⁇ in and calculating the DC component may be performed in the same manner as in the fourth embodiment.
  • the error correction zenith angle calculation unit 42 adds the zenith angle corresponding to the AC component of the degree of polarization calculated based on the polarization image to the zenith angle in which the error with respect to the DC component is corrected, and the corrected zenith angle ⁇ ] out to the normal information generator 44.
  • the error correction zenith angle calculation unit 42 sets the difference between the zenith angle for the polarization degree ⁇ in and the zenith angle for the DC component as the zenith angle of the AC component (AC component). Equation (35) shows a calculation formula for the zenith angle with the error corrected.
  • Equation (35) g ⁇ (SNR, ⁇ dc) is a value when the degree of polarization ⁇ in Equation (34) is a DC component ⁇ dc of the degree of polarization.
  • g ⁇ ( ⁇ in) is a value when the degree of polarization ⁇ in the equation (13) or equation (18) is the degree of polarization ⁇ in
  • g ⁇ ( ⁇ dc) is the degree of polarization ⁇ in the equation (13) or equation (18). Is a DC component ⁇ dc, and (g ⁇ ( ⁇ in) ⁇ g ⁇ ( ⁇ dc)) corresponds to the zenith angle corresponding to the AC component.
  • the operation of the sixth embodiment is the same as that of the fifth embodiment shown in FIG. 12, and the error correction zenith angle calculation process in step ST15 is different. That is, the polarization degree correcting unit 34 of the information processing unit 30 obtains the DC component obtained by smoothing the degree of polarization calculated in step ST13, the noise amount SNR calculated in step ST14, and the two-dimensional table TL [SNR] [ ⁇ ]. Based on the above, the corrected zenith angle corresponding to the DC component of the degree of polarization is calculated. The error correction zenith angle calculation unit 42 calculates the zenith angle in which the error is corrected by adding the zenith angle of the AC component to the corrected zenith angle corresponding to the DC component of the polarization degree.
  • the zenith angle is corrected according to the DC component obtained by smoothing the polarization degree calculated by the polarization degree calculation unit 32 and the amount of noise. And robust zenith angle can be calculated.
  • FIG. 13 illustrates the configuration of the seventh embodiment.
  • the information processing unit 30 includes an interpolation processing unit 31, a noise amount calculation unit 33, a specular reflection calculation unit 51, a specular reflection correction unit 52, and a diffuse reflection calculation unit 53.
  • the specular reflection correction unit 52 corresponds to the information correction unit.
  • the interpolation processing unit 31 performs an interpolation process using the image signal of the polarization image composed of pixels for each of the plurality of polarization components generated by the polarization imaging unit 20, and performs the interpolation processing for each polarization component. A polarized image is generated.
  • the interpolation processing unit 31 outputs the generated polarization image for each polarization component to the noise amount calculation unit 33 and the specular reflection calculation unit 51.
  • the noise amount calculation unit 33 performs the calculation of Expression (7) using the polarization image for each polarization component, calculates the noise variance ⁇ for each pixel, and uses the specular surface as the noise amount. Output to the reflection correction unit 52.
  • the specular reflection calculating unit 51 calculates the specular reflection component s based on the polarization image for each polarization component based on Expression (36).
  • the parameters a and b in the equation (36) are calculated based on the equation (5).
  • the specular reflection calculation unit 51 outputs the calculated specular reflection component s to the specular reflection correction unit 52.
  • the specular reflection correction unit 52 corrects the specular reflection component based on the specular reflection component calculated by the specular reflection calculation unit 51 and the noise amount calculated by the noise amount calculation unit 33.
  • the specular reflection correction unit 52 has, as change characteristic information, a look-up table LUT [ ⁇ ] [s] indicating, for each specular reflection component, a specular reflection component after change corresponding to the noise amount for each noise amount.
  • the specular reflection correction unit 52 uses the specular reflection component (referred to as sin) calculated by the specular reflection calculation unit 51, the noise amount ⁇ calculated by the noise amount calculation unit 33, and the lookup table LUT [ ⁇ ] [s].
  • the corrected specular reflection component sout is output.
  • Formula (37) represents a generation formula of the lookup table LUT [ ⁇ ] [s]. Further, the variable ⁇ in Expression (37) is a value calculated based on Expression (38).
  • FIG. 14 shows the lookup table LUT [ ⁇ ] [s].
  • the row direction indicates the specular reflection component s before the change
  • the column direction indicates the noise amount ⁇ .
  • the specular reflection component after change indicating how the specular reflection component s changes when the noise amount ⁇ is present is shown.
  • the specular reflection correction unit 52 uses the specular reflection component sin calculated by the specular reflection calculation unit 51, the noise amount ⁇ calculated by the noise amount calculation unit 33, and the lookup table LUT [ ⁇ ] [s] (39). ), And in the calculated noise amount ⁇ , the specular reflection component before change corresponding to the degree of polarization after change that minimizes the difference from the calculated specular reflection component s is obtained as the corrected specular reflection component. sout.
  • the noise variance ⁇ calculated by the noise amount calculation unit 33 is ⁇ p
  • p rows in the lookup table are used.
  • the specular reflection component sq in the q column of the specular reflection component spq after change is used as the corrected specular reflection component sout.
  • the diffuse reflection calculation unit 53 calculates a diffuse reflection component based on the polarization image for each polarization component generated by the interpolation processing unit 31 and the specular reflection component corrected by the specular reflection correction unit 52.
  • the specular reflection component s indicates the maximum luminance difference between the luminance average value of the polarization image for each polarization component and the luminance value having the cos waveform characteristic, and the average luminance value Iavg corresponding to the parameter c.
  • a value obtained by subtracting the specular reflection component s from this is the diffuse reflection component d. Therefore, the diffuse reflection calculation unit 53 calculates the diffuse reflection component d by performing the calculation of Expression (40) for each pixel.
  • parameter c is a value calculated based on Expression (5).
  • d cs (40)
  • FIG. 15 is a flowchart illustrating the operation of the seventh embodiment.
  • the information processing unit 30 acquires a polarization image.
  • the information processing unit 30 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST22.
  • step ST22 the information processing unit 30 performs an interpolation process.
  • the interpolation processing unit 31 of the information processing unit 30 performs interpolation processing using the polarization image acquired in step ST21, generates a polarization image for each polarization component from a polarization image composed of pixels for each of the plurality of polarization components, and performs step Proceed to ST23.
  • step ST23 the information processing section 30 performs a noise amount calculation process.
  • the noise amount calculation unit 33 of the information processing unit 30 calculates the noise amount ⁇ for each pixel using the polarization image for each polarization component, and proceeds to step ST24.
  • step ST24 the information processing section 30 performs specular reflection calculation processing.
  • the specular reflection calculation unit 51 of the information processing unit 30 calculates the specular reflection component s by performing the calculation of Expression (36) for each pixel using the polarization image for each polarization component, and proceeds to step ST25.
  • step ST25 the information processing unit 30 performs a specular reflection correction process.
  • the specular reflection correcting unit 52 of the information processing unit 30 uses the look-up table LUT [ ⁇ ] [s] stored in advance, and the noise variance calculated in step ST23 and the specular reflection component calculated in step ST24. Based on the above, the corrected specular reflection component is acquired, and the process proceeds to step ST26.
  • step ST26 the information processing section 30 performs a diffuse reflection calculation process.
  • the zenith angle calculation unit 41 of the information processing unit 30 calculates the diffuse reflection component d by performing the calculation of Expression (40) for each pixel using the corrected polarization degree obtained in step ST5.
  • any of the processes of step ST23 and step ST24 may be performed first, and the degree of polarization and the amount of noise may be calculated by parallel processing. If the polarization image acquired in step ST21 is an image for each polarization direction, the interpolation process in step ST22 need not be performed.
  • the specular reflection component in which the influence of noise is corrected can be calculated. Further, by using the corrected specular reflection component, the reflection component information can be generated with high accuracy.
  • the information processing unit 30 of the eighth embodiment has the same configuration as that of the seventh embodiment, and the operation of the specular reflection correction unit is different from that of the seventh embodiment.
  • the specular reflection correction unit 52 uses a correction gain function as change characteristic information indicating a change in the specular reflection component according to the amount of noise.
  • the specular reflection correction unit 52 corrects the correction gain according to the noise amount ⁇ calculated by the noise amount calculation unit 33 and the specular reflection component (referred to as sin) calculated based on the polarization image by the specular reflection calculation unit 51. Based on the function g ( ⁇ , sin), the specular reflection component sin is corrected using the calculated correction gain.
  • Expression (41) represents a correction expression for the specular reflection component.
  • Expression (42) represents the correction gain function g ( ⁇ , sin), and the variable t is a value calculated based on Expression (43).
  • parameter th0 is a value calculated based on equation (45)
  • parameter th1 is a value calculated based on equation (45).
  • the operation of the eighth embodiment is the same as that of the seventh embodiment shown in FIG. 15, and the specular reflection correction process in step ST25 is different. That is, the specular reflection correction unit 52 of the information processing unit 30 corrects the specular reflection component after correction using the noise amount calculated in step ST23, the specular reflection component calculated in step ST24, and the correction gain function g ( ⁇ , sin). To get.
  • the specular reflection component can be corrected by using the correction gain function g ( ⁇ , sin). Therefore, as in the seventh embodiment, the lookup table LUT [ ⁇ ] [ It is not necessary to store s], and the configuration can be simplified as compared with the seventh embodiment.
  • the ninth embodiment has a configuration that is more robust with respect to variations in the degree of polarization compared to the seventh embodiment.
  • the information processing unit 30 of the ninth embodiment has the same configuration as that of the seventh embodiment, and the operation of the specular reflection correction unit is different from that of the seventh embodiment.
  • the specular reflection correction unit 52 corrects the direct current component (DC component) obtained by smoothing the specular reflection component sin calculated by the specular reflection calculation unit 51 according to the noise amount ⁇ . Further, the specular reflection correction unit 52 calculates the corrected specular reflection component sout by adding the AC component (AC component) of the specular reflection component to the corrected DC component. Equation (46) shows a correction equation for the degree of polarization. In Expression (46), g ( ⁇ , sdc) is a value when “sdc” is used instead of “sin” in Expression (41).
  • any method may be used to calculate the DC component sdc of the specular reflection, and the specular reflection correction unit 52 smoothes the specular reflection using a filter, for example, as in the fourth embodiment, and the DC component. sdc is calculated.
  • the operation of the ninth embodiment is the same as that of the seventh embodiment shown in FIG. 15, and the specular reflection correction process in step ST25 is different. That is, the specular reflection correction unit 52 of the information processing unit 30 uses the DC component obtained by smoothing the specular reflection calculated in step ST24, the noise amount calculated in step ST23, and the correction gain function g ( ⁇ , sin). To obtain a corrected DC component. Further, the specular reflection correction unit 52 adds the AC component of the specular reflection to the corrected DC component to obtain the corrected degree of polarization.
  • the specular reflection component in which the influence of noise is corrected can be calculated as in the seventh embodiment. Further, by using the corrected specular reflection component, the reflection component information can be generated with high accuracy. Furthermore, in the ninth embodiment, the DC component obtained by smoothing the specular reflection calculated by the degree of polarization calculating unit 32 is corrected according to the amount of noise, so that the variation in specular reflection is prevented. Robust correction processing is possible.
  • the polarization imaging unit 20 is provided with the polarization pixels in the four polarization directions. However, the polarization imaging unit 20 includes the polarization pixels in the three polarization directions (including the non-polarization in the polarization direction). If so, parameters a, b, and c can be calculated.
  • the non-polarization pixel indicates the average value of the polarization pixels, and the polarization direction of the two polarization pixels has a phase difference different from 90 ° (for example, the polarization direction is In the case of 0 ° and 45 °), the luminance values of other polarized pixels (for example, pixels whose polarization directions are 90 ° and 135 °) can be calculated.
  • the polarization imaging unit 20 and the information processing unit 30 may be provided integrally or may be provided independently.
  • the information processing unit 30 performs the above-described processing online using the polarization image acquired by the polarization imaging unit 20 and calculates the object surface information, and uses the polarization image recorded on the recording medium or the like. Then, the object surface information may be calculated by performing the above processing offline. Further, the polarization imaging unit 20 may generate a color polarization image by providing a color mosaic filter on the imaging surface of the image sensor.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • the influence of noise included in the polarization image can be reduced, so that normal information generation, reflection component separation, and the like can be accurately performed based on the corrected object surface information. Therefore, it becomes possible to accurately grasp the surrounding environment in three dimensions, and the fatigue of the driver and the operator can be reduced.
  • automatic driving and the like can be performed more safely.
  • the technology according to the present disclosure can also be applied to the medical field. For example, if it is applied to the case where an operation image is used at the time of surgery, it is possible to accurately obtain an image without a three-dimensional shape or reflection of the operation part, and to reduce the operator's fatigue and safely. Surgery can be performed more reliably.
  • the technology according to the present disclosure can be applied to fields such as public services. For example, when an image of a subject is published in a book or magazine, an unnecessary reflection component or the like can be accurately removed from the image of the subject.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the information processing apparatus may have the following configuration.
  • An information processing apparatus including an information correction unit that corrects object surface information calculated based on polarization information according to a noise amount of the polarization information.
  • the information correction unit corrects the object surface information according to a noise amount of the polarization information based on change characteristic information indicating a change in the object surface information according to a noise amount. Processing equipment.
  • the object surface information is a polarization degree, a zenith angle, or a reflection component.
  • the object surface information is a polarization degree or a specular reflection component
  • the information correction unit has, as the change characteristic information, a table indicating object surface information after change corresponding to the noise amount for each degree of polarization for each degree of polarization, and the polarization information in the amount of noise of the polarization information
  • the information processing apparatus according to (3), wherein the object surface information before change corresponding to the object surface information after change that minimizes the difference from the object surface information calculated based on is used as the corrected object surface information .
  • the object surface information is a zenith angle
  • the information correction unit has a table indicating the change in the degree of polarization corresponding to the amount of noise for each zenith angle as the change characteristic information, and the difference from the degree of polarization calculated based on the polarization information is minimized.
  • the information processing apparatus according to (3) wherein a zenith angle corresponding to a degree of polarization corresponding to a noise amount of the polarization information is a corrected zenith angle.
  • the information correction unit corrects the object surface information using a correction amount set based on the object surface information calculated based on the amount of noise of the polarization information and the polarization information (3).
  • the information processing apparatus wherein the amount of noise of the polarization information is a ratio of an average luminance value of the polarization information to a variance of noise.
  • the object surface information is a polarization degree or a specular reflection component,
  • the information correction unit performs correction according to a noise amount of the polarization information with respect to a direct current component obtained by smoothing the object surface information calculated based on the polarization information. .
  • the information correction unit performs correction according to the AC component and the amount of noise, using a difference between the object surface information calculated based on the polarization information and the DC component as an AC component of the object surface information.
  • the information processing apparatus wherein the addition result of the broken DC component is used as the corrected object surface information.
  • the object surface information is a zenith angle
  • the information correction unit sets the zenith angle for the degree of polarization that minimizes the difference from the direct current component obtained by smoothing the degree of polarization calculated based on the polarization information as the zenith angle for the corrected direct current component ( The information processing apparatus according to 3).
  • the information correction unit adds the zenith angle corresponding to the alternating current component of the degree of polarization calculated based on the polarization information to the corrected zenith angle to the corrected zenith angle with respect to the direct current component ( The information processing apparatus according to 10).
  • the information processing apparatus according to any one of (1) to (11), wherein noise dispersion generated in the polarization imaging unit that has acquired the polarization information is used as a noise amount of the polarization information.
  • the information correction unit corrects the object surface information calculated for each pixel of the polarization image based on the polarization information according to the amount of noise calculated for each pixel of the polarization image (1) to (12). ).
  • the information processing apparatus according to any one of (1) to (13), further including a polarization imaging unit that acquires the polarization information.
  • the information processing apparatus according to any one of (1) to (14), further including a normal line information generation unit that generates normal line information based on the object surface information corrected by the information correction unit.
  • a diffuse reflection calculation unit that calculates a non-polarization component from the polarization information and subtracts the specular reflection component corrected by the information correction unit from the non-polarization component to calculate a diffuse reflection component
  • the amount of noise of polarization information is calculated, and the object surface information calculated based on the polarization information is corrected according to the calculated amount of noise. Therefore, object surface information that is robust against noise can be acquired. Therefore, it is suitable for a device that performs subject recognition, reflection component adjustment, and the like.
  • DESCRIPTION OF SYMBOLS 10 ... Information acquisition system 20 ... Polarization imaging part 30 ... Information processing part 31 ... Interpolation processing part 32 ... Polarization degree calculation part 33 ... Noise amount calculation part 34 ... Polarization degree Correction unit 41 ... Zenith angle calculation unit 42 ... Error correction zenith angle calculation unit 43 ... Azimuth angle calculation unit 44 ... Normal information generation unit 51 ... Specular reflection calculation unit 52 ... Mirror surface Reflection correction unit 53 ... Diffuse reflection calculation unit 201 ... Image sensor 202 ... Polarization filter 203 ... Lens 204, 211, 2121-1 to 212-4 ... Polarizing plate 210, 210-1 to 210-4 ... Imaging unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

偏光撮像部２０は複数偏光方向の画素からなる偏光画像を偏光情報として生成する。情報処理部３０の補間処理部３１は、偏光撮像部２０から取得した偏光画像を用いて補間処理を行い、偏光方法毎の偏光画像を生成する。偏光度算出部３２は、偏光方法毎の偏光画像に基づき画素毎に例えば偏光度を物体表面情報として算出する。ノイズ量算出部３３は、偏光方法毎の偏光画像等に基づき画素毎にノイズ量を算出する。偏光度補正部３４は、情報補正部であり、偏光度算出部３２で算出された物体表面情報である偏光度を、ノイズ量算出部３３で算出されたノイズ量に応じて補正するする。ノイズに対してロバストな物体表面情報を取得できる。

Description

情報処理装置と情報処理方法およびプログラム
　この技術は、情報処理装置と情報処理方法およびプログラムに関し、ノイズに対してロバストな物体表面情報を取得できるようにする。
　従来、被写体の表面形状等を検出するために偏光画像が用いられている。例えば特許文献１では、偏光画像から偏光度を算出して、偏光度に基づき、被写体の法線が光源を向いていないために生じる陰領域と、遮蔽物によって光が遮蔽されたことによって生じる影領域とを判別することが行われている。
特許第４３１７５８３号公報
　ところで、偏光画像にノイズが含まれると、偏光画像から取得される偏光度等の物体表面情報はノイズの影響を受けて、物体表面情報を用いた処理の精度低下を招くおそれがある。
　そこで、この技術ではノイズに対してロバストな物体表面情報を取得できる情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　偏光情報に基づいて算出される物体表面情報を前記偏光情報のノイズ量に応じて補正する情報補正部
を備える情報処理装置にある。
　この技術において、ノイズ量算出部は偏光情報を取得した偏光撮像部で生じるノイズの分散に基づき画素毎に偏光情報のノイズ量を算出する。情報補正部は、偏光情報に基づいて物体表面情報例えは物体表面の偏光度、天頂角あるいは反射成分の何れかを画素毎に算出して、算出した物体表面情報をノイズ量算出部で算出されたノイズ量に応じて補正する。物体表面情報の補正は、ノイズ量に応じた物体表面情報の変化を示す変化特性情報に基づいて行う。例えば、物体表面情報は偏光度または鏡面反射成分であり、情報補正部は、ノイズ量毎にノイズ量に応じた変化後の物体表面情報を偏光度毎に示すテーブルを特性情報として有しており、ノイズ量算出部で算出されたノイズ量において、偏光情報に基づいて算出した物体表面情報との差が最小となる変化後の物体表面情報に対応する変化前の物体表面情報を、補正後の物体表面情報とする。また、物体表面情報は天頂角であり、情報補正部は、ノイズ量に応じた偏光度の変化を天頂角毎に示すテーブルを変化特性情報として有しており、ノイズ量算出部で算出されたノイズ量において、偏光情報に基づいて算出した偏光度との差が最小となる偏光度に対応する天頂角を補正後の天頂角とする。
　また、情報補正部は、ノイズ量算出部で算出されたノイズ量と偏光情報に基づいて算出された物体表面情報に基づいて設定された補正ゲインを用いて補正された物体表面情報を、補正後の物体表面情報としてもよい。この場合、ノイズ量算出部は、偏光情報のノイズの分散に対する偏光情報の平均輝度値の比率をノイズ量として算出する。
　また、物体表面情報は偏光度または鏡面反射成分であり、情報補正部は、偏光情報に基づいて算出した物体表面情報を平滑化して得られる直流成分に対して、ノイズ量に応じた補正を行う。さらに、情報補正部は、偏光情報に基づいて算出した物体表面情報と直流成分との差を物体表面情報の交流成分として、交流成分とノイズ量に応じた補正が行われた直流成分との加算結果を補正後の物体表面情報としてもよい。また、物体表面情報は天頂角であり、情報補正部は、偏光情報に基づいて算出した偏光度を平滑化して得られる直流成分との差が最小となる偏光度に対する天頂角を、直流成分に対する補正後の天頂角として、この天頂角に偏光情報に基づいて算出した偏光度の交流成分に応じた天頂角を加算して補正後の天頂角としてもよい。
　さらに、情報処理装置は、偏光情報を取得する偏光撮像部、情報補正部で補正された物体表面情報に基づき法線情報を生成する法線情報生成部、あるいは偏光情報から無偏光成分を算出して、該無偏光成分から情報補正部で補正された鏡面反射成分を減算して拡散反射成分を算出する拡散反射算出部をさらに備えてもよい。
　この技術の第２の側面は、
　偏光情報に基づいて算出される物体表面情報を前記偏光情報のノイズ量に応じて情報補正部で補正すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　偏光情報に基づいた物体表面情報の算出をコンピュータで実行させるプログラムであって、
　前記偏光情報に基づいて算出される物体表面情報を前記偏光情報のノイズ量に応じて補正する手順
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術によれば、偏光情報のノイズ量が算出されて、偏光情報に基づいて算出される物体表面情報が算出されたノイズ量に応じて補正される。したがって、ノイズに対してロバストな物体表面情報を取得できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
情報処理装置を用いたシステムの構成を例示した図である。 偏光撮像部の構成を例示した図である。 第１の実施の形態の構成を例示した図である。 偏光画像と偏光度の関係を説明するための図である。 輝度と偏光角との関係を例示した図である。 ルックアップテーブルＬＵＴ[ＳＮＲ][ρ]を示した図である。 偏光度と天頂角の関係を示す図である。 法線情報を示す図である。 第１の実施の形態の動作を例示したフローチャートである。 ガウシアンフィルタのフィルタ係数を例示した図である。 第５の実施の形態の構成を例示した図である。 第５の実施の形態の動作を例示したフローチャートである。 第７の実施の形態の構成を例示した図である。 ルックアップテーブルＬＵＴ[σ][ｓ]を示した図である。 第７の実施の形態の動作を例示したフローチャートである。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．情報処理システムの構成
　２．第１の実施の形態
　３．第２の実施の形態
　４．第３の実施の形態
　５．第４の実施の形態
　６．第５の実施の形態
　７．第６の実施の形態
　８．第７の実施の形態
　９．第８の実施の形態
　１０．第９の実施の形態
　１１．他の実施の形態
　１２．応用例
　＜１．情報処理システムの構成＞
　図１は、本技術の情報処理装置を用いたシステムの構成を例示している。情報取得システム１０は、偏光撮像部２０と情報処理部３０を有している。
　偏光撮像部２０は、偏光方向が少なくとも３方向以上（偏光方向に無偏光を含めてもよい）の異なる偏光画像を取得して情報処理部３０へ出力する。図２は偏光画像を取得する偏光撮像部の構成を例示している。偏光撮像部２０は、例えば図２の（ａ）に示すように、モザイクフィルタ（図示せず）を撮像面に設けたイメージセンサ２０１に複数の偏光方向の画素構成とされた偏光フィルタ２０２を配置した構成とされている。このような構成の偏光撮像部２０を用いて撮像を行うことで、複数方向の偏光成分を有する偏光画像を取得できる。なお、図２の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）の何れかの画素となる偏光フィルタ２０２をイメージセンサ２０１の前面に配置した場合を例示している。また、偏光撮像部２０は、図２の（ｂ）に示すように、マルチレンズアレイの構成を利用して複数方向の偏光成分を有する偏光画像を生成してもよい。例えばイメージセンサ２０１の前面にレンズ２０３を複数（図では４個）設けて、各レンズ２０３によって被写体の光学像をイメージセンサ２０１の撮像面にそれぞれ結像させる。また、各レンズ２０３の前面に偏光板２０４を設けて、偏光板２０４の偏光方向を異なる方向とする。このように偏光撮像部２０を構成すれば、１回の撮像で複数方向の偏光成分を有する偏光画像を取得できる。また、図２の（ｃ）に示すように、撮像部２１０-1～２１０-4の前に互いに偏光方向が異なる偏光板２１２-1～２１２-4を設けた構成として、異なる複数の視点から偏光方向が異なる複数の偏光画像を生成してもよい。この場合、被写体までの距離に対して各レンズ２０３や撮像部２１０-1～２１０-4の位置間隔が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。また、視差を無視することができない場合は、偏光方向が異なる偏光画像を視差量に応じて位置合わせする。また、認識対象の被写体の動きが遅い場合や認識対象の被写体がステップ的に動作する場合には、図２の（ｄ）に示すように、撮像部２１０の前に偏光板２１１を設けた構成としてもよい。この場合、偏光板２１１を回転させて異なる複数の偏光方向でそれぞれ撮像を行い、偏光方向が異なる複数の偏光画像を取得する。
　情報処理部３０は、偏光撮像部２０で取得された偏光情報に基づき算出される物体表面情報を偏光情報のノイズ量に応じて補正する。情報処理部３０は、偏光情報例えば偏光画像から物体表面の偏光度または天頂角あるいは反射成分を物体表面情報として算出する。また、情報処理部３０は、算出した物体表面情報を、ノイズ量に応じた物体表面情報の変化を示す変化特性情報に基づき偏光画像のノイズ量に応じて補正する。以下、情報処理部の実施の形態について説明する。
　＜２．第１の実施の形態＞
　次に、第１の実施の形態について説明する。第１の実施の形態では、物体表面情報が偏光度である場合を説明する。
　図３は、第１の実施の形態の構成を例示している。情報処理部３０は、補間処理部３１と偏光度算出部３２とノイズ量算出部３３および偏光度補正部３４を有している。また、情報処理部３０で法線情報を生成する場合、天頂角算出部４１と方位角算出部４３および法線情報生成部４４をさらに設けてもよい。また、補間処理部３１は偏光撮像部２０に設けてもよい。なお、第１の実施の形態および後述する第２乃至第４の実施の形態では、偏光度補正部３４が情報補正部に相当する。
　補間処理部３１は、偏光撮像部２０で生成された複数の偏光成分毎の画素からなる偏光画像の画像信号を用いて補間処理を行い、偏光成分毎の偏光画像を生成する。補間処理では、例えば予め設定された関数を用いて、補間対象画素の近傍に位置する同一偏光成分の画素の画素信号に基づき、補間対象画素の画素信号を算出する。補間処理部３１は、生成した偏光成分毎の偏光画像を偏光度算出部３２とノイズ量算出部３３および方位角算出部４３へ出力する。
　偏光度算出部３２は、偏光成分毎の偏光画像に基づき偏光度を算出する。ここで、偏光画像と偏光度の関係について説明する。図４に示すように、例えば光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上として、ｘ軸に対するｙ軸方向の角度を、偏光板ＰＬの偏光方向（透過軸の角度）を示す偏光角υとする。偏光板ＰＬは、偏光方向が１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最高輝度Ｉmaxが観測されたときの偏光角υを方位角φとする。このような定義を行うと、偏光板ＰＬの偏光方向を変化させると、観測される輝度Ｉ（υ）は式（１）の偏光モデル式であらわすことができる。なお、図５は、輝度と偏光角との関係を例示している。式（１）におけるパラメータａ，ｂ，ｃは、偏光によるＣｏｓ波形を表現するパラメータである。
Figure JPOXMLDOC01-appb-M000001
　ここで、４つの偏光方向の輝度値、例えば偏光角υが「υ＝０度」のときの観測値を輝度値Ｉ0、偏光角υが「υ＝４５度」のときの観測値を輝度値Ｉ45、偏光角υが「υ＝９０度」のときの観測値を輝度値Ｉ90、偏光角υが「υ＝１３５度」のときの観測値を輝度値Ｉ135とする。また、式（１）を式（２）として示したとき、輝度Ｉ（υ）は式（３）に示す行列となり係数Ａは式（４）に示す行列となる。したがって、パラメータａ，ｂ，ｃは式（５）に基づいて算出される値となる。なお、詳細な説明は省略するが、偏光モデル式のパラメータは３つであることから、３つの偏光方向の輝度値を用いて、パラメータａ，ｂ，ｃを算出することができる。
Figure JPOXMLDOC01-appb-M000002
　偏光度算出部３２は、式（６）に基づき偏光度ρを画素毎に算出して偏光度補正部３４へ出力する。なお、式（６）におけるパラメータａ，ｂ，ｃは、式（５）に基づいて算出される値である。
Figure JPOXMLDOC01-appb-M000003
　ノイズ量算出部３３は、偏光成分毎の偏光画像に基づきノイズ量を算出する。ノイズ量算出部３３は、予め設定した例えば式（７）に示すノイズモデルに基づき、偏光成分毎の偏光画像の平均輝度値におけるノイズの分散をノイズ量として算出する。なお、平均輝度値は式（５）のパラメータｃに相当する。式（７）において、係数「ｎ0」はイメージセンサ２０１からの出力が平均輝度値であるときのショットノイズの分布の分散の算出に用いる係数である。また、係数「ｎ1」はイメージセンサ２０１の熱雑音の分布の分散に相当する。また、ノイズ量算出部３３は、式（８）に基づき平均輝度値（パラメータｃ）と分散σを用いて画素毎にノイズ量ＳＮＲを算出する。なお、式（８）に示すノイズ量の単位はデシベルである。
Figure JPOXMLDOC01-appb-M000004
　また、ノイズ量算出部３３は、平均輝度値にノイズが重畳されてもノイズの影響を軽減できるように、時間方向または空間方向のフィルタ処理の少なくとも何れかを行うようにしもよい。例えばノイズ算出対象画素位置の複数フレーム分の平均輝度値を平均して、ノイズ算出対象画素位置の平均輝度値としてもよく、ノイズ算出対象画素位置を基準とした所定範囲内の画素の平均輝度値を平均して、ノイズ算出対象画素位置の平均輝度値としてもよい。このように、平均輝度値におけるノイズの影響を軽減することで、ノイズ量を安定して算出できる。ノイズ量算出部３３は、算出したノイズ量を偏光度補正部３４へ出力する。
　偏光度補正部３４は、偏光度算出部３２で算出された偏光度とノイズ量算出部３３で算出されたノイズ量に基づいて偏光度の補正を行う。偏光度補正部３４は、ノイズ量毎にノイズ量に応じた変化後の偏光度を偏光度毎に示すルックアップテーブルＬＵＴ[ＳＮＲ][ρ]を変化特性情報として有している。偏光度補正部３４は、偏光度算出部３２で算出された偏光度（ρinとする）とノイズ量算出部３３で算出されたノイズ量ＳＮＲとルックアップテーブルＬＵＴ[ＳＮＲ][ρ]を用いて補正後の偏光度ρoutを出力する。
　式（９）はルックアップテーブルＬＵＴ[ＳＮＲ][ρ]の生成式を示している。また、式（９）における変数λは式（１０）に基づいて算出される値であり、式（９）および後述する式（３７）におけるＩ0（），Ｉ1（）は式（１１）に示すように第１種変形ベッセル関数である。
Figure JPOXMLDOC01-appb-M000005
　図６はルックアップテーブルＬＵＴ[ＳＮＲ][ρ]を例示している。ルックアップテーブルＬＵＴ[ＳＮＲ][ρ]では、行方向が変化前の偏光度ρ、列方向がノイズ量ＳＮＲを示しており、偏光度ρとノイズ量ＳＮＲで特定される座標位置では、偏光度ρがノイズ量ＳＮＲであるときにどのように変化しているかを示す変化後の偏光度を示している。
　偏光度補正部３４は、偏光度算出部３２で算出された偏光度ρinとノイズ量算出部３３で算出されたノイズ量ＳＮＲとルックアップテーブルを用いて式（１２）の演算を行い、算出されたノイズ量ＳＮＲにおいて、算出された偏光度ρinとの差が最小となる変化後の偏光度に対応する変化前の偏光度を、補正後の偏光度ρoutとする。
Figure JPOXMLDOC01-appb-M000006
　例えばノイズ量算出部３３で算出されたノイズ量ＳＮＲがＳＮＲpであるとき、ルックアップテーブルＬＵＴ[ＳＮＲ][ρ]におけるｐ行を用いる。また、ｐ行において変化後の偏光度ρpqと偏光度ρinと差が最小となるとき、変化後の偏光度ρpqのｑ列の偏光度ρqを補正後の偏光度ρoutとする。
　偏光度補正部３４は、補正後の偏光度を天頂角算出部４１へ出力する。偏光度ρは上述の式（６）に基づき算出されるので、ノイズによってパラメータａ，ｂに誤差を生じると、誤差が正負の何れの方向であっても、偏光度ρが増加する方向に誤差を生じてしまう。しかし、偏光度補正部３４によって、誤差の少ない偏光度を天頂角算出部４１へ出力できる。
　天頂角算出部４１は、偏光度補正部３４から供給された補正後の偏光度を用いて天頂角を算出する。天頂角算出部４１は式（１３）に基づき天頂角θを算出する。式（１３）は拡散反射が支配的である場合の算出式であり、パラメータＡ，Ｂ，Ｃ，Ｄは式（１４）乃至（１７）に基づいて算出される。また、式（１４）（１５）（１７）においてパラメータｎは相対屈折率である。相対屈折率は例えば一律にｎ＝１．６に設定される。
Figure JPOXMLDOC01-appb-M000007
　また、鏡面反射が支配的である場合、例えば画像認識等によって被写体は鏡面反射が支配的であることが判別された場合、あるいはユーザ等から鏡面反射の指示がなされた場合、天頂角算出部４１は、式（１８）を用いて天頂角を算出する。なお、式（１８）においてパラメータＡ，Ｂは式（１９）（２０）に基づいて算出される。
Figure JPOXMLDOC01-appb-M000008
　図７は偏光度と天頂角の関係をしている。鏡面反射モデルでは偏光度に対して天頂角が２通り算出されることから、何れか一方の天頂角を用いる。例えば天頂角の選択では距離センサ等の情報から法線に相当する情報を算出して、算出結果に基づき天頂角を選択してもよく、選択結果が安定するように例えば小さい方の天頂角を常に選択してもよい。
　方位角算出部４３は、偏光方向毎の輝度値に基づき方位角を算出する。方位角算出部４３は、拡散反射が支配的である場合、式（２１）に基づいて方位角φを算出して、鏡面反射が支配的である場合、式（２２）に基づいて方位角φを算出する。なお、式（２１）および式（２２）においてパラメータａ，ｂ，ｃは、式（５）に基づいて算出された値である。
Figure JPOXMLDOC01-appb-M000009
　法線情報生成部４４は、天頂角算出部４１で算出された天頂角θと方位角算出部４３で算出された方位角φを用いて式（２３）乃至（２５）の演算を行い、図８に示すように法線の三次元ベクトル（Ｘ，Ｙ，Ｚ）を示す法線情報を生成する。
　　Ｘ＝ｃｏｓφ・ｓｉｎθ　　・・・（２３）
　　Ｙ＝ｓｉｎφ・ｓｉｎθ　　・・・（２４）
　　Ｚ＝ｃｏｓθ　　　　　　　・・・（２５）
　次に、第１の実施の形態の動作について説明する。図９は第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ１で情報処理部３０は偏光画像を取得する。情報処理部３０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報処理部３０は補間処理を行う。情報処理部３０の補間処理部３１は、ステップＳＴ１で取得した偏光画像を用いて補間処理を行い、複数の偏光成分毎の画素からなる偏光画像から、偏光成分毎の偏光画像を生成してステップＳＴ３に進む。
　ステップＳＴ３で情報処理部３０は偏光度算出処理を行う。情報処理部３０の偏光度算出部３２は、偏光成分毎の偏光画像を用いて式（６）の演算を画素毎に行い、偏光度ρを算出してステップＳＴ４に進む。
　ステップＳＴ４で情報処理部３０はノイズ量算出処理を行う。情報処理部３０のノイズ量算出部３３は、偏光成分毎の偏光画像を用いて式（８）の演算を画素毎に、ノイズ量ＳＮＲを算出してステップＳＴ５に進む。
　ステップＳＴ５で情報処理部３０は偏光度補正処理を行う。情報処理部３０の偏光度補正部３４は、予め記憶されているルックアップテーブルＬＵＴ[ＳＮＲ][ρ]を用いて、ステップＳＴ３で算出された偏光度とステップＳＴ４で算出されたノイズ量に基づき、補正後の偏光度を取得してステップＳＴ６に進む。
　ステップＳＴ６で情報処理部３０は天頂角算出処理を行う。情報処理部３０の天頂角算出部４１は、ステップＳＴ５で得られた補正後の偏光度を用いて式（１３）の演算を画素毎に行い天頂角θを算出ステップＳＴ７に進む。
　ステップＳＴ７で情報処理部３０は方位角算出処理を行う。情報処理部３０の方位角算出部４３は、例えば拡散反射が支配的であるとして、偏光成分毎の偏光画像を用いて式（２１）の演算を行い、方位角φを算出する。また、鏡面反射が支配的であることが明らかな場合、式（２２）に基づいて方位角φを算出する。方位角算出部４３は、偏光成分毎の偏光画像を用いて方位角を算出してステップＳＴ８に進む。
　ステップＳＴ８で情報処理部３０は法線情報生成処理を行う。情報処理部３０の法線情報生成部４４は、ステップＳＴ６で算出された天頂角θとステップＳＴ７で算出された方位角φを用いて式（２３）乃至（２５）の演算を行い、法線の三次元ベクトル（Ｘ，Ｙ，Ｚ）を示す法線情報を生成する。
　なお、図９において、ステップＳＴ３とステップＳＴ４の処理は何れを先に行ってもよく、並列処理で偏光度とノイズ量を算出してもよい。また、ステップＳＴ７の方位角算出処理は、補間処理後であって法線情報生成処理前であれば何れのタイミングで行ってもよい。さらに、ステップＳＴ１で取得される偏光画像が偏光方向毎の画像である場合、ステップＳＴ２の補間処理は行う必要がない。
　このように、第１の実施の形態によれば、ノイズ量に応じた偏光度の変化を示す変化特性情報に基づき、ノイズの影響が補正された偏光度を算出できる。また、式（６）に基づき算出される偏光度ρでは、ノイズによってパラメータａ，ｂに誤差を生じると、誤差が正負の何れの方向であっても、偏光度ρが増加する方向に誤差を生じる。しかし、ノイズの影響が補正された偏光度を算出できるので、補正後の偏光度を用いて精度のよい法線情報を生成できる。
　＜３．第２の実施の形態＞
　次に、第２の実施の形態について説明する。第２の実施の形態では、第１の実施の形態に比べて構成を簡易とする。
　第２の実施の形態の情報処理部３０は、第１の実施の形態と同様な構成とされており、偏光度補正部の動作が第１の実施の形態と相違する。偏光度補正部３４は、ノイズ量に応じた偏光度の変化を示す変化特性情報として補正ゲイン関数を用いる。偏光度補正部３４は、ノイズ量算出部３３で算出されたノイズ量ＳＮＲと偏光度算出部３２で偏光画像に基づいて算出された偏光度（ρinとする）に応じた補正ゲインを補正ゲイン関数ｇ（ＳＮＲ，ρin）に基づき算出して、算出した補正ゲインを用いて偏光度ρinを補正する。式（２６）は偏光度の補正式を示している。また、式（２７）は補正ゲイン関数ｇ（ＳＮＲ，ρin）を示しており、変数ｔは式（２８）に基づいて算出される値である。なお、式（２８）においてパラメータｔｈ0は式（２９）に示す値、パラメータｔｈ1は式（３０）に基づいて算出される値である。
Figure JPOXMLDOC01-appb-M000010
　第２の実施の形態の動作は、図９に示す第１の実施の形態と同様であり、ステップＳＴ５の偏光度補正処理が相違する。すなわち情報処理部３０の偏光度補正部３４は、ステップＳＴ３で算出された偏光度とステップＳＴ４で算出されたノイズ量と補正ゲイン関数ｇ（ＳＮＲ，ρin）を用いて補正後の偏光度を取得する。
　このように、第２の実施の形態によれば、第１の実施の形態と同様に、ノイズの影響が補正された偏光度の算出や、精度のよい法線情報を生成できる。また、第２の実施の形態では、補正ゲイン関数ｇ（ＳＮＲ，ρin）を用いて偏光度の補正が可能となるので、第１の実施の形態のように、ルックアップテーブルＬＵＴ[ＳＮＲ][ρ]を記憶しておく必要がなく、第１の実施の形態に比べて構成を簡易にできる。
　＜４．第３の実施の形態＞
　次に、第３の実施の形態について説明する。第３の実施の形態では、第２の実施の形態に比べて演算コストを低下させる。
　第３の実施の形態の情報処理部３０は、第２の実施の形態と同様な構成とされており、ノイズ算出部と偏光度補正部の動作が第２の実施の形態と相違する。
　ノイズ量算出部３３は、偏光成分毎の偏光画像に基づきノイズ量を算出する。ノイズ量算出部３３は、予め設定した例えば式（７）に示すノイズモデルに基づき、偏光成分毎の偏光画像の平均輝度値におけるノイズ量を算出する。なお、平均輝度値は式（５）のパラメータｃに相当する。また、ノイズ量算出部３３は、ノイズの分散に対する平均輝度値の比率をノイズ量とする。すなわち、ノイズ量算出部３３は、式（３１）に基づき平均輝度値（パラメータｃ）と分散σを用いて画素毎にノイズ量ＳＮＲ［ratio］を算出する。
　ＳＮＲ［ratio］＝ｃ／σ　　　・・・（３１）
　また、ノイズ量算出部３３は、上述したように、平均輝度値にノイズが重畳されてもノイズの影響を軽減できるように、時間方向または空間方向のフィルタ処理の少なくとも何れかを行うようにしもよい。ノイズ量算出部３３は、算出したノイズ量を偏光度補正部３４へ出力する。
　偏光度補正部３４は、式（２７）に示す補正ゲイン関数ｇ（ＳＮＲ，ρin）を用いて式（２６）の補正演算を行い、補正後の偏光度ρoutを算出する。また、ノイズ量算出部３３で算出されたノイズ量ＳＮＲ［ratio］が分散σに対する平均輝度値（パラメータｃ）の比率であることから、パラメータｔｈ1の算出式は式（３２）となり、第２の実施の形態における式（３０）に比べて、パラメータｔｈ1の算出が容易となる。
Figure JPOXMLDOC01-appb-M000011
　第３の実施の形態の動作は、図９に示す第１の実施の形態と同様であり、ステップＳＴ４のノイズ量算出処理とステップＳＴ５の偏光度補正処理が相違する。すなわち情報処理部３０のノイズ量算出部３３は、分散に対する平均輝度値の比率をノイズ量ＳＮＲ［ratio］として算出して、偏光度補正部３４は、ステップＳＴ３で算出された偏光度とステップＳＴ４で算出されたノイズ量ＳＮＲ［ratio］と補正ゲイン関数ｇ（ＳＮＲ，ρin）を用いて補正後の偏光度を取得する。
　このような第３の実施の形態によれば、第１の実施の形態と同様に、ノイズの影響が補正された偏光度の算出や、精度のよい法線情報を生成できる。また、第３の実施の形態では、ノイズ量算出部３３で算出するノイズ量として分散に対する平均輝度値の比率を用いることで、第２の実施の形態よりも演算コストを低下させることができる。
　＜５．第４の実施の形態＞
　次に、第４の実施の形態について説明する。第４の実施の形態では、第１乃至第３の実施の形態に比べて偏光度のばらつきに対してロバストな構成とする。
　第４の実施の形態の情報処理部３０は、例えば第２の実施の形態と同様な構成とされており、偏光度補正部の動作が第２の実施の形態と相違する。
　偏光度補正部３４は、偏光度算出部３２で算出された偏光度ρinを平滑化して得られる直流成分（ＤＣ成分）に対して、ノイズ量ＳＮＲに応じた補正を行う。さらに、偏光度補正部３４は、補正後のＤＣ成分に偏光度の交流成分（ＡＣ成分）を加えて補正後の偏光度ρoutを算出する。式（３３）は偏光度の補正式を示している。
Figure JPOXMLDOC01-appb-M000012
　偏光度ρinのＤＣ成分ρdcの算出はどのような方法を用いてもよく、偏光度補正部３４は例えばガウシアンフィルタを用いて偏光度の平滑化を行い、ＤＣ成分ρdcを算出する。図１０は、ガウシアンフィルタのフィルタ係数を例示しており、中央位置が処理対象画素に相当する。偏光度補正部３４は、偏光度とフィルタ係数との乗算結果を加算して、加算結果を重みの総和で乗算することで、処理対象画素における偏光度のＤＣ成分ρdcを算出する。
　第４の実施の形態の動作は、図９に示す第１の実施の形態と同様であり、ステップＳＴ５の偏光度補正処理が相違する。すなわち情報処理部３０の偏光度補正部３４は、ステップＳＴ３で算出された偏光度を平滑化して得られるＤＣ成分をステップＳＴ４で算出されたノイズ量ＳＮＲに基づき補正して、補正後のＤＣ成分にＡＣ成分を加算して補正後の偏光度とする。
　このような第４の実施の形態によれば、第１の実施の形態と同様に、ノイズの影響が補正された偏光度の算出や、精度のよい法線情報を生成できる。また、第４の実施の形態では、偏光度算出部３２で算出された偏光度を平滑化して得られるＤＣ成分に対してノイズ量に応じた補正が行われるので、偏光度のばらつきに対してロバストな補正処理が可能となる。
　＜６．第５の実施の形態＞
　次に、第５の実施の形態について説明する。第５の実施の形態では、偏光度を用いて天頂角を算出する際にノイズによる影響を補正して、補正後の天頂角を用いて法線情報を生成する。
　図１１は第５の実施の形態の構成を例示している。情報処理部３０は、補間処理部３１と偏光度算出部３２とノイズ量算出部３３および誤差補正天頂角算出部４２と方位角算出部４３および法線情報生成部４４を有している。なお、第５の実施の形態および後述する第６の実施の形態では、誤差補正天頂角算出部４２が情報補正部に相当する。
　補間処理部３１は、第１の実施の形態と同様に、偏光撮像部２０で生成された複数の偏光成分毎の画素からなる偏光画像の画像信号を用いて補間処理を行い、偏光成分毎の偏光画像を生成する。補間処理部３１は、生成した偏光成分毎の偏光画像を偏光度算出部３２とノイズ量算出部３３および方位角算出部４３へ出力する。
　偏光度算出部３２は、第１の実施の形態と同様に、偏光成分毎の偏光画像に基づき画素毎に偏光度を算出して誤差補正天頂角算出部４２へ出力する。
　ノイズ量算出部３３は、第１の実施の形態と同様に、偏光成分毎の偏光画像に基づきノイズ量を画素毎に算出して誤差補正天頂角算出部４２へ出力する。
　誤差補正天頂角算出部４２は、偏光度算出部３２で算出された偏光度とノイズ量算出部３３で算出されたノイズ量に基づいて誤差が補正されている天頂角を算出する。誤差補正天頂角算出部４２には、ノイズ量に応じた偏光度の変化を天頂角毎に示す二次元テーブルＴＮ[ＳＮＲ][θ]を変化特性情報として有している。誤差補正天頂角算出部４２は、誤差補正天頂角算出部４２は、偏光度算出部３２で算出された偏光度（ρinとする）とノイズ量算出部３３で算出されたノイズ量ＳＮＲに応じて二次元テーブルＴＬ[ＳＮＲ][θ]を用いて誤差が補正されている天頂角θoutを算出する。誤差補正天頂角算出部４２は、ノイズ量算出部３３で算出されたノイズ量ＳＮＲに応じた偏光度を二次元テーブルＴＬ[ＳＮＲ][θ]から取得して、偏光度算出部３２で算出された偏光度ρinとの差が最小となる偏光度に対応する天頂角を誤差が補正されている天頂角θoutとして法線情報生成部４４へ出力する。式（３４）は誤差が補正されている天頂角θoutの算出式を示している。
Figure JPOXMLDOC01-appb-M000013
　方位角算出部４３は、第１の実施の形態と同様に、偏光方向毎の輝度値に基づき方位角を算出して、法線情報生成部４４へ出力する。法線情報生成部４４は、誤差補正天頂角算出部４２で算出された天頂角θと方位角算出部４３で算出された方位角φを用い、第１の実施の形態と同様に法線の三次元ベクトル（Ｘ，Ｙ，Ｚ）を示す法線情報を生成する。
　次に、第５の実施の形態の動作について説明する。図１２は第５の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で情報処理部３０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で情報処理部３０は補間処理を行う。情報処理部３０の補間処理部３１は、ステップＳＴ１１で取得した偏光画像を用いて補間処理を行い、複数の偏光成分毎の画素からなる偏光画像から、偏光成分毎の偏光画像を生成してステップＳＴ１３に進む。
　ステップＳＴ１３で情報処理部３０は偏光度算出処理を行う。情報処理部３０の偏光度算出部３２は、偏光成分毎の偏光画像を用いて式（６）の演算を画素毎に行い、偏光度ρを算出してステップＳＴ１４に進む。
　ステップＳＴ１４で情報処理部３０はノイズ量算出処理を行う。情報処理部３０のノイズ量算出部３３は、偏光成分毎の偏光画像を用いて式（８）の演算を画素毎に、ノイズ量ＳＮＲを算出してステップＳＴ１５に進む。
　ステップＳＴ１５で情報処理部３０は誤差補正天頂角算出処理を行う。情報処理部３０の誤差補正天頂角算出部４２は、予め記憶されている二次元テーブルＴＬ[ＳＮＲ][θ]とステップＳＴ１３で算出された偏光度とステップＳＴ１４で算出されたノイズ量を用いて式（３４）の演算を行い、誤差が補正されている天頂角を算出してステップＳＴ１６に進む。
　ステップＳＴ１６で情報処理部３０は方位角算出処理を行う。情報処理部３０の方位角算出部４３は、例えば拡散反射が支配的であるとして、偏光成分毎の偏光画像を用いて式（２１）の演算を行い、方位角φを算出する。また、鏡面反射が支配的であることが明らかな場合、式（２２）に基づいて方位角φを算出する。方位角算出部４３は、偏光成分毎の偏光画像を用いて方位角を算出してステップＳＴ１７に進む。
　ステップＳＴ１７で情報処理部３０は法線情報生成処理を行う。情報処理部３０の法線情報生成部４４は、ステップＳＴ１５で算出された天頂角θとステップＳＴ１６で算出された方位角φを用いて式（２３）乃至（２５）の演算を行い、法線の三次元ベクトル（Ｘ，Ｙ，Ｚ）を示す法線情報を生成する。
　なお、図１２において、ステップＳＴ１３とステップＳＴ１４の処理は何れを先に行ってもよく、並列処理で偏光度とノイズ量を算出してもよい。また、ステップＳＴ１６の方位角算出処理は、補間処理後であって法線情報生成処理前であれば何れのタイミングで行ってもよい。さらに、ステップＳＴ１１で取得される偏光画像が偏光方向毎の画像である場合、ステップＳＴ１２の補間処理は行う必要がない。
　このような第５の実施の形態によれば、ノイズの影響が補正された天頂角を算出できる。また、補正後の天頂角を用いることで、精度よく法線情報を生成できる。
　＜７．第６の実施の形態＞
　次に、第６の実施の形態について説明する。第６の実施の形態では、第５の実施の形態に比べて偏光度のばらつきに対してロバストな構成とする。
　第６の実施の形態の情報処理部３０は、第５の実施の形態と同様な構成とされており、誤差補正天頂角算出部の動作が第５の実施の形態と相違する。
  誤差補正天頂角算出部４２は、偏光度算出部３２で算出された偏光度ρinを平滑化して得られる直流成分（ＤＣ成分）と、ノイズ量算出部３３で算出されたノイズ量ＳＮＲと二次元テーブルＴＬ[ＳＮＲ][θ]に基づき、偏光度ρinのＤＣ成分との差が最小となる偏光度に対応する天頂角をＤＣ成分に対する誤差が補正された天頂角θdcとする。なお、偏光度ρinを平滑化してＤＣ成分を算出する処理は、第４の実施の形態と同様に行えばよい。
　また、誤差補正天頂角算出部４２は、ＤＣ成分に対する誤差が補正された天頂角に、偏光画像に基づいて算出した偏光度の交流成分に応じた天頂角を加算して補正後の天頂角θ]outとして法線情報生成部４４へ出力する。誤差補正天頂角算出部４２は、偏光度ρinに対する天頂角とＤＣ成分に対する天頂角との差を交流成分（ＡＣ成分）の天頂角とする。式（３５）は誤差が補正された天頂角の算出式を示している。式（３５）において、ｇθ（ＳＮＲ，ρdc）は上述の式（３４）における偏光度ρを偏光度のＤＣ成分ρdcとしたときの値である。ｇθ（ρin）は式（１３）または式（１８）における偏光度ρを偏光度ρinとしたときの値であり、ｇθ（ρdc）は式（１３）または式（１８）における偏光度ρをＤＣ成分ρdcとしたときの値であり、（ｇθ（ρin）－ｇθ（ρdc））はＡＣ成分に対応する天頂角に相当する。
Figure JPOXMLDOC01-appb-M000014
　第６の実施の形態の動作は、図１２に示す第５の実施の形態と同様であり、ステップＳＴ１５の誤差補正天頂角算出処理が相違する。すなわち情報処理部３０の偏光度補正部３４は、ステップＳＴ１３で算出された偏光度を平滑化して得られるＤＣ成分とステップＳＴ１４で算出されたノイズ量ＳＮＲと二次元テーブルＴＬ[ＳＮＲ][θ]に基づき偏光度のＤＣ成分に対応する補正後の天頂角を算出する。また、誤差補正天頂角算出部４２は、偏光度のＤＣ成分に対応する補正後の天頂角にＡＣ成分の天頂角を加算して誤差が補正された天頂角を算出する。
　このような第６の実施の形態によれば、第５の実施の形態と同様に、ノイズの影響が補正された天頂角の算出や、精度のよい法線情報を生成できる。また、第６の実施の形態では、偏光度算出部３２で算出された偏光度を平滑化して得られるＤＣ成分とノイズ量に応じて天頂角の補正が行われるので、偏光度のばらつきに対してロバストな天頂角を算出することが可能となる。
　＜８．第７の実施の形態＞
　次に、第７の実施の形態について説明する。第７の実施の形態では、物体表面情報として反射成分情報を算出する場合について説明する。
　図１３は第７の実施の形態の構成を例示している。情報処理部３０は、補間処理部３１とノイズ量算出部３３と鏡面反射算出部５１および鏡面反射補正部５２と拡散反射算出部５３を有している。なお、第７の実施の形態および後述する第８乃至第９の実施の形態では、鏡面反射補正部５２が情報補正部に相当する。
　補間処理部３１は、第１の実施の形態と同様に、偏光撮像部２０で生成された複数の偏光成分毎の画素からなる偏光画像の画像信号を用いて補間処理を行い、偏光成分毎の偏光画像を生成する。補間処理部３１は、生成した偏光成分毎の偏光画像をノイズ量算出部３３と鏡面反射算出部５１へ出力する。
　ノイズ量算出部３３は、第１の実施の形態と同様に、偏光成分毎の偏光画像を用いて式（７）の演算を行い、ノイズの分散σを画素毎に算出してノイズ量として鏡面反射補正部５２へ出力する。
　鏡面反射算出部５１は、偏光成分毎の偏光画像に基づき鏡面反射成分ｓを式（３６）に基づいて算出する。なお、式（３６）におけるパラメータａ，ｂは式（５）に基づいて算出される。鏡面反射算出部５１は、算出した鏡面反射成分ｓを鏡面反射補正部５２へ出力する。
Figure JPOXMLDOC01-appb-M000015
　鏡面反射補正部５２は、鏡面反射算出部５１で算出された鏡面反射成分とノイズ量算出部３３で算出されたノイズ量に基づいて鏡面反射成分の補正を行う。鏡面反射補正部５２は、ノイズ量毎にノイズ量に応じた変化後の鏡面反射成分を鏡面反射成分毎に示すルックアップテーブルＬＵＴ[σ][ｓ]を変化特性情報として有している。鏡面反射補正部５２は、鏡面反射算出部５１で算出された鏡面反射成分（ｓinとする）とノイズ量算出部３３で算出されたノイズ量σとルックアップテーブルＬＵＴ[σ][ｓ]を用いて補正後の鏡面反射成分ｓoutを出力する。
　式（３７）はルックアップテーブルＬＵＴ[σ][ｓ]の生成式を示している。また、式（３７）における変数λは式（３８）に基づいて算出される値である。
Figure JPOXMLDOC01-appb-M000016
　図１４はルックアップテーブルＬＵＴ[σ][ｓ]を示している。ルックアップテーブルＬＵＴ[σ][ｓ]では、行方向が変化前の鏡面反射成分ｓ、列方向がノイズ量σを示している。また、鏡面反射成分ｓとノイズ量σで特定される座標位置では、鏡面反射成分ｓがノイズ量σであるときにどのように変化しているかを示す変化後の鏡面反射成分を示している。
　鏡面反射補正部５２は、鏡面反射算出部５１で算出された鏡面反射成分ｓinとノイズ量算出部３３で算出されたノイズ量σとルックアップテーブルＬＵＴ[σ][ｓ]を用いて式（３９）の演算を行い、算出されたノイズ量σにおいて、算出された鏡面反射成分ｓとの差が最小となる変化後の偏光度に対応する変化前の鏡面反射成分を、補正後の鏡面反射成分ｓoutとする。
Figure JPOXMLDOC01-appb-M000017
　例えばノイズ量算出部３３で算出されたノイズの分散σがσpであるとき、ルックアップテーブルにおけるｐ行を用いる。また、ｐ行において変化後の鏡面反射成分ｓpqと鏡面反射成分ｓinと差が最小となるとき、変化後の鏡面反射成分ｓpqのｑ列の鏡面反射成分ｓqを補正後の鏡面反射成分ｓoutとする。
　拡散反射算出部５３は、補間処理部３１で生成された偏光成分毎の偏光画像と鏡面反射補正部５２で補正された鏡面反射成分に基づき拡散反射成分を算出する。図５に示すように、鏡面反射成分ｓは、偏光成分毎の偏光画像の輝度平均値とｃｏｓ波形特性を有する輝度値との最大輝度差を示しており、パラメータｃに相当する平均輝度値Ｉavgから鏡面反射成分ｓを減算した値が拡散反射成分ｄである。したがって、拡散反射算出部５３は、式（４０）の演算を画素毎に行い、拡散反射成分ｄを算出する。なお、式（４０）においてパラメータｃは式（５）に基づいて算出された値である。
　　ｄ＝ｃ－ｓ　　・・・（４０）
　次に、第７の実施の形態の動作について説明する。図１５は第７の実施の形態の動作を例示したフローチャートである。ステップＳＴ２１で情報処理部３０は偏光画像を取得する。情報処理部３０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ２２に進む。
　ステップＳＴ２２で情報処理部３０は補間処理を行う。情報処理部３０の補間処理部３１は、ステップＳＴ２１で取得した偏光画像を用いて補間処理を行い、複数の偏光成分毎の画素からなる偏光画像から、偏光成分毎の偏光画像を生成してステップＳＴ２３に進む。
　ステップＳＴ２３で情報処理部３０はノイズ量算出処理を行う。情報処理部３０のノイズ量算出部３３は、偏光成分毎の偏光画像を用いて式（７）の演算を画素毎にノイズ量σを算出してステップＳＴ２４に進む。
　ステップＳＴ２４で情報処理部３０は鏡面反射算出処理を行う。情報処理部３０の鏡面反射算出部５１は、偏光成分毎の偏光画像を用いて式（３６）の演算を画素毎に行い鏡面反射成分ｓを算出してステップＳＴ２５に進む。
　ステップＳＴ２５で情報処理部３０は鏡面反射補正処理を行う。情報処理部３０の鏡面反射補正部５２は、予め記憶されているルックアップテーブルＬＵＴ[σ][ｓ]を用いて、ステップＳＴ２３で算出されたノイズの分散とステップＳＴ２４で算出された鏡面反射成分に基づき、補正後の鏡面反射成分を取得してステップＳＴ２６に進む。
　ステップＳＴ２６で情報処理部３０は拡散反射算出処理を行う。情報処理部３０の天頂角算出部４１は、ステップＳＴ５で得られた補正後の偏光度を用いて式（４０）の演算を画素毎に行い拡散反射成分ｄを算出する。
　なお、図１５において、ステップＳＴ２３とステップＳＴ２４の処理は何れを先に行ってもよく、並列処理で偏光度とノイズ量を算出してもよい。また、ステップＳＴ２１で取得される偏光画像が偏光方向毎の画像である場合、ステップＳＴ２２の補間処理は行う必要がない。
　このように、第７の実施の形態によれば、ノイズの影響が補正された鏡面反射成分を算出できる。また、補正後の鏡面反射成分を用いることで、精度よく反射成分情報を生成できる。
　＜９．第８の実施の形態＞
　次に、第８の実施の形態について説明する。第８の実施の形態では、第７の実施の形態に比べて構成を簡易とする。
　第８の実施の形態の情報処理部３０は、第７の実施の形態と同様な構成とされており、鏡面反射補正部の動作が第７の実施の形態と相違する。鏡面反射補正部５２は、ノイズ量に応じた鏡面反射成分の変化を示す変化特性情報として補正ゲイン関数を用いる。鏡面反射補正部５２は、ノイズ量算出部３３で算出されたノイズ量σと鏡面反射算出部５１で偏光画像に基づいて算出された鏡面反射成分（ｓinとする）に応じた補正ゲインを補正ゲイン関数ｇ（σ，ｓin）に基づき算出して、算出した補正ゲインを用いて鏡面反射成分ｓinを補正する。式（４１）は鏡面反射成分の補正式を示している。また、式（４２）は補正ゲイン関数ｇ（σ，ｓin）を示しており、変数ｔは式（４３）に基づいて算出される値である。なお、式（４３）においてパラメータｔｈ0は式（４４）に示す値、パラメータｔｈ1は式（４５）に基づいて算出される値である。
Figure JPOXMLDOC01-appb-M000018
　第８の実施の形態の動作は、図１５に示す第７の実施の形態と同様であり、ステップＳＴ２５の鏡面反射補正処理が相違する。すなわち情報処理部３０の鏡面反射補正部５２は、ステップＳＴ２３で算出されたノイズ量とステップＳＴ２４で算出された鏡面反射成分と補正ゲイン関数ｇ（σ，ｓin）を用いて補正後の鏡面反射成分を取得する。
　このように、第８の実施の形態によれば、第７の実施の形態と同様に、ノイズの影響が補正された鏡面反射成分の算出や、精度のよい反射成分情報を生成できる。
ノイズの影響が補正された偏光度の算出や、精度のよい法線情報を生成できる。また、第８の実施の形態では、補正ゲイン関数ｇ（σ，ｓin）を用いて鏡面反射成分の補正が可能となるので、第７の実施の形態のようにルックアップテーブルＬＵＴ[σ][ｓ]を記憶しておく必要がなく、第７の実施の形態に比べて構成を簡易にできる。
　＜１０．第９の実施の形態＞
　次に、第９の実施の形態について説明する。第９の実施の形態では、第７の実施の形態に比べて偏光度のばらつきに対してロバストな構成とする。
　第９の実施の形態の情報処理部３０は、第７の実施の形態と同様な構成とされており、鏡面反射補正部の動作が第７の実施の形態と相違する。
　鏡面反射補正部５２は、鏡面反射算出部５１で算出された鏡面反射成分ｓinを平滑化して得られる直流成分（ＤＣ成分）に対して、ノイズ量σに応じた補正を行う。さらに、鏡面反射補正部５２は、補正後のＤＣ成分に鏡面反射成分の交流成分（ＡＣ成分）を加えて補正後の鏡面反射成分ｓoutを算出する。式（４６）は偏光度の補正式を示している。なお、式（４６）においてｇ（σ，ｓdc）は、式（４１）の「ｓin」に代えて「ｓdc」を用いた場合の値である。
Figure JPOXMLDOC01-appb-M000019
　鏡面反射のＤＣ成分ｓdcの算出はどのような方法を用いてもよく、鏡面反射補正部５２は、例えば第４の実施の形態と同様にフィルタを用いて鏡面反射の平滑化を行い、ＤＣ成分ｓdcを算出する。
　第９の実施の形態の動作は、図１５に示す第７の実施の形態と同様であり、ステップＳＴ２５の鏡面反射補正処理が相違する。すなわち情報処理部３０の鏡面反射補正部５２は、ステップＳＴ２４で算出された鏡面反射を平滑化して得られるＤＣ成分とステップＳＴ２３で算出されたノイズ量と補正ゲイン関数ｇ（σ，ｓin）を用いて補正後のＤＣ成分を取得する。さらに、鏡面反射補正部５２は、補正後のＤＣ成分に鏡面反射のＡＣ成分を加算して補正後の偏光度とする。
　このような第９の実施の形態によれば、第７の実施の形態と同様に、ノイズの影響が補正された鏡面反射成分を算出できる。また、補正後の鏡面反射成分を用いることで、精度よく反射成分情報を生成できる。さらに、第９の実施の形態では、偏光度算出部３２で算出された鏡面反射を平滑化して得られるＤＣ成分に対してノイズ量に応じた補正が行われるので、鏡面反射のばらつきに対してロバストな補正処理が可能となる。
　＜１１．他の実施の形態＞
　上述の実施の形態では、偏光撮像部２０に４偏光方向の偏光画素を設けた場合を例示したが、偏光撮像部２０は３偏光方向（偏光方向に無偏光を含む）の偏光画素含む構成であれば、パラメータａ，ｂ，ｃを算出できる。また、偏光方向に無偏光を含む場合、無偏光画素は偏光画素の平均値を示しており、２つの偏光画素の偏光方向が９０°と異なる位相差を有していれば（例えば偏光方向が０°と４５°である場合）、他の偏光画素（例えば偏光方向が９０°と１３５°の画素）の輝度値を算出できる。
　偏光撮像部２０と情報処理部３０は、一体化して設けられてもよく独立して設けられてもよい。情報処理部３０は、偏光撮像部２０で取得された偏光画像を用いてオンラインで上述の処理を行い、物体表面情報を算出する場合に限らず、記録媒体等に記録されている偏光画像を用いてオフラインで上述の処理を行い、物体表面情報を算出してもよい。さらに、偏光撮像部２０はイメージセンサの撮像面にカラーモザイクフィルタを設けてカラー偏光画像を生成してもよい。
　＜１２．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の何れかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光画像に含まれるノイズの影響を軽減できるので、補正後の物体表面情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
　また、本開示に係る技術は、パブリックサービス等の分野にも適用できる。例えば被写体の画像を書籍や雑誌等に掲載する際に、不要な反射成分等を被写体の画像から精度よく除去することが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　偏光情報に基づいて算出される物体表面情報を前記偏光情報のノイズ量に応じて補正する情報補正部と
を備える情報処理装置。
　（２）　前記情報補正部は、ノイズ量に応じた物体表面情報の変化を示す変化特性情報に基づき、前記偏光情報のノイズ量に応じて前記物体表面情報を補正する（１）に記載の情報処理装置。
　（３）　前記物体表面情報は偏光度または天頂角あるいは反射成分である（２）に記載の情報処理装置。
　（４）　前記物体表面情報は偏光度または鏡面反射成分であり、
　前記情報補正部は、ノイズ量毎にノイズ量に応じた変化後の物体表面情報を偏光度毎に示すテーブルを前記変化特性情報として有しており、前記偏光情報のノイズ量において、前記偏光情報に基づいて算出した物体表面情報との差が最小となる変化後の物体表面情報に対応する変化前の物体表面情報を、補正後の前記物体表面情報とする（３）に記載の情報処理装置。
　（５）　前記物体表面情報は天頂角であり、
　前記情報補正部は、ノイズ量に応じた偏光度の変化を天頂角毎に示すテーブルを前記変化特性情報として有しており、前記偏光情報に基づいて算出した偏光度との差が最小となる前記偏光情報のノイズ量に応じた偏光度に対応する天頂角を補正後の天頂角とする（３）に記載の情報処理装置。
　（６）　前記情報補正部は、前記偏光情報のノイズ量と前記偏光情報に基づいて算出された物体表面情報に基づいて設定された補正ゲインを用いて、前記物体表面情報を補正する（３）に記載の情報処理装置。
　（７）　前記偏光情報のノイズ量は、ノイズの分散に対する前記偏光情報の平均輝度値の比率とする（６）に記載の情報処理装置。
　（８）　前記物体表面情報は偏光度または鏡面反射成分であり、
　前記情報補正部は、前記偏光情報に基づいて算出した物体表面情報を平滑化して得られる直流成分に対して、前記偏光情報のノイズ量に応じた補正を行う（３）に記載の情報処理装置。
　（９）　前記情報補正部は、前記偏光情報に基づいて算出した物体表面情報と前記直流成分との差を前記物体表面情報の交流成分として、前記交流成分と前記ノイズ量に応じた補正が行われた前記直流成分との加算結果を補正後の前記物体表面情報とする（８）に記載の情報処理装置。
　（１０）　前記物体表面情報は天頂角であり、
　前記情報補正部は、前記偏光情報に基づいて算出した偏光度を平滑化して得られる直流成分との差が最小となる偏光度に対する天頂角を、補正後の前記直流成分に対する天頂角とする（３）に記載の情報処理装置。
　（１１）　前記情報補正部は、前記直流成分に対する補正後の天頂角に、前記偏光情報に基づいて算出した偏光度の交流成分に応じた天頂角を加算して補正後の天頂角とする（１０）に記載の情報処理装置。
　（１２）　前記偏光情報のノイズ量として、前記偏光情報を取得した偏光撮像部で生じるノイズの分散を用いる（１）乃至（１１）の何れかに記載の情報処理装置。
　（１３）　前記情報補正部は、前記偏光情報に基づく偏光画像の画素毎に算出される物体表面情報を前記偏光画像の画素毎に算出されたノイズ量に応じて補正する（１）乃至（１２）の何れかに記載の情報処理装置。
　（１４）　前記偏光情報を取得する偏光撮像部をさらに備える（１）乃至（１３）の何れかに記載の情報処理装置。
　（１５）　前記情報補正部で補正された物体表面情報に基づき法線情報を生成する法線情報生成部をさらに備える（１）乃至（１４）の何れかに記載の情報処理装置。
　（１６）　前記偏光情報から無偏光成分を算出して、該無偏光成分から前記情報補正部で補正された鏡面反射成分を減算して拡散反射成分を算出する拡散反射算出部をさらに備える（１）乃至（１５）の何れかに記載の情報処理装置。
　この技術の情報処理装置と情報処理方法およびプログラムによれば、偏光情報のノイズ量が算出されて、偏光情報に基づいて算出される物体表面情報が算出されたノイズ量に応じて補正される。このため、ノイズに対してロバストな物体表面情報を取得できる。したがって、被写体認識や反射成分の調整等を行う機器に適している。
　１０・・・情報取得システム
　２０・・・偏光撮像部
　３０・・・情報処理部
　３１・・・補間処理部
　３２・・・偏光度算出部
　３３・・・ノイズ量算出部
　３４・・・偏光度補正部
　４１・・・天頂角算出部
　４２・・・誤差補正天頂角算出部
　４３・・・方位角算出部
　４４・・・法線情報生成部
　５１・・・鏡面反射算出部
　５２・・・鏡面反射補正部
　５３・・・拡散反射算出部
　２０１・・・イメージセンサ
　２０２・・・偏光フィルタ
　２０３・・・レンズ
　２０４，２１１，２１２1-1～２１２-4・・・偏光板
　２１０，２１０-1～２１０-4・・・撮像部

Claims (18)

  1. 　偏光情報に基づいて算出される物体表面情報を前記偏光情報のノイズ量に応じて補正する情報補正部
    を備える情報処理装置。
  2. 　前記情報補正部は、ノイズ量に応じた物体表面情報の変化を示す変化特性情報に基づき、前記偏光情報のノイズ量に応じて前記物体表面情報を補正する
    請求項１に記載の情報処理装置。
  3. 　前記物体表面情報は偏光度または天頂角あるいは反射成分である
    請求項２に記載の情報処理装置。
  4. 　前記物体表面情報は偏光度または鏡面反射成分であり、
    　前記情報補正部は、ノイズ量毎にノイズ量に応じた変化後の物体表面情報を偏光度毎に示すテーブルを前記変化特性情報として有しており、前記偏光情報のノイズ量において、前記偏光情報に基づいて算出した物体表面情報との差が最小となる変化後の物体表面情報に対応する変化前の物体表面情報を、補正後の前記物体表面情報とする
    請求項３に記載の情報処理装置。
  5. 　前記物体表面情報は天頂角であり、
    　前記情報補正部は、ノイズ量に応じた偏光度の変化を天頂角毎に示すテーブルを前記変化特性情報として有しており、前記偏光情報に基づいて算出した偏光度との差が最小となる前記偏光情報のノイズ量に応じた偏光度に対応する天頂角を補正後の天頂角とする
    請求項３に記載の情報処理装置。
  6. 　前記情報補正部は、前記偏光情報のノイズ量と前記偏光情報に基づいて算出された物体表面情報に基づいて設定された補正ゲインを用いて、前記物体表面情報を補正する
    請求項３に記載の情報処理装置。
  7. 　前記偏光情報のノイズ量は、ノイズの分散に対する前記偏光情報の平均輝度値の比率とする
    請求項６に記載の情報処理装置。
  8. 　前記物体表面情報は偏光度または鏡面反射成分であり、
    　前記情報補正部は、前記偏光情報に基づいて算出した物体表面情報を平滑化して得られる直流成分に対して、前記偏光情報のノイズ量に応じた補正を行う
    請求項３に記載の情報処理装置。
  9. 　前記情報補正部は、前記偏光情報に基づいて算出した物体表面情報と前記直流成分との差を前記物体表面情報の交流成分として、前記交流成分と前記ノイズ量に応じた補正が行われた前記直流成分との加算結果を補正後の前記物体表面情報とする
    請求項８に記載の情報処理装置。
  10. 　前記物体表面情報は天頂角であり、
    　前記情報補正部は、前記偏光情報に基づいて算出した偏光度を平滑化して得られる直流成分との差が最小となる偏光度に対する天頂角を、補正後の前記直流成分に対する天頂角とする
    請求項３に記載の情報処理装置。
  11. 　前記情報補正部は、前記直流成分に対する補正後の天頂角に、前記偏光情報に基づいて算出した偏光度の交流成分に応じた天頂角を加算して補正後の天頂角とする
    請求項１０に記載の情報処理装置。
  12. 　前記偏光情報のノイズ量として、前記偏光情報を取得した偏光撮像部で生じるノイズの分散を用いる
    請求項１に記載の情報処理装置。
  13. 　前記情報補正部は、前記偏光情報に基づく偏光画像の画素毎に算出される物体表面情報を前記偏光画像の画素毎に算出されたノイズ量に応じて補正する
    請求項１に記載の情報処理装置。
  14. 　前記偏光情報を取得する偏光撮像部をさらに備える
    請求項１に記載の情報処理装置。
  15. 　前記情報補正部で補正された物体表面情報に基づき法線情報を生成する法線情報生成部をさらに備える
    請求項１に記載の情報処理装置。
  16. 　前記偏光情報から無偏光成分を算出して、該無偏光成分から前記情報補正部で補正された鏡面反射成分を減算して拡散反射成分を算出する拡散反射算出部をさらに備える
    請求項１に記載の情報処理装置。
  17. 　偏光情報に基づいて算出される物体表面情報を前記偏光情報のノイズ量に応じて情報補正部で補正すること
    を含む情報処理方法。
  18. 　偏光情報に基づいた物体表面情報の算出をコンピュータで実行させるプログラムであって、
    　前記偏光情報に基づいて算出される物体表面情報を前記偏光情報のノイズ量に応じて補正する手順
    を前記コンピュータで実行させるプログラム。
PCT/JP2019/003391 2018-04-26 2019-01-31 情報処理装置と情報処理方法およびプログラム Ceased WO2019207886A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/048,762 US11847762B2 (en) 2018-04-26 2019-01-31 Information processing apparatus and method for processing information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018084919 2018-04-26
JP2018-084919 2018-04-26

Publications (1)

Publication Number Publication Date
WO2019207886A1 true WO2019207886A1 (ja) 2019-10-31

Family

ID=68295258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003391 Ceased WO2019207886A1 (ja) 2018-04-26 2019-01-31 情報処理装置と情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US11847762B2 (ja)
WO (1) WO2019207886A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11754692B2 (en) * 2020-03-31 2023-09-12 Bae Systems Information And Electronic Systems Integration Inc. LIDAR polarimetry
JP7755402B2 (ja) * 2021-07-12 2025-10-16 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP2023081728A (ja) * 2021-12-01 2023-06-13 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099589A1 (ja) * 2007-02-13 2008-08-21 Panasonic Corporation 画像処理システム、方法、装置、及び画像フォーマット
JP2013066166A (ja) * 2011-08-30 2013-04-11 Ricoh Co Ltd 撮像装置、並びに、これを用いる画像解析装置及び移動装置
JP2018005542A (ja) * 2016-07-01 2018-01-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009019886A1 (ja) 2007-08-07 2009-02-12 Panasonic Corporation 法線情報生成装置および法線情報生成方法
US8964072B2 (en) * 2010-02-25 2015-02-24 Vorotec Ltd. Light filter with varying polarization angles and processing algorithm
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
WO2013175686A1 (ja) * 2012-05-22 2013-11-28 パナソニック株式会社 撮像処理装置および内視鏡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099589A1 (ja) * 2007-02-13 2008-08-21 Panasonic Corporation 画像処理システム、方法、装置、及び画像フォーマット
JP2013066166A (ja) * 2011-08-30 2013-04-11 Ricoh Co Ltd 撮像装置、並びに、これを用いる画像解析装置及び移動装置
JP2018005542A (ja) * 2016-07-01 2018-01-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Also Published As

Publication number Publication date
US11847762B2 (en) 2023-12-19
US20210201450A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
JP5392415B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
WO2019198287A1 (ja) 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
US11210842B2 (en) Image processing apparatus, image processing method and storage medium
US20120257016A1 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
CN107690595B (zh) 用于借助以不同的照明角度进行照明来图像记录的设备和方法
US10200629B2 (en) Image capturing device and method for image capturing
US20140009634A1 (en) Image processing device and image processing system
JP7584901B2 (ja) 電子機器およびその制御方法
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP2012026841A (ja) ステレオ測距装置及びステレオ測距方法
WO2020213238A1 (ja) 撮像装置と画像処理装置および画像処理方法
WO2013125099A1 (ja) Ａｒ画像処理装置及び方法
US11347133B2 (en) Image capturing apparatus, image processing apparatus, control method, and storage medium
WO2019207886A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2013005244A1 (ja) ３次元相対座標計測装置およびその方法
US10237485B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2013254097A (ja) 画像処理装置及びその制御方法、並びにプログラム
WO2019202812A1 (ja) 画像処理装置と画像処理方法とプログラムおよび学習装置
US12101583B2 (en) Information generation device, information generation method and program
JPWO2019220722A1 (ja) 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
JP2019020952A (ja) 画像処理装置、方法、及びプログラム
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
JP2017194591A (ja) 距離測定装置、撮像装置、および距離測定方法
CN111292380B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19792934

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19792934

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP