[go: up one dir, main page]

WO2021229943A1 - 情報処理装置と情報処理方法およびプログラム - Google Patents

情報処理装置と情報処理方法およびプログラム Download PDF

Info

Publication number
WO2021229943A1
WO2021229943A1 PCT/JP2021/013540 JP2021013540W WO2021229943A1 WO 2021229943 A1 WO2021229943 A1 WO 2021229943A1 JP 2021013540 W JP2021013540 W JP 2021013540W WO 2021229943 A1 WO2021229943 A1 WO 2021229943A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
parameter
image
polarized
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/013540
Other languages
English (en)
French (fr)
Inventor
楽公 孫
康孝 平澤
雄飛 近藤
大志 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to US17/922,579 priority Critical patent/US12437380B2/en
Priority to JP2022522553A priority patent/JPWO2021229943A1/ja
Publication of WO2021229943A1 publication Critical patent/WO2021229943A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • This technology makes it possible to detect abnormalities that do not appear in color information and brightness information regarding information processing devices, information processing methods, and programs.
  • Patent Document 1 a defect of a target object is detected based on the luminance information of each image included in the image captured by irradiating the target object with light from a plurality of directions. Further, in Patent Document 2, a rendered image corresponding to the visual field of the image pickup unit is generated, and the image feature of the image region corresponding to the object model in the rendered image is compared with the image feature of the change region extracted from the captured image. Therefore, the abnormality of the object corresponding to the object model is detected.
  • the purpose of this technology is to provide an information processing device, an information processing method, and a program that can detect an abnormality that is difficult to detect based on brightness information and color information.
  • the first aspect of this technology is A polarization rendering setting unit that sets multiple parameters used to generate a polarization rendering image for anomaly detection, and a polarization rendering setting unit.
  • a polarization rendering image generation unit that generates a polarization rendering image of the abnormality detection target based on the parameters set in the polarization rendering setting unit, and a polarization rendering image generation unit. It is provided with an abnormality detection unit that detects an abnormality region of the abnormality detection target based on the difference between the polarized light captured image acquired by imaging the abnormality detection target and the polarization rendering image generated by the polarization rendering image generation unit. It is in the information processing device.
  • the polarization rendering setting unit sets a plurality of parameters used to generate a polarization rendering image to be detected as an abnormality.
  • the plurality of parameters include a light source parameter relating to a light source, a geometry parameter relating to an abnormality detection target, a material parameter relating to a polarization characteristic of the abnormality detection target, and a camera parameter of a polarized light image acquisition unit for acquiring a polarized image.
  • the polarization rendering setting unit sets the plurality of measured parameters as parameters used for generating a polarized rendering image.
  • the polarization rendering setting unit performs optimization processing for parameters that have not been measured, for example, when some or all of a plurality of parameters have not been measured.
  • the unmeasured parameter is set as a parameter that can minimize the difference between the polarized image captured image and the polarized rendered image generated by the polarized rendered image generation unit.
  • the polarization rendering setting unit makes it possible to adjust the convergence characteristic of the parameter by using the parameter value converged by repeating the update of the parameter using the difference, for example, as the optimized parameter value.
  • the polarization rendering setting unit sets the measured parameter and the parameter calculated by the optimization process, or if there is no measured parameter, the parameter calculated by the optimization process as the parameter used for generating the polarized rendering image. At least the material parameters may be measured in advance, and the polarization rendering setting unit may use the parameters measured in advance by fixing them.
  • the polarized rendering image generation unit generates a polarized rendering image for abnormality detection based on the parameters set in the polarized rendering setting unit.
  • the abnormality detection unit detects the abnormality region of the abnormality detection target on a pixel-by-pixel basis based on the difference between the polarized light captured image acquired by imaging the abnormality detection target and the polarization rendering image generated by the polarization rendering image generation unit. Further, the abnormality detection unit may estimate the cause of the abnormality in the detected abnormality region based on the information indicating whether the parameter is a measured parameter or a parameter calculated by the optimization process. Further, the abnormality detection unit may detect an abnormality region to be detected as an abnormality based on the difference in the polarization information by using the polarization information calculated from the polarized light captured image and the polarization information calculated from the polarization rendering image.
  • the second aspect of this technology is Setting multiple parameters used to generate a polarized rendering image for anomaly detection in the polarized rendering setting unit, and
  • the polarization rendering image generation unit generates the polarization rendering image of the abnormality detection target based on the parameters set in the polarization rendering setting unit.
  • the abnormality detection unit detects the abnormality region of the abnormality detection target based on the difference between the polarized light image obtained by imaging the abnormality detection target and the polarization rendering image generated by the polarization rendering image generation unit. It is in the information processing method including.
  • the third aspect of this technology is A program that allows a computer to detect anomalies for anomaly detection targets.
  • the program of the present technology is, for example, a storage medium, a communication medium, for example, a storage medium such as an optical disk, a magnetic disk, a semiconductor memory, etc., which is provided in a computer-readable format to a general-purpose computer capable of executing various program codes. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program can be realized on the computer.
  • polarized rendered image (hereinafter referred to as "polarized rendered image") is generated using polarization characteristics and the like.
  • a light source parameter L the geometry parameter G of the non-light source (object)
  • material parameters M indicating the polarization characteristics of the non-light sources
  • a camera parameter C polarized rendered image I f based on the function f shown in equation (1)
  • the light source parameter L is a vector of parameters indicating the position and direction of the light source, the Stokes vector of the irradiation light emitted from the light source, and the like.
  • the non-light source geometry parameter G is a vector of parameters indicating the shape, position, and posture of the subject.
  • the non-light source material parameter M is a parameter indicating the Mueller matrix of the subject.
  • the camera parameter C is a vector of internal parameters and external parameters of the camera.
  • the parameter ⁇ is the angle (also referred to as the polarization direction) of the linear polarizing element (simply also referred to as “polarizing plate”) used when acquiring a polarized image (hereinafter referred to as “polarized image captured image”) with a camera. ) Is shown.
  • the angle phi polarization captured image I r phi obtained by performing imaging with the camera provided with the polarizing plate
  • the polarizing rendered image I f the difference between the phi and the polarization captured image I r phi is calculated for each region of a predetermined pixel, an area larger than the determination threshold difference is set in advance, to the abnormal region.
  • FIG. 1 illustrates the configuration of an information processing device.
  • the information processing apparatus 10 includes a polarized light image acquisition unit 20, a polarized light rendering setting unit 30, a polarized light rendering image generation unit 40, and an abnormality detection unit 50.
  • the polarized light image acquisition unit 20 captures an abnormality detection target and acquires a polarized image.
  • FIG. 2 illustrates the configuration of a polarized light image acquisition unit. As shown in (a) of FIG. 2, for example, the polarized light image acquisition unit 20 is generated by arranging a polarizing plate 202 having a plurality of pixel configurations in the polarization direction on the image sensor 201 and performing image pickup. Note that FIG. 2A illustrates a case where the polarizing plate 202, in which each pixel is a pixel in any of four different polarization directions (the polarization direction is indicated by an arrow), is arranged in front of the image sensor 201. ing. Further, as shown in FIG.
  • the polarized light image acquisition unit 20 may generate a plurality of polarized light image images having different polarization directions by using the configuration of the multi-lens array.
  • a plurality of lenses 203 (four in the figure) are provided on the front surface of the image sensor 201, and each lens 203 forms an optical image of the subject on the image pickup surface of the image sensor 201.
  • a polarizing plate 204 is provided on the front surface of each lens 203, and a plurality of polarized light captured images having different polarization directions are generated with the polarizing directions of the polarizing plates 204 (the polarization directions are indicated by arrows) as different directions.
  • the polarized light captured image acquisition unit 20 is configured in this way, a plurality of polarized light captured images can be acquired by one imaging, so that abnormality detection can be performed quickly. Further, as shown in FIG. 2C, the polarizing plates 212-1 to 212-4 having different polarization directions are provided in front of the imaging units 210-1 to 210-4 from different viewpoints. A plurality of polarized images having different polarization directions (indicated by arrows) may be generated.
  • the polarizing plate 211 may be provided in front of the image pickup unit 210 as shown in FIG. 2 (d). good. In this case, the polarizing plate 211 is rotated to take images in a plurality of different polarization directions, and a plurality of polarized light captured images having different polarization directions are acquired.
  • the plurality of different polarization directions may be any combination of angles as long as the angles are all different. For example, 0 degrees, 60 degrees, and 120 degrees when using three polarization directions, and 0 when using four polarization directions. Degrees, 45 degrees, 90 degrees and 135 degrees are used.
  • the polarized light image acquisition unit 20 can acquire a luminance polarized light image.
  • an image equivalent to an unpolarized normal luminance image can be obtained by averaging the luminancees of four adjacent pixels having different polarization directions. ..
  • the polarization direction if the positional distance between each lens 203 and the image pickup units 210-1 to 210-4 is short enough to be negligible with respect to the distance to the abnormality detection target, the polarization direction. Parallax can be ignored in multiple polarized image images with different values.
  • the polarized image acquisition unit 20 may simultaneously generate not only the luminance polarized image but also the three primary color images by providing the image sensor 201 with a color filter, or may simultaneously generate an infrared image or the like. Further, the polarized image acquisition unit 20 may generate a luminance image by calculating the luminance from the three primary color images.
  • FIG. 3 exemplifies a pixel configuration in a plurality of polarization directions, and the configuration shown in FIG. 3 is repeated in the horizontal direction and the vertical direction.
  • (A) and (b) of FIG. 3 exemplify the pixel configuration in the case of acquiring a black-and-white image.
  • FIG. 3A illustrates a case where a polarized pixel block of 2 ⁇ 2 pixels is composed of polarized pixels having polarization directions (polarization angles) of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example. .. Further, in FIG.
  • a polarized pixel block of 4 ⁇ 4 pixels is composed of polarized pixels having polarization directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example, with 2 ⁇ 2 pixels as a unit of polarization direction. The case where it is done is illustrated.
  • the polarization component unit of the polarizing plate is 2 ⁇ 2 pixels as shown in FIG. 3B
  • the polarization component obtained for each polarization component unit is from the region of different polarization component units adjacent to each other.
  • the proportion of the leakage of the polarized light component of FIG. 3 is smaller than that of the 1 ⁇ 1 pixel shown in FIG. 3 (a).
  • the polarizing plate uses a wire grid
  • polarized light whose electric field component is perpendicular to the direction of the grid (wire direction) is transmitted, and the longer the wire, the higher the transmittance. Therefore, when the unit of the polarization component is 2 ⁇ 2 pixels, the transmittance is higher than that of 1 ⁇ 1 pixel. Therefore, when the unit of the polarization component is 2 ⁇ 2 pixels, the transmittance is higher than that of 1 ⁇ 1 pixel, and the extinction ratio can be improved.
  • FIG. 3C shows a case where the 2 ⁇ 2 pixel polarized pixel block shown in FIG. 3A is used as one color unit and the three primary color pixels (red pixel, green pixel, and red pixel) are arranged in a bayer. Shows.
  • FIG. 3D exemplifies a case where the three primary color pixels are provided in a Bayer array for each pixel block of 2 ⁇ 2 pixels shown in FIG. 3B in the same polarization direction.
  • FIG. 3 (e) shows a case where three primary color pixels are provided in a bayer array for each pixel block of 2 ⁇ 2 pixels in the same polarization direction, and blocks of 2 ⁇ 2 pixels having different polarization directions are pixels of the same color. Illustrate.
  • the pixel blocks of the Bayer arrangement in the same polarization direction of 2 ⁇ 2 pixels have a phase difference of 90 in the polarization direction from the pixel blocks adjacent in the horizontal direction, and are adjacent to the pixel blocks in the vertical direction.
  • the case where the phase difference in the polarization direction of is ⁇ 45 degrees is shown.
  • the pixel blocks of the Bayer arrangement in the same polarization direction of 2 ⁇ 2 pixels have a phase difference of 90 in the polarization direction from the pixel blocks adjacent in the vertically direction, and are adjacent to the pixel blocks in the horizontal direction.
  • the case where the phase difference in the polarization direction of is ⁇ 45 degrees is shown.
  • a 2 ⁇ 2 pixel block may be composed of three primary color pixels and white pixels, or may be composed of three primary color pixel blocks and white pixel blocks.
  • the block of 2 ⁇ 2 pixels may be composed of polarized pixels and unpolarized pixels having different polarization directions, or may be composed of polarized pixel blocks and unpolarized pixel blocks having different polarization directions.
  • the polarized image acquisition unit 20 generates a polarized image having a resolution of each pixel, that is, a pixel block unit having a predetermined number of pixels, for each polarization direction.
  • a polarized image image having a resolution of one pixel unit may be generated for each polarization direction by using the existing demosaic process.
  • the polarization rendering setting unit 30 sets the plurality of measured parameters as parameters used for generating a polarized rendering image. Further, when some or all of the plurality of parameters are not measured, the polarization rendering setting unit 30 performs the optimization processing of the parameters that have not been measured, and the measured parameters and the parameters calculated by the optimization processing. Alternatively, if there is no measured parameter, the parameter calculated by the optimization process is set as the parameter used to generate the polarized rendered image.
  • the polarization rendering setting unit 30 performs parameter optimization processing and calculates a parameter that can minimize the difference between the polarization captured image and the polarization rendering image. For example, the polarization rendering setting unit uses the converged parameter value as the optimized parameter value by repeatedly updating the parameter using the difference. Further, the polarization rendering setting unit 30 can adjust the convergence characteristic of the parameter by using the update rate described later.
  • the plurality of parameters used to generate the polarized rendered image are the light source parameter related to the light source, the geometry parameter related to the abnormality detection target, the material parameter related to the polarization characteristic of the abnormality detection target, and the camera of the polarized image acquisition unit that acquires the polarized image.
  • the polarization rendering setting unit 30 includes parameters, and has a light source parameter setting unit 31, a geometry parameter setting unit 32, a material parameter setting unit 33, and a camera parameter setting unit 34.
  • the light source parameter setting unit 31 sets the position and direction of the light source, the Stokes vector of the irradiation light emitted from the light source, and the like as light source parameters in order to generate a polarized rendered image.
  • the light source parameter setting unit 31 may use the light source parameter measured in advance in a fixed manner, or may use the measurement result of the light source parameter performed before the rendering process in a fixed manner. If the light source parameters have not been measured, the parameters can be optimized and the rendering process can be started using the preset initial values to minimize the difference between the polarized image and the polarized rendered image. Calculate and use the light source parameters.
  • the geometry parameter setting unit 32 sets the shape, position, and posture of the abnormality detection target as geometry parameters.
  • the geometry parameter setting unit 32 may use the geometry parameters measured in advance in a fixed manner, or may use the geometry parameter measurement results performed before the rendering process in a fixed manner. If the geometry parameters have not been measured, the parameters can be optimized and the rendering process can be started using the preset initial values to minimize the difference between the polarized image and the polarized rendered image. Calculate and use geometry parameters.
  • the material parameter setting unit 33 sets a Mueller matrix indicating the polarization characteristics of the abnormality detection target as the material parameter.
  • the material parameter setting unit 33 may be used by fixing the material parameter measured in advance, or may be used by fixing the measurement result of the material parameter performed before the rendering process. If the material parameters have not been measured, the parameters can be optimized and the rendering process can be started using the preset initial values to minimize the difference between the polarized image and the polarized rendered image. Calculate and use material parameters.
  • the camera parameter setting unit 34 sets the internal parameters and external parameters of the camera as camera parameters.
  • the camera parameter setting unit 34 may use the camera parameters measured in advance in a fixed manner, or may use the camera parameter measurement results performed before the rendering process in a fixed manner. If the camera parameters have not been measured, the parameters can be optimized and the rendering process can be started using the preset initial values to minimize the difference between the polarized image and the polarized rendered image. Calculate and use camera parameters.
  • the polarization rendering setting unit 30 outputs the parameters set by the light source parameter setting unit 31, the geometry parameter setting unit 32, the material parameter setting unit 33, and the camera parameter setting unit 34 to the polarization rendering image generation unit 40. Further, the polarization rendering setting unit 30 indicates information for each parameter, such as whether the parameter is being measured, a parameter calculated by the optimization process, or whether the optimization process is completed (hereinafter, “parameter attribute information”). ”) And output to the abnormality detection unit 50.
  • the polarization rendering image generation unit 40 generates a polarization rendering image based on the parameters set by the polarization rendering setting unit 30, and outputs the generated polarization rendering image to the abnormality detection unit 50.
  • the abnormality detection unit 50 calculates the difference between the polarized light captured image acquired by the polarized light captured image acquisition unit 20 and the polarized rendered image generated by the polarized rendered image generation unit 40. Further, the abnormality detection unit 50 outputs the calculated difference to the polarization rendering setting unit 30 when the parameter optimization processing is performed based on the parameter attribute information generated by the polarization rendering setting unit 30. Further, when the parameter attribute information indicates that all the optimization processing is completed, the abnormality detection unit 50 compares the difference between the polarized image captured image and the polarized rendered image with the determination threshold value, and the difference is the determination threshold value. A pixel area larger than is detected as an abnormal area.
  • FIG. 4 is a flowchart illustrating the operation of the information processing apparatus.
  • the information processing apparatus acquires a polarized image.
  • the polarized light image acquisition unit 20 of the information processing apparatus 10 captures an abnormality detection target, acquires a polarized image, and proceeds to step ST2.
  • step ST2 the information processing apparatus sets the parameter update rate.
  • the polarization rendering setting unit 30 of the information processing apparatus 10 sets the update rate ⁇ L for the light source parameter L. Further, the polarization rendering setting unit 30 sets the update rates ⁇ G , ⁇ M , and ⁇ C for each of the geometry parameter G, the material parameter M, and the camera parameter C, and proceeds to step ST3.
  • the update rate is information for setting the parameter correction amount based on the difference between the polarized image captured image and the polarized rendered image when the parameter optimization process is performed.
  • the update rate is "0"
  • the polarization rendering setting unit 30 does not perform the optimization process because the parameter correction amount is "0”.
  • the polarization rendering setting unit 30 calculates the parameter correction amount based on the abnormality detection result and performs the optimization process. The details of the operation using the update rate will be described later.
  • step ST3 the information processing device sets a parameter with an update rate of 0.
  • step ST4 the information processing apparatus sets the initial value of the parameter whose update rate> 0. Since the polarization rendering setting unit 30 performs optimization processing for the parameter with the update rate> 0 and automatically calculates the optimum parameter value, the initial value for the parameter with the update rate> 0 is an arbitrary value or a value specified in advance. To step ST5.
  • step ST5 the information processing device generates a polarized rendered image.
  • the polarized rendering image generation unit 40 of the information processing apparatus 10 performs rendering processing using the parameter values set in steps ST3 and ST4, or the parameter values set in step ST3 and the parameter values updated in step ST8 described later. To generate a polarized rendered image and proceed to step ST6.
  • step ST6 the information processing device calculates the difference.
  • the abnormality detection unit 50 of the information processing apparatus 10 calculates the difference between the polarized light captured image acquired in step ST1 and the polarized light rendered image generated in step ST5, and proceeds to step ST7.
  • step ST7 the information processing apparatus determines whether the optimization process has been completed.
  • the polarization rendering setting unit 30 performs optimization processing for updating the parameter by using the differential result for each parameter with respect to the difference at a ratio corresponding to the update rate for the parameter whose update rate> 0.
  • the polarization rendering setting unit 30 determines that the optimization process is completed when each parameter whose update rate> 0 converges, and proceeds to step ST9. Further, if there is a parameter that has not converged, the process proceeds to step ST8.
  • step ST8 the information processing device updates the parameters.
  • the polarization rendering setting unit 30 calculates the correction amount of each parameter for which the update rate> 0 by using the differential result and the update rate for each parameter with respect to the difference. Further, the polarization rendering setting unit 30 corrects the parameters using the calculated correction amount and returns to step ST5.
  • step ST9 the information processing device performs the discrimination process.
  • the abnormality detection unit 50 of the information processing apparatus 10 compares the difference and the determination threshold value in pixel units, and determines that the pixel area smaller than the determination threshold value is the normal area and the pixel area equal to or larger than the determination threshold value is the abnormality area.
  • the parameter acquisition unit may be provided separately from the polarization rendering setting unit 30. Further, when the parameter is measured at the site where the abnormality is detected, the function of the parameter acquisition unit may be provided in the parameter setting unit of the polarization rendering setting unit 30.
  • the light source parameter acquisition unit for acquiring the light source parameter is configured by using, for example, an image pickup unit and an environment image pickup unit provided with a polarizing plate in front of the image pickup unit so that the polarization direction can be changed.
  • the light source parameter acquisition unit calculates a Stokes vector based on a polarized light image obtained by imaging a light source for each of a plurality of predetermined polarization directions with the polarization direction as a predetermined plurality of polarization directions, and uses the light source parameter as a light source parameter.
  • FIG. 5 illustrates the configuration of the environment imaging unit.
  • the environment imaging unit 311 is configured by providing, for example, a plurality of imaging units 3111 having different imaging directions and a polarizing plate 3112 in front of each imaging unit so that the polarization direction can be changed.
  • the polarizing plates 3112 are oriented in the same polarization direction as each other.
  • the environment imaging unit 311 images the environment when the abnormality detection target is imaged, and generates, for example, a polarized image of the whole celestial sphere in each of a plurality of polarization directions.
  • the environment imaging unit 311 may acquire a polarized image of the whole celestial sphere in each of a plurality of polarization directions by one imaging unit 3111 and a polarizing plate 3112 using a fisheye lens or the like. Further, the environment imaging unit 311 is not limited to the case of generating a polarized image of the whole celestial sphere. For example, when the light source is provided only in a limited range, a polarized image captured in a limited range may be generated.
  • FIG. 6 illustrates a polarized image captured by the environment imaging unit. Note that FIG. 6A exemplifies a fisheye image showing a spherical image, and FIG. 6B exemplifies a developed image obtained by developing a fisheye image on a cylindrical surface.
  • the light source parameter calculation unit divides the polarized image captured image generated by the environment image pickup unit 311 into the zenith direction and the azimuth direction, and uses the average incident Stokes vector in the area for each divided area as the light source parameter. Further, the light source parameter calculation unit may calculate the average incident direction of the light beam and include it in the light source parameter.
  • FIG. 7 illustrates the division of a polarized image. Note that FIG. 7A shows a division example of the fisheye image shown in FIG. 6A, and FIG. 7B shows a division example of the developed image shown in FIG. 6B. ing.
  • the light source parameter calculation unit when the light source position of the polarized incident light in the incident direction ⁇ i is included in the region ALi, the light source parameter calculation unit has the average incident direction in the region ALi and the equation (2).
  • the average incident Stokes vector SLi is calculated as shown in.
  • the average incident direction and the average incident Stokes vector are calculated for the other regions, respectively.
  • the observed value IL (0 °) is an observed value obtained by imaging the light source and the polarization direction is 0 °
  • the observed value IL (45 °) is obtained by imaging the light source.
  • the observed value with a polarization direction of 45 ° is the observed value with a polarization direction of 90 ° obtained by imaging the light source
  • the observed value IL (135 °) is an image of the light source.
  • the obtained polarization direction is an observation value of 135 °.
  • FIG. 8 illustrates the light source parameter L.
  • FIG. 9 is a diagram for explaining the material polarization characteristics.
  • the light emitted from the light source LT is irradiated to the measurement target OB via, for example, the polarizing plate PL1, and the image pickup unit (hereinafter referred to as “measurement target image pickup unit”) CM that images the measurement target of the material parameter is, for example, a polarizing plate.
  • the measurement target OB is imaged via PL2.
  • the Z direction indicates the zenith direction, and the angle ⁇ is the zenith angle.
  • the polarization directions of the polarizing plates are, for example, 0 °, 45 °, 90 °, 135 °
  • the pixel value obtained by imaging the measurement target with the measurement target imaging unit CM is the observation value I, the polarization direction.
  • the relationship between the Stokes vector and the observed value is given by Eq. (3).
  • component s 0 indicates unpolarized luminance or average luminance. Further, component s 1 shows the difference in intensity in the polarization direction between 0 ° and 90 °, and component s 2 shows the difference in intensity in the polarization direction between 45 ° and 135 °. That is, the 0 ° Stokes vector is [1,1,0] T , the 45 ° Stokes vector is [1,0,1] T , and the 90 ° Stokes vector is [1,-1,0] T , 135 °.
  • the Stokes vector of is [1,0, -1] T.
  • the Stokes vector of the light in the incident direction ⁇ i irradiated to the measurement target OB is “Si”
  • the Stokes vector of the light in the emission direction ⁇ o observed by the measurement target imaging unit CM is “So”
  • the incident direction ⁇ i and the emission If the Muller matrix in the direction ⁇ o is M ( ⁇ o, ⁇ i), the equation (4) holds.
  • the equation (4) is a determinant of the equation (3).
  • Equation (4) becomes equation (5) when the polarization direction of the incident light applied to the measurement target OB is 0 °. Further, the equation (4) is the equation (6) when the polarization direction of the incident light is 45 °, the equation (7) when the polarization direction of the incident light is 90 °, and the polarization direction of the incident light is 135 °. In the case of, the equation (8) is obtained.
  • Equation (10) shows the normalized M-matrix M ( ⁇ o, ⁇ i).
  • the Muller matrix calculated in this way shows the polarization reflection characteristics peculiar to the material to be measured, and the calculated Muller matrix is used as the material parameter. Since the polarization reflection characteristic does not depend on the external environment, it can be used everywhere once it is measured, and it is not necessary to repeatedly acquire the polarization reflection characteristic. Therefore, if the material parameters are measured in advance, it becomes easy to set the parameters required for the polarized rendering image.
  • FIGS. 10 and 11 are flowcharts illustrating the acquisition operation of material parameters. Note that FIGS. 10 and 11 show a case where the light source parameters at the positions of each angle ⁇ a in the directional direction and each angle ⁇ b in the zenith direction are used. Further, in the measurement target imaging unit that captures the measurement target of the material parameter, the imaging direction is moved in the zenith direction for each angle ⁇ c, and the switching of the polarization direction is set to “0 °, 45 °, 90 °, 135 °”. ing. The light source parameters are measured in advance.
  • step ST11 the material parameter acquisition unit initializes the measurement target imaging unit.
  • the material parameter acquisition unit calibrates the measurement target imaging unit that images the measurement target of the material parameter, and proceeds to step ST12 with the azimuth and zenith angles set to 0 °.
  • step ST12 the material parameter acquisition unit initializes the zenith angle.
  • the material parameter acquisition unit proceeds to step ST13 with the direction in which the zenith angle of the measurement target imaging unit is 0 ° as the direction of the zenith angle of the imaging unit (hereinafter referred to as “light source imaging unit”) used for acquiring the light source parameter. ..
  • step ST13 the material parameter acquisition unit initializes the azimuth angle.
  • the material parameter acquisition unit initializes the measurement target imaging unit, and proceeds to step ST14 with the direction of the measurement target imaging unit at 0 ° as the direction of the azimuth angle of 0 ° in the light source imaging unit.
  • step ST14 the material parameter acquisition unit initializes the polarizing plate on the light source side.
  • the material parameter acquisition unit proceeds to step ST15 with the polarization direction of the polarizing plate used in the light source imaging unit set to 0 °.
  • step ST15 the material parameter acquisition unit initializes the polarizing plate of the measurement target imaging unit.
  • the material parameter acquisition unit proceeds to step ST16 with the polarization direction of the polarizing plate used in the measurement target imaging unit set to 0 °.
  • step ST16 the material parameter acquisition unit captures the measurement target of the material parameter.
  • the geodetic object imaging unit generates a polarized image captured by imaging the measurement object, and proceeds to step ST17.
  • step ST17 the material parameter acquisition unit rotates the polarizing plate of the measurement target imaging unit by 45 °.
  • the material parameter acquisition unit rotates the polarization direction of the polarizing plate by 45 ° and proceeds to step ST18.
  • step ST18 the material parameter acquisition unit determines whether the polarization direction of the measurement target imaging unit is smaller than 180 °.
  • the material parameter acquisition unit returns to step ST16 when the polarization direction after rotation is smaller than 180 °, and proceeds to step ST19 when the polarization direction is 180 ° or more.
  • step ST19 the material parameter acquisition unit acquires the emission Stokes vector.
  • the material parameter acquisition unit is generated because each polarized light image captured image having a polarization direction of "0 °, 45 °, 90 °, 135 °" is generated by performing the processing from step ST16 to step ST18. Based on the polarized image, the emitted Stokes vector is calculated and the process proceeds to step ST20.
  • step ST20 the material parameter acquisition unit rotates the polarizing plate on the light source side by 45 °.
  • the material parameter acquisition unit rotates the polarization direction of the polarizing plate by 45 ° and proceeds to step ST21.
  • step ST21 the material parameter acquisition unit determines whether the polarization direction on the light source side is smaller than 180 °.
  • the material parameter acquisition unit returns to step ST15 when the polarization direction after rotation is smaller than 180 °, and proceeds to step ST22 when the polarization direction is 180 ° or more.
  • the material parameter acquisition unit calculates the polarization reflection characteristics.
  • the material parameter acquisition unit calculates the Muller matrix based on the emitted Stokes vector when the polarization direction of the polarized light incident on the measurement target is “0 °, 45 °, 90 °, 135 °”. That is, the Muller matrix represented by the equation (9) or the equation (10) is calculated based on the above equations (5) to (8), and the process proceeds to step ST23.
  • step ST23 the material parameter acquisition unit saves the material parameter.
  • the material parameter acquisition unit generates a material parameter in which the incident direction ⁇ i indicating the light source direction and the emission direction ⁇ o indicating the direction of the measurement target imaging unit are associated with the Muller matrix calculated in step ST22, and stores the material parameter in the database unit or the like. Proceed to step ST24.
  • step ST24 the material parameter acquisition unit moves the light source azimuth by ⁇ a °.
  • the material parameter acquisition unit moves the azimuth angle of the light source imaging unit by ⁇ a ° and proceeds to step ST25.
  • step ST25 the material parameter acquisition unit determines whether the light source azimuth is smaller than 360 °.
  • the material parameter acquisition unit returns to step ST14 when the light source azimuth is smaller than 360 °, and proceeds to step ST26 when the light source azimuth is 360 ° or more.
  • step ST26 the material parameter acquisition unit moves the light source zenith angle by ⁇ b °.
  • the material parameter acquisition unit moves the zenith angle of the light source imaging unit by ⁇ b ° and proceeds to step ST27.
  • step ST27 the material parameter acquisition unit determines whether the light source zenith angle is smaller than 90 °.
  • the material parameter acquisition unit returns to step ST13 when the light source zenith angle is smaller than 90 °, and proceeds to step ST28 when the light source azimuth is 90 ° or more. That is, by performing the processing from step ST13 to step ST27, the material parameters for each incident direction in which the resolution in the directional direction is ⁇ a ° and the resolution in the zenith direction is ⁇ b ° are stored in the database unit or the like for one emission direction. Will be.
  • step ST28 the material parameter acquisition unit moves the zenith angle of the image pickup unit to be measured by ⁇ c °.
  • the material parameter acquisition unit moves the zenith angle of the measurement target imaging unit by ⁇ c ° and proceeds to step ST29.
  • step ST29 the material parameter acquisition unit determines whether the zenith angle of the image pickup unit to be measured is smaller than 90 °.
  • the material parameter acquisition unit returns to step ST12 when the zenith angle of the image pickup unit to be measured is smaller than 90 °, and ends the process when the azimuth angle is 90 ° or more. Therefore, the material parameters for each incident direction in which the resolution in the azimuth direction is the angle ⁇ a and the resolution in the zenith direction is the angle ⁇ b, and the material parameters for each emission direction in which the resolution in the zenith direction is the angle ⁇ c are stored in the database unit or the like. ..
  • the existing measurement method may be used.
  • the internal parameters and the external parameters are acquired by using the methods disclosed in JP-A-2001-264037 or JP-A-2008-131176.
  • Abnormality detecting unit 50 calculates the polarization rendered image I f phi and the difference E I ⁇ the polarizing captured image I r ⁇ (L, G, M, C) a.
  • the anomaly detection unit 50 may calculate a mean square error (MSE: Mean Square Error) as shown in the equation (11), for example, as a difference EI ⁇ (L, G, M, C). It may be calculated by using an arbitrary norm function as shown in. Further, PSNR (Peak Signal to Noise Ratio) calculated by using the maximum pixel value that the image can take and the mean square error may be used as the difference.
  • MSE Mean Square Error
  • the polarization rendering setting unit 30 calculates the partial differential for each parameter of the difference EI ⁇ (L, G, M, C), which is a multivariable function, and uses an existing optimization method (the steepest descent method, etc.). Then, as shown in the equation (13), the parameters Lem , Gem , Mem , and Cem that can minimize the difference EI ⁇ (L, G, M, C) are calculated.
  • the polarization rendering setting unit 30 converges the light source parameter L to the optimum value by repeating the calculation of the equation (14). Further, the polarization rendering setting unit 30 converges the geometry parameter G to the optimum value by repeating the calculation of the equation (15), and converges the material parameter M to the optimum value by repeating the calculation of the equation (16). Further, the polarization rendering setting unit 30 converges the camera parameter C to the optimum value by repeating the calculation of the equation (17).
  • the update rates ⁇ L , ⁇ G , ⁇ M , and ⁇ C used in the equations (14) to (17) are parameters for adjusting the correction amount when the parameters are converged using the calculation result of the partial differential.
  • the update rate may be set in advance, and the update rate may be changeable so that the time required for convergence and the like can be adjusted. Further, the partial differential operation may be automatically performed by using a method called automatic differentiation, or may be manually performed by the user.
  • the abnormality detection unit 50 can calculate the difference between the images. Further, the polarization rendering setting unit 30 can set each parameter necessary for generating a polarization rendering image by performing optimization processing for parameters that are not measured in advance or at the site where abnormality detection is performed.
  • the abnormality detecting unit 50 the parameter measured in situ performing being measured parameters and abnormality detection in advance, polarization rendered image generated using the parameters calculated in the optimization process I f phi and the polarization captured image I r
  • the difference from ⁇ is calculated for each pixel, and the pixel area where the difference EI ⁇ (L, G, M, C) is smaller than the judgment threshold Jth is judged as a normal area, and the pixel area where the difference EI ⁇ (L, G, M, C) is equal to or higher than the judgment threshold Jth is judged as an abnormal area. do.
  • the abnormality detection unit 50 can detect the abnormality region generated in the abnormality detection target based on the polarization characteristics. Become.
  • the abnormality detection unit 50 may estimate the cause of the detected abnormality based on the parameter attribute information indicating whether the parameter is a parameter measured in advance or a parameter calculated by the optimization process. .. For example, if the material parameter M is measured in advance and fixed by the polarization rendering setting unit 30, and the other parameters are automatically estimated by the optimization process, the cause of the detection as an abnormal region is in advance. It may be estimated that the material polarization characteristic is abnormal corresponding to the measured and fixed material parameter M.
  • the abnormality detecting unit 50 the polarization information from the respective polarization rendered image I f phi and the polarization captured image I r phi (e.g. polarization degree, the polarization phase, normal, etc.) is calculated, and outputs the difference between polarization information May be.
  • the polarization information such as the degree of polarization, the polarization phase, and the normal, for example, the method disclosed in the patent document of International Publication No. 2019/116708 may be used.
  • the material parameter M of the abnormality detection target is measured in advance, and the imaging environment and imaging conditions of the abnormality detection target are set in a state specified in advance, and the light source parameter L, the geometry parameter G, and the camera are set in advance.
  • the polarization rendering setting unit 30 fixes each parameter to the pre-measured parameter.
  • the polarization rendering image generation unit 40 generates a polarization rendering image If ⁇ using the parameters fixed by the polarization rendering setting unit 30.
  • Abnormality detecting unit 50 the difference E I ⁇ (L between the polarization captured image I r phi acquired by the polarization rendering setting unit 30 polarized rendered image I f phi and the polarization captured image acquisition unit 20 that is generated by, G, M, By calculating C) on a pixel-by-pixel basis and comparing it with the determination threshold Jth, the abnormal region of the abnormality detection target is detected.
  • the light source parameter L, the geometry parameter G, the material parameter M, and the camera parameter C are not limited to the cases where they can be measured in advance.
  • the polarization captured image I r polarized rendered image using the parameter corresponding to the image pickup environment and image-pickup condition when obtaining phi I f If ⁇ is not generated, the abnormal region cannot be detected based on the difference EI ⁇ (L, G, M, C).
  • the can not be measured in advance parameters performs calculation of the product and the difference E I ⁇ polarized rendered image I f ⁇ (L, G, M, C) by using the parameter value is an initial value
  • the calculated difference Update the parameter values using E I ⁇ (L, G, M, C).
  • the updated parameter values generated and the difference E of the polarized rendered image I f phi with I ⁇ (L, G, M, C) performs calculation of the calculated difference E I ⁇ (L, G, M , C ) Is used to repeat the process of updating the parameter value to optimize the parameter.
  • FIG. 12 shows an operation example.
  • the operation example shown in FIG. 12 shows a case where an abnormality in the surface coating state is detected for each abnormality detection target, for example, in a production line or the like.
  • Case 1 includes an abnormality detection target having a different shape, and shows a case where an abnormality in the surface coating state is detected for each abnormality detection target.
  • the material parameter M to be detected for abnormality is measured in advance.
  • the light source parameter L, the geometry parameter G, and the camera parameter C are fixed parameters according to the imaging environment and imaging conditions when acquiring the polarized image to be detected on the line, the light source parameter L is set in the field. And the geometry parameter G and the camera parameter C are acquired. By setting the parameters in this way, it is possible to detect an abnormal region in the surface coating state based on the difference between the generated polarized light rendered image and the acquired polarized light captured image.
  • Case 2 shows a case where an abnormality in the surface coating state is detected for each abnormality detection target having the same shape and a different posture.
  • the material parameter M to be detected for abnormality is measured in advance.
  • the light source parameter L and the camera parameter C are fixed parameters according to the imaging environment and imaging conditions when acquiring the polarized image to be detected as an abnormality on the line, the light source parameter L and the camera parameter C are set in the field. To get.
  • the geometry parameter G is automatically set by the optimization process. By setting the parameters in this way, it is possible to detect an abnormal region in the surface coating state based on the difference between the generated polarized light rendered image and the acquired polarized light captured image.
  • Case 3 shows a case where an abnormality in the surface coating state is detected for each abnormality detection target having the same shape and posture without obtaining information on the polarized image acquisition unit.
  • the material parameter M to be detected for abnormality is measured in advance.
  • the light source parameter L and the geometry parameter G are fixed parameters according to the imaging environment and imaging conditions when acquiring the polarized image to be detected as an abnormality on the line, the light source parameter L and the geometry parameter G are set in the field. To get.
  • the camera parameter C is automatically set by the optimization process. By setting the parameters in this way, it is possible to detect an abnormal region in the surface coating state based on the difference between the generated polarized light rendered image and the acquired polarized light captured image.
  • Case 4 shows a case where an abnormality in the surface coating state is detected for each abnormality detection target having the same shape and posture without obtaining information on the light source.
  • the material parameter M to be detected for abnormality is measured in advance.
  • the geometry parameter G and the camera parameter C are fixed parameters according to the imaging environment and imaging conditions when acquiring the polarized image to be detected as an abnormality on the line, the geometry parameter G and the camera parameter C are set in the field. To get. Further, if information about the light source cannot be obtained, the light source parameter L is automatically set by the optimization process. By setting the parameters in this way, it is possible to detect an abnormal region in the surface coating state based on the difference between the generated polarized light rendered image and the acquired polarized light captured image.
  • Case 5 shows a case where an abnormality in the surface coating state is detected for each abnormality detection target having the same shape without obtaining information on the posture and the light source.
  • the material parameter M to be detected for abnormality is measured in advance.
  • the camera parameter C is a fixed parameter according to the imaging environment and imaging conditions when acquiring the polarized image of the abnormality detection target on the line, the camera parameter C is acquired on site. Further, if information about the attitude and the light source cannot be obtained, the light source parameter L and the geometry parameter G are automatically set by the optimization process. By setting the parameters in this way, it is possible to detect an abnormal region in the surface coating state based on the difference between the generated polarized light rendered image and the acquired polarized light captured image.
  • Case 6 shows a case where an abnormality in the surface coating state is detected for each abnormality detection target having the same shape and posture without obtaining information on the light source and the polarized image acquisition unit.
  • the material parameter M to be detected for abnormality is measured in advance.
  • the geometry parameter G is a fixed parameter according to the imaging environment and imaging conditions when acquiring the polarized image of the abnormality detection target on the line, the geometry parameter G is acquired in the field.
  • the light source parameter L and the camera parameter C are automatically set by the optimization process when information about the light source and the polarized light image acquisition unit cannot be obtained. By setting the parameters in this way, it is possible to detect an abnormal region in the surface coating state based on the difference between the generated polarized light rendered image and the acquired polarized light captured image.
  • Case 7 shows a case where an abnormality in the surface coating state is detected for each abnormality detection target having the same shape without obtaining information on the light source, the polarized image acquisition unit, and the posture.
  • the material parameter M to be detected for abnormality is measured in advance.
  • the light source parameter L, the geometry parameter G, and the camera parameter C are automatically set by the optimization process when information on the light source, the polarized light image acquisition unit, and the posture cannot be obtained. By setting the parameters in this way, it is possible to detect an abnormal region in the surface coating state based on the difference between the generated polarized light rendered image and the acquired polarized light captured image.
  • FIG. 12 is an example, and the operation is not limited to the case shown in FIG.
  • the spoiled portion may be detected from the surface condition of the fruit.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program that records the processing sequence is installed in the memory in the computer built in the dedicated hardware and executed.
  • the program can be recorded in advance on a hard disk as a recording medium, SSD (Solid State Drive), or ROM (Read Only Memory).
  • the program is a flexible disc, CD-ROM (Compact Disc Read Only Memory), MO (Magneto Optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, semiconductor memory card. It can be temporarily or permanently stored (recorded) on a removable recording medium such as an optical disc.
  • a removable recording medium such as an optical disc.
  • Such removable recording media can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the information processing device of the present technology can have the following configurations.
  • a polarization rendering setting unit that sets a plurality of parameters used to generate a polarization rendering image for abnormality detection, and a polarization rendering setting unit.
  • a polarized rendering image generation unit that generates a polarized rendering image of the abnormality detection target based on the parameters set in the polarized rendering setting unit, and a polarized rendering image generation unit. It is provided with an abnormality detection unit that detects an abnormality region of the abnormality detection target based on the difference between the polarized light captured image acquired by imaging the abnormality detection target and the polarization rendering image generated by the polarization rendering image generation unit.
  • Information processing device (2) The above-mentioned plurality of parameters have been measured.
  • the information processing apparatus wherein the polarized light rendering setting unit sets a plurality of measured parameters as parameters used for generating the polarized light rendered image. (3) When some or all of the plurality of parameters are not measured The polarization rendering setting unit performs the optimization processing of the unmeasured parameters, and the measured parameters and the parameters calculated by the optimization processing, or if there is no measured parameter, the optimization processing is performed. The information processing apparatus according to (1), wherein the calculated parameters are set as the parameters used for generating the polarized rendering image. (4) The information processing apparatus according to (3), wherein in the parameter optimization process, parameters that can minimize the difference between the polarized image captured image and the polarized rendered image generated by the polarized rendered image generation unit are calculated. ..
  • the polarization rendering setting unit can adjust the convergence characteristic of the parameter by using the parameter value converged by repeating the update of the parameter using the difference as the optimized parameter value (4).
  • the information processing device described in. (6) The abnormality detection unit estimates the cause of the abnormality in the detected abnormal region based on the information indicating whether the parameter is the measured parameter or the parameter calculated by the optimization process.
  • the information processing apparatus according to (3) or (5) The abnormality detection unit detects an abnormality region of the abnormality detection target based on the difference in the polarization information by using the polarization information calculated from the polarization captured image and the polarization information calculated from the polarization rendering image (1). ) To (6).
  • the information processing apparatus detects an abnormality region of the abnormality detection target in pixel units.
  • the plurality of parameters include a light source parameter relating to a light source, a geometry parameter relating to the abnormality detection target, a material parameter relating to the polarization characteristic of the abnormality detection target, and a camera of a polarization capture image acquisition unit for acquiring the polarization capture image.
  • the information processing apparatus according to any one of (1) to (8), which includes parameters.
  • the information processing apparatus according to (9), wherein at least the material parameters are measured in advance, and the polarization rendering setting unit fixes and uses the pre-measured parameters.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

偏光レンダリング設定部３０は、異常検出対象の偏光レンダリング画像の生成に用いる複数のパラメータを設定する。偏光レンダリング画像生成部４０は、偏光レンダリング設定部３０で設定されたパラメータに基づいて異常検出対象の偏光レンダリング画像を生成する。異常検出部５０は、異常検出対象を撮像して取得された偏光撮像画像と偏光レンダリング画像生成部４０で生成された偏光レンダリング画像との差分に基づき異常検出対象の異常領域を検出する。輝度情報や色情報に基づいて検出することが困難な異常を、偏光画像に基づいて検出できるようになる。

Description

情報処理装置と情報処理方法およびプログラム
　この技術は、情報処理装置と情報処理方法およびプログラムに関し、色情報や輝度情報に現れない異常を検出できるようにする。
　従来、異常を検出するために、撮像画像で示された輝度情報や色情報が利用されている。例えば、特許文献１では、対象物体に複数の方向から光を照射して撮像された画像に含まれるそれぞれの画像の輝度情報に基づいて、対象物体の欠陥を検出することが行われている。また、特許文献２では、撮像部の視野に相当するレンダリング画像を生成して、このレンダリング画像における物体モデルに対応する画像領域の画像特徴と、撮像画像から抽出した変化領域の画像特徴との比較により、物体モデルに対応する物体の異常を検出することが行われている。
特開２０１６－１６６８４２号公報 特開２０１３－２１１７４０号公報
　ところで、撮像画像で示された輝度情報や色情報に基づき異常を検出する場合、輝度情報や色情報の変化が少ない異常を検出することは困難である。例えば物体正面に変形が生じた場合、変形部分の輪郭が滑らかで輝度情報や色情報の変化が少ない場合、物体正面から異常を検出することができない。
　そこで、この技術では輝度情報や色情報に基づいて検出することが困難な異常を検出できる情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　異常検出対象の偏光レンダリング画像の生成に用いる複数のパラメータを設定する偏光レンダリング設定部と、
　前記偏光レンダリング設定部で設定されたパラメータに基づいて前記異常検出対象の偏光レンダリング画像を生成する偏光レンダリング画像生成部と、
　前記異常検出対象を撮像して取得された偏光撮像画像と前記偏光レンダリング画像生成部で生成された前記偏光レンダリング画像との差分に基づき前記異常検出対象の異常領域を検出する異常検出部と
を備える情報処理装置にある。
　この技術において、偏光レンダリング設定部は、異常検出対象の偏光レンダリング画像の生成に用いる複数のパラメータを設定する。複数のパラメータは、光源に関する光源パラメータと、異常検出対象に関するジオメトリパラメータと、異常検出対象の偏光特性に関する材質パラメータと、偏光撮像画像を取得する偏光撮像画像取得部のカメラパラメータを含む。偏光レンダリング設定部は、例えば複数のパラメータが測定されているとき、測定されている複数のパラメータを、偏光レンダリング画像の生成に用いるパラメータに設定する。また、偏光レンダリング設定部は、例えば複数のパラメータの一部または全てが測定されていない場合、測定されてないパラメータの最適化処理を行う。パラメータの最適化処理では、測定されていないパラメータを、偏光撮像画像と偏光レンダリング画像生成部で生成された偏光レンダリング画像との差分を最小化できるパラメータとする。偏光レンダリング設定部は、例えば差分を用いてパラメータの更新を繰り返すことにより収束されたパラメータ値を最適化されたパラメータ値として、パラメータの収束特性を調整可能とする。偏光レンダリング設定部は、測定されているパラメータと最適化処理によって算出したパラメータ、あるいは測定されているパラメータが無い場合は最適化処理によって算出したパラメータを偏光レンダリング画像の生成に用いるパラメータに設定する。なお、少なくとも材質パラメータは事前に測定されて、偏光レンダリング設定部は事前に測定されたパラメータを固定して用いてもよい。
　偏光レンダリング画像生成部は、偏光レンダリング設定部で設定されたパラメータに基づいて異常検出対象の偏光レンダリング画像を生成する。
　異常検出部は、異常検出対象を撮像して取得された偏光撮像画像と偏光レンダリング画像生成部で生成された偏光レンダリング画像との差分に基づき異常検出対象の異常領域を画素単位で検出する。また、異常検出部は、パラメータが測定されているパラメータであるか最適化処理によって算出されたパラメータであるかを示す情報に基づき、検出した異常領域の異常原因を推定してもよい。さらに、異常検出部は、偏光撮像画像から算出した偏光情報と偏光レンダリング画像から算出した偏光情報を用いて、偏光情報の差分に基づき異常検出対象の異常領域を検出してもよい。
　この技術の第２の側面は、
　異常検出対象の偏光レンダリング画像の生成に用いる複数のパラメータを偏光レンダリング設定部で設定することと、
　前記偏光レンダリング設定部で設定されたパラメータに基づいて前記異常検出対象の偏光レンダリング画像を偏光レンダリング画像生成部で生成することと、
　前記異常検出対象を撮像して取得された偏光撮像画像と前記偏光レンダリング画像生成部で生成された前記偏光レンダリング画像との差分に基づき前記異常検出対象の異常領域を異常検出部で検出すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　異常検出対象に対する異常検出をコンピュータで実行させるプログラムであって、
　前記異常検出対象の偏光レンダリング画像の生成に用いる複数のパラメータを設定する手順と、
　前記設定された複数のパラメータに基づいて前記異常検出対象の偏光レンダリング画像を生成する手順と、
　前記異常検出対象を撮像して取得された偏光撮像画像と生成した前記偏光レンダリング画像との差分に基づき前記異常検出対象の異常領域を検出する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
情報処理装置の構成を例示した図である。 偏光撮像画像取得部の構成を例示した図である。 複数の偏光方向の画素構成を例示した図である。 情報処理装置の動作を例示したフローチャートである。 環境撮像部の構成を例示した図である。 環境撮像部で生成した偏光撮像画像を例示した図である。 偏光撮像画像の分割を例示した図である。 光源パラメータＬを例示した図である。 材質偏光特性を説明するための図である。 材質パラメータの取得動作を例示したフローチャート（その１）である。 材質パラメータの取得動作を例示したフローチャート（その２）である。 動作例の一覧を示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光レンダリングと本技術について
　２．実施の形態の構成
　３．実施の形態の動作
　　３－１．光源パラメータの取得について
　　３－２．ジオメトリパラメータの取得ついて
　　３－３．材質パラメータの取得について
　　３－４．カメラパラメータの取得について
　　３－５．画像の差分とパラメータの最適化処理について
　　３－６．異常検出について
　４．実施の形態の動作例
　＜１．偏光レンダリングと本技術について＞
　偏光レンダリングでは、偏光特性等を用いてレンダリング画像（以下「偏光レンダリング画像」という）を生成する。例えば、光源パラメータＬと、非光源（被写体）のジオメトリパラメータＧ、非光源の偏光特性を示す材質パラメータＭ、カメラパラメータＣを用いて、式（１）に示す関数ｆに基づき偏光レンダリング画像Ｉｆ φを生成する。
Figure JPOXMLDOC01-appb-M000001
　なお、光源パラメータＬは、光源の位置や方向および光源から出射される照射光のストークスベクトル等を示すパラメータのベクトルである。非光源のジオメトリパラメータＧは、被写体の形状や位置および姿勢を示すパラメータのベクトルである。非光源の材質パラメータＭは、被写体のミュラー（Mueller）行列を示すパラメータである。また、カメラパラメータＣは、カメラの内部パラメータや外部パラメータのベクトルである。さらに、式（１）において、パラメータφは、カメラで偏光画像（以下「偏光撮像画像」という）を取得する際に用いた直線偏光子（単に「偏光板」ともいう）の角度（偏光方向ともいう）を示している。
　本技術では、偏光レンダリングによって生成した偏光レンダリング画像Ｉｆ φと、角度φの偏光板を設けたカメラで撮像を行うことにより取得された偏光撮像画像Ｉｒ φを用いて、偏光レンダリング画像Ｉｆ φと偏光撮像画像Ｉｒ φとの差分を所定の画素単位の領域毎に算出して、差分が予め設定された判定閾値よりも大きい領域を、異常領域としてする。
　＜２．実施の形態の構成＞
　図１は、情報処理装置の構成を例示している。情報処理装置１０は、偏光撮像画像取得部２０、偏光レンダリング設定部３０、偏光レンダリング画像生成部４０、および異常検出部５０を有している。
　偏光撮像画像取得部２０は、異常検出対象を撮像して偏光撮像画像を取得する。図２は、偏光撮像画像取得部の構成を例示している。偏光撮像画像取得部２０は、例えば図２の（ａ）に示すように、イメージセンサ２０１に複数の偏光方向の画素構成とされた偏光板２０２を配置して撮像を行うことで生成する。なお、図２の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光板２０２をイメージセンサ２０１の前面に配置した場合を例示している。また、偏光撮像画像取得部２０は、図２の（ｂ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光撮像画像を生成してもよい。例えばイメージセンサ２０１の前面にレンズ２０３を複数（図では４個）設けて、各レンズ２０３によって被写体の光学像をイメージセンサ２０１の撮像面にそれぞれ結像させる。また、各レンズ２０３の前面に偏光板２０４を設けて、偏光板２０４の偏光方向（偏光方向を矢印で示す）を異なる方向として、偏光方向が異なる複数の偏光撮像画像を生成する。このように偏光撮像画像取得部２０を構成すれば、１回の撮像で複数の偏光撮像画像を取得できることから速やかに異常検出を行える。また、図２の（ｃ）に示すように、撮像部２１０-1～２１０-4の前に互いに偏光方向が異なる偏光板２１２-1～２１２-4を設けた構成として、異なる複数の視点から偏光方向（偏光方向を矢印で示す）が異なる複数の偏光画像を生成してもよい。
　なお、異常検出対象の動きが遅い場合や異常認識対象がステップ的に動作する場合には、図２の（ｄ）に示すように、撮像部２１０の前に偏光板２１１を設けた構成としてもよい。この場合、偏光板２１１を回転させて異なる複数の偏光方向でそれぞれ撮像を行い、偏光方向が異なる複数の偏光撮像画像を取得する。
　異なる複数の偏光方向は、角度が全て異なっていればどのような角度の組み合わせでもよく、例えば３つの偏光方向を用いる場合は０度と６０度と１２０度、４つの偏光方向を用いる場合は０度と４５度と９０度と１３５度を用いる。
　イメージセンサ２０１でカラーフィルタを使用しない場合、偏光撮像画像取得部２０では輝度偏光撮像画像を取得できる。ここで、図２の（ａ）の場合、偏光方向が異なる方向であって隣接している４画素の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、図２の（ｂ），（ｃ）の場合、異常検出対象までの距離に対して各レンズ２０３や撮像部２１０-1～２１０-4の位置間隔が無視できる程度に短ければ、偏光方向が異なる複数の偏光撮像画像では視差を無視することができる。したがって、偏光方向が異なる偏光撮像画像の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、視差を無視することができない場合は、偏光方向が異なる偏光撮像画像を視差量に応じて位置合わせして、位置合わせ後の偏光撮像画像の輝度を平均すれば無偏光の通常輝度画像と同等の画像を取得することができる。また、図２の（ｄ）の場合、画素毎に偏光方向が異なる輝度偏光撮像画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。
　さらに、偏光画像取得部２０は、輝度偏光撮像画像だけでなく、イメージセンサ２０１にカラーフィルタを設けることで三原色画像を同時に生成してもよく、赤外画像等を同時に生成してもよい。また、偏光画像取得部２０は、三原色画像から輝度を算出して輝度画像を生成してもよい。
　図３は、複数の偏光方向の画素構成を例示しており、図３に示す構成が水平方向及び垂直方向に繰り返されている。図３の（ａ）、（ｂ）は白黒画像を取得する場合の画素構成を例示している。なお、図３の（ａ）は２×２画素の偏光画素ブロックを、例えば偏光方向（偏光角）が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。また、図３の（ｂ）は２×２画素を偏光方向の単位として、４×４画素の偏光画素ブロックを、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。なお、偏光板の偏光成分単位が図３の（ｂ）に示すように２×２画素である場合、偏光成分単位毎に得られた偏光成分に対して、隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は、図３の（ａ）に示す１×１画素に比べて少なくなる。また、偏光板がワイヤーグリッドを用いている場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は、１×１画素に比べて透過率が高くなる。このため、偏光成分単位が２×２画素である場合は１×１画素に比べて透過率が高くなり、消光比を良くすることができる。
　図３の（ｃ）乃至（ｇ）はカラー画像を取得する場合の画素構成を例示している。図３の（ｃ）は、図３の（ａ）に示す２×２画素の偏光画素ブロックを１つの色単位として、三原色画素（赤色画素と緑色画素と赤色画素）をベイヤ配列とした場合を示している。
　図３の（ｄ）は、図３の（ｂ）に示す２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けた場合を例示している。
　図３の（ｅ）は、２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けて、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　図３の（ｆ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、水平方向に隣接する画素ブロックとの偏光方向の位相差が９０で、垂直方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図３の（ｇ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、垂直方向に隣接する画素ブロックとの偏光方向の位相差が９０で、水平方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　また、画素構成では、２×２画素のブロックを三原色画素と白色画素で構成してもよく、三原色の画素ブロックと白色の画素ブロックで構成してもよい。さらに、２×２画素のブロックを偏光方向が異なる偏光画素と無偏光画素で構成してもよく、偏光方向が異なる偏光画素ブロックと無偏光画素ブロックで構成してもよい。このような画素構成を用いた場合、偏光撮像画像取得部２０は、画素単位すなわち所定画素数の画素ブロック単位の解像度である偏光撮像画像を偏光方向毎に生成する。また、画素ブロックがベイヤ配列とされている場合、既存のデモザイク処理を利用して、１画素単位の解像度である偏光撮像画像を偏光方向毎に生成してもよい。
　偏光レンダリング設定部３０は、偏光レンダリング画像の生成に用いる複数のパラメータが測定されている場合、測定されている複数のパラメータを、偏光レンダリング画像の生成に用いるパラメータに設定する。また、偏光レンダリング設定部３０は、複数のパラメータの一部または全てが測定されていない場合、測定されてないパラメータの最適化処理を行い、測定されているパラメータと最適化処理によって算出したパラメータ、あるいは測定されているパラメータが無い場合は最適化処理によって算出したパラメータを偏光レンダリング画像の生成に用いるパラメータに設定する。偏光レンダリング設定部３０は、パラメータの最適化処理を行い、偏光撮像画像と偏光レンダリング画像との差分を最小化できるパラメータを算出する。例えば、偏光レンダリング設定部は、差分を用いてパラメータの更新を繰り返すことにより収束されたパラメータ値を最適化されたパラメータ値として用いる。また、偏光レンダリング設定部３０は、後述する更新率を用いることでパラメータの収束特性を調整可能とする。
　偏光レンダリング画像の生成に用いる複数のパラメータは、光源に関する光源パラメータと、異常検出対象に関するジオメトリパラメータと、異常検出対象の偏光特性に関する材質パラメータと、偏光撮像画像を取得する偏光撮像画像取得部のカメラパラメータを含み、偏光レンダリング設定部３０は、図１に示すように、光源パラメータ設定部３１，ジオメトリパラメータ設定部３２，材質パラメータ設定部３３，カメラパラメータ設定部３４を有している。
　光源パラメータ設定部３１は、偏光レンダリング画像を生成するために光源の位置や方向および光源から出射される照射光のストークスベクトル等を光源パラメータとして設定する。光源パラメータ設定部３１は、事前に測定された光源パラメータを固定して用いてもよく、レンダリング処理前に行った光源パラメータの測定結果を固定して用いてもよい。また、光源パラメータが測定されていない場合は、パラメータの最適化処理を行い、予め設定された初期値を用いてレンダリング処理を開始して、偏光撮像画像と偏光レンダリング画像との差分を最小化できる光源パラメータを算出して用いる。
　ジオメトリパラメータ設定部３２は、異常検出対象の形状や位置および姿勢をジオメトリパラメータとして設定する。ジオメトリパラメータ設定部３２は、事前に測定されたジオメトリパラメータを固定して用いてもよく、レンダリング処理前に行ったジオメトリパラメータの測定結果を固定して用いてもよい。また、ジオメトリパラメータが測定されていない場合は、パラメータの最適化処理を行い、予め設定された初期値を用いてレンダリング処理を開始して、偏光撮像画像と偏光レンダリング画像との差分を最小化できるジオメトリパラメータを算出して用いる。
　材質パラメータ設定部３３は、異常検出対象の偏光特性を示すミュラー（Mueller）行列を材質パラメータとして設定する。材質パラメータ設定部３３は、事前に測定された材質パラメータを固定して用いてもよく、レンダリング処理前に行った材質パラメータの測定結果を固定して用いてもよい。また、材質パラメータが測定されていない場合は、パラメータの最適化処理を行い、予め設定された初期値を用いてレンダリング処理を開始して、偏光撮像画像と偏光レンダリング画像との差分を最小化できる材質パラメータを算出して用いる。
　カメラパラメータ設定部３４は、カメラの内部パラメータや外部パラメータをカメラパラメータとして設定する。カメラパラメータ設定部３４は、事前に測定されたカメラパラメータを固定して用いてもよく、レンダリング処理前に行ったカメラパラメータの測定結果を固定して用いてもよい。また、カメラパラメータが測定されていない場合は、パラメータの最適化処理を行い、予め設定された初期値を用いてレンダリング処理を開始して、偏光撮像画像と偏光レンダリング画像との差分を最小化できるカメラパラメータを算出して用いる。
　偏光レンダリング設定部３０は、光源パラメータ設定部３１，ジオメトリパラメータ設定部３２，材質パラメータ設定部３３，カメラパラメータ設定部３４で設定されたパラメータを偏光レンダリング画像生成部４０へ出力する。また、偏光レンダリング設定部３０は、測定されているパラメータであるか最適化処理によって算出されたパラメータであるか、最適化処理が完了しているか等をパラメータ毎に示す情報（以下「パラメータ属性情報」という）を生成して異常検出部５０へ出力してもよい。
　偏光レンダリング画像生成部４０は、偏光レンダリング設定部３０で設定されたパラメータに基づいて偏光レンダリング画像の生成を行い、生成した偏光レンダリング画像を異常検出部５０へ出力する。
　異常検出部５０は、偏光撮像画像取得部２０で取得した偏光撮像画像と偏光レンダリング画像生成部４０で生成された偏光レンダリング画像との差分を算出する。また、異常検出部５０は、偏光レンダリング設定部３０で生成されたパラメータ属性情報に基づき、パラメータの最適化処理が行われるときは、算出した差分を偏光レンダリング設定部３０へ出力する。また、異常検出部５０は、パラメータ属性情報によって最適化処理が全て終了していることが示されたとき、偏光撮像画像と偏光レンダリング画像との差分と判定閾値を比較して、差分が判定閾値よりも大きい画素領域を異常領域として検出する。
　＜３．実施の形態の動作＞
　図４は、情報処理装置の動作を例示したフローチャートである。ステップＳＴ１で情報処理装置は偏光撮像画像を取得する。情報処理装置１０の偏光撮像画像取得部２０は、異常検出対象を撮像して偏光撮像画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報処理装置はパラメータ更新率を設定する。情報処理装置１０の偏光レンダリング設定部３０は、光源パラメータＬに対して更新率αＬを設定する。また、偏光レンダリング設定部３０は、ジオメトリパラメータＧと材質パラメータＭとカメラパラメータＣのそれぞれに対して更新率αＧ，αＭ，αＣを設定してステップＳＴ３に進む。
　更新率とは、パラメータの最適化処理を行う際に、偏光撮像画像と偏光レンダリング画像との差分に基づいてパラメータ補正量を設定するための情報である。更新率が「０」である場合、偏光レンダリング設定部３０は、パラメータ補正量が「０」となることから最適化処理を行わない。また、偏光レンダリング設定部３０は、パラメータ補正量が「０」よりも大きい場合、異常検出結果に基づいてパラメータ補正量を算出して、最適化処理を行う。なお、更新率を用いた動作の詳細については後述する。
　ステップＳＴ３で情報処理装置は更新率＝０であるパラメータを設定する。偏光レンダリング設定部３０は、更新率＝０のパラメータについて、予め取得されているパラメータ値、あるいはパラメータ値が予め取得されていない場合はパラメータの測定処理を行うことによって算出したパラメータ値を、レンダリングで用いるパラメータ値としてステップＳＴ４に進む。
　ステップＳＴ４で情報処理装置は更新率＞０であるパラメータの初期値を設定する。偏光レンダリング設定部３０は、更新率＞０のパラメータについて最適化処理を行い自動で最適なパラメータ値を算出することから、更新率＞０であるパラメータについて初期値を任意の値あるいは予め指定した値としてステップＳＴ５に進む。
　ステップＳＴ５で情報処理装置は偏光レンダリング画像を生成する。情報処理装置１０の偏光レンダリング画像生成部４０は、ステップＳＴ３およびステップＳＴ４で設定されたパラメータ値、あるいはステップＳＴ３で設定されたパラメータ値と後述するステップＳＴ８で更新されたパラメータ値を用いてレンダリング処理を行い、偏光レンダリング画像を生成してステップＳＴ６に進む。
　ステップＳＴ６で情報処理装置は差分を算出する。情報処理装置１０の異常検出部５０は、ステップＳＴ１で取得した偏光撮像画像とステップＳＴ５で生成した偏光レンダリング画像との差分を算出してステップＳＴ７に進む。
　ステップＳＴ７で情報処理装置は最適化処理が終了したか判別する。偏光レンダリング設定部３０は、更新率＞０であるパラメータについて、差分に対するパラメータ毎の微分結果を更新率に応じた割合で用いてパラメータを更新してパラメータを収束させる最適化処理を行う。偏光レンダリング設定部３０は、更新率＞０である各パラメータが収束した場合に最適化処理の終了と判別してステップＳＴ９に進む。また、収束していないパラメータがある場合にステップＳＴ８に進む。
　ステップＳＴ８で情報処理装置はパラメータを更新する。偏光レンダリング設定部３０は、差分に対するパラメータ毎の微分結果と更新率を用いて、更新率＞０である各パラメータの補正量を算出する。さらに、偏光レンダリング設定部３０は、算出した補正量を用いてパラメータを補正してステップＳＴ５に戻る。
　ステップＳＴ９で情報処理装置は判別処理を行う。情報処理装置１０の異常検出部５０は、画素単位で差分と判定閾値を比較して、判定閾値よりも小さい画素領域を正常領域、判定閾値以上の画素領域を異常領域と判別する。
　次に、情報処理装置の動作において、光源パラメータＬの取得、ジオメトリパラメータＧの取得、材質パラメータＭの取得、カメラパラメータの取得、パラメータの最適化処理、および異常検出処理について個々に説明する。なお、パラメータを事前に測定する場合、パラメータ取得部を偏光レンダリング設定部３０と別個に設けてもよい。また、異常検出を行う現場でパラメータを測定する場合、パラメータ取得部の機能を偏光レンダリング設定部３０のパラメータ設定部に設けてもよい。
　＜３－１．光源パラメータの取得について＞
　次に、光源パラメータの取得について説明する。光源パラメータを取得する光源パラメータ取得部は、例えば撮像部と撮像部の前方に偏光方向を変更可能として偏光板を設けた環境撮像部を用いて構成する。光源パラメータ取得部は、偏光方向を所定の複数の偏光方向として、偏光方向毎に光源を撮像して得られた複数偏光方向の偏光撮像画像に基づきストークスベクトルを算出して光源パラメータとして用いる。
　図５は、環境撮像部の構成を例示している。環境撮像部３１１は、例えば撮像方向が異なる複数の撮像部３１１１と、各撮像部の前方に偏光方向を変更可能として偏光板３１１２を設けた構成されている。なお、各偏光板３１１２は互いに偏光方向が等しい方向とされている。環境撮像部３１１は、異常検出対象を撮像するときの環境を撮像して例えば全天球の偏光撮像画像を複数偏光方向毎に生成する。なお、環境撮像部３１１は、魚眼レンズ等を用いて一つの撮像部３１１１と偏光板３１１２で複数偏光方向毎の全天球の偏光撮像画像を取得してもよい。また、環境撮像部３１１は、全天球の偏光撮像画像を生成する場合に限られない。例えば光源が限られた範囲のみに設けられる場合は、限られた範囲の偏光撮像画像を生成してもよい。
　図６は、環境撮像部で生成した偏光撮像画像を例示している。なお、図６の（ａ）は全天球を示す魚眼画像、図６（ｂ）は魚眼画像を円筒面上に展開した展開画像を例示している。
　光源パラメータ算出部は、環境撮像部３１１で生成した偏光撮像画像を天頂方向と方位方向に分割して、分割領域毎に領域内の平均入射ストークスベクトルを光源パラメータとして用いる。また、光源パラメータ算出部は、光線の平均入射方向を算出して光源パラメータに含めてもよい。
　図７は、偏光撮像画像の分割を例示している。なお、図７の（ａ）は図６の（ａ）に示す魚眼画像の分割例を示しており、図７の（ｂ）は図６の（ｂ）に示す展開画像の分割例を示している。
　ここで、図７の（ｃ）に示すように、入射方向ωiの偏光入射光の光源位置が領域ＡＲｉに含まれる場合、光源パラメータ算出部は、領域ＡＲｉにおける平均入射方向と、式（２）に示すように平均入射ストークスベクトルＳＬiを算出する。同様に他の領域についてもそれぞれ平均入射方向と平均入射ストークスベクトルを算出する。なお、式（２）において、観測値ＩＬ（０°）は、光源を撮像して得られた偏光方向が０°の観測値、観測値ＩＬ（４５°）は、光源を撮像して得られた偏光方向が４５°の観測値、観測値ＩＬ（９０°）は、光源を撮像して得られた偏光方向が９０°の観測値、観測値ＩＬ（１３５°）は、光源を撮像して得られた偏光方向が１３５°の観測値である。また、図８は光源パラメータＬを例示している。
Figure JPOXMLDOC01-appb-M000002
　＜３－２．ジオメトリパラメータの取得ついて＞
　次に、ジオメトリパラメータの取得について説明する。レンダリング処理前に、ジオメトリパラメータを取得する場合、既存の様々な形状測定方法を利用すればよい。例えば、ＴｏＦ（Time Of Flight）センサや複数視点であるステレオカメラ等を用いて、異常検出対象の形状や位置および姿勢を示すパラメータをする。また、異常検出対象がプリミティブなジオメトリである場合、例えば、異常検出対象が円錐、キューブ、球等である場合、ジオメトリパラメータは、異常検出対象の形状や位置および姿勢を示す数式を用いてもよい。この場合には、形状測定を行わなくともレンダリング処理を行うことができる。
　＜３－３．材質パラメータの取得について＞
　次に、材質パラメータの取得について説明する。図９は、材質偏光特性を説明するための図である。光源ＬＴから出射された光が例えば偏光板ＰＬ１を介して測定対象ＯＢに照射されており、材質パラメータの測定対象を撮像する撮像部（以下「測定対象撮像部」という）ＣＭは、例えば偏光板ＰＬ２を介して測定対象ＯＢを撮像する。なお、Ｚ方向は天頂方向を示しており角度θは天頂角である。
　偏光板（ＰＬ１とＰＬ２）の偏光方向を例えば０°，４５°，９０°，１３５°、測定対象撮像部ＣＭで測定対象を撮像して得られる画素値を観測値Ｉとしたとき、偏光方向が０°であるときの観測値Ｉ（０°）、偏光方向が４５°であるときの観測値Ｉ（４５°），偏光方向が９０°であるときの観測値Ｉ（９０°），偏光方向が１３５°であるときの観測値Ｉ（１３５°）の関係はストークスベクトルＳ＝［ｓ０，ｓ１，ｓ２］Ｔで示すことができる。なお、ストークスベクトルと観測値の関係は式（３）となる。
Figure JPOXMLDOC01-appb-M000003
　ストークスベクトルにおいて、成分ｓ０は無偏光の輝度もしくは平均輝度を示している。また、成分ｓ１は、０°と９０°の偏光方向の強度の差、成分ｓ２は４５°と１３５°の偏光方向の強度の差を示している。すなわち、０°のストークスベクトルは［１，１，０］Ｔ、４５°のストークスベクトルは［１，０，１］Ｔ、９０°のストークスベクトルは［１，－１，０］Ｔ、１３５°のストークスベクトルは［１，０，－１］Ｔとなる。
　ここで、測定対象ＯＢに照射される入射方向ωiの光のストークスベクトルを「Ｓｉ」、測定対象撮像部ＣＭで観測される出射方向ωoの光のストークスベクトルを「Ｓo」、入射方向ωiおよび出射方向ωoであるときのミュラー行列をＭ（ωo，ωi）とすると、式（４）が成立する。なお、式（４）は式（３）を行列式で示している。
　　Ｍ（ωo，ωi）・Ｓi　＝　Ｓo　　・・・（３）
Figure JPOXMLDOC01-appb-M000004
　式（４）は、測定対象ＯＢに照射される入射光の偏光方向が０°である場合に式（５）となる。また、式（４）は、入射光の偏光方向が４５°である場合に式（６）、入射光の偏光方向が９０°である場合に式（７）、入射光の偏光方向が１３５°である場合に式（８）となる。
Figure JPOXMLDOC01-appb-M000005
　したがって、式（５）乃至式（８）に基づき、式（９）に示すミュラー行列Ｍ（ωo，ωi）を算出できる。さらに、ミュラー行列Ｍ（ωo，ωi）における輝度の影響を除外するため正規化を行う。式（１０）は正規化後のミュラー行列Ｍ（ωo，ωi）を示している。
Figure JPOXMLDOC01-appb-M000006
　このようにして算出したミュラー行列は、測定対象の材質固有の偏光反射特性を示しており、算出したミュラー行列を材質パラメータとする。なお、偏光反射特性は外部環境に依存しないので、一度測定すればあらゆる場所で利用可能であり、偏光反射特性を繰り返し取得する必要がない。したがって、材質パラメータを事前に測定しておけば、偏光レンダリング画像に必要なパラメータの設定が容易となる。
　図１０，図１１は、材質パラメータの取得動作を例示したフローチャートである。なお、図１０，図１１では、方位方向に角度θａ毎および天頂方向に角度θｂ毎の位置の光源パラメータを用いる場合を示している。また、材質パラメータの測定対象を撮像する測定対象撮像部は、撮像方向が天頂方向に角度θｃ毎に移動されて、偏光方向の切り替えは「０°，４５°，９０°，１３５°」とされている。なお、光源パラメータは事前に測定されている。
　ステップＳＴ１１で材質パラメータ取得部は測定対象撮像部の初期化を行う。材質パラメータ取得部は、材質パラメータの測定対象を撮像する測定対象撮像部のキャリブレーションを行い、方位角と天頂角を０°としてステップＳＴ１２に進む。
　ステップＳＴ１２で材質パラメータ取得部は天頂角の初期化を行う。材質パラメータ取得部は、測定対象撮像部の天頂角が０°の方向を、光源パラメータの取得に用いた撮像部（以下「光源撮像部」という）における天頂角０°の方向としてステップＳＴ１３に進む。
　ステップＳＴ１３で材質パラメータ取得部は方位角の初期化を行う。材質パラメータ取得部は、測定対象撮像部の初期化を行い、測定対象撮像部の方角が０°の方向を光源撮像部における方位角０°の方向としてステップＳＴ１４に進む。
　ステップＳＴ１４で材質パラメータ取得部は光源側の偏光板を初期化する。材質パラメータ取得部は、光源撮像部に用いられている偏光板の偏光方向を０°としてステップＳＴ１５に進む。
　ステップＳＴ１５で材質パラメータ取得部は測定対象撮像部の偏光板を初期化する。材質パラメータ取得部は、測定対象撮像部に用いられている偏光板の偏光方向を０°としてステップＳＴ１６に進む。
　ステップＳＴ１６で材質パラメータ取得部は材質パラメータの測定対象を撮像する。測地対象撮像部は、測定対象の撮像を行うことで偏光撮像画像を生成してステップＳＴ１７に進む。
　ステップＳＴ１７で材質パラメータ取得部は測定対象撮像部の偏光板を４５°回転する。材質パラメータ取得部は、偏光板の偏光方向を４５°回転させてステップＳＴ１８に進む。
　ステップＳＴ１８で材質パラメータ取得部は測定対象撮像部の偏光方向が１８０°よりも小さいか判別する。材質パラメータ取得部は、回転後の偏光方向が１８０°よりも小さい場合はステップＳＴ１６に戻り、１８０°以上である場合はステップＳＴ１９に進む。
　ステップＳＴ１９で材質パラメータ取得部は出射ストークスベクトルを取得する。材質パラメータ取得部はステップＳＴ１６からステップＳＴ１８の処理を行うことで、偏光方向が「０°，４５°，９０°，１３５°」の各偏光撮像画像が生成されていることから、生成されている偏光撮像画像に基づき、出射ストークスベクトルを算出してステップＳＴ２０に進む。
　ステップＳＴ２０で材質パラメータ取得部は光源側の偏光板を４５°回転する。材質パラメータ取得部は、偏光板の偏光方向を４５°回転させてステップＳＴ２１に進む。
　ステップＳＴ２１で材質パラメータ取得部は光源側の偏光方向が１８０°よりも小さいか判別する。材質パラメータ取得部は、回転後の偏光方向が１８０°よりも小さい場合はステップＳＴ１５に戻り、１８０°以上である場合はステップＳＴ２２に進む。
　ステップＳＴ２２で材質パラメータ取得部は偏光反射特性を算出する。材質パラメータ取得部は、測定対象への偏光入射光の偏光方向が「０°，４５°，９０°，１３５°」であるときの出射ストークスベクトルに基づきミュラー行列を算出する。すなわち、上述の式（５）乃至（８）に基づき式（９）あるいは式（１０）に示すミュラー行列を算出してステップＳＴ２３に進む。
　ステップＳＴ２３で材質パラメータ取得部は材質パラメータを保存する。材質パラメータ取得部は、ステップＳＴ２２で算出したミュラー行列に光源方向を示す入射方向ωiと測定対象撮像部の方向を示す出射方向ωoを関連付けた材質パラメータを生成して、データベース部等に保存してステップＳＴ２４に進む。
　ステップＳＴ２４で材質パラメータ取得部は光源方位角をθａ°移動させる。材質パラメータ取得部は、光源撮像部の方位角をθａ°移動させてステップＳＴ２５に進む。
　ステップＳＴ２５で材質パラメータ取得部は光源方位角が３６０°よりも小さいか判別する。材質パラメータ取得部は、光源方位角が３６０°よりも小さい場合にステップＳＴ１４に戻り、光源方位角が３６０°以上となる場合にステップＳＴ２６へ進む。
　ステップＳＴ２６で材質パラメータ取得部は光源天頂角をθｂ°移動させる。材質パラメータ取得部は、光源撮像部の天頂角をθｂ°移動させてステップＳＴ２７に進む。
　ステップＳＴ２７で材質パラメータ取得部は光源天頂角が９０°よりも小さいか判別する。材質パラメータ取得部は、光源天頂角が９０°よりも小さい場合にステップＳＴ１３に戻り、光源方位角が９０°以上となる場合にステップＳＴ２８に進む。すなわち、ステップＳＴ１３からステップＳＴ２７の処理を行うことで、一つの出射方向について、方位方向の分解能がθａ°で天頂方向の分解能がθｂ°である入射方向毎の材質パラメータがデータベース部等に保存されることになる。
　ステップＳＴ２８で材質パラメータ取得部は測定対象撮像部の天頂角をθｃ°移動させる。材質パラメータ取得部は、測定対象撮像部の天頂角をθｃ°移動させてステップＳＴ２９に進む。
　ステップＳＴ２９で材質パラメータ取得部は測定対象撮像部の天頂角が９０°よりも小さいか判別する。材質パラメータ取得部は、測定対象撮像部の天頂角が９０°よりも小さい場合にステップＳＴ１２に戻り、方位角が９０°以上となる場合に処理を終了する。したがって、方位方向の分解能が角度θａで天頂方向の分解能が角度θｂである入射方向毎、および天頂方向の分解能が角度θｃである出射方向毎の材質パラメータがデータベース部等に保存されることになる。
　＜３－４．カメラパラメータの取得について＞
　次に、カメラパラメータの取得について説明する。カメラパラメータは、既存の測定方法を利用すればよい。例えば特開２００１-２６４０３７号公報あるいは特開２００８-１３１１７６号公報等で開示された方法を用いて内部パラメータと外部パラメータを取得する。
　＜３－５．画像の差分とパラメータの最適化処理について＞
　次に、画像の差分とパラメータの最適化処理について説明する。異常検出部５０は、偏光レンダリング画像Ｉｆ φと偏光撮像画像Ｉｒ φとの差分ＥＩφ（L,G,M,C）を算出する。異常検出部５０は、例えば差分ＥＩφ（L,G,M,C）として、式（１１）に示すように平均二乗誤差（MSE：Mean Square Error）を算出してもよく、式（１２）に示すような任意のノルム関数を用いて算出してもよい。また、画像がとりうる最大画素値と平均二乗誤差を用いて算出されるＰＳＮＲ(Peak Signal to Noise Ratio)を差分として用いてもよい。
Figure JPOXMLDOC01-appb-M000007
　偏光レンダリング画像Ｉｆ φの生成に用いたパラメータが偏光撮像画像Ｉｒ φの取得時のパラメータと一致する場合、差分ＥＩφ（L,G,M,C）＝０となる。したがって、偏光レンダリング設定部３０は、偏光レンダリング画像Ｉｆ φの生成に用いるパラメータが偏光撮像画像Ｉｒ φの取得時のパラメータと一致するように、差分ＥＩφ（L,G,M,C）を用いてパラメータの最適化処理を行う。例えば、偏光レンダリング設定部３０は、多変数関数である差分ＥＩφ（L,G,M,C）のパラメータ毎の偏微分を算出して、既存の最適化手法（最急降下法等）を用いて、式（１３）に示すように、差分ＥＩφ（L,G,M,C）を最小化できるパラメータＬｅｍ，Ｇｅｍ，Ｍｅｍ，Ｃｅｍを算出する。
Figure JPOXMLDOC01-appb-M000008
　偏光レンダリング設定部３０は、式（１４）の演算を繰り返すことで光源パラメータＬを最適値に収束させる。また、偏光レンダリング設定部３０は、式（１５）の演算を繰り返すことでジオメトリパラメータＧを最適値に収束させて、式（１６）の演算を繰り返すことで材質パラメータＭを最適値に収束させる。さらに、偏光レンダリング設定部３０は、式（１７）の演算を繰り返すことでカメラパラメータＣを最適値に収束させる。式（１４）乃至式（１７）で用いる更新率αＬ，αＧ，αＭ，αＣは、偏微分の算出結果を用いてパラメータを収束させる際の補正量を調整するパラメータである。更新率は、予め設定されていてもよく、収束に要する時間等を調整できるように、更新率を変更可能としてもよい。また、偏微分の演算は自動微分と呼ばれる手法を用いて自動的に行ってもよく、ユーザが手動で行ってもよい。
Figure JPOXMLDOC01-appb-M000009
　このような処理を行うことで、異常検出部５０は、画像の差分を算出できる。また、偏光レンダリング設定部３０は、事前にあるいは異常検出を行う現場で測定されないパラメータについて最適化処理を行うことで、偏光レンダリング画像の生成に必要な各パラメータを設定できる。
　＜３－６．異常検出について＞
　次に、異常検出について説明する。偏光レンダリング画像Ｉｆ φと偏光撮像画像Ｉｒ φが一致している場合、差分ＥＩφ（L,G,M,C）が「０」となる。また、レンダリングに用いるパラメータが明らかでない場合、パラメータの最適化処理を行うことで偏光撮像画像Ｉｒ φを取得したときの撮像環境や撮像条件に近づけることができる。
　したがって、異常検出部５０は、事前に測定されているパラメータや異常検出を行う現場で測定したパラメータ、最適化処理で算出したパラメータを用いて生成した偏光レンダリング画像Ｉｆ φと偏光撮像画像Ｉｒ φとの差分を画素単位で算出して、差分ＥＩφ（L,G,M,C）が判定閾値Ｊthよりも小さい画素領域は正常領域、判定閾値Ｊth以上である画素領域は異常領域と判別する。
　このように、差分ＥＩφ（L,G,M,C）と判定閾値Ｊthを比較することで、異常検出部５０は、異常検出対象に生じた異常領域を偏光特性に基づいて検出できるようになる。
　また、異常検出部５０は、パラメータが事前に測定されたパラメータあるいは最適化処理で算出されたパラメータのいずれであるかを示すパラメータ属性情報に基づき、検出された異常の原因を推定してもよい。例えば、材質パラメータＭが事前に測定されて偏光レンダリング設定部３０で固定されており、他のパラメータは最適化処理によって自動的に推定されている場合、異常領域と検出された原因は、事前に測定されて固定されている材質パラメータＭに対応した材質偏光特性の異常と推定してもよい。
　さらに、異常検出部５０は、偏光レンダリング画像Ｉｆ φと偏光撮像画像Ｉｒ φのそれぞれから偏光情報（例えば偏光度，偏光位相，法線等）を算出して、偏光情報の差分を出力してもよい。このように偏光情報の差分を出力すれば、ユーザは、輝度情報や色情報では異常を判別が困難な場合でも、偏光情報に基づき異常領域を容易に判別できるようになる。なお、偏光度，偏光位相，法線等の偏光情報の算出は、例えば国際公開第２０１９／１１６７０８の特許文献で開示されている方法等を用いればよい。
　このように偏光情報を用いて異常領域の検出を行えば、目視では判別が困難な異常領域を精度よく検出できるようになる。
　＜４．実施の形態の動作例＞
　次に、実施の形態の動作例について説明する。情報処理装置１０は、異常検出対象の材質パラメータＭが事前に測定されており、異常検出対象の撮像環境や撮像条件が予め指定した状態とされて、事前に光源パラメータＬとジオメトリパラメータＧとカメラパラメータＣが測定されている場合、偏光レンダリング設定部３０は、各パラメータを事前に測定されたパラメータに固定する。
　偏光レンダリング画像生成部４０は、偏光レンダリング設定部３０で固定されているパラメータを用いて偏光レンダリング画像Ｉｆ φを生成する。異常検出部５０は、偏光レンダリング設定部３０で生成された偏光レンダリング画像Ｉｆ φと偏光撮像画像取得部２０で取得された偏光撮像画像Ｉｒ φとの差分ＥＩφ（L,G,M,C）を画素単位で算出して判定閾値Ｊthと比較することで、異常検出対象の異常領域を検出する。
　このような処理を行えば、偏光特性に基づいて異常検出対象の異常領域を検出できる。
　ところで、光源パラメータＬとジオメトリパラメータＧと材質パラメータＭおよびカメラパラメータＣは事前に測定できる場合に限られない。例えば撮像環境や撮像条件が異なる状態で偏光撮像画像Ｉｒ φが取得される場合、偏光撮像画像Ｉｒ φを取得したときの撮像環境や撮像条件に対応したパラメータを用いて偏光レンダリング画像Ｉｆ φを生成しなければ、差分ＥＩφ（L,G,M,C）に基づいて異常領域を検出することができない。この場合、事前に測定できないパラメータについては、初期値であるパラメータ値を用いて偏光レンダリング画像Ｉｆ φの生成と差分ＥＩφ（L,G,M,C）の算出を行い、算出された差分ＥＩφ（L,G,M,C）を用いてパラメータ値を更新する。また、更新されたパラメータ値を用いて偏光レンダリング画像Ｉｆ φの生成と差分ＥＩφ（L,G,M,C）の算出を行い、算出された差分ＥＩφ（L,G,M,C）を用いてパラメータ値を更新する処理を繰り返すことで、パラメータを最適化する。さらに、最適化されたパラメータを用いて生成された偏光レンダリング画像Ｉｆ φと偏光撮像画像取得部２０で取得された偏光撮像画像Ｉｒ φとの差分ＥＩφ（L,G,M,C）を画素単位で算出して判定閾値Ｊthと比較することで、異常検出対象における異常領域を検出する。
　このような処理を行えば、偏光レンダリング画像Ｉｆ φの生成に用いる各パラメータが事前に測定できない場合でも、異常検出対象の異常領域を検出できる。
　図１２は、動作例を示している。なお、図１２に示す動作例は、例えば製造ライン等で異常検出対象毎に表面塗装状態の異常を検出する場合を示している。
　ケース１は、形状が異なる異常検出対象を含み、異常検出対象毎に表面塗装状態の異常を検出する場合を示している。この場合、異常検出対象の材質パラメータＭは事前に測定する。また、光源パラメータＬとジオメトリパラメータＧおよびカメラパラメータＣは、ライン上で異常検出対象の偏光撮像画像を取得する際の撮像環境や撮像条件に応じた固定のパラメータとするため、現場で光源パラメータＬとジオメトリパラメータＧおよびカメラパラメータＣを取得する。このようにパラメータを設定することで、生成した偏光レンダリング画像と取得した偏光撮像画像との差分に基づき、表面塗装状態の異常領域を検出できる。
　ケース２は、形状が等しく姿勢が異なる異常検出対象毎に表面塗装状態の異常を検出する場合を示している。この場合、異常検出対象の材質パラメータＭは事前に測定する。また、光源パラメータＬとカメラパラメータＣは、ライン上で異常検出対象の偏光撮像画像を取得する際の撮像環境や撮像条件に応じた固定のパラメータとするため、現場で光源パラメータＬとカメラパラメータＣを取得する。さらに、異常検出対象は姿勢が異なることがら、ジオメトリパラメータＧは、最適化処理によって自動的に設定する。このようにパラメータを設定することで、生成した偏光レンダリング画像と取得した偏光撮像画像との差分に基づき、表面塗装状態の異常領域を検出できる。
　ケース３は、偏光撮像画像取得部に関する情報が得られずに、形状や姿勢が等しい異常検出対象毎に表面塗装状態の異常を検出する場合を示している。この場合、異常検出対象の材質パラメータＭは事前に測定する。また、光源パラメータＬとジオメトリパラメータＧは、ライン上で異常検出対象の偏光撮像画像を取得する際の撮像環境や撮像条件に応じた固定のパラメータとするため、現場で光源パラメータＬとジオメトリパラメータＧを取得する。さらに、偏光撮像画像取得部に関する情報が得られないことがら、カメラパラメータＣは、最適化処理によって自動的に設定する。このようにパラメータを設定することで、生成した偏光レンダリング画像と取得した偏光撮像画像との差分に基づき、表面塗装状態の異常領域を検出できる。
　ケース４は、光源に関する情報が得られずに、形状や姿勢が等しい異常検出対象毎に表面塗装状態の異常を検出する場合を示している。この場合、異常検出対象の材質パラメータＭは事前に測定する。また、ジオメトリパラメータＧとカメラパラメータＣは、ライン上で異常検出対象の偏光撮像画像を取得する際の撮像環境や撮像条件に応じた固定のパラメータとするため、現場でジオメトリパラメータＧとカメラパラメータＣを取得する。さらに、光源に関する情報が得られないことがら、光源パラメータＬは、最適化処理によって自動的に設定する。このようにパラメータを設定することで、生成した偏光レンダリング画像と取得した偏光撮像画像との差分に基づき、表面塗装状態の異常領域を検出できる。
　ケース５は、姿勢と光源に関する情報が得られずに、形状が等しい異常検出対象毎に表面塗装状態の異常を検出する場合を示している。この場合、異常検出対象の材質パラメータＭは事前に測定する。また、カメラパラメータＣは、ライン上で異常検出対象の偏光撮像画像を取得する際の撮像環境や撮像条件に応じた固定のパラメータとするため、現場でカメラパラメータＣを取得する。さらに、姿勢と光源に関する情報が得られないことがら、光源パラメータＬとジオメトリパラメータＧは、最適化処理によって自動的に設定する。このようにパラメータを設定することで、生成した偏光レンダリング画像と取得した偏光撮像画像との差分に基づき、表面塗装状態の異常領域を検出できる。
　ケース６は、光源と偏光撮像画像取得部に関する情報が得られずに、形状や姿勢が等しい異常検出対象毎に表面塗装状態の異常を検出する場合を示している。この場合、異常検出対象の材質パラメータＭは事前に測定する。また、ジオメトリパラメータＧは、ライン上で異常検出対象の偏光撮像画像を取得する際の撮像環境や撮像条件に応じた固定のパラメータとするため、現場でジオメトリパラメータＧを取得する。さらに、光源と偏光撮像画像取得部に関する情報が得られないことがら、光源パラメータＬとカメラパラメータＣは、最適化処理によって自動的に設定する。このようにパラメータを設定することで、生成した偏光レンダリング画像と取得した偏光撮像画像との差分に基づき、表面塗装状態の異常領域を検出できる。
　ケース７は、光源と偏光撮像画像取得部と姿勢に関する情報が得られずに、形状が等しい異常検出対象毎に表面塗装状態の異常を検出する場合を示している。この場合、異常検出対象の材質パラメータＭは事前に測定する。また、光源と偏光撮像画像取得部と姿勢に関する情報が得られないことがら、光源パラメータＬとジオメトリパラメータＧとカメラパラメータＣは、最適化処理によって自動的に設定する。このようにパラメータを設定することで、生成した偏光レンダリング画像と取得した偏光撮像画像との差分に基づき、表面塗装状態の異常領域を検出できる。
　なお、図１２は一例であって、動作は図１２に示すケースに限られない。例えば、果物の表面状態から腐乱部分を検出してもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto Optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　異常検出対象の偏光レンダリング画像の生成に用いる複数のパラメータを設定する偏光レンダリング設定部と、
　前記偏光レンダリング設定部で設定されたパラメータに基づいて前記異常検出対象の偏光レンダリング画像を生成する偏光レンダリング画像生成部と、
　前記異常検出対象を撮像して取得された偏光撮像画像と前記偏光レンダリング画像生成部で生成された前記偏光レンダリング画像との差分に基づき前記異常検出対象の異常領域を検出する異常検出部と
を備える情報処理装置。
　（２）　前記複数のパラメータは測定されており、
　前記偏光レンダリング設定部は、前記測定されている複数のパラメータを、前記偏光レンダリング画像の生成に用いるパラメータに設定する（１）に記載の情報処理装置。
　（３）　前記複数のパラメータの一部または全てが測定されていない場合、
　前記偏光レンダリング設定部は、前記測定されてないパラメータの最適化処理を行い、測定されているパラメータと前記最適化処理によって算出したパラメータ、あるいは測定されているパラメータが無い場合は前記最適化処理によって算出したパラメータを前記偏光レンダリング画像の生成に用いるパラメータに設定する（１）に記載の情報処理装置。
　（４）　前記パラメータの最適化処理では、前記偏光撮像画像と前記偏光レンダリング画像生成部で生成された前記偏光レンダリング画像との差分を最小化できるパラメータを算出する（３）に記載の情報処理装置。
　（５）　前記偏光レンダリング設定部は、前記差分を用いて前記パラメータの更新を繰り返すことにより収束されたパラメータ値を最適化されたパラメータ値として、前記パラメータの収束特性を調整可能とした（４）に記載の情報処理装置。
　（６）　前記異常検出部は、前記パラメータが前記測定されているパラメータであるか前記最適化処理によって算出されたパラメータであるかを示す情報に基づき、前記検出した異常領域の異常原因を推定する（３）または（５）に記載の情報処理装置。
　（７）　前記異常検出部は、前記偏光撮像画像から算出した偏光情報と前記偏光レンダリング画像から算出した偏光情報を用いて、偏光情報の差分に基づき前記異常検出対象の異常領域を検出する（１）乃至（６）の何れかに記載の情報処理装置。
　（８）　前記異常検出部は、前記異常検出対象の異常領域を画素単位で検出する（１）乃至（７）の何れかに記載の情報処理装置。
　（９）　前記複数のパラメータは、光源に関する光源パラメータと、前記異常検出対象に関するジオメトリパラメータと、前記異常検出対象の偏光特性に関する材質パラメータと、前記偏光撮像画像を取得する偏光撮像画像取得部のカメラパラメータを含む（１）乃至（８）の何れかに記載の情報処理装置。
　（１０）　少なくとも前記材質パラメータは事前に測定されており、前記偏光レンダリング設定部は前記事前に測定されたパラメータを固定して用いる（９）に記載の情報処理装置。
　１０・・・情報処理装置
　２０・・・偏光撮像画像取得部
　３０・・・偏光レンダリング設定部
　３１・・・光源パラメータ設定部
　３２・・・ジオメトリパラメータ設定部
　３３・・・材質パラメータ設定部
　３４・・・カメラパラメータ設定部
　４０・・・偏光レンダリング画像生成部
　５０・・・異常検出部

Claims (12)

  1. 　異常検出対象の偏光レンダリング画像の生成に用いる複数のパラメータを設定する偏光レンダリング設定部と、
    　前記偏光レンダリング設定部で設定されたパラメータに基づいて前記異常検出対象の偏光レンダリング画像を生成する偏光レンダリング画像生成部と、
    　前記異常検出対象を撮像して取得された偏光撮像画像と前記偏光レンダリング画像生成部で生成された前記偏光レンダリング画像との差分に基づき前記異常検出対象の異常領域を検出する異常検出部と
    を備える情報処理装置。
  2. 　前記複数のパラメータは測定されており、
    　前記偏光レンダリング設定部は、前記測定されている複数のパラメータを、前記偏光レンダリング画像の生成に用いるパラメータに設定する
    請求項１に記載の情報処理装置。
  3. 　前記複数のパラメータの一部または全てが測定されていない場合、
    　前記偏光レンダリング設定部は、前記測定されてないパラメータの最適化処理を行い、測定されているパラメータと前記最適化処理によって算出したパラメータ、あるいは測定されているパラメータが無い場合は前記最適化処理によって算出したパラメータを前記偏光レンダリング画像の生成に用いるパラメータに設定する
    請求項１に記載の情報処理装置。
  4. 　前記パラメータの最適化処理では、前記偏光撮像画像と前記偏光レンダリング画像生成部で生成された前記偏光レンダリング画像との差分を最小化できるパラメータを算出する
    請求項３に記載の情報処理装置。
  5. 　前記偏光レンダリング設定部は、前記差分を用いて前記パラメータの更新を繰り返すことにより収束されたパラメータ値を最適化されたパラメータ値として、前記パラメータの収束特性を調整可能とした
    請求項４に記載の情報処理装置。
  6. 　前記異常検出部は、前記パラメータが前記測定されているパラメータであるか前記最適化処理によって算出されたパラメータであるかを示す情報に基づき、前記検出した異常領域の異常原因を推定する
    請求項３に記載の情報処理装置。
  7. 　前記異常検出部は、前記偏光撮像画像から算出した偏光情報と前記偏光レンダリング画像から算出した偏光情報を用いて、偏光情報の差分に基づき前記異常検出対象の異常領域を検出する
    請求項１に記載の情報処理装置。
  8. 　前記異常検出部は、前記異常検出対象の異常領域を画素単位で検出する
    請求項１に記載の情報処理装置。
  9. 　前記複数のパラメータは、光源に関する光源パラメータと、前記異常検出対象に関するジオメトリパラメータと、前記異常検出対象の偏光特性に関する材質パラメータと、前記偏光撮像画像を取得する偏光撮像画像取得部のカメラパラメータを含む
    請求項１に記載の情報処理装置。
  10. 　少なくとも前記材質パラメータは事前に測定されており、前記偏光レンダリング設定部は前記事前に測定されたパラメータを固定して用いる
    請求項９に記載の情報処理装置。
  11. 　異常検出対象の偏光レンダリング画像の生成に用いる複数のパラメータを偏光レンダリング設定部で設定することと、
    　前記偏光レンダリング設定部で設定されたパラメータに基づいて前記異常検出対象の偏光レンダリング画像を偏光レンダリング画像生成部で生成することと、
    　前記異常検出対象を撮像して取得された偏光撮像画像と前記偏光レンダリング画像生成部で生成された前記偏光レンダリング画像との差分に基づき前記異常検出対象の異常領域を異常検出部で検出すること
    を含む情報処理方法。
  12. 　異常検出対象に対する異常検出をコンピュータで実行させるプログラムであって、
    　前記異常検出対象の偏光レンダリング画像の生成に用いる複数のパラメータを設定する手順と、
    　前記設定された複数のパラメータに基づいて前記異常検出対象の偏光レンダリング画像を生成する手順と、
    　前記異常検出対象を撮像して取得された偏光撮像画像と生成した前記偏光レンダリング画像との差分に基づき前記異常検出対象の異常領域を検出する手順と
    を前記コンピュータで実行させるプログラム。
PCT/JP2021/013540 2020-05-14 2021-03-30 情報処理装置と情報処理方法およびプログラム Ceased WO2021229943A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/922,579 US12437380B2 (en) 2020-05-14 2021-03-30 Information processing device and information processing method
JP2022522553A JPWO2021229943A1 (ja) 2020-05-14 2021-03-30

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020085004 2020-05-14
JP2020-085004 2020-05-14

Publications (1)

Publication Number Publication Date
WO2021229943A1 true WO2021229943A1 (ja) 2021-11-18

Family

ID=78525694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/013540 Ceased WO2021229943A1 (ja) 2020-05-14 2021-03-30 情報処理装置と情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US12437380B2 (ja)
JP (1) JPWO2021229943A1 (ja)
WO (1) WO2021229943A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120823211B (zh) * 2025-09-18 2025-12-12 上海寅生信息科技有限公司 基于UE5像素回读与OpenCV的渲染异常自动化诊断系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064888A (ja) * 2005-09-01 2007-03-15 Tokai Rika Co Ltd 路面状態検出装置
JP2011150689A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 撮像装置、車載用撮像システム、路面外観認識方法及び物体識別装置
JP2017058383A (ja) * 2014-03-04 2017-03-23 パナソニックＩｐマネジメント株式会社 偏光画像処理装置
WO2019003383A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および材質特定方法
US20190336003A1 (en) * 2018-05-02 2019-11-07 Canfield Scientific, Incorporated Skin reflectance and oiliness measurement
WO2020049816A1 (ja) * 2018-09-03 2020-03-12 ソニー株式会社 情報処理装置と情報処理方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264037A (ja) 2000-03-22 2001-09-26 Nippon Telegr & Teleph Corp <Ntt> カメラキャリブレーション方法及び装置及びカメラキャリブレーションプログラムを格納した記憶媒体
JP4743538B2 (ja) 2006-11-17 2011-08-10 アイシン精機株式会社 カメラ校正装置
WO2009019886A1 (ja) * 2007-08-07 2009-02-12 Panasonic Corporation 法線情報生成装置および法線情報生成方法
US9001326B2 (en) * 2011-12-13 2015-04-07 Welch Allyn, Inc. Method and apparatus for observing subsurfaces of a target material
JP5960471B2 (ja) 2012-03-30 2016-08-02 セコム株式会社 画像監視装置
JP6576059B2 (ja) 2015-03-10 2019-09-18 キヤノン株式会社 情報処理、情報処理方法、プログラム
KR102659810B1 (ko) * 2015-09-11 2024-04-23 삼성디스플레이 주식회사 결정화도 측정 장치 및 그 측정 방법
JP2018082424A (ja) * 2016-11-04 2018-05-24 パナソニックＩｐマネジメント株式会社 画像形成装置
US10371998B2 (en) * 2017-06-29 2019-08-06 Varjo Technologies Oy Display apparatus and method of displaying using polarizers and optical combiners
JP6799155B2 (ja) * 2017-06-29 2020-12-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および被写体情報特定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064888A (ja) * 2005-09-01 2007-03-15 Tokai Rika Co Ltd 路面状態検出装置
JP2011150689A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 撮像装置、車載用撮像システム、路面外観認識方法及び物体識別装置
JP2017058383A (ja) * 2014-03-04 2017-03-23 パナソニックＩｐマネジメント株式会社 偏光画像処理装置
WO2019003383A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および材質特定方法
US20190336003A1 (en) * 2018-05-02 2019-11-07 Canfield Scientific, Incorporated Skin reflectance and oiliness measurement
WO2020049816A1 (ja) * 2018-09-03 2020-03-12 ソニー株式会社 情報処理装置と情報処理方法およびプログラム

Also Published As

Publication number Publication date
US20230196534A1 (en) 2023-06-22
JPWO2021229943A1 (ja) 2021-11-18
US12437380B2 (en) 2025-10-07

Similar Documents

Publication Publication Date Title
CN115830103B (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
JP7528929B2 (ja) 撮像装置と画像処理装置および画像処理方法
US10621753B2 (en) Extrinsic calibration of camera systems
CN113256730B (zh) 用于阵列相机的动态校准的系统和方法
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
US20070273795A1 (en) Alignment optimization in image display systems employing multi-camera image acquisition
US7411669B2 (en) Substrate defect inspection method, computer readable storage medium, and defect inspection apparatus
JP2009524349A (ja) 立体表示システムの調整方法
US20210152748A1 (en) Information processing apparatus, information processing method, program, and calibration apparatus
WO2021131508A1 (ja) 表面欠陥検出装置と表面欠陥検出方法とプログラムおよび表面欠陥検出システム
WO2019201355A1 (en) Light field system occlusion removal
JP2013128217A5 (ja)
WO2021229943A1 (ja) 情報処理装置と情報処理方法およびプログラム
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
US20220146434A1 (en) Image processing apparatus, information generation apparatus, and method thereof
JP7666512B2 (ja) 画像処理装置と画像処理方法およびプログラム
CN112509034A (zh) 一种基于图像像素点匹配的大范围行人体温精准检测方法
WO2019078320A1 (ja) 情報処理装置と情報処理方法および撮像装置とプログラム
US20240273739A1 (en) Apparatus and method with image registration
TW202141351A (zh) 影像檢查裝置以及影像檢查方法
TW202113344A (zh) 外觀檢查裝置及其校正方法、及電腦可讀取的記錄媒體
CN119043220A (zh) 一种草地面积测量系统
JP7424272B2 (ja) 情報処理装置と情報処理方法およびプログラム
KR20240071170A (ko) 멀티뷰 위상 이동 프로파일로메트리를 위한 3차원 캘리브레이션 방법 및 장치
WO2022107530A1 (ja) 信号処理装置と信号処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21803371

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022522553

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21803371

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17922579

Country of ref document: US