[go: up one dir, main page]

WO2019202812A1 - 画像処理装置と画像処理方法とプログラムおよび学習装置 - Google Patents

画像処理装置と画像処理方法とプログラムおよび学習装置 Download PDF

Info

Publication number
WO2019202812A1
WO2019202812A1 PCT/JP2019/003390 JP2019003390W WO2019202812A1 WO 2019202812 A1 WO2019202812 A1 WO 2019202812A1 JP 2019003390 W JP2019003390 W JP 2019003390W WO 2019202812 A1 WO2019202812 A1 WO 2019202812A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
component
polarization
generation unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/003390
Other languages
English (en)
French (fr)
Inventor
哲平 栗田
俊 海津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US17/046,456 priority Critical patent/US20210152749A1/en
Publication of WO2019202812A1 publication Critical patent/WO2019202812A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • This technique relates to an image processing apparatus, an image processing method, a program, and a learning apparatus, and enables a target image to be obtained from a polarization image.
  • Patent Document 1 the correction intensity of a plurality of facial processing is controlled on a human face image according to a set facial beauty level.
  • an object of this technique is to provide an image processing device, an image processing method, a program, and a learning device that can easily obtain a target image from a polarized image.
  • the first aspect of this technology is Image processing including a target image generation unit that performs level adjustment of the component image with a gain set using a learned model based on the component image obtained from the polarization image, and generates a target image from the component image after the level adjustment In the device.
  • the level of a component image is adjusted with a gain set for each pixel using a learning model, for example, a deep learning model, based on the component image obtained from the learning image, and generated using the component image after the level adjustment.
  • a learning model in which the difference between the evaluated image and the target image with respect to the learning image is reduced is used as the learned model.
  • the gain is set for each pixel based on the component image obtained from the polarization image, and the target image, for example, a high-quality image is generated from the component image whose level is adjusted with the set gain. Is done.
  • a polarized image is an image captured using, for example, polarized illumination light.
  • Component images are, for example, specular reflection images and diffuse reflection images.
  • the target image generation unit sets a gain for the specular reflection image or the specular reflection image and the diffuse reflection image using the learned model, and the diffuse reflection image and the specular reflection image after the level adjustment, or the specular reflection image after the level adjustment.
  • the target image is generated based on the diffuse reflection image after the level adjustment.
  • the component image is a polarization component image for each polarization direction, and the target image generation unit sets a gain for the polarization component image for each polarization direction using the learned model, and based on the polarization component image after level adjustment.
  • the target image is generated.
  • the image processing apparatus may further include a polarization imaging unit that acquires a polarization image.
  • the second aspect of this technology is Including performing level adjustment of the component image with a gain set using a learned model based on the component image obtained from the polarization image, and generating a target image from the component image after the level adjustment by a target image generation unit There is an image processing method.
  • the third aspect of this technology is A program for causing a computer to execute image processing using a polarization image, A procedure for setting a gain using a learned model based on a component image obtained from a polarization image; a procedure for adjusting the level of the component image with the set gain; A program for causing a computer to execute a procedure for generating a target image from the component image after level adjustment.
  • the program of the present technology is, for example, a storage medium or a communication medium provided in a computer-readable format to a general-purpose computer that can execute various program codes, such as an optical disk, a magnetic disk, or a semiconductor memory. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer.
  • the fourth aspect of this technology is The level of the component image is adjusted with a gain set using a learning model based on the component image obtained from the learning image, and the difference between the evaluation image generated using the component image after the level adjustment and the target image is
  • the learning apparatus includes a learned model generation unit that uses the learning model to be reduced as a learned model.
  • the level of the component image is adjusted with the gain set using the learned model based on the component image obtained from the polarization image, and the target image is generated from the component image after the level adjustment. For this reason, the target image can be easily obtained from the polarization image.
  • the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 illustrates a configuration of an imaging system using an image processing apparatus of the present technology.
  • the imaging system 10 includes a polarization imaging unit 20 and an image processing unit 30.
  • the polarization imaging unit 20 acquires a polarization image of the subject and outputs it to the image processing unit 30.
  • FIG. 2 illustrates the configuration of a polarization imaging unit that acquires a polarization image.
  • the polarization imaging unit 20 acquires polarized images having different polarization directions in at least three directions (which may include non-polarized light in the polarization direction).
  • the polarization imaging unit 20 includes a polarization filter 202 having a plurality of polarization direction pixel configurations in an image sensor 201 provided with a color mosaic filter (not illustrated) on the imaging surface. The configuration is arranged.
  • a color polarization image having polarization components in a plurality of directions can be acquired.
  • 2A illustrates the case where a polarizing filter 202 serving as a pixel in any of four different polarization directions (polarization directions are indicated by arrows) is arranged on the front surface of the image sensor 201.
  • FIG. 2B the polarization imaging unit 20 may generate a color polarization image having polarization components in a plurality of directions using the configuration of a multi-lens array.
  • a plurality (four in the figure) of lenses 203 are provided on the front surface of the image sensor 201, and an optical image of a subject is formed on the imaging surface of the image sensor 201 by each lens 203.
  • a polarizing plate 204 is provided on the front surface of each lens 203 so that the polarizing direction of the polarizing plate 204 is different. If the polarization imaging unit 20 is configured in this way, a color polarization image having polarization components in a plurality of directions can be acquired by one imaging. Further, as shown in FIG. 2C, a configuration in which polarizing plates 212-1 to 212-4 having different polarization directions are provided in front of the imaging units 210-1 to 210-4, from a plurality of different viewpoints.
  • a plurality of color polarization images having different polarization directions may be generated.
  • the parallax may be ignored in a plurality of color polarization images having different polarization directions. it can.
  • color polarization images having different polarization directions are aligned according to the amount of parallax.
  • the polarization imaging unit 20 performs white balance adjustment when generating a color polarization image.
  • the polarization imaging unit 20 adjusts the gains of the signals SR, SG, and SB for each color component such that, for example, when a white object is imaged, the image signal indicating the white object becomes a signal indicating white, the expressions (1) to Perform based on (3).
  • the gains Rgain, Ggain, and Bgain are set according to the light source.
  • SR Rgain * SR (1)
  • SG Ggain * SG (2)
  • SB Bgain * SB (3)
  • the image processing unit 30 includes an interpolation processing unit 31 that generates a polarization image for each color component when the polarization imaging unit 20 has a configuration in which a color mosaic filter is provided on the imaging surface of the image sensor. Yes.
  • the interpolation processing unit 31 performs color component and polarization polarization. A polarization image for each direction is generated.
  • FIG. 3 exemplifies a pixel configuration of a polarization image acquired by the polarization imaging unit.
  • the pixel R1 is a red pixel in the first polarization direction
  • the pixel R2 is a red pixel in the second polarization direction
  • the pixel R3 is a third polarization.
  • the red pixel in the direction, the pixel R4, indicates that it is a red pixel in the fourth polarization direction.
  • the pixel G1 is a green pixel in the first polarization direction
  • the pixel G2 is a green pixel in the second polarization direction
  • the pixel G3 is a green pixel in the third polarization direction
  • the pixel G4 is a green pixel in the fourth polarization direction.
  • the pixel B1 is a blue pixel in the first polarization direction
  • the pixel B2 is a blue pixel in the second polarization direction
  • the pixel B3 is a blue pixel in the third polarization direction
  • the pixel B4 is a blue pixel in the fourth polarization direction.
  • the interpolation processing unit 31 performs an interpolation process using an image signal of a color polarization image composed of pixels for each of a plurality of polarization components generated by the polarization imaging unit 20, and generates an image signal for each polarization component and each color component. .
  • the pixel signal of the pixel of interest in the polarization image and the pixel signal of the pixel of the same polarization component located in the vicinity of the pixel of interest are used for each color component, and the pixel signal for each polarization component and color component of the pixel of interest Is generated.
  • FIG. 4 illustrates the configuration of the interpolation processing unit.
  • the interpolation processing unit 31 includes a low-frequency component calculation unit 311, a component information acquisition unit 312, and a signal calculation unit 313.
  • the low frequency component calculation unit 311 uses the pixel signal of the pixel located in the vicinity of the target pixel in the color polarization image generated by the polarization imaging unit 20 for each color component and the same polarization component, and for each polarization component, the low frequency component calculation unit 311 A component is calculated for each color component.
  • the low-frequency component calculation unit 311 performs two-dimensional filtering using the pixel signal of the pixel of the same polarization component located in the vicinity of the target pixel for each polarization component for each color component, and colors the low-frequency component for each polarization component. Calculate for each component.
  • FIG. 5 is a diagram for explaining the low-pass filter processing.
  • the low frequency component calculation unit 311 calculates the low frequency component using, for example, a two-dimensional weighted filter.
  • FIG. 5A illustrates pixels used in the two-dimensional filter
  • FIG. 5B illustrates filter coefficients.
  • the low-frequency component calculation unit 311 calculates, for each color component, a low-frequency component for each polarization component in the pixel of interest indicated by a double-line frame using, for example, a 9 ⁇ 9 tap two-dimensional filter.
  • FIG. 5A illustrates a case where the target pixel is an R3 polarization component pixel.
  • the low frequency component calculation unit 311 calculates the low frequency component for each polarization component for each color component
  • the pixel signal of the pixel of the same polarization component and color component within 9 ⁇ 9 taps and the filter coefficient corresponding to the pixel are calculated.
  • the low-frequency component for each polarization component in the pixel of interest is calculated for each color component. Specifically, for each polarization component, the signal of the pixel of the same color component and polarization component is multiplied by the filter coefficient corresponding to the pixel, and the weighted sum of the multiplication results is divided by the sum of the weights to reduce the value. Calculate the frequency component.
  • the low frequency component calculation unit 311 uses the equation (4) to reduce the R3 polarization component.
  • the frequency component R3LPF is calculated.
  • SRn (x, y) is a pixel signal of an Rn polarization component at coordinates (x, y)
  • SGn (x, y) is a pixel signal of a Gn polarization component at coordinates (x, y)
  • SBn (x, y) indicates the pixel signal of the Bn polarization component at the coordinates (x, y).
  • SR3LPF (1 * SR3 (0,0) + 14 * SR3 (4,0) + 1 * SR3 (8,0) + 14 * SR3 (0,4) + 196 * SR3 (4,4) + 14 * SR3 (8,4) + 1 * SR3 (0,8) + 14 * SR3 (4,8) + 1 * SR3 (8,8)) / 256 ... (4)
  • SR2LPF (4 * SR2 (1,0) + 12 * SR2 (5,0) + 56 * SR2 (1,4) + 168 * SR2 (5,4) + 4 * SR2 (1,8) + 12 * SR2 (5,8)) / 256 ...
  • SR4LPF (4 * SR4 (0,1) + 56 * SR4 (4,1) + 4 * SR4 (8,1) + 12 * SR4 (0,5) + 168 * SR4 (4,5) + 12 * SR4 (8,5)) / 256 ... (7)
  • the low frequency component calculation unit 311 calculates a low frequency component for each polarization component not only for the red component but also for the green component and the blue component in the target pixel.
  • the low frequency component SG3LPF of the G3 polarization component at the target pixel is calculated using Equation (8)
  • the low frequency component SB3LPF of the B3 polarization component at the target pixel is calculated using Equation (9).
  • the low frequency component calculation unit 311 calculates the low frequency component in the same manner for the other polarization components of the green component and the blue component.
  • SG3LPF (8 * SG3 (2,0) + 8 * SG3 (6,0) + 8 * SG3 (0,2) + 112 * SG3 (4,2) + 8 * SG3 (8,2) + 112 * SG3 (2,4) + 112 * SG3 (6,4) + 8 * SG3 (0,6) + 112 * SG3 (4,6) + 8 * SG3 (8,6) + 8 * SG3 (2,8) + 8 * SG3 (6,8)) / 512 ...
  • SB3LPF (64 * SB3 (2,2) + 64 * SB3 (6,2) + 64 * SB3 (2,6) + 64 * SB3 (6,6)) / 256 ... (9)
  • the low frequency component calculation unit 311 performs the above-described processing using each pixel in the polarization image generated by the polarization imaging unit 20 as a target pixel, and calculates the low frequency components SR1LPF to SR4LPF, SG1LPF to SG4LPF, and SB1LPF to SB4LPF for each pixel. To do.
  • the low frequency component calculation unit 311 outputs the calculated low frequency component to the component information acquisition unit 312 and the signal calculation unit 313.
  • the component information acquisition unit 312 acquires component information indicating the relationship between the low-frequency component of the polarization component of the polarization image calculated by the low-frequency component calculation unit 311 for the pixel of interest in the polarization image and the pixel signal of the pixel of interest.
  • the component information acquisition unit 312 uses, as component information, a high-frequency addition gain that adds a high-frequency component to a low-frequency component of the pixel of interest to generate a pixel signal of the pixel of interest.
  • the component information acquisition unit 312 calculates the high-frequency addition gain SDhpg using Expression (10).
  • SDhpg SR3 (4,4) / SR3LPF (10)
  • the component information acquisition unit 312 calculates the high-frequency addition gain SDhpg using Expression (11) when the target pixel is a pixel at coordinates (3, 4).
  • SDhpg SG2 (3,4) / SG2LPF (11)
  • the component information acquisition unit 312 calculates the high-frequency addition gain SDhpg at each pixel position using each pixel in the color polarization image generated by the polarization imaging unit 20 as the target pixel, and calculates the calculated high-frequency addition gain SDhpg as a signal. To the unit 313.
  • the signal calculation unit 313 is a pixel for each polarization component in the target pixel. A signal is calculated for each color component.
  • the signal calculation unit 313 applies the relationship between the low-frequency component of the polarization component of the polarization image at the target pixel and the pixel signal to the relationship between the low-frequency component of the other polarization component at the target pixel and the pixel signal of the other polarization component. .
  • the signal calculation unit 313 uses the high-frequency addition gain of the target pixel calculated by the component information acquisition unit 312 and the low-frequency component for each polarization component of the target pixel calculated by the low-frequency component calculation unit 311 to calculate the target pixel.
  • a pixel signal for each polarization component is calculated for each color component.
  • FIG. 6 shows the relationship between polarization components.
  • the signal calculation unit 313 applies the relationship between the pixel signal SKx of the pixel of interest in the polarization image and the low frequency component SKxLPF to the relationship between the pixel signal SKn (n ⁇ x) of the other polarization component in the pixel of interest and the low frequency component SKnLPF.
  • K represents a color channel (R, G, B)
  • n represents a polarization direction.
  • the signal calculation unit 313 calculates the pixel signal SRn (SGn, SBn) from the high-frequency addition gain SDhpg and the low-frequency component SRnLPF (SGnLPF, SBnLPF) based on the equations (12) to (14).
  • SRn SRnLPF * SDhpg (12)
  • SGn SGnLPF * SDhpg (13)
  • SBn SBnLPF * SDhpg (14)
  • the signal calculation unit 313 calculates the pixel signal SG2 of the G2 polarization component at the pixel of interest based on Expression (15).
  • the signal calculation unit 313 performs similar processing using each pixel in the color polarization image generated by the polarization imaging unit 20 as a target pixel, and generates a polarization image for each polarization component for each color component to generate a reflection component image.
  • FIG. 7 shows a diagram in which a polarization image for each polarization component is generated for each color component.
  • the polarization image generated by the interpolation processing unit 31 is not limited to the polarization image for each polarization component and each color component having the same resolution as the color polarization image generated by the polarization imaging unit 20 as described above.
  • the red component from the polarization image in which the resolution in the horizontal direction and the vertical direction is 1 ⁇ 2 and each pixel is in any polarization direction ( A polarization image for each polarization component indicating a blue component) may be generated.
  • a polarization image for each polarization component indicating a green component having a resolution of 1 ⁇ 2 is generated by using a pixel adjacent in the horizontal direction of the red pixel or a pixel adjacent in the horizontal direction of the blue pixel. it can.
  • the polarization imaging unit 20 has the configuration shown in FIGS. 2C and 2D, since a color image is acquired for each polarization direction, the same interpolation processing is performed for each polarization direction. For example, a polarization image for each polarization direction and each color component can be generated.
  • the image processing unit 30 includes a component image generation unit 32.
  • the component image generation unit 32 calculates the specular reflection component Rs and the diffuse reflection component Rd for each pixel and each color component.
  • the reflection component image generation unit 32 calculates the specular reflection component Rsk based on, for example, Expression (16). In Expression (16) and Expressions (17) to (20) described later, “k” indicates a color channel (R, G, B). Further, the reflection component image generation unit 32 calculates the diffuse reflection component Rdk based on, for example, Expression (17). In Expressions (16) and (17), variables ak, bk, and ck are calculated based on Expressions (18) to (20). The component image generation unit 32 outputs the specular image indicating the calculated specular reflection component Rs and the diffuse reflection image indicating the calculated diffuse reflection component Rd to the target image generation unit 33 as component images.
  • the target image generation unit 33 sets the gain of the component image for each pixel using the learned model based on the component image. In addition, the target image generation unit 33 adjusts the level of the component image with the gain that has been set, and generates a target image from the component image after the level adjustment.
  • the target image generation unit 33 uses the specular reflection image and the diffuse reflection image generated by the component image generation unit 32 as the component images. In addition, the target image generation unit 33 may use a polarization image for each polarization direction generated by the interpolation processing unit 31 as the component image.
  • FIG. 8 is a flowchart illustrating the operation of the image processing unit.
  • the image processing unit acquires a polarization image.
  • the image processing unit 30 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST2.
  • step ST2 the image processing unit performs an interpolation process.
  • the interpolation processing unit 31 of the image processing unit 30 performs demosaic processing using the polarization image acquired in step ST1, generates a polarization image for each polarization direction and each color component, and proceeds to step ST3.
  • step ST3 the image processing unit performs component image generation processing.
  • the component image generation unit 32 of the image processing unit 30 generates, for example, a specular reflection image and a diffuse reflection image based on the polarization image for each polarization direction and each color component, and proceeds to step ST4.
  • step ST4 the image processing unit performs target image generation processing.
  • the target image generation unit 33 of the image processing unit 30 adjusts the level of the component image with the gain set using the learned model based on the component image generated in step ST3, and the target image is obtained from the component image after the level adjustment. Is generated.
  • the image processing part does not need to perform the process of step ST3.
  • FIG. 9 shows a configuration of the first embodiment of the target image generation unit.
  • the target image generation unit 33-1 includes a gain setting unit 331, a multiplication unit 332, and an addition unit 334.
  • the specular reflection image indicating the specular reflection component calculated by the component image generation unit 32 is output to the gain setting unit 331 and the multiplication unit 332, and the diffuse reflection image indicating the diffuse reflection component is output to the gain setting unit 331 and the addition unit 334. Is done.
  • the gain setting unit 331 sets a gain for the specular reflection image for each pixel based on the specular reflection image and the diffuse reflection image using the learned model, and outputs the gain to the multiplication unit 332. Details of the learned model will be described later.
  • the multiplication unit 332 multiplies the image signal of the specular reflection image by the gain set by the gain setting unit 331, adjusts the level of the specular reflection image, and outputs the specular reflection image after the level adjustment to the addition unit 334.
  • the addition unit 334 adds the specular reflection image and the specular reflection image after level adjustment supplied from the multiplication unit 332 to generate a high-quality image.
  • FIG. 10 is a flowchart showing the operation of the first embodiment of the target image generation unit.
  • the target image generation unit acquires a specular reflection image and a diffuse reflection image.
  • the target image generation unit 33 acquires the specular reflection image indicating the specular reflection component calculated by the component image generation unit 32 and the specular reflection image indicating the diffuse reflection component, and proceeds to step ST12.
  • step ST12 the target image generation unit sets a gain for the specular reflection image. Based on the specular reflection image and the diffuse reflection image, the target image generation unit 33-1 sets a gain for each pixel of the specular reflection image using a preset learned model, and proceeds to step ST13.
  • step ST13 the target image generation unit adjusts the level of the specular reflection image.
  • the target image generating unit 33-1 adjusts the level of the specular reflection image with the gain set in step ST12, and proceeds to step ST14.
  • step ST14 the target image generation unit performs reflection image addition processing.
  • the target image generation unit 33-1 adds the diffuse reflection image acquired in step ST11 and the specular reflection image whose level is adjusted in step ST13 to generate a high-quality image.
  • FIG. 11 shows an operation example of the target image generation unit.
  • FIG. 11A illustrates a normal image based on the polarization image acquired by the polarization imaging unit 20.
  • the normal image based on the polarization image is an image indicating an average value of all polarization directions for each color component at each pixel position, and the pixel signals SRm, SGm, SBm can be calculated based on equations (21) to (23).
  • SRm (SR1 + SR2 + SR3 + SR4) / 4
  • SGm (SG1 + SG2 + SG3 + SG4) / 4
  • SBm (SB1 + SB2 + SB3 + SB4) / 4 (23)
  • FIG. 11B shows a diffuse reflection image based on the polarization image acquired by the polarization imaging unit 20
  • FIG. 11C shows a specular reflection image based on the polarization image acquired by the polarization imaging unit 20.
  • the gain setting unit 331-1 of the target image generation unit 33-1 adjusts the level of the specular reflection image with a gain set using the learned model based on the specular reflection image and the diffuse reflection image.
  • the learned model is generated by using a high-quality image processed so as to reduce the focus on the entire face and eliminate the focus on the frontal portion and the lower jaw, for example. Therefore, the specular reflection image shown in (c) of FIG. 11 becomes, for example, the specular reflection image after level adjustment shown in (d) of FIG.
  • the unnecessary projection generated in the normal image is suppressed, and the frontal portion and the lower jaw portion are applied.
  • a high-quality image with no flash can be generated.
  • the learning device 50-1 performs machine learning using a learning image group acquired using the polarization imaging unit 20 and a desired target image corresponding to each image in the learning image group, and generates a learned model. .
  • the target image used for learning is a high-quality image generated by performing desired processing on the learning image, for example, a high-quality image that is a preferable texture such as a beautiful face.
  • the generation of the target image may be performed by a retoucher, or crowd sawing or the like may be used.
  • the target image may be software that automatically or manually generates a high-quality image, such as software that corrects a captured image of a face to a beautiful face image.
  • FIG. 13 shows a configuration of a first embodiment of a learning device that generates a learned model.
  • the learning device 50 includes a component image generation unit 51-1, a learned model generation unit 52-1, a multiplication unit 53, an addition unit 55, and an error calculation unit 56.
  • the component image generation unit 51-1 generates a diffuse reflection image and a specular reflection image of the learning image.
  • the component image generation unit 51-1 includes, for example, the polarization imaging unit 20, the interpolation processing unit 31, and the reflection component image generation unit 32 described above.
  • a diffuse reflection image is obtained from the polarization image obtained by imaging the learning subject.
  • a specular reflection image is output to the learned model generation unit 52-1 and the multiplication unit 53, and the diffuse reflection image is output to the learned model generation unit 52-1 and the addition unit 55. Is done.
  • the learned model generation unit 52-1 sets a gain for the specular reflection image for each pixel based on the specular reflection image and the diffuse reflection image using the learning model, and outputs the gain to the multiplication unit 53.
  • the learned model generation unit 52-1 adjusts the parameters of the learning model, for example, the parameters of the filter, so that the error calculated by the error calculation unit 56, which will be described later, is reduced to reduce the error, for example The learning model with the smallest error is set as the learned model.
  • the learned model generation unit 52-1 uses a deep learning model such as CNN (ConvolutionalvolutionNeural Network) as a learning model.
  • the learned model generation unit 52-1 assumes that a learning model in which priority is given to the amount of calculation and the number of parameters over accuracy is assumed that the error generated in the gain set using the learned model has little influence on the output image. You may make it use.
  • the learned model generation unit 52-1 may use a low-level structure of ResNet or a learning model such as GoogleNet or Enet.
  • the multiplication unit 53 multiplies the image signal of the specular reflection image by the gain set by the learned model generation unit 52-1, adjusts the level of the specular reflection image, and adds the specular reflection image after level adjustment to the addition unit 55. Output to.
  • the addition unit 55 adds the specular reflection image and the specular reflection image after level adjustment supplied from the multiplication unit 53 to generate a comparison image.
  • the adder 55 outputs the generated comparison image to the error calculator 56.
  • the error calculation unit 56 calculates an error of the comparison image with respect to the target image, and outputs the calculation result to the learned model generation unit 52-1. For example, as shown in Expression (24), the error calculation unit 56 calculates the difference of the pixel signal xi of the comparison image with respect to the pixel signal yi of the target image for the pixel i, and the addition result of the difference of all the pixels N is calculated as follows: This is output to the learned model generation unit 52-1 as an error L of the comparison image with respect to the target image.
  • the error calculation unit 56 calculates the error of the comparison image with respect to the target image using all the pixels, but calculates the error of the comparison image with respect to the target image using the pixel of the desired subject area, for example, the face area. Also good.
  • the learning device 50 uses the learned model in which the error L calculated by the error calculation unit 56 is reduced, for example, the learned model in which the error L is minimized, in the gain setting unit 331-1 of the target image generation unit 33-1. Model.
  • FIG. 14 is a flowchart showing the operation of the learning device according to the first embodiment.
  • the learning apparatus acquires a learning image and a target image, and proceeds to step ST22.
  • step ST22 the learning device generates a component image.
  • the component image generation unit 51-1 of the learning device 50 generates a specular reflection image and a specular reflection image of the learning image as component images, and the process proceeds to step ST23.
  • step ST23 the learning apparatus sets a gain for the specular reflection image.
  • the learned model generation unit 52-1 of the learning device 50 sets a gain for each pixel of the specular reflection image using the learning model based on the specular reflection image and the diffuse reflection image, and proceeds to step ST24.
  • step ST24 the learning device adjusts the level of the specular image.
  • the multiplier 53 of the learning device 50 adjusts the level of the specular reflection image with the gain set in step ST23, and proceeds to step ST25.
  • step ST25 the learning device generates a comparison image.
  • the adding unit 55 of the learning device 50 adds the diffuse reflection image generated in step ST22 and the specular reflection image subjected to level adjustment in step ST24 to generate a comparison image, and proceeds to step ST26.
  • step ST26 the learning device determines whether the error between the comparison image and the target image is minimum.
  • the error calculation unit 56 of the learning device 50 calculates an error between the target image acquired in step ST21 and the comparison image generated in step ST25.
  • the learning device 50 proceeds to step ST27 when the error is not the minimum, and proceeds to step ST28 when the error is the minimum. Note that whether or not the error is minimum may be determined based on a change in error when the parameters of the learning model are adjusted.
  • step ST27 the learning device adjusts the parameters of the learning model.
  • the learned model generation unit 52-1 of the learning device 50 changes the parameters of the learning model and returns to step ST23.
  • the learning device determines a learned model.
  • the learned model generation unit 52-1 of the learning device 50 ends the process with the learning model when the error is minimized as the learned model.
  • the specular reflection component it is possible to adjust the specular reflection component to generate a high-quality image that does not cause a change in the original color of the subject.
  • learning non-linear processing for generating a target image from a learning image and performing learned spatial filter processing an image that is unnatural depending on the imaging condition, subject situation, etc., such as a face image, is an artifact. There is a risk of becoming like this image.
  • the learning cost of nonlinear processing becomes high.
  • the target image is generated by adjusting the gain of the specular reflection component, a robust processing result can be obtained with respect to the imaging conditions, the subject situation, and the like. In addition, the learning cost can be reduced.
  • FIG. 15 shows the configuration of the second embodiment of the target image generation unit.
  • the target image generation unit 33-2 includes a gain setting unit 331-2, multiplication units 332 and 333, and an addition unit 334.
  • the specular reflection image indicating the specular reflection component Rs calculated by the reflection component image generation unit 32 is output to the gain setting unit 331 and the multiplication unit 332, and the diffuse reflection image indicating the diffuse reflection component Rd is output to the gain setting unit 331-2. It is output to the multiplier 333.
  • the gain setting unit 331-2 sets the gain for the specular reflection image and the gain for the diffuse specular reflection image for each pixel based on the specular reflection image and the diffuse reflection image using the learned model.
  • the gain setting unit 331-2 outputs the gain for the specular reflection image to the multiplication unit 332, and outputs the gain for the diffuse reflection image to the multiplication unit 333. Details of the learned model will be described later.
  • the multiplying unit 332 multiplies the image signal of the specular reflection image by the gain set by the gain setting unit 331-2, adjusts the level of the specular reflection image, and outputs the level-adjusted specular reflection image to the addition unit 334. To do.
  • the multiplier 333 multiplies the image signal of the diffuse reflection image by the gain set by the gain setting unit 331-2, adjusts the level of the diffuse reflection image, and outputs the diffuse reflection image after the level adjustment to the addition unit 334. To do.
  • the addition unit 334 adds the level-adjusted specular reflection image supplied from the multiplication unit 332 and the level-adjusted diffuse reflection image supplied from the multiplication unit 333 to generate a high-quality image.
  • FIG. 16 is a flowchart showing the operation of the second embodiment of the target image generation unit.
  • the target image generation unit acquires a specular reflection image and a diffuse reflection image.
  • the target image generation unit 33-2 acquires the specular reflection image indicating the specular reflection component calculated by the component image generation unit 32 and the specular reflection image indicating the diffuse reflection component, and proceeds to step ST32.
  • step ST32 the target image generation unit sets a gain for the specular reflection image. Based on the specular reflection image and the diffuse reflection image, the target image generation unit 33-2 sets a gain for each pixel of the specular reflection image using a preset learned model, and proceeds to step ST33.
  • step ST33 the target image generation unit sets a gain for the diffuse reflection image. Based on the specular reflection image and the diffuse reflection image, the target image generation unit 33-2 sets a gain for each pixel of the diffuse reflection image using a preset learned model, and proceeds to step ST34.
  • step ST34 the target image generation unit adjusts the level of the specular reflection image.
  • the target image generation unit 33-2 adjusts the level of the specular reflection image with the gain set in step ST32, and proceeds to step ST35.
  • step ST35 the target image generation unit adjusts the level of the diffuse reflection image.
  • the target image generation unit 33-2 adjusts the level of the diffuse reflection image with the gain set in step ST33, and proceeds to step ST36.
  • step ST36 the target image generation unit performs reflection image addition processing.
  • the target image generating unit 33-2 generates a target image by adding the specular reflection image whose level is adjusted in step ST34 and the diffuse reflection image whose level is adjusted in step ST35.
  • step ST32 and step ST33 may be reversed, and the order of step ST33 and step ST34 may be reversed. Further, the processes of step ST34 and step ST35 may be performed in reverse order or in parallel.
  • the learning device 50 performs machine learning using a learning target image acquired using the polarization imaging unit 20 and a desired target image corresponding to each image in the learning image group. Generate a trained model.
  • FIG. 17 shows a configuration of a second embodiment of a learning device that generates a learned model.
  • the learning device 50 includes a component image generation unit 51-2, a learned model generation unit 52-2, multiplication units 53 and 54, an addition unit 55, and an error calculation unit 56. Similar to the component image generation unit 51-1, the component image generation unit 51-2 generates a diffuse reflection image and a specular reflection image of the learning image. The specular reflection image generated by the component image generation unit 51-2 is output to the learned model generation unit 52-2 and the multiplication unit 53, and the diffuse reflection image is output to the learned model generation unit 52-2 and the multiplication unit 54. Is done.
  • the learned model generation unit 52-2 sets a gain for the specular reflection image and a gain for the diffuse reflection image for each pixel based on the specular reflection image and the diffuse reflection image using the learning model.
  • the learned model generation unit 52-2 outputs the gain for the specular reflection image to the multiplication unit 53, and outputs the gain for the diffuse reflection image to the multiplication unit 54.
  • the learned model generation unit 52-2 adjusts the parameters of the learning model so that the error calculated by the error calculation unit 56, which will be described later, is reduced, and sets the learning model in which the error is reduced as the learned model.
  • the learned model generation unit 52-2 uses a deep learning model such as a CNN (Convolutional Neural Network) as a learning model, like the learned model generation unit 52-1.
  • the multiplication unit 53 multiplies the image signal of the specular reflection image by the gain set by the learned model generation unit 52-2, adjusts the level of the specular reflection image, and adds the specular reflection image after level adjustment to the addition unit 55. Output to.
  • the multiplication unit 54 multiplies the image signal of the diffuse reflection image by the gain set by the learned model generation unit 52-2, performs level adjustment of the diffuse reflection image, and adds the specular reflection image after level adjustment to the addition unit 55. Output to.
  • the addition unit 55 adds the level-adjusted specular reflection image supplied from the multiplication unit 53 and the level-adjusted diffuse reflection image supplied from the multiplication unit 54 to generate a comparison image.
  • the adder 55 outputs the generated comparison image to the error calculator 56.
  • the error calculation unit 56 calculates the error of the comparison image with respect to the target image and outputs the calculation result to the learned model generation unit 52-2.
  • the learning device 50 sets a learned model in which the error L calculated by the error calculation unit 56 is reduced, for example, a learned model in which the error L is minimized as a learned model used in the target image generation unit 33-2.
  • FIG. 18 is a flowchart showing the operation of the learning device according to the second embodiment.
  • the learning apparatus acquires a learning image and a target image, and proceeds to step ST42.
  • step ST42 the learning device generates a component image.
  • the component image generation unit 51-2 of the learning device 50 generates a specular reflection image and a specular reflection image of the learning image as component images, and the process proceeds to step ST43.
  • step ST43 the learning apparatus sets a gain for the specular reflection image.
  • the learned model generation unit 52-2 of the learning device 50 sets a gain for each pixel of the specular reflection image using the learning model based on the specular reflection image and the diffuse reflection image, and proceeds to step ST44.
  • step ST44 the learning apparatus sets a gain for the diffuse reflection image.
  • the learned model generation unit 52-2 of the learning device 50 sets a gain for each pixel of the diffuse reflection image using the learning model based on the specular reflection image and the diffuse reflection image, and proceeds to step ST45.
  • step ST45 the learning device adjusts the level of the specular image.
  • the multiplier 53 of the learning device 50 adjusts the level of the specular reflection image with the gain set in step ST43, and proceeds to step ST46.
  • step ST46 the learning device adjusts the level of the diffuse reflection image.
  • the multiplier 54 of the learning device 50 adjusts the level of the diffuse reflection image with the gain set in step ST44, and proceeds to step ST47.
  • step ST47 the learning device generates a comparison image.
  • the adding unit 53 of the learning device 50 adds the specular reflection image whose level has been adjusted in step ST45 and the diffuse reflection image whose level has been adjusted in step ST45 to generate a comparative image, and proceeds to step ST48.
  • step ST48 the learning device determines whether the error between the comparison image and the target image is the smallest.
  • the error calculation unit 56 of the learning device 50 calculates an error between the target image acquired in step ST41 and the comparison image generated in step ST47.
  • the learning device 50 proceeds to step ST49 when the error is not the minimum, and proceeds to step ST50 when the error is the minimum.
  • step ST49 the learning device adjusts the parameters of the learning model.
  • the learned model generation unit 52-2 of the learning device 50 changes the parameters of the learning model and returns to step ST43.
  • step ST50 the learning apparatus determines a learned model.
  • the learned model generation unit 52-2 of the learning device 50 ends the process with the learning model at the time when the error is minimized as the learned model.
  • a high-quality output image can be generated by adjusting the specular reflection component and the diffuse reflection component. Therefore, the same effect as the first embodiment can be obtained.
  • the diffuse reflection component can be adjusted, processing with a higher degree of freedom than in the first embodiment is possible.
  • a third embodiment of the target image generation unit will be described.
  • a specular reflection image and a diffuse reflection image are used, and these images do not include phase information regarding polarization. Therefore, in the third embodiment, a polarization image for each polarization component is used as a component image so that a target image including phase information related to polarization can be generated.
  • a polarization image showing a polarization component having a polarization direction of 0 ° is referred to as a 0 ° polarization component image.
  • a polarization image showing a polarization component with a polarization direction of 45 ° is a 45 ° polarization component image
  • a polarization image showing a polarization component with a polarization direction of 90 ° is a 90 ° polarization component image
  • a polarization component with a polarization direction is 135 °.
  • the polarization image is a 135 ° polarization component image.
  • FIG. 19 shows the configuration of the third embodiment of the target image generation unit.
  • the target image generation unit 33-3 includes a gain setting unit 331-3, multiplication units 335 to 338, and a calculation unit 339.
  • the 0 ° polarization component image generated by the interpolation processing unit 31 is output to the gain setting unit 331-3 and the multiplication unit 335.
  • the 45 ° polarization component image is multiplied by the gain setting unit 331-3 and the multiplication unit 336, the 90 ° polarization component image is multiplied by the gain setting unit 331-3 and the multiplication unit 337, and the 135 ° polarization component image is multiplied by the gain setting unit 331-3.
  • the data is output to the unit 338.
  • the gain setting unit 331-3 uses the learned model and based on the 0 ° polarization component image, the 45 ° polarization component image, the 90 ° polarization component image, and the 135 ° polarization component image, the 0 ° polarization component image and the 45 ° polarization component image The gain for the image, 90 ° polarization component image, and 135 ° polarization component image is set for each pixel.
  • the gain setting unit 331-3 outputs the gain for the 0 ° polarization component image to the multiplication unit 335.
  • the gain setting unit 331-3 outputs the gain for the 45 ° polarization component image to the multiplication unit 336, the gain for the 90 ° polarization component image to the multiplication unit 337, and the gain for the 135 ° polarization component image to the multiplication unit 338.
  • the multiplying unit 335 multiplies the image signal of the 0 ° polarization component image by the gain set by the gain setting unit 331-3 to adjust the level of the 0 ° polarization component image, and the 0 ° polarization component image after the level adjustment. Is output to the calculation unit 339.
  • the multiplication unit 336 multiplies the image signal of the 45 ° polarization component image by the gain set by the gain setting unit 331-3, performs level adjustment of the 45 ° polarization component image, and performs the 45 ° polarization component image after the level adjustment. Is output to the calculation unit 339.
  • the multiplier 337 multiplies the image signal of the 90 ° polarization component image by the gain set by the gain setting unit 331-3, performs level adjustment of the 90 ° polarization component image, and performs the 90 ° polarization component image after level adjustment. Is output to the calculation unit 339.
  • the multiplication unit 335 multiplies the image signal of the 135 ° polarization component image by the gain set by the gain setting unit 331-3, performs level adjustment of the 135 ° polarization component image, and the 135 ° polarization component image after the level adjustment. Is output to the calculation unit 339.
  • the calculation unit 339 calculates an average value for each pixel using the pixel signal of the polarization component image after level adjustment supplied from the multiplication units 335 to 338 to obtain a pixel signal of a high-quality image.
  • FIG. 20 is a flowchart showing the operation of the third embodiment of the target image generation unit.
  • the target image generation unit acquires a polarization component image.
  • the target image generation unit 33-3 acquires the polarization component image for each polarization direction and each color component generated by the interpolation processing unit 31, and proceeds to step ST62.
  • step ST62 the target image generation unit sets a gain for the polarization component image. Based on the polarization component image, the target image generation unit 33-3 sets a gain for each polarization direction and each pixel using a preset learned model, and proceeds to step ST63.
  • step ST63 the target image generation unit adjusts the level of the polarization component image.
  • the target image generation unit 33-3 adjusts the level of each polarization component image with the gain set in step ST62, and proceeds to step ST64.
  • step ST64 the target image generation unit performs image addition processing.
  • the target image generation unit 33-3 adds the respective polarization component images whose levels have been adjusted in step ST63 to generate a target image.
  • the learning device 50 uses a learning image group acquired by using the polarization imaging unit 20 and a machine using a desired target image corresponding to each image in the learning image group. Perform learning and generate a trained model.
  • FIG. 21 shows a configuration of a third embodiment of a learning device that generates a learned model.
  • the learning device 50 includes a component image generation unit 51-3, a learned model generation unit 52-3, multiplication units 61 to 64, a calculation unit 65, and an error calculation unit 66.
  • the component image generation unit 51-3 generates a 0 ° polarization component image, a 45 ° polarization component image, a 90 ° polarization component image, and a 135 ° polarization component image of the learning image.
  • the 0 ° polarization component image generated by the component image generation unit 51-3 is output to the learned model generation unit 52-3 and the multiplication unit 61.
  • the 45 ° polarization component image is multiplied by the learned model generation unit 52-3 and the multiplication 62, the 90 ° polarization component image is learned by the model generation unit 52-3 and the multiplication unit 63, and the 135 ° polarization component image is learned by the learned model generation unit. 52-3 and the multiplier 64, respectively.
  • the learned model generation unit 52-3 uses the learning model to generate a polarization component image for each polarization component image based on the 0 ° polarization component image, the 45 ° polarization component image, the 90 ° polarization component image, and the 135 ° polarization component image. Set the gain for each pixel.
  • the learned model generation unit 52-3 outputs the gain for the 0 ° polarization component image to the multiplication unit 61. Further, the learned model generation unit 52-3 outputs the gain for the 45 ° polarization component image to the multiplication unit 62, the gain for the 90 ° polarization component image to the multiplication unit 63, and the gain for the 135 ° polarization component image to the multiplication unit 64.
  • the learned model generation unit 52-3 adjusts the parameters of the learning model so that the error calculated by the error calculation unit 66, which will be described later, is reduced, and sets the learning model in which the error is reduced as the learned model.
  • the learned model generation unit 52-2 uses a deep learning model such as a CNN (Convolutional Neural Network) as a learning model, similar to the learned model generation units 52-1 and 52-2.
  • the multiplication unit 61 multiplies the image signal of the 0 ° polarization component image by the gain set by the learned model generation unit 52-3, performs level adjustment of the 0 ° polarization component image, and performs 0 ° polarization after level adjustment.
  • the component image is output to the calculation unit 65.
  • the multiplication unit 62 multiplies the image signal of the 45 ° polarization component image by the gain set by the learned model generation unit 52-3, adjusts the level of the 45 ° polarization component image, and performs 45 ° polarization after the level adjustment.
  • the component image is output to the calculation unit 65.
  • the multiplication unit 63 multiplies the image signal of the 90 ° polarization component image by the gain set by the learned model generation unit 52-3, performs level adjustment of the 90 ° polarization component image, and performs 90 ° polarization after level adjustment.
  • the component image is output to the calculation unit 65.
  • the multiplication unit 64 multiplies the image signal of the 135 ° polarization component image by the gain set by the learned model generation unit 52-3, performs level adjustment of the 135 ° polarization component image, and 135 ° polarization after the level adjustment.
  • the component image is output to the calculation unit 65.
  • the calculation unit 65 includes the level-adjusted 0 ° polarization component image supplied from the multiplication unit 61, the level-adjusted 45-degree polarization component image supplied from the multiplication unit 62, and the level-adjusted image supplied from the multiplication unit 63.
  • the average value for each pixel position is calculated using the 90 ° polarization component image and the pixel signal of the 135 ° polarization component image after level adjustment supplied from the multiplication unit 64. Further, a comparison image using the average value as a pixel signal is generated.
  • the calculation unit 65 outputs the generated comparison image to the error calculation unit 66.
  • the error calculation unit 66 calculates an error of the comparison image with respect to the target image, and outputs the calculation result to the learned model generation unit 52-3.
  • the learning apparatus 50 sets a learned model in which the error L calculated by the error calculation unit 66 is reduced, for example, a learned model in which the error L is minimized as a learned model used in the target image generation unit 33-3.
  • FIG. 22 is a flowchart showing the operation of the third embodiment of the learning device.
  • the learning apparatus acquires a learning image and a target image, and proceeds to step ST72.
  • step ST72 the learning device generates a component image.
  • the component image generation unit 51-3 of the learning device 50 generates a polarization component image for each polarization direction of the learning image as a component image, and the process proceeds to step ST73.
  • step ST73 the learning apparatus sets a gain for each polarization component image.
  • the learned model generation unit 52-3 of the learning device 50 sets a gain for each pixel of each polarization component image using the learning model based on each polarization component image, and proceeds to step ST74.
  • step ST74 the learning device adjusts the level of each polarization component image.
  • the multipliers 61 to 64 of the learning device 50 adjust the level of each polarization component image with the gain set in step ST73.
  • the multiplying unit 61 adjusts the level of the polarization component image in the first polarization direction.
  • the multipliers 61 to 64 adjust the level of the polarization component images in the second to fourth polarization directions, and proceed to step ST75.
  • step ST75 the learning device generates a comparison image.
  • the computing unit 65 of the learning device 50 generates an image for comparison by averaging the polarization component images whose levels have been adjusted in step ST74, and then proceeds to step ST76.
  • step ST76 the learning device determines whether the error between the comparison image and the target image is minimum.
  • the error calculation unit 66 of the learning device 50 calculates an error between the target image acquired in step ST71 and the comparison image generated in step ST75.
  • the learning device 50 proceeds to step ST77 when the error is not the minimum, and proceeds to step ST78 when the error is the minimum.
  • step ST77 the learning device adjusts the parameters of the learning model.
  • the learned model generation unit 52-3 of the learning device 50 changes the parameters of the learning model and returns to step ST73.
  • step ST78 the learning apparatus determines a learned model.
  • the learned model generation unit 52-3 of the learning device 50 ends the process with the learning model at the time when the error is minimized as the learned model.
  • the 0 ° polarization component, the 45 ° polarization component, the 90 ° polarization component, and the 135 ° polarization component are adjusted, and each polarization component is added to obtain a high-quality output image. Can be generated. Therefore, although the cost is higher than in the first and second embodiments that do not use the polarization phase information, the accuracy can be improved.
  • a gain is set for each polarization component image using polarization component images of four polarization directions, and an output image is output from each polarization component image whose level is adjusted with the set gain.
  • the polarization component image is not limited to the image for each of the four polarization directions, and the generation of the learned model and the generation of the output image may be performed using the polarization component image of three polarizations, two polarizations, or one polarization. Good.
  • the amount of information decreases as the number of polarization component images decreases, but the cost required for generating a learned model and generating a target image can be reduced.
  • the number of non-polarized pixels increases as the number of polarized pixels provided in a block of a predetermined size, for example, 4 ⁇ 4 pixels, in the image sensor increases, the sensitivity can be increased.
  • a high-quality face image is generated from a polarization image obtained by capturing a person's face
  • the subject is not limited to a person and may be another subject. May generate a learned model corresponding to the subject.
  • a learned model may be generated using the group and the target image group.
  • the target image is not limited to a high-quality image. If a learned model is generated using an image having a desired characteristic, an image having a desired characteristic can be generated from the polarization image.
  • the specular reflection light remains polarized and the diffuse reflection light does not exist. Since it becomes polarized light, it is easy to generate a specular reflection image and a diffuse reflection image.
  • the illumination light may be sunlight. In this case, the reflection on the leaf surface can be separated as a specular reflection component.
  • the polarization imaging unit 20 and the image processing unit 30 may be provided integrally or independently.
  • the image processing unit 30 is not limited to the case where the above-described processing is performed online using the polarization image acquired by the polarization imaging unit 20 to generate the target image, but the polarization image recorded on the recording medium or the like is used.
  • the target image may be generated by performing the above-described processing offline.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • the technology according to the present disclosure can also be applied to the medical field. For example, if it is applied to the case where an operation image is used at the time of surgery, it is possible to accurately obtain an image without a three-dimensional shape or reflection of the operation part, and to reduce the operator's fatigue and safely. Surgery can be performed more reliably.
  • the technology according to the present disclosure can be applied to fields such as public services. For example, when an image of a subject is published in a book or magazine, an unnecessary reflection component or the like can be accurately removed from the image of the subject.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • a target image generation unit that performs level adjustment of the component image with a gain set using a learned model based on the component image obtained from the polarization image, and generates a target image from the component image after the level adjustment.
  • the learned model is generated by adjusting the level of the component image with a gain set using the learning model based on the component image obtained from the learning image and using the component image after the level adjustment.
  • the image processing apparatus according to (1) which is the learning model in which a difference between the evaluation image and the target image with respect to the learning image is reduced.
  • the image processing device wherein the learning model is a deep learning model.
  • the component images are a specular reflection image and a diffuse reflection image
  • the image processing apparatus according to any one of (1) to (3), wherein the target image generation unit sets a gain for the specular reflection image or the specular reflection image and the diffuse reflection image using a learned model.
  • the image processing device according to (4), wherein the target image generation unit generates the target image based on the diffuse reflection image and the specular reflection image after level adjustment.
  • the image processing device (4), wherein the target image generation unit generates the target image based on the specular reflection image after level adjustment and the diffuse reflection image after level adjustment.
  • the component image is a polarization component image for each polarization direction
  • the target image generation unit sets a gain for the polarization component image for each polarization direction using a learned model, and generates the target image based on the polarization component image after level adjustment (1) to ( The image processing apparatus according to any one of 3).
  • the image processing device according to any one of (1) to (8), further including a polarization imaging unit that acquires the polarization image.
  • the level of the component image is adjusted with the gain set using the learned model based on the component image obtained from the polarization image, and the target image is obtained from the component image after the level adjustment.
  • An image is generated.
  • the learning device generates a learned model. Therefore, the target image can be easily obtained from the polarization image. Therefore, for example, it is suitable for fields such as public services where high-quality images are required, mobile objects using polarization information and high-quality images, various devices, and medical fields.
  • DESCRIPTION OF SYMBOLS 10 ... Imaging system 20 ... Polarization imaging part 30 ... Image processing part 31 ... Interpolation processing part 32 ... Component image generation part 33, 33-1, 33-2, 33-3 ... Target image generation unit 50... Learning device 51-1, 51-2, 51-3 component image generation unit 52-1, 52-2, 52-3 ... learned model generation unit 53, 54, 61 to 64, 332, 333, 335 to 338... Multiplier 55, 334... Adder 56, 66. ... Polarizing filter 203... Lens 204, 211, 212 to 1 to 212 to 4... Polarizing plate 210, 210-1 to 210-4 ... Imaging unit 311. ... Component information acquisition unit 313 ... Signal calculation unit 331-1, 331-2, 331-3 Gain setting section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

偏光撮像部２０は被写体の偏光画像を取得して画像処理部３０へ出力する。画像処理装置３０の補間処理部３１は、偏光撮像部２０で取得された偏光画像を用いて補間処理を行い、偏光成分毎および色成分毎の画像信号を生成する。成分画像生成部３２は、鏡面反射成分と拡散反射成分を画素毎および色成分毎に算出して、鏡面反射成分を示す鏡面反射画像と拡散反射成分を示す拡散反射画像を成分画像として生成する。目的画像生成部３３は、成分画像に基づき学習済みモデルを用いて成分画像の画素毎にゲインを設定する。また、目的画像生成部３３は、設定されてゲインで成分画像のレベル調整を画素毎に行い、レベル調整後の成分画像から目的画像、例えば高質感画像を生成する。

Description

画像処理装置と画像処理方法とプログラムおよび学習装置
　この技術は、画像処理装置と画像処理方法とプログラムおよび学習装置に関し、偏光画像から目的画像を得られるようにする。
　従来、撮像装置では、被写体として顔を検出したとき、露出補正や美肌補正等を行うことが提案されている。例えば特許文献１では、人物の顔画像に対して、設定した美顔レベルに応じて複数の美顔処理の補正強度を制御することが行われている。
特開２０１０－０５０６０２号公報
　ところで、設定した美顔レベルに応じて美顔処理における各補正処理の補正強度を制御する場合、美顔レベルの設定が適正でないと最適な美顔処理を行うことができない。また、撮像条件等によって、美顔レベルが適正であっても美顔レベルに応じた補正強度が適正でなくなるおそれもある。また、人物の顔画像に限らず、他の被写体でも質感の高い画像を得られることが望ましい。
　そこで、この技術では偏光画像から目的画像を容易に得ることができる画像処理装置と画像処理方法とプログラムおよび学習装置を提供することを目的とする。
　この技術の第１の側面は、
　偏光画像から得られる成分画像に基づき学習済みモデルを用いて設定されたゲインで前記成分画像のレベル調整を行い、レベル調整後の前記成分画像から目的画像を生成する目的画像生成部
を備える画像処理装置にある。
　この技術においては、学習用画像から得られる成分画像に基づき学習モデル例えば深層学習モデルを用いて画素毎に設定されたゲインで成分画像のレベル調整を行い、レベル調整後の成分画像を用いて生成した評価画像と、学習用画像に対する目的画像との差が少なくなる学習モデルが学習済みモデルとして用いられる。この学習済みモデルを用いて、偏光画像から得られる成分画像に基づきゲインの設定が画素毎に行われて、設定されたゲインでレベル調整が行われた成分画像から目的画像例えば高質感画像が生成される。偏光画像は例えば偏光照明光を用いて撮像された画像である。
　成分画像は例えば鏡面反射画像と拡散反射画像である。目的画像生成部は、学習済みモデルを用いて鏡面反射画像または鏡面反射画像と拡散反射画像に対するゲインを設定して、拡散反射画像とレベル調整後の鏡面反射画像、またはレベル調整後の鏡面反射画像とレベル調整後の拡散反射画像に基づいて目的画像が生成される。また、成分画像は偏光方向毎の偏光成分画像であり、目的画像生成部は、学習済みモデルを用いて偏光方向毎の偏光成分画像に対するゲインを設定して、レベル調整後の偏光成分画像に基づいて目的画像が生成される。また、画像処理装置には、偏光画像を取得する偏光撮像部をさらに備えてもよい。
　この技術の第２の側面は、
　偏光画像から得られる成分画像に基づき学習済みモデルを用いて設定されたゲインで前記成分画像のレベル調整を行い、レベル調整後の前記成分画像から目的画像を目的画像生成部で生成すること
を含む画像処理方法にある。
　この技術の第３の側面は、
　偏光画像を用いて画像処理をコンピュータで実行させるプログラムであって、
　偏光画像から得られる成分画像に基づき学習済みモデルを用いてゲイン設定を行う手順と、　前記設定されたゲインで前記成分画像のレベル調整を行う手順と、
　レベル調整後の前記成分画像から目的画像を生成する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　学習用画像から得られる成分画像に基づき学習モデルを用いて設定されたゲインで前記成分画像のレベル調整を行い、レベル調整後の前記成分画像を用いて生成した評価画像と目的画像との差が少なくなる前記学習モデルを学習済みモデルとする学習済みモデル生成部
を備える学習装置にある。
　この技術によれば、偏光画像から得られる成分画像に基づき学習済みモデルを用いて設定されたゲインで成分画像のレベル調整を行い、レベル調整後の成分画像から目的画像が生成される。このため、偏光画像から目的画像を容易に得ることができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像システムの構成を例示した図である。 偏光撮像部の構成を例示した図である。 偏光撮像部で取得された偏光画像の画素構成を例示した図である。 補間処理部の構成を例示した図である。 低域フィルタ処理を説明するための図である。 偏光成分間の関係を示した図である。 偏光成分毎の偏光画像を色成分毎に生成した図である。 画像処理部の動作を例示したフローチャートである。 目的画像生成部の第１の実施の形態の構成を示す図である。 目的画像生成部の第１の実施の形態の動作を示すフローチャートである。 目的画像生成部の動作例を示した図である。 通常画像を示す図である。 学習装置の第１の実施の形態の構成を示す図である。 学習装置の第１の実施の形態の動作を示すフローチャートである。 目的画像生成部の第２の実施の形態の構成を示す図である。 目的画像生成部の第２の実施の形態の動作を示すフローチャートである。 学習装置の第２の実施の形態の構成を示す図である。 学習装置の第２の実施の形態の動作を示すフローチャートある。 目的画像生成部の第３の実施の形態の構成を示す図である。 目的画像生成部の第３の実施の形態の動作を示すフローチャートある。 学習装置の第３の実施の形態の構成を示す図である。 学習装置の第３の実施の形態の動作を示すフローチャートある。
　以下、本技術を実施するための形態について説明する。本技術では、偏光撮像部で取得された偏光画像群から生成された成分画像と目的画像群（例えば高質感画像群等）とを用いて学習を行い、画像処理装置では、学習済みモデルを用いて成分画像から目的画像を生成する。なお、説明は以下の順序で行う。
　１．撮像システムについて
　２．目的画像生成部について
　２－１．目的画像生成部の第１の実施の形態
　２－２．目的画像生成部の第２の実施の形態
　２－３．目的画像生成部の第３の実施の形態
　２－４．目的画像生成部の第４の実施の形態
　３．他の実施の形態
　４．応用例
　＜１．撮像システムについて＞
　図１は、本技術の画像処理装置を用いた撮像システムの構成を例示している。撮像システム１０は、偏光撮像部２０と画像処理部３０を有している。
　偏光撮像部２０は被写体の偏光画像を取得して画像処理部３０へ出力する。図２は偏光画像を取得する偏光撮像部の構成を例示している。偏光撮像部２０は、偏光方向が少なくとも３方向以上（偏光方向に無偏光を含めてもよい）の異なる偏光画像を取得する。偏光撮像部２０は、例えば図２の（ａ）に示すように、カラーモザイクフィルタ（図示せず）を撮像面に設けたイメージセンサ２０１に複数の偏光方向の画素構成とされた偏光フィルタ２０２を配置した構成とされている。このような構成の偏光撮像部２０を用いて撮像を行うことで、複数方向の偏光成分を有するカラー偏光画像を取得できる。なお、図２の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）の何れかの画素となる偏光フィルタ２０２をイメージセンサ２０１の前面に配置した場合を例示している。また、偏光撮像部２０は、図２の（ｂ）に示すように、マルチレンズアレイの構成を利用して複数方向の偏光成分を有するカラー偏光画像を生成してもよい。例えばイメージセンサ２０１の前面にレンズ２０３を複数（図では４個）設けて、各レンズ２０３によって被写体の光学像をイメージセンサ２０１の撮像面にそれぞれ結像させる。また、各レンズ２０３の前面に偏光板２０４を設けて、偏光板２０４の偏光方向を異なる方向とする。このように偏光撮像部２０を構成すれば、１回の撮像で複数方向の偏光成分を有するカラー偏光画像を取得できる。また、図２の（ｃ）に示すように、撮像部２１０-1～２１０-4の前に互いに偏光方向が異なる偏光板２１２-1～２１２-4を設けた構成として、異なる複数の視点から偏光方向が異なる複数のカラー偏光画像を生成してもよい。この場合、被写体までの距離に対して各レンズ２０３や撮像部２１０-1～２１０-4の位置間隔が無視できる程度に短ければ、偏光方向が異なる複数のカラー偏光画像では視差を無視することができる。また、視差を無視することができない場合は、偏光方向が異なるカラー偏光画像を視差量に応じて位置合わせする。また、認識対象の被写体の動きが遅い場合や認識対象の被写体がステップ的に動作する場合には、図２の（ｄ）に示すように、撮像部２１０の前に偏光板２１１を設けた構成としてもよい。この場合、偏光板２１１を回転させて異なる複数の偏光方向でそれぞれ撮像を行い、偏光方向が異なる複数のカラー偏光画像を取得する。
　また、偏光撮像部２０はカラー偏光画像を生成する場合、ホワイトバランス調整を行う。偏光撮像部２０は、例えば白い被写体を撮像したとき、この白い被写体を示す画像信号が白色を示す信号となるように、色成分毎の信号ＳＲ，ＳＧ，ＳＢの利得調整を式（１）～（３）に基づいて行う。なお、利得Ｒgain，Ｇgain，Ｂgainは、光源に応じて設定される。
　ＳＲ　＝　Ｒgain＊ＳＲ　・・・（１）
　ＳＧ　＝　Ｇgain＊ＳＧ　・・・（２）
　ＳＢ　＝　Ｂgain＊ＳＢ　・・・（３）
　図１に戻り、画像処理部３０は、偏光撮像部２０がイメージセンサの撮像面にカラーモザイクフィルタを設けた構成である場合、色成分毎の偏光画像を生成する補間処理部３１を有している。また、図２の（ａ）に示すように、イメージセンサの撮像面に複数の偏光方向の画素構成とされた偏光フィルタを設けた構成である場合、補間処理部３１では、色成分毎および偏光方向毎の偏光画像を生成する。以下、イメージセンサの撮像面にカラーモザイクフィルタと複数の偏光方向の画素構成とされた偏光フィルタが設けられた偏光撮像部で取得された偏光画像の補間処理について説明する。図３は、偏光撮像部で取得された偏光画像の画素構成を例示しており、画素Ｒ１は第１偏光方向の赤色画素、画素Ｒ２は第２偏光方向の赤色画素、画素Ｒ３は第３偏光方向の赤色画素、画素Ｒ４は第４偏光方向の赤色画素であることを示している。同様に、画素Ｇ１は第１偏光方向の緑色画素、画素Ｇ２は第２偏光方向の緑色画素、画素Ｇ３は第３偏光方向の緑色画素、画素Ｇ４は第４偏光方向の緑色画素であることを示している。また、画素Ｂ１は第１偏光方向の青色画素、画素Ｂ２は第２偏光方向の青色画素、画素Ｂ３は第３偏光方向の青色画素、画素Ｂ４は第４偏光方向の青色画素であることを示している。
　補間処理部３１は、偏光撮像部２０で生成された複数の偏光成分毎の画素からなるカラー偏光画像の画像信号を用いて補間処理を行い、偏光成分毎および色成分毎の画像信号を生成する。補間処理では、偏光画像の注目画素の画素信号と注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を色成分毎に用いて、注目画素における偏光成分毎および色成分毎の画素信号を生成する。
　図４は、補間処理部の構成を例示している。補間処理部３１は、低周波成分算出部３１１と成分情報取得部３１２および信号算出部３１３を有している。
　低周波成分算出部３１１は、偏光撮像部２０で生成されたカラー偏光画像における注目画素の近傍に位置する画素の画素信号を色成分毎および同一偏光成分毎に用いて、偏光成分毎に低周波成分を色成分毎に算出する。低周波成分算出部３１１は、偏光成分毎に注目画素の近傍に位置する同一偏光成分の画素の画素信号を色成分毎に用いて２次元フィルタ処理を行い、偏光成分毎の低周波成分を色成分毎に算出する。図５は、低域フィルタ処理を説明するための図である。低周波成分算出部３１１は、例えば２次元の重み付きフィルタを用いて低周波成分を算出する。図５の（ａ）は２次元フィルタで用いられる画素、図５の（ｂ）はフィルタ係数を例示している。低周波成分算出部３１１は、例えば９×９タップの２次元フィルタを用いて、二重線の枠で示す注目画素における偏光成分毎の低周波成分を色成分毎に算出する。なお、図５の（ａ）では、注目画素がＲ３偏光成分の画素である場合を例示している。
　低周波成分算出部３１１は、偏光成分毎の低周波成分を色成分毎に算出する場合、９×９タップ内において同一の偏光成分および色成分の画素の画素信号と画素に対応するフィルタ係数を用いて、注目画素における偏光成分毎の低周波成分を色成分毎に算出する。具体的には、偏光成分毎に、同一の色成分および偏光成分の画素の信号と画素に対応するフィルタ係数との乗算を行い、乗算結果の重み付き和を重みの総和で除算することで低周波成分を算出する。
　図５の（ａ）に示すように、注目画素(ｘ＝４，ｙ＝４)がＲ３偏光成分である場合、低周波成分算出部３１１は、式（４）を用いてＲ３偏光成分の低周波成分Ｒ３LPFを算出する。なお、以下に示す式においてＳＲｎ(x,y)は座標(ｘ，ｙ)におけるＲｎ偏光成分の画素信号、ＳＧｎ(x,y)は座標(ｘ，ｙ)におけるＧｎ偏光成分の画素信号、ＳＢｎ(x,y)は座標(ｘ，ｙ)におけるＢｎ偏光成分の画素信号を示している。
　ＳＲ３LPF　＝　(１＊ＳＲ３(0,0)＋１４＊ＳＲ３(4,0)
　　　　　　　＋１＊ＳＲ３(8,0)＋１４＊ＳＲ３(0,4)
　　　　　　　＋１９６＊ＳＲ３(4,4)＋１４＊ＳＲ３(8,4)
　　　　　　　＋１＊ＳＲ３(0,8)＋１４＊ＳＲ３(4,8)
　　　　　　　＋１＊ＳＲ３(8,8))／２５６
　　　　　　　・・・（４）
　低周波成分算出部３１１は、注目画素におけるＲ３偏光成分の低周波成分ＳＲ３LPFだけでなく、式（５）を用いて注目画素におけるＲ１偏光成分の低周波成分ＳＲ１LPFを算出する。さらに、低周波成分算出部３１１は、式（６）を用いて注目画素におけるＲ２偏光成分の低周波成分ＳＲ２LPFを算出し、式（７）を用いて注目画素におけるＲ４偏光成分の低周波成分ＳＲ４LPFを算出する。
　ＳＲ１LPF　＝　(１６＊ＳＲ１(1,1)＋４８＊ＳＲ１(5,1)
　　　　　　　＋４８＊ＳＲ１(1,5)＋１４４＊ＳＲ１(5,5))／２５６
　　　　　　　・・・（５）
　ＳＲ２LPF　＝　(４＊ＳＲ２(1,0)＋１２＊ＳＲ２(5,0)
　　　　　　　＋５６＊ＳＲ２(1,4)
　　　　　　　＋１６８＊ＳＲ２(5,4)＋４＊ＳＲ２(1,8)
　　　　　　　＋１２＊ＳＲ２(5,8))／２５６
　　　　　　　・・・（６）
　ＳＲ４LPF　＝　(４＊ＳＲ４(0,1)＋５６＊ＳＲ４(4,1)
　　　　　　　＋４＊ＳＲ４(8,1)＋１２＊ＳＲ４(0,5)
　　　　　　　＋１６８＊ＳＲ４(4,5)＋１２＊ＳＲ４(8,5))／２５６
　　　　　　　・・・（７）
　また、低周波成分算出部３１１は、注目画素における赤色成分だけでなく緑色成分および青色成分についても偏光成分毎の低周波成分を算出する。例えば注目画素におけるＧ３偏光成分の低周波成分ＳＧ３LPFは式（８）、注目画素におけるＢ３偏光成分の低周波成分ＳＢ３LPFは式（９）を用いて算出する。また、低周波成分算出部３１１は、緑色成分および青色成分の他の偏光成分についても同様にして低周波成分を算出する。
　ＳＧ３LPF　＝　(８＊ＳＧ３(2,0)＋８＊ＳＧ３(6,0)＋８＊ＳＧ３(0,2)
　　　　　　　＋１１２＊ＳＧ３(4,2)＋８＊ＳＧ３(8,2)
　　　　　　　＋１１２＊ＳＧ３(2,4)＋１１２＊ＳＧ３(6,4)
　　　　　　　＋８＊ＳＧ３(0,6)＋１１２＊ＳＧ３(4,6)
　　　　　　　＋８＊ＳＧ３(8,6)＋８＊ＳＧ３(2,8)
　　　　　　　＋８＊ＳＧ３(6,8))／５１２
　　　　　　　・・・（８）
　ＳＢ３LPF　＝　(６４＊ＳＢ３(2,2)＋６４＊ＳＢ３(6,2)
　　　　　　　＋６４＊ＳＢ３(2,6)＋６４＊ＳＢ３(6,6))／２５６
　　　　　　　・・・（９）
　低周波成分算出部３１１は、偏光撮像部２０で生成された偏光画像における各画素を注目画素として上述の処理を行い、各画素について低周波成分ＳＲ１LPF～ＳＲ４LPF，ＳＧ１LPF～ＳＧ４LPF，ＳＢ１LPF～ＳＢ４LPFを算出する。低周波成分算出部３１１は、算出した低周波成分を成分情報取得部３１２と信号算出部３１３へ出力する。
　成分情報取得部３１２は、偏光画像における注目画素について低周波成分算出部３１１で算出した偏光画像の偏光成分の低周波数成分と注目画素の画素信号との関係を示す成分情報を取得する。成分情報取得部３１２は、例えば注目画素の低周波数成分に高周波成分を加えて注目画素の画素信号とする高域加算ゲインを成分情報とする。成分情報取得部３１２は、注目画素が例えば図５の（ａ）に示す座標(４，４)の画素である場合、式（１０）を用いて高域加算ゲインＳＤhpgを算出する。
　ＳＤhpg　＝　ＳＲ３(4,4)／ＳＲ３LPF　　・・・（１０）
　同様に、成分情報取得部３１２は、注目画素が座標(３，４)の画素である場合、式（１１）を用いて高域加算ゲインＳＤhpgを算出する。
　ＳＤhpg　＝　ＳＧ２(3,4)／ＳＧ２LPF　　・・・（１１）
　成分情報取得部３１２は、偏光撮像部２０で生成されたカラー偏光画像における各画素を注目画素として、各画素位置で高域加算ゲインＳＤhpgを算出して、算出した高域加算ゲインＳＤhpgを信号算出部３１３へ出力する。
　信号算出部３１３は、低周波成分算出部３１１で算出した偏光成分毎および色成分毎の低周波成分と、成分情報取得部３１２で取得された成分情報に基づき、注目画素における偏光成分毎の画素信号を色成分毎に算出する。信号算出部３１３は、注目画素における偏光画像の偏光成分の低周波数成分と画素信号の関係を、注目画素における他の偏光成分の低周波数成分と他の偏光成分の画素信号との関係に適用する。すなわち、信号算出部３１３は、成分情報取得部３１２で算出された注目画素の高域加算ゲインと低周波成分算出部３１１で算出された注目画素の偏光成分毎の低周波成分から、注目画素における偏光成分毎の画素信号を色成分毎に算出する。図６は、偏光成分間の関係を示している。信号算出部３１３は、偏光画像における注目画素の画素信号ＳＫｘと低周波成分ＳＫｘLPFの関係を、注目画素における他の偏光成分の画素信号ＳＫｎ（ｎ≠ｘ）と低周波成分ＳＫｎLPFとの関係に適用して画素信号ＳＫｎを算出する。なお、Ｋはカラーチャンネル（Ｒ，Ｇ，Ｂ）、ｎは偏光方向を示している。
　信号算出部３１３は、式（１２）～（１４）に基づき高域加算ゲインＳＤhpgと低周波成分ＳＲｎLPF（ＳＧｎLPF，ＳＢｎLPF）から画素信号ＳＲｎ（ＳＧｎ，ＳＢｎ）を算出する。
　ＳＲｎ　＝　ＳＲｎLPF＊ＳＤhpg　　・・・（１２）
　ＳＧｎ　＝　ＳＧｎLPF＊ＳＤhpg　　・・・（１３）
　ＳＢｎ　＝　ＳＢｎLPF＊ＳＤhpg　　・・・（１４）
　例えば、注目画素が図５の（ａ）における座標(４，４)である場合、信号算出部３１３は、式（１５）に基づき、注目画素におけるＧ２偏光成分の画素信号ＳＧ２を算出する。
　ＳＧ２　＝　ＳＧ２LPF＊ＳＤhpg
　　　　　＝　ＳＧ２LPF＊(ＳＲ３(4,4)／ＳＲ３LPF）
　　　　　＝　(１２＊Ｇ２(3,0)＋４＊Ｇ２(7,0)＋３２＊Ｇ２(1,2)
　　　　　＋９６＊Ｇ２(5,2)＋１６８＊Ｇ２(3,4)＋５６＊Ｇ２(7,4)
　　　　　＋３２＊Ｇ２(1,6)＋９６＊Ｇ２(5,6)＋１２＊Ｇ２(3,8)
　　　　　＋４＊Ｇ２(7,8))／５１２＊Ｒ３(2,2)/(１＊Ｒ３(0,0)
　　　　　＋１４＊Ｒ３(4,0)＋１＊Ｒ３(8,0)＋１４＊Ｒ３(0,4)
　　　　　＋１９６＊Ｒ３(4,4)＋１４＊Ｒ３(8,4)＋１＊Ｒ３(0,8)
　　　　　＋１４＊Ｒ３(4,8)＋１＊Ｒ３(8,8))＊２５６
　　　　　・・・（１５）
　また、信号算出部３１３は、偏光撮像部２０で生成されたカラー偏光画像における各画素を注目画素として同様な処理を行い、偏光成分毎の偏光画像を色成分毎に生成して反射成分画像生成部３２へ出力する。図７は、偏光成分毎の偏光画像を色成分毎に生成した図を示している。
　なお、補間処理部３１で生成する偏光画像は、上述のように偏光撮像部２０で生成されたカラー偏光画像と等しい解像度である偏光成分毎および色成分毎の偏光画像に限られない。例えば、図５の（ａ）に示す赤色画素（青色画素）のみを用いて、水平方向および垂直方向の解像度が１／２であり各画素が何れかの偏光方向である偏光画像から赤色成分（青色成分）を示す偏光成分毎の偏光画像を生成してもよい。この場合、緑色画素については、赤色画素の左右方向に隣接する画素または青色画素の左右方向に隣接する画素を用いることで解像度が１／２である緑色成分を示す偏光成分毎の偏光画像を生成できる。また、偏光撮像部２０が図２の（ｃ），（ｄ）に示す構成である場合、偏光方向毎にカラー画像が取得されていることから、偏光方向毎に従来と同様な補間処理を行えば、偏光方向毎および色成分毎の偏光画像を生成できる。
　図１に戻り、画像処理部３０は成分画像生成部３２を有している。成分画像生成部３２は、鏡面反射成分Ｒｓと拡散反射成分Ｒｄを画素毎および色成分毎に算出する。反射成分画像生成部３２は、例えば式（１６）に基づいて鏡面反射成分Ｒｓｋを算出する。なお、式（１６）および後述する式（１７）～（２０）において、「ｋ」はカラーチャンネル（Ｒ，Ｇ，Ｂ）を示している。また、反射成分画像生成部３２は、例えば式（１７）に基づいて拡散反射成分Ｒｄｋを算出する。式（１６）および式（１７）において、変数ａｋ，ｂｋ，ｃｋは、式（１８）乃至式（２０）に基づいて算出される。成分画像生成部３２は、算出した鏡面反射成分Ｒｓを示す鏡面画像と算出した拡散反射成分Ｒｄを示す拡散反射画像を、成分画像として目的画像生成部３３へ出力する。
Figure JPOXMLDOC01-appb-M000001
　目的画像生成部３３は、成分画像に基づき学習済みモデルを用いて成分画像のゲインを画素毎に設定する。また、目的画像生成部３３は、設定されてゲインで成分画像のレベル調整を行い、レベル調整後の成分画像から目的画像を生成する。目的画像生成部３３は、成分画像として、成分画像生成部３２で生成された鏡面反射画像と拡散反射画像を用いる。また、目的画像生成部３３は、成分画像として、補間処理部３１で生成された偏光方向毎の偏光画像を用いてもよい。
　図８は、画像処理部の動作を例示したフローチャートである。ステップＳＴ１で画像処理部は偏光画像を取得する。画像処理部３０は偏光撮像部２０で生成された偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で画像処理部は補間処理を行う。画像処理部３０の補間処理部３１は、ステップＳＴ１で取得した偏光画像を用いてデモザイク処理を行い、偏光方向毎および色成分毎の偏光画像を生成してステップＳＴ３に進む。
　ステップＳＴ３で画像処理部は成分画像生成処理を行う。画像処理部３０の成分画像生成部３２は、偏光方向毎および色成分毎の偏光画像に基づき、例えば鏡面反射画像と拡散反射画像を生成してステップＳＴ４に進む。
　ステップＳＴ４で画像処理部は目的画像生成処理を行う。画像処理部３０の目的画像生成部３３は、ステップＳＴ３で生成された成分画像に基づき学習済みモデルを用いて設定されたゲインで成分画像のレベル調整を行い、レベル調整後の成分画像から目的画像を生成する。なお、成分画像として偏光方向毎の偏光画像を用いる場合、画像処理部はステップＳＴ３の処理を行う必要がない。
　＜２．目的画像生成部について＞
　次に、目的画像生成部３３の詳細について説明する。なお、以下の説明では、目的画像として例えば高質感画像を生成する。
　＜２－１．目的画像生成部の第１の実施の形態＞
　図９は、目的画像生成部の第１の実施の形態の構成を示している。目的画像生成部３３-1は、ゲイン設定部３３１と乗算部３３２および加算部３３４を有している。
　成分画像生成部３２で算出された鏡面反射成分を示す鏡面反射画像はゲイン設定部３３１と乗算部３３２へ出力されて、拡散反射成分を示す拡散反射画像はゲイン設定部３３１と加算部３３４へ出力される。
　ゲイン設定部３３１は、学習済みモデルを用いて鏡面反射画像と拡散反射画像に基づき鏡面反射画像に対するゲインを画素毎に設定して乗算部３３２へ出力する。なお、学習済みモデルの詳細については後述する。
　乗算部３３２は、ゲイン設定部３３１で設定されたゲインを鏡面反射画像の画像信号に乗算して、鏡面反射画像のレベル調整を行い、レベル調整後の鏡面反射画像を加算部３３４へ出力する。
　加算部３３４は、鏡面反射画像と乗算部３３２から供給されたレベル調整後の鏡面反射画像を加算して高質感画像を生成する。
　図１０は、目的画像生成部の第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で目的画像生成部は鏡面反射画像と拡散反射画像を取得する。目的画像生成部３３は、成分画像生成部３２で算出された鏡面反射成分を示す鏡面反射画像と拡散反射成分を示す鏡面反射画像を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で目的画像生成部は鏡面反射画像に対するゲインを設定する。目的画像生成部３３-1は、鏡面反射画像と拡散反射画像に基づき、予め設定されている学習済みモデルを用いて鏡面反射画像の画素毎にゲインを設定してステップＳＴ１３に進む。
　ステップＳＴ１３で目的画像生成部は鏡面反射画像のレベル調整を行う。目的画像生成部３３-1は、ステップＳＴ１２で設定されたゲインで鏡面反射画像のレベル調整を行いステップＳＴ１４に進む。
　ステップＳＴ１４で目的画像生成部は反射画像加算処理を行う。目的画像生成部３３-1は、ステップＳＴ１１で取得した拡散反射画像とステップＳＴ１３でレベル調整が行われた鏡面反射画像を加算して高質感画像を生成する。
　図１１は、目的画像生成部の動作例を示している。図１１の（ａ）は、偏光撮像部２０で取得された偏光画像に基づく通常画像を例示している。なお、偏光画像に基づく通常画像とは、図１２に示すように、各画素位置における色成分毎の全偏光方向の平均値を示す画像であり、通常画像の各画素の画素信号ＳＲｍ，ＳＧｍ，ＳＢｍは、式（２１）～（２３）に基づき算出できる。
　　ＳＲｍ＝（ＳＲ1＋ＳＲ2＋ＳＲ3＋ＳＲ4）／４　　・・・（２１）
　　ＳＧｍ＝（ＳＧ1＋ＳＧ2＋ＳＧ3＋ＳＧ4）／４　　・・・（２２）
　　ＳＢｍ＝（ＳＢ1＋ＳＢ2＋ＳＢ3＋ＳＢ4）／４　　・・・（２３）
　図１１の（ｂ）は偏光撮像部２０で取得された偏光画像に基づく拡散反射画像、図１１の（ｃ）は偏光撮像部２０で取得された偏光画像に基づく鏡面反射画像を示している。目的画像生成部３３-1のゲイン設定部３３１-1では、鏡面反射画像と拡散反射画像に基づき学習済みモデルを用いて設定されたゲインで鏡面反射画像のレベル調整が行われる。なお学習済みモデルは、例えば顔全体のてかりを少なくして前頭部分や下顎部分ではてかりを無くすように処理された高質感画像を用いて生成されている。したがって、図１１の（ｃ）に示す鏡面反射画像は例えば図１１の（ｄ）に示すレベル調整後の鏡面反射画像となる。このレベル調整後の鏡面反射画像と拡散反射画像を加算して、図１１の（ｅ）に示すように、例えば通常画像で生じている不要なてかりを抑えて、前頭部分や下顎部分ではてかりのない高質感画像を生成できる。
　次に、学習済みモデルを生成する学習装置について説明する。学習装置５０-1は、偏光撮像部２０を用いて取得した学習用画像群と、学習用画像群の各画像に対応する所望の目的画像を用いて機械学習を行い、学習済みモデルを生成する。
　学習に用いる目的画像は、学習用画像に対して所望の処理を行うことにより生成された高質感画像例えば美顔等の好ましい質感である高質感の画像である。目的画像の生成は、レタッチャーが行ってもよく、クラウドソーイング等を利用してもよい。また、目的画像は、自動あるいは手動で高質感画像を生成するソフトウェア、例えば顔の撮像画像を美顔画像に補正するソフトウェア等を用いてもよい。
　図１３は、学習済みモデルを生成する学習装置の第１の実施の形態の構成を示している。学習装置５０は、成分画像生成部５１-1、学習済みモデル生成部５２-1、乗算部５３、加算部５５、誤差算出部５６を有している。成分画像生成部５１-1は、学習用画像の拡散反射画像と鏡面反射画像を生成する。成分画像生成部５１-1は、例えば上述の偏光撮像部２０と補間処理部３１および反射成分画像生成部３２を有しており、学習用被写体を撮像して得られた偏光画像から拡散反射画像と鏡面反射画像を生成する。成分画像生成部５１-1で生成された鏡面反射画像は学習済みモデル生成部５２-1と乗算部５３へ出力されて、拡散反射画像は学習済みモデル生成部５２-1と加算部５５へ出力される。
　学習済みモデル生成部５２-1は、学習モデルを用いて鏡面反射画像と拡散反射画像に基づき鏡面反射画像に対するゲインを画素毎に設定して乗算部５３へ出力する。また、学習済みモデル生成部５２-1は、後述する誤差算出部５６で算出された誤差が少なくなるように学習モデルのパラメータ、例えばフィルタのパラメータ等を調整して、誤差が少なくなる学習モデル例えば誤差が最小となる学習モデルを学習済みモデルとする。学習済みモデル生成部５２-1は、学習モデルとして深層学習モデル例えばＣＮＮ（Convolutional Neural Network）を用いる。また、学習済みモデルを用いて設定されたゲインに生じた誤差は出力画像に与える影響が少ないとして、学習済みモデル生成部５２-1では精度よりも計算量やパラメータ数を優先させた学習モデルを用いるようにしてもよい。例えば学習済みモデル生成部５２-1は、ＲｅｓＮｅｔの低層構造またはＧｏｏｇｌｅＮｅｔあるいはＥｎｅｔ等の学習モデルを用いてもよい。
　乗算部５３は、学習済みモデル生成部５２-1で設定されたゲインを鏡面反射画像の画像信号に乗算して、鏡面反射画像のレベル調整を行い、レベル調整後の鏡面反射画像を加算部５５へ出力する。
　加算部５５は、鏡面反射画像と乗算部５３から供給されたレベル調整後の鏡面反射画像を加算して比較用画像を生成する。加算部５５は、生成した比較用画像を誤差算出部５６へ出力する。
　誤差算出部５６は、目的画像に対する比較用画像の誤差を算出して、算出結果を学習済みモデル生成部５２-1へ出力する。例えば誤差算出部５６は、式（２４）に示すように、画素ｉについて目的画像の画素信号ｙｉに対する比較用画像の画素信号ｘｉの差を算出して、全画素Ｎの差の加算結果を、目的画像に対する比較用画像の誤差Ｌとして学習済みモデル生成部５２-1へ出力する。なお、誤差算出部５６は、全画素を用いて目的画像に対する比較用画像の誤差を算出したが、所望の被写体領域例えば顔領域の画素を用いて目的画像に対する比較用画像の誤差を算出してもよい。
Figure JPOXMLDOC01-appb-M000002
　学習装置５０は、誤差算出部５６で算出される誤差Ｌが少なくなる学習済みモデル例えば誤差Ｌが最小となる学習済みモデルを、目的画像生成部３３-1のゲイン設定部３３１-1で用いる学習済みモデルとする。
　図１４は、学習装置の第１の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で学習装置は学習用画像と目的画像を取得してステップＳＴ２２に進む。
　ステップＳＴ２２で学習装置は成分画像を生成する。学習装置５０の成分画像生成部５１-1は、成分画像として学習用画像の鏡面反射画像と鏡面反射画像を生成してステップＳＴ２３に進む。
　ステップＳＴ２３で学習装置は鏡面反射画像に対するゲインを設定する。学習装置５０の学習済みモデル生成部５２-1は、鏡面反射画像と拡散反射画像に基づき学習モデルを用いて鏡面反射画像の画素毎にゲインを設定してステップＳＴ２４に進む。
　ステップＳＴ２４で学習装置は鏡面反射画像のレベル調整を行う。学習装置５０の乗算部５３は、ステップＳＴ２３で設定されたゲインで鏡面反射画像のレベル調整を行いステップＳＴ２５に進む。
　ステップＳＴ２５で学習装置は比較用画像を生成する。学習装置５０の加算部５５は、ステップＳＴ２２で生成された拡散反射画像とステップＳＴ２４でレベル調整が行われた鏡面反射画像を加算して比較用画像を生成してステップＳＴ２６に進む。
　ステップＳＴ２６で学習装置は比較用画像と目的画像との誤差が最小であるか判別する。学習装置５０の誤差算出部５６は、ステップＳＴ２１で取得した目的画像とステップＳＴ２５で生成された比較用画像との誤差を算出する。学習装置５０は、誤差が最小でない場合にステップＳＴ２７に進み、誤差が最小である場合にステップＳＴ２８に進む。なお、誤差が最小であるか否かの判別は、学習モデルのパラメータを調整したときの誤差の変化に基づいて判別すればよい。
　ステップＳＴ２７で学習装置は学習モデルのパラメータを調整する。学習装置５０の学習済みモデル生成部５２-1は、学習モデルのパラメータを変更してステップＳＴ２３に戻る。
　ステップＳＴ２６からステップＳＴ２８に進むと、学習装置は学習済みモデルを決定する。学習装置５０の学習済みモデル生成部５２-1は、誤差が最小となるときの学習モデルを学習済みモデルとして処理を終了する。
　このように、第１の実施の形態によれば、鏡面反射成分を調整して被写体本来の色の変化を生じていない高質感画像を生成できるようになる。また、学習用画像から目的画像を生成する非線形処理を学習して、学習済みの空間フィルタ処理を行う場合、撮像条件や被写体状況等によっては不自然さを生じた画像、例えば顔画像が人工物の画像のようになってしまうおそれがある。また、非線形処理の学習コストが高くなってしまう。これに対して第１の実施の形態では、鏡面反射成分のゲインを調整して目的画像を生成することから、撮像条件や被写体状況等に対してロバストな処理結果が得られるようになる。また、学習コストも低くできる。
　＜２－２．目的画像生成部の第２の実施の形態＞
　次に、目的画像生成部の第２の実施の形態では、鏡面反射成分だけでなく拡散反射成分の調整も行う。
　図１５は、目的画像生成部の第２の実施の形態の構成を示している。目的画像生成部３３-2は、ゲイン設定部３３１-2と乗算部３３２，３３３および加算部３３４を有している。
　反射成分画像生成部３２で算出された鏡面反射成分Ｒｓを示す鏡面反射画像はゲイン設定部３３１と乗算部３３２へ出力されて、拡散反射成分Ｒｄを示す拡散反射画像はゲイン設定部３３１-2と乗算部３３３へ出力される。
　ゲイン設定部３３１-2は、学習済みモデルを用いて鏡面反射画像と拡散反射画像に基づき鏡面反射画像に対するゲインと拡散鏡面反射画像に対するゲインを画素毎に設定する。ゲイン設定部３３１-2は、鏡面反射画像に対するゲインを乗算部３３２へ出力して、拡散反射画像に対するゲインを乗算部３３３へ出力する。なお、学習済みモデルの詳細については後述する。
　乗算部３３２は、ゲイン設定部３３１-2で設定されたゲインを鏡面反射画像の画像信号に乗算して、鏡面反射画像のレベル調整を行い、レベル調整後の鏡面反射画像を加算部３３４へ出力する。
　乗算部３３３は、ゲイン設定部３３１-2で設定されたゲインを拡散反射画像の画像信号に乗算して、拡散反射画像のレベル調整を行い、レベル調整後の拡散反射画像を加算部３３４へ出力する。
　加算部３３４は、乗算部３３２から供給されたレベル調整後の鏡面反射画像と乗算部３３３から供給されたレベル調整後の拡散反射画像を加算して高質感画像を生成する。
　図１６は、目的画像生成部の第２の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で目的画像生成部は鏡面反射画像と拡散反射画像を取得する。目的画像生成部３３-2は、成分画像生成部３２で算出された鏡面反射成分を示す鏡面反射画像と拡散反射成分を示す鏡面反射画像を取得してステップＳＴ３２に進む。
　ステップＳＴ３２で目的画像生成部は鏡面反射画像に対するゲインを設定する。目的画像生成部３３-2は、鏡面反射画像と拡散反射画像に基づき、予め設定されている学習済みモデルを用いて鏡面反射画像の画素毎にゲインを設定してステップＳＴ３３に進む。
　ステップＳＴ３３で目的画像生成部は拡散反射画像に対するゲインを設定する。目的画像生成部３３-2は、鏡面反射画像と拡散反射画像に基づき、予め設定されている学習済みモデルを用いて拡散反射画像の画素毎にゲインを設定してステップＳＴ３４に進む。
　ステップＳＴ３４で目的画像生成部は鏡面反射画像のレベル調整を行う。目的画像生成部３３-2は、ステップＳＴ３２で設定されたゲインで鏡面反射画像のレベル調整を行いステップＳＴ３５に進む。
　ステップＳＴ３５で目的画像生成部は拡散反射画像のレベル調整を行う。目的画像生成部３３-2は、ステップＳＴ３３で設定されたゲインで拡散反射画像のレベル調整を行いステップＳＴ３６に進む。
　ステップＳＴ３６で目的画像生成部は反射画像加算処理を行う。目的画像生成部３３-2は、ステップＳＴ３４でレベル調整が行われた鏡面反射画像とステップＳＴ３５でレベル調整が行われた拡散反射画像を加算して目的画像を生成する。
　なお、図１６においてステップＳＴ３２とステップＳＴ３３の処理は順序が逆でもよく、ステップＳＴ３３とステップＳＴ３４の順序が逆でもよい。また、ステップＳＴ３４とステップＳＴ３５の処理は順序が逆でもよく並列して行ってもよい。
　次に、学習済みモデルを生成する学習装置について説明する。学習装置５０は、第１の実施の形態と同様に、偏光撮像部２０を用いて取得した学習用画像群と学習用画像群の各画像に対応する所望の目的画像を用いて機械学習を行い、学習済みモデルを生成する。
　図１７は、学習済みモデルを生成する学習装置の第２の実施の形態の構成を示している。学習装置５０は、成分画像生成部５１-2、学習済みモデル生成部５２-2、乗算部５３，５４、加算部５５、誤差算出部５６を有している。成分画像生成部５１-2は、成分画像生成部５１-1と同様に学習用画像の拡散反射画像と鏡面反射画像を生成する。成分画像生成部５１-2で生成された鏡面反射画像は学習済みモデル生成部５２-2と乗算部５３へ出力されて、拡散反射画像は学習済みモデル生成部５２-2と乗算部５４へ出力される。
　学習済みモデル生成部５２-2は、学習モデルを用いて鏡面反射画像と拡散反射画像に基づき鏡面反射画像に対するゲインと拡散反射画像に対するゲインを画素毎に設定する。学習済みモデル生成部５２-2は、鏡面反射画像に対するゲインを乗算部５３へ出力して、拡散反射画像に対するゲインを乗算部５４へ出力する。また、学習済みモデル生成部５２-2は、後述する誤差算出部５６で算出された誤差が少なくなるように学習モデルのパラメータを調整して、誤差が少なくなる学習モデルを学習済みモデルとする。なお、学習済みモデル生成部５２-2は、学習済みモデル生成部５２-1と同様に、学習モデルとして深層学習モデル例えばＣＮＮ（Convolutional Neural Network）等を用いる。
　乗算部５３は、学習済みモデル生成部５２-2で設定されたゲインを鏡面反射画像の画像信号に乗算して、鏡面反射画像のレベル調整を行い、レベル調整後の鏡面反射画像を加算部５５へ出力する。
　乗算部５４は、学習済みモデル生成部５２-2で設定されたゲインを拡散反射画像の画像信号に乗算して、拡散反射画像のレベル調整を行い、レベル調整後の鏡面反射画像を加算部５５へ出力する。
　加算部５５は、乗算部５３から供給されたレベル調整後の鏡面反射画像と乗算部５４から供給されたレベル調整後の拡散反射画像を加算して比較用画像を生成する。加算部５５は、生成した比較用画像を誤差算出部５６へ出力する。
　誤差算出部５６は、目的画像に対する比較用画像の誤差を算出して、算出結果を学習済みモデル生成部５２-2へ出力する。
　学習装置５０は、誤差算出部５６で算出される誤差Ｌが少なくなる学習済みモデル例えば誤差Ｌが最小となる学習済みモデルを、目的画像生成部３３-2で用いる学習済みモデルとする。
　図１８は、学習装置の第２の実施の形態の動作を示すフローチャートである。ステップＳＴ４１で学習装置は学習用画像と目的画像を取得してステップＳＴ４２に進む。
　ステップＳＴ４２で学習装置は成分画像を生成する。学習装置５０の成分画像生成部５１-2は、成分画像として学習用画像の鏡面反射画像と鏡面反射画像を生成してステップＳＴ４３に進む。
　ステップＳＴ４３で学習装置は鏡面反射画像に対するゲインを設定する。学習装置５０の学習済みモデル生成部５２-2は、鏡面反射画像と拡散反射画像に基づき学習モデルを用いて鏡面反射画像の画素毎にゲインを設定してステップＳＴ４４に進む。
　ステップＳＴ４４で学習装置は拡散反射画像に対するゲインを設定する。学習装置５０の学習済みモデル生成部５２-2は、鏡面反射画像と拡散反射画像に基づき学習モデルを用いて拡散反射画像の画素毎にゲインを設定してステップＳＴ４５に進む。
　ステップＳＴ４５で学習装置は鏡面反射画像のレベル調整を行う。学習装置５０の乗算部５３は、ステップＳＴ４３で設定されたゲインで鏡面反射画像のレベル調整を行いステップＳＴ４６に進む。
　ステップＳＴ４６で学習装置は拡散反射画像のレベル調整を行う。学習装置５０の乗算部５４は、ステップＳＴ４４で設定されたゲインで拡散反射画像のレベル調整を行いステップＳＴ４７に進む。
　ステップＳＴ４７で学習装置は比較用画像を生成する。学習装置５０の加算部５３は、ステップＳＴ４５でレベル調整が行われた鏡面反射画像とステップＳＴ４５でレベル調整が行われた拡散反射画像を加算して比較用画像を生成してステップＳＴ４８に進む。
　ステップＳＴ４８で学習装置は比較用画像と目的画像との誤差が最小であるか判別する。学習装置５０の誤差算出部５６は、ステップＳＴ４１で取得した目的画像とステップＳＴ４７で生成された比較用画像との誤差を算出する。学習装置５０は、誤差が最小でない場合にステップＳＴ４９に進み、誤差が最小である場合にステップＳＴ５０に進む。
　ステップＳＴ４９で学習装置は学習モデルのパラメータを調整する。学習装置５０の学習済みモデル生成部５２-2は、学習モデルのパラメータを変更してステップＳＴ４３に戻る。
　ステップＳＴ４８からステップＳＴ５０に進むと、学習装置は学習済みモデルを決定する。学習装置５０の学習済みモデル生成部５２-2は、誤差が最小となるときの学習モデルを学習済みモデルとして処理を終了する。
　このように、第２の実施の形態によれば、鏡面反射成分と拡散反射成分を調整して高質感の出力画像を生成できるようになる。したがって、第１の実施の形態と同様な作用効果を得ることができる。また、第２の実施の形態では、拡散反射成分の調整も可能とされているので、第１の実施の形態よりも自由度の高い処理が可能となる。
　＜２－３．目的画像生成部の第３の実施の形態＞
　次に、目的画像生成部の第３の実施の形態について説明する。上述の第１および第２の実施の形態では、鏡面反射画像と拡散反射画像を用いており、これらの画像では偏光に関する位相情報が含まれていない。そこで、第３の実施の形態では、偏光に関する位相情報を含めて目的画像の生成を行うことができるように、偏光成分毎の偏光画像を成分画像として用いる。なお、以下の説明では偏光方向が０°の偏光成分を示す偏光画像を０°偏光成分画像とする。また、偏光方向が４５°の偏光成分を示す偏光画像を４５°偏光成分画像、偏光方向が９０°の偏光成分を示す偏光画像を９０°偏光成分画像、偏光方向が１３５°の偏光成分を示す偏光画像を１３５°偏光成分画像とする。
　図１９は、目的画像生成部の第３の実施の形態の構成を示している。目的画像生成部３３-3は、ゲイン設定部３３１-3と乗算部３３５～３３８および演算部３３９を有している。
　補間処理部３１で生成された０°偏光成分画像は、ゲイン設定部３３１-3と乗算部３３５へ出力される。また、４５°偏光成分画像はゲイン設定部３３１-3と乗算部３３６、９０°偏光成分画像はゲイン設定部３３１-3と乗算部３３７、１３５°偏光成分画像はゲイン設定部３３１-3と乗算部３３８へそれぞれ出力される。
　ゲイン設定部３３１-3は、学習済みモデルを用いて０°偏光成分画像と４５°偏光成分画像と９０°偏光成分画像および１３５°偏光成分画像に基づき、０°偏光成分画像と４５°偏光成分画像と９０°偏光成分画像および１３５°偏光成分画像に対するゲインを画素毎に設定する。ゲイン設定部３３１-3は、０°偏光成分画像に対するゲインを乗算部３３５へ出力する。また、ゲイン設定部３３１-3は、４５°偏光成分画像に対するゲインを乗算部３３６、９０°偏光成分画像に対するゲインを乗算部３３７、１３５°偏光成分画像に対するゲインを乗算部３３８へ出力する。
　乗算部３３５は、ゲイン設定部３３１-3で設定されたゲインを０°偏光成分画像の画像信号に乗算して、０°偏光成分画像のレベル調整を行い、レベル調整後の０°偏光成分画像を演算部３３９へ出力する。
　乗算部３３６は、ゲイン設定部３３１-3で設定されたゲインを４５°偏光成分画像の画像信号に乗算して、４５°偏光成分画像のレベル調整を行い、レベル調整後の４５°偏光成分画像を演算部３３９へ出力する。
　乗算部３３７は、ゲイン設定部３３１-3で設定されたゲインを９０°偏光成分画像の画像信号に乗算して、９０°偏光成分画像のレベル調整を行い、レベル調整後の９０°偏光成分画像を演算部３３９へ出力する。
　乗算部３３５は、ゲイン設定部３３１-3で設定されたゲインを１３５°偏光成分画像の画像信号に乗算して、１３５°偏光成分画像のレベル調整を行い、レベル調整後の１３５°偏光成分画像を演算部３３９へ出力する。
　演算部３３９は、乗算部３３５～３３８から供給されたレベル調整後の偏光成分画像の画素信号を用いて画素毎に平均値を算出して高質感画像の画素信号とする。
　図２０は、目的画像生成部の第３の実施の形態の動作を示すフローチャートである。ステップＳＴ６１で目的画像生成部は偏光成分画像を取得する。目的画像生成部３３-3は、補間処理部３１で生成された偏光方向毎および色成分毎の偏光成分画像を取得してステップＳＴ６２に進む。
　ステップＳＴ６２で目的画像生成部は偏光成分画像に対するゲインを設定する。目的画像生成部３３-3は、偏光成分画像に基づき、予め設定されている学習済みモデルを用いて偏光方向毎および画素毎にゲインを設定してステップＳＴ６３に進む。
　ステップＳＴ６３で目的画像生成部は偏光成分画像のレベル調整を行う。目的画像生成部３３-3は、ステップＳＴ６２で設定されたゲインで各偏光成分画像のレベル調整を行いステップＳＴ６４に進む。
　ステップＳＴ６４で目的画像生成部は画像加算処理を行う。目的画像生成部３３-3は、ステップＳＴ６３でレベル調整が行われた各偏光成分画像を加算して目的画像を生成する。
　次に、学習済みモデルを生成する学習装置について説明する。学習装置５０は、第１および第２の実施の形態と同様に、偏光撮像部２０を用いて取得した学習用画像群と学習用画像群の各画像に対応する所望の目的画像を用いて機械学習を行い、学習済みモデルを生成する。
　図２１は、学習済みモデルを生成する学習装置の第３の実施の形態の構成を示している。学習装置５０は、成分画像生成部５１-3、学習済みモデル生成部５２-3、乗算部６１～６４、演算部６５、誤差算出部６６を有している。成分画像生成部５１-3は、学習用画像の０°偏光成分画像と４５°偏光成分画像と９０°偏光成分画像と１３５°偏光成分画像を生成する。成分画像生成部５１-3で生成された０°偏光成分画像は、学習済みモデル生成部５２-3と乗算部６１へ出力される。また、４５°偏光成分画像は学習済みモデル生成部５２-3と乗算６２、９０°偏光成分画像は学習済みモデル生成部５２-3と乗算部６３、１３５°偏光成分画像は学習済みモデル生成部５２-3と乗算部６４へそれぞれ出力される。
　学習済みモデル生成部５２-3は、学習モデルを用いて０°偏光成分画像と４５°偏光成分画像と９０°偏光成分画像および１３５°偏光成分画像に基づき、偏光成分画像毎に偏光成分画像に対するゲインを画素毎に設定する。学習済みモデル生成部５２-3は、０°偏光成分画像に対するゲインを乗算部６１へ出力する。また、学習済みモデル生成部５２-3は、４５°偏光成分画像に対するゲインを乗算６２、９０°偏光成分画像に対するゲインを乗算部６３、１３５°偏光成分画像に対するゲインを乗算部６４へ出力する。また、学習済みモデル生成部５２-3は、後述する誤差算出部６６で算出された誤差が少なくなるように学習モデルのパラメータを調整して、誤差が少なくなる学習モデルを学習済みモデルとする。なお、学習済みモデル生成部５２-2は、学習済みモデル生成部５２-1，５２-2と同様に、学習モデルとして深層学習モデル例えばＣＮＮ（Convolutional Neural Network）等を用いる。
　乗算部６１は、学習済みモデル生成部５２-3で設定されたゲインを０°偏光成分画像の画像信号に乗算して、０°偏光成分画像のレベル調整を行い、レベル調整後の０°偏光成分画像を演算部６５へ出力する。
　乗算部６２は、学習済みモデル生成部５２-3で設定されたゲインを４５°偏光成分画像の画像信号に乗算して、４５°偏光成分画像のレベル調整を行い、レベル調整後の４５°偏光成分画像を演算部６５へ出力する。
　乗算部６３は、学習済みモデル生成部５２-3で設定されたゲインを９０°偏光成分画像の画像信号に乗算して、９０°偏光成分画像のレベル調整を行い、レベル調整後の９０°偏光成分画像を演算部６５へ出力する。
　乗算部６４は、学習済みモデル生成部５２-3で設定されたゲインを１３５°偏光成分画像の画像信号に乗算して、１３５°偏光成分画像のレベル調整を行い、レベル調整後の１３５°偏光成分画像を演算部６５へ出力する。
　演算部６５は、乗算部６１から供給されたレベル調整後の０°偏光成分画像と乗算部６２から供給されたレベル調整後の４５度偏光成分画像と乗算部６３から供給されたレベル調整後の９０°偏光成分画像と乗算部６４から供給されたレベル調整後の１３５度偏光成分画像の画素信号を用いて画素位置毎の平均値を算出する。さらに、平均値を画素信号とする比較用画像を生成する。演算部６５は、生成した比較用画像を誤差算出部６６へ出力する。
　誤差算出部６６は、目的画像に対する比較用画像の誤差を算出して、算出結果を学習済みモデル生成部５２-3へ出力する。
　学習装置５０は、誤差算出部６６で算出される誤差Ｌが少なくなる学習済みモデル例えば誤差Ｌが最小となる学習済みモデルを、目的画像生成部３３-3で用いる学習済みモデルとする。
　図２２は、学習装置の第３の実施の形態の動作を示すフローチャートである。ステップＳＴ７１で学習装置は学習用画像と目的画像を取得してステップＳＴ７２に進む。
　ステップＳＴ７２で学習装置は成分画像を生成する。学習装置５０の成分画像生成部５１-3は、成分画像として学習用画像の偏光方向毎の偏光成分画像を生成してステップＳＴ７３に進む。
　ステップＳＴ７３で学習装置は各偏光成分画像に対するゲインを設定する。学習装置５０の学習済みモデル生成部５２-3は、各偏光成分画像に基づき学習モデルを用いて各偏光成分画像の画素毎にゲインを設定してステップＳＴ７４に進む。
　ステップＳＴ７４で学習装置は各偏光成分画像のレベル調整を行う。学習装置５０の乗算部６１乃至６４は、ステップＳＴ７３で設定されたゲインで各偏光成分画像のレベル調整を行う。例えば乗算部６１は第１偏光方向の偏光成分画像のレベル調整を行う。また、乗算部６１～６４は第２～第４偏光方向の偏光成分画像のレベル調整を行いステップＳＴ７５に進む。
　ステップＳＴ７５で学習装置は比較用画像を生成する。学習装置５０の演算部６５は、ステップＳＴ７４でレベル調整が行われた各偏光成分画像を平均して比較用画像を生成してステップＳＴ７６に進む。
　ステップＳＴ７６で学習装置は比較用画像と目的画像との誤差が最小であるか判別する。学習装置５０の誤差算出部６６は、ステップＳＴ７１で取得した目的画像とステップＳＴ７５で生成された比較用画像との誤差を算出する。学習装置５０は、誤差が最小でない場合にステップＳＴ７７に進み、誤差が最小である場合にステップＳＴ７８に進む。
　ステップＳＴ７７で学習装置は学習モデルのパラメータを調整する。学習装置５０の学習済みモデル生成部５２-3は、学習モデルのパラメータを変更してステップＳＴ７３に戻る。
　ステップＳＴ７６からステップＳＴ７８に進むと、学習装置は学習済みモデルを決定する。学習装置５０の学習済みモデル生成部５２-3は、誤差が最小となるときの学習モデルを学習済みモデルとして処理を終了する。
　このように、第３の実施の形態によれば、０°偏光成分と４５°偏光成分と９０°偏光成分および１３５°偏光成分を調整して各偏光成分を加算して高質感の出力画像を生成できる。したがって、偏光の位相情報を用いていない第１および第２の実施の形態よりもコストは上昇するが精度を向上させることが可能となる。
　＜２－４．目的画像生成部の第４の実施の形態＞
　ところで、第３の実施の形態では、４つの偏光方向の偏光成分画像を用いて偏光成分画像毎にゲインを設定して、設定されたゲインでレベル調整が行われた各偏光成分画像から出力画像を生成したが、偏光成分画像は４つの偏光方向毎の画像に限らず３偏光あるいは２偏光または１偏光の偏光成分画像を用いて学習済みモデルの生成や出力画像の生成を行うようにしてもよい。なお、偏光成分画像が少なくなると情報量が少なくなるが、学習済みモデルの生成や目的画像の生成に要するコストを低くできる。また、イメージセンサにおける所定サイズ例えば４×４画素のブロック内に設ける偏光画素を少なくするに伴い無偏光画素が多くなることから感度を高めることができる。
　＜３．他の実施の形態＞
　第１乃至第４の実施の形態では、人物の顔を撮像した偏光画像から、高質感の顔画像を生成する場合について説明したが、被写体は人物に限らず他の被写体でもよく、この場合には被写体に応じた学習済みモデルを生成すればよい。例えば高質感の風景画像を生成する場合、風景を示す学習用画像群と目的画像群を用いて学習済みモデルを生成すればよく、高質感の食品画像を生成する場合、食品を示す学習用画像群と目的画像群を用いて学習済みモデルを生成すればよい。また、目的画像は高質感の画像に限られず、所望の特性の画像を用いて学習済みモデルを生成すれば、偏光画像から所望の特性の画像を生成できるようになる。
　また、照明光として偏光照明光（光源からの無偏光を、偏光子を介して出力した光）を用いれば、鏡面反射の反射光は偏光したままの光であり、拡散反射の反射光は無偏光となるので鏡面反射画像と拡散反射画像の生成が容易となる。また、照明光は太陽光等であってもよい。この場合、葉の表面の反射を鏡面反射成分として分離できる。
　また、偏光撮像部２０と画像処理部３０は、一体化して設けられてもよく独立して設けられてもよい。また、画像処理部３０は、偏光撮像部２０で取得された偏光画像を用いてオンラインで上述の処理を行い目的画像を生成する場合に限らず、記録媒体等に記録されている偏光画像を用いてオフラインで上述の処理を行い目的画像を生成してもよい。
　＜４．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の何れかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光状態情報に生じたレンズによる偏光状態の変化を補正できるので、補正後の偏光状態情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
　また、本開示に係る技術は、パブリックサービス等の分野にも適用できる。例えば被写体の画像を書籍や雑誌等に掲載する際に、不要な反射成分等を被写体の画像から精度よく除去することが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　偏光画像から得られる成分画像に基づき学習済みモデルを用いて設定されたゲインで前記成分画像のレベル調整を行い、レベル調整後の前記成分画像から目的画像を生成する目的画像生成部
を備える画像処理装置。
　（２）　前記学習済みモデルは、学習用画像から得られる成分画像に基づき学習モデルを用いて設定されたゲインで前記成分画像のレベル調整を行い、レベル調整後の前記成分画像を用いて生成した評価画像と、前記学習用画像に対する目的画像との差が少なくなる前記学習モデルである（１）に記載の画像処理装置。
　（３）　前記学習モデルは深層学習モデルである（２）に記載の画像処理装置。
　（４）　前記成分画像は鏡面反射画像と拡散反射画像であり、
　前記目的画像生成部は、学習済みモデルを用いて前記鏡面反射画像または前記鏡面反射画像と前記拡散反射画像に対するゲインを設定する（１）乃至（３）の何れかに記載の画像処理装置。
　（５）　前記目的画像生成部は、前記拡散反射画像とレベル調整後の前記鏡面反射画像に基づいて前記目的画像を生成する（４）に記載の画像処理装置。
　（６）　前記目的画像生成部は、レベル調整後の前記鏡面反射画像とレベル調整後の前記拡散反射画像に基づいて前記目的画像を生成する（４）に記載の画像処理装置。
　（７）　前記成分画像は偏光方向毎の偏光成分画像であり、
　前記目的画像生成部は、学習済みモデルを用いて前記偏光方向毎の偏光成分画像に対するゲインを設定して、レベル調整後の前記偏光成分画像に基づいて前記目的画像を生成する（１）乃至（３）の何れかに記載の画像処理装置。
　（８）　前記目的画像生成部は前記成分画像に基づき学習済みモデルを用いて画素毎に設定されたゲインで前記成分画像のレベル調整を行う（１）乃至（７）の何れかに記載の画像処理装置。
　（９）　前記偏光画像を取得する偏光撮像部をさらに備える（１）乃至（８）の何れかに記載の画像処理装置。
　（１０）　前記偏光画像は偏光照明光を用いて撮像を行うことにより取得された画像である（１）乃至（９）の何れかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法とプログラムでは、偏光画像から得られる成分画像に基づき学習済みモデルを用いて設定されたゲインで成分画像のレベル調整を行い、レベル調整後の成分画像から目的画像が生成される。また、学習装置では学習済みモデルの生成が行われる、このため、偏光画像から目的画像を容易に得ることができるようになる。したがって、例えば高質感画像が必要とされるパブリックサービス等の分野や偏光情報と高質感画像を用いる移動体や各種機器，医療分野等に適している。
　１０・・・撮像システム
　２０・・・偏光撮像部
　３０・・・画像処理部
　３１・・・補間処理部
　３２・・・成分画像生成部
　３３，３３-1，３３-2，３３-3・・・目的画像生成部
　５０・・・学習装置
　５１-1，５１-2，５１-3・・・成分画像生成部
　５２-1，５２-2，５２-3・・・学習済みモデル生成部
　５３，５４，６１～６４，３３２，３３３，３３５～３３８・・・乗算部
　５５，３３４・・・加算部
　５６，６６・・・誤差算出部
　６５，３３９・・・演算部
　２０１・・・イメージセンサ
　２０２・・・偏光フィルタ
　２０３・・・レンズ
　２０４，２１１，２１２～1～２１２～4・・・偏光板
　２１０，２１０-1～２１０-4・・・撮像部
　３１１・・・低周波成分算出部
　３１２・・・成分情報取得部
　３１３・・・信号算出部
　３３１-1，３３１-2，３３１-3・・・ゲイン設定部

Claims (14)

  1. 　偏光画像から得られる成分画像に基づき学習済みモデルを用いて設定されたゲインで前記成分画像のレベル調整を行い、レベル調整後の前記成分画像から目的画像を生成する目的画像生成部
    を備える画像処理装置。
  2. 　前記学習済みモデルは、学習用画像から得られる成分画像に基づき学習モデルを用いて設定されたゲインで前記成分画像のレベル調整を行い、レベル調整後の前記成分画像を用いて生成した評価画像と、前記学習用画像に対する目的画像との差が少なくなる前記学習モデルである
    請求項１に記載の画像処理装置。
  3. 　前記学習モデルは深層学習モデルである
    請求項２に記載の画像処理装置。
  4. 　前記成分画像は鏡面反射画像と拡散反射画像であり、
    　前記目的画像生成部は、学習済みモデルを用いて前記鏡面反射画像または前記鏡面反射画像と前記拡散反射画像に対するゲインを設定する
    請求項１に記載の画像処理装置。
  5. 　前記目的画像生成部は、前記拡散反射画像とレベル調整後の前記鏡面反射画像に基づいて前記目的画像を生成する
    請求項４に記載の画像処理装置。
  6. 　前記目的画像生成部は、レベル調整後の前記鏡面反射画像とレベル調整後の前記拡散反射画像に基づいて前記目的画像を生成する
    請求項４に記載の画像処理装置。
  7. 　前記成分画像は偏光方向毎の偏光成分画像であり、
    　前記目的画像生成部は、学習済みモデルを用いて前記偏光方向毎の偏光成分画像に対するゲインを設定して、レベル調整後の前記偏光成分画像に基づいて前記目的画像を生成する
    請求項１に記載の画像処理装置。
  8. 　前記目的画像生成部は前記成分画像に基づき学習済みモデルを用いて画素毎に設定されたゲインで前記成分画像のレベル調整を行う
    請求項１に記載の画像処理装置。
  9. 　前記偏光画像を取得する偏光撮像部をさらに備える
    請求項１に記載の画像処理装置。
  10. 　前記偏光画像は偏光照明光を用いて撮像を行うことにより取得された画像である
    請求項１に記載の画像処理装置。
  11. 　偏光画像から得られる成分画像に基づき学習済みモデルを用いて設定されたゲインで前記成分画像のレベル調整を行い、レベル調整後の前記成分画像から目的画像を目的画像生成部で生成すること
    を含む画像処理方法。
  12. 　偏光画像を用いて画像処理をコンピュータで実行させるプログラムであって、
    　偏光画像から得られる成分画像に基づき学習済みモデルを用いてゲイン設定を行う手順と、
    　前記設定されたゲインで前記成分画像のレベル調整を行う手順と、
    　レベル調整後の前記成分画像から目的画像を生成する手順と
    を前記コンピュータで実行させるプログラム。
  13. 　学習用画像から得られる成分画像に基づき学習モデルを用いて設定されたゲインで前記成分画像のレベル調整を行い、レベル調整後の前記成分画像を用いて生成した評価画像と目的画像との差が少なくなる前記学習モデルを学習済みモデルとする学習済みモデル生成部
    を備える学習装置。
  14. 　前記学習モデルは深層学習モデルである
    請求項１３に記載の学習装置。
PCT/JP2019/003390 2018-04-18 2019-01-31 画像処理装置と画像処理方法とプログラムおよび学習装置 Ceased WO2019202812A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/046,456 US20210152749A1 (en) 2018-04-18 2019-01-31 Image processing apparatus, image processing method, program, and learning apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-079925 2018-04-18
JP2018079925 2018-04-18

Publications (1)

Publication Number Publication Date
WO2019202812A1 true WO2019202812A1 (ja) 2019-10-24

Family

ID=68239465

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003390 Ceased WO2019202812A1 (ja) 2018-04-18 2019-01-31 画像処理装置と画像処理方法とプログラムおよび学習装置

Country Status (2)

Country Link
US (1) US20210152749A1 (ja)
WO (1) WO2019202812A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537110A (zh) * 2021-07-26 2021-10-22 北京计算机技术及应用研究所 一种融合帧内帧间差异的虚假视频检测方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7446804B2 (ja) * 2019-12-18 2024-03-11 キヤノン株式会社 撮像装置およびその制御方法、プログラム
WO2022010310A1 (en) * 2020-07-09 2022-01-13 Samsung Electronics Co., Ltd. Electronic device for acquiring image by using light-emitting module having polarizing filter and method for controlling same
DE112020007618T5 (de) * 2020-09-15 2023-07-06 Hewlett-Packard Development Company, L.P. Blendungsreduzierung in bildern
US20240129642A1 (en) * 2021-03-19 2024-04-18 Sony Group Corporation Information processing apparatus, information processing method, and program
KR20240093709A (ko) * 2021-10-22 2024-06-24 구글 엘엘씨 기계 학습 모델에 기초한 이미지 광 재분배

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05167925A (ja) * 1991-12-18 1993-07-02 Scala Kk 画像の処理方法
JP2008229161A (ja) * 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2015029168A (ja) * 2013-07-30 2015-02-12 パナソニック株式会社 電子ミラー装置
JP2015172926A (ja) * 2014-02-18 2015-10-01 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP2018045608A (ja) * 2016-09-16 2018-03-22 キヤノン株式会社 情報処理装置、物体認識装置、情報処理装置の制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05167925A (ja) * 1991-12-18 1993-07-02 Scala Kk 画像の処理方法
JP2008229161A (ja) * 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2015029168A (ja) * 2013-07-30 2015-02-12 パナソニック株式会社 電子ミラー装置
JP2015172926A (ja) * 2014-02-18 2015-10-01 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP2018045608A (ja) * 2016-09-16 2018-03-22 キヤノン株式会社 情報処理装置、物体認識装置、情報処理装置の制御方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537110A (zh) * 2021-07-26 2021-10-22 北京计算机技术及应用研究所 一种融合帧内帧间差异的虚假视频检测方法
CN113537110B (zh) * 2021-07-26 2024-04-26 北京计算机技术及应用研究所 一种融合帧内帧间差异的虚假视频检测方法

Also Published As

Publication number Publication date
US20210152749A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
WO2019202812A1 (ja) 画像処理装置と画像処理方法とプログラムおよび学習装置
US9215389B2 (en) Image pickup device, digital photographing apparatus using the image pickup device, auto-focusing method, and computer-readable medium for performing the auto-focusing method
EP3335420B1 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
US8890942B2 (en) Camera module, image processing apparatus, and image processing method
JP5831024B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20130162779A1 (en) Imaging device, image display method, and storage medium for displaying reconstruction image
US20130002936A1 (en) Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
JP7006690B2 (ja) 撮像装置と撮像素子および画像処理方法
CN104113686B (zh) 摄像装置及其控制方法
CN108462830B (zh) 摄像装置及摄像装置的控制方法
WO2006064751A1 (ja) 複眼撮像装置
WO2013027504A1 (ja) 撮像装置
JP7234057B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
JPWO2016199209A1 (ja) ぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法
WO2013005489A1 (ja) 撮像装置、画像処理装置
JP5843599B2 (ja) 画像処理装置および撮像装置並びにその方法
JP2015142342A (ja) 撮像装置、画像生成方法及び画像生成プログラム
JP2010135984A (ja) 複眼撮像装置及び撮像方法
JP2014036262A (ja) 撮像装置
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
WO2019207886A1 (ja) 情報処理装置と情報処理方法およびプログラム
US9143762B2 (en) Camera module and image recording method
JP6585890B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP2018007205A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム
KR20110060499A (ko) 디지털 영상 처리 장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19787944

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19787944

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP