[go: up one dir, main page]

WO2004045219A1 - 光源推定装置、光源推定方法、撮像装置および画像処理方法 - Google Patents

光源推定装置、光源推定方法、撮像装置および画像処理方法 Download PDF

Info

Publication number
WO2004045219A1
WO2004045219A1 PCT/JP2003/014377 JP0314377W WO2004045219A1 WO 2004045219 A1 WO2004045219 A1 WO 2004045219A1 JP 0314377 W JP0314377 W JP 0314377W WO 2004045219 A1 WO2004045219 A1 WO 2004045219A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
imaging
spectral
estimation method
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2003/014377
Other languages
English (en)
French (fr)
Inventor
Koichiro Ishigami
Naoya Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US10/534,432 priority Critical patent/US7436997B2/en
Priority to EP03772709A priority patent/EP1583371A4/en
Publication of WO2004045219A1 publication Critical patent/WO2004045219A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Definitions

  • Light source estimation device Light source estimation method, light source estimation method, imaging device, and image processing method
  • the present invention provides, for example, a spectrum indicating the color of an unknown imaging light source that has illuminated a subject, based on, for example, imaging means having a plurality of different spectral sensitivity characteristics and sensor response values obtained when capturing an unspecified arbitrary subject.
  • the present invention relates to a light source estimating device for estimating characteristics, a light source estimating method, an imaging device, and an image processing method. Background art
  • the light that enters the human eye reflects part of the radiant energy of the illumination from the target object and propagates through the air.
  • the visual system cannot directly observe the characteristics of the object and the illumination. However, even under illumination with any unknown color characteristics, the object can be identified to some extent stably. This property is called color constancy. For example, the surface of a white object can be recognized as white.
  • scenes are formed as images by the response of a photo sensor such as a CCD (Charge Coupled Device), but in general R, G, B, etc. Since the balance of the sensor response is constant among the color channels, a correction mechanism that adjusts the balance between the channels is necessary to form an image that looks natural according to the scene illumination. If the balance is not adjusted sufficiently, the image observer will be able to reproduce the image by coloring the part which is originally recognized as an achromatic object, or reproduce the memory color of the object with a different color It is very important for the color reproduction of images because it gives an unnatural impression, such as bleeding.
  • a photo sensor such as a CCD (Charge Coupled Device)
  • the gain of each channel was corrected for achromatic color called white balance, and the color rendering of the light source was corrected by linear matrix conversion of the signal between channels.
  • Patent Document 1 it is possible to perform matching to sensitivity responses of different sensors such as an imaging device and a visual system. In any case, however, the correction mechanism must obtain appropriate correction parameters for the scene by some means. For example, an appropriate gain value for adjusting the white noise of a sensor that obtains a linear R, G, and B channel response to the amount of light is determined by the imaging system if the spectral distribution of the light source in the shooting scene is known. Together with the spectral sensitivity characteristics, it can be calculated as in the following equations (1) and (2).
  • Non-Patent Document 1 and Non-Patent Document 2 simply averaging the sensor response between pixels, averaging pixels within a specific brightness level range, and determining the position in space. It is applied in various forms, such as changing the sampling range and weight. Also, assuming that the area with the highest brightness level corresponds to a white surface close to the perfect diffuse reflection surface, the color component of the light source can be extracted from the result of sampling pixels having high response values (Patent Document 2).
  • Non-Patent Document 3 There is also a method (Non-Patent Document 3) for estimating a light source from a distribution of response values, assuming that an area having a high brightness level is a specular reflection component. Since these are based on assumptions about the surface of the object, which should be physically independent of the light source, the estimation result of the light source may be greatly affected by the state of the subject far from the assumption depending on the scene. Are known.
  • Non-Patent Document 5 In general imaging systems with a small number of response channels, these alone do not provide sufficient estimation performance. Furthermore, although the amount of computation increases, a proposal that integrates multiple known assumptions and probability distributions, such as the light source, object surface, and imaging system, to statistically improve the estimation accuracy (Non-Patent Document 6). ).
  • Non-Patent Document 7 an error obtained by restoring the sensor response itself under certain constraints (Non-Patent Document 7) or the distribution state in the color gamut in the sensor space is widely used.
  • Non-Patent Document 8 Non-Patent Document 9, Non-Patent Document 10, and Patent Document 3
  • Patent Document 3 proposes to efficiently quantify the correlation by comparing with a color gamut or a weighted distribution that has been set as a reference in advance. ing.
  • Patent Document 3 Patent Document 3
  • Non-patent document 4 (Non-patent document 4)
  • Non-Patent Document 5 (Non-Patent Document 5)
  • Non-Patent Document 6 (Non-Patent Document 6)
  • Non-Patent Document 7 (Non-Patent Document 7)
  • Non-Patent Document 8 (Non-Patent Document 8)
  • Non-Patent Document 9 (Non-Patent Document 9)
  • FIG. As shown in the conceptual diagram of the conventional method for evaluating the validity of a test light source in the sensor response space, the estimation accuracy increases as the number l to n of test light sources 101 set as candidates increases.
  • the image distribution 106 of the captured image of the subject 103 by the imaging means 104 to the sensor response 105 and the storage medium corresponding to those test light sources 101 The comparison evaluation by the comparison unit 109 with the reference distribution (1, 2,... ⁇ ) 1 108 stored in 107 is performed by using the image distribution 1 106 of the sensor space depending on the imaging light source 102.
  • the judging unit 1 1 1 outputs the score based on the score 1 1 0.
  • the reference distribution (1, 2, , ⁇ ) 1 08 In order to determine the test light source that was also judged to be correct as the estimated light source ⁇ , the reference distribution (1, 2, , ⁇ ) 1 08 must be stored in the storage medium 107 for the number 1 to ⁇ of the set test light sources 101 and stored in the storage medium 107 such as ROM. There was a tendency for memory consumption to increase, and there was a disadvantage between accuracy and cost.
  • the criterion is to compare a plurality of image distributions generated by projections corresponding to a plurality of assumed light sources with a fixed reference distribution.
  • the present invention has been made in view of such a point, and in order to improve the color reproduction quality such as automatic white balance adjustment in a color image pickup device, the color characteristics of an unknown light source of a shooting scene from a sensor response are improved. It is an object to provide a light source estimating device, a light source estimating method, an imaging device, and an image processing method for estimating an image.
  • the light source estimating apparatus of the present invention performs a colorimetric approximation of a sensor response value from a plurality of known spectral sensitivity characteristics of an imaging unit and spectral characteristics of a plurality of test light sources assumed in advance.
  • the sampled sensor response is projected to an evaluation space independent of the light source by an operation that can be colorimetrically approximated from the known spectral sensitivity characteristics of the imaging system and the spectral characteristics of the test light source, using the known spectral response characteristics. Then, the validity of each test light source is evaluated based on the state of the sample values widely distributed there.
  • the light source estimation method of the present invention is based on a calculation that can be colorimetrically approximated from the sensor response value based on a known spectral sensitivity characteristic of the imaging unit and the assumed spectral characteristic of the test light source. It estimates the correct shooting light source by projecting it into an evaluation space independent of the shooting light source and evaluating the correctness of multiple test light sources based on the distribution of sample values of the projected scene. is there.
  • the imaging apparatus of the present invention can colorimetrically approximate the sensor response value from a plurality of known different spectral sensitivity characteristics of the imaging means and spectral characteristics of a plurality of test light sources assumed in advance.
  • An evaluation means for estimating a correct photographing light source by evaluating, a photographing light source determined by the estimation, and a light source determined by an estimation method different from the estimation are combined by a mathematical formula.
  • the range of estimation of the imaging light source can be expanded, and only parameters such as matrices for projecting from the sensor space to the evaluation space are retained for each test light source, and only one evaluation space is used.
  • evaluation criteria high estimation accuracy can be obtained with a small amount of memory consumption, which can be used for color balance processing.
  • the image processing method of the present invention is based on a calculation that can be colorimetrically approximated from the sensor response value based on a known spectral sensitivity characteristic of the imaging unit and an assumed spectral characteristic of the test light source. Estimate the correct shooting light source by projecting it into the evaluation space independent of the shooting light source and evaluating the correctness of multiple test light sources based on the distribution of sample values of the projected scene.
  • the illuminating light source determined by the above and the light source determined by an estimating method different from the estimation are combined by a mathematical expression, or selected by a conditional branch, or by a combination of both.
  • the final photographing light source is estimated and determined as the estimated light source, and the estimated spectral color, which is the color of the photographing light source, or a parameter suitable for it is used for color balance processing with respect to the sensor response of the imaging means. Profit Is obtained by the cormorants'll be.
  • the range of estimation of the imaging light source can be widened, and only parameters such as a matrix for projecting from the sensor space to the evaluation space are retained for each test light source, and only one evaluation space is used.
  • FIG. 1 is a conceptual diagram of a method for evaluating the validity of a test light source in an evaluation space that does not depend on a light source and is applied to the present embodiment.
  • FIG. 2 is an image processing block diagram of the digital still camera.
  • FIG. 3 is a flowchart showing the generation process of the reference distribution.
  • FIG. 4 is a flowchart showing the light source estimation processing.
  • FIG. 5 is a diagram showing a spectral reflectance basis function.
  • FIG. 6 is a diagram showing an example in which a color patch is projected onto a reflectance vector space. .
  • FIG. 7 is a diagram showing a test light source.
  • FIG. 7A shows an equal interval
  • FIG. 7B shows a detailed division of a specific section
  • FIG. 7C shows a multiple light source type.
  • FIG. 8 is a diagram showing the distribution of reflectance samples.
  • FIG. 9 is a diagram showing a reference distribution table.
  • FIG. 10 is a conceptual diagram of a conventional method for evaluating the validity of a test light source in a sensor response space.
  • FIG. 1 shows a conceptual diagram of a method for evaluating the validity of a test light source in a light source independent evaluation space applied to the embodiment of the present invention.
  • a subject 3 is photographed by a photographing light source 2 by an imaging means 4.
  • the known spectral sensitivity characteristics of the imaging unit 4 and the test light source (l to l) are known.
  • n) Perform a colorimetric approximation in advance from the spectral characteristics of 1 and use the matrix (1 to! 1) 8 corresponding to each test light source stored in the storage medium 7 to calculate the projection conversion unit 6.
  • the validity of each test light source (1 to n) 1 is evaluated by the evaluation unit 10 based on the reference distribution 11 based on the state of the sample values widely distributed in 9, and the score value 12 is output.
  • the determination unit 13 determines the test light source determined to be the most correct based on the score value 12 as the estimated light source O.
  • the evaluation unit 10 can output (1, 2,... N) 12 and the storage medium 7 consumes a small amount of memory.
  • FIG. 2 shows a block diagram of an image processing system in a digital still camera applied to the embodiment of the present invention.
  • the three-channel sensor response of Red, B1ue, and Green due to different spectral sensitivity characteristics can be obtained for each pixel as a 10-bit digital value proportional to the amount of light, and the image processing unit inside the device Assuming a digital still camera that performs white balance adjustment processing with an appropriate gain value for each channel, the offset component is calculated by the black correction unit 22 from the value read by the sensor response reading unit 21.
  • the sub-sampling section 23 performs sub-sampling at an appropriate position interval from all pixels. At this time, pixels in a range where the sensor response can be determined to be saturated near the minimum value or the maximum value are excluded.
  • the light source estimation processing section 24 performs the light source estimation processing described later on these sample pixels.
  • the gain is calculated in advance by the calculations shown in Equations 1 and 2.
  • a gain value corresponding to the estimated light source is selected from the gain values for white balance adjustment for each test light source stored in the determination unit 25 and applied to the white balance processing of the white balance gain adjustment unit 26.
  • Y, Cb, Cr luminance color difference signal
  • Y, Cb, Cr luminance color difference signal
  • Each file is converted into 8 bits, encoded including the image compression processing by the encoding unit 29, and recorded as an electronic file on the memory card by the file writing unit 30.
  • Equation 4 This embodiment will be described by a matrix calculation of Equation 4 assuming that the spectral reflectance of the object surface can be approximated by a linear combination of three basis functions.
  • B matrix showing the basis function of spectral reflectance (number of wavelength samples n X basis number 3) b1, b2, b3: column vector showing each basis function of spectral reflectance (number of wavelength samples n) w: weighting coefficient Column vector (basis number 3)
  • Each weighting coefficient for indicating the spectral reflectance as a linear sum of each basis function re Column vector indicating the approximate value of the spectral reflectance (number of wavelength samples n) The weighting coefficient of the basis function is spectral If the reflectance is known, an approximate value can be calculated as in the following equation (5).
  • the vector space based on the weighting coefficient of the basis function (hereinafter referred to as the reflectance vector space) can be said to be a space unique to the object.
  • the spectral reflectance basis function shown in Fig. 5 shows an example of the basis function in the wavelength range of 400 nm to 700 nm, where 1 represents the brightness component and the first component is the wavelength component.
  • the second and third components are excluded from the spectral reflectance data of the specific 24 color patches as the offset, and then the main component analysis is performed. It is a component extracted.
  • the column vector projected from the sensor response by a matrix can be calculated as in Equation 6 below.
  • the matrix M in Eq. 6 projects the sensor response into the reflectivity vector space, but is a matrix that depends on the light source L, and is hereafter called the light source matrix. If w is projected from the sensor response and the same light source as the scene that obtained the sensor response is used as the light source L, a similar value is restored even if the spectral reflectance of the subject is unknown. However, if a light source different from the shooting scene is used, the restoration accuracy cannot be obtained. Therefore, assuming an arbitrary light source L i, a light source matrix M i shown in Equation 7 is used.
  • the column vector w that the subject can take is widely distributed in the reflectance vector space, and the column vector wi obtained from the sensor response of a single pixel evaluates the relationship with the unknown subject. And difficult. Therefore, it is assumed here that the shooting scene is uniformly illuminated by a single light source, and the sensor response of the sampled pixels from the entire image is projected into the reflectivity vector space, and their distribution state (Hereinafter referred to as image distribution) to determine one estimated light source.
  • a plurality of light sources to be evaluated (hereinafter, referred to as test light sources) are provided, and all light source matrices are calculated in advance according to the above-described equation 7 and held.
  • the image distribution projected by applying each light source matrix is evaluated for all test light sources, and the light source with the highest evaluation index indicating correctness is selected as the estimated light source from all test light sources.
  • I do we assume natural light with a color temperature in the range of about 280 to 800 [K] as the test light source, and use a CIE as shown in Fig. 7A to reduce the variation in estimation error. 1 9 7 6 We set seven from the CIE daylight trajectory so as to be as evenly spaced as possible on the u'-v 'plane of the UCS chromaticity diagram.
  • the test light source is intentionally specified in the color temperature direction on the u′—V ′ plane as shown in FIG. 7B. It is also possible to increase the probability of obtaining correct estimation results in various scenes by dividing the section in detail, or by using a different physical light emission method such as a fluorescent light as shown in FIG. 7C.
  • reference distribution is stored as data in the form of a two-dimensional numerical table in which a weighting factor is assigned to each cell divided at equal intervals on the plane of i32- ⁇ 3. This reference distribution is created by the following procedure, for example.
  • FIG. 3 shows a specific flowchart of the reference distribution generation process.
  • step S1 data on the spectroscopic reflectance of many surfaces of an object that can be assumed as a subject is collected, and as many representative samples as possible are extracted.
  • step S2 the sample data of the spectral reflectance is projected onto the reflectance vector space by using Equation (5). (Fig. 8 )
  • step S3 the lower end of each axis 1ow2, 1ow3, the upper end high2, high3, and the lower end of each axis so that the rectangular area encompasses the sample distribution in the J3 2 - ⁇ 3 plane of the reflectance vector space.
  • the cell area is set by defining the cell division numbers bin 2 and bin 3.
  • step S4 the frequency distribution is generated by summing the number of sample data located in each cell range.
  • the cell coordinates (x, y) are calculated by the following equation (8).
  • floor () indicates a truncated value of the frequency of each cell at an appropriate bit depth in step S5, which indicates a decimal point truncation operation.
  • step S6 in order to form the contour of the distribution range of the reference distribution, a polygon that protrudes and covers the cells in which values exist is calculated, and the value 1 is assigned to the cells located inside and having no values. Gives the cell within the contour To fill in the holes.
  • Figure 9 shows an example of a reference distribution generated with a bit depth of 2 by numerical values in the cell.
  • Figure 4 shows a specific flowchart of the light source estimation process.
  • step S11 a projection matrix for each test light source is selected.
  • the projection conversion unit 6 shown in FIG. 1 selects the light source matrix M i of the test light source i from the storage medium 7.
  • step S12 the sample pixels are read.
  • the projection conversion unit 6 shown in FIG. 1 reads sample pixels from the imaging unit 4.
  • the sensor response 5 of the sample pixel is an imaging result of various scenes.
  • step S13 matrix transformation is performed. Specifically, the projection conversion unit 6 shown in FIG. 1 projects the sensor response 5 of the sample pixel onto the reflectance vector space by using the light source matrix M i of the test light source i.
  • step S14 an image distribution is generated.
  • the projection conversion unit 6 shown in FIG. 1 creates an image distribution 9 at the same cell position as the reference distribution 11.
  • Image distribution 9 is a value T hixy obtained by encoding the frequency of each cell at an appropriate bit depth, as in the case of generating reference distribution 11 1, where the bit depth is 1 and there is at least one pixel
  • An example of an image distribution in which a cell is given a value of 1 and the other cells are set to 0 is shown in gray in the cells of the reference distribution table shown in Fig. 9.
  • step S15 the process is repeated for all sample pixels, and the process returns to step S12 to repeat the processes and determinations in steps S12 to S15.
  • the projection transformation unit 6 shown in FIG. 1 not only records the image distribution 9 for each pixel, but also is located in a cell where a value exists in the reference distribution 11 (shown in a bold frame in FIG. 9). Count the pixels.
  • step S16 a score value for each test light source is calculated.
  • the score value 1 2 is a correlation value or the like between the image distribution 9 and the reference distribution 11.
  • the evaluation unit 10 shown in FIG. 1 calculates the following three types of indices.
  • the image distribution 9 is used as an index indicating the correlation between the reference distribution 11 and the image distribution 9, and the image distribution 9 is used for each cell.
  • the weighted sum of the reference distribution 11 is calculated by equation (9).
  • Ic j ⁇ ⁇ Tr xy Th ixy
  • the number of pixel samples is used as a comparative index based on the reference distribution 11 1, and the color of the reference distribution 11 1 of the total number of sample pixels Calculate the ratio of the number of pixels in the area (displayed in bold frame in Fig. 9) using Equation 10.
  • Ip. (Number of pixels located at cell coordinates x, y where Tr. V > 0) / (Total number of sample pixels)
  • Max2 The maximum value of ⁇ ⁇ 2 projected by the illuminant matrix of the test light source Min Min2
  • the minimum value of ⁇ 2 projected by the illuminant matrix of the test light source i m The light source that minimizes Max2 i- ⁇ 2 i among all the test light sources i
  • the evaluation unit 10 shown in FIG. 1 obtains the score value 12 of the light source i by the mathematical expression 12 by integrating three types of indices.
  • step S17 the process is repeated for all the test light sources, and the process returns to step S11 to repeat the processing from step S11 to step S17.
  • step S18 an estimated light source is selected. Specifically, after obtaining the score values 12 of all test light sources 1, the evaluation unit 10 shown in FIG. 1 determines the light source i having the highest score value 12 by the judgment unit 13 as the estimated light source. To decide.
  • An intermediate light source may be determined as the estimated light source by weighted averaging using other test light sources having a high score value.
  • test light sources that are further subdivided in the color temperature direction only for a specific section close to the test light source on the u'-V 'plane shown in Fig.
  • the score is calculated for these newly provided test light sources and the judgment based on them is performed in stages, and The resolution of the fixed result may be improved.
  • test light sources that can be classified into different categories depending on the physical light emission method, such as a high-efficiency fluorescent lamp or a three-wavelength fluorescent lamp
  • the evaluation within each category and the category The estimated light source may be determined by using different indices for the evaluation during the evaluation and by combining different score values.
  • the latest estimated light source may be determined in combination with an index or estimation result acquired in the past that is close to the interval.
  • the distribution may be evaluated, the one-dimensional distribution of each axis may be evaluated, or the three-dimensional distribution state may be evaluated.
  • the sensor response value which is the result of numerically calculating the result of imaging various real scenes or the image of various virtual scenes, is calculated based on the spectral sensitivity characteristics of the imaging means and the imaging of each scene.
  • the weighted distribution and area information generated from the frequency distribution of the values projected to the evaluation space for each scene by an operation that can be colorimetrically approximated from the spectral distribution characteristics of the imaging light source measured at that time are used as the reference gamut. You may use it.
  • the light source estimating apparatus includes: The parameters for projecting the sensor response values into the evaluation space independent of the imaging light source were stored for each test light source by performing an operation that can be colorimetrically approximated from the spectral characteristics of the test light source.
  • a storage means a projection conversion means for projecting the sensor response value to an evaluation space independent of a photographing light source using the parameters stored in the storage means, and an image distribution state of sample values of an image scene projected by the projection conversion means.
  • An operation that can be colorimetrically approximated from the spectral sensitivity characteristics and the spectral characteristics of the test light source allows projection into an evaluation space that is independent of the light source, and the Assessing the validity of each test light source based on state there is an effect that it is and this.
  • the light source estimation method of the present invention provides a known response to the sensor response value and a known spectral sensitivity characteristic of the imaging means. Based on the calculation that can be colorimetrically approximated from the spectral characteristics of the light source, the light is projected onto the evaluation space independent of the shooting light source, and multiple test light sources are sampled based on the distribution of sample values of the projected scene.
  • the correct shooting light source is estimated by evaluating the correctness of the light source, the evaluation must be performed using a fixed space that does not depend on the light source. It is only necessary to hold the same information for one reference distribution space, and the evaluation process is simplified, so that the problem of increasing cost can be solved. To do so, we need more information (conditions and data) to refer to as a reference to be the correct light source. Since it can be given, it is possible to easily perform the optimization adjustment for improving the estimation accuracy.
  • the present invention is a method of determining the most appropriate light source from a plurality of assumed test light sources.However, in order to perform evaluation in a space depending on the light source as conventionally proposed, an evaluation criterion is set for each light source. It is necessary and the amount of data as an evaluation criterion increases in proportion to the number of test light source patterns. The only option is to increase the memory cost by giving priority to accuracy. In the present invention, a coefficient for space conversion that requires a small amount of memory is provided for each test light source, and the evaluation is performed using a fixed space independent of the light source. (Conditions and data) need only be held for one space, and the estimation accuracy can be increased without increasing the cost, which is superior to the conventional technology.
  • the imaging apparatus of the present invention can colorimetrically approximate the sensor response value from a plurality of known different spectral sensitivity characteristics of the imaging means and spectral characteristics of a plurality of test light sources assumed in advance.
  • Projection conversion means for projecting values into an evaluation space independent of the imaging light source, and correctness of multiple test light sources is evaluated based on the image distribution of sample values of the image scene projected by the projection conversion means.
  • the evaluation means for estimating the correct imaging light source, and the imaging light source determined by the estimation and the light source determined by an estimation method different from the estimation are combined by a mathematical formula.
  • the image processing method of the present invention is based on a calculation that can be colorimetrically approximated from the sensor response value based on a known spectral sensitivity characteristic of the imaging unit and an assumed spectral characteristic of the test light source. Estimate the correct shooting light source by projecting it into the evaluation space independent of the shooting light source and evaluating the correctness of multiple test light sources based on the distribution of sample values of the projected scene.
  • the imaging light source determined by the above and the light source determined by an estimation method different from the estimation are combined by a mathematical expression, or selected by a conditional branch, or by a combination of both.
  • Estimate the final shooting light source determine it as the estimated light source, and use the estimated spectral color, which is the color of the shooting light source, or parameters suitable for it, in color balance processing for the sensor response of the imaging unit. Therefore, in the image processing method, the range of estimation of the imaging light source can be expanded, and only parameters such as a matrix for projecting from the sensor space to the evaluation space are provided for each test light source. By giving the evaluation criterion in the only evaluation space and obtaining high estimation accuracy by processing that reduces memory consumption, there is an effect that it can be used for color balance processing. .
  • the present invention can provide one framework for estimating the light source of a shooting scene with high accuracy from the response of the imaging system. If the imaging system can estimate the light source of an unknown scene, It is possible to accurately determine parameters such as white balance adjustment and color matching adjustment of the image on the device, so that accurate color reproduction of the shooting scene can be performed and the intended specific color reproduction can be obtained. Accurately captures and records and displays images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明の光源推定方法は、ホワイトバランス調整などの色再現品質を向上するため、センサ応答から撮影シーンの未知の光源の色特性を推定することを課題とし、センサ応答値5に対して、既知である撮像手段4の分光感度特性と仮定したテスト光源1の分光特性とから測色的に近似可能な演算により得られるパラメータを用いた投影変換部6において、撮影光源2に依存しない評価空間の画像分布9へ投影し、評価部10によりその投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源1についての正答性を評価することによって正しい撮影光源2を推定する。

Description

明 細 書
光源推定装置、 光源推定方法、 撮像装置および画像処理方法 技術分野
本発明は、 例えば、 複数の異なる分光感度特性を持つ撮像手段 力、不特定の任意の被写体を撮影した際に得るセンサ応答値から、 被写体を照射していた未知の撮影光源の色を示す分光特性を推定 する光源推定装置、 光源推定方法、 撮像装置および画像処理方法 に関するものである。 背景技術
人間の目に入射する光は照明による放射エネルギの一部を視対 象である物体が反射して空気中を伝播したものであり、 視覚系は 物体や照明の特性を直接観測できるわけではないが、 どのよ う な 未知の色的特性を持つ照明下であってもある程度安定して物体を 同定する。 この特性は色恒常性と呼ばれており、 例えば白い物体 表面は白と して認識するこ とを可能にする。
一方デジタルスチルカメ ラゃデジタルビデオカメ ラなどの電子 撮像機器では、 C C D ( C h a r g e C o u p l e d D e v i c e ) などのフォ トセンサの応答によってシーンを画像と して 形成するが、 一般に R , G， B等のカラーチャンネル間でセンサ 応答のバランスが一定であるため、 シーンの照明に応じて自然に 見える状態で画像を形成するためにはチャンネル間のパランスを 調整する補正機構が必要となる。 バランスの調整が十分に行われ ないと、 画像観察者にとって、 本来無彩色であるよ うな物体と し て認識される箇所に着色して画像が再現されたり、 物体の記憶色 が異なる色で再現されるなどの不自然な印象を与えるため、 画像 の色再現にとつて非常に重要である。 チャンネル間のバランス調整は、 各チャンネルのゲイ ン調整で ホワイ トバランス と呼ばれる無彩色の補正をしたり、 チャンネル 間で信号の線形マ ト リ クス変換によつて光源の演色性を捕正.した り （特許文献 1 )、 撮像機器や視覚系などの異なるセンサの感度応 答へマッチングを行う などが可能である。ただしいずれにしても、 そのためには補正機構がシーンに応じた適切な補正パラメータを 何らかの手段で得なければならない。 例えば光量に対してリ ニア な R， G , B 3 チャンネルの応答を得るセンサのホワイ トノ ラン ス調整のために適当なゲイン値は、 撮影シーンの光源の分光分布 が既知であれば撮像系の分光感度特性と と もに次の数 1 式、 数 2 式のよ う に計算できる。
〔数 1〕
Rw
： SI
B w
S：センサ感度を示す行列（チャンネル数 3 波長サンプル数 n) I：光源の分光分布を示す列ベクトル（波長サンプル数 n) 〔数 2〕
Figure imgf000004_0001
しかし撮像機器にとって、 キャ リ ブレーショ ン等を行わない通 常の撮影時のシーンに存在する被写体やそれらの照明光源に関す る情報は未知であり、 専用に設けたセンサも しく は撮像用センサ の応答結果からシーンに適した調整パラメータ、 もしく はそれを 決定するための照明光源の色的特性を特定しなければならず光源 推定問題や色恒常性問題と して知られている。
視覚研究の分野においては 1 9 8 0年ごろから各種アルゴリ ズ ムゃ計算モデルが提案されており、 またそれら以外の経験的知識 にも基づいた手法などはカラー撮 機器に従来から実装されてき ており、 その推定性能は年々進歩してきている。 さ らに最近では ロボッ ト等の人工的視覚系への応用も期待されている。
最もよく利用されているアルゴリ ズムの一つは、 物体の表面反 射率はシーンの空間的平均がグレーに近いという仮説に基づいて センサ応答の平均値やその黒体軌跡上への投影から光源の色成分 を抽出するもので （非特許文献 1 、 非特許文献 2 )、 単にセンサ 応答を画素間で平均したり、 特定の明るさ レベル範囲内の画素を 平均したり、 空間内の位置によってサンプリ ングする範囲や重み を変えるなど、 多様な形式で応用されている。 また最も明るさ レ ベルの高いエリ アを完全拡散反射面に近い白い表面に対応する と 仮定して応答値が高い画素をサンプリ ングした結果から光源の色 成分を抽出したり （特許文献 2 )、 明るさ レベルが高いエリ アが鏡 面反射成分である と仮定して応答値の分布から光源を推定する手 法 （非特許文献 3 ) などもある。 これらは物理的には光源と独立 であるはずの物体表面についての仮定に基づいているため、 シー ンによっては仮定から離れた被写体の状態によ り光源の推定結果 が大き く左右されることが知られている。
さ らに物体表面を拡散反射面と した反射モデルを仮定し、 光源 と物体表面それぞれの分光特性を少数次元の線形モデルで近似す ることで、 センサ応答とは異なるベタ トル空間を用いた線形演算 によ り復元を試みるもの （非特許文献 4 ) や、 物体表面の分光反 射率が物理的に 0 〜1 の範囲内に在るなどの制約条件を課して 確率の高い光源を選定するもの （非特許文献 5 ) などがあるが、 応答チャンネル数が少ない一般的な撮像系において、 これらは単 独では十分な推定性能が得られない。 さ らには、 演算量は増える が、 光源、 物体表面、 撮像系など複数の既知の仮定や確率分布を 統合して統計的に推定精度を高めるこ とを可能にする提案 （非特 許文献 6 ) などもある。
特に反射モデルを適用した手法では、 全く未知の一つの光源を 答と して推定するのではなく 、 事前知識を多用して、 あらかじめ 候補と して設定した幾つかの光源の中から最も確からしいものを 分類 · 検出するという決定方式では、 比較的計算が単純で高速に 結果を出力できる という点で有利と考えられる。 これらが確から しいと判断する基準と しては、 センサ応答自体を一定の制約条件 下で復元した誤差 （非特許文献 7 ) を用いたり、 センサ空間での 色域内の分布状態を広く利用して、 あらかじめ基準と した色域や 重み付き分布との比較で相関関係を効率的に数値化する提案 （非 特許文献 8、 非特許文献 9、 非特許文献 1 0、 特許文献 3 ) がな されている。
〔特許文献 1〕
特開 2 0 0 2 — 1 4 2 2 3 1号公報
〔特許文献 2〕
特開平 9 一 5 5 9 4 8号公報
〔特許文献 3〕
特開平 5 — 1 9 1 8 2 6号公報
〔非特許文献 1〕
G.Buchsbaum, "A Spatial Processor Model for Object Color Perception", J.Franklin Inst. 310, 1980
〔非特許文献 2〕
E.H.Land, "Recent Advances in Retinex Theory", Vision Research, 26， 1986 〔非特許文献 3〕
H.C.Lee, "Method tor computing the scene-illummant chromaticity from specular highlights", J.Opt.Soc.Am A， Vol.3, No.10， 1986
〔非特許文献 4〕
L.T.Maloney & B.A.Wandell, "Color Constancy: A method for recovering surface spectral reflectance", J.Opt.Soc.Am. A， 1986
〔非特許文献 5〕
D.A.Forsyth, "A novel Algorithm for Color Constancy",
Int. J. Comput. Vision 5, 1990
〔非特許文献 6〕
D.H.Brainard & W.T. Freeman, "Bayesian color constancy", J.Opt.Soc.Am. A， Vol.14, No.7, 1997
〔非特許文献 7〕
B.Tao, I.Tastl & N.Katoh, "Illumination Detection in Linear Space", Pro 8th Color Imaging Conf., 2000
〔非特許文献 8〕
Hewlett-Packard Company, Hubel, et al. , "White point determination using correlation matrix memory", U.S. Patent 6038339
〔非特許文献 9〕
G.D.Finlayson, P.M. Hubel, & S.Hordley, "Color by correlation", Proc.5th Color Imaging Conf.， 1997
〔非特許文献 1 0〕
S.Tominaga & B.A.Wandell, "Natural scene -illuminant estimation using ihe sensor correlation", Proc. IEEE, Vol.90, No.l, 2002 発明の開示
一般的に光源推定アルゴリ ズムをデジタルカメ ラ内部のホワイ トバランス処理のよ うな画像処理演算で利用するためには、 処理 速度が速いだけでなく メモリ消費量などのコス トが低いこ とが実 装時に求められる。
しか し、 上述した従来のアルゴ リ ズムの う ち比較的高速に分 類 · 検出を可能にする方式 （非特許文献 8、 非特許文献 9、 特許 文献 3 ) であっても、 図 1 0に従来のセンサ応答空間でのテス ト 光源の正当性を評価する方式の概念図を示すよ う に、 候補と して 設定するテス ト光源 1 0 1 の数 l〜 nが多いほど推定精度を高め る可能性がある一方で、 撮像手段 1 0 4による被写体 1 0 3の撮 影画像のセンサ応答 1 0 5 に対する画像分布 1 0 6 と、 それらテ ス ト光源 1 0 1 に対応して記憶媒体 1 0 7に記憶された参照分布 ( 1， 2、 · · · η ) 1 0 8 との比較部 1 0 9 による比較評価を、 撮像光源 1 0 2に依存するセンサ空間の画像分布 1 0 6 において 行って、 評価結果のス コア （ 1， 2、 · · · η ) 1 1 0を出力し、 判定部 1 1 1 がスコア値 1 1 0に基づいて最も正しいと判断した テス ト光源を推定光源 Οと して判定するために、 正しい光源であ る比較基準と しての色域、 重み付き分布、 ターゲッ ト値などの参 照分布 （ 1 ， 2、 · · · η ) 1 0 8 の情報を、 設定したテス ト光源 1 0 1 の数 1〜 ηだけ記憶媒体 1 0 7に保持している必要があり R OM等の記憶媒体 1 0 7のメ モ リ消費量が増える という傾向が あり、 精度と コス トの間に一長一短の問題がある という不都合が あった。
これらが固定した投影によって、 1つの撮像につき 1つの画像 分布を作成し、 それを仮定した複数の光源に対応する複数の参照 分布と比較するこ とを判断基準と しているのに対して、 本願発明 では、 仮定した複数の光源に対応する投影によって生成される複 数の画像分布を、 固定した一つの参照分布と比較するこ とを判断 基準とする。
そこで、 本発明は、 かかる点に鑑みてなされたものであり、 力 ラー撮像機器での自動ホワイ トバランス調整などの色再現品質を 向上するため、 センサ応答から撮影シーンの未知の光源の色特性 を推定する光源推定装置、 光源推定方法、 撮像装置および画像処 理方法を提供することを課題とする。
本発明の光源推定装置は、 センサ応答値に対して、 撮像手段が 有する既知である複数の異なる分光感度特性と予め仮定した複数 のテス ト光源の分光特性とから測色的に近似可能な演算を行う こ とによ りセンサ応答値を撮影光源に依存しない評価空間へ投影す るためのパラメータをテス ト光源毎に記憶した記憶手段と、 記憶 手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に 依存しない評価空間へ投影する投影変換手段と、 投影変換手段に よ り投影された画像シーンのサンプル値の画像分布状態に基づい て複数のテス ト光源についての正答性を評価する評価手段とを備 えたことによって正しい撮影光源を推定するものである。
従って本発明によれば、 以下の作用をする。
サンプリ ングしたセンサ応答に対して、 既知である撮像系の分 光感度特性とテス ト光源の分光特性とから測色的に近似可能な演 算によ り、 光源に依存しない評価空間へ投影し、 そこでの広く分 布したサンプル値の状態に基づいて各テス ト光源についての正当 性を評価する。
これによれば、 センサ空間から評価空間へ投影するための行列 等のパラメータのみを各テス ト光源について保持しておけばよい ため、 唯一の評価空間での評価基準をあたえるこ とで、 少量のメ モリ消費で高い推定精度を得ることができる。 また、 本発明の光源推定方法は、 センサ応答値に対して、 既知 である撮像手段の分光感度特性と、 仮定したテス ト光源の分光特 性とから測色的に近似可能な演算によ り、 撮影光源に依存しない 評価空間へ投影し、 その投影されたシーンのサンプル値の分布状 態に基づいて複数のテス ト光源についての正答性を評価するこ と によって正しい撮影光源を推定するものである。
従って本発明によれば、 以下の作用をする。
光源に依存しない固定した空間を用いて評価を行うために、 正 しい光源である比較基準と しての情報を一つの参照分布の空間に ついてのみ保持していればよく 、評価の処理が簡略化されるため、 コス トが増大する課題を解決するこ とを可能にする。 さ らにその ために、 正しい光源である基準と して参照する情報 （条件ゃデー タ） をよ り多く与えるこ とができるため、 推定精度を向上させる ための最適化調整も容易になる。
また、 本発明の撮像装置は、 センサ応答値に対して、 撮像手段 が有する既知である複数の異なる分光感度特性と予め仮定した複 数のテス ト光源の分光特性とから測色的に近似可能な演算を行う こ と によ り センサ応答値を撮影光源に依存しない評価空間へ投影 するためのパラメータをテス ト光源毎に記憶した記憶手段と、 記 憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源 に依存しない評価空間へ投影する投影変換手段と、 投影変換手段 によ り投影された画像シーンのサンプル値の画像分布状態に基づ いて複数のテス ト光源についての正答性を評価するこ とによって 正しい撮影光源を推定する評価手段と、 推定によ り決定した撮影 光源と、 推定とは異なる推定手法で決定した光源とを、 数式によ り結合、 もしく は条件分岐によ り選択、 も しく はそれら両方の組 み合わせによ り 、 最終的な撮影光源を推定し、 推定光源と して決 定する光源推定手段と、 推定した撮影光源の色である分光特性も しく はそれに適したパラメータを、 撮像手段のセンサ応答に対す るカラーバランス処理に利用するカラーバランス調整手段とを具 備したものである。
従って本発明によれば、 以下の作用をする。
撮像装置において、 撮影光源の推定の幅を広げるこ とがで.き、 センサ空間から評価空間へ投影するための行列等のパラメータの みを各テス ト光源について保持し、 唯一の評価空間での評価基準 をあたえるこ とで、 少量のメ モ リ消費で高い推定精度を得るこ と によ り、 カラーパラ ンス処理に利用するこ とができる。
また、 本発明の画像処理方法は、 センサ応答値に対して、 既知 である撮像手段の分光感度特性と、 仮定したテス ト光源の分光特 性とから測色的に近似可能な演算によ り、 撮影光源に依存しない 評価空間へ投影し、 その投影されたシーンのサンプル値の分布状 態に基づいて複数のテス ト光源についての正答性を評価するこ と によって正しい撮影光源を推定し、 推定によ り決定した撮影光源 と、 推定とは異なる推定手法で決定した光源とを、 数式によ り結 合、 もしく は条件分岐によ り選択、 も しく はそれら両方の組み合 わせによ り、最終的な撮影光源を推定し、推定光源と して決定し、 推定した撮影光源の色である分光特性も しく はそれに適したパラ メータを、 撮像手段のセンサ応答に対するカラーバラ ンス処理に 利用するよ う にしたものである。
従って本発明によれば、 以下の作用をする。
画像処理方法において、 撮影光源の推定の幅を広げるこ とがで き、 センサ空間から評価空間へ投影するための行列等のパラメ一 タのみを各テス ト光源について保持し、 唯一の評価空間での評価 基準をあたえるこ とで、 早い処理で高い推定精度を得るこ とによ り、 カラーパランス処理に利用することができる。 図面の簡単な説明
図 1 は、 本実施の形態に適用される光源に依存しない評価空間 でテス ト光源の正当性を評価する方式の概念図である。
図 2は、デジタルスチルカメ ラ内の画像処理プロ ック図である。 図 3は、 参照分布の生成処理を示すフローチャー トである。 図 4は、 光源推定処理を示すフローチャー トである。
図 5は、 分光反射率基底関数を示す図である。
図 6は、 色票を反射率べク トル空間へ投影した例を示す図であ る。 .
図 7は、 テス ト光源を示す図であり、 図 7 Aは等間隔、 図 7 B は特定区間の詳細分割、 図 7 Cは複数光源タイプである。
図 8は、 反射率サンプルの分布を示す図である。
図 9は、 参照分布テーブルを示す図である。
図 1 0は、 従来のセンサ応答空間でテス ト光源の正当性を評価 する方式の概念図である。 発明を実施するた'めの最良の形態
以下に、 本発明の実施の形態について適宜図面を参照しながら 説明する。
図 1 に本発明の実施の形態に適用される光源に依存しない評価 空間でテス ト光源の正当性を評価する方式の概念図を示す。
図 1 において、 撮像手段 4によ り撮影光源 2での被写体 3 を撮 像する。 このときの撮像手段 4によ りサンプリ ングしたセンサ応 答 5に対して、 光源に依存しない評価空間へ投影するために、 既 知である撮像手段 4 の分光感度特性とテス ト光源 （ l 〜 n ) 1 の 分光特性とから予め測色的に近似した演算を行い記憶媒体 7に記 憶された各テス ト光源に対応する行列 （ 1 〜 ！ 1 ) 8を用いて、 投 影変換部 6 によ り評価空間の画像分布 9 へ投影し、 その画像分布 9 に広く分布したサンプル値の状態に基づいて各テス ト光源 （ 1 〜 n ) 1 についての正当性を参照分布 1 1 に基づいて評価部 1 0 によ り評価しスコア値 1 2を出力し、 判定部 1 3がスコア値 1 2 に基づいて最も正しいと判断したテス ト光源を推定光源 Oと して 判定する。
これによれば、 センサ空間から評価空間の画像分布 9 へ投影す るための行列（ 1 〜 ！ 1 ) 8等のパラメータのみを各テス ト光源（ 1 〜 n ) 1 について記憶媒体 7に保持しておけばよいため、 評価空 間の画像分布 9 での唯一の参照分布 1 .1 による評価基準をあたえ ることで、 判定部 1 3が高い精度で判定を行う に十分な情報量を 持つスコア （ 1 ， 2 、 · · · n ) 1 2 を、 記憶媒体 7は少量のメモ リ消費で評価部 1 0が出力することができる。
図 2に本発明の実施の形態に適用されるデジタルスチルカメ ラ 内の画像処理系のプロ ック図を示す。
各画素で異なる分光感度特性による R e d ， B 1 u e , G r e e nの 3 チャンネルのセンサ応答を光量に比例した 1 0 b i t の デジタル値で得るこ とができ、 その同装置内部の画像処理演算器 において、 各チャンネル毎に適当なゲイン値によってホワイ トパ ランス調整のための処理を施すデジタルスチルカメ ラを想定する, センサ応答読み出し部 2 1で読み出した値から黒補正部 2 2で オフセッ ト成分を差し引いたセンサ応答に基づいてホワイ トバラ ンス調整用の適当なゲイン値を決定するために、 サブサンプリ ン グ部 2 3 によ り全画素の中から適当な位置間隔でサブサンプリ ン グを行う。 その際に、 センサ応答が最小値や最大値付近で飽和し ていると判断できる範囲にある画素は除外する。 これらのサンプ ル画素に対して光源推定処理部 2 4によ り後述の光源推定処理を 行う。
その結果、 あらかじめ数 1式、 数 2式に示す計算によ りゲイン 決定部 2 5 に保持してあるテス ト光源毎のホワイ トバランス調整 用のゲイン値から推定光源に対応するものを選択し、 ホワイ トバ ランス用ゲイン調整部 2 6 のホワイ トパランス処理へ適用する。 その後、 階調変換部 2 7による非線形な階調変換と、 色空間変 換部 2 8 での 3 x 3 のマ ト リ クス変換によ り Y ， C b , C r (輝 度色差信号） 各 8 b i t へ変換し、 符号化部 2 9による画像圧縮 処理を含めた符号化を行ってファイル書き込み部 3 0によ り メモ リカー ドへ電子ファイルと して記録する。
本実施の形態での光源推定では、 センサ応答に関して、 次のよ うな物体表面の線形な反射モデルを数 3式で仮定する。
〔数 3〕
R
G = SLr
B し波長サンプル数 nの光源の分光分布を収めた対角行列（n X n) r:物体表面の分光反射率を示す列ベクトル（波長サンプル数 n)
本実施の形態は物体表面の分光反射率が 3つの基底関数の線形 結合で近似できるものと した数 4式の行列計算によって説明する, 〔数 4〕
Figure imgf000015_0001
B：分光反射率の基底関数を示す行列（波長サンプル数 n X基底数 3) b1、 b2、 b3 :分光反射率の各基底関数を示す列ベクトル (波長サンプル数 n) w :重み係数を収めた列ベクトル（基底数 3)
β β Ζ、 β 3 ：分光反射率を各基底関数の線形和で示すための各重み係数 re：分光反射率の近似値を示す列ベクトル（波長サンプル数 n) 基底関数の重み係数は分光反射率が既知であれば次の数 5式の よ う に近似値を算出できる。
〔数 5〕
β ζ ： Bt(BBt) -1 r
β 3
数 5式の wはセンサや撮影光源には依存しないため、 基底関数 の重み係数によるべク トル空間 （以下、 反射率べク トル空間と呼 ぶ） は物体に固有の空間と言える。 図 5に示す分光反射率基底関 数は基底関数の例を波長が 4 0 0 n m〜 7 0 0 n mの範囲におい て示しており、 1 が明るさ成分を表すために第 1成分を波長間 でフラッ トに設定し、 第 2 · 第 3成分は特定の 2 4枚の色票の分 光反射率データから第 i成分をオフセッ ト と して除外してから主 成分分析を行って上位二成分を抽出したものである。また数 3式、 数 4式よ り基底数とセンサ応答のチャンネル数が同じ場合、 セン サ応答から行列によ り投影した列べク トルは次の数 6式のよ う に 計算できる。
〔数 6〕
Figure imgf000016_0001
数 6式の行列 Mがセンサ応答を反射率べク トル空間へ投影する が、 光源 Lに依存する行列であり、 ここでは以下で光源行列と呼 ぶ。 センサ応答から投影した w〜は、 光源 Lにセンサ応答を得た シーンと同一の光源を用いれば、 被写体の分光反射率が未知であ つても近い値を復元することになる。 しかし撮影シーンと異なる 光源を用いればその復元精度は得られない。 したがって任意の光 源 L i を仮定し、 数 7式に示す光源行列 M i を用いる。
〔数 7〕
M = (SL i B广1
数 7式によ り取得した光源行列 M i を用いて数 6式で投影した 列べク トル w i 〜と被写体の正しい列べク トル wとの関係によつ て反射率べク トル空間において撮影光源との類似度を評価できる, 図 6 は反射率べク トル空間内の j3 2 - β 3平面で、既知の表面の分 光反射率から近似した点の分布と、 撮影した同じ表面のセンサ応 答から撮影時と同じ光源の光源行列で投影した点の分布がそれに 近い状態にあること、 撮影時と異なる光源の光源行列で投影した 点が異なる分布状態にあるこ とを 2 4枚の色票についてのシミ ュ レーショ ン結果で示す。
被写体がと り得る列べク トル wは反射率べク トル空間内に広く 分布し、 単一画素のセンサ応答から得られる列べク トル w i 〜で は未知の被写体との関係を評価するこ とが困難である。 したがつ てここでは撮影シーンが一つの光源で一様に照らされている と仮 定し、 画像全体からサンプリ ングした画素のセンサ応答を反射率 ベタ トル空間内へ投影し、 それらの分布状態 （以下、 画像分布と 呼ぶ） を評価するこ と によって一つの推定光源を決定する。 評価 対象とする光源 （以下、 テス ト光源と呼ぶ） は複数設け、 全ての 光源行列を上述した数式 7に従ってあらかじめ算出して保持して おく。
推定処理時には全てのテス ト光源について各光源行列を適用し て投影した画像分布を評価し、 全てのテス ト光源の中から正しさ を示す評価指標が最も高かったものを推定光源と して選択する。 ここではテス ト光源と して色温度が約 2 8 5 0〜 8 0 0 0 [ K ] の範囲の自然光を想定し、 推定誤差のばらつきを少なくするため に図 7 Aに示すよ う に C I E 1 9 7 6 U C S色度図の u ' - v ' 平面上でできるだけ等間隔になるよ う な CIE 昼光軌跡上から 7 つを設定した。 本実施の形態では、 テス ト光源のいずれかの選択 が推定結果となるため、テス ト光源は、図 7 Bに示すよ う に u ' — V ' 平面上で色温度方向に意図的な特定区間だけ詳細に分割した り 、 図 7 Cに示すよ う に蛍光灯など物理的な発光方式が異なるも のなども加えて多様なシーンで正しい推定結果を得る確率を高め たり してもよい。
画像分布の分布状態が被写体の正しい状態にあるかどうかを相 対的に評価するために、 反射率べク トル空間での比較基準とする 固定した一つの分布状態 （以下、 参照分布と呼ぶ） を参照する。 参照分布は i3 2 - β 3 の平面上で均等な間隔に分割した各セルに ついて重み係数を持たせた 2次元の数値テーブルの形式のデータ と して保持しておく。 この参照分布の生成は例えば次のよ うな手 順で作成する。
具体的な参照分布の生成処理のフローチャー トを図 3に示す。 ステップ S 1で、 被写体と して想定できる多く の物体表面の分 光反射率データを収集し、 できるだけ多様な代表的サンプルを抽 出する。
ステップ S 2で、 分光反射率のサンプルデータを数式 5によ り 反射率ベク トル空間へ投影する。 （図 8 )
ステップ S 3で、反射率べク トル空間の J3 2 - β 3平面において 長方形領域がサンプルの分布を包含するよ う に各軸の下端 1 o w 2， 1 o w 3、 上端 h i g h 2 , h i g h 3、 セル分割数 b i n 2， b i n 3 を定めて、 セル領域を設定する。
ステップ S 4で、 各セル範囲内に位置するサンプルデータの個 数を集計して頻度分布を生成する。
セル座標 （ x， y ) は次の数 8式で計算する。
〔数 8〕 x=floor(( β 2 -low 2) x bin 2/(high 2- low 2) ) y=floor(()S 3— low 3) X bin 3/(high 3— low 3) ) ここで floor( )は小数点の切捨て演算を示す ステップ S 5で、 各セルの頻度を適当なビッ ト深度で符号化し た値 T r x yを記録する。
ステップ S 6で、参照分布の分布範囲の輪郭を形成するために、 値が存在するセルを突状に包括する多角形を計算し、 その内部に 位置して値が存在しないセルに値 1 を与えるこ とで、輪郭内のセ ルに穴埋めを行う。 図 9 にビッ ト深度を 2 で生成した参照分布の 例をセル内の数値で示す。
具体的な光源推定処理のフローチャー トを図 4に示す。
推定処理時にはまず各テス ト光源について、 図 4 の中で示す次 のよ うな手順でスコア値の算出を繰り返す。
ステップ S 1 1 で、 テス ト光源別の投影行列を選択する。 具体 的には、 図 1 に示す投影変換部 6 は記憶媒体 7からテス ト光源 i の光源行列 M i を選択する。
ステップ S 1 2で、 サンプル画素の読み出しを行う。 具体的に は、 図 1 に示す投影変換部 6は撮像手段 4からサンプル画素の読 み出しを行う。 ここで、 サンプル画素のセンサ応答 5は、 多様な シーンの撮像結果である。
ステップ S 1 3で、 行列変換を行う。 具体的には、 図 1 に示す 投影変換部 6 はテス ト光源 i の光源行列 M i によ り サンプル画素 のセンサ応答 5 を反射率ベク トル空間へ投影する。
ステップ S 1 4で、 画像分布の生成を行う。 具体的には、 図 1 に示す投影変換部 6は参照分布 1 1 と同一のセル位置での画像分 布 9 を作成する。 画像分布 9は参照分布 1 1 の生成時と同様に各 セルの頻度を適当なビッ ト深度で符号化した値 T h i x yである, ここではビッ ト深度を 1 と し、 1 画素以上が存在したセルに値 1 を与えそれ以外のセルは 0 と した画像分布の例を、 図 9 に示す参 照分布テーブルのセル内のグレーで表示する。
ステップ S 1 5で、全サンプル画素について繰り返しを行って， ステップ S 1 2 へ戻ってステップ S 1 2〜ステップ S 1 5 までの 処理および判断を繰り返す。 具体的には、 図 1 に示す投影変換部 6は各画素について画像分布 9 を記録するだけでなく 、 参照分布 1 1で値が存在するセル （図 9で太枠表示） に位置していた画素 をカ ウン ト して ヽく。 ステップ S 1 6 で、 テス ト光源別のスコア値を算出する。 ここ で、 スコア値 1 2は画像分布 9 と参照分布 1 1 との相関値等であ る。 具体的には、 図 1 に示す評価部 1 0は、 次のよ うな 3種類の 指標を算出する。
第 1 に、 分布相関と して、 反射率ベク トル空間内での分布状態 に関して、 参照分布 1 1 と画像分布 9 との相関関係を示す一つの 指標と して、 画像分布 9 をセル毎の参照分布 1 1 の重み付きの和 を数 9式で算出する。
〔数 9 ]
bin2 bin3
Ic j = Δ λ Trxy Th ixy
x= 1 y= 1 第 2に、 画素数割合と して、 画素のサンプル数に関して、 参照 分布 1 1 を基準と した比較指標と して、 全サンプル画素数のう ち 参照分布 1 1 の色域内 （図 9で太枠表示） に在る画素数の比率を 数 1 0式で算出する。
〔数 1 0〕
Ip . = (Tr. v>0であるセル座標 x，yに位置する画素数）/ (全サンプル画素数） 第 3に、 分布サイズと して、 反射率ベク トル空間内の画像分布 のみについて、 誤った光源マ ト リ クスによる投影では正しい光源 マ ト リ クス と の差が大きいほど ，， 2軸方向に分散して分布範囲が 広く なるという仮定の基に次のよ うな指標を数 1 1式で算出する。
〔数 1 1〕
Ir i= (Max2 m-Min2 m )/(Max2 ； - Μίη2 - )
Max2 .：テスト光源 ίの光源行列により投影した ^δ 2の最大値 Min2 テスト光源 iの光源行列により投影した^ 2の最小値 m：全テスト光源中で Max2 i - Μίη2 iが最小となる光源 i
こ こで、 図 1 に示す評価部 1 0は、 3種類の指標の積算で光源 i のス コア値 1 2 を数式 1 2 で取得する。
〔数 1 2 〕
S | = Ic ; "Ip j .Ir ,
ステップ S 1 7で、 全テス ト光源について繰り返しを行って， ステップ S 1 1 へ戻ってステップ S 1 1 〜ステップ S 1 7 までの 処理おょぴ判断を繰り返す。
ステップ S 1 8で、 推定光源の選択を行う。 具体的には、 図 1 に示す評価部 1 0は、 全テス ト光源 1 のスコア値 1 2 を取得した 後、 判定部 1 3が最も高いスコア値 1 2 を持つ光源 i を推定光源 と して決定する。
その他のス コア値の高いテス ト光源を利用した重み付け平均な どによって中間的な光源を推定光源と して決定してもよい。
またはス コア値が高かった図 7 Aに示す u ' - V ' 平面上のテ ス ト光源に近い特定区間だけ色温度方向にさ らに細分化した複数 のテス ト光源を新たに生成し、 それらの新たに設けたテス ト光源 に対するス コア計算とそれによる判定を段階的に行う ことで、 推 定結果の分解能を向上させてもよい。
テス ト光源と して高効率型蛍光ランプや三波長型蛍光ランプな ど物理的発光方式などによ り異なるカテゴリ に分類できるものが 複数含まれる場合には、 各カテゴリ 内での評価と、 カテゴリ 間の 評価とで異なる指標を利用して算出し、 別々のス コア値を組み合 わせて推定光源を判断してもよい。
時間的に連続してシーンの光源推定処理を続ける場合には、 間 隔の近い過去に取得された指標や推定結果と組み合わせて最新の 推定光源を判断してもよい。
反射率べク トル空間内でテス ト光源の正答性を評価するのに、 β 2 - β 3平面での分布状態だけでなく、 β 1 - β 3や 1 - β 2の 他の 2次元空間の分布で評価したり、 各軸の 1次元の分布を評価 したり、 三次元での分布状態を評価してもよい。
例えば、 β 2 、 β 3 をそれぞれ i3 1 で除算した j3 2 / 1 - β 3 / β 1平面のよ う にべク トルチャ ンネル間の相対値による 2次元 空間を用いるこ とによ り、 シーン毎の露出のばらつきや同一シー ン内での照明強度のムラなどによる評価への影響を抑えるこ とが できる。 ' . また、 実在する多様なシーンを撮像した結果もしく は仮想的な 多様なシーンの撮像を数値演算で予測した結果であるセンサ応答 値を、 撮像手段の分光感度特性と、 各シーンの撮影時に測定した 撮像光源の分光分布特性とから測色的に近似可能な演算によ り シ ーン毎に評価空間へ投影した値の頻度分布から生成した重み付き 分布や領域情報を参照色域と して用いるよ う にしても良い。
なお、 上述した本実施の形態に限らず、 本発明の特許請求の範 囲内であれば適宜他の構成をと り う ることはいうまでもない。 本発明の光源推定装置は、 センサ応答値に対して、 撮像手段が 有する既知である複数の異なる分光感度特性と予め仮定した複数 のテス ト光源の分光特性とから測色的に近似可能な演算を行う こ とによ りセンサ応答値を撮影光源に依存しない評価空間へ投影す るためのパラメータをテス ト光源毎に記憶した記憶手段と、 記憶 手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に 依存しない評価空間へ投影する投影変換手段と投影変換手段によ り投影された画像シーンのサンプル値の画像分布状態に基づいて 複数のテス ト光源についての正答性を評価する評価手段とを備え たことによって正しい撮影光源を推定するものであるので、 サン プリ ングしたセンサ応答に対して、 既知である撮像系の分光感度 特性とテス ト光源の分光特性とから測色的に近似可能な演算によ り 、 光源に依存しない評価空間へ投影し、 そこでの広く分布した サンプル値の状態に基づいて各テス ト光源についての正当性を評 価するこ とができる という効果を奏する。
これによれば、 センサ空間から評価空間へ投影するための行列 等のパラメータのみを各テス ト光源について保持しておけばよい ため、 唯一の評価空間での評価基準をあたえるこ とで、 少量のメ モリ消費で高い推定精度を得るこ とができる という効果を奏する, また、 本発明の光源推定方法は、 センサ応答値に対して、 既知 である撮像手段の分光感度特性と、 仮定したテス ト光源の分光特 性とから測色的に近似可能な演算によ り、 撮影光源に依存しない 評価空間へ投影し、 その投影されたシーンのサンプル値の分布状 態に基づいて複数のテス ト光源についての正答性を評価するこ と によって正しい撮影光源を推定するものであるので、 光源に依存 しない固定した空間を用いて評価を行うために、 正しい光源であ る比較基準と しての情報を一つの参照分布の空間についてのみ保 持していればよく 、 評価の処理が簡略化されるため、 コス トが增 大する課題を解決することができる。 さ らにそのために、 正しい 光源である基準と して参照する情報 （条件やデータ） をよ り多く 与えるこ とができるため、 推定精度を向上させるための最適化調 整も容易にするこ とができるという効果を奏する。
本発明は仮定した複数のテス ト光源から最も適当な光源を判別 する方式であるが、 従来から提案されていたよ う に光源に依存す る空間で評価を行う には各光源毎に評価基準が必要であり、 評価 基準と してのデータ量がテス ト光源のパターン数に比例して増え るために、 評価基準のデータ量かテス ト光源の数を減らして推定 精度を犠牲にするか、 精度を優先してメモリ コス トを増大させる しかない。 本発明では、 テス ト光源毎に少量のメモリ で済む空間 変換用の係数を設け、 評価は光源に依存しない固定した空間を用 いて行うために、 正しい光源である比較基準と して参照する情報 (条件やデータ）を一つの空間についてのみ保持していればよく 、 コス トを増大させずに推定精度を上げることができ、 従来の技術 に比べて優位なものである。
また、 本発明の撮像装置は、 センサ応答値に対して、 撮像手段 が有する既知である複数の異なる分光感度特性と予め仮定した複 数のテス ト光源の分光特性とから測色的に近似可能な演算を行う ことによ りセンサ応答値を撮影光源に依存しない評価空間へ投影 するためのパラメータをテス ト光源毎に記憶した記憶手段と、 記 憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源 に依存しない評価空間へ投影する投影変換手段と、 投影変換手段 によ り投影された画像シーンのサンプル値の画像分布状態に基づ いて複数のテス ト光源についての正答性を評価するこ とによって 正しい撮影光源を推定する評価手段と、 推定によ り決定した撮影 光源と、 推定とは異なる推定手法で決定した光源とを、 数式によ り結合、 も しく は条件分岐によ り選択、 も しく はそれら両方の組 み合わせによ り、 最終的な撮影光源を推定し、 推定光源と して決 定する光源推定手段と、 推定した撮影光源の色である分光特性も しく はそれに適したパラメータを、 撮像手段のセンサ応答に対す るカラーバランス処理に利用するカラーパランス調整手段とを具 備したものであるので、 撮像装置において、 撮影光源の推定の幅 を広げるこ とができ、 センサ空間から評価空間へ投影するための 行列等のパラメータのみを各テス ト光源について保持し、 唯一の 評価空間での評価基準をあたえるこ とで、 少量のメモ リ消費で高 い推定精度を得ることによ り、 カラーバランス処理に利用するこ とができる という効果を奏する。
また、 本発明の画像処理方法は、 センサ応答値に対して、 既知 である撮像手段の分光感度特性と、 仮定したテス ト光源の分光特 性とから測色的に近似可能な演算によ り、 撮影光源に依存しない 評価空間へ投影し、 その投影されたシーンのサンプル値の分布状 態に基づいて複数のテス ト光源についての正答性を評価するこ と によって正しい撮影光源を推定し、 推定によ り決定した撮影光源 と、 推定とは異なる推定手法で決定した光源とを、 数式によ り結 合、 も しく は条件分岐によ り選択、 も しく はそれら両方の組み合 わせによ り、最終的な撮影光源を推定し、推定光源と して決定し、 推定した撮影光源の色である分光特性もしく はそれに適したパラ メータを、 撮像手段のセンサ応答に対するカラーバランス処理に 利用するよ う にしたものであるので、 画像処理方法において、 撮 影光源の推定の幅を広げるこ とができ、 センサ空間から評価空間 へ投影するための行列等のパラメータのみを各テス ト光源につい て保持し、 唯一の評価空間での評価基準をあたえるこ とで、 メモ リ消費を抑えた処理で高い推定精度を得るこ とによ り、 カラーバ ランス処理に利用することができる という効果を奏する。
本発明は撮像系の応答から撮影シーンの光源を高精度に推定す るこ とを目的と した一つの枠組みを提供することができる。 撮像 系において未知のシーンの光源を推定するこ とができると、 撮像 機器での画像のホワイ トパランス調整やカラーマッチング調整な どのパラメータを正確に決定するこ とが可能であり、 撮影シーン の正確な色再現を行ったり、 意図する特定の色再現が得られるよ う に正確に捕正をして、 画像を記録 · 表示するこ とができる。

Claims

請 求 の 範 囲
1 . 複数の異なる分光感度特性を持つ撮像手段が、 不特定の任 意の被写体を撮影した際に得るセンサ応答値から、 被写体を照射 していた未知の撮影光源の色を示す分光特性を推定する光源推定 装置において、
上記撮像手段が有する既知である上記複数の異なる分光感度特 性と予め仮定した複数のテス ト光源の分光特性とから測色的に近 似可能な演算を行う ことによ り上記センサ応答値を上記撮影光源 に依存しない評価空間へ投影するためのパラメータをテス ト光源 毎に記憶した記憶手段と、
上記センサ応答値に対して、 上記記憶手段に記憶されたパラメ ータを用いて上記撮影光源に依存しない評価空間へ投影する投影 変換手段と、
上記投影変換手段によ り投影された画像シーンのサンプル値の 画像分布状態に基づいて上記複数のテス ト光源についての正答性 を評価する評価手段と、
を備えたこ とによって正しい撮影光源を推定するこ とを特徴と する光源推定装置。
2 , 複数の異なる分光感度特性を持つ撮像手段が、 不特定の任 意の被写体を撮影した際に得るセンサ応答値から、 被写体を照射 していた未知の撮影光源の色を示す分光特性を推定する光源推定 方法において、
上記センサ応答値に対して、 既知である撮像手段の分光感度特 性と、 仮定したテス ト光源の分光特性とから測色的に近似可能な 演算に.よ り、 撮影光源に依存しない評価空間へ投影し、
その投影されたシーンのサンプル値の分布状態に基づいて複数 のテス ト光源についての正答性を評価することによって正しい撮 影光源を推定するこ とを特徴とする光源推定方法。
3 . 請求の範囲第 2項記載の光源推定方法において、
多様な物体表面の分光反射率を複数の反射率基底関数の結合で 近似するための重み係数が物体表面に固有の分光反射率特性を表 す空間、 もしく はその重み係数をさ らに一定の演算によ り変換し た値が構成する空間を、 上記評価用のベタ トル空間とすることを 特徴とする光源推定方法。
4 . 請求の範囲第 3項記載の光源推定方法において、
既知の複数の物体表面の分光反射率データを母集団と して統計 的分析によ り抽出した分光反射率成分、 も しく は意図的に抽出し たい分光反射率成分、 も しく はそれら両方を組み合わせて、 上記 分光反射率を近似するための反射率基底関数とするこ とを特徴と する光源推定方法。
5 . 請求の範囲第 2項記載の光源推定方法において、
特定の分光分布を持つ一つの仮想的な基準光源下で物体表面が 反射する光の分光分布値を、 一定の演算によ り複数のチャンネル へ変換した値が構成する空間を、 上記評価用のべク トル空間とす ることを特徴とする光源推定方法。
6 . 請求の範囲第 5項記載の光源推定方法において、
上記分光分布が波長間で一定である基準光源を用いるこ とを特 徴とする光源推定方法。
7 . 請求の範囲第 2項記載の光源推定方法において、
既知の分光分布が異なる複数の光源を上記テス ト光源と し、 そ れら各テス ト光源の分光分布データも しく はそれらを適用して各 テス ト光源に対応させた演算用係数をあらかじめ保持しておき、 上記光源推定時に参照するこ とを特徴とする光源推定方法。
8 . 請求の範囲第 2項記載の光源推定方法において、
既知の多様な光源の分光分布データ、 も しく はそれら分光分布 データを複数の光源基底関数の重み付け線形和などの演算で近似 するための係数、 も しく はそれら分光分布データから一定の演算 式で得られる指数の中から、 複数の異なる代表的な光源を抽出し て上記テス ト光源と してあらかじめ保持しておき、 それら各テス ト光源の分光分布データも しく はそれらを適用して各テス ト光源 に対応させた演算用係数を上記光源推定時に参照することを特徴 とする光源推定方法。
9 . 請求の範囲第 8項記載の光源推定方法において、
予め保持してある複数の異なる光源の情報と して、 特定の光源 の分光分布データも しく はそれを適用して特定の光源に対応させ た演算用係数を用いて、 上記光源推定時にそれらからの適当な選 択ゃ補間演算等によ り上記複数のテス ト光源を生成して参照する こ とを特徴とする光源推定方法。
1 0 . 請求の範囲第 7項記載の光源推定方法において、
光源の色温度値、 も しく は光源の物理的発光方式、 もしく はそ れら両方によって分類可能な、 上記複数の代表的なテス ト光源を 構成するこ とを特徴とする光源推定方法。
1 1 . 請求の範囲第 2項記載の光源推定方法において、
上記撮像手段のセンサ応答値のう ち、 全画素、 もしく は撮像面 の空間的位置について適当な位置、 範囲、 間隔でサンプリ ングし た画素の値を使用するこ とを特徴とする光源推定方法。
1 2 . 請求の範囲第 2項記載の光源推定方法において、
上記撮像手段のセンサ応答値のう ち、 各チャンネルの値が特定 の範囲に在る画素の値のみを使用する、 も しく は各チャンネルの 値が特定の範囲に在る画素を除いた全ての画素の値を使用するこ とを特徴とする光源推定方法。
1 3 . 請求の範囲第 2項記載の光源推定方法において、
上記撮像手段のセンサ応答値に対して、評価空間へ投影する時、 またはその前に、 一定の任意の比率も しく はあらかじめ撮像結果 に応じて決定した適当な比率によって、 スケーリ ングを行う こ と を特徴とする光源推定方法。
1 4 . 請求の範囲第 2項記載の光源推定方法において、
上記撮像手段のセンサ応答値に対して、 上記撮像手段に想定さ れるノイズや露出誤差等の時空間的変動量を付加してから、 も し く は同変動量を付加した画素を.追加してから使用することを特徴 とする光源推定方法。
1 5 . 請求の範囲第 2項記載の光源推定方法において、
上記各テス ト光源について、 評価空間に投影されたサンプル画 素の値から得られる統計量、 もしく はサンプル画素から生成され る評価空間中の頻度分布を示す画像分布から得られる統計量、 も しく はサンプル画素が分布する評価空間中の領域を示す画像色域 から得られる統計量、 もしく はそれらのいずれか 2つ以上の組み 合わせを、 そのまま、 もしく はそれらを一定の演算によ り変換し た値を、 あらかじめ仮定した正答性の指標と して上記推定基準に 用いることを特徴とする光源推定方法。
1 6 . 請求の範囲第 2項記載の光源推定方法において、
上記センサ応答値のセンサ空間においてサンプル画素の値から 得る統計量、 も しく はセンサ空間におけるサンプル画素の値を一 定の演算によ り変換した値から得る統計量を、 上記各テス ト光源 について評価空間に投影し、 そのまま、 も しく はそれらを一定の 演算によ り変換した値を、 あらかじめ仮定した正答性の指標と し て上記推定基準に用いることを特徴とする光源推定方法。
1 7 . 請求の範囲第 1 5項記載の光源推定方法において、 物体表面の分光反射率に関して、 各波長で 0〜 1 の範囲内にあ る という物理的実現可能性や、 平均的には波長間でフラッ トな特 性を持つ無彩色に近い表面が多く存在する という実世界の仮説的 確率分布に基づいて、 あらかじめ評価空間中で特定の領域に形成 可能な制限や重みを付加した統計量によって上記各テス ト光源の 正答性の指標を算出することを特徴とする光源推定方法。
1 8 . 請求の範囲第 2項記載の光源推定方法において、
上記各テス ト光源について、 評価空間に投影されたサンプル画 素の値、 もしく はサンプル画素から生成される評価空間中の頻度 分布、 も しく はサンプル画素が分布する評価空間中の領域、 も し く はそれらのいずれか 2つ以上の組み合わせに対し、 あらかじめ 記録してあり参照可能な同評価空間中の出現範囲を示す参照色域 と の相関関係を上記推定基準の指標と して用いることを特徴とす る光源推定方法。
1 9 . 請求の範囲第 1 8項記載の光源推定方法において、 多様な物体表面の分光反射率データを反射率基底関数によ り近 似する係数へ変換した値、 もしく はそれらを一定の演算によ り変 換した値の評価空間内での頻度分布から生成した重み付き分布や 領域情報を上記参照色域と して用いるこ とを特徴とする光源推定 方法。
2 0 . 請求の範囲第 1 8項記載の光源推定方法において、 実在する多様なシーンを撮像した結果も しく は仮想的な多様な シーンの撮像を数値演算で予測した結果であるセンサ応答値を、 上記撮像手段の分光感度特性と、 各シーンの撮影時に測定した撮 影光源の分光分布特性とから測色的に近似可能な演算によ り シー ン毎に評価空間へ投影した値の頻度分布から生成した重み付き分 布や領域情報を上記参照色域と して用いるこ とを特徴とする光源 推定方法。
2 1 . 請求の範囲第 1 8項記載の光源推定方法において、 物体表面の分光反射率に関して、 各波長で 0〜 1 の範囲内にあ るという物理的実現可能性や、 平均的には波長間でフラッ トな特 性を持つ無彩色に近い表面が実際には多く存在する という仮説的 確率分布に基づいて決定した頻度分布から生成した重み付き分布 や領域情報を上記参照色域と して用いるこ とを特徴とする光源推 定方法。
2 2 . 請求の範囲第 1 9項記載の光源推定方法において、 上記頻度分布のいずれか、 も しく はそれらの合成によ り上記参 照色域を生成する前後において、 評価空間中の分布に対して、 ― 定の基準によって内揷、 外揷、 除去、 空間的フィルタ リ ング等の 加工を行う こ とを特徴とする光源推定方法。
2 3 . 請求の範囲第 1 5項記載の光源推定方法において、 上記各テス ト光源の正答性の指標生成において、 評価空間中で 各テス ト光源間の差分がより大き く現れる高彩度領域を重視する ために、 画像色域の輪郭上またはその付近で画像分布の抽出や重 み付けを行った演算を行う ことを特徴とする光源推定方法。
2 4 . 請求の範囲第 1 5項記載の光源推定方法において、 評価空間.に投影されたサンプル画素の画像分布または画像領域 に対して、 一定の基準によって内挿、 外揷、 除去、 空間的フィル タ リ ング等の加工を行ってから上記各テス ト光源についての正答 性の指標を算出するこ とを特徴とする光源推定方法。
2 5 . 請求の範囲第 1 5項記載の光源推定方法において、 一つの評価空間に投影されたサンプル画素の値から生成される 複数の異なる指標、 も しく は複数の異なる評価空間に投影された サンプル画素の値から生成される複数の異なる指標を、 数式によ り結合、 も しく は条件分岐によ り選択、 も しく はそれら両方の組 み合わせによ り、 新たな指標を生成して上記各テス ト光源の正答 性を評価するこ とを特徴とする光源推定方法。
2 6 . 請求の範囲第 2項記載の光源推定方法において、
上記テス ト光源の中で最も正答性の高い指標をもつものを推定 光源と して決定するこ とを特徴とする光源推定方法。
2 7 . 請求の範囲第 2項記載の光源推定方法において、 上記テス ト光源の中で正答性の高い 2つ以上の重み付け平均を 推定光源と して決定するこ とを特徴とする光源推定方法。
2 8 . 請求の範囲第 2 6項記載の光源推定方法において、 上記テス ト光源の中で最も正答性の高い指標をもつ光源を一旦 選定し、 さ らにその光源付近で細分化した異なる光源を参照して 各光源の正答性の指標を生成するこ とを繰り返すこ とを特徴とす る光源推定方法。
2 9 . 請求の範囲第 2 6項記載の光源推定方法において、 上記テス ト光源が物理的発光方式によ り分類される 2つ以上の カテゴリ を含み、 各カテゴリ 内で撮影光源の色温度に最も近いこ とを示す指標を基にした色温度判定処理と、 これと同じまたは異 なる指標を用いて撮影光源の物理的発光方式に最も近いことを示 す指標を基にした発光方式判定処理とを行い、 これら両方の判定 結果によ り推定光源を決定することを特徴とする光源推定方法。
3 0 . 請求の範囲第 2 6項記載の光源推定方法において、 上記テス ト光源が任意の条件で分類できる 2つ以上のカテゴリ を含み、 ユーザが指定したカテゴリ 、 もしく は上記推定手段とは 異なるカテゴリ判別手段から与えられたカテゴリ に属するテス ト 光源のみを対象に、 撮影光源に最も近いことを示す指標を基に推 定光源を決定するこ とを特徴とする光源推定方法。
3 1 . 請求の範囲第 2項記載の光源推定方法において、
上記推定によ り決定した撮影光源と、 上記推定とは異なる推定 手法で決定した光源とを、 数式によ り結合、 も しく は条件分岐に よ り選択、 も しく はそれら両方の組み合わせによ り、 最終的な推 定光源と して決定するこ とを特徴とする光源推定方法。
3 2 . 複数の異なる分光感度特性を持つ撮像手段が、 不特定の 任意の被写体を撮影した際に得るセンサ応答値から、 被写体を照 射していた未知の撮影光源の色を示す分光特性を推定し、 推定し た光源の色である分光特性も しく はそれに適したパラメータを、 上記撮像手段のセンサ応答に対するカラーパランス処理に利用す る撮像装置において、
上記撮像手段が有する既知である上記複数の異なる分光感度特 性と予め仮定した複数のテス ト光源の分光特性とから測色的に近 似可能な演算を行う こ と によ り上記センサ応答値を上記撮影光源 に依存しない評価空間へ投影するためのパラメータをテス ト光源 毎に記憶した記憶手段と、
上記センサ応答値に対して、 上記記憶手段に記憶されたパラメ ータを用いて上記撮影光源に依存しない評価空間へ投影する投影 変換手段と、
上記投影変換手段によ り投影された画像シーンのサンプル値の 画像分布状態に基づいて上記複数のテス ト光源についての正答性 を評価するこ と によって正しい撮影光源を推定する評価手段と、 上記推定によ り決定した撮影光源と、 上記推定とは異なる推定 手法で決定した光源とを、 数式によ り結合、 も しく は条件分岐に よ り選択、 も しく はそれら両方の組み合わせによ り、 最終的な撮 影光源を推定し、 推定光源と して決定する光源推定手段と、
推定した撮影光源の色である分光特性もしく はそれに適したパ ラメータを、 上記撮像手段のセンサ応答に対するカラーパランス 処理に利用するカラーバランス調整手段とを具備したこ とを特徴 とする撮像装置。
3 3 . 複数の異なる分光感度特性を持つ撮像手段が、 不特定の 任意の被写体を撮影した際に得るセンサ応答値から、 被写体を照 射していた未知の撮影光源の色を示す分光特性を推定し、 推定し た光源の色である分光特性も しく はそれに適したパラメータを、 撮像手段のセンサ応答に対するカラーパランス処理に利用する画 像処理方法において、
上記センサ応答値に対して、 既知である上記撮像手段の分光感 度特性と、 仮定したテス ト光源の分光特性とから測色的に近似可 能な演算によ り、 撮影光源に依存しない評価空間へ投影し、
その投影されたシーンのサンプル値の分布状態に基づいて複数 のテス ト光源についての正答性を評価するこ とによって正しい撮 影光源を推定し、
上記推定によ り決定した撮影光源と、 上記推定とは異なる推定 手法で決定した光源とを、 数式によ り結合、 も しく は条件分岐に よ り選択、 もしく はそれら両方の組み合わせによ り、 最終的な撮 影光源を推定し、 推定光源と して決定し、
推定した撮影光源の色である分光特性もしく はそれに適したパ ラメータを、 上記撮像手段のセンサ応答に対するカラーパラ ンス 処理に利用するよ う にしたことを特徴とする画像処理方法。
PCT/JP2003/014377 2002-11-12 2003-11-12 光源推定装置、光源推定方法、撮像装置および画像処理方法 Ceased WO2004045219A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/534,432 US7436997B2 (en) 2002-11-12 2003-11-12 Light source estimating device, light source estimating method, and imaging device and image processing method
EP03772709A EP1583371A4 (en) 2002-11-12 2003-11-12 DEVICE AND METHOD FOR DETERMINING A LIGHT SOURCE, IMAGING DEVICE AND PICTURE PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-328719 2002-11-12
JP2002328719A JP3767541B2 (ja) 2002-11-12 2002-11-12 光源推定装置、光源推定方法、撮像装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2004045219A1 true WO2004045219A1 (ja) 2004-05-27

Family

ID=32310550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/014377 Ceased WO2004045219A1 (ja) 2002-11-12 2003-11-12 光源推定装置、光源推定方法、撮像装置および画像処理方法

Country Status (7)

Country Link
US (1) US7436997B2 (ja)
EP (1) EP1583371A4 (ja)
JP (1) JP3767541B2 (ja)
KR (1) KR20050074590A (ja)
CN (1) CN1732696A (ja)
TW (1) TWI241134B (ja)
WO (1) WO2004045219A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712568A (zh) * 2020-12-16 2021-04-27 杭州博联智能科技股份有限公司 颜色亮度识别方法、装置、设备及介质
CN114531578A (zh) * 2020-11-23 2022-05-24 华为技术有限公司 光源光谱获取方法和设备
CN114793270A (zh) * 2022-04-20 2022-07-26 深圳市慧鲤科技有限公司 色彩校正方法及装置、电子设备和存储介质
CN116385566A (zh) * 2022-05-27 2023-07-04 上海玄戒技术有限公司 光源估计方法、装置、电子设备、芯片及存储介质

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8055063B2 (en) * 2003-09-30 2011-11-08 Sharp Laboratories Of America, Inc. Methods and systems for improving robustness of color balance correction
US7636473B2 (en) * 2004-03-12 2009-12-22 Seiko Epson Corporation Image color adjustment
US20060007239A1 (en) * 2004-07-06 2006-01-12 Harrison Charles F Color correction system
JP4715288B2 (ja) * 2004-08-23 2011-07-06 凸版印刷株式会社 分光反射率候補算出方法、色変換方法、分光反射率候補算出装置、色変換装置、分光反射率候補算出プログラム、色変換プログラム
JP2006173659A (ja) * 2004-12-10 2006-06-29 Sony Corp 画像処理装置、画像処理方法及び撮像装置
US7421121B2 (en) 2005-02-08 2008-09-02 Micron Technology, Inc. Spectral normalization using illuminant exposure estimation
JP4539432B2 (ja) 2005-05-16 2010-09-08 ソニー株式会社 画像処理装置および撮像装置
JP4626776B2 (ja) * 2005-07-13 2011-02-09 日本電気株式会社 色補正方法および色補正装置
JP4692190B2 (ja) * 2005-09-29 2011-06-01 凸版印刷株式会社 分光反射率推定方法、分光反射率推定装置、ならびに分光反射率推定プログラム
JP4798354B2 (ja) * 2006-02-02 2011-10-19 凸版印刷株式会社 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム
CN100477743C (zh) * 2006-04-03 2009-04-08 索尼株式会社 摄像装置及其光源推断装置
JP4967440B2 (ja) 2006-04-03 2012-07-04 ソニー株式会社 撮像装置およびその光源推定装置
JP4967445B2 (ja) * 2006-05-11 2012-07-04 ソニー株式会社 撮像装置およびその光源推定装置
KR100855470B1 (ko) * 2006-09-28 2008-09-01 삼성전자주식회사 광원 추정 방법 및 장치
US20100277610A1 (en) * 2006-11-29 2010-11-04 Nokia Corporation Apparatus, Method And Computer Program Product Providing a Light Source With Memory
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
JP4668956B2 (ja) * 2007-06-29 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5092612B2 (ja) * 2007-08-03 2012-12-05 株式会社ニコン カラー撮像装置
JP5210121B2 (ja) * 2007-11-16 2013-06-12 キヤノン株式会社 撮像装置およびその制御方法
US8229215B2 (en) * 2007-12-03 2012-07-24 Omnivision Technologies, Inc. Image sensor apparatus and method for scene illuminant estimation
US20090147098A1 (en) * 2007-12-10 2009-06-11 Omnivision Technologies, Inc. Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix
JP5075648B2 (ja) * 2008-01-15 2012-11-21 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5435885B2 (ja) * 2008-04-15 2014-03-05 キヤノン株式会社 色処理装置、画像処理装置およびそれらの方法
JP5389380B2 (ja) * 2008-05-28 2014-01-15 オリンパス株式会社 信号処理システム及び信号処理プログラム
US8736709B2 (en) * 2008-07-11 2014-05-27 The Invention Science Fund I, Llc Spectral improvement of digital camera color images
US8463072B2 (en) * 2008-08-29 2013-06-11 Adobe Systems Incorporated Determining characteristics of multiple light sources in a digital image
WO2010036246A1 (en) * 2008-09-24 2010-04-01 Nikon Corporation Automatic illuminant estimation that incorporates apparatus setting and intrinsic color casting information
US20100157334A1 (en) * 2008-12-24 2010-06-24 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and medium storing program
US8320662B2 (en) * 2009-01-07 2012-11-27 National Instruments Corporation Distinguishing colors of illuminated objects using machine vision
US20100245617A1 (en) * 2009-03-31 2010-09-30 Gary Stephen Shuster Automated white balancing in digital photography
JP5517685B2 (ja) * 2009-04-14 2014-06-11 キヤノン株式会社 画像処理装置および方法
CN101635053B (zh) * 2009-09-02 2011-10-26 北京航空航天大学 多光源颜色强度一致性标定方法
ES2753273T3 (es) 2009-10-08 2020-04-07 Delos Living Llc Sistema de iluminación LED
US8420996B2 (en) * 2009-12-23 2013-04-16 Nokia Corporation Intensity estimation using binary sensor array with spatially varying thresholds
US20110187891A1 (en) * 2010-02-04 2011-08-04 Buyue Zhang Methods and Systems for Automatic White Balance
JP5676906B2 (ja) * 2010-04-13 2015-02-25 日本放送協会 色補正装置
US8503771B2 (en) 2010-12-20 2013-08-06 Samsung Techwin Co., Ltd. Method and apparatus for estimating light source
US10354929B2 (en) * 2012-05-08 2019-07-16 Kla-Tencor Corporation Measurement recipe optimization based on spectral sensitivity and process variation
US9129188B2 (en) * 2012-06-22 2015-09-08 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
HK1210287A1 (en) 2012-08-28 2016-04-15 戴尔斯生活有限责任公司 Systems, methods and articles for enhancing wellness associated with habitable environments
JP6288952B2 (ja) * 2013-05-28 2018-03-07 キヤノン株式会社 撮像装置およびその制御方法
JP6249638B2 (ja) * 2013-05-28 2017-12-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
US9756222B2 (en) * 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9299188B2 (en) 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
JP6299180B2 (ja) 2013-11-27 2018-03-28 株式会社リコー 撮像装置、撮像システムおよび当該撮像装置による撮像方法
CN106303489B (zh) * 2013-12-06 2018-01-30 青岛海信移动通信技术股份有限公司 一种确定白平衡光源的方法及装置
EP3111411A4 (en) 2014-02-28 2017-08-09 Delos Living, LLC Systems, methods and articles for enhancing wellness associated with habitable environments
US10217438B2 (en) * 2014-05-30 2019-02-26 Apple Inc. User interface and method for directly setting display white point
EP3012777B1 (en) 2014-10-23 2017-03-15 Axis AB Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
WO2016115230A1 (en) 2015-01-13 2016-07-21 Delos Living Llc Systems, methods and articles for monitoring and enhancing human wellness
US10321066B2 (en) 2015-09-03 2019-06-11 Kabushiki Kaisha Toshiba Light source estimating apparatus and image pickup apparatus
US9928441B2 (en) * 2015-11-20 2018-03-27 Infinity Augmented Reality Israel Ltd. Method and a system for determining radiation sources characteristics in a scene based on shadowing analysis
JP6786850B2 (ja) * 2016-04-07 2020-11-18 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US10134198B2 (en) 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
CN106296658B (zh) * 2016-07-28 2018-09-04 电子科技大学 一种基于相机响应函数的场景光源估计准确性提升方法
US11338107B2 (en) 2016-08-24 2022-05-24 Delos Living Llc Systems, methods and articles for enhancing wellness associated with habitable environments
US10607329B2 (en) * 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image
US10609286B2 (en) 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image
US10403045B2 (en) 2017-08-11 2019-09-03 Adobe Inc. Photorealistic augmented reality system
WO2019046580A1 (en) 2017-08-30 2019-03-07 Delos Living Llc SYSTEMS, METHODS AND ARTICLES FOR EVALUATING AND / OR IMPROVING HEALTH AND WELL-BEING
JP2019185730A (ja) * 2018-03-30 2019-10-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7155681B2 (ja) * 2018-07-10 2022-10-19 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JPWO2020026561A1 (ja) 2018-08-01 2021-08-02 ソニーグループ株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置
EP3850458A4 (en) 2018-09-14 2022-06-08 Delos Living, LLC AIR CLEANING SYSTEMS AND PROCEDURES
US11844163B2 (en) 2019-02-26 2023-12-12 Delos Living Llc Method and apparatus for lighting in an office environment
WO2020198183A1 (en) 2019-03-25 2020-10-01 Delos Living Llc Systems and methods for acoustic monitoring
KR102082970B1 (ko) * 2019-04-29 2020-02-28 주식회사 루닛 기계학습을 위한 정규화 방법 및 그 장치
CN110675366B (zh) * 2019-08-30 2022-03-08 杭州电子科技大学 基于窄带led光源估计相机光谱灵敏度的方法
CN111787299B (zh) * 2019-10-18 2022-06-14 西安宇视信息科技有限公司 特殊光源的确定方法、装置、介质及电子设备
TW202303511A (zh) * 2021-01-29 2023-01-16 日商索尼半導體解決方案公司 圖像處理裝置、圖像處理方法及圖像處理程式
CN114827591B (zh) * 2022-06-27 2022-10-18 东莞锐视光电科技有限公司 一种应用于光源相机系统的综合测定评价方法
CN118509718B (zh) * 2023-12-26 2024-12-31 荣耀终端有限公司 图像处理方法、模型训练方法及相关设备
CN118433487B (zh) * 2024-03-15 2025-06-13 华为技术有限公司 一种图像数据的处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05111059A (ja) * 1991-10-15 1993-04-30 Matsushita Electric Ind Co Ltd 光源推定装置
JPH1125252A (ja) * 1997-07-09 1999-01-29 Canon Inc 画像処理方法および装置および記憶媒体
US6038339A (en) 1997-11-14 2000-03-14 Hewlett-Packard Company White point determination using correlation matrix memory
WO2001030067A1 (en) 1999-10-15 2001-04-26 Sony Electronics Inc. An apparatus for and method of estimating the illumination of an image
JP2001186540A (ja) * 1999-12-27 2001-07-06 Toppan Printing Co Ltd 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2001311666A (ja) * 2000-04-28 2001-11-09 Toppan Printing Co Ltd 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158144B2 (en) 1997-07-09 2007-01-02 Canon Kabushiki Kaisha Image processing apparatus and method for converting data dependent on a first illuminating light into data dependent on a second illuminating light
US7084907B2 (en) * 2001-01-15 2006-08-01 Nikon Corporation Image-capturing device
US7184080B2 (en) * 2001-06-25 2007-02-27 Texas Instruments Incorporated Automatic white balancing via illuminant scoring
US7362357B2 (en) * 2001-08-07 2008-04-22 Signature Research, Inc. Calibration of digital color imagery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05111059A (ja) * 1991-10-15 1993-04-30 Matsushita Electric Ind Co Ltd 光源推定装置
JPH1125252A (ja) * 1997-07-09 1999-01-29 Canon Inc 画像処理方法および装置および記憶媒体
US6038339A (en) 1997-11-14 2000-03-14 Hewlett-Packard Company White point determination using correlation matrix memory
WO2001030067A1 (en) 1999-10-15 2001-04-26 Sony Electronics Inc. An apparatus for and method of estimating the illumination of an image
JP2001186540A (ja) * 1999-12-27 2001-07-06 Toppan Printing Co Ltd 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2001311666A (ja) * 2000-04-28 2001-11-09 Toppan Printing Co Ltd 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FINLAYSON ET AL.: "Colour by Correlation: A Simple, Unifying Framework for Color Constancy", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 23, no. 11, November 2001 (2001-11-01), pages 1209 - 1221
S. TOMINAGA; B.A. WANDELL: "Natural scene-illuminant estimation using the sensor correlation", PROC. IEEE, vol. 90, no. 1, 2002, XP011044608
See also references of EP1583371A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114531578A (zh) * 2020-11-23 2022-05-24 华为技术有限公司 光源光谱获取方法和设备
CN114531578B (zh) * 2020-11-23 2023-11-07 华为技术有限公司 光源光谱获取方法和设备
CN112712568A (zh) * 2020-12-16 2021-04-27 杭州博联智能科技股份有限公司 颜色亮度识别方法、装置、设备及介质
CN114793270A (zh) * 2022-04-20 2022-07-26 深圳市慧鲤科技有限公司 色彩校正方法及装置、电子设备和存储介质
CN116385566A (zh) * 2022-05-27 2023-07-04 上海玄戒技术有限公司 光源估计方法、装置、电子设备、芯片及存储介质
CN116385566B (zh) * 2022-05-27 2024-04-30 上海玄戒技术有限公司 光源估计方法、装置、电子设备、芯片及存储介质

Also Published As

Publication number Publication date
EP1583371A4 (en) 2009-01-21
CN1732696A (zh) 2006-02-08
US20060103728A1 (en) 2006-05-18
JP3767541B2 (ja) 2006-04-19
KR20050074590A (ko) 2005-07-18
TWI241134B (en) 2005-10-01
TW200420118A (en) 2004-10-01
JP2004165932A (ja) 2004-06-10
US7436997B2 (en) 2008-10-14
EP1583371A1 (en) 2005-10-05

Similar Documents

Publication Publication Date Title
JP3767541B2 (ja) 光源推定装置、光源推定方法、撮像装置および画像処理方法
US8855412B2 (en) Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
TWI399503B (zh) 用以估計場景光源之影像感測器裝置及方法
JP6004481B2 (ja) カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
JPH1185952A (ja) 色再現装置
JP5740147B2 (ja) 光源推定装置及び光源推定方法
JP2002125136A (ja) ディジタル画像の輝度調整のためのディジタル画像処理方法及び装置
WO2001030067A1 (en) An apparatus for and method of estimating the illumination of an image
US10721448B2 (en) Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
JP2978615B2 (ja) カラーバランス調整装置及び方法
CN113297977A (zh) 活体检测方法、装置及电子设备
JP2001008220A (ja) 色再現システム
JP4967440B2 (ja) 撮像装置およびその光源推定装置
JP4950544B2 (ja) マルチバンド撮像装置のカラーフィルタのパラメータを決定する方法
JP2001311666A (ja) 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2003209856A (ja) ホワイトバランス補正方法
CN115918060A (zh) 重建图像、特别是精确彩色图像的方法以及相关联的计算机程序、设备和系统
JP4529210B2 (ja) 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP3960989B2 (ja) 色推定システム及び色推定方法
JP3863773B2 (ja) 画像撮影方法および装置
JP4378810B2 (ja) 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体
CN113297978B (zh) 活体检测方法、装置及电子设备
Cohen A color balancing algorithm for cameras
JP2008534951A (ja) イルミナントの推定
JP3801177B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020057008387

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2003772709

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20038A78376

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020057008387

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003772709

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006103728

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10534432

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10534432

Country of ref document: US