[go: up one dir, main page]

WO2006134923A1 - 画像処理装置、コンピュータプログラム製品および画像処理方法 - Google Patents

画像処理装置、コンピュータプログラム製品および画像処理方法 Download PDF

Info

Publication number
WO2006134923A1
WO2006134923A1 PCT/JP2006/311844 JP2006311844W WO2006134923A1 WO 2006134923 A1 WO2006134923 A1 WO 2006134923A1 JP 2006311844 W JP2006311844 W JP 2006311844W WO 2006134923 A1 WO2006134923 A1 WO 2006134923A1
Authority
WO
WIPO (PCT)
Prior art keywords
color component
saturated
color
pixel
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/311844
Other languages
English (en)
French (fr)
Inventor
Shigeru Doida
Hideaki Matsuda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to US11/918,726 priority Critical patent/US8270753B2/en
Priority to JP2007521304A priority patent/JP4803178B2/ja
Publication of WO2006134923A1 publication Critical patent/WO2006134923A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • Image processing apparatus computer program product, and image processing method
  • the present invention relates to image processing for electronic images.
  • an output signal from the pixel is saturated when strong light of a certain level or more is incident on the pixel constituting the element. Since all signal values from saturated pixels are treated as saturation levels, they are observed as so-called overexposed images. In order to avoid such pixel saturation, a group of light receiving elements with different imaging sensitivities coexist in the image sensor, and if the output signal from the light receiving element with the higher imaging sensitivity is saturated, the light receiving element with the lower imaging sensitivity.
  • Patent Document 1 discloses a technique for suppressing the occurrence of an overexposed image by using an output signal from the above.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2000-125209
  • the imaging sensitivity is high, the light receiving element group and the imaging sensitivity are low, and the light receiving element group is combined with the imaging element, the cost increases. Therefore, an image captured by a general image sensor composed of a group of light-receiving elements having one kind of image-sensitivity, which is not possible with a special image sensor in which such high-sensitivity and low-sensitivity light-receiving elements coexist, is displayed.
  • a pixel is saturated, a technique for correcting the saturation signal from the saturated pixel is desired.
  • the image processing apparatus extracts a saturation region corresponding to a saturated pixel from an image represented by a color component signal of a predetermined color system corresponding to the pixel.
  • a color information acquisition unit that acquires color information corresponding to pixels included in a region that is in contact with a saturated region of an image, a color information acquisition unit that acquires color information, and a color information acquisition unit that acquires color information of saturated pixels included in the saturation region
  • a color component signal changing unit that changes the color component signal of each pixel in the saturation region so as to approach the acquired color information.
  • the color component signal representing the image is preferably RAW format data.
  • the saturated pixel is at least one of a plurality of corresponding color component signals in the pixel and the adjacent pixel group.
  • a pixel in which the color component signal is saturated is preferable.
  • the saturated region extraction unit extracts a saturated region from the skin color region of the image.
  • the color information is preferably a signal ratio of a plurality of color component signals corresponding to the pixels.
  • the color component signal changing unit determines whether or not all of the plurality of color component signals corresponding to the saturated pixels are saturated, When all are saturated, the saturation range is the narrowest among the multiple color component signals, and the color component signal is used as the reference signal, and this reference signal is included in the area in contact with the saturation region of the image. It is preferable to calculate using the color component signal corresponding to the pixel and change the color component signal corresponding to the saturated pixel based on the calculated reference signal and the signal ratio of the plurality of color component signals.
  • the color component signal changing unit is not saturated among the plurality of color component signals corresponding to the saturated pixels. Is the color component signal corresponding to the saturation pixel based on the reference signal and the signal ratio of the plurality of color component signals. Is preferably changed.
  • the image processing device when the color component signal is changed by the color component signal changing unit, the image represented by the changed color component signal is displayed. It is preferable to further include a luminance lowering unit that lowers the luminance level.
  • the saturation region and the region in contact with the saturation region are interposed. It is preferable to further include a smoothing unit that smoothes the color component signal so that the color component signal gradually changes.
  • a computer-readable computer product product has an image processing program, and the image processing program is represented by a color component signal of a predetermined color system corresponding to a pixel.
  • a saturated region extraction command for extracting a saturated region corresponding to a saturated pixel from a generated image, and a color information acquisition command for acquiring color information from a color component signal corresponding to a pixel included in a region in contact with the saturated region of the image;
  • a color component signal change command for changing the color component signal of each pixel in the saturation region so that the color information of the saturation pixel included in the saturation region is close to the acquired color information.
  • an image processing method extracts a saturated region corresponding to a saturated pixel from an image represented by a color component signal of a predetermined color system corresponding to the pixel, and extracts the saturated region of the image.
  • the color component signal of each pixel in the saturation region is acquired so that the color information is obtained from the color component signal corresponding to the pixel included in the region in contact with the pixel and the color information of the saturated pixel included in the saturation region is close to the acquired color information.
  • the image processing method restores the color component signal of the saturated region corresponding to the saturated pixel with respect to the single image represented by the color component signal of the predetermined color system corresponding to the pixel. To do.
  • FIG. 1 is a flowchart for explaining the flow of processing of an image processing program.
  • FIG. 2 is a diagram illustrating a computer device that executes a program.
  • FIG. 3 is a diagram for explaining a saturation region of a color electronic image.
  • FIG. 4 is a diagram for explaining a saturation component and color component signals of pixels included in the saturation region.
  • FIG. 5 is a diagram for explaining a color component signal of a saturation region ⁇ , a saturation region ⁇ , and pixels included in the saturation region ⁇ and the saturation region ⁇ .
  • FIG. 6 is an excerpt of the amber component signal of FIG.
  • FIG. 7 is a diagram for explaining the processing in step S9.
  • FIG. 8 is a diagram for explaining an estimated distribution of color component signals of pixels.
  • FIG. 9 is a diagram for explaining the processing in step SI 1.
  • FIG. 10 is a diagram showing a configuration of an electronic camera.
  • the image processing apparatus corrects a saturation signal included in a color electronic image signal.
  • the electronic color image that is an object of correction processing by the image processing apparatus is, for example, an image captured by an imaging apparatus that includes a CCD image sensor or the like.
  • the image pickup device picks up a subject image formed on the image pickup surface of the image sensor, and the image signal output from the image pickup device varies in signal level according to the intensity of light incident on each pixel.
  • R (red), G (green), and B (blue) filters are arranged on the imaging surface of the imaging device, and the position of each light receiving element of the image sensor. It is provided to correspond to Since the imaging device captures a subject image through the color separation filter, the signal output from the imaging device has information on any one color component of RGB per pixel. That is, an R color signal is output from the pixel corresponding to the R color filter, a G color signal is output from the pixel corresponding to the G color filter, and a B color signal is output from the pixel corresponding to the B color filter. A signal is output.
  • the output of a light receiving element that constitutes a pixel of an image sensor is converted into digital data by an AD converter.
  • the values that can be handled are limited. For example, when using a 12-bit AD converter, the data range is 0 to 4095. Saturation occurs when strong light above a certain level is incident, and the output signal value of AD does not change even when more intense light is incident.
  • one pixel in the pixel group that shows the maximum possible value for any of the R component, G component, and B component for the pixels that are in contact with P is called a “saturated pixel”.
  • An image signal corresponding to a saturated pixel is called a “saturation signal”.
  • FIG. 1 is a flowchart for explaining the flow of processing of an image processing program according to the present invention.
  • an image processing apparatus is provided by causing the computer apparatus 100 shown in FIG. 2 to execute a program for performing the process of FIG.
  • the program is loaded on the data storage device of the personal computer 100 and then executed. It is used as an image processing device.
  • the loading of the program to the personal computer 100 may be performed by setting the recording medium 104 such as a CD-ROM storing the program in the personal computer 100, or via a communication line 101 such as a network. You can load it into your personal computer 100.
  • the program is stored in the hard disk device 103 of the server (computer) 102 connected to the communication line 101.
  • the communication line 101 is used, the program is transmitted as a data signal on a carrier wave.
  • the program is supplied as various forms of computer program products such as provision as data signals via the recording medium 104 and the communication line 101.
  • step S1 of FIG. 1 the CPU of computer device 100 (FIG. 2) detects the skin color area of the color electronic image to be processed, and proceeds to step S2. Specifically, it is a signal indicating the color of the pixels constituting the color electronic image, and the R component, the G component, and the color component signal (R, G, B) expressed in the RGB color system, If the signal ratio of B and B components is within the predetermined range, the pixel position is regarded as a skin color area in the color electronic image. In general, in the skin tone area, the ratio of the B component is smaller than the R and G components. Note that the color component signals (R, G, B) are subjected to signal processing such as white balance processing and gamma correction processing, and are converted into data in a RAW format.
  • signal processing such as white balance processing and gamma correction processing
  • the skin color area is detected by a method for extracting a specific shape pattern such as a face in an image (so-called face detection), or a personal computer. It may be configured as a method for detecting a designated input area from 100 pointing members (not shown).
  • step S2 the CPU detects a saturation region for the color component signals (R, G, B) included in the flesh color region detected in step S1, and proceeds to step S3.
  • the saturated region is a region corresponding to the saturated pixel in the power electronic image. For example, when the color component signal is digitized using an A / D converter with 12-bit output (full scale 4095), the CPU saturates when the signal value of at least one color component is 4095 or higher. Think of it as a pixel.
  • step S3 the CPU detects the saturation region ⁇ and proceeds to step S4.
  • Saturation region; 3 is a region in which one or two color component signals are saturated in the saturation region.
  • step S4 the CPU detects a saturated region and proceeds to step S5.
  • the saturation region is a pixel region in which all three color component signals are saturated in the saturation region j3.
  • FIG. 3 is a diagram for explaining the distribution of the saturation region of the color electronic image to be processed.
  • an image captured by an imaging device with an increased number of pixels has a saturation region / 3 and a saturation region / 3.
  • a saturated region exists in the saturated region / 3.
  • There are no saturated pixels adjacent to the saturated region the signals of all three color components are all unsaturated).
  • FIG. 4 is a diagram illustrating color component signals (Rs, Gs, Bs) of pixels included in the saturation region ⁇ and the saturation region 13.
  • the horizontal axis represents the pixel position, and the vertical axis represents the signal value.
  • the saturation signal remains at the saturation level.
  • Dashed line 41 illustrates the signal curve that would have been obtained if the R component signal would not be saturated
  • dashed line 42 would represent the signal curve that would have been obtained if the G component signal was not saturated. To do.
  • FIG. 5 is a diagram for explaining the color component signals (Rs, Gs, Bs) of the pixels included in the saturation region ⁇ and the saturation region ⁇ .
  • the horizontal axis represents the pixel position, and the vertical axis represents the signal value.
  • the saturation region ⁇ the signals of all color components are saturated.
  • the saturation signal remains unchanged at the saturation level.
  • Dashed line 51 illustrates the signal curve that would have been obtained if the R color component signal would not be saturated
  • dashed line 52 would illustrate the signal curve that would have been obtained if the G color component signal would not be saturated.
  • Dashed line 53 illustrates a signal curve that would have been obtained if the amber component signal was not saturated.
  • step S5 of FIG. 1 the CPU selects a reference color component as follows, and proceeds to step S6. That is, for the saturation region, the color component (B color component in the example of FIG. 5) with the narrowest saturation region range (the range where the saturated pixels are continuous) is selected, and the saturation region / 3 is selected. For the non-saturated color component, the color component with the smallest signal value (B color component in the examples in Figs. 4 and 5) is selected.
  • step S6 the CPU determines whether or not the saturation region ⁇ exists.
  • the CPU makes an affirmative decision in step S6 if a saturated region is detected in step S4, and proceeds to step S7. If a saturated region is not detected in step S4, the CPU makes a negative decision in step S6. Then go to step S8.
  • step S8 the signal of the B color component with the smallest signal value among the non-saturated color components is used as the reference color component information Bb in the saturation region ⁇ .
  • step S7 the CPU estimates information of the reference color component and proceeds to step S8.
  • Fig. 6 is an excerpt of the signal for component B in Fig. 5.
  • the CPU estimates a curve 53 in the saturation region that would have been obtained if the signal was not saturated.
  • the estimation in this case is to obtain the change (slope) of the signal value of the amber component of the saturation region i3 located on both sides of the saturation region ⁇ so as to sandwich the saturation region ⁇ , This is done by performing spline interpolation processing.
  • the spline curve is preferably a quadratic expression, but a cubic or higher order expression may be used. If the saturation region is narrow, use the signal value of the B color component included in the adjacent portion of the saturation region, which is just the saturation region i3, to determine the slope of the signal. As a result, a curve 53 indicated by a broken line is obtained.
  • the CPU uses the signal indicated by the curve 53 of the B color component as the reference color component information Bb in the saturation region ⁇ .
  • the estimation of the curve 53 may be a known method other than the spline interpolation process.
  • step S8 the CPU obtains color information about a pixel (referred to as a region peripheral pixel (FIG. 3)) included in a saturated region adjacent portion in contact with the saturation region ⁇ , and proceeds to step S9.
  • the color information is, for example, the color component ratio of the color component signals (R, G, B) corresponding to the region peripheral pixels.
  • the color information is preferably acquired for pixels close to the saturation region j3.
  • step S9 the CPU estimates color component information from the periphery of the saturation region toward the saturation region ⁇ , and proceeds to step S10.
  • the guess is that the color component ratios of the color component signals (Rs, Gs, Bs) in the saturation region / 3 and the saturation region are calculated as color component signals (R, G, corresponding to the peripheral pixels obtained in step S8. , B) to the same color component ratio Do it.
  • the CPU multiplies the reference color component information (in this example, B color component Bb) by the R color component ratio acquired in step S8 and the G color component ratio acquired in step S8. , R color component signal Rr and G color component signal Gr are calculated.
  • FIG. 7 is a diagram for explaining the processing in step S9. As indicated by the arrows in Fig. 7, each directional force is estimated from the surrounding pixels of the saturated region adjacent to the saturated region / 3. Then, the color component signal (Rr, Gr) of each pixel in the saturation region is estimated.
  • FIG. 8 is a diagram for explaining the G color component and the R color component estimated in step S9. As a result, a signal of an R color component is obtained as shown by a curve 81 indicated by a broken line in FIG. Further, as shown by a curve 82 indicated by a broken line in FIG. 8, a G color component signal is obtained.
  • a saturation region as shown in Fig. 5
  • step S 10 the CPU converts the R component signal Rs of the color component signals (Rs, Gs, Bs) corresponding to the pixels included in the saturation region ⁇ and the saturation region ⁇ to a signal indicated by the curve 81.
  • the G component signal Gs is changed (replaced) to the signal Gr indicated by the curve 82, and the process proceeds to Step S11.
  • the color component signals (Rr, Gr, Bs) for the saturation region ⁇ and the saturation region are obtained. Note that it is not necessary to change the color component signals of the pixels included in the adjacent portion of the saturated region, and the color component signals (R, G, B) may be left as they are.
  • step S11 the CPU performs RAW image development processing.
  • the color component with the largest signal value is selected from the signal curves estimated in step S9, and the brightness of the entire color electronic image is set so that the maximum value of the G color component curve 82 is lower than the saturation level.
  • Lower the level by multiplying the gain by a value less than 1.
  • the saturation level is 4095 and the downswing is d
  • the gain expressed by (4095 / (4095 + d)) is multiplied.
  • the color component signal (Rr, Gr, Bs) is also lowered by multiplying the same set gain, and the color component signal for other regions including the adjacent portion of the saturation region.
  • multiply (R, G, B) by a gain when the saturation level is 4095 and the downswing is d, the gain expressed by (4095 / (4095 + d)) is multiplied.
  • the color component signal (Rr, Gr, Bs) is also lowered by multiplying the same set gain, and the color component signal for other
  • FIG. 9 is a diagram for explaining the processing in step S11.
  • the horizontal axis represents the pixel position.
  • the vertical axis represents the signal value.
  • the signal value of any color component is expressed lower than the saturation level by lowering the luminance level.
  • the CPU further performs a smoothing process for smoothing the discontinuous portion of the color component signal so that the color component signal gradually changes at the boundary between the saturated region and the adjacent portion of the saturated region.
  • the saturation signal restoration processing can be performed on the single image data picked up with the common sensitivity without changing the sensitivity between the light receiving elements of the image pickup element after photographing.
  • the color component ratio is made uniform in the saturated region and the non-saturated region, it can be restored to a more natural color with less discomfort for the image viewer.
  • step S1 may be omitted and the configuration starting from step S2.
  • the force determination threshold described in the example in which the determination threshold value to be regarded as a saturated pixel is the signal value 4095 may be changed as appropriate, for example, in the case of 40000 or more.
  • the present invention can be applied to the case of other bit data (14 bits, 16 bits, etc.) described in the example in which the color component signal is expressed as 12 bit data.
  • step S11 the example in which the smoothing process is performed at the boundary between the saturated region j3 and the saturated region adjacent portion has been described. Smoothing processing may be performed even at the boundary with / 3.
  • the image processing program according to Fig. 1 may be installed in an electronic camera.
  • the electronic camera when recording the captured electronic image data on a recording medium, the electronic camera performs the saturation signal restoration process and the saturation signal restoration process, and the image signal after the saturation signal restoration process. Record both and. Note that only one of the image signals may be recorded on the recording medium in accordance with the function setting content for the electronic camera.
  • FIG. 10 is a diagram showing a configuration of the electronic camera (digital camera) 200.
  • An imaging element 203 such as a CCD images the subject 201 via the photographing lens 202.
  • the control device 204 generates electronic image data based on the output signal from the image sensor 203 and stores it in the memory 205 at any time.
  • the control device 204 performs image processing of the saturation signal restoration processing described above on the electronic image data stored in the memory 205, and performs image signal and saturation signal restoration processing after performing the saturation signal restoration processing. Both the image signal that has not been applied are recorded as electronic image data in a recording medium 206 such as a memory card. These processes are performed by executing an image processing program stored in the memory 205.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　画像処理装置は、画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対応する飽和領域を抽出する飽和領域抽出部と、画像の飽和領域と接する領域に含まれる画素に対応する色成分信号から色情報を取得する色情報取得部と、飽和領域に含まれる飽和画素の色情報を色情報取得部が取得した色情報に近づけるように、飽和領域の各画素の色成分信号を変更する色成分信号変更部とを備える。

Description

明 細 書
画像処理装置、コンピュータプログラム製品および画像処理方法 技術分野
[0001] 本発明は、電子画像に対する画像処理に関する。
背景技術
[0002] 被写体像を撮像して撮像信号を出力する撮像素子は、素子を構成する画素に一 定レベル以上の強い光が入射されると、当該画素からの出力信号が飽和する。飽和 した画素からの信号値は全て飽和レベルとして扱われるため、いわゆる白とび画像と して観察される。このような画素の飽和を避けるため、撮像素子に異なる撮像感度の 受光素子群を併存させ、撮像感度が高い側の受光素子からの出力信号が飽和した 場合には撮像感度が低い側の受光素子からの出力信号を用いることにより、白とび 画像の発生を抑える技術が特許文献 1に開示されてレ、る。
[0003] 特許文献 1 :特開 2000— 125209号公報
発明の開示
発明が解決しょうとする課題
[0004] 撮像感度が高レ、受光素子群と撮像感度が低レ、受光素子群とを撮像素子に併存さ せることはコスト上昇の要因になる。そこで、この様な高感度と低感度の受光素子を 併存させた特殊な撮像素子ではなぐ一種類の撮像感度を持つ受光素子群で構成 された一般的な撮像素子で撮像された画像にっレ、て、画素の飽和が発生してレ、る場 合には当該飽和画素からの飽和信号を補正する技術が望まれる。
課題を解決するための手段
[0005] 本発明の第 1の態様によると、画像処理装置は、画素に対応する所定の表色系の 色成分信号で表される画像から、飽和画素に対応する飽和領域を抽出する飽和領 域抽出部と、画像の飽和領域と接する領域に含まれる画素に対応する色成分信号 力 色情報を取得する色情報取得部と、飽和領域に含まれる飽和画素の色情報を 色情報取得部が取得した色情報に近づけるように、飽和領域の各画素の色成分信 号を変更する色成分信号変更部とを備える。 本発明の第 2の態様によると、第 1の態様の画像処理装置において、画像を表す色 成分信号は、 RAW形式のデータであるのが好ましい。
本発明の第 3の態様によると、第 1または第 2の態様の画像処理装置において、飽 和画素は、当該画素とその隣接する画素群において、対応する複数の色成分信号 のうち少なくとも 1つの色成分信号が飽和している画素であるのが好ましい。
本発明の第 4の態様によると、第 1〜第 3のいずれかの態様の画像処理装置におい て、飽和領域抽出部は、画像の肌色領域から飽和領域を抽出するのが好ましい。 本発明の第 5の態様によると、第 1〜第 4のいずれかの態様の画像処理装置におい て、色情報は、画素に対応する複数の色成分信号の信号比率であるのが好ましい。 本発明の第 6の態様によると、第 5の態様の画像処理装置において、色成分信号 変更部は、飽和画素に対応する複数の色成分信号の全てが飽和しているか否かを 判断し、全てが飽和している場合に、複数の色成分信号の中で飽和領域の範囲が 最も狭レ、色成分の信号を基準信号とし、この基準信号を画像の飽和領域と接する領 域に含まれる画素に対応する色成分信号を用いて算出し、算出した基準信号と複数 の色成分信号の信号比率とに基づいて飽和画素に対応する色成分信号を変更する のが好ましい。
本発明の第 7の態様によると、第 5または第 6の態様の画像処理装置において、色 成分信号変更部は、飽和画素に対応する複数の色成分信号の中で飽和していない 色成分信号が存在する場合、色成分信号の中で最も信号値が小さい色成分の信号 を基準信号とし、この基準信号と複数の色成分信号の信号比率とに基づいて飽和画 素に対応する色成分信号を変更するのが好ましい。
本発明の第 8の態様によると、第 6または第 7の態様の画像処理装置において、色 成分信号変更部によって色成分信号が変更された場合、変更後の色成分信号で表 される画像の輝度レベルを低下させる輝度低下部をさらに備えるのが好ましい。 本発明の第 9の態様によると、第 6または第 7の態様の画像処理装置において、色 成分信号変更部によって色成分信号が変更された場合、飽和領域および当該飽和 領域と接する領域間におレ、て色成分信号が徐々に変化するように色成分信号を平 滑化する平滑化部をさらに備えるのが好ましい。 本発明の第 10の態様によると、コンピュータ読み込み可能なコンピュータプロダラ ム製品は、画像処理プログラムを有し、該画像処理プログラムは、画素に対応する所 定の表色系の色成分信号で表される画像から、飽和画素に対応する飽和領域を抽 出する飽和領域抽出命令と、画像の飽和領域と接する領域に含まれる画素に対応 する色成分信号から色情報を取得する色情報取得命令と、飽和領域に含まれる飽 和画素の色情報を取得した色情報に近づけるように、飽和領域の各画素の色成分 信号を変更する色成分信号変更命令とを有する。
本発明の第 11の態様によると、画像処理方法は、画素に対応する所定の表色系 の色成分信号で表される画像から、飽和画素に対応する飽和領域を抽出し、画像の 飽和領域と接する領域に含まれる画素に対応する色成分信号から色情報を取得し、 飽和領域に含まれる飽和画素の色情報を取得した色情報に近づけるように、飽和領 域の各画素の色成分信号を変更する。
本発明の第 12の態様によると、画像処理方法は、画素に対応する所定の表色系 の色成分信号で表される単一画像に関し、飽和画素に対応する飽和領域の色成分 信号を復元する。
発明の効果
[0006] 本発明によれば、撮像されたカラー画像に含まれる飽和領域の画素を補正できる。
図面の簡単な説明
[0007] [図 1]画像処理プログラムの処理の流れを説明するフローチャートである。
[図 2]プログラムを実行するコンピュータ装置を説明する図である。
[図 3]カラー電子画像の飽和領域を説明する図である。
[図 4]飽和領域 および飽和領域 に含まれる画素の色成分信号を説明する図であ る。
[図 5]飽和領域 αと飽和領域 βおよびこれら飽和領域 αと飽和領域 βに含まれる画 素の色成分信号を説明する図である。
[図 6]図 5の Β色成分信号を抜粋した図である。
[図 7]ステップ S9の処理を説明する図である。
[図 8]推定された画素の色成分信号の分布を説明する図である。 [図 9]ステップ SI 1の処理を説明する図である。
[図 10]電子カメラの構成を示す図である。
発明を実施するための最良の形態
[0008] 本発明による画像処理装置は、カラー電子画像の信号に含まれる飽和信号を補正 する。画像処理装置が補正処理の対象とする電子カラー画像は、たとえば、 CCDィ メージセンサなどで構成される撮像装置によって撮像されたものである。撮像装置は 、イメージセンサの撮像面上に結像された被写体像を撮像し、撮像装置から出力さ れる画像信号は、各画素に入射される光の強さに応じてその信号レベルが異なる。
[0009] 撮像装置の撮像面には、たとえば、 R (赤）、 G (緑）および B (青）のフィルタがべィャ 一配列された色分解フィルタ力 イメージセンサのそれぞれの受光素子の位置に対 応するように設けられている。撮像装置が上記色分解フィルタを通して被写体像を撮 像するため、撮像装置から出力される信号は 1画素当たり RGBのいずれか 1つの色 成分の情報を有する。すなわち、 R色フィルタに対応する画素からは R色の信号が出 力され、 G色フィルタに対応する画素からは G色の信号が出力され、 B色フィルタに対 応する画素からは B色の信号が出力される。
[0010] 一般に、イメージセンサの画素を構成する受光素子の出力は、 ADコンバータでデ ジタルデータに変換される。その扱える値には制限があり、例えば 12ビット ADコンパ ータを使用する場合はデータ範囲は 0〜4095の範囲である。あるレベル以上の強い 光が入射されると飽和し、さらに強い光が入射しても ADの出力信号値は変化しない 。本説明では、 P 接し合ったレ、くつかの画素が、 R成分、 G成分、 B成分のいずれか について、取り得る値の最大値を示す画素群の一つの画素を「飽和画素」と呼び、飽 和画素に対応する画像信号を「飽和信号」と呼ぶ。
[0011] 以下、図面を参照して本発明を実施するための最良の形態について説明する。図
1は、本発明による画像処理プログラムの処理の流れを説明するフローチャートであ る。本実施形態では、図 1の処理を行うプログラムを図 2に示すコンピュータ装置 100 に実行させることにより、画像処理装置を提供する。画像処理プログラムをパーソナ ルコンピュータ 100に取込んで使用する場合には、パーソナルコンピュータ 100のデ 一タストレージ装置にプログラムをローデイングした上で、当該プログラムを実行させ ることによって画像処理装置として使用する。
[0012] パーソナルコンピュータ 100に対するプログラムのローデイングは、プログラムを格 納した CD— ROMなどの記録媒体 104をパーソナルコンピュータ 100にセットして行 つてもよいし、ネットワークなどの通信回線 101を経由する方法でパーソナルコンビュ ータ 100へローデイングしてもよレ、。通信回線 101を経由する場合は、通信回線 101 に接続されたサーバー（コンピュータ） 102のハードディスク装置 103などにプロダラ ムを格納しておく。また、通信回線 101を経由する場合は、プログラムをデータ信号と して搬送波に乗せて送信する。このように、プログラムは記録媒体 104や通信回線 1 01を介するデータ信号での提供など、種々の形態のコンピュータプログラム製品とし て供給される。
[0013] 図 1のステップ S1において、コンピュータ装置 100 (図 2)の CPUは、処理対象とす るカラー電子画像の肌色領域を検出してステップ S2へ進む。具体的には、カラー電 子画像を構成する画素の色を示す信号であって、 RGB表色系で表されている色成 分信号 (R，G,B)についての R成分、 G成分、および B成分の信号比率があら力じめ定 められている所定範囲内である場合に、当該画素位置をカラー電子画像における肌 色領域とみなす。一般に肌色領域は、 B成分の比率が R成分および G成分に比べて 小さい。なお、色成分信号（R,G,B)は、ホワイトバランス処理やガンマ補正処理など の信号処理が施されてレ、なレ、RAW形式のデータとする。
[0014] 肌色領域の検出は、上記色成分間の信号比率を用いた色判定による方式の他に 、画像中の顔などの特定形状パターンを抽出する（いわゆる顔検出）方式や、パーソ ナルコンピュータ 100のポインティング部材（不図示）から指定入力された領域を検出 する方式として構成してもよレ、。
[0015] ステップ S2において、 CPUは、ステップ S1で検出した肌色領域内に含まれる色成 分信号 (R，G,B)について、飽和領域を検出してステップ S3へ進む。飽和領域は、力 ラー電子画像の中で上記飽和画素に対応する領域である。 CPUは、たとえば、色成 分信号が 12ビット出力（フルスケール 4095)の A/D変換器を用いてディジタル化さ れている場合、少なくとも 1つの色成分の信号値が 4095以上の場合に飽和画素とみ なす。 [0016] ステップ S3において、 CPUは飽和領域 βを検出してステップ S4へ進む。飽和領 域 ;3は、上記飽和領域の中で 1つまたは 2つの色成分の信号が飽和している画素が レ、くつか連なった領域とする。
[0017] ステップ S4において、 CPUは飽和領域ひを検出してステップ S5へ進む。飽和領 域ひは、上記飽和領域 j3の中で 3つの色成分の信号が全て飽和している画素の領 域とする。
[0018] 図 3は、処理対象とするカラー電子画像の飽和領域の分布を説明する図である。高 画素数化が進んだ撮像装置で撮像した画像は、図 3の様に、飽和領域 /3と飽和領 域ひが存在しているときには、飽和領域隣接部に囲まれて飽和領域 /3が存在し、飽 和領域 /3内に飽和領域ひが存在する。飽和領域隣接部には飽和画素は存在しない (3つの色成分の信号が全て非飽和である）。
[0019] 図 4は、飽和領域 βおよび飽和領域 13に含まれる画素の色成分信号（Rs,Gs，Bs)を 説明する図である。横軸は画素位置を表し、縦軸は信号値を表す。図 4において、飽 和領域 i3では少なくとも B色成分の信号が飽和せず、 R成分および G成分の少なくと も一方の信号が飽和している。飽和信号は飽和レベルのまま変化がない。破線 41は 、 R色成分の信号が飽和しなければ得られたであろう信号曲線を例示し、破線 42は 、 G色成分の信号が飽和しなければ得られたであろう信号曲線を例示する。
[0020] 図 5は、飽和領域 αと飽和領域 βに含まれる画素の色成分信号 (Rs,Gs，Bs)を説明 する図である。横軸は画素位置を表し、縦軸は信号値を表す。図 5において、飽和領 域 i3では少なくとも B色成分の信号が飽和せず、 R成分および G成分の少なくとも一 方の信号が飽和している。飽和領域 αでは全ての色成分の信号が飽和している。飽 和信号は飽和レベルのまま変化がなレ、。破線 51は、 R色成分の信号が飽和しなけれ ば得られたであろう信号曲線を例示し、破線 52は、 G色成分の信号が飽和しなけれ ば得られたであろう信号曲線を例示する。また、破線 53は、 Β色成分の信号が飽和し なければ得られたであろう信号曲線を例示する。
[0021] 図 1のステップ S5において、 CPUは以下のように基準とする色成分を選択し、ステ ップ S6へ進む。すなわち、飽和領域ひについては飽和領域の範囲（飽和画素が連 続する範囲）が最も狭い色成分（図 5の例では B色成分）を選択し、飽和領域 /3につ いては非飽和の色成分のうち最も信号値が小さい色成分（図 4、図 5の例では B色成 分)を選択する。
[0022] ステップ S6において、 CPUは飽和領域 αが存在か否かを判定する。 CPUは、ステ ップ S4で飽和領域ひが検出されている場合にステップ S6を肯定判定してステップ S 7へ進み、ステップ S4で飽和領域ひが検出されていない場合にはステップ S6を否定 判定し、ステップ S8へ進む。ステップ S8へ進む場合は、非飽和の色成分のうち最も 信号値が小さい B色成分の信号を飽和領域 βにおける基準の色成分情報 Bbとする
[0023] ステップ S7において、 CPUは基準とする色成分の情報を推測してステップ S8へ進 む。図 6は、図 5の B成分についての信号を抜粋した図である。 CPUは、ステップ S 5 において選択した色成分 (本例では B色成分）について、信号が飽和しなければ得ら れたであろう飽和領域ひにおける曲線 53を推測する。
[0024] この場合の推測は、飽和領域 αを挟むように飽和領域 αの両側に位置する飽和領 域 i3の Β色成分の信号値の変化 (傾き）をそれぞれ求め、これらの傾きに周知のスプ ライン補間処理を施すことによって行う。この場合にスプライン曲線は二次式が好まし いが、三次以上の高次式を用いてもよい。飽和領域 の範囲が狭い場合には、飽和 領域 i3だけでなぐ飽和領域隣接部に含まれる B色成分の信号値も用いて信号の傾 きを求めるとよレ、。この結果、破線で示した曲線 53が得られる。 CPUは、 B色成分の 曲線 53によって示される信号を飽和領域 αにおける基準の色成分情報 Bbとする。な お、曲線 53の推測は、スプライン補間処理以外の公知な手法であってもよい。
[0025] ステップ S8において、 CPUは、飽和領域 βに接する飽和領域隣接部に含まれる 画素（領域周辺画素（図 3)と呼ぶ）についての色情報を取得してステップ S9へ進む 。色情報は、たとえば、領域周辺画素に対応する色成分信号 (R,G，B)の色成分比率 である。色情報は、飽和領域 j3に近い画素について取得するのが好ましい。
[0026] ステップ S9において、 CPUは、飽和領域周辺から飽和領域 β内部へ向けて色成 分の情報を推測し、ステップ S 10へ進む。この場合の推測は、飽和領域 /3および飽 和領域ひにおける色成分信号 (Rs,Gs，Bs)の色成分比率を、ステップ S8で取得した 領域周辺画素に対応する色成分信号 (R，G,B)の色成分比率と同じに揃えることによ つて行う。 CPUは、基準の色成分情報（本例では B色成分 Bb)にステップ S8で取得 した R色成分の色成分比率、およびステップ S8で取得した G色成分の色成分比率を それぞれ乗算することにより、 R色成分の信号 Rrおよび G色成分の信号 Grをそれぞ れ算出する。
[0027] 図 7は、ステップ S9の処理を説明する図である。図 7の矢印が示すように、飽和領 域隣接部に含まれる領域周辺画素から飽和領域 /3内部へ向けて、それぞれの方向 力 推測する。そして、飽和領域中の各画素の色成分信号 (Rr,Gr)を推定する。図 8 は、ステップ S9で推定された G色成分および R色成分を説明する図である。この結果 、図 8において破線で示した曲線 81のように、 R色成分の信号が得られる。また、図 8 において破線で示した曲線 82のように、 G色成分の信号が得られる。また、図 5に示 すような飽和領域ひを有している場合も同様に各画素の色成分信号 (Rr，Gr)を得る こと力 Sできる。以下の工程では飽和領域ひの有無に関係なく同じ処理が行われるの で、図 4に示す飽和領域を有したケースの説明のみを行う。
[0028] ステップ S 10において、 CPUは、飽和領域 α、飽和領域 βに含まれる画素に対応 する色成分信号 (Rs，Gs,Bs)のうち、 R成分の信号 Rsを曲線 81で示される信号 Rrに、 G成分の信号 Gsを曲線 82で示される信号 Grに、それぞれ変更（置換）してステップ S 11へ進む。これにより、飽和領域 α、飽和領域 についての色成分信号（Rr，Gr，Bs) が得られる。なお、飽和領域隣接部に含まれる画素の色成分信号についての変更は 不要であり、色成分信号（R,G，B)のままでよい。
[0029] ステップ S11において、 CPUは RAW画像の展開処理を行う。展開処理では、ステ ップ S9で推測した信号曲線のうち最も信号値が大きい色成分を選択し、 G色成分の 曲線 82の最大値を飽和レベルより低くするように、カラー電子画像全体の輝度レべ ノレに 1より小さい値のゲインを掛けて低くする。具体的には、飽和レベルが 4095、下 げ幅が dの場合、（4095/(4095 + d))で表されるゲインを掛ける。飽和領域ひ、飽 和領域 /3については色成分信号 (Rr，Gr，Bs)にも同様に設定されたゲインを掛けて 低くするとともに、飽和領域隣接部を含む他の領域についての色成分信号 (R,G，B) にも同様にゲインを掛けて低くする。
[0030] 図 9は、ステップ S11の処理を説明する図である。図 4と同様に横軸は画素位置を 表し、縦軸は信号値を表す。図 9によれば、輝度レベルを低くしたことにより、どの色 成分の信号値も飽和レベルより低く表されている。 CPUはさらに、飽和領域 と飽和 領域隣接部との境界において色成分信号が徐々に変化するように、色成分信号の 不連続部分を平滑化する平滑化処理を行う。 CPUは、ステップ S 11の処理を行うと 図 2による一連の処理を終了する。
[0031] 以上説明した実施形態によれば、次の作用効果が得られる。
(1)カラー電子画像の中で、画素が飽和している箇所 (飽和領域）の信号の色成分 比率を画素が飽和してレ、なレ、箇所 (飽和領域隣接部）の信号の色成分比率と揃える ように、上記飽和領域内で飽和している色成分の信号を推測するようにした。したが つて、撮像素子の受光素子間の感度を異ならせることなしに共通の感度で撮像した 単一の画像データについて、飽和信号の復元処理を撮影後に行うことができる。また 、飽和領域と非飽和領域とで色成分比率を揃えるようにしたので、画像の観察者にと つて違和感が少ない、より自然な色に復元できる。
[0032] (2)電子画像の肌色部分について飽和信号の復元を行うようにしたので、他の色に 比べて視覚的に悪影響が大きい肌色部分の白飛びを効果的に抑制できる。一般に 、肌の色はなだらかなグラデーションを有して色相の変化が少ないため、飽和領域と 非飽和領域とで色成分比率を揃える本実施形態の復元方法は特に有効である。さら に、肌色は B成分の信号比率が R成分および G成分の信号比率に比べて小さレ、こと から、少なくとも B色成分の信号が飽和しないで階調情報を保持している可能性が高 レ、。したがって、全ての色成分の信号が飽和する場合に比べて、より自然な色に復 元すること力 Sできる。
[0033] (3)飽和領域と非飽和領域との境界部分において、色成分信号の変化の不連続部 分を平滑化するようにしたので、復元後の画像の色合いが境界部分で階段状に変化 することなぐ画像の観察者にとって違和感が少なくなるように復元することができる。
[0034] 以上の説明では RAW形式のデータに対して飽和信号を修復する処理を説明した が、本発明 fお PEG形式のデータなど、 RAW形式でないデータに対する修復処理 においても適用が可能である。
[0035] 飽和領域を肌色領域の中から検出するようにしたが、飽和信号の復元処理を肌色 以外の領域についても行うようにしてもよレ、。この場合にはステップ S1を省略し、ステ ップ S2から開始する構成とすればよい。
[0036] 飽和画素とみなす判定閾値を信号値 4095とする例を説明した力 判定閾値は 40 00以上の場合などに適宜変更してよい。また、色成分信号が 12ビットデータして表 現されている例を説明した力 他のビットデータ（14ビット、 16ビット等）の場合でも本 発明を適用できる。
[0037] ステップ S 11の説明において、飽和領域 j3と飽和領域隣接部との境界において平 滑化処理を行う例を説明したが、飽和領域ひが存在する場合には、飽和領域ひと飽 和領域 /3との境界においても平滑化処理を行うように構成してよい。
[0038] カラー電子画像が RGBの色分解フィルタを通して撮影された原色系画像信号で表 されている例を説明したが、補色系色分解フィルタを通して撮影された補色系画像 信号で表されている画像にも本発明を適用できる。なお、色分解数は 3色に限らず、 4色のものであってもよレ、。
[0039] 図 1による画像処理プログラムを電子カメラに搭載するようにしてもよい。この場合の 電子カメラは、撮影した電子画像データを記録媒体へ記録する場合に、飽和信号の 復元処理を施した後の画像信号と、飽和信号の復元処理を施してレ、なレ、画像信号と の両方を記録する。なお、電子カメラへの機能設定内容に応じて、いずれか一方の 画像信号のみを記録媒体に記録する構成にしてもよい。
[0040] 図 10は、上記電子カメラ（デジタルカメラ） 200の構成を示す図である。 CCDなどの 撮像素子 203は、撮影レンズ 202を介して被写体 201を撮像する。制御装置 204は 、撮像素子 203からの出力信号に基づき電子画像データを生成しメモリ 205にいつ たん格納する。制御装置 204は、メモリ 205に格納された電子画像データに対して前 述した飽和信号の復元処理の画像処理を行い、飽和信号の復元処理を施した後の 画像信号と飽和信号の復元処理を施していない画像信号との両方を、電子画像デ ータとしてメモリーカードなどの記録媒体 206に記録する。これらの処理は、メモリ 20 5に格納された画像処理プログラムを実行することにより行われる。
[0041] 以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成 要素と本発明の構成要素との対応関係に何ら限定されるものではない。 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。 日本国特許出願 2005年第 173806号（2005年 6月 14日出願）

Claims

請求の範囲
[1] 画像処理装置であって、
画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対 応する飽和領域を抽出する飽和領域抽出部と、
前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号か ら色情報を取得する色情報取得部と、
前記飽和領域に含まれる前記飽和画素の色情報を前記色情報取得部が取得した 色情報に近づけるように、前記飽和領域の各画素の色成分信号を変更する色成分 信号変更部とを備える。
[2] 請求項 1に記載の画像処理装置において、
前記画像を表す色成分信号は、 RAW形式のデータである。
[3] 請求項 1または 2に記載の画像処理装置において、
前記飽和画素は、当該画素とその隣接する画素群において、対応する複数の色成 分信号のうち少なくとも 1つの色成分信号が飽和している画素である。
[4] 請求項 1〜請求項 3のいずれか一項に記載の画像処理装置において、
前記飽和領域抽出部は、前記画像の肌色領域から前記飽和領域を抽出する。
[5] 請求項 1〜請求項 4のいずれか一項に記載の画像処理装置において、
前記色情報は、画素に対応する複数の色成分信号の信号比率である。
[6] 請求項 5に記載の画像処理装置において、
前記色成分信号変更部は、前記飽和画素に対応する複数の色成分信号の全てが 飽和しているか否力 ^判断し、全てが飽和している場合に、前記複数の色成分信号 の中で飽和領域の範囲が最も狭い色成分の信号を基準信号とし、この基準信号を 前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号を用 レ、て算出し、算出した基準信号と前記複数の色成分信号の信号比率とに基づいて 前記飽和画素に対応する色成分信号を変更する。
[7] 請求項 5または 6に記載の画像処理装置において、
前記色成分信号変更部は、前記飽和画素に対応する複数の色成分信号の中で飽 和してレ、なレ、色成分信号が存在する場合、前記色成分信号の中で最も信号値が小 さレ、色成分の信号を基準信号とし、この基準信号と前記複数の色成分信号の信号比 率とに基づいて前記飽和画素に対応する色成分信号を変更する。
[8] 請求項 6または 7に記載の画像処理装置において、
前記色成分信号変更部によって色成分信号が変更された場合、前記変更後の色 成分信号で表される画像の輝度レベルを低下させる輝度低下部をさらに備える。
[9] 請求項 6または 7に記載の画像処理装置において、
前記色成分信号変更部によって色成分信号が変更された場合、前記飽和領域お よび当該飽和領域と接する領域間において前記色成分信号が徐々に変化するよう に前記色成分信号を平滑化する平滑化部をさらに備える。
[10] コンピュータ読み込み可能なコンピュータプログラム製品であって、
画像処理プログラムを有し、
該画像処理プログラムは、
画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対 応する飽和領域を抽出する飽和領域抽出命令と、
前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号か ら色情報を取得する色情報取得命令と、
前記飽和領域に含まれる前記飽和画素の色情報を前記取得した色情報に近づけ るように、前記飽和領域の各画素の色成分信号を変更する色成分信号変更命令とを 有する。
[11] 画像処理方法であって、
画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対 応する飽和領域を抽出し、
前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号か ら色情報を取得し、
前記飽和領域に含まれる前記飽和画素の色情報を前記取得した色情報に近づけ るように、前記飽和領域の各画素の色成分信号を変更する。
[12] 画像処理方法であって、
画素に対応する所定の表色系の色成分信号で表される単一画像に関し、飽和画 素に対応する飽和領域の色成分信号を復元する。
PCT/JP2006/311844 2005-06-14 2006-06-13 画像処理装置、コンピュータプログラム製品および画像処理方法 Ceased WO2006134923A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/918,726 US8270753B2 (en) 2005-06-14 2006-06-13 Image processing device, computer program product, and image processing method to restore signals in a saturated area
JP2007521304A JP4803178B2 (ja) 2005-06-14 2006-06-13 画像処理装置、コンピュータプログラム製品および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-173806 2005-06-14
JP2005173806 2005-06-14

Publications (1)

Publication Number Publication Date
WO2006134923A1 true WO2006134923A1 (ja) 2006-12-21

Family

ID=37532281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/311844 Ceased WO2006134923A1 (ja) 2005-06-14 2006-06-13 画像処理装置、コンピュータプログラム製品および画像処理方法

Country Status (3)

Country Link
US (1) US8270753B2 (ja)
JP (1) JP4803178B2 (ja)
WO (1) WO2006134923A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219140A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
WO2012042741A1 (ja) * 2010-09-27 2012-04-05 パナソニック株式会社 固体撮像装置及び撮像装置
EP2186345A4 (en) * 2007-09-14 2015-08-19 Ricoh Co Ltd IMAGING APPARATUS AND ILLUSTRATIVE PROCESS
JP2017505956A (ja) * 2014-01-31 2017-02-23 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 飽和画像を非飽和画像に変換する方法
WO2021020355A1 (ja) * 2019-07-29 2021-02-04 カシオ計算機株式会社 色推定装置、色推定方法及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1482724B1 (fr) * 2003-05-19 2007-07-11 STMicroelectronics S.A. Méthode de traitement d'images numériques avec correction d'exposition par reconnaissance de zones appartenant à la peau du sujet photographié
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP5521436B2 (ja) * 2009-08-19 2014-06-11 ソニー株式会社 動画像記録装置、動画像記録方法およびプログラム
TWI498786B (zh) * 2009-08-24 2015-09-01 Semiconductor Energy Lab 觸控感應器及其驅動方法與顯示裝置
DE102010003039A1 (de) * 2010-03-18 2011-09-22 Basler Ag Farbsättigungskorrektur
JP5961149B2 (ja) * 2013-08-26 2016-08-02 キヤノン株式会社 画像処理装置およびその制御方法
CN105095911B (zh) * 2015-07-31 2019-02-12 小米科技有限责任公司 敏感图片识别方法、装置以及服务器
JP6873679B2 (ja) * 2016-12-14 2021-05-19 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
JP7039183B2 (ja) * 2017-05-31 2022-03-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331573A (ja) * 1995-05-30 1996-12-13 Sanyo Electric Co Ltd 映像信号処理装置
JPH0998437A (ja) * 1995-09-29 1997-04-08 Sanyo Electric Co Ltd 撮像装置
JPH11313338A (ja) * 1998-04-24 1999-11-09 Canon Inc 信号処理装置および撮像用信号処理方法
JP2004524635A (ja) * 2001-04-12 2004-08-12 ヒューレット・パッカード・カンパニー 画像データ内の飽和した色値の真の色値を推算する方法と装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072526A (en) * 1990-10-15 2000-06-06 Minolta Co., Ltd. Image sensing device that can correct colors corresponding to skin in a video signal
JP3836237B2 (ja) * 1997-12-26 2006-10-25 富士写真フイルム株式会社 画像修正方法および装置
JP3565723B2 (ja) * 1998-09-30 2004-09-15 富士写真光機株式会社 カラー画像処理装置
JP4018820B2 (ja) 1998-10-12 2007-12-05 富士フイルム株式会社 固体撮像装置および信号読出し方法
JP2003274427A (ja) * 2002-03-15 2003-09-26 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
CN100450188C (zh) 2002-07-18 2009-01-07 索尼株式会社 图像数据处理方法和图像数据处理装置
JP4483604B2 (ja) 2005-01-31 2010-06-16 株式会社ニコン 色空間変換装置および色空間変換プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331573A (ja) * 1995-05-30 1996-12-13 Sanyo Electric Co Ltd 映像信号処理装置
JPH0998437A (ja) * 1995-09-29 1997-04-08 Sanyo Electric Co Ltd 撮像装置
JPH11313338A (ja) * 1998-04-24 1999-11-09 Canon Inc 信号処理装置および撮像用信号処理方法
JP2004524635A (ja) * 2001-04-12 2004-08-12 ヒューレット・パッカード・カンパニー 画像データ内の飽和した色値の真の色値を推算する方法と装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219140A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
EP2186345A4 (en) * 2007-09-14 2015-08-19 Ricoh Co Ltd IMAGING APPARATUS AND ILLUSTRATIVE PROCESS
WO2012042741A1 (ja) * 2010-09-27 2012-04-05 パナソニック株式会社 固体撮像装置及び撮像装置
JP2012074763A (ja) * 2010-09-27 2012-04-12 Panasonic Corp 固体撮像装置及び撮像装置
JP2017505956A (ja) * 2014-01-31 2017-02-23 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 飽和画像を非飽和画像に変換する方法
WO2021020355A1 (ja) * 2019-07-29 2021-02-04 カシオ計算機株式会社 色推定装置、色推定方法及びプログラム
CN114175613A (zh) * 2019-07-29 2022-03-11 卡西欧计算机株式会社 色估计装置、色估计方法以及程序
US12154298B2 (en) 2019-07-29 2024-11-26 Casio Computer Co., Ltd. Color estimation device, color estimation method, and program
CN114175613B (zh) * 2019-07-29 2025-03-18 卡西欧计算机株式会社 色估计装置、色估计方法以及存储介质

Also Published As

Publication number Publication date
US8270753B2 (en) 2012-09-18
US20080212892A1 (en) 2008-09-04
JPWO2006134923A1 (ja) 2009-01-08
JP4803178B2 (ja) 2011-10-26

Similar Documents

Publication Publication Date Title
JP4054184B2 (ja) 欠陥画素補正装置
CN101951457B (zh) 图像处理装置以及灰度修正方法
JP4831067B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
JP6415062B2 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
TW200838285A (en) Image processing apparatus, image capturing apparatus, image processing method in these apparatuses, and program allowing computer to execute the method
US8737762B2 (en) Method for enhancing image edge
WO2006134923A1 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
US20090268051A1 (en) Image processing apparatus, imaging apparatus, image processing method and program recording medium
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
CN114841904B (zh) 图像融合方法、电子设备及存储装置
KR20140013891A (ko) 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치
JP2010211773A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP3809818B2 (ja) 画像処理方法、記録媒体および画像処理装置
US20130077860A1 (en) Image signal processor and method for image enhancement
KR101233986B1 (ko) 퍼플 프린징 보정 장치 및 방법
JP2020140392A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2007097125A1 (ja) 画像の質感を補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
JP4596069B2 (ja) ノイズ除去フィルタ処理回路、画像処理回路、撮像装置及びノイズ除去プログラム
JP7657629B2 (ja) 撮像装置
KR100999888B1 (ko) 이미지 신호 처리 장치, 이미지 신호 처리 장치의 휘도 노이즈 저감 방법 및 휘도 노이즈 저감 방법이 기록된 기록매체
JP2005260675A (ja) 画像処理装置およびプログラム
JP6413210B2 (ja) 画像処理装置、撮像装置およびプログラム
JP5494249B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP4306687B2 (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
JP2004235700A (ja) 画像処理装置、画像処理方法、およびそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007521304

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11918726

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06766655

Country of ref document: EP

Kind code of ref document: A1