JP2015041805A - Image processing apparatus, image processing method, image processing program and computer with image processing program recorded therein - Google Patents
Image processing apparatus, image processing method, image processing program and computer with image processing program recorded therein Download PDFInfo
- Publication number
- JP2015041805A JP2015041805A JP2013170637A JP2013170637A JP2015041805A JP 2015041805 A JP2015041805 A JP 2015041805A JP 2013170637 A JP2013170637 A JP 2013170637A JP 2013170637 A JP2013170637 A JP 2013170637A JP 2015041805 A JP2015041805 A JP 2015041805A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- color temperature
- colors
- image data
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
本発明は、従来のＲＧＢ３原色のカラーフィルタよりも色数が多いカラーフィルタを備える多バンドデジタルカメラで撮影される被写体の多バンド画像データから、被写体を照明する光源の色温度を、より正確に推定する画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータに関する。 The present invention more accurately determines the color temperature of a light source that illuminates a subject from multiband image data of a subject photographed by a multiband digital camera having a color filter having a larger number of colors than the conventional RGB three primary color filters. The present invention relates to an image processing apparatus to be estimated, an image processing method, an image processing program, and a computer recording the image processing program.
従来のＲＧＢ３原色のカラーフィルタを備えるデジタルカメラでは、専用の光源検出センサに代わり、撮影された３バンドの画像データから、被写体を照明する光源の色温度を推定する技術が一般的になっている。 In a conventional digital camera having RGB three primary color filters, a technique for estimating the color temperature of a light source that illuminates a subject from captured three-band image data instead of a dedicated light source detection sensor has become common. .
ＲＧＢ３原色画像データから被写体を照射する光源の色温度を推定する方法としては、例えば、特許文献１に、その一例が開示されている。 An example of a method for estimating the color temperature of a light source that irradiates a subject from RGB three primary color image data is disclosed in Patent Document 1, for example.
また、近年、被写体の色再現性を向上させるために、３バンドよりも多い複数種類の色のカラーフィルタを用いる多バンドデジタルカメラの研究開発が行われている。色再現性を向上させるためには、撮影された多バンドの画像データから、被写体を照明する光源の色温度をより正確に推定する必要がある。 In recent years, in order to improve the color reproducibility of a subject, research and development of a multi-band digital camera using color filters of a plurality of types of colors more than three bands has been performed. In order to improve color reproducibility, it is necessary to more accurately estimate the color temperature of the light source that illuminates the subject from the captured multiband image data.
多バンドの画像データから被写体を照明する光源の色温度を推定する方法としては、例えば、特許文献２に、６種類の色のカラーフィルタを用いて被写体の多バンド画像データを取得し、その６原色の画像データを色数削減処理によって３原色の画像データに変換した後、その３原色の画像データを用いて、被写体を照明する光源の色温度を推定する方法が開示されている。 As a method for estimating the color temperature of a light source that illuminates a subject from multiband image data, for example, Patent Document 2 acquires multiband image data of a subject using color filters of six kinds of colors. A method for estimating the color temperature of a light source that illuminates a subject using the image data of the three primary colors after the primary color image data is converted into the image data of the three primary colors by the number-of-colors reduction processing is disclosed.
詳しくは、特許文献２には、撮影された６種類の色の画像データを３種類の色に色数を削減する方法として、６種類の色のうち、分光感度が近い２種類の色をそれぞれ加算平均する方法や、単純に６種類の色のうち、最も一般的なＲＧＢに近い分光感度を持つ３種類の色をそのまま用いる方法が開示されている。
なお、色数削減処理により得られた３種類の色の画像データを用いて被写体を照明する光源の色温度を推定する方法としては、従来のＲＧＢ３原色による被写体を照明する光源の色温度を推定するためのアルゴリズムを用いることが記載されている。
Specifically, in Patent Document 2, as a method of reducing the number of colors of image data of six types of photographed images to three types, two types of colors having close spectral sensitivities among the six types of colors are respectively provided. A method of averaging and a method of simply using three types of colors having spectral sensitivity close to the most common RGB among the six types of colors are disclosed.
As a method of estimating the color temperature of the light source that illuminates the subject using the image data of three types of colors obtained by the color number reduction process, the color temperature of the light source that illuminates the subject with the conventional RGB three primary colors is estimated. It is described to use an algorithm to do this.
ここで、従来、一般的に用いられているＲＧＢ３原色の画像データから、被写体を照明する光源の色温度を推定する基本的な方法の一例を説明する。 Here, an example of a basic method for estimating the color temperature of a light source that illuminates a subject from image data of RGB three primary colors that are generally used conventionally will be described.
なお、光源の色温度の推定に先立ち、例えば、被写体を撮影したときのイメージセンサが出力した撮像データ（ＲＡＷデータ）をダウンサンプリングすることによって、例えば４０×３０画素のＲ、Ｇ、Ｂ画像データを取得する。
例えば４０００×３０００画素のＲＧＢベイヤー配列のＲＡＷデータに対して、縦横１００×１００画素のブロックに分け、それぞれの縦横１００×１００画素のブロックにおけるＲ、Ｇ、Ｂそれぞれの画素の平均値を求め、それぞれのブロック（縦横１００×１００画素）を１画素とすることで、ダウンサンプリングした４０×３０画素のＲ、Ｇ、Ｂ画像データが得られる。なお、得られた４０×３０画素のＲ、Ｇ、Ｂ画素データは、イメージセンサにおける図示しない記録部に記録される。記録部に記録された４０×３０画素のＲ、Ｇ、Ｂ画素データを入力することで取り出すことができる。
Prior to the estimation of the color temperature of the light source, for example, 40 × 30 pixel R, G, B image data, for example, by down-sampling the imaging data (RAW data) output by the image sensor when the subject is photographed. To get.
For example, for RAW data of RGB × Bayer array of 4000 × 3000 pixels, it is divided into blocks of 100 × 100 pixels vertically and horizontally, and average values of R, G, and B pixels in each block of 100 × 100 pixels vertically and horizontally are obtained, By making each block (vertical and horizontal 100 × 100 pixels) one pixel, down-sampled 40 × 30 pixel R, G, B image data can be obtained. The obtained 40 × 30 pixel R, G, B pixel data is recorded in a recording unit (not shown) of the image sensor. It can be extracted by inputting 40 × 30 pixel R, G, B pixel data recorded in the recording unit.
光源の色温度の推定に際しては、まず、ダウンサンプリングして取得したＲ，Ｇ，Ｂ画像データにおける全ての画素に対して、それぞれの色度値（Ｒ／Ｇ,Ｂ／Ｇ）を求める。
次に、求めた各画素の色度値を、例えば、図１に示す（Ｒ／Ｇ，Ｂ／Ｇ）色度図上にプロットする。
次に、予め設定しておいた、例えば、図１に示すような、色度図上での各種の光源の色温度エリア判定基準に従い、プロットした全ての点について光源の色温度のエリア判定を行い、各光源の色温度エリアに属するプロットした点の個数を集計する。
次に、集計した各光源の色温度エリアに属するプロットした点の個数の大小の順位から、例えば、次の表１に示すような条件に従い、被写体を照明する光源の色温度を推定する。
In estimating the color temperature of the light source, first, chromaticity values (R / G, B / G) are obtained for all pixels in the R, G, B image data obtained by downsampling.
Next, the obtained chromaticity value of each pixel is plotted on, for example, the (R / G, B / G) chromaticity diagram shown in FIG.
Next, according to the color temperature area determination criteria of various light sources on the chromaticity diagram as shown in FIG. 1, for example, the area determination of the color temperature of the light source is performed for all plotted points. The number of plotted points belonging to the color temperature area of each light source is totaled.
Next, the color temperature of the light source that illuminates the subject is estimated from the order of the number of plotted points belonging to the color temperature area of each light source, for example, according to the conditions shown in Table 1 below.
なお、図２に示すように、例えば、手前を照明する光源が蛍光灯であって、奥を照明する光源が水銀灯であるような、画面内における異なる位置に異なる複数種類の光源が存在する被写体画像においては、手前も奥も違和感のない色再現を実現するためには、画面内の領域に応じて被写体を照明する光源の色温度を検出する必要がある。
その場合、図３に示すように、被写体の画面内を複数のブロックに分け、それぞれのブロックに対して、上述した従来の一般的なＲＧＢ３原色画像データから被写体を照明する光源の色温度の推定方法を使えば、それぞれのブロックにおける被写体を照明する光源の色温度を推定することは可能である。
As shown in FIG. 2, for example, a subject having a plurality of different types of light sources at different positions in the screen, such as a fluorescent lamp as a light source that illuminates the front side and a mercury lamp as a light source that illuminates the back side. In an image, in order to realize color reproduction that does not feel uncomfortable at the front and back, it is necessary to detect the color temperature of the light source that illuminates the subject in accordance with the area in the screen.
In that case, as shown in FIG. 3, the screen of the subject is divided into a plurality of blocks, and for each block, the color temperature of the light source that illuminates the subject from the above-described conventional general RGB three primary color image data is estimated. If the method is used, it is possible to estimate the color temperature of the light source that illuminates the subject in each block.
ところで、上記特許文献２に記載されている多バンド画像データから被写体を照明する光源の色温度を推定する方法では、６原色（Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２）から３原色（Ｒ、Ｇ、Ｂ）に減色処理する一つの方法として、例えば（Ｒ１＋Ｒ２）／２＝Ｒ、（Ｇ１＋Ｇ２）／２＝Ｇ、（Ｂ１＋Ｂ２）／２＝Ｂのように、分光感度が近い２種類の色をそれぞれ加算平均している。
しかし、このような加算平均による減色処理によって新たに得られたＲＧＢ３色の画像データは、本来の６種類の色のうちの２種類の色の混色となり、それぞれの色に対応する分光感度が、本来の色に比べてブロードな分布となる。このブロードなＲＧＢ３色の画像データを用いて被写体を照明する光源の色温度を推定すると、従来の一般的な３原色を用いて被写体を照明する光源の色温度を推定する方法よりも、光源の色温度の推定精度が劣る可能性がある。
By the way, in the method for estimating the color temperature of the light source that illuminates the subject from the multi-band image data described in Patent Document 2, six primary colors (R1, R2, G1, G2, B1, B2) to three primary colors (R , G, and B) are two types of colors having similar spectral sensitivities, such as (R1 + R2) / 2 = R, (G1 + G2) / 2 = G, and (B1 + B2) / 2 = B. Are averaged.
However, the RGB three-color image data newly obtained by such subtractive color reduction processing is a mixed color of two of the six original colors, and the spectral sensitivity corresponding to each color is The distribution is broader than the original color. When the color temperature of the light source that illuminates the subject is estimated using the image data of the three RGB colors, the light source of the light source is estimated more than the conventional method of estimating the color temperature of the light source that illuminates the subject using the three primary colors. The estimation accuracy of the color temperature may be inferior.
また、上記特許文献２に記載されている方法では、６原色（Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２）から３原色（Ｒ、Ｇ、Ｂ）に減色処理する他の方法として、混色せずに、単純に６種類の色のうち「一般的な３原色」に最も近い分光感度を持つ３種類の色の画像データをそのまま用いて被写体を照明する光源の色温度を推定している。
しかし、６種類の色のうち３種類の色の画像データをそのまま用いて被写体を照明する光源の色温度を推定する方法では、従来の一般的な３原色を用いて被写体を照明する光源の色温度を推定する方法と同等の光源の色温度の推定精度しか確保できず、多バンド撮影によるメリットが全く生かされないという問題がある。
In the method described in Patent Document 2, color mixing is performed as another method for reducing the color from six primary colors (R1, R2, G1, G2, B1, B2) to three primary colors (R, G, B). Instead, the color temperature of the light source that illuminates the subject is simply estimated using the image data of three types of colors having spectral sensitivity closest to “general three primary colors” among the six types of colors as they are.
However, in the method of estimating the color temperature of the light source that illuminates the subject using the image data of three types of the six colors as they are, the color of the light source that illuminates the subject using the three general primary colors in the past. There is a problem that only the estimation accuracy of the color temperature of the light source equivalent to the method of estimating the temperature can be ensured, and the merit of the multiband shooting is not utilized at all.
また、被写体の画面内を複数のブロックに分けて、それぞれのブロックにおける被写体を照明する光源の色温度を推定するようにすると、色温度の推定に用いる画素の数、即ち色温度推定のサンプルポイントの数が少なくなる。このため、画面内における異なる位置に異なる複数種類の光源が存在する被写体画像において、画面内のブロックごとに従来の一般的な３原色を用いる光源の色温度を推定する方法や上記特許文献２に記載の光源の色温度を推定する方法を用いると、それぞれのブロックにおける被写体を照明する光源の色温度の推定精度が低下するという問題がある。 In addition, when the subject screen is divided into a plurality of blocks and the color temperature of the light source that illuminates the subject in each block is estimated, the number of pixels used for color temperature estimation, that is, sample points for color temperature estimation The number of For this reason, in a subject image in which different types of light sources exist at different positions in the screen, the conventional method for estimating the color temperature of a light source using three primary colors for each block in the screen is disclosed in Patent Document 2 above. When the method for estimating the color temperature of the light source described is used, there is a problem that the estimation accuracy of the color temperature of the light source that illuminates the subject in each block is lowered.
本発明は、上記従来の課題を解決するために提案されたものであり、多バンドデジタルカメラで撮影された被写体の多バンド画像データを用いて、より正確に被写体を照明する光源の色温度を推定することを可能にする画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータを提供することを目的としている。 The present invention has been proposed in order to solve the above-described conventional problems, and the color temperature of a light source that illuminates a subject more accurately can be obtained using multi-band image data of a subject photographed by a multi-band digital camera. An object of the present invention is to provide an image processing apparatus, an image processing method, an image processing program, and a computer in which the image processing program is recorded.
上記目的を達成するため、本発明による画像処理装置は、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置であって、前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段と、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段と、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段と、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段とを有することを特徴としている。 In order to achieve the above object, an image processing apparatus according to the present invention uses a color temperature of a light source that illuminates a subject from image data obtained by photographing the subject using an image sensor having N (3 <N) color filters. A multi-band image data input means for inputting image data of N types of colors, and M types (of the N types of colors input by the multi-band image data input means ( A first light source color temperature estimating means for estimating a first color temperature of a light source that illuminates a subject from image data of a color of 3 ≦ M <N or 3 <M ≦ N), and the multiband image data input means. Among the N types of colors inputted by the first light source color temperature estimation means, the first light source color temperature estimation means differs from the M types of colors used for estimating the first color temperature of the light source by at least some of the colors or the number of colors. , P types (3 ≦ P < N or 3 <P ≦ N), the second light source color temperature estimation means for estimating the second color temperature of the light source that illuminates the subject, and the first light source color temperature estimation means The light source color temperature determination for determining the color temperature of the light source that illuminates the subject based on the first color temperature of the light source and the second color temperature of the light source estimated by the second light source color temperature estimation means Means.
また、本発明による画像処理方法は、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理方法であって、前記Ｎ種類の色の画像データを入力し、入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定し、入力した前記Ｎ種類の色のうち、前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定し、推定した前記光源の第１の色温度と、前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定することを特徴としている。 The image processing method according to the present invention also performs image processing for estimating the color temperature of a light source that illuminates a subject from image data obtained by photographing the subject using an image sensor having N (3 <N) color filters. A method of inputting image data of the N types of colors, and from the image data of M types (3 ≦ M <N or 3 <M ≦ N) of the input N types of colors, A first color temperature of the light source that illuminates the light source is estimated, and the M colors used for the estimation of the first color temperature of the light source among the input N types of colors are at least a part of colors or colors The second color temperature of the light source that illuminates the subject is estimated from image data of P types (3 ≦ P <N or 3 <P ≦ N) having different numbers, and the estimated first color of the light source Illuminate the subject based on the temperature and the second color temperature of the light source It is characterized by determining the color temperature of the light source.
また、本発明による画像処理プログラムを記録したコンピュータは、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置に備わるコンピュータであって、前記コンピュータを、前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段として機能させるための画像処理プログラムを記録している。 In addition, the computer that records the image processing program according to the present invention can calculate the color temperature of the light source that illuminates the subject from image data obtained by photographing the subject using an image sensor having N (3 <N) color filters. A computer provided in an image processing apparatus for estimation, wherein the computer uses multi-band image data input means for inputting image data of N types of colors, and the N types of colors input by the multi-band image data input means. Among them, the first light source color temperature estimation means for estimating the first color temperature of the light source that illuminates the subject from the image data of M types (3 ≦ M <N or 3 <M ≦ N), the multiband Of the N types of colors input by the image data input unit, the first light source color temperature estimation unit is less than the M types of colors used to estimate the first color temperature of the light source. The second color temperature for estimating the second color temperature of the light source that illuminates the subject from the image data of P types (3 ≦ P <N or 3 <P ≦ N), which are partly different in color or number of colors. A light source color temperature estimating unit, a first color temperature of the light source estimated by the first light source color temperature estimating unit, and a second color temperature of the light source estimated by the second light source color temperature estimating unit. Based on this, an image processing program for functioning as light source color temperature determining means for determining the color temperature of the light source that illuminates the subject is recorded.
また、本発明による画像処理プログラムは、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置に備わるコンピュータが読み取り可能な画像処理プログラムであって、前記コンピュータを、前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段として機能させることを特徴としている。 The image processing program according to the present invention also performs image processing for estimating the color temperature of a light source that illuminates a subject from image data obtained by photographing the subject using an image sensor having N (3 <N) color filters. An image processing program readable by a computer provided in an apparatus, wherein the computer includes a multi-band image data input unit for inputting image data of the N types of colors, and the N types input by the multi-band image data input unit. First light source color temperature estimation means for estimating a first color temperature of a light source that illuminates a subject from image data of M types (3 ≦ M <N or 3 <M ≦ N) of Of the N types of colors input by the multi-band image data input unit, the M types of M colors used by the first light source color temperature estimation unit to estimate the first color temperature of the light source. The second color temperature of the light source that illuminates the subject is estimated from image data of P types (3 ≦ P <N or 3 <P ≦ N), which is at least partly different from the color or the number of colors. Second light source color temperature estimation means, first color temperature of the light source estimated by the first light source color temperature estimation means, and second color of the light source estimated by the second light source color temperature estimation means It is characterized by functioning as light source color temperature determining means for determining the color temperature of the light source that illuminates the subject based on the temperature.
本発明によれば、多バンドデジタルカメラで撮影された被写体の多バンド画像データを用いて、より正確に被写体を照明する光源の色温度を推定することを可能にする画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータが得られる。 According to the present invention, an image processing apparatus and an image processing method that can more accurately estimate the color temperature of a light source that illuminates a subject using multiband image data of the subject photographed by a multiband digital camera. An image processing program and a computer recording the image processing program are obtained.
実施例の説明に先立ち、本発明の作用効果について説明する。
本発明は、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサで被写体を撮影したＮ種類の色の画像データのうち、Ｍ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定するとともに、更に、光源の第１の色温度の推定に用いるＭ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定し、推定した２つの光源の色温度に基づき、被写体を照明する光源の色温度を決定するようにしている。
Prior to the description of the embodiments, the effects of the present invention will be described.
The present invention provides M types (3 ≦ M <N or 3 <M ≦ N) of N types of color image data obtained by photographing a subject with an image sensor having N types (3 <N) of color filters. The first color temperature of the light source that illuminates the subject is estimated from the image data of the colors, and the M colors used for the estimation of the first color temperature of the light source are at least a part of the colors or the number of colors. The second color temperature of the light source that illuminates the subject is estimated from image data of P types (3 ≦ P <N or 3 <P ≦ N) that are different, and based on the estimated color temperatures of the two light sources The color temperature of the light source that illuminates the subject is determined.
このようにすれば、上記特許文献２に記載の方法のような６種類の色から３種類の色への色数減色処理及び従来の一般的な３原色の画像データを用いた光源の色温度の推定処理において内在する、光源の色温度の推定精度の劣化を抑えて、３種類より多い色数の、多バンドの画像データによるより細やかな色表現ができる。しかも、同一の多バンドの画像において、最大種類の色数以下の異なる色数（又は色）による複数の光源色温度推定手段を用いて被写体を照明する光源の色温度の推定処理を行い、夫々の光源色温度推定手段により推定した光源の色温度に基づき、被写体を照明する光源の最終的な色温度を決定するようにすることで、夫々の光源色温度推定手段による光源の色温度の推定結果を総合的に判断することができ、より精度の高い被写体を照明する光源の色温度を決定することができるようになる。 In this way, the color temperature reduction processing from six types of colors to three types of colors as in the method described in Patent Document 2 above and the color temperature of the light source using conventional general three primary color image data In this estimation process, it is possible to suppress the deterioration of the estimation accuracy of the color temperature of the light source, and to perform more detailed color expression using multi-band image data having more than three types of colors. In addition, in the same multi-band image, a process for estimating the color temperature of the light source that illuminates the subject is performed using a plurality of light source color temperature estimation means with different colors (or colors) equal to or less than the maximum number of colors, respectively. By determining the final color temperature of the light source that illuminates the subject based on the color temperature of the light source estimated by the light source color temperature estimation means, the estimation of the color temperature of the light source by each light source color temperature estimation means The result can be comprehensively determined, and the color temperature of the light source that illuminates the subject with higher accuracy can be determined.
また、本発明においては、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサで被写体を撮影した画像を複数のブロックに分け、それぞれのブロックに対して、光源の第１の色温度の推定、光源の第２の色温度の推定、光源の最終的な色温度の決定をするようにすると好ましい。 In the present invention, an image obtained by photographing an object with an image sensor having color filters of N types (3 <N) is divided into a plurality of blocks, and the first color temperature of the light source is assigned to each block. It is preferable to estimate the second color temperature of the light source, and determine the final color temperature of the light source.
被写体の画面内を複数のブロックに分けると、それぞれのブロックにおける画素サンプルの数が少なくなるが、本発明によれば、それぞれのブロックにおいて、上述したように、特許文献２に記載の方法のような６種類の色から３種類の色への色数減色処理及び従来の一般的な３原色の画像データを用いた光源の色温度の推定処理に比べて、より精度の高い被写体を照明する光源の色温度を決定することができる。このため、本発明によれば、画面内における異なる位置に異なる複数種類の光源が存在する場合に、被写体を撮影した画像を複数のブロックに分けても、それぞれのブロックに対して、光源の第１の色温度の推定、光源の第２の色温度の推定、光源の最終的な色温度の決定をするようにすることで、それぞれのブロックの被写体を照明する光源の色温度の推定精度の劣化を抑えて、画面内のそれぞれの領域に位置する被写体を照明する光源の色温度を高精度に検出することができる。 Dividing the subject screen into a plurality of blocks reduces the number of pixel samples in each block. However, according to the present invention, as described above, in each block, the method described in Patent Document 2 is used. The light source that illuminates the subject with higher accuracy than the process of reducing the number of colors from six kinds of colors to three kinds of colors and the process of estimating the color temperature of the light source using conventional three primary color image data The color temperature can be determined. For this reason, according to the present invention, when there are a plurality of different types of light sources at different positions in the screen, even if an image of the subject is divided into a plurality of blocks, By estimating the color temperature of 1, estimating the second color temperature of the light source, and determining the final color temperature of the light source, the estimation accuracy of the color temperature of the light source that illuminates the subject of each block is improved. Deterioration can be suppressed, and the color temperature of the light source that illuminates the subject located in each region in the screen can be detected with high accuracy.
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に係る本発明を限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The following embodiments do not limit the present invention according to the claims.
第１実施形態
図４は本発明の第１実施形態にかかる画像処理装置を備えた、５バンドデジタルカメラにおけるＡＷＢ（オートホワイトバランス）補正に関わる画像処理のブロック図である。図５は図４の多バンドデジタルカメラに備わる５バンドのカラーフィルタの画素の配置の一例を示す説明図である。図６は図４の多バンドデジタルカメラ備わる５バンドのカラーフィルタにおける各色の分光感度の一例を示す説明図である。図４中、一点鎖線で囲んだ部分が本発明の第１実施形態にかかる画像処理装置に対応する構成である。
First Embodiment FIG. 4 is a block diagram of image processing related to AWB (auto white balance) correction in a 5-band digital camera equipped with an image processing apparatus according to the first embodiment of the present invention. FIG. 5 is an explanatory diagram showing an example of an arrangement of pixels of a 5-band color filter provided in the multi-band digital camera of FIG. FIG. 6 is an explanatory diagram showing an example of the spectral sensitivity of each color in the 5-band color filter provided in the multi-band digital camera of FIG. In FIG. 4, the portion surrounded by the alternate long and short dash line corresponds to the configuration of the image processing apparatus according to the first embodiment of the present invention.
第１実施形態の画像処理装置１０は、図４に示すように、多バンド画像データ入力手段１１と、第１の光源色温度推定手段１２と、第２の光源色温度推定手段１３と、光源色温度決定手段１４を有している。図４中、１５は５バンドデモザイキング部、１６は５バンドから３バンドへの色変換部、１７はＷＢ（ホワイトバランス）補正手段、２０はイメージセンサである。 As shown in FIG. 4, the image processing apparatus 10 according to the first embodiment includes a multiband image data input unit 11, a first light source color temperature estimation unit 12, a second light source color temperature estimation unit 13, and a light source. Color temperature determining means 14 is provided. In FIG. 4, 15 is a 5-band demosaicing unit, 16 is a color conversion unit from 5 bands to 3 bands, 17 is a WB (white balance) correction means, and 20 is an image sensor.
多バンド画像データ入力手段１１は、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５バンドのイメージセンサの図示しない記録部に記録されているＮ種類（ここではＮ＝５）の色の画像データを入力する。 The multi-band image data input means 11 inputs image data of N types (N = 5 in this case) recorded in a recording unit (not shown) of an R, G, B, Or, and Cy 5-band image sensor. To do.
第１の光源色温度推定手段１２は、多バンド画像データ入力手段１１が入力したＮ種類の色のうちＭ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する。ここでは、説明の便宜上、第１の光源色温度推定手段１２は、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５種類の色のうち、Ｒ、Ｇ、Ｂの３種類の色の画像データから、被写体を照明する光源の第１の色温度を推定するものとする。なお、光源の第１の色温度の推定方法については後述する。 The first light source color temperature estimation unit 12 is configured to obtain a subject from image data of M types (3 ≦ M <N or 3 <M ≦ N) among the N types of colors input by the multiband image data input unit 11. The first color temperature of the light source that illuminates is estimated. Here, for convenience of explanation, the first light source color temperature estimating means 12 is based on image data of three types of colors R, G, B out of five types of colors R, G, B, Or, Cy. Assume that the first color temperature of the light source that illuminates the subject is estimated. A method for estimating the first color temperature of the light source will be described later.
第２の光源色温度推定手段１３は、多バンド画像データ入力手段１１が入力したＮ種類の色のうち、第１の光源色温度推定手段１２が光源の第１の色温度の推定に用いるＭ種類の色とは少なくとも一部の色又は色数が異なる、Ｎ種類の色のうちＰ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する。ここでは、説明の便宜上、第２の光源色温度推定手段１３は、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５種類の色のうち、Ｏｒ、Ｇ、Ｃｙの３種類の色の画像データから、被写体を照明する光源の第２の色温度を推定するものとする。なお、光源の第２の色温度の推定方法については後述する。 The second light source color temperature estimating means 13 is an M used by the first light source color temperature estimating means 12 for estimating the first color temperature of the light source among the N colors input by the multiband image data input means 11. The color of the light source that illuminates the subject from image data of P types (3 ≦ P <N or 3 <P ≦ N) of N types of colors, which is at least partly different from the types of colors or the number of colors. A second color temperature is estimated. Here, for convenience of explanation, the second light source color temperature estimation means 13 calculates from the image data of three kinds of colors of Or, G, and Cy among five kinds of colors of R, G, B, Or, and Cy. Assume that the second color temperature of the light source that illuminates the subject is estimated. A method for estimating the second color temperature of the light source will be described later.
光源色温度決定手段１４は、第１の光源色温度推定手段１２が推定した光源の第１の色温度と、第２の光源色温度推定手段１３が推定した光源の第２の色温度とに基づき、被写体を照明する光源の最終的な色温度を決定する。なお、最終的な光源の色温度の決定方法については後述する。 The light source color temperature determination unit 14 is configured to convert the first color temperature of the light source estimated by the first light source color temperature estimation unit 12 and the second color temperature of the light source estimated by the second light source color temperature estimation unit 13. Based on this, the final color temperature of the light source that illuminates the subject is determined. A final method for determining the color temperature of the light source will be described later.
なお、図４に示すデジタルカメラのイメージセンサ２０は、例えば、図５に示すような、４×４の繰り返しパターンを持つ、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５種類の色のカラーフィルタで覆われている。Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙそれぞれのカラーフィルタは、例えば、図６に示すような分光特性を有している。図５の例では、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの画素配分の割合が、それぞれ、２／１６，８／１６，２／１６，２／１６．２／１６となっている。
なお、ここでは、説明の便宜上、５色のカラーフィルタを有するイメージセンサ２０の有効画素は、例えば、２５６０×１９２０画素であるものとする。
その他、図４のデジタルカメラは、図示しないダウンサンプリング画像取得手段を備えている。ダウンサンプリング画像取得手段は、イメージセンサ２０に出力されたＲＡＷ画像データから所定の縮小したＲＡＷ画像データを取得する。縮小したＲＡＷ画像データの取得方法については、その一例を後述する。
Note that the image sensor 20 of the digital camera shown in FIG. 4 is, for example, a color filter of five colors of R, G, B, Or, and Cy having a 4 × 4 repetitive pattern as shown in FIG. Covered. Each color filter of R, G, B, Or, and Cy has, for example, spectral characteristics as shown in FIG. In the example of FIG. 5, the pixel distribution ratios of R, G, B, Or, and Cy are 2/16, 8/16, 2/16, and 2 / 16.2 / 16, respectively.
Here, for convenience of explanation, it is assumed that the effective pixels of the image sensor 20 having the color filters of five colors are, for example, 2560 × 1920 pixels.
In addition, the digital camera of FIG. 4 includes a downsampling image acquisition unit (not shown). The down-sampled image acquisition means acquires RAW image data that has been reduced in size from the RAW image data output to the image sensor 20. An example of a method for acquiring reduced RAW image data will be described later.
このように構成された第１本実施形態の画像処理装置を用いた被写体を照明する光源の色温度の推定から最終的な色温度の決定までの処理の流れを説明する。
光源の色温度の推定に先立ち、図示しないダウンサンプリング画像取得手段が、イメージセンサ２０の有効画素を縦横６４×６４画素のブロックに分け、それぞれの縦横６４×６４画素のブロックにおけるＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙそれぞれの画素の平均値を求め、それぞれのブロック（縦横６４×６４画素）を１画素とすることにより、４０×３０画素のＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙの縮小したＲＡＷ画像データを取得する。得られた縮小ＲＡＷ画像データは、イメージセンサ２０における図示しない記録部に記録する。
なお、ダウンサンプリング画像取得手段は、４０×３０画素のＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙの縮小したＲＡＷ画像データを得る際に、縦横６４×６４画素のブロックにおけるＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙそれぞれの画素の平均値を求めるが、各色を混色させていない。このため、上記特許文献２に記載の減色処理の一方法として分光感度が近い２種類の色をそれぞれ加算平均するのとは異なり、それぞれの色に対応する分光感度が、本来の色に比べてブロードな分布となることはない。
The flow of processing from the estimation of the color temperature of the light source that illuminates the subject to the determination of the final color temperature using the image processing apparatus of the first embodiment configured as described above will be described.
Prior to the estimation of the color temperature of the light source, a down-sampling image acquisition means (not shown) divides the effective pixels of the image sensor 20 into 64 × 64 pixel blocks, and R, G, B in each 64 × 64 pixel block. RAW images of 40 × 30 pixels reduced by R, G, B, Or, and Cy by calculating the average value of each pixel of Or, Cy, and Cy, and making each block (vertical and horizontal 64 × 64 pixels) one pixel Get the data. The obtained reduced RAW image data is recorded in a recording unit (not shown) in the image sensor 20.
The down-sampled image acquisition means obtains R, G, B, Or, and R, G, B, Or, and R in a 64 × 64 pixel block when obtaining reduced RAW image data of 40 × 30 pixels R, G, B, Or, and Cy. The average value of each pixel of Cy is obtained, but each color is not mixed. For this reason, the spectral sensitivity corresponding to each color is different from that of the original color, unlike the case where two types of colors having similar spectral sensitivities are added and averaged as one method of color reduction processing described in Patent Document 2. There is no broad distribution.
光源の色温度の推定に際しては、まず、多バンド画像データ入力手段１１が、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５バンドのイメージセンサ２０の記録部に記録されているＮ種類（ここではＮ＝５）の色の縮小ＲＡＷ画像データを入力する。 In estimating the color temperature of the light source, first, the multi-band image data input means 11 has N types (here, N) recorded in the recording unit of the 5-band image sensor 20 of R, G, B, Or, and Cy. = 5) The reduced RAW image data of the color is input.
次に、第１の光源色温度推定手段１２が、被写体を照明する光源の第１の色温度を推定する。
詳しくは、第１の光源色温度推定手段１２は、多バンド画像データ入力手段１１により入力された縮小ＲＡＷ画像データにおけるＲ、Ｇ、Ｂの全ての画素に対して、それぞれの画素の色度値（Ｒ／Ｇ,Ｂ／Ｇ）を求める。
次いで、第１の光源色温度推定手段１２は、求めたそれぞれの画素の色度値（Ｒ／Ｇ,Ｂ／Ｇ）を、例えば、図７に示す（Ｒ／Ｇ，Ｂ／Ｇ）色度図上にプロットする。そして、例えば、図７に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、全ての画素の色度値をプロットした点について光源の色温度のエリア判定を行い、各光源の色温度エリアに属するプロットした点の個数を集計する。集計した各光源の色温度エリアに属するプロットした点の個数の大小の順位から、例えば、次の表２に示すような条件に従い、被写体を照明する光源の第１の色温度を推定する。
Next, the first light source color temperature estimation means 12 estimates the first color temperature of the light source that illuminates the subject.
Specifically, the first light source color temperature estimating unit 12 applies the chromaticity value of each pixel to all the R, G, and B pixels in the reduced RAW image data input by the multiband image data input unit 11. (R / G, B / G) is obtained.
Next, the first light source color temperature estimating means 12 uses the obtained chromaticity values (R / G, B / G) of the respective pixels, for example, (R / G, B / G) chromaticity shown in FIG. Plot on the figure. Then, for example, using the color temperature area determination criteria of various light sources on the chromaticity diagram as shown in FIG. 7, the area determination of the color temperature of the light source is performed for the points where the chromaticity values of all the pixels are plotted. The number of plotted points belonging to the color temperature area of each light source is totaled. The first color temperature of the light source that illuminates the subject is estimated from the order of the number of plotted points belonging to the color temperature area of each light source, for example, according to the conditions shown in Table 2 below.
図７の例では、プロットした点群の分布（被写体の色分布）が、エリア３（晴天）、エリア４（蛍光灯）、エリア７（曇天下肌色）、エリア８（晴天下肌色）に一部属し、大部分の点は、エリア１〜４、エリア６、エリア７〜９のいずれにも属さない。また、プロットした点の集計値が最大となるエリアが、エリア４（蛍光灯）とエリア８（晴天下肌色）の２つのエリアとなっている。このため、図７の（Ｒ／Ｇ，Ｂ／Ｇ）色度図における被写体の色分布からは、色温度が蛍光灯であるか、光源ではなく外光下の被写体の色温度であるかを推定し難い。
このため、図７の例の場合には、第１の光源色温度推定手段１２は、表２に従い(c)のエリア５（その他）の色温度を第１の色温度として推定する。
In the example of FIG. 7, the distribution of the plotted point cloud (subject color distribution) is the same in area 3 (sunny sky), area 4 (fluorescent light), area 7 (cloudy skin color), and area 8 (sunny sky skin color). Most of the points do not belong to any of the areas 1 to 4, the area 6, and the areas 7 to 9. In addition, the area where the total value of the plotted points is the maximum is two areas, area 4 (fluorescent lamp) and area 8 (sunny sky skin color). For this reason, from the color distribution of the subject in the (R / G, B / G) chromaticity diagram of FIG. 7, it is determined whether the color temperature is a fluorescent lamp or the color temperature of the subject under external light instead of the light source. It is difficult to estimate.
Therefore, in the case of the example of FIG. 7, the first light source color temperature estimating means 12 estimates the color temperature of the area 5 (others) in (c) as the first color temperature according to Table 2.
次に、第２の光源色温度推定手段１３が、被写体を照明する光源の第２の色温度を推定する。
詳しくは、第２の光源色温度推定手段１３は、多バンド画像データ入力手段１１により入力された同じ被写体の縮小ＲＡＷ画像データにおけるＯｒ、Ｇ、Ｃｙの全ての画素に対して、それぞれの画素の色度値（Ｏｒ／Ｇ, Ｃｙ／Ｇ）を求める。
次いで、第２の光源色温度推定手段１３は、求めたそれぞれの画素の色度値（Ｏｒ／Ｇ, Ｃｙ／Ｇ）を、例えば、図８に示す（Ｏｒ／Ｇ, Ｃｙ／Ｇ）色度図上にプロットする。そして、例えば、図８に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、全ての画素の色度値をプロットした点について光源の色温度のエリア判定を行い、各光源の色温度のエリアに属するプロットした点の個数を集計する。集計した各光源の色温度のエリアに属するプロットした点の個数の大小の順位から、例えば、次の表３に示すような条件に従い、被写体を照明する光源の第２の色温度を推定する。
Next, the second light source color temperature estimation means 13 estimates the second color temperature of the light source that illuminates the subject.
Specifically, the second light source color temperature estimation unit 13 performs the process for each pixel of Or, G, and Cy in the reduced RAW image data of the same subject input by the multiband image data input unit 11. Chromaticity values (Or / G, Cy / G) are obtained.
Next, the second light source color temperature estimating means 13 uses the obtained chromaticity values (Or / G, Cy / G) of the respective pixels, for example, (Or / G, Cy / G) chromaticity shown in FIG. Plot on the figure. Then, for example, using the color temperature area determination criteria of various light sources on the chromaticity diagram as shown in FIG. 8, the area determination of the color temperature of the light source is performed for the points where the chromaticity values of all the pixels are plotted. The number of plotted points belonging to the color temperature area of each light source is totaled. The second color temperature of the light source that illuminates the object is estimated from the order of the number of plotted points belonging to the color temperature area of each light source, for example, according to the conditions shown in Table 3 below.
図８の例では、プロットした点群の分布（被写体の色分布）が、エリア４に集中しており、集計値が最大となるエリアが、エリア４（蛍光灯）となっている。このため、被写体の（Ｏｒ／Ｇ，Ｃｙ／Ｇ）色度図における色分布からは、被写体を照明する光源の色温度が、蛍光灯の色温度であると明瞭に推定できる。
このため、図８の例の場合には、第２の光源色温度推定手段１３は、表３に従い(d)のエリア４（蛍光灯）の色温度を第２の色温度として推定する。
In the example of FIG. 8, the distribution of the plotted point group (subject color distribution) is concentrated in area 4, and the area where the total value is the maximum is area 4 (fluorescent lamp). For this reason, it can be clearly estimated from the color distribution in the (Or / G, Cy / G) chromaticity diagram of the subject that the color temperature of the light source that illuminates the subject is the color temperature of the fluorescent lamp.
Therefore, in the case of the example of FIG. 8, the second light source color temperature estimating means 13 estimates the color temperature of area 4 (fluorescent lamp) in (d) as the second color temperature according to Table 3.
最後に、光源色温度決定手段１４は、第１の光源色温度推定手段１２が推定した光源の第１の色温度と第２の光源色温度推定手段１３が推定した光源の第２の色温度とに基づき、例えば、次の表４に示すような条件に従い、被写体を照明する光源の最終的な色温度を決定する。 Finally, the light source color temperature determination unit 14 includes the first color temperature of the light source estimated by the first light source color temperature estimation unit 12 and the second color temperature of the light source estimated by the second light source color temperature estimation unit 13. Based on the above, for example, the final color temperature of the light source that illuminates the subject is determined according to the conditions shown in Table 4 below.
上記図７及び図８の例の場合には、第１の光源色温度推定手段１２が推定した第１の光源色温度が(c)のエリア５（その他）の色温度、第２の光源色温度推定手段１３が推定した第２の光源色温度が(d)のエリア４（蛍光灯）の色温度である。ここで、表４に従うと、色温度決定手段１４が決定する光源の最終的な色温度は、(d)のエリア４（蛍光灯）の色温度となる。 In the case of the examples in FIGS. 7 and 8, the color temperature of the area 5 (others) in which the first light source color temperature estimated by the first light source color temperature estimation means 12 is (c), the second light source color. The second light source color temperature estimated by the temperature estimation means 13 is the color temperature of area 4 (fluorescent lamp) in (d). Here, according to Table 4, the final color temperature of the light source determined by the color temperature determination means 14 is the color temperature of area 4 (fluorescent lamp) in (d).
なお、光源色温度決定手段１４が、第１の光源色温度推定手段１２が推定した光源の第１の色温度と第２の光源色温度推定手段１３が推定した光源の第２の色温度とに基づき、被写体を照明する光源の最終的な色温度を決定する条件としては、上記表４に示すような条件に限定されるものではなく、実際の撮影状況に応じて条件を設定しても良い。 The light source color temperature determination means 14 uses the first light source color temperature estimated by the first light source color temperature estimation means 12 and the second color temperature of the light source estimated by the second light source color temperature estimation means 13. Based on the above, the condition for determining the final color temperature of the light source that illuminates the subject is not limited to the condition shown in Table 4 above, and the condition may be set according to the actual shooting situation. good.
また、光源色温度決定手段１４による光源の最終的な色温度の決定は、上記表４に示すような条件に従い、光源の第1の色温度と光源の第２の色温度のいずれか一方を選択するといった択一的な条件選択のほかに、被写体の色分布の重心位置や、サンプルポイントの分散も考慮して、第１の光源色温度推定手段１２が推定した光源の第１の色温度と第２の光源色温度推定手段１３が推定した光源の第２の色温度とを複数のパラメータとするとともに、それぞれのパラメータに対する重み付けを行っておくことによって、第１及び第２の光源色温度推定手段１２、１３が推定したパラメータに対する重み付けに基づく演算を行うことによって、被写体を照明する光源の最終的な色温度を算出するようにしてもよい。 The final color temperature of the light source by the light source color temperature determining means 14 is determined according to the conditions shown in Table 4 above by either one of the first color temperature of the light source and the second color temperature of the light source. In addition to alternative condition selection such as selection, the first color temperature of the light source estimated by the first light source color temperature estimation means 12 in consideration of the barycentric position of the color distribution of the subject and the variance of the sample points And the second color temperature of the light source estimated by the second light source color temperature estimation means 13 are used as a plurality of parameters, and weighting is performed for each parameter, whereby the first and second light source color temperatures are obtained. The final color temperature of the light source that illuminates the subject may be calculated by performing a calculation based on the weighting of the parameters estimated by the estimation means 12 and 13.
例えば、第１の光源色温度推定手段１２が、図９(a)に示すように、色度図（図７）におけるプロットした点の分布の重心位置やプロットした点の分布の分散などを評価値ｈ１、ｈ２・・・として算出する。また、被写体を撮影したときの撮影条件である、露出の度合いや、ストロボの有無などに基づき重みｗ１,ｗ２・・・を定める。そして、第１の光源色温度推定手段１２が、第１の光源色温度判定関数ｆ１（ｈ１,ｈ２・・・ｗ１，ｗ２）を用いて光源の第１の色温度を判定するようにする。
また、第２の光源色温度推定手段１３が、図９(b)に示すように、色度図（図８）におけるプロットした点の分布の重心位置やプロットした点の分布の分散などを評価値ｇ１，ｇ２・・・として算出する。また、被写体を撮影したときの撮影条件である、露出の度合いや、ストロボの有無などに基づき重みｖ１,ｖ２・・・を定める。そして、第２の光源色温度推定手段１３が、第２の光源色温度判定関数ｆ２（ｇ１，ｇ２・・・ｖ１，ｖ２）を用いて光源の第２の色温度を判定するようにする。
そして、光源色温度決定手段１４が、第１の光源色温度判定関数ｆ１（ｈ１,ｈ２・・・ｗ１，ｗ２）、第２の光源色温度判定関数ｆ２（ｇ１，ｇ２・・・ｖ１，ｖ２）に対して、それぞれ所定の重み付けｔ１、ｔ２に基づく演算ｔ１＊ｆ１() ＋ ｔ２＊ｆ２()を行ない、光源の最終的な色温度を決定するようにする。
For example, as shown in FIG. 9A, the first light source color temperature estimation means 12 evaluates the centroid position of the distribution of the plotted points in the chromaticity diagram (FIG. 7), the variance of the distribution of the plotted points, and the like. Calculated as values h1, h2,. Further, the weights w1, w2,... Are determined based on the exposure conditions, the presence / absence of a strobe, etc., which are the shooting conditions when the subject is shot. Then, the first light source color temperature estimation means 12 determines the first color temperature of the light source using the first light source color temperature determination function f1 (h1, h2,... W1, w2).
Further, as shown in FIG. 9B, the second light source color temperature estimation means 13 evaluates the centroid position of the distribution of the plotted points in the chromaticity diagram (FIG. 8), the variance of the distribution of the plotted points, and the like. Calculated as values g1, g2,. Further, the weights v1, v2,... Are determined based on exposure conditions, presence / absence of strobes, and the like, which are shooting conditions when the subject is shot. Then, the second light source color temperature estimation means 13 determines the second color temperature of the light source using the second light source color temperature determination function f2 (g1, g2,... V1, v2).
Then, the light source color temperature determination means 14 includes a first light source color temperature determination function f1 (h1, h2,... W1, w2) and a second light source color temperature determination function f2 (g1, g2... V1, v2. ) Is subjected to calculations t1 * f1 () + t2 * f2 () based on predetermined weights t1 and t2, respectively, to determine the final color temperature of the light source.
また、光源色温度決定手段１４は、第１の光源色温度推定手段１２が推定した光源の第１の色温度が表２の(a)となった場合、第２の光源色温度推定手段１３による光源の第２の色温度の推定を経ることなく、上記表２の(a)を光源の最終的な色温度と決定するようにするのが好ましい。このようにすれば、光源色温度検出部全体の処理の高速化が図れる。 Further, the light source color temperature determining means 14, when the first color temperature of the light source estimated by the first light source color temperature estimating means 12 becomes (a) in Table 2, the second light source color temperature estimating means 13. It is preferable to determine (a) in Table 2 as the final color temperature of the light source without going through the estimation of the second color temperature of the light source. In this way, it is possible to increase the processing speed of the entire light source color temperature detection unit.
なお、第１実施形態の画像処理装置１０により、被写体を照明する光源の色温度が決定された後の、５バンドデジタルカメラによるＷＢ補正は、次の手順によって行われる。
５バンドイメージセンサ２０の図示しない記録部に記録されているＲＧＢＯｒＣｙの全画像データが、多バンド画像入力手段１１により入力されて、５バンドデモザイキング部１５に転送される。転送されたデータは、５バンドデモザイキング部１５によりＲ、Ｇ、Ｂ、Ｏｒ、Ｃyの５バンドのビットマップ画像に変換される。変換された５バンドのビットマップ画像は、５バンド３バンド色変換部１６により３バンドのＲＧＢ画像に変換される。
変換されたＲＧＢ画像データは、光源色温度決定手段１４で決定された被写体を照明する光源の最終的な色温度に従い、ＷＢ補正手段１７によりＲ、Ｇ、Ｂ画像信号のそれぞれに予め設定されているゲインをかけてＷＢ調整が行われた後、最終的にＲ’、Ｇ’、Ｂ’ 画像データとして出力される。その後は図示しないノイズ除去、エッジ強調、色調整、画像圧縮などの画像処理が施され、背面液晶表示部に表示され、また、最終的にファイルとしてメモリカードに保存される。
Note that the WB correction by the 5-band digital camera after the color temperature of the light source that illuminates the subject is determined by the image processing apparatus 10 of the first embodiment is performed according to the following procedure.
All RGBOrCy image data recorded in a recording unit (not shown) of the 5-band image sensor 20 is input by the multi-band image input unit 11 and transferred to the 5-band demosaicing unit 15. The transferred data is converted into a 5-band bitmap image of R, G, B, Or, and Cy by the 5-band demosaicing unit 15. The converted 5-band bitmap image is converted into a 3-band RGB image by the 5-band 3-band color conversion unit 16.
The converted RGB image data is set in advance for each of the R, G, and B image signals by the WB correction unit 17 according to the final color temperature of the light source that illuminates the subject determined by the light source color temperature determination unit 14. After the WB adjustment is performed by applying a certain gain, it is finally output as R ′, G ′, B ′ image data. After that, image processing such as noise removal, edge enhancement, color adjustment, and image compression (not shown) is performed, displayed on the rear liquid crystal display unit, and finally stored as a file in a memory card.
第１実施形態の画像処理装置１０及び画像処理方法によれば、上記特許文献２に記載の方法のような６種類の色から３種類の色への色数減色処理及び従来の一般的な３原色の画像データを用いた光源の色温度の推定処理において内在する、光源の色温度の推定精度の劣化を抑えて、３種類より多い色数の、多バンドの画像データによるより細やかな色表現ができる。しかも、同一の多バンドの画像において、最大種類の色数以下の異なる色数（又は色）による複数の光源色温度推定手段１２、１３が被写体を照明する光源の色温度の推定処理を行い、光源色温度決定手段１４が夫々の光源色温度推定手段１２、１３により推定した光源の色温度に基づき、被写体を照明する光源の最終的な色温度を決定するようにしたので、夫々の光源色温度推定手段１２、１３による光源の色温度の推定結果を総合的に判断することができ、より精度の高い被写体を照明する光源の色温度を決定することができる。 According to the image processing apparatus 10 and the image processing method of the first embodiment, the number-of-colors reduction processing from the six kinds of colors to the three kinds of colors as in the method described in Patent Document 2 and the conventional general three. Suppresses deterioration in the estimation accuracy of the color temperature of the light source, which is inherent in the estimation process of the color temperature of the light source using the primary color image data, and more detailed color representation by multi-band image data with more than three types of colors Can do. Moreover, in the same multi-band image, the plurality of light source color temperature estimation means 12 and 13 with different color numbers (or colors) equal to or less than the maximum number of colors perform the process of estimating the color temperature of the light source that illuminates the subject, Since the light source color temperature determination means 14 determines the final color temperature of the light source that illuminates the subject based on the color temperature of the light source estimated by the light source color temperature estimation means 12, 13. The estimation result of the color temperature of the light source by the temperature estimation means 12 and 13 can be comprehensively determined, and the color temperature of the light source that illuminates the subject with higher accuracy can be determined.
なお、第１実施形態における図４の例では、第１の光源色温度推定手段１２が、Ｒ、Ｇ、Ｂの３種類の色を使用し、第２の光源色温度推定手段１３が、Ｏｒ、Ｇ、Ｃｙの３種類の色を使用したが、第１及び第２の光源色温度推定手段１２、１３が使用する色の種類の組み合わせや色数は、これらに限定されるものではなく、例えば、第１の光源色温度推定手段１２が、Ｒ、Ｇ、Ｃｙの３種類の色を使用し、第２の光源色温度推定手段１３が、Ｏｒ、Ｇ、Ｂの３種類の色を使用するようにしてもよい。さらには、第１及び第２の光源色温度推定手段１２、１３の両方又はいずれか一方の光源色温度推定手段が、４〜５種類の色を使用するようにしてもよい。 In the example of FIG. 4 in the first embodiment, the first light source color temperature estimating unit 12 uses three types of colors R, G, and B, and the second light source color temperature estimating unit 13 is Or. , G and Cy were used, but the combination of the types of colors and the number of colors used by the first and second light source color temperature estimation means 12 and 13 are not limited to these, For example, the first light source color temperature estimation unit 12 uses three types of colors R, G, and Cy, and the second light source color temperature estimation unit 13 uses three types of colors, Or, G, and B. You may make it do. Further, either one or both of the first and second light source color temperature estimating means 12 and 13 may use four to five types of colors.
また、例えば、デジタルカメラに用いるカラーフィルタがＲＧＢＣＭＹの６種類の色の場合、第１の光源色温度推定手段１２が、Ｒ、Ｇ、Ｂの３種類の色を使用し、第２の光源色温度推定手段１３が、Ｃ、Ｍ、Ｙの３種類の色を使用するようにしてもよい。 Further, for example, when the color filter used for the digital camera is six types of RGBCMY colors, the first light source color temperature estimation means 12 uses three types of colors R, G, and B, and the second light source color. The temperature estimation means 13 may use three types of colors C, M, and Y.
更に、第１実施形態における図４の例では、第１の光源色温度推定手段１２と第２の光源色温度推定手段１３とが、Ｇの色を共通して使用しているが、Ｇ以外の色を共通に使用するようにしてもよい。 Furthermore, in the example of FIG. 4 in the first embodiment, the first light source color temperature estimation means 12 and the second light source color temperature estimation means 13 use the G color in common. The colors may be used in common.
また、第１実施形態の画像処理装置１０は、多バンド画像入力手段１１、第１の光源色温度推定手段１２、第２の光源色温度推定手段１３、光源色温度決定手段１４として機能させるための画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
あるいは、第１実施形態の画像処理装置１０は、多バンド画像入力手段１１、第１の光源色温度推定手段１２、第２の光源色温度推定手段１３、光源色温度決定手段１４として機能させるための画像処理プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
The image processing apparatus 10 according to the first embodiment functions as the multiband image input unit 11, the first light source color temperature estimation unit 12, the second light source color temperature estimation unit 13, and the light source color temperature determination unit 14. You may comprise by the computer recorded on the hard disk which incorporates the image processing program.
Alternatively, the image processing apparatus 10 according to the first embodiment functions as the multiband image input unit 11, the first light source color temperature estimation unit 12, the second light source color temperature estimation unit 13, and the light source color temperature determination unit 14. The image processing program may be recorded on a computer-readable medium such as a CD-ROM.
第２実施形態
図１０は本発明の第２実施形態にかかる画像処理装置を備えた、５バンドデジタルカメラにおけるＡＷＢ（オートホワイトバランス）補正に関わる画像処理のブロック図である。
Second Embodiment FIG. 10 is a block diagram of image processing related to AWB (auto white balance) correction in a 5-band digital camera equipped with an image processing apparatus according to a second embodiment of the present invention.
第２実施形態の画像処理装置１０’は、図１０に示すように第１実施形態の画像処理装置１０に多バンド画像領域分割手段１１−５を加えて構成されている。
多バンド画像領域分割手段１１−５は、多バンド画像データ入力手段１１によって入力された多バンド画像データの画像領域を複数のブロックに分割する。
その他の構成は、第1実施形態の画像処理装置１０と略同じである。
As shown in FIG. 10, the image processing apparatus 10 ′ of the second embodiment is configured by adding multiband image region dividing means 11-5 to the image processing apparatus 10 of the first embodiment.
The multiband image area dividing unit 11-5 divides the image area of the multiband image data input by the multiband image data input unit 11 into a plurality of blocks.
Other configurations are substantially the same as those of the image processing apparatus 10 of the first embodiment.
このように構成された第２の実施形態の画像処理装置１０’における被写体を照明する光源の色温度の推定から最終的な色温度の決定までの処理の流れを説明する。ここでは、説明の便宜上、５色のカラーフィルタ配置を有するイメージセンサの有効画素は、例えば、２５６０×１９２０画素であるものとする。
また、第２実施形態では、図２に示した被写体画面内の異なる位置に異なる複数種類の光源が存在する被写体画像における光源の色温度を推定するものとする。
The flow of processing from the estimation of the color temperature of the light source that illuminates the subject to the determination of the final color temperature in the image processing apparatus 10 ′ of the second embodiment configured as described above will be described. Here, for convenience of explanation, it is assumed that the effective pixels of the image sensor having the color filter arrangement of five colors are, for example, 2560 × 1920 pixels.
In the second embodiment, it is assumed that the color temperature of the light source in the subject image in which different types of light sources exist at different positions in the subject screen shown in FIG.
スペースバリアントに被写体を照明する光源の色温度を推定するに先立ち、図示しないダウンサンプリング画像取得手段が、まず、イメージセンサ２０の有効画素を縦横３２×３２画素のブロックに分け、それぞれの縦横３２×３２画素のブロックにおけるＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙそれぞれの画素の平均値を求め、それぞれのブロック（縦横３２×３２画素）を１画素とすることにより、８０×６０画素のＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙの縮小したＲＡＷ画像を得る。得られた縮小ＲＡＷ画像データは、イメージセンサ２０の記録部に記録する。 Prior to estimating the color temperature of the light source that illuminates the subject in the space variant, the down-sampled image acquisition means (not shown) first divides the effective pixels of the image sensor 20 into blocks of 32 × 32 pixels, and each of the 32 × 32 × pixels. An average value of R, G, B, Or, and Cy pixels in a 32-pixel block is obtained, and each block (vertical and horizontal 32 × 32 pixels) is defined as one pixel, so that 80 × 60 pixel R, G, A reduced RAW image of B, Or, and Cy is obtained. The obtained reduced RAW image data is recorded in the recording unit of the image sensor 20.
光源の色温度の推定に際しては、まず、多バンド画像データ入力手段１１が、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５バンドのイメージセンサ２０の記録部に記録されているＮ種類（ここではＮ＝５）の色の縮小ＲＡＷ画像データを入力する。
次いで、多バンド画像領域分割手段１１−５が、多バンド画像データ入力手段１１により入力された、この８０×６０画素の縮小したＲＡＷ画像を更に、例えば、図３に示すように、２６×２０画素の９つのブロックに分割する。
In estimating the color temperature of the light source, first, the multi-band image data input means 11 has N types (here, N) recorded in the recording unit of the 5-band image sensor 20 of R, G, B, Or, and Cy. = 5) The reduced RAW image data of the color is input.
Next, the multiband image region dividing unit 11-5 further converts the 80 × 60 pixel reduced RAW image input by the multiband image data input unit 11 into, for example, 26 × 20 as shown in FIG. Divide into 9 blocks of pixels.
第２の実施形態の画像処理装置１０’では、以後、多バンド画像領域分割手段１１−５により分割されたそれぞれのブロックに対して、第１の実施形態で示した方法と同様に、第１の光源色温度推定手段１２による光源の第１の色温度の推定、第２の光源色温度推定手段１３による光源の第２の色温度の推定、光源色温度決定手段１４による光源の最終的な色温度の決定、といったそれぞれの処理を行う。 In the image processing apparatus 10 ′ according to the second embodiment, the first block is processed for each block divided by the multiband image region dividing unit 11-5 in the same manner as the method described in the first embodiment. The light source color temperature estimation unit 12 estimates the first color temperature of the light source, the second light source color temperature estimation unit 13 estimates the second color temperature of the light source, and the light source color temperature determination unit 14 determines the final light source color temperature. Each process such as determination of color temperature is performed.
被写体の画面内を複数のブロックに分けると、それぞれのブロックにおける画素サンプルの数が少なくなるが、第２実施形態の画像処理装置１０’及び画像処理方法によれば、それぞれのブロックにおいて、上述したように、特許文献２に記載の方法のような６種類の色から３種類の色への色数減色処理及び従来の一般的な３原色の画像データを用いた色温度の推定処理に比べて、より精度の高い被写体を照明する光源の色温度を決定することができる。このため、第２実施形態の画像処理装置１０’によれば、それぞれのブロックの被写体を照明する光源の色温度の推定精度の劣化を抑えて、画面内における異なる位置に複数種類の光源の光が照明される被写体を撮影した画像に対しても、画面内のそれぞれの領域に位置する被写体を照明する光源の色温度を高精度に検出することができる。 Dividing the subject screen into a plurality of blocks reduces the number of pixel samples in each block. However, according to the image processing apparatus 10 ′ and the image processing method of the second embodiment, each block described above. As described above, the color number reduction processing from six types of colors to three types of colors as in the method described in Patent Document 2 and the color temperature estimation processing using conventional three primary color image data are compared. The color temperature of the light source that illuminates the subject with higher accuracy can be determined. For this reason, according to the image processing apparatus 10 ′ of the second embodiment, the deterioration of the estimation accuracy of the color temperature of the light source that illuminates the subject of each block is suppressed, and the light of the plurality of types of light sources is located at different positions in the screen. The color temperature of the light source that illuminates the subject located in each area in the screen can be detected with high accuracy even for an image of the subject that is illuminated by.
なお、第２実施形態の画像処理装置１０’は、多バンド画像入力手段１１、多バンド画像領域分割手段１１−５、第１の光源色温度推定手段１２、第２の光源色温度推定手段１３、光源色温度決定手段１４として機能させるための画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
あるいは、第２実施形態の画像処理装置１０’は、多バンド画像入力手段１１、多バンド画像領域分割手段１１−５、第１の光源色温度推定手段１２、第２の光源色温度推定手段１３、光源色温度決定手段１４として機能させるための画像処理プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
Note that the image processing apparatus 10 ′ of the second embodiment includes a multiband image input unit 11, a multiband image region dividing unit 11-5, a first light source color temperature estimation unit 12, and a second light source color temperature estimation unit 13. The image processing program for functioning as the light source color temperature determining means 14 may be configured by a computer recorded in a hard disk.
Alternatively, the image processing apparatus 10 ′ of the second embodiment includes a multiband image input unit 11, a multiband image region dividing unit 11-5, a first light source color temperature estimation unit 12, and a second light source color temperature estimation unit 13. Alternatively, the image processing program for causing the light source color temperature determination means 14 to function may be recorded, for example, a computer-readable medium such as a CD-ROM.
本発明の画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータは、多バンドデジタルカメラで撮影される被写体の多バンド画像データから、被写体を照明する光源の色温度を推定することが求められる分野に有用である。 An image processing apparatus, an image processing method, an image processing program, and a computer recording the image processing program according to the present invention estimate a color temperature of a light source that illuminates a subject from multiband image data of a subject photographed by a multiband digital camera. It is useful in fields where it is required to do.
１０，１０’ 画像処理装置
１１ 多バンド画像データ入力手段
１１−５ 多バンド画像領域分割手段
１２ 第１の光源色温度推定手段
１３ 第２の光源色温度推定手段
１４ 光源色温度決定手段
２０ 多バンドイメージセンサ
10, 10 'Image processing device 11 Multi-band image data input means 11-5 Multi-band image region dividing means 12 First light source color temperature estimation means 13 Second light source color temperature estimation means 14 Light source color temperature determination means 20 Multi-band Image sensor
Claims (20)
前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段と、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段と、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段と、
前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段と
を有することを特徴とする画像処理装置。 An image processing apparatus for estimating a color temperature of a light source that illuminates a subject from image data obtained by photographing the subject using an image sensor having color filters of N types (3 <N),
Multi-band image data input means for inputting the image data of the N kinds of colors;
Of the N colors input by the multi-band image data input means, the first color of the light source that illuminates the subject from image data of M types (3 ≦ M <N or 3 <M ≦ N) First light source color temperature estimating means for estimating temperature;
Of the N types of colors input by the multi-band image data input means, the first light source color temperature estimation means uses at least a part of the M types of colors used to estimate the first color temperature of the light source. The second light source color temperature for estimating the second color temperature of the light source that illuminates the subject from the image data of P types (3 ≦ P <N or 3 <P ≦ N) having different colors or number of colors An estimation means;
The subject is illuminated based on the first color temperature of the light source estimated by the first light source color temperature estimation means and the second color temperature of the light source estimated by the second light source color temperature estimation means. An image processing apparatus comprising: a light source color temperature determining unit that determines a color temperature of the light source.
前記多バンド画像領域分割手段によって分割されたそれぞれのブロックに対して、前記第１の光源色温度推定手段による前記光源の第１の色温度の推定、前記第２の光源色温度推定手段による前記光源の第２の色温度の推定、前記光源色温度決定手段による前記光源の色温度の決定をするようにしたことを特徴とする請求項１〜４のいずれかに記載の画像処理装置。 Furthermore, it has a multi-band image area dividing means for dividing the image area of the multi-band image data input by the multi-band image data input means into a plurality of blocks,
For each block divided by the multiband image region dividing unit, the first light source color temperature estimating unit estimates the first color temperature of the light source, and the second light source color temperature estimating unit uses the block. The image processing apparatus according to claim 1, wherein the second color temperature of the light source is estimated, and the color temperature of the light source is determined by the light source color temperature determination unit.
前記Ｎ種類の色の画像データを入力し、
入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定し、
入力した前記Ｎ種類の色のうち、前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定し、
推定した前記光源の第１の色温度と、前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定することを特徴とする画像処理方法。 An image processing method for estimating a color temperature of a light source that illuminates a subject from image data obtained by photographing the subject using an image sensor having N (3 <N) color filters,
Input the image data of the N kinds of colors,
The first color temperature of the light source that illuminates the subject is estimated from image data of M types (3 ≦ M <N or 3 <M ≦ N) of the N types of input colors,
Of the inputted N types of colors, at least some of the colors or the number of colors are different from the M types of colors used for estimating the first color temperature of the light source, and P types (3 ≦ P <N or 3 <P ≦ N) is used to estimate the second color temperature of the light source that illuminates the subject from the color image data,
An image processing method comprising: determining a color temperature of a light source that illuminates a subject based on the estimated first color temperature of the light source and the second color temperature of the light source.
それぞれのブロックに対して、前記光源の第１の色温度の推定、前記光源の第２の色温度の推定、前記光源の色温度の決定を順に行うことを特徴とする請求項６〜９のいずれかに記載の画像処理方法。 After inputting the image data of the N types of colors, the image area of the input multiband image data is divided into a plurality of blocks,
10. The first color temperature of the light source, the second color temperature of the light source, and the color temperature of the light source are sequentially determined for each block. The image processing method according to any one of the above.
前記コンピュータを、
前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段、
前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段
として機能させるための画像処理プログラムを記録したコンピュータ。 A computer provided in an image processing apparatus for estimating a color temperature of a light source that illuminates a subject from image data obtained by photographing the subject using an image sensor having color filters of N types (3 <N),
The computer,
Multi-band image data input means for inputting the image data of the N kinds of colors;
Of the N colors input by the multi-band image data input means, the first color of the light source that illuminates the subject from image data of M types (3 ≦ M <N or 3 <M ≦ N) First light source color temperature estimating means for estimating temperature;
Of the N types of colors input by the multi-band image data input means, the first light source color temperature estimation means uses at least a part of the M types of colors used to estimate the first color temperature of the light source. The second light source color temperature for estimating the second color temperature of the light source that illuminates the subject from the image data of P types (3 ≦ P <N or 3 <P ≦ N) having different colors or number of colors Estimation means,
The subject is illuminated based on the first color temperature of the light source estimated by the first light source color temperature estimation means and the second color temperature of the light source estimated by the second light source color temperature estimation means. A computer recording an image processing program for functioning as a light source color temperature determining means for determining a color temperature of a light source.
前記多バンド画像領域分割手段によって分割されたそれぞれのブロックに対して、前記第１の光源色温度推定手段による前記光源の第１の色温度の推定、前記第２の光源色温度推定手段による前記光源の第２の色温度の推定、前記光源色温度決定手段による前記光源の色温度の決定をするようにしたことを特徴とする請求項１１〜１４のいずれかに記載の画像処理プログラムを記録したコンピュータ。 The image processing program causes the computer to further function as multiband image area dividing means for dividing the image area of the multiband image data input by the multiband image data input means into a plurality of blocks,
For each block divided by the multiband image region dividing unit, the first light source color temperature estimating unit estimates the first color temperature of the light source, and the second light source color temperature estimating unit uses the block. The image processing program according to claim 11, wherein the second color temperature of the light source is estimated, and the color temperature of the light source is determined by the light source color temperature determining means. Computer.
前記コンピュータを、
前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ 又は ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ 又は ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段、
前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段
として機能させるための画像処理プログラム。 Computer-readable image processing provided in an image processing apparatus for estimating the color temperature of a light source that illuminates a subject from image data obtained by photographing the subject using an image sensor having color filters of N types (3 <N) A program,
The computer,
Multi-band image data input means for inputting the image data of the N kinds of colors;
Of the N colors input by the multi-band image data input means, the first color of the light source that illuminates the subject from image data of M types (3 ≦ M <N or 3 <M ≦ N) First light source color temperature estimating means for estimating temperature;
Of the N types of colors input by the multi-band image data input means, the first light source color temperature estimation means uses at least a part of the M types of colors used to estimate the first color temperature of the light source. The second light source color temperature for estimating the second color temperature of the light source that illuminates the subject from the image data of P types (3 ≦ P <N or 3 <P ≦ N) having different colors or number of colors Estimation means,
The subject is illuminated based on the first color temperature of the light source estimated by the first light source color temperature estimation means and the second color temperature of the light source estimated by the second light source color temperature estimation means. An image processing program for causing a light source color temperature determining unit to determine a color temperature of a light source.
前記多バンド画像領域分割手段によって分割されたそれぞれのブロックに対して、前記第１の光源色温度推定手段による前記光源の第１の色温度の推定、前記第２の光源色温度推定手段による前記光源の第２の色温度の推定、前記光源色温度決定手段による前記光源の色温度の決定をするようにしたことを特徴とする請求項１６〜１９のいずれかに記載の画像処理プログラム。 The image processing program causes the computer to further function as multiband image area dividing means for dividing the image area of the multiband image data input by the multiband image data input means into a plurality of blocks,
For each block divided by the multiband image region dividing unit, the first light source color temperature estimating unit estimates the first color temperature of the light source, and the second light source color temperature estimating unit uses the block. The image processing program according to any one of claims 16 to 19, wherein the second color temperature of the light source is estimated and the color temperature of the light source is determined by the light source color temperature determining means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170637A JP2015041805A (en) | 2013-08-20 | 2013-08-20 | Image processing apparatus, image processing method, image processing program and computer with image processing program recorded therein |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170637A JP2015041805A (en) | 2013-08-20 | 2013-08-20 | Image processing apparatus, image processing method, image processing program and computer with image processing program recorded therein |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015041805A true JP2015041805A (en) | 2015-03-02 |
Family
ID=52695758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013170637A Pending JP2015041805A (en) | 2013-08-20 | 2013-08-20 | Image processing apparatus, image processing method, image processing program and computer with image processing program recorded therein |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015041805A (en) |
-
2013
- 2013-08-20 JP JP2013170637A patent/JP2015041805A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6234191B2 (en) | Multi-area white balance control device, multi-area white balance control method, multi-area white balance control program, computer recording multi-area white balance control program, multi-area white balance image processing device, multi-area white balance image processing method, multi-area White balance image processing program, computer recording multi-area white balance image processing program, and imaging apparatus provided with multi-area white balance image processing device | |
| EP1931130B1 (en) | Image processing apparatus, image processing method, and program | |
| US7583301B2 (en) | Imaging device having chromatic aberration suppression | |
| US8040391B2 (en) | White balance adjustment device, image capture device, white balance adjustment method, storage medium, and integrated circuit | |
| US8098294B2 (en) | Image processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium storing control program therefor | |
| JP5847471B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| JP2013240031A (en) | Image processing apparatus and image processing method, program, and storage medium | |
| CN101322398B (en) | Camera system and exposure adjusting method | |
| KR20100095253A (en) | Apparatus and method for adjusting white balance of digital image | |
| JP4329542B2 (en) | Image processing apparatus and image processing program for determining similarity of pixels | |
| JP2020145553A (en) | Image processing equipment, image processing methods, and programs | |
| JP2008113222A (en) | Image processing apparatus, photographing apparatus, image processing method therefor, and program causing computer to execute the method | |
| US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
| JP2012022652A (en) | Image processing apparatus, image processing method, and program | |
| JPWO2018100662A1 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and recording medium | |
| JP2008147980A (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
| JP2011041094A (en) | Image processing apparatus, imaging apparatus, and method of processing image | |
| JP2016105578A (en) | Image processing apparatus and image processing method | |
| JP5963913B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| JP2015041805A (en) | Image processing apparatus, image processing method, image processing program and computer with image processing program recorded therein | |
| CN105359517B (en) | Image processing apparatus and image processing method | |
| US11303869B2 (en) | Image processing apparatus and image processing method | |
| JP2015008391A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5178421B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP5676972B2 (en) | Image processing apparatus, image processing method, image processing program, and storage medium |