JP2017011633A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2017011633A JP2017011633A JP2015128201A JP2015128201A JP2017011633A JP 2017011633 A JP2017011633 A JP 2017011633A JP 2015128201 A JP2015128201 A JP 2015128201A JP 2015128201 A JP2015128201 A JP 2015128201A JP 2017011633 A JP2017011633 A JP 2017011633A
- Authority
- JP
- Japan
- Prior art keywords
- image
- visible light
- light image
- correlation
- visible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Cameras In General (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】可視光撮影時の輝度や赤外撮影時の輝度が明るい暗いという輝度値に基づいて合成比率を変えて可視画像と赤外画像の合成を行うと、所望の画像が得られない。
【解決手段】可視光により撮影を行う可視光撮影手段と、不可視光により撮影を行う不可視光撮影手段と、前記可視光撮影手段により得られた可視光画像と、前記不可視光撮影手段により得られた不可視光画像を合成する画像合成部とを持ち、前記可視光撮影手段により得られた可視画像の輝度成分と、前記不可視光撮影手段により得られた不可視画像の輝度成分の相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の出力を前記領域ごとに切り替えて出力可能なことを特徴とする撮像装置。
【選択図】図２When a visible image and an infrared image are synthesized by changing the composition ratio based on a luminance value that the luminance at the time of visible light imaging and the luminance at the time of infrared imaging is bright and dark, a desired image cannot be obtained.
Visible light photographing means for photographing with visible light, invisible light photographing means for photographing with invisible light, a visible light image obtained by the visible light photographing means, and the invisible light photographing means. A correlation between the luminance component of the visible image obtained by the visible light photographing means and the luminance component of the invisible image obtained by the invisible light photographing means in a predetermined region. An image pickup apparatus, further comprising a correlation calculation unit that calculates for each region, wherein the output of the visible light image and the invisible light image can be switched for each region according to a correlation value obtained from the correlation calculation unit.
[Selection] Figure 2
Description
本発明は、撮像装置に関する。特に、赤外光と可視光を撮像する撮像装置に関する。 The present invention relates to an imaging apparatus. In particular, the present invention relates to an imaging device that images infrared light and visible light.
低照度下でのカラー画像撮影のため従来、可視光撮影により得られた画像と赤外線撮影により得られた画像の合成画像を作成することができるように構成した撮像装置が知られている。 2. Description of the Related Art Conventionally, an imaging device configured to be able to create a composite image of an image obtained by visible light photography and an image obtained by infrared photography for color image photography under low illuminance is known.
特許文献１に記載されている撮像装置は、可視光信号と非可視光信号を合成する際に、可視光輝度信号の値に応じて、可視光輝度信号と非可視光輝度信号の合成比率と色信号の増幅度と色ノイズ除去を制御する装置が開示されている。 When the imaging device described in Patent Document 1 synthesizes a visible light signal and a non-visible light signal, a combination ratio of the visible light luminance signal and the non-visible light luminance signal is determined according to the value of the visible light luminance signal. An apparatus for controlling amplification of color signals and removal of color noise is disclosed.
可視光信号と非可視光（以下、赤外光とする）信号では、特性が異なるため、特許文献１に開示されている可視光信号の輝度に応じた合成比率の変更では合成結果が所望の結果とならないケースがあることが分かった。具体的な撮影シーンを挙げて課題を説明する。 Since a visible light signal and an invisible light (hereinafter referred to as infrared light) signal have different characteristics, the composition result is desired when the composition ratio is changed according to the luminance of the visible light signal disclosed in Patent Document 1. It turns out that there are cases that do not result. The problem will be described with specific shooting scenes.
第１の課題として、フレアにより明るくなった対象物の例を上げる。例えば、ヘッドライトをつけた自動車のナンバープレートを撮影する場合、ヘッドライトによるフレアでナンバープレートの文字が撮影できないことがある。一方、赤外光撮影においては、ヘッドライトによるフレアが低減しナンバープレーの文字の視認性が向上する。 As a first problem, an example of an object brightened by flare will be given. For example, when photographing a license plate of an automobile with a headlight, the letters on the license plate may not be photographed due to the flare caused by the headlight. On the other hand, in infrared photography, flare caused by headlights is reduced, and the visibility of number-play characters is improved.
ところが、ナンバープレートのエリアの可視撮影画像はフレアの影響で明るく映り、輝度は高く描写される。そのため、特許文献１においては、高い輝度の領域は可視光を合成像とするため、ナンバープレートの文字の視認性は可視光画像と変わらないという課題がある。 However, the visible image of the license plate area appears bright due to the flare, and the luminance is high. Therefore, in patent document 1, since the high brightness | luminance area | region uses visible light as a synthesized image, there exists a subject that the visibility of the character of a license plate is not different from a visible light image.
第２の課題として、人物の顔の撮影を挙げる。特許文献１による方法では、可視光輝度が暗いエリアでは合成像として赤外像を用いることが開示されている。しかし、固定のしきい値であるために、黒い髪の毛や黒い服のように本来暗く映る被写体においても、赤外像の輝度が適応されてしまうことになる。髪の毛は赤外光画像で明るく描写されるため、合成後は輝度が明るく変化する。そのため髪の毛のような被写体は、本来の色とは異なる色で合成されてしまうことが分かった。 The second problem is taking a picture of a person's face. In the method according to Patent Document 1, it is disclosed that an infrared image is used as a composite image in an area where the luminance of visible light is dark. However, since the threshold value is fixed, the brightness of the infrared image is also applied to a subject that is originally dark, such as black hair or black clothes. Since hair is depicted brightly in an infrared light image, the brightness changes brightly after synthesis. For this reason, it has been found that a subject such as hair is synthesized with a color different from the original color.
上述のように、可視光撮影時の輝度や赤外光撮影時の輝度が明るい暗いという輝度値に基づいて合成比率を変えて可視光画像と赤外光画像の合成を行うと、所望の画像が得られないという課題が合った。 As described above, when a visible light image and an infrared light image are synthesized by changing the composition ratio based on the luminance value that the luminance at the time of visible light imaging or the luminance at the time of infrared light imaging is bright and dark, a desired image is obtained. The problem of not being able to get was met.
上記の課題を解決するために、請求項１の発明による代表的な構成は、可視光により撮影を行う可視光撮影手段と、不可視光により撮影を行う不可視光撮影手段と、前記可視光撮影手段により得られた可視光画像と、前記不可視光撮影手段により得られた不可視光画像を合成する画像合成部とを持ち、前記可視光撮影手段により得られた可視画像の輝度成分と、前記不可視光撮影手段により得られた不可視画像の輝度成分の相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の出力を前記領域ごとに切り替えて出力可能なことを特徴とする。 In order to solve the above problems, a representative configuration according to the invention of claim 1 is a visible light photographing means for photographing with visible light, an invisible light photographing means for photographing with invisible light, and the visible light photographing means. A visible light image obtained by the invisible light photographing means, and an invisible light image obtained by the invisible light photographing means, and a luminance component of the visible image obtained by the visible light photographing means, and the invisible light Correlation calculating means for calculating the correlation of the luminance component of the invisible image obtained by the photographing means for each predetermined region is further provided, and the output of the visible light image and the invisible light image is obtained by the correlation value obtained from the correlation calculating means. It is possible to switch and output for each area.
請求項２の発明における構成は、さらに前記可視光画像のエッジ画像を作成する可視光エッジ画像作成部と前記不可視光画像のエッジ画像を作成する不可視光エッジ画像作成部をもち、相関算出手段は、前記可視光画像と前記不可視光画像の輝度のエッジ画像から相関値を算出することを特徴とする。 The configuration of the invention of claim 2 further includes a visible light edge image creating unit that creates an edge image of the visible light image and an invisible light edge image creating unit that creates an edge image of the invisible light image, and the correlation calculating means includes The correlation value is calculated from the edge image of the luminance of the visible light image and the invisible light image.
請求項３における構成は、さらに前記可視光画像と前記不可視光画像について、前記所定の領域ごとにエッジ量をそれぞれ算出するエッジ量算出手段を持ち、相関算出手段から得られる相関値が高い領域は可視画像、相関値が低い領域は、エッジ量の大きい画像を合成像として合成することを特徴とする。 The configuration according to claim 3 further includes an edge amount calculating unit that calculates an edge amount for each of the predetermined regions for the visible light image and the invisible light image, and the region having a high correlation value obtained from the correlation calculating unit is A visible image and a region having a low correlation value are characterized in that an image having a large edge amount is synthesized as a synthesized image.
請求項４における構成は、さらに可視光により撮影を行う可視光撮影手段と、不可視光により撮影を行う不可視光撮影手段と、前記可視光撮影手段により得られた可視光画像と、前記不可視光撮影手段により得られた不可視光画像を合成する画像合成部とを持ち、前記可視光撮影手段により得られた可視画像の輝度成分と、前記不可視光撮影手段により得られた不可視画像の輝度成分の相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の合成比率を前記領域ごとに切り替えて出力可能なことを特徴とする。 The configuration in claim 4 further includes a visible light photographing means for photographing with visible light, an invisible light photographing means for photographing with invisible light, a visible light image obtained by the visible light photographing means, and the invisible light photographing. And an image composition unit that synthesizes the invisible light image obtained by the means, and the correlation between the luminance component of the visible image obtained by the visible light photographing means and the luminance component of the invisible image obtained by the invisible light photographing means Further having a correlation calculating means for calculating for each predetermined area, and a combination ratio of the visible light image and the invisible light image can be switched and output for each area according to a correlation value obtained from the correlation calculating means. And
請求項５における構成は、さらに同一被写体位置にある前記不可視光画像の輝度と前記可視光画像の色差を保持する色差保持テーブルを前記領域毎に持ち、前記合成画像を作成する際に前記不可視光画像領域を選択した際に、周辺の前記可視光画像が選択された領域の前記色差保持テーブルから色差を付加することを特徴とする。 The configuration according to claim 5 further includes a color difference holding table for holding the luminance of the invisible light image at the same subject position and the color difference of the visible light image for each region, and the invisible light is generated when the composite image is created. When an image area is selected, a color difference is added from the color difference holding table of the area where the surrounding visible light image is selected.
請求項６における構成は、さらに任意の色相を指示する色相指示手段を持ち、前記合成画像を作成する際に前記不可視光画像領域を選択した際に、色相指示手段により指示された色相を色差情報として付加することを特徴とする。 The configuration according to claim 6 further includes hue instruction means for instructing an arbitrary hue, and the hue instructed by the hue instruction means when the invisible light image area is selected when the composite image is created is color difference information. It is characterized by adding as.
本発明によれば、可視光画像と赤外光画像の相関に基づいて、可視光画像と赤外光画像の合成画像を作成するとともに、よりエッジ情報の残る画像を合成像として用いるため、合成像の画像情報が高まる。 According to the present invention, a composite image of a visible light image and an infrared light image is created based on the correlation between a visible light image and an infrared light image, and an image with more edge information is used as a composite image. The image information of the image is increased.
そのため、交通監視の用途においては、フレアにより可視光像では判別できないナンバープレートエリアを赤外光像で合成するとともに、信号や車の色といった色情報は、可視光画像から合成され、より情報量の多い合成画像が作成できる。 Therefore, in traffic monitoring applications, the license plate area that cannot be identified by the visible light image due to the flare is synthesized with the infrared light image, and the color information such as the signal and the color of the car is synthesized from the visible light image. A lot of composite images can be created.
また、サングラスを掛けた人物の撮影では、赤外光画像でサングラスの奥の眼の画像を合成像とするとともに、眼周辺の肌の色を合成することができ、情報量が多く、自然な可視光画像と赤外光画像の合成画像を作成することが可能となる。 In addition, when shooting a person wearing sunglasses, the image of the eye behind the sunglasses can be combined with an infrared image, and the color of the skin around the eye can be combined. It is possible to create a composite image of a visible light image and an infrared light image.
さらに、可視画像と赤外画像に差のある領域に任意の色相で色を付加可能なため、果物の傷みの検知や、異物検知といった用途においても情報量が多く、視認性の高い可視光画像と赤外光画像の合成画像を作成することが可能となる。 In addition, because it is possible to add a color with an arbitrary hue to an area where there is a difference between the visible image and the infrared image, there is a large amount of information in applications such as fruit damage detection and foreign object detection, and a visible light image with high visibility. And a composite image of the infrared light image can be created.
本発明を図示の実施例に基づいて詳細に説明する。 The present invention will be described in detail based on the embodiments shown in the drawings.
［実施例１］
本実施例では、ヘッドライトをつけた自動車のナンバープレートを撮影する実施例について図１から図３を用いて説明をする。薄暮時や夜間などヘッドライトをつけた自動車を前方から撮影した場合、ヘッドライトによるフレアでナンバープレートの文字が撮影できない。一方、赤外光撮影においては、ヘッドライトによるフレアが低減しナンバープレートの文字の視認性が向上する。また特に赤外光照明を点灯し赤外光撮影を行うと、さらにナンバープレートの視認性は向上する。一方で自動車以外の領域は信号機など色の情報が必要となる。このため、自動車のナンバープレート部分を赤外光画像とし、自動車周辺を可視光画像で合成する実施例について説明する。
[Example 1]
In this embodiment, an embodiment for photographing a license plate of an automobile with a headlight will be described with reference to FIGS. When shooting a car with a headlight, such as during twilight or at night, from the front, the letters on the license plate cannot be photographed due to the flare caused by the headlight. On the other hand, in infrared photography, flare caused by headlights is reduced, and the visibility of characters on the license plate is improved. In particular, when the infrared illumination is turned on and infrared light photography is performed, the visibility of the license plate is further improved. On the other hand, in areas other than automobiles, color information such as traffic lights is required. Therefore, an embodiment will be described in which the license plate portion of the automobile is used as an infrared light image and the periphery of the automobile is combined with a visible light image.
＜撮像装置構成＞
本実施例における撮像装置の全体の構成について、図１を用いて説明する。
<Imaging device configuration>
The overall configuration of the imaging apparatus according to the present embodiment will be described with reference to FIG.
図１は撮影装置であるカメラの測定部の構成を示している。光軸Ｏ１上に、対物レンズ１、撮影絞り２、フォーカスレンズ３、撮影レンズ４が順次に配列されており、その後方に、波長分離のためのダイクロイックミラー５が配置されている。ダイクロイックミラー５は、可視光を透過し赤外光を反射するように構成されている。透過した可視光成分は、ダイクロイックミラー５の後方に配置された可視光画像記録用撮像素子６により光電変換され、画像化される。一方ダイクロイックミラー５で反射された赤外光成分は、光軸Ｏ２を通り配置された赤外光画像記録用撮像素子７により光電変換され、画像化される。 FIG. 1 shows a configuration of a measurement unit of a camera that is a photographing apparatus. On the optical axis O1, the objective lens 1, the photographing aperture 2, the focus lens 3, and the photographing lens 4 are sequentially arranged, and a dichroic mirror 5 for wavelength separation is disposed behind the objective lens 1. The dichroic mirror 5 is configured to transmit visible light and reflect infrared light. The transmitted visible light component is photoelectrically converted by the visible light image recording image pickup element 6 disposed behind the dichroic mirror 5 to be imaged. On the other hand, the infrared light component reflected by the dichroic mirror 5 is photoelectrically converted and imaged by the infrared light image recording imaging element 7 arranged along the optical axis O2.
また、画像記録用撮像素子６および７の出力は画像処理部８を介して、制御部９に接続されている。更に制御部９には、操作部を持つモニタ１０、画像記録部１１が接続されている。制御部９は適宜モニタ１０に観察用撮像素子６及び７で撮像された観察画像を後述の合成方法により合成し、映出する。同時に合成された画像は、制御部９に接続された画像記録部１１に蓄積される。 The outputs of the image recording image pickup devices 6 and 7 are connected to the control unit 9 via the image processing unit 8. Further, a monitor 10 having an operation unit and an image recording unit 11 are connected to the control unit 9. The control unit 9 appropriately synthesizes and displays the observation images captured by the observation imaging elements 6 and 7 on the monitor 10 by a synthesis method described later. The simultaneously synthesized image is stored in the image recording unit 11 connected to the control unit 9.
さらに、撮影装置は不図示の赤外光を発するＬＥＤ光源からなる赤外光照明光源を持つ。また、制御部９には、外部ストレージや、外部コンピュータを接続することができ、撮影画像をそれら外部機器へ転送することができる。また、外部機器により撮影の開始や終了を制御することも可能な構成となっている。 Further, the photographing apparatus has an infrared illumination light source composed of an LED light source that emits infrared light (not shown). In addition, an external storage or an external computer can be connected to the control unit 9, and a captured image can be transferred to these external devices. In addition, it is possible to control the start and end of photographing with an external device.
＜画像処理部構成＞
次に、画像処理部について図２を参照し説明する。本実施例における制御部９に実装された画像処理部の処理ブロック構成を図２に示し、処理ブロック毎の処理の流れを説明する。前述の可視光画像記録用撮像素子６より出力された可視光画像は、可視光撮像部２０１によりＲＧＢ信号に画像化され出力される。次いで、色空間変換部２０３においてＲＧＢ信号から輝度色差空間へ色空間変換される。ここで可視光画像の輝度信号（ＹＶＲ）は、相関算出部２０４へ出力され、色差信号（ＣＶＲ）は色差合成部２０５へ出力される。
<Image processing unit configuration>
Next, the image processing unit will be described with reference to FIG. The processing block configuration of the image processing unit mounted on the control unit 9 in this embodiment is shown in FIG. 2, and the processing flow for each processing block will be described. The visible light image output from the above-described visible light image recording imaging element 6 is converted into an RGB signal by the visible light imaging unit 201 and output. Next, the color space conversion unit 203 performs color space conversion from the RGB signal to the luminance color difference space. Here, the luminance signal (Y VR ) of the visible light image is output to the correlation calculation unit 204, and the color difference signal (C VR ) is output to the color difference synthesis unit 205.
また、赤外光画像について説明すると、前述の赤外光画像記録用撮像素子７より出力された赤外光画像は、赤外光撮像部２０２によりモノクロの画像として輝度信号（ＹＩＲ）のみの形式で画像化され相関算出部２０４へ出力される。 Further, the infrared light image will be described. The infrared light image output from the above-described infrared light image recording imaging element 7 is obtained by using only the luminance signal (Y IR ) as a monochrome image by the infrared light imaging unit 202. The image is formatted and output to the correlation calculation unit 204.
相関算出部２０４では、入力された可視光と赤外光信号の相関を算出する。図３に夜間にヘッドライトを点灯した自動車の可視光画像と赤外光画像を説明する図を示す。図３ａ）は、可視光画像を説明する図であり、図３ｂ）は、赤外光画像を説明する図である。 The correlation calculation unit 204 calculates the correlation between the input visible light and the infrared light signal. FIG. 3 is a diagram for explaining a visible light image and an infrared light image of a car with a headlight turned on at night. 3A) is a diagram for explaining a visible light image, and FIG. 3B) is a diagram for explaining an infrared light image.
相関算出部では、図中破腺で示すように画像を複数の処理ブロックに分割する。分割したブロックで可視光画像と赤外光画像の相関値Ｒを計算する。相関値Ｒの計算は、画像輝度そのものではなく、エッジ画像とする。エッジ画像は１次の差分画像により求められ、本実施例では、Ｓｏｂeｌフィルタを掛けた画像を用いる。Ｓｏｂｅｌフィルタによりエッジ画像となった輝度を可視赤外それぞれ、ｄＹＶＲ，ｄＹＩＲとした場合の相関値の計算式を（式１）に示す。ここで、Ｍ，Ｎは処理ブロックの縦横画素数を表す。 The correlation calculation unit divides the image into a plurality of processing blocks as indicated by a broken line in the figure. The correlation value R between the visible light image and the infrared light image is calculated with the divided blocks. The calculation of the correlation value R is not an image luminance itself but an edge image. The edge image is obtained from a first-order difference image, and in this embodiment, an image to which a Sobel filter is applied is used. (Formula 1) shows the calculation formula of the correlation value when the luminance that is the edge image by the Sobel filter is dY VR and dY IR for the visible infrared. Here, M and N represent the number of vertical and horizontal pixels of the processing block.
処理ブロック毎の相関値の計算結果を図３Ｃ）に示す。処理ブロックの明るさで相関値を示している。ナンバーの領域が周辺よりも低くなっていることは、周辺よりも相関値が低くなっていることを示している。また、左上に信号機があるが、信号機の光は可視光画像、赤外光画像それぞれのエッジに差は少なく、エッジ画像の相関は高くなる。 FIG. 3C) shows the calculation result of the correlation value for each processing block. The correlation value is indicated by the brightness of the processing block. The fact that the number area is lower than the surrounding area indicates that the correlation value is lower than the surrounding area. In addition, there is a traffic light on the upper left, but the light of the traffic light has little difference between the edges of the visible light image and the infrared light image, and the correlation between the edge images is high.
相関算出部は、処理ブロックごとの相関値情報と、入力された可視光画像、赤外光画像と共に色差合成部２０５へ出力する。さらに、可視光、赤外光それぞれのエッジ画像の輝度の処理ブロック毎の和を色差合成部２０５へ出力する。 The correlation calculation unit outputs the correlation value information for each processing block and the input visible light image and infrared light image to the color difference synthesis unit 205. Further, the sum of the luminance of each edge image of visible light and infrared light for each processing block is output to the color difference synthesis unit 205.
また、可視光と赤外光では波長の差から結像位置にずれが生じ、画角が若干ずれる。そのため相関算出部では、このずれ分を考慮して、数画素の幅を持って相関値を算出し、最も相関の高い値を相関値としても良い。 In addition, the visible position and the infrared light are shifted in image formation position due to the difference in wavelength, and the angle of view is slightly shifted. For this reason, the correlation calculation unit may calculate the correlation value with a width of several pixels in consideration of the deviation, and may set the highest correlation value as the correlation value.
色差合成部２０５では、入力された可視光の輝度画像、赤外光の輝度画像、可視光の色差画像に加え、相関算出部２０４で算出された処理ブロック毎の相関値情報と処理ブロック毎のエッジ画像の輝度の和から画像を合成する。 In the color difference synthesis unit 205, in addition to the input luminance image of visible light, the luminance image of infrared light, and the color difference image of visible light, correlation value information for each processing block calculated by the correlation calculation unit 204 and each processing block An image is synthesized from the sum of luminance of edge images.
まず、処理ブロック毎の相関値をしきい値処理することにより処理ブロックごとに赤外光画像と可視光画像の合成を行う。相関値がしきい値以上であれば、可視光画像と赤外光画像のどちらを用いても差がないと判断し、可視光画像を合成輝度として適応する。また、相関値がしきい値より低い場合、ブロック中のエッジ画像の輝度の総和が大きい画像を合成画像として適応する。これは、エッジ画像の輝度の総和は、画像情報の量に比例すると考えられるためである。つまり、可視光画像ではフレアによってナンバーがぼやけてしまいエッジ量は低下する。エッジ量が低下していれば、ナンバーに書かれる文字の情報が視認しづらくなり、情報量として低下していると考えられる。一方赤外光画像は、エッジ情報が多く、ナンバーの文字情報が残っていると考えられる。 First, an infrared light image and a visible light image are synthesized for each processing block by thresholding the correlation value for each processing block. If the correlation value is equal to or greater than the threshold value, it is determined that there is no difference between using the visible light image and the infrared light image, and the visible light image is applied as the combined luminance. When the correlation value is lower than the threshold value, an image having a large sum of luminance of edge images in the block is applied as a composite image. This is because the total luminance of the edge images is considered to be proportional to the amount of image information. That is, in the visible light image, the number is blurred due to flare, and the edge amount decreases. If the edge amount is reduced, it is difficult to visually recognize the character information written on the number, and it is considered that the information amount is reduced. On the other hand, it is considered that the infrared light image has a lot of edge information and number character information remains.
また、色差情報については、合成画像として可視光画像が選択されたブロックに合成し、赤外光画像が合成されたブロックについては、色差を合成せずグレーの色調として合成する。 As for color difference information, a visible light image is combined as a composite image with a selected block, and a block with an infrared light image is combined as a gray tone without combining color differences.
上述のように処理を行うことで、合成画像としてナンバーエリアでは、赤外光画像が選択され、ナンバーエリア以外では可視光画像が選択されることになり、フレアにより可視光画像では認識することが困難であったナンバー部分を赤外光画像で合成することでナンバー部分の視認性が向上するとともに、自動車の色や、信号や標識といった背景部分については、赤外光画像と可視光画像での相関が高くなるため、可視光画像で色を残して合成することが可能となる。 By performing the processing as described above, an infrared light image is selected in the number area as a composite image, a visible light image is selected outside the number area, and the visible light image can be recognized by flare. Combining the difficult number part with the infrared light image improves the visibility of the number part, and the background part such as the color of the car and signals and signs is the infrared light and visible light image. Since the correlation becomes high, it is possible to synthesize while leaving the color in the visible light image.
なお、本実施例では相関値をしきい値処理して可視、赤外光画像を選択的に合成したが、これを相関が高い部分では可視の合成比率を高め、逆に相関が低い部分ではエッジ量の多い画像の合成比率を高めるように実装してももちろん良い。その際の色差情報の合成割合も、可視光の割合が高い処理ブロックでは高く、可視光の割合が低いエリアでは小さくなるように合成しても良い。また、本実施例では処理ブロックごとに切り替えていたが、周辺の処理ブロックとの距離等に応じて画素ごとの合成比率を補間して決定してももちろん良い。 In the present embodiment, the correlation value is thresholded to selectively synthesize the visible and infrared light images. However, this increases the visible synthesis ratio in the portion where the correlation is high, and conversely in the portion where the correlation is low. Of course, it may be mounted so as to increase the composition ratio of an image having a large amount of edges. The composition ratio of the color difference information at that time may also be composed so as to be high in a processing block having a high visible light ratio and small in an area having a low visible light ratio. In this embodiment, switching is performed for each processing block. However, it is of course possible to determine by interpolating the synthesis ratio for each pixel in accordance with the distance to the surrounding processing blocks and the like.
さらに、合成比率の計算処理が高負荷となる処理システムの場合、本処理を掛けるエリアを画像中の一部に限定してももちろん良い。例えば、本実施例の場合、自動車のナンバーが映るエリアにだけ処理を実施し、それ以外のエリアでは、常に可視光画像、もしくは赤外光画像を選択するように構成してももちろん良い。 Furthermore, in the case of a processing system in which the calculation processing of the composition ratio is a heavy load, it is of course possible to limit the area to which this processing is applied to a part of the image. For example, in the case of the present embodiment, the processing may be performed only in the area where the number of the car is reflected, and the visible light image or the infrared light image may be always selected in the other areas.
また、相関値の計算を可視光画像、赤外光画像それぞれのエッジ画像から算出したが、エッジ画像ではなく、可視光画像と赤外光画像そのものから相関値を計算してもナンバー部分の相関は低下するためもちろん良く、相関の計算においては、式１のように領域ごとの平均値を減じているため、可視光画像と赤外光画像の領域ごとの平均輝度差の影響は低減されている。 In addition, although the correlation value was calculated from the edge images of the visible light image and the infrared light image, the correlation of the number part can be calculated even if the correlation value is calculated not from the edge image but from the visible light image and the infrared light image itself. Of course, in the calculation of the correlation, the average value for each region is reduced as in Equation 1, so that the influence of the average luminance difference for each region of the visible light image and the infrared light image is reduced. Yes.
以上のように実施することで、ヘッドライトをつけた自動車のナンバープレートを撮影する場合においても、フレアの影響をなくしてナンバープレートの文字を視認性の高い画像で保存可能であり、同時に信号の色や車の色といった可視の色情報を損なうことのない可視光画像と赤外光画像の合成画像が作成可能となる。 By carrying out as described above, even when shooting a license plate of an automobile with a headlight, the letters on the license plate can be stored as a highly visible image without the influence of flare, and at the same time the signal It is possible to create a composite image of a visible light image and an infrared light image without impairing visible color information such as color and car color.
［実施例２］
本実施例では、サングラスを掛けた人物のサングラス部分を赤外光による画像、それ以外の部分を可視光による画像で合成する実施例について図４から図６を用いて説明をする。
[Example 2]
In the present embodiment, an embodiment in which the sunglasses portion of a person wearing sunglasses is synthesized with an infrared light image and the other portions are synthesized with an visible light image will be described with reference to FIGS.
サングラスは、紫外光、可視光を遮断するが赤外光は透過するものが多い。そのため、赤外光で撮影すると眼の画像を得ることが可能となる。ところが、輝度を基準に可視光画像と赤外光画像を合成すると、サングラスよりも暗く映る黒い髪や、黒い服までも光画像で合成されることになる。一般に髪の毛は赤外光画像において明るく映るため、黒い髪を可視画像で暗いと判断し、赤外光画像を合成してしまうと、黒い髪であっても明るい合成画像となり、黒い髪の色を合成画像で再現できない。 Sunglasses often block ultraviolet light and visible light but transmit infrared light. Therefore, it is possible to obtain an eye image when photographing with infrared light. However, when the visible light image and the infrared light image are combined based on the luminance, even the dark hair and black clothes that appear darker than sunglasses are combined with the light image. Generally, since hair is reflected brightly in an infrared light image, it is determined that dark hair is dark in the visible image, and if the infrared light image is synthesized, even the black hair becomes a bright composite image, and the color of the black hair is changed. It cannot be reproduced with a composite image.
また、サングラスのように可視光画像で暗く映る領域を赤外光画像で合成する場合、色差情報を合成しないとサングラス領域のみモノクロとなり不自然な合成画像となる。一方、色差情報を可視光画像から取得すると、サングラスの色相を合成することとなり、同様に不自然な合成画像となる。 Further, when a region that appears dark in a visible light image, such as sunglasses, is synthesized with an infrared light image, only the sunglasses region becomes monochrome and an unnatural composite image is obtained unless the color difference information is synthesized. On the other hand, when the color difference information is acquired from the visible light image, the hue of the sunglasses is synthesized, and similarly an unnatural synthesized image is obtained.
このような課題を解決する実施例について説明する。本実施例では、合成画像に色差情報を付加する処理において実施例１と異なる。本実施例における撮像装置の構成は、実施例１と同様である。 An embodiment for solving such a problem will be described. This embodiment is different from the first embodiment in the process of adding color difference information to the composite image. The configuration of the imaging apparatus in the present embodiment is the same as that in the first embodiment.
＜画像処理部構成＞
本実施例における画像処理部の構成について図４を参照し説明する。本実施例における制御部９に実装された画像処理部の処理ブロック構成を図２に示し、処理ブロック毎の処理の流れを説明する。本実施例では、画像合成部２０９の処理を実施例１と異ならせており、それまでの可視光撮像部２０１、赤外光撮像部２０２、色空間変換部２０３における処理については実施例１と同様であるため説明を割愛する。
<Image processing unit configuration>
The configuration of the image processing unit in this embodiment will be described with reference to FIG. The processing block configuration of the image processing unit mounted on the control unit 9 in this embodiment is shown in FIG. 2, and the processing flow for each processing block will be described. In the present embodiment, the processing of the image composition unit 209 is different from that of the first embodiment, and the processes in the visible light imaging unit 201, the infrared light imaging unit 202, and the color space conversion unit 203 are the same as those in the first embodiment. Since it is the same, description is omitted.
相関算出部２０４において、実施例１と同様に処理ブロックごとに可視光の輝度画像と赤外光の輝度画像の相関を演算する。相関演算は、実施例１と同様、エッジ画像により求める。エッジ画像とすることによって、例えば髪の毛や黒い服のように、可視光画像と赤外光画像とで明るさに差のある場合においても、可視光画像と赤外光画像の相関は高くなる。これにより、黒い髪は、可視光画像を選択して合成することが可能となる。 In the correlation calculation unit 204, the correlation between the luminance image of visible light and the luminance image of infrared light is calculated for each processing block as in the first embodiment. The correlation calculation is obtained from the edge image as in the first embodiment. By using the edge image, the correlation between the visible light image and the infrared light image becomes high even when there is a difference in brightness between the visible light image and the infrared light image, such as hair or black clothes. Thereby, the black hair can select and synthesize a visible light image.
図５にサングラスを掛けた人物の片側のサングラス周辺の画像を示す。図５ａ）は、可視光画像の一部を説明する図であり、サングラスが写っている部分は、輝度が暗くなっており、サングラスの奥の眼は画像中に映し出されていない。一方図５ｂ）は、赤外光画像の一部を説明する図であり、サングラスが写っている部分についても、サングラスの奥の眼が画像中に映し出されている。サングラス以外の部分は、赤外光画像と可視光画像の相関が高い。このエリアの可視光画像と赤外光画像の相関値を計算し、しきい値処理した結果を図５ｃ）に示す。 FIG. 5 shows an image around sunglasses on one side of a person wearing sunglasses. FIG. 5A) is a diagram for explaining a part of the visible light image. The luminance is dark at the portion where the sunglasses are reflected, and the back eye of the sunglasses is not shown in the image. On the other hand, FIG. 5b) is a diagram for explaining a part of the infrared light image, and the eye behind the sunglasses is shown in the image even in the portion where the sunglasses are reflected. The part other than the sunglasses has a high correlation between the infrared light image and the visible light image. The correlation value between the visible light image and the infrared light image in this area is calculated, and the result of threshold processing is shown in FIG.
図中画像の上部、下部、左部の網掛けのエリア５０１が相関値の高いエリアである。一方、網掛けのないエリア５０２は、可視光画像ではサングラスが撮影されており、赤外光画像ではサングラスの奥の眼が撮影されているエリアとなる。そのため、可視光画像と赤外光画像の相関は低いエリアとなる。相関算出部２０４は、上述の説明のように、処理ブロックごとに赤外光画像と可視光画像の相関を計算し、しきい値処理した結果とエッジ量、可視光画像、赤外光画像を画像合成部２０５に出力する。 In the figure, shaded areas 501 at the top, bottom and left of the image are areas with high correlation values. On the other hand, an unshaded area 502 is an area where sunglasses are photographed in the visible light image and an eye behind the sunglasses is photographed in the infrared light image. Therefore, the correlation between the visible light image and the infrared light image is an area where the correlation is low. As described above, the correlation calculation unit 204 calculates the correlation between the infrared light image and the visible light image for each processing block, and calculates the threshold value processing result, the edge amount, the visible light image, and the infrared light image. The image is output to the image composition unit 205.
次に、画像合成部２０５における画像合成方法について説明する。実施例１との違いとして、輝度色差変換テーブルを作成し、これに従って赤外光画像が合成されるエリアに色差情報を付加する構成となっているところがある。輝度色差変換テーブルを表１に示す。このテーブルは、可視赤外相関が高いエリアで作成される。作成方法について後述する。 Next, an image composition method in the image composition unit 205 will be described. As a difference from the first embodiment, there is a configuration in which a luminance / color difference conversion table is created and color difference information is added to an area where an infrared light image is synthesized according to the table. Table 1 shows the luminance / color difference conversion table. This table is created in an area where the visible-infrared correlation is high. A creation method will be described later.
輝度色差変換テーブル作成方法：
相関算出部で定義された処理ブロックごとに作成されるテーブルであり、可視光画像と赤外光画像の相関が高い処理ブロックに含まれる画素の赤外光輝度をエントリーとしと可視光画像の色差が登録されるテーブルである。赤外光画像の輝度が１３４の時に、Ｃｂ、Ｃｒがそれぞれ−３６、５６であるときに表中の最上段のようにＹ＝１３４、Ｃｂ＝−３６、Ｃｒ＝５６と記録される。この処理は、処理ブロック中の全画素について可視光画像輝度と色差をテーブル中に登録していく。同一の輝度である場合は、平均値がテーブル中に記述されるように登録していく。そのため、図示しないが、可視光画像輝度ごとに、登録した画素数と、色差信号の総和を保持しながら作成する。上述の処理を処理ブロック中の全画素について行うことによって、輝度色差変換テーブルは作成される。同様にすべての赤外光画像と可視光画像の相関が高いと判断された処理ブロックについて輝度色差変換テーブルを作成する。
Luminance color difference conversion table creation method:
This is a table created for each processing block defined by the correlation calculator, and the color difference of the visible light image with the infrared light luminance of the pixels included in the processing block having a high correlation between the visible light image and the infrared light image as an entry. Is a registered table. When the brightness of the infrared light image is 134, when Cb and Cr are −36 and 56, respectively, Y = 134, Cb = −36, and Cr = 56 are recorded as in the uppermost row in the table. In this processing, the visible light image luminance and the color difference are registered in the table for all the pixels in the processing block. When the brightness is the same, the average value is registered so as to be described in the table. Therefore, although not shown, it is created for each visible light image luminance while maintaining the registered number of pixels and the sum of the color difference signals. The luminance / color difference conversion table is created by performing the above-described processing for all the pixels in the processing block. Similarly, a luminance color difference conversion table is created for processing blocks for which it is determined that the correlation between all infrared light images and visible light images is high.
次に、色差値が格納されなかった輝度値について、色差値を補完することで、色差値が格納されていない輝度値についても色差値を格納していく。色差信号が格納されている輝度エントリーが、前述の表１のように、１３４、１１５である場合、この間の輝度エントリーを登録された輝度１３４、１１５の色差から補完していく。なお、輝度エントリーが所定のしきい値以上大きく離れる場合、補間は行わずに可視光画像色差が登録されていないことを示すフラグをテーブル中に保存する。表１の例では、色差が登録された最も低い輝度は０、次いで低い輝度は７７であり、この２つの輝度差はしきい値以上であると判断し、色差の登録は行わず、色差が登録されていないことを示すフラグ（ＮＡ）を保存する。上述のような色差の登録されていない輝度への色差の補間を行うことで、輝度色差変換テーブルを作成する。 Next, by complementing the color difference value for the luminance value for which no color difference value is stored, the color difference value is also stored for the luminance value for which no color difference value is stored. If the luminance entries in which the color difference signals are stored are 134 and 115 as shown in Table 1 above, the luminance entries between these are complemented from the registered color differences of the luminances 134 and 115. When the luminance entry is far away from the predetermined threshold value, interpolation is not performed and a flag indicating that no visible light image color difference is registered is stored in the table. In the example of Table 1, the lowest luminance in which the color difference is registered is 0, and the next lowest luminance is 77. It is determined that these two luminance differences are equal to or greater than the threshold value, the color difference is not registered, and the color difference is A flag (NA) indicating that it is not registered is stored. A luminance-color-difference conversion table is created by interpolating the color-difference to the luminance for which no color difference is registered as described above.
次に、輝度色差変換テーブルを用いて、色差信号を合成する方法について説明する。 Next, a method for synthesizing a color difference signal using a luminance color difference conversion table will be described.
輝度色差変換テーブル適用方法：
可視光画像と赤外光画像の相関が低く、かつ赤外光画像のエッジ量の総和が可視光画像のそれよりも高い処理ブロックについて適用していく。輝度色差変換テーブル適用方法のフローを図６に示し、処理ステップごとに説明を加える。
Luminance color difference conversion table application method:
The present invention is applied to a processing block in which the correlation between the visible light image and the infrared light image is low and the sum of the edge amounts of the infrared light image is higher than that of the visible light image. The flow of the luminance / color difference conversion table application method is shown in FIG. 6 and will be described for each processing step.
ステップ６０１：変換テーブル選択
まず、輝度色差変換テーブルを選択する。選択される処理ブロックは、処理中の画素が含まれる処理ブロックの近傍に位置する処理ブロックを優先的に参照する。図５ｂ）の５０３の処理ブロックを処理する際は、５０４、５０５の処理ブロックが、可視が選択された最も近傍にある処理ブロックであり、この場合２つの輝度色差変換テーブルを用いる。
Step 601: Conversion table selection First, a luminance color difference conversion table is selected. The selected processing block refers preferentially to a processing block located in the vicinity of the processing block including the pixel being processed. When processing the processing block 503 in FIG. 5B), the processing blocks 504 and 505 are the processing blocks in the vicinity where visibility is selected. In this case, two luminance color difference conversion tables are used.
ステップ６０２：画素ループ
本処理は、画素ごとの処理となるため、処理ブロック中の画素を逐次処理していく。
Step 602: Pixel Loop Since this process is a process for each pixel, the pixels in the processing block are sequentially processed.
ステップ６０３：テーブル参照
次に、処理画素の赤外光画像輝度値が、ステップ６０１で選択した輝度色差変換テーブル中に色差を持つテーブルとして登録されているかをテーブル参照により判定する。
Step 603: Refer to Table Next, it is determined by referring to the table whether the infrared light image luminance value of the processing pixel is registered as a table having a color difference in the luminance / color difference conversion table selected in Step 601.
ステップ６０４：変換テーブル選択
ステップ６０３のテーブル参照において、輝度色差変換テーブル中に、処理画素の輝度に対応する色差情報が登録されていない場合、輝度色差変換テーブルを再選択する。ステップ６０１で最も近い処理ブロックの輝度色差変換テーブルを用いたが、次に近い位置の処理ブロックの輝度色差変換テーブルを再選択し、ステップ６０３に戻る。また、処理対象であるブロックとしきい値以内の距離の処理ブロックすべてを選択し、色差情報が登録されていない場合、色差情報を選択せずにステップ６０５へ遷移する。
Step 604: Conversion table selection When the color difference information corresponding to the luminance of the processing pixel is not registered in the luminance / color difference conversion table in the table reference in step 603, the luminance / color difference conversion table is selected again. In step 601, the luminance / color difference conversion table of the closest processing block is used. If all the processing blocks within the distance between the block to be processed and the threshold are selected and the color difference information is not registered, the process proceeds to step 605 without selecting the color difference information.
ステップ６０５色差保存
色差が登録されていた場合、その色差を処理画素の色差として適応する。複数のテーブルを参照している場合で、複数のテーブルに登録されている場合、それぞれの色差情報の平均値を色差として適用する。また、色差が登録されていない場合、色差０を登録し、グレーの色相とする。
Step 605 Save Color Difference If the color difference is registered, the color difference is applied as the color difference of the processing pixel. When referring to a plurality of tables and registered in a plurality of tables, the average value of each color difference information is applied as a color difference. If no color difference is registered, a color difference of 0 is registered to give a gray hue.
以上のステップにより、可視光画像と赤外光画像の相関が低く、赤外のエッジ情報が多い処理ブロックについて、色差情報の合成が完了する。図５においては、サングラスで隠れていた眼の周りの肌については、頬などの色差情報から類推された色差情報が付加されることになるため、顔画像として自然な再現が可能となる。また、眼の中の瞳孔や強膜は、色差情報が類推できないため、色を持たないグレー画素として再現されるが、眼の画像としては違和感のない再現が可能となる。 Through the above steps, the synthesis of the color difference information is completed for the processing block in which the correlation between the visible light image and the infrared light image is low and the infrared edge information is large. In FIG. 5, since the color difference information analogized from the color difference information such as the cheek is added to the skin around the eye hidden by the sunglasses, natural reproduction as a face image is possible. In addition, the pupil and sclera in the eye are reproduced as gray pixels having no color because the color difference information cannot be inferred, but the eye image can be reproduced without any sense of incongruity.
以上のように実施することで、サングラスを掛けた人物を撮影する際に、黒い髪の毛や黒い服のように本来暗く映る被写体においても、赤外像の輝度が適応されてしまうことはなく、可視像が合成され、画像の色情報を損なわない良好な画像記録を行うことができる。また、サングラス越しに見える眼は、赤外光画像が合成されることで、可視光画像だけで記録する際に比べ、人物の特徴が多く残る画像を保存できる。さらに、サングラスで隠れた眼の周りの肌色を再現可能であり、顔画像として自然な画像保存が可能となる。 In this way, when shooting a person wearing sunglasses, the brightness of the infrared image will not be applied to subjects that appear dark, such as black hair or black clothes. Visual images are synthesized, and good image recording can be performed without losing color information of the image. In addition, an eye that looks through sunglasses can be combined with an infrared light image to store an image in which a lot of human features remain as compared to recording with only a visible light image. Furthermore, the skin color around the eye hidden by the sunglasses can be reproduced, and natural image storage as a face image becomes possible.
［第３の実施例］
第３の実施例として、相関が低い領域に任意の色差信号を合成するようにした例について述べる。実施例１においては、合成画像として赤外光画像が選択された領域の色差情報はグレーとした。実施例２においては、合成画像として赤外光画像が選択された領域の色差情報は、周辺の相関が高い領域から赤外光画像の輝度と可視光画像の色差をテーブル化して保持し、赤外光画像の輝度から色差を推定して付加した。本実施例では、合成画像として赤外光画像が選択された領域の色差信号として、あらかじめ指定された色相を相関の低い領域に付加することにより、可視と赤外で画像に差がある領域を利用者が注目し易いように加工する例について述べる。
[Third embodiment]
As a third embodiment, an example in which an arbitrary color difference signal is synthesized in an area having a low correlation will be described. In Example 1, the color difference information of the region where the infrared light image is selected as the composite image is gray. In the second embodiment, the color difference information of the region in which the infrared light image is selected as the composite image is stored as a table of the luminance of the infrared light image and the color difference of the visible light image from a region having high peripheral correlation. The color difference was estimated from the brightness of the external light image and added. In this embodiment, a region having a difference between visible and infrared images is added by adding a pre-designated hue to a region having a low correlation as a color difference signal of a region in which an infrared light image is selected as a composite image. An example of processing so that the user can easily pay attention is described.
第３の実施例として、果物の傷み具合を判定する例を挙げる。図７に一部が痛んだ果物の可視画像（ａ）と赤外画像（ｂ）を示す。傷んだ部分は、可視光画像では判別しにくいが、赤外光画像では図７（ｂ）に示すように、傷んだ部分が低輝度で描出される。 As a third embodiment, an example of determining the degree of damage to fruits will be described. FIG. 7 shows a visible image (a) and an infrared image (b) of a partially damaged fruit. The damaged part is difficult to distinguish in the visible light image, but in the infrared light image, as shown in FIG. 7B, the damaged part is depicted with low luminance.
本実施例における撮像装置の構成は、実施例１と同様である。画像処理部の構成の違いは、図２の画像合成部２０５での合成方法を異ならせている。本実施例では、相関値がしきい値よりも低いエリアの色差情報として、特定の色差情報を付加する。本実施例では、赤や緑のリンゴの傷みを視認しやすくするため、シアンの色相である（Ｃｂ、Ｃｒ）＝（４３、−１２７）を色差として合成する。ここで、Ｃｂ，Ｃｒの値域は−１２８から１２７の８ビットの数値とする。 The configuration of the imaging apparatus in the present embodiment is the same as that in the first embodiment. The difference in the configuration of the image processing unit is different in the synthesis method in the image synthesis unit 205 of FIG. In this embodiment, specific color difference information is added as color difference information of an area having a correlation value lower than a threshold value. In this embodiment, in order to make it easier to visually recognize the damage of red and green apples, (Cb, Cr) = (43, −127) which is a hue of cyan is synthesized as a color difference. Here, the value range of Cb and Cr is an 8-bit numerical value from −128 to 127.
この色相は、操作部を持つモニタ１０の操作部、もしくは制御部９にネットワークにより接続された外部のコンピュータにより設定可能な構成としている。そのため、撮影対象物に応じた視認性の高い色を適宜設定可能である。 This hue can be set by an operation unit of the monitor 10 having an operation unit or an external computer connected to the control unit 9 via a network. For this reason, it is possible to appropriately set a highly visible color according to the object to be photographed.
以上のように画像処理部を構成することにより、可視光画像と赤外光画像で相関のない傷みの部分に、ユーザーが指定した視認性の高い色が合成されるため、痛みの部分の視認性が向上する。これにより従来では、可視光画像と赤外光画像を見比べて判定しなければならなかったが、合成画像として出力できることで、判定対象の画像が１つで済むとともに、差分となる傷んだ領域に任意の目立ちやすい色相を付加できることによって、検査を短時間で実施することが可能となる。 By configuring the image processing unit as described above, a highly visible color specified by the user is combined with a damaged portion that has no correlation between the visible light image and the infrared light image. Improves. Thus, in the past, it was necessary to make a determination by comparing a visible light image and an infrared light image. However, since it can be output as a composite image, only one image to be determined is required, and a damaged area that becomes a difference is obtained. Since an arbitrary conspicuous hue can be added, the inspection can be performed in a short time.
また、上記実施例２においては、色差情報を１つだけ設定したが、輝度ごとに色差を変えるように設定し、輝度ごとに異なる色差を付加してももちろん良い。 In the second embodiment, only one color difference information is set. However, it is of course possible to change the color difference for each luminance and add a different color difference for each luminance.
［その他の実施例］
その他の実施例として、赤外光画像と可視光画像において、輝度の相関に差がある被写体であれば、実施例３の構成を用いることで、差分のある画像領域に任意の色をつけ、エッジ情報の多い輝度情報を合成することが可能となる。このような被写体の例を後述する。
[Other Examples]
As another example, if a subject has a difference in luminance correlation between an infrared light image and a visible light image, an arbitrary color is given to an image region having a difference by using the configuration of Example 3, Luminance information with a lot of edge information can be synthesized. An example of such a subject will be described later.
つけひげによる変装：上述のように、人毛は赤外光画像において明るく映るが、つけひげで人毛以外の素材や、人工的に着色されている場合、暗く映る。このような場合には、つけひげと本物のひげや髪の毛の境界部分で可視光エッジ画像と赤外光エッジ画像の相関が低くなる。この相関値の低い領域に任意の色をつけて合成することが可能となる。 Disguise with a false beard: As described above, human hair appears bright in the infrared light image, but appears dark when the material other than human hair is artificially colored with a false beard. In such a case, the correlation between the visible light edge image and the infrared light edge image is low at the border between the false beard and the real beard or hair. It is possible to synthesize an arbitrary color in a region having a low correlation value.
異物検知：中身の見えない袋の中に異物がある場合、赤外光画像では袋の中の異物を検出できるため、異物の周辺において、可視光画像と赤外光画像の相関が低くなる。このため、相関値の低い領域に任意の色をつけて合成し、監視者の視認性の高い合成画像を作成することが可能となる。 Foreign matter detection: When there is a foreign matter in a bag whose contents cannot be seen, the foreign matter in the bag can be detected from the infrared light image, and therefore, the correlation between the visible light image and the infrared light image becomes low around the foreign matter. For this reason, it is possible to create a composite image with high visibility for the observer by adding an arbitrary color to the region having a low correlation value and combining them.
髪の毛の検知：上述のように髪の毛は赤外光画像で明るく描写されるため、床や製品に髪の毛が落ちているかを検知するような目的において、髪の毛がある場合に相関値が変化する。変化した領域に任意の色をつけて合成し、監視者の視認性の高い合成画像を作成することが可能となる。 Detection of hair: As described above, since the hair is drawn brightly in the infrared light image, the correlation value changes when there is hair for the purpose of detecting whether the hair is falling on the floor or the product. It is possible to create a composite image with high visibility for the observer by combining the changed area with an arbitrary color.
水の検知：水は赤外波長領域において吸収されやすく、可視光画像よりも赤外光画像において暗く描写される。そのため、水滴のように可視光画像では視認しにくい被写体も、赤外光画像では暗くなり、相関値も低くなるため、相関値の低い領域に任意の色をつけて合成し、視認性の高い合成画像を作成することが可能となる。 Water detection: Water is easily absorbed in the infrared wavelength region and is drawn darker in the infrared light image than in the visible light image. Therefore, even a subject that is difficult to see in a visible light image, such as a water drop, becomes dark in an infrared light image and has a low correlation value. A composite image can be created.
以上のように実施することによって、可視光画像と赤外光画像の相関に基づいて、可視光画像と赤外光画像の合成画像を作成するとともに、よりエッジ情報の残る画像を合成像として用いるため、合成像の画像情報が高まる。 By implementing as described above, a composite image of the visible light image and the infrared light image is created based on the correlation between the visible light image and the infrared light image, and an image with more edge information is used as the composite image. Therefore, the image information of the composite image is increased.
そのため、交通監視の用途においては、フレアにより可視光画像では判別できないナンバープレートエリアを赤外光画像で合成するとともに、信号や車の色といった色情報は、可視光画像から合成され、より情報量の多い合成画像が作成できる。 Therefore, in traffic monitoring applications, license plate areas that cannot be identified by visible light images due to flare are combined with infrared light images, and color information such as signals and car colors are combined from visible light images, resulting in more information. A lot of composite images can be created.
また、サングラスを掛けた人物の撮影では、赤外光画像でサングラスの奥の眼の画像を合成像とするとともに、眼周辺の肌の色を合成することができ、情報量が多く、自然な可視赤外合成画像を作成することが可能となる。 In addition, when shooting a person wearing sunglasses, the image of the eye behind the sunglasses can be combined with an infrared image, and the color of the skin around the eye can be combined. A visible-infrared composite image can be created.
さらに、可視光画像と赤外光画像に差のある領域に任意の色相で色を付加可能なため、果物の傷みの検知や、異物検知といった用途においても情報量が多く、視認性の高い可視光画像と赤外光画像の合成画像を作成することが可能となる。 Furthermore, since it is possible to add colors with arbitrary hues to areas where there is a difference between visible light images and infrared light images, there is a large amount of information in applications such as fruit damage detection and foreign object detection, and visibility is high. It is possible to create a composite image of an optical image and an infrared light image.
１ 対物レンズ、２ 撮影絞り、３ フォーカシングレンズ、４ 撮影レンズ、
５ ダイクロイックミラー、６ 可視光画像記録用撮像素子、
７ 赤外光画像記録用撮像素子、８ 画像処理部、９ 制御部、１０ モニタ、
１１ 画像記録部、Ｏ１ 光路、Ｏ２ 光路
1 Objective lens, 2 Shooting aperture, 3 Focusing lens, 4 Shooting lens,
5 Dichroic mirror, 6 Visible light image recording device,
7 imaging device for infrared image recording, 8 image processing unit, 9 control unit, 10 monitor,
11 Image recording unit, O1 optical path, O2 optical path
Claims (6)
相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の出力を前記領域ごとに切り替えて出力可能なことを特徴とする撮像装置。 Visible light photographing means for photographing with visible light, invisible light photographing means for photographing with invisible light, visible light image obtained by the visible light photographing means, and invisible light image obtained by the invisible light photographing means And a correlation between the luminance component of the visible image obtained by the visible light photographing means and the luminance component of the invisible image obtained by the invisible light photographing means is calculated for each predetermined region. An imaging apparatus further comprising a correlation calculating unit, wherein the output of the visible light image and the invisible light image can be switched for each region according to a correlation value obtained from the correlation calculating unit.
相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の合成比率を前記領域ごとに切り替えて出力可能なことを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。 Visible light photographing means for photographing with visible light, invisible light photographing means for photographing with invisible light, visible light image obtained by the visible light photographing means, and invisible light image obtained by the invisible light photographing means And a correlation between the luminance component of the visible image obtained by the visible light photographing means and the luminance component of the invisible image obtained by the invisible light photographing means is calculated for each predetermined region. 2. The apparatus according to claim 1, further comprising a correlation calculating unit, wherein a combination ratio of the visible light image and the invisible light image can be switched for each region according to a correlation value obtained from the correlation calculating unit. 4. The imaging device according to any one of 3.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015128201A JP2017011633A (en) | 2015-06-26 | 2015-06-26 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015128201A JP2017011633A (en) | 2015-06-26 | 2015-06-26 | Imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017011633A true JP2017011633A (en) | 2017-01-12 |
Family
ID=57764183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015128201A Pending JP2017011633A (en) | 2015-06-26 | 2015-06-26 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017011633A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018154965A1 (en) * | 2017-02-24 | 2018-08-30 | ソニー株式会社 | Image processing device and imaging apparatus |
| JP2018195085A (en) * | 2017-05-17 | 2018-12-06 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
| WO2019012647A1 (en) * | 2017-07-13 | 2019-01-17 | 日本電気株式会社 | Image processing device, image processing method, and program storage medium |
| JP2020202489A (en) * | 2019-06-10 | 2020-12-17 | キヤノン株式会社 | Image processing device, image processing method, and program |
| CN112767291A (en) * | 2021-01-04 | 2021-05-07 | 浙江大华技术股份有限公司 | Visible light image and infrared image fusion method and device and readable storage medium |
| US11189018B2 (en) | 2017-06-01 | 2021-11-30 | Nec Corporation | Image generation device, image generation method, and storage medium on which program is stored |
-
2015
- 2015-06-26 JP JP2015128201A patent/JP2017011633A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018154965A1 (en) * | 2017-02-24 | 2018-08-30 | ソニー株式会社 | Image processing device and imaging apparatus |
| JP7020471B2 (en) | 2017-02-24 | 2022-02-16 | ソニーグループ株式会社 | Image processing equipment and imaging equipment |
| JPWO2018154965A1 (en) * | 2017-02-24 | 2020-01-23 | ソニー株式会社 | Image processing device and imaging device |
| US10827129B2 (en) | 2017-02-24 | 2020-11-03 | Sony Corporation | Image processing apparatus and imaging apparatus |
| JP2018195085A (en) * | 2017-05-17 | 2018-12-06 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
| US11189018B2 (en) | 2017-06-01 | 2021-11-30 | Nec Corporation | Image generation device, image generation method, and storage medium on which program is stored |
| US11055877B2 (en) | 2017-07-13 | 2021-07-06 | Nec Corporation | Image processing device, image processing method, and program storage medium |
| TWI721288B (en) * | 2017-07-13 | 2021-03-11 | 日商日本電氣股份有限公司 | Image processing device, image processing method and program recording medium |
| JPWO2019012647A1 (en) * | 2017-07-13 | 2020-04-23 | 日本電気株式会社 | Image processing apparatus, image processing method, and computer program |
| WO2019012647A1 (en) * | 2017-07-13 | 2019-01-17 | 日本電気株式会社 | Image processing device, image processing method, and program storage medium |
| JP2020202489A (en) * | 2019-06-10 | 2020-12-17 | キヤノン株式会社 | Image processing device, image processing method, and program |
| JP7403242B2 (en) | 2019-06-10 | 2023-12-22 | キヤノン株式会社 | Image processing system, image processing method, and program |
| CN112767291A (en) * | 2021-01-04 | 2021-05-07 | 浙江大华技术股份有限公司 | Visible light image and infrared image fusion method and device and readable storage medium |
| CN112767291B (en) * | 2021-01-04 | 2024-05-28 | 浙江华感科技有限公司 | Visible light image and infrared image fusion method, device and readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4466569B2 (en) | Color image playback device | |
| CN103609100B (en) | Video generation device | |
| JP6084434B2 (en) | Image processing system and image processing method | |
| CN110519489B (en) | Image acquisition method and device | |
| JP7285791B2 (en) | Image processing device, output information control method, and program | |
| US8767074B2 (en) | System and method of assisting visibility of driver | |
| US9200895B2 (en) | Image input device and image processing device | |
| JP2017011633A (en) | Imaging device | |
| JP7412920B2 (en) | Image processing device, image processing method and program | |
| WO2020238970A1 (en) | Image denoising device and image denoising method | |
| JP2013255144A (en) | Imaging apparatus | |
| WO2009088080A1 (en) | Projector | |
| KR102697037B1 (en) | Image Improving Apparatus for AVM System and Improving Method thereof | |
| WO2019146418A1 (en) | Image processing device, image processing method, and program | |
| JP2013162339A (en) | Imaging device | |
| JP5218634B2 (en) | Pseudo gray image generating apparatus and program | |
| US11410274B2 (en) | Information processing device and program | |
| WO2020084894A1 (en) | Multi-camera system, control value calculation method and control device | |
| JP7080688B2 (en) | Image processing device, image pickup device, image processing method, program | |
| US12356103B2 (en) | Imaging system and method | |
| JPWO2020017638A1 (en) | Image generator and image pickup device | |
| US20250111478A1 (en) | Signal processing apparatus, method of controlling signal processing apparatus, and storage medium | |
| JP2012015834A (en) | Imaging device | |
| KR101897114B1 (en) | Apparatus and method for selecting camera image around vehicle | |
| WO2015156045A1 (en) | Image processing device, image-capturing device, and image-capturing method |