[go: up one dir, main page]

JP2014153110A - Deposition amount calculation device, mobile device control system, and deposition amount calculation program - Google Patents

Deposition amount calculation device, mobile device control system, and deposition amount calculation program Download PDF

Info

Publication number
JP2014153110A
JP2014153110A JP2013021296A JP2013021296A JP2014153110A JP 2014153110 A JP2014153110 A JP 2014153110A JP 2013021296 A JP2013021296 A JP 2013021296A JP 2013021296 A JP2013021296 A JP 2013021296A JP 2014153110 A JP2014153110 A JP 2014153110A
Authority
JP
Japan
Prior art keywords
image
light source
light
amount calculation
deposit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013021296A
Other languages
Japanese (ja)
Other versions
JP2014153110A5 (en
JP6183682B2 (en
Inventor
Hiroyoshi Sekiguchi
洋義 関口
Shintaro Kida
真太郎 木田
Koji Oshikiri
幸治 押切
Masato Morioka
真人 森岡
Yuji Takahashi
祐二 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013021296A priority Critical patent/JP6183682B2/en
Publication of JP2014153110A publication Critical patent/JP2014153110A/en
Publication of JP2014153110A5 publication Critical patent/JP2014153110A5/ja
Application granted granted Critical
Publication of JP6183682B2 publication Critical patent/JP6183682B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】フロントガラス等の光透過部材に付着した雨滴等の付着物の量を精度よく算出することを課題とする。
【解決手段】光源からの光が照射されるフロントガラス１０５の雨滴観測部分を撮像部で撮像して得られる撮像画像中の処理対象領域に対し、雨滴観測部分に付着している雨滴を映し出す雨滴画像領域を検出し、その検出結果から雨量を算出する雨量算出処理を実行する際、光源から雨滴観測部分を経由して撮像部に入射した光が受光され得る受光範囲に対応した光源画像領域の撮像画像中における重心位置Ｇの座標に基づいて上記処理対象領域を特定し、該処理対象領域特定処理によって特定した処理対象領域に対して上記雨量算出処理を実行する。
【選択図】図８An object of the present invention is to accurately calculate the amount of deposits such as raindrops attached to a light transmission member such as a windshield.
A raindrop that projects raindrops attached to a raindrop observation portion with respect to a processing target region in a captured image obtained by imaging a raindrop observation portion of a windshield 105 irradiated with light from a light source with an imaging portion. When executing the rainfall calculation process for detecting the image area and calculating the rainfall based on the detection result, the light source image area corresponding to the light receiving range in which the light incident on the imaging unit from the light source through the raindrop observation part can be received. The processing target area is specified based on the coordinates of the gravity center position G in the captured image, and the rain amount calculation process is executed on the processing target area specified by the processing target area specifying process.
[Selection] Figure 8

Description

本発明は、光源からの光が照射されるガラス等の光透過部材を撮像手段で撮像して得られる撮像画像に基づいて、その光透過部材に付着している付着物の量を算出可能な付着量算出装置及びこれを備えた移動体機器制御システム、並びに、付着量算出用プログラムに関するものである。   The present invention can calculate the amount of adhering material adhering to a light transmission member based on a captured image obtained by imaging a light transmission member such as glass irradiated with light from a light source with an imaging unit. The present invention relates to an adhesion amount calculation device, a mobile device control system including the same, and an adhesion amount calculation program.

この種の付着量算出装置としては、例えば、特許文献１に記載された画像処理システムが知られている。この画像処理システムでは、車両等のウィンドウガラス（光透過部材）に光源から光を照射し、そのウィンドウガラスからの反射光を撮像手段の撮像素子で受光して撮像し、その撮像画像に基づいてウィンドウガラスに付着した雨滴などの付着物の量を算出する。この画像処理システムにおいては、まず、光源を点灯したときの画像信号を撮像素子から画像処理プロセッサに入力する。そして、入力された画像信号に対してエッジ検出処理を実行し、雨滴の画像領域と雨滴でない画像領域との境界を強調したエッジ画像を作成する。その後、このエッジ画像に対して円形状の領域を検出する円検出処理を実行し、検出した円形状領域（付着物画像領域）の個数を数え、これを雨量に変換する。   As this kind of adhesion amount calculation device, for example, an image processing system described in Patent Document 1 is known. In this image processing system, a window glass (light transmissive member) of a vehicle or the like is irradiated with light from a light source, and reflected light from the window glass is received and imaged by an imaging element of an imaging means, and based on the captured image. Calculate the amount of deposits such as raindrops attached to the window glass. In this image processing system, first, an image signal when a light source is turned on is input from an image sensor to an image processor. Then, edge detection processing is performed on the input image signal to create an edge image in which the boundary between the raindrop image region and the non-raindrop image region is emphasized. Thereafter, a circle detection process for detecting a circular area is performed on the edge image, the number of detected circular areas (attachment image areas) is counted, and this is converted into rainfall.

また、特許文献２には、自動車等の車外に取り付けられた撮像装置のレンズを覆うレンズカバー状導光部（光透過部材）に付着した水滴等の付着物を検出する機能を備えた撮像装置が開示されている。この撮像装置では、光源が点灯しているときに撮像手段の撮像素子で得られた画像と、光源が消灯しているときにその撮像素子で得られた画像との濃度差分画像を生成する。この濃度差分画像において所定の輝度以上である画素領域を付着物画像領域であると判断する。そして、その付着物画像領域ごとに画素数や重心座標を算出し、その算出結果から、付着物の数や大きさ、付着物の位置を特定する。   Patent Document 2 discloses an image pickup apparatus having a function of detecting adhering substances such as water droplets attached to a lens cover-like light guide (light transmitting member) that covers a lens of an image pickup apparatus attached outside a vehicle such as an automobile. Is disclosed. In this imaging apparatus, a density difference image is generated between an image obtained by the imaging device of the imaging means when the light source is turned on and an image obtained by the imaging device when the light source is turned off. In this density difference image, a pixel area having a predetermined luminance or higher is determined to be an attachment image area. Then, the number of pixels and the barycentric coordinates are calculated for each of the attached object image areas, and the number and size of attached objects and the position of the attached object are specified from the calculation result.

付着物の量を算出する付着量算出処理では、まず、光源から光透過部材を経由して撮像手段に入射する光（光源光）が受光され得る受光範囲に対応した光源画像領域内に存在する付着物画像領域を検出する付着物検出処理を行う。そして、この付着物検出処理の結果から付着物の量を算出する。付着物検出処理を行う対象とする画像領域（処理対象領域）内に光源画像領域外の画像領域（非光源画像領域）が含まれていると、その非光源画像領域についても付着物検出処理を行うことになる。非光源画像領域は、光源画像領域外の画像領域であるため、本来は付着物が検出されないことが想定されている。しかしながら、非光源画像領域で付着物が誤って検出される結果が生じる場合があり、その場合には、付着量算出結果に誤差を生じさせることになる。そのため、付着物検出処理の処理対象領域については、なるべく非光源画像領域を含まないように狭く設定することが望まれる。   In the attached amount calculation processing for calculating the amount of attached matter, first, light (light source light) incident on the imaging means from the light source via the light transmitting member exists in the light source image area corresponding to the light receiving range in which light can be received. A deposit detection process for detecting the deposit image area is performed. Then, the amount of deposits is calculated from the result of the deposit detection process. If an image area (non-light source image area) outside the light source image area is included in the image area (processing target area) to be subjected to the attachment detection process, the attachment detection process is also performed for the non-light source image area. Will do. Since the non-light source image region is an image region outside the light source image region, it is assumed that no deposit is originally detected. However, there may be a case in which a deposit is erroneously detected in the non-light source image region. In this case, an error is caused in the deposit amount calculation result. For this reason, it is desirable to set the processing target area of the attached matter detection process as narrow as possible so as not to include the non-light source image area.

ところが、通常、光源や撮像素子の組み付け誤差等により、撮像素子に対する光源光の入射位置が変化する。光源光の入射位置が変化すると、撮像画像中の光源画像領域の位置が変化するため、上述したように非光源画像領域をなるべく含まないように処理対象領域を狭く設定すると、組み付け誤差等によって光源画像領域が処理対象領域から外れてしまう。この場合、処理対象領域には、かえって非光源画像領域が多く含まれてしまい、逆に付着物量の算出精度を低下させることになる。そのため、組み付け誤差等があっても光源画像領域が処理対象領域から外れないように、予め非光源画像領域が多く含まれるように処理対象領域を広く設定せざるを得ず、高い付着物量算出精度を得ることが困難であった。   However, the incident position of the light source light on the image sensor usually changes due to an assembly error of the light source or the image sensor. When the incident position of the light source light changes, the position of the light source image area in the captured image changes. Therefore, if the processing target area is set to be as small as possible so as not to include the non-light source image area as described above, the light source is caused by an assembly error or the like. The image area deviates from the processing target area. In this case, the non-light source image area is included in the processing target area on the contrary, and the calculation accuracy of the amount of attached matter is reduced. For this reason, it is necessary to set the processing target area wide so that many non-light source image areas are included in advance so that the light source image area does not deviate from the processing target area even if there is an assembly error, etc. It was difficult to get.

特に、車両、船舶、航空機等の移動体に搭載される付着量算出装置の場合、移動体の加速や減速によって光源や撮像素子に慣性力が作用して、光源と撮像素子との相対位置関係が変化したり、光源からの光照射方向が変化したりして、光源から光透過部材を経由して撮像手段に入射する光の入射位置が変化する。また、移動中の移動体に生じ得る揺れや振動等によっても、光源と撮像素子との相対位置関係が変化したり、光源からの光照射方向が変化したりして、光源から光透過部材を経由して撮像手段に入射する光の入射位置が変化することもある。そのため、移動体の加減速あるいは揺れや振動が生じても光源画像領域が処理対象領域から外れないように、予め非光源画像領域が多く含まれるように処理対象領域を広く設定せざるを得ず、高い付着物量算出精度を得ることが困難であった。   In particular, in the case of an adhesion amount calculation device mounted on a moving body such as a vehicle, a ship, or an aircraft, the inertial force acts on the light source or the image sensor due to acceleration or deceleration of the moving body, and the relative positional relationship between the light source and the image sensor. Or the direction of light irradiation from the light source changes, and the incident position of light incident on the imaging means from the light source via the light transmitting member changes. In addition, the relative positional relationship between the light source and the image sensor changes due to the shaking or vibration that may occur in the moving moving body, or the light irradiation direction from the light source changes, so that the light transmitting member is moved from the light source. The incident position of the light incident on the imaging means via the route may change. For this reason, the processing target area must be set wide so that many non-light source image areas are included in advance so that the light source image area does not deviate from the processing target area even if acceleration / deceleration or shaking or vibration of the moving body occurs. Therefore, it was difficult to obtain a high deposit amount calculation accuracy.

本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、光透過部材に付着した付着物の量を精度よく算出することができる付着量算出装置、移動体機器制御システム及び付着量算出用プログラムを提供することである。   The present invention has been made in view of the above problems, and an object of the present invention is to provide an adhesion amount calculation device and a mobile device control system capable of accurately calculating the amount of an adhesion matter attached to a light transmission member. And providing an adhesion amount calculation program.

上記目的を達成するために、本発明は、光源からの光が照射される光透過部材の付着物観測部分を撮像手段で撮像して得られる撮像画像から、該付着物観測部分に付着している付着物を映し出す付着物画像領域を検出し、その検出結果から該付着物の量を算出する付着物量算出処理を実行する付着物量算出手段を備えた付着量算出装置において、上記付着物量算出手段は、上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る受光範囲に対応した光源画像領域の上記撮像画像中における位置情報に基づいて、上記付着物画像領域の検出を行う処理対象領域を特定する処理対象領域特定処理を実行し、該処理対象領域特定処理によって特定した処理対象領域に対して上記付着物量算出処理を実行することを特徴とする。   In order to achieve the above object, the present invention attaches to the deposit observation portion from the captured image obtained by imaging the deposit observation portion of the light transmitting member irradiated with light from the light source with the imaging means. In the attached amount calculation device comprising the attached amount calculation means for detecting the attached matter image area that reflects the attached attached matter and calculating the amount of attached matter from the detection result, the attached matter amount calculating means Is based on the positional information in the captured image of the light source image area corresponding to the light receiving range in which the light incident on the imaging means from the light source via the deposit observation part can be received. A process target area specifying process for specifying a process target area for detecting the target object is performed, and the above-mentioned deposit amount calculation process is executed for the process target area specified by the process target area specifying process. To.

本発明においては、上記処理対象領域特定処理を実行することにより、光源から光透過部材の付着物観測部分を経由して撮像手段に入射した光が受光され得る受光範囲に対応した光源画像領域の撮像画像中における位置情報を元に、処理対象領域を特定する。これにより、付着物観測部分を経由した光源からの光の撮像手段への入射位置が変化しても、光源からの光が照射されている付着物観測部分を映し出している光源画像領域を含む適切な処理対象領域を特定することができる。更に、組み付け誤差や振動などによる光源画像領域の位置変動を考慮して処理対象領域を広く設定する必要がなくなるので、光源画像領域外の画像領域が少ない処理対象領域に対して付着物量算出処理を実行することができる。よって、光源画像領域外の画像領域による検出誤差が少なく、高い精度で付着物の量を算出することができる。   In the present invention, by executing the processing target area specifying process, the light source image area corresponding to the light receiving range in which the light incident on the imaging means from the light source via the adhering portion of the light transmitting member can be received. A processing target region is specified based on position information in the captured image. As a result, even if the incident position of the light from the light source that has passed through the deposit observation portion to the imaging means changes, the light source image area that reflects the deposit observation portion irradiated with the light from the light source is appropriately included. Can be specified. Furthermore, since it is not necessary to set a wide processing target area in consideration of the positional variation of the light source image area due to assembly errors or vibrations, the amount-of-attachment calculation processing is performed for a processing target area with few image areas outside the light source image area. Can be executed. Therefore, the detection error due to the image area outside the light source image area is small, and the amount of deposit can be calculated with high accuracy.

以上より、本発明によれば、光透過部材に付着した付着物の量を精度よく算出することができるという優れた効果が得られる。   As mentioned above, according to this invention, the outstanding effect that the quantity of the deposit | attachment adhering to the light transmissive member can be calculated accurately is acquired.

実施形態における車載機器制御システムの概略構成を示す模式図である。It is a mimetic diagram showing a schematic structure of an in-vehicle device control system in an embodiment. 同車載機器制御システムにおける撮像ユニットの概略構成を示す模式図である。It is a schematic diagram which shows schematic structure of the imaging unit in the same vehicle equipment control system. （ａ）は、フロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っているときの雨滴画像の例を示す説明図である。（ｂ）は、無限遠又は無限遠とフロントガラスとの間に焦点が合っているときの雨滴画像の例を示す説明図である。(A) is explanatory drawing which shows the example of a raindrop image when the imaging lens has focused on the raindrop on the outer wall surface of a windshield. (B) is explanatory drawing which shows the example of a raindrop image when it has focused between infinity or infinity and a windshield. 雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。It is a graph which shows the filter characteristic of the cut filter applicable to the picked-up image data for raindrop detection. 雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。It is a graph which shows the filter characteristic of the band pass filter applicable to the picked-up image data for raindrop detection. 同撮像部の光学フィルタに設けられる前段フィルタの正面図である。It is a front view of the front | former stage filter provided in the optical filter of the imaging part. 同撮像部の撮像画像データの画像例を示す説明図である。It is explanatory drawing which shows the image example of the captured image data of the imaging part. 実施形態における雨量算出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the rainfall calculation process in embodiment. 画像解析ユニットにおける雨量算出処理を実行する雨量算出処理部の機能ブロック図である。It is a functional block diagram of the rainfall calculation process part which performs the rainfall calculation process in an image analysis unit. （ａ）は、点灯時画像の一画像例を示す説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。（ｃ）は、同（ａ）の画像例に対して決定される決定される処理対象領域の他の例を示す説明図である。(A) is explanatory drawing which shows one example of an image at the time of lighting. (B) is explanatory drawing which shows an example of the process target area | region determined with respect to the image example of the same (a). (C) is explanatory drawing which shows the other example of the process target area | region determined with respect to the image example of the same (a). （ａ）は、図１０（ａ）に示した画像例と比較して光源画像領域が画像上方へ変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。(A) is explanatory drawing of the image at the time of lighting which the light source image area | region changed upwards compared with the example of an image shown to Fig.10 (a). (B) is explanatory drawing which shows an example of the process target area | region determined with respect to the image example of the same (a). （ａ）は、図１０（ａ）に示した画像例と比較して光源画像領域が画像下方へ変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。(A) is explanatory drawing of the image at the time of lighting which the light source image area | region changed below the image compared with the image example shown to Fig.10 (a). (B) is explanatory drawing which shows an example of the process target area | region determined with respect to the image example of the same (a). （ａ）は、点灯時画像の他の画像例を示す説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。(A) is explanatory drawing which shows the other example of an image at the time of lighting. (B) is explanatory drawing which shows an example of the process target area | region determined with respect to the image example of the same (a). （ａ）は、図１３（ａ）に示した画像例と比較して光源画像領域が全体的に画像上方へ変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。(A) is explanatory drawing of the image at the time of lighting from which the light source image area | region changed to the upper part of the image entirely compared with the example of an image shown to Fig.13 (a). (B) is explanatory drawing which shows an example of the process target area | region determined with respect to the image example of the same (a). （ａ）は、図１３（ａ）に示した画像例と比較して光源画像領域が全体的に画像下方へ変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。(A) is explanatory drawing of the image at the time of lighting in which the light source image area | region changed below the image entirely compared with the example of an image shown to Fig.13 (a). (B) is explanatory drawing which shows an example of the process target area | region determined with respect to the image example of the same (a). （ａ）は、図１３（ａ）に示した画像例と比較して各光源画像領域の位置が個別に変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。(A) is explanatory drawing of the image at the time of lighting from which the position of each light source image area | region changed individually compared with the image example shown to Fig.13 (a). (B) is explanatory drawing which shows an example of the process target area | region determined with respect to the image example of the same (a). 比較実験例１の実験結果を示すグラフである。6 is a graph showing experimental results of Comparative Experimental Example 1. 比較実験例２の実験結果を示すグラフである。10 is a graph showing experimental results of Comparative Experimental Example 2. 比較実験例３の実験結果を示すグラフである。10 is a graph showing experimental results of Comparative Experimental Example 3.

以下、本発明に係る付着量算出装置を移動体機器制御システムである車載機器制御システムに用いた一実施形態について説明する。
なお、本発明に係る付着量算出装置は、車載機器制御システムに限らず、他のシステムにも適用できる。 Hereinafter, an embodiment in which an adhesion amount calculation device according to the present invention is used in an in-vehicle device control system that is a mobile device control system will be described.
In addition, the adhesion amount calculation apparatus according to the present invention is not limited to the in-vehicle device control system but can be applied to other systems.

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像装置で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ワイパーの駆動制御、ヘッドランプの配光制御、その他の車載機器の制御を行うものである。 FIG. 1 is a schematic diagram illustrating a schematic configuration of an in-vehicle device control system according to the present embodiment.
This in-vehicle device control system uses a captured image data of a forward region (imaging region) in the traveling direction of the host vehicle captured by an imaging device mounted on the host vehicle 100 such as an automobile that is a moving body, It controls the light distribution of the headlamps and other in-vehicle devices.

本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像装置で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、光透過部材であるフロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。   The imaging device provided in the in-vehicle device control system of the present embodiment is provided in the imaging unit 101, and images the traveling region forward area of the traveling vehicle 100 as an imaging region. The windshield 105 is installed in the vicinity of a room mirror (not shown). The captured image data captured by the imaging device of the imaging unit 101 is input to the image analysis unit 102. The image analysis unit 102 analyzes the captured image data transmitted from the imaging device, calculates the position, direction and distance of another vehicle existing ahead of the host vehicle 100 in the captured image data, or is a light transmitting member. For example, an adhering matter such as raindrops or foreign matters adhering to the windshield 105 is detected, or a detection target such as a white line (partition line) on the road surface existing in the imaging region is detected. In the detection of other vehicles, a preceding vehicle traveling in the same traveling direction as the own vehicle 100 is detected by identifying the tail lamp of the other vehicle, and traveling in the opposite direction to the own vehicle 100 by identifying the headlamp of the other vehicle. An oncoming vehicle is detected.

画像解析ユニット１０２の算出結果は、ランプ制御手段としてのヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。   The calculation result of the image analysis unit 102 is sent to a headlamp control unit 103 as lamp control means. For example, the headlamp control unit 103 generates a control signal for controlling the headlamp 104 that is an in-vehicle device of the host vehicle 100 from the distance data calculated by the image analysis unit 102. Specifically, for example, while avoiding that the strong light of the headlamp of the own vehicle 100 is incident on the driver of the preceding vehicle or the oncoming vehicle, the driver of the other vehicle is prevented from being dazzled. The switching of the high beam and the low beam of the headlamp 104 is controlled, and partial shading control of the headlamp 104 is performed so that the driver's visibility can be secured.

画像解析ユニット１０２の算出結果は、ワイパー制御手段としてのワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。   The calculation result of the image analysis unit 102 is also sent to the wiper control unit 106 as a wiper control means. The wiper control unit 106 controls the wiper 107 to remove deposits such as raindrops and foreign matters attached to the windshield 105 of the host vehicle 100. The wiper control unit 106 receives the attached matter detection result detected by the image analysis unit 102 and generates a control signal for controlling the wiper 107. When the control signal generated by the wiper control unit 106 is sent to the wiper 107, the wiper 107 is operated to ensure the visibility of the driver of the host vehicle 100.

また、画像解析ユニット１０２の算出結果は、車両走行制御手段としての車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。   The calculation result of the image analysis unit 102 is also sent to the vehicle travel control unit 108 as vehicle travel control means. Based on the white line detection result detected by the image analysis unit 102, the vehicle travel control unit 108 warns the driver of the host vehicle 100 when the host vehicle 100 is out of the lane area defined by the white line. Notification is performed, and driving support control such as controlling the steering wheel and brake of the host vehicle is performed.

図２は、撮像ユニット１０１の概略構成を示す模式図である。
撮像ユニット１０１は、撮像部２００と、光源２０２と、反射ミラー２０３とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像部２００及び光源２０２は、光源・撮像モジュール１０１Ａに固定支持されており、反射ミラー２０３は、ミラーモジュール１０１Ｂに固定支持されている。本実施形態において、光源２０２及び反射ミラー２０３は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴である場合を例に挙げて説明する。）を検出するためのものである。 FIG. 2 is a schematic diagram illustrating a schematic configuration of the imaging unit 101.
The imaging unit 101 includes an imaging unit 200, a light source 202, and a reflection mirror 203. The imaging unit 101 is installed on the inner wall surface side of the windshield 105 of the host vehicle 100. The imaging unit 200 and the light source 202 are fixedly supported by the light source / imaging module 101A, and the reflection mirror 203 is fixedly supported by the mirror module 101B. In the present embodiment, the light source 202 and the reflection mirror 203 are for detecting an adhering matter adhering to the outer wall surface of the windshield 105 (hereinafter, the case where the adhering matter is a raindrop will be described as an example). is there.

光源・撮像モジュール１０１Ａは、撮像部２００が予め決められた撮像領域（車両前方領域）を撮像できるように、フロントガラス１０５の傾斜角度に関係なく、撮像部２００の撮像方向（撮像レンズの光軸方向）Ｐが特定の方向を向くように、自車両１００に固定される。ミラーモジュール１０１Ｂは、光源・撮像モジュール１０１Ａの光源２０２から照射される光をフロントガラス１０５に向けて反射させる反射ミラー２０３を固定支持するものであり、フロントガラス１０５の内壁面に固定される。したがって、ミラーモジュール１０１Ｂ内の反射ミラー２０３は、フロントガラス１０５の傾斜角度に応じてその反射面の方向（水平方向に対する方向）が変わることになる。光源・撮像モジュール１０１Ａは、フロントガラス１０５の傾斜角度に関係なく固定配置されるものであるため、フロントガラス１０５の傾斜角度が異なれば、光源・撮像モジュール１０１Ａに固定支持されている光源２０２から照射される光の反射ミラー２０３に対する入射角も変わってくる。   The light source / imaging module 101 </ b> A allows the imaging direction of the imaging unit 200 (the optical axis of the imaging lens) regardless of the inclination angle of the windshield 105 so that the imaging unit 200 can image a predetermined imaging region (vehicle front region). The direction is fixed to the host vehicle 100 such that P is directed in a specific direction. The mirror module 101B fixedly supports the reflection mirror 203 that reflects the light emitted from the light source 202 of the light source / imaging module 101A toward the windshield 105, and is fixed to the inner wall surface of the windshield 105. Therefore, the direction of the reflecting surface of the reflecting mirror 203 in the mirror module 101B (the direction with respect to the horizontal direction) changes according to the inclination angle of the windshield 105. Since the light source / imaging module 101A is fixedly arranged regardless of the inclination angle of the windshield 105, if the inclination angle of the windshield 105 is different, the light source / imaging module 101A is irradiated from the light source 202 fixedly supported by the light source / imaging module 101A. The incident angle of the light to the reflection mirror 203 also changes.

光源・撮像モジュール１０１Ａ及びミラーモジュール１０１Ｂは、回転連結機構１０１Ｃを介して連結されている。この回転連結機構１０１Ｃは、フロントガラス１０５の傾斜方向に対して直交する方向（図２中紙面前後方向）に延びる回転軸を有し、この回転軸を中心にして光源・撮像モジュール１０１Ａとミラーモジュール１０１Ｂとを相対回転させることができる。   The light source / imaging module 101A and the mirror module 101B are coupled via a rotation coupling mechanism 101C. The rotation coupling mechanism 101C has a rotation axis extending in a direction orthogonal to the inclination direction of the windshield 105 (the front-rear direction in FIG. 2). The light source / imaging module 101A and the mirror module are centered on the rotation axis. 101B can be relatively rotated.

このような構成を有する撮像ユニット１０１を自車両１００に設置する際、まず、ミラーモジュール１０１Ｂをフロントガラス１０５に固定する。この固定には、例えば、フロントガラス１０５に対してミラーモジュール１０１Ｂを接着したり、フロントガラス１０５に予め固定されたフック等の機構部品にミラーモジュール１０１Ｂを係合させたりする固定方法を採用できる。次に、固定したミラーモジュール１０１Ｂに対して回転連結機構１０１Ｃの回転軸を中心に光源・撮像モジュール１０１Ａを回転させ、光源・撮像モジュール１０１Ａの撮像部２００の撮像方向Ｐが上記特定の方向に一致するように、光源・撮像モジュール１０１Ａの角度調整を行い、光源・撮像モジュール１０１Ａを自車両１００に固定する。   When the imaging unit 101 having such a configuration is installed in the host vehicle 100, first, the mirror module 101B is fixed to the windshield 105. For this fixing, for example, a fixing method in which the mirror module 101B is bonded to the windshield 105 or the mirror module 101B is engaged with a mechanical part such as a hook fixed in advance on the windshield 105 can be employed. Next, the light source / imaging module 101A is rotated around the rotation axis of the rotary coupling mechanism 101C with respect to the fixed mirror module 101B, and the imaging direction P of the imaging unit 200 of the light source / imaging module 101A matches the specific direction. As described above, the angle of the light source / imaging module 101A is adjusted, and the light source / imaging module 101A is fixed to the host vehicle 100.

光源２０２の光照射方向は、回転連結機構１０１Ｃの回転調整範囲内で常にミラーモジュール１０１Ｂの反射ミラー２０３の反射面に向かうように、光源・撮像モジュール１０１Ａに固定支持されている。本撮像ユニット１０１においては、フロントガラス１０５の傾斜角度が異なる場合でも、反射ミラー２０３で反射した光の方向（水平方向に対する方向）、すなわち、フロントガラス１０５の内壁面に入射する光の入射方向（水平方向に対する方向）は、一定方向を向くように構成されている。その結果、フロントガラス１０５の外壁面で反射した光がフロントガラス１０５の内壁面から出射するときの出射方向（水平方向に対する方向）は、フロントガラス１０５の傾斜角度に関係なく、一定となる。   The light irradiation direction of the light source 202 is fixedly supported by the light source / imaging module 101A so as to always face the reflection surface of the reflection mirror 203 of the mirror module 101B within the rotation adjustment range of the rotation coupling mechanism 101C. In the imaging unit 101, even when the inclination angle of the windshield 105 is different, the direction of light reflected by the reflection mirror 203 (direction relative to the horizontal direction), that is, the incident direction of light incident on the inner wall surface of the windshield 105 ( The direction with respect to the horizontal direction) is configured to face a certain direction. As a result, the emission direction (direction with respect to the horizontal direction) when the light reflected by the outer wall surface of the windshield 105 is emitted from the inner wall surface of the windshield 105 is constant regardless of the inclination angle of the windshield 105.

フロントガラス１０５の外壁面に雨滴Ｒｄが付着していない場合、光源２０２から照射されて反射ミラー２０３で反射した光は、上述のようにフロントガラス１０５の外壁面と外気との界面で反射し、その正反射光は撮像部２００へ入射する。一方、フロントガラス１０５の外壁面に雨滴Ｒｄが付着している場合、光源２０２からの光は、フロントガラス１０５の外壁面と雨滴Ｒｄとの間における屈折率差により、フロントガラス１０５の外壁面を透過するなどして、撮像部２００へは入射しない。雨滴Ｒｄの有無によるこのような違いによって、画像解析ユニット１０２は、撮像部２００から送信される撮像画像データから、フロントガラス１０５に付着する雨滴Ｒｄを検出する。   When raindrops Rd are not attached to the outer wall surface of the windshield 105, the light emitted from the light source 202 and reflected by the reflection mirror 203 is reflected at the interface between the outer wall surface of the windshield 105 and the outside air as described above. The specularly reflected light enters the imaging unit 200. On the other hand, when raindrops Rd are attached to the outer wall surface of the windshield 105, the light from the light source 202 passes through the outer wall surface of the windshield 105 due to the refractive index difference between the outer wall surface of the windshield 105 and the raindrop Rd. The light does not enter the imaging unit 200 due to transmission or the like. Due to such a difference depending on the presence or absence of the raindrop Rd, the image analysis unit 102 detects the raindrop Rd adhering to the windshield 105 from the captured image data transmitted from the imaging unit 200.

なお、本実施形態の場合とは逆に、フロントガラス１０５の外壁面に雨滴Ｒｄが付着していない場合に光源２０２からの光が撮像部２００へ入射しないようにし、かつ、フロントガラス１０５の外壁面に雨滴Ｒｄが付着している場合に光源２０２からの光が撮像部２００へ入射するように構成することもできる。   Contrary to the case of the present embodiment, when raindrops Rd are not attached to the outer wall surface of the windshield 105, the light from the light source 202 is prevented from entering the imaging unit 200, and the outside of the windshield 105 is removed. It can also be configured such that light from the light source 202 enters the imaging unit 200 when raindrops Rd are attached to the wall surface.

本実施形態では、撮像レンズの焦点は、無限遠又は無限遠とフロントガラス１０５の外壁面との間に設定している。これにより、フロントガラス１０５上に付着した雨滴Ｒｄの検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部２００の撮像画像データから適切な情報を取得することができる。   In the present embodiment, the focus of the imaging lens is set between infinity or infinity and the outer wall surface of the windshield 105. Thereby, not only when detecting the raindrop Rd adhering to the windshield 105, but also when detecting the preceding vehicle and the oncoming vehicle and detecting the white line, appropriate information is obtained from the captured image data of the imaging unit 200. Can be acquired.

例えば、フロントガラス１０５上に付着した雨滴Ｒｄの検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、後述するように、撮像画像データ上の雨滴候補画像領域が円形状であるかどうかを判断してその雨滴候補画像領域が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、図３（ａ）に示すようにフロントガラス１０５の外壁面上の雨滴Ｒｄに撮像レンズの焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、図３（ｂ）に示すように多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。   For example, when the raindrop Rd adhering to the windshield 105 is detected, the shape of the raindrop image on the captured image data is often circular, so that the raindrop candidate image area on the captured image data will be described later. A shape recognition process is performed to determine whether or not the raindrop candidate image area is a raindrop image. When such a shape recognition process is performed, the imaging lens is in focus at infinity or infinity as described above rather than the raindrop Rd on the outer wall surface of the windshield 105 being focused as shown in FIG. 3 and the windshield 105 are slightly out of focus as shown in FIG. 3 (b), the raindrop shape recognition rate (circular shape) is high, and the raindrop detection performance is high.

光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサの受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域が好ましい。本実施形態の光源２０２は、赤外光領域の波長を有する光を照射するものである。   As the emission wavelength of the light source 202, for example, visible light or infrared light can be used. However, in order to avoid dazzling the driver or pedestrian of the oncoming vehicle with the light of the light source 202, the wavelength is longer than the visible light and the light receiving sensitivity of the image sensor reaches, for example, 800 nm to 1000 nm. The following infrared light regions are preferred. The light source 202 of the present embodiment emits light having a wavelength in the infrared light region.

特に、直射日光などの外界からの光の影響を低減するためには、９５０ｎｍを中心とした波長を選択することが有効である。ここで、フロントガラス１０５の外壁面で反射した光源２０２からの赤外波長光を撮像部２００で撮像する際、撮像部２００の画像センサでは、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。   In particular, in order to reduce the influence of light from the outside such as direct sunlight, it is effective to select a wavelength centered on 950 nm. Here, when imaging the infrared wavelength light from the light source 202 reflected by the outer wall surface of the windshield 105 with the imaging unit 200, the image sensor of the imaging unit 200 uses the infrared wavelength light from the light source 202, for example, the sun. A large amount of disturbance light including infrared light such as light is also received. Therefore, in order to distinguish the infrared wavelength light from the light source 202 from such a large amount of disturbance light, it is necessary to make the light emission amount of the light source 202 sufficiently larger than the disturbance light. It is often difficult to use an amount of light source 202.

そこで、本実施形態においては、例えば、図４に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図５に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサで受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサで受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱交と区別することが可能となる。   Therefore, in the present embodiment, for example, a cut filter that cuts light having a wavelength shorter than the light emission wavelength of the light source 202 as shown in FIG. 4, or a transmittance peak as shown in FIG. The light from the light source 202 is received by the image sensor through a bandpass filter that substantially matches the emission wavelength of 202. As a result, light other than the light emission wavelength of the light source 202 can be removed and received, so that the amount of light from the light source 202 received by the image sensor is relatively large with respect to disturbance light. As a result, even if the light source 202 does not have a large light emission amount, the light from the light source 202 can be distinguished from disturbance.

ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴Ｒｄを検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサで受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴Ｒｄを検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去する光学フィルタを用いている。   However, in the present embodiment, not only the raindrop Rd on the windshield 105 is detected from the captured image data, but also the preceding vehicle and the oncoming vehicle and the white line are detected. Therefore, if the wavelength band other than the infrared wavelength light emitted by the light source 202 is removed from the entire captured image, the image sensor can receive light in the wavelength band necessary for detection of the preceding vehicle and oncoming vehicle and detection of the white line. Therefore, these detections are hindered. Therefore, in the present embodiment, the image area of the captured image data, the image area for raindrop detection for detecting the raindrop Rd on the windshield 105, and the vehicle for detecting the preceding vehicle and the oncoming vehicle and detecting the white line. An optical filter is used that is divided into detection image regions and removes a wavelength band other than the infrared wavelength light emitted by the light source 202 only in a portion corresponding to the raindrop detection image region.

図６は、光学フィルタの一例を示す正面図である。
図７は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ２１０は、図７に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図４に示したカットフィルタや図５に示したバンドパスフィルタを用いる。 FIG. 6 is a front view illustrating an example of an optical filter.
FIG. 7 is an explanatory diagram illustrating an example of captured image data.
As shown in FIG. 7, the optical filter 210 according to the present embodiment includes an infrared light cut filter region 211 disposed at a position corresponding to the upper image 2/3 of the captured image, which is the vehicle detection image region 213, and raindrop detection. The region is divided into an infrared light transmission filter region 212 disposed at a position corresponding to the lower third of the captured image that is the image region 214. For the infrared light transmission filter region 212, the cut filter shown in FIG. 4 or the band-pass filter shown in FIG. 5 is used.

対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の画像は、主に撮像画像中央部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは路端や白線の検出と雨滴の検出とを両立して行う場合には、図７に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、撮像画像中央部を含む残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して光学フィルタ２１０を領域分割するのが好適である。   The headlamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the image of the road edge and white line are often present mainly at the center of the captured image, and the image of the closest road surface in front of the host vehicle is present at the bottom of the captured image. It is normal. Therefore, the information necessary for identifying the headlamp of the oncoming vehicle, the tail lamp of the preceding vehicle, the road edge, and the white line is concentrated in the center of the captured image, and the information below the captured image is not so important in the identification. Therefore, when both oncoming vehicle, preceding vehicle, road edge and white line detection and raindrop detection are performed simultaneously from a single captured image data, the lower part of the captured image is used for raindrop detection as shown in FIG. It is preferable that the image area 214 is formed, and the upper part of the remaining captured image including the central portion of the captured image is the vehicle detection image area 213, and the optical filter 210 is divided into areas corresponding thereto.

なお、撮像画像上部の情報は、自車両前方の上空の画像が存在するのが通常であり、撮像画像下部の情報と同様、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別にはあまり重要でない。よって、雨滴検出用画像領域２１４を撮像画像上部に設けるようにしてもよいし、撮像画像上部と下部の両方に設けるようにしてもよい。   The information above the captured image usually has an image of the sky in front of the host vehicle. Similar to the information at the bottom of the captured image, the headlamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the road edge and white line are identified. Is not very important. Therefore, the raindrop detection image area 214 may be provided in the upper part of the captured image, or may be provided in both the upper part and the lower part of the captured image.

また、本実施形態においては、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで雨滴検出精度を悪化させる原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図４に示したカットフィルタや図５に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が雨滴検出用画像領域２１４に含まれずに除去され、雨滴検出精度を悪化させることはない。   In the present embodiment, the bonnet of the host vehicle may enter the lower part of the imaging area. In this case, sunlight reflected by the bonnet of the host vehicle, tail lamps of the preceding vehicle, etc. become disturbance light, and this is included in the captured image data, thereby causing raindrop detection accuracy to deteriorate. Even in such a case, in the present embodiment, the cut filter shown in FIG. 4 and the bandpass filter shown in FIG. The disturbance light such as the tail lamp of the vehicle is removed without being included in the raindrop detection image area 214, and the raindrop detection accuracy is not deteriorated.

また、本実施形態の光学フィルタ２１０における車両検出用画像領域２１３に対応する箇所には、赤外光カットフィルタ領域２１１が配置される。この箇所のフィルタ領域は、可視光を透過できればよいので、全波長帯を透過する非フィルタ領域でもよいが、光源２０２からの赤外波長光が入射してもこれによるノイズが軽減されるように、赤外波長をカットできるのが望ましい。   In addition, an infrared light cut filter region 211 is disposed at a location corresponding to the vehicle detection image region 213 in the optical filter 210 of the present embodiment. Since the filter region at this location only needs to be able to transmit visible light, it may be a non-filter region that transmits the entire wavelength band. However, even if infrared wavelength light from the light source 202 is incident, noise caused thereby is reduced. It is desirable to be able to cut infrared wavelengths.

ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別するようにしてもよい。   Here, when the preceding vehicle is detected, the preceding vehicle is detected by identifying the tail lamp on the captured image. However, the tail lamp has a smaller amount of light compared to the headlamp of the oncoming vehicle, and disturbance such as street lights. Since there is a lot of light, it is difficult to detect the tail lamp with high accuracy only from mere luminance data. Therefore, spectral information may be used to identify the tail lamp, and the tail lamp may be identified based on the amount of received red light.

撮像領域からの光は、撮像部２００の撮像レンズを通り、光学フィルタ２１０を透過して、画像センサでその光強度に応じた電気信号に変換される。画像センサから出力される電気信号（アナログ信号）は、画像センサ上における各画素の明るさ（輝度）を示すデジタル信号に変換され、画像の水平・垂直同期信号とともに撮像画像データとして画像解析ユニット１０２へ出力される。   The light from the imaging region passes through the imaging lens of the imaging unit 200, passes through the optical filter 210, and is converted into an electrical signal corresponding to the light intensity by the image sensor. The electrical signal (analog signal) output from the image sensor is converted into a digital signal indicating the brightness (luminance) of each pixel on the image sensor, and the image analysis unit 102 as captured image data together with the horizontal / vertical synchronization signal of the image. Is output.

画像センサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオードＡを用いている。フォトダイオードは、画素ごとに２次元的にアレイ配置されており、フォトダイオードの集光効率を上げるために、各フォトダイオードの入射側にはマイクロレンズが設けられている。この画像センサがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板が形成されている。   The image sensor is an image sensor using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) or the like, and a photodiode A is used as a light receiving element thereof. The photodiodes are two-dimensionally arrayed for each pixel, and a microlens is provided on the incident side of each photodiode in order to increase the light collection efficiency of the photodiode. This image sensor is bonded to a printed wiring board (PWB) by a method such as wire bonding to form a sensor substrate.

次に、本実施形態における付着量算出処理である雨量算出処理について説明する。
図８は、本実施形態における雨量算出処理の流れを示すフローチャートである。
図９は、画像解析ユニット１０２における雨量算出処理を実行する雨量算出処理部３００の機能ブロック図である。
まず、所定の雨量検出タイミングが到来したら、まず、光源２０２を点灯させて（Ｓ１）、撮像装置により画像（点灯時画像）を撮像する（Ｓ２）。これにより、光源２０２からの光が照射されたフロントガラス１０５の部分（雨滴観測部分）が撮像画像下部の雨滴検出用画像領域２１４に映し出された撮像画像（点灯時画像）のデータが、水平同期信号に同期して、画像格納メモリ３０１に格納される。また、この点灯時画像のデータは、光分布位置計算部３０２にも送られる。続いて、光源２０２を消灯させて（Ｓ３）、撮像装置により画像（消灯時画像）を撮像する（Ｓ４）。これにより、光源２０２から光が照射されていない状態のフロントガラス１０５の雨滴観測部分が撮像画像下部の雨滴検出用画像領域２１４に映し出された撮像画像（消灯時画像）のデータが、水平同期信号に同期して、画像格納メモリ３０１に格納される。点灯時画像の撮像時点と消灯時画像の撮像時点とはより近い時点であるのが好ましい。したがって、本実施形態では、点灯時画像及び消灯時画像として、連続する２フレームで撮像したものを使用する。 Next, a rain amount calculation process that is an adhesion amount calculation process in the present embodiment will be described.
FIG. 8 is a flowchart showing the flow of rainfall calculation processing in the present embodiment.
FIG. 9 is a functional block diagram of the rainfall calculation processing unit 300 that executes the rainfall calculation processing in the image analysis unit 102.
First, when a predetermined rain detection timing arrives, first, the light source 202 is turned on (S1), and an image (lighted image) is captured by the imaging device (S2). Thereby, the data of the captured image (lighted image) in which the portion of the windshield 105 irradiated with the light from the light source 202 (raindrop observation portion) is displayed in the raindrop detection image area 214 below the captured image is horizontally synchronized. It is stored in the image storage memory 301 in synchronization with the signal. The lighting image data is also sent to the light distribution position calculation unit 302. Subsequently, the light source 202 is turned off (S3), and an image (image when turned off) is captured by the imaging device (S4). As a result, the data of the captured image (image when extinguished) in which the raindrop observation portion of the windshield 105 that is not irradiated with light from the light source 202 is displayed in the raindrop detection image area 214 below the captured image is converted into the horizontal synchronization signal. Are stored in the image storage memory 301 in synchronism with each other. It is preferable that the time when the image is turned on and the time when the image is turned off are closer to each other. Therefore, in the present embodiment, images that are captured in two consecutive frames are used as the on-image and the off-image.

一方、光分布位置計算部３０２では、撮像した点灯時画像のデータから、その点灯時画像中における光源からの光が映し出されている光源画像領域の位置情報を取得し（Ｓ５）、取得した位置情報から、雨滴を映し出す雨滴画像領域を検出する範囲である処理対象領域を決定する処理を行う（Ｓ６）。このステップＳ５及びＳ６の処理についての詳細は後述する。   On the other hand, the light distribution position calculation unit 302 acquires position information of the light source image area in which light from the light source in the lighting image is projected from the captured lighting image data (S5), and the acquired position From the information, a process of determining a processing target area that is a range in which a raindrop image area that projects raindrops is detected is performed (S6). Details of the processes in steps S5 and S6 will be described later.

なお、雨量算出処理部３００に入力される垂直同期信号は、点灯時画像や消灯時画像の選択、画像格納メモリ３０１の書込許可、光分布位置計算部の計算許可などに利用される。また、点灯時画像や消灯時画像の画素数が多い場合には、適宜間引いて、画像格納メモリ３０１に格納するようにしてもよい。   Note that the vertical synchronization signal input to the rainfall calculation processing unit 300 is used for selecting a lighting image and a lighting image, permission for writing to the image storage memory 301, calculation permission for the light distribution position calculation unit, and the like. In addition, when the number of pixels of the on-image or the off-image is large, it may be thinned out as appropriate and stored in the image storage memory 301.

本実施形態では、このようにして決定された処理対象領域に対し、差分画像生成部３０３において、点灯時画像と消灯時画像の輝度差分画像を作成する（Ｓ７）。その後、雨量算出部３０４において、その輝度差分画像からフロントガラス１０５の外壁面に付着している雨滴の量（雨量）を算出する（Ｓ８）。光源２０２を消灯させた状態で撮像された雨滴検出用画像領域２１４は、光源２０２からの光を含まない外乱光のみを映し出したものである。一方、光源２０２を点灯させた状態で撮像された雨滴検出用画像領域２１４は、外乱光と光源２０２からの光の両方を映し出したものである。したがって、これらの画像間の輝度差分を計算することで得られる輝度値（輝度差分画像の画素値）は、外乱光が除外され、光源２０２からの光に対応したものとなる。本実施形態では、このような輝度差分画像を用いることで、外乱光の影響を排除して、光源２０２からの光の受光量を高精度に検出することができる。   In the present embodiment, the difference image generation unit 303 creates a luminance difference image between the on-time image and the unlit image for the processing target area determined in this way (S7). Thereafter, the rain amount calculation unit 304 calculates the amount of rain drops (rain amount) adhering to the outer wall surface of the windshield 105 from the brightness difference image (S8). The raindrop detection image area 214 imaged in a state where the light source 202 is turned off shows only disturbance light not including light from the light source 202. On the other hand, the raindrop detection image area 214 imaged in a state where the light source 202 is turned on shows both disturbance light and light from the light source 202. Therefore, the luminance value (pixel value of the luminance difference image) obtained by calculating the luminance difference between these images corresponds to the light from the light source 202 without disturbance light. In the present embodiment, by using such a luminance difference image, it is possible to detect the amount of light received from the light source 202 with high accuracy by eliminating the influence of disturbance light.

このようにして作成した輝度差分画像からフロントガラス１０５上の雨滴の量（雨量）を算出する（Ｓ８）。本実施形態においては、上述したように、光源２０２からの光のうち、雨滴Ｒｄが付着しているフロントガラス部分に入射した光は撮像部２００に入射せず、雨滴Ｒｄが付着していないフロントガラス部分に入射した光は撮像部２００に入射する。したがって、雨滴ＲＤを映し出す雨滴画像は、雨滴検出用画像領域２１４上において低輝度な画像として映し出される。したがって、輝度差分画像中から低輝度画像領域を抽出し、抽出された低輝度画像領域を、雨滴Ｒｄが映し出された雨滴画像領域の候補領域として特定する。具体的には、まず、輝度差分画像の画素値を所定の閾値と比較することにより２値化処理を行う。この２値化処理では、例えば、所定の閾値以上の画素値をもつ画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、この２値化画像において、「０」が割り振られた画素が近接している場合には、それらを１つの低輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の低い近接した複数の画素の集合が、１つの低輝度画像領域として抽出される。   The amount of raindrops (rainfall) on the windshield 105 is calculated from the brightness difference image created in this way (S8). In the present embodiment, as described above, of the light from the light source 202, the light incident on the windshield portion to which the raindrop Rd is attached does not enter the imaging unit 200 and the raindrop Rd is not attached. Light incident on the glass portion enters the imaging unit 200. Therefore, the raindrop image that displays the raindrop RD is displayed as a low-brightness image on the raindrop detection image area 214. Therefore, a low-luminance image region is extracted from the luminance difference image, and the extracted low-luminance image region is specified as a raindrop image region candidate region where the raindrop Rd is projected. Specifically, first, binarization processing is performed by comparing the pixel value of the luminance difference image with a predetermined threshold value. In this binarization process, for example, a binary image is created by assigning “1” to pixels having a pixel value equal to or greater than a predetermined threshold and assigning “0” to pixels that are not. Next, in the binarized image, when pixels assigned with “0” are close to each other, a labeling process for recognizing them as one low-luminance image region is performed. Thereby, a set of a plurality of adjacent pixels having a low luminance value is extracted as one low luminance image region.

次に、このようにして特定される雨滴画像領域の候補領域に対し、形状識別処理を行って雨滴画像領域を特定する。撮像画像上の雨滴画像の形状は円形状であることが多いので、上述した低輝度画像領域抽出処理によって抽出した雨滴画像領域の候補領域が円形状であるかどうかの形状識別処理を行い、その結果から雨滴画像領域を特定する。そして、このようにして特定された雨滴画像領域の数をカウントした結果を雨量として算出する。ワイパー制御ユニット１０６は、例えば、この雨量の算出結果が所定の条件（例えば、連続して撮像された２０セットの撮像画像（点灯時画像と消灯時画像のセット）について、いずれも雨量のカウント値が１０以上であるという条件）を満たしたときに、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う。   Next, the raindrop image area is specified by performing shape identification processing on the candidate raindrop image area specified in this way. Since the shape of the raindrop image on the captured image is often a circular shape, shape identification processing is performed to determine whether the candidate region of the raindrop image region extracted by the low-luminance image region extraction processing described above is a circular shape. The raindrop image area is specified from the result. Then, the result of counting the number of raindrop image areas specified in this way is calculated as the rainfall. For example, the wiper control unit 106 determines the rain count value for a predetermined condition (for example, 20 sets of captured images (a set of images when the light is turned on and an image when the light is turned off) continuously taken). Is satisfied), wiper 107 drive control and washer fluid discharge control are performed.

次に、雨量算出処理を行う画像範囲である処理対象領域の決定方法について詳しく説明する。
図１０（ａ）は、点灯時画像の画像例を示す説明図である。図１０（ｂ）は、図１０（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。図１０（ｃ）は、図１０（ａ）の画像例に対して決定される決定される処理対象領域の他の例を示す説明図である。なお、これらの画像例において、雨滴検出用画像領域２１４内に白く浮かび上がっている画像部分が、光源２０２からの光の分布（光源画像領域）である。なお、これらの画像例は、雨滴Ｒｄが付着していない状況のものである。 Next, a method for determining a processing target area that is an image range in which the rainfall calculation process is performed will be described in detail.
Fig.10 (a) is explanatory drawing which shows the example of an image at the time of lighting. FIG. 10B is an explanatory diagram illustrating an example of a processing target area determined for the image example in FIG. FIG. 10C is an explanatory diagram illustrating another example of the processing target area determined for the image example in FIG. In these image examples, the image portion that appears white in the raindrop detection image area 214 is the distribution of light from the light source 202 (light source image area). Note that these image examples are in a situation where no raindrop Rd is attached.

図１０（ａ）に示す点灯時画像の例では、点灯時画像上における光源２０２からの光の分布（光源画像領域）が１つの楕円形状を示すものとなっている。点灯時画像上にこのような１つの楕円形状の光源画像領域が映し出される構成においては、当該１つの光源画像領域の位置情報としては、例えば、その重心位置Ｇの座標（ｘＧ，ｙＧ）を用いることができる。重心位置Ｇの座標は、例えば、雨滴検出用画像領域２１４内で一定の閾値を超える画素値（輝度）をもった各画素（画像画素）の座標情報を用いて算出することができる。このとき、重心位置Ｇの算出に用いる各画素の座標にそれぞれの画素値（輝度）の大きさに応じた重み付けを行ってもよい。 In the example of the lighting image shown in FIG. 10A, the distribution of light from the light source 202 (light source image region) on the lighting image shows one elliptical shape. In such a configuration in which one elliptical light source image area is displayed on the lighting image, as the position information of the one light source image area, for example, the coordinates (x G , y G ) of the center of gravity position G are used. Can be used. The coordinates of the gravity center position G can be calculated using, for example, the coordinate information of each pixel (image pixel) having a pixel value (luminance) exceeding a certain threshold in the raindrop detection image region 214. At this time, the coordinates of each pixel used for calculating the gravity center position G may be weighted according to the size of each pixel value (luminance).

このようにして光源画像領域の重心位置Ｇの座標（ｘＧ，ｙＧ）を取得したら（Ｓ５）、続いて、その座標から、予め決められたアルゴリズムに従って処理対象領域２１５を決定する（Ｓ６）。この決定方法としては、例えば、図１０（ｂ）に示すように、重心位置Ｇと同じ重心位置をもつ予め決められた１つの長方形状の領域を処理対象領域２１５として決定する方法を採用することができる。また、例えば、図１０（ｃ）に示すように、重心位置Ｇと同じ重心位置をもつ予め決められた１つの長方形状の領域を画像横方向に複数分割した各領域をそれぞれ処理対象領域２１５として決定してもよい。 When the coordinates (x G , y G ) of the barycentric position G of the light source image area are acquired in this way (S5), the processing target area 215 is determined from the coordinates according to a predetermined algorithm (S6). . As this determination method, for example, as shown in FIG. 10B, a method of determining a predetermined rectangular area having the same centroid position as the centroid position G as the processing target area 215 is adopted. Can do. Further, for example, as shown in FIG. 10C, each region obtained by dividing a predetermined rectangular region having the same centroid position as the centroid position G into a plurality of horizontal directions is set as a processing target region 215. You may decide.

ここで、撮像部２００の画像センサや光源２０２の組み付け誤差によって光源画像領域の重心位置Ｇが一定に定まらない。また、アクセル操作やブレーキ操作によって自車両１００に加速度（加速、減速）が作用すると、撮像部２００や光源２０２に慣性力が働いて光源画像領域の重心位置Ｇが変動する場合がある。更には、砂利道や舗装途中の道路など、平滑でない（起伏がある）路面を自車両１００が走行しているときには、自車両１００に振動や揺れが発生し、これにより光源画像領域の重心位置Ｇが変動する場合もある。   Here, the center-of-gravity position G of the light source image region is not fixed due to an assembly error of the image sensor of the imaging unit 200 and the light source 202. In addition, when acceleration (acceleration, deceleration) is applied to the host vehicle 100 by an accelerator operation or a brake operation, an inertial force acts on the imaging unit 200 or the light source 202, and the gravity center position G of the light source image region may change. Furthermore, when the host vehicle 100 is traveling on a non-smooth (uneven) road surface such as a gravel road or a paved road, the host vehicle 100 is vibrated or shaken, which causes the center of gravity position of the light source image area. In some cases, G varies.

本実施形態においては、例えば図１１（ａ）に示すように、図１０（ａ）に示した画像例と比較して光源画像領域が画像上方へ変動した点灯時画像が撮像された場合でも、その光源画像領域の位置情報（重心位置の座標）から、図１１（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５として決定することができる。また、例えば図１２（ａ）に示すように、図１０（ａ）に示した画像例と比較して光源画像領域が画像下方へ変動した点灯時画像が撮像された場合でも、その光源画像領域の位置情報（重心位置の座標）から、図１２（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５として決定することができる。   In the present embodiment, for example, as shown in FIG. 11A, even when a lighting image in which the light source image region fluctuates upward compared to the image example shown in FIG. From the position information (coordinates of the center of gravity position) of the light source image area, as shown in FIG. 11B, the image area where the light from the light source 202 is actually projected on the lighting image is displayed as the processing target area. 215 can be determined. Further, for example, as illustrated in FIG. 12A, even when a lighting-time image in which the light source image region fluctuates downward compared to the image example illustrated in FIG. As shown in FIG. 12B, the image area where the light from the light source 202 is actually displayed is determined as the processing target area 215 from the position information (the coordinates of the center of gravity position). be able to.

また、図１３（ａ）に示すように、点灯時画像上における光源２０２からの光の分布（光源画像領域）が複数の円形状を示すものとなる場合もある。このような場合には、例えば、それぞれの光源画像領域の重心位置Ｇ１，Ｇ２，・・・，Ｇｎ−１，Ｇｎの座標を、各光源画像領域の位置情報として用いてもよい。この場合における処理対象領域の決定方法としては、例えば、図１３（ｂ）に示すように、各光源画像領域の重心位置と同じ重心位置をそれぞれ有する予め決められた円形状の領域をそれぞれ処理対象領域２１５−１，２１５−２，・・・，２１５−ｎとして決定する方法を採用することができる。 In addition, as shown in FIG. 13A, the distribution of light from the light source 202 (light source image region) on the lighting image may have a plurality of circular shapes. In such a case, for example, the coordinates of the barycentric positions G 1 , G 2 ,..., G n−1 , G n of the respective light source image areas may be used as position information of each light source image area. . As a method for determining the processing target area in this case, for example, as shown in FIG. 13B, a predetermined circular area having the same centroid position as that of each light source image area is processed. A method of determining the areas 215-1, 215-2,..., 215-n can be employed.

その結果、例えば図１４（ａ）に示すように、図１３（ａ）に示した画像例と比較して光源画像領域が全体的に画像上方へ変動した点灯時画像が撮像された場合でも、各光源画像領域の位置情報（重心位置の座標）から、図１４（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５−１，・・・，２１５−ｎとして決定することができる。また、例えば図１５（ａ）に示すように、図１３（ａ）に示した画像例と比較して光源画像領域が全体的に画像下方へ変動した点灯時画像が撮像された場合でも、その光源画像領域の位置情報（重心位置の座標）から、図１５（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５−１，・・・，２１５−ｎとして決定することができる。   As a result, for example, as shown in FIG. 14 (a), even when a lighting image is captured in which the light source image region is entirely shifted upward compared to the image example shown in FIG. 13 (a), As shown in FIG. 14B, from the position information (coordinates of the center of gravity position) of each light source image area, the image area where the light from the light source 202 is actually displayed on the lighting image is displayed as the processing target area. 215-1,..., 215-n. Further, for example, as shown in FIG. 15A, even when a lighting-time image in which the light source image area is entirely changed downward as compared with the image example shown in FIG. From the position information (coordinates of the center of gravity position) of the light source image area, as shown in FIG. 15B, the image area where the light from the light source 202 is actually displayed on the lighting image is displayed as the processing target area 215. -1,..., 215-n.

また、例えば図１６（ａ）に示すように、それぞれの光源画像領域の変動量が互いに異なるような点灯時画像が撮像された場合でも、各光源画像領域の位置情報（重心位置の座標）から、図１６（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５−１，・・・，２１５−ｎとして決定することができる。   Further, for example, as shown in FIG. 16A, even when lighting images in which the variation amounts of the respective light source image areas are different from each other are captured, the position information (the coordinates of the center of gravity position) of each light source image area is used. As shown in FIG. 16B, the image areas where the light from the light source 202 is actually displayed on the lighting image are determined as processing target areas 215-1,. be able to.

以上より、本実施形態によれば、組み付け誤差や自車両１００に作用する加速度あるいは振動や揺れの影響で光源画像領域の重心位置Ｇが変動しても、これに追従して、光源２０２からの光が実際に映し出されている画像領域を適切に処理対象領域２１５とすることができる。よって、光源２０２からの光を映し出している光源画像領域が処理対象領域から外れたり、光源２０２からの光を映し出していない非光源画像領域が処理対象領域内で多くを占めるような状況になったりすることがなく、適切な処理対象領域に対して雨量の算出を行うことができ、雨量を高い精度で算出することができる。   As described above, according to the present embodiment, even if the gravity center position G of the light source image region fluctuates due to the effects of assembly error, acceleration acting on the host vehicle 100, vibration, or shaking, the light source 202 follows the same. The image area where the light is actually projected can be appropriately set as the processing target area 215. Accordingly, the light source image area that reflects the light from the light source 202 deviates from the processing target area, or the non-light source image area that does not reflect the light from the light source 202 occupies a large amount in the processing target area. Therefore, the rain amount can be calculated for an appropriate processing target region, and the rain amount can be calculated with high accuracy.

また、本実施形態においては、雨滴検出用画像領域２１４内において光源２０２からの光が実際に映し出されている光源画像領域を処理対象領域２１５として適切に限定することができる。そのため、組み付け誤差や自車両１００の加減速あるいは振動や揺れの影響を考慮したマージンを含める必要がないので、非光源画像領域を極力排除した狭い処理対象領域を設定することが可能となる。その結果、雨量の算出に用いられる処理対象領域に含まれる非光源画像領域の比率が小さく、非光源画像領域によるノイズ成分が少ない状態で雨量の算出を行うことができ、雨量を高い精度で算出することができる。   In the present embodiment, the light source image area in which the light from the light source 202 is actually displayed in the raindrop detection image area 214 can be appropriately limited as the processing target area 215. For this reason, it is not necessary to include a margin that takes into account the effects of assembly errors, acceleration / deceleration of the own vehicle 100, vibrations, and vibrations, so that it is possible to set a narrow processing target area that excludes the non-light source image area as much as possible. As a result, the ratio of the non-light source image area included in the processing target area used for calculating the rain amount is small, and the rain amount can be calculated in a state where the noise component due to the non-light source image area is small. can do.

〔比較実験例１〕
次に、本発明者らが実際に行った比較実験（以下「比較実験例１」という。）について説明する。
本比較実験例１では、降雨状況が「大雨」の状況下において、撮像ユニット１０１を取り付けた自車両１００で車道を実際に走行し、そのときの雨量算出結果をパーソナルコンピュータに取り込み、パーソナルコンピュータ内の解析ソフトを用いて雨量算出結果を解析した。この比較実験例１では、撮像ユニット１０１内における撮像部２００や光源２０２の組み付け精度が悪いものを用い、また、撮像ユニット１０１の取り付け精度も悪いものを用いた。比較実験例１における実施例１は、上述した実施形態のように、光源画像領域の位置情報から決定される処理対象領域に対して雨量算出処理を実行したものであり、比較例１は、予め固定された処理対象領域に対して雨量算出処理を実行したものである。 [Comparative Experiment Example 1]
Next, a comparative experiment actually performed by the present inventors (hereinafter referred to as “Comparative Experimental Example 1”) will be described.
In the first comparative experimental example, under the situation where the rainfall condition is “heavy rain”, the user actually travels on the roadway with the own vehicle 100 to which the image pickup unit 101 is attached, and the rainfall calculation result at that time is taken into the personal computer. Using the analysis software, the rainfall calculation results were analyzed. In this comparative experimental example 1, the one with poor assembling accuracy of the imaging unit 200 and the light source 202 in the imaging unit 101 was used, and the one with poor mounting accuracy of the imaging unit 101 was used. In Example 1 of Comparative Experimental Example 1, as in the above-described embodiment, the rain amount calculation process is performed on the processing target region determined from the position information of the light source image region. The rainfall calculation processing is executed on the fixed processing target area.

図１７は、本比較実験例１の実験結果を示すグラフである。
このグラフに示されるように、比較例１は、算出された雨滴量が大きくばらついており、算出された雨滴量は本来の雨滴量よりも多めに算出されている。これは、組み付け誤差等あるいは自車両１００の加減速、振動、揺れなどによって生じる光源画像領域の位置変動により、実際の光源画像領域から処理対象領域がズレてしまい、非光源画像領域の低輝度部分が雨滴画像領域として誤検出された結果であることが推測される。 FIG. 17 is a graph showing the experimental results of Comparative Example 1.
As shown in this graph, in Comparative Example 1, the calculated amount of raindrops varies widely, and the calculated amount of raindrops is calculated to be larger than the original amount of raindrops. This is because the processing target area is deviated from the actual light source image area due to the position error of the light source image area caused by an assembly error or the like, or acceleration / deceleration, vibration, or shaking of the host vehicle 100, and the low luminance part of the non-light source image area Is a result of erroneous detection as a raindrop image region.

これに対し、実施例１は、比較例１よりも、算出された雨滴量のばらつきが小さく、算出された雨滴量も本来の雨滴量とほぼ一致するという算出結果が得られている。ここでいう本来の雨滴量とは、自車両１００のエンジンを完全にオフし、自車両に加減速、振動、揺れなどが生じていない状態で、雨滴量を算出したときの雨滴量である。なお、実施例１でも、算出された雨滴量に多少のばらつきが発生しているが、これは、雨粒の親水性や撥水性、雨が継続的にフロントガラスに落下した際の弾み、雨滴同士の衝突等によって、フロントガラス１０５の外壁面上における雨滴付着面積が時間的に変化し、その結果観測される雨滴検出領域の個数が変化していることが原因であると考えられる。   On the other hand, in Example 1, the calculated raindrop amount variation is smaller than that in Comparative Example 1, and the calculation result that the calculated raindrop amount substantially matches the original raindrop amount is obtained. The original amount of raindrop here is the amount of raindrop when the amount of raindrop is calculated in a state where the engine of the host vehicle 100 is completely turned off and the host vehicle is not accelerated, decelerated, vibrated, or shaken. In Example 1, there is some variation in the calculated amount of raindrops. This is because of the hydrophilicity and water repellency of raindrops, the bounce when rain continuously falls on the windshield, It is considered that this is because the raindrop adhesion area on the outer wall surface of the windshield 105 changes with time due to the collision of the windshield 105, and the number of raindrop detection areas observed as a result changes.

〔比較実験例２〕
次に、本発明者らが実際に行った他の比較実験（以下「比較実験例２」という。）について説明する。
本比較実験例２では、降雨状況が「大雨」の状況下において、撮像ユニット１０１を取り付けた自車両１００を停車した状態（エンジンはオンの状態）で、雨量算出結果をパーソナルコンピュータに取り込み、パーソナルコンピュータ内の解析ソフトを用いて雨量算出結果を解析した。比較実験例２における実施例２は、上記実施例１と同様、上述した実施形態のように、光源画像領域の位置情報から決定される処理対象領域に対して雨量算出処理を実行したものである。比較例２は、上記比較例１と同様、予め固定された処理対象領域に対して雨量算出処理を実行したものである。そのほかの条件は、上記比較実験例１と同様である。 [Comparative Experiment 2]
Next, another comparative experiment actually conducted by the present inventors (hereinafter referred to as “Comparative Experimental Example 2”) will be described.
In this comparative experimental example 2, the rain amount calculation result is taken into a personal computer in a state where the own vehicle 100 to which the image pickup unit 101 is attached is stopped (the engine is on) under the condition of heavy rain. The rainfall calculation results were analyzed using analysis software in the computer. In Example 2 of Comparative Experimental Example 2, as in Example 1 above, the rain amount calculation process is performed on the processing target area determined from the position information of the light source image area as in the above-described embodiment. . In the second comparative example, as in the first comparative example, the rainfall calculation process is executed on the processing target area fixed in advance. Other conditions are the same as those in Comparative Example 1 described above.

図１８は、本比較実験例２の実験結果を示すグラフである。
このグラフに示されるように、比較例２は、算出された雨滴量が大きくばらついており、算出された雨滴量は本来の雨滴量よりも多めに算出されている。比較例２では、自車両１００を停車しているので、自車両１００に働く加減速や揺れなどの影響が無く、その分、比較例１よりもばらつきが小さくなっているが、エンジンの振動によって雨滴量が大きくばらついているものと推測される。これに対し、実施例２は、比較例２よりも、算出された雨滴量のばらつきが小さく、算出された雨滴量も本来の雨滴量とほぼ一致するという算出結果が得られている。 FIG. 18 is a graph showing the experimental results of Comparative Example 2.
As shown in this graph, in Comparative Example 2, the calculated raindrop amount varies widely, and the calculated raindrop amount is calculated to be larger than the original raindrop amount. In Comparative Example 2, since the host vehicle 100 is stopped, there is no influence of acceleration / deceleration or shaking acting on the host vehicle 100, and the variation is smaller than that of Comparative Example 1, but due to engine vibration. It is estimated that the amount of raindrops varies widely. On the other hand, in Example 2, the calculated raindrop amount variation is smaller than that in Comparative Example 2, and the calculation result that the calculated raindrop amount substantially matches the original raindrop amount is obtained.

〔比較実験例３〕
次に、本発明者らが実際に行った更に他の比較実験（以下「比較実験例３」という。）について説明する。
本比較実験例３では、降雨状況が「快晴」の状況下（雨が全く降っていない状況下）において、撮像ユニット１０１を取り付けた自車両１００で車道を実際に走行し、そのときの雨量算出結果をパーソナルコンピュータに取り込み、パーソナルコンピュータ内の解析ソフトを用いて雨量算出結果を解析した。比較実験例３における実施例３は、上記実施例１と同様、上述した実施形態のように、光源画像領域の位置情報から決定される処理対象領域に対して雨量算出処理を実行したものである。比較例３は、上記比較例１と同様、予め固定された処理対象領域に対して雨量算出処理を実行したものである。そのほかの条件は、上記比較実験例１と同様である。 [Comparative Experimental Example 3]
Next, still another comparative experiment actually conducted by the present inventors (hereinafter referred to as “Comparative Experimental Example 3”) will be described.
In this comparative experimental example 3, when the rain condition is “clear” (under no rain), the vehicle 100 is actually traveled on the own vehicle 100 to which the imaging unit 101 is attached, and the amount of rain at that time is calculated. The results were loaded into a personal computer, and the rainfall calculation results were analyzed using analysis software in the personal computer. In Example 3 of Comparative Experimental Example 3, as in Example 1 above, the rain amount calculation process is performed on the processing target area determined from the position information of the light source image area as in the above-described embodiment. . In the third comparative example, as in the first comparative example, the rainfall calculation process is executed on the processing target area fixed in advance. Other conditions are the same as those in Comparative Example 1 described above.

図１９は、本比較実験例３の実験結果を示すグラフである。
このグラフに示されるように、比較例３は、雨が降っていないにもかかわらず、雨滴量が存在するという算出結果が得られ、雨滴の明らかな誤検出が生じている。これは、組み付け誤差等あるいは自車両１００の加減速、振動、揺れなどによって生じる光源画像領域の位置変動により、実際の光源画像領域から処理対象領域がズレてしまい、非光源画像領域の低輝度部分が雨滴画像領域として誤検出された結果であることが推測される。
これに対し、実施例３は、雨滴量がゼロであるという算出結果が安定して得られており、雨滴の誤検出は生じていない。 FIG. 19 is a graph showing the experimental results of the third comparative experimental example.
As shown in this graph, in Comparative Example 3, the calculation result that there is a raindrop amount is obtained even though it is not raining, and the raindrop is clearly detected erroneously. This is because the processing target area is deviated from the actual light source image area due to the position error of the light source image area caused by an assembly error or the like, or acceleration / deceleration, vibration, or shaking of the host vehicle 100, and the low luminance part of the non-light source image area. Is a result of erroneous detection as a raindrop image region.
On the other hand, in Example 3, the calculation result that the amount of raindrops is zero is stably obtained, and no erroneous detection of raindrops has occurred.

また、比較実験例３においては、実施例３及び比較例３の雨量算出結果を上述した実施形態のようにワイパー１０７の駆動制御に用いたときのワイパー動作の確認も行った。その結果、比較例３では、雨が降っていないにもかかわらず、ワイパーが動作したのに対し、実施例３ではワイパーが動作しなかった。   In Comparative Experimental Example 3, the wiper operation was also confirmed when the rainfall calculation results of Example 3 and Comparative Example 3 were used for driving control of the wiper 107 as in the above-described embodiment. As a result, in Comparative Example 3, the wiper operated even though it was not raining, whereas in Example 3, the wiper did not operate.

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
光源２０２からの光が照射されるフロントガラス１０５等の光透過部材の雨滴観測部分等の付着物観測部分を撮像部２００等の撮像手段で撮像して得られる撮像画像から、該付着物観測部分に付着している雨滴Ｒｄ等の付着物を映し出す雨滴画像領域等の付着物画像領域を検出し、その検出結果から該付着物の量（雨量）を算出する雨量算出処理等の付着物量算出処理を実行する雨量算出処理部３００等の付着物量算出手段を備えた付着量算出装置において、上記付着物量算出手段は、上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る受光範囲に対応した光源画像領域の上記撮像画像中における重心位置Ｇの座標等の位置情報に基づいて、上記付着物画像領域の検出を行う処理対象領域２１５を特定する処理対象領域特定処理を実行し、該処理対象領域特定処理によって特定した処理対象領域に対して上記付着物量算出処理を実行することを特徴とする。
これによれば、付着物観測部分を経由した光源からの光の撮像手段への入射位置が変化しても、光源からの光が照射されている付着物観測部分を映し出している光源画像領域を含む適切な処理対象領域を特定することができる。更に、組み付け誤差や振動などによる光源画像領域の位置変動を考慮して処理対象領域を広く設定する必要がなくなるので、非光源画像領域が少ない処理対象領域に対して付着物量算出処理を実行することができる。よって、非光源画像領域による検出誤差が少なく、高い精度で付着物の量を算出することができる。 What has been described above is merely an example, and the present invention has a specific effect for each of the following modes.
(Aspect A)
From the picked-up image obtained by imaging the deposit observation portion such as the raindrop observation portion of the light transmitting member such as the windshield 105 irradiated with the light from the light source 202 by the imaging means such as the imaging unit 200, the deposit observation portion Deposit amount calculation processing such as rain amount calculation processing for detecting a deposit image region such as a raindrop image region that reflects a deposit such as raindrop Rd adhering to the surface and calculating the amount of the deposit (rain amount) from the detection result In the attached amount calculation device having the attached matter amount calculating means such as the rain amount calculation processing unit 300 for executing the attached matter, the attached matter amount calculating means is configured such that the light incident on the imaging means from the light source via the attached matter observing portion is transmitted. Based on position information such as the coordinates of the gravity center position G in the captured image of the light source image area corresponding to the light receiving range that can receive light, the processing target area 215 for detecting the attached object image area is specified. Run the management target area specifying processing, and executes the adhesion amount calculation processing for the processing target area identified by the processing target area specifying processing.
According to this, even if the incident position of the light from the light source that has passed through the deposit observation portion changes to the imaging means, a light source image area that reflects the deposit observation portion irradiated with the light from the light source is displayed. Appropriate processing target areas can be identified. Furthermore, since it is not necessary to set a wide processing target area in consideration of position fluctuations of the light source image area due to assembly errors or vibrations, the amount of attached matter calculation processing is executed for the processing target area with a small number of non-light source image areas. Can do. Therefore, the detection error due to the non-light source image region is small, and the amount of attached matter can be calculated with high accuracy.

（態様Ｂ）
上記態様Ａにおいて、上記付着物量算出手段は、上記付着物の量の算出を行う際には、毎度、上記処理対象領域特定処理を実行することを特徴とする。
これによれば、光源画像領域の位置が刻々と変化するような場合でも、付着物の量を高い精度を算出することができる。 (Aspect B)
In the aspect A, the attached matter amount calculating means performs the processing target area specifying process every time the amount of attached matter is calculated.
According to this, even when the position of the light source image region changes every moment, it is possible to calculate the amount of attached matter with high accuracy.

（態様Ｃ）
上記態様Ａ又はＢにおいて、上記処理対象領域特定処理で用いる光源画像領域の位置情報は、該光源画像領域の重心位置Ｇを示す情報であることを特徴とする。
これによれば、光源画像領域の位置を容易に特定することができる。 (Aspect C)
In the aspect A or B, the position information of the light source image area used in the processing target area specifying process is information indicating the gravity center position G of the light source image area.
According to this, the position of the light source image area can be easily specified.

（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記付着物量算出処理では、上記光源を点灯しているときの点灯時撮像画像と該光源を消灯しているときの消灯時撮像画像とを用いて上記付着物画像領域を検出することを特徴とする。
これによれば、光源からの光以外の外乱光の影響を抑えて、より高精度な付着物量の算出を実現することができる。 (Aspect D)
In any one of the above aspects A to C, the attached amount calculation process uses a captured image when turned on when the light source is turned on and a captured image when turned off when the light source is turned off. The deposit image area is detected.
According to this, the influence of disturbance light other than the light from the light source can be suppressed, and the amount of deposits can be calculated with higher accuracy.

（態様Ｅ）
上記態様Ｄにおいて、上記付着物量算出処理では、上記点灯時画像と上記消灯時画像との間の差分画像を用いて上記付着物画像領域を検出することを特徴とする。
これによれば、簡易な処理で光源からの光以外の外乱光の影響を抑えることができる。 (Aspect E)
In the aspect D, the deposit amount calculation process detects the deposit image region using a difference image between the lighting image and the unlit image.
According to this, the influence of disturbance light other than the light from the light source can be suppressed with a simple process.

（態様Ｆ）
自車両１００等の移動体におけるフロントガラス１０５等の光透過部材の付着物観測部分に付着する雨滴Ｒｄ等の付着物の量を検出する付着量算出手段と、上記付着量算出手段の検出結果に基づいて、上記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、上記付着量算出手段として、上記態様Ａ〜Ｅのいずれかの態様に係る付着量算出装置を用いたことを特徴とする。
これによれば、移動体の移動中の振動や揺れなどによって光源画像領域の位置が変動しても、付着物の量を高い精度で算出することができ、移動体に搭載された所定の機器を適切に制御することができる。 (Aspect F)
The attached amount calculating means for detecting the amount of attached matter such as raindrops Rd adhering to the attached observation part of the light transmitting member such as the windshield 105 in the moving body such as the own vehicle 100, and the detection result of the attached amount calculating means Based on any of the above aspects A to E as the adhesion amount calculation means, in a mobile equipment control system comprising a mobile equipment control means for controlling a predetermined equipment mounted on the mobile body. Such an adhesion amount calculation device is used.
According to this, even if the position of the light source image region fluctuates due to vibration or shaking during the movement of the moving body, the amount of attached matter can be calculated with high accuracy, and a predetermined device mounted on the moving body Can be controlled appropriately.

（態様Ｇ）
光源からの光が照射される光透過部材の付着物観測部分を撮像手段で撮像して得られる撮像画像に基づいて該付着物観測部分に付着している付着物の量を算出する付着量算出装置のコンピュータに実行させるための付着量算出用プログラムであって、上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る受光範囲に対応した光源画像領域の上記撮像画像中における位置情報に基づいて、上記付着物観測部分に付着している雨滴Ｒｄ等の付着物を映し出す雨滴画像領域等の付着物画像領域の検出を行う処理対象領域を特定する処理対象領域特定工程と、上記処理対象領域特定工程で特定された処理対象領域から、上記付着物画像領域を検出する付着物画像領域検出工程と、上記付着物画像領域検出工程の検出結果から上記付着物の量を算出する付着物量算出工程とを、上記コンピュータに実行させることを特徴とする。
これによれば、付着物の量を高い精度で算出することができる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。 (Aspect G)
Adhesion amount calculation that calculates the amount of adhering matter adhering to the adhering matter observation part based on the captured image obtained by imaging the adhering observation part of the light transmitting member irradiated with light from the light source by the imaging means An adhesion amount calculation program to be executed by a computer of the apparatus, wherein the light source image area corresponds to a light receiving range in which light incident on the imaging unit from the light source via the deposit observation part can be received. A processing target area that identifies a processing target area for detecting an attachment image area such as a raindrop image area that reflects an attachment such as raindrop Rd adhering to the attached observation part based on position information in the captured image An attachment image region detection step for detecting the attachment image region from the processing target region specified in the specifying step, the processing target region specification step, and a detection result of the attachment image region detection step. And an extraneous amount calculation step of calculating the amount of the deposits from, and wherein the to be executed by the computer.
According to this, the amount of deposits can be calculated with high accuracy.
This program can be distributed or obtained in a state of being recorded on a recording medium such as a CD-ROM. It is also possible to distribute and obtain signals by placing this program and distributing or receiving signals transmitted by a predetermined transmission device via transmission media such as public telephone lines, dedicated lines, and other communication networks. Is possible. At the time of distribution, it is sufficient that at least a part of the computer program is transmitted in the transmission medium. That is, it is not necessary for all data constituting the computer program to exist on the transmission medium at one time. The signal carrying the program is a computer data signal embodied on a predetermined carrier wave including the computer program. Further, the transmission method for transmitting a computer program from a predetermined transmission device includes a case where data constituting the program is transmitted continuously and a case where it is transmitted intermittently.

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０７ ワイパー
２００ 撮像部
２０２ 光源
２０３ 反射ミラー
２１０ 光学フィルタ
２１３ 車両検出用画像領域
２１４ 雨滴検出用画像領域
２１５ 処理対象領域
３００ 雨量算出処理部
３０１ 画像格納メモリ
３０２ 光分布位置計算部
３０３ 差分画像生成部
３０４ 雨量算出部 DESCRIPTION OF SYMBOLS 100 Own vehicle 101 Imaging unit 102 Image analysis unit 105 Windshield 106 Wiper control unit 107 Wiper 200 Imaging part 202 Light source 203 Reflecting mirror 210 Optical filter 213 Vehicle detection image area 214 Raindrop detection image area 215 Processing target area 300 Rain amount calculation process Unit 301 image storage memory 302 light distribution position calculation unit 303 difference image generation unit 304 rain amount calculation unit

特開２００５−１９５５６６号公報JP-A-2005-195 566 特開２００８−６４６３０号公報JP 2008-64630 A

Claims (7)

光源からの光が照射される光透過部材の付着物観測部分を撮像手段で撮像して得られる撮像画像から、該付着物観測部分に付着している付着物を映し出す付着物画像領域を検出し、その検出結果から該付着物の量を算出する付着物量算出処理を実行する付着物量算出手段を備えた付着量算出装置において、
上記付着物量算出手段は、上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る受光範囲に対応した光源画像領域の上記撮像画像中における位置情報に基づいて、上記付着物画像領域の検出を行う処理対象領域を特定する処理対象領域特定処理を実行し、該処理対象領域特定処理によって特定した処理対象領域に対して上記付着物量算出処理を実行することを特徴とする付着量算出装置。 From the captured image obtained by imaging the adhering observation part of the light transmitting member irradiated with light from the light source by the imaging means, the adhering image area that reflects the adhering substance adhering to the adhering substance observation part is detected. In the attached amount calculation device comprising the attached matter amount calculating means for executing the attached matter amount calculating process for calculating the amount of attached matter from the detection result,
The deposit amount calculation means is based on position information in the captured image of a light source image region corresponding to a light receiving range in which light incident on the imaging means from the light source via the deposit observation portion can be received. A process target area specifying process for specifying a process target area for detecting the attached object image area is executed, and the deposit amount calculation process is executed for the process target area specified by the process target area specifying process. Adhesion amount calculation device. 請求項１の付着量算出装置において、
上記付着物量算出手段は、上記付着物の量の算出を行う際には、毎度、上記処理対象領域特定処理を実行することを特徴とする付着量算出装置。 In the adhesion amount calculation apparatus according to claim 1,
The adhesion amount calculation device, wherein the adhesion amount calculation means executes the processing target area specifying process every time the amount of the adhesion is calculated. 請求項１又は２の付着量算出装置において、
上記処理対象領域特定処理で用いる光源画像領域の位置情報は、該光源画像領域の重心位置を示す情報であることを特徴とする付着量算出装置。 In the adhesion amount calculation apparatus according to claim 1 or 2,
The adhesion amount calculation apparatus, wherein the position information of the light source image area used in the processing target area specifying process is information indicating a gravity center position of the light source image area. 請求項１乃至３のいずれか１項に記載の付着量算出装置において、
上記付着物量算出処理では、上記光源を点灯しているときの点灯時撮像画像と該光源を消灯しているときの消灯時撮像画像とを用いて上記付着物画像領域を検出することを特徴とする付着量算出装置。 In the adhesion amount calculation apparatus according to any one of claims 1 to 3,
In the deposit amount calculation process, the deposit image area is detected using a captured image when the light source is turned on and a captured image when the light source is turned off. Adhesion amount calculation device. 請求項４の付着量算出装置において、
上記付着物量算出処理では、上記点灯時画像と上記消灯時画像との間の差分画像を用いて上記付着物画像領域を検出することを特徴とする付着量算出装置。 In the adhesion amount calculation apparatus according to claim 4,
In the adhesion amount calculation process, the adhesion amount calculation device is characterized in that the adhesion image area is detected using a difference image between the on-time image and the unlit image. 移動体における光透過部材の付着物観測部分に付着する付着物の量を検出する付着量算出手段と、
上記付着量算出手段の検出結果に基づいて、上記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
上記付着量算出手段として、請求項１乃至５のいずれか１項に記載の付着量算出装置を用いたことを特徴とする移動体機器制御システム。 A deposit amount calculating means for detecting the amount of deposit adhering to the deposit observation portion of the light transmitting member in the moving body;
In a mobile device control system comprising a mobile device control means for controlling a predetermined device mounted on the mobile based on the detection result of the adhesion amount calculation means,
A mobile device control system using the adhesion amount calculation device according to any one of claims 1 to 5 as the adhesion amount calculation means. 光源からの光が照射される光透過部材の付着物観測部分を撮像手段で撮像して得られる撮像画像に基づいて該付着物観測部分に付着している付着物の量を算出する付着量算出装置のコンピュータに実行させるための付着量算出用プログラムであって、
上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る受光範囲に対応した光源画像領域の上記撮像画像中における位置情報に基づいて、上記付着物観測部分に付着している付着物を映し出す付着物画像領域の検出を行う処理対象領域を特定する処理対象領域特定工程と、
上記処理対象領域特定工程で特定された処理対象領域から、上記付着物画像領域を検出する付着物画像領域検出工程と、
上記付着物画像領域検出工程の検出結果から上記付着物の量を算出する付着物量算出工程とを、上記コンピュータに実行させることを特徴とする付着量算出用プログラム。 Adhesion amount calculation that calculates the amount of adhering matter adhering to the adhering matter observation part based on the captured image obtained by imaging the adhering observation part of the light transmitting member irradiated with light from the light source by the imaging means An adhesion amount calculation program to be executed by a computer of an apparatus,
Based on the positional information in the captured image of the light source image area corresponding to the light receiving range in which the light incident on the imaging means from the light source via the adhered object observation part can be received, adheres to the adhered object observation part. A processing target area specifying step for specifying a processing target area for detecting a sticking object image area that reflects the attached sticking object,
From the process target area specified in the process target area specifying step, the deposit image area detection step of detecting the deposit image area,
A deposit amount calculation program causing the computer to execute an deposit amount calculation step of calculating the amount of deposit from the detection result of the deposit image region detection step.
JP2013021296A 2013-02-06 2013-02-06 Adhesion amount calculation device, mobile device control system, and adhesion amount calculation program Expired - Fee Related JP6183682B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013021296A JP6183682B2 (en) 2013-02-06 2013-02-06 Adhesion amount calculation device, mobile device control system, and adhesion amount calculation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013021296A JP6183682B2 (en) 2013-02-06 2013-02-06 Adhesion amount calculation device, mobile device control system, and adhesion amount calculation program

Publications (3)

Publication Number Publication Date
JP2014153110A true JP2014153110A (en) 2014-08-25
JP2014153110A5 JP2014153110A5 (en) 2017-01-12
JP6183682B2 JP6183682B2 (en) 2017-08-23

Family

ID=51575127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013021296A Expired - Fee Related JP6183682B2 (en) 2013-02-06 2013-02-06 Adhesion amount calculation device, mobile device control system, and adhesion amount calculation program

Country Status (1)

Country Link
JP (1) JP6183682B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05157692A (en) * 1991-12-04 1993-06-25 Fuji Electric Co Ltd Transmittance measuring device and its calibration method
JP2005195566A (en) * 2003-08-12 2005-07-21 Hitachi Ltd Image processing system
JP2008064630A (en) * 2006-09-07 2008-03-21 Hitachi Ltd In-vehicle imaging device with attachment detection function
JP2010208451A (en) * 2009-03-10 2010-09-24 Omron Corp Imaging apparatus for vehicle
WO2011098716A1 (en) * 2010-02-09 2011-08-18 Institut Francais Des Sciences Et Technologies Des Transports De L'amenagement Et Des Reseaux (Ifsttar) Method and device for detecting drops in a digital image; computer program for implementing said method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05157692A (en) * 1991-12-04 1993-06-25 Fuji Electric Co Ltd Transmittance measuring device and its calibration method
JP2005195566A (en) * 2003-08-12 2005-07-21 Hitachi Ltd Image processing system
JP2008064630A (en) * 2006-09-07 2008-03-21 Hitachi Ltd In-vehicle imaging device with attachment detection function
JP2010208451A (en) * 2009-03-10 2010-09-24 Omron Corp Imaging apparatus for vehicle
WO2011098716A1 (en) * 2010-02-09 2011-08-18 Institut Francais Des Sciences Et Technologies Des Transports De L'amenagement Et Des Reseaux (Ifsttar) Method and device for detecting drops in a digital image; computer program for implementing said method

Also Published As

Publication number Publication date
JP6183682B2 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
CN103959041B (en) Attachment detector and attachment detection method
JP4326999B2 (en) Image processing system
EP3085073B1 (en) Object detection apparatus, moving body device control system and program therefor
JP6468482B2 (en) IMAGING DEVICE, OBJECT DETECTION DEVICE, AND MOBILE DEVICE CONTROL SYSTEM
US9726604B2 (en) Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
JP4327024B2 (en) Image processing system
US9187063B2 (en) Detection apparatus and method
EP3002711B1 (en) Image capturing apparatus, image capturing method, carrier medium, and device control system for controlling vehicle-mounted devices
JP5656131B2 (en) Imaging unit and installation method thereof
US20140321709A1 (en) Image processing apparatus, image-capturing method, and vehicle
JP5936098B2 (en) Imaging apparatus, object detection apparatus including the same, and optical filter
US20160341848A1 (en) Object detection apparatus, object removement control system, object detection method, and storage medium storing object detection program
JP2010510935A (en) How to automatically control long-distance lights
US20150332099A1 (en) Apparatus and Method for Detecting Precipitation for a Motor Vehicle
JP6555569B2 (en) Image processing apparatus, mobile device control system, and image processing program
JP2016146583A (en) Imaging device, mobile apparatus control system and program
JP2014016981A (en) Movement surface recognition device, movement surface recognition method, and movement surface recognition program
JP2016200528A (en) Object detection apparatus, mobile device control system, and object detection program
JP6183682B2 (en) Adhesion amount calculation device, mobile device control system, and adhesion amount calculation program
JP6701542B2 (en) Detection device, mobile device control system, and detection program
JP2017003531A (en) Object detection apparatus, object removal operation control system, object detection method, and object detection program
JP5891723B2 (en) Imaging method and imaging unit
JP2016218046A (en) Object detection apparatus, object removal operation control system, object detection method, and object detection program
JP2015169567A (en) Deposit detection device, mobile device control system, and deposit detection program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170713

R151 Written notification of patent or utility model registration

Ref document number: 6183682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees