JP2009009331A - White line detection device and white line detection method - Google Patents
White line detection device and white line detection method Download PDFInfo
- Publication number
- JP2009009331A JP2009009331A JP2007169609A JP2007169609A JP2009009331A JP 2009009331 A JP2009009331 A JP 2009009331A JP 2007169609 A JP2007169609 A JP 2007169609A JP 2007169609 A JP2007169609 A JP 2007169609A JP 2009009331 A JP2009009331 A JP 2009009331A
- Authority
- JP
- Japan
- Prior art keywords
- white line
- error
- approximate
- image
- line candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】車両の周囲の路面を撮像して得られた撮像画像から、路面上に描かれた白線を精度良く検出できるようにする。
【解決手段】画像変換部２１が、路面の撮像画像を、路面を真上方向から見た俯瞰画像に変換し、白線候補画素検索部２２が、俯瞰画像において路面に描かれた白線を示す白線候補画素を検索し、白線検出部２３が、白線候補画素から近似直線を求める際に、撮像画像を俯瞰画像に変換する際に生じる誤差影響を除外するように白線候補画素の重み付けを調整し、重み付け調整後の白線候補画素から求めた近似直線に基づいて白線を検出することで、路面に描かれた白線を精度良く検出できるようにした。
【選択図】図１A white line drawn on a road surface can be accurately detected from a captured image obtained by imaging a road surface around a vehicle.
An image conversion unit 21 converts a picked-up image of a road surface into an overhead image when the road surface is viewed from directly above, and a white line candidate pixel search unit 22 indicates a white line indicating a white line drawn on the road surface in the overhead image. Search for candidate pixels, and when the white line detection unit 23 obtains an approximate line from the white line candidate pixels, adjust the weight of the white line candidate pixels so as to exclude the error effect that occurs when converting the captured image to an overhead image, By detecting the white line based on the approximate straight line obtained from the white line candidate pixel after the weight adjustment, the white line drawn on the road surface can be detected with high accuracy.
[Selection] Figure 1
Description
本発明は、車両の周囲の路面の撮像により得られた撮像画像において、路面に描かれた白線を検出する白線検出装置および白線検出方法に関するものである。 The present invention relates to a white line detection device and a white line detection method for detecting a white line drawn on a road surface in a captured image obtained by imaging a road surface around a vehicle.
近年、路面上における車両の位置を特定し、走行中の車両の自動走行制御や、運転者の運転支援制御などを行う運転支援装置が種々提案されている。
そして、路面上における車両の位置を特定するための装置として、例えば、特許文献１に開示された装置がある。この特許文献１に開示された装置では、カメラなどで路面を撮像して得られた撮像画像において、直線データ、例えば路面に描かれた白線を示す直線データを検出し、検出した直線データに基づいて車両が走行する走行レーンを検出すると共に、検出した直線データに基づく射影変換の結果に基づいて、路面上における車両の位置を特定している。
As an apparatus for specifying the position of the vehicle on the road surface, for example, there is an apparatus disclosed in
カメラによる路面の撮像により得られる撮像画像では、車両から離れて遠くにある路面領域（車両遠方の路面領域）の方が、車両の近くにある路面領域（車両近傍の路面領域）よりも、狭い画素範囲で表示されることになる。そのため、車両遠方の領域において検出される直線データの方が、車両近傍の領域において検出される直線データよりも情報量が少なく、また誤差を含み易い傾向にある。
上記した特許文献１にかかる装置では、車両（カメラ）からの距離の違いによる影響を考慮せず、車両近傍と車両遠方とを等価に扱って直線データの検出を行っているため、検出された直線データは誤差を含み易い。そのため、例えば路面に描かれた白線を示す直線データは、正確性を欠く虞があり、かかる直線データに基づいて走行レーンの検出を行っても、検出された走行レーンが正確でない可能性がある。
In the captured image obtained by imaging the road surface with the camera, the road surface area far away from the vehicle (the road surface area far from the vehicle) is narrower than the road surface area near the vehicle (the road surface area near the vehicle). It is displayed in the pixel range. For this reason, straight line data detected in an area far from the vehicle has a smaller amount of information and tends to contain errors than straight line data detected in an area near the vehicle.
In the apparatus according to
よって、本発明は、車両からの距離の違いによる影響を考慮した上で、撮像画像において路面上に描かれた白線を精度良く検出し、検出した白線を示す正確なデータを得ることができるようにすることを目的とする。 Therefore, the present invention can accurately detect the white line drawn on the road surface in the captured image in consideration of the influence due to the difference in the distance from the vehicle, and can obtain accurate data indicating the detected white line. The purpose is to.
本発明は、車両に搭載されて周囲の路面を撮像するカメラにより得られた路面の撮像画像を、路面を直上方向から見た俯瞰画像に変換し、俯瞰画像において、路面に描かれた白線を示す画素の候補である白線候補画素を複数検索し、検索された複数の白線候補画素から近似直線を求め、求めた近似直線に基づいて白線を検出するに際し、撮像画像を俯瞰画像に変換する際に生じる誤差の影響を除外するように白線候補画素の重み付けを調整する構成とした。 The present invention converts a picked-up image of a road surface obtained by a camera that is mounted on a vehicle and picks up a surrounding road surface into an overhead image obtained by viewing the road surface from directly above, and in the overhead image, a white line drawn on the road surface is converted. When searching for a plurality of white line candidate pixels that are candidates for the pixel shown, obtaining an approximate line from the searched white line candidate pixels, and detecting a white line based on the obtained approximate line, when converting a captured image to an overhead image The weight of white line candidate pixels is adjusted so as to exclude the influence of errors occurring in the white line.
本発明によれば、白線候補画素の各々について、撮像画像を俯瞰画像に変換する際に生じる誤差の影響を除外するように白線候補画素の重み付けが調整されるので、重み付け調整後の白線候補画素から算出した近似直線に基づいて、俯瞰画像内における白線が検出される。
ここで、撮像画像を俯瞰画像へ変換する際に生じる誤差とは、カメラ（車両）からの離間距離の違いに応じて、撮像画像や俯瞰画像を構成する各画素が有する誤差や、カメラのレンズ系の特徴に起因する固有の誤差を意味し、これらの誤差による影響を除外した上で、白線が検出されることになる。
よって、カメラからの距離の違いによる誤差の影響を除外した上で、白線が検出されるので、路面上に描かれた駐車枠の区切り線のような白線を精度良く検出でき、検出した白線を示す正確なデータを得ることができる。
According to the present invention, for each of the white line candidate pixels, the weight of the white line candidate pixel is adjusted so as to exclude the influence of the error that occurs when the captured image is converted into a bird's-eye view image. Based on the approximate straight line calculated from the above, a white line in the overhead image is detected.
Here, an error that occurs when a captured image is converted into a bird's-eye view image is an error that each pixel constituting the captured image or the bird's-eye image has, according to the difference in the distance from the camera (vehicle), or the camera lens This means an error inherent to the characteristics of the system, and a white line is detected after removing the influence of these errors.
Therefore, since the white line is detected after removing the influence of the error due to the difference in distance from the camera, it is possible to accurately detect the white line such as the parking frame demarcation line drawn on the road surface. Accurate data can be obtained.
以下、本発明の実施例を、添付図面を参照しながら説明する。
図１は、第１の実施例にかかる白線検出装置を、車両の駐車支援を行う駐車支援装置に適用した場合の構成を示すブロック図である。
駐車支援装置は、カメラＣと、記憶部１０と、制御部２０と、表示部３０とを含んで構成され、カメラＣの撮像画像を俯瞰画像に変換して表示部３０に表示すると共に、変換された俯瞰画像より路面上に描かれた白線を検出し、検出した白線も表示部３０に表示する。この駐車支援装置において、カメラＣと、記憶部１０と、制御部２０とが白線検出装置に相当する。
Embodiments of the present invention will be described below with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating a configuration when the white line detection device according to the first embodiment is applied to a parking support device that supports parking of a vehicle.
The parking assistance device is configured to include a camera C, a
カメラＣは、例えば、その指向方向が路面（地面）に対して所定角度となるように車両に設けられたカラーＣＣＤカメラである。本実施例では、広い範囲の撮像が可能な魚眼カメラが、カメラＣとして採用される。
カメラＣの配置を示す図２に示すように、車両の前端には、前方領域を撮像する前カメラＣ１が、車両の右側のドアミラーの下部には、右側領域を撮像する右カメラＣ２が、車両の左側のドアミラーの下部には、左側領域を撮像する左カメラＣ３が、車両の後端には、後方領域を撮像する後カメラＣ４が、それぞれ設けられている。
なお、以下の説明においては、これらカメラ（Ｃ１〜Ｃ４）を特に区別しない場合は、単にカメラＣと表記する。
The camera C is, for example, a color CCD camera provided on the vehicle so that its directing direction is a predetermined angle with respect to the road surface (ground). In this embodiment, a fish-eye camera capable of capturing a wide range is employed as the camera C.
As shown in FIG. 2 showing the arrangement of the camera C, a front camera C1 that images the front area is located at the front end of the vehicle, and a right camera C2 that images the right area is located below the right side door mirror of the vehicle. A left camera C3 for imaging the left area is provided below the left side door mirror, and a rear camera C4 for imaging the rear area is provided at the rear end of the vehicle.
In the following description, when these cameras (C1 to C4) are not particularly distinguished, they are simply referred to as camera C.
記憶部１０は、ＲＡＭ、ＲＯＭなどの記憶媒体から構成され、撮像画像や、後記する制御部２０の各部における処理により生成される種々の情報や、各部の処理を規定するプログラムを記憶する。
図１に示すように、記憶部１０は、画像メモリ１１と、変換マップ１２と、白線候補画素データベース１３と、白線パラメータデータベース１４とを備える。
The
As illustrated in FIG. 1, the
画像メモリ１１は、カメラＣにより得られる撮像画像を記憶する。
変換マップ１２では、各カメラＣから入力される撮像画像の各画素と後記する俯瞰画像の各画素との対応関係が規定されると共に、俯瞰画像の画素毎の、撮像画像を俯瞰画像へ変換する際に生じる誤差の程度が規定される。この変換マップ１２は、後記する制御部２０において、撮像画像を俯瞰画像に変換する際や、白線を検出する際に参照される。
白線候補画素データベース１３は、制御部２０における処理により俯瞰画像において検索される白線候補画素の位置を示す情報を記憶する。
白線パラメータデータベース１４は、制御部２０における処理により検出される白線の位置を示す情報を記憶する。
The
In the
The white line
The white
制御部２０は、画像変換部２１と、白線候補画素検索部２２と、白線検出部２３とを備えて構成される。
画像変換部２１は、車両の周囲の路面を撮像して得られた撮像画像を、記憶部１０に記憶された変換マップ１２を参照して、路面を真上方向から見た俯瞰画像に変換する。
The
The
白線候補画素検索部２２は、路面に描かれた白線の領域を俯瞰画像において検出するために、路面に描かれた白線を示す画素の候補（白線候補画素）を、俯瞰画像において検索し、検索した白線候補画素の位置を示す情報を生成する。
The white line candidate
白線検出部２３は、白線候補画素の位置情報に基づいて、モデル当てはめによる白線検出を行う。さらに、検出した白線の俯瞰画像内における位置を示す情報を表示部３０に出力して、表示部３０内に検出した白線を表示させる。
The white
実施例にかかる駐車支援装置における処理を、図３に示すフローチャートを参照して説明する。
ステップ１００において、カメラＣにより車両の周囲の路面の撮像画像が取得されると、ステップ１０１において画像変換部２１は、変換マップ１２を参照して、路面の撮像画像を、路面を真上方向から見た俯瞰画像に変換する。
The process in the parking assistance apparatus concerning an Example is demonstrated with reference to the flowchart shown in FIG.
In
図４は、画像変換部２１が、各カメラＣ（Ｃ１〜Ｃ４）から入力される撮像画像から生成する俯瞰画像を説明する説明図である。
車両Ｖには、計四台のカメラＣ（Ｃ１〜Ｃ４）が設けられているので（図２参照）、画像変換部２１は、各カメラＣ（Ｃ１〜Ｃ４）から入力される撮像画像をそれぞれ変換して俯瞰画像を生成する。そして、得られた４つの俯瞰画像を合成し、予め記憶しておいた車両を示すマークＶを重畳（インポーズ）して画像の中央部に位置させた俯瞰画像とする。
なお、以下の説明において、この車両マークＶは、インポーズされたマークそのものと、実際の車両を模式的に現す際にも、「車両マークＶ」として表現することもある。
FIG. 4 is an explanatory diagram illustrating an overhead image generated by the
Since the vehicle V is provided with a total of four cameras C (C1 to C4) (see FIG. 2), the
In the following description, the vehicle mark V may be expressed as a “vehicle mark V” when the imposed mark itself and the actual vehicle are schematically shown.
俯瞰画像では、車両マークＶを中心にして、前カメラＣ１からの撮像画像の変換により得られる俯瞰画像ＩＭ１が、車両Ｖの進行方向前側に、右カメラＣ２からの撮像画像の変換により得られる俯瞰画像ＩＭ２が、車両Ｖの進行方向右側に、左カメラＣ３からの撮像画像の変換により得られる俯瞰画像ＩＭ３が、車両Ｖの進行方向左側に、そして後カメラＣ４からの撮像画像の変換により得られる俯瞰画像ＩＭ４が車両Ｖの進行方向後側に、それぞれ配置される。 In the bird's-eye view image, the bird's-eye view image IM1 obtained by converting the captured image from the front camera C1 with the vehicle mark V as the center is located on the front side in the traveling direction of the vehicle V and obtained by converting the captured image from the right camera C2. An image IM2 is obtained on the right side in the traveling direction of the vehicle V, and an overhead image IM3 obtained by conversion of the captured image from the left camera C3 is obtained on the left side in the traveling direction of the vehicle V and by conversion of the captured image from the rear camera C4. The bird's-eye view image IM4 is arranged on the rear side in the traveling direction of the vehicle V, respectively.
図５は、変換マップ１２において、撮像画像の各画素と俯瞰画像の各画素とがどのように関連づけて記憶されているのかを説明するために、左カメラＣ３で取得した撮像画像Ｍを俯瞰画像ＩＭ３に変換する場合を例示した図である。
変換マップ１２では、各カメラＣから入力される撮像画像の各画素と、俯瞰画像の画素との対応関係が規定されており、例えば、左カメラＣ３で取得した撮像画像Ｍの場合、撮像画像Ｍにおける画素ａが、俯瞰画像ＩＭ３における符号ａ’で示す位置の画素に対応するというような対応関係が規定されている。
よって、画像変換部２１は、各カメラＣから撮像画像がそれぞれ入力されると、変換マップ１２において規定される対応関係に基づいて、各撮像画像から俯瞰画像（図４参照）を生成する。
FIG. 5 shows the captured image M acquired by the left camera C3 in the overhead map in order to explain how each pixel of the captured image and each pixel of the overhead image are stored in the
In the
Therefore, when each captured image is input from each camera C, the
ステップ１０２において、白線候補画素検索部２２は、路面に描かれた白線を検出するために、俯瞰画像において、路面に描かれた白線を示す画素の候補である白線候補画素を検索し、検索した白線候補画素の位置を示す情報を生成する。
In
なお、各俯瞰画像ＩＭ１〜ＩＭ４（図４参照）で白線候補画素を検索する際の処理の内容は同じであるので、以下の説明においては、俯瞰画像ＩＭ３内での白線候補画素の検索処理を例示する。
図６は、俯瞰画像ＩＭ３内での白線候補画素の検索を説明する説明図である。
白線候補画素検索部２２は、１次微分などのエッジ検出フィルタを用いて、エッジ強度が所定の閾値以上となるエッジを俯瞰画像において検索し、検索結果に基づいてエッジ画像を生成する。
そして、カメラＣ３の中心軸を基準線Ｓとし、基準線Ｓ上において、複数の基準点ｄ１〜ｄ７を、車両マークＶ側から所定の間隔をあけて順次設定する。
続いて、各基準点ｄ１〜ｄ７において基準線Ｓと直交する仮想線Ｌ１〜Ｌ７の各々に沿って、基準線Ｓを境にして隣接する二つの領域、すなわち車両の前側に位置する前側領域Ｆと後側に位置する後側領域Ｒの各々において、エッジを検索し、エッジが検索されると、エッジが検出された位置にある画素を、白線候補画素とする。
In addition, since the content of the process at the time of searching a white line candidate pixel in each bird's-eye view image IM1-IM4 (refer FIG. 4) is the same, in the following description, the search process of the white line candidate pixel in the bird's-eye view image IM3 is performed. Illustrate.
FIG. 6 is an explanatory diagram for explaining the search for white line candidate pixels in the overhead image IM3.
The white line candidate
Then, the central axis of the camera C3 is set as a reference line S, and a plurality of reference points d1 to d7 are sequentially set on the reference line S with a predetermined interval from the vehicle mark V side.
Subsequently, along each of the virtual lines L1 to L7 orthogonal to the reference line S at each of the reference points d1 to d7, two areas adjacent to the reference line S, that is, a front area F located on the front side of the vehicle. In each of the rear regions R located on the rear side, the edge is searched. When the edge is searched, the pixel at the position where the edge is detected is set as a white line candidate pixel.
仮想線Ｌ２〜Ｌ６は、路面に描かれた白線Ｗと交差しているので、これら仮想線Ｌ２〜Ｌ６上においてエッジが検出される。その結果、前側領域Ｆにおいて白線候補画素Ｐ２〜Ｐ６が、後側領域Ｒにおいて白線候補画素Ｐ２’〜Ｐ６’がそれぞれ検出される。なお、仮想線Ｌ１とＬ７は、白線Ｗと交差しておらず、エッジは検出されないので、白線候補画素は検出されない。 Since the virtual lines L2 to L6 intersect the white line W drawn on the road surface, edges are detected on these virtual lines L2 to L6. As a result, white line candidate pixels P2 to P6 are detected in the front region F, and white line candidate pixels P2 'to P6' are detected in the rear region R, respectively. Note that the virtual lines L1 and L7 do not intersect with the white line W, and no edge is detected, so no white line candidate pixel is detected.
白線候補画素が検出されると、白線候補画素検索部２２は、前側領域Ｆにおいて検索された白線候補画素Ｐ２〜Ｐ６を纏めて第１候補画素列とし、後側領域Ｒにおいて検索された白線候補画素Ｐ２’〜Ｐ６’を纏めて第２候補画素列とする。
この際、白線候補画素検索部２２は、第１候補画素列の各白線候補画素と、第２候補画素列の各白線候補画素の位置を示す位置情報を生成し、記憶部１０の白線候補画素データベース１３に記憶する。
When the white line candidate pixels are detected, the white line candidate
At this time, the white line candidate
ステップ１０３において、白線検出部２３は、変換マップ１２を参照して、白線候補画素各々について、撮像画像を俯瞰画像に変換する際に生じる誤差の程度を特定する。
変換マップ１２では、撮像画像の各画素と俯瞰画像の各画素との対応関係に加えて、俯瞰画像の画素ごとに、撮像画像を俯瞰画像へ変換する際に生じる誤差が、どの程度であるのかが判るようになっている。
ここで、撮像画像を俯瞰画像へ変換する際に生じる誤差とは、車両（カメラ）からの離間距離の違いに応じて撮像画像や俯瞰画像を構成する各画素が有する誤差や、カメラのレンズ系の特徴に起因する固有の誤差を意味する。
In
In the
Here, the error that occurs when a captured image is converted into a bird's-eye view image is an error that each pixel constituting the captured image or the bird's-eye image has according to the difference in the distance from the vehicle (camera), or the lens system of the camera. Inherent error due to the characteristics of
図７は、俯瞰画像の各画素の誤差の程度を説明する説明図である。
俯瞰画像の各画素が含む誤差は、カメラのレンズの種類や、カメラからの距離に応じて決まり、各画素が含む誤差の程度は、同一のカメラを使用する限り略同一である。
よって、俯瞰画像を構成する画素ごとに、俯瞰画像への変換時に生じる誤差がどの程度であるのを予め確認することができ、確認した誤差の程度を俯瞰画像の画素毎に判るようにしたのが、変換マップ１２である。
変換マップ１２では、俯瞰画像の各画素の誤差の程度が、画素の輝度の違いとして記憶されており、誤差が大きい画素ほど、輝度が小さく（画素の明るさが暗く）なるように規定されている。
図７に示す俯瞰画像の場合、車両Ｖ（カメラ）から離れるに従って誤差の程度が大きくなる様子が、４段階の輝度で示されており、領域ａ＞領域ｂ＞領域ｃ＞領域ｄの順番で、輝度が小さくなる。
FIG. 7 is an explanatory diagram illustrating the degree of error of each pixel of the overhead image.
The error included in each pixel of the overhead image is determined according to the type of lens of the camera and the distance from the camera, and the error included in each pixel is substantially the same as long as the same camera is used.
Therefore, it is possible to confirm in advance how much error occurs when converting to the overhead image for each pixel constituting the overhead image, and the degree of the confirmed error can be determined for each pixel of the overhead image. Is the
In the
In the case of the bird's-eye view image shown in FIG. 7, the degree of error increases as the distance from the vehicle V (camera) increases in four levels of brightness, in the order of region a> region b> region c> region d. The brightness is reduced.
ステップ１０４において、白線検出部２３は、白線候補画素検索部２２で検索された複数の白線候補画素に基づいて白線検出を行う前に、変換マップ１２を参照して特定した誤差の程度に基づいて、各白線候補画素の重み付けを調整する。
In
複数の白線候補画素に基づいて白線検出を行う場合、最小二乗法により求めた近似直線を用いて白線を検出する。
ここで、最小二乗法により近似直線を求める場合、各白線候補画素の座標を（ｘｉ、ｙｉ）で表し、各画素点から導かれる近似直線をｙ＝ａｘ＋ｂとすると、下記式（１）における残差２乗和Ｓが最小となるａ、ｂを算出することで、近似直線を求めることができる。
When white line detection is performed based on a plurality of white line candidate pixels, a white line is detected using an approximate straight line obtained by the least square method.
Here, when an approximate straight line is obtained by the least square method, the coordinates of each white line candidate pixel are represented by (x i , y i ), and the approximate straight line derived from each pixel point is y = ax + b. By calculating a and b that minimize the residual sum of squares S, an approximate straight line can be obtained.
しかし、各白線候補画素は、画素位置に応じた誤差を含んでおり、誤差を含む白線候補画素に基づいて近似直線を算出すると、算出した近似直線もまた誤差を含むことになる。
そこで、白線検出部２３は、誤差の程度が大きい画素位置にある白線候補画素が近似直線の算出に与える影響を抑えるために、近似直線を求める際に各白線候補画素について算出される二乗誤差に、誤差の程度に応じて決定した係数αｉを乗算することで、誤差の程度に応じた重み付けの調整を行う。
具体的には、誤差の程度が大きい白線候補画素ついて算出される二乗誤差の重み付けが、誤差の程度に応じて小さくなるように係数αｉを決定する。
However, each white line candidate pixel includes an error corresponding to the pixel position, and when an approximate line is calculated based on the white line candidate pixel including the error, the calculated approximate line also includes an error.
Therefore, the white
Specifically, the coefficient α i is determined so that the weight of the square error calculated for the white line candidate pixel having a large error level is reduced according to the error level.
図８は、誤差の程度に応じて決定される係数αｉを説明する説明図である。この図においては、白線候補画素Ｐ１〜Ｐ１０が俯瞰画像において検索されており、図中左側に位置する画素ほど誤差が大きく、右側に位置する画素ほど誤差が小さいものとし、図中右側に車両マークＶ（図示せず）が位置するものとする。また、白線候補画素の座標は（ｘｉ、ｙｉ）で表すものとし、例えば白線候補画素Ｐ１は座標（ｘP1、ｙP1）と、白線候補画素Ｐ１０は座標（ｘP10、ｙP10）と表わされるものとする。 FIG. 8 is an explanatory diagram for explaining the coefficient α i determined according to the degree of error. In this figure, white line candidate pixels P1 to P10 are searched in the bird's-eye view image. The pixel located on the left side in the figure has a larger error and the pixel located on the right side has a smaller error. Assume that V (not shown) is located. The coordinates of the white line candidate pixel are represented by (x i , y i ). For example, the white line candidate pixel P1 has the coordinates (x P1 , y P1 ), and the white line candidate pixel P10 has the coordinates (x P10 , y P10 ). Shall be represented.
例えば、白線候補画素Ｐ１０が、白線候補画素Ｐ１と比べて３倍の誤差を持つ場合、白線検出部２３は、誤差の小さい白線候補画素Ｐ１についての係数をαP1＝１とし、白線候補画素Ｐ１０についての係数をαP10＝１／３と設定して、誤差の程度が大きい白線候補画素の重み付けが、誤差の程度が小さい白線候補画素よりも、誤差の程度に応じて小さくなるようにする。同様に、他の白線候補画素Ｐ２〜Ｐ９についても、誤差の程度に応じて係数が決定される。
For example, when the white line candidate pixel P10 has an error three times that of the white line candidate pixel P1, the white
ステップ１０５において、白線検出部２３は、重み付け調整後の白線候補画素から、最小二乗法により近似直線を求める。
具体的には、白線候補画素データベース１３を参照して特定した各白線候補画素の位置と、各白線候補画素について決定された係数αｉとに基づいて、上記式（１）に係数αｉを導入した下記式（２）に基づいて、近似直線を算出する。
In
Specifically, the position of each white line candidate pixels identified with reference to the white line
これにより、図８に示す俯瞰画像の場合、誤差の程度に応じて重み付けが調整された白線候補画素に基づいて、近似直線ＡＬが算出される。
図９は、図６の俯瞰画像ＩＭ３において検索された白線候補画素からの近似直線の算出を説明する説明図である
図６に示す俯瞰画像ＩＭ３の場合、前側領域Ｆと後側領域Ｒとにおいて、第１候補画素列と第２候補画素列とがそれぞれ検索されているので、図９に示す前側領域Ｆ内の白線候補画素Ｐ２〜Ｐ６からは符号ＡＬ１で示す近似直線が、後側領域Ｒ内の白線候補画素Ｐ１’〜Ｐ６’からは符号ＡＬ２で示す近似直線が、それぞれ算出される。
Thereby, in the case of the bird's-eye view image shown in FIG. 8, the approximate straight line AL is calculated based on the white line candidate pixels whose weighting is adjusted according to the degree of error.
FIG. 9 is an explanatory diagram for explaining the calculation of the approximate straight line from the white line candidate pixels searched in the bird's-eye view image IM3 of FIG. 6, in the case of the bird's-eye view image IM3 shown in FIG. Since the first candidate pixel column and the second candidate pixel column are respectively searched, the approximate straight line indicated by the reference symbol AL1 from the white line candidate pixels P2 to P6 in the front region F shown in FIG. From the white line candidate pixels P1 ′ to P6 ′, an approximate straight line indicated by symbol AL2 is calculated.
ステップ１０６において、白線検出部２３は、近似直線が算出されると、車両Ｖに最も近い位置にある白線候補画素に対応する近似直線の上の位置と、車両Ｖから最も遠い位置にある白線候補画素に対応する近似直線の上の位置とを、それぞれ白線の端点とし、近似直線の２つの端点で挟まれた範囲を、白線として検出する。
そして、これら端点の位置を示す情報と、近似直線の位置や傾きを示す情報とに基づいて、検出した白線の俯瞰画像内における位置を特定する情報（白線パラメータ）を生成し、表示部３０に出力する。
In
Then, based on the information indicating the positions of these end points and the information indicating the position and inclination of the approximate straight line, information (white line parameter) for specifying the position of the detected white line in the overhead image is generated and displayed on the
図８に示す白線候補画素Ｐ１〜Ｐ１０の場合、近似直線ＡＬの、白線候補画素Ｐ１に対応する端点Ｅ１と、白線候補画素Ｐ１０に対応する端点Ｅ２とで挟まれた範囲が、白線として検出される。そして、端点Ｅ１、Ｅ２の位置を示す情報と、近似直線ＡＬの位置と傾きとを示す情報とから、白線パラメータが生成され、表示部３０に出力される。
In the case of the white line candidate pixels P1 to P10 shown in FIG. 8, the range between the end point E1 corresponding to the white line candidate pixel P1 and the end point E2 corresponding to the white line candidate pixel P10 of the approximate straight line AL is detected as a white line. The Then, white line parameters are generated from the information indicating the positions of the end points E1 and E2 and the information indicating the position and inclination of the approximate straight line AL and output to the
ちなみに、図９に示す俯瞰画像ＩＭ３の場合、近似直線ＡＬ１の白線候補画素Ｐ２と白線候補画素Ｐ６とで挟まれた範囲と、近似直線ＡＬ２の白線候補画素Ｐ２’と白線候補画素Ｐ６’とで挟まれた範囲とが、それぞれ白線として検出される。 In the case of the overhead image IM3 shown in FIG. 9, the range between the white line candidate pixel P2 and the white line candidate pixel P6 of the approximate line AL1 and the white line candidate pixel P2 ′ and the white line candidate pixel P6 ′ of the approximate line AL2 Each sandwiched area is detected as a white line.
表示部３０では、車両の周囲の路面において検出された白線が表示される。
図９に示す俯瞰画像ＩＭでは、白線ＡＬ１、ＡＬ２が検出されているので、駐車支援装置の図示しない駐車支援制御では、これら白線の位置を示す白線パラメータから、車両Ｖから白線ＡＬ１、ＡＬ２の各々までの距離や、隣接する白線ＡＬ１、ＡＬ２の離間距離を特定できる。
よって、特定された白線の位置などに基づいて、車両の駐車支援用の誘導などの駐車支援を行うことができる。
The
In the bird's-eye view image IM shown in FIG. 9, since the white lines AL1 and AL2 are detected, in the parking assistance control (not shown) of the parking assistance device, from the white line parameters indicating the positions of these white lines, from the vehicle V to the white lines AL1 and AL2 respectively. And the distance between the adjacent white lines AL1 and AL2.
Therefore, parking assistance such as guidance for parking assistance of the vehicle can be performed based on the position of the identified white line.
ここで、実施例におけるステップ１０１が、発明における画像変換部に相当し、ステップ１０２が、白線候補画素検索部に相当し、ステップ１０３からステップ１０６が、白線検出部に相当する。また、実施例における変換マップ１２が発明における誤差マップに相当する。
Here,
以上の通り、本実施例では、画像変換部２１が、車両に搭載されて車両の周囲の路面を撮像するカメラＣにより得られた路面の撮像画像を、路面を真上方向から見た俯瞰画像に変換し、白線候補画素検索部２２が、俯瞰画像において路面に描かれた白線を示す画素の候補である白線候補画素を複数検索し、白線検出部２３が、検索された複数の白線候補画素から近似直線を求める際に、撮像画像を俯瞰画像に変換する際に生じる誤差の程度を示す変換マップ１２を参照して特定した白線候補画素各々の誤差の程度に基づいて、誤差の影響を除外するように白線候補画素の重み付けを調整し、重み付け調整後の白線候補画素から求めた近似直線に基づいて、白線を検出する構成とした。
これにより、カメラからの距離の違いによる誤差などの影響が除外された上で、白線が検出されるので、路面上に描かれた駐車枠の区切り線のような白線を精度良く検出でき、検出した白線を示す正確なデータを得ることができる。
また、変換マップ１２を参照することで、俯瞰画像における誤差の程度を簡単に確認することができるので、白線検出を迅速に行うことができる。
As described above, in this embodiment, the
This eliminates the effects of errors due to differences in distance from the camera, and the white line is detected, so it is possible to accurately detect and detect a white line such as a parking frame separation line drawn on the road surface. It is possible to obtain accurate data indicating the white line.
Further, by referring to the
さらに、白線検出部２３が、誤差の程度が大きい程、重み付けを低減する方向に調整する構成とした。
これにより、誤差の程度が大きい白線候補画素ほど、重み付けが小さくなるように調整されるので、近似直線の算出にあたり、誤差が大きい可能性のある白線候補画素の影響を抑えることができる。よって、路面上に描かれた白線を精度良く検出でき、検出した白線を示す正確なデータを得ることができる。
Furthermore, the white
As a result, the white line candidate pixels having a larger degree of error are adjusted so that the weight is reduced. Therefore, in calculating the approximate straight line, it is possible to suppress the influence of the white line candidate pixels that may have a large error. Therefore, the white line drawn on the road surface can be detected with high accuracy, and accurate data indicating the detected white line can be obtained.
さらに、白線検出部２３は、複数の白線候補画素から、最小二乗法により近似直線を求めると共に、近似直線を求める際に各白線候補画素について算出される二乗誤差の値に、誤差の程度に応じて決まる係数αｉを乗算することで、各白線候補画素の誤差の程度に応じた重み付けの調整をする構成とし、特に、誤差の程度が大きい白線候補画素ついて算出される二乗誤差の重み付けが、誤差の程度に応じて小さくなるように係数αｉを決定する構成とした。
これにより、誤差の程度が大きい白線候補画素が近似直線の算出に与える影響を抑えることができる。また、検出された白線候補画素の総てを用いて、近似直線の算出と白線の検出とが行えるので、白線検出の精度を向上させることができる。
Further, the white
Thereby, it is possible to suppress the influence of white line candidate pixels having a large degree of error on the calculation of the approximate line. In addition, since the approximate straight line can be calculated and the white line can be detected using all the detected white line candidate pixels, the accuracy of the white line detection can be improved.
さらに、俯瞰画像では、画像の中央部に位置する車両マークＶを取り囲むように、車両の周囲の画像が配置されている構成としたので、より広い範囲の路面領域において白線を同時に検出することができる。 Furthermore, in the bird's-eye view image, since the image around the vehicle is arranged so as to surround the vehicle mark V located in the center of the image, white lines can be detected simultaneously in a wider road surface area. it can.
特に、俯瞰画像において、カメラＣの中心軸を基準線Ｓとし、基準線を境にして隣接する二つの領域の各々において白線を検索する構成としたので、路面上に描かれた白線の中で、例えば車両の駐車枠を規定する二本の平行に描かれた白線を検出することができる。
よって、撮像画像内において白線の出現する位置や白線の延出する方向を予め予測することが困難であるために、従来の装置では検出が困難であった駐車枠を区画する白線を精度良く検出することができる。
In particular, in the bird's-eye view image, the center line of the camera C is set as the reference line S, and the white line is searched in each of the two adjacent areas with the reference line as a boundary. Therefore, among the white lines drawn on the road surface, For example, two parallel white lines that define a parking frame of a vehicle can be detected.
Therefore, since it is difficult to predict in advance the position where the white line appears in the captured image and the direction in which the white line extends, it is possible to accurately detect the white line defining the parking frame, which was difficult to detect with conventional devices. can do.
さらに、撮像画像を俯瞰画像へ変換する際に生じる誤差を規定する変換マップ１２により、カメラのレンズ系の特徴に起因する固有の誤差も判るようになっているので、例えば、カメラとして魚眼カメラを採用した場合に生じる画像歪みによる誤差の影響も除外でき、より精度良く白線を検出することができる。
Furthermore, since a
上記実施例では、近似直線を求める際に各白線候補画素について算出される二乗誤差に乗算する係数αｉを、特定した誤差の逆数とする場合を例に挙げて説明をしたが、誤差の程度が大きい画素位置にある白線候補画素が近似直線の算出に与える影響を抑えることができる限り、誤差の二乗や平方根の逆数を取るようにしても良い。 In the above embodiment, the case where the coefficient α i that is multiplied by the square error calculated for each white line candidate pixel when obtaining the approximate straight line is described as an example of the reciprocal of the specified error has been described. As long as the influence of the white line candidate pixel at the pixel position having a large value on the calculation of the approximate line can be suppressed, the square of the error or the inverse of the square root may be taken.
上記した実施例の第１の変形例について説明する。
前記実施例にかかる白線検出装置では、最小二乗法により近似直線を求めたが、第１の変形例にかかる白線検出装置では、白線検出部２３は、複数の白線候補画素から、主成分分析により求めた近似直線に基づいて、白線を検出する。
この場合、白線検出部２３は、白線候補画素の位置情報に基づいて分散共分散行列を算出する際に、変換マップ１２を参照して特定した各白線候補画素の誤差の程度に応じて、分散共分散行列の成分の値を補正することで、白線候補画素の重み付けの調整を行う。
A first modification of the above embodiment will be described.
In the white line detection device according to the embodiment, an approximate straight line is obtained by the least square method. However, in the white line detection device according to the first modification, the white
In this case, when calculating the variance covariance matrix based on the position information of the white line candidate pixels, the white
複数の白線候補画素に基づいて、主成分分析により近似直線を求める場合、各白線候補画素の座標を（ｘｉ、ｙｉ）で表し、重心を通る線分をＵ＝ａｘ＋ｂｙとし、ａ２＋ｂ２＝１の条件のもとで、変量Ｕの分散Ｓｕ ２が最大となるａ、ｂを算出することで、近似直線を求めることができる。
この場合、ａ、ｂは、下記式（３）に示す分散共分散行列の固有値と、固有ベクトルを求めることで算出できる。
When an approximate straight line is obtained by principal component analysis based on a plurality of white line candidate pixels, the coordinates of each white line candidate pixel are represented by (x i , y i ), the line segment passing through the center of gravity is U = ax + by, and a 2 + b An approximate straight line can be obtained by calculating a and b at which the variance S u 2 of the variable U is maximized under the condition of 2 = 1.
In this case, a and b can be calculated by obtaining eigenvalues and eigenvectors of the variance-covariance matrix shown in the following equation (3).
また、λは分散共分散行列の固有値、Ｓｘ ２は変量ｘｉの分散、Ｓｙ ２は変量ｙｉの分散、Ｓｘｙは変量ｘｉと変量ｙｉの共分散であり、Ｓｘ ２、Ｓｙ ２、そしてＳｘｙは、それぞれ下記式（４）で表すことができる。
Λ is the eigenvalue of the variance-covariance matrix, S x 2 is the variance of the variable x i , S y 2 is the variance of the variable y i , S xy is the covariance of the variables x i and y i , and S x 2 , S y 2 , and S xy can be represented by the following formula (4), respectively.
しかし、各白線候補画素は、画素位置に応じた誤差を含んでおり、誤差を含む白線候補画素に基づいて近似直線を算出すると、算出した近似直線もまた誤差を含むことになる。
そこで、分散共分散行列を求める際に、白線候補画素（ｘｉ、ｙｉ）の誤差の程度を変換マップ１２で特定し、誤差の程度が大きい白線候補画素の重み付けが小さくなるように、誤差の程度に応じて係数αｉを決定し、上記式（４）に係数αｉ導入した下記式（５）に基づいて、分散共分散行列を求めると共に、近似直線を算出する。
なお、係数αｉの値の設定方法は、上記した最小二乗法の場合と同様である。
However, each white line candidate pixel includes an error corresponding to the pixel position, and when an approximate line is calculated based on the white line candidate pixel including the error, the calculated approximate line also includes an error.
Therefore, when obtaining the variance-covariance matrix, the degree of error of the white line candidate pixel (x i , y i ) is specified by the
Note that the method of setting the value of the coefficient α i is the same as in the case of the least square method described above.
第１の変形例では、白線検出部２３は、複数の白線候補画素から、主成分分析により、近似直線を求めると共に、近似直線を求める際に白線候補画素について算出される分散共分散行列の成分の値を、誤差の程度に応じて補正することで、重み付けの調整を行う構成とした。特に、誤差の程度が大きい白線候補画素について算出される分散共分散行列の成分の値が、誤差の程度に応じて小さくなるように、係数αｉを決定する構成とした。
これにより、誤差の程度が大きい白線候補画素が近似直線の算出に与える影響を抑えることができので、白線の検出を精度良く行うことができる。また、撮像画像の俯瞰画像への変換の際に、入り込む誤差成分の方向が一致しない場合であっても、白線検出の精度の向上を図ることが可能となる。
In the first modification, the white
As a result, the influence of white line candidate pixels having a large degree of error on the calculation of the approximate straight line can be suppressed, so that the white line can be detected with high accuracy. In addition, when converting the captured image into an overhead image, it is possible to improve the accuracy of white line detection even when the direction of the error component entering does not match.
次に、第２の変形例について説明する。
第２の変形例にかかる白線検出装置では、白線候補点から複数の近似直線を求め、求めた近似直線をＬＭｅｄＳ評価で評価する。そして、求めた複数の近似直線の中で、ＬＭｅｄＳ評価値が最も小さい近似直線を選択し、選択した近似直線に基づいて白線を検出する。
Next, a second modification will be described.
In the white line detection device according to the second modification, a plurality of approximate lines are obtained from the white line candidate points, and the obtained approximate lines are evaluated by LMedS evaluation. Then, an approximate line with the smallest LMedS evaluation value is selected from the obtained approximate lines, and a white line is detected based on the selected approximate line.
ＬＭｅｄＳ基準による評価は、「新編 画像解析ハンドブック」（東京大学出版会、７３５−７３６頁）等に記載されている。
ここで、近似直線をｙ＝ａｘ＋ｂとし、各白線候補画素の座標を（ｘｉ、ｙｉ）で表したとき、この基準は、下記式（６）で表される。
ＬＭｅｄＳ＝ｍｉｎ ｍｅｄεｉ ２ …（６）
偏差：εｉ ２＝（ｙｉ−（ａｘｉ＋ｂ））２
なお、ｍｅｄは、インデックスがｉで表示されるデータ群に関してメディアン（中央値）をとる関数であり、この中央値（最小二乗中央値）は、はずれ値がデータに含まれていても値がほとんど変動しないという特徴がある。
よって、上記式（６）を用いると、選択された白線候補画素の中にはずれ点（誤差の大きい白線候補画素）が含まれていても、ＬＭｅｄＳの評価値は、はずれ点に影響されない。
Evaluation based on the LMedS standard is described in “New Edition Image Analysis Handbook” (Tokyo University Press, pages 735-736) and the like.
Here, when the approximate straight line is y = ax + b and the coordinates of each white line candidate pixel are represented by (x i , y i ), this criterion is represented by the following formula (6).
LMedS = min medε i 2 (6)
Deviation: ε i 2 = (y i − (ax i + b)) 2
Note that med is a function that takes the median (median value) for the data group indicated by the index i, and this median value (least square median value) has almost no value even if outliers are included in the data. There is a feature that it does not fluctuate.
Therefore, when the above equation (6) is used, even if the selected white line candidate pixel includes a shift point (white line candidate pixel having a large error), the evaluation value of LMedS is not affected by the shift point.
図１０は、第２の変形例にかかる白線検出装置での処理を説明するフローチャートである。なお、ステップ２００〜ステップ２０２までの処理は、前記実施例のステップ１００〜ステップ１０２までの処理と同じであるので説明を省略する。
ステップ２０３において白線検出部２３は、俯瞰画像において検索された複数の白線候補画素の中から、任意にＮ個の白線候補画素を選択し、ステップ２０４において、選択した白線候補画素に基づいて、例えば最小二乗法により近似直線を算出する。
ステップ２０５において白線検出部２３は、算出した近似直線の各白線候補点の誤差の程度を、変換マップ１２を参照して特定し、近似直線の算出に用いた白線候補画素の誤差の平均値を求める。
ステップ２０６において白線検出部２３は、算出した平均値を、重み付けを調整するための係数αｉ’とし、かかる係数αｉ’を上記式（６）に導入して得られる下記式（７）に基づいて、近似直線のＬＭｅｄＳ評価値を算出する。
ＬＭｅｄＳ＝ｍｉｎ ｍｅｄαｉ’εｉ ２ …（７）
すなわち、誤差の程度に応じて、近似直線のＬＭｅｄＳ評価値の重み付けを調整する。
FIG. 10 is a flowchart for explaining processing in the white line detection device according to the second modification. Note that the processing from
In
In
In
LMedS = min medα i 'ε i 2 (7)
That is, the weight of the LMedS evaluation value of the approximate line is adjusted according to the degree of error.
ステップ２０７において、白線検出部２３は、Ｎ個の白線候補画素の選択から、ＬＭｅｄＳ評価値の算出までの一連の処理が、所定回数（ｑ回）繰り返されて、合計ｑ個の近似直線の算出と、そのＬＭｅｄＳ評価値の算出が完了しているか否かを確認する。
In
この一連の処理の繰り返しの回数は、ｑ回のランダムサンプリングで、少なくとも１個のサンプルには例外値が含まれない確率、すなわち、上記した白線候補画素の任意選択をｑ回行った場合に、少なくとも１回は、誤差の大きい白線候補画素が全く含まれていない確率を考えることにより決定できる。
ここで、全データ中の例外値の割合をξとすると、この確率Ｐは、下記式（８）のようになるので、この関係式から、繰り返しの必要な回数ｑを算出できる。
The number of repetitions of this series of processes is q random sampling, and the probability that at least one sample does not include an exceptional value, that is, when the above-described white line candidate pixel is arbitrarily selected q times, This can be determined at least once by considering the probability that no white line candidate pixel with a large error is included.
Here, if the ratio of exceptional values in all data is ξ, this probability P is expressed by the following equation (8). Therefore, the required number of repetitions q can be calculated from this relational expression.
ステップ２０７においてｑ個の近似直線の算出が完了している場合、ステップ２０８において白線検出部２３は、ｑ個の近似直線の中から、ＬＭｅｄＳ評価値がもっとも小さい近似直線を選択し、ステップ２０９において、選択した近似直線に基づいて白線を検出する。
When calculation of q approximate lines is completed in
第２の変形例では、白線検出部２３は、画像変換部２１が検索した複数の白線候補画素の中からの任意のＮ個の白線候補画素の選択と、選択した白線候補画素に基づく近似直線の算出を所定回数（ｑ回）繰り返して複数の近似直線を求め、求めた複数の近似直線の中からＬＭｅｄＳ基準に基づいて選択した１つの近似直線に基づいて白線を検出するに際し、複数の近似直線の各々において算出される最小二乗中央値を、変換マップ１２（誤差マップ）を参照して特定した誤差の程度に応じて補正することで、重み付けの調整を行う構成とした。
よって、白線候補を構成する白線候補画素の中に、誤って検出されたものが含まれていても、これが白線の検出に与える影響を抑えることができるので、安定性の向上を図ることができる。
In the second modification, the white
Therefore, even if a white line candidate pixel constituting the white line candidate includes an erroneously detected pixel, it is possible to suppress the influence of this on white line detection, so that stability can be improved. .
なお、上記した第２の変形例の説明では、近似直線の算出に用いた白線候補画素各々の誤差の程度の平均値を、重み付けの係数αｉ’として決定したが、重み付けの係数αｉ’は、誤差の程度を合計したもの、掛け合わせたものなど、近似直線の算出により白線を検出する際に、誤差の程度が大きい白線候補画素の影響を小さくすることができる係数であれば、他の方法により算出した係数を用いても良い。 In the description of the second modification example described above, the average value of the degree of error of the white line candidate pixels each used for calculating the approximate straight line, weighting coefficients alpha i 'has been determined as the coefficients of the weighting alpha i' Is a coefficient that can reduce the influence of white line candidate pixels with a large degree of error when detecting a white line by calculating an approximate straight line, such as a sum of errors and a product of the errors The coefficient calculated by the method may be used.
次に第３の変形例について説明する。
第３の変形例にかかる白線検出部２３は、近似直線の算出に用いられた白線候補画素の妥当性を検討する。
図１１は、第３の変形例にかかる白線検出装置での処理を説明するフローチャートである。なお、ステップ３００〜ステップ３０４までの処理は、前記第２の変形例のステップ２００〜ステップ２０４までの処理と同じであるので説明を省略する。
Next, a third modification will be described.
The white
FIG. 11 is a flowchart for explaining processing in the white line detection device according to the third modification. Note that the processing from
ステップ３０５において、白線検出部２３は、ステップ３０４において求めた近似直線のＬＭｅｄＳ評価値を算出する。
ステップ３０６において、白線検出部２３は、ステップ３０３からステップ３０５までの処理が所定回数（ｑ回）繰り返されて、合計ｑ個の近似直線の算出と、そのＬＭｅｄＳ評価値の算出が完了しているか否かを確認する。
ステップ３０６において算出が完了している場合、ステップ３０７において白線検出部２３は、ｑ個の近似直線の中から、ＬＭｅｄＳ評価値がもっとも小さい近似直線を選択する。
In
In
If the calculation is completed in
ステップ３０７において白線検出部２３は、選択した近似直線の各白線候補点の誤差の程度を、変換マップ１２を参照して特定する。
ステップ３０９において白線検出部２３は、各白線候補点の近似直線に対する偏差（誤差）の重み付けを、特定した誤差の程度に応じて調整する。
各白線候補点の近似直線に対する誤差は、近似直線を特定するパラメータを利用して、下記式（９)により標準偏差の推定値を算出することで行われる。
In
In
The error of each white line candidate point with respect to the approximate line is performed by calculating an estimated value of the standard deviation by the following equation (9) using a parameter for specifying the approximate line.
白線検出部２３は、各白線候補画素について近似直線に対する誤差を求める際に、変換マップ１２を参照して特定した白線候補画素の誤差の程度の逆数を、重み付けを調整するための係数αｉとする。
When the white
すなわち、検出された白線に対する誤差が大きい白線候補画素は、白線候補画素として妥当でないと判定して除外する。
ここで、各白線候補画素の誤差の程度の逆数を係数αｉとすることで、誤差の程度が大きい白線候補画素は、偏差の許容範囲が狭くなり、排除され易くなる。
例えば誤差の程度が最も小さい白線候補画素に対して、３倍の大きさの誤差を有する白線候補画素の場合、偏差の許容範囲は、係数αｉにより３分の１になるので、除外され易くなる。
That is, a white line candidate pixel having a large error with respect to the detected white line is determined to be invalid as a white line candidate pixel and excluded.
Here, by setting the reciprocal of the degree of error of each white line candidate pixel as the coefficient α i , the white line candidate pixel having a large degree of error has a narrow tolerance range and is easily excluded.
For example, in the case of a white line candidate pixel having an error that is three times as large as the white line candidate pixel with the smallest degree of error, the allowable range of deviation is ３ due to the coefficient α i and is therefore easily excluded. Become.
ステップ３１１において白線検出部２３は、除外された白線候補画素以外の白線候補画素に基づいて近似直線を再度求め、ステップ３１２において近似直線に基づいて白線を検出する。
In
第３の変形例では、白線検出部２３が、近似直線の算出に用いた白線候補画素各々の近似直線に対する誤差を求め、求めた誤差が、所定の閾値よりも大きい値となる白線候補画素を、白線候補画素から除外し、除外した白線候補画素を除いた残りの白線候補画素に基づいて再度算出した近似直線に基づいて、白線を検出する構成とした。
よって、近似直線の算出に用いた白線候補画素各々の妥当性を確認し、他の白線候補画素に比べて誤差（ばらつき）が大きく、近似直線の算出に用いるのに妥当でない白線候補画素を検索して、除外することができる。
ここで、白線候補画素の妥当性の判断に用いられる閾値は、変換マップ１２を参照して特定される白線候補画素の誤差の程度に応じて決定され、誤差の程度が大きい白線候補画素ほど、誤差の許容範囲が狭くなり、除外され易くなるように設定される。そして、妥当でない白線候補画素を除いた残りの白線候補画素に基づいて再度求めた近似直線に基づいて、白線が検出されるので、妥当でない白線候補画素が白線検出に与える影響を抑えることができると共に、白線検出の精度を向上させることができる。
また、白線候補画素を除外する閾値が、変換マップ１２を参照して特定された白線候補画素の誤差の程度に応じて設定されるので、白線候補画素の妥当性を検討する際の計算を簡単にすることができ、計算コストの低減を図ることができる。
In the third modified example, the white
Therefore, the validity of each white line candidate pixel used for calculating the approximate line is confirmed, and white line candidate pixels that have a large error (variation) compared to other white line candidate pixels and are not appropriate for use in calculating the approximate line are searched. And can be excluded.
Here, the threshold value used for determining the validity of the white line candidate pixel is determined according to the degree of error of the white line candidate pixel specified with reference to the
In addition, since the threshold for excluding the white line candidate pixels is set according to the degree of error of the white line candidate pixels specified with reference to the
次に第４の変形例について説明する。
第４の変形例にかかる白線検出部２３は、近似直線の算出に用いた白線候補画素の誤差の程度に基づいて、検出した白線の妥当性を検証する。
この場合、白線検出部２３は、白線候補画素検索部２２が検索した総ての白線候補画素から、例えば最小二乗法により近似直線を求め、求めた近似直線に基づいて白線を検出する。
この際、白線検出部２３は、変換マップ１２を参照し、白線候補画素の誤差の程度を確認し、確認した各白線候補画素の誤差の統計的分析を行って、誤差の平均値、分散、そして標準偏差などを求め、白線の妥当性を示す指標として利用する。
Next, a fourth modification will be described.
The white
In this case, the white
At this time, the white
そして、例えば、白線候補画素の数が予め決められた数よりも少ない場合に、検出された白線の妥当性を判断する際の目安として、この統計的分析の結果を利用する。
具体的には、各白線候補画素の誤差の平均値が、所定の閾値よりも大きい場合は、誤差が大きいので、検出された白線の精度は低いと判断する。そして、検出された白線に基づき算出される白線パラメータは、信頼性の低いデータであるとして棄却するなどの処理を行う。
For example, when the number of white line candidate pixels is smaller than a predetermined number, the result of this statistical analysis is used as a guideline for determining the validity of the detected white line.
Specifically, when the average error value of each white line candidate pixel is larger than a predetermined threshold, it is determined that the accuracy of the detected white line is low because the error is large. Then, the white line parameter calculated based on the detected white line is subjected to processing such as rejection as data with low reliability.
第４の変形例では、白線検出部２３は、変換マップ１２を参照して、白線候補に含まれる白線候補画素各々の誤差の程度を確認し、各白線候補画素の誤差の程度の統計的分析により平均値、分散、標準偏差を求め、求めたこれらの値を、白線の妥当性を示す指標として利用する構成とした。よって、検出した白線や、これに基づき算出された白線パラメータの妥当性の検証のための計算を簡単にすることが可能となり、計算コストを低減した白線の検出と、白線パラメータの算出とを行うことができる。
In the fourth modification, the white
次に第５の変形例について説明する。
第５の変形例にかかる白線検出部２３は、白線が繰り返し検出される場合において、検索した白線候補画素の妥当性を、先に検索された白線に基づき検証し、先に検出された白線と同じ白線が検出されていると判断できる際には、検索した白線候補画素に基づき近似直線を算出する際の基準を、白線の検出精度が向上する方向に変更する。
Next, a fifth modification will be described.
When the white line is repeatedly detected, the white
図１２および図１３は、第５の変形例にかかる白線検出装置での処理を説明するフローチャートである。なお、ステップ４００〜ステップ４０２、ステップ４０４〜ステップ４０８までの処理は、前記第３の変形例のステップ３００〜ステップ３０２、ステップ３０３〜ステップ３０７までの処理と、それぞれ同じであるので説明を省略する。
12 and 13 are flowcharts for explaining processing in the white line detection apparatus according to the fifth modification. Note that the processing from
ステップ４０３において白線検出部２３は、既に検出した白線があるか否かを確認する。具体的には、白線パラメータデータベース１４を参照して、新たな撮像画像入力された時刻ｔ２よりも前の時刻（時刻ｔ１）における撮像画像から算出した白線パラメータが、記憶されているか否かを確認することで行う。
そして、時刻ｔ２よりも前の時刻における撮像画像から算出した白線パラメータが記憶されている場合、既に検出した白線があると判断する。
そして、既に検出した白線がないと判断された場合は、ステップ４０４の処理に移行し、あると判断された場合は、ステップ４１３の処理に移行する。
In
If the white line parameter calculated from the captured image at a time before time t2 is stored, it is determined that there is a white line that has already been detected.
If it is determined that there is no white line already detected, the process proceeds to step 404. If it is determined that there is a white line, the process proceeds to step 413.
ステップ４０９において白線検出部２３は、ステップ４０７において選択した近似直線の各白線候補点の近似直線に対する偏差（誤差）を、下記式（１０）に基づき算出する。
In
ステップ４０３において既に検出された白線があると判断された場合、ステップ４１３において白線検出部２３は、まず既に検出された時刻ｔ１における白線の白線パラメータに対して、新たに撮像画像が入力された時刻ｔ２の時間差を加味した白線パラメータを算出し、この算出した白線パラメータを時刻ｔ２での白線パラメータと仮定する。次に仮定した時刻t２での白線パラメータに対して、ＬＭｅｄＳ基準による評価を行い、求めたＬＭｅｄＳの評価値が、所定の閾値Ｔｈ未満であるか否かを確認する。
ステップ４１３において所定の閾値Ｔｈ未満である場合、時刻ｔ１における白線が、新たに入力された撮像画像においても検出されていると判断する。
そして、ステップ４１３で求めたＬＭｅｄＳの評価値が、所定の閾値Ｔｈ未満である場合には、ステップ４１４において白線検出部２３は、時刻ｔ２における白線候補画素から求めた複数の近似直線の中から、ＬＭｅｄＳの評価値がもっとも小さくなる近似直線を選択する際に用いられるＭｅｄＳ基準を変更する。
If it is determined in
If it is less than the predetermined threshold Th in
If the evaluation value of LMedS obtained in
ここで、通常のＬＭｅｄＳ基準による評価では、白線候補画素に含まれる白線候補画素の全てについて、推定された予測白線のパラメータにより特定される直線に対する２乗誤差εｉ ２を算出し、２乗誤差εｉ ２が小さい順に並び替えて、図１４の符号Ｋに示すような誤差の２乗の順位をとる。そして、Ｍｅｄｉａｎ（中央値）であるＫ１に位置するパラメータをＬＭｅｄＳ基準として利用する。 Here, in the evaluation based on the normal LMedS standard, the square error ε i 2 is calculated for all the white line candidate pixels included in the white line candidate pixels with respect to the straight line specified by the estimated predicted white line parameter, and the square error is calculated. Rearranged in ascending order of ε i 2, the error is squared as indicated by the symbol K in FIG. And the parameter located in K1 which is Median (median value) is utilized as a LMedS standard.
よって、白線検出部２３は、時刻ｔ１の撮像画像の処理により近似直線を選択する際に用いたＬＭｅｄＳ評価の基準Ｋ１の代わりに、図１４に示すように、Ｍｅｄｉａｎよりも順位が高く、２乗誤差εｉ２が小さい仮想線Ｋ２に対応するパラメータを基準とする。
これにより、新たに検索された時刻ｔ２における白線候補画素に基づき算出される近似直線の妥当性を、変更後の基準に基づいて評価し、近似直線の決定と、白線パラメータの算出が行われる。
Therefore, the white
Thereby, the validity of the approximate line calculated based on the newly searched white line candidate pixel at time t2 is evaluated based on the changed reference, and the approximate line is determined and the white line parameter is calculated.
第５の変形例では、白線が検出されたのちに新たに複数の白線候補画素が検出されると、白線検出部２３は、新たな白線パラメータの算出に用いた白線候補画素各々の、既に検出されている白線に対する誤差の二乗和を求め、求めた誤差の二乗和が所定の閾値未満である場合、新たに検索された白線候補画素に基づいて近似直線を求める際のＬＭｅｄＳ基準の基準値を変更し、変更後の基準に基づいて、新たな白線候補から求めた近似直線の妥当性を評価する構成としたので、連続して入力される撮像画像において続けて検出されるべき白線が、検出できなくなる可能性を低減させることができ、安定した白線の検出が実現可能となるという効果が得られる。
In the fifth modification, when a plurality of white line candidate pixels are newly detected after the white line is detected, the white
なお、上記第５の変形例では、時刻ｔ２における撮像画像の処理により白線候補画素が検索された際に、時刻ｔ１における撮像画像の処理により検出した白線との比較により、検索した白線候補画素の妥当性を検討する構成としたが、時刻ｔ１における白線の経時的な変化を予測して、時刻ｔ２における白線を予測し、予測した時刻ｔ２における白線との比較により、時刻ｔ２における撮像画像から検索した白線候補画素の妥当性を検討する構成としてもよい。これにより、妥当性の検討をより正確に行うことができる。
なお、この場合の時刻ｔ１の白線パラメータの経時的な変化の予測は、車両が移動している場合における移動方向や移動速度を用いたデッドレコニングによる推定などにより行われる。
In the fifth modification, when a white line candidate pixel is searched for by processing of the captured image at time t2, a comparison is made with the white line detected by processing of the captured image at time t1 to determine the white line candidate pixel searched for. Although it is configured to examine the validity, the white line at time t1 is predicted, the white line at time t2 is predicted, and a comparison with the predicted white line at time t2 is made from the captured image at time t2. The validity of the white line candidate pixels may be considered. Thereby, the validity can be examined more accurately.
Note that the change with time of the white line parameter at time t1 in this case is predicted by estimation by dead reckoning using the moving direction and moving speed when the vehicle is moving.
このように、白線検出部の処理の変形例を種々説明したが、各変形例の処理は、単独でのみ行う必要はなく、他の変形例の処理や実施例の処理と適宜組み合わせて行うようにしても良い。
これにより、処理の組み合わせにより、白線の検出精度をいっそう向上させることが可能となる。
As described above, various modifications of the processing of the white line detection unit have been described. However, the processes of each modification need not be performed alone, but may be performed in appropriate combination with the processes of other modifications and the processes of the embodiments. Anyway.
Thereby, the detection accuracy of the white line can be further improved by a combination of processes.
１０ 記憶部
１１ 画像メモリ
１２ 変換マップ（誤差マップ）
１３ 白線候補画素データベース
１４ 白線パラメータデータベース
２０ 制御部
２１ 画像変換部
２２ 白線候補画素検索部
２３ 白線検出部
３０ 表示部
Ｃ カメラ
10
13 White Line
Claims (12)
前記カメラが撮像した路面の撮像画像を、前記路面を直上方向から見た俯瞰画像に変換する画像変換部と、
前記俯瞰画像において、前記路面に描かれた白線を示す画素の候補である白線候補画素を複数検索する白線候補画素検索部と、
検索された複数の白線候補画素から算出した近似直線に基づいて、白線を検出する白線検出部とを備え、
前記白線検出部は、前記撮像画像を前記俯瞰画像に変換する際に生じる誤差の影響を除外するように前記白線候補画素の重み付けを調整することを特徴とする白線検出装置。 A camera mounted on a vehicle to image the surrounding road surface;
An image conversion unit that converts a captured image of the road surface imaged by the camera into an overhead image when the road surface is viewed from directly above;
In the overhead view image, a white line candidate pixel search unit that searches for a plurality of white line candidate pixels that are candidates for pixels indicating a white line drawn on the road surface;
A white line detection unit that detects a white line based on an approximate straight line calculated from a plurality of searched white line candidate pixels;
The white line detection unit, wherein the white line detection device adjusts the weight of the white line candidate pixels so as to exclude an influence of an error that occurs when the captured image is converted into the overhead image.
前記撮像画像を前記俯瞰画像に変換する際に生じる誤差の程度を示す誤差マップを有し、この誤差マップを参照して前記白線候補画素各々の誤差の程度を特定し、誤差の影響を除外するものであることを特徴とする請求項１に記載の白線検出装置。 The white line detector
An error map indicating the degree of error that occurs when the captured image is converted into the overhead image is specified, the degree of error of each of the white line candidate pixels is identified with reference to this error map, and the influence of the error is excluded The white line detecting device according to claim 1, wherein the white line detecting device is one.
前記誤差の程度が大きい程、前記重み付けを低減する方向に調整する
ことを特徴とする請求項１または請求項２に記載の白線検出装置。 The white line detector
3. The white line detection device according to claim 1, wherein the white line detection device adjusts in a direction of reducing the weighting as the degree of the error is larger.
前記複数の白線候補画素から、最小二乗法により、前記近似直線を求めると共に、
前記近似直線を求める際に前記白線候補画素について算出される二乗誤差の値を、前記誤差の程度に応じて補正することで、前記重み付けの調整を行う
ことを特徴とする請求項１乃至請求項３のうちの何れか一項に記載の白線検出装置。 The white line detector
Obtaining the approximate straight line from the plurality of white line candidate pixels by the least square method,
The weighting adjustment is performed by correcting a square error value calculated for the white line candidate pixel when obtaining the approximate line according to the degree of the error. The white line detection device according to any one of 3.
前記複数の白線候補画素から、主成分分析により、前記近似直線を求めると共に、
前記近似直線を求める際に前記白線候補画素について算出される分散共分散行列の成分の値を、前記誤差の程度に応じて補正することで、前記重み付けの調整を行う
ことを特徴とする請求項１乃至請求項３のうちの何れか一項に記載の白線検出装置。 The white line detector
While obtaining the approximate straight line from the plurality of white line candidate pixels by principal component analysis,
The weighting adjustment is performed by correcting a value of a component of a variance-covariance matrix calculated for the white line candidate pixel when obtaining the approximate line according to the degree of the error. The white line detection device according to any one of claims 1 to 3.
前記複数の白線候補画素の中からの一定数の白線候補画素の選択と、選択した白線候補画素に基づく近似直線の算出を所定回数繰り返して複数の近似直線を求めると共に、
求めた複数の近似直線の中からＬＭｅｄＳ基準に基づいて選択した１つの近似直線に基づいて前記白線を検出し、
前記複数の近似直線の各々において算出される最小二乗中央値を、前記誤差の程度に応じて補正することで、前記重み付けの調整を行う
ことを特徴とする請求項１乃至請求項３のうちの何れか一項に記載の白線検出装置。 The white line detector
While selecting a certain number of white line candidate pixels from among the plurality of white line candidate pixels and calculating an approximate line based on the selected white line candidate pixels a predetermined number of times to obtain a plurality of approximate lines,
The white line is detected based on one approximate line selected based on the LMedS criterion from the obtained approximate lines,
The weighting adjustment is performed by correcting the least square median value calculated in each of the plurality of approximate lines according to the degree of the error. The white line detection device according to any one of the above.
前記近似直線の算出に用いた白線候補画素各々の前記近似直線に対する誤差を求め、求めた誤差が所定の閾値よりも大きい値となる白線候補画素を、前記複数の白線候補画素から除外して近似直線を再度算出する
ことを特徴とする請求項１乃至請求項６のうちの何れか一項に記載の白線検出装置。 The white line detector
An error with respect to the approximate line of each white line candidate pixel used for the calculation of the approximate line is obtained, and white line candidate pixels in which the obtained error is larger than a predetermined threshold are excluded from the plurality of white line candidate pixels and approximated. The white line detection device according to claim 1, wherein the straight line is calculated again.
前記誤差マップを参照して、前記近似直線の算出に用いた白線候補画素各々の誤差の程度を確認し、各白線候補画素の誤差の程度の統計的分析の結果を用いて、前記白線の妥当性を検証する
ことを特徴とする請求項２乃至請求項７のうちの何れか一項に記載の白線検出装置。 The white line detector
Referring to the error map, the degree of error of each white line candidate pixel used in the calculation of the approximate line is confirmed, and the validity of the white line is determined using the result of statistical analysis of the degree of error of each white line candidate pixel. The white line detection device according to any one of claims 2 to 7, wherein the white line detection device is verified.
白線が検出されたのちに新たに複数の白線候補画素が検索されると、前記白線に対する前記新たに検索された白線候補画素各々の誤差を求め、求めた誤差が所定の閾値よりも小さい値となる場合には、前記ＬＭｅｄＳ基準を変更する
ことを特徴とする請求項６に記載の白線検出装置。 The white line detector
When a plurality of white line candidate pixels are newly searched after the white line is detected, an error of each of the newly searched white line candidate pixels with respect to the white line is obtained, and the obtained error is smaller than a predetermined threshold value. The white line detection device according to claim 6, wherein the LMedS reference is changed in the case of becoming.
前記予測した白線に対する前記新たに検索された白線候補画素各々の誤差として、前記新たに検索された白線候補画素各々の前記白線に対する誤差の二乗和を求め、求めた誤差の二乗和が前記所定の閾値よりも小さい場合、前記ＬＭｅｄＳ基準の基準値を、誤差の二乗和の値が前記基準値よりも小さい値に変更する
ことを特徴とする請求項９に記載の白線検出装置。 The white line detector
As an error of each of the newly searched white line candidate pixels with respect to the predicted white line, a square sum of an error with respect to the white line of each of the newly searched white line candidate pixels is obtained, and the square sum of the obtained error is the predetermined value. 10. The white line detection device according to claim 9, wherein, when the value is smaller than a threshold value, the reference value of the LMedS reference is changed to a value in which a value of a sum of squares of errors is smaller than the reference value.
ことを特徴とする請求項１乃至請求項１０のうちの何れか一項に記載の白線検出装置。 The road image around the vehicle is arranged so as to surround the vehicle mark located at the center of the image in the bird's-eye view image. The white line detection device described in 1.
前記俯瞰画像において、前記路面に描かれた白線を示す画素の候補である白線候補画素を複数検索し、
前記撮像画像を前記俯瞰画像に変換する際に生じる誤差の影響を除外するように前記白線候補画素各々の重み付けを調整し、
重み付け調整後の白線候補画素に基づいて白線を検出する
ことを特徴とする白線検出方法。 A captured image obtained by a camera that captures a road surface around the vehicle is converted into an overhead image when the road surface is viewed from directly above,
In the bird's-eye view image, search for a plurality of white line candidate pixels that are candidates for pixels indicating a white line drawn on the road surface,
Adjusting the weight of each of the white line candidate pixels so as to exclude the influence of errors that occur when converting the captured image to the overhead image,
A white line detection method, wherein a white line is detected based on a white line candidate pixel after weight adjustment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007169609A JP2009009331A (en) | 2007-06-27 | 2007-06-27 | White line detection device and white line detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007169609A JP2009009331A (en) | 2007-06-27 | 2007-06-27 | White line detection device and white line detection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009009331A true JP2009009331A (en) | 2009-01-15 |
Family
ID=40324359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007169609A Pending JP2009009331A (en) | 2007-06-27 | 2007-06-27 | White line detection device and white line detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009009331A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010140578A1 (en) * | 2009-06-02 | 2010-12-09 | 日本電気株式会社 | Image processing device, image processing method, and image processing program |
| JP2011100223A (en) * | 2009-11-04 | 2011-05-19 | Panasonic Electric Works Co Ltd | Image processing apparatus and image processing method |
| JP2012022574A (en) * | 2010-07-15 | 2012-02-02 | Fuji Heavy Ind Ltd | White line recognition device for vehicle |
| JP2012062848A (en) * | 2010-09-17 | 2012-03-29 | Denso Corp | Fuel-injection condition detector |
| JP2013232240A (en) * | 2013-08-09 | 2013-11-14 | Clarion Co Ltd | Vehicle posture angle calculation device |
| WO2014084121A1 (en) * | 2012-11-27 | 2014-06-05 | クラリオン株式会社 | On-vehicle control device |
| CN104076363A (en) * | 2014-06-26 | 2014-10-01 | 广东工业大学 | Rapid automatic guided vehicle obstacle detection method based on multiple sensors |
| KR101437743B1 (en) * | 2012-12-10 | 2014-10-30 | 민정곤 | System and method for detecting traffic lane in real time, navigation and black-box for vechicle using the same |
| JP2015534152A (en) * | 2012-08-27 | 2015-11-26 | コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト | Method for recognizing lane transitions for vehicles |
| US10147003B2 (en) | 2015-04-23 | 2018-12-04 | Honda Motor Co., Ltd. | Lane detection device and method thereof, curve starting point detection device and method thereof, and steering assistance device and method thereof |
-
2007
- 2007-06-27 JP JP2007169609A patent/JP2009009331A/en active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010140578A1 (en) * | 2009-06-02 | 2010-12-09 | 日本電気株式会社 | Image processing device, image processing method, and image processing program |
| JP5293815B2 (en) * | 2009-06-02 | 2013-09-18 | 日本電気株式会社 | Image processing apparatus, image processing method, and image processing program |
| US8687896B2 (en) | 2009-06-02 | 2014-04-01 | Nec Corporation | Picture image processor, method for processing picture image and method for processing picture image |
| JP2011100223A (en) * | 2009-11-04 | 2011-05-19 | Panasonic Electric Works Co Ltd | Image processing apparatus and image processing method |
| JP2012022574A (en) * | 2010-07-15 | 2012-02-02 | Fuji Heavy Ind Ltd | White line recognition device for vehicle |
| JP2012062848A (en) * | 2010-09-17 | 2012-03-29 | Denso Corp | Fuel-injection condition detector |
| US8849592B2 (en) | 2010-09-17 | 2014-09-30 | Denso Corporation | Fuel-injection condition detector |
| JP2015534152A (en) * | 2012-08-27 | 2015-11-26 | コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト | Method for recognizing lane transitions for vehicles |
| JP2014104853A (en) * | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | Onboard control device |
| WO2014084121A1 (en) * | 2012-11-27 | 2014-06-05 | クラリオン株式会社 | On-vehicle control device |
| CN104870256A (en) * | 2012-11-27 | 2015-08-26 | 歌乐株式会社 | Vehicle control device |
| EP2927054A4 (en) * | 2012-11-27 | 2016-02-24 | Clarion Co Ltd | ON-BOARD CONTROL DEVICE |
| US9734581B2 (en) | 2012-11-27 | 2017-08-15 | Clarion Co., Ltd. | On-vehicle control device |
| KR101437743B1 (en) * | 2012-12-10 | 2014-10-30 | 민정곤 | System and method for detecting traffic lane in real time, navigation and black-box for vechicle using the same |
| JP2013232240A (en) * | 2013-08-09 | 2013-11-14 | Clarion Co Ltd | Vehicle posture angle calculation device |
| CN104076363A (en) * | 2014-06-26 | 2014-10-01 | 广东工业大学 | Rapid automatic guided vehicle obstacle detection method based on multiple sensors |
| US10147003B2 (en) | 2015-04-23 | 2018-12-04 | Honda Motor Co., Ltd. | Lane detection device and method thereof, curve starting point detection device and method thereof, and steering assistance device and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009009331A (en) | White line detection device and white line detection method | |
| US11398051B2 (en) | Vehicle camera calibration apparatus and method | |
| JP7371053B2 (en) | Electronic devices, mobile objects, imaging devices, and control methods, programs, and storage media for electronic devices | |
| US10204277B2 (en) | Electronic device, traveling lane identifying system, and traveling lane identifying method | |
| JP3280001B2 (en) | Stereo image misalignment adjustment device | |
| JP6158779B2 (en) | Image processing device | |
| WO2015198930A1 (en) | Distance measurement device, and distance measurement correction device using correction parameter | |
| JP3255360B2 (en) | Inspection method of distance data and its inspection device | |
| CN108141570A (en) | Calibration device, calibration method and calibration procedure | |
| JP6483446B2 (en) | Composite line determination apparatus and composite line determination method | |
| KR102022402B1 (en) | Calibration method and apparatus thereof | |
| RU2615063C2 (en) | Method and device for detecting moving objects in video image sequence | |
| US6829383B1 (en) | Stochastic adjustment of differently-illuminated images | |
| JP2015149029A (en) | Lane boundary detection device | |
| JP2013137767A (en) | Obstacle detection method and driver support system | |
| KR101869266B1 (en) | Lane detection system based on extream learning convolutional neural network and method thereof | |
| US9635340B2 (en) | Stereo image processing apparatus and method thereof | |
| WO2021070813A1 (en) | Error estimation device, error estimation method, error estimation program | |
| JP2016143364A (en) | Position identification equipment, position identification method, and program | |
| CN113345035B (en) | A method, system and computer-readable storage medium for instant slope prediction based on binocular camera | |
| JP2021051347A (en) | Distance image generation apparatus and distance image generation method | |
| JP3833930B2 (en) | Stereo camera adjustment device | |
| US20240257490A1 (en) | Focal position estimation method, focal position estimation system, model generation method, model generation system, focal position estimation model, and non-transitory computer-readable storage medium | |
| JP6204844B2 (en) | Vehicle stereo camera system | |
| JP2007172500A (en) | Data processing device |