[go: up one dir, main page]

JP2007018154A - 車両及びレーンマーク認識装置 - Google Patents

車両及びレーンマーク認識装置 Download PDF

Info

Publication number
JP2007018154A
JP2007018154A JP2005197511A JP2005197511A JP2007018154A JP 2007018154 A JP2007018154 A JP 2007018154A JP 2005197511 A JP2005197511 A JP 2005197511A JP 2005197511 A JP2005197511 A JP 2005197511A JP 2007018154 A JP2007018154 A JP 2007018154A
Authority
JP
Japan
Prior art keywords
specific color
image
lane mark
color extraction
extraction image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005197511A
Other languages
English (en)
Other versions
JP4365352B2 (ja
Inventor
Yukio Kobayashi
幸男 小林
Tomoyoshi Aoki
友好 青木
Takuma Nakamori
卓馬 中森
Naoki Mori
直樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2005197511A priority Critical patent/JP4365352B2/ja
Priority to PCT/JP2006/312589 priority patent/WO2007004439A1/ja
Priority to EP06767239A priority patent/EP1909230B1/en
Priority to US11/994,940 priority patent/US7965870B2/en
Priority to CA2614247A priority patent/CA2614247C/en
Publication of JP2007018154A publication Critical patent/JP2007018154A/ja
Application granted granted Critical
Publication of JP4365352B2 publication Critical patent/JP4365352B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】色が異なるレーンマークが混在する道路における各レーンマークの検出精度を向上させた車両及びレーンマーク認識装置を提供する。
【解決手段】カラービデオカメラ10を介して道路のカラー画像IM_0を取得する画像取得手段30と、カラー画像IM_0から白色のデータを抽出した輝度抽出画像IM_1及び黄色のデータを抽出した黄色抽出画像IM_2を生成する特定色抽出画像生成手段31と、輝度抽出画像IM_1及び黄色抽出画像IM_2の合成画像IM_Cから、白線と黄線を検出して、白線の位置データPd1及び黄線の位置データPd2を出力するレーンマーク検出手段50aとを備える。
【選択図】 図1

Description

本発明は、道路に設けられたレーンマークを認識する機能を有する車両及びレーンマーク認識装置に関する。
従来より、車両前方の道路を撮影する車載カメラにより得られるカラー画像から、道路上に設けられた走行車線区分用のレーンマークを認識するレーンマーク認識装置が知られている(例えば、特許文献1参照)。
かかる従来のレーンマーク認識装置においては、白線及び黄線のレーンマークを検出するため、カラー画像の各画素のカラー信号に対して、レーンマークとレーンマーク以外の部分との差異を強調して、濃淡信号に変換する処理を行っている。
しかし、カラー画像の輝度が高い場合等、道路の状況によっては、濃淡信号に変換したときに、黄線を抽出できない場合があることから、白線と黄線のように、色が異なるレーンマークが混在する場合のレーンマークの検出性能を更に向上させることが要望されている。
特開2002−123819号公報
本発明は上記背景を鑑みてなされたものであり、異なる色のレーンマークが混在する道路における各レーンマークの検出精度を向上させた車両及びレーンマーク認識装置を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、本発明の車両は、撮像手段と、該撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、該特定色抽出画像生成手段により生成された複数の特定色抽出画像を用いて、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする。
また、本発明のレーンマーク認識装置は、撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、該特定色抽出画像生成手段により生成された複数の特定色抽出画像を用いて、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする。
かかる本発明の車両及びレーンマーク認識装置においては、前記特定色抽出画像生成手段によって、レーンマークの色に対応した各特定色の画素を抽出した複数の前記特定色抽出画像が生成される。この場合、各特定色抽出画像においては、対応するレーンマークの色を有する画素の部分と他の色の画素の部分とがより分離されたものとなるため、前記レーンマーク検出手段は、各特定色抽出画像を用いて各特定色のレーンマークを精度良く検出することができる。
また、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出することを特徴とする。
かかる発明によれば、前記合成画像は、対応する特定色の画素が抽出された複数の特定色抽出画像を合成したものであるため、前記カラー画像における各特定色のレーンマークの部分が、他の色の部分から分離された画像となる。そのため、前記レーンマーク検出手段は、前記合成画像から各特定色のレーンマークを精度良く検出することができる。
また、前記本発明の車両及びレーンマーク認識装置において、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第1の特定色の画素を抽出した第1の特定色抽出画像の各画素のデータに対して、該第1の特定色抽出画像以外の特定色抽出画像の対応する画素が特定色であるときに、該第1の特定色抽出画像において前記第1の特定色と判定される閾値以上のレベルのデータを付加する処理を行って、前記合成画像を生成することを特徴とする。
かかる本発明によれば、前記第1の特定色抽出画像の各画素のデータに対して、前記第1の特定色抽出画像以外の特定色抽出画像の対応する画素が特定色であるときに、前記閾値以上のレベルのデータを付加する処理を行って、前記合成画像を生成すると、前記合成画像においては、前記第1の特定色抽出画像以外の特定色抽出画像における特定色の画素に対応した画素のデータが、前記第1の特定色と判定されるレベルとなる。そのため、前記レーンマーク検出手段は、前記合成画像において前記閾値以上のレベルのデータを有する画素に基づいて、前記各特定色のレーンマークを容易に検出することができる。
また、前記本発明の車両及びレーンマーク認識装置において、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第1の特定色のデータを抽出した第1の特定色抽出画像と、該第1の特定色抽出画像以外の特定色抽出画像の特定色の画素のデータのレベルを、該第1の特定色抽出画像の第1の特定色の画素のデータのレベルに整合させたレベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする。
かかる本発明によれば、前記第1の特定色抽出画像と前記レベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って前記合成画像を生成すると、前記合成画像における各特定色の画素のデータのレベルが、前記第1の特定色抽出画像における前記第1の特定色の画素のデータのレベルに整合される。そのため、前記レーンマーク検出手段は、前記合成画像において、前記第1の特定色の画素のデータと同レベルのデータを有する画素に基づいて、各特定色のレーンマークを容易に検出することができる。
また、前記本発明の車両及びレーンマーク認識装置において、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された各特定色抽出画像に対して、対応する特定色のレーンマークを検出する処理を行って各特定色のレーンマークを検出することを特徴とする。
かかる本発明によれば、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された各特定色抽出画像から、特定色のレーンマークを検出するため、他の特定色の影響を抑制して、各特定色のレーンマークを精度良く検出することができる。
本発明の実施の形態について、図1〜図7を参照して説明する。図1は本発明の第1及び第2の実施形態におけるレーンマーク認識装置を搭載した車両の構成図、図2はレーンマーク検出における画像の説明図、図3は第1の実施形態におけるレーンマーク検出処理のフローチャート、図4は第1の実施形態における画像合成の説明図、図5は第2の実施形態におけるレーンマーク検出処理のフローチャート、図6は第2の実施形態における画像合成の説明図、図7は本発明の第3の実施形態におけるレーンマーク認識装置を搭載した車両の構成図である。
[第1の実施形態]先ず、本発明の第1の実施形態について説明する。図1を参照して、車両1aに搭載されたレーンマーク認識装置20aは、走行車線を区分するために道路に設けられたレーンマーク(白線、黄線)を検出して、走行車線を認識するものである。
レーンマーク認識装置20aは、車両1aに搭載されて車両1aの前方の道路の画像を撮像するカラービデオカメラ10(本発明の撮像手段に相当する)から出力される映像信号IM_sigを入力して、カラー画像IM_0を取得する画像取得手段30、カラー画像IM_0からレーンマークの色に対応した特定色を抽出した特定色抽出画像IM_1,IM_2を生成する特定色抽出画像生成手段31、及び特定色抽出画像IM_1,IM_2を用いてレーンマークを検出するレーンマーク検出手段50aを備えている。
特定色抽出画像生成手段31は、「白」(本発明の第1の特定色に相当する)を特定色とした輝度抽出画像IM_1(本発明の第1の特定色抽出画像に相当する)を生成する輝度抽出画像生成部40と、「黄」を特定色とした黄色抽出画像IM_2(本発明の第1の特定色抽出画像以外の特定色抽出画像に相当する)を生成する黄色抽出画像生成部41とを備えている。
また、レーンマーク検出手段50aは、輝度抽出画像IM_1と黄色抽出画像IM_2とを合成して合成画像IM_Cを生成する画像合成部51と、合成画像IM_Cからレーンマーク(白線及び黄線)を検出して、白線の位置データPd1と黄線の位置データPd2を出力するレーンマーク検出部52とを備えている。
以下、図1,2,4を参照しつつ、図3に示したフローチャートに従って、レーンマーク認識装置20aによるレーンマークの認識処理について説明する。図3のSTEP1及びSTEP2は画像取得手段30(図1参照)による処理である。画像取得手段30は、STEP1で、カラービデオカメラ10から出力される道路の映像信号IM_sigを入力し、STEP2で、該映像信号IM_sigのカラー成分(R値,G値,B値)をデモザイキングして、各画素のデータとして(R値,G値,B値)を有するm×n個の画素からなるカラー画像IM_0(図2参照)を取得する。
続くSTEP3は、輝度抽出画像生成部40(図1参照)による処理であり、輝度抽出画像生成部40は、カラー画像IM_0の各画素IM_0(i,j)(i=0,1,…,m、j=0,1,…,n)のカラー成分(Rij,Gij,Bij)に対して、以下の式(1)によるベクトル演算を行う。
GRij=(Rij Gij Bij)(KR1 KG1 KB1) ・・・(1)
但し、KR1,KG1,KB1:輝度抽出用の変換係数。
これにより、図2に示したように、各画素IM_1(i,j)のデータとして、輝度のレベル(明暗)を示す輝度データGRijを有する輝度抽出画像IM_1が生成される。
また、STEP4は黄色抽出画像生成部41(図1参照)による処理であり、黄色抽出画像生成部41は、カラー画像IM_0の各画素IM_0(i,j)のカラー成分(Rij,Gij,Bij)に対して、以下の式(2)によるベクトル演算を行う。
YEij=(Rij Gij Bij)(KR2 KG2 KB2) ・・・(2)
但し、KR2,KG2,KB2:黄色抽出用の変換係数。
これにより、図2に示したように、各画素IM_2(i,j)のデータとして、黄色のレベル(黄色との近似度合い)を示す黄色データYEijを有する黄色抽出画像IM_2が生成される。
ここで、図2に示したように、カラー画像IM_0において、左側のレーンマークとして白線L1が含まれ、右側のレーンマークとして黄線L2が含まれている場合、輝度抽出画像IM_1においては、白線L1の抽出部分Lw1の画素の輝度データGRijに比べて、黄線L2の抽出部分Lw2の画素の輝度データGRijのレベルが低くなる。
この場合、輝度抽出画像IM_1を2値化してレーンマークを検出するときに、Lw2を抽出するためには、閾値をLw2の画素の輝度データGRijのレベルよりも下げる必要がある。しかし、このように閾値を下げると、レーンマーク以外の要素をノイズとして抽出し易くなり、レーンマークの検出精度が低下する虞がある。
そこで、レーンマーク検出手段50a(図1参照)は、STEP5で、画像合成部51により、輝度抽出画像IM_1と黄色抽出画像IM_2を合成して、白線と黄線の双方を精度良く検出可能な合成画像IM_Cを生成する。
図2を参照して、黄色抽出画像IM_2においては、カラー画像IM_0における黄線L2が強調されたLyの部分が抽出されている。そこで、画像合成部51は、図4に示したように、黄色抽出画像IM_2の各画素の黄色データYEijのレベルが所定の閾値YE_th以上であるとき(YEij≧YE_th)は、輝度抽出画像IM_1の対応する画素の輝度データGRijの最上位ビットとして「1」(本発明の第1の特定色抽出画像において第1の特定色と判定される閾値以上のレベルのデータに相当する)を付加したデータを、合成画像IM_Cの対応する画素のデータとする。
また、黄色データYEijのレベルが該閾値YE_th未満であるとき(YEij<YE_th)には、輝度抽出画像IM_1の対応する画素の輝度データGRijの最上位ビットとして「0」を付加したデータを、合成画像IM_Cの対応するデータとする。これにより、図2に示したように、左側の白線Lc1の部分の画素と右側の黄線Lc2の部分の画素のデータのレベルが、輝度抽出画像IM_1における2値化閾値(例えば、輝度GRijの範囲の中間値。本発明の第1の特定色抽出画像において第1の特定色と判定される閾値に相当する)を超える合成画像IM_Cが生成される。
次のSTEP6,STEP7は、レーンマーク検出手段50aに備えられたレーンマーク検出部52による処理である。レーンマーク検出部52は、STEP6で、合成画像IM_Cの2値化、直線抽出処理等を行って、白線及び黄線を検出する。そして、STEP7で、レーンマーク検出部52は、車両1aのメインECU等に白線の位置データPd1及び黄線の位置データPd2を出力する。
[第2の実施形態]次に、本発明の第2の実施形態について説明する。第2の実施形態の車両及びレーンマーク検出装置は、画像合成部51による合成画像IM_Cの生成方法のみが、上述した第1の実施形態と相違する。以下、図1,2,6を参照しつつ、図5に示したフローチャートに従って、レーンマーク認識装置20aによるレーンマークの認識処理について説明する。
図5のSTEP20〜STEP23は、上述した図3のSTEP1〜STEP4に対応した処理であり、輝度抽出画像IM_1と黄色抽出画像IM_2が生成される。続くSTEP24〜STEP27及びSTEP40は、画像合成部51による処理である。画像合成部51は、STEP24で、黄色抽出画像IM_2の各画素の黄色データYEijにレベル整合用の係数GAINを乗じて、レベル整合画像IM_3(図6参照)を生成する。
そして、画像合成部51は、輝度抽出画像IM_1、レベル整合画像IM_3、及び合成画像IM_Cの対応する各画素IM_1(i,j),IM_3(i,j),IM_C(i,j)のデータについて、STEP26,STEP27,STEP40の処理を行う。
STEP26で、画像合成部51は、輝度抽出画像IM_1とレベル変換画像IM_3の対応する画素のデータGRijとLCijのレベルを比較する。そして、GRijのレベルがLCijのレベルよりも大きいときはSTEP27に進み、GRijを合成画像IM_Cの対応する画素IM_C(i,j)のデータCNijとする(GRij→CNij)。一方、GRijのレベルがLCijのレベル以下であるときにはSTEP40に分岐し、LCijを合成画像IM_Cの対応する画素IM_C(i,j)のデータCNijとする(CNij→GRij)。
このように、STEP25の処理を実行することにより、上述した第1の実施形態と同様に、図2に示したように、白線部分Lc1の画素のデータ及び黄線部分Lc2の画素のデータのレベルが輝度抽出画像IM_1における2値化閾値を越える合成画像IM_Cが生成される。
そして、レーンマーク検出部52は、次のSTEP28で、合成画像IM_Cの2値化、直線抽出処理等を行って白線Lc1と黄線Lc2を検出し、STEP29で白線の位置データPd1と黄線の位置データPd2を、車両1aのメインECU等に出力する。
[第3の実施形態]次に、本発明の第3の実施形態について図7を参照して説明する。第3の実施形態においては、レーンマーク検出手段50bの構成のみが上記第1の実施形態及び第2の実施形態と相違する。そのため、図1に示した車両1a及びレーンマーク認識装置20aと同一の構成については、同一の符号を付して説明を省略する。
レーンマーク検出手段50bは、白線検出部55と黄線抽出部56とを備えている。そして、白線検出部55は、輝度抽出画像生成部40により生成された輝度抽出画像IM_1を、白線の輝度レベルに応じた閾値で2値化し、直線抽出処理等を行って、白線を検出する。また、黄線検出部56は、黄色抽出画像生成部41により生成された黄色抽出画像IM_2を、黄線に対応した黄色データのレベルに応じた閾値で2値化し、直線抽出処理等を行って黄線を検出する。
このように、輝度抽出画像IM_1から白線を検出する場合、図2を参照して、白線部分Lw1の輝度データのレベルに合わせて2値化の閾値を設定することができるため、輝度データのレベルが低い部分がノイズとして抽出されることを排除して、精度良く白線を検出することができる。
また、黄色抽出画像IM_2から黄線を抽出する場合、図2を参照して、黄線部分Lyの黄色データのレベルに合わせて2値化の閾値を設定することができるため、黄色以外の他の色の部分がノイズとして抽出されることを排除して、精度良く黄線を検出することができる。
そして、レーンマーク検出手段50bは、白線検出部55により検出された白線の位置データPd1と、黄線検出部56により検出された黄線の位置データPd2を、車両1bのメインECU等に出力する。
なお、上述した第1〜第3の実施形態では、本発明の特定色として、白色のレーンマークに対応した輝度抽出画像と、黄色のレーンマークに対応した黄色抽出画像を抽出する例を示したが、他の色のレーンマークを検出する場合であっても、検出対象とするレーンマークの色の画素を抽出する同様の処理を行うことで、本発明を適用することができる。
また、上述した第1〜第3の実施形態では、白色及び黄色という2種類の色のレーンマークを検出する例を示したが、3種類以上の色のレーンマークを検出する場合であっても、カラー画像から各レーンマークの色に対応した特定色を抽出した特定色抽出画像を生成することにより、本発明を適用することができる。
また、上述した第1〜第3の実施形態では、レーンマークとして、白線及び黄線を検出したが、Botts Dots、キャッツアイ等、他の種類のレーンマークを検出する場合にも、本発明による効果を得ることができる。
また、上述した第1〜第3の実施形態では、各画素のカラー成分として、(R値,G値,B値)を有する画像データを用いたが、他の種類のカラー成分(CMY、HSV等)を有する画像データを用いる場合であっても、本発明の適用が可能である。
本発明の第1及び第2の実施形態におけるレーンマーク認識装置を搭載した車両の構成図。 レーンマーク検出における画像の説明図。 第1の実施形態におけるレーンマーク検出処理のフローチャート。 第1の実施形態における画像合成の説明図。 第2の実施形態におけるレーンマーク検出処理のフローチャート。 第2の実施形態における画像合成の説明図。 第3の実施形態におけるレーンマーク認識装置を搭載した車両の構成図。
符号の説明
1a,1b…車両、10…カラービデオカメラ(撮像手段)、20a,20b…レーンマーク認識装置、30…画像取得手段、31…特定色抽出画像生成手段、40…輝度抽出画像生成部、41…黄色抽出画像生成部、50a,50b…レーンマーク検出手段、51…画像合成部、52…レーンマーク検出部、55…白線検出部、56…黄線検出部

Claims (10)

  1. 撮像手段と、
    該撮像手段を介して道路のカラー画像を取得する画像取得手段と、
    前記カラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、
    該特定色抽出画像生成手段により生成された複数の特定色抽出画像を用いて、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする車両。
  2. 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出することを特徴とする請求項1記載の車両。
  3. 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第1の特定色の画素を抽出した第1の特定色抽出画像の各画素のデータに対して、該第1の特定色抽出画像以外の特定色抽出画像の対応する画素が特定色であるときに、該第1の特定色抽出画像において前記第1の特定色と判定される閾値以上のレベルのデータを付加する処理を行って、前記合成画像を生成することを特徴とする請求項2記載の車両。
  4. 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第1の特定色のデータを抽出した第1の特定色抽出画像と、該第1の特定色抽出画像以外の特定色抽出画像の特定色の画素のデータのレベルを、該第1の特定色抽出画像の第1の特定色の画素のデータのレベルに整合させたレベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする請求項2記載の車両。
  5. 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された各特定色抽出画像に対して、対応する特定色のレーンマークを検出する処理を行って各特定色のレーンマークを検出することを特徴とする請求項1記載の車両。
  6. 撮像手段を介して道路のカラー画像を取得する画像取得手段と、
    前記カラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、
    該特定色抽出画像生成手段により生成された複数の特定色抽出画像を用いて、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とするレーンマーク認識装置。
  7. 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出することを特徴とする請求項6記載のレーンマーク認識装置。
  8. 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第1の特定色の画素を抽出した第1の特定色抽出画像の各画素のデータに対して、該第1の特定色抽出画像以外の特定色抽出画像の対応する画素が特定色であるときに、該第1の特定色抽出画像において前記第1の特定色と判定される閾値以上のレベルのデータを付加する処理を行って、前記合成画像を生成することを特徴とする請求項7記載のレーンマーク認識装置。
  9. 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第1の特定色のデータを抽出した第1の特定色抽出画像と、該第1の特定色抽出画像以外の特定色抽出画像の特定色の画素のデータのレベルを、該第1の特定色抽出画像の第1の特定色の画素のデータのレベルに整合させたレベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする請求項7記載のレーンマーク認識装置。
  10. 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された各特定色抽出画像に対して、対応する特定色のレーンマークを検出する処理を行って各特定色のレーンマークを検出することを特徴とする請求項6記載のレーンマーク認識装置。
JP2005197511A 2005-07-06 2005-07-06 車両及びレーンマーク認識装置 Expired - Fee Related JP4365352B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005197511A JP4365352B2 (ja) 2005-07-06 2005-07-06 車両及びレーンマーク認識装置
PCT/JP2006/312589 WO2007004439A1 (ja) 2005-07-06 2006-06-23 車両及びレーンマーク認識装置
EP06767239A EP1909230B1 (en) 2005-07-06 2006-06-23 Vehicle and lane mark recognition apparatus
US11/994,940 US7965870B2 (en) 2005-07-06 2006-06-23 Vehicle and lane mark recognition apparatus
CA2614247A CA2614247C (en) 2005-07-06 2006-06-23 Vehicle and lane mark recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005197511A JP4365352B2 (ja) 2005-07-06 2005-07-06 車両及びレーンマーク認識装置

Publications (2)

Publication Number Publication Date
JP2007018154A true JP2007018154A (ja) 2007-01-25
JP4365352B2 JP4365352B2 (ja) 2009-11-18

Family

ID=37604309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005197511A Expired - Fee Related JP4365352B2 (ja) 2005-07-06 2005-07-06 車両及びレーンマーク認識装置

Country Status (5)

Country Link
US (1) US7965870B2 (ja)
EP (1) EP1909230B1 (ja)
JP (1) JP4365352B2 (ja)
CA (1) CA2614247C (ja)
WO (1) WO2007004439A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416328B2 (en) 2010-01-26 2013-04-09 Honda Elesys Co., Ltd. Image processing apparatus and image processing method for processing bayer pattern image data
JP2015121954A (ja) * 2013-12-24 2015-07-02 株式会社デンソー 輝度値算出装置及び車線検出システム
JP2017041228A (ja) * 2015-05-28 2017-02-23 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited レーン検出
CN107710278A (zh) * 2015-06-18 2018-02-16 日本电气方案创新株式会社 图像处理设备,图像处理方法和计算机可读记录介质
WO2019142586A1 (ja) * 2018-01-17 2019-07-25 日立オートモティブシステムズ株式会社 画像処理システム及び配光制御システム
WO2019171565A1 (ja) * 2018-03-09 2019-09-12 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2020027468A (ja) * 2018-08-13 2020-02-20 Kyb株式会社 画像処理装置、画像処理方法及び画像処理システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233670B2 (en) 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
WO2012014627A1 (ja) * 2010-07-29 2012-02-02 本田技研工業株式会社 車両周辺監視装置
CN101982825B (zh) * 2010-11-04 2013-01-09 杭州海康威视系统技术有限公司 一种智能交通监控场景下的视频图像处理方法和装置
GB201101237D0 (en) * 2011-01-25 2011-03-09 Trw Ltd Method of processing images and apparatus
JP5260696B2 (ja) * 2011-03-10 2013-08-14 株式会社デンソー エッジ点抽出装置、車線検出装置、およびプログラム
RU2450346C1 (ru) * 2011-07-08 2012-05-10 Открытое акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" (ОАО "НИИАС") Система мониторинга потенциально опасных объектов инфраструктуры железнодорожного транспорта
CN103426024B (zh) * 2013-07-12 2016-04-20 上海理工大学 一种人体头部转动检测的装置和方法
US9224053B1 (en) * 2013-07-31 2015-12-29 Google Inc. Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle
JP5908946B2 (ja) 2014-06-18 2016-04-26 富士重工業株式会社 画像処理装置
CN107066933B (zh) * 2017-01-25 2020-06-05 武汉极目智能技术有限公司 一种道路标牌识别方法及系统
CN117115771A (zh) * 2023-09-25 2023-11-24 四川路桥建设集团交通工程有限公司 一种公路车道标志线检测方法、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62221800A (ja) * 1985-12-11 1987-09-29 株式会社デンソー 路面上の車線認識装置
JPH10289393A (ja) * 1997-04-15 1998-10-27 Fujitsu Ltd 道路監視用事象検知装置
JPH1153691A (ja) * 1997-08-06 1999-02-26 Daihatsu Motor Co Ltd 車両等の認識方法
JP2002123819A (ja) * 2000-10-13 2002-04-26 Toyota Central Res & Dev Lab Inc レーンマーク強調装置
JP2004056785A (ja) * 2003-06-16 2004-02-19 Hitachi Ltd 車載用画像処理装置
JP2005100000A (ja) * 2003-09-24 2005-04-14 Aisin Seiki Co Ltd 路面走行レーン検出装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US6891960B2 (en) 2000-08-12 2005-05-10 Facet Technology System for road sign sheeting classification
JP4327389B2 (ja) 2001-10-17 2009-09-09 株式会社日立製作所 走行レーン認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62221800A (ja) * 1985-12-11 1987-09-29 株式会社デンソー 路面上の車線認識装置
JPH10289393A (ja) * 1997-04-15 1998-10-27 Fujitsu Ltd 道路監視用事象検知装置
JPH1153691A (ja) * 1997-08-06 1999-02-26 Daihatsu Motor Co Ltd 車両等の認識方法
JP2002123819A (ja) * 2000-10-13 2002-04-26 Toyota Central Res & Dev Lab Inc レーンマーク強調装置
JP2004056785A (ja) * 2003-06-16 2004-02-19 Hitachi Ltd 車載用画像処理装置
JP2005100000A (ja) * 2003-09-24 2005-04-14 Aisin Seiki Co Ltd 路面走行レーン検出装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416328B2 (en) 2010-01-26 2013-04-09 Honda Elesys Co., Ltd. Image processing apparatus and image processing method for processing bayer pattern image data
JP2015121954A (ja) * 2013-12-24 2015-07-02 株式会社デンソー 輝度値算出装置及び車線検出システム
JP2017041228A (ja) * 2015-05-28 2017-02-23 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited レーン検出
CN107710278A (zh) * 2015-06-18 2018-02-16 日本电气方案创新株式会社 图像处理设备,图像处理方法和计算机可读记录介质
WO2019142586A1 (ja) * 2018-01-17 2019-07-25 日立オートモティブシステムズ株式会社 画像処理システム及び配光制御システム
JPWO2019142586A1 (ja) * 2018-01-17 2020-12-17 日立オートモティブシステムズ株式会社 画像処理システム及び配光制御システム
WO2019171565A1 (ja) * 2018-03-09 2019-09-12 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体
JPWO2019171565A1 (ja) * 2018-03-09 2021-03-18 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体
US11348344B2 (en) 2018-03-09 2022-05-31 Pioneer Corporation Line detection device, line detection method, program, and storage medium
JP2022126747A (ja) * 2018-03-09 2022-08-30 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2024091918A (ja) * 2018-03-09 2024-07-05 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2020027468A (ja) * 2018-08-13 2020-02-20 Kyb株式会社 画像処理装置、画像処理方法及び画像処理システム

Also Published As

Publication number Publication date
CA2614247C (en) 2013-07-23
EP1909230B1 (en) 2011-09-07
WO2007004439A1 (ja) 2007-01-11
EP1909230A4 (en) 2008-09-03
US20090123065A1 (en) 2009-05-14
CA2614247A1 (en) 2007-01-11
EP1909230A1 (en) 2008-04-09
JP4365352B2 (ja) 2009-11-18
US7965870B2 (en) 2011-06-21

Similar Documents

Publication Publication Date Title
JP4365352B2 (ja) 車両及びレーンマーク認識装置
US8036427B2 (en) Vehicle and road sign recognition device
JP4437714B2 (ja) 車線認識画像処理装置
JP6230482B2 (ja) レーンマーク認識装置、車両及びレーンマーク認識方法
JP6536064B2 (ja) 走行軌跡選定装置、走行軌跡選定方法
US9483699B2 (en) Apparatus and method for detecting traffic lane in real time
JP6141787B2 (ja) レーンマーク認識装置
CN104670085B (zh) 车道脱离警报系统
US8050456B2 (en) Vehicle and road sign recognition device
JP2013140555A (ja) 車用色検出器
KR20140022197A (ko) 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템
JP5166933B2 (ja) 車両認識装置、及び車両
JP4706693B2 (ja) 車色判定装置、車色判定システム及び車色判定方法
JP2006209209A (ja) レーンマーク抽出装置
JP4941843B2 (ja) 路面標示画像処理装置、路面標示画像処理方法並びに路面標示画像処理プログラム
JP5056931B2 (ja) 車色判定装置、車色判定システム及び車色判定方法
KR20120131395A (ko) 차선 인식 장치 및 방법
JP2018072884A (ja) 情報処理装置、情報処理方法およびプログラム
JP5289509B2 (ja) レーンマーク認識装置
JP2006003993A (ja) ナンバープレート認識装置
JP2017151930A (ja) 白線認識装置
WO2013035951A1 (ko) 실시간 차선 검출 장치 및 방법
KR101676376B1 (ko) 차선 인식 장치 및 차선 인식 방법
JP2006172253A (ja) 距離画像生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090820

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140828

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees