WO1996034363A1

WO1996034363A1 - Image processor for vehicle

Info

Publication number: WO1996034363A1
Application number: PCT/JP1996/001133
Authority: WO
Inventors: Kazuto Nakamura; Kazuaki Takano; Tatsuhiko Monji; Eiryo Ondo; Yasunari Tanaka; Kazuhiko Hanawa
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-04-26
Filing date: 1996-04-25
Publication date: 1996-10-31
Anticipated expiration: 1997-10-26
Also published as: US5987174A; DE19680415T1; DE19680415C2

Description

明細書車両用の画像処理装置技術分野

本発明は、撮像によって得た画像情報に基づいて、特定の、直線又は曲線を示す画像を選択する画像処理装置に係り、特に、車載カメラにより撮影された画像情報に基づいて、自車両の走行レーンに対する車線を正確に認識する装置に関する。背景技術

車載カメラにより撮影された画像情報に基づいて、走行路領域を認識する装置としては、例えば、特開平 4 - 1 3 4 5 0 3号公報（文献 (1)) に開示されたものがある。

この装置では、画像入力手段によって入力した画像情報から、走行路端を抽出し、該走行路端を抽出した画像について、画像下方より特定基準点から左右方向に走査する走査手段と、前回の走査の走査領域の中心を、次の走査の左右方向に関する特定基準点として設定する手段とを備えて、走査手段にて走査した領域に基づいて、走行路領域を抽出するものであった。

すなわち、画像情報を構成する画素であって、画面の下部に位置する画素に対する色を特定色（路面色）とし、該特定色に相当する色情報を有する画素の集合から構成される領域を調べ、該特定色で囲まれた領域を、車両の前方の道路領域として判断していた。

しかしながら、上記のような文献 (1 )の従来技術によれば、特定色で囲まれた領域を、前方道路領域としているが、これだけでは、走行路端（車線に相当する）に囲まれた道路領域を、正確に抽出できない事態が発生する等の問題が存在していた。

例えば、前方道路領域内に、わだち等が存在することにより道路領域の形状が複雑になってくると、道路領域内に車線以外の走行路端が存在すると判断してしまい、走行路端の正確な認識が行なえず、ひいては、正確な道路領域の認識を行うことができなし、事態が頻繁に発生していた。

一方、自動車など、道路を走行する車両では、所定の走行路に沿って車両が走行して行くように、常に適切な操舵をしなければならない。

従って、操縦者は、常に走行路面を監視し、路面の状態や他の車両の存在や障害物の存在に注意を払っている必要があり、このため、操縦者には心理的にも、肉体的にも多大の負担が掛る。

そして、この結果、集中力が失われたり、注意力が散漫になって、みだりに走行車線を越えた運転状態になると、重大な事故に繋がり兼ねない。

特に、一般の道路のように、対向車線がある場合に、車両が中心車線を越えて対向車線に入ってしまうと、極めて深刻な事態になり兼ねない。

そこで、特開昭 6 2 - 2 2 1 8 0 0号公報（文献 (2)) によれば、カラ一撮像装置により車両前方の路面を撮影し、そのカラー画像信号から、車線と路面の色の違いにより車線の存在を判断し、必要な警報を発することにより、運転者に報知するようにした装置について開示している。

上記文献 (2)に記載の従来技術は、車線を表現する色、すなわち黄色又は白色により車線の存在を判断している。

ここで路面の色は灰色であり、従って確かに路面と黄色の車線との分離は可能である。しかしながら、白色の車線と灰色の路面では色による分離は出来ず、輝度による分離を行わなければならない。

そこで、道路周辺の状況、即ち環境が変わった場合、例えば、トンネルの中 (黄色の照明により全体的に黄色に見える）や夜間の照明により輝度が変化する場合、この状況の変化に適応して車線を認識するのが困難である。

一方、車載カメラにより撮影された画像データに基づいて、走行車線を認識する装置としては、一般には、カメラ 1台で前方の状況を撮影する方法がある。しかし、このような装置では、広い範囲を認識するために、広角のレンズを備えた構成にすると、遠方の車線の認識が困難となり、一方、遠方の車線を認識するために、光学系のズーム機構を利用すると、認識可能な視野が狭くなる、という問題が存在する。これを改良する装置として、例えば特開平 0 6 — 2 2 9 7 6 0号公報（文献 (3)) に開示されたものが挙げられる。

この装置は、低倍率光学系を備える固体撮像部と、高倍率光学系を備える固体撮像部を有し、低倍率光学系を備える固体撮像部によって得られる画像データと、高倍率光学系を備える固体撮像部により得られる画像データとを比較処理するによって、車両前方の比較的遠方の走行路の形状が曲走路であることや、曲走路へ移行する状態にあることを認識する装置である。

し力、しな力ら、上述したような文献 (3)の従来技術によれば、比較的遠方の車線の形状を認識する際に、高倍率光学系を備えた固体撮像部を設けた構成としている。このため、低倍率光学系および高倍率光学系の双方の光学系と、各光学系に対する固体撮像部が必要となり、装置構成が大きくなり、必ずしも車載に適した装置であるとはいえず、また、コストの増大は、免れないという問題点がある。また、車載環境を考慮したとき、高温下や振動振幅の大きな環境下では、極力光学系を少なくした、装置構成にすることが切望されていた。

そこで、本発明の第 1の目的は、上記文献 ( 1 )の従来技術の問題点に鑑み、車載カメラにより撮影された画像情報に基づ、て、自車両の走行レ一ンに対する車線を認識するにあたり、前方道路領域内にノイズ等の車線以外のエツジが存在しても、正確に車線を認識する装置を提供することである。

本発明の第 2の目的は、上記文献 (2)の従来装置の問題点に鑑み、自車直前の路面の輝度と色の変化を判断し、輝度と色による路面と車線との分離を可能にし、確実に車線の認識が得られるようにした画像処理による走行路面の監視装置を提供することである。

本発明の第 3の目的は、上記文献 (3)の従来装置の問題点に鑑み、車載カメラにより撮影された画像情報に基づいて、自車両の走行レーンに対する車線を認識するにあたり、複数の光学系を備えた構成とならないような装置構成とし、さらに、広、視野を確保しながら比較的遠方の走行レーンに対しても、正確に車線を認識可能な装置を提供することを目的とする。発明の開示本発明の一面によれば、上記第 1の目的を達成するために、画像を撮像し、画像情報を得るための撮像ュニッ卜と；撮像して得た画像情報を 1 ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、該特定の色を有する画素をエツジ画素として抽出するエツジ画素抽出ュニッ卜と；抽出したエツジ画素を、直線を構成するように結んで構成される線画像を求める線画像抽出ュニッ卜と；抽出した複数の線画像のうちから、 2つの線画像を、予め定めた規則によって選択する線画像選択ュニッ卜と、を備える画像処理装置が提供される。

好ましくは、該画像処理装置は、車両に搭載され、車両前方の画像を撮像し、画像情報を得るための撮像ュニッ卜と；撮像して得た画像情報を 1 ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、該特定の色を有する画素をエツジ画素として抽出するエツジ画素抽出ュニットと；抽出したエツジ画素の位置座標を参照し、直線を構成するようにエツジ画素を分類することを想定したとき、各分類に対応するエッジ画素を結んで構成される直線を、候補車線として求める候補車線抽出ュニッ卜と；候補車線のうちから、車両前方の左車線および右車線を選択するための車線選択ユニットと、を備える。

なお、この装置において、好ましくは前記車線選択ュニッ卜は、一方の車線を選択する際に、前方画像情報の中心垂直線を想定したとき、該中心垂直線の左、右いずれかにおいて、最も多くのエッジ画素を有して構成される候補車線を、車線として選択する。

更に、好ましくは、車両に搭載された撮像ュニッ卜によって、車両前方の画像を撮像し、画像情報を得る。

好ましくは、ェッジ画素抽出ュニッ卜は、撮像して得た画像情報を 1ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、該特定の色を有する画素をエッジ画素として抽出する。さらに、候補車線抽出ュニットは、抽出したェッジ画素の位置座標を参照し、直線を構成するようにェッジ画素を分類することを想定したとき、各分類に対応するエッジ画素を結んで構成される直線を、候補車線として求める。

好ましくは、車線選択ュニッ卜は、複数の候補車線のうちから、車両前方の左車線および右車線を選択して、左車線、右車線を求める。好ましくは、車線選択ュニッ卜は、車線を選択する際に、前方画像情報の中心垂直線を想定したとき、該中心垂直線の左、右いずれかにおいて、最も多くのェッジ画素を有して構成される候補車線を、車線として選択すること等が考えられな。

このように、本発明によれば、複数の候補車線の中から、車線の配置関係等の情報に基づき、正確に左右車線を検出でき、その結果、走行可能な路面領域を、正確に認識することが可能となる。

本発明の別の一面によれば、上記第 2の目的を達成するために、走行路面の力ラー画像データに基づいて、走行路面に施されている車線を識別する画像処理装置において、車両の走行方向の前方を撮影するカラー撮像ュニッ卜と；該カラ一撮像手段で撮像した画像データを 1ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、該特定の色を有する画素をエッジ画素として求め、該求めたエツジ画素から所定の抽出色条件を満たす画素を抽出するエツジ画素抽出ュニットと；上記画像データによる画面内から、決定されている画素の色データをサンプリングする色サンプリングュニッ卜と；サンプリングされた色データに基づいて上記抽出色条件を決定する抽出条件決定手段と；抽出したエツジ画素を直線を構成するように結んで構成される線画像を車線として求める線画像抽出ュニッ卜と、を備える画像処理装置が提供される。

好ましくは、上記サンプリングされた色データに基づいて走行路面の照明条件を判断するユニットを設け、この判断結果により上記カラー撮像ユニットが有する光学系の絞りの大きさと、画像データ処理系での色変換ゲインが制御される。好ましくは、画素抽出ュニットは、画像データによる画面内から、決定されている抽出色条件を満たす画素を抽出し、色サンプリングュニットは、該画素抽出ュニットにより抽出された画素から色データをサンプリングし、さらに抽出条件決定ユニットは、サンプリングされた色データに基づいて上記抽出条件を決定するように信力く。

この様に、上記抽出された画素に基づいて車線の認識が行なわれるので、道路周辺の状況の変化に適応して、輝度と色による路面と車線との分離を図ることができ、的確に車線の認識を得ることができる。本発明の更に別の一面によれば、上記第 3の目的を達成するために、画像を撮像し、画像情報を得るための撮像ュニッ卜と、撮像した画像情報の大きさを拡大する画像拡大処理ュニッ卜と、拡大した画像情報を水平 1 ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、その境界となる画素をエッジ画素として抽出し、抽出したエッジ画素の位置座標を求めるエッジ画素座標検出ュニッ卜と、抽出したエッジ画素の位置座標を、拡大処理前の座標に変換するエッジ画素座標変換ュニッ卜と、エッジ画素の変換座標を参照し、エッジ画素を、直線を構成するように結んで構成される線画像を求める線画像抽出ュニッ卜と、各水平ライン毎に定めた、画像情報の拡大量である拡大率、および、画像情報の拡大処理を行なう基準位置を示す拡大中心座標を記憶する拡大条件記憶ュニッ卜とを備える画像処理装置が提供される。

好ましくは、前記画像拡大処理ュニッ卜は、前記拡大条件記憶ュニッ卜の記憶内容を参照し、各水平ライン毎に、前記拡大中心座標を中心として、前記拡大率で示される倍率で、画像情報の大きさを拡大していく処理を行なう。

好ましくは、上記画像処理装置は、車両に搭載され、車両前方の画像を撮像し、画像情報を得るための撮像ュニッ卜と；撮像した画像情報の大きさを拡大する画像拡大処理ュニッ卜と；拡大した画像情報を水平 1 ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、その境界となる画素をエッジ画素として抽出し、抽出したエッジ画素の位置座標を求めるエッジ画素座標検出ュニッ卜と：抽出したエッジ画素の位置座標を、拡大処理前の座標に変換するエッジ画素座標変換ュニッ卜と；エッジ画素の変換座標を参照し、エッジ画素を、直線を構成するように結んで構成される左右車線を求める車線抽出ュニッ卜と；各水平ライン毎に定めた、画像情報の拡大量である拡大率、および、画像情報の拡大処理を行なう基準位置を示す拡大中心座標を記憶する拡大条件記憶ュニッ卜とを備える。

好ましくは、前記画像拡大処理ュニットは、前記拡大条件記憶ュニッ卜の記憶内容を参照し、各水平ライン毎に、前記拡大中心座標を中心として、前記拡大率で示される倍率で、画像情報の大きさを拡大していく処理を行なう。

好ましくは、前記画像拡大処理ュニッ卜は、撮影した画像情報の大きさを、水平方向にのみに拡大する処理を行なう。

好ましくは、車両に搭載された撮像ュニッ卜によって、車両前方の画像を撮像し、画像情報を得る。

好ましくは、拡大条件記憶ュニッ卜には、各水平ライン毎に定めた、画像情報の拡大量である拡大率、および、画像情報の拡大処理を行なう基準位置を示す拡大中心座標が記憶される。

好ましくは、画像拡大処理ュニッ卜によって、撮像した画像情報の大きさを拡大する。

具体的には、画像拡大処理ュニットは、拡大条件記憶手段の記憶内容を参照し、各水平ライン毎に、前記拡大中心座標を中心として、前記拡大率で示される倍率で、画像情報の大きさを拡大していく処理を行なう。この際、画像拡大処理ュニットは、撮影した画像情報の大きさを、 7k平方向にのみに拡大する処理を行なう。さらに、エッジ画素座標検出ュニットは、拡大した画像情報を水平 1ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、その境界となる画素をエッジ画素として抽出し、抽出したエッジ画素の位置座標を求め、また、エツジ画素座標変換ュニットは、抽出したエッジ画素の位置座標を、拡大処理前の座標に変換する。

また、車線抽出ュニットは、エッジ画素の変換座標を参照し、エッジ画素を、直線を構成するように結んで構成される左右車線を求める。

以上のように、本発明では、撮影ュニッ卜によって撮影された画像情報を拡大する（以下、適宜、単に、「画像ズーム」と称する）ことにより、拡大処理された画像データに基づいて、走行車線を正確に認識することができる。

即ち、画像ズームを採用することにより、車線の幅を拡大した状態で、路面と車線の境界を示す画素（エッジ画素）を抽出することができるため、より遠方の車線を正確に認識することが可能となる。図面の簡単な説明

図 1は、本発明の画像処理装置の第 1実施例の全体構成を示すプロック図である。図 2は、図〗の実施例の全体の処理を説明するフローチヤ一トである。

図 3 A、図 3 Bは、図 1の実施例においてエッジ検出動作を説明するための図である。

図 4は、図 1の実施例において、車線算出処理、車線推定処理の動作を説明するフローチャートである。

図 5 A、図 5 Bは、車線の推定処理を説明するためのエッジデータの抽出例を示す図である。

図 5 Cは、図 5 Bでの車線認識処理を説明するフローチヤ一卜である。

図 5 Dは、図 5 Bでの車線認識処理を説明するための図である。

図 6は、車線の推定処理の別の例を説明するためのェッジデータの抽出例を示す図である。

図 7は、図 6における車線推定処理を説明するフローチヤ一トである。

図 8 A、図 8 Bは、理想レーン幅を説明する図である。

図 9は、車線の推定処理の更に別の例を説明するためのエツジデータの抽出例を示す図である。

図 1 0は、図 9における車線の推定処理を説明するフローチャートである。図 1 1は、図 1の実施例における車線推定処理の変形例を説明するフローチヤ ―トである。

図 1 2図は、図 1 1の変形例における車線の推定処理を説明するためのエツジデータの抽出例を示す図である。

図 1 3は、本発明の画像処理装置の第 2実施例の全体構成を示すプロック図である。

図 1 4は、図 1 3の実施例の全体の処理を説明するフローチャートである。図 1 5は、図 1 3の実施例における条件設定処理を説明するフローチャートである。

図 1 6は、図 1 3の実施例における初期設定時のサンプリング画素の位置を示す図である。

図 1 7八〜図 1 7 Gは、図 1 3の実施例における初期設定での抽出色条件の設定、更新を説明するための図である。図 1 8は、図 1 3の実施例における抽出色条件設定の際のサンプリング画素の位置を説明する図である。

図 1 9は、図 1 3の実施例における分布率の算出に用いられる画面領域を説明する図である。

図 2 0は、図 1 3の実施例における抽出色条件の更新の方法を説明する図であ。

図 2 1は、図 1 3の実施例における抽出色条件の更新処理を説明するフローチヤー卜でめる。

図 2 2 A、 2 2 Bは、図 1 3の実施例における抽出色条件の設定色領域の縮小処理を説明する図である。

図 2 3 A、 2 3 Bは、図 1 3の実施例における抽出色条件の設定輝度領域の縮小処理を説明する図である。

図 2 4 A、 2 4 Bは、図 1 3の実施例における抽出色条件の設定色領域の拡大処理を説明する図である。

図 2 5 A、 2 5 Bは、図 1 3の実施例における抽出色条件の設定輝度領域の拡大処理を説明する図である。

図 2 6は、図 1 3の実施例における色強調ゲインの設定特性を示す図である。図 2 7は、本発明の画像処理装置の第 3実施例の全体構成を示すプロック図である。

図 2 8は、図 2 7の実施例の全体の処理を説明するフローチャートである。図 2 9 A〜2 9 Eは、図 2 7の実施例においての車線認識処理を説明する図である。

図 3 0は、図 2 7の実施例におけるエツジ抽出処理を示すフローチヤ一トである。

図 3 1 A、 3 1 Bは、エッジ座標変換処理の原理を説明する図である。

図 3 2は、電子ズーム処理を説明するフローチャートである。

図 3 3 A、 3 3 Bは、ある画像におけるズーム中心座標を求める方法を説明する図である。

図 3 4は、ある画像におけるズーム中心座標を求める方法を説明する図である。図 3 5は、ある画像におけるズーム中心座標を求める方法を説明する図である _c 図 3 6 A、 3 6 Bは、拡大処理の原理を説明する図である。

図 3 7 A〜3 7 Cは、拡大処理前後の画像及び拡大率を説明する図である。図 3 8 A〜3 8 Dは、エツジ判別処理を説明する図である。

図 3 9 A〜3 9 Dは、エッジ判別処理を説明する図である。

図 4 0 A〜4 0 Cは、拡大率が不連続に変化する場合の拡大処理前後の画像及び拡大率を説明する図である。

図 4 1 A〜4 1 Cは、拡大率が不連続に変化する場合のズーム中心座標を説明する図である。

図 4 2 A〜4 2 Dは、置換回路により処理結果を説明する図である。

発明を実施するための最良の形態

以下、本発明にかかる画像処理装置の実施例について、図面を参照しつつ説明する。

図 1に、本発明にかかる画像処理装置の第 1実施例の構成図を示す。

本装置は、撮像部 2と処理部 4とメモリ 6とを有して構成され、さらに、処理部 4は、画像処理部 4 0 2と判断部 4 0 4とを備えている。そして、車両状態センサ 8、車両運動制御装置 1 0および警報装置 1 2と、判断部 4 0 4との間で信号がやりとりされている。尚、本実施例においても図 1 1 Fを示す実施例と同様に撮影部（撮像部）の出力側に表示部を接続するようにしても良い。

以下、各構成要素について説明する。

まず、撮像部 2の構成要素について説明する。

C C Dカメラ 2 0 2は、前方の画像を撮像し、画像情報を得るための撮像手段であり、前方の被写体の画像情報を得て、カラ一アナログ信号に変換する機能を有する。車載装置においては、 C C Dカメラ 2 0 2を、例えば、車両前側のグリル付近で汚れ等の少ない、良好な環境を有する箇所に設置すれば良い。

次に、 Aノ D変換器 2 0 4は、 C C Dカメラ 2 0 2から出力されたアナログ画像信号を、デジタル信号に変換する処理を行なう。

次に、色差変換回路 2 0 6は、 A Z D変換器 2 0 4から出力されたデジタル信号、即ち、被写体の三原色（R (赤）、 G (緑）、 B (青））デジタル信号に、色強調ゲイン（ァ R、 r G, ァ B) を乗じ、その後、輝度信号 Y、色差信号「R— Υ、 Β— Υ」の画像撮像信号に変換する機能を有する回路である。

なお、色強調ゲインを乗ずる処理は必ずしも必要としないが、行なっておくのが好ましい。

画像撮像信号（Y、 R— Υ、 Β-Υ) は、 RGB信号を用いて、以下のように定義される。まず、 R' 、 G' 、 B' を、 RGB信号と色強調ゲイン（ァ R、 7 G, 7 B) によって、次式に示すように定義する。

R' =R - 7 R

G' =G · ァ G

B' =B · r B

このように定義された、 R' 、 G' 、 B' を用いると、輝度信号および色差信号は、以下のように定義される。

Y= 0. 3 R' + 0. 6 G' + 0. I B'

R - Y= 0. 7 R' - 0. 6 G' - 0. I B'

B - Y =— 0. 3 R' - 0. 6 G' + 0. 9 B'

このように、色差変換回路 2 0 6は、被写体の三原色（R (赤）、 G (緑）、 B (青））デジタル信号に、色強調ゲイン（ァ R、 r G. 7 B) を乗じ、その後、輝度信号 Y、色差信号「R— Υ、 Β— Υ」の画像撮像信号に変換し、変換した信号を画像処理部 4 0 2に送る。

次に、処理部 4について説明する力その詳しい動作内容は後に説明するため、ここでは、各構成要素の機能を概説しておくことにする。

図 1に示すように、処理部 4は、画像処理部 4 0 2と判断部 4 0 4とを備えている。

まず、画像処理部 4 0 2の構成要素について説明する。

抽出処理回路 4 0 2 0 2は、大きく 2つの機能を有する回路である。

1つは、色差変換回路 2 0 6から送られてきた撮像画像信号について、 1水平ライン毎に、抽出色条件決定部 4 0 2 0 4から転送された抽出色条件データ（後に説明する）に該当する画素を抽出し、 1つの水平ライン上で、その抽出画素に対する位置座標データ（エッジ座標データ）を、エッジ判断部 4 0 2 0 6に転送する機能である。尚、撮像画像信号は図示しないバッファを介して抽出処理回路 4 0 2 0 2に与えるようにしても良い。

なお、 1つの水平ラインを調べていったとき、抽出色条件デ一夕を満足しない画素から、抽出色条件データを満足する画素への変化点を想定した場合、該抽出色条件データを満足する画素を、立ち上がりエッジと称し、その座標データは、立ち上がりエッジの、エッジ座標データという。同様に、 1つの水平ラインを調ベていったとき、抽出色条件データを満足する画素から、抽出色条件データを満足しない画素への変化点を想定した場合、該抽出色条件データを満足する画素を、立ち下がりエッジと称し、その座標データは、立ち下がりエッジの、エッジ座標データという。なお、エッジ座標データは、座標情報の他に、当該エッジ座標は、立ち上りなのか、または、立ち下がりなのかを示す情報も含んでいるものとする。本回路の、他の 1つの機能は、撮像された画像情報の中から、特定画素（1フレームの特定の位置の画素）の色データ（Y、 R— Υ、 Β - Υ ) をサンプリングし、そのデータを抽出色条件決定部 4 0 2 0 4に転送する機能である。

次に、抽出色条件決定部 4 0 2 0 4は、メモリ 6が備える制御データ部 6 0 4 に予め記憶してある、道路色に相当するデータ（Y、 R— Υ、 Β - Υ ) と、抽出処理回路 4 0 2 0 2でサンプリングした色データ（Y、 R— Υ、 Β— Υ ) に基づいて、抽出色条件データを決定し、抽出処理回路 4 0 2 0 2に転送する。

抽出色条件データとは、画素の有する色データであり、前述したように抽出処理回路 4 0 2 0 2は、このデータに従って、抽出色条件データを満足する画素を抽出し、エッジ座標データを求める。なお、抽出色条件データの決定法としては、装置起動の直後は、予め記憶してある、道路色に相当するデータを採用し、所定時間の経過後に、抽出処理回路 4 0 2 0 2でサンプリングした色データを採用する等の方法が考えられるが、さらに具体的な決定方法例については、後に述べる。次に、エッジ判断部 4 0 2 0 6は、抽出処理回路 4 0 2 0 2より送られた各ェッジ座標データ（立ち上がりエツジおよび立ち下がりエツジのエツジ座標データ）力く、自車両の走行レーンの左車線を構成すると考えられるエッジ座標データ、自車両の走行レーンの右車線を構成すると考えられるエツジ座標データ、および、それ以外のエツジ座檩データのいずれに該当するかを、予め定めたアルゴリズムによって判断しする回路である。このアルゴリズムについては、後に述べる。なお、それ以外のエッジ座標データとは、例えば、前方車の画像情報に対して抽出したエツジ座標データ等が挙げられる。

そして、左、右車線を構成すると考えられるエッジ座標データを、車線算出部 4 0 2 0 8に、それ以外のエツジ座標データを、危険度判断部 4 0 4 0 4に送信する。

次に、車線算出部 4 0 2 0 8は、エッジ判断部 4 0 2 0 6より送られてきた左、右車線を構成すると考えられるエツジ座標デー夕に基づ、て、直線性の判断を行い、各車線のエッジ座標データによって構成される直線を、候補車線として算出する。候補車線は、 1車線に対して、 1個のこともあれば、これより多いこともある、なお、直線性の判断については、後に述べる。

理想レーン幅データ取込部 4 0 2 1 0は、メモリ 6の理想レーン幅データ部 6 0 2に予め定められている理想レーン幅データ等を取り込む機能を有する。ここで、理想レーン幅データとは、左右車線から構成される走行レーンの幅を示すデータである。

車線推定部 4 0 2 1 2は、理想レーン幅データ取込部 4 0 2 1 0が取り込んだ、理想レーン幅データ等に基づいて、車線算出部 4 0 2 0 8から送信された候補車線の中から、認識すべき左右車線（認識車線）を決定し、左、右車線に対応するエッジ座標データ等を危険判断部 4 0 4 0 4に送信する。

次に、判断部 4 0 4の構成要素について説明する。

なお、判断部 4 0 4は、本実施例を運転者の注意喚起装置に応用した一例であり、本判断部自体は、本実施例の主要部をなすものではない。

車両状態判断部 4 0 4 0 2は、車両状態センサ 8から送られる信号により、自車両の走行状態を判断し、その判断結果を危険判断部 4 0 4 0 4に転送する。ここで、車両状態センサ 8は、自車両の運動量、運転者の操作意志等を検出する手段であり、例えば、自車両の速度を計測する車速度センサ等や、その他方向指示器、ステア角センサ等が挙げられる。

危険判断部 4 0 4 0 4では、車線推定部 4 0 2 1 2より送られてきた、左右の認識車線のデータによって、自車の走行レーンを認識し、エッジ判断部 4 0 2 0 6より送信された、エッジ座標データで、前方車、障害物等の存在を認識し、車両状態判断部 4 0 4 0 2より送信されたデータで、自車の走行危険度を認識する _c 例えば、車速度センサが検出した、自車両の速度が所定値以上で、かつ、前方の画像情報中の特定位置に、前方車等の存在を認識できた場合、これを危険状態と判断し、車両運動制御装置 1 0や警報装置 1 2を駆動する。車両運動制御装置 1 0は、駆動系、制動系、操舵系等の制御を行なう装置である。具体例としては、自動ブレーキ等が考えられる。

また、警報装置 1 2としては、運転者の聴覚や視覚に訴えて、運転者に注意を喚起する手段であれば、どのような手段でも良く、例えば、チャイムの駆動動作や L EDの表示等が考えられる。

以上のような判断部 4 0の構成例については、様々な態様が考えられる。

また、メモリ 6は、車線を決定する際に用いる理想レーン幅データを格納する理想レーン幅データ部 6 0 2と、本装置を制御するための各種データ、道路色に相当するデータ（Y、 R— Υ、 Β-Υ) 等を格納する制御データ部 6 0 4と、各回路で算出、推定したデータを一時的に格納する算出データ部 6 0 6とを備えている。

次に、本実施例にかかる装置の動作について図 2を参照して説明する。

まず、本装置を起動すべく、装置電源をオン状態にする（S 2) 。

次に、初期設定を行う（S 4) 。ここで、初期設定とは、例えば、算出データ部 6 0 6のワークエリアのクリア等の処理である。

次に、 CCDカメラ 2 0 2で撮像した、車両前方の画像情報に対する信号をァナログ RGB信号として出力する（S 6) 。

次に、 A/D変換器 2 0 4によって、アナログ RGB信号をデジタル RGB信号に変換する（S 8) 。

次に、色差変換回路 2 0 6は、前述した変換式に基づいて、 RGB信号を輝度信号 Y、色差信号 R - Υ、 Β - Υに変換して（S 1 0) 、抽出処理回路 4 0 2 0 2に転送する。

なお、輝度信号、色差信号を採用するのは、単なる RGB信号と比べ、道路と車線との差が大きな信号となるからである。

次に、抽出色条件データを決定する処理を行う（S 1 2 ) 。抽出色条件とは、ここでは道路面の画素を抽出するための色データの条件である。

この処理は、まず、抽出処理回路 4 0 2 0 2において、撮像した画像情報中より特定画素（画面上の道路位置の画素）の色データ（Y、 R— Υ、 Β - Υ) をサンプリングする。

次に、抽出色条件決定部 4 0 2 0 4は、このサンプリングデータと、メモリ 6 の制御データ部 6 0 4に予め記憶してある道路の色に相当するデータ（Y、 R— Υ、 Β - Υ) を用いて、抽出色条件データを決定する。ここで決めた抽出色条件データは、例えば、以下のように定める。なお、以下の「最小」は、サンプリングデータと予め記憶してある道路の色に相当するデータのうちで、より小さなもの、また、「最大」は、サンプリングデータと予め記憶してある道路の色に相当するデータのうちで、より大きなものを採用して、抽出色条件データを決定するようにすれば良い。

Υ (最小） < Υ く Υ (最大）

R - Y (最小） < R— Y < R— Υ (最大）

B - Y (最小） < B— Y < B - Y (最大）

このように、値の幅を持った条件を設定しておき、前方の道路の色が、この条件を満足するが、車線や前方の車の色は、この条件を満足しないように設定しておく。これにより車線や前方の車を識別できる。

なお、本実施例では、サンプリングしたデータと、予め設定しておいたデータとに基づ L、て抽出色条件デ一夕を決定したが、予め設定したデータのみを用 L、て、 (輝度条件に合わせて予め設定しておく等）抽出色条件データを決定することも可能である。

次に、抽出処理回路 4 0 2 0 2は、撮像された画像情報に対して、抽出色条件決定部 4 0 2 0 4より転送された、抽出色条件データに相当する色情報を有する画素を、 1水平ライン毎に抽出し、前述した、立ち上がりエッジのエッジ座標デ —夕、立ち下がりエッジのエッジ座標データを、エッジ判断部 4 0 2 0 6に転送する処理を行う（S 1 4 ) 。すなわち、道路領域（自車レーン）を挟むエッジ点である、立ち上がりエッジおよび立ち下がりエッジを抽出する。なお、図 3に示すように、抽出された立ち上がりエッジ、立ち下がりエッジ（丸で示す）を、夫々、立ち上がりエッジデータ、立ち下がりエッジデータと称する。

さて、ここでの処理を、図 3を参照して詳細に説明する。図 3に示すように、その抽出法は、撮像信号（Y、 R— Υ、 Β - Υ) の中に、抽出色条件データの範囲に属する色を有する 1 フレーム内の全ての画素を検出し、検出された画素を H i g hレベルの値「 1」、それ以外の画素を L o wレベルの値「 0」とした、 2値化データを与える手法である。

この処理は、 1水平ライン毎に行なう。ここでは図 3に示すように、一例として、 N番目の水平ライン（N列水平ライン）についての処理を説明している。画素デ一夕が L o w 「 0」から H i g h 「 1」に、あるいは H i g h 「 1」力、ら L o w 「0」に変化する画素を 1水平ライン毎に検索する。すなわち、 L o w 「 0」から H i g h 「 1」への立ち上がりエツジ 1 4と、 H i g h 「 1」から L o w 「0」への立ち下がりエッジ 1 6を検出する。この様な画素が存在する場合、当該画素の位置をエッジ座標データとする。エッジ座標データによって、 1 水平ラインにおいて、抽出色条件データに該当する画素の存在が把握でき、エツジ座標データに挟まれた領域が、自車両の走行レーンの道路領域（道路色の領域）となる。画面下部の水平方向中心位置を示す点である画面下部中心点 2 0を通り、垂直方向の線である画面中心線 1 8の両側に、左車線と右車線が存在する。

そして、通常、左車線は、立ち上がりエッジデータから決定され、また、右車線は、立ち下がりエッジデータから決定される力 <、車線以外の物に対するエッジデータが、複数種類存在する場合には、このように簡単には、車線を認識できない。

次に、エッジ判断部 4 0 2 0 6は、抽出処理回路 4 0 2 0 2から送られたエツジ座標データに対して、左車線に担当するものと考えられるエッジデータ力、、右車線に担当するものと考えられるエツジデータか、それ以外のエツジ点デ一夕であるかを判断し、分別する処理を行う（S 1 6 ) 。

この処理（S 1 6 ) では、抽出処理回路 4 0 2 0 2から送られてきたエッジ座標デ一夕に基づいて、エッジデ一夕の種類を判定する。ここで、エッジ座標デ一タは、各エッジの座標情報と、立ち上がりまたは立ち下がりの情報で構成されている。一般に、道路色を抽出色条件データに設定すると、立ち上がりエッジが左車線を示すエッジとなり、立ち下がりエッジが右車線を示すエッジとなる。しかしながら、前方道路領域に、前方車、障害物等が存在する場合、車線以外のエツジデータも、車線エッジデータとして誤って認識してしまう。

そこで、図 3の画面中心線 1 8より左側に存在する立ち上がりエッジを左車線のエッジデータ 1 4、右側に存在する立ち下がりエッジを右車線エッジデータ 1 6と仮定し、それ以外のエッジデータを、前方車等の車線以外のエッジデータとして判別すればよい。ここで、図 3に示す実施例では、画面中心線 1 8を用いて左右車線を判別したが、左右車線が画面下部の水平線と交わる 2つの交点の中心を通る垂直線を、画面中心線 1 8の代わりに用いることも可能である。

そして、左右車線のェッジ座標デー夕 1 4、 1 6を車線算出部 4 0 2 0 8に、それ以外のエッジ座標データを危険度判断部 4 0 4 0 4に送信する。

次に、車線算出部 4 0 2 0 8は、エッジ判断部 4 0 2 0 6より転送された、左右車線のェッジ座標データ 1 4、 1 6をもとに、エッジデータの直線性の判断を行い、各エッジ座標データを用いて車線を算出し、これを候補車線とする

( S 1 8 ) 。なお、本処理は、本実施例においては重要な処理であるので、後に詳細に述べる。

次に、車線推定部 4 0 2 1 2は、理想レーン幅データ取込部 4 0 2 1 0が取り込んだ、理想レーン幅データに基づいて、車線算出部 4 0 2 0 8から送信された候補車線の中から、本来の左右車線（認識車線）を推定し、推定した結果を危険度判断部 4 0 4 0 4に送信する（S 2 0 ) 。なお、この処理も、本実施例においては重要な処理であるため、後に詳細に述べる。

次に、危険判定処理（S 2 2 ) では、車両状態センサ（例えば、車速度センサ） 8からの信号より、自車両の走行状態（車速等）を判断し、その判断結果と、前述の車線推定部 4 0 2 1 2によって認識された走行可能な路面と、エッジ判断部 4 0 2 0 6より送信された前方車エッジデータの関係から、自車両が危険状態にあるか否かを推定する。

例えば、車速度センサが検出した、自車両の速度が所定値以上で、かつ、前方の画像情報中の特定位置に、前方車等の存在を認識できた場合、これを危険状態と判断する。

次に、警報処理（S 2 4 ) では、危険度判断部 4 0 4 0 4で危険状態と判断した場合、警報装置 1 2を駆動して、自車両の運転者に伝える。

次に、回避処理（S 2 6) では、危険度判断部 4 0 4 0 4で危険状態と判断した場合、車両運動制御装置 1 0を駆動する。

なお、危険状態の警告に対しても運転者の操作が不十分であつたと判断した場合に、車両運動制御装置 1 0を駆動するような構成にしても良い。

そして、これらの一連の処理（S 6〜S 2 6) を繰り返すことにより、装置が動作することになる。

次に、車線算出処理（S 1 8) と車線推定処理（S 2 0 ) について、図 4から図 1 0を参照して詳細に説明する。

始めに、図 5 A、 5 Bを参照して、処理内容について説明する。

まず、図 4に示すように、エッジ判定処理（S 1 6 ) で求めた、左車線に対するエッジデータ 1 4 a ( 1 4 0 1 a〜 1 4 1 l a) と、右車線に対するエッジデ一夕 1 6 a ( 1 6 0 1 a〜 1 6 1 1 a) に対して、夫々、直線性を判定する (S 1 8 0 2 )

この処理では、直線性を判定するために各エッジデータに対してべクトルを求める。

すなわち、車線算出部 4 0 2 0 8は、左車線に対するエッジデータにうち、画面情報中下に位置するものの座標を始点とし、その次に、画面上部に位置するものの座標を終点とするべクトルを想定して、べクトルの方向を順次、求めていく。ここで、画面下部に位置するエッジデータの座標を始点とする理由は、画面上部は路面以外の画像が多く、従ってノイズ要因が多いからである。図 5 Aの例では、最初に、始点 1 4 1 1 a、終点 1 4 1 0 aとするべクトルが想定されることになる。このようにして、各べクトルの方向を示す値を、順次、算出データ部 6 0 6に格納する。そして、同方向を示す複数のべクトル、即ち、互いに例えば 1 0度以内の角度差を有する複数のべクトルの始点、終点を構成するエッジデータを一^ ^のグループとしてまとめる。このような自車走行車線認識手法の詳細を図 5 B、 5 C、 5 Dに示す。

初期設定としてクラスタ点 P 0と P 1を結ぶべクトルを L 0、クラスタ点 p 1 と P 2を結ぶべクトルを L 1、同様にして順次べクトル 2〜L 5を作成する。ここで、グループ 1にベクトル L 0を登録し、グループ構成点数を 2とする。次に比較べクトルを L 0として、基準べクトルし 1 とのなす角度を求める。この角度が例えば 1 0度以下であれば同一直線とする。図 5 Bの場合、直線と判断し、ベクトル（L 0 + L 1 ) 、すなわち P 0と P 2を結ぶべクトルはグループ 1 に再登録し、このグループの構成点数を 3とする。

次の比較べクトルは L 0十 L 1 として、基準べクトルし 2と比較して、これも同様に直線と判断する。この結果、グループ 1が更新され、ベクトル L 0 + . - + L 2、すなわち P 0と P 3を結ぶベクトルがグループ 1 として再登録し、この結果、グループの構成点数を 4とする。

次の比較べクトルは L 0 + - - + L 2として、基準べクトル 3と比較すると、これらの角度は 1 0度以上であるため、グループ 2を新規に作成する。この結果、ベクトル L 3すなわち P 3と P 4を結ぶベクトルをグループ 2に登録し、このグループの構成点数を 2とする。さらに、隣り合う基準ベクトル（L 2、 L 3 ) 力く違うグループとして判断したとき、べクトルし 0 + - - + L 2 + L 3すなわち P 0 と P 4を結ぶべクトル M 0をグループ 3に登録し、このグループの構成点数を 2 とする。

ここで、新たに作成したべクトル M 0を基準べクトルとして比較べクトルを決定するのだが、この M 0は、処理の開始点 P 0を含むため基準べクトルとしての処理は行わない。

次の比較べクトルは M 0とし 3の 2つとして、基準べクトル L 4と比較して、両方とも 1 0度以上であるため、グループ 4が新規に作成される。この結果、ベクトル L 4すなわち P 4と P 5を結ぶべクトルが登録される。このグループの構成点数は 2となる。さらに、ここでも隣り合う基準ベクトル（L 3、 L 4 ) が違うグループとして判断したので、べクトル L 3 + L 4すなわち P 3と P 5を結ぶべクトル M 1をグループ 5に登録し、このグループの構成点数を 2とする。

ここで、新たに作成したべクトル M lを基準べクトルとして比較べクトルを決定すると、 L 0 +L 1 +L 2が比較ベクトルとなり、角度を求めると、 1 0度以下であるため、グループ 1が更新され、ベクトル L 0 +-- + L 2 +M 1、すなわち P 0と P 5を結ぶベクトルをグループ 1として再登録し、この結果、グループの構成点数を 5とする。そして、 M lの構成点数を 0 (ゼロ）とする。

次の比較べクトルは L 0 +-- + L 2 +M 1と L 4の 2つとして、基準べクトル L 5と比較すると両方とも角度が 1 0度以下であるので、角度の大きさを比べ、小さい角度である L 5と L 0 + + L 2 +M1が直線と判断される。この結果、グループ 1が更新され、べクトルし 0 + --+L 2 +M 1 +L 5すなわち P 0と P 6を結ぶべクトルに再登録し、このグループの構成点数は 6となる。

上記の処理のように全ベクトルについて行った後、各グループの直線の傾きと y切片を求める。

最後に各グループの直線を構成する点数の多い順に並べ変える。図 5 Cの場合には、グループし 2， 3, 4， 5の順番となり、構成点数が 0 (ゼロ）であるグループ 5を除いた 4本の直線を自車走行車線候補直線として認識する。

例えば、図 5 Aの左車線に対するエッジデータでは、「 1 4 0 1 a、 1 4 0 3 a~ 1 4 0 6 a、 1 4 0 8 a〜 1 4 1 1 a」のグループと、「 1 4 0 2 a、 1 4 0 4 a 1 4 0 7 a」のグループに分かれる。このようなグループ分けの処理は、同様に右車線に対するエツジデータに対しても行なう。右車線に対しては、「 1 6 0 1 a、 1 6 0 5 a」のグループと、「 1 6 0 2 a、 1 6 0 6 a」のグル —プと、「 1 6 0 2 b、 1 6 0 3 b、 1 6 0 4 b、 1 6 0 7 b〜 1 6 1 l b」のグループに分かれる、

次に、車線算出部 4 0 2 0 8は、各グループのエッジ座標データに対して、最小二乗法等を用いて直線を求め、求めた車線を候補車線とする（ 1 8 0 4 ) 。図 5 Aに示す例では、直線 2 2、直線 2 4が左車線の候補車線となり、また、直線 2 6、直線 2 8、直線 3 0が右車線の候補車線となる。

次に、最も多くの数のエッジデータで構成されている候補車線を求め、これを選択する（S 2 0 0 2 ) 。図 5 Aに示す例では、左車線の候補車線の 1つである直線 2 2を選択し、同様に、右車線の候補車線の 1つである直線 2 6を選択する。そして、最も多い数のエッジデータで構成される、左車線の候補車線（直線 2 2 ) のエッジデータ数（ 1 4 0 1 a、 1 4 0 3 a〜 1 4 0 6 a、 1 4 0 8 a〜1 4 1 1 aの 9点）と、それ以外のエツジデータ数（ 1 4 0 2 a、 1 4 0 7 aの 2 点）を求める（S 2 0 0 4 ) 。図 5 Aに示す例では、左候補車線 2 2， 2 4の全体のエッジデータ数 1 1点に対して、最多のエッジで構成される左候補車線（直線 2 2 ) のエッジデータが 9点となり、左候補車線 2 2のエツジデータ数の左候捕車線全体のエッジデータ数に対する比率が「8 2 %」となる。ここで、この比率は予め定めた比率「7 0 %」（このような比率は、予め定めておき制御データ部 6 0 4に格納しておけば良い）より、高いと判断し、この左候補車線（直線 2 2) を、確認すべき左車線（左認識車線）とする（S 2 0 0 6 ) 。

次に、右車線に対しても同様に、右候補車線 2 6， 2 8， 3 0のうち最も多くの数のエッジデータで構成される右候補車線（直線 2 6 ) のエッジデータ数（ 1 6 0 2 a〜 1 6 0 4 a、 1 6 0 7 a〜 1 6 1 l aの 8点）と、それ以外のエツジデータ点数（ 1 6 0 1 a、 1 6 0 5、 1 6 0 6 aの 3点）を求める（S 2 0 0 8 ) 。図 5 Aに示す例では、右候補車線全体のエッジデータ数 1 1点に対して、最多のエッジで構成される右候補車線（直線 2 6) のエッジデータが 8点となり、それらの間の比率が「7 3 %」となる。ここで、この比率は予め定めた比率「7 0 %」（このような比率は、予め定めておき制御データ部 6 0 4に格納しておけば良い）より、高いと判断し、この右候補車線（直線 2 6 ) を認識すべき右車線 (右認識車線）とする（S 2 0 1 0) 。

そして、この様に、左、右認識車線を構成するエッジデータ数の比率が高い場合、両車線に対して正常に認識を行ったと判断し、その認識車線データを、危険判断部 4 0 4 0 4に送信する。その後、危険判定処理が行なわれる（S 2 2 ) 。次に、図 6に示す例における、車線算出処理（S 1 8) および車線推定処理 (S 2 0 ) について、図 4、図 7、 8を参照して説明する。なお、ステップ S 1 6、 S 1 8 0 2、 S 1 8 0 4、 S 2 0 0 2の処理は、図 5 Aの場合と同様に行なつたものとする。

図 6に示す例では、左車線に対しては、図 5 Aと同様に、最も多い数のエッジデータで構成される左候補車線（直線 3 2 ) のエッジデータの数（1 4 0 1 b、 1 4 0 3 b〜 1 4 0 6 b、 1 4 0 8 b〜 1 4 1 l bの 9点）と、それ以外のェッジデータの数（ 1 4 0 2 b、 1 4 0 7 bの 2点）を求め（S 2 0 0 4 ) 、左候補車線全体のエッジデータ数 1 1点に対して、最も多い数のエッジデータで構成される左候補車線（直線 3 2) のエッジデータ 9点となり、それらの間の比率は「8 2%」となる。ここで、この比率は、予め定めた比率（例えば、 7 0 %) より、高いと判断して、この左候補車線（直線 3 2) を、認識すべき左車線（左認識車線）とする（S 2 0 0 6 ) 。

しかしながら、右車線に対しては、最も多くの数のエッジデータで構成される右候捕車線（直線 3 8) のエッジデータの数（ 1 6 0 1 b、 1 6 0 3 b, 1 6 0 5 b、 1 6 0 6 b, 1 4 0 9 b、 1 6 1 1 bの 6点）と、それ以外のエッジデ一タ点数（ i 6 0 2 b、 1 6 0 4 b、 1 6 0 7 b、 1 6 0 8 b、 1 6 1 0 bの 5点）を求め（S 2 0 0 8 ) 、右候補車線全体のエッジデータ数 1 1点に対して、最も多い数のエッジデータで構成される左候捕車線（直線 3 8) のエッジデータの数が 6点であり、それらの間の比率は「5 5%」となり、予め定めた比率（例えば、 7 0 %) より低いと判断する。このような事態は、右車線側に、わだち等が存在していたり、車線が薄くなつていたりする場合に発生する。この場合、右候補車線の直線 3 6、直線 3 8、直線 4 0の全てに対して、認識すべき車線であるか否かを判断する必要がある。

そこで、本実施例では、安定して認識することができた左認識車線をもとに、左右両車線の配置関係を利用して、右候補車線（直線 3 6、直線 3 8、直線 4 0) の中から、右認識車線を決定する処理（S 2 0 1 2) を行う。

ここで、図 4の S 2 0 1 2の処理内容を詳細に示したフローチヤ一トを、図 7 に示す。

なお、これらの処理は、車線推定部 4 0 2 1 2が行なうように構成しておく。この処理では、まず、左認識車線 3 2と、図 6中の画面下部の水平ライン 4 2 との交点 P r (3 2 p) を求める（ S 2 0 1 2 0 2 ) 。右側の候補車線に対しても同様に、各右候補車線（直線 3 6、直線 3 8、直線 4 0) と、画面下部水平ライン 4 2との交点 P 1 ( 1 ) (3 6 p) 、 P I (2) (3 8 p) 、 P I (3) ( 4 0 p) を求める（S 2 0 1 2 0 4 ) 。

そして、左側の交点 P r (3 2 p) と、右側の各交点 P 1 ( 1 ) ( 3 6 p) 、 P 1 (2) (3 8 p) 、 P I (3) (4 0 p) との距離 L ( 1 ) 4 4、 L (2) 4 6、 L (3) 4 8を求める（S 2 0 1 2 0 8 ) 。

さて、ここで、図 8に示すように、カメラの画角、向き、レーン幅等が変化しない場合には、走行レーンの中央を走行している状態（図 8 A) と、走行レーンの右側に寄って走行している状態（図 8 B) とでは、車両の走行位置が変化しても、左、右車線と画面下部水平ラインとの 2つの交点間の距離 Wは、変化しないという特徴がある。

そこで、この距離 Wを理想レーン幅 W5 0として、予め理想レーン幅データ部 6 0 2に設定しておく。もちろん、処理サイクル毎に、認識した車線情報に基づいて、画像処理によって、理想レーン幅 W5 0を求め、更新していくようにしておくことも可能である。

次に、 S 2 0 1 2 0 8で求めた距離 L ( 1 ) 4 4、 L (2) 4 6、 L (3) 4 8の中で、最も理想レーン幅 W 5 0に近い距離を求める（S 2 0 1 2 1 0) 。この例では、 L (3) 4 8が最も近いと判断され、 L (3) に対応する右候補車線 4 0力認識すべき右車線（右認識車線）であると判断し（S 2 0 1 2 1 2) 、左、右認識車線データを危険判断部 4 0 4 0 4に送信され、次に、ステップ S 2 2に進む。

なお、図 6に示す例では、画面最下部の水平ラインを利用したが、画面情報を構成する水平ラインであれば、最下部の水平ラインでなくても良く、また、画面情報のエリアをはみ出す、仮想的な水平ラインを利用することも可能である。その場合には、夫々の水平ラインに対応する、理想レーン幅 Wを求めて設定しておけば良い。

このようにして、両車線の配置関係を利用し、一方の車線しか安定して認識されな、場合でも、他方の車線を認識することが可能となる。

次に、図 9に示す例における、車線算出処理（S 1 8) および車線推定処理 (S 2 0 ) について、図 4と図 1 0を参照して説明する。なお、ステップ S 1 6、 S 1 8 0 2 , S 1 8 0 4、 S 2 0 0 2、 S 2 0 0 4の処理は行なったものとする。図 9に示す例は、左、右車線に対して、最も多い数のエッジデータで構成される候補車線（直線 5 2、直線 5 8) の各々において、エッジデータの数の比率が、予め定めた比率より低いと判断された場合である（S 2 0 0 4、 S 2 0 1 4) 。この場合、左候補車線の直線 5 0、直線 5 2、直線 5 4、右候補車線の直線 5 6、直線 5 8、直線 6 0の全てに対して、両車線の配置関係を用いて、認識すべき車線であるか否かを判断する必要がある。

そこで、左候補車線（直線 5 0、直線 5 2、直線 5 4) 、右候補車線（直線 5 6、直線 5 8、直線 6 0) の中から、車線を認識する処理を行なう（S 2 0 2

0)

S 2 0 2 0の処理内容を、詳細に説明したフローチヤ一トを、図 1 0に示す。なお、これらの処理は、車線推定部 4 0 2 1 2が行なうように構成しておく。この処理では、まず、各左候補車線（直線 5 0、直線 5 2、直線 5 4) と、画面下部の水平ライン 4 2との交点 P r ( 1 ) 5 0 p、 P r (2) 5 2 p、 P r (3) 5 4 pを求める（S 2 0 2 0 0 2 ) 。同様に、右側の各右候補車線（直線 5 6、直線 5 8、直線 6 0) と画面下部水平ライン 4 2との交点 P 1 ( 1 ) 5 6 p、 P I (2) 5 8 p、 P I (3) 6 0 pを求める（S 2 0 2 0 0 4 ) 。

そして、図 9に示すように、交点 P r (1) 5 0 p、 P r (2) 5 2 . P r (3) 5 4 pの夫々に対する、交点 P I (1) 5 6 p、 P I (2) 5 8 p、 P I (3 ) 6 0 pとの距離 L ( 1 ) 6 2〜L (9) 7 8を求める（S 2 0 2 0 0 6 ) 。次に、 S 2 0 2 0 0 6で求めた距離 L ( 1 ) 6 2〜L (9) 7 8の中で、最も理想レーン幅 W 5 0に近い複数、例えば 2つの距離を求める（S 2 0 2 0 0 8 ) 。図 9に示す例では、 L (1 ) 6 2とし (6) 7 2力 <、最も近いと判断される。そこで、 L (1 ) 6 2を構成している左、右候捕車線（直線 5 0と直線 5 6) のエッジデータ数と L (6) 7 2を構成している左、右候補車線（直線 5 2と直線 6 0) のエッジデータの数を比較する（S 2 0 2 0 1 0 ) 。

その結果、直線 5 2と直線 6 0から成る左、右候補車線のエツジデータ数の方力く、直線 5 0と直線 5 6から成る左、右候補車線のエッジデータの数より多いと判断され、認識すべき左、右車線（左右認識車線）は、直線 5 2と直線 6 0であると判断し（S 2 0 2 0 1 2 ) 、その左、右認識車線データを危険度判断部 4 0 4 0 4に送信し、次の処理（S 2 2) を行なう。

〔3— 0 1 1 3〕尚、左右認識車線を以下のように判定しても良い。即ち、先ず、全ての左右候捕車線の組み合わせに対してエッジデータ数の多い順に複数（例えば、 3以上）の組み合わせに絞り込み、これら絞り込まれた複数の左右候補車線の組み合わせに対して画面下部の水平ラインとの交点を求め、複数の左右候補車線の組み合わせに対して交点間の距離を求める。そして、該求めた交点間の距離のうち最も理想レーン幅に近い複数（例えば、 2つ）の距離を求める。そして、これら複数の距離を構成する左右候捕車線の組み合わせのうちエッジデータ数の多い左右候補車線を左右認識車線とする。

このようにして、両車線の配置関係を利用し、左右の車線が安定して認識されない場合でも、左右車線を認識することが可能となる。

なお、以上の説明では、図 4のステップ S 2 0 1 4、 S 2 0 1 6、 S 2 0 1 8 を通る処理について、説明していないが、 S 2 0 1 4、 S 2 0 1 6、 S 2 0 1 8 は、夫々、ステップ S 2 0 0 8、 S 2 0 1 0、 S 2 0 1 2の内容と変わる点がないので、再度説明することは避ける。

以上の車線算出処理（S 1 8) と車線推定処理（S 2 0) を行なうことによつて、車線近辺に、わだちが存在していたり、車線が薄くなつていたりする場合等に発生する、車線の誤認識を避けることができる。

ここで、上記実施例の車線推定処理の変形例について説明する。本変形例においては、

左右車線を認識する際に、最新の候補車線と前画面の認識結果との角度の差を求めて、大きく異なっている場合には誤った車線を候補としていると考えて、別の選択処理を行うというものです。

図 1 1は、本変形例を説明するフローチャートであり、図 1 2は、図 1 1の変形例における車線の推定処理を説明するためのエツジデータの抽出例を示す図である。図 1 1の処理において、ステップ S 1 6〜S 2 0 0 2迄の処理は図 4の場合と同じであるため省略する。ステップ S 2 0 0 2においては、図 5 Aに示す例においては、最も多い数のエッジデータで構成される、左車線の候補車線（直線 2 2 ) のエッジデータ数（ 1 4 0 1 a、 1 4 0 3 a〜 1 4 0 6 a、 1 4 0 8 a〜 1 4 1 1 aの 9点）と、それ以外のェッジデータ数（ 1 4 0 2 a、 1 4 0 7 aの 2点）を求める（S 2 0 0 4 ) 。図 5 Aに示す例では、左候補車線 2 2, 2 4の全体のエッジデータ数 1 1点に対して、最多のエッジで構成される左候補車線

(直線 2 2) のエッジデータが 9点となり、左候補車線 2 2のエッジデータ数の左候補車線全体のエッジデータ数に対する比率が「8 2 %」となる。ここで、この比率は予め定めた比率「 7 0 %」（このような比率は、予め定めておき制御デ一夕部 6 0 4に格納しておけば良い）より、高いと判断し、これを左候補車線

(直線 2 2) とする。

次に、この候補車線と前画面で求めた左車線との角度差を求める（S 2 0 0 5 ) 。図 1 2に示す例では、候補車線と前画面で求めた左車線との角度差が 4度となる。ここで、予め定めた角度、例えば「2 0度」（このような角度は、予め定めておき制御データ部 6 0 4に格納しておけば良い）より小さいと判断し、この左候補車線（直線 2 2) を、認識すべき左車線（左認識車線）とする（S 2 0 0 6) o

次に、右車線に対しても同様に、右候補車線 2 6， 2 8, 3 0のうち最も多くの数のエッジデータで構成される右候補車線（直線 2 6) のエッジデータ数（1 6 0 2 a〜 1 6 0 4 a、 1 6 0 7 a〜 1 6 1 1 aの 8点）と、それ以外のェッジデータ点数（ 1 6 0 1 a、 1 6 0 5、 1 6 0 6 aの 3点）を求める（S 2 0 0

8 ) 。図 5 Aに示す例では、右候補車線全体のエッジデータ数 1 しに対して、最多のエッジで構成される右候補車線（直線 2 6) のエッジデータが 8点となり、それらの間の比率が「7 3 %」となる。ここで、この比率は予め定めた比率「7 0 %」（このような比率は、予め定めておき制御データ部 6 0 4に格納しておけば良い）より、高いと判断しこれを右候補車線（直線 2 6) とする。

次に、この候補車線と前画面で求めた右車線との角度差を求める（S 2 0 0

9 ) 。図 1 1に示す例では、候補車線と前画面で求めた右車線との角度差が 4度となる。ここで、予め定めた角度、例えば「2 0度」（このような角度は、予め定めておき制御データ部 6 0 4に格納しておけば良い）より小さいと判断し、この右候補車線（直線 2 6) を、認識すべき右車線（右認識車線）とする（S 2 0

1 0) o

そして、この様に、左、右認識車線を構成するエッジデータの比率が高く、力、つ前画面の認識車線との角度差が小さい場合、両車線に対して正常に認識を行つたと判断し、その認識車線データを、危険判断部 4 0 4 0 4に送信する。この後、危険判定処理が行なわれる（S 2 2) 。

次に、図 6に示す例における、車線算出処理（S 1 8) および車線推定処理 (S 2 0) について、図 4、図 7、 8を参照して説明する。なお、ステップ S 1 6、 S 1 8 0 2、 S 1 8 04、 S 2 0 0 2の処理は、図 5 Aの場合と同様に行なつたものとする。

図 6に示す例では、左車線に対しては、図 5 Aと同様に、最も多い数のエッジデータで構成される左候捕車線（直線 3 2) のエッジデータの数（ 1 4 0 1 b、 1 4 0 3 b〜 1 4 0 6 b、 1 4 0 8 b〜 1 4 1 l bの 9点）と、それ以外のエツジデータの数（1 4 0 2 b、 1 4 0 7 bの 2点）を求め（S 2 0 0 4 ) 、左候補車線全体のエッジデータ数 1 1点に対して、最も多い数のエッジデータで構成される左候捕車線（直線 3 2) のエッジデータ 9点となり、それらの間の比率は「8 2%」となる。ここで、この比率は、予め定めた比率（例えば、 7 0%) より、高いと判断して、これを左候補車線（直線 3 2) とする。

次に、この候補車線と前画面で求めた左車線との角度差を求め（S 2 0 0 5 ) 、予め定めた角度、例えば「2 0度」（このような角度は、予め定めておき制御デ一夕部 6 0 4に格納しておけば良い）より小さいと判断した場合、この左候補車線（直線 3 2) を、認識すべき左車線（左認識車線）とする（S 2 0 0 6 ) 。

しかしながら、右車線に対しては、最も多くの数のエッジデータで構成される右候補車線（直線 3 8) のエッジデータの数（1 6 0 1 b、 1 6 0 3 b、 1 6 0 5 b、 1 6 0 6 b、 1 4 0 9 b、 1 6 1 l bの 6点）と、それ以外のエツジデー夕点数（ 1 6 0 2 b、 1 6 04 b、 1 6 0 7 b、 1 6 0 8 b、 1 6 1 0 bの 5点）を求め（S 2 0 0 8 ) 、右候補車線全体のエッジデータ数 1 1点に対して、最も多い数のエッジデータで構成される左候補車線（直線 3 8) のエッジデータの数が 6点であり、それらの間の比率は「5 5%」となり、予め定めた比率（例えば、 7 0%) より低いと判断する。このような事態は、右車線側に、わだち等が存在していたり、車線が薄くなつていたりする場合に発生する。この場合、右候補車線の直線 3 6、直線 3 8、直線 4 0の全てに対して、認識すべき車線であるか否かを判断する必要がある。

また、右候補車線のエッジデータ点数と、それ以外のエッジデータ点数の比率力、予め定めた比率よりも高い場合には、この右候補車線と前画面で求めた右車線との角度差を求める（S 2 0 0 9 ) 。

そして何らかの理由で、予め定めた角度、例えば「2 0度」（このような角度は、予め定めておき制御データ部 6 0 4に格納しておけば良い）より大きいと判断した場合には、他の全ての右候補車線に対して、認識すべき右車線であるか否かを判断する必要がある。

そこで、本実施例では、安定して認識することができた左認識車線をもとに、左右両車線の配置関係を利用して、右候補車線（直線 3 6、直線 3 8、直線 4 0 ) の中から、右認識車線を決定する処理（S 2 0 1 2 ) を行う。

図 9に示す例は、左、右車線に対して、最も多い数のエッジデータで構成される候補車線（直線 5 2、直線 5 8 ) の各々において、エッジデータの数の比率力予め定めた比率より低いと判断された場合である（S 2 0 0 4、 S 2 0 1 4 ) 。この場合、左候補車線の直線 5 0、直線 5 2、直線 5 4、右候捕車線の直線 5 6、直線 5 8、直線 6 0の全てに対し、両車線の配置関係を用いて、認識すべき車線であるか否かを判断する必要がある。

また、左、右車線に対して、最も多い数のエッジデータで構成される候補車線において、エッジデータの数の比率が、予め定めた比率より高いと判断された場合でも、左、右候補車線に対して、前画面の左、右認識車線との角度差が、予め定めた角度より大きいと判断された場合（S 2 0 0 5、 S 2 0 1 5 ) には、次の処理を行う。すなわち、左候補車線の全てと、右候補車線の全てに対して、両車線の配置関係を用いて、認識すべき車線であるか否かを判断する。

以上述べてきたように、本実施例によれば、簡易な構成で、自車両走行レーンに対する、左右車線を、誤り少なく認識することが可能になる。また、この情報に基づいて、走行する道路領域等を把握でき、危険警告装置への応用も可能となる。

以上説明してきたように、本実施例によれば、車載カメラにより撮影された画像情報に基づいて、自車両の走行レーンに対する車線を認識するにあたり、複数の候補車線の中から、車線の配置関係等の情報を参照して、正確に、自車両の走行レーンに対する車線を認識できる。これによつて、自車両に対する前方道路面を正確に把握することも可能となる。

以下、本発明による画像処理装置の第 2の実施例を詳細に説明する。

図 1 3は、本発明の第 2実施例で、この実施例は、図示のように、大別して撮像部 Aと、表示部 B、それに処理部 Cからなり、さらにこの処理部 Cは、画像処理部 Dと、判断部 Eで構成されている。尚、本実施例では表示部 Bを省略しても良い。

撮像部 Aの構成は以下の通りである。

ズームレンズ機構部 1 0 0 2とズーム調整部 1 0 0 4は、抽出条件決定部 1 0 3 8 (後述する）から指示された光学系倍率信号により光学系の焦点距離を制御し、撮像画像を拡大したり、縮小したりする働きをする。

アイリス機構部 1 0 0 6とァイリス調整部 1 0 0 8は、抽出条件徹底部 1 0 3 8の指示により被写体を含めた撮像画像が明るすぎる場合には光学系の絞りを閉じ、被写体を含めた撮像画像が暗すぎる場合には絞りを開くことにより、被写体像の明るさが適正な値となるようにする。

CCDカメラ 1 0 1 0は、光画像をカラー画像信号に変換する働きをする。

AZD変換器 1 0 1 2は、カラ一画像信号をデジタルカラー信号に変換する働きをする。

色差変換回路 1 0 1 4は、デジタル化されたカラー画像信号を入力し、これを輝度信号 Yと色差信号 R— Y、 B— Υからなる色分解力ラ一画像信号に変換する回路であり、ここで、この色分解カラー画像信号は、カラー画像の三原色を構成する各色成分 R (赤）、 G (緑）、 Β (青）を用いて、以下のように定義される。なお、ここで yR、 r G. y Bは、抽出条件決定部 1 0 3 8により指示される変換ゲインである。

Y= 0. 3 R · r R+ 0. 6 G · r G+ 0. 1 B · r B

R- Y= 0. 7 R · r R- 0. 6 G · r G- 0. 1 B · r B

B - Y = - 0. 3 R · r R- 0. 6 G · r G+ 0. 9 B · r B

次に、表示部 Bの構成は以下の通りである。遅延回路 1 0 1 6は、処理部 Cで様々な処理を行う間、画像出力を遅らせ、処理結果と撮像画像との同期を取る回路である。

置換回路 1 0 1 8は、撮像画像に対して、処理部 Cからの処理結果を重ね合わせる回路である。

エンコーダ回路 1 0 2 0は、置換回路 1 0 1 8で処理された処理画像信号を受け取り、 N T S C信号に変換する回路である。

モニタ 1 0 2 2は、例えばカラーブラウン管などの画像表示装置で構成され、 N T S C信号を受け取り、処理画像を表示する働きをするものである。

処理部 Cは、上記したように画像処理部 Dと判断部 Eにより構成されており、まず、画像処理部 Dの構成は以下の通りである。

色サンプリング回路 1 0 3 4は、抽出条件決定部 1 0 3 8から指定されたサンプリング画素について撮像画像信号から色データのサンプリングを行い、そのサンプリングされた色データ（輝度信号 Y、色差信号 R— Υ、 Β - Υ) を抽出条件決定部 1 0 3 4に転送する働きをする。

抽出処理回路 1 0 3 6は、撮像画像に対して抽出色条件（後に説明する）を満足する画素を識別し、その画素の座標データ（抽出座標データ）を置換回路 1 0 1 8に転送する回路と、抽出色条件を満足する画素の集まりに対するエッジ画素 (抽出色条件を満足する画素と満足しなし、画素との境界の画素）の座標デー夕 (エッジ座標データ）を路面認識部 1 0 4 0に転送する回路と、さらに、指定颌域内の画素に対して抽出色条件を満足する画素数をカウントし、カウント値を抽出条件決定部 1 0 3 8に転送する回路とで構成されている。

抽出条件決定部 1 0 3 8は、路面認識部 1 0 4 0より転送された路面データにより決定された色データをサンプリングするのに必要なサンプリング画素位置を、色サンプリング回路 1 0 3 4に指示する回路と、色サンプリング回路 1 0 3 4力、ら転送された色テ一タ及び抽出処理回路 1 0 3 6から転送されたカウント値より求めた分布率とに基づいて抽出色条件を決定し、抽出処理回路に転送する回路と、ズーム調整部 1 0 0 4とァイリス調整部 1 0 0 8に対して調整値を指定する回路と、さらには、色差変換回路 1 0 1 4に対して変換ゲイン（7 R、 r G . r B ) を指示する回路とで構成されている。路面認識部 1 0 4 0は、抽出処理回路 1 0 3 6から転送されたエッジ座標データをもとにして自車両が走行可能な路面を認識し、認識結果として得られる路面データを危険度判断部 1 0 4 4と抽出条件決定部 1 0 3 8に転送する働きをする。判断部 Eの構成は以下の通りである。

車両状態判断部 1 0 4 2は、車両状態センサ 1 0 5 6からの信号により、自車両の走行状態を判断し、その判断結果を抽出条件決定部 1 0 3 8と危険度判断部 1 0 4 4に転送する働きをする。

そこで、危険度判断部 1 0 4 4では、自車両の走行状態と走行可能な路面との関係から危険度を推定し、推定された危険度を警報装置 1 0 5 2を介して運転者に報知する。

そして、この報知の結果にもかかわらず、運転者の操作が不十分であった場合には、危険度判断部 1 0 4 4は車両運動制御装置 1 0 5 4に制御信号を供給し、これに危険を回避させるのに必要な働きをさせる。

メモリ 1 0 5 0は、抽出条件決定部 1 0 3 8により決定された抽出条件を保持する働きをするものものであり、さらに、抽出条件決定部 1 0 3 8や路面認識部 1 0 4 0、車両状態判断部 1 0 4 2、それに危険度判断部 1 0 4 4での処理を行う上で、一時保持しておく必要があるデータの記憶場所としても機能する。

警報装置 1 0 5 2は、危険度判断部 1 0 4 4で推定された危険度を運転者に報知するための手段である。

車両運転制御装置 1 0 5 4は、駆動系、制動系、操舵系の制御装置である。車両状態センサ 1 0 5 6は、自車両の運動量や運転者の操作意志等を検出する手段であり、検出された信号は車両状態判断部 1 0 4 2に出力される。

次に、この実施例の動作について説明する。

この実施例では、大分して、第 1 と第 2の 2種の処理が並列に実行されるようになっている。

まず、第 1の処理は、 C C Dカメラ 1 0 1 0力、ら、 A Z D変換器 1 0 1 2、色差変換回路 1 0 1 4、遅延回路 1 0 1 6、置換回路 1 0 1 8、ェンコ一ダ回路 1 0 2 0、モニタ 1 0 2 2と流れる撮像画像の処理であり、以下、これについて、図 1 4と図 1 5により説明する。図 1 4において、まず、装置全体の動作に必要な電源が入れられると（S 3 0 2 ) 、初期設定が行われる（S 3 0 4 ) 。

次に、 C C Dカメラ 1 0 1 0により撮像された被写体のカラー画像信号が取り込まれ（S 3 0 6 ) 、次に A/D変換器 1 0 0 4でデジタル信号に変換されるS 3 0 8 ) o

次に色差変換回路 1 0 1 0で、このデジタル信号は色分解カラー画像信号に変換される（S 3 1 0 ) 。

次に遅延回路 1 0 1 2は、色分解カラー画像信号を入力し、処理部 Cで処理に要する時間分の遅延を行い（S 3 1 2 ) 、撮像画像と処理結果との同期をとる。次に置換回路 1 0 1 4は、処理を行っていない色分解カラー画像信号の上に、処理部 Cでの処理結果を重ね合わせる（S 3 1 4 ) 。

次にエンコーダ回路 1 0 1 6は重ね合わされた画像信号を N T S C信号に変換する（S 3 1 6 ) 。

次にモニタ 1 0 1 8は N T S C信号を取り込み、処理を行った撮像画像を表示する（S 3 1 8 ) 。

そして次の周期の被写体の撮像のために（S 3 0 6 ) に処理が戻るのである。以上の処理は、画像信号のフィールド周期 Uフィールド 1 6 . 7 m s ) で行なわれる。

次に、第 2の処理は、図 1 4において、抽出条件の設定を行なう処理（S 3 2 0 ) 力、ら、撮像部 Aよりの撮像画像信号よりエツジを抽出する処理（S 3 2 2 ) 、エッジ座標データより自車両の走行可能な路面を認識する処理（S 3 2 8 ) 、自車両に対する危険度を推測する処理（S 3 3 6 ) 、運転者への警報処理（S 3 3 8 ) 、さらには危険を回避する処理（S 3 4 0 ) までの処理である。尚、エッジ抽出処理は上記第 1実施例と同様にして行って良、。

初めに、初期設定（S 3 0 4 ) において、図 1 6に示すように、予め走行路画像上で自車両の直前の複数の、例えば 4個所に設定してあるサンプリング用の画素に対して色データのサンプリングを行う。次いでサンプリングされた色データより、後述する車両周囲の環境、例えば昼夜の判別処理を行い、その結果に従い、予めメモリに記憶してある設定値により抽出色条件を設定するのである。なお、この場合の抽出色条件の設定の仕方は後述する。

その後、抽出条件を環境の変化に対応させて、撮像画像信号を受け取り、抽出処理回路 1 0 3 6で路面と同じ色の画素を抽出する。すなわち、路面の画素を抽出するための抽出色条件 Y_M 、 ΥΜΛΧ 、 (Β -Υ) Μ,Ν 、 (Β -Υ) ΜΛΧ 、 (R-Y) Μ,Ν 、（R— Υ) MAX と、撮像画面上の画素の色データ Y、 Β— Υ、 R— Υとの比較を行い、次式（1 ) の関係を満たす撮像画像中の画素を抽出する (S 3 2 0 ) 。

ΥΜΙΝ < Υ< Υ MAX 、

(B -Y) _{M L}、： < B -Y< (B - Y) MAX .一（1 ) (R-Y) M,N < R-Y< (R-Y) _ΜΛχ '

さらに、抽出した画素の集まりの境界座標データ、すなわちエッジ座標データを路面認識部 1 0 4 0に転送する（ S 3 2 2 ) 。

次に、転送されたエッジ座標データから複数の直線、或いは曲線を算出し、それらの位置関係から走行可能な路面を推定する（S 3 2 8 ) 。路面の推定、即ち、車線の推定処理は上記第 1実施例と同様に行なって良い。

次に、車速センサ、ブレーキペダル操作センサ、方向指示器操作センサ、ステァ角センサなどからなる車両状態センサ 1 0 5 6からの信号により、車速、減速度、車線変更意志、ステア操舵量などの自車両の走行状態を判断し、その判断結果と前述の路面認識部 1 0 4 0により認識された走行可能な路面との関係から、前方車との距離、相対速度、側方車の有無、自車両のふらつきなどの自車両に対する危険度を推定する（S 3 3 6 ) 。

次に危険度判断部 1 0 4 4で推定された危険度を警報装置（例えば、インジケ一夕、音声、警報音、 L E D等） 1 0 5 2、或いは表示部 Bのモニタ（車載テレビ、へッドアップディスプレイ） 1 0 2 2を用いて自車両の運転者に報知する ( S 3 3 8 ) 。

このとき、場合によっては、警報装置（例えば、文字表示板、車車間通信等） 1 0 5 2を用いて周辺の車両の運転者へも報知する。

次に危険度判断部 1 0 4 4で推定された危険度に対して運転者の操作が不十分であった場合、危険度判断部 1 0 4 4は車両運動制御装置 1 0 5 4の制御特性を変えたり、或いは自動動作させることにより、危険を回避するようにする（S 3 4 0) o

次に上記抽出条件設定処理（S 3 2 0 ) について、図 1 5により詳細に説明する。

サンプリング画素位置設定処理（S 2 0 2 ) では、まず図 1 6に示すように、画面に複数の固定水辺線、例えば下部（近方）と中部（遠方）と、これらの間の部分（中間）に 3本の固定水辺線 L a、 L b、 L cを設定しておく。

そして、これらの固定水平線と、前回処理で求めた左右の近似車線の直線との交点間を複数に等分する点、例えば 3等分する点を求め、この求めた 6点をサンプリング画素位置に設定する。サンプリング画素は各固定水平線について少なくとも 1つとする。

色データサンプリング処理（S 2 0 4 ) では、撮像画像の全画素の色データが逐次転送されている撮像画像信号から、指定された 6点のサンプリング画素の色データ（Y、 B_Y、 R-Y) を、色サンプリング回 g各 1 0 3 4によりサンプリングする。

次に分布率算出処理（S 2 0 6 ) では、上記した抽出色条件（Υ_{Μ 1} 、 ΥΜΛΧ 、 (Β-Υ) Μ,Ν , (Β— Υ) _ΜΛΧ 、（R— Υ) _{Μ Ι Ν} 、（R— Υ) _ΜΛΧ ) と、図 1 9に示す撮像画面上の指定範囲内の画素の色データ（Υ、 Β— Y、 R-Y) との比較を行い、指定範囲内の画素のうち次式即ち、上記式（1 ) の関係を満たす即ち、抽出色条件を満たす画素をカウントする。

"\ M i N 、 / ！ ^AX

(B-Y) Μ , Ν < B-Y< (B-Y) MAX

(R-Y) M I N <R-Y< (R-Y) MAX

そして、指定範囲内の全画素に対する指定範囲内の抽出色条件を満たす画素数の割合を示す算出分布率と、指定範囲内の全画素に対して指定範囲内の画素のうち認識された車線や前方車の領域を除く画素数の割合を示す目標分布率を、それぞれ次式により求める。指定範囲内の抽出色条件を満たす画素数

算出分布率：

指定範囲内の全画素数

指定範囲内の全画素数一認識された車線や前方車の領域の画素数目標分布率 =

指定範囲内の全画素数

ここで、 "指定範囲内の抽出色条件を満たす画素数" とは、指定範囲内の車線を除いた路面の画素数である。また、 "指定範囲内の全画素数" とは、車線を含んだ路面の画素数である。また、 "認識された車線や前方車の領域の画素数" は所定値でもよく、また道路の環境に応じた可変値でも良い。また、前の画面からの推測値でも良い。また、目標分布率は通常 8 0%〜9 0%である。 "指定範囲" 、 "認識された車線や前方車の領域の画素数" 、目標分布率は抽出条件決定部 3 8において予め設定値としてストアしておいても良く、または、外部から設定されるようにしても良い。

次に 6点のサンプリングされた色データに対して昼夜判別処理（S 2 0 7 ) を行う。

ここでは、図 1 6に示す 4点、或いは図 1 8に示す 6点のサンプリングされた色データによる昼夜判別処理について説明する。

サンプリングされた色データで同一水平線上の複数、ここでは 2つの色データを比較し、これら 2つのデータの差の絶対値がメモリに格納されているしきい値より大きければ、サンプリング画素位置に先行車、或いは路面上に表示物があるものと判断して、このデータは使用しない。

しきい値より小さければ、 3本の水平線 L a、 Lb、 L cのサンプリングされた全データの平均値（H_s ) と各水平線 L a、 Lb、 L c上のデータの平均値 (H, 、 H_h 、 H, ) を求める。

そして、これらの平均値の関係から、以下のようにして昼夜の判断を行う。昼と判断する場合は、下記条件（2) と（4) 又は（3) と（4 ) が満足された場合である。

： Η,, ≥Η„ ≥Η, (6点の場合）一一（2) ： H a ≥ H _t, (4点の場合） —一（ 3 )

： H, 〉設定しきい値—— （4)

夜と判断する場合は、下記条件（5) と（7) 又は（6) と（7) が満足された場合である。

： H a < H _t < H c (6点の場合） —— （ 5 )

Ha <H_b (4点の場合）一一（6)

H_a く設定しきい値—一（7)

上記のように昼を判断する理由は、昼の場合は自然光（太陽光）の入射角の関係から、明るさは近方と遠方とで等しいか、近方より遠方の方が明るいためである。また、上記のように夜を判断する理由は、夜の場合は車輛のライトにより近方の方が遠方より明るいためである。

ここで、設定閾値について説明する。道路の環境が異なると、例えば、道路の路面の舗装状態が異なると、昼でも夜と判断してしまう場合がある。例えば、新しい舗装路面は昼でも暗く、昼における新しい舗装路面の遠方の輝度はほぼ 4 0 である。一方、昼の普通の路面の遠方の輝度はほぼ 1 0 0であり、夜においては路面状態に無関係に遠方の輝度はほぼ 0である。従って、設定閾値を 5 0とすると、昼においては上記の昼の判断式（（2) 及び（4) 又は（3) 及び（4) ) は満たされず、また上記の夜の判断式（（5) 及び（7) 又は（6) 及び（7) ) も満たされない。従って、このような場合には前回の判断結果をそのまま使用することとして、誤った判断を防止する。

次に、初期設定での路面画素の抽出色条件の設定の仕方について説明する。上記した昼夜判断処理で昼と判断された場合、色信号については、図 1 5八に示すように、既にメモリに格納されている、無彩色に近い領域を昼の路面の色信号条件を満たす色領域 S c dとして設定する。次に輝度信号については、図 1 5 Bに示すように、上記のサンプリングされた 4点又は 6点の色データの最大値、最小値を求め、それぞれ最大値、最小値にメモリに格納されている昼用オフセット値を付加して昼の路面の輝度信号条件を満たす輝度領域 S 1 dを設定する。一方、昼夜判断処理で夜と判断された場合には、色信号については、図 1 5 C に示すように、既にメモリに格納されている無彩色にほぼ近、領域を夜の路面の色信号条件を満たす色領域 S e nとして設定する。輝度信号については、図 1 5 Dに示すように、上記サンプリングされた 4点又は 6点の色データの最大値と最小値を求め、それぞれの値にメモリに格納されている夜用オフセッ卜値を付加して夜の路面の輝度信号条件を満たす輝度領域 S 1 nを設定する。

尚、図 1 7 A、図 1 7 Bのように "昼及び夜の路面の色信号条件を満たす設定色領域" を無彩色領域に設定するのは、路面が無彩色だからである。また、 "昼の路面の色信号条件を満たす設定色領域" を実質的に正方形とするのは、昼においては画像を形成する光が自然光が主体であるからである。

一方、図 1 7 Cのように "夜の路面の色信号条件を満たす設定色領域" 力く "昼の路面の色信号条件を満たす設定色領域" に比べて図 1 5 Cにおいて右下方向に大きいのは、夜においては外部光としては車輛等のライ卜の光等が主体であり、該ライト等の光は通常、自然光より黄色成分が多いため、黄色側に大きく領域を設定したものである。

また、 "夜の路面の、輝度信号条件を満たす設定輝度領域" におけるオフセット値（夜用オフセット値）が "昼の路面の輝度信号条件を満たす設定輝度領域" におけるオフセット値（昼用オフセッ卜値）より大きいのは、夜は昼に比べて輝度が外部光（街灯等）に大きく影響される（外部光により大きく変動する）からである。

従って、図 1 7八と図 1 7 Cとを比較してみれば明らかなように、設定領域が、夜の色信号条件の方が広くなつており、同様に、図 1 7 8と図 1 7 Dでは、夜用オフセット値の方が大きくなっていることが判る。

次に抽出色条件の更新（S 2 0 8 ) では、上記 S 2 0 6の処理で求めた目標分布率を中心として、図 2 0に示すように、所定の範囲、例えば ± 0 . 0 5の範囲を設け、この範囲を境界として例えば計 3種類の領域、すなわち、「拡大」領域、「保持」領域、「縮小」領域を設定する。

そして、同じく上記 S 2 0 6の処理で求めた算出分布率が、これら 3種類の領域のどこに存在するかにより、抽出色条件の更新の仕方を以下のようにして決定するのである。

まず、算出分布率が、「保持」領域にある場合には、どのような色データがサンプルされても、抽出色条件の更新は行わない。

次に、算出分布率が低く、即ち現在の抽出色条件の元で路面として抽出された画素数が少なく、「拡大」領域になっていた場合について説明する。まず、色信号について説明する。 3つの水平線 L a、 L b、 L c上のデータの色信号の平均値 C a、 C b、 C cをそれぞれ求め、全ての平均値 C a、 C b、 C cが抽出色条件の設定色領域 S c d (昼の場合）又は S e n (夜の場合）の範囲内に存在したときには、サンプルデータの最大値、最小値にメモリに設定されているマージンを加えて設定色領域の範囲の更新を行う。一方平均値 C a、 C b、 C cのいずれかに設定色領域の範囲外のデータがあれば、その範囲外の平均値にメモリで設定されているマージン（一定値）を加えた範囲を新しい色範囲とし図 1 7 A (昼の場合）又は図 1 7 C (夜の場合）の設定領域（S c d又は S c n ) を更新即ち、拡大する。

次に、算出分布率が「拡大」領域にある場合の、輝度信号について説明する。先ずサンプルデータの輝度の最大値、最小値を求め、この最小値が抽出色条件の設定輝度領域 S 1 d又は S 1 n範囲内であれば、図 1 7 Eに示す様にメモリ内の設定値（オフセット値）だけ抽出色条件の設定領域 S 1 d (昼の場合）又は S 1 n (夜の場合）の最小値 S 1 d 又は S 1 n _m , _n を下げるのである。

また、ここで、サンプルデータの輝度の最小値が抽出色条件の設定輝度領域 S 1 d (昼の場合）、 S 1 n (夜の場合）の最小値よりも小さいときには、図 1 7 Fに示す様にサンプルデータの最小値からメモリで設定されているマージンを引いた値を新たな抽出色条件の最小値とし、設定領域を更新する。一方、サンプルデータの輝度の最大値が抽出色条件の設定輝度領域、 S 1 d又は S 1 nの範囲内であれば、メモリ内の設定値だけ抽出色条件の設定輝度領域の最大値

S 1 d 又は S 1 n _{m a )<} を上げる。さらに、サンプルデータの輝度の最大値が抽出色条件の領域の最大値よりも大きいときには、サンプルデータの最大値と抽出色条件の設定輝度領域の最大値との差の半分の値を抽出色条件の設定輝度領域の最大値に足して設定輝度領域の最大値を更新するのである。

また、算出分布率が、「縮小」領域になった場合について説明する。色信号については 3つの水平線 L a、 L b、 L c上のデータの色信号の平均値 C a、 C b、 C cを求め、全ての平均値 C a、 C b、 C cが抽出色条件の設定色領域の範囲内に存在すれば、それらの平均値 C a、 C b、 C cの最小値と最大値にメモリで設定されているマージンを加えた値を設定色領域の新最大値、最小値として、該設定色領域の範囲を更新する。このとき、 C a、 C b、 C cのうち 1個でも設定色領域の範囲外のデータがあれば設定色領域の範囲の更新は行わない。

他方、輝度信号については、サンプルデータの輝度の最大値、最小値を求め、この最小値が抽出色条件の設定輝度領域の範囲外であれば、サンプルデータの最小値にメモリ内の設定マージン値だけ加算した値を抽出色条件の設定輝度領域の新たな最小値とする。

このときも、サンプルデータの輝度の最小値が抽出色条件の設定輝度領域の最小値よりも大きいときには、サンプルデータの最小値にメモリで設定されているマージンを足した値を設定輝度領域の更新された最小値とする。サンプルデー夕の輝度の最大値が抽出色条件の設定輝度領域の範囲外であれば、メモリ内の設定値だけ抽出色条件の設定輝度領域の最大値を下げる。またサンプルデータの輝度の最大値が抽出色条件の設定輝度領域の最大値よりも小さいときには、サンプルデータの輝度の最大値と抽出色条件の設定輝度領域の最大値との差の半分の値を抽出色条件の設定輝度領域の最大値から引 L、て設定輝度領域の最大値を更新するのである。

こうして、算出された分布率が「拡大」領域にある場合は、抽出色条件を緩和して路面として抽出される領域を拡大するもので、これにより車線を正確に検出しょうとするものである。例えば、図 1 7 Gに示すように、画面の輝度のうち、領域 A l、 A 2、 A 3がそれぞれ車線、わだち等、路面の輝度領域であるとすると、分布率が「拡大」領域にある場合は、設定領域 S 1 d (昼の場合）又は S 1 n (夜の場合）を領域 A 1、 A 3の一部に迄拡大する。

他方、算出された分布率が「縮小」領域にある場合は、抽出色条件を厳しく (制限）して路面として抽出される領域を縮小するもので、これにより車線を正確に検出しょうとするものである。

次に、このような抽出色条件更新処理を図 2 1〜図 2 5を参照して詳細に説明する。算出分布率が図 2 0に示す 3種類の領域のどこに存在するかにより、図 2 1に示すフローにより各処理を行う。

縮小領域の処理について、図 2 2 A、 2 2 B、 2 3 A、 2 3 Bにより説明する _c まず、色データ縮小処理では、サンプルされたデータが既設定領域に対して、図 2 2 A、 2 2 Bに示すように 2つの状態に分けて処理が行われる。すなわち、図 2 2 Aのようにサンプルデータのうち 1つでも領域外にあるとき、設定領域は変化しない。また、図 2 2 Bのようにサンプルデータがすべて既設定領域内にあるとき、サンプルデータの外接四角形（色データの最大値と最小値）を求め、この外接四角形をメモリ内の設定値（オフセット値）だけ広げて（色データの最大値にオフセット値を加え、最小値からオフセット値を引く）新たに設定領域を作成する。

つぎに、輝度データ縮小処理では、サンプルされたデータが既設定領域に対して、図 2 3 A、 2 3 Bに示すように 2つの状態に分けて処理が行われる。すなわち、図 2 3 Aのようにサンプルデータがすべて既設定領域内にあるとき、サンプルデータの輝度データの最大値と最小値を求め、サンプル輝度データの最大値には、サンプル輝度デー夕の最大値と既設定領域の最大値との差の 1 Z 2の値を加え、サンプル輝度データの最小値からメモリ内の設定値（オフセット値）を引いて、新たに設定領域を作成する。また、図 2 3 Bのようにサンプルデータのうち 1つでも領域外にあるとき、既設定領域の最大値からメモリ内の設定値（オフセット値）を引いて、既設定領域の最小値にメモリ内の設定値（オフセット値）を加えて、新たに設定領域を作成する。

拡大領域の処理について、図 2 4 A、 2 4 B、 2 5 A、 2 5 Bにより説明する。まず、色データ拡大処理では、サンプルされたデータが既設定領域に対して、図 2 4 A、 2 4 Bに示すように 2つの状態に分けて処理が行われる。すなわち、図 2 4 Aのようにサンプルデータがすべて既設定領域内にあるとき、設定領域は変化しない。また、図 2 4 Bのようにサンプルデータのうち 1つでも領域外にあるとき、そのサンプルデータに対してメモリ内の設定値（オフセッ卜値）を加えて、新たに設定領域を作成する。

つぎに、輝度データ拡大処理では、サンプルされたデータが既設定領域に対して、図 2 5 A、 2 5 Bに示すように 2つの状態に分けて処理が行われる。すなわち、図 2 5 Aのようにサンプルデータがすべて既設定領域内にあるとき、既設定領域の最大値にメモリ内の設定値（オフセット値）を加えて、既設定領域の最小値からメモリ内の設定値（オフセット値）を引いて、新たに設定領域を作成するまた、図 2 5 Bのようにサンプルデータのうち 1つでも領域外にあるとき、サンプルデータの輝度デ一夕の最大値と最小値を求め、サンプル輝度データの最大値には、サンプル輝度データの最大値と既設定領域の最大値との差の 1 Z 2の値を加え、サンプル輝度データの最小値からメモリ内の設定値（オフセット値）を引いて、新たに設定領域を作成する。

次に、光学系ズーム設定（S 2 1 0 ) では、認識された路面データにより、画面下部で車線幅が画面幅と一致するようにズーム倍率を決定する。

アイリス設定（S 2 1 2 ) では、ォートアイリス機構におけるリファレンス値を、ビデオカメラの通常使用時での絞り値（空を一部撮影した時でも飽和しないように絞りを閉じ気味に、即ち絞り値を小さくしてある）に対し、夜と判断されたとき、絞りを開け気味に即ち、絞り値を大きくなるように設定する。

このことにより、輝度の高いもの（路面上の白線、対抗車のライト等）は飽和することがあるが、輝度の低いものについては色データが明確になる。

一方、昼と判断されたときには、通常使用時のリファレンス値を使用するのである。

色協調ゲイン設定（S 2 1 4 ) では、夜と判断されたとき、図 2 6に示すように色差変換回路 1 0 1 4の変換ゲインを強調ゲインに変更する。

このことにより低輝度の色を強調させることができ、無彩色と有彩色の分離をしゃすくすることができる。

一方、昼と判断されたときには、ノーマルゲインを使用するのである。

従って、この実施例によれば、路面の照明状態が、昼と夜、日差しの違い、トンネルの前後などにより変化した場合でも、その変化に追従して抽出条件が変えられてゆくので、常に確実に路面領域を認識することができる。

以上詳述したように、本実施例によれば無彩色である路面とその他の有彩色のものとの分離を事前に施し、さらに路面の認識の処理を行う場合、路面を表わす抽出色条件を環境の変化（昼と夜、日射の違い、トンネルの前後等）に対応させ、変更することにより、確実に走行可能な路面の領域が認識できる走行路面の監視装置を提供することが出来る。

以下、本発明にかかる画像処理装置の第 3実施例について、図面を参照しつつ説明する。

図 2 7に、本実施例の画像処理装置の構成図を示す。

本装置は、撮影部 2 0 0 1と処理部 2 00 5とメモリ 2 0 2 3と表示部 1 0 1 4とを有して構成されて、さらに、処理部 2 0 0 5は、画像処理部 2 0 0 6と判断部 2 0 0 7とを備えている。そして、車両状態センサ 2 0 2 0、車両運動制御装置 2 0 2 2および警報装置 2 0 2 1 と、判断部 2 0 0 7との間で信号がやりとりされている。尚、本実施例では表示部を省略しても良い。

以下、本実施例の装置の各構成要素について説明する。

まず、撮影部 200 1について説明する。

CCDカメラ 2 0 0 2は、前方の画像を撮像し、画像情報を得るための撮像手段であり、前方の被写体の画像情報を、カラーアナログ信号に変換する機能を有する。例えば、車載時には、車両前部のグルリ付近で、汚れの少ない箇所、あるいは、車室内のルームミラーやサンバイザー等の前方視界の広い箇所に設置すれば良い。

次に、八70変換器2 0 0 3は、 CCDカメラ 2 0 0 2から出力されたアナ口グ画像信号を、デジタル信号に変換する処理を行なう。

次に、色差変換回路 2 0 0 4は、 AZD変換器 2 0 0 3から出力されたデジタル信号、即ち、被写体の三原色（R (赤）、 G (緑）、 B (青））に相当するデジ夕ル信号を、次式で定義する、輝度信号 Yと色差信号「R— Y、 Β— Υ」とに変換する処理を行なう。

Υ = 0. 3 R+ 0. 6 G+ 0. 1 Β

R - Υ = 0. 7 R- 0. 6 G - 0. 1 Β

Β- Υ = - 0. 3 R- 0. 6 G+ 0. 9 Β

上式にて、変換されて求まった輝度信号および色差信号は、遅延回路 2 0 1 6 に入力されるとともに、バッファ 2 0 2 5に格納される。次に、処理部 2 0 0 5について説明するが、その動作内容は後に説明するため、ここでは、各構成要素の機能を概説しておくことにする。

図 2 7に示すように、処理部 2 0 0 5は、画像処理部 2 0 0 6と判断部 2 0 0 7とを備えている。

まず、画像処理部 2 0 0 6の構成要素について説明する。

バッファ 2 0 2 5は、色差変換器 2 0 0 4から送られた画像情報を記憶する手段であるが、必ずしも、 1フレーム分の容量を有している必要はない。例えば、画像処理の処理単位が、 3ラィンであれば、 3ラィン分の容量を有するように構成しておけば良い。

画像ズーム回路 2 0 0 8は、バッファ 2 0 2 5から画像情報を受け取り、後に説明するズーム条件決定部 2 0 0 9によって、 1水平ライン毎に決定されたズーム条件（ズーム中心座標及び拡大率）に従って、画像情報を水平方向にのみ拡大する処理を（例えば、 1水平ライン毎に）行なった後、拡大処理された画像情報を、抽出処理回路 2 0 1 0に転送する処理を行なう。尚、バッファ 1 0 2 5を省き、色差変換回路 4から 1水平ライン分毎の画像情報を画像処理部 1 0 0 6に送るようにしても良い。

ここで、ズーム中心座標は、画像情報を拡大する際に、拡大処理を行なう基準点の位置を示すパラメータであり、拡大率は、画像情報を拡大する倍率を示すパラメ一夕である。

抽出処理回路 2 0 1 0は、拡大処理された画像情報の中から、予め定めた抽出色条件データに該当する画素を抽出し、ノイズ等を除去する画像処理を施した後、 1つの水平ライン上で、その抽出画素に対する位置座標データ（エッジ座標デ一夕）を、エッジ座標変換部 1 1に転送する。なお、抽出色条件データとは、特定の輝度および色差のデータであり、通常、道路色（走行レーン）の輝度および色差のデータを採用して、メモリ 2 0 2 3に予め格納しておき、抽出処理回路 2 0 1 0は、必要時に、該データを取り出すように構成しておけば良い。

なお、 1つの水平ラインを調べていったとき、抽出色条件データを満足しない画素から、抽出色条件データを満足する画素への変化点を想定した場合、該抽出色条件データを満足する画素を、立ち上がりエッジ画素と称し、その座標データは、立ち上がりエッジ画素の、エッジ座標データという。同様に、 1つの水平ラインを調べていったとき、抽出色条件データを満足する画素から、抽出色条件デ一夕を満足しな、画素への変化点を想定した場合、該抽出色条件データを満足する画素を、立ち下がりエッジ画素と称し、その座標データは、立ち下がりエッジ画素の、エッジ座標データという。なお、エッジ座標データは、座標情報の他に、当該エッジ座標は、立ち上りなのか、または、立ち下がりなのかを示す情報も含んでいるものとする。

次に、エツジ座標変換部 2 0 1 1は、ズーム条件決定部 2 0 0 9から転送されたズーム中心座標と拡大率に基づいて、抽出処理回路 2 0 1 0から転送されたェッジ座標データを、拡大処理前の座標データに変換し、車線認識部 2 0 1 2に転送する。なお、ズーム中心座標や拡大率については、後に、画像ズーム処理のところで詳しく説明する。

次に、車線認識部 2 0 1 2は、エッジ座標変換部 2 0 1 1から転送されたエツジ座標データをもとに、自車両が走行する走行レーンに対する左、右車線に対するエッジ座標データを抽出し、抽出したエッジ座標データに基づいて、左、右車線を認識し、認識結果を、ズーム条件決定部 2 0 0 9、危険判断部 2 0 1 3、および置換回路 2 0 1 5に転送する。尚、エッジ座標の検出、車線の認識については第 1実施例と同様に行うようにして良い。

次に、ズーム条件決定部 2 0 0 9は、車線認識部 2 0 1 2から認識された車線情報を受け取って、ズーム中心座標と拡大率を算出し、エッジ座標変換部 2 0 1 1、画像ズーム回路 2 0 0 8に転送する。なお、ズーム条件である、ズーム中心座標、拡大率を、各水平ライン毎に予め設定しておいて、画像拡大処理を行なわせるようにしても良い。

次に、表示部 2 0 1 4の構成要素について説明する。

遅延回路 2 0 1 6は、処理部 2 0 0 5での種々の処理時間に対応する時間だけ、入力された画像情報を遅延させて出力する機能を有し、色差変換回路 2 0 0 4から出力される信号と、車線認識部 2 0 1 2から出力される処理結果とを、置換回路 2 0 1 5に入力する際に同期合わせを行なうための回路である。

次に、置換回路 2 0 1 5は、遅延回路 2 0 1 6で遅延された画像に処理部 2 0 0 5からの処理結果を重ね合わせる。具体的には、何ら画像処理を行なっていない、遅延回路 2 0 1 6から出力された図 4 2 Aに示すような撮影画像に、図 4 2 Bに示すような車線認識部 2 0 1 2で認識された車線の画像情報を、重ねあわせて図 4 2 Cに示すような撮影画像上に認識車線を描いた画像情報を得る。また、危険判定部 2 0 1 3力警報装置 2 0 2 1を駆動する際には、これと同時に、警報情報をモニタ 2 0 1 8に表示させるための、スーパインポーズ情報を置換回路 2 0 1 5に与えるように構成しておけば良い。この警報情報がモニタ 2 0 1 8に表示された様子を、図 4 2 Dに示す。

次に、エンコーダ回路 2 0 1 7は、置換回路 2 0 1 5から出力される画像情報を、 N T S C信号に変換するための回路である。

そして、モニタ 2 0 1 8は、 N T S C信号を入力し、これに対応する画像情報を表示画面に表示する。

次に、判断部 2 0 0 7の構成要素について説明する。

なお、判断部 2 0 0 7は、本実施例を運転者の注意喚起装置に応用した一例であり、本判断部自体は、本実施例の主要部をなすものではない。

車両状態判断部 2 0 1 9は、車両状態センサ 2 0 2 0から送られる信号により、自車両の走行状態を判断し、その判断結果を危険判断部 2 0 1 3に転送する。ここで、車両状態センサ 2 0 0 8は、自車両の運動量、運転者の操作意志等を検出する手段であり、例えば、自車両の速度を計測する車速度センサ等や、その他方向指示器、ステア角センサ等が挙げられる。

危険判断部 2 0 1 3では、車線認識部 2 0 1 2より送られてきた、左右の車線に対するエッジ座標データによって、自車の走行レーンを認識し、また、車線認識部 2 0 1 2より送信された、左右の車線以外の物に対するエッジ座標データで、前方車、障害物等の存在を認識し、車両状態判断部 2 0 1 9より送信されたデー夕で、自車の走行危険度を認識する。

例えば、車速度センサが検出した、自車両の速度が所定値以上で、かつ、前方の画像情報中の特定位置に、前方車等の存在を認識できた場合、これを危険状態と判断し、車両運動制御装置 2 0 2 2や警報装置 2 0 2 1を駆動する。車両運動制御装置 2 0 2 2は、駆動系、制動系、操舵系等の制御を行なう装置である。具体例としては、自動ブレーキ等が考えられる。

また、警報装置 2 0 2 1としては、運転者の聴覚や視覚に訴えて、運転者に注意を喚起する手段であれば、どのような手段でも良く、例えば、チャイムの駆動動作や L EDの表示等が考えられる。

以上のような判断部 2 0 0 7の構成例については、様々な態様が考えられる。また、メモリ 2 0 2 3は、ズーム条件決定部 2 0 0 9により決定されたズーム条件を格納保持し、さらに、車線認識部 2 0 1 2等が処理を行う際のワークエリァとしても機能する。

次に、本実施例にかかる装置の動作について説明する。

なお、本装置においては、大別して二つの処理が別周期で、並列に実行される。「第 1の処理」は、 C CDカメラ 2 0 0 2で得た画像情報を、 AZD変換器 2 0 0 3にてアナログ 'デジタル変換し、さらに、色差変換回路 2 0 0 4にて、輝度、色差信号に変換し、遅延回路 2 0 1 6、によって所定時間の遅延を与え、置換回路 2 0 1 5の有する機能によって画像処理した後、エンコーダ回路 2 0 1 7 によって画像処理結果を NTS C信号にして、モニタ 2 0 1 8に処理結果を表示する、一連の処理である。

まず、この「第 1の処理」について、図 2 7、 2 8を参照して説明する。

本装置を操作することによって、装置電源がオン状態になると（S 4 0 2 ) 、初期設定が行われる（S 4 0 4 ) 。ここで、初期設定とは、例えば、メモリ 2 0 2 3のワークエリア領域のクリア等の処理が挙げられる。また、人間が行なう操作としては、撮影部 2 0 0 表示部 2 0 1 4の初期調整や、後述する第二の処理で用いられる抽出色条件やズーム条件の初期値を、図示しない入力部によって Ι £する。

次に、 C CDカメラ 2 0 0 2によって撮影した、車両前方の画像情報に対する信号をアナログ RGB信号として出力する（S 4 0 6 ) 。

次に、 A/D変換器 2 0 0 3によって、アナログ RGB信号をデジタル RGB 信号に変換し（S 4 0 8 ) 、さらに、色差変換回路が、前述した変換式にしたがつて、デジタル RGB信号を、輝度および色差信号に変換する（S 4 1 0) 。次に、遅延回路 2 0 1 6は、色差変換回路 4から出力された画像信号を入力信号とし、処理部 2 0 0 5で必要とする処理時間だけ、入力信号に遅延を与え (S 4 1 2) 、処理部 5で処理された信号との同期を合わせを行なう。

次に、置換回路 2 0 1 5は、処理を行っていない原画像情報の上に、処理部 2 0 0 5での処理結果を重ね合わせる処理を行ない（S 4 1 4 ) 、エンコーダ回路 2 0 1 7によって、置換回路 2 0 1 5の出力信号を NTS C信号に変換し（S 4 1 6) 、モニタ 2 0 1 8に、 NTS C信号に対応する表示画像を表示する（S 4 1 8) o

その後、次周期における被写体の画像情報を得るために、ステップ（S 4 0 6 ) にブランチする。なお、以上の処理は、フレームレート（例えば、 1 6. 7 m s ) を周期として順次行われる。

次に、「第 2の処理」について説明する。

第 2の処理は、撮影部 2 0 0 1から送られてくる画像情報を、画像ズーム（画像拡大）処理（S 4 2 0 ) により、水平方向に拡大処理した後、前記エッジ画素を抽出し（S 4 2 2 ) 、自車両が走行する走行レーンに対する車線を認識し (S 4 2 8 ) 、自車両が危険状態にあるか否かを判定し（S 4 3 6 ) 、警報装置 2 0 2 1の駆動（警報）（ S 4 3 8 ) や、車両運動制御装置 2 0 2 2の駆動（回避）（S 4 4 0 ) までの、一連の処理である。

これらの各処理について、図 2 7、 2 8、 2 9 A~2 9 D、 3 0を参照して説明する。

画像ズーム処理（S 4 2 0 ) については、後に詳細に説明するが、画像ズーム回路 2 0 0 8力設定されたズーム条件に従って、撮影して得た画像情報を、水平方向にのみ拡大処理し、路面や白線等の画像を拡大する処理である。例えば、図 2 9 Aに示す原画像を、図 2 9 Bのように、拡大する処理を行なう。

エツジ抽出処理（S 4 2 2 ) では、前述したように、抽出処理回路 2 0 1 0力くエッジ画素を抽出する。この様子を、図 2 9 Cに示す。もちろん、エッジ座標デ —夕も抽出する。

ここで、図 3 0に、エツジ抽出処理（S 4 2 2 ) の処理内容をフローチヤ一トで示す。

画素判別処理（S 2 2 2 ) では、設定した抽出色条件と、全ての画素の色デー夕との比較を行い、抽出色条件を満たす画素を抽出する。

そして、エッジ点判別処理（S 2 2 4 ) では、ノイズを除去するために、例えば「 3画素 X 3画素」の空間フィルタリングを用いた平滑処理を行い、この 9つの画素のうち、半数以上の画素が抽出色条件を満たす画素の集まりであれば、この 9つの画素については、抽出色条件を満たす画素とする。

そして、図 2 9 Bのように拡大処理された画像情報を、 1水平ラィン毎に調べていったとき、抽出色条件データを満足しない画素から、抽出色条件データを満足する画素へと変化した場合、該抽出色条件データを満足する画素を、立ち上がりエッジ画素とし、その座標デ一夕を、立ち上がりエッジ画素の、エッジ座標デ —夕とする。同様に、 1つの水平ライン毎に調べていったとき、抽出色条件デ一夕を満足する画素から、抽出色条件データを満足しない画素へと変化した場合、該抽出色条件データを満足する画素を、立ち下がりエッジ画素とし、その座標デ一夕を、立ち下がりエッジ画素の、エッジ座標データとする。

そして、エッジ座標データを、エッジ座標変換部 2 0 1 1に転送する。なお、図 3 0に示す例では、路面と車線からなる画像情報であるが、路面上に他の車両等が存在する場合には、車線を構成しないエツジ画素が抽出されてしまう。

次に、エッジ座標変換処理（S 4 2 4 ) では、エッジ座標データを、ズーム条件決定部 2 0 0 9から転送された、ズーム中心座標と拡大率を参照し、図 2 9 D に示すように、拡大前の座標データに変換し、車線認識部 2 0 1 2に転送する。なお、図 3 1 A、 3 1 Bには、夫々、拡大処理前後の画像情報を示す。画面上端から y番目の水平ラインのズーム中心座標 C、拡大率 Rの場合、次式によって、図 3 1 Bのエッジ座標データ P ' は、拡大前のエッジ座標データ Pに変換できる。ここで、 Wは、画像情報を構成する画素の集合の、水平方向の幅である。

Ρ = ( Ρ ' 一 W/ 2 ) / R + C

次に、車線認識処理（S 4 2 8 ) では、転送されたエッジ座標データから、第 1実施例の図 9等に示す方法で複数の近似直線を求め、図 2 9 Eに示すように、自車の走行する走行レーンに対する車線を推定する。

すなわち、車線認識部 2 0 1 2は、以下のような処理を行なう。

次に、車線認識部 2 0 1 2は、エッジ座標変換部 2 0 1 1から送られたエッジ座標データに対して、左車線に対するものと考えられるエッジ画素、右車線に対するものと考えられるエッジ画素、それ以外のエッジ画素であるかを判断し、分別する処理を行う。

この処理では、エッジ座標変換部 2 0 1 1から送られてきたエッジ座標データに基づいて、エッジ画素の種類を判定する。ここで、エッジ座標データは、各ェッジ画素の座標情報と、立ち上がりまたは立ち下がりの情報で構成されている。一般に、路面色を抽出色条件データにすると、立ち上がりエッジ画素が左車線を示し、立ち下がりエッジ画素が右車線を示す。しかしながら、前方路面領域に、前方車、障害物等が存在する場合、車線以外のエッジ画素も、車線のエッジ画素として認識してしまう。

そこで、図2 9八ー 2 9 Eの画面中心線より左側に存在する立ち上がりエッジ画素を左車線のエツジ画素、右側に存在する立ち下がりエツジを右車線エツジ画素と仮定し、それ以外のエッジ画素を、前方車等のエッジ画素として判別すればよい。

次に、左、右車線に対するエッジ画素のエッジ座標データをもとに、例えば、最小 2乗法等によって、近似直線を求め、これを認識車線とする。なお、左、右車線に対するエツジ画素以外のエツジ画素のエツジ座標データは、前方車両を示す画素と判断し、そのエッジ座標データで、自車両の位置に最も近いものを、前方車両の存在位置とする。

次に、危険判定処理（S 4 3 6 ) では、車両状態センサ（例えば、車速度センサ） 2 0 2 0からの信号より、自車両の走行状態（車速等）を判断し、その判断結果と、車線によって定められる走行可能な路面と、前方車両の存在位置の関係力、ら、自車両が危険状態にあるか否かを推定する。

例えば、車速度センサが検出した、自車両の速度が所定値以上で、かつ、前方車両の存在位置が所定範囲内であるとき、これを危険状態と判断する。

次に、警報処理（S 4 3 8 ) では、危険判断部 2 0 1 3で危険状態と判断した場合、警報装置 2 0 2 1を駆動して、自車の運転者に伝える。

次に、回避処理（S 4 4 0 ) では、危険判断部 2 0 1 3で危険状態と判断した場台、車両運動制御装置 2 0 2 2を駆動する。なお、危険状態の警報に対しても運転者の操作が不十分であつたと判断した場合に、車両運動制御装置 2 0 2 2を駆動するような構成にしても良い。

そして、これらの一連の処理を繰り返すことにより、装置が動作することになる。

次に、本実施例における主要な処理である画像ズーム処理（S 4 2 0 ) について、詳細に説明する。

図 3 2に、画像ズーム処理（S 4 2 0 ) の処理内容を説明するための、フローチヤ一トを示す。

まず、前の周期で処理して得られた認識車線の座標データ等を参照して、ズ一ム条件決定部 2 0 0 9力 <、各水平ライン毎に、ズーム中心座標および拡大率を決定する（S 5 0 2 ) 。

ここで、ズーム中心座標は、画像情報を拡大する際に、拡大処理を行なう基準点の位置を示すパラメータであり、拡大率は、画像情報を拡大する倍率を示すパラメータである。ズーム中心座標は、例えば、認識された左右車線に挟まれた自車走行レーンの中心位置とし、拡大率については、拡大後の車線が画面からはみ出さない（例えば、画面幅 Wの 8割程度になる）ように決定すればよい。このような決定は、ズーム条件決定部 2 0 0 9力 <、車線認識部 2 0 1 2から送られた、車線を構成するエツジ座標データ等を参照して、認識された左右車線に挟まれた自車走行レ一ンの中心位置や走行レ一ン幅を把握することによつて行なう。もちろん、ズーム中心座標および拡大率を、順次更新する必要がない場合には、水平ライン毎に、予め定めておき、ズーム条件決定部 2 0 0 9に格納しておいても良い。

次に、実際のシーンを図示した画面を参照して説明をする。

図 3 3 Aに、前の周期で処理して得られた車線認識の結果の一例を示す。画面上端から y番目の水平ラインにおいて、左車線座標が x l、右車線座標が x rとした時、ズーム中心座標 Cおよび拡大率 Rは、次式で表される。

ズーム中心座標： C = ( x r + x l ) / 2

拡大率： R =ひ x W/ ( X r— X 1 )

ただし、（X r— X 1 ) ZWく a < 1 ここで、 αは、拡大処理後の車線が、画面からはみ出さないようにするための係数である。が 1の時は車線幅は画面一杯となる。ただし、 aが、下限値

( (x r - x 1 ) /W) より小さい場合には、 R力く「 1」より小さくなり、画像情報が縮小されることになるため、この場合には、 a二 (x r -x 1 ) /W、即ち、拡大率 R= 1とする。なお、 Wは画面幅を示す。

図 3 3 Bに、 α= 0. 8とした時の、拡大処理された画像情報の一例を示す。この場合、拡大率 Rは y 番目の水平ラインから下部が R= 1、上部が R= 0. 8 X ( (x r - X 1 ) /W) である。即ち、 y _t 番目の水平ラインから上部は車線幅が画面の 8 0 %を占める様に設定される。

次に、図 3 4に、曲線路のシーンを想定した場合であって、認識された左車線力^ 画面内に部分的にしか存在しない場合の、車線認識結果の一例を示す。この場合、画面上端から y番目の水平ラインにおいて、左車線座標が画面内に存在せず、右車線座標を X rとすると、ズーム中心座標 Cおよび拡大率 Rは、次式で表される。

ズーム中心座標： C = x rZ2

拡大率： R=a xWZx r

これは、図 3 3 A、 3 3 Bに対する、ズーム中心座標 C、拡大率 Rを求める式において、 X 1 = 0とした場合に、相当する。

さらに、図 3 5に、曲線路のシーンを想定した場合であって、認識された右車線が、画面内に部分的にしか存在しない場合の、車線認識結果の一例を示す。この場合、画面上端から y番目の水平ラインにおいて、左車線座標を X 1 とし、右車線座標が画面内に存在しないので、ズーム中心座標 Cおよび拡大率 Rは、次式で表される。

ズーム中心座標： C= (W+x 1 ) /2

拡大率： R= a XW/ (W— x l )

これは、図 3 3 A、 3 3 Bに対する、ズーム中心座標 (：、拡大率 Rを求める式において、 x r =Wとした場合に、相当する。

次に、画像ズーム回路 2 0 0 8は、決定したズーム中心座標と拡大率に従って、画像を拡大する処理を行なう（S 5 0 4 ) 。ここで、ズーム 3 6 A、 3 6 Bを参照して、 1水平ラインについての拡大処理について説明する。

図 3 6 Aに示すように、 8画素のデータ（1水平ラインは、 8画素から構成されると仮定する）を、矢印で示す位置をズーム中心座標として、拡大率「2倍」で、拡大処理する場合について説明する。

まず、拡大する画素の数を求める。この時には、拡大処理後の画素の数も 8画素でなければならないので、拡大率「2倍」を考慮して、拡大する画素の数は、 4画素となる。

次に、拡大する画素データを選ぶ。ズーム中心座標を中心として、 4画素を選ぶことを想定する。そして、選ばれた画素に対する画像情報の大きさを 2倍にして、 1水平ラインを構成する 8画素に割り当てる。

このような処理によって、図 3 6 Aに示す画像情報は、図 3 6 Bに示すように拡大処理される。

上述した処理を、総ての水平ラインに対して行うことで、画面情報全体を水平方向に拡大することができることになる。

以下、画像の拡大処理による、車線認識の具体例を、図 3 7 A〜3 7 C、図 3 8 A〜3 8 D、 3 9 A〜 3 9 Dを参照して説明する。

図 3 8 Aは、図 3 7 Aに示す A部（右車線の一部）の詳細図である。また、図 3 8 Bは、図 3 8 Aを、画像拡大処理（拡大率： 2倍）した結果を示す図である。上述したように、エッジ点判別処理（図 3 0 ： S 5 0 4 ) では、ノイズ除去のため、「 3画素 X 3画素」の空間フィル夕リングを施している。

即ち、各画像データ〜P ₃ においてその 9画素のうち、半数以上、即ち 5 画素以上が抽出色条件を満たせば、この 9画素は、抽出色条件を満たしているものと判断する。なお、図 3 7 Cは、水平ライン毎に設定された、拡大率の変化の状態を示し、具体的には、第 N水平ラインより上方に位置する水平ラインの拡大率は一定であるが、第 N水平ラインより下方に位置する水平ラインに対しては拡大率が連続的に減少するように、拡大率が定められている。

図 3 8 Aは拡大率 1倍の場合の 3つの画像データ P 1、 P 2、 P 3の例であり、各画像データは 3画素 X 3画素の計 9画素で形成されている。図 3 8 Aの例では、各画像データ P I、 P 3においては、 9画素のうち、車線の白線を示す画素が 3 つ、路面を示す画素が 6つである。一方、画像データ P 2においては、 9画素のうちすべてが車線の白線を示す画素である。従って、エッジ点判別処理においては、図 38 Cに示すように、画像データ P l、 P 2、 P 3はそれぞれ路面の画素 P 1 ' 、白線の画素 P 2 ' 、路面の画素 P 3 ' と見なされる。また、図 38 Bは図 38 Aの画像を 2倍に拡大処理した画像であり、 6つの画像データ P l a、 P 1 b、 P 2 a、 P 2 b、 P 3 a、 P 3 bで構成されている。各画像データ P I a、 P 3 bにおいては、 9画素のうち、車線の白線を示す画素が 1つ、路面を示す画素が 8つ、各画像データ P 1 b、 P 3 aにおいては、 9画素のうち、車線の白線を示す画像が 5つ、路面を示す画素が 4つ、各画像データ P 2 a、 P 2 bにおいては 9画素全てが車線の白線を示す画素となる。従って、エッジ点判別処理においては、図 38 Dに示すように、画像データ P l a、 P 3 bはそれぞれ路面の画素 P 1 a ' 、 P 3 b ' と見なされ、画像データ P 1 b、 P 2 a、 P 2 b、 P 3 a はそれぞれ白線の画素 P l b' 、 P 2 a' 、 P 2 b' 、 P 3 a' と見なされる。したがって、図 38 Dに示す様に拡大処理された画像においては、領域 A (図 3 7参照）における白線の割合が「2Z3」となり、図 3 8 Cの様に拡大処理していない場合の「 1/3」に比べ、白線の割合が大きくなる。このため、拡大処理していない場合には認識できない白線も、拡大処理し、画像情報に占める白線の割合を大きくすることにより、白線の認識が可能になる。よって、拡大処理によって、自車両が走行する走行レーンに対する車線を、より遠方まで認識することが可能となる。

図 39 Aは拡大率 1倍の場合の 3つの画像データ P 1 1、 P 1 2、 P 1 3の例であり、各画像データは 3画素 X 3画素の計 9画素で形成されている。図 39 A の例では、各画像データ P I 1においては、 9画素のうち、車線の白線を示す画素が 2つ、路面を示す画素が 7つである。一方、画像データ P 1 2においては、車線の白線を示す画素が 3つ、路面を示す画素が 6つである。一方、画像データ P 1 3においては、 9画素のうちすべてが路面を示す画素である。従って、エツジ点判別処理においては、図 3 9 Cに示すように、画像データ P 1 1 ' 、

P 1 2 ' 、 P 1 3 ' はそれぞれ路面の画素 P 1 1 ' 、 P 1 2 ' 、 P 1 3 ' と見なされてしまい、白線は検出されない。一方、図 39 Bは図 3 9 Aの画像を 2倍に拡大処理した画像であり、 6つの画像データ P 1 1 a、 P l l b、 P 1 2 a、 P

1 2 b、 P 1 3 a、 P 1 3 bで構成されている。画像データ P 1 1 bにおいては、 9画素のうち、車線の白線を示す画素が 4つ、路面を示す画素が 5つ、画像デー夕 P 1 2 aにおいては、 9画素のうち、車線の白線を示す画素が 5つ、路面を示す画素が 4つ、画像データ P 1 2 bにおいては 9画素のうち、車線の白線を示す画素が 1つ、路面を示す画素が 8つ、各画像データ P l l a、 P 1 3 a、 P 1 3 bにおいては 9画素全てが路面を示す画素である。従って、エッジ点判別処理においては、図 3 9 Dに示すように、画像データ P 1 2 aは白線の画素 P 1 2 a' と見なされ、他の画像データ P l l a、 P l l b、 P 1 2 b、 P 1 3 a、 P 1 3 bはそれぞれ路面の画素 P 1 1 a' 、 P I l b' , P 1 2 b' 、 P 1 3 a' 、 P

1 3 b' と見なされる。このように、拡大処理することで、白線を認識できる。以下、画像拡大処理の他の処理方法について列挙する。

上述したように、画像拡大処理の一例として、拡大率を各水平ライン毎に計算して求める方法について述べた。しかしながら、画像拡大処理において、図 40 Bに示すように、拡大率を、ある水平ラインを境にして、不連続に変化させることも考えられる。

具体的には、図 4 0 Cに示すように、第 M水平ラインより上方に位置する水平ライン（第 M水平ラインを含める）に対して、所定の 1より大きい拡大率を設定しておき、また、第 M水平ラインより下方に位置する水平ラインに対しては、前記所定の拡大率とは異なる値の拡大率（図 4 0 Bの場合、拡大率二 1より、拡大処理しないことになる）を設定しておく。なお、このように、拡大率を不連続にした場合の処理例を、図 40 Bに示す。また、図 4 O Aに、拡大前の原画像を示す。

このように、特定の水平ラインより上方に位置する水平ラインに対しては、ある所定の拡大率で拡大し、下方に位置する水平ラインには、拡大処理を行わないようにすると遠方の白線を正確、かつ確実に認識できることとなる。なお、特定の水平ラインは、いずれかの拡大率が設定されるようにしておけば良い。

この方法によれば、各水平ライン毎に拡大率を計算する方法に比べ、計算量を大幅に減らすことが可能である。

また、拡大率を変化させる水平ライン、その拡大率の設定法には、次のようなものが考えられる。最も簡単な方法としては、拡大率を変化させる水平ライン、および、その拡大率を予め設定しておき、これを参照して、画像ズーム回路 2 0 0 8が画像拡大処理を行なうことが、挙げられる。

また、拡大率のみ固定とし、拡大率を切り換える水平ラインを 2の水平ラインでの車線幅が所定幅となる水平ラインで行うように、拡大率を変化させる水平ラィンを可変にする方法も考えられる。

なお、ズーム中心座標は、図 4 1 A〜4 1 Cに示すように、拡大率を変化させる水平ラインにおける左右車線に挟まれた自車走行レーンの中心位置を採用すれば良い。

以上述べてきたように、本実施例によれば、画像を拡大する処理によって、簡易な構成で、遠方の車線の認識を正確に行なうことを可能にする装置を実現できる。

以上述べたように、本実施例によれば、撮影装置によって撮影された画素情報を、水平方向に拡大する処理を行なうことによって、簡易な構成で、広い視野を確保しながら遠方の走行路に対しても車線を正確に認識できる装置を実現することが可能となる。

Claims

請求の範囲

1. 画像を撮像し、画像情報を得るための撮像手段と、

該撮像手段により撮像して得た画像情報を 1ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、該特定の色を有する画素をエッジ画素として抽出するエツジ画素抽出手段と、

抽出したェッジ画素を、直線を構成するように結んで構成される線画像を求める線画像抽出手段と、

抽出した複数の線画像のうちから、二つの線画像を、予め定めた規則によって選択する線画像選択手段と、を備える画像処理装置。

2. 車両に搭載され、車両前方の画像を撮像し、画像情報を得るための撮像手段と、

該撮像手段により撮像して得た画像情報を 1ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、該特定の色を有する画素をエッジ画素として抽出するエッジ画素抽出手段と、

抽出したェッジ画素の位置座標を参照し、直線を構成するようにェッジ画素を分類することを想定したとき、各分類に対応するェッジ画素を結んで構成される直線を、候補車線として求める候補車線抽出手段と、

候補車線のうちから、車両前方の左車線および右車線を選択するための車線選択手段と、を備える画像処理装置。

3. 前記車線選択手段は、一方の車線を選択する際に、前方画像情報の中心垂直線を想定したとき、該中心垂直線の左、右いずれかにおいて、最も多くのエツジ画素を有して構成される候補車線を、車線として選択する手段を有する、請求項 2の画像処理装置。

4. 前記車線選択手段は、左車線および右車線を選択する際に、特定の配置関係を成立させる 2つの候補車線を、左車線および右車線として選択する手段を有する、請求項 2の画像処理装置。

5. 前記車線選択手段は、左車線および右車線を選択する際に、前方画像情報の水平方向に平行な、特定の長さを有する特定の水平線を想定したとき、該水平線の両端に接するように配置する、 2つの候補車線を、左車線および右車線として選択する手段を有する、請求項 4の画像処理装置。

6. 前記車線選択手段は、前方画像情報の中心垂直線を想定したとき、該中心垂直線の左、右いずれかにおいて、最も多くのエッジ画素を有して構成される候捕車線を、一方の車線即ち選択車線として選択し、さらに、他方の車線を選択する際に、前方画像情報の水平方向に平行な、特定の長さを有する特定の水平線を想定したとき、該水平線の一端に前記選択車線が接したとき、他端に接するように配置する候補車線を、他方の車線として選択する手段を有する、請求項 2の画像処理装置。

7. 走行路面のカラー画像データに基づいて、走行路面に施されている車線を識別する画像処理装置において、

車両の走行方向の前方を撮影するカラ一撮像手段と、

該カラー撮像手段で撮像した画像データを 1 ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、該特定の色を有する画素をエッジ画素として求め、該求めたエッジ画素から所定の抽出色条件を満たす画素を抽出するエッジ画素抽出手段と、

上記画像データによる画面内から、決定されている画素の色データをサンプリングする色サンプリング手段と、

サンプリングされた色データに基づいて上記抽出色条件を決定する抽出条件決定手段と、

抽出したエッジ画素を直線を構成するように結んで構成される線画像を車線として求める線画像抽出手段と、を備える画像処理装置。

8. 上記抽出条件決定手段が、認識した車線を表わす路面データに基づいて上記サンプル画素位置を決定する手段を有する請求項 7の画像処理装置。

9. 更に、上記サンプリングされた色データに基づいて走行路面の照明環境を判断する手段と、

この判断結果により上記カラ一撮像手段が有する光学系の絞りの大きさと、画像データ処理系での色変換ゲインを制御する手段とを備える、請求項 7の画像処

10. 更に、サンプリングされた色データの状態と抽出色条件を満たす画素の数に応じて、上記抽出色条件を更新する手段を備える請求項 7の画像処理装置。

11. 画像を撮像し、画像情報を得るための撮像手段と、

撮像した画像情報の大きさを拡大する画像拡大処理手段と、

拡大した画像情報を水平 1 ライン毎に走査し、ある特定の色と、それ以外の色との境界を調べ、その境界となる画素をエッジ画素として抽出し、抽出したエツジ画素の位置座標を求めるエツジ画素座標検出手段と、

抽出したェッジ画素の位置座標を、拡大処理前の座標に変換するエツジ画素座標変換手段と、

エッジ画素の変換座標を参照し、エッジ画素を、直線を構成するように結んで構成される線画像を求める線画像抽出手段と、

各水平ライン毎に定めた、画像情報の拡大量である拡大率、および、画像情報の拡大処理を行なう基準位置を示す拡大中心座標を記憶する拡大条件記憶手段とを備え、

前記画像拡大処理手段は、前記拡大条件記憶手段の記憶内容を参照し、各水平ライン毎に、前記拡大中心座標を中心として、前記拡大率で示される倍率で、画像情報の大きさを拡大する手段を有する画像処理装置。

12. 車両に搭載され、車両前方の画像を撮像し、画像情報を得るための撮像手段と、

抽出したエツジ画素の位置座標を、拡大処理前の座標に変換するエツジ画素座標変換手段と、

ェッジ画素の変換座標を参照し、ェッジ画素を、直線を構成するように結んで構成される左右車線を求める車線抽出手段と、各水平ライン毎に定めた、画像情報の拡大量である拡大率、および、画像情報の拡大処理を行なう基準位置を示す拡大中心座標を記憶する拡大条件記憶手段とを備え、前記画像拡大処理手段は、前記拡大条件記憶手段の記憶内容を参照し、各水平ライン毎に、前記拡大中心座標を中心として、前記拡大率で示される倍率で、画像情報の大きさを拡大する手段を有する画像処理装置。

13. 前記画像拡大処理手段は、撮影した画像情報の大きさを、水平方向にのみに拡大する手段を有する請求項 1 1又は 1 2の画像処理装置。

14. 前記拡大条件記憶手段は、拡大率を、各水平ライン毎に、連続して変化するような値にして予め記憶する、請求項 1 し 1 2又は 1 3の画像処理装置。

15. 前記車線抽出手段は、前の車線抽出周期で処理して得られた抽出車線の座標データに基づいて、各水平ライン毎の拡大率および拡大中心座標を求め、前記拡大条件記憶手段に記憶する手段を有する請求項 1 2又は 1 3の画像処理装置。

16. 前記車線抽出手段は、予め定められた画面幅を、各水平ラインにおける左右車線で挟まれる自車走行レーンの幅で除した値に基づき、各水平ライン毎の拡大率を求め、前記拡大条件記憶手段に記憶する手段を有する請求項 1 2又は 1 3 の画像処理装置。

17. 前記車線抽出手段は、各水平ラインにおける左右車線で挟まれる自車走行レーンの中心位置を、各水平ライン毎の拡大中心座標として求め、前記拡大条件記憶手段に記憶する手段を有する請求項 1 2、 1 3又は 1 4の画像処理装置。

18. 前記拡大条件記憶手段は予め記憶しておく、拡大率として、ある特定の水平ラインより垂直方向において上に存在する水平ラインに対する拡大率の値と、前記ある特定の水平ラインを含み、該水平ラインより垂直方向において下に存在する水平ラインに対する拡大率の値とを、異ならせる、請求項 1 1、 1 2又は 1 3の画像処理装置。