JP5361541B2 - 標識認識装置 - Google Patents

Description

本発明は、車両の走行中に道路標識を認識して、運転者に提示するための標識認識装置に関するものである。

従来の標識認識装置は、車両走行中に車載カメラで撮像した画像から道路標識を認識して、カーナビゲーション装置に認識した道路標識を画面表示させることにより、運転者に通知している。例えば、特許文献１の「道路標識等表示装置及び道路標識等画像の画像表示方法」では、車載カメラで撮像した画像から道路標識を認識してカーナビゲーション装置に画面表示し、認識した道路標識の認識位置からの走行距離が指定値を超えた場合、認識した時刻からの経過時間が指定値を超えた場合、又は運転者から指示があった場合に、その画面表示を終了する。

特開２００５−４４１０号公報

従来の標識認識装置は以上のように構成され、認識した道路標識に対し、走行距離又は経過時間により道路標識の有効範囲を判定してカーナビゲーション装置への表示／非表示を切り替えていた。このため、補助標識による有効時間指定や車種指定がある場合、急カーブや線路予告等、前方に存在する特定箇所を示す予告標識がある場合等においては、これらの標識を考慮しないので道路標識の有効範囲を正しく判定することができないという課題があった。また、道路標識の有効範囲は、標識位置からの距離ではなく、道路区間数で定義されているため、従来の方法では、正確な有効範囲の判定を行うことはできない。また、車両が右左折することで連続した道路区間から外れた場合には、認識した道路標識の有効範囲からも外れるので、正しい判定を行うことができないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、認識した道路標識の有効範囲を正しく判定して、運転者への正確な道路標識の提示を可能とする標識認識装置を提供することを目的とする。

この発明に係る標識認識装置は、標識と補助標識が示す有効範囲条件を予め格納している標識有効範囲データ記録部と、車両前方を撮像した画像を用いて、標識と補助標識を認識する標識認識部と、当該車両の情報、地図情報、及び標識有効範囲データ記録部内の有効範囲条件を用いて、当該車両が、標識認識部で認識した標識と補助標識で指定された有効範囲にいるか否かを判定する標識有効範囲判定部とを備え、標識有効範囲判定部は、標識認識部で認識した標識と補助標識で指定された有効範囲の開始点の位置を判定し、当該車両が標識と補助標識の有効範囲に入ると標識と補助標識の認識結果を有効標識格納バッファに格納する開始点位置判定部と、有効標識格納バッファに格納された標識と補助標識で指定された有効範囲の終了点の位置を判定し、当該車両が標識と補助標識の有効範囲から外れると標識と補助標識の認識結果を有効標識格納バッファから削除する終了点位置判定部とを有し、標識有効範囲データ記録部は、少なくとも車線数が増減する道路区間及び道路の分岐点で区切られている道路区間の単位で、標識の種類毎に予め設定された有効範囲を示す有効道路区間数を格納しており、終了点位置判定部は、車両の現在位置を示す車両情報を用いて、有効標識格納バッファに格納された標識の開始点から現在位置までの走行道路区間数を算出し、当該走行道路区間数が標識が示す有効道路区間数を超えると当該車両が標識の有効範囲から外れたと判定するようにしたものである。

この発明によれば、標識及び補助標識が示す有効範囲条件を用いて、車両が、認識した標識と補助標識で指定された有効範囲にいるか否かを判定するようにしたので、認識した道路標識の有効範囲を正しく判定することができ、運転者への正確な道路標識の提示が可能となる。

この発明の実施の形態１に係る標識認識装置の構成を示すブロック図である。 図１に示す標識認識装置の動作を示すフローチャートである。 図１に示す画像取得部が取得した道路画像の一例を示す図である。 図１に示す標識認識部の認識結果の一例を示す説明図である。 図１に示す標識有効範囲データ記録に格納されている有効範囲データを示す説明図であり、図５（ａ）は標識の有効範囲データ、図５（ｂ）は補助標識の有効範囲データである。 道路区間数の計算方法を説明するための図である。 図１に示す開始点位置判定部の開始点位置判定の詳細を示すフローチャートである。 図１に示す車両情報取得部が取得した車両情報の一例を示す説明図である。 図１に示す有効標識格納バッファが保持する現在有効な道路標識の情報を示す説明図である。 図１に示す終了点位置判定部の終了点位置判定の詳細を示すフローチャートである。 図９に示す有効標識格納バッファの“走行道路区間数”に対して更新を行った後の状態を示す説明図である。 実施の形態２に係る標識有効範囲データ記録部に格納されている有効範囲データを示す説明図であり、図１２（ａ）は標識の有効範囲データ、図１２（ｂ）は補助標識の有効範囲データである。 実施の形態２による終了点位置判定部の終了点位置判定を説明するための図であり、“先行距離”に重みαを用いて、警戒標識の有効範囲を変更した例を示す。 実施の形態２による終了点位置判定部の終了点位置判定を説明するための図であり、基準位置と指定距離βを用いて、警戒標識の有効範囲を変更した例を示す。 実施の形態３に係る終了点位置判定部の終了点位置判定を説明するための図であり、標識の終了点位置を示す補助標識を用いて終了点位置を判定する例を示す。 実施の形態３に係る終了点位置判定部の終了点位置判定を説明するための図であり、標識の有効範囲を示す補助標識を用いて終了点位置を判定する例を示す。 実施の形態４に係る標識有効範囲データ記録部に格納されている有効範囲データを示す説明図であり、図１７（ａ）は標識の有効範囲データ、図１７（ｂ）は補助標識の有効範囲データである。 実施の形態４に係る終了点位置判定部の終了点位置判定を説明するための図であり、車両センサ終了条件を用いて標識の終了点位置を判定する例を示す。

実施の形態１．
図１は、この発明の実施の形態１に係る標識認識装置の構成を示すブロック図である。標識認識装置は車両に搭載され、この標識認識装置の出力は、カーナビゲーション装置の表示器に画面表示（又は音声出力）するために利用される。

図１に示す標識認識装置において、画像取得部１は、車載カメラで車両前方を撮影した画像の取り込みを行う。標識認識部２は、画像取得部１が取得した画像情報から道路標識（標識と補助標識）を認識する。地図情報取得部３は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から受信したデータ等に基づく自車両の位置と地図データとから、車両周辺の道路情報、構造物情報等の地図情報を取得する。車両情報取得部４は、ＧＰＳ衛星からの受信データに基づく自車両の位置、車両に設置された各種センサの出力に基づくブレーキ状態等の車両状態、車種の情報等の車両情報を取得する。

標識有効範囲データ記録部７には、標識及び補助標識の種類毎に、有効範囲条件を示すデータが予め格納されている。標識有効範囲判定部５は、地図情報取得部３の地図情報と車両情報取得部４の車両情報と標識有効範囲データ記録部７の情報とを用いて、車両が標識認識部２の認識した道路標識の有効範囲内にいるか否かの判定を行い、有効（即ち車両が道路標識の有効範囲内にいる）と判定した道路標識の情報を有効標識格納バッファ６へ格納させる。有効標識格納バッファ６は、標識有効範囲判定部５が有効と判定した道路標識の情報を必要に応じて格納する。

標識有効範囲判定部５は、開始点位置判定部８と終了点位置判定部９からなる。開始点位置判定部８は、車両情報取得部４の車両情報と標識有効範囲データ記録部７の情報とを用いて、標識認識部２が認識した道路標識の有効範囲の開始点を車両が越えたか否か判定する。終了点位置判定部９は、地図情報取得部３の地図情報と車両情報取得部４の車両情報と標識有効範囲データ記録部７の情報とを用いて、標識認識部２が認識した道路標識の有効範囲の終了点を車両が越えたか否か判定する。

次に、標識認識装置の動作を説明する。図２は、図１に示す標識認識装置の動作を示すフローチャートである。
ステップＳＴ１０において、画像取得部１は、車載カメラで撮影された車両前方の道路画像の読み込みを行う。図３は、画像取得部１が取得した道路画像の一例を示す図である。以下、図３の道路画像を用いて説明する。

ステップＳＴ２０、標識有効範囲判定部５は、有効標識格納バッファ６に現在有効な標識と補助標識の情報が格納されているか探索する。格納されていれば（ステップＳＴ２０“Ｙｅｓ”）、続くステップＳＴ３０にて終了点位置判定部９が終了点位置判定を行う。格納されていなければ（ステップＳＴ２０“Ｎｏ”）、標識有効範囲判定部５は処理をステップＳＴ４０へ進める。ここでは、まだ有効標識格納バッファ６に標識と補助標識の情報が格納されていないので、ステップＳＴ４０に進む。ステップＳＴ３０の処理は後述する。

ステップＳＴ４０において、標識認識部２は、入力された道路画像から標識と補助標識の認識を行い、標識有効範囲データ記録部７を参照して認識結果を生成する。図４は、図３の道路画像から標識認識を行った結果を示す説明図である。また、図５は、標識有効範囲データ記録部７に格納されている有効範囲データを示す説明図であり、図５（ａ）は標識の有効範囲データ、図５（ｂ）は補助標識の有効範囲データである。
図５に示すように、標識と補助標識とは、それぞれ固有のＩＤ番号で管理され、図５（ａ）の標識テーブルには“標識ＩＤ”毎に“標識分類”、“属性値”、“有効道路区間数”、“規定サイズ”、“画像パターン”の情報が予め格納されている。また、図５（ｂ）の補助標識テーブルには“補助標識ＩＤ”毎に“種類”、“属性値”、“画像パターン”が予め格納されている。なお、“規定サイズ”とは、“画像パターン”の縦×横の画素数であり、“有効道路区間数”とは、標識が有効な道路区間数を示す値である。図６は、道路区間数の計算方法を説明するための図であり、道路区間は車線数が増減する区間、道路の分岐点等で区切られている。図６のその他の説明は後述する。

標識認識部２は、図４に示すように、道路画像上から破線枠の標識１０と補助標識１１を認識し、標識１０及び補助標識１１の画像を標識有効範囲データ記録部７の“画像パターン”と照合して一致する標識ＩＤ及び補助標識ＩＤを取得する。そして、図４中の表のように、標識１０と補助標識１１それぞれのＩＤ及びサイズの情報を含む認識結果を生成する。

ステップ５０において、標識認識部２は先のステップＳＴ４０で道路標識を認識できた場合には（ステップＳＴ５０“Ｙｅｓ”）、続くステップＳＴ６０へ処理を進め、道路標識が認識できなかった場合には（ステップＳＴ５０“Ｎｏ”）、処理を再びステップＳＴ１０に戻す。

ステップＳＴ６０において、標識有効範囲判定部５は、有効標識格納バッファ６に現在有効な標識と補助標識の情報が格納されているか探索する。格納されていれば（ステップＳＴ６０“Ｙｅｓ”）、続くステップＳＴ８０にて終了点位置判定部９が終了点位置判定を行う。格納されていなければ（ステップＳＴ６０“Ｎｏ”）、標識有効範囲判定部５は処理をステップＳＴ７０へ進める。ここでは、まだ有効標識格納バッファ６に標識と補助標識の情報が格納されていないので、ステップＳＴ７０に進む。ステップＳＴ８０の処理は後述する。

ステップＳＴ７０において、開始点位置判定部８が開始点位置判定を行う。図７は、開始点位置判定部８の開始点位置判定の詳細を示すフローチャートである。
ステップＳＴ７１において、開始点位置判定部８は、先ず、車両情報取得部４から車両情報を取得する。図８は、車両情報取得部４がＧＰＳ、各種車両センサ等から取得した車両情報の一例を示す説明図であり、車両情報には例えば“車種”、“現在日時”、“現在位置”、“車両向き”、“クラクション”の状態、“ブレーキ”の状態がある。

ステップＳＴ７２において、開始点位置判定部８は、標識認識部２が認識した標識ＩＤをもとに、標識有効範囲データ記録部７の標識の有効範囲データから対応する標識ＩＤの“規定サイズ”を取得し、この“規定サイズ”と標識認識部２が認識したサイズとを比較する。また、開始点位置判定部８は、標識認識部２が認識した補助標識ＩＤをもとに、標識有効範囲データ記録部７の補助標識の有効範囲データから対応する補助標識ＩＤの“種類”及び“属性値”を取得し、ステップＳＴ７１で取得した車両情報と比較する。

認識した標識のサイズが“規定サイズ”以上、かつ、車両情報が有効範囲データの条件に合致していた場合、開始点位置判定部８は車両が標識と補助標識の有効範囲に入ったと判定する（ステップＳＴ７２“Ｙｅｓ”）。ここでは、標識認識部２が認識した標識１０のサイズ「１００×１００」が、標識ＩＤ「２」の“規定サイズ”「８０×８０」以上であり、かつ、車両情報取得部４が取得した車両情報の“車種”「トラック」が、補助標識ＩＤ「６」の“車種”「トラック」と合致するため、開始点位置の条件に一致する。

ステップＳＴ７３において、開始点位置判定部８は、標識認識部２で認識した標識ＩＤと、補助標識ＩＤと、ステップＳＴ７１で取得した“現在位置”情報とを、現在有効な道路標識の情報として有効標識格納バッファ６に格納する。図９は、有効標識格納バッファ６が保持する道路標識の情報を示す説明図である。“標識／補助標識ＩＤ”は、標識認識部２で認識した標識及び補助標識の標識ＩＤ及び補助標識ＩＤである。“登録位置”は、車両情報取得部４から取得した車両情報中の“現在位置”情報である。“走行道路区間数”は、現在有効な道路標識の情報が有効標識格納バッファ６に格納されたときから、車両が走行した道路区間数を表しており、初期値は０とする。
開始点位置判定部８は、有効標識格納バッファ６に現在有効な道路標識の情報を格納した後、開始点位置判定を終了する。

一方、条件が一致しない場合、開始点位置判定部８は車両が標識と補助標識の有効範囲に入っていないと判定して（ステップＳＴ７２“Ｎｏ”）、有効標識格納バッファ６に道路標識の情報を格納させずに開始点位置判定を終了する。

図２のステップＳＴ７０において有効標識格納バッファ６に現在有効な道路標識の情報が格納された場合、処理は、再びステップＳＴ１０に戻って標識認識部２に新たな道路画像が入力され、ステップＳＴ２０で標識有効範囲判定部５が有効標識格納バッファ６に道路標識の情報が格納されていることを確認して、ステップＳＴ３０に進む。

ステップＳＴ３０において、終了点位置判定部９が終了点位置判定を行う。図１０は、終了点位置判定部９の終了点位置判定の詳細を示すフローチャートである。
ステップＳＴ３１において、終了点位置判定部９は、先ず、地図情報取得部３から車両周辺の地図情報を、車両情報取得部４から車両情報をそれぞれ取得する。

ステップＳＴ３２において、終了点位置判定部９は、有効標識格納バッファ６に格納されている“登録位置”と、車両情報中の“現在位置”情報と、地図情報とから、車両が走行した道路区間数を算出する。図６において、車両が通過した道路区間の区切り目を走行道路区間数とすると、“登録位置”１２から“現在位置”１３までの走行道路区間数は２となる。

終了点位置判定部９は、算出した走行道路区間数と、有効標識格納バッファ６に格納された“走行道路区間数”とを比較して変更があれば（ステップＳＴ３２“Ｙｅｓ”）、続くステップＳＴ３３で有効標識格納バッファ６の“走行道路区間数”を更新する。図１１は、図９に示す有効標識格納バッファ６の“走行道路区間数”に対して更新を行った後の状態を示す説明図である。
一方、変更がなければ（ステップＳＴ３２“Ｎｏ”）、終了点位置判定部９は有効標識格納バッファ６の更新を行わずに処理を終了する。

ステップＳＴ３４において、終了点位置判定部９は、有効標識格納バッファ６に格納されている標識ＩＤをもとに、標識有効範囲データ記録部７からの“有効道路区間数”を取得し、“有効道路区間数”と“走行道路区間数”を比較する。
終了点位置判定部９は、“走行道路区間数”が“有効道路区間数”以上であれば、有効標識格納バッファ６に格納されている現在有効な道路標識の有効範囲の終了位置であると判定する（ステップＳＴ３４“Ｙｅｓ”）。ここでは、現在有効な道路標識である有効標識ＩＤ「１」（標識ＩＤ「２」）の“走行道路区間数”「２」が、標識有効範囲データ記録部７の標識ＩＤ「２」の“有効道路区間数”「１」以上であるため、終了点位置の条件と一致する。
終了点位置判定部９は、ステップＳＴ３５において、車両が有効範囲の終了位置を過ぎたと判定された有効標識ＩＤの情報を有効標識格納バッファ６から削除して、終了点位置判定を終了する。

一方、条件が一致しない場合、終了点位置判定部９は車両が標識と補助標識の有効範囲から出ていないと判定して（ステップＳＴ３４“Ｎｏ”）、終了点位置判定を終了する。

なお、ステップＳＴ８０は、ステップＳＴ３０と同様に終了点位置判定部９が図１０の処理を行えばよいので説明を省略する。

なお、上記の説明では、図７のステップＳＴ７２において、開始点位置判定部８が、標識有効範囲データ記録部７の標識の“規定サイズ”と標識認識部２で取得したサイズとを比較することで、標識が有効範囲の開始点位置かどうかを判定するようにしたが、サイズ比較を行わずに、標識を認識したときの車両の“現在位置”を標識の有効範囲の開始点位置とするようにしてもよい。また、標識認識部２でいったん認識された標識が、車載カメラの撮影範囲から外れて認識されなくなった場合に、そのときの“現在位置”を標識の有効範囲の開始点位置とするようにしてもよい。

また、上記の説明では、図７のステップＳＴ７２において、開始点位置判定部８が、車両情報取得部４で取得した車両情報の“車種”と、標識有効範囲データ記録部７に格納されている補助標識の“車種”を比較することで、有効範囲の開始点位置の条件を満たしているかを判定するようにしたが、これに限定されるものではない。例えば、開始点位置判定部８が、車両情報の“現在日時”と標識有効範囲データ記録部７の補助標識の“時間”を比較し、“現在日時”が補助標識の指定する“時間”範囲内か否かで、開始点位置の条件を満たしているかを判定するようにしてもよい。また、これらの条件を組み合わせて判定するようにしてもよい。

また、上記の説明では、図１０のステップＳＴ３４において、終了点位置判定部９が、標識有効範囲データ記録部７の“有効道路区間数”と有効標識格納バッファ６に格納されている標識の“走行道路区間数”を比較することで、標識の有効範囲の終了点位置を判定するようにしたが、これに限定されるものではない。例えば、終了点位置判定部９が、車両情報取得部４から得られる車両の“現在位置”や“車両向き”、地図情報取得部３から得られる地図情報をもとに、車両が道路を曲がる等して連続した道路区間から外れたか判定し、外れたときを標識の有効範囲の終了点位置と判定するようにしてもよい。また、これらの条件を組み合わせて判定するようにしてもよい。
あるいは、終了点位置判定部９は、有効標識格納バッファ６に格納されている標識の“属性値”を標識有効範囲データ記録部７から取得して、その“属性値”と同じ属性値を持つ標識が標識認識部２から得られた場合に、標識の有効範囲の終了点位置と判定するようにしてもよい。

以上のように、この実施の形態１によれば、標識認識装置が、標識及び補助標識が示す有効道路区間数の有効範囲条件を予め格納している標識有効範囲データ記録部７と、車両前方を撮像した道路画像を用いて、標識と補助標識を認識する標識認識部２と、車両の現在位置、車種、状態等を示す車両情報を取得する車両情報取得部４と、車両周辺の地図情報を取得する地図情報取得部３と、標識有効範囲データ記録部７の有効範囲条件、車両情報及び地図情報を用いて、当該車両が、標識認識部２で認識した標識と補助標識で指定された有効範囲にいるか否かを判定する標識有効範囲判定部５を備えるように構成した。このため、認識した道路標識の有効範囲を、道路区間数単位で正確に判定することができる。また、補助標識が指示する条件を考慮して、より正確に有効範囲を判定することができる。よって、この標識認識装置による道路標識の有効範囲判定結果を用いて、運転者への正確な道路標識の提示が可能となる。

実施の形態２．
本実施の形態２では、有効範囲判定対象の道路標識の例として、急カーブ予告、Ｔ字路予告、線路予告等の車両前方に存在する道路状況を予告する警戒標識を用いる。
また、警戒標識の場合、上記実施の形態１の標識有効範囲データ記録部７が予め格納している有効範囲データ（図５に示す）に、新たに“先行距離”情報を追加してもよい。図１２（ａ）に、実施の形態２に係る標識有効範囲データ記録部７が格納している標識の有効範囲データを示し、図１２（ｂ）に補助標識の有効範囲データを示す。この“先行距離”は、警戒標識の位置から、この警戒標識が指し示す急カーブ、Ｔ字路、線路、踏み切り、学校・幼稚園等の特定箇所（以下、基準位置と称す）までの距離である。

本実施の形態２に係る標識認識装置は、上記実施の形態１の標識認識装置と同一の構成であるが、終了点位置判定部９の動作が異なる。以下の説明では、図１のブロック図及び図２のフローチャートを援用して、実施の形態１と本実施の形態２とで動作が異なる部分を中心に説明する。

図２に示すステップＳＴ３０、又はステップＳＴ８０において、終了点位置判定部９は終了点位置判定を開始する。終了点位置判定部９は、図１０に示すステップＳＴ３１〜ＳＴ３３，ＳＴ３５では上記実施の形態１と同一の処理を行い、ステップＳＴ３４の処理のみが異なる。
ステップＳＴ３４において、終了点位置判定部９は、有効標識格納バッファ６に格納されている標識の“登録位置”と、車両情報取得部４から取得する車両情報中の“現在位置”をもとに、車両の走行距離を計算して、この走行距離と、図１２に示す標識有効範囲データ記録部７に格納されている“先行距離”とを比較して、走行距離が“先行距離”より大きければ標識の有効範囲の終了点位置と判定する（ステップＳＴ３４“Ｙｅｓ”）。即ち、終了点位置判定部９は車両が有効範囲の終了位置を過ぎたと判定して、続くステップＳＴ３５に進む。
一方、走行距離が“先行距離”以下であれば、終了点位置判定部９は車両が標識と補助標識の有効範囲から出ていないと判定して（ステップＳＴ３４“Ｎｏ”）、終了点位置判定を終了する。

なお、上記の説明では、図１０のステップＳＴ３４において、終了点位置判定部９が、計算で求めた車両の走行距離と標識有効範囲データ記録部７に格納されている“先行距離”を比較することで、標識の有効範囲の終了点位置を判定するようにしたが、この“先行距離”の有効範囲、即ち終了点の位置を、重みαを用いて制御するようにしてもよい。
図１３は、実施の形態２による終了点位置判定部９の終了点位置判定を説明するための図であり、“先行距離”に重みαを用いて、警戒標識の有効範囲を変更した例を示す。図１３の例では、標識認識装置において、車両１４の前方にある警戒標識１５を標識認識部２が認識して、開始点位置判定部８が警戒標識１５を開始点位置に用いて車両１４が警戒標識１５の有効範囲に入ったか否か判定し、終了点位置判定部９が“先行距離”と重みαで表される終了点位置を用いて車両１４が警戒標識１５の有効範囲を出たか否か判定する。

また、上記の説明では、図１０のステップＳＴ３４において、終了点位置判定部９が、有効標識格納バッファ６に格納されている標識の“登録位置”と車両情報取得部４で取得した車両情報の“現在位置”とをもとに計算した走行距離を、“先行距離”と比較することで、車両が標識の有効範囲を出たか否か判定するようにしたが、これに限定されるものではない。例えば、終了点位置判定部９が、車両情報の“現在位置”と地図情報取得部３で取得した地図情報とから、有効標識格納バッファ６に格納されている警戒標識が指し示す基準位置を取得して、車両の“現在位置”がこの基準位置を中心とした指定距離βの範囲外に出た場合に、車両が警戒標識の有効範囲を出たと判定するようにする。
図１４は、実施の形態２による終了点位置判定部９の終了点位置判定を説明するための図であり、基準位置と指定距離βを用いて、警戒標識の有効範囲を変更した例を示す。図１４の例では、終了点位置判定部９が、車両情報の“現在位置”に基づいて、警戒標識１５の“属性値”が指し示す学校・幼稚園の位置を地図情報から取得して基準位置に用い、この基準位置を中心とした指定距離βを設定する。この場合には、基準位置を中心にして円で示された範囲を警戒標識１５の有効範囲とし、開始点位置判定部８は警戒標識１５の位置を開始点位置に用いてもよいし、この円と走行中の道路の接点を開始点位置１６に用いてもよい。

以上のように、この実施の形態２によれば、標識有効範囲データ記録部７が、標識及び補助標識が示す有効範囲条件として距離に関する情報を予め格納し、標識有効範囲判定部５が、標識有効範囲データ記録部７の距離に関する情報を用いて、車両が標識認識部２で認識した標識と補助標識で指定された有効範囲にいるか否かを判定するように構成した。このため、車両前方に存在する道路状況を予告する警戒標識の場合にも、認識した道路標識の有効範囲を正確に判定することができる。よって、この標識認識装置による道路標識の有効範囲判定結果を用いて、運転者への正確な道路標識の提示が可能となる。

実施の形態３．
本実施の形態３では、有効範囲判定対象の道路標識の例として、特定の標識に対する有効範囲の終了を示す補助標識を有する道路標識を用いる。

本実施の形態３に係る標識認識装置は、上記実施の形態１の標識認識装置と同一の構成であるが、終了点位置判定部９の動作が異なる。以下の説明では、図１のブロック図及び図２のフローチャートを援用して、実施の形態１と本実施の形態３とで動作が異なる部分を中心に説明する。なお、本実施の形態３の標識有効範囲データ記録部７には、図５に示す標識と補助標識の有効範囲データが格納されているものとする。

図１５は、実施の形態３に係る終了点位置判定部９の終了点位置判定を説明するための図であり、標識１７，１９の終了点位置を示す補助標識２０を用いて終了点位置を判定する例を示す。標識認識部２が標識１７の標識ＩＤと補助標識１８の補助標識ＩＤを認識して、開始点位置判定部８は車両１４が標識１７の有効範囲内に入っているものと判定して、既に有効標識格納バッファ６に標識１７と補助標識１８のＩＤが格納されているものとする（図２のステップＳＴ７０）。そして、新たに、標識認識部２が標識１９と補助標識２０を認識して、ステップＳＴ８０の終了点位置判定が行われる状況である。

終了点位置判定部９は、ステップＳＴ８０として図１０に示すステップＳＴ３１〜ＳＴ３３を行い、続くステップＳＴ３４において、有効標識格納バッファ６に格納されている補助標識１８の補助標識ＩＤから標識有効範囲データ記録部７に格納されている補助標識１８の“属性値”「開始」を取得し（図５（ｂ）参照）、新たに認識した補助標識２０の補助標識ＩＤから標識有効範囲データ記録部７に格納されている補助標識２０の“属性値”「終了」を取得する。そして、終了点位置判定部９は、両“属性値”を照合して、両“属性値”が対応関係にあれば、終了点位置判定部９は標識１９の有効範囲の終了点位置と判定する（ステップＳＴ３４“Ｙｅｓ”）。この場合「開始」と「終了」で対応しているので、標識１９と補助標識２０が終了点位置となる。
一方、両“属性値”が対応関係になければ、終了点位置判定部９は車両１４が標識１７，１９の有効範囲から出ていないと判定して（ステップＳＴ３４“Ｎｏ”）、終了点位置判定を終了する。

なお、図５（ｂ）では補助標識ＩＤ「１」及び「２」の“属性値”が「開始」と「終了」で対応関係にあるが、図１２（ｂ）に示すように単に「区間」である場合には、両“属性値”が一致していれば、有効標識格納バッファ６に格納されている標識に対する有効範囲の終了点位置であると判定するようにしてもよい。

また、上記の説明では、図１５に示すような、特定の標識に対し、補助標識が有効範囲の終了を示す場合の例を説明したが、図１６に示すような、特定の標識に対し、補助標識が標識位置からの有効範囲を示す場合であっても、終了点位置判定部９は終了点位置を判定することができる。
図１６は、実施の形態３に係る終了点位置判定部の終了点位置判定を説明するための図であり、標識２１の有効範囲を示す補助標識２２を用いて終了点位置を判定する例を示す。有効標識格納バッファ６に格納されている補助標識が図１６に示す補助標識２２の場合、終了点位置判定部９は、先ず、車両情報取得部４が取得した車両情報の“現在位置”と、有効標識格納バッファ６に格納されている“登録位置”とから、車両の走行距離を計算する。そして、終了点位置判定部９は、この走行距離と、標識有効範囲データ記録部７に格納されている補助標識２２の補助標識ＩＤの“属性値”「距離」（例えば補助標識ＩＤ３の“属性値”「１００」ｍ）とを比較して、走行距離が補助標識２０の示す距離より大きかった場合に、標識２１の有効範囲の終了点位置として判定する。

なお、上記の説明では、終了点位置判定部９は、標識有効範囲データ記録部７に格納されている補助標識の“属性値”に予め設定されている「距離」を用いて比較判定するようにしたが、車載カメラで撮影した画像から補助標識が示す距離を文字認識した結果を用いて比較判定するようにしてもよい。

以上のように、この実施の形態３によれば、標識有効範囲データ記録部７が、補助標識が示す有効範囲条件を予め格納し、標識有効範囲判定部５が、標識有効範囲データ記録部７の補助標識の有効範囲条件を用いて、車両が標識認識部２で認識した標識と補助標識で指定された有効範囲にいるか否かを判定するように構成した。このため、認識した道路標識の有効範囲を、標識が示す情報に加え、補助標識が示す情報を用いて正確に判定することができる。よって、この標識認識装置による道路標識の有効範囲判定結果を用いて、運転者への正確な道路標識の提示が可能となる。

実施の形態４．
本実施の形態４では、道路標識の有効範囲の終了点位置の判定に、標識及び補助標識の情報だけでなく、車両に設置された各種センサの出力に基づくブレーキ状態等の車両状態の情報を用いる。このため、上記実施の形態１の標識有効範囲データ記録部７が予め格納している有効範囲データ（図５）に示すに、新たに“車両センサ終了条件”情報を追加する。この“車両センサ終了条件”は、条件を満たす場合に標識の有効範囲の終了点位置と判定するための、車両情報に基づく設定条件である。図１７（ａ）に、実施の形態４に係る標識有効範囲データ記録部７が格納している標識の有効範囲データを示し、図１７（ｂ）に補助標識の有効範囲データを示す。

本実施の形態４に係る標識認識装置は、上記実施の形態１の標識認識装置と同一の構成であるが、終了点位置判定部９の動作が異なる。以下の説明では、図１のブロック図及び図２のフローチャートを援用して、実施の形態１と本実施の形態４とで動作が異なる部分を中心に説明する。
図２に示すステップＳＴ３０、又はステップＳＴ８０において、終了点位置判定部９は終了点位置判定を開始する。終了点位置判定部９は、図１０に示すステップＳＴ３１〜３３，ＳＴ３５では上記実施の形態１と同一の処理を行い、ステップＳＴ３４の処理のみが異なる。

図１８は、実施の形態４に係る終了点位置判定部９の終了点位置判定を説明するための図であり、車両センサ終了条件を用いて規制標識２３の終了点位置を判定する例を示す。標識認識部２が規制標識２３の標識ＩＤを認識して、開始点位置判定部８は車両１４が有効範囲内に入っているものと判定して、既に有効標識格納バッファ６に規制標識２３のＩＤが格納されているものとする（図２のステップＳＴ７０）。

ステップＳＴ３４において、終了点位置判定部９は、有効標識格納バッファ６に格納されている有効範囲判定対象の規制標識２３の標識ＩＤを用いて、標識有効範囲データ記録部７から“車両センサ終了条件”を取得し、この条件と車両情報取得部４から得られる“クラクション”情報、“ブレーキ”情報とを照合する。終了点位置判定部９は、照合の結果、条件を満たした場合に、規制標識２３の有効範囲の終了点位置と判定する。

図１８において、規制標識２３は「止まれ」を指示する標識である。そこで、規制標識２３に対応する標識ＩＤの“車両センサ終了条件”を「ブレーキ＝ＯＮ」と設定しておく。規制標識２３の位置を開始点位置とした場合、車両１４がこの開始点位置に入ったと判定された後、終了点位置判定部９が、標識有効範囲データ記録部７に格納されている“車両センサ終了条件”「ブレーキ＝ＯＮ」を取得し、これと車両情報取得部４から得られる車両情報の“ブレーキ”情報とを照合し、運転者がブレーキを踏んだ（ＯＮ）という車両情報が得られた場合に、ブレーキを踏んだ地点を終了点位置に用いて、規制標識２３の有効範囲から外れたと判定する。なお、図１８に示す終了点は、上記実施の形態１の終了点位置判定部９が判定する、“有効道路区間数”に基づく終了点位置である。

以上のように、この実施の形態４によれば、標識有効範囲データ記録部７が、標識及び補助標識が示す有効範囲条件として標識の示す指示に対応した車両状態の条件を予め格納し、標識有効範囲判定部５が、標識有効範囲データ記録部７の車両状態の条件を用いて、車両が標識認識部２で認識した標識と補助標識で指定された有効範囲にいるか否かを判定するように構成した。このため、道路標識が示す指示が実施されたか否かに応じて、認識した道路標識の有効範囲を正確に判定することができる。よって、この標識認識装置による道路標識の有効範囲判定結果を用いて、運転者への正確な道路標識の提示が可能となる。

なお、上述した説明では、上記実施の形態１で示した構成に対して上記実施の形態２から上記実施の形態４までをそれぞれ適用する場合を示したが、これに限らず、上記実施の形態２から上記実施の形態４までの構成を適宜組み合わせたものであっても構わない。開始点位置判定部８の開始点位置判定の方法を併用した場合には、いずれかの方法によって判定された有効範囲の開始点位置を用いて車両が有効範囲内にいるか否か判断すればよい。また、同様に、終了点位置判定部９の終了点位置判定の方法を併用した場合には、標識認識装置がいずれかの方法によって判定された有効範囲の終了点位置を用いて車両が有効範囲内にいるか否か判断すればよい。

１ 画像取得部、２ 標識認識部、３ 地図情報取得部、４ 車両情報取得部、５ 標識有効範囲判定部、６ 有効標識格納バッファ、７ 標識有効範囲データ記録部、８ 開始点位置判定部、９ 終了点位置判定部、１０，１７，１９，２１ 標識、１１，１８，２０，２２ 補助標識、１２ 登録位置、１３ 現在位置、１４ 車両、１５ 警戒標識、１６ 開始点位置、２３ 規制標識。

Claims (13)

1. 標識と補助標識が示す有効範囲条件を予め格納している標識有効範囲データ記録部と、
   車両前方を撮像した画像を用いて、標識と補助標識を認識する標識認識部と、
   当該車両の情報、地図情報、及び前記標識有効範囲データ記録部内の有効範囲条件を用いて、当該車両が、前記標識認識部で認識した標識と補助標識で指定された有効範囲にいるか否かを判定する標識有効範囲判定部とを備え、
   前記標識有効範囲判定部は、
   前記標識認識部で認識した標識と補助標識で指定された有効範囲の開始点の位置を判定し、当該車両が前記標識と補助標識の有効範囲に入ると前記標識と補助標識の認識結果を有効標識格納バッファに格納する開始点位置判定部と、
   前記有効標識格納バッファに格納された前記標識と補助標識で指定された有効範囲の終了点の位置を判定し、当該車両が前記標識と補助標識の有効範囲から外れると前記標識と補助標識の認識結果を前記有効標識格納バッファから削除する終了点位置判定部とを有し、
   前記標識有効範囲データ記録部は、少なくとも車線数が増減する道路区間及び道路の分岐点で区切られている道路区間の単位で、標識の種類毎に予め設定された有効範囲を示す有効道路区間数を格納しており、
   前記終了点位置判定部は、車両の現在位置を示す車両情報を用いて、前記有効標識格納バッファに格納された標識の開始点から前記現在位置までの走行道路区間数を算出し、当該走行道路区間数が前記標識が示す有効道路区間数を超えると当該車両が前記標識の有効範囲から外れたと判定することを特徴とする標識認識装置。
2. 標識有効範囲データ記録部は、補助標識の種類毎に予め設定された、有効範囲を示す区間又は距離を格納しており、
   終了点位置判定部は、標識認識部が区間又は距離を示す補助標識を認識した場合に、車両の現在位置を示す車両情報を用いて、前記現在位置が前記補助標識が示す区間又は距離を超えると当該車両が有効標識格納バッファに格納された標識の有効範囲から外れたと判定することを特徴とする請求項１記載の標識認識装置。
3. 標識有効範囲データ記録部は、少なくとも車線数が増減する道路区間及び道路の分岐点で区切られている道路区間の単位で、標識の種類毎に予め設定された有効範囲を示す有効道路区間数、ならびに、補助標識の種類毎に予め設定された、有効範囲を示す区間又は距離を格納しており、
   終了点位置判定部は、車両の現在位置を示す車両情報を用いて、当該車両が道路を曲がって連続した道路区間から外れたと判断すると、当該車両が有効標識格納バッファに格納された標識又は補助標識の有効範囲から外れたと判定することを特徴とする請求項１記載の標識認識装置。
4. 終了点位置判定部は、標識認識部が特定の標識に対する有効範囲の終了を示す補助標識を認識した場合に、前記特定の標識に該当する標識が有効標識格納バッファに存在すれば、車両が前記特定の標識の有効範囲から外れたと判定することを特徴とする請求項１記載の標識認識装置。
5. 終了点位置判定部は、標識認識部が車両前方に存在する道路状況を予告する標識を認識した場合に、当該車両周辺の地図情報を用いて、前記標識が予告する道路状況が存在する基準位置を取得し、当該車両の現在位置を示す車両情報を用いて、当該車両が前記基準位置から所定距離外に出ると当該車両が前記標識の有効範囲から外れたと判定することを特徴とする請求項１記載の標識認識装置。
6. 標識有効範囲データ記録部は、標識の種類毎に、標識の示す指示に対応した車両状態の条件を予め格納しており、
   終了点位置判定部は、車両の状態を示す車両情報を用いて、当該車両の状態が、有効標識格納バッファに格納された標識の車両状態の条件を満たすと、当該車両が前記標識の有効範囲から外れたと判定することを特徴とする請求項１記載の標識認識装置。
7. 標識有効範囲データ記録部は、補助標識の種類毎に、属性情報を予め格納しており、
   終了点位置判定部は、標識認識部が認識した補助標識の属性情報と、有効標識格納バッファに格納された補助標識の属性情報とが一致すると、車両が前記有効標識格納バッファに格納された標識の有効範囲から外れたと判定することを特徴とする請求項１記載の標識認識装置。
8. 標識有効範囲判定部は、請求項１から請求項７のうちの少なくとも１項以上に記載の終了点位置判定部を有し、
   いずれかの終了点位置判定部が、車両が、有効標識格納バッファに格納された標識の有効範囲から外れたと判定した場合に、前記標識と補助標識の認識結果を前記有効標識格納バッファから削除することを特徴とする請求項１記載の標識認識装置。
9. 標識有効範囲データ記録部は、標識と補助標識の規定サイズを予め格納しており、
   開始点位置判定部は、標識認識部が認識した標識又は補助標識のサイズが前記規定サイズ以上の場合に、車両が、前記標識認識部が認識した標識又は補助標識の有効範囲に入ったと判定することを特徴とする請求項１から請求項８のうちのいずれか１項記載の標識認識装置。
10. 開始点位置判定部は、標識認識部がいったん認識した標識又は補助標識が認識されなくなると、車両が、当該標識又は補助標識の有効範囲に入ったと判定することを特徴とする請求項１から請求項８のうちのいずれか１項記載の標識認識装置。
11. 標識有効範囲データ記録部は、標識と補助標識に対応した車種の情報が格納されており、
    開始点位置判定部は、標識認識部が特定の車種を示す標識又は補助標識を認識した場合に、車両の車種を示す車両情報を用いて、当該車両の車種が前記特定の車種に一致すれば、当該車両が、前記標識認識部が認識した標識又は補助標識の有効範囲に入ったと判定することを特徴とする請求項１から請求項８のうちのいずれか１項記載の標識認識装置。
12. 標識有効範囲データ記録部は、標識と補助標識に対応した有効時間帯の情報が格納されており、
    開始点位置判定部は、標識認識部が特定の有効時間帯を示す標識又は補助標識を認識した場合に、現在日時が前記特定の有効時間帯に一致すれば、車両が、前記標識認識部が認識した標識又は補助標識の有効範囲に入ったと判定することを特徴とする請求項１から請求項８のうちのいずれか１項記載の標識認識装置。
13. 標識有効範囲判定部は、請求項９から請求項１２のうちの少なくとも１項以上に記載の開始点位置判定部を有し、
    いずれかの開始点位置判定部が、車両が、標識認識部が認識した標識の有効範囲に入ったと判定した場合に、前記標識と補助標識の認識結果を有効標識格納バッファに格納することを特徴とする請求項１から請求項８のうちのいずれか１項記載の標識認識装置。

Images