JP2010044561A - 乗物搭載用監視装置 - Google Patents

Abstract

【課題】乗員に対して、衝突に注意すべき注意物体以外に不要な注意を喚起することなく、注意物体の存在、位置および外形を適切に知らせることができる乗物搭載用監視装置を提供する。
【解決手段】本発明に係る乗物搭載用監視装置１０００は、乗物周辺を被写体として撮像して画像信号を生成するカメラ１０と、カメラ１０により撮像された画像に映る物体の中から、乗員が衝突に注意すべき注意物体を、物体の乗物に対する接近の態様に基づいて検知する注意物体検知部２０と、注意物体検知部２０が注意物体を検知したとき、注意物体に対応する領域以外の領域を、注意物体に対応する領域と比較して目立たなくする画像処理を行う画像処理部３０と、画像処理部３０により画像処理が行われた画像を表示するモニター４０とを備えている。
【選択図】図１

Description

本発明は、乗物に搭載され、乗物周辺を監視するための乗物搭載用監視装置に関する。

従来、車両に搭載される監視装置としては、複数のカメラを車両の周辺に取り付けて、これらのカメラの撮像画像を車室内のモニターに表示することで、運転者に車両の周辺状況の安全確認を促すものが知られている。ここで、例えば他車両が自車両の側方から接近してきた場合、バックミラーでは運転者は他車両を確認し難い。ところが、この監視装置によれば、自車の車両の側方から接近する他車両は車室内のモニターに表示されるので、運転者はこの他車両をモニターで確認することができる。この結果、例えば車線変更時の他車両との衝突を回避することができる。

また、運転者がモニターの表示を見落とす場合もあることを考慮して、自車両の周辺に取り付けられたカメラの撮像画像をモニターに表示するとともに、撮像画像中に接近物体があることを検知し、接近物体が存在する場合にブザー音を発生して、運転者に注意を促す監視装置が提案されている。

さらに、特許文献１には、カメラの撮像画像の中に接近車両があることを検知して、ブザー音を発生して運転者に注意を促すとともに、カメラの撮像画像に対して、スーパーインポーズ形式で、接近車両の画像上に四角枠のマークを付けて、ディスプレイ装置に表示する監視装置が開示されている。特許文献１に記載の監視装置によれば、運転者はディスプレイ装置に表示される画像上のマークによって、接近車両を識別することができる。
特開平１１−３２１４９４号公報

しかしながら、特許文献１に記載の監視装置では、検出された接近車両以外の車両や背景もが画像上に表示されるため、運転者は接近車両以外の画像の変化に対しても不要な注意を払ってしまうことがある。この結果、本来、自車両の前方を中心に見て運転する運転者に対して、不要な注意を喚起してしまい、運転の集中を妨げてしまうという問題があった。また、特許文献１に記載の監視装置では、接近車両の画像の上にマークを付加するので、接近車両の形状を確認し難い場合もあった。

本発明は、上記従来の問題を解決するためになされたもので、乗員に対して、衝突に注意すべき注意物体以外に不要な注意を喚起することなく、注意物体の存在、位置および外形を適切に知らせることができる乗物搭載用監視装置を提供することを目的とする。

本発明に係る乗物搭載用監視装置は、乗物に搭載され、前記乗物周辺を監視するための乗物搭載用監視装置であって、前記乗物周辺を被写体として撮像して画像信号を生成する撮影部と、前記撮像部により撮像された画像に映る物体の中から、乗員が衝突に注意すべき注意物体を、前記物体の前記乗物に対する接近の態様に基づいて検知する注意物体検知部と、前記注意物体検知部が前記注意物体を検知したとき、前記注意物体に対応する領域以外の領域を、前記注意物体に対応する領域と比較して目立たなくする画像処理を行う画像処理部と、前記画像処理部により前記画像処理が行われた画像を表示する表示部と、を備えた構成を有している。

この構成により、例えば、乗物に一定以上の接近速度で近づく物体や、乗物から一定の距離内に近づいた物体など、物体が乗物に接近する態様に応じて、乗員が衝突に注意すべき注意物体を、撮像部による撮像画像に映る物体の中から検知する。また、注意物体を検知したとき、注意物体に対応する領域以外の領域を、注意物体に対応する領域と比較して目立たなくする画像処理を行うので、注意物体以外の物体や背景と比べて、注意物体が目立つ画像を得ることができる。また、このとき生成される画像は、注意物体の領域と注意物体以外の領域との境界部が鮮明となり、注意物体の位置および外形を正確に示す画像となる。そして、このようにして画像処理が行われた画像が表示部により表示されるので、乗員は、画像処理後の画像を見ることで、注意物体以外の物体や背景の画像に気をとられることなく、注意物体の存否や位置や外形を適切に知ることができる。この結果、乗員に対して、衝突に注意すべき注意物体以外に不要な注意を喚起することなく、注意物体の存在、位置および外形を適切に知らせることができる。

また、本発明に係る乗物搭載用監視装置において、前記画像処理部は、前記注意物体に対応する領域以外の領域を、無地または無彩色の画像とする構成を有している。これにより、注意物体以外の物体や背景の画像を無地または無彩色の画像とすることができ、注意物体がより目立つ画像を得ることができる。この結果、乗員の注意を注意物体以外に喚起することを抑制できる。

また、本発明に係る乗物搭載用監視装置において、前記画像処理部は、前記注意物体に対応する領域以外の領域の輝度を、前記注意物体に対応する領域の輝度よりも低くする構成を有している。これにより、注意物体以外の物体や背景と比べて、注意物体を明るくした画像を得ることができる。この結果、乗員の注意を注意物体以外に喚起することを抑制できる。

また、本発明に係る乗物搭載用監視装置において、前記注意物体検知部は、前記画像信号のフレーム間の変化に基づいて、前記乗物に対して相対的に移動する移動物体を、前記撮像部により撮像された画像の中から検出する移動物体検出部と、前記移動物体検出部により検出された前記移動物体のフレーム間の動きを示す動きベクトルを求める動きベクトル算出部と、を備え、前記動きベクトル算出部により算出された前記動きベクトルに基づいて前記移動物体の前記乗物への接近速度を求め、この接近速度に基づいて前記移動物体の中から前記注意物体を検知する構成を有している。

この構成により、注意物体を検知するに際して、まず、移動物体を検出し、移動物体のフレーム間の動きを動きベクトルで算出し、この動きベクトルに基づいて移動物体の乗物への接近速度を求めて、注意物体を検知するので、一定以上の接近速度で乗物に近づいてくる物体を注意物体として簡単に検知することができる。

また、本発明に係る乗物搭載用監視装置において、前記撮像部は、複数のカメラからなるステレオカメラで構成されており、前記注意物体検知部は、前記画像信号のフレーム間の変化に基づいて、前記乗物に対して相対的に移動する移動物体を、前記撮像部により撮像された画像の中から検出する移動物体検出部と、前記ステレオカメラにより撮像される画像に基づいて、前記移動物体と前記乗物との間の距離を算出する距離算出部と、を備え、前記距離算出部により算出された距離に基づいて、前記移動物体の中から前記注意物体を検知する構成を有している。

この構成により、注意物体を検知するに際して、まず、移動物体を検出し、ステレオカメラを用いて移動物体と乗物の距離を算出し、この距離に基づいて注意物体を検知するので、乗物から一定の距離内に近づいた物体を注意物体として簡単に検知することができる。

また、本発明に係る乗物搭載用監視装置は、前記撮像部により撮像された画像の中に、前記乗物が走行する道路上の白線が存在するか否かを検出する白線検出部を備え、前記画像処理部は、前記注意物体検知部が前記注意物体を検知するとともに、前記白線検出部が前記白線を検出したとき、前記注意物体および前記白線に対応する領域以外の領域を、前記注意物体および前記白線に対応する領域と比較して目立たなくする画像処理を行う構成を有している。

この構成により、注意物体と道路上の白線とが目立つ画像を得ることができるので、注意物体に加えて道路上の白線に対しても乗員の注意を喚起することができる。

本発明は、撮像部により撮像された画像に映る物体の中から、乗員が衝突に注意すべき注意物体を、物体の乗物に対する接近の態様に基づいて検知し、注意物体を検知したときには、注意物体に対応する領域以外の領域を、注意物体に対応する領域と比較して目立たなくする画像処理を行い、この画像処理が行われた画像を表示するので、乗員に対して、衝突に注意すべき注意物体以外に不要な注意を喚起することなく、注意物体の存在、位置および外形を適切に知らせることができる。

（第１の実施の形態）
以下、本発明の第１の実施の形態に係る車両搭載用監視装置について、図面を用いて説明する。
本発明の第１の実施の形態の車両搭載用監視装置の構成を示すブロック図を図１に示す。
図１において、車両搭載用監視装置１０００は、カメラ１０と、注意物体検知部２０と、画像処理部３０と、モニター４０とを備えている。ここでの車両搭載用監視装置１０００は、車両周囲を監視するための装置であって、車両に搭載されているものである。

カメラ１０は、自車両の室内または室外に設置されており、自車両の周辺の所定範囲を被写体として撮像して、画像信号を生成する。カメラ１０は自車両に複数設けられてもよい。なお、カメラ１０は本発明の撮像部である。

注意物体検知部２０は、カメラ１０により撮像された画像に映る物体の中から、乗員が衝突に注意すべき注意物体を検知する。ここでは、注意物体検知部２０は、自車両に一定以上の接近速度で近づく物体を、注意物体として検知する。注意物体検知部２０は、移動物体検出部２１と、動きベクトル算出部２２と、注意物体判定部２３とを備える。

移動物体検出部２１は、カメラ１０により生成される画像信号のフレーム間の変化に基づいて、カメラ１０の撮像画像の中から移動物体を検出する。ここでの移動物体とは、自車両に対して相対的に移動する物体である。すなわち、自車両が停止している場合であっても移動している場合であっても、移動物体検出部２１は、自車両を基準として移動している物体のみを移動物体として検出する。また、移動物体の検出処理では、カメラ１０の撮像画像のうちで、背景となる領域と、移動する物体（人、動物、物などの有体物）の領域とを切り分けることにより、移動物体を検出する。具体的には、移動物体検出部２１が、前のフレームと現在のフレームとの間の画像信号の差分を算出することで、画像信号を解析して、変化のあった領域を移動物体の領域としてフレーム毎に検出する。

動きベクトル算出部２２は、オプティカルフローを用いて、移動物体検出部２１により検出された移動物体のフレーム間の動きを示す動きベクトルを求める。ここでのオプティカルフローとは、時間的に連続する画像の中で移動物体の動きをベクトルで表したものである。

注意物体判定部２３は、動きベクトル算出部２２により算出される動きベクトルに基づいて、移動物体の自車両への接近速度を求め、算出された接近速度が一定以上であるか否かによって移動物体が注意物体であるか否かを判定する。

画像処理部３０は、注意物体検知部２０が上記注意物体を検知したとき、カメラ１０により撮像された画像のうち、注意物体に対応する領域以外の領域を、注意物体に対応する領域と比較して、目立たなくする画像処理を行う。

モニター４０は、画像処理部３０により画像処理が行われた画像を表示する。モニター４０は、乗員がモニター４０の画像を視認できるように、例えば自車両の車室内の運転席近傍に取り付けられている。なお、モニター４０は本発明の表示部である。

次に、本発明の第１の実施の形態における車両搭載用監視装置１０００の動作について、図に基づいて説明する。

まず、カメラ１０が自車両周辺を被写体として撮像する。図２は、カメラ１０により撮像された画像の一例を示す図である。図２の例では、自車両の後方を被写体として撮像した画像を示している。図２に示されるように、カメラ１０の撮像画像１００には、道路上を走る他車両１０１、道路端に固定して配置された看板などの障害物１０２、道路端の歩道を歩く歩行者１０３、車線を規制するために道路上に設けられた白線１０４などが含まれる。

次に、注意物体検知部２０が、カメラ１０の撮像画像１００に映る物体の中から、乗員が衝突に注意すべき注意物体を検知する。ここでは、注意物体検知部２０は、自車両に一定以上の接近速度で近づく物体を、注意物体として検知する。以下に図３および図４を用いて具体的に説明する。

図３は、移動物体の検出結果の一例を示す図である。移動物体検出部２１は、カメラ１０の撮像画像１００の中から移動物体を検出する。具体的には、移動物体検出部２１は、前のフレームと現在のフレームとの間の画像信号の差分を算出することで、画像信号を解析して、変化のあった領域を移動物体の領域としてフレーム毎に検出する。図３に示されるように、移動物体検出部２１の検出結果として、他車両１０１、障害物１０２および歩行者１０３が移動物体として検出された。なお、ここでの移動物体は、上述した通り、自車両に対して相対的に移動する物体である。

図４は、接近物体の検知結果の一例を示す図である。注意物体判定部２３は、後で詳しく説明するように、動きベクトル算出部２２により算出される動きベクトルに基づいて、移動物体検出部２１で検出された移動物体の接近速度を求め、算出された接近速度が一定以上であるか否かによって移動物体が注意物体であるか否かを判定する。図４に示されるように、注意物体判定部２３の判定結果として、他車両１０１のみが注意物体として判定された。

図５および図６は、動きベクトル算出部２２による動きベクトルの算出方法を説明するための図である。ここでは、説明の便宜上、自車両の斜め後方をカメラにより撮影した画像を用いて、動きベクトルの算出方法を説明する。

図５（ａ）は自車両の左斜め後方を撮像した画像であり、図５（ｂ）は自車両の右斜め後方を撮像した画像である。なお、図５（ａ）および図５（ｂ）では、便宜上、他車両５０１、５０３は当該車両の側面のみを表している。図５（ａ）に示されるように、自車両の左斜め後方を撮像した画像には、背景５０２の中に並走する他車両５０１が含まれている。図５（ｂ）に示されるように、自車両の右斜め後方を撮像した画像には、背景５０４の中に並走する他車両５０３が含まれている。

ここでは、図５（ａ）および図５（ｂ）に示された他車両５０１、５０３および背景５０２、５０４を移動物体として、動きベクトル算出部２２が動きベクトル（オプティカルフローベクトル）を求める例を説明する。動きベクトル算出部２２は、まず他車両５０１、５０３や背景５０２、５０４の特徴点を抽出して、抽出された特徴点のフレーム間での変動量から動きベクトルを算出する。なお、動きベクトルの算出方法はこれに限定されず、例えば勾配法などを用いて動きベクトルを算出してもよい。

図６（ａ）および図６（ｂ）は、動きベクトル算出部２２によるオプティカルフローベクトルの算出結果の一例を示す図であって、自車両を基準とした他車両および背景のオプティカルフローベクトルを示す図である。

図６（ａ）に示されるように、他車両５０１のオプティカルフローベクトル５０５は自車両の前方側に向かって矢印が向いており、背景５０２のオプティカルフローベクトル５０６は自車両の後方に向かって矢印が向いている。このことから、他車両５０１は自車両の後方から自車両に近づいていることがわかる。

また、図６（ｂ）に示されるように、他車両５０３のオプティカルフローベクトル５０７は自車両の後方側に向かって矢印が向いており、背景５０４のオプティカルフローベクトル５０８は自車両の後方に向かって矢印が向いている。このことから、他車両５０３は自車両の後方に向かって自車両から遠ざかっていることがわかる。以上、図５および図６を用いて、動きベクトル算出部２２による動きベクトルの算出方法を説明した。

次に、注意物体判定部２３は、動きベクトル算出部２２により算出された動きベクトルに基づいて、移動物体の自車両への接近速度を求め、算出された接近速度が一定以上であるか否かによって、移動物体が注意物体であるか否かを判定する。

図５および図６の例を用いると、注意物体判定部２３は、他車両５０１、５０３のオプティカルフローベクトル５０５、５０７の方向やオプティカルフローベクトル５０５、５０７の長さに基づいて、他車両５０１、５０３の自車両への接近速度を算出する。そして、注意物体判定部２３は、算出された接近速度が予め設定された閾値以上である場合に、他車両５０１、５０３などが注意物体であると判定する。

このようなオプティカルフローを用いた接近検知では、１つのカメラの撮像画像のみを用いて、ほぼリアルタイムで注意物体を判別することができる。以上、注意物体判定部２３による注意物体の判定方法を説明した。

図４に戻って、注意物体検知部２０が他車両１０１を接近物体として検知したとき、画像処理部３０は、カメラ１０の撮像画像１００のうち、他車両１０１に対応する領域以外の領域を、他車両１０１に対応する領域と比較して、目立たなくする画像処理を行う。

図７は、画像処理部３０による処理を説明するための図である。図７に示されるように、画像処理部３０は、カメラ１０により撮像された元の被写体の撮像画像１００から他車両１０１だけを抜き出して、注意物体検知部２０により接近物体として検知された他車両１０１の輪郭データを合成のキー信号として、他車両１０１を無地の背景に合成する。このように、画像処理部３０は、カメラ１０の撮像画像１００のうち、他車両１０１に対応する領域以外の領域を無地の画像にすることで、他車両１０１に対応する領域以外の領域を目立たなくする画像処理を行う。

次に、画像処理部３０の画像処理の別の一例を、図８を用いて説明する。画像処理部３０は、図７の例のように他車両１０１以外を全て表示しないで無地の画像とするのではなく、図８に示されるように、他車両１０１以外の画像も表示しつつ、当該他車両１０１に対応する領域以外の領域を無彩色としてもよい。

次に、画像処理部３０により画像処理が行われた画像は、モニター４０に入力される。そして、モニター４０は、画像処理部３０により処理が行われた画像を表示する。

このような本発明の第１の実施の形態の車両搭載用監視装置１０００によれば、物体が自車両に接近する態様に応じて、乗員が衝突に注意すべき注意物体を、カメラ１０の撮像画像１００に映る物体の中から検知する。また、注意物体検知部２０が例えば他車両１０１を注意物体として検知したとき、カメラ１０の撮像画像１００のうち、他車両１０１に対応する領域以外の領域を、他車両１０１に対応する領域と比較して、目立たなくする画像処理を行うので、注意物体以外の物体や背景と比べて、注意物体が目立つ画像を得ることができる。また、このとき生成される画像は、注意物体の領域と注意物体以外の領域との境界部が鮮明となり、注意物体の位置および外形を正確に示す画像となる。そして、このようにして画像処理が行われた画像がモニター４０により表示されるので、乗員は、画像処理後の画像を見ることで、注意物体以外の物体や背景の画像に気をとられることなく、注意物体の存否や位置や外形を適切に知ることができる。この結果、乗員に対して、衝突に注意すべき注意物体以外に不要な注意を喚起することなく、注意物体の存在、位置および外形を適切に知らせることができる。

また、本発明の第１の実施の形態の車両搭載用監視装置１０００によれば、画像処理部３０は、注意物体である他車両１０１に対応する領域以外の領域を、無地または無彩色の画像とする構成を有している。これにより、注意物体以外の物体や背景の画像を無地または無彩色の画像とすることができ、注意物体がより目立つ画像を得ることができる。この結果、乗員の注意を注意物体以外に喚起することを抑制できる。

また、本発明の第１の実施の形態の車両搭載用監視装置１０００によれば、注意物体を検知するに際して、まず、移動物体を検出し、移動物体のフレーム間の動きを動きベクトルで算出し、この動きベクトルに基づいて移動物体の自車両への接近速度を求めて、注意物体を検知するので、一定以上の接近速度で自車両に近づいてくる物体を注意物体として簡単に検知することができる。

（第２の実施の形態）
以下、本発明の第２の実施の形態に係る車両搭載用監視装置について、図面を用いて説明する。
図９は、本発明の第２の実施の形態の車両搭載用監視装置１００１の構成を示すブロック図である。
図９において、車両搭載用監視装置１００１は、カメラ１０Ａと、注意物体検知部２０Ａと、画像処理部３０と、モニター４０とを備えている。

図１と図９とを対比すると、本発明の第１の実施の形態の車両搭載用監視装置１０００では、カメラ１０は単一のカメラであるのに対して、本発明の第２の実施の形態の車両搭載用監視装置１００１では、カメラ１０Ａは２つのカメラからなるステレオカメラを構成している点で相違する。

また、図１に示されるように、本発明の第１の実施の形態の車両搭載用監視装置１０００の注意物体検知部２０は、移動物体検出部２１、動きベクトル算出部２２および注意物体判定部２３により構成されている。これに対して、図９に示されるように、本発明の第２の実施の形態の車両搭載用監視装置１００１の注意物体検知部２０Ａは、移動物体検出部２１、距離算出部２４および注意物体判定部２３Ａにより構成されている。

カメラ１０Ａは、基準カメラ１１および参照用カメラ１２を備え、これらのカメラからなるステレオカメラを構成する。カメラ１０Ａは、自車両の室内または室外に設置されており、自車両の周辺の所定範囲を被写体として撮像して、画像信号を生成する。基準カメラ１１および参照用カメラ１２は、所定の間隔を空けて配置されており、被写体を同時に撮像することができるように構成されている。なお、カメラ１０Ａは本発明の撮像部に相当する。

注意物体検知部２０Ａは、上述の通り、移動物体検出部２１と、距離算出部２４と、注意物体判定部２３Ａとを備える。注意物体検知部２０Ａは、カメラ１０の撮像画像に映る物体の中から、乗員が衝突に注意すべき注意物体を検知する。ここでは、第１の実施の形態と異なり、注意物体検知部２０Ａは、自車両から一定の距離内に近づく物体を、注意物体として検知する。

移動物体検出部２１は第１の実施の形態と同一の機能を有する。距離算出部２４は、ステレオカメラを構成する基準カメラ１１および参照用カメラ１２により同時に撮像される２枚の画像に基づいて、移動物体検出部２１により検出される移動物体と自車両との間の距離を算出する。

注意物体判定部２３Ａは、距離算出部２４により算出された距離に基づいて、移動物体が注意物体であるか否かを判定する。具体的には、注意物体判定部２３Ａは、距離算出部２４により算出される移動物体と自車両との間の距離が予め設定された閾値以下であるか否かを判断し、閾値以下となった場合に当該移動物体が注意物体であると判定する。

次に、本発明の第２の実施の形態における車両搭載用監視装置１００１の動作について、図に基づいて説明する。以下の説明では、第１の実施の形態と異なる処理を中心に説明する。

まず、カメラ１０Ａが自車両周辺を被写体として撮像する。このとき、基準カメラ１１および参照用カメラ１２は被写体を同時に撮像する。次に、注意物体検知部２０Ａが、カメラ１０の撮像画像に映る物体の中から、乗員が衝突に注意すべき注意物体を検知する。ここでは、注意物体検知部２０Ａは、自車両から一定の距離内に近づく物体を、注意物体として検知する。

このとき、移動物体検出部２１は、第１の実施の形態にて図３を用いて説明したように、カメラ１０Ａの撮像画像の中から移動物体を検出する。また、距離算出部２４は、基準カメラ１１および参照用カメラ１２により同時に撮像される２枚の画像に基づいて、移動物体検出部２１により検出される移動物体と車両との間の距離を算出する。

また、注意物体判定部２３Ａは、距離算出部２４により算出された距離に基づいて、移動物体が注意物体であるか否かを判定する。具体的には、注意物体判定部２３Ａは、距離算出部２４により算出される移動物体と自車両との間の距離が予め設定された閾値以下であるか否かを判断し、閾値以下となった場合に当該移動物体が注意物体であると判定する。

次に、画像処理部３０は、第１の実施の形態で図７を用いて説明したように、注意物体である他車両１０１に対応する領域以外の領域を無地の画像にすることで、他車両１０１に対応する領域以外の領域を他車両１０１に対応する領域と比較して目立たなくする画像処理を行う。なお、画像処理部３０は、図８を用いて説明したように、注意物体に対応する領域以外の領域を無彩色としてもよい。

次に、画像処理部３０により画像処理が行われた被写体の画像は、モニター４０に入力される。そして、モニター４０は、画像処理部３０により処理が行われた画像を表示する。

このような本発明の第２の実施の形態の車両搭載用監視装置１００１によれば、注意物体を検知するに際して、まず、移動物体検出部２１により移動物体を検出し、ステレオカメラを用いて移動物体と車両との距離を算出し、この距離に基づいて注意物体を検知するので、自車両から一定の距離内に近づいた物体を注意物体として簡単に検知することができる。

（第３の実施の形態）
以下、本発明の第３の実施の形態に係る車両搭載用監視装置について、図面を用いて説明する。
図１０は本発明の第３の実施の形態の車両搭載用監視装置１００２の構成を示すブロック図である。図１０において、車両搭載用監視装置１００２は、カメラ１０と、注意物体検知部２０と、画像処理部３０Ａと、モニター４０と、白線検出部５０とを備えている。

図１と図１０とを対比すると、第３の実施の形態の車両搭載用監視装置１００２には、白線検出部５０が新たに追加して設けられている。

白線検出部５０はカメラ１０により撮像される画像の中に、自車両が走行する道路上の白線が存在するか否かを検出する。具体的には、白線検出部５０による白線検出処理は、例えば特開２００６−１３４２３２号公報に開示されているように、カメラの撮像画像から路面上の白線を検出する画像処理プログラムによって行われる。この白線検出処理では、まず、撮像画像を輝度によって２値化し、２値化後の画像において路面上の白線に該当すると考えられる画素（以下、白線候補点という）を選出する。そして、白線候補点が直線的に並んでいれば、選出された白線候補点は路面上の白線であると判断する。ここで直線的に並んでいることの判断には例えばハフ変換などの手段が用いられる。

画像処理部３０Ａは、注意物体検知部２０が注意物体を検知するとともに、白線検出部５０が白線を検出したとき、カメラ１０の撮像画像のうち、注意物体および白線に対応する領域以外の領域を、注意物体および白線に対応する領域と比較して、目立たなくする画像処理を行う。

次に、本発明の第３の実施の形態における車両搭載用監視装置１００２の動作について、図に基づいて説明する。以下の説明では、第１の実施の形態と異なる処理を中心に説明する。

注意物体検知部２０が、カメラ１０の撮像画像に映る物体の中から、注意物体を検知する。また、白線検出部５０が、カメラ１０により撮像される画像の中に、自車両が走行する道路上の白線が存在するか否かを検出する。白線検出部５０による白線検出処理は、上述したように、カメラ１０の撮像画像から路面上の白線を検出する画像処理プログラムによって行われる。

次に、画像処理部３０Ａは、注意物体検知部２０が接近物体を検知するとともに、白線検出部５０が白線を検出したとき、カメラ１０の撮像画像のうち、注意物体および白線に対応する領域以外の領域を、注意物体および白線に対応する領域と比較して、目立たなくする画像処理を行う。

図１１は、画像処理部３０Ａによる画像処理を説明するための図である。ここでは、図７での説明と同様に、注意物体検知部２０は、他車両１０１を注意物体として検知したとする。図１１に示されるように、画像処理部３０Ａは、カメラ１０の撮像画像１００のうち、注意物体である他車両１０１と白線１０４とに対応する領域以外の領域を無地の画像とすることで、他車両１０１および白線１０４に対応する領域以外の領域を他車両１０１および白線１０４に対応する領域と比較して目立たなくする画像処理を行う。なお、本実施形態においても、第１の実施形態と同様に、図８を用いて説明したように、画像処理部３０Ａは、他車両１０１および白線１０４以外を全て表示しないで無地の画像とするのではなく、他車両１０１および白線１０４以外の画像も表示しつつ、当該他車両１０１および白線１０４に対応する領域以外の領域を無彩色としてもよい。

次に、画像処理部３０Ａにより画像処理が行われた画像は、モニター４０に入力される。そして、モニター４０は、画像処理部３０Ａにより処理が行われた画像を表示する。

このような本発明の第３の実施の形態の車両搭載用監視装置１００２によれば、カメラ１０の撮像画像の中に、白線検出部５０により自車両が走行する道路上の白線が存在するか否かを検出し、注意物体検知部２０が注意物体を検知するとともに、白線検出部５０が白線を検出したとき、画像処理部３０Ａにより、カメラ１０の撮像画像のうち、注意物体および白線に対応する領域以外の領域を、注意物体および白線に対応する領域と比較して、目立たなくする画像処理を行う。これにより、注意物体と道路上の白線とが目立つ画像を得ることができるので、注意物体に加えて道路上の白線に対しても乗員の注意を喚起することができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

上記実施態様では、画像処理部３０、３０Ａは、注意物体である他車両１０１に対応する領域以外を無地または無彩色の画像にして、注意物体に対応する領域以外の領域を、注意物体に対応する領域と比較して目立たなくする画像処理を行うと説明した。これに対して、画像処理部３０、３０Ａは、注意物体に対応する領域以外の領域の輝度が、注意物体に対応する領域の輝度よりも低くなる画像処理を行ってもよい。これにより、注意物体以外の物体や背景と比べて、注意物体を明るくした画像を得ることができる。この結果、乗員の注意を注意物体以外に喚起することを抑制できる。

また、画像処理部３０、３０Ａは、注意物体に対応する領域以外の領域を無地または無彩色の画像にするとともに、注意物体に対応する領域以外の領域の輝度を、注意物体に対応する領域の輝度よりも低くする画像処理を行ってもよい。これにより、注意物体以外の物体や背景と比べて、注意物体が明るく目立つ画像を得ることができる。この結果、乗員の注意を注意物体以外に喚起することを抑制できる。

以上のように、本発明は、乗員に対して、衝突に注意をすべき注意物体以外に不要な注意を喚起することなく、注意物体の存在、位置および外形を適切に知らせることができるという優れた効果を有し、例えば車両に搭載され、車両周辺を監視する車両用監視装置などに有用である。

本発明の第１の実施の形態の車両搭載用監視装置の構成を示すブロック図 カメラにより撮像された画像の一例を示す図 移動物体の検出結果の一例を示す図 注意物体の検知結果の一例を示す図 （ａ） 動きベクトル算出部による動きベクトルの算出方法を説明するための図 （ｂ） 動きベクトル算出部による動きベクトルの算出方法を説明するための図 （ａ） 動きベクトル算出部による動きベクトルの算出方法を説明するための図 （ｂ） 動きベクトル算出部による動きベクトルの算出方法を説明するための図 本発明の第１の実施の形態における画像処理部による画像処理を説明するための図 本発明の第１の実施の形態における画像処理部による画像処理の別の例を説明するための図 本発明の第２の実施の形態の車両搭載用監視装置の構成を示すブロック図 本発明の第３の実施の形態の車両搭載用監視装置の構成を示すブロック図 本発明の第３の実施の形態における画像処理部による画像処理を説明するための図

符号の説明

１０、１０Ａ カメラ
１１ 基準カメラ
１２ 参照用カメラ
２０、２０Ａ 注意物体検知部
２１ 移動物体検出部
２２ 動きベクトル算出部
２３、２３Ａ 注意物体判定部
２４ 距離算出部
３０、３０Ａ 画像処理部
４０ モニター
５０ 白線検出部
１０００、１００１、１００２ 車両搭載用監視装置

Claims (6)

1. 乗物に搭載され、前記乗物周辺を監視するための乗物搭載用監視装置であって、
   前記乗物周辺を被写体として撮像して画像信号を生成する撮影部と、
   前記撮像部により撮像された画像に映る物体の中から、乗員が衝突に注意すべき注意物体を、前記物体の前記乗物に対する接近の態様に基づいて検知する注意物体検知部と、
   前記注意物体検知部が前記注意物体を検知したとき、前記注意物体に対応する領域以外の領域を、前記注意物体に対応する領域と比較して目立たなくする画像処理を行う画像処理部と、
   前記画像処理部により前記画像処理が行われた画像を表示する表示部と、
   を備えたことを特徴とする乗物搭載用監視装置。
2. 前記画像処理部は、前記注意物体に対応する領域以外の領域を、無地または無彩色の画像とすることを特徴とする請求項１に記載の乗物搭載用監視装置。
3. 前記画像処理部は、前記注意物体に対応する領域以外の領域の輝度を、前記注意物体に対応する領域の輝度よりも低くすることを特徴とする請求項１または２に記載の乗物搭載用監視装置。
4. 前記注意物体検知部は、
   前記画像信号のフレーム間の変化に基づいて、前記乗物に対して相対的に移動する移動物体を、前記撮像部により撮像された画像の中から検出する移動物体検出部と、
   前記移動物体検出部により検出された前記移動物体のフレーム間の動きを示す動きベクトルを求める動きベクトル算出部と、を備え、
   前記動きベクトル算出部により算出された前記動きベクトルに基づいて前記移動物体の前記乗物への接近速度を求め、この接近速度に基づいて前記移動物体の中から前記注意物体を検知することを特徴とする請求項１ないし３のいずれかに記載の乗物搭載用監視装置。
5. 前記撮像部は、複数のカメラからなるステレオカメラで構成されており、
   前記注意物体検知部は、
   前記画像信号のフレーム間の変化に基づいて、前記乗物に対して相対的に移動する移動物体を、前記撮像部により撮像された画像の中から検出する移動物体検出部と、
   前記ステレオカメラにより撮像される画像に基づいて、前記移動物体と前記乗物との間の距離を算出する距離算出部と、を備え、
   前記距離算出部により算出された距離に基づいて、前記移動物体の中から前記注意物体を検知することを特徴とする請求項１ないし３のいずれかに記載の乗物搭載用監視装置。
6. 前記撮像部により撮像された画像の中に、前記乗物が走行する道路上の白線が存在するか否かを検出する白線検出部を備え、
   前記画像処理部は、前記注意物体検知部が前記注意物体を検知するとともに、前記白線検出部が前記白線を検出したとき、前記注意物体および前記白線に対応する領域以外の領域を、前記注意物体および前記白線に対応する領域と比較して目立たなくする画像処理を行うことを特徴とする請求項１ないし５のいずれかに記載の乗物搭載用監視装置。

Images