JP2018088092A - 画像処理装置、車載システム、車載カメラ、移動体、および画像処理方法 - Google Patents

Abstract

【課題】運転者の負担をかけること無く正確な被写体の高さを提供する。【解決手段】画像処理装置は撮像部から画像を取得する（Ｓ３００）。画像処理装置は画像に撮像される任意の被写体までの距離情報を取得する（Ｓ３０２）。画像処理装置は画像および距離情報に基づいて任意の被写体の中の所定の被写体の高さＨＳＧを算出する（Ｓ３０３）。【選択図】図６

Description

本発明は、画像処理装置、車載システム、車載カメラ、移動体、および画像処理方法
に関するものである。

トンネル、歩道橋、橋梁など、走行の障害となり得る障害物が上空に存在する道路などの走行路がある。運転者は、自身が運転する車両の高さを把握し、これらの障害物の下方をくぐれるか否かの判別を行なう必要があった。判別の補助のために、車両の表面や当該車両に積載した荷物にカメラを支持し、当該カメラの撮影画像を表示することが提案されている（特許文献１参照）。

特開２００１−２３９８８３号公報

しかし、カメラの撮像画像に基づいて、運転者が衝突の判別を行うので、未だ運転者に負担がかかっていた。また、カメラが水平面に対して傾斜するような支持姿勢によっては、正確な衝突判別を行なうことが困難であった。

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、運転者に負担をかけること無く、正確な被写体の高さを提供する画像処理装置、車載システム、車載カメラ、移動体、および画像処理方法を提供することにある。

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
撮像部から画像を取得し、
前記画像に撮像される任意の被写体までの距離情報を取得し、
前記画像および前記距離情報に基づいて、前記任意の被写体の中の所定の被写体の高さを算出する
ことを特徴とするものである。

また、第２の観点による車載システムは、
撮像部から画像を取得し、前記画像に撮像される任意の被写体までの距離情報を取得し、前記画像および前記距離情報に基づいて前記任意の被写体の中の所定の被写体の高さを算出し、前記所定の被写体は前記画像に撮像されている移動体を含み、算出する前記移動体の高さ情報を含む通知情報を作成する画像処理装置と、
前記通知情報を、該移動体に通知する通信装置と、を備える
ことを特徴とするものである。

また、第３の観点による車載カメラは、
撮像部と、
前記撮像部に撮像される任意の被写体までの距離情報を取得し、前記撮像部の撮像により生成する画像および前記距離情報に基づいて前記任意の被写体の中の所定の被写体の高さを算出する画像処理装置と、を備える
ことを特徴とするものである。

また、第４の観点による移動体は、
撮像部と、
前記撮像部に撮像される任意の被写体までの距離情報を取得し、前記撮像部の撮像により生成する画像および前記距離情報に基づいて前記任意の被写体の中の所定の被写体の高さを算出する画像処理装置と、を備える
ことを特徴とするものである。

上述したように本発明の解決手段を装置として説明してきたが、本開示はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

例えば、第５の観点を方法として実現させた画像処理方法は、
撮像部から画像を取得し、
前記画像に撮像される任意の被写体までの距離情報を取得し、
前記画像および前記距離情報に基づいて、前記任意の被写体の中の所定の被写体の高さを算出する
ことを特徴とするものである。

上記のように構成された本開示に係る画像処理装置、車載システム、車載カメラ、移動体、および画像処理方法によれば、運転者に負担をかけること無く、正確な被写体の高さを提供し得る。

本開示の一実施形態に係る画像処理装置を含む車載システムの概略構成を示す機能ブロック図である。 図１の車載システムの一部の移動体における配置例を示す図である。 図１の撮像部が撮像する画像における被写体の位置と光軸に対する当該被写体の角度を説明するための図である。 図１の画像処理装置が行なう補正処理を説明するためのフローチャートである。 図１の画像処理装置が行なう要求処理を説明するためのフローチャートである。 図１の画像処理装置が行なう衝突判別処理を説明するためのフローチャートである。 図１の画像処理装置が行なう高さ算出処理を説明するためのフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本実施形態に係る画像処理装置１０を含む車載システム１１である。車載システム１１は、撮像部１２、傾斜センサ１３、積載センサ１４、距離検出装置１５、画像処理装置１０、通信装置１６、および表示装置１７を含む。撮像部１２、傾斜センサ１３、積載センサ１４、距離検出装置１５、画像処理装置１０、通信装置１６、および表示装置１７はバス１８に接続されている。撮像部１２、傾斜センサ１３、積載センサ１４、距離検出装置１５、画像処理装置１０、通信装置１６、および表示装置１７はバス１８を介して多様な情報、信号、および指令などを相互に通信可能である。

撮像部１２は、被写体を撮像して、画像を生成する。例えば、撮像部１２は、光学系および撮像素子を有する。撮像素子は光学系が結像する被写体像を光電変換することにより撮像し、被写体の画像を信号として生成する。撮像部１２は、生成した画像を信号として画像処理装置１０に通知する。

撮像部１２は、図２に示すように、例えば、移動体１９の前方の被写体を撮像可能なように、フロントシールド２０の上方の中央近傍に取付けられている。移動体１９における撮像部１２の取付け位置の地面からの高さは設計により定められ、撮像部１２は当該高さに合うように移動体１９に取付けられている。移動体１９における撮像部１２の光軸の向きは、移動体１９の後から前に向かう方向で、移動体１９の水平面に対して特定の角度となるように設計により定められている。撮像部１２は当該向きに合うように移動体１９に取付けられている。特定の角度は、本実施形態において、例えばゼロ度である。さらに、本実施形態では、撮像される画像の上下方向および左右方向が移動体１９における鉛直上下方向および左右方向に対応するように、撮像部１２は取付けられている。

移動体１９は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

傾斜センサ１３は、移動体１９のピッチ角、すなわち移動体１９の左右方向を軸にした、基準姿勢からの、水平面に対する傾斜角を検出する。傾斜センサ１３は、検出した傾斜角を画像処理装置１０に信号として通知する。

積載センサ１４は、移動体１９の上部に貨物が積載されているか否かを検出する。積載センサ１４は、例えば、移動体１９の上部に設けられる圧電素子であり、重量閾値を超える重量を検出結果として検出する。積載センサ１４は、検出結果を情報として画像処理装置１０に通知する。

距離検出装置１５は、撮像部１２の撮像範囲と実質的に同じ撮像範囲に含まれる任意の被写体の距離を検出する。距離検出装置１５は、例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）距離画像カメラである。または、距離検出装置１５は、例えばレーザレンジファインダである。距離検出装置１５は、検出した任意の距離を距離情報として、画像処理装置１０に通知する。距離検出装置１５は、移動体１９の前方の被写体の距離を検出可能なように、フロントシールド２０の上方の中央近傍において、撮像部１２の近傍に取付けられている。

画像処理装置１０は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。画像処理装置１０は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

画像処理装置１０は、撮像部１２から取得する画像中に撮像されている任意の被写体の中に、所定の被写体が存在するか否かを判別する。所定の被写体は、例えば、画像処理装置１０が搭載される移動体１９の走行路上空の障害物である。障害物は、例えば、トンネル、歩道橋などの橋梁、看板などである。画像処理装置１０は、例えば、パターンマッチングにより障害物の有無を判別する。また、後述するように、所定の被写体は、画像処理装置１０を搭載する自身の移動体１９以外の画像中の移動体１９である。

画像処理装置１０は、所定の被写体が存在するとき、以下に説明するように、撮像部１２および距離検出装置１５それぞれから取得する画像および距離情報に基づいて、所定の被写体の下端の高さを算出する。

図３に示すように、光軸ＯＸに画像ＩＭ上で対応する位置Ｐ_ＯＸに対する上下方向の任意位置Ｐ_Ａは、移動体１９および被写体の下端ＢＥ_ｓｕｂを結ぶ直線Ｌ_１と光軸ＯＸとのなす第１の角度θ_１に対応している。画像処理装置１０は、所定の被写体の下端ＢＥ_ｓｕｂの画像ＩＭにおける位置に基づいて、移動体１９および当該下端ＢＥ_ｓｕｂを結ぶ直線Ｌ_１と光軸ＯＸとのなす第１の角度θ_１を算出する。

画像処理装置１０は、予め定められている撮像部１２の光軸ＯＸの水平面に対する特定の角度（本実施形態では、ゼロ度）と、第１の角度θ_１とに基づいて、移動体１９および被写体を結ぶ直線Ｌ_１と水平面とのなす第２の角度θ_２を算出する。なお、特定の角度は、前述のように予め定められており、画像処理装置１０の移動体１９への搭載時に画像処理装置１０のメモリに予め記憶されている。または、特定の角度は、移動体１９のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）に記憶されており、必要に応じて画像処理装置１０が当該ＥＣＵから読出す構成であってもよい。

画像処理装置１０は、傾斜センサ１３から取得する傾斜角が角度閾値を超えるとき、第２の角度を補正する。角度閾値は、例えば、移動体１９から所定の距離における被写体の第２の角度θ_２に基づく高さの誤差を許容範囲に収める値である。

画像処理装置１０は、距離検出装置１５から取得する距離情報から、移動体１９から所定の被写体の下端ＢＥ_ｓｕｂまでの第１の距離ｄ_ｓを検出する。

画像処理装置１０は、算出した第２の角度θ_２および検出した第１の距離ｄ_ｓに基づいて、以下の（１）式により、移動体１９における撮像部１２の設置高さＨ_ＩＧを基準とした、所定の被写体の下端ＢＥ_ｓｕｂの高さＨ_ＳＩを算出する。

Ｈ_ＳＩ＝ｄ_ｓ×ｓｉｎθ_２ （１）

（１）式において、θ_２は第２の角度、すなわち、移動体１９および被写体の下端ＢＥ_ｓｕｂを結ぶ直線Ｌ_１と水平面とのなす角度である。

画像処理装置１０は、算出した高さＨ_ＳＩに、移動体１９における撮像部１２の取付け位置の地面Ｇからの高さＨ_ＩＧを加えることにより、地面Ｇに対する所定の被写体の下端ＢＥ_ｓｕｂの高さＨ_ＳＧを算出する。前述のように、移動体１９における撮像部１２の取付け位置の地面Ｇからの高さＨ_ＩＧは、前述のように予め定められており、画像処理装置１０の移動体１９への搭載時に画像処理装置１０のメモリに予め記憶されている。または、当該高さＨ_ＩＧは、移動体１９のＥＣＵに記憶されており、必要に応じて画像処理装置１０が当該ＥＣＵから読出す構成であってもよい。

画像処理装置１０は、所定の被写体の下端ＢＥ_ｓｕｂの高さＨ_ＳＧを算出すると、算出した当該高さＨ_ＳＧを、交通情報を管理するサーバ、および高さ測定機能を有さない他の移動体に向けて通知するように通信装置１６を制御する。また、画像処理装置１０は、所定の被写体の下端ＢＥ_ｓｕｂの高さＨ_ＳＧを算出すると、以下に説明するように、自身の移動体１９の高さ情報を取得する。

当該高さ情報に相当する、自身の移動体１９の高さＨ_ＯＭは、設計により予め定められており、例えば、画像処理装置１０の移動体１９への搭載時に画像処理装置１０のメモリに記憶されている。または、当該高さＨ_ＯＭが移動体１９のＥＣＵに記憶されており、必要に応じて画像処理装置１０がＥＣＵから読出す構成であってもよい。設計により予め定められる高さＨ_ＯＭは、画像処理装置１０により、以下に説明する方法で補正され得る。

補正のために、画像処理装置１０は、撮像部１２から取得する画像ＩＭの中で、センターラインおよび停止線などの、自身の移動体１９の走行路上の被写体の有無を判別する。画像処理装置１０は、走行路上の被写体を検出するとき、移動体１９における撮像部１２の設置高さＨ_ＩＧを基準とした当該被写体の高さＨ_ＳＩを、前述の所定の被写体の高さの算出と同様に、画像ＩＭにおける位置および距離情報に基づいて、算出する。

地面Ｇを基準とした走行路上の被写体の高さＨ_ＳＧはゼロなので、算出した高さＨ_ＳＩは、算出時の移動体１９における撮像部１２の設置高さＨ_ＩＧに相当する。画像処理装置１０は、設計における移動体１９における撮像部１２の設置高さＨ_ＩＧ、および算出時の移動体１９における撮像部１２の設置高さＨ_ＳＩの差分を算出する。画像処理装置１０は、算出した差分を用いて、自身の移動体１９の高さＨ_ＯＭに相当する高さ情報を補正する。

また、後述するように、画像処理装置１０は、通信装置１６を介して、高さ情報を他の移動体１９から取得し得る。通信装置１６を介して他の移動体１９から取得する高さ情報に相当する高さは、移動体１９の上部に積載した貨物の高さも含み得る。

また、画像処理装置１０は、自身の移動体１９の高さＨ_ＯＭを取得すると、所定の被写体の下端ＢＥ_ｓｕｂの高さＨ_ＳＧが自身の移動体１９の高さＨ_ＯＭより小さいか否かを判別する。画像処理装置１０は、所定の被写体の下端ＢＥ_ｓｕｂの高さＨ_ＳＧが自身の移動体１９の高さＨ_ＯＭより小さいとき、警告信号を生成する。警告信号は、音声によって警告する態様であっても、画像によって警告する態様であってもよい。画像処理装置１０は、生成した警告信号を、ＥＣＵおよび表示装置１７などに送信する。

また、画像処理装置１０は、前述のように、撮像部１２から取得する画像ＩＭ内の所定の被写体として、画像ＩＭ中の移動体１９の高さＨ_ＡＭを、以下に説明するように算出可能である。画像処理装置１０は、自身の移動体１９以外の他の移動体１９から通知要求を取得するとき、画像ＩＭ中の移動体１９の高さの算出を行う。通知要求は、画像ＩＭ中の移動体１９の高さＨ_ＡＭに相当する高さ情報を含む通知情報を、当該移動体１９を撮像可能な移動体１９に対して作成する要求である。

画像処理装置１０は、通知要求を取得し、画像ＩＭ中の移動体１９を検出すると、前述と同様にして、画像ＩＭ中の移動体１９の高さＨ_ＡＭを算出する。なお、画像ＩＭ中の移動体１９を所定の被写体とした高さＨ_ＡＭの算出の際、画像ＩＭ中の移動体１９が上部に貨物を積載しているとき、積載した貨物の上端の高さを算出する。

画像処理装置１０は、画像ＩＭ中の移動体１９の高さＨ_ＡＭを算出すると、画像ＩＭ中の移動体１９の高さＨ_ＡＭに相当する高さ情報を含む通知情報を作成する。画像処理装置１０は、通信装置１６に、通知情報を画像ＩＭ中の移動体１９に通知させる。

画像処理装置１０は、通知要求を取得し、画像ＩＭ中に他の移動体１９だけでなく、走行路上空の障害物の存在を検出するとき、さらに、地面Ｇを基準とした障害物の高さＨ_ＳＧを算出する。画像処理装置１０は、画像ＩＭ中の移動体１９の高さＨ_ＡＭおよび障害物の高さＨ_ＳＧを比較する。

画像処理装置１０は、障害物の高さＨ_ＳＧが画像ＩＭ中の移動体１９の高さＨ_ＡＭより小さいとき、警告信号を生成する。画像処理装置１０は、生成した警告信号を、通信装置１６に、画像ＩＭ中の移動体１９に送信させる。あるいは、画像処理装置１０は、高さの比較結果を画像ＩＭ中の移動体１９の高さ情報を含む通知情報に付加する。画像処理装置１０は、通信装置１６に、作成した通知情報を、通知要求を送出した移動体１９に通知させる。

また、画像処理装置１０は、自身の移動体１９以外の他の移動体１９に、自身の移動体１９の高さ情報を通知するように要求する通知要求を作成する。画像処理装置１０は、例えば、積載センサ１４が貨物の積載を検知するなどの特定の条件を満たすとき自動的に通知要求を作成する。また、画像処理装置１０は、例えば、使用者の操作を検出する入力デバイスへの入力に基づいて通知要求を作成してよい。

画像処理装置１０は、作成した通知要求を通信装置１６に通信させる。前述のように、自身の移動体１９の画像処理装置１０は、他の移動体１９の画像処理装置１０が算出する自身の移動体１９の高さ情報を含む通知情報を取得する。

通信装置１６は、通信装置１６を搭載する自身の移動体１９以外の他の移動体１９と通信する。例えば、本実施形態において、通信装置１６は、自身の移動体１９に搭載される画像処理装置１０が作成する通知情報を、他の移動体１９に通知する。また、通信装置１６は、他の移動体１９に搭載される画像処理装置１０が作成する通知情報を、他の移動体１９から取得する。また、通信装置１６は、自身の移動体１９に搭載される画像処理装置１０が作成する通知要求を、他の移動体１９に通知する。また、通信装置１６は、他の移動体１９に搭載される画像処理装置１０が作成する通知要求を、他の移動体１９から取得する。

表示装置１７は、多様な画像を表示する。例えば、本実施形態において、表示装置１７は、画像処理装置１０から警告信号を取得するとき、衝突可能性の高い障害物があることを報知する画像を表示する。図２に示すように、表示装置１７は、運転者が視認可能な位置、例えばダッシュボードの中央近傍に取付けられる。

次に、本実施形態において画像処理装置１０が実行する、補正処理について、図４のフローチャートを用いて説明する。補正処理は、移動体１９のエンジンおよびモータなどの駆動源が起動するときに開始する。

ステップＳ１００において、画像処理装置１０は、撮像部１２に対して動画の撮像を開始させる。撮像を開始させると、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、画像処理装置１０は、ステップＳ１００において撮像開始させた動画を構成するフレームの画像ＩＭの中に、走行路上の被写体があるか否かを判別する。走行路上の被写体がないとき、プロセスはステップＳ１０１に戻り、判別に用いたフレーム以後のフレームの画像ＩＭに対してステップＳ１０１を繰返す。走行路上の被写体があるとき、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、画像処理装置１０は、距離検出装置１５に距離情報を要求することにより距離情報を取得する。距離情報を取得すると、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、画像処理装置１０は、ステップＳ１０１において走行路上の被写体の存在を確認した画像ＩＭ、およびステップＳ１０２において取得した距離情報に基づいて、撮像部１２の設置高さＨ_ＩＧを基準とした当該被写体の高さＨ_ＳＩを、算出する。高さＨ_ＳＩを算出すると、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、画像処理装置１０は、ステップＳ１０３で算出した高さＨ_ＳＩを用いて、画像処理装置１０のメモリに記憶されている自身が搭載される移動体１９の高さＨ_ＯＭを補正する。補正後、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、画像処理装置１０は、ステップＳ１０４において補正した高さＨ_ＯＭを、以後の高さ判定などに用いる移動体１９の高さとして用いることを決定する。決定後、補正処理は終了する。

次に、本実施形態において画像処理装置１０が実行する、自身の移動体１９の高さ要求処理について、図５のフローチャートを用いて説明する。要求処理は、移動体１９のエンジンおよびモータなどの駆動源が起動するときに開始する。

ステップＳ２００において、画像処理装置１０は、積載センサ１４が貨物の積載を検知しているか、または使用者が高さ情報を要求する操作の入力デバイスへの入力があるか否かを判別する。積載の検知および当該操作の入力のいずれもないとき、プロセスはステップＳ２００を繰返す。積載の検知または当該操作の入力があるとき、プロセスはステップＳ２０１に進む。

ステップＳ２０１では、画像処理装置１０は、通知要求を作成する。また、画像処理装置１０は、通信装置１６に、作成した通知要求を自身の移動体１９以外の他の移動体１９に向けて通信させる。通信させると、プロセスはステップＳ２０２に進む。

ステップＳ２０２では、画像処理装置１０は、他の移動体１９から高さ情報を取得しているか否かを判別する。高さ情報を取得していないとき、プロセスはステップＳ２０１に戻り、ステップＳ２０１、Ｓ２０２を繰返す。高さ情報を取得しているとき、プロセスはステップＳ２０３に進む。

ステップＳ２０３では、画像処理装置１０は、ステップＳ２０２で取得を確認した高さ情報に相当する高さＨ_ＡＭを、以後の高さ判定などに用いる自身の移動体１９の高さＨ_ＯＭとして用いることを決定する。決定後、要求処理は終了する。

次に、本実施形態において画像処理装置１０が実行する、障害物の衝突判別処理について、図６のフローチャートを用いて説明する。衝突判別処理は、移動体１９が前進または後退するときに開始する。

ステップＳ３００において、画像処理装置１０は、撮像部１２に対して動画の撮像を開始させる。撮像を開始させると、プロセスはステップＳ３０１に進む。

ステップＳ３０１では、画像処理装置１０は、ステップＳ３００において撮像開始させた動画を構成する任意のフレームの画像ＩＭの中に、移動体１９の走行路上空の障害物があるか否かを判別する。障害物がないとき、プロセスはステップＳ３０１に戻り、判別に用いたフレーム以後のフレームの画像ＩＭに対して、ステップＳ３０１を繰返す。障害物があるとき、プロセスはステップＳ３０２に進む。

ステップＳ３０２では、画像処理装置１０は、距離検出装置１５に距離情報を要求することにより距離情報を取得する。距離情報を取得すると、プロセスはステップＳ３０３に進む。

ステップＳ３０３では、画像処理装置１０は、ステップＳ３０１において障害物の存在を確認した画像ＩＭおよびステップＳ３０２において取得した距離情報に基づいて、障害物の下端ＢＥ_ｓｕｂの高さＨ_ＳＧを算出する。高さＨ_ＳＧを算出すると、プロセスはステップＳ３０４に進む。

ステップＳ３０４では、画像処理装置１０は、ステップＳ３０３において算出した障害物の高さＨ_ＳＧが、補正処理（図４参照）または要求処理（図５参照）において決定した自身の移動体１９の高さＨ_ＯＭより小さいか否かを判別する。障害物の高さＨ_ＳＧが自身の移動体１９の高さＨ_ＯＭ以上のとき、プロセスはステップＳ３０１に戻り、ステップＳ３０３において高さの算出に用いたフレーム以後のフレームの画像ＩＭに対して、ステップＳ３０１からＳ３０４を繰返す。障害物の高さＨ_ＳＧが自身の移動体１９の高さＨ_ＯＭより小さいとき、プロセスはステップＳ３０５に進む。

ステップＳ３０５では、画像処理装置１０は、警告信号を生成する。さらに、画像処理装置１０は、生成した警告信号を、ＥＣＵおよび表示装置１７などに送信する。送信後、衝突判別処理は終了する。

次に、本実施形態において画像処理装置１０が実行する、他の移動体１９の高さ算出処理について、図７のフローチャートを用いて説明する。高さ算出処理は、通知要求を取得するときに開始する。

ステップＳ４００において、画像処理装置１０は、衝突判別処理を実行中であるときに、衝突判別処理を中断する。衝突判別処理を実行していないとき、または中断後に、プロセスはステップＳ４０１に進む。

ステップＳ４０１では、画像処理装置１０は、撮像部１２に対して動画の撮像を開始させる。撮像を開始させると、プロセスはステップＳ４０２に進む。

ステップＳ４０２では、画像処理装置１０は、ステップＳ４０１において撮像開始させた動画を構成する任意のフレームの画像ＩＭの中に、通知要求を送出した他の移動体１９が存在するか否かを判別する。他の移動体１９が存在しないとき、プロセスはステップＳ４０２に戻り、判別に用いたフレーム以後のフレームの画像ＩＭに対して、ステップＳ４０２を繰返す。他の移動体１９が存在するとき、プロセスはステップＳ４０３に進む。

ステップＳ４０３では、画像処理装置１０は、距離検出装置１５に距離情報を要求することにより距離情報を取得する。距離情報を取得すると、プロセスはステップＳ４０４に進む。

ステップＳ４０４では、画像処理装置１０は、ステップＳ４０２において他の移動体１９の存在を確認した画像ＩＭおよびステップＳ４０３において取得した距離情報に基づいて、他の移動体１９の上端の高さＨ_ＡＭを算出する。高さを算出すると、プロセスはステップＳ４０５に進む。

ステップＳ４０５では、画像処理装置１０は、ステップＳ４０４で算出した、他の移動体１９の高さＨ_ＡＭに相当する高さ情報を含む通知状報を作成する。通知状報を作成すると、プロセスはステップＳ４０６に進む。

ステップＳ４０６では、画像処理装置１０は、ステップＳ４０２において他の移動体１９の存在を確認した画像ＩＭの中に障害物が存在するか否かを判別する。障害物が存在するとき、プロセスはステップＳ４０７に進む。障害物が存在しないとき、プロセスはステップＳ４１２に進む。

ステップＳ４０７では、画像処理装置１０は、ステップＳ４０６において障害物の存在を確認した画像ＩＭおよびステップＳ４０３において取得した距離情報に基づいて、障害物の下端ＢＥ_ｓｕｂの高さＨ_ＳＧを算出する。高さＨ_ＳＧを算出すると、プロセスはステップＳ４０８に進む。

ステップＳ４０８では、画像処理装置１０は、ステップＳ４０７において算出した障害物の高さＨ_ＳＧが、補正処理（図４参照）または要求処理（図５参照）において決定した自身の移動体１９の高さＨ_ＯＭより小さいか否かを判別する。障害物の高さが自身の移動体１９の高さより小さいとき、プロセスはステップＳ４０９に進む。障害物の高さＨ_ＳＧが自身の移動体１９の高さＨ_ＯＭ以上であるとき、プロセスはステップＳ４１０に進む。

ステップＳ４０９では、画像処理装置１０は、警告信号を生成する。さらに、画像処理装置１０は、生成した警告信号を、ＥＣＵおよび表示装置１７などに送信する。送信後、プロセスはステップＳ４１０に進む。

ステップＳ４１０では、画像処理装置１０は、ステップＳ４０７において算出した障害物の高さＨ_ＳＧが、ステップＳ４０４において算出した他の移動体１９の高さＨ_ＡＭより小さいか否かを判別する。障害物の高さＨ_ＳＧが他の移動体１９の高さＨ_ＡＭより小さいとき、プロセスはステップＳ４１１に進む。障害物の高さが自身の移動体１９の高さ以上であるとき、プロセスはステップＳ４１２に進む。

ステップＳ４１１では、画像処理装置１０は、ステップＳ４０５において作成した通知情報に、ステップＳ４１０における比較結果を付加する。比較結果を付加すると、プロセスはステップＳ４１２に進む。

ステップＳ４１２では、画像処理装置１０は、ステップＳ４０５において作成し、ステップＳ４１１で比較結果を作成したときには比較結果が付加された、通知状報を、通知要求を送出した他の移動体１９に送出する。通知情報を送出すると、プロセスはステップＳ４１３に進む。

ステップＳ４１３では、画像処理装置１０は、ステップＳ４００において中断した衝突判別処理を再開する。衝突判別処理の再開に伴い、高さ算出処理は終了する。

以上のような構成の本実施形態に係る画像処理装置１０は、画像ＩＭおよび距離情報に基づいて所定の被写体の高さＨ_ＳＧを算出する。したがって、画像処理装置１０は、運転者などに目視などの負担をかけること無く、正確な所定の被写体の高さＨ_ＳＧを提供し得る。

また、本実施形態に係る画像処理装置１０は、走行路上空の障害物の高さＨ_ＳＧを算出し、自身を搭載する移動体１９の高さＨ_ＯＭおよび障害物の高さＨ_ＳＧの比較に基づいて、警告信号を生成する。したがって、画像処理装置１０は、自身を搭載する移動体１９の進行方向上の障害物が移動体１９に衝突し得るか否かの直接的な警告を、運転者などに提供し得る。

また、本実施形態に係る画像処理装置１０は、自身を搭載する移動体１９以外の他の移動体１９に、自身の移動体１９の高さ情報の通知要求を行い、他の移動体１９から高さ情報を取得する。したがって、画像処理装置１０は、自身の移動体１９の上面に貨物を積載したときであっても、自身の移動体１９の高さを提供し得る。

また、本実施形態の画像処理装置１０は、自身の移動体１９の走行路上の被写体の、画像ＩＭにおける位置および距離情報に基づいて、自身の移動体１９の高さ情報を補正する。したがって、画像処理装置１０は、自身の移動体１９への搭乗者の重量および移動体１９内部への貨物の積載量に応じて高さが変動するときであっても、自身の移動体１９の高さの正確性を維持し得る。

また、本実施形態の画像処理装置１０は、画像ＩＭおよび距離情報に基づいて、画像ＩＭ中の移動体１９の高さＨ_ＡＭを算出し、画像ＩＭ中の移動体１９の高さ情報を含む通知情報を作成する。したがって、画像処理装置１０は、自身を搭載する移動体１９以外の画像ＩＭ中の移動体１９の高さを提供し得る。

また、本実施形態の画像処理装置１０は、画像ＩＭ中の移動体１９の高さＨ_ＡＭおよび障害物の高さＨ_ＳＧを比較し、比較結果を通知情報に付加する。したがって、画像処理装置１０は、他の移動体１９の進行方向上の障害物が他の移動体１９に衝突し得るか否かを判別し得る情報を提供し得る。

また、本実施形態の画像処理装置１０は、通知要求の受信時に通知情報を作成する。したがって、画像処理装置１０は、必要性があるときに限定して、他の移動体１９の高さ情報を生成し得る。

また、本実施形態の画像処理装置１０は、移動体１９の左右方向を軸にした、基準姿勢からの、水平面に対する傾斜角を用いて、移動体１９および被写体を結ぶ直線Ｌ_１と水平面とのなす第２の角度θ_２を補正する。したがって、画像処理装置１０は、移動体１９の前方または後方などに貨物を積載することにより移動体１９が傾斜したときであっても、算出する高さの正確性を維持し得る。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、本実施形態において、画像処理装置１０が送信する警告信号に基づいて、表示装置１７などが運転者などに衝突可能性の高い障害物があることを報知する構成であるが、例えば、ＥＣＵなどにおける制動の制御などの危険回避が行われてもよい。

また、本実施形態において、撮像部１２と画像処理装置１０は別体として構成されているが、両者を一体化した車載カメラとして構成してもよい。

また、本実施形態において、画像処理装置１０は、距離検出装置１５から、撮像部１２に撮像される任意の被写体までの距離情報を取得しているが、撮像部１２から取得する画像ＩＭに基づいて任意の被写体までの距離を算出する構成であってよい。例えば、撮像部１２が視差を設けた２台のカメラから撮像した画像ＩＭを用いた写真測量、またはモーションステレオ法を用いた写真測量などにより、任意の被写体までの距離を測定可能である。

１０ 画像処理装置
１１ 車載システム
１２ 撮像部
１３ 傾斜センサ
１４ 積載センサ
１５ 距離検出装置
１６ 通信装置
１７ 表示装置
１８ バス
１９ 移動体
２０ フロントシールド
ＢＥ_ｓｕｂ 被写体の下端
Ｇ 地面
ＩＭ 画像
ＯＸ 光軸
Ｐ_Ａ 画像内の光軸に対応する位置に対する上下方向の位置
Ｐ_ＯＸ 画像内の光軸に対応する位置

Claims (14)

1. 撮像部から画像を取得し、
   前記画像に撮像される任意の被写体までの距離情報を取得し、
   前記画像および前記距離情報に基づいて、前記任意の被写体の中の所定の被写体の高さを算出する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記所定の被写体は、前記画像処理装置を搭載する移動体の走行路上空の障害物であり、
   前記移動体の高さ情報を取得し、
   前記高さ情報に対応する高さが前記所定の被写体の高さより大きいとき、警告信号を生成する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記画像処理装置が搭載される自身の移動体以外の他の移動体に、該自身の移動体の高さ情報の通知要求を行い、該他の移動体から前記高さ情報を取得する
   ことを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記画像処理装置が搭載される移動体の走行路上の被写体の、前記画像における位置および前記距離情報に基づいて、前記高さ情報を補正する
   ことを特徴とする画像処理装置。
5. 請求項１から４のいずれか１項に記載の画像処理装置において、
   前記所定の被写体は、前記画像中の移動体を含み、
   算出する前記画像中の移動体の高さ情報を含む通知情報を作成する
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記所定の被写体は、前記画像中の移動体の走行路上空の障害物を含み、
   前記画像中の移動体および前記障害物の高さを比較し、比較結果を前記通知情報に付加する
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記画像中の移動体および前記障害物の高さの比較により、前記障害物の高さが前記画像中の移動体の高さより小さいとき、警告信号を生成する
   ことを特徴とする画像処理装置。
8. 請求項６に記載の画像処理装置において、
   前記通知情報を前記画像中の移動体に通知する
   ことを特徴とする画像処理装置。
9. 請求項５から８のいずれか１項に記載の画像処理装置において、
   前記画像処理装置が搭載される移動体以外の移動体から通知要求があるとき、前記通知情報を作成する
   ことを特徴とする画像処理装置。
10. 請求項１から９のいずれか１項に記載の画像処理装置において、
    前記画像に基づいて前記任意の被写体までの距離を算出することにより、前記距離情報を取得する
    ことを特徴とする画像処理装置。
11. 撮像部から画像を取得し、前記画像に撮像される任意の被写体までの距離情報を取得し、前記画像および前記距離情報に基づいて前記任意の被写体の中の所定の被写体の高さを算出し、前記所定の被写体は前記画像に撮像されている移動体を含み、算出する前記移動体の高さ情報を含む通知情報を作成する画像処理装置と、
    前記通知情報を、該移動体に通知する通信装置と、を備える
    ことを特徴とする車載システム。
12. 撮像部と、
    前記撮像部に撮像される任意の被写体までの距離情報を取得し、前記撮像部の撮像により生成する画像および前記距離情報に基づいて前記任意の被写体の中の所定の被写体の高さを算出する画像処理装置と、を備える
    ことを特徴とする車載カメラ。
13. 撮像部と、
    前記撮像部に撮像される任意の被写体までの距離情報を取得し、前記撮像部の撮像により生成する画像および前記距離情報に基づいて前記任意の被写体の中の所定の被写体の高さを算出する画像処理装置と、を備える
    ことを特徴とする移動体。
14. 撮像部から画像を取得し、
    前記画像に撮像される任意の被写体までの距離情報を取得し、
    前記画像および前記距離情報に基づいて、前記任意の被写体の中の所定の被写体の高さを算出する
    ことを特徴とする画像処理方法。
    

Images