JP2018158664A - 運転支援装置、運転支援方法およびプログラム - Google Patents

Abstract

【課題】車両周辺画像をより見やすく表示する。【解決手段】運転支援装置は、自車両５０の周辺を撮像した車両周辺画像を取得する画像取得部と、車両周辺画像に含まれる基準物を検出する画像解析部と、基準物の周辺に存在する障害物および路面標示の少なくとも一方の基準物に対する相対的な位置関係を示すデータを自車両５０の外部から取得するデータ取得部と、データ取得部が取得するデータを用いて、車両周辺画像に含まれる基準物の位置を基準として、車両周辺画像上に障害物および路面標示の少なくとも一方を示す画像を重畳した運転支援画像を生成する画像生成部と、運転支援画像を表示装置に表示させる表示制御部と、を備える。【選択図】図４

Description

本発明は、運転支援装置、運転支援方法およびプログラムに関する。

近年、駐車時の運転を支援する目的で、車載カメラで撮像した車両周辺画像を運転者に提示する装置が知られている。例えば、車両後方を撮像した後方画像が表示されたり、複数の車載カメラからの画像を結合して生成される俯瞰画像が表示されたりする。また、目標駐車場を側方カメラで撮像した画像と、目標駐車場に向けて後退する際に後方カメラで撮像した画像とを合成して俯瞰画像を表示する技術も提案されている（例えば、特許文献１参照）。

特開２００２−２９３５０号公報

日中や晴天時であれば、車両周辺の白線や障害物などを車載カメラにより鮮明に撮像できるが、夜間や雨天時といった視界不良の状況下では、車載カメラにより撮像される車両周辺画像の視認性も低下しがちである。また、路面標示上に自車両が位置している場合には、自車両の下にある路面標示を車両周辺画像から把握することができない。このように、車両周辺の障害物や路面標示を部分的に撮像できないような状況では、車両周辺画像の利便性が低下してしまう。

本発明は、上述の事情に鑑みてなされたものであり、車両周辺画像をより見やすく表示する技術を提供することを目的とする。

本発明のある態様の運転支援装置は、自車両の周辺を撮像した車両周辺画像を取得する画像取得部と、車両周辺画像に含まれる基準物を検出する画像解析部と、基準物の周辺に存在する障害物および路面標示の少なくとも一方の基準物に対する相対的な位置関係を示すデータを自車両の外部から取得するデータ取得部と、データ取得部が取得するデータを用いて、車両周辺画像に含まれる基準物の位置を基準として、車両周辺画像上に障害物および路面標示の少なくとも一方を示す画像を重畳した運転支援画像を生成する画像生成部と、運転支援画像を表示装置に表示させる表示制御部と、を備える。

本発明の別の態様は、運転支援方法である。この方法は、自車両の周辺を撮像した車両周辺画像を取得し、車両周辺画像に含まれる基準物を検出するステップと、基準物の周辺に存在する障害物および路面標示の少なくとも一方の基準物に対する相対的な位置関係を示すデータを自車両の外部から取得するステップと、取得するデータを用いて、車両周辺画像に含まれる基準物の位置を基準として、車両周辺画像上に障害物および路面標示の少なくとも一方を示す画像を重畳した運転支援画像を生成するステップと、運転支援画像を表示装置に表示させるステップと、を備える。

なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、車両周辺画像をより見やすく表示できる。

自車両を駐車スペースに駐車させる状況を模式的に示す図である。 駐車時の俯瞰画像の一例を模式的に示す図である。 重畳される付加画像の一例を模式的に示す図である。 実施の形態に係る運転支援画像の一例を模式的に示す図である。 運転支援装置の構成を模式的に示す機能ブロック図である。 運転支援方法の流れを模式的に示すフローチャートである。

本発明を具体的に説明する前に、概要を述べる。本実施の形態は、車載カメラで自車両の周辺を撮像した車両周辺画像を表示するための運転支援装置である。運転支援装置が提示する車両周辺画像は、車両後方を撮像した後方画像や、自車両の周辺を上空から見ているかのように視点変換処理を施した俯瞰画像などである。運転者は、白線などの路面標示により区画される駐車スペースに向けて自車両を後退させる場合に車両周辺画像を参照することで、車両周辺画像に表示される柱や壁といった障害物や隣接する駐車スペースの他車両の位置を把握しながら運転できる。

日中や晴天時であれば、車両周辺の白線や障害物などを車載カメラにより鮮明に撮像できるが、夜間や雨天時といった視界不良の状況下では、車載カメラにより撮像される車両周辺画像の視認性も低下しがちである。また、白線の上に自車両が位置している場合には、自車両の下にある白線の位置を車両周辺画像から把握することができない。このように、車両周辺の白線や障害物を部分的に撮像できないような状況では、自車両から撮像した車両周辺画像の利便性が低下してしまう。

そこで、本実施の形態では、自車両の周辺に存在する障害物や路面標示の位置を示すデータを自車両の外部から無線で取得し、取得したデータに基づいて障害物や路面標示の位置を示す画像を現在撮像される車両周辺画像に重畳する。このとき、自車両が撮像される車両周辺画像に含まれる基準物と取得したデータの基準物の位置が対応するように位置合わせする。本実施の形態によれば、自車両が撮像する車両周辺画像において欠損する箇所を外部から取得するデータにより補うことができ、車両周辺の障害物等をより把握しやすい運転支援画像を提供できる。

以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、自車両５０を駐車スペースに駐車させる状況を模式的に示す図であり、自車両５０を後退させて駐車スペースに進入させる様子を示す。駐車場５２には、複数の駐車スペースが並んで配置されており、第１駐車スペース６０ａおよび第２駐車スペース６０ｂが空いている。第１駐車スペース６０ａの近傍には、駐車場５２の支柱５４や防災設備５６といった障害物が存在する。各駐車スペースは、白線５８などの路面標示により区画されている。空いている駐車スペース６０ａ，６０ｂに隣接する区画には、他車両６２ａ，６２ｂが存在する。自車両５０の運転者は、自車周辺に位置する障害物や他車両に留意しながら、白線５８の区画内に自車両５０が収まるように運転操作をする必要がある。

図２は、駐車時の俯瞰画像７０の一例を模式的に示す図である。俯瞰画像７０は、自車両５０の周辺を撮像した車両周辺画像であり、自車両５０の周辺を上空から見ているかのように視点変換処理を施した画像である。俯瞰画像７０には、自車両５０の位置を中心として、自車両５０の周辺に位置する障害物や路面標示が含まれる。図示する例では、支柱５４、防災設備５６、白線５８および他車両６２ａ，６２ｂが含まれている。

図示されるような俯瞰画像７０は、公知のアルゴリズムを用いて生成することができる。例えば、自車両５０の前後左右の４箇所に設けられる複数のカメラのそれぞれが撮像する画像を取得して合成することにより、自車両５０の周辺を上空から見ているかのような俯瞰画像７０を生成できる。なお、自車両５０の周辺の状況のうち俯瞰画像７０に含まれる範囲は図示されるものに限られず、図示する範囲よりも広くてもよいし、狭くてもよい。また、自車両５０の前後左右の全ての状況が含まれなくてもよく、例えば、自車両５０の後方側半分のみの画像であってもよい。

図２では、自車両５０が第１駐車スペース６０ａと第２駐車スペース６０ｂの双方にまたがるように位置しており、第１駐車スペース６０ａと第２駐車スペース６０ｂの間を区画する路面標示の一部が自車両５０により隠れて見えない。その結果、図２に示す俯瞰画像７０を見ただけでは、第１駐車スペース６０ａと第２駐車スペース６０ｂの境界と自車両５０の位置関係を正確に把握することが難しいかもしれない。そこで、本実施の形態では、自車両５０によって隠れている白線５８の一部を重畳することで、白線５８の全体を可視化し、自車両５０の位置がより分かりやすくなるようにする。

図３は、重畳される付加画像７２の一例を模式的に示す図である。付加画像７２は、駐車場５２の障害物や路面標示が含まれる画像であり、駐車場５２の内部の構造を俯瞰画像で示した画像である。付加画像７２には、支柱５４や防災設備５６といった障害物、白線５８などの路面標示が含まれる一方で、各駐車スペースに位置する他車両は含まれない。障害物や路面標示の位置は時間経過によらず固定されている一方で、各駐車スペースに位置する他車両の位置は時間経過とともに変化するためである。

図４は、実施の形態に係る運転支援画像７４の一例を模式的に示す図である。図４の運転支援画像７４は、図２の俯瞰画像７０に図３の付加画像７２の一部領域Ａを重畳して生成される。具体的には、図２及び図３に含まれる共通の基準点を特定し、その基準点の位置が対応するように両者を重ね合わせる。ここで、共通の基準点とは、支柱５４や防災設備５６などの障害物や白線５８などの路面標示であり、特徴点の抽出が可能または容易な箇所である。フラップ式駐車場であれば、路面上に設置されるフラップ板を基準点として用いることもできる。図４に示すように付加画像７２が重畳された運転支援画像７４を提示することにより、図２の俯瞰画像７０を提示する場合よりも自車両５０の状況をより分かりやすく示すことができる。

図３では、付加画像７２の一例として、俯瞰画像７０に重畳される一部領域Ａより広い範囲が含まれる場合を示している。このような付加画像７２は、例えば、駐車場等の障害物や路面標示の配置を示す図面データから生成することができる。付加画像７２は、自車両または他車両が撮像した車両周辺画像に基づいて生成されてもよく、この場合の付加画像７２に含まれる範囲は、俯瞰画像７０と同程度であってもよいし、俯瞰画像７０より大きくても小さくてもよい。具体的には、図３の一部領域Ａと同じ範囲のみが付加画像７２に含まれてもよい。また、付加画像７２の元となる画像データは、俯瞰画像に限られず、自車両または他車両から車両前方、側方または後方を撮像した画像であってもよい。

図５は、運転支援装置１０の構成を模式的に示す機能ブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。

運転支援装置１０は、タッチディスプレイ１２と、制御装置１８とを備える。タッチディスプレイ１２は、表示装置１４と、入力装置１６とを有する。表示装置１４は、液晶ディスプレイ等の表示装置であり、車両のセンターコンソールやダッシュボードの位置に取り付けられる。入力装置１６は、いわゆるタッチパネル式のセンサであり、表示装置１４の表示領域に設けられる。なお、入力装置１６はタッチ式ではなく、表示装置１４の周辺に配置されるボタン等で構成されてもよい。また、表示装置１４は、車両後方を視認するためのリアビューミラーの位置に設けられてもよいし、ヘッドアップディスプレイとして構成されてもよい。運転支援装置１０は、タッチディスプレイ１２を備えず、運転支援装置１０とは別のディスプレイ等の表示装置の表示を制御してもよい。

制御装置１８は、運転支援画像７４を生成し、生成した画像を表示装置１４に表示させる。制御装置１８は、無線通信器３０、車載カメラ３２、車速センサ３４、ジャイロセンサ３６、及び、ナビゲーション装置３８と接続されており、これらから表示画像の生成に必要な情報を取得する。無線通信器３０は、無線通信回線を通じてネットワークと接続し、自車両５０の外部に設けられるサーバ（不図示）との間でデータのやりとりをする。

制御装置１８は、画像取得部２０と、画像解析部２２と、データ取得部２４と、データ送信部２５と、画像生成部２６と、表示制御部２８と、を備える。

画像取得部２０は、車載カメラ３２から自車両５０の周辺を撮像した画像を取得する。画像取得部２０は、例えば、自車両５０の前後左右の４箇所に設けられる複数のカメラのそれぞれが撮像する画像を取得し、自車両５０の周辺を上空から見ているかのように視点変換処理が施された俯瞰画像を生成可能にする。なお、画像取得部２０が取得する画像は特に限られず、例えば自車両５０の後方画像など、自車両５０の周辺状況を示す車両周辺画像を生成するために必要な任意の画像を取得してよい。

画像解析部２２は、画像取得部２０が取得した車両周辺画像に含まれる基準物をパターンマッチングなどの解析技術を用いて検出する。例えば、図２に示す俯瞰画像７０であれば、画像に含まれる支柱５４、防災設備５６、白線５８などを基準物として検出する。フラップ式駐車場であれば、路面上のフラップ板を基準物として検出してもよい。画像解析部２２は、車両周辺画像の中からあらかじめ設定された基準物を検出してもよいし、車両周辺画像の中から基準物の候補となる物体を特定し、そのいずれかを基準物として検出してもよい。

データ取得部２４は、無線通信器３０を介して、自車両５０の外部から付加画像７２の生成に必要なデータを取得する。データ取得部２４が取得するデータには、画像解析部２２が解析する基準物と、その基準物の周辺に存在する障害物や路面標示との相対的な位置関係を示す情報や画像が含まれる。付加画像７２は、データ取得部２４が取得するデータに基づいて画像生成部２６により生成される。

データ取得部２４が取得するデータの一例は、画像データであり、あらかじめ駐車場５２にて撮像された画像や、駐車場５２を利用する車両が過去に撮像した俯瞰画像などに基づく。事前に撮像した画像に他車両や通行人などの時間経過とともに位置が変化しうるものが含まれている場合、それらを画像処理により事前に除去しておくことが好ましい。また、他車両の車載カメラが撮像した車両周辺画像を用いる場合には、車載カメラの位置が自車両５０と同等の画像を用いることが好ましい。カメラの取付位置や向きが異なると撮像される画像の視点や画角が異なり、撮像画像の見え方が異なってしまうからである。例えば、自車両５０と同型車種の他車両が純正仕様の車載カメラで撮像した画像データを取得することが好ましい。

なお、データ取得部２４が取得するデータは、基準物および基準物の周辺の障害物や路面標示の配置を示す図面データであってもよく、図面データに基づいて付加画像７２が生成されてもよい。この場合、付加画像７２は、図面データに基づいて２次元または３次元仮想空間を生成し、俯瞰画像７０の画角に対応する位置をレンダリングすることによって生成することができる。画像生成部２６は、データ取得部２４が取得する図面データに基づいて、俯瞰画像７０の画角に対応する付加画像７２を生成する。

データ送信部２５は、自車両５０が撮像した車両周辺画像を無線通信器３０を介してサーバに送信する。自車両５０から送信される画像は、サーバに保存され、自車両または他車両が取得する付加画像７２の元データとして使用される。データ送信部２５は、撮像した車両周辺画像に加えて、車種、撮像日時、撮像地点、撮像時の天候といった画像の属性情報をサーバに送信してもよい。

画像生成部２６は、車両周辺画像に付加画像を重畳して運転支援画像７４を生成する。画像生成部２６は、現在撮像した車両周辺画像に含まれる基準物と、外部から取得したデータに基づく付加画像に含まれる基準物との位置が対応するように二つの画像を重畳する。例えば、図２〜図４に示す例では、位置合わせの基準物として、支柱５４や防災設備５６、白線５８の先端部などを用いることができる。フラップ式駐車場であれば、路面上のフラップ板を基準物として用いることができる。

画像生成部２６は、俯瞰画像７０に付加画像７２を重畳させる際、俯瞰画像７０に対して付加画像７２のサイズが一致するように付加画像７２に拡大縮小処理を施してもよい。付加画像７２の元データには、付加画像７２に含まれる障害物や路面標示の大きさや縮尺などを示すサイズ情報が含まれてもよく、画像生成部２６はそのサイズ情報に基づいて拡大縮小処理を施した付加画像７２を生成してもよい。なお、付加画像７２の元データとして自車両５０と同型車種の他車両が撮像した車両周辺画像を用いる場合等には、撮像される画像の視点や画角が一致するため、付加画像７２に拡大縮小処理を施さずに俯瞰画像７０に重畳させてもよい。

なお、サーバに保存されているデータによっては、現在の自車両５０の周辺の状況に対応する付加画像７２が得られない場合もある。また、車両周辺画像の中から基準物を適切に検出できないために、付加画像７２を重畳できない場合もある。このような場合には、画像生成部２６は、付加画像７２の重畳をせずに、俯瞰画像７０を運転支援画像として生成する。

画像生成部２６は、自車両５０が移動して現在撮像中の車両周辺画像が変化する場合、その変化に応じて重畳させる付加画像７２を切り替える。画像生成部２６は、例えば、移動先の自車両５０の位置に応じて異なる付加画像７２を取得して重畳し、運転支援画像７８が更新表示されるようにする。画像生成部２６は、自車両５０の位置の変化が小さい場合等には、付加画像７２の重畳位置や向きを変更することにより、運転支援画像７８が更新表示されるようにしてもよい。

表示制御部２８は、画像生成部２６が生成する画像を表示装置１４に表示させる。表示制御部２８は、例えば、図４に示すような運転支援画像７４を表示装置１４に表示させ、周囲の状況がより分かりやすい車両周辺画像を運転者に提示する。

以上の構成によれば、運転支援装置１０は、自車両５０が撮像する俯瞰画像７０に付加画像７２を重畳することにより、俯瞰画像７０だけでは見えない部分や見えにくい部分を補って表示することができる。例えば、自車両５０によって隠れてしまう箇所や、自車両５０の車載カメラ３２の死角となって映らない箇所を可視化できる。また、車載カメラ３２の画角の範囲内であったとしても、夜間のために見えにくかったり、照明光が当たらないために陰になったりする部分を見えやすく表示できる。したがって、本実施の形態によれば、車両周辺の状況が十分に映し出されない状況下であっても、車両周辺の障害物の位置が見やすい運転支援画像を提示できる。これにより、ユーザの利便性を向上することができる。

図６は、運転支援方法の流れを模式的に示すフローチャートである。画像取得部２０は、車載カメラ３２から車両周辺画像を取得する（Ｓ１０）。画像解析部２２は、取得した現在の車両周辺画像を解析して基準物を特定し、データ取得部２４は、自車両周辺の障害物および路面標示に関するデータを取得する（Ｓ１２）。自車両周辺の障害物および路面標示の位置を示す付加画像の重畳が可能であれば（Ｓ１４のＹ）、画像生成部２６は、車両周辺画像と付加画像の共通する基準物の位置が対応するように車両周辺画像に付加画像を重畳して合成する（Ｓ１６）。表示制御部２８は、画像生成部２６が合成した運転支援画像を表示させる（Ｓ１８）。一方、付加画像の重畳ができなければ（Ｓ１４のＮ）、撮像した車両周辺画像を表示させる（Ｓ２０）。

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。

上述の実施の形態では、自車両５０の俯瞰画像７０に対して付加画像７２を重畳して表示する場合を示した。変形例においては、自車両５０の前方画像、側方画像または後方画像などに付加画像を重畳して表示してもよい。

上述の実施の形態では、自車両５０のハンドルを左側に切った状態で後退させる場合に表示される運転支援画像を例示した。変形例においては、自車両５０のハンドルを右側に切った状態で後退させる場合、直進状態で後退させる場合、自車両５０を前進させる場合などに上述の内容を適用してもよい。

１０…運転支援装置、１４…表示装置、２０…画像取得部、２２…画像解析部、２４…データ取得部、２５…データ送信部、２６…画像生成部、２８…表示制御部、３２…車載カメラ、５０…自車両、７４…運転支援画像。

Claims (8)

1. 自車両の周辺を撮像した車両周辺画像を取得する画像取得部と、
   前記車両周辺画像に含まれる基準物を検出する画像解析部と、
   前記基準物の周辺に存在する障害物および路面標示の少なくとも一方の前記基準物に対する相対的な位置関係を示すデータを自車両の外部から取得するデータ取得部と、
   前記データ取得部が取得するデータを用いて、前記車両周辺画像に含まれる前記基準物の位置を基準として、前記車両周辺画像上に前記障害物および前記路面標示の少なくとも一方を示す画像を重畳した運転支援画像を生成する画像生成部と、
   前記運転支援画像を表示装置に表示させる表示制御部と、を備えることを特徴とする運転支援装置。
2. 前記データ取得部は、前記基準物と、前記基準物の周辺に存在する障害物および路面標示の少なくとも一方とを撮像した画像データを取得することを特徴とする請求項１に記載の運転支援装置。
3. 前記データ取得部は、自車両とは異なる他車両の車載カメラが撮像した車両周辺画像に基づくデータを取得することを特徴とする請求項１または２に記載の運転支援装置。
4. 前記データ取得部は、自車両と同型車種である他車両の車載カメラが撮像した車両周辺画像に基づくデータを取得することを特徴とする請求項３に記載の運転支援装置。
5. 自車両の車載カメラが撮像した車両周辺画像に基づくデータを自車両の外部に送信するデータ送信部をさらに備えることを特徴とする請求項１から４のいずれか一項に記載の運転支援装置。
6. 前記データ取得部は、前記基準物と、前記基準物の周辺に存在する障害物および路面標示の少なくとも一方とを含む図面データを取得することを特徴する請求項１に記載の運転支援装置。
7. 自車両の周辺を撮像した車両周辺画像を取得し、前記車両周辺画像に含まれる基準物を検出するステップと、
   前記基準物の周辺に存在する障害物および路面標示の少なくとも一方の前記基準物に対する相対的な位置関係を示すデータを自車両の外部から取得するステップと、
   前記取得するデータを用いて、前記車両周辺画像に含まれる前記基準物の位置を基準として、前記車両周辺画像上に前記障害物および前記路面標示の少なくとも一方を示す画像を重畳した運転支援画像を生成するステップと、
   前記運転支援画像を表示装置に表示させるステップと、を備えることを特徴とする運転支援方法。
8. 自車両の周辺を撮像した車両周辺画像を取得し、前記車両周辺画像に含まれる基準物を検出する機能と、
   前記基準物の周辺に存在する障害物および路面標示の少なくとも一方の前記基準物に対する相対的な位置関係を示すデータを自車両の外部から取得する機能と、
   前記取得するデータを用いて、前記車両周辺画像に含まれる前記基準物の位置を基準として、前記車両周辺画像上に前記障害物および前記路面標示の少なくとも一方を示す画像を重畳した運転支援画像を生成する機能と、
   前記運転支援画像を表示装置に表示させる機能と、をコンピュータに実現させることを特徴とするプログラム。

Images