JP2012188058A - 表示装置 - Google Patents

Abstract

【課題】路面からの高さに応じた障害物の存在をユーザに直感的に示して自車両と障害物との接触を防止することができる表示装置を提供することを目的とする。
【解決手段】自車両周囲を撮像する撮像手段１と、自車両側方の障害物を検知するセンサ４と、撮像手段１から取得した撮像映像に基づいて俯瞰映像を作成し、この俯瞰映像にセンサ４から取得した情報に基づいてグラフィックを重畳する画像処理ユニット２と、この画像処理ユニット２によってグラフィックが重畳された重畳映像を表示する表示手段３とを備える。画像処理ユニット２は、センサ４が側方の障害物を検知した場合に、この障害物を検知した側の側方に、路面からドアミラーまでの高さの境界ガイドを重畳することを特徴とする。
【選択図】図１

Description

本発明はディスプレイに車両の境界を表示する表示装置に関するものである。

従来、車載カメラによる撮像映像を路面投影モデルに投影して俯瞰映像を作成する全周囲撮像手段システムが知られている（例えば特許文献１を参照）。この路面投影モデルを用いた俯瞰映像では、車両などの立体物が倒れこんだ平面形状に映っている。

特開２００５−１２４６５号公報

しかし、路面投影モデルを用いた俯瞰映像で表示される立体物と、実際の立体物との位置には乖離が生じる。このため、ユーザは俯瞰映像上で立体物と自車両が重ならないように運転しても、自車両と立体物とが衝突する可能性がある。これについて、図面を用いて具体的に説明する。

図６は、駐車操作時の自車両周囲の状況をイメージで説明する図である。図６に示すように、自車両１００の右側方に車両１０１が駐車している。この車両１０１は、駐車枠線１０２、１０３の間に駐車している。自車両１００の車体には図示しない撮像手段が設けられている。この撮像手段が自車両周囲を撮像する。特に、この撮像手段のうち自車両１００の右側方に設けられた撮像手段は、撮像範囲１０４で示される。

図７は、図６の車両１０１の周辺を上から見た状態をイメージで説明する図である。図７に示すように、車両１０１の周辺を上から見たとき、車両１０１の側端は、駐車枠線１０２、１０３上に位置している。特に、車両１０１の左側端は、駐車枠線１０２の内側の境界よりも外側に延出している。さらに、車両１０１左方のドアミラー１０３は駐車枠線１０２の外側の境界よりも車幅方向外側に突出している。

図８は、図６の自車両１００の周辺の俯瞰画像をイメージで説明する図である。図８に示すように、自車両１００の真上から路面投影モデルを用いた俯瞰映像をイメージで説明する図である。図８に示すように、自車両１００の右側方に車両１０１が駐車している。車両１０１は、画面上方に倒れこんだ形状で表示される。そして、車両１０１のタイヤ下に駐車枠線１０２が表示される。

ここで、自車両１００のユーザが画面上の駐車枠線１０２を境界線と判断して自車両１００を駐車枠線１０２に重ならせないように運転することが想定される。しかし、駐車枠線１０２を境界線として自車両１００を運転すると、実際には駐車枠線１０２外に位置する車両１０１の左方のドアミラーが自車両１００の右側端に衝突する場合が生じる。また、自車両１００の右方のドアミラーが駐車枠線１０２上に位置する車両１０１の左側端に衝突する場合が生じる。図８に示されるように自車両１００の真上から路面投影モデルを用いた俯瞰映像を作成すると、車両１０１と駐車枠線１０２との位置関係の表示は、図７に示される車両１０１と駐車枠線１０２との実際の位置関係の表示と異なるものとなってしまう。そして、図８の表示によって、自車両１００が車両１０１と接触する可能性が生じてしまう。特に、ドアミラーのように、車両１００の高さに応じて側端位置が変わる場
合にいっそう衝突の可能性が高まる。

そこで、本発明は、路面からの高さに応じた障害物の存在をユーザに直感的に示して自車両と障害物との接触を防止することを目的とする。

上記目的を達成するため、本発明の画像処理ユニットは、センサが側方の障害物を検知した場合に、この障害物を検知した側の側方に、路面からドアミラーまでの高さの境界ガイドを示すグラフィックを重畳することを特徴とする。

本発明によれば、路面からの高さに応じた障害物の存在をユーザに直感的に示して自車両と障害物との接触を防止することができるという効果を奏する。

本発明の実施形態における表示装置の構成を示すブロック図 同図１の要部であるＣＰＵによる処理を説明するフローチャート図 同図１の要部である信号処理部によるグラフィック重畳処理を説明するフローチャート図 同図１の要部である信号処理部が境界ガイドを重畳した状態をイメージで説明する図 同図４の別な状態をイメージで説明する図 駐車操作時の自車両周囲の状況をイメージで説明する図 同図６の車両の周辺を上から見た状態をイメージで説明する図 同図６の自車両の周辺の俯瞰画像をイメージで説明する図

以下、本発明の実施形態における表示装置について図面を参照しながら説明する。なお、本実施形態では、車両の後退時における表示装置について説明する。

図１は本発明の実施形態における表示装置の構成を示すブロック図である。

図１に示すように、表示装置は、車体に取り付けられて自車両周囲を撮像する撮像手段１と、この撮像手段１から入力した撮像画像を画像処理する画像処理ユニット２と、画像処理ユニット２から入力された表示画像を表示する表示手段３と、車体に設けられて車外の障害物を検知するセンサ４と、ユーザが情報を入力する入力手段５とを備える。

撮像手段１は複数のカメラで構成され、自車両周囲を撮像する。例えば、車体には前方、後方、左右の側方にそれぞれ１つずつカメラが設けられて自車両の全周囲を撮像する。撮像手段１は、撮像画像を電気信号に変換して画像処理ユニット２に入力する。

画像処理ユニット２は、ＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）で構成され、車室内に設けられる。画像処理ユニット２は、撮像手段１から入力された撮像画像のレンズ歪みを補正する。画像処理ユニット２は、この補正した画像に視点変換を施した視点変換画像を生成する。また、画像処理ユニット２は、この俯瞰画像にガイドラインや自車両などのグラフィックを重畳する。なお、グラフィックが重畳された部分の撮像画像を視認可能にするため、画像処理ユニット２は、各グラフィックにαブレンディングを施したうえで撮像画像に重畳することが望ましい。

表示手段３は、ユーザに視認可能な車内に設けられる。例えば、表示手段３は、インス
ツルメントパネル内の設けられたナビゲーション装置のディスプレイと兼用される。表示手段３は画像処理ユニット２から入力された映像信号を表示する。例えば、表示手段３は、撮像画像や、この撮像画像に重畳された各種グラフィックを表示する。

センサ４は、複数の超音波ソナーで構成され、車体の前方、後方、側方、コーナ等に設けられる。少なくとも、前後左右の側方にそれぞれ２つずつソナーが設けられる。センサ４は、超音波を放射し、障害物からの反射信号を取得する。これによってセンサ４は自車両に接近する障害物を検知する。そして、センサ４は、この障害物からの反射信号を画像処理ユニット２に入力する。

入力手段５は、例えばスイッチやボタン、タッチパネルの少なくとも一つで構成される。ユーザは、入力手段５を操作して、画像処理ユニット２への各種指示を行う。

画像処理ユニット２は、ＡＤコンバータ２１と、信号処理部２２と、ビデオメモリ２３と、不揮発性メモリ２４と、ＣＰＵ２５と、ＤＡコンバータ２６とを有する。

ＡＤコンバータ２１は、複数のＡＤコンバータで構成され、撮像手段１を構成する各カメラにそれぞれ接続される。ＡＤコンバータ２１は、撮像手段１の各カメラからそれぞれ撮像画像を取得してアナログデジタル変換を行い、この変換した撮像画像を信号処理部２２に出力する。

信号処理部２２は、ＡＤコンバータ２１から入力された撮像画像にレンズ歪み補正処理を行う。そして、信号処理部２２は、この補正した画像に視点変換処理、グラフィックの重畳処理を行う。例えば、信号処理部２２は、自車両上方から路面投影モデルを用いた俯瞰画像に視点変換する。

ビデオメモリ２３は、信号処理部２２に入力された撮像画像や信号処理部２２による処理結果を一時記憶する。

不揮発性メモリ２４は、レンズ歪み補正処理に必要な補正データテーブル、視点変換処理に必要なマッピングテーブル等のデータテーブルや、自車両のグラフィックデータ、路面からドアミラーまでの高さの境界ガイドを示すグラフィックデータを格納する。

ＣＰＵ２５は、画像処理ユニット２全体の制御を行う。例えば、ＣＰＵ２５は、センサ４から入力された反射信号に基づいて、自車両と障害物間の距離を算出する。ＣＰＵ２５は、自車両と障害物間の距離の情報に基づいて、路面からドアミラーまでの高さの境界ガイドを示すグラフィックの重畳処理を信号処理部２２に命令する。例えば、ＣＰＵ２５は、自車両と障害物間の距離が所定の閾値以下になったと判定したとき、信号処理部２２に境界ガイドを示すグラフィックを重畳させる。

次に、ＣＰＵ２５が信号処理部に行う処理を説明する。図２は、ＣＰＵ２５が信号処理部２２に行う処理を説明するフローチャート図である。

ステップＳ１に示すように、まずＣＰＵ２５は、センサ４の各ソナーによって自車両側方の障害物を検知する。例えば、ＣＰＵ２５は、センサ４の各ソナーに対して超音波の出力を指示する。そして、ＣＰＵ２５は、各ソナーから障害物からの音波反射情報を取得する。この取得情報に基づいて、ＣＰＵ２５は、路面からの高さに応じた自車両と障害物との距離情報を所定の高さ毎に取得する。

次に、ステップＳ２に示すように、ＣＰＵ２５は、センサ４の各ソナーから取得した情
報に基づいて自車両側方に障害物を検知した場合に、不揮発性メモリ２４から読み出すアドレス情報を決定する。例えば、ＣＰＵ２５は、センサ４の少なくとも一つのソナーから取得した距離情報が所定の閾値以下である場合に自車両側方に障害物を検知したと判定する。一方、ＣＰＵ２５は、センサ４のいずれのソナーから取得した距離情報も所定の閾値より大きいときは自車両周辺に障害物を検知しないと判定する。この場合、ＣＰＵ２５は、所定時間後に再度ステップＳ１からの処理を繰り返す。そして、ＣＰＵ２５は、自車両側方に障害物が存在すると判定したとき、不揮発性メモリ２４において路面からドアミラーまでの高さの境界ガイドのグラフィックデータが格納されているアドレスを、読み出すアドレス情報として決定する。

そして、ステップＳ３に示すように、ＣＰＵ２５は、信号処理部２２に対してステップＳ２で決定したアドレス情報を出力する。

次に、信号処理部２２によるグラフィック重畳処理について説明する。

図３は、信号処理部２２によるグラフィック重畳処理を説明するフローチャート図である。

ステップＳ１１に示すように、信号処理部２２は、ＡＤコンバータ２１から入力された撮像画像をビデオメモリ２３に一時的に格納する。

ステップＳ１２に示すように、信号処理部２２は、ビデオメモリ２３からステップＳ１１で一時的に格納された撮像画像を取り出す。信号処理部２２は、不揮発性メモリ２４に記憶されている補正データテーブルに基づきこの撮像画像に歪み補正処理を行う。そして、信号処理部２２は、この歪み補正処理を行った処理画像から表示手段３に出力するための表示映像を作成する。

次に、ステップＳ１３に示すように、信号処理部２２は、不揮発性メモリ２４から読み出したガイドライン等のグラフィックをステップＳ１２の表示映像に重畳する。

次に、ステップＳ１４に示すように、信号処理部２２は、Ｓ３でＣＰＵ２５から入力されたアドレス情報に基づいて、不揮発性メモリ２４から境界ガイドのグラフィックデータを読み出してステップＳ１２の表示映像に重畳する。

次に、ステップＳ１５に示すように、信号処理部２２は、表示映像にステップＳ１３とステップＳ１４において重畳した重畳映像をＤＡコンバータ２６に出力する。表示手段３は、ＤＡコンバータ２６から入力されたこの重畳映像を表示する。

次に、ステップＳ１４で重畳される境界ガイドのグラフィックについて説明する。

図４は、信号処理部２２が境界ガイドを重畳した状態をイメージで説明する図である。図４では、自車両４０の左側方に障害物であるガードレール５０が存在する状態を自車両４０の前方から見たイメージと、このときに信号処理部２２によって作成される俯瞰映像のイメージとが示される。

センサ４がガードレール５０を検知したとき、図４の俯瞰映像には、自車両のグラフィック４３、自車両のグラフィック４３から離れる方向に倒れこんだ形状のガードレール５１が重畳される。さらに自車両のグラフィック４３の左方（図４では自車両のグラフィック４３の右方）には、境界ガイド４４が重畳される。図４に示すように、境界ガイド４４は、台形形状で構成されている。境界ガイド４４の辺４４ａは、自車両のグラフィック４
３側の辺である。この辺４４ａの位置は、センサ４が検知した自車両４０とガードレール５０との距離に応じて一意に定められる。境界ガイド４４の辺４４ａは、俯瞰映像上でガードレール５０の位置を示す。ユーザは、俯瞰映像上で自車両のグラフィック４３が境界ガイド４４の辺４４ａを超えないように自車両４０を運転することでガードレール５０との衝突を回避することができる。

一方、境界ガイド４４の辺４４ｂは自車両４０の路面からドアミラー４１までの高さを示す。ユーザは、図４に示されるように俯瞰映像上でガードレール５１の右端よりも境界ガイド４４の辺４４ｂが右に位置するときにドアミラー４１よりもガードレール５０が低いことを認識することができる。このとき、ユーザはドアミラー４１とガードレール５０とが衝突しないことを認識することができる。また、ユーザは自車両４０の左端４２がガードレール５０と衝突しないように自車両４０を運転すればよいことを認識することができる。このとき、ユーザは、俯瞰映像上で自車両のグラフィック４３のドアミラー４５が境界ガイド４４の辺４４ａを超えても車体左側端４６が辺４４ａを超えないように運転することで自車両４０とガードレール５０の衝突を防止することができる。

図４に示されるように、信号処理部２２は、俯瞰映像上に車体左側端４６に沿って延びる第１のガイド線４７を重畳する。この第１のガイド線４７は車体左側端４６を示す指標線となるため、ユーザは、車体左側端４６が境界ガイド４４の辺４４ａを超えないように運転しやすくなる。また、信号処理部２２は、さらに境界ガイド４４の辺４４ａよりも左方にガイドマーク４８を重畳してもよい。このガイドマーク４８は、境界ガイド４４の辺４４ａに余裕値を持たせたものを意味する。ガイドマーク４８は、境界ガイド４４の自車両４０側端部である辺４４ａよりもさらに自車両４０側に位置する。そして、ガイドマーク４８は、第１のガイド線４７が接するまで自車両が移動可能であることを示す。ユーザが第１のガイド線４７をガイドマーク４８に合致するまで運転することを認識できるので自車両４０とガードレール５０の衝突をより確実に防止することができる。

信号処理部２２は、さらに高さ指標線４９を重畳してもよい。この高さ指標線４９は複数の指標線４９ａ〜４９ｃで構成される。信号処理部２２は、各指標線４９ａ〜４９ｃに距離数値を付加してもよい。これにより、境界ガイド４４が高さを示すグラフィックであることをユーザは直感的に認識しやすくなる。

なお、図４に示されるように、ガイドマーク４８、高さ指標線４９は、自車両のグラフィック４３の前方側に重畳されている。図示しない進行方向検出手段から取得した自車両の進行方向の情報に基づいて、信号処理部２２はガイドマーク４８、高さ指標線４９を重畳する前後の位置を決定する。例えば、信号処理部２２は、図示しないシフトレバーからドライブのポジション情報を得たとき、図４に示すように自車両のグラフィック４３の前方にガイドマーク４８、高さ指標線４９を重畳する。これによって、障害物と衝突しやすい自車両４０の進行方向について衝突を防止することと、ガイドマーク４８と高さ指標線４９の重畳エリアを少なくして境界ガイド４４の視認性を維持することとを両立することができる。

次に、ステップＳ１４で重畳される境界ガイドのグラフィックの別な状態について説明する。図５は、図４の別な状態をイメージで説明する図である。図５では、自車両４０の左側方に障害物である壁５２が存在する状態を自車両４０の前方から見たイメージと、このときに信号処理部２２によって作成される俯瞰映像のイメージとが示される。なお、図５において図４と同様の構成については同じ符号を付し、詳細な説明を省略する。

センサ４が壁５２を検知したとき、図５の俯瞰映像には、自車両のグラフィック４３、自車両のグラフィック４３から離れる方向に倒れこんだ形状の壁５３が重畳される。さら
に自車両のグラフィック４３の左方には、境界ガイド４４が重畳される。図５に示すように、境界ガイド４４は、図４と同様の台形形状で構成されている。この境界ガイド４４の辺４４ａの位置は、センサ４が検知した自車両４０と壁５２との距離に応じて一意に定められる。境界ガイド４４の辺４４ａは、俯瞰映像上で壁５３の位置を示す。ユーザは、俯瞰映像上で自車両のグラフィック４３が境界ガイド４４の辺４４ａを超えないように自車両４０を運転することで壁５２との衝突を回避することができる。

一方、図５の俯瞰映像上で、境界ガイド４４の辺４４ｂは壁５３の右端よりも左に位置する。このとき、ユーザはドアミラー４１よりも壁５２が高いことを認識することができる。そして、ユーザはドアミラー４１と壁５２とが衝突する可能性があることを認識することができる。そして、ユーザはドアミラー４１が壁５２と衝突しないように自車両４０を運転すればよいことを認識することができる。このとき、ユーザは、俯瞰映像上で自車両のグラフィック４３のドアミラー４５が境界ガイド４４の辺４４ａを超えないように運転することで自車両４０とガードレール５０の衝突を防止することができる。

図５に示されるように、信号処理部２２は、俯瞰映像上にドアミラーの側端４５に沿って延びる第２のガイド線５４を重畳する。この第２のガイド線５４はドアミラーの側端４５を示す指標線となるため、ユーザは、ドアミラーの側端４５が境界ガイド４４の辺４４ａを超えないように運転しやすくなる。また、信号処理部２２は、さらに境界ガイド４４の辺４４ａよりも左方にガイドマーク５５を重畳してもよい。ユーザが第２のガイド線５４をガイドマーク５５に合致するまで運転することを認識できるので自車両４０とガードレール５０の衝突をより確実に防止することができる。なお、信号処理部２２は、さらに高さ指標線５６を重畳してもよい。この高さ指標線５６は複数の指標線５６ａ〜５６ｃで構成される。信号処理部２２は、各指標線５６ａ〜５６ｃに距離数値を付加してもよい。これにより、境界ガイド４４が高さを示すグラフィックであることをユーザは直感的に認識しやすくなる。

なお、図５に示されるように、ガイドマーク５５、高さ指標線５６は、自車両のグラフィック４３の後方側に重畳されている。信号処理部２２は、図示しないシフトレバーからリバースのポジション情報を得たとき、自車両のグラフィック４３の後方にガイドマーク５５、高さ指標線５６を重畳する。これによって、後退時に障害物と衝突しやすい自車両４０の後退方向について衝突を防止することと、ガイドマーク５５と高さ指標線５６の重畳エリアを少なくして境界ガイド４４の視認性を維持することとを両立することができる。

なお、図４と図５で示されるように、俯瞰画像上に境界ガイド４４が重畳された場合、入力手段５によって、第１のガイド線４７と第２のガイド線５４のいずれかが選択される。ユーザは、境界ガイド４４の辺４４ｂと障害物との位置関係を視認する。そして、入力手段５によって、自車両の車体側端４６またはドアミラー側端４５のいずれを通るかを入力する。これによって、ユーザは、第１のガイド線４７と第２のガイド線５４のうち案内に適したガイド線を選択することができる。信号処理部２２は、入力手段５からの入力結果に基づいて俯瞰映像上に第１のガイド線４７と第２のガイド線５４のいずれかを重畳する。これによって、障害物の高さに応じた衝突防止のガイドをすることができる。

なお、図４、図５では、自車両４０の左側方でセンサ４が障害物を検知した場合について述べたが、自車両４０の右側方でセンサ４が障害物を検知した場合、境界ガイド４４は、自車両の右側方に重畳される。すなわち、境界ガイド４４は、センサ４が障害物を検知した側の自車両４０の側方に重畳される。

以上のように、本発明によれば、路面からの高さに応じた障害物の存在をユーザに直感
的に示して自車両と障害物との接触を防止することができる。

本発明は、路面投影モデルを用いた俯瞰映像において車両などの立体物が倒れこんだ平面形状で表示されても、この立体物と自車両との衝突を防止する点で有用である。

１ 撮像手段
２ 画像処理ユニット
３ 表示手段
４ センサ
５ 入力手段

Claims (6)

1. 自車両周囲を撮像する撮像手段と、
   自車両側方の障害物を検知するセンサと、
   前記撮像手段から取得した撮像映像に基づいて俯瞰映像を作成し、この俯瞰映像に前記センサから取得した情報に基づいてグラフィックを重畳する画像処理ユニットと、
   この画像処理ユニットによってグラフィックが重畳された重畳映像を表示する表示手段とを備え、
   前記画像処理ユニットは、前記センサが側方の障害物を検知した場合に、この障害物を検知した側の側方に、路面からドアミラーまでの高さの境界ガイドを重畳することを特徴とする表示装置。
2. 前記画像処理ユニットは、自車両の車体側端またはドアミラー側端のいずれかを通り車長方向に沿って延び、前記境界ガイドの自車両側端部と接するまで移動可能であることを示すガイド線を前記俯瞰映像にさらに重畳することを特徴とする請求項１に記載の表示装置。
3. 前記境界ガイドは、台形形状で構成され、この境界ガイドの自車両側の辺は前記センサが検出した障害物の位置を示し、前記境界ガイドの他方の辺はドアミラーまでの高さを示すことを特徴とする請求項２に記載の表示装置。
4. 前記境界ガイドの自車両側端部よりもさらに自車両側に位置して、前記ガイド線が接するまで自車両が移動可能であることを示すガイドマークをさらに有したことを特徴とする請求項３に記載の表示装置。
5. 前記画像処理ユニットは、自車両が前進しているとき前方側に前記ガイドマークを重畳し、自車両が後退しているとき後方側に前記ガイドマークを重畳することを特徴とする請求項４に記載の表示装置。
6. 前記ガイドマークが自車両の車体側端またはドアミラー側端のいずれを通るかを入力する入力手段をさらに備えたことを特徴とする請求項２から請求項５のいずれかに記載の表示装置。