JP4412365B2 - 運転支援方法及び運転支援装置 - Google Patents

Description

本発明は、運転支援方法及び運転支援装置に関する。

従来より、安全運転を支援する装置として、ドライバーの死角となる領域を車載カメラによって撮影し、ディスプレイ等に表示する車載システムが開発されている。その一つとして、車両のピラーによって生じる死角領域を車載カメラで撮影し、撮影画像をピラーの内側に表示するシステムが提案されている（例えば特許文献１参照）。ピラーは、ウィンドウやルーフを支える左右の支柱であって、ドライバーの視界を一部遮ってしまうものの、安全性のために所定の太さを確保しなければならない部材である。また、この装置では、ドライバの視線の方向と、カメラの撮影方向とが一致しないため、カメラの撮影画像をドライバの視線方向に合わせて座標変換する。
特開２００５−１８４２２５号公報

しかし、上記した装置では、ドライバーがルームミラー越しに車両後方又は後側方を視認した場合に対応していない。即ち、ドライバーがルームミラーを介して車両後方又は後側方を視認した際に、ルームミラーを介したドライバーの視界が、車両後方のリヤピラーや、前方座席と後方座席との間にあるセンターピラーにより遮られることがある。

これに対し、リヤピラーやセンターピラーに、ドライバーが後方又は後側方を直接目視した場合を想定して生成された画像を投影し、投影した画像をルームミラーを介してドライバーに視認させる方法も考えられる。しかし、ルームミラー越しに後方又は後側方を見る場合にドライバーが視認できる範囲及び視線方向は、後方又は後側方を直接目視する場合の視認範囲及び視線方向とは異なるため、上記の方法では、ピラーに投影された画像と実際の風景との差異が大きくなり、ドライバーが違和感を覚えることがある。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、ドライバーがミラー越しに車両周辺を見た際にピラーによって死角が生じる場合でも、死角領域の画像をピラーに表示することができる運転支援方法及び運転支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、該死角領域に相当する画像を前記ピラーの内側に表示する運転支援方法において、ドライバーの位置を検出するとともに、車室内に設けられたミラーの角度を取得し、前記ドライバーの位置及び前記ミラーの角度に基づき、該ドライバーが前記ミラーを介して見ることができる可視範囲を算出し、ドライバーの視線の方向を判断し、前記ドライバーの視線が前記ミラーの方向であると判断した場合には、前記複数のピラーのうち前記可視範囲内のピラーについてのみ該ピラーによって生じる死角領域を前記ドライバーの位置及び前記ミラーの角度に基づき算出し、前記撮影装置が撮影した画像データのうち前記可視範囲内のピラーによって生じる死角領域に相当する領域を前記可視範囲内のピラーに対して表示し、前記ドライバーの視線が前記ミラーの方向ではないと判断した場合には、前記複数のピラーのうち前記ドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーよって生じる死角領域を前記ドライバーの位置に基づき算出し、前記撮影装置が撮影した画像データのうち前記予め対応付けられているピラーによって生じる死角領域に相当する領域を前記予め対応付けられているピラーに対して表示することを要旨とする。

請求項２に記載の発明は、車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を表示装置により前記ピラーの内側に表示する運転支援装置において、ドライバーの位置を検出するドライバー位置検出手段と、車室内に設けられたミラーの角度を取得するミラー位置検出手段と、ドライバーの視線の方向を判断する視線方向検出部と、前記ドライバーの位置及び前記ミラーの角度に基づき、ドライバーが前記ミラーを介して見ることができる可視範囲を算出する可視範囲算出手段と、ドライバーが前記車両周辺を視認した際に、前記ピラーにより生じる死角領域を算出する死角領域演算手段と、前記撮影装置が撮影した画像データを用いて、前記死角領域に相当する死角表示画像を生成する画像合成手段と、前記死角表示画像を前記表示装置に出力する画像出力手段とを備え、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記可視範囲内に存在するピラーを判断し、該可視範囲内のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置及び前記ミラーの角度に基づいて算出し、前記画像出力手段は、前記可視範囲内のピラーにおける前記死角表示画像を前記可視範囲内のピラーに対して表示し、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断された場合には、前記死角領域演算手段は、前記複数のピラーのうちドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記予め対応付けられているピラーにおける前記死角表示画像を前記予め対応付けられているピラーに対して表示することを要旨とする。

請求項３に記載の発明は、請求項２に記載の運転支援装置において、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両前方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち車両前方のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーにおける前記死角表示画像を前記車両前方のピラーに対して表示し、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両後方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記車両前方のピラーを除くピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーを除くピラーにおける前記死角表示画像を前記車両前方のピラーを除くピラーに対して表示することを要旨とする。

請求項４に記載の発明は、請求項２又は３に記載の運転支援装置において、前記車両が車線変更を行うか否かを判断する車両状況判断手段をさらに備え、前記車両状況判断により前記車両が車線変更を行うと判断した際に、前記可視範囲内のピラーにおける前記死角表示画像を、該可視範囲内のピラーに対して出力することを要旨とする。

請求項５に記載の発明は、請求項４に記載の運転支援装置において、前記車両の後方又は後側方に障害物を検出する障害物検出手段をさらに備え、前記障害物検出手段により前記車両の後方又は後側方に障害物を検出した場合に、前記画像合成手段は、該障害物の位置に前記画像データを座標変換する仮想平面を設定することを要旨とする。

請求項１に記載の発明によれば、ドライバーの視線がミラーの方向であると判断した場合には、可視範囲内のピラーによって生じる死角領域をドライバーの位置及びミラーの角度に基づき算出する。また、ピラーの内側には、可視範囲内のピラーにおける死角領域に相当する領域の死角表示画像が表示される。このため、ドライバーがミラーを介して車両後方を見た場合にも、死角を補助することができる。また、ミラーの可視範囲に含まれないピラーに対しては、死角領域の演算処理及び表示処理が省略されるので、処理を軽減することができる。

請求項２に記載の発明によれば、視線方向検出部によりドライバーの視線方向がミラーの方向であると判断された場合には、運転支援装置は、可視範囲内のピラーによって生じる死角領域をドライバーの位置及びミラーの角度に基づき算出する。また、ピラーの内側には、可視範囲内のピラーにおける死角領域に相当する領域の死角表示画像が表示される。このため、ドライバーがミラーを介して車両後方を見た場合にも、死角を補助することができる。また、ミラーの可視範囲に含まれないピラーに対しては、死角領域の演算処理及び表示処理が省略されるので、処理を軽減することができる。

請求項３に記載の発明によれば、ドライバーの視線方向が前方であると判断された場合には、車両前方のピラーにおける死角表示画像が車両前方のピラーに表示される。また、ドライバーの視線方向が後方であると判断された場合には、車両前方のピラーを除くピラーにおける死角表示画像が車両前方のピラーを除くピラーに表示される。

請求項４に記載の発明によれば、車両が車線変更を行う際に、可視範囲内におけるピラーの死角表示画像を表示する。このため、ドライバーがミラー越しに車両後方又は後側方を見た場合に、車両後方又は後側方に他車両が存在するか否かを判断することができる。

請求項５に記載の発明によれば、車両後方又は後側方に障害物を検出した場合に、その障害物の位置に仮想平面を設定する。このため、障害物を中心とした明瞭な画像をピラーの内面に投影することができる。

以下、本発明を具体化した一実施形態を図１〜図１２に従って説明する。図１は、自車両Ｃ１（図２参照）に実装された運転支援システム１の構成を説明するブロック図である。

運転支援システム１は自車両Ｃ１に搭載され、図１に示すように運転支援装置としての運転支援ユニット２、頭部検出センサ３、撮影装置としての死角撮影カメラ４、視線検出カメラ５、ミラー角度センサ７、障害物検出センサ８、ナビゲーションＥＣＵ（以下、ナビＥＣＵ６）、表示装置及び投影装置としてのプロジェクタ２０を備えている。

運転支援ユニット２は、車両状況判断手段としてのシステム制御部１０、ドライバー位置検出手段としての頭部位置検出部１１、視線方向検出部１２、ミラー位置検出手段、死角領域演算手段、可視範囲算出手段としての死角エリア演算部１３、画像データ取得部１４を備えている。また、画像合成手段、画像出力手段としての画像変換部１５、画像合成手段、画像出力手段、障害物検出手段としての仮想平面設定部１６、画像合成手段、画像出力手段としての投影画像出力部１７、属性データ記憶部１８を備えている。システム制御部１０は、自車両Ｃ１のインストルメントパネル又はステアリングコラムや、ナビゲーション装置（いずれも図示略）等に備えられたシステム起動スイッチＳＷ１が入力操作されると、運転支援システム１の死角補助機能を開始する。また、自車両Ｃ１が車線変更を行うと判断した際に、死角補助機能を開始する。さらに、自車両Ｃ１が交差点又はカーブに接近したと判断すると、ナビＥＣＵ６はシステム制御部１０に支援開始信号を出力し、該信号を入力したシステム制御部１０は、死角補助機能を開始する。又は、自車両Ｃ１のシフトポジションがリバースに切り替えられた場合等に、死角補助を開始すると判断してもよい。

ナビＥＣＵ６は、自車位置演算部６ａ、ＧＰＳ受信部６ｂ、車両信号入力部６ｃ、地図データ記憶部６ｄを備えている。自車位置演算部６ａは、ＧＰＳ受信部６ｂに基づき、自車両Ｃ１の絶対位置を算出する。また、車両信号入力部６ｃは、自車両Ｃ１に備えられた車速センサやジャイロ（図示略）から車速パルス、方位検出信号を入力する。自車位置演算部６ａは、車両信号入力部６ｃから車速パルス及び方位検出信号を取得して基準位置に対する相対位置を算出し、ＧＰＳ受信部６ｂに基づき算出した絶対位置と組み合わせて自車位置を特定する。

地図データ記憶部６ｄには、目的地までの経路を探索するための経路データと、ディスプレイに地図を出力するための地図描画データ（いずれも図示略）とが記憶されている。ナビＥＣＵ６に備えられた経路探索部（図示略）は、この経路データに基づき目的地までの経路を探索する。また、自車位置演算部６ａは、この経路データ及び地図描画データを用いて、自車両Ｃ１が、例えば交差点やカーブといった死角補助を行う所定地点に接近しているか否かを判断する。

頭部位置検出部１１は、頭部検出センサ３から検出信号を入力して、ドライバーの頭部位置を検出する。頭部検出センサ３は、例えば超音波センサから構成され、車室内であって、運転席の周囲に複数取り付けられている。頭部検出センサ３から発信された超音波は、ドライバーの頭部に反射し、頭部検出センサ３は、超音波を発信してから反射波を受信するまでの時間を計測する。頭部位置検出部１１は、頭部検出センサ３が計測した計測時間に基づき、三角測量法等の公知の方法を用いて頭部までの各相対距離をそれぞれ算出する。

また、視線方向検出部１２は、ドライバーの視線の方向を検出する。具体的には、視線方向検出部１２は、車室内に設けられた視線検出カメラ５から画像データＧＩを入力する。視線検出カメラ５は、例えばインストルメントパネル等、ドライバーの顔や目を撮影可能な位置及び角度に取り付けられている。視線方向検出部１２は、ドライバーの顔や目を撮影した画像データＧＩを入力すると、公知の画像処理方法により、ドライバーの顔の向きや瞳の位置を判断し、視線の向きを判断する。例えばドライバーの視線方向が、自車両Ｃ１の長さ方向（図２中Ｙ矢印方向）と平行な方向から所定角度範囲に含まれる場合には
、ドライバーが車両前方を向いていると判断する。また、視線方向検出部１２は、予め記憶したルームミラーＭ（図２参照）の位置に基づき、ドライバーの視線方向が、ルームミラーＭの方向であると判断すると、ドライバーがルームミラーＭを見ていると判断する。また、例えば視線検出カメラ５がドライバーの正面に取り付けられている場合にドライバーの横顔を画像処理により検出すると、ドライバーが車両後方及び後側方を見ていると判断する。

死角エリア演算部１３は、ドライバーの視線の方向に応じて、自車両Ｃ１に設けられたピラーＰ（図２参照）により生じる死角エリアを演算する。本実施形態では、ピラーＰは、図２に示すように自車両Ｃ１に６本設けられており、各フロントピラー（Ａピラー）ＰＡ１，ＰＡ２、各センターピラー（Ｂピラー）ＰＢ１，ＰＢ２、各リヤピラー（Ｃピラー）ＰＣ１，ＰＣ２から構成されている。各フロントピラーＰＡ１，ＰＡ２は、運転席の前方の左側及び右側にそれぞれ設けられている。各センターピラーＰＢ１，ＰＢ２は、左側の前方ドアＤ１及び後方ドアＤ２の間と、右側の前方ドアＤ３及び後方ドアＤ４の間にそれぞれ設けられている。各リヤピラーＰＣ１，ＰＣ２は、車両後方に設けられ、後方ドアＤ２，Ｄ４のウィンドウＷ２，Ｗ４とリヤウィンドウＷ６との間に介在している。

例えば、ドライバーが前方を向いている場合には、死角エリア演算部１３は、属性データ記憶部１８から、各フロントピラーＰＡ１，ＰＡ２に対応するピラー属性データ１８ａを読み出す。尚、属性データ記憶部１８に記憶された各ピラー属性データ１８ａは、左フロントピラーＰＡ１、右フロントピラーＰＡ２、左センターピラーＰＢ１、右センターピラーＰＢ２、左リヤピラーＰＣ１、右リヤピラーＰＣ２の３次元座標及び形状に関するデータを有している。例えば、ピラー属性データ１８ａは、ピラーＰの外形をパターン又は座標で示したデータであって、ピラーＰの外形を示す長さ方向、車幅方向及び鉛直方向の３次元の座標や、ピラーＰの幅や長さを示す。

死角エリア演算部１３は、ドライバーの頭部位置を頭部位置検出部１１から取得し、頭部位置と各フロントピラーＰＡ１，ＰＡ２の位置とに基づき、図３に示すように左フロントピラーＰＡ１及び右フロントピラーＰＡ２によって生じる死角領域としての各死角エリアＢ１，Ｂ２をそれぞれ算出する。このとき例えば、頭部位置ＤＨの中心点と、各フロントピラーＰＡ１，ＰＡ２にそれぞれ設定された複数の代表点とを直線で結び、直線で囲まれた領域を死角エリアＢ１，Ｂ２とすることもできるし、その他の方法により各死角エリアＢ１，Ｂ２を演算するようにしてもよい。

また、視線方向検出部１２により、ドライバーがルームミラーＭを向いていると判断すると、死角エリア演算部１３は、ルームミラーＭを介して視認された各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２により生じる死角エリアを算出する。即ち、ドライバーがルームミラーＭを見た場合、ルームミラーＭには、ミラー角度によって各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２のうち一つまたは複数が映ることがある。このように、ルームミラーＭに各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２のうち少なくとも一つが映る場合、死角エリア演算部１３は、そのピラーＰによって生じるミラー越しの死角を算出する。

まず死角エリア演算部１３は、ミラー角度センサ７（図１参照）から、ルームミラーＭの角度を取得する。ミラー角度センサ７は、ルームミラーＭの角度調整部に取り付けられ、図４に示すように、車幅方向（図中Ｘ軸）と平行な軸に対する回転角度θを検出する。さらに、ミラー角度センサ７は、ルームミラーＭの鉛直方向に対する角度（傾き）を示す俯角φ（図示略）も検出する。

死角エリア演算部１３は、ミラー角度センサ７から取得した回転角度θ及び俯角φに基
づき、ドライバーがルームミラーＭを介して視認することができる可視範囲Ａ１を算出する。即ち、図４に示すように、まずドライバーの頭部位置ＤＨを取得し、頭部位置ＤＨ及びルームミラーＭの回転角度θ及び俯角φに基づき、例えばドライバーのルームミラーＭに対する視線方向の最大入射角と最小入射角を算出して、頭部位置ＤＨから見える可視範囲Ａ１を算出する。この可視範囲Ａ１は、頭部位置ＤＨに応じて変化する。例えば、ルームミラーＭの全域にリヤウィンドウＷ６を介して見える実風景が映るように、予めミラー角度を調節していても、頭部位置ＤＨが右側の前方ドアＤ３の方向（Ｘ矢印方向）にずれると、ルームミラーＭに対するドライバーの視線の入射角が小さくなる。このため、可視範囲Ａ１は、左側（反Ｘ矢印方向）に若干ずれる。尚、死角エリア演算部１３は、ルームミラーＭの初期位置での可視範囲Ａ１を予め記憶しておき、頭部位置ＤＨに応じて初期位置での可視範囲Ａ１を変更するようにしてもよい。さらに、ルームミラーＭが曲率半径の比較的大きい凸面鏡である場合には、そのルームミラーＭの特性を加味して可視範囲Ａ１を演算するようにしてもよい。

さらに、死角エリア演算部１３は、ルームミラーＭの可視範囲Ａ１に、各センターピラーＰＢ１，ＰＢ２、各リヤピラーＰＣ１，ＰＣ２の少なくとも一部が含まれるか否かを判断する。上記したように、ドライバーの頭部位置ＤＨが通常の位置よりも若干右側（図４中Ｘ矢印方向）にずれている場合には、可視範囲Ａ１は、左側（図４中反Ｘ矢印方向）にずれるため、可視範囲Ａ１に左リヤピラーＰＣ１が含まれる。この場合、図５に示すように、死角エリア演算部１３は、頭部位置ＤＨとピラー属性データ１８ａとに基づき、左リヤピラーＰＣ１により生じるルームミラー越しのミラー死角エリアＢＭを算出する。例えば、死角エリア演算部１３は、左リヤピラーＰＣ１に複数設定された各代表点と、ルームミラーＭの鏡面上又は鏡面奥側に設定されたドライバーの仮想視点とを直線でそれぞれ結び、各直線で囲まれた領域をミラー死角エリアＢＭ１とする。尚、ミラー死角エリアＢＭは、ドライバーの視線方向及び頭部位置ＤＨに基づき、他の方法で算出するようにしてもよい。

また、視線方向検出部１２により、ドライバーが後方を直接目視していると判断すると、図６に示すように、死角エリア演算部１３は、各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２により生じる死角エリアＢを算出する。例えば、死角エリア演算部１３は、頭部位置検出部１１から頭部位置ＤＨを取得し、頭部位置ＤＨと、各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２に設定された複数の代表点とを直線で結び、各直線で囲まれた領域を死角エリアＢ３〜Ｂ６としてもよい。

仮想平面設定部１６は、画像データ取得部１４が取得した画像データＧを座標変換するための仮想平面ＶＰを設定する。例えば、ドライバーが車両前方を直接目視している場合、図３に示すように、自車両Ｃ１から所定距離だけ離れた車両前方の位置に仮想平面ＶＰを設定する。仮想平面ＶＰは、例えば死角エリアＢ２の中心線Ｌ１と直行する位置に設定する。尚、図３では便宜上、右フロントピラーＰＡ２に死角画像を投影するための仮想平面ＶＰのみを図示しているが、各フロントピラーＰＡ１，ＰＡ２の各死角エリアＢ１，Ｂ２に対して仮想平面ＶＰを設定する。

ドライバーがルームミラーＭを介して車両後方又は後側方を見ている場合には、図７に示すように、自車両Ｃ１から所定距離だけ離れた車両後方の位置に仮想平面ＶＰを設定する。又は、仮想平面設定部１６は、ナビＥＣＵ６から、交差点の路面に標示された横断歩道等の基準物の位置を取得し、基準物の位置に仮想平面ＶＰを設定してもよい。

また、仮想平面設定部１６は、自車両Ｃ１が車線変更する際には、自車両Ｃ１後方に接近した障害物としての他車両Ｃ２（図８参照）の位置に仮想平面ＶＰを設定する。具体的には、システム制御部１０及びナビＥＣＵ６等により、自車両Ｃ１の方向指示器等から入
力した方向変更信号に基づき、自車両Ｃ１が車線変更しているか否かを判断する。自車両Ｃ１が車線変更すると判断した際には、仮想平面設定部１６は、障害物検出センサ８（図１参照）から検出信号を取得して、自車両Ｃ１の後方又は後側方の他車両Ｃ２の有無を判断する。この障害物検出センサ８は、ミリ波レーダや、ソナー等であって、車両後端等に取り付けられている。自車両Ｃ１の後方又は後側方の他車両Ｃ２が存在する場合には、仮想平面設定部１６は自車両Ｃ１に対する他車両Ｃ２の相対距離を算出し、図８に示すようにその他車両Ｃ２の所定の位置に仮想平面ＶＰを設定する。このように仮想平面ＶＰを設定すると、ピラーＰに他車両Ｃ２の像を投影した際に、リヤウィンドウＷ６等を介して視認できる他車両Ｃ２とずれたり、ゆがんだりすることがない。

また、仮想平面設定部１６は、仮想平面ＶＰの位置に合わせてカメラ撮影面ＣＰの位置も設定する。カメラ撮影面ＣＰは、死角撮影カメラ４のピントを合わせる位置を示す。カメラ撮影面ＣＰにピントを合わせて撮影された画像データＧは、仮想平面ＶＰ上に座標変換されるため、仮想平面設定部１６は、死角エリアＢ２内において仮想平面ＶＰに近い位置にカメラ撮影面ＣＰを設定する。図３及び図７では、仮想平面ＶＰのうち、ミラー死角エリアＢＭで区切られた部分の端を通るように設定する。

画像データ取得部１４は、自車両Ｃ１に設けられた各死角撮影カメラ４から画像データＧを取得する。図２に示すように、各死角撮影カメラ４は、本実施形態では各ピラーＰに対応して６つ設けられている。左前方カメラ４ＡＬ及び右前方カメラ４ＡＲは、左フロントピラーＰＡ１及び右フロントピラーＰＡ２付近に設けられ、各フロントピラーＰＡ１，ＰＡ２により生じる死角を含む車両周辺を撮影可能になっている。左側方カメラ４ＢＬ及び右側方カメラ４ＢＲは、左センターピラーＰＢ１及び右センターピラーＰＢ２付近に設けられ、各センターピラーＰＢ１，ＰＢ２により生じる死角を含む車両周辺を撮影可能になっている。左後方カメラ４ＣＬ及び右後方カメラ４ＣＲは、左リヤピラーＰＣ１及び左リヤピラーＰＣ２付近に設けられ、各リヤピラーＰＣ１，ＰＣ２により生じる死角を含む車両周辺を撮影可能になっている。

画像データ取得部１４は、仮想平面設定部１６からカメラ撮影面ＣＰの位置を取得すると、対応する死角撮影カメラ４を制御して、カメラ撮影面ＣＰの位置にピントを合わせて撮影を行い、画像変換部１５に出力する。

また、各死角撮影カメラ４の位置や画角を示す撮影パラメータ１８ｄ（図１参照）は、属性データ記憶部１８に記憶されている。
画像変換部１５は、死角撮影カメラ４により撮影された画像データＧを画像データ取得部１４から取得する。また、死角エリア演算部１３から、死角エリアＢ又はミラー死角エリアＢＭを取得する。さらに、取得した画像データＧのうち、死角エリアＢ，ＢＭに相当する領域をトリミングした死角画像を生成する。また、その死角画像を、仮想平面設定部１６が設定した仮想平面ＶＰに座標変換する。この座標変換は、死角データの各画素を、仮想平面ＶＰ上の各画素に変換する処理である。

画像変換部１５は、仮想平面ＶＰに投影された画像を、ピラーＰの内側面を含むピラー面上に投影変換する。ピラー面は、ピラー属性データ１８ａの３次元座標に基づき設定することができる。

続いて、ピラー面に投影変換された上記画像を、設けられた各プロジェクタ２０により投影するために、該画像をプロジェクタ２０の位置に合わせて座標変換する。尚、図２に示すように、自車両Ｃ１のルーフ内側には、４つのプロジェクタ２０が、それぞれ異なるピラーＰの内側面に画像を投影可能に設けられている。

即ち、プロジェクタ２０から出力された光が、ピラーＰの内側面に入射する角度によって、内側面Ｐａに表示される画像は、歪んだり、拡大又は縮小される。従って、例えば、投影変換した上記画像の各画素の座標と、各プロジェクタ２０に対して出力する画像の各画素の座標とを予め関連付けたマップ等を画像変換部１５の内蔵メモリ等に予め格納しておき、該マップに基づき、投影変換した画像を、プロジェクタ２０への出力画像としてさらに座標変換する。

さらに、画像変換部１５により座標変換された画像は、投影画像出力部１７に出力され、投影画像出力部１７は、属性データ記憶部１８から読み出したマスクパターン１８ｂに基づき、各プロジェクタ２０に出力する死角表示画像を生成する。図９に示すように、マスクパターン１８ｂは、死角表示画像にマスクをかけるためのデータであって、ピラーＰの内面形状に沿った画像表示領域Ｚ１と、マスクＺ２とから構成されている。投影画像出力部１７は、画像表示領域Ｚ１の領域には、死角表示画像を読み込み、マスクＺ２の領域は、プロジェクタ２０の非表示にするためのデータを読み込んで、死角表示画像をピラーＰに投影するための投影データを生成する。投影データを生成すると、投影画像出力部１７は、その投影データを各プロジェクタ２０に出力する。

尚、本実施形態では、自車両Ｃ１には、前方プロジェクタ２０Ａ、側方プロジェクタ２０Ｂ、後方プロジェクタ２０Ｃがそれぞれ取り付けられている。前方プロジェクタ２０Ａは、各フロントピラーＰＡ１，ＰＡ２にそれぞれ画像を投影可能に取り付けられている。各側方プロジェクタ２０Ｂは、各センターピラーＰＢ１，ＰＢ２にそれぞれ画像を投影可能に取り付けられている。各後方プロジェクタ２０Ｃは、各リヤピラーＰＣ１，ＰＣ２に画像を投影可能に取り付けられている。本実施形態では、プロジェクタ２０を４つ設けたが、１つでも各ピラーＰに画像を投影可能な構成であるプロジェクタの場合には１つでもよいし、４つ以外の複数でもよい。

図１０に示すように、各ピラーＰの内側面Ｐａには、ピラーＰの形状に合わせて切断されたスクリーンＳＣが貼着されている。各プロジェクタ２０の焦点は、投影対象のピラーＰに設けられたスクリーンＳＣに合わせて調整されている。尚、ピラーＰの内側面Ｐａがプロジェクタ２０から出力された投影光を受光して鮮明な画像を表示できる材質及び形状からなる場合には、スクリーンＳＣは省略してもよい。

図２に示すように、プロジェクタ２０は、ピラーＰのスクリーンＳＣに対して投影光Ｌを出射し、スクリーンＳＣに画像を投影する。また、そのスクリーンＳＣの周囲のウィンドウには、マスクパターン１８ｂのマスクＺ２により画像が投影されないようになっている。ドライバーが車両前方又は車両後方を直接目視する場合には、ドライバーは、各ピラーＰに投影された画像を直接確認することができる。また、ドライバーがルームミラーＭを介して車両後方及び後側方を見る場合には、ドライバーの視線に合わせて各ピラーＰに投影された画像がルームミラーＭに映って、死角表示画像の虚像を見ることができる。

次に本実施形態の処理手順について図１１に従って説明する。まず、システム制御部１０は、死角補助を開始するか否かを判断する（ステップＳ１）。システム制御部１０は、上記したシステム起動スイッチＳＷ１が入力操作されると死角補助を開始すると判断する。また、ナビＥＣＵ６が、自車両Ｃ１の車線変更を検出したとき、死角補助を開始すると判断する。さらに、ナビＥＣＵ６が、自車両Ｃ１が交差点又はカーブに接近したと判断したとき、死角補助を開始すると判断する。他にも、自車両Ｃ１のシフトポジションがリバースに切り替えられた際に、死角補助を開始すると判断してもよい。又は、視線方向検出部１２に基づき、ドライバーの視線が進行方向から所定角度離れたとき、死角補助を開始すると判断してもよい。

システム制御部１０が死角補助を開始すると判断すると（ステップＳ１においてＹＥＳ）、システムを起動し、且つ初期化した後、頭部位置を検出する（ステップＳ２）。頭部位置検出部１１は、頭部検出センサ３から検出信号を入力し、ドライバーの頭部位置ＤＨを算出する。

また、視線方向検出部１２は、ドライバーの視線方向を検出し（ステップＳ３）、ドライバーの視線方向がルームミラーＭ以外を向いているか否かを判断する（ステップＳ４）。上記したように、例えばドライバーの視線方向が、自車両Ｃ１の長さ方向を基準とし、自車両Ｃ１の進行方向を中心とした所定角度範囲に含まれる場合は、ドライバーが前方を向いていると判断する。また、ドライバーの視線方向が、上記所定角度範囲に含まれずドライバーの位置よりも車両後方を向いている場合には、その視線方向が自車両Ｃ１の反進行方向を中心とした後方の所定角度範囲に含まれるか否かを判断する。視線方向が、後方の所定角度範囲に含まれる場合には、ドライバーが車両後方を見ていると判断する。ドライバーの視線方向の仰角が、所定角度以上である場合であって、且つルームミラーＭの方向である場合には、ルームミラーＭを見ていると判断する。

ステップＳ４において、ドライバーの視線方向がルームミラーＭの方向と一致すると判断した場合には（ステップＳ４においてＮＯ）、死角エリア演算部１３は、ミラー角度センサ７から、回転角度θ及び俯角φから構成されるミラー角度を取得する（ステップＳ５）。ドライバーの視線方向がルームミラーＭ以外である場合には（ステップＳ４においてＹＥＳ）、ステップＳ６に進む。

ステップＳ６では、死角エリア演算部１３は、ドライバーの視線方向に基づき、ピラーＰにより生じる死角エリアを算出する（ステップＳ６）。ステップＳ３においてドライバーが前方を向いていると判断した場合には、属性データ記憶部１８から各フロントピラーＰＡ１，ＰＡ２のピラー属性データ１８ａを読み出し、図３に示すように各フロントピラーＰＡ１，ＰＡ２によって生じる死角エリアＢ１，Ｂ２の座標を算出する。

ステップＳ３においてドライバーが車両後方を向いていると判断した場合には、死角エリア演算部１３は、属性データ記憶部１８から各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２に対応するピラー属性データ１８ａを読み出し、図６に示すように、死角エリアＢ３〜Ｂ６の座標を算出する。

また、ステップＳ３において、ドライバーがルームミラーＭの方向を向いていると判断した場合には、死角エリア演算部１３は、ステップＳ５において取得したミラー角度とドライバーの頭部位置ＤＨとに基づいて、上記したようにルームミラーＭの可視範囲Ａ１を算出する。そして、その可視範囲Ａ１に、各センターピラーＰＢ１，ＰＢ２及びリヤピラーＰＣ１，ＰＣ２が可視範囲Ａ１に含まれるか否かを判断する。さらに、ピラー属性データ１８ａに基づき、可視範囲Ａ１に含まれるピラーＰによって遮られるミラー死角エリアＢＭを算出する。

死角エリアＢ又はミラー死角エリアＢＭを算出すると、仮想平面設定部１６は、ドライバーの視線方向とミラー角度とに基づき、上記したように仮想平面ＶＰを設定する（ステップＳ７）。即ち、自車両Ｃ１から所定距離の位置、又は横断歩道等の基準物の位置、又は自車両Ｃ１の後方の他車両Ｃ２の位置に仮想平面ＶＰを設定する。また、仮想平面設定部１６は、仮想平面ＶＰの位置に基づきカメラ撮影面ＣＰの位置を設定し、画像データ取得部１４に出力する。

画像データ取得部１４は、視線方向検出部１２に基づき、画像データＧを取得するカメラを選択し、ピラーＰにより生じる死角を撮影した画像データＧを取得する（ステップＳ
８）。ドライバーが前方を向いている場合には、各前方カメラ４ＡＬ、４ＡＲから画像データＧを取得する。また、ドライバーが後方を向いている場合には、側方カメラ４ＢＬ，４ＢＲ及び後方カメラ４ＣＬ，４ＣＲから画像データＧを取得する。また、ルームミラーＭ越しに車両後方及び後側方を見ている場合には、ルームミラーＭの可視範囲Ａ１に含まれるピラーＰに対応する死角撮影カメラ４から画像データＧを取得する。

画像データＧを取得すると、画像変換部１５は、画像データＧのうち、ステップＳ６で算出した死角エリアＢ又はミラー死角エリアＢＭに基づき、死角画像を切り出す（ステップＳ９）。また、画像変換部１５は、プロジェクタ２０に出力するための投影データを生成する（ステップＳ１０）。具体的には、上記したように、画像変換部１５により、死角画像を仮想平面ＶＰに投影変換した後、投影対象のピラーＰの位置及び３次元形状に合わせて投影変換を行う。さらに、該ピラーＰに画像を投影するプロジェクタ２０を選択し、該プロジェクタ２０の位置に合わせて座標変換する。また、投影画像出力部１７によりマスクパターン１８ｂの画像表示領域Ｚ１に座標変換した画像を読み込む。

投影データを生成すると、投影画像出力部１７は、選択した上記プロジェクタ２０に対し投影データを出力する（ステップＳ１１）。ドライバーが前方を見ている場合には、前方プロジェクタ２０Ａに投影データを出力し、ドライバーが後方を見ている場合には、側方プロジェクタ２０Ｂ及び後方プロジェクタ２０Ｃに投影データを出力する。また、ルームミラーＭ越しに車両後方又は後側方を見ている場合には、視線方向に対応するピラーＰに投影データを出力する。

ドライバーがルームミラーＭ越しに車両後方又は後側方を視認し、ルームミラーＭの可視範囲Ａ１に左リヤピラーＰＣ１が含まれる場合、後方プロジェクタ２０Ｃにより、左リヤピラーＰＣ１に死角表示画像が投影される。これにより、例えば図１２に示すように、左リヤピラーＰＣ１に投影された死角表示画像５０がルームミラーＭに映る。従って、ドライバーは左リヤピラーＰＣ１によって遮られた背景を、死角表示画像５０として見ることができるので、車両後方の他車両Ｃ２の有無等を確認することができる。また、死角表示画像５０は、ルームミラーＭを介したドライバーの視線に合わせて表示されているので、実際の背景がルームミラーＭに映った背景像５１に対してずれたりゆがんだりすることなく表示される。

死角表示画像を投影すると、システム制御部１０は、表示終了であるか否かを判断する（ステップＳ１２）。例えば、システム起動スイッチＳＷ１の入力操作から所定時間が経過した場合、又は車線変更が完了した場合、又は交差点又はカーブを通過した場合に表示終了であると判断する。又は、ドライバーの視線が進行方向から所定角度以内の方向になった場合、又は自車両Ｃ１のシフトポジションがリバース以外になった場合に表示終了であると判断する。表示終了であると判断すると（ステップＳ１２においてＹＥＳ）、処理を終了する。

一方、ステップＳ１２において、表示終了でないと判断した場合には（ステップＳ１２においてＮＯ）、ステップＳ２に戻り、ステップＳ２〜ステップＳ１１を繰り返す。その際、頭部位置ＤＨや視線方向が変化した場合には、新たに検出した頭部位置ＤＨや視線方向に基づき、表示画像を変更する。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、ルームミラーＭに映されたピラーＰによって死角が生じる場合にも、ドライバーの頭部位置ＤＨ、視線方向及びミラー角度に基づき、そのピラーＰにより生じるミラー死角エリアＢＭを算出するようにした。また、死角撮影カメラ４から取得した画像データＧのうち、ミラー死角エリアＢＭに相当する領域を切り出して、該ピラ
ーＰの内側に死角表示画像５０を出力するようにした。このため、ルームミラーＭ越しに車両周辺を視認する場合に、ピラーＰによって生じる死角を補助することができる。

（２）上記実施形態では、ルームミラーＭの可視範囲Ａ１に含まれるピラーＰに死角表示画像５０が表示される。このため、可視範囲Ａ１に含まれないピラーＰに対しては、ミラー死角エリアＢＭの演算処理及び表示処理が省略されるので、運転支援システム１の処理を軽減することができる。

（３）上記実施形態では、ナビＥＣＵ６により自車両Ｃ１が車線変更を行うと判断した際に、ピラーＰの死角補助を行うようにした。このため、ドライバーがルームミラーＭ越しに車両後方又は後側方を見た場合に、車両後方又は後側方に他車両Ｃ２が存在するか否かを判断することができる。

（４）上記実施形態では、障害物検出センサ８により、自車両Ｃ１の後方にある他車両Ｃ２を検出した際に、その他車両Ｃ２の位置に仮想平面ＶＰを設定するようにした。このため、他車両Ｃ２を中心とした明瞭な画像をピラーＰの内面に投影することができる。

尚、上記実施形態は以下のように変更してもよい。
・頭部検出センサ３は、超音波センサとしたが、画像認識センサ等、これ以外のセンサでもよい。また、運転席近傍に複数備えられているとしたが、単数でもよい。また、運転席のヘッドレストやシート位置を検出する検出センサに基づき、ドライバーの頭部位置を検出するようにしてもよい。

・上記実施形態では、頭部検出センサ３によりドライバーの頭部位置ＤＨを検出するようにしたが、ドライバーの位置としてその他の部位（例えば目の位置）を検出してもよい。

・上記実施形態では、仮想平面ＶＰの位置を合わせる基準物は横断歩道以外でもよい。例えば、信号機等の路面設置物に仮想平面ＶＰを合わせるようにしてもよい。また例えば、自車両Ｃ１に車両前方の障害物までの相対距離を計測する、レーダ、センサ等を搭載し、歩行者、自転車、他車両等を含む障害物が検出された場合に、仮想平面ＶＰを障害物に合わせるようにしてもよい。尚、障害物が、例えば歩行者、自転車であるか否かの判定は、特徴検出等の公知の画像処理を用いる。

・上記実施形態では、一つのピラーＰに対して、複数の死角撮影カメラ４を設け、ピラーＰによって生じる死角を異なる角度から撮影するようにしてもよい。
・上記実施形態では、プロジェクタ２０を自車両Ｃ１のルーフＲの内側に設けるようにしたが、プロジェクタ２０の位置はピラーＰの内面に画像を投影できる位置であればよく、例えばダッシュボードの上方（略中央）等、その他の位置に設けるようにしてもよい。

・上記実施形態では、ドライバーが前方を向いていると判断した際に、各フロントピラーＰＡ１，ＰＡ２に画像を投影するようにしたが、どちらか一方のピラーＰに画像を投影するようにしてもよい。例えば、ドライバーに近い右フロントピラーＰＡ２のみに投影してもよいし、ドライバーの視線方向に応じて、画像を投影するピラーＰを適宜変更するようにしてもよい。

・上記実施形態では、ドライバーが後方又は後側方を向いていると判断した際に、各センターピラーＰＢ１，ＰＢ２、各リヤピラーＰＣ１，ＰＣ２に画像を投影するようにしたが、いずれか一つのピラーＰに画像を投影するようにしてもよい。例えば、センターピラーＰＢ１，ＰＢ２への画像投影を省略するようにしてもよい。又は、ドライバーの視線方
向に応じて、画像を投影するピラーＰを適宜変更するようにしてもよい。

・上記実施形態では、ルームミラーＭに各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２のうち少なくとも一つが映る場合、死角エリア演算部１３は、そのピラーＰによって生じる死角を算出するようにした。これ以外に、ドライバーがルームミラーＭを見ていると判断した際に、各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２の全てに、ドライバーの視線及び頭部位置に合わせた死角表示画像を投影するようにしてもよい。

・上記実施形態では、プロジェクタ２０によってピラーＰの内側面Ｐａに画像を投影するようにしたが、ピラーＰの内側に薄型の表示手段としてのディスプレイを設け、ディスプレイに死角表示画像５０を出力しても良い。

本実施形態の運転支援システムのブロック図。 自車両の平面図。 フロントピラーによって生じる死角エリアの概念図。 ルームミラーの可視範囲の概念図。 ルームミラー越しに生じるミラー死角エリアの概念図。 側方ピラー及びリヤピラーによって生じる死角エリアの概念図。 仮想平面及びカメラ撮影面の概念図。 車線変更の際の仮想平面及びカメラ撮影面の概念図。 マスクパターンの説明図。 ピラーに設けられたスクリーンの正面図。 本実施形態の処理手順を示すフロー。 ルームミラーに映る死角表示画像の模式図。

符号の説明

１…運転支援システム、２…運転支援装置としての運転支援ユニット、４…撮影装置としての死角撮影カメラ、１０…車両状況判断手段としてのシステム制御部、１１…ドライバー位置検出手段としての頭部位置検出部、１３…ミラー位置検出手段、死角領域演算手段、可視範囲算出手段としての死角エリア演算部、１５…画像合成手段、画像出力手段としての画像変換部、１６…画像合成手段、画像出力手段としての仮想平面設定部、１７…画像合成手段、画像出力手段、障害物検出手段としての投影画像出力部、２０，２０Ａ，２０Ｂ，２０Ｃ…表示装置及び投影装置としてのプロジェクタ、５０…死角表示画像、ＢＭ…死角領域としてのミラー死角エリア、Ａ１…可視範囲、Ｂ…死角領域としての死角エリア、Ｃ１…車両としての自車両、Ｃ２…障害物としての他車両、Ｇ，ＧＩ…画像データ、Ｍ…ルームミラー、ＶＰ…仮想平面、Ｐ、ＰＡ１，ＰＡ２，ＰＢ１，ＰＢ２，ＰＣ１，ＰＣ２…ピラー、θ…回転角度。

Claims (5)

1. 車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、該死角領域に相当する画像を前記ピラーの内側に表示する運転支援方法において、
   ドライバーの位置を検出するとともに、車室内に設けられたミラーの角度を取得し、前記ドライバーの位置及び前記ミラーの角度に基づき、該ドライバーが前記ミラーを介して見ることができる可視範囲を算出し、ドライバーの視線の方向を判断し、
   前記ドライバーの視線が前記ミラーの方向であると判断した場合には、前記複数のピラーのうち前記可視範囲内のピラーについてのみ該ピラーによって生じる死角領域を前記ドライバーの位置及び前記ミラーの角度に基づき算出し、前記撮影装置が撮影した画像データのうち前記可視範囲内のピラーによって生じる死角領域に相当する領域を前記可視範囲内のピラーに対して表示し、
   前記ドライバーの視線が前記ミラーの方向ではないと判断した場合には、前記複数のピラーのうち前記ドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーよって生じる死角領域を前記ドライバーの位置に基づき算出し、前記撮影装置が撮影した画像データのうち前記予め対応付けられているピラーによって生じる死角領域に相当する領域を前記予め対応付けられているピラーに対して表示することを特徴とする運転支援方法。
2. 車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を表示装置により前記ピラーの内側に表示する運転支援装置において、
   ドライバーの位置を検出するドライバー位置検出手段と、
   車室内に設けられたミラーの角度を取得するミラー位置検出手段と、
   ドライバーの視線の方向を判断する視線方向検出部と、
   前記ドライバーの位置及び前記ミラーの角度に基づき、ドライバーが前記ミラーを介して見ることができる可視範囲を算出する可視範囲算出手段と、
   ドライバーが前記車両周辺を視認した際に、前記ピラーにより生じる死角領域を算出する死角領域演算手段と、
   前記撮影装置が撮影した画像データを用いて、前記死角領域に相当する死角表示画像を生成する画像合成手段と、
   前記死角表示画像を前記表示装置に出力する画像出力手段とを備え、
   前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記可視範囲内に存在するピラーを判断し、該可視範囲内のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置及び前記ミラーの角度に基づいて算出し、前記画像出力手段は、前記可視範囲内のピラーにおける前記死角表示画像を前記可視範囲内のピラーに対して表示し、
   前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断された場合には、前記死角領域演算手段は、前記複数のピラーのうちドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記予め対応付けられているピラーにおける前記死角表示画像を前記予め対応付けられているピラーに対して表示することを特徴とする運転支援装置。
3. 請求項２に記載の運転支援装置において、
   前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両前方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち車両前方のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーにおける前記死角表示画像を前記車両前方のピラーに対して表示し、
   前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両後方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記車両前方のピラーを除くピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーを除くピラーにおける前記死角表示画像を前記車両前方のピラーを除くピラーに対して表示することを特徴とする運転支援装置。
4. 請求項２又は３に記載の運転支援装置において、
   前記車両が車線変更を行うか否かを判断する車両状況判断手段をさらに備え、
   前記車両状況判断により前記車両が車線変更を行うと判断した際に、前記可視範囲内のピラーにおける前記死角表示画像を、該可視範囲内のピラーに対して出力することを特徴とする運転支援装置。
5. 請求項４に記載の運転支援装置において、
   前記車両の後方又は後側方に障害物を検出する障害物検出手段をさらに備え、
   前記障害物検出手段により前記車両の後方又は後側方に障害物を検出した場合に、前記画像合成手段は、該障害物の位置に前記画像データを座標変換する仮想平面を設定することを特徴とする運転支援装置。

Images