JP2017111739A - 運転支援装置、運転支援方法 - Google Patents

Abstract

【課題】運転支援画像の表示形態の多様化に対応させるために、表示画像について運転者が直感的に認知させ易くする技術を提供する。【解決手段】第１の取得部は、車両の周囲を撮像する車載カメラから自車両の周囲を示す情報を取得する。第２の取得部は、ドライバーステータスモニターから運転者の顔部分の位置を示す情報を取得する。第１の生成部は、第１の取得部により取得した情報に基づく画像（以下、対象画像）を生成する。領域推定部は、第２の取得部により取得した情報を用いて、運転者が視認可能な範囲に対応する可視画像領域３１、及び、運転者から見た死角となる範囲に対応する死角画像領域３２、のうち少なくとも一つの画像領域を推定する。第２の生成部は、領域推定部により推定した画像領域に基づき、対象画像において可視画像領域３１又は死角画像領域３２の位置及び形状を示す領域画像を対象画像に合成した運転支援画像を生成する。【選択図】図４

Description

本発明は、車両の周囲において運転者の死角となる範囲を含む画像を当該運転者に提供する技術に関する。

従来、この種の技術においては、車両の周囲を撮像した画像を処理することにより、必要に応じて、当該車両の室内から周囲を見た画像や、当該車両の室外から周囲を見た画像等に加工し、加工した画像を運転支援画像として表示する技術が知られている。

例えば、特許文献１では、車両の周囲において当該車両（即ち、自車両）に接近する他車両の位置を検出し、他車両が自車両に近づくにつれて、画像に係る仮想視点の高さを上昇させたり、当該仮想視点の位置を他車両の運転者の位置に設定したり、する技術が提案されている。

特開２０１２−２５３４２８号公報

しかしながら、上述のように運転支援画像の表示形態が多様化されていることに伴い、表示された画像について、どのような現実世界を示しているのかを運転者が直感的に認知し難くなりつつあるという問題があった。

本発明は、運転支援画像の表示形態の多様化に対応させるためになされたものであり、表示画像について運転者が直感的に認知させ易くする技術を提供することを目的としている。

本発明の一局面である運転支援装置は、第１の取得部と、第２の取得部と、第１の生成部と、領域推定部と、第２の生成部と、画像出力部と、を備える。第１の取得部は、車両の周囲を撮像する車載装置（以下、第１の車載装置）から当該車両（以下、自車両）の周囲を示す情報を取得する。

第２の取得部は、自車両の運転者の顔部分の位置を検出する車載装置（以下、第２の車載装置）から運転者の顔部分の位置を示す情報を取得する。第１の生成部は、第１の取得部により取得した情報に基づく画像（以下、対象画像）を生成する。

領域推定部は、第２の取得部により取得した情報を用いて、自車両の周囲のうち運転者が視認可能な範囲に対応する対象画像の領域（以下、可視画像領域）、及び、自車両の周囲のうち運転者から見た死角となる範囲に対応する対象画像の領域（以下、死角画像領域）、のうち少なくとも一つの画像領域を推定する。

第２の生成部は、領域推定部により推定した画像領域に基づき、対象画像において可視画像領域又は死角画像領域の位置及び形状を示す領域画像を対象画像に合成した運転支援画像を生成する。こうして第２の生成部により生成された運転支援画像は、画像出力部によって出力される。

このような構成によれば、運転者の顔部分の位置に応じて推定された可視画像領域及び死角画像領域の少なくとも一方の画像領域が運転支援画像に反映される。このため、運転支援画像では、運転者が視認可能な範囲と、運転者から見た死角となる範囲とが、運転者の視点等に応じた位置及び形状によって識別可能な態様で表示されることになる。したがって、これらの表示範囲を運転者から見た現実世界により近い形態で識別させることにより、表示画像について運転者に直感的に認知させ易くすることができる。

また、本発明の一局面である運転支援方法によれば、上記同様の理由により、本発明の一局面である運転支援装置において既に述べた効果と同様の効果を得ることができる。

運転支援装置１の構成を示すブロック図である。 複数の車載カメラ１０の各撮像領域を例示する説明図である。 表示制御ユニット２０の機能的な構成を示すブロック図である。 バックガイドビュー画像又はフロントビュー画像を採用する場合において、（Ａ）は対象画像を示すイメージ図であり、（Ｂ）（Ｃ）は運転支援画像を示すイメージ図である。 バックガイドビュー画像又はフロントビュー画像を採用する場合において、（Ａ）（Ｂ）は運転者毎に形状及び位置が異なる可視画像領域３１を示すイメージ図である。 アラウンドビュー画像を採用する場合において、（Ａ）は対象画像を示すイメージ図であり、（Ｂ）（Ｃ）は運転支援画像を示すイメージ図である。 鳥瞰画像を採用する場合において、（Ａ）は対象画像を示すイメージ図であり、（Ｂ）は運転支援画像を示すイメージ図である。 表示制御ユニット２０のＣＰＵ１２が実行する処理のフローチャートである。

以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．第１実施形態］
［１−１．全体構成］
図１に示す運転支援装置１は、複数の車載カメラ１０と、表示制御ユニット２０と、ディスプレイ３０と、ドライバーステータスモニター４０と、を備える。また、図示を省略しているが、運転支援装置１は、車内ローカルエリアネットワーク（以下、車内ＬＡＮ）に接続されており、車内ＬＡＮに接続された他の電子制御ユニット（以下、ＥＣＵ）との間で、各種センサの検出情報やＥＣＵ内の制御情報等の車両情報を共有するように構成されている。以下の説明では、これらの構成要素が搭載された車両を自車両という。

なお、車内ＬＡＮは、自車両の内部に配備されているローカルエリアネットワークであり、例えば、周知のＣＡＮやＦｌｅｘＲａｙ、ＬＩＮ、ＭＯＳＴ、ＡＶＣ−ＬＡＮ等の通信プロトコルを利用して各種情報を伝送するものである。運転支援装置１においては、表示制御ユニット２０と、ドライバーステータスモニター４０内のＥＣＵと、が車内ＬＡＮに接続されている。

各車載カメラ１０は、自車両の周囲を撮像するように自車両に搭載された第１の車載装置として、自車両の前後左右における各位置に設置されている。本実施形態において、各車載カメラ１０は、自車両におけるそれぞれの設置位置及び撮像領域に応じて、前方カメラ２と、後方カメラ４と、右側方カメラ６と、左側方カメラ８と、に大別される。

図２に示すように、前方カメラ２は、自車両の前部（例えば、前部中央部）に搭載され、自車両の前方領域Ａ１を撮像する。後方カメラ４は、自車両の後部（例えば、後部中央部）に搭載され、自車両の後方領域Ａ２を撮像する。右側方カメラ６は、自車両の右側部（例えば、右側バックミラー部）に搭載され、自車両の右側方領域Ａ３を撮像する。左側方カメラ８は、自車両の左側部（例えば、左側バックミラー部）に搭載され、自車両の左側方領域Ａ４を撮像する。

また、各車載カメラ１０は、各撮像領域の一部が他の少なくとも１つの車載カメラ１０の撮像領域の一部と重複する領域（以下、重複領域）を有するように自車両に設置されている。例えば、図２に示すように、前方カメラ２の撮像領域である前方領域Ａ１は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右前重複領域ＯＡ１と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左前重複領域ＯＡ２と、を有している。後方カメラ４の撮像領域である後方領域Ａ２は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右後重複領域ＯＡ３と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左後重複領域ＯＡ４と、を有している。つまり、撮像領域に重複領域を有するように車載カメラ１０を配備することにより、自車両の全周囲をより確実に撮像可能とされている。

ディスプレイ３０は、自車両に搭載される表示装置として、車室内等に設置されるものである。例えば、ディスプレイ３０は、液晶ディスプレイ、ヘッドアップディスプレイ、又はこれらの組合せ等によって構成され、自車両の運転者が視認しやすい位置に設置される。

ドライバーステータスモニター４０は、自車両の運転者の顔部分の位置を検出する第２の車載装置として、車室内におけるメーターバイザーの下部等に設置されるものである。例えば、ドライバーステータスモニター４０は、近赤外線カメラ、ＥＣＵ、音声出力装置等によって構成される。

ドライバーステータスモニター４０のＥＣＵは、近赤外線カメラで撮影した運転者の顔部分を含む画像（以下、顔画像）をもとに、運転者の顔の向きや目の開き具合等を解析するものである。そして、ＥＣＵは、例えば決められた時間、運転者が目を閉じていたり、正面を向いていなかったりする状態が続いていると判定すると、音声出力装置を介して運転者に警報を行い、これにより安全運転を促す処理を主に行う。

詳細には、ドライバーステータスモニター４０のＥＣＵは、公知の画像認識技術により、顔画像をもとに運転者の顔の輪郭や目、鼻、口等のパーツを検出し、各パーツの位置関係により顔の向きを検出する。本実施形態では、こうして検出された情報のうち、運転者の顔部分の位置（例えば、目の位置）や顔の向きを示す情報を含む、運転者の状態を示す情報（以下、運転者状態情報）が、車内ＬＡＮを介して、ドライバーステータスモニター４０のＥＣＵから表示制御ユニット２０へ送信される。

［１−２．表示制御ユニット２０の構成］
表示制御ユニット２０は、ＣＰＵ１２と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ１４）と、を有する周知のマイクロコンピュータ及び車載ネットワーク用の通信コントローラを中心に構成されたＥＣＵである。表示制御ユニット２０においては、メモリ１４に格納されているプログラムに基づいてＣＰＵ１２により各種処理が実行される。つまり、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、マイクロコンピュータの数は１つでも複数でもよく、１ないし複数のマイクロコンピュータの各設置場所は車両内部の何れでもよい。

表示制御ユニット２０は、ＣＰＵ１２の各種処理の実行により実現される機能の構成として、図３に示すように、第１の取得部２１と、第２の取得部２２と、第１の生成部２３と、領域推定部２４と、第２の生成部２５と、画像出力部２６と、を備える。なお、表示制御ユニット２０が提供するこれら機能の一部又は全部を、一つあるいは複数の論理回路やＩＣ等の電子回路によりハードウェア的に構成してもよい。つまり、表示制御ユニット２０においては、ソフトウェアに限らず、ハードウェアあるいはそれらの組合せによっても上記機能を提供することができる。

第１の取得部２１は、各車載カメラ１０から自車両の周囲を示す画像（以下、周囲画像）を取得する。本実施形態では、各車載カメラ１０から、前方領域Ａ１、後方領域Ａ２、右側方領域Ａ３、左側方領域Ａ４を撮像した各周囲画像を所定のフレームレートで取得し、これらの周囲画像を互いに識別可能な態様でメモリ１４に格納する。なお、メモリ１４には、各車載カメラ１０の位置及び姿勢を示す外部パラメータや、焦点距離や画像中心や画像サイズや歪収差係数等を示す内部パラメータ等を含む周知のカメラパラメータが格納されている。第１の取得部２１は、これらのカメラパラメータのうち一部又は全部を各車載カメラ１０から取得しても良い。カメラパラメータは、以下で述べる対象画像や領域画像を生成する際等に用いられる。

第１の生成部２３は、第１の取得部２１により取得した情報に基づく画像（以下、対象画像）を生成する。対象画像は、１ないし複数の周囲画像をもとに生成される画像であり、周囲画像そのものでも良いし、複数の周囲画像を繋ぎ合わせた画像であっても良いし、視点変換画像であっても良い。また、対象画像は、複数の視点変換画像を繋ぎ合わせた画像であっても良い。

視点変換画像は、車載カメラ１０の視点から見た周囲画像を、仮想カメラの視点（すなわち、仮想視点）から見ているかのように座標変換した画像である。例えば、カメラ座標系の光軸を基準とすると、撮像画像上のあらゆる点の座標位置を光軸からの角度と距離とによって求め、これらの座標位置を仮想カメラの光軸に基づいて回転及び並進させることにより、画像を視点変換することができる。つまり、仮想カメラの光軸として、仮想視点の位置及び向きを設定すれば、所望の視点変換画像を得ることが可能となる。なお、画像の視点変換技術は当業者にとって周知のため、その詳細な説明については省略する。

対象画像としては、例えば、バックガイドビュー画像やフロントビュー画像、アラウンドビュー画像、鳥瞰画像等が挙げられる。これらの画像は、ユーザによる運転操作やスイッチ操作等によって切り替えることができる。この切り替えに係る制御は、表示制御ユニット２０が行っても良いし、自車両内の他のＥＣＵが行っても良い。他のＥＣＵが行う場合には、その切り替えに係る制御指示が、車内ＬＡＮを介して、当該他のＥＣＵから表示制御ユニット２０へ送信される。

バックガイドビュー画像は、例えば、後方領域Ａ２を撮像した周囲画像に基づく画像に、車庫入れや駐車等の後退運転時にハンドル操作の参考となる予想進路線や距離目安線を重畳した態様で表示する画像である。フロントビュー画像は、例えば、前方領域Ａ１を撮像した周囲画像を、自車両の発進時等に死角になりやすい自車両付近の安全確認を行える態様に加工した画像である。アラウンドビュー画像は、例えば、前方領域Ａ１、後方領域Ａ２、右側方領域Ａ３及び左側方領域Ａ４を撮像した各周囲画像のうち少なくとも２つの画像を繋ぎ合わせた画像をもとに加工した画像である。鳥瞰画像は、例えば、自車両の真上から自車両の周囲を見た態様に加工された視点変換画像である。これら画像の生成方法は当業者にとって周知のため、その詳細な説明については省略する。

第２の取得部２２は、ドライバーステータスモニター４０から、運転者の顔部分の位置を示す情報を取得する。本実施形態では、運転者の目の位置を示す情報と、運転者の顔の向きを示す情報と、を含む運転者状態情報を、ドライバーステータスモニター４０から車内ＬＡＮを介して所定の周期で取得する。そして、この運転者状態情報を、第１の取得部２１により周囲画像を取得したタイミングと対応付けてメモリ１４に格納する。なお、第１の生成部により生成される対象画像は、運転者の目の位置を仮想視点の位置、運転者の顔の向きを仮想視点の向きとした視点変換画像であっても良い。

領域推定部２４は、第２の取得部２２により取得した情報を用いて、自車両の周囲のうち運転者が視認可能な範囲に対応する対象画像の領域（以下、可視画像領域３１）、及び、自車両の周囲のうち運転者から見た死角となる範囲に対応する対象画像の領域（以下、死角画像領域３２）、のうち少なくとも一つの画像領域を推定する。本実施形態において、領域推定部２４は、画像領域について、運転者の目の位置に応じた形状を推定する。

具体的には、対象画像としてバックガイドビュー画像やフロントビュー画像が採用される場合、領域推定部２４は、図４（Ａ）に示す対象画像から、自車両のピラーやルーフパネルやリアパネル又はフロントパネルによって運転者の視界が遮られる領域を、図４（Ｂ）に示す死角画像領域３２として推定する。そして、本実施形態では、対象画像のうち、死角画像領域３２を除く領域を可視画像領域３１として推定する。なお、メモリ１４には、自車両のフレーム各部やドア等の形状及び位置や、自車両のミラーの形状及び位置等を示す座標に関する情報（以下、車体情報）が、カメラ座標に変換可能な態様で記憶されている。つまり、領域推定部２４による画像領域の推定には、メモリ１４に記憶されている車体情報が用いられる。

詳細には、本実施形態では、領域推定部２４において、可視画像領域３１は、運転者状態情報に基づいて、図４（Ｃ）に示すように、運転者の目の高さに応じた位置及び形状に補正される。つまり、運転者が車室内から車室外を見たときの車室外の見え方（以下、視界）は、運転者の目の位置によって異なるため、可視画像領域３１の位置及び形状を変更するようにしている。

例えば、図５（Ａ）に示す運転者Ａの視界に対応する可視画像領域３１は、運転者Ａよりも背が高い図５（Ｂ）に示す運転者Ｂの視界に対応する可視画像領域３１と比較して、ルーフパネル側（すなわち、上方）にシフトしたものとなる。また、可視画像領域３１の形状については、図５（Ａ）に示す下辺に対する上辺の長さの割合が図５（Ｂ）に示すものよりも大きくなる。逆に言うと、図５（Ｂ）に示す運転者Ｂの視界に対応する可視画像領域３１は、運転者Ａよりも背が低い図５（Ａ）に示す運転者Ａの視界に対応する可視画像領域３１と比較して、リアパネル又はフロントパネル側（すなわち、下方）にシフトしたものとなる。また、可視画像領域３１の形状については、図５（Ｂ）に示す下辺に対する上辺の長さの割合が図５（Ａ）に示すものよりも小さくなる。つまり、こうした可視画像領域３１の位置及び形状の推定精度を上げるために、運転者状態情報のうち、運転者の目の位置を示す情報を用いている。

また、具体的には、対象画像としてアラウンドビュー画像が採用される場合、領域推定部２４は、図６（Ａ）に示す対象画像から、自車両のピラーやフロントパネルやドアによって運転者の視界が遮られる領域を、図６（Ｂ）に示す死角画像領域３２として推定する。そして、本実施形態では、対象画像のうち、死角画像領域３２を除く領域を可視画像領域３１として推定する。

この可視画像領域３１についても、運転者状態情報に基づいて、図６（Ｃ）に示すように、運転者の目の高さに応じた位置及び形状に補正される。例えば、図６（Ｃ）に示す可視画像領域３１は、図６（Ｂ）に示す可視画像領域３１と比較して、下方にシフトしたものとなり、またピラーの位置が左側にシフトしたものとなる。逆に言うと、図６（Ｂ）に示す可視画像領域３１は、図６（Ｃ）に示す可視画像領域３１と比較して、上方にシフトしたものとなり、またピラーの位置が右側にシフトしたものとなる。

また、具体的には、対象画像として鳥瞰画像が採用される場合、領域推定部２４は、図７（Ａ）に示す対象画像から、自車両のフレーム各部やドア等によって運転者の視界が遮られる領域から、バックミラーによって運転者が視認可能な領域を除く領域を、図７（Ｂ）に示す死角画像領域３２として推定する。そして、本実施形態では、対象画像のうち、死角画像領域３２を除く領域を可視画像領域３１として推定する。例えば、バックミラーによって運転者が視認可能な領域については、運転者の目の位置と、車体情報が示す自車両のミラーの形状及び位置の座標と、に基づいて推定することができる。

第２の生成部２５は、領域推定部２４により推定した画像領域に基づき、対象画像において可視画像領域３１又は死角画像領域３２の位置及び形状を示す領域画像を対象画像に合成した運転支援画像を生成する。この領域画像は、少なくとも可視画像領域３１と死角画像領域３２との境界が識別可能な態様であれば良く、例えば、境界線によって示される画像であっても良いし、領域によって示される画像であっても良い。

具体的には、例えば、対象画像がバックガイドビュー画像やフロントビュー画像やアラウンドビュー画像である場合、第２の生成部２５は、自車両のピラーやルーフパネルやリアパネル又はフロントパネルやドアの位置及び形状を模擬した画像を、死角画像領域３２の領域画像として生成する。そして、生成した領域画像を対象画像に重畳することにより運転支援画像を生成する。

この場合、領域画像は、上記のように模擬した部分の輪郭（すなわち、死角画像領域３２の輪郭）を示す画像でも良い。また、領域画像は、上記のように重畳した画像部分において、領域画像を上位のレイヤー、対象画像を下位のレイヤーとし、下位のレイヤーである対象画像が見えるように、輝度、明度、若しくは不透明度が調整された画像でも良いし、これに輪郭を付加した画像でも良い。

あるいは、領域画像は、可視画像領域３１の輪郭を示す画像でも良いし、可視画像領域３１自体を示す画像であっても良い。この場合も、領域画像は、上記のように重畳した部分において、領域画像を上位のレイヤー、対象画像を下位のレイヤーとし、下位のレイヤーである対象画像が見えるように輝度、明度、若しくは不透明度が調整された画像でも良いし、これに輪郭を付加した画像でも良い。また、これに代えて、あるいはこれに加えて、領域画像は、可視画像領域３１にハッチングが施された画像であっても良い。

例えば、対象画像として鳥瞰画像が採用される場合、第２の生成部２５は、図７（Ｂ）に示すように、バックミラーによるものを含む運転者が視認可能な領域（すなわち、可視画像領域３１）にハッチングを施した画像を領域画像とし、対象画像と合成することができる。この場合も、領域画像は、上記のように重畳した部分において、領域画像を上位のレイヤー、対象画像を下位のレイヤーとし、下位のレイヤーである対象画像が見えるように輝度、明度、若しくは不透明度が調整された画像であっても良いし、これに輪郭を付加した画像であっても良い。あるいは、逆に、死角画像領域３２にハッチングを施した画像を領域画像としても良い。

画像出力部２６は、第２の生成部２５により生成された運転支援画像を出力する。具体的には、第２の生成部２５により生成された運転支援画像をディスプレイ３０に表示する。

［１−３．処理］
次に、表示制御ユニット２０のＣＰＵ１２が実行する処理の一例について、図８のフローチャートを用いて説明する。なお、本処理は、例えば自車両のイグニッションスイッチがＯＮ状態であり、運転支援機能に係るスイッチがＯＮされている間、所定サイクル毎に繰り返し起動される。

本処理が起動すると、Ｓ１１０において第１の取得部２１は、各車載カメラ１０から周囲画像を取得する。本実施形態においては、このとき、第１の取得部２１は、各車載カメラ１０からカメラパラメータも取得する。

Ｓ１２０において第２の取得部２２は、ドライバーステータスモニター４０から運転者状態情報を取得する。
Ｓ１３０において第１の生成部２３は、第１の取得部２１により取得した周囲画像をもとに、対象画像を生成する。対象画像としては、バックガイドビュー画像やフロントビュー画像、アラウンドビュー画像、鳥瞰画像等があり、これらの画像からユーザによる運転操作やスイッチ操作等の内容に応じた画像が選択される。

Ｓ１４０において領域推定部２４は、Ｓ１２０で取得した運転者状態情報を用いて、運転者の目の位置から見て死角となる範囲に対応する死角画像領域３２を、Ｓ１３０で生成した対象画像において推定する。または、運転者の目の位置から見て運転者の視認可能な範囲に対応する可視画像領域３１を、Ｓ１３０で生成した対象画像において推定する。

Ｓ１５０において第２の生成部２５は、Ｓ１４０で推定した画像領域に相当する領域画像を生成し、生成した領域画像を、Ｓ１３０で生成した対象画像に重畳することにより、領域画像を対象画像に合成する。例えば、領域画像としては、対象画像のうち、死角画像領域３２を目立たせるために、可視画像領域３１の輝度や明度を落としたり、可視画像領域３１を半透明にするように不透明度を上げたり、可視画像領域３１にハッチングを施したりするためのフィルター効果を有する画像（以下、フィルター画像）が使用される。また例えば、領域画像としては、対象画像のうち、死角画像領域３２を目立たせるために、死角画像領域３２の輪郭を強調した画像（以下、強調画像）や、死角画像領域３２の輝度や明度を上げたり、死角画像領域３２の不透明度を下げたりするためのフィルター画像が使用される。なお、領域画像としては、複数の各種フィルター画像を組み合わせて使用しても良いし、フィルター画像と強調画像とを組み合わせて使用しても良い。

Ｓ１６０において画像出力部２６は、Ｓ１５０で領域画像を対象画像に合成した画像を運転支援画像としてディスプレイ３０に表示し、本処理を終了する。
［１−４．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。

（１ａ）運転者の顔部分の位置に応じて推定された可視画像領域３１及び死角画像領域３２の少なくとも一方の画像領域が運転支援画像に反映されるため、運転支援画像では、運転者が視認可能な範囲と、運転者から見た死角となる範囲とが、運転者の視点等に応じた位置及び形状によって識別可能な態様で表示されることになる。したがって、これらの表示範囲を運転者から見た現実世界により近い形態で識別させることにより、表示画像について運転者に直感的に認知させ易くすることができる。

（２ａ）画像領域について運転者の目に応じた形状を推定するため、運転者の目の位置に応じた形状に可視画像領域３１及び死角画像領域３２の少なくとも一方の画像領域が加工されることになる。このため、運転者から見た現実世界によりもっと近い形態で識別させることが可能となり、ひいては表示画像について運転者により直感的に認知させ易くすることができる。

（３ａ）死角画像領域３２の位置及び形状を示す領域画像を上位のレイヤーとし、下位のレイヤーである対象画像が見えるように不透明度等が調整された領域画像や、死角画像領域３２の輪郭を示す領域画像を、対象画像に重畳させる。このため、対象画像において死角画像領域３２を目立たせることができ、運転者により注意を向けさせたい表示範囲を運転者に直感的に認知させ易くすることができる。

（４ａ）可視画像領域３１の位置及び形状を示す領域画像を上位のレイヤーとし、下位のレイヤーである対象画像が見えるように不透明度等が調整された領域画像や、可視画像領域３１にハッチングが施された領域画像を、対象画像に重畳させる。このため、対象画像において死角画像領域３２を相対的に目立たせることができ、運転者により注意を向けさせたい表示範囲を運転者に直感的に認知させ易くすることができる。

［２．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２Ａ）上記実施形態では、バックガイドビュー画像やフロントビュー画像、アラウンドビュー画像、鳥瞰画像等の対象画像を、ユーザによる運転操作やスイッチ操作等の内容に応じて選択しているが、これに限定されるものではない。例えば、自車両の周囲の状況や走行シーン等において対象画像の種別を変更しても良い。自車両の周囲の状況としては、例えば歩行者や他車両等の有無が挙げられる。また、走行シーンとしては、例えば高速道路や一般道路や市街地等といった走行環境の種別や、高速運転時や低速運転時等といった自車速に基づく種別等が挙げられる。

（２Ｂ）上記実施形態では、複数の車載カメラ１０が撮像した周囲画像に基づいて対象画像を作成しているが、これに限定されるものではなく、１つの車載カメラ１０が撮像した周囲画像に基づいて対象画像を作成するようにしても良い。つまり、運転支援装置１は、１つの車載カメラ１０を備えて構成されても良い。

（２Ｃ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（２Ｄ）上述した運転支援装置１の他、当該運転支援装置１を構成要素とするシステム、当該運転支援装置１としてコンピュータを機能させるための１ないし複数のプログラム、このプログラムの少なくとも一部を記録した１ないし複数の半導体メモリ等の非遷移的実体的記録媒体、運転支援方法など、種々の形態で本発明を実現することもできる。

１…運転支援装置、１０…車載カメラ、１２…ＣＰＵ、１４…メモリ、２０…表示制御ユニット、２１…第１の取得部、２２…第２の取得部、２３…第１の生成部、２４…領域推定部、２５…第２の生成部、２６…画像出力部、３０…ディスプレイ、３１…可視画像領域、３２…死角画像領域、４０…ドライバーステータスモニター

Claims (5)

1. 車両の周囲を撮像する車載装置を第１の車載装置として、前記第１の車載装置から前記車両の周囲を示す情報を取得する第１の取得部と、
   前記車両の運転者の顔部分の位置を検出する車載装置を第２の車載装置として、前記第２の車載装置から前記運転者の顔部分の位置を示す情報を取得する第２の取得部と、
   前記第１の取得部により取得した情報に基づく画像を対象画像として生成する第１の生成部と、
   前記第２の取得部により取得した情報を用いて、前記車両の周囲のうち前記運転者が視認可能な範囲に対応する前記対象画像の領域である可視画像領域、及び、前記車両の周囲のうち前記運転者から見た死角となる範囲に対応する前記対象画像の領域である死角画像領域、のうち少なくとも一つの画像領域を推定する領域推定部と、
   前記領域推定部により推定した画像領域に基づき、前記対象画像において前記可視画像領域又は前記死角画像領域の位置及び形状を示す領域画像を前記対象画像に合成した運転支援画像を生成する第２の生成部と、
   前記第２の生成部により生成された運転支援画像を出力する画像出力部と、
   を備える運転支援装置。
2. 請求項１に記載の運転支援装置であって、
   前記第２の取得部により取得される情報には、前記運転者の目の位置を示す情報が含まれており、
   前記領域推定部は、前記画像領域について、前記運転者の目の位置に応じた形状を推定する、運転支援装置。
3. 請求項１又は請求項２に記載の運転支援装置であって、
   前記第２の生成部は、前記対象画像において前記死角画像領域の位置及び形状を示す領域画像を上位のレイヤーとして前記対象画像に合成し、
   前記第２の生成部により合成される領域画像は、前記領域画像との重畳部分において下位のレイヤーである前記対象画像が見えるように輝度、明度、若しくは不透明度が調整された画像、前記死角画像領域の輪郭を示す画像、又は、これらの組合せによる画像である、運転支援装置。
4. 請求項１又は請求項２に記載の運転支援装置であって、
   前記第２の生成部は、前記対象画像において前記可視画像領域の位置及び形状を示す領域画像を上位のレイヤーとして前記対象画像に合成し、
   前記第２の生成部により合成される領域画像は、前記領域画像との重畳部分において下位のレイヤーである前記対象画像が見えるように輝度、明度、若しくは不透明度が調整された画像、前記可視画像領域にハッチングが施された画像、又は、これらの組合せによる画像である、運転支援装置。
5. 車両の周囲を撮像する車載装置を第１の車載装置として、前記第１の車載装置から前記車両の周囲を示す情報を取得する第１の取得工程と、
   前記車両の運転者の顔部分の位置を検出する車載装置を第２の車載装置として、前記第２の車載装置から前記運転者の顔部分の位置を示す情報を取得する第２の取得工程と、
   前記第１の取得工程により取得した情報に基づく画像を対象画像として生成する第１の生成工程と、
   前記第２の取得工程により取得した情報を用いて、前記車両の周囲のうち前記運転者が視認可能な範囲に対応する前記対象画像の領域である可視画像領域、及び、前記車両の周囲のうち前記運転者から見た死角となる範囲に対応する前記対象画像の領域である死角画像領域、のうち少なくとも一つの画像領域を推定する領域推定工程と、
   前記領域推定工程により推定した画像領域に基づき、前記対象画像において前記可視画像領域又は前記死角画像領域の位置及び形状を示す領域画像を前記対象画像に合成した運転支援画像を生成する第２の生成工程と、
   前記第２の生成工程により生成された運転支援画像を出力する画像出力工程と、
   を備える運転支援方法。

Images