JP2018148530A - 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム - Google Patents

Abstract

【課題】運転者に車両の周辺を適切に確認させること。【解決手段】車両の周囲を撮影するカメラからの映像データを取得する映像データ取得部３１と、運転者の視点を検出する視点センサ４からの検出結果を取得する視点検出部３２と、視点検出部３２が取得した視点に基づいてリヤビューモニタ５を注視している時間を計測する計測部３３と、映像データ取得部３１が取得した映像をリヤビューモニタ５に表示させるとともに、計測部３３の計測結果がリヤビューモニタ５を注視している時間が所定注視時間以上となったときは、映像データ取得部３１が取得した映像に対して被撮影物を強調するよう加工した映像を表示させる、表示制御部３９と、を備えることを特徴とする。【選択図】図２

Description

本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。

従来の光学式ルームミラーに代わって、後方カメラで車両の後方周辺領域を撮影し表示装置に表示する技術が知られている。このような表示装置は、従来の光学式ルームミラーに比べて、距離感の把握が困難であり、運転者が表示装置を注視する時間が長くなるおそれがある。

運転者がモニタを２秒以上注視していると警告を発し、それでもモニタを見続けていると、画面をオフする技術が知られている（例えば、特許文献１参照）。運転者の視線が表示手段を見ていることを検知した場合、撮像した画像を明瞭にしてモニタに表示する技術が知られている（例えば、特許文献２参照）。

特開２００１−３０７２９８号公報 特開平０６−２３３３０６号公報

従来の光学式ルームミラーに代わって設置される表示装置は、運転者が注視する時間が長くなることを抑制し、運転者が車両の周辺を適切に確認することが望まれる。さらに、表示装置は、従来の光学式ルームミラーと同様に、保安部品として定められた基準に適合することが求められる。

本発明は、上記に鑑みてなされたものであって、運転者に車両の周辺を適切に確認させることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の周囲を撮影するカメラからの映像データを取得する映像データ取得部と、運転者の視点を検出する視点検出装置からの検出結果を取得する視点検出部と、前記視点検出部が取得した視点に基づいて表示部を注視している時間を計測する計測部と、前記映像データ取得部が取得した映像データを前記表示部に表示させるとともに、前記計測部の計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記映像データ取得部が取得した映像データに対して被撮影物を強調するよう加工した映像データを表示させる、表示制御部と、を備えることを特徴とする。

本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記表示部、前記カメラ、前記視点検出装置のうち少なくともいずれかとを備えることを特徴とする。

本発明に係る車両用表示制御方法は、車両の周囲を撮影するカメラからの映像データを取得する映像データ取得ステップと、運転者の視点を検出する視点検出装置からの検出結果を取得する視点検出ステップと、前記視点検出ステップで取得した視点に基づいて表示部を注視している時間を計測する計測ステップと、前記映像データ取得ステップで取得した映像データを前記表示部に表示させるとともに、前記計測ステップの計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記映像データ取得ステップで取得した映像データに対して被撮影物を強調するよう加工した映像データを表示させる、表示制御ステップと、を含む。

本発明に係るプログラムは、車両の周囲を撮影するカメラからの映像データを取得する映像データ取得ステップと、運転者の視点を検出する視点検出装置からの検出結果を取得する視点検出ステップと、前記視点検出ステップで取得した視点に基づいて表示部を注視している時間を計測する計測ステップと、前記映像データ取得ステップで取得した映像データを前記表示部に表示させるとともに、前記計測ステップの計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記映像データ取得ステップで取得した映像データに対して被撮影物を強調するよう加工した映像データを表示させる、表示制御ステップと、を車両用表示制御装置として動作するコンピュータに実行させる。

本発明によれば、運転者に車両の周辺を適切に確認させることができるという効果を奏する。

図１は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。 図２は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。 図３は、第一実施形態に係る車両用表示システムの視線検出装置とリヤビューモニタとを示す概略図である。 図４は、第一実施形態に係る車両用表示システムの構成例の他の例を示す概略図である。 図５は、第一実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。 図６は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。 図７は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。 図８は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。 図９は、第二実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。 図１０は、第二実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。 図１１は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。 図１２は、第三実施形態に係る車両用表示システムにおける処理で使用する、走行速度と所定注視時間との関係を示す図である。 図１３は、第三実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。

以下に添付図面を参照して、本発明に係る車両用表示制御装置１０、車両用表示システム１、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
車両用表示システム１は、車両に搭載され、車両後方を撮影した映像を表示する。車両用表示システム１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。図１は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図２は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。図３は、第一実施形態に係る車両用表示システムの視線検出装置とリヤビューモニタとを示す概略図である。

図１ないし図３に示すように、車両用表示システム１は、後方カメラ（カメラ）２と、視点センサ（視点検出装置）４と、リヤビューモニタ（表示部）５と、車両用表示制御装置１０とを有する。

本実施形態では、一例として、後方カメラ２で撮影した映像をリヤビューモニタ５に表示させるものとして説明する。カメラと表示部の組み合わせはこれに限定されるものではない。本実施形態では、車両用表示システム１は、運転者がリヤビューモニタ５を注視していると、リヤビューモニタ５に表示させる映像を変化させる。

後方カメラ２は、車両の後方に配置され、車両の後方を撮影する。後方カメラ２は、リヤビューモニタ５に表示される範囲を含んだ範囲を撮影する。言い換えると、後方カメラ２は、リヤビューモニタ５に表示されない範囲を含んで撮影している。そこで、後方カメラ２で撮影された映像は、車両用表示制御装置１０の制御部３０の表示制御部３９で、リヤビューモニタ５を用いて車両の運転者が適切に後方を認識できるような範囲が切出され、リヤビューモニタ５に表示される。後方カメラ２は、撮影した後方映像データを車両用表示制御装置１０の制御部３０の映像データ取得部３１へ出力する。

図３を用いて、視点センサ４について説明する。視点センサ４は、運転者の視線を検出する。視点センサ４は、リヤビューモニタ５の近傍に、運転席と向かい合って配置されている。本実施形態では、視点センサ４は、リヤビューモニタ５の上側に配置されている。視点センサ４は、例えば、一対の赤外カメラ４１と、赤外ＬＥＤ群で構成された赤外光発光部４２とを含む。本実施形態では、視点センサ４は、赤外光発光部４２で運転者の顔方向に赤外光を照射し、一対の赤外カメラ４１で撮影する。このようにして赤外カメラ４１で撮影した撮影映像から、運転者の瞳孔と角膜反射の位置とに基づいて、運転者の視線がリヤビューモニタ５を向いているか否かを判定する。視点センサ４は、同様の機能を有する他の構成であってもよい。視点センサ４は、検出結果を車両用表示制御装置１０の制御部３０の視点検出部３２に出力する。

図１、図２に戻って、リヤビューモニタ５は、一例としては電子ルームミラーである。リヤビューモニタ５を電子ルームミラーとして用いる場合、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ５は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。

リヤビューモニタ５は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ５は、図１に示すように、車両の運転者前方の、ウィンドシールドＳの車幅方向の中央上部に配置されている。リヤビューモニタ５は、図４に示すように、ダッシュボードＤの車幅方向の中央上部に配置されていてもよい。図４は、第一実施形態に係る車両用表示システムの構成例の他の例を示す概略図である。

リヤビューモニタ５は、車両用表示制御装置１０の制御部３０の表示制御部３９から出力された映像信号に基づき、車両の後方映像を表示する。リヤビューモニタ５には、従来の光学式ルームミラーで視認される範囲と同等の範囲、言い換えると、後方切出範囲で切出された表示用後方映像データが表示されている。

図２に戻って、車両用表示制御装置１０は、記憶部２０と、制御部３０とを有する。

記憶部２０は、車両用表示制御装置１０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。

制御部３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。制御部３０は、映像データ取得部３１と、視点検出部３２と、計測部３３と、表示制御部３９とを含む。制御部３０は、記憶部２０に記憶されているプログラムに含まれる命令を実行する。制御部３０には図示しない内部メモリが含まれ、内部メモリは制御部３０におけるデータの一時記憶などに用いられる。

映像データ取得部３１は、車両の後方を撮影した後方映像データを取得する。映像データ取得部３１が取得する後方映像データは、例えば、毎秒６０フレームの画像が連続した映像のデータである。本実施形態では、映像データ取得部３１は、後方カメラ２が出力した後方映像データを取得する。映像データ取得部３１は、取得した後方映像データを表示制御部３９に出力する。

視点検出部３２は、視点センサ４の検出結果に基づいて、運転者の視点がリヤビューモニタ５の表示面５ａを向いているか否かを検出する。より詳しくは、視点検出部３２は、赤外カメラ４１で撮影した撮影映像から、運転者の瞳孔と角膜反射の位置とを検出し、運転者の視点がリヤビューモニタ５の表示面５ａを向いているか否かを判定する。視点検出部３２は、検出結果を計測部３３に出力する。

計測部３３は、視点検出部３２の検出結果に基づいて、運転者がリヤビューモニタ５の表示面５ａを注視している注視時間を計測する。注視時間は、視点が表示面５ａ上に位置することが検出されてから、視点が表示面５ａ上から離れたことが検出されるまでの時間をいう。計測部３３は、計測結果を表示制御部３９に出力する。

表示制御部３９は、映像データ取得部３１で取得した後方映像データから表示用後方映像データを生成しリヤビューモニタ５に表示させる。表示制御部３９は、映像処理部３９１と表示処理部３９９とを有する。

映像処理部３９１は、映像データ取得部３１で取得した映像から所定の切出範囲を切出す切出部３９２と、切出した映像を加工する映像加工部３９３とを有する。映像処理部３９１は、切出し加工した映像を表示処理部３９９に出力する。

映像処理部３９１は、後方映像データから、リヤビューモニタ５に表示させる後方切出範囲を切出して表示用後方映像データを生成する。

切出部３９２は、後方映像データの中央部など所定の範囲を、後方切出範囲の表示用後方映像データとして切出す。後方切出範囲は、あらかじめ記憶部２０に記憶されている。切出部３９２は、切出した表示用後方映像データを映像加工部３９３に出力する。

映像加工部３９３は、運転者がリヤビューモニタ５を注視していると、映像データ取得部３１で取得した後方映像データに対して、リヤビューモニタ５に表示させる映像の表示状態を変化させるように加工する。より詳しくは、映像加工部３９３は、計測部３３の計測結果に基づいて、運転者がリヤビューモニタ５を注視している時間（以下、「注視時間」という）が所定注視時間ｔ１以上となったと判定した場合、映像データ取得部３１で取得した後方映像データに対して、被撮影物を強調するよう加工した表示用後方映像データを生成する。本実施形態では、所定注視時間ｔ１は、例えば、１．０秒程度以上、２秒程度以下、好ましくは１秒程度とする。映像加工部３９３は、加工した表示用後方映像データを表示処理部３９９に出力する。また、ここで被撮影物とは、映像データ取得部が取得した映像データのすべてもしくは一部であり、実施形態によっては後述する対象物データ取得部によって取得される対象物を示す。

被撮影物を強調するような加工とは、例えば、映像がより見やすくわかりやすくなるような加工である。被撮影物を強調するような加工とは、例えば、被撮影物の輪郭を強調する輪郭強調処理を行う加工である。被撮影物を強調するような加工とは、例えば、被撮影物のコントラストを変更する加工である。被撮影物を強調するような加工とは、例えば、被撮影物の輝度を変更する加工である。被撮影物を強調するような加工とは、例えば、被撮影物を丸型のアイコンなどで囲んで示すような加工を含んでもよい。被撮影物を強調するような加工とは、例えば、被撮影物に対応する位置のリヤビューモニタ５のバックライトを消灯させたり点灯させたりすることを含んでもよい。このような被撮影物を強調するような加工を行うことで、運転者が必要な情報の確認に要する時間が短縮される。

このような被撮影物を強調するような加工を、リヤビューモニタ５に表示される映像に含まれるすべての被撮影物、または、一部分の被撮影物に実行する。本実施形態では、被撮影物を強調するような加工を、リヤビューモニタ５に表示される映像に含まれるすべての被撮影物に対して実行する。

映像加工部３９３は、運転者がリヤビューモニタ５を注視していない場合、映像を加工せずに、表示処理部３９９に出力する。

表示処理部３９９は、映像処理部３９１で生成された映像をリヤビューモニタ５に出力させるための映像信号を出力する。

次に、図５を用いて、制御部３０による処理の流れについて説明する。図５は、第一実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。

制御部３０は、カメラ撮影映像を取得する（ステップＳＴ１１）。より詳しくは、制御部３０は、映像データ取得部３１で後方カメラ２が出力した後方映像データを取得させる。

制御部３０は、映像を切出す（ステップＳＴ１２）。より詳しくは、制御部３０は、切出部３９２で後方映像データから所定の切出範囲を切出す切出処理を行う。

制御部３０は、視点検出を開始する（ステップＳＴ１３）。より詳しくは、制御部３０は、視点検出部３２で視点センサ４の検出結果を取得して、運転者の視点の検出を開始する。そして、制御部３０は、計測部３３で、注視時間を計測させる。制御部３０は、ステップＳＴ１４に進む。

制御部３０は、リヤビューモニタ５の表示面５ａを所定注視時間ｔ１以上注視しているか否かを判定する（ステップＳＴ１４）。より詳しくは、制御部３０は、計測部３３の計測結果に基づいて、注視時間が所定注視時間ｔ１以上であるか否かを判定する。制御部３０は、注視時間が所定注視時間ｔ１以上であると判定した場合（ステップＳＴ１４でＹｅｓ）、ステップＳＴ１５に進む。制御部３０は、注視時間が所定注視時間ｔ１以上ではないと判定した場合（ステップＳＴ１４でＮｏ）、ステップＳＴ１６に進む。

制御部３０は、映像の強調加工を行う（ステップＳＴ１５）。より詳しくは、制御部３０は、映像加工部３９３で、被撮影物を強調するよう加工して表示用後方映像データを生成させる。例えば、制御部３０は、映像加工部３９３で、後方映像データに対して、被撮影物の輪郭を強調する輪郭強調処理を行って表示用後方映像データを生成させる。例えば、制御部３０は、映像加工部３９３で、後方映像データに対して、被撮影物のコントラストを変更して表示用後方映像データを生成させてもよい。例えば、制御部３０は、映像加工部３９３で、後方映像データに対して、被撮影物の輝度を変更して表示用後方映像データを生成させてもよい。例えば、制御部３０は、映像加工部３９３で、後方映像データに対して、被撮影物を丸型のアイコンなどで囲んで示すような加工をして表示用後方映像データを生成させてもよい。例えば、制御部３０は、映像加工部３９３で、被撮影物に対応する位置のリヤビューモニタ５のバックライトを消灯させたり点灯させたりしてもよい。制御部３０は、ステップＳＴ１６に進む。

制御部３０は、後方映像データを表示させる（ステップＳＴ１６）。より詳しくは、制御部３０は、表示処理部３９９で、後方映像データをリヤビューモニタ５に表示させる。制御部３０は、ステップＳＴ１７に進む。

制御部３０は、後方表示を終了するか否かを判定する（ステップＳＴ１７）。より詳しくは、制御部３０は、例えば、車両用表示システム１を終了する場合、後方表示を終了すると判定する（ステップＳＴ１７でＹｅｓ）。制御部３０は、車両用表示システム１を終了しない場合、後方表示を終了しないと判定する（ステップＳＴ１７でＮｏ）。制御部３０は、例えば、運転者による後方表示を終了する操作を検出した場合、後方表示を終了すると判定してもよい（ステップＳＴ１７でＹｅｓ）。制御部３０は、例えば、運転者による後方表示を終了する操作を検出しない場合、後方表示を終了しないと判定してもよい（ステップＳＴ１７でＮｏ）。

制御部３０は、このような処理を、例えば毎フレームごと、または、所定フレームごとのような所定間隔で繰り返す。

図６、図７を用いて、車両用表示システム１のリヤビューモニタ５に表示される映像について説明する。図６は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図７は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。

図６に示す映像は、被撮影物を強調するような加工をしていない映像である。

図７に示す映像は、図６に示す映像に対して、被撮影物を強調するような加工をした映像である。本実施形態では、映像に含まれるすべての被撮影物に対して、輪郭を強調する輪郭強調処理を実行した。これにより、図７に示す映像は、図６に示す映像に比べて、各被撮影物がより見やすく、強調された映像となっている。図７に示す映像は、図６に示す映像に比べて、運転者が短時間で被撮影物を認識しやすい映像になっている。

上述したように、本実施形態によれば、運転者がリヤビューモニタ５を注視していると、被撮影物を強調するよう加工して表示用後方映像データを生成しリヤビューモニタ５に表示させる。本実施形態によれば、運転者が必要な情報の確認に要する時間を短縮するような表示をさせることができる。本実施形態によれば、運転者がリヤビューモニタ５に短時間だけ視点を合わせて必要な情報を得て、すぐに車両の前方などに視点を戻すことが可能な表示をすることができる。このように、本実施形態によれば、運転者に車両の周辺を適切に確認させることができる。本実施形態は、運転者がリヤビューモニタ５を注視することを抑制するので、車両の周囲を安全に確認できる状態にすることができる。

本実施形態によれば、運転者がリヤビューモニタ５を注視していると、リヤビューモニタ５の表示を変化させる。このように、本実施形態は、リヤビューモニタ５の表示を変化させることで、運転者がリヤビューモニタ５を注視していたことを認識させることができる。本実施形態は、運転者にリヤビューモニタ５を注視していたことを認識させることで、運転者が車両の前方などに視点を戻すことを促すことができる表示にすることができる。これにより、本実施形態によれば、運転者に車両の周辺を適切に確認させることができる。

本実施形態は、運転者がリヤビューモニタ５を注視しているときに、リヤビューモニタ５を非表示とする場合に比べて、リヤビューモニタ５には後方の映像が表示された状態が継続されるので、車両の周囲の安全を確認できる状態を維持することができる。このように、本実施形態によれば、リヤビューモニタ５は保安部品として定められた基準に適合し、車両の後方の確認を妨げないようにすることができる。

［第二実施形態］
図８ないし図１０を参照しながら、本実施形態に係る車両用表示システム１Ａについて説明する。図８は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。図９は、第二実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。図１０は、第二実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。

図８に示すように、車両用表示システム１Ａは、基本的な構成は第一実施形態の車両用表示システム１と同様である。以下の説明においては、車両用表示システム１と同様の構成要素は、その詳細な説明を省略する。車両用表示システム１Ａは、接近車両センサ６Ａを有する、または、画像処理により自車に接近する車両情報を取得する点で、第一実施形態の車両用表示システム１と異なる。車両用表示システム１Ａは、車両用表示制御装置１０Ａの制御部３０Ａにおける処理が第一実施形態の車両用表示システム１と異なる。

接近車両センサ６Ａは、自車両に接近する車両などの対象物を検出するセンサである。接近車両センサ６Ａは、表示用後方映像データに含まれる範囲の対称物を検出可能である。接近車両センサ６Ａは、例えば、前方センサと後方センサと左側方センサと右側方センサとのような複数のセンサを含む。接近車両センサ６Ａは、例えば、赤外線センサ、超音波センサ、ミリ波センサ、画像認識によるセンサ等によって対象物を検出する。接近車両センサ６Ａは、検出した対象物の対象物情報を車両用表示制御装置１０Ａの制御部３０Ａの接近車両データ取得部（対象物データ取得部）３５Ａへ出力する。本実施形態では、対象物は車両とする。

制御部３０Ａは、映像データ取得部３１と、視点検出部３２と、計測部３３と、接近車両データ取得部３５Ａと、表示制御部３９Ａとを有する。

接近車両データ取得部３５Ａは、接近車両センサ６Ａから取得した対象物情報に基づいて、対象物情報を出力したセンサの取付位置と当該センサによる対象物の検出範囲とに基づいて、車両の方向を細分化して取得する。接近車両データ取得部３５Ａは、対象物情報から、車両の自車両に対する距離を取得する。そして、接近車両データ取得部３５Ａは、検出した車両について、車両の自車両に対する距離の変化に基づき、自車両に近づく車両を検出する。

接近車両データ取得部３５Ａは、接近車両センサ６Ａを使用せずに、画像処理で自車両に近づく車両を取得してもよい。より詳しくは、接近車両データ取得部３５Ａは、映像データ取得部３１で取得した映像データに対して、車両の前面と後面とを判別可能な認識辞書を用いて、車両の前面として認識される対象物を取得する。そして、接近車両データ取得部３５Ａは、検出した車両について、フレームごとの映像における車両の映像の大きさの変化に基づき、自車両に近づく車両を検出する。

また、接近車両データ取得部３５Ａは、接近車両センサ６Ａまたは画像処理によって、自車両の周囲に存在する、言い換えると、自車両に近い車両を取得してもよい。この場合は、自車両と他車両との距離によって自車両の近傍に存在する車両を検出する。このとき検出対象は他車両に限定されず、自車両の周囲に存在する障害物を検出してもよい。

表示制御部３９Ａは、運転者がリヤビューモニタ５を注視していると、接近車両データ取得部３５Ａで検出した車両を強調するよう加工した映像を表示させる。

映像処理部３９１Ａは、切出部３９２Ａと、映像加工部３９３Ａと、接近車両認識部３９４Ａとを有する。

切出部３９２Ａは、第一実施形態の切出部３９２と同様に構成されている。切出部３９２Ａは、切出した表示用後方映像データを接近車両認識部３９４Ａに出力する。

映像加工部３９３Ａは、計測部３３の計測結果に基づいて、注視時間が所定注視時間ｔ１以上となったと判定した場合、接近車両認識部３９４Ａで認識した車両を強調するよう加工した表示用後方映像データを生成する。

さらに、映像加工部３９３Ａは、運転者がリヤビューモニタ５を注視していると接近車両認識部３９４Ａで認識した車両以外の被撮影物を、検出した車両に対して不鮮明に加工した映像を生成してもよい。

接近車両認識部３９４Ａは、映像データ取得部３１で取得した映像データから、接近車両データ取得部３５Ａで取得した接近車両を抽出する。接近車両認識部３９４Ａは、抽出し他車両の情報を含んだ表示用後方映像データを映像加工部３９３Ａに出力する。

次に、図９を用いて、制御部３０Ａによる処理の流れについて説明する。ステップＳＴ２１〜ステップＳＴ２４、ステップＳＴ３０は、第一実施形態のステップＳＴ１１〜ステップＳＴ１４、ステップＳＴ１７と同様の処理を行う。

制御部３０Ａは、接近車両を検出する（ステップＳＴ２５）。より詳しくは、制御部３０Ａは、接近車両データ取得部３５Ａで、接近車両センサ６Ａが出力した対象物情報を取得する。

制御部３０Ａは、自車に接近する車両の有無を判定する（ステップＳＴ２６）。制御部３０Ａは、接近車両データ取得部３５Ａで取得した対象物情報に基づいて、自車両に接近する車両がある場合（ステップＳＴ２６でＹｅｓ）、ステップＳＴ２７に進む。制御部３０Ａは、接近車両データ取得部３５Ａで取得した対象物情報に基づいて、自車両に接近する車両がない場合（ステップＳＴ２６でＮｏ）、ステップＳＴ２９に進む。

制御部３０Ａは、接近車両の映像を抽出する（ステップＳＴ２７）。より詳しくは、制御部３０Ａは、接近車両認識部３９４Ａで、映像データ取得部３１で取得した後方映像データから、接近車両の映像を取得させる。

制御部３０Ａは、接近車両の映像の強調加工を行う（ステップＳＴ２８）。より詳しくは、制御部３０Ａは、映像加工部３９３Ａで、映像データ取得部３１で取得した後方映像データに対して、接近車両を強調するよう加工して表示用後方映像データを生成させる。例えば、制御部３０Ａは、映像加工部３９３Ａで、後方映像データに対して、接近車両の輪郭を強調する輪郭強調処理を行って表示用後方映像データを生成させる。例えば、制御部３０Ａは、映像加工部３９３Ａで、後方映像データに対して、接近車両のコントラストを変更して表示用後方映像データを生成させてもよい。例えば、制御部３０Ａは、映像加工部３９３Ａで、後方映像データに対して、接近車両の輝度を変更して表示用後方映像データを生成させてもよい。例えば、制御部３０Ａは、映像加工部３９３Ａで、後方映像データに対して、接近車両を丸型のアイコンなどで囲んで示すような加工をして表示用後方映像データを生成させてもよい。例えば、制御部３０Ａは、映像加工部３９３Ａで、接近車両に対応する位置のリヤビューモニタ５のバックライトを点灯させたりしてもよい。制御部３０Ａは、ステップＳＴ２９に進む。

制御部３０Ａは、後方映像データを表示させる（ステップＳＴ２９）。より詳しくは、制御部３０Ａは、表示処理部３９９で、表示用後方映像データをリヤビューモニタ５に表示させる。制御部３０Ａは、ステップＳＴ３０に進む。

図１０を用いて、車両用表示システム１Ａのリヤビューモニタ５に表示される映像について説明する。

図１０に示す映像は、図６に示す映像に対して、被撮影物の中で、接近車両Ｖを強調するような加工をした映像である。これにより、図６に示す映像に比べて、接近車両Ｖがより見やすく、強調された映像となっている。図１０に示す映像は、図６に示す映像に比べて、運転者が短時間で接近車両Ｖを認識しやすい映像になっている。

上述したように、本実施形態によれば、運転者がリヤビューモニタ５を注視していると、自車両に接近する接近車両を強調するよう加工して表示用後方映像データを生成しリヤビューモニタ５に表示させる。本実施形態によれば、運転者が接近車両の確認に要する時間を短縮するような表示をさせることができる。本実施形態によれば、運転者がリヤビューモニタ５に短時間だけ視点を合わせて接近車両に関する必要な情報を得て、すぐに車両の前方などに視点を戻すことが可能な表示をすることができる。このように、本実施形態によれば、運転者に車両の周辺を適切に確認させることができる。本実施形態は、運転者がリヤビューモニタ５を注視することを抑制するので、車両の周囲を安全に確認できる状態にすることができる。

本実施形態によれば、運転者がより確認を要する接近車両を強調して表示する。本実施形態によれば、運転者が他の被撮影物より確認を要する被撮影物である接近車両をより確認しやすい表示をさせることができる。

［第三実施形態］
図１１ないし図１３を参照しながら、本実施形態に係る車両用表示システム１Ｂについて説明する。図１１は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。図１２は、第三実施形態に係る車両用表示システムにおける処理で使用する、走行速度と所定注視時間との関係を示す図である。図１３は、第三実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。

本実施形態の車両用表示システム１Ｂは、制御部３０Ｂにおける処理が第一実施形態の車両用表示システム１と異なる。

制御部３０Ｂは、映像データ取得部３１と、視点検出部３２と、計測部３３と、走行状態取得部３４Ｂと、表示制御部３９Ｂとを有する。

制御部３０Ｂは、車両の走行速度に応じて所定注視時間（注視判定用閾値）ｔ１を変動させる。例えば、所定注視時間ｔ１は、車両の走行速度が４０ｋｍ／ｈ以下の場合、３秒、車両の走行速度が４０ｋｍ／ｈより大きい場合、２秒としてもよい。

または、所定注視時間ｔ１は、図１２に示すように、車両の走行速度が速いほど短く設定されていてもよい。車両の走行速度と所定注視時間ｔ１との関係は、あらかじめ記憶部２０に記憶されている。

所定注視時間ｔ１は、実線で示すように、車両の走行速度が速いほど短くなるように、直線状に設定されていてもよい。本実施形態では、車両の走行速度が２０ｋｍ／ｈでは所定注視時間ｔ１は、例えば、２秒、車両の走行速度が１２０ｋｍ／ｈでは所定注視時間ｔ１は、例えば、１秒と設定されている。

所定注視時間ｔ１は、破線で示すように、車両の走行速度が速いほど短くなるように、階段状に設定されていてもよい。本実施形態では、車両の走行速度が２０ｋｍ／ｈ以上、４０ｋｍ／ｈ未満では所定注視時間ｔ１は、例えば、２秒、車両の走行速度が４０ｋｍ／ｈ以上、８０ｋｍ／ｈ未満では所定注視時間ｔ１は、例えば、１．５秒、車両の走行速度が８０ｋｍ／ｈ以上、１２０ｋｍ／ｈ未満では所定注視時間ｔ１は、例えば、１秒と設定されている。

本実施形態では、所定注視時間ｔ１は、車両の走行速度が２０ｋｍ／ｈ未満と１２０ｋｍ／ｈ以上については設定していない。所定注視時間ｔ１は、車両の走行速度が２０ｋｍ／ｈ未満については車両の走行速度が２０ｋｍ／ｈと同じ値とし、車両の走行速度が１２０ｋｍ／ｈ以上については車両の走行速度が１２０ｋｍ／ｈと同じ値としてもよい。

これにより、本実施形態では、表示制御部３９Ｂは、注視時間が、車両の走行速度が速いほど短い所定注視時間ｔ１以上となったと判定した場合、リヤビューモニタ５に表示させる映像の表示状態を変化させる。

走行状態取得部３４Ｂは、車両に備えられたＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続されＯＢＤ（Ｏｎ Ｂｏａｒｄ Ｄｉａｇｎｏｓｉｓ）IIデータなどを取得することで、車速を含む車両の走行状態を示す走行情報を取得する。走行状態取得部３４Ｂは、取得した走行情報を表示制御部３９Ｂに出力する。

次に、図１３を用いて、制御部３０Ｂによる処理の流れについて説明する。制御部３０Ｂは、第一実施形態のフローチャートに沿って処理を行い、ステップＳＴ４２、ＳＴ４３、ステップＳＴ４７〜ステップＳ５１は第一実施形態と同様の処理を行う。

制御部３０Ｂは、注視判定用閾値を設定する（ステップＳＴ４１）。より詳しくは、制御部３０Ｂは、所定注視時間ｔ１の閾値の初期値を設定する。本実施形態では、例えば、所定注視時間ｔ１は、初期値を２秒とする。

制御部３０Ｂは、自車速度を検出する（ステップＳＴ４４）。より詳しくは、制御部３０Ｂは、走行状態取得部３４Ｂで自車速度を含む車両情報を取得する。

制御部３０Ｂは、自車速度が所定速度以下であるか否かを判定する（ステップＳＴ４５）。本実施形態では、制御部３０Ｂは、取得した車両情報に基づいて、自車速度が４０ｋｍ／ｈ以下である場合（ステップＳＴ４５でＹｅｓ）、ステップＳＴ４６に進む。制御部３０Ｂは、取得した車両情報に基づいて、自車速度が４０ｋｍ／ｈより大きい場合（ステップＳＴ４５でＮｏ）、ステップ４７に進む。

制御部３０Ｂは、注視判定用閾値を変更する（ステップＳＴ４６）。より詳しくは、制御部３０Ｂは、自車速度が４０ｋｍ／ｈ以下の場合（ステップＳＴ４５でＹｅｓ）、所定注視時間ｔ１の閾値を遅延させて、３秒とする。制御部３０Ｂは、ステップＳＴ４７に進む。

制御部３０Ｂは、走行速度に対応して設定された所定注視時間ｔ１以上注視しているか否かを判定する（ステップＳＴ４８）。より詳しくは、制御部３０Ｂは、走行状態取得部３４Ｂで取得した走行情報に基づいて、車両の走行速度に対応して設定された所定注視時間ｔ１を記憶部２０から取得させる。そして、制御部３０Ｂは、計測部３３の計測結果に基づいて、取得した所定注視時間ｔ１以上注視しているか否かを判定する。

上述したように、本実施形態によれば、走行速度に対応して設定された所定注視時間ｔ１以上、運転者がリヤビューモニタ５を注視していると、リヤビューモニタ５の表示を変化させる。本実施形態では、注視時間が、車両の走行速度が速いほど短く設定されている。車両の走行速度が速いほど、単位時間毎の移動距離が長くなる。リヤビューモニタ５を注視している間の車両の移動距離が長くなる。このため、注視時間を、車両の走行速度が速いほど短い所定注視時間ｔ１と比較することで、より適切に前方を認識させることができる。このように、本実施形態によれば、運転者に車両の周辺をより適切に確認させることができる。

図示した車両用表示システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

車両用表示システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

車両用表示システム１は、リヤビューモニタ５の表示を変化させるとき、音や光で運転者に注意を促すようにしてもよい。より詳しくは、車両用表示システム１は、リヤビューモニタ５の周囲に配置されたスピーカから、警報音を出力してもよい。車両用表示システム１は、リヤビューモニタ５の周囲に配置された報知用ランプを点灯してもよい。車両用表示システム１は、表示用後方映像データの対象物や、対象物を囲うアイコンなどを点滅してもよい。

車両用表示システム１は、視点センサ４を用いて、リヤビューモニタ５の表示面５ａにおいて、運転者が注視している位置に対応する被撮影物を取得し、その被撮影物を強調するように加工した映像をリヤビューモニタ５に表示してもよい。

車両用表示システム１は、運転者がリヤビューモニタ５を繰り返し注視している場合、第一実施形態ないし第三実施形態を組み合わせて実行してもよい。例えば、車両用表示システム１は、まず、第一実施形態のフローチャートに示す処理を実行した後、運転者がリヤビューモニタ５を再度注視したと判定した場合、第二実施形態のフローチャートに示す処理を実行してもよい。これにより、運転者がリヤビューモニタ５を繰り返し注視している場合、リヤビューモニタ５の表示の変更の仕方を変えることができる。このようにすることで、運転者がリヤビューモニタ５を注視していたことをより確実に認識させることができる。

車両用表示システム１は、被撮影物を強調するよう加工した表示用後方映像データをリヤビューモニタ５に表示した後、運転者がリヤビューモニタ５から視点を外した場合、強調した表示を終了し、被撮影物を強調しない表示用後方映像データをリヤビューモニタ５に表示させてもよい。または、車両用表示システム１は、被撮影物を強調するよう加工した表示用後方映像データをリヤビューモニタ５に表示した後、強調した表示をそのまま継続してもよい。強調した表示をそのまま継続することで、運転者は、リヤビューモニタ５を短い時間で確認できる状態が継続される。

１ 車両用表示システム
２ 後方カメラ（カメラ）
４ 視点センサ（視点検出装置）
５ リヤビューモニタ（表示部）
１０ 車両用表示制御装置
３０ 制御部
３１ 映像データ取得部
３２ 視点検出部
３３ 計測部
３９ 表示制御部
３９１ 映像処理部
３９２ 切出部
３９３ 映像加工部
３９９ 表示処理部
ｔ１ 所定注視時間

Claims (11)

1. 車両の周囲を撮影するカメラからの映像データを取得する映像データ取得部と、
   運転者の視点を検出する視点検出装置からの検出結果を取得する視点検出部と、
   前記視点検出部が取得した視点に基づいて表示部を注視している時間を計測する計測部と、
   前記映像データ取得部が取得した映像データを前記表示部に表示させるとともに、前記計測部の計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記映像データ取得部が取得した映像データに対して被撮影物を強調するよう加工した映像データを表示させる、表示制御部と、
   を備えることを特徴とする車両用表示制御装置。
2. 前記表示制御部は、前記計測部の計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記表示部に表示される映像データに含まれるすべての被撮影物を強調するよう加工した映像データを表示させる、
   請求項１に記載の車両用表示制御装置。
3. 前記表示制御部は、前記計測部の計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記表示部に表示される映像データに含まれる一部分の被撮影物を強調するよう加工した映像データを表示させる、
   請求項１に記載の車両用表示制御装置。
4. 自車両に接近する対象物の対象物データを取得する対象物データ取得部を、
   さらに備え、
   前記表示制御部は、前記計測部の計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記対象物データ取得部で検出した対象物を強調するよう加工した映像データを表示させる、
   請求項３に記載の車両用表示制御装置。
5. 車両の周囲に存在する対象物の対象物データを取得する対象物データ取得部を、
   さらに備え、
   前記表示制御部は、前記計測部の計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記対象物データ取得部で検出した対象物を強調するよう加工した映像データを表示させる、
   請求項３に記載の車両用表示制御装置。
6. 前記表示制御部は、前記計測部の計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記視点検出部の検出結果に基づいて、運転者が注視していることが検出された対象物を強調するよう加工した映像データを表示させる、
   請求項３に記載の車両用表示制御装置。
7. 前記表示制御部は、前記計測部の計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、検出した対象物以外の被撮影物を、検出した対象物に対して不鮮明に加工した映像データを表示させる、
   請求項４から６のいずれか一項に記載の車両用表示制御装置。
8. 前記車両の走行状態を取得する走行状態取得部をさらに備え、
   前記表示制御部は、前記車両の走行速度に応じて前記所定注視時間を変動させる、
   請求項１から７のいずれか一項に記載の車両用表示制御装置。
9. 請求項１から８のいずれか一項に記載の車両用表示制御装置と、
   前記表示部、前記カメラ、前記視点検出装置のうち少なくともいずれかと
   を備える車両用表示システム。
10. 車両の周囲を撮影するカメラからの映像データを取得する映像データ取得ステップと、
    運転者の視点を検出する視点検出装置からの検出結果を取得する視点検出ステップと、
    前記視点検出ステップで取得した視点に基づいて表示部を注視している時間を計測する計測ステップと、
    前記映像データ取得ステップで取得した映像データを前記表示部に表示させるとともに、前記計測ステップの計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記映像データ取得ステップで取得した映像データに対して被撮影物を強調するよう加工した映像データを表示させる、表示制御ステップと、
    を含むことを特徴とする車両用表示制御方法。
11. 車両の周囲を撮影するカメラからの映像データを取得する映像データ取得ステップと、
    運転者の視点を検出する視点検出装置からの検出結果を取得する視点検出ステップと、
    前記視点検出ステップで取得した視点に基づいて表示部を注視している時間を計測する計測ステップと、
    前記映像データ取得ステップで取得した映像データを前記表示部に表示させるとともに、前記計測ステップの計測結果が前記表示部を注視している時間が所定注視時間以上となったときは、前記映像データ取得ステップで取得した映像データに対して被撮影物を強調するよう加工した映像データを表示させる、表示制御ステップと、
    を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。