JP2016088158A - 周辺監視装置 - Google Patents

Abstract

【課題】表示画面上での注意喚起表示を可及的に滑らかに表示する。
【解決手段】周辺監視装置１０は、カメラ１４と、ディスプレイ１８と、物体検出部３２と、表示画面処理部３６とを備える。表示画面処理部３６は、物体検出部３２の検出に基づき画像中の移動体２２に検出枠Ｄを重畳して表示する。この際、表示画面処理部３６は、物体検出部３２が検出したタイミングにおける画像上の検出位置に検出枠Ｄを表示すると共に、所定時間経過して次の検出枠Ｄを表示しても検出位置での表示を継続する。
【選択図】図１

Description

本発明は、車両に搭載され、この車両周辺の情報を搭乗者に提供する周辺監視装置に関する。

近年、車両の運転時における操作性の向上や危険回避等を図るため、撮像部により車両の周辺の状況を撮影して、車両の搭乗者に撮影した動画を提供する周辺監視装置が開発されている。例えば、本出願人は、特許文献１に開示されている車両用周辺監視装置を先に出願した。

特許文献１に開示の周辺監視装置は、車両の後部に搭載したカメラ（撮像部）と、カメラが撮影した画像を処理する画像処理ＥＣＵ（画像処理部）と、画像処理ＥＣＵが生成した表示画面を表示する表示部とを備える。そして、周辺監視装置は、カメラが撮影した車両後方の動画を表示部に表示すると共に、その画面上で注意すべき物体（他の車両の通過等）を検出すると、表示画面に方形状の検出枠（以下、注意喚起表示ともいう）を表示する。これにより周辺監視装置は、検出枠を車両の搭乗者に視認させて、運転時の注意を促すことができる。

特開２０１２−１６２２１１号公報

ところで、従来の検出枠の表示においては、所定のフレームレート（例えば、数十〜数百ｍｓｅｃの周期）で注意すべき物体の移動を検出して、不透明の検出枠（注意喚起表示）を変位させている。このため、動画上では、表示される検出枠が物体に対して滑らかに追従しておらず、特に物体の速度が速いと飛び飛びに（離散的に）表示されていた。このように動画上で検出枠を飛び飛びに表示してしまうと、ユーザが移動体を快適に視認するというより、むしろ煩わしく感じることが想定される。また、検出枠を飛び飛びに表示すると、注意すべき物体の移動状態（方向等）が分かり難くなる。

本発明は、上記の実情に鑑みてなされたものであって、表示画面上での注意喚起表示を可及的に滑らかに表示することにより、ユーザに煩わしさを感じさせることを抑制しつつ、注意すべき物体を良好に認識させ得る周辺監視装置を提供することを目的とする。

前記の目的を達成するために、本発明は、自車周辺を撮像する撮像部と、前記撮像部で撮像された画像を表示する表示部と、前記撮像部で撮像された画像中に注意すべき物体を検出する検出部と、前記検出部の検出に基づき前記画像中の前記物体又は前記物体の周辺に注意喚起表示を重畳して表示する喚起表示制御部と、を備えた周辺監視装置において、前記喚起表示制御部は、第１タイミングで表示された注意喚起表示を、前記第１タイミングよりも後の第２タイミングで注意喚起表示を表示しても、継続して表示することを特徴とする。

上記によれば、周辺監視装置は、喚起表示制御部により、検出部が検出した検出位置に注意喚起表示を表示すると共に、所定時間経過しても検出位置での表示を継続することで、ユーザに対して注意すべき物体を良好に認識させることができる。すなわち、注意喚起表示は、所定時間経過しても検出位置での表示が継続されるので、次の注意喚起表示が表示された段階でも表示されたままとなり、注意喚起表示の残像が残ることになる。このため、ユーザに対しては、注意喚起表示が煩わしく感じることを抑制して、滑らかに変位しているように認識させることができる。

この場合、前記喚起表示制御部は、前記第１タイミングで表示された注意喚起表示を、前記第２タイミングで表示された注意喚起表示よりも視認性を低下して表示するとよい。

このように、第１タイミングで表示された注意喚起表示を、第２タイミングで表示された注意喚起表示よりも視認性を低下させて表示することで、新しい注意喚起表示のほうが目立つことになる。その一方で、第１タイミングの注意喚起表示が目立たない残像で視認される。

また、前記喚起表示制御部は、前記第１タイミングの注意喚起表示の不透明度を低くすることで視認性を低下させることが好ましい。

このように注意喚起表示の不透明度を低くすることで、ユーザに対し第１タイミングの注意喚起表示を簡単に見難くすることができる。

さらに、前記喚起表示制御部は、注意すべき前記物体の変位に沿って前記注意喚起表示を追従させることが好ましい。

このように、注意すべき物体の変位に沿って注意喚起表示を追従させることで、注意すべき物体の注意喚起表示が残像で表示されることになり、ユーザが違和感なく注意喚起表示を目で追うことができる。

またさらに、前記注意喚起表示は、枠表示であることが好ましい。

このように、注意喚起表示が枠表示であることで、その内側に注意すべき物体を認識することができる。

さらにまた、前記喚起表示制御部は、注意すべき前記物体を最初に検出した際に、前記検出位置に対して外側から内側に向かって前記枠表示を段階的に小さくし、且つ前記外側の枠表示を前記内側の枠表示よりも視認性を低下させるとよい。

このように喚起表示制御部は、検出位置に対して外側から内側に向かって枠表示を段階的に小さくし、且つ外側の枠表示を内側の枠表示よりも視認性を低下させることで、最初に検出した物体に枠表示が段々と近づくように見せることができる。これにより、ユーザは、注意すべき物体に対し容易に気づくことができる。

本発明によれば、表示画面上での注意喚起表示を可及的に滑らかに表示することにより、ユーザに煩わしさを感じさせることを抑制しつつ、注意すべき物体を良好に認識させることができる。

本発明の一実施形態に係る周辺監視装置の動作を説明するための概略説明図である。 図１の周辺監視装置の内部構成を示す機能ブロック図である。 図１の周辺監視装置の表示画面の例を示す説明図である。 図４Ａは、表示画面処理部によるフォーカス表示処理を説明する第１説明図であり、図４Ｂは、図４Ａに続くフォーカス表示処理を説明する第２説明図であり、図４Ｃは、図４Ｂに続くフォーカス表示処理を説明する第３説明図である。 図５Ａは、表示画面処理部による残像表示処理を説明する第１説明図であり、図５Ｂは、図５Ａに続く残像表示処理を説明する第２説明図であり、図５Ｃは、図５Ｂに続く残像表示処理を説明する第３説明図であり、図５Ｄは、図５Ｃに続く残像表示処理を説明する第４説明図である。 図６Ａは、図５Ｄに続く残像表示処理を説明する第５説明図であり、図６Ｂは、図６Ａに続く残像表示処理を説明する第６説明図である。 図７Ａは、表示画面処理部が残像表示処理を行った際の、検出枠の表示状態を時間変化で示すグラフであり、図７Ｂは、従来の検出枠の表示状態を時間的変化で示すグラフである。 図８Ａは、第１変形例に係る残像表示処理の検出枠の表示状態を時間変化で示すグラフであり、図８Ｂは、第２変形例に係る残像表示処理の検出枠の表示状態を時間変化で示すグラフである。 お知らせ音の動作タイミングを示すタイムチャートである。 表示画面処理部による残像表示処理のフローチャートである。

以下、本発明に係る周辺監視装置について好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。

図１に示すように、本発明の一実施形態に係る周辺監視装置１０は、車両１２の外側周辺部の状況（交通状態等）を、搭乗者であるユーザに確認（監視）させるための車載装置として車両１２に設置される。特に、この周辺監視装置１０は、車両１２のユーザにとって死角となる車両１２の後方の状況を、リアルタイムの動画として提供する構成となっている。なお、以下の説明では、四輪自動車に搭載される周辺監視装置１０について詳述するが、周辺監視装置１０が設けられる対象は特に限定されず、車両１２の他にも運輸に関わる機器（船舶等）に適用してよい。

具体的には、周辺監視装置１０は、カメラ１４（撮像部）、画像処理ＥＣＵ１６（画像処理部）及びディスプレイ１８（表示部）を含んで構成される。そして、カメラ１４により車両１２の周辺を撮像し、画像処理ＥＣＵ１６によりその情報を処理して、処理した表示画面をディスプレイ１８に表示することで、車両１２周辺の状況をユーザに視認させる。なお、周辺監視装置１０は、該周辺監視装置１０専用のカメラ１４、画像処理ＥＣＵ１６、ディスプレイ１８だけで動作してもよく、後述するように車両１２に搭載される他の車載装置を適宜組み合わせて動作する構成でもよい。

以下、周辺監視装置１０の各構成について詳述していく。カメラ１４は、車両１２の後部に取り付けられて車両１２の後方を撮像する、いわゆる車載用リアカメラである。例えば、カメラ１４は、車体の幅方向中央部、且つ天井部に近い位置に固定される。このカメラ１４は、所定のフレームレート（例えば、３０ｆｐｓ）で車両１２周辺の画像（フレーム：静止画）を順次撮像して、画像信号として画像処理ＥＣＵ１６に連続的に出力する。

また、周辺監視装置１０は、撮像部としてカメラ１４に加えて（或いは、カメラ１４に代えて）、車両１２の後方に存在する物体を検出する図示しないセンサが適用されてもよい。センサとしては、超音波を出力してその反射を検出する音波探知装置（超音波センサ）、電磁波を出力してその反射を検出するレーダ装置等が挙げられる。

また、このカメラ１４は、実際に撮影を行うレンズとして水平方向で約１８０°程度の広い視野範囲の撮像が可能な超広角レンズ（魚眼レンズ）を適用している。これにより、周辺監視装置１０は、車両１２の後方だけでなく後方且つ左右方向を含むワイドビュー画像を取得することができる。なお、周辺監視装置１０は、車両１２の後方にカメラ１４を複数設けることで、後方且つ左右方向を撮影する構成でもよい。この場合、撮像部は、上記の超広角レンズを適用せずに、標準的な視野範囲のレンズを有するカメラ１４を使用して、画像処理ＥＣＵ１６において各カメラ１４が撮影した画像を適宜合成し、ディスプレイ１８に表示する構成としてもよい。要するに、撮像部は、画像処理ＥＣＵ１６が処理してディスプレイ１８に表示することが可能な種々の構成を適用することができる。

一方、画像処理ＥＣＵ１６は、信号線２０を介してカメラ１４に接続され、カメラ１４が撮影した画像（動画）を信号情報として受信（取得）する。画像処理ＥＣＵ１６内では、取得した画像を処理して表示画面を生成する。また、画像処理ＥＣＵ１６は、ディスプレイ１８に画像を表示しない場合でも、カメラ１４により車両１２後部を定常的に撮影し、その画像に基づき移動体を検出して移動体と車両１２の衝突を回避する処理を行うとよい。

画像処理ＥＣＵ１６は、ハードウェアとして、図示しない入出力部、演算部、記憶部（ＲＯＭ、ＲＡＭ等）を有する周知のコンピュータ（マイクロコンピュータを含む）を適用し得る。画像処理ＥＣＵ１６は、演算部が記憶部に記憶されているプログラムを読み出して実行することで、図２に示すような機能実現部を構築して、種々の画像処理を行う。画像処理ＥＣＵ１６の機能実現部については後述する。

また、周辺監視装置１０のディスプレイ１８は、例えば、車両１２内の図示しないダッシュボードの幅方向中央部に設けられ、信号線２１を介して画像処理ＥＣＵ１６に接続されている。ディスプレイ１８としては、液晶、有機ＥＬ等の周知の表示装置が挙げられ、またユーザが画面上に触れて操作可能なタッチパネルを適用することができる。本実施形態に係るディスプレイ１８は、車両１２に搭載されるナビゲーション装置又はディスプレイオーディオ装置等の表示部を利用している。

そして、周辺監視装置１０は、車両１２の後退移動（バック）に伴って動作し、車両１２周辺の状況をユーザに提供する。すなわち、車両１２の後退移動時には、物体（他の車両２２、人を含む動物、障害物等）に接触する可能性が高まるので、車両１２の後側に一層注意を払う必要が生じる。そのため例えば、ディスプレイ１８において、ナビゲーション装置によるナビゲーション画面を表示していても、車両１２の後退移動時には、周辺監視装置１０の表示に切り換えてカメラ１４で撮影した車両１２の後方の動画を表示する。

図１に示すように、例えば、ユーザの車両１２の後方を他の車両２２が通過すると、この車両２２がディスプレイ１８にリアルタイムに表示されるので、ユーザは車両１２を停止する等の適宜の運転操作を行うことができる。なお、以下の説明では、説明の便宜のため、ユーザが乗車する車両１２を自車１２ともいい、それ以外の注意すべき物体（自車１２の後側を通行する車両２２等）を移動体２２ともいう。

特に、周辺監視装置１０の画像処理ＥＣＵ１６は、カメラ１４で撮像した画像を処理することで、移動体２２を検出してディスプレイ１８で表示される動画２４上に検出枠Ｄ（枠表示）を重畳する表示制御を行う。このため、画像処理ＥＣＵ１６は、内部プログラムの実行により、図２に示すように画像取得部２６、動画生成部２８、シフトポジション判別部３０、物体検出部３２、衝突危険度算出部３４、表示画面処理部３６（喚起表示制御部）を構築する。また、画像処理ＥＣＵ１６は、ＣＡＮ５６等の車内信号線を介して、警報制御部３８、シフトポジションセンサ４０、メータ４２、スピーカ４４に接続されている。

画像取得部２６は、信号線２０を介して接続されるカメラ１４の動作を制御すると共に、カメラ１４が撮像した画像（動画２４の信号情報）を受信して、画像処理ＥＣＵ１６の記憶部等に一時的に記憶させる。

動画生成部２８は、画像取得部２６が受信した動画の信号情報を所定の補正手段により補正して、ユーザが視認可能な動画２４を生成する。例えば、動画生成部２８は、フル画面（超広角レンズが撮像した画像そのまま）やノーマルビュー画面（超広角レンズが撮影した画像の両側部分を省いたもの）等のユーザ設定に基づき、画面を部分的に削除する、又は歪みを補正する等の処理を行う。

シフトポジション判別部３０は、ＣＡＮ５６等の車内信号線を介して自車１２のシフトポジションセンサ４０からシフトレバーの位置情報を取得し、自車１２の運転状態を判別する。上述したように、周辺監視装置１０は、自車１２が後退移動する際に、ディスプレイ１８に動画２４を表示させるように動作する。そのため、画像処理ＥＣＵ１６は、シフトポジション判別部３０によりシフトレバーがリバースにセットされたことを判別すると、ディスプレイ１８の表示を動画生成部２８が生成した動画に切り換える処理を行う。なお、画像処理ＥＣＵ１６は、図２中に示すようにシフトポジションセンサ４０から、シフトレバーの位置情報を直接取得する構成でもよく、メータ４２に送信されたシフトレバーの位置情報をこのメータ４２から取得する構成でもよい。

一方、物体検出部３２は、画像取得部２６が一時的に記憶した画像の情報を読み出して、画像中に含まれる注意すべき物体を検出する。この注意すべき物体としては、自車１２と相対的に近接する移動体２２（車両）が挙げられる。移動体２２には、車両２２の他に、人等の動物や道路に落ちて転がっている落下物等、自車１２の走行に影響する可能性があるものが含まれてもよい。

物体検出部３２による移動体２２の検出手段としては、例えば、取得した複数のフレーム（画像）同士の差分をとるフレーム間差分法が挙げられる。フレーム間差分法では、カメラ１４が撮影した時点Ｔ０のフレームと、この時点Ｔ０から所定のフレームレート（例えば、３０ｆｐｓの場合は１／３０秒）経過した時点Ｔ１のフレームを取り出して、このフレーム同士を比較する。そして、時点Ｔ０のフレームに自車１２周辺の背景と移動体２２が写り込み、時点Ｔ１のフレームで自車１２周辺の背景に対し移動体２２が移動していれば、時点Ｔ０のフレームと、時点Ｔ１のフレームとの差分をとることで移動体２２のみを検出することができる。この際、自車１２が後退移動しても、高速に切り換わる動画２４のフレームレートに対して動作が遅いため、背景は変わらないと見なすことができる。勿論、物体検出部３２は、車両１２の後退移動時の車速に基づき、フレームを補正処理することで自車１２周辺の背景を抽出し移動体２２の検出に使用してもよい。

物体検出部３２は、２つのフレーム間で他車を検出すると、相互の座標位置に基づき移動体２２の移動ベクトル（進行方向及び速度）を算出することができる。そのため、移動体２２が自車１２に近づいているか遠ざかっているかを判定することが可能となり、また画面上に重畳する検出枠Ｄの位置を補正することができる。

物体検出部３２は、移動体２２を検出したことに基づき、その検出情報を衝突危険度算出部３４に通知する。また、物体検出部３２内に備える判定部３２ａにより、ユーザに対して注意を喚起すべき物体であるか否かを判定し、注意を喚起すべき物体と判定した場合には、動画上の移動体２２の検出位置（２次元座標位置）を表示画面処理部３６に通知する。判定部３２ａは、例えば、自車１２に向かって近接する移動体２２について注意を喚起すべき物体と判定するとよい。逆に、自車１２から遠ざかる移動体２２については、自車１２と接触する可能性が大幅に低くなるため注意を喚起しなくてもよい。さらに、判定部３２ａは、検出枠Ｄを表示する際に、前回検出した移動体２２であるか、今回新しく検出した移動体２２であるかを判別する。前回検出した移動体２２を判別することにより、検出枠Ｄを良好に追従（移動体２２の変位に応じて検出枠Ｄを離散的に表示する）させることができる。

衝突危険度算出部３４は、物体検出部３２が検出した移動体２２について、自車１２との距離や相互の相対的な車速に基づき、衝突する危険度を算出する。そして、算出した危険度が予め設定されている閾値を超えた場合には、表示画面処理部３６にその旨を通知して、表示画面処理部３６により衝突する危険性がある旨をユーザに報知する。ユーザへの報知は、例えば、ディスプレイ１８への表示、スピーカ４４からの警告音の出力が挙げられる。衝突危険度算出部３４は、危険度を算出する際に、車両１２の後部に設けられた他のセンサ（超音波、レーダ等）の情報を合わせることで、危険度の算出精度を高めてもよい。

また、衝突危険度算出部３４は、上記の閾値に対してさらに危険度が高い場合に、自車１２の駆動を制御する図示しない制御部（例えば、ブレーキ用ＥＣＵ）に信号を送信する構成であるとよい。これにより、車両１２は、ユーザが後退移動の操作を行っている際に強制停止させることができ、移動体２２との衝突を回避することができる。このため、ディスプレイ１８に他の画像が表示されていても、周辺監視装置１０は画像取得部２６、物体検出部３２、衝突危険度算出部３４の動作を実施しているとよい。

表示画面処理部３６は、シフトポジション判別部３０のバック判別により動画の再生が設定された場合に、ディスプレイ１８に表示するための表示画面Ｉ（図３参照）を生成する。そして、画像処理ＥＣＵ１６は、生成した表示画面Ｉの信号をディスプレイ１８に送信して表示させる。表示画面Ｉには、再生する動画２４の周辺を囲うように枠ＩＦを合成するとよく、その枠ＩＦには、ユーザに対し報知する情報５０やユーザがタッチ操作可能な操作ボタン５２が表示されるとよい。

また、表示画面処理部３６は、物体検出部３２が検出した移動体２２について注意喚起表示を重畳表示する処理を行う。この注意喚起表示としては、上述したように、物体検出部３２が検出した移動体２２の検出位置を中心に、その周囲を方形状に囲う検出枠Ｄが挙げられる。

例えば、図３に示すディスプレイ１８に表示される表示画面Ｉには、表示画面処理部３６が生成する動画２４と、枠ＩＦが表示され、映り込んだ移動体２２に対し検出枠Ｄが重畳表示される。これに対し、自車１２周辺の背景（溝４６や木４８等）は、略静止していることにより検出枠Ｄが表示されない。なお、検出された移動体２２の近傍位置には、物体検出部３２で算出された移動ベクトルに基づき、移動体２２の移動方向を示す矢印表示５４が表示されるとよい。

検出枠Ｄは、赤色や橙色等のユーザが危険性を認識し易い色で表現され、比較的太めの枠線により形成されることが好ましい。また、検出枠Ｄは、移動体２２の周囲を囲うサイズに形成されることで、ユーザは検出枠Ｄ内に映る移動体２２も同時に確認することができる。

そして、本実施形態に係る表示画面処理部３６は、検出枠Ｄの表示において、フォーカス表示処理（図４Ａ〜図４Ｃ参照）と、残像表示処理（図５Ａ〜図６Ｂ参照）とを実施する。フォーカス表示処理とは、動画２４上で移動体２２を最初に検出した際に、その移動体２２に関する注意を、ユーザに対して一層確実に喚起するための処理である。一方、残像表示処理とは、移動体２２の移動に伴い検出枠Ｄを追従して表示する際に、ユーザに対して検出枠Ｄの位置変化を滑らかに見せるための処理である。次に、これらの表示処理について具体的に説明していく。

フォーカス表示処理では、移動体２２を最初に検出した場合に、その移動体２２に向かって的を絞るように検出枠Ｄを小さく変化させて表示する。このように、検出枠Ｄのサイズを徐々に小さくしていくと、ユーザは、検出枠Ｄ（すなわち、移動体２２）の出現を認識し易くなる。以下、移動体２２を最初に（第１タイミングで）検出した際に表示する検出枠Ｄを、初回検出枠Ｄ１という。

具体的には、表示画面処理部３６は、図４Ａに示すように、物体検出部３２が移動体２２を最初に検出すると、検出位置を中心に先ず大きなサイズの方形状の枠（以下、初回検出第１枠Ｄ１ａという）を表示する。初回検出第１枠Ｄ１ａは、例えば、検出した移動体２２に最終的にセットされる初回検出枠Ｄ１（初回検出第３枠Ｄ１ｃ）に対して２倍以上のサイズに設定されるとよい。このように２倍以上のサイズで表示すると、ユーザの視線を誘導し易くなる。なお、初回検出第１枠Ｄ１ａは、最初の表示においては不透明度２０％である。

次に、表示画面処理部３６は、図４Ｂに示すように、初回検出第１枠Ｄ１ａよりも内側で、初回検出第１枠Ｄ１ａと同じ中心位置且つ相似する方形状の初回検出第２枠Ｄ１ｂを表示する。初回検出第２枠Ｄ１ｂは、例えば、検出した移動体２２に最終的にセットされる初回検出枠Ｄ１（初回検出第３枠Ｄ１ｃ）に対し１．５倍以上のサイズに設定されるとよい。

表示画面処理部３６は、所定のフレームレート（例えば、１〜３フレーム）で初回検出第１枠Ｄ１ａを表示し、その後に初回検出第２枠Ｄ１ｂを続けて表示する。この初回検出第２枠Ｄ１ｂは、不透明度６０％で表示するため、初回検出第１枠Ｄ１ａに比べて初回検出第２枠Ｄ１ｂの方が目立つことになる。

さらにその後、図４Ｃに示すように、表示画面処理部３６は、初回検出第２枠Ｄ１ｂよりも内側で、初回検出第２枠Ｄ１ｂと同じ中心位置且つ相似する方形状の初回検出第３枠Ｄ１ｃを表示する。この初回検出第３枠Ｄ１ｃは、初回検出第２枠Ｄ１ｂの表示時と同じフレームレートの経過後に表示される。また、初回検出第１枠Ｄ１ａは、消滅させる（不透明度０％にする）、又は初回検出第２枠Ｄ１ｂよりもさらに視認性を低下させて表示させるとよい。この初回検出第１枠Ｄ１ａと初回検出第２枠Ｄ１ｂに対し、初回検出第３枠Ｄ１ｃは、不透明度１００％で表示されるため、初回検出第３枠Ｄ１ｃの方が目立つことになる。

初回検出第３枠Ｄ１ｃは、物体検出部３２が検出した移動体２２に対応して設定されたサイズである。このため、表示画面処理部３６は、初回検出第３枠Ｄ１ｃの表示に伴い、フォーカス表示処理を終了する。このように、動画の時間進行に沿って、初回検出第２枠Ｄ１ｂ、初回検出第３枠Ｄ１ｃの表示の際に、徐々に枠の不透明度を上げて表示することで、動画２４上においては初回検出枠Ｄ１に向かってサイズ変化の残像が表示される。そのため、ユーザは、初めて検出した移動体２２を視覚的に追い易くなる。なお、初回検出第１枠Ｄ１ａ、初回検出第２枠Ｄ１ｂは、所定のフレームレートの経過毎に順次消していってもよい（例えば、図４Ｂ中で初回検出第１枠Ｄ１ａを消し、図４Ｃ中で初回検出第２枠Ｄ１ｂを消してもよい）。

なお、フォーカス表示処理は、サイズを変化して表示する枠の数について特に限定されるものではなく、２つ（すなわち、初回検出第１枠Ｄ１ａと初回検出第２枠Ｄ１ｂ）でもよく、或いは４つ以上でもよい。この場合、ユーザが違和感なく検出枠Ｄを認識し得るように、枠のサイズが均等的に小さくなっていく設定であることが好ましい。また、残像となる枠の不透明度は、自由に設定してよい。

一方、残像表示処理では、動画２４上で移動体２２が移動していく際に、前に表示した検出枠Ｄについて、所定のフレームレートを経過して次に検出枠Ｄを表示しても残すことで、次の検出枠Ｄに対して残像を見せるものである。このように、動画２４上で検出枠Ｄを残像表示することにより、ユーザは、検出枠Ｄの移動（位置変化）が円滑に行われているように認識し、移動体２２への注意力が上昇する。以下、移動体２２に対して時間経過毎に表示される各検出枠Ｄを、初回検出枠Ｄ１、第２回検出枠Ｄ２、第３回検出枠Ｄ３、…、と順次回数を上げて区別する。

具体的には、表示画面処理部３６は、図５Ａに示すように、物体検出部３２が移動体２２を検出すると、上記のフォーカス表示処理を経て初回検出枠Ｄ１（初回検出第３枠Ｄ１ｃ）を表示する。この初回検出枠Ｄ１は、不透明度１００％である。表示画面処理部３６は、所定のフレームレートの間、初回検出枠Ｄ１を表示し続ける。

検出枠Ｄを表示し続けるフレームレートは、カメラ１４が撮像するスピード（フレームレート）、又は移動体２２を検出する方法等にもよるが、例えば、３０ｆｐｓの場合は３〜６フレームであるとよい。３フレームよりも小さいと、画像処理ＥＣＵ１６の処理負荷が増加し、６フレームよりも大きいと、動画２４上での前後の検出枠Ｄが大きく離れ易くなり、表示上がたつきが目立つようになる。

所定のフレームレート（本実施形態では４フレーム）の経過に伴い、画像処理ＥＣＵ１６は、物体検出部３２により移動体２２の移動を検出する。この際、物体検出部３２の判定部３２ａがこれまでに検出した移動体２２か、新しい移動体２２かを判定し、これまでに検出した移動体２２であれば、その情報と共に検出位置を表示画面処理部３６に通知する。

表示画面処理部３６は、図５Ｂに示すように、初回検出枠Ｄ１よりも後のタイミング（第２タイミング）となる第２回検出枠Ｄ２を、その検出位置を中心として表示する。図５Ｂ中では、移動体２２が表示画面Ｉの左方向に移動しているので、第２回検出枠Ｄ２は、初回検出枠Ｄ１よりも左側に表示される。この場合、第２回検出枠Ｄ２は、初回検出枠Ｄ１と同じサイズの枠であり、不透明度１００％に表示される。なお、図５Ｂ〜図６Ｂ中では、不透明度の変化が認識し易くなるように、図５Ａ中の移動体２２に対して該移動体２２が大きく離れた状態で図示している。

そして、表示画面処理部３６は、第２回検出枠Ｄ２の表示に伴って、初回検出枠Ｄ１の視認性を低下させることで、動画２４の残像が徐々に消えるように処理する。例えば、第２回検出枠Ｄ２を最初に表示したフレーム（以下、第１フレームＦ１という）から、フレームが順次更新される際に、不透明度を段々と下げる画像処理を実施する。

具体的には、第１フレームＦ１では、初回検出枠Ｄ１を８０％の不透明度に変更して表示する（図５Ｂ中の太い１点鎖線を参照）。第１フレームＦ１の次の第２フレームＦ２では、初回検出枠Ｄ１を６０％の不透明度で表示する（図５Ｃ中の太い２点鎖線を参照）。第２フレームＦ２の次の第３フレームＦ３では、初回検出枠Ｄ１を４０％の不透明度で表示する（図５Ｄの細い１点線を参照）。第３フレームＦ３の次の第４フレームＦ４では、初回検出枠Ｄ１を２０％の不透明度で表示する（図６Ａの細い２点鎖線を参照）。

このように、第２回検出枠Ｄ２を不透明（不透明度１００％）で表示する期間（４フレーム）中において、フレーム毎に初回検出枠Ｄ１の不透明度を下げることで、ユーザは、初回検出枠Ｄ１が滑らかに消えていくように見える。

また、第２回検出枠Ｄ２の表示後に４フレーム経過すると、画像処理ＥＣＵ１６は、物体検出部３２により移動体２２の移動を検出して、その検出位置に基づき第３回検出枠Ｄ３を表示する。第３回検出枠Ｄ３は、第２回検出枠Ｄ２と同じサイズであり、不透明度１００％で表示される。

一方、第２回検出枠Ｄ２は、上述した初回検出枠Ｄ１と同様に、視認性が低下するように（不透明度が段々と下がるように）表示される。例えば、図６Ｂ中に示すように、第３回検出枠Ｄ３が最初に表示された際のフレームＦ５では、第２回検出枠Ｄ２の不透明度が８０％で表示される。また、第３回検出枠Ｄ３の表示時には、初回検出枠Ｄ１が０％の不透明度となり、動画上で消えること（非表示）になる。以降の残像表示は、上記を繰り返すことになるので、説明を省略する。

以上の検出枠Ｄの残像表示処理表示について、さらに詳細に説明する。図７Ａは、表示画面処理部３６が残像表示処理を行った際の、検出枠Ｄの表示状態を時間変化で示すグラフであり、図７Ｂは、従来の検出枠Ｄ０の表示状態を時間的変化で示すグラフである。図７Ｂに示すように、従来の検出枠Ｄ１’〜Ｄ５’は、移動体の検出位置で初回検出枠Ｄ１’が不透明度１００％で表示され、所定のフレームレート（４フレーム）の経過後、移動体が移動した検出位置で第２回検出枠Ｄ２’が不透明度１００％で表示されていた。この際、初回検出枠Ｄ１’は消えるように表示していた（不透明度０％になっていた）。このため、動画上では、検出枠Ｄ１’〜Ｄ５’が飛び飛びになってしまい、ユーザが煩わしく感じる、移動体の移動方向が分かり難い等の不都合があった。

一方、本発明では、図７Ａに示すように、同位置に表示される初回検出枠Ｄ１は、所定のフレームレート（４フレーム）の間不透明度１００％で表示され、第２回検出枠Ｄ２が表示されると、初回検出枠Ｄ１は同位置で不透明度が下がるように表示される。さらに、４フレームが経過した段階では、初回検出枠Ｄ１がちょうど不透明度０％となり、第２回検出枠Ｄ２も不透明度が下がり始める。以下、検出枠Ｄ３〜Ｄ５も同様の表示を繰り返す。なお、図７中では、１００％の高さ位置にある実線に対し、斜めに傾斜し且つ点線で示す部分が、不透明度が下がる変化度合に相当する。このように検出枠Ｄ１〜Ｄ５を表示することで、ユーザは、動画２４上で検出枠Ｄ１〜Ｄ５が滑らかに移動しているように視認する。そのため、煩わしさが抑制されて、移動体２２の移動方向を良好に認識することができる。

なお、検出枠Ｄの不透明度の減少度合いは、特に限定されるものではなく、例えば、図８Ａの第１変形例に示すように不透明度の傾斜が緩やかでもよい。これにより、第３回検出枠Ｄ３を表示した時でも、初回検出枠Ｄ１を表示したままにする（残像がより長く残る）ことができ、移動体２２の軌跡がより確認し易くなる。また逆に、図８Ｂの第２変形例に示すように、不透明度の傾斜が急であってもよいことは勿論である。

図２に戻り、周辺監視装置１０の警報制御部３８は、ディスプレイ１８への検出枠Ｄの表示時に、スピーカ４４から音による警報（以下、お知らせ音という）を鳴らす構成となっている。このお知らせ音は、ユーザが認識し易いように、例えば、「ピッピッピ」等の高音且つ短時間に複数回繰り返す電子音であることが好ましい（図１も参照）。

スピーカ４４は、このお知らせ音のフレーズを図示しない記憶部に記憶しており、警報制御部３８からの吹鳴指示に基づき、お知らせ音を周期的に出力する。なお、スピーカ４４の構成は、特に限定されず、例えば、ディスプレイ１８やメータ４２に予め内蔵されているものを利用してよい。

警報制御部３８は、表示画面処理部３６からＣＡＮ５６を介して通知される検出枠Ｄの表示に基づき、お知らせ音の出力制御を行う。この警報制御部３８は、移動体２２（他車や人）が複雑に出入りする状況で音が鳴り続けることを抑止するため、以下の（ａ）〜（ｅ）に列記する条件を判別して、お知らせ音のタイミングを制御する構成となっている。
（ａ）物体検出部３２より移動体２２が最初に検出されて検出枠Ｄを表示する際に、お知らせ音を所定の吹鳴期間だけ吹鳴する。
（ｂ）吹鳴期間の経過後は、所定の抑制期間だけお知らせ音の吹鳴を停止する。
（ｃ）警報抑制期間中に別の移動体２２を検出しても、お知らせ音の吹鳴を停止又は抑制する。
（ｄ）警報抑制期間後、（ａ）で検出されていた移動体２２に対しては、お知らせ音を出力しない。
（ｅ）警報抑制期間後、別の移動体２２を検出した場合にはお知らせ音を出力する。

警報制御部３８は、上記の条件を適宜判別して吹鳴指示を行うことで、例えば、図９に示すようなタイムチャートでお知らせ音を出力する。具体的には、時点ｔ１において、表示画面処理部３６が移動体２２を検出すると、その検出情報が警報制御部３８に伝達されて、警報制御部３８は、スピーカ４４に対しお知らせ音の吹鳴指示を送信する。これにより、お知らせ音がスピーカ４４から出力される。この際、警報制御部３８は、所定の吹鳴期間（例えば、お知らせ音の「ピッピッピ」というフレーズを、間隔をあけて２サイクル分出力する期間）だけ、スピーカ４４に吹鳴指示を出力する。

そして、吹鳴期間の経過する時点ｔ２において、警報制御部３８は、警報抑制期間に移行して、吹鳴指示を停止し、お知らせ音を吹鳴しないようにする。例えば、時点ｔ３において、画像処理ＥＣＵ１６が、時点ｔ１で検出した移動体２２を検出し続けているとしても、警報抑制期間となっていることで吹鳴指示を出力しない。

また例えば、時点ｔ４において、警報制御部３８は、画像処理ＥＣＵ１６により他の移動体２２が検出され表示された場合にも吹鳴指示を実施しない。他の移動体２２を表示したとしても、お知らせ音を先に鳴らしていたことにより、ユーザの視線がディスプレイ１８又は後方に向いており、移動体２２に気付くからである。或いは、警報制御部３８は、他の移動体２２を検出した場合に、最初に鳴らしたお知らせ音よりも抑制して（例えば、低い音量）で、お知らせ音を鳴らす吹鳴指示を行ってもよい。

警報抑制期間は、画像処理ＥＣＵ１６が時点ｔ１において検出した移動体２２に対する検出枠Ｄの表示がなくなってから、所定時間（例えば、２秒）実施し、時点ｔ５で警報抑制期間を終了する。その後、表示画面処理部３６が時点ｔ６で新たに移動体２２を検出すると、警報制御部３８は、再び吹鳴指示をスピーカ４４に送信してお知らせ音を出力する。なお、警報制御部３８は、警報抑制期間後に検出した移動体２２が、時点ｔ１の際の移動体２２と同じ場合には、ユーザが既に気付いているので、吹鳴指示を行わなくてもよい。

このように、画像処理ＥＣＵ１６による移動体２２の検出枠Ｄの表示時にお知らせ音を出力し、その一方で警報抑制期間中にお知らせ音を停止することで、不要なお知らせ音の吹鳴が抑えられ、ユーザが煩わしく感じることを軽減することができる。

本実施形態に係る周辺監視装置１０は、基本的には以上のように構成される。以下、表示画面処理部３６の残像表示処理のフローについて、図１０を参照して説明する。表示画面処理部３６による以下の残像表示処理のフローは、動画生成部２８で表示される１フレーム（３３ｍｓｅｃ）毎に実施されるものである。

表示画面処理部３６は、物体検出部３２から移動体２２の検出及びその検出位置が通知されると、既に検出枠Ｄが表示されているか否かを判別する（ステップＳ１）。ステップＳ１において、検出枠Ｄが表示されていない場合は、ステップＳ２に進み、検出枠Ｄが既に表示されている場合は、ステップＳ５に進む。

ステップＳ２では、物体検出部３２から移動体２２の検出が新規であったか否かを判別する。そして、移動体２２の検出があった場合はステップＳ３に進み、移動体２２の検出がなかった場合には、処理を終了する。

ステップＳ３では、表示画面処理部３６に設けられる図示しないカウンタ部において、カウンタＮｘに０をセットする。

ステップＳ３の後、表示画面処理部３６は、物体検出部３２から通知された検出位置に基づき検出枠Ｄを表示する（ステップＳ４）。この際、検出された移動体２２が、物体検出部３２により最初に表示されたものであれば、上述したフォーカス表示処理を行う。このステップＳ４を終了すると、表示画面処理部３６は、処理を終了する。

一方、ステップＳ１において検出枠Ｄが既に表示されていると判別した場合、ステップＳ５では、カウンタＮｘに１を加える処理（Ｎｘ＝Ｎｘ＋１）を行う。

ステップＳ５の後、表示画面処理部３６は、カウンタＮｘが４よりも大きい（Ｎｘ＞４）か否かを判別する（ステップＳ６）。そして、カウンタＮｘが４以下の場合は、ステップＳ７に進み、カウンタＮｘが４よりも大きい場合には、ステップＳ８に進む。

ステップＳ７では、検出枠Ｄの不透明度を１００％に設定する。すなわち、カウンタＮｘが４以下の場合は、検出枠Ｄの表示から４フレームが経過していないため、そのまま検出枠Ｄを不透明に表示し続ける。その結果、検出枠Ｄが表示されてから１３２ｍｓｅｃの間は、移動体２２の検出位置を明りょうに示す。

一方、ステップＳ８では、カウンタＮｘが４よりも大きいことで、４フレームが経過したことになるので、カウンタＮｘの値を利用して検出枠Ｄの不透明度を算出する。不透明度は、例えば、不透明度＝［１００−（Ｎｘ−４）×２０］％の式で算出される。この式により不透明度を算出すると、フレームが１つ経過する毎（すなわち、３３ｍｓｅｃ毎）に不透明度が２０％ずつ低下することになる。なお、不透明度が０％となった場合、表示画面処理部３６は、検出枠Ｄの表示を終了するとよい。

ステップＳ７又はステップＳ８の後は、それぞれのステップで設定された不透明度に基づき検出枠Ｄの表示を行う（ステップＳ９）。このステップＳ９が終了すると、ステップＳ２に移行して、上述したステップＳ２〜Ｓ４の処理を実施することで、１フレームにおける表示処理が終了する。

上記の処理フローにより、表示画面処理部３６は動画２４上において検出された移動体２２に、先ず不透明な検出枠Ｄを表示する。そして、移動体２２が移動して次の検出枠Ｄが表示された際には、前回表示していた検出枠Ｄが残像表示に変わり、この検出枠Ｄが徐々に透明に変化していく。

以上のとおり、本実施形態に係る周辺監視装置１０は、物体検出部３２が検出した検出位置に検出枠Ｄを表示すると共に、所定時間経過しても検出位置での表示を継続することで、ユーザに対し移動体２２を良好に認識させることができる。すなわち、検出枠Ｄは、所定時間経過しても検出位置での表示が継続されるので、次の検出枠Ｄが表示された段階でも表示されたままとなり、検出枠Ｄの残像が残ることになる。このため、ユーザに対しては、検出枠Ｄを滑らかに変位しているように視認させることが可能となり、煩わしく感じることを抑制することができる。

この場合、先のタイミング（第１タイミング）で表示した検出枠Ｄよりも、次のタイミング（第２タイミング）で表示した検出枠Ｄより視認性を低下させて表示する。その結果、新しい検出枠Ｄのほうが目立つ一方で、先の検出枠Ｄが目立たない残像で視認されることになる。また、周辺監視装置１０は、移動体２２の変位に沿って検出枠Ｄを追従させることで、移動体２２の検出枠Ｄが残像で表示され、ユーザが違和感なく移動体２２を目で追うことができる。

さらに、表示画面処理部３６は、フォーカス表示処理において、検出位置を中心として外側から内側に向かって検出枠Ｄを段階的に小さくし、且つ外側の検出枠Ｄを内側の検出枠Ｄよりも視認性を低下させる。これにより、最初に検出した移動体２２に検出枠Ｄが段々と近づくように見せることができ、ユーザは、移動体２２に対し容易に気づくことができる。

なお、本実施形態に係る周辺監視装置１０は、上記構成に限定されるものではなく、種々の変形例又は応用例をとり得る。例えば、周辺監視装置１０は、カメラ１４により車両１２の後方を撮影する構成に限定されるものではない。撮像部として、車両１２の後方を撮影するカメラ１４と、車両１２の側方を撮影するカメラとを組み合わせて車両１２周辺（例えば、２７０°まわり）の動画２４を合成してもよく、車両１２の側方を撮影するカメラ１４で周辺監視装置１０を構成してもよい。さらに、撮像部は車両１２の前方を撮影するカメラを組み合わせて（又は単独で）動画２４を合成してもよい。

また、注意喚起表示は、上記のように方形状の検出枠Ｄに限定されないことは勿論である。例えば、検出枠Ｄは、四隅が丸角でもよく、枠の全体形状として他の多角形状、正円形状や楕円形状でもよく、或いは枠線が、点線、鎖線等でもよい。或いは、注意喚起表示は、枠の他に、点状（多角状の点、丸点等）、十字状、括弧状、模様を含むもの等でもよい。

また、残像表示処理において、視認性を低下させる他の手段として、第２タイミングで表示された検出枠Ｄに連なる線状の軌跡を示すことで、第２タイミングで表示された検出枠Ｄに対し尾が引いて見えるような描画を描いてもよい。さらに、残像表示処理では、先に表示した検出枠Ｄは、そのまま継続的に表示されるだけでも、次の検出枠Ｄに対する残像を構成し得る。

上記において、本発明について好適な実施形態を挙げて説明したが、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の改変が可能なことは言うまでもない。

１０…周辺監視装置 １２…自車（車両）
１４…カメラ １６…画像処理ＥＣＵ
１８…ディスプレイ ２２…移動体（車両）
３２…物体検出部 ３６…表示画面処理部
３８…警報制御部 ４４…スピーカ
Ｄ…検出枠 Ｉ…表示画面

Claims (6)

1. 自車周辺を撮像する撮像部と、
   前記撮像部で撮像された画像を表示する表示部と、
   前記撮像部で撮像された画像中に注意すべき物体を検出する検出部と、
   前記検出部の検出に基づき前記画像中の前記物体又は前記物体の周辺に注意喚起表示を重畳して表示する喚起表示制御部と、を備えた周辺監視装置において、
   前記喚起表示制御部は、第１タイミングで表示された注意喚起表示を、前記第１タイミングよりも後の第２タイミングで注意喚起表示を表示しても、継続して表示する
   ことを特徴とする周辺監視装置。
2. 請求項１記載の周辺監視装置において、
   前記喚起表示制御部は、前記第１タイミングで表示された注意喚起表示を、前記第２タイミングで表示された注意喚起表示よりも視認性を低下して表示する
   ことを特徴とする周辺監視装置。
3. 請求項２記載の周辺監視装置において、
   前記喚起表示制御部は、前記第１タイミングの注意喚起表示の不透明度を低くすることで視認性を低下させる
   ことを特徴とする周辺監視装置。
4. 請求項１〜３のいずれか１項に記載の周辺監視装置において、
   前記喚起表示制御部は、注意すべき前記物体の変位に沿って前記注意喚起表示を追従させる
   ことを特徴とする周辺監視装置。
5. 請求項１〜４のいずれか１項に記載の周辺監視装置において、
   前記注意喚起表示は、枠表示である
   ことを特徴とする周辺監視装置。
6. 請求項５記載の周辺監視装置において、
   前記喚起表示制御部は、注意すべき前記物体を最初に検出した際に、検出位置に対して外側から内側に向かって前記枠表示を段階的に小さくし、且つ前記外側の枠表示を前記内側の枠表示よりも視認性を低下させる
   ことを特徴とする周辺監視装置。

Images