WO2018092265A1

WO2018092265A1 - 運転支援装置および運転支援方法

Info

Publication number: WO2018092265A1
Application number: PCT/JP2016/084255
Authority: WO
Inventors: 健太大西
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-11-18
Filing date: 2016-11-18
Publication date: 2018-05-24
Anticipated expiration: 2019-05-18
Also published as: JPWO2018092265A1; CN109923597A; DE112016007454T5; JP6647423B2; US11267461B2; US20200039508A1

Abstract

本発明は運転支援装置に関する。自車両の後方画像に基づいて、後方車両の運転者の運転状態を識別する後方運転者状態識別部と、後方画像を含む自車両の周囲画像に基づいて、自車両の周辺状況を判断する周辺状況判断部と、後方運転者状態識別部で識別された運転状態および周辺状況判断部で判断された周辺状況に基づいて自車両の自動運転を制御する自動運転部と、外部との通信を行う通信部とを備え、後方運転者状態識別部は、後方車両の運転者の顔の向き、目の開閉の有無をパターンマッチングで判定することで運転状態を認識し、危険運転状態と判断される場合は、通信部を介して、後方車両に危険運転状態であることを通知し、自動運転部は、後方車両が危険運転状態と判断された場合は、周辺状況判断部で判断された周辺状況に基づいて、後方車両との衝突を回避するように自動運転を制御する。

Description

運転支援装置および運転支援方法

　本発明は車両の運転支援装置に関し、特に、自車両の周辺の他車両の情報に基づいて、自車両の安全を確保する運転支援装置に関する。

　特許文献１には、後方車両の挙動の監視情報に基づいて運転の支援をすることによって運転者が回避運転をすることができる運転支援装置が開示されている。

　すなわち、後方車間センサが自車の後方を走行する後方車両を監視する。そして、パフォーマンス判定処理ＥＣＵ（Electronic Control Unit）が、後方車間センサの監視情報に従い、後方車両の運転態様を推定し、推定された運転態様を所定の運転評価基準に基づき評価する。そして、ディスプレイ・スピーカが、パフォーマンス判定処理ＥＣＵの評価結果に応じた報知動作を自車両の運転者に対して実行する技術が開示されている。

特開２００６－２９３５３１号公報

　特許文献１の運転支援装置では、後方車両を監視し、推定された運転態様に基づいて自車両の運転者に対して後方車両の運転パフォーマンスを報知することで、自車両の運転者による回避行動を助けることができるが、危険運転状態の車両、例えば、運転者が居眠りしている車両が自車に近づいているような場合、運転者が冷静に対処できるとは限らず、確実に自車両の安全を確保することができるとは言えない。

　本発明は上記のような問題を解決するためになされたものであり、危険運転状態の車両が自車に近づいているような場合でも、確実に自車両の安全を確保することができる運転支援装置を提供することを目的とする。

　本発明に係る運転支援装置は、自車両の後方を撮像する後方カメラで撮像された後方画像に基づいて、後方車両の運転者の運転状態を識別する後方運転者状態識別部と、前記後方画像を含む前記自車両の周囲画像に基づいて、前記自車両の周辺状況を判断する周辺状況判断部と、前記後方運転者状態識別部で識別された運転状態および前記周辺状況判断部で判断された周辺状況に基づいて前記自車両の自動運転を制御する自動運転部と、外部との通信を行う通信部と、を備え、前記後方運転者状態識別部は、前記後方車両の前記運転者の顔の向き、目の開閉の有無をパターンマッチングで判定することで運転状態を認識し、危険運転状態と判断される場合は、前記通信部を介して、前記後方車両に危険運転状態であることを通知し、前記自動運転部は、前記後方運転者状態識別部で前記後方車両が危険運転状態と判断された場合は、前記周辺状況判断部で判断された周辺状況に基づいて、前記後方車両との衝突を回避するように自動運転を制御する。

　本発明に係る運転支援装置によれば、危険運転状態の車両が自車に近づいているような場合でも、確実に自車両の安全を確保できるように運転を支援することができる。

本発明に係る実施の形態の運転支援装置の構成を示すブロック図である。本発明に係る実施の形態の運転支援装置のハードウェア構成を示すブロック図である。本発明に係る実施の形態の運転支援装置のハードウェア構成を示すブロック図である。各カメラの取り付け位置の例を模式的に示す図である。本発明に係る実施の形態の運転支援装置の処理フローを説明するフローチャートである。後方車両における警告の報知例を示す模式図である。自車両における警告の報知例を示す模式図である。自車両周辺の空きスペースの確認動作を説明する図である。自車両周辺の空きスペースの確認動作を説明する図である。後方車両の運転者識別の処理フローを説明するフローチャートである。後方車両の有無を確認するパターンマッチングを説明する図である。後方車両の運転者の顔の有無を確認するパターンマッチングを説明する図である。後方車両の運転者の顔の向きを確認するパターンマッチングを説明する図である。

　＜実施の形態１＞
　　＜装置構成＞
　図１は、本発明に係る実施の形態の運転支援装置１００の構成を示すブロック図である。図１に示すように運転支援装置１００は、車両ＯＶに搭載され、撮像信号処理部１、後方運転者状態識別部２、周辺状況判断部３、自動運転部４および通信部５を備えている。

　撮像信号処理部１は、後方撮像カメラＣ１（後方カメラ）、前方撮像カメラＣ２（前方カメラ）、左側方撮像カメラＣ３（左側方カメラ）および右側方撮像カメラＣ４（右側方カメラ）によって撮像された撮像信号が入力され、撮像信号に所定の画像処理を施して処理済み画像データを出力する。なお、以後の説明においては、車両ＯＶを自車両ＯＶと呼称する場合もある。

　後方運転者状態識別部２は、撮像信号処理部１が出力する処理済み画像データのうち、後方撮像カメラＣ１で撮像された後方画像に画像処理を施した後方画像データが入力され、当該後方画像データに基づいて、後方車両の有無、後方車両の運転者の運転状態（危険運転の有無等）を識別し、識別結果を出力する。

　また、周辺状況判断部３は、撮像信号処理部１が出力する処理済み画像データのうち、前方撮像カメラＣ２で撮像された前方画像に画像処理を施した前方画像データ、左側方撮像カメラＣ３で撮像された左側方画像に画像処理を施した左側方画像データ、右側方撮像カメラＣ４で撮像された右側方画像に画像処理を施した右側方画像データおよび後方画像データが入力され、これらの画像データに基づいて、自車両の周辺の車両の有無等を判断し、判断結果を出力する。なお、前方画像、後方画像、左側方画像および右側方画像を周辺画像と呼称する。

　自動運転部４は、後方運転者状態識別部２が出力する識別結果および周辺状況判断部３が出力する判断結果に基づいて、アクセル、ブレーキ、ステアリングなどの車両機器１１を制御する部位であり、いわゆるＡＤＡＳ（Advanced Driving Assistant System）-ＥＣＵに相当する。

　通信部５は、車外のインフラ機器（通信基地局等）および他車両などの車外機器と通信を行う部位であり、図１では、後方車両ＲＶの通信部２１と通信を行う例を示している。なお、図１では、後方車両ＲＶが、車内カメラなどの車内センシングシステム２２を有しており、車内センシングシステム２２によって後方車両ＲＶの運転者の運転状況を判断できる構成となっている。また、車内センシングシステム２２は、通信部２１との間でデータの授受を行う構成となっている。

　通信部５以外の運転支援装置１００の主たる構成はコンピュータを用いて構成することができ、これらの各構成はコンピュータがプログラムを実行することで実現される。すなわち、図１に示した運転支援装置１００のうち撮像信号処理部１、後方運転者状態識別部２、周辺状況判断部３および自動運転部４は、例えば図２に示す処理回路１０により実現される。処理回路１０には、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサが適用され、記憶装置に格納されるプログラムを実行することで上記各構成の機能が実現される。

　なお、処理回路１０には、専用のハードウェアが適用されても良い。処理回路１０が専用のハードウェアである場合、処理回路１０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものなどが該当する。

　また、図３には、図１に示した運転支援装置１００の各構成（撮像信号処理部１、後方運転者状態識別部２、周辺状況判断部３および自動運転部４）がプロセッサを用いて構成されている場合におけるハードウェア構成を示している。この場合、運転支援装置１００の各構成の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ１１２（記憶装置）に格納される。処理回路１０として機能するプロセッサ１１１は、メモリ１１２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。

　図４は、自車両ＯＶに取り付けられた後方撮像カメラＣ１、前方撮像カメラＣ２、左側方撮像カメラＣ３および右側方撮像カメラＣ４の取り付け位置の例を模式的に示す図である。図４に示されるように、後方撮像カメラＣ１、前方撮像カメラＣ２、左側方撮像カメラＣ３および右側方撮像カメラＣ４は、それぞれ自車両ＯＶの後方、前方、左側方および右側方を撮像できるように取り付けられ、後方撮像カメラＣ１は後方車両の運転者が撮像できる位置に取り付けられる。また、前方撮像カメラＣ２は、自車両ＯＶの前方の一定角度範囲を撮像できる場所に取り付けられ、左側方撮像カメラＣ３および右側方撮像カメラＣ４は、それぞれの左側および右側の車線が撮像できる位置に取り付けられる。なお、図４では、これらのカメラは車両外部に取り付けられるように示されているが、これは便宜的な表現であり、車両内部に取り付けても良く、車体の壁面内に取り付けても良い。上述した撮像範囲を満たす場所ならば、どこに取り付けても良い。

　　＜動作＞
　次に、図５に示すフローチャートを用いて、図１を参照しつつ運転支援装置１００の処理フローを説明する。

　運転支援装置１００を作動させると、運転支援装置１００の動作フローの適用が開始され、後方撮像カメラＣ１で自車両ＯＶの後方の画像を取得する（ステップ１）。

　取得した画像の画像信号は撮像信号処理部１に入力され、撮像信号処理部１において所定の画像処理が施され、処理済み画像データとして後方運転者状態識別部２に出力される。後方運転者状態識別部２では、処理済み画像データを用いて、パターンマッチングにより後方車両ＲＶの有無、後方車両ＲＶの運転者の運転状態を識別する（ステップＳ２）。

　そして、後方車両ＲＶの運転者の運転状態が居眠り運転などの危険運転状態であると識別される場合は、危険運転状態である旨を通信部５を介して後方車両に通知する（ステップＳ３）。このとき、通信部５は後方車両の通信部２１と直接通信を行う車車間通信により識別結果を通知しても良いし、車外のインフラ機器（通信基地局等）を介して通信ネットワーク装置を経由して通知する、路車間通信により識別結果を通知しても良い。

　そして、後方運転者状態識別部２では、後方車両ＲＶに車内センシングの機能が備わっているか否かを判断する（ステップＳ４）。車内センシングの機能とは、例えば、車内カメラで運転者の顔などを撮像し、目の開閉状態、瞳の動き、視点の移動状態などを検出して、運転者の運転状態を検出し、例えば居眠り運転と判断すると、音声、振動などで運転者に警告を与えるような機能である。後方車両ＲＶに車内システムとして車内センシングシステムが備わっている場合は、自車両ＯＶで識別した運転者の状態の識別結果と、後方車両ＲＶから通信部５を介して取得した車内センシングシステムでの判断結果とを統合する（ステップＳ５）。

　ここで、統合とは、自車両ＯＶで識別した運転者の状態と、車内センシングシステムでの判断結果に含まれる運転者の状態とを付き合わせて、何れを採用するかを決める処理である。例えば、自車両ＯＶで識別した運転者の状態が居眠りとされていても、車内センシングシステムでの判断結果が居眠りとはされていない場合は、居眠りとはしない。また、自車両ＯＶで識別した運転者の状態が居眠りで、車内センシングシステムでの判断結果が脇見である場合は、脇見とするなど、より精度の高い、車内センシングシステムでの判断結果を採用する。

　なお、ステップＳ４で後方車両ＲＶに車内センシングの機能が備わっていないと判断される場合はステップＳ６の処理に進む。

　後方車両ＲＶに車内センシングの機能が備わっているか否かの判断は、危険運転状態である旨を通知することで、それに対して後方車両ＲＶから受領信号も、車内センシングでの判断結果も送信されて来ない場合は、後方車両ＲＶには車内センシングの機能が備わっていないものと判断することができる。

　一方、後方車両ＲＶに車内センシングの機能が備わっている場合は後方車両ＲＶから、車内センシングでの判断結果が通信部５を介して送信されて来るので、それをもって車内センシングの機能が備わっているものと判断することができる。

　なお、ステップＳ３の通知を行わずに、ステップＳ４の後方車両ＲＶに車内センシングの機能が備わっているか否かの判断を行うようにしても良い。その場合、後方車両ＲＶに車内センシングの機能が備わっているか否かの判断は、後方車両ＲＶに車内センシングの結果を要求する信号を通信部５を介して送信し、それに対して後方車両ＲＶから受領信号も、車内センシングでの判断結果も送信されて来ない場合は、後方車両ＲＶには車内センシングの機能が備わっていないものと判断することができる。

　後方運転者状態識別部２では統合結果に基づいて、運転者の運転状態が、居眠り運転および脇見運転などの危険運転状態であるかを最終判断する（ステップＳ６）。

　自車両ＯＶで識別した運転者の状態と、車内センシングシステムでの判断結果に含まれる運転者の状態との統合結果に基づいて後方車両ＲＶの運転者の運転状態を判断することで、判断の精度をより高めることができる。

　ステップＳ６において後方車両ＲＶの運転者の運転状態が危険運転状態であると判断された場合は、後方運転者状態識別部２は通信部５を介して後方車両ＲＶに警告を通知すると共に、自車の運転者に対しても警告を通知する（ステップＳ７）。なお、ステップＳ６において後方車両ＲＶの運転者の運転状態が危険運転状態ではないと判断された場合は、ステップＳ１以下の処理を繰り返す。

　なお、後方車両ＲＶに車内センシングの機能が備わっていない場合は、後方運転者状態識別部２では、自らが識別した後方車両ＲＶの運転者の運転状態に基づいて、運転者の運転状態が、居眠り運転および脇見運転などの危険運転状態であるかを最終判断し、危険運転状態である場合は、自車の運転車に対して警告を通知する（ステップＳ７）。なお、後方車両ＲＶに車内センシングの機能が備わっていない場合であっても、後方車両ＲＶが自動運転装置を有している場合は、後方車両ＲＶに警告を通知することで、自動運転装置がそれを受けて、自動運転を実行するなどの対応を採るように構成することは可能である。

　ここで、警告の態様の一例を図６および図７を用いて説明する。図６は、後方車両ＲＶにおける警告の報知例を示す模式図であり、後方車両ＲＶのフロントガラスＦＧの一部に設けられた重畳表示部ＤＰ１に、危険運転状態であることを警告する警告表示がポップアップ表示されると共に、音声、警報による警告もなされる。また、運転席、ハンドルなどを振動させることによる警告も可能である。なお、後方車両ＲＶに車内センシングの機能が備わっている場合は、後方車両ＲＶの車内カメラＣＣで運転者の顔などを撮像して、車内センシングシステムが上記警告を上記のような方法で報知する構成となっているので、車内センシングシステムと連携させることで、ステップＳ６での判断結果を後方車両ＲＶ内で報知させることも可能となる。

　また、図７は、自車両ＯＶにおける警告の報知例を示す模式図であり、自車両ＯＶのフロントガラスＦＧの一部に設けられた重畳表示部ＤＰ０に、後方車両が危険運転状態であることを警告する警告表示がポップアップ表示される。自車両ＯＶにおいて後方車両が危険運転状態であることを報知することで、自車両ＯＶの運転者に危険を認識させ、対応を準備する時間を与えることができる。

　なお、フロントガラスに画像を重畳表示する技術は公知であり、プロジェクタを用いて投影画像を重畳表示する技術が広く知られている。

　ステップＳ５の処理を行うには、後方車両ＲＶの車内センシングシステムと、自車両ＯＶの運転支援装置１００との間でのデータの授受が可能なシステムが構築されている必要があり、例えば、同じ自動車メーカの車両どうし、または、統一された規格の自動運転装置を有する車両どうしであればシステムの構築が可能である。

　ステップＳ７において、後方車両ＲＶおよび自車両ＯＶの運転者に警告を通知した後は、後方運転者状態識別部２は、後方車両ＲＶと自車両ＯＶとの車間距離を測定する（ステップＳ８）。車間距離は、後方車両ＲＶの処理済み画像データに基づいて、画像上の座標系おける後方車両ＲＶの位置と、予め準備した上記座標系上の位置と相対距離との関係を示すテーブル等を用いて、後方車両ＲＶとの相対距離を求めることで測定することができる。相対距離が判れば、その時間変化から後方車両ＲＶとの相対速度を求めることもできる。なお、画像データを用いて相対距離を求める技術は周知技術である。

　また、ステップＳ８では、周辺状況判断部３が自車両の周辺に周辺の空きスペースがあるかどうかを確認する。この処理は、前方撮像カメラＣ２で撮像された前方撮像に画像処理を施した前方画像データ、左側方撮像カメラＣ３で撮像されたに左側方画像に画像処理を施した左側方画像データ、右側方撮像カメラＣ４で撮像された右側方画像に画像処理を施した右側方画像データおよび後方画像データに基づいて、自車両の周辺の車両の有無等を判断することで実行される。

　すなわち、前方画像データ、左側方画像データ、右側方画像データおよび後方画像データに基づいて、パターンマッチングにより、前方車両、左側方車両、右側方車両および後方車両の存在の有無を確認し、自車両ＯＶの前方、左側方および右側方のうち、車両が存在しない方向があれば、そこに空きスペースがあるものと判断し、何れの方向にも車両が存在する場合は、自車両ＯＶの周辺に空きスペースがないものと判断する。なお、判断結果は自動運転部４に与えられる。

　ここで、図８および図９を用いて、自車両ＯＶの周辺の空きスペースの確認動作についてさらに説明する。図８は、自車両ＯＶの周辺に空きスペースがない状態を示しており、前方撮像カメラＣ２および右側方撮像カメラＣ４では、それぞれ前方車両ＦＶおよび右側方車両ＳＶが撮像されており、後方からは後方車両ＲＶが接近している状態を示している。左側方撮像カメラＣ３には車両は撮像されていないが、左側は路肩であり、ガードレール等が撮像されているので、周辺状況判断部３は、パターンマッチングによりガードレールが存在するものとして空きスペースがないと判断する。

　図９は、道路の左側に待避スペースが設けられている状態を示しており、左側方撮像カメラＣ３には車両もガードレール等も撮像されていないので、周辺状況判断部３は、空きスペースがあるものと判断する。

　ステップＳ８で測定した後方車両ＲＶと自車両ＯＶとの車間距離および相対速度に基づいて、後方運転者状態識別部２は後方車両ＲＶとの衝突の可能性を判断し（ステップＳ９）、衝突する可能性があればその旨を通信部５を介して後方車両ＲＶに警告を通知すると共に、自車両ＯＶの運転者に対しても警告を通知する（ステップＳ１０）。また、判断結果は自動運転部４にも与えられる。

　なお、後方車両ＲＶとの衝突の可能性の判断については、車間距離および相対速度の組み合わせに対する衝突の可能性のテーブルを予め準備しておき、当該テーブルを参照することで、衝突の可能性を判断することができる。車間距離および相対速度に基づいて衝突の可能性を判断することで、判断精度を高めることができる。

　なお、後方運転者状態識別部２は、後方車両ＲＶと自車両ＯＶとの間の車間距離だけに基づいて後方車両ＲＶとの衝突の可能性を判断しても良い。

　ステップＳ９において後方車両ＲＶとの衝突の可能性がないと判断される場合はステップＳ２以下の処理を繰り返し、後方車両ＲＶとの衝突の可能性があると判断される場合は、自動運転部４において、ステップＳ８での確認の結果が、自車両ＯＶの周辺に空きスペースがあるとの結果であるか否かを判断し（ステップＳ１１）、空きスペースがある場合は、そこに自車両ＯＶを自動運転により移動させ（ステップＳ１２）、後方車両ＲＶとの衝突を回避する。

　例えば、自車両ＯＶの前方に空きスペースがあった場合、自車両ＯＶの速度を上げ、後方車両ＲＶとの車間距離を、最適な距離、例えば、車両の速度に応じて推奨される車間距離にまで広げ、それを維持するように自動運転する。また、側方に空きスペースがあった場合、例えば隣の車線が空いているような場合は、自車両ＯＶを側方のスペースに移動（退避）させ、後方車両ＲＶとの衝突を回避する。この動作により、危険運転状態の後方車両が接近して来る場合でも、自動運転により確実に衝突を回避できる。

　一方、ステップＳ１１において、ステップＳ８での確認の結果が自車両ＯＶの周辺に空きスペースがないとの結果であると判断された場合、後方運転者状態識別部２は緊急事態である旨を通信部５を介して後方車両ＲＶに通知する。後方車両ＲＶが自動運転装置を有していれば、緊急事態である旨が通知された場合は、自動運転装置が強制的に起動して、自車両ＯＶと後方車両ＲＶとの間の車間距離を維持または広げるように後方車両ＲＶを自動で減速するように制御し（ステップＳ１３）、自車両ＯＶとの衝突を回避する。このような動作により、自車両ＯＶの周辺に空きスペースがない場合でも、確実に衝突を回避できる。

　上述したような制御システムは、同じ自動車メーカの車両どうし、または、統一された規格の自動運転装置を有する車両どうしであればシステムの構築が可能である。

　なお、後方車両ＲＶが自動運転装置を有していない場合は、自車両ＯＶの自動運転部４は、運転者に緊急事態である旨を警告して自動運転を解除し、運転者の回避操作により、後方車両ＲＶとの衝突を回避するようにしても良い。

　また、ステップＳ１０で後方車両ＲＶに警告を通知した段階で、後方車両ＲＶが自動運転装置を有している場合は、その自動運転装置が強制的に起動して、自車両ＯＶと後方車両ＲＶとの間の車間距離を維持または広げるように後方車両ＲＶを自動で減速するように制御する構成としても良い。

　　＜後方車両の運転者識別のフロー＞
　次に、図１０に示すフローチャートを用いて、図５におけるステップＳ２の後方車両ＲＶの運転者識別の処理フローを説明する。

　後方撮像カメラＣ１で撮像された自車両ＯＶの後方の画像は、撮像信号処理部１において一定領域に対して所定の画像処理が施される（ステップＳ２１）。一定領域とするのは画像処理に伴う撮像信号処理部１での処理時間を短縮するためであり、処理速度が充分に速ければ、後方の画像の全領域に対して画像処理を行っても良い。なお、一定領域の例としては、後方車両ＲＶが存在している可能性が高い、後方の画像の中央部分が挙げられる。

　この画像処理には、撮像画像のエッジ検出を行い、撮像画像の特徴を単純化して抽出する処理が含まれている。撮像画像のエッジ検出は従来的な技術であり、例えば入力画像をソーベル（Sobel）フィルタを用いて１次微分することでエッジを検出することでエッジ画像を得ることができる。また、同じ１次微分によるエッジ検出としてはプレヴィット（Prewitt）フィルタを用いたエッジ検出も挙げられる、また、２次微分によるエッジ検出としてラプラシアン（Laplacian）フィルタを用いたエッジ検出も挙げられ、何れも周知技術である。

　エッジ画像の画像データが処理済み画像データとして後方運転者状態識別部２に出力される。後方運転者状態識別部２では、エッジ画像を用いて、パターンマッチングにより、まず、後方車両ＲＶの有無を確認する（ステップＳ２２）。

　エッジ検出により作成した撮像画像のエッジ画像は、運転支援装置１００内または車両何の所定の記憶装置（図示せず）に予め保持（記憶）された各種車両の特徴情報（車両のフロント部の輪郭形状など）とのパターンマッチングを行い、パターンが一致する車両が存在する場合は、後方車両ＲＶが存在するものと判断し、ステップＳ２３に進む。一方、撮像画像のエッジ画像が何れの車両の特徴情報とも一致しない場合は、後方車両ＲＶは存在しないものと判断して、ステップＳ２１以下の処理を繰り返す。

　図１１には、後方車両ＲＶのエッジ画像Ｐ１を破線で示しており、このエッジ画像Ｐ１とパターンが一致する特徴情報を有する車両が存在する場合は、後方車両ＲＶが存在するものと判断する。

　ステップＳ２２で後方車両ＲＶが存在することが確認された後は、撮像画像のエッジ画像の中における、人の形、例えば上半身の有無を確認する（ステップＳ２３）。この場合もエッジ画像を用いた、パターンマッチングを使用するが、テンプレートと呼ばれる特定の画像を探し出すテンプレートマッチングを使用することで効率的な処理が可能となる。すなわち、人の上半身は、頭部および胸部などの単純な形状で表されるので、予めテンプレートを準備することは容易であり、テンプレートを用いることで特定しやすい。なお、各種車両の特徴情報に、運転席が右側か左側か（右ハンドルか左ハンドルか）の情報も含ませておくことで、エッジ画像の中から上半身の有無を確認する場合には、運転席の側を中心にテンプレートマッチングを行うことで、より効率的な処理が可能となる。

　テンプレートマッチングの類似度の計算方法としては、対象画像とテンプレートの画素値の差の２乗を足し合わせたものを類似度とするＳＳＤ（Sum of Squared Difference）法、画像の正規化相互相関を取って類似度とし、値が１に近いほど画像が似ていると判断するＮＣＣ（Normalized Cross-Correlation）法、対象画像とテンプレートからそれぞれの画素値の平均を引いてから、正規化相互相関を取って類似度とするＺＮＣＣ（Zero-mean Normalized Cross-Correlation）法などが挙げられ、何れも周知技術である。

　ステップＳ２３で人の上半身が確認されなかった場合は、ステップＳ２１以下の処理を繰り返し、人の上半身が確認された場合はステップＳ２４に進む。

　ステップＳ２４では、ステップＳ２３で確認された人の上半身のエッジ画像の中における、人の顔の有無を確認する。この場合もテンプレートマッチングを使用することで効率的な処理が可能となる。すなわち、人の顔は、頭部の輪郭形状と、目、鼻、口の輪郭形状で表され、概略の配置、概略の形状であれば個人差は小さいので、予めテンプレートを準備することは容易であり、テンプレートを用いることで特定しやすい。

　図１２には、後方車両ＲＶの運転者の顔のエッジ画像Ｐ２を破線で示しており、このエッジ画像Ｐ２とパターンが一致するテンプレートを使用することで、人の顔の有無を容易に確認することができる。

　ステップＳ２４で人の顔が確認されなかった場合は、ステップＳ２１以下の処理を繰り返し、人の顔が確認された場合はステップＳ２５に進む。

　ステップＳ２５では、ステップＳ２４で確認された人の顔が一定時間、例えば３秒間前方を向いているかを確認する。この場合もテンプレートマッチングを使用し、テンプレート（人の顔の正面のテンプレート）と顔のエッジ画像とが一致している場合は、前方を向いていると判断し、テンプレートと顔のエッジ画像とが一致しない場合は、前方を向いていないと判断する。従って、テンプレートと顔のエッジ画像とが一致している時間が３秒間以上続いていれば、３秒間前方を向いていると判断する。

　ステップＳ２５において、人の顔が一定時間前方を向いていないと判断される場合は、運転者が脇見していると判断する。図１３は、人の顔が一定時間前方を向いていない状態の一例を示す図であり、脇見している場合および居眠りしてうつむいている場合が考えられる。ステップＳ２５で人の顔が一定時間前方を向いていると判断される場合は、ステップＳ２６に進む。

　ステップＳ２６では、ステップＳ２４で確認された人の顔のエッジ画像の中における目の部分のデータを抽出する。このデータは、目が閉じているか開いているかが判断できる程度の精度を有するデータであれば良い。そして、ステップＳ２７において、目が一定時間、例えば３秒間閉じているかを確認する。この場合もテンプレートマッチングを使用し、テンプレート（閉じた目のテンプレート）と、ステップＳ２６で抽出された目の部分のエッジ画像とが一致している場合は、目が閉じていると判断する。

　ステップＳ２７において、目が一定時間、閉じていると判断される場合は、運転者が居眠りしていると判断する。なお、ステップＳ２７で、目が一定時間、閉じていないと判断される場合は、ステップＳ２１以下の処理を繰り返す。

　以上説明した実施の形態の運転支援装置１００においては、自車両ＯＶから後方車両ＲＶの運転者を撮影し、その運転状態を判別することで危険運転かどうかを判断し、危険運転であると判断される場合には、自動運転による回避行動を取るので、後方車両ＲＶが危険運転を行っている場合でも、確実に自車両の安全を確保することができる。

　この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

　なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

Claims

　自車両の後方を撮像する後方カメラで撮像された後方画像に基づいて、後方車両の運転者の運転状態を識別する後方運転者状態識別部と、
　前記後方画像を含む前記自車両の周辺画像に基づいて、前記自車両の周辺状況を判断する周辺状況判断部と、
　前記後方運転者状態識別部で識別された運転状態および前記周辺状況判断部で判断された周辺状況に基づいて前記自車両の自動運転を制御する自動運転部と、
　外部との通信を行う通信部と、を備え、
　前記後方運転者状態識別部は、
　前記後方車両の前記運転者の顔の向き、目の開閉の有無をパターンマッチングで判定することで運転状態を認識し、危険運転状態と判断される場合は、前記通信部を介して、前記後方車両に危険運転状態であることを通知し、
　前記自動運転部は、
　前記後方運転者状態識別部で前記後方車両が危険運転状態と判断された場合は、前記周辺状況判断部で判断された周辺状況に基づいて、前記後方車両との衝突を回避するように自動運転を制御する、運転支援装置。
　前記後方運転者状態識別部は、
　前記後方画像に基づいて、前記後方車両と前記自車両との車間距離を取得し、該車間距離に基づいて、前記後方車両との衝突の可能性を判断し、
　前記自動運転部は、
　前記後方運転者状態識別部で前記後方車両が危険運転状態と判断され、かつ前記後方車両と衝突する可能性があると判断された場合であって、前記周辺状況判断部において、前記自車両の周辺に前記自車両を移せるスペースがあると判断された場合には、該スペースに前記自車両を移動させるように自動運転を制御する、請求項１記載の運転支援装置。
　前記後方運転者状態識別部は、
　前記後方画像に基づいて、前記後方車両と前記自車両との車間距離を取得し、該車間距離に基づいて、前記後方車両との衝突の可能性を判断し、
　前記後方運転者状態識別部で前記後方車両が危険運転状態と判断され、かつ前記後方車両と衝突する可能性があると判断された場合であって、前記周辺状況判断部において、前記自車両の周辺に前記自車両を移せるスペースがないと判断された場合には、
　前記後方運転者状態識別部は、前記通信部を介して、前記後方車両に緊急事態であることを通知し、前記後方車両に備わる自動運転装置により前記後方車両を減速させる、請求項１記載の運転支援装置。
　前記後方運転者状態識別部は、前記車間距離と、前記後方車両と前記自車両との相対速度とに基づいて前記後方車両との衝突の可能性を判断する、請求項２または請求項３記載の運転支援装置。
　前記後方運転者状態識別部は、
　前記後方車両に備わる、前記後方車両の前記運転者の運転状態を検出し、前記運転者に警告を与える車内システムで検出した前記運転者の運転状態を前記通信部を介して取得し、
　前記車内システムで検出した前記運転者の運転状態と、前記後方運転者状態識別部で識別した前記運転者の運転状態とに基づいて、危険運転状態であるか否かを判断する、請求項１記載の運転支援装置。
　前記後方運転者状態識別部で前記後方車両が危険運転状態と判断される場合は、自車両内において報知する、請求項１記載の運転支援装置。
　前記自車両内での報知は、フロントガラスの一部に設けられた重畳表示部に、警告表示する、請求項６記載の運転支援装置。
　（ａ）自車両の後方を撮像する後方カメラで撮像された後方画像に基づいて、後方車両の運転者の運転状態を識別するステップと、
　（ｂ）前記後方画像を含む前記自車両の周辺画像に基づいて、前記自車両の周辺状況を判断するステップと、
　（ｃ）前記ステップ（ａ）で識別された運転状態および前記ステップ（ｂ）で判断された周辺状況に基づいて前記自車両の自動運転を制御するステップと、を備え、
　前記ステップ（ａ）は、
　前記後方車両の前記運転者の顔の向き、目の開閉の有無をパターンマッチングで判定することで運転状態を認識するステップと、危険運転状態と判断される場合は、前記後方車両に危険運転状態であることを通知するステップと、を含み、
　前記ステップ（ｃ）は、
　前記ステップ（ａ）で前記後方車両が危険運転状態と判断された場合は、前記ステップ（ｂ）で判断された周辺状況に基づいて、前記後方車両との衝突を回避するように自動運転を制御するステップを含む、運転支援方法。
　前記ステップ（ａ）は、
　（ａ－１）前記後方画像に基づいて、前記後方車両と前記自車両との車間距離を取得し、該車間距離に基づいて、前記後方車両との衝突の可能性を判断するステップを含み、
　前記ステップ（ｃ）は、
　前記ステップ（ａ）で前記後方車両が危険運転状態と判断され、かつ前記後方車両と衝突する可能性があると判断された場合であって、前記ステップ（ｂ）において、前記自車両の周辺に前記自車両を移せるスペースがあると判断された場合には、該スペースに前記自車両を移動させるように自動運転を制御するステップを含む、請求項８記載の運転支援方法。
　前記ステップ（ａ）は、
　（ａ－１）前記後方画像に基づいて、前記後方車両と前記自車両との車間距離を取得し、該車間距離に基づいて、前記後方車両との衝突の可能性を判断するステップを含み、
　前記ステップ（ａ）で前記後方車両が危険運転状態と判断され、かつ前記後方車両と衝突する可能性があると判断された場合であって、前記ステップ（ｂ）において、前記自車両の周辺に前記自車両を移せるスペースがないと判断された場合には、
　（ｄ）前記後方車両に緊急事態であることを通知するステップを備え、前記後方車両に備わる自動運転装置により前記後方車両を減速させる、請求項８記載の運転支援方法。
　前記ステップ（ａ－１）は、
　前記車間距離と、前記後方車両と前記自車両との相対速度とに基づいて前記後方車両との衝突の可能性を判断する、請求項９または請求項１０記載の運転支援方法。
　前記ステップ（ｃ）の前に、
　（ｅ）前記後方車両に備わる、前記後方車両の前記運転者の運転状態を検出し、前記運転者に警告を与える車内システムで検出した前記運転者の運転状態を取得するステップと、
　（ｆ）前記車内システムで検出した前記運転者の運転状態と、前記ステップ（ａ）で識別した前記運転者の運転状態とに基づいて、危険運転状態であるか否かを最終判断するステップと、を備える請求項８記載の運転支援方法。
　前記ステップ（ａ）は、
　前記後方車両が危険運転状態と判断される場合は、自車両内において報知するステップを含む、請求項８記載の運転支援方法。
　前記自車両内での報知するステップは、フロントガラスの一部に設けられた重畳表示部に、警告表示するステップを含む、請求項１３記載の運転支援方法。