JP2018151693A - 運転支援装置および運転支援方法 - Google Patents

Abstract

【課題】運転者の被害を最小限に抑えることができる運転支援装置および運転支援方法を提供すること。【解決手段】実施形態に係る運転支援装置は、検出部と、判定部と、情報生成部とを備える。検出部は、車両の室内の様子を撮像した撮像画像に基づいて車両の運転者に対する同乗者の行動を検出する。判定部は、検出部によって検出された行動が運転者に被害を及ぼす被害行動であるか否かを判定する。情報生成部は、判定部によって被害行動であると判定された場合に、被害行動の発生を示す被害発生情報を生成する。【選択図】図２

Description

本発明は、運転支援装置および運転支援方法に関する。

従来、例えば車内の様子を撮像した撮像画像を保存するカメラシステムが知られている。また、例えばかかる撮像画像に基づいて運転者の脇見や居眠りといった挙動を検出し、検出した挙動に応じて運転者に対して警告等を行う運転支援装置がある（たとえば、特許文献１参照）。

特開２０１６−１１０４４９号公報

しかしながら、従来技術は、運転者自身の挙動に基づいて運転者に危険が迫っていることを警告するものであって、例えば同乗者がいる場合については考慮されていなかった。つまり、従来の装置は、例えば同乗者の車内での行動によって運転者が被害を受けた場合に警告等の対応を行えないため、運転者の被害が拡大するおそれがあった。

本発明は、上記に鑑みてなされたものであって、運転者の被害を最小限に抑えることができる運転支援装置および運転支援方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る運転支援装置は、検出部と、判定部と、情報生成部とを備える。検出部は、車両の室内の様子を撮像した撮像画像に基づいて前記車両の運転者に対する同乗者の行動を検出する。判定部は、前記検出部によって検出された前記行動が前記運転者に被害を及ぼす被害行動であるか否かを判定する。情報生成部は、前記判定部によって前記被害行動であると判定された場合に、前記被害行動の発生を示す被害発生情報を生成する。

本発明によれば、運転者の被害を最小限に抑えることができる。

図１Ａは、実施形態に係る運転支援方法の概要を示す図である。 図１Ｂは、実施形態に係る運転支援方法の概要を示す図である。 図２は、実施形態に係る運転支援装置の構成を示すブロック図である。 図３は、身体の特徴点を示す図である。 図４Ａは、行動パターン情報の説明図である。 図４Ｂは、音声パターン情報の説明図である。 図５は、判定部の処理内容を示す図である。 図６は、判定部の処理内容を示す図である。 図７は、実施形態に係る運転支援装置が実行する処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する運転支援装置および運転支援方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る運転支援方法の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る運転支援方法の概要を示す図である。図１Ａには、実施形態に係る運転支援装置１を搭載した車両Ｃを示している。

運転支援装置１の搭載対象は、例えばタクシー等のように顧客を頻繁に乗せる、つまり車内に同乗者が存在する可能性が比較的高い車両Ｃに好適である。なお、図１では、車両Ｃを普通乗用車の形態で示しているが、これに限定されず、車両Ｃは、例えばバスやトラックといった大型車両であってもよい。

また、図１Ａには、例えば車内前方に設けられ、車両Ｃの室内の様子を撮像するカメラである撮像装置１０を示している。また、図１Ｂには、撮像装置１０によって撮像された撮像画像Ｐを示しており、撮像画像Ｐには、車両Ｃの運転者１００および同乗者１１０が含まれる。

実施形態に係る運転支援方法は、運転者１００に対する同乗者１１０の行動を検出し、検出した行動が運転者１００に被害を及ぼす被害行動である場合に、被害行動の発生を示す被害発生情報を生成するものである。

ここで、従来の運転支援方法について説明する。従来の運転支援方法は、脇見や居眠り等といった運転者自身の挙動を検出することで、運転者に危険が迫っていることを警告していた。

しかしながら、従来は、例えば車内に同乗者がいる場合に、同乗者が起こした車内での行動によって運転者に危険が及ぶことについては考慮されていなかった。例えば、同乗者が運転者の腕を長時間掴むことで運転者自身が怪我をしたり、運転操作が妨げられたりする。つまり、従来は、同乗者の車内での行動によって運転者が被害を受けた場合に警告等の対応を行うことができず、運転者の被害が拡大するおそれがあった。

そこで、実施形態に係る運転支援方法では、例えば同乗者１１０が運転者１００に対して危害を加える行動を起こした場合に、同乗者１１０に対して警告することとした。具体的には、図１Ｂに示すように、実施形態に係る運転支援装置１は、車両Ｃの室内の様子を撮像した撮像画像Ｐに基づいて車両Ｃの運転者１００に対する同乗者１１０の行動を検出する（ステップＳ１）。

つづいて、実施形態に係る運転支援装置１は、検出した行動が運転者１００に被害を及ぼす被害行動であるか否かを判定する（ステップＳ２）。そして、実施形態に係る運転支援装置１は、同乗者１１０の行動が被害行動であった場合に、被害行動の発生を示す被害発生情報を生成する（ステップＳ３）。

例えば、図１Ｂに示すように、運転支援装置１は、同乗者１１０が運転者１００の腕を掴んだ行動を被害行動と判定する。そして、運転支援装置１は、例えば被害発生情報として車内にブザー音を出力し、同乗者１１０に対して警告する。

これにより、例えばブザー音を聞いた同乗者１１０が運転者１００の腕を離すといった被害行動をやめることで運転者の危険な状態が改善されることとなる。あるいは、ブザー音によってもなお危険な状態が改善されない場合には、警察等の関係機関に通報することで、運転者１００を早期に保護する。

したがって、実施形態に係る運転支援装置１によれば、運転者１００に被害が及ぶ被害行動を検出し、例えば警告や通報等を行うことで、運転者１００の被害を最小限に抑えることができる。

なお、実施形態に係る運転支援装置１は、ブザー音による警告や警察等の関係機関への通報を行うための被害発生情報を生成する場合に限らず、被害行動当時の車内の様子を録画することで被害発生情報を生成してもよいが、かかる点については後述する。

なお、実施形態に係る運転支援装置１は、例えば腕を掴む等の同乗者１１０が運転者１００に触れる接触行動を被害行動として判定するが、かかる点の詳細については図５を用いて後述する。

また、実施形態に係る運転支援装置１は、例えば座席シートや窓ガラスといった車両Ｃの備品に対して行う対物行動と、対物行動に伴う車両Ｃの振動に基づいて被害行動を判定するが、かかる点の詳細については、図６を用いて後述する。

また、実施形態に係る運転支援装置１は、例えば、同乗者が刃物や拳銃といった道具を所持していた場合に、被害行動と判定するが、かかる点についても後述する。

次に、図２を参照して、実施形態に係る運転支援装置１の構成について詳細に説明する。図２は、実施形態に係る運転支援装置１の構成を示すブロック図である。

図２に示すように、実施形態に係る運転支援装置１は、撮像装置１０と、マイク１１と、位置取得部１２と、車速センサ１３と、加速度センサ１４と、警告装置２０と、通報装置３０とに接続される。まず、運転支援装置１以外の構成について説明する。

撮像装置１０は、例えば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。

撮像装置１０は、例えば車内の前方から後方を撮像する位置（図１参照）に設けられ、車内の運転者１００および同乗者１１０を含むような撮像画像Ｐを撮像し、運転支援装置１へ出力する。

なお、撮像装置１０は、車内の前方に設けられる場合に限定されず、車内の側方等であってもよく、撮像画像Ｐに運転者１００および同乗者１１０が含まれる位置に設けられればよい。また、撮像装置１０は、車内において複数の位置に設けられてもよく、かかる場合には、複数の撮像画像Ｐを運転支援装置１へ出力する。

マイク１１は、車両Ｃに搭載されて車内に発生する音声を集音し、運転支援装置１へ出力する。位置取得部１２は、例えばＧＰＳ（Global Positioning System）衛星からの信号に基づいて車両Ｃの現在位置を検出し、現在位置の情報として運転支援装置１へ出力する。

車速センサ１３は、車両Ｃにおける車軸の回転数に応じたパルス信号を発生させるとともに、かかるパルス信号に基づいて車両Ｃの現在の走行速度を検出し、運転支援装置１へ出力する。

加速度センサ１４は、車両Ｃに加わる加速度を検出して運転支援装置１へ出力する。かかる加速度センサ１４は、例えば、互いに直交する３軸方向の加速度を検出する３軸加速度センサを用いることができる。

なお、加速度センサ１４は、例えばエアバッグＥＣＵ（Electronic Control Unit）に設けられた加速度センサを用いることができるが、これに限らず、例えばドライブレコーダ等の他の電子装置に搭載された加速度センサを用いてもよい。

警告装置２０は、運転支援装置１から出力される被害発生情報に基づき、例えば車両Ｃに設けられたブザーやホーン等を制御して車両Ｃの内外へ音を発する装置である。例えば、警告装置２０は、車内にブザー音を発することで、同乗者１１０に対して警告を行ったり、ホーンを鳴らして車両Ｃの周囲へ被害行動の発生を知らせたりすることができる。

なお、警告装置２０は、ブザーやホーンといった音を用いた警告に限らず、例えば車両Ｃの外部を照らすライトや、室内灯等を制御することで光を用いた警告を行うこともできる。

通報装置３０は、例えばＤＣＭ（Data Communication Module）等のテレマティクスサービスに用いられる通信モジュールを備え、運転支援装置１から出力される被害発生情報に基づき、例えば警察等の関係機関に緊急通報する装置である。

具体的には、通報装置３０は、携帯電話網やインターネット網といった通信網を介して図示しないサーバ装置へ被害発生情報を送信し、サーバ装置が被害発生情報に基づいて関係機関へ通報する。

かかる場合、被害発生情報には、位置取得部１２が取得した車両Ｃの現在位置の情報を含ませることが好ましい。これにより、緊急通報を受けた警察等が現場へいち早く到達できるため、運転者１００を早期に保護することができる。

次に、実施形態に係る運転支援装置１について説明する。運転支援装置１は、制御部２と、記憶部３とを備える。制御部２は、検出部２１と、振動検出部２２と、判定部２３と、情報生成部２４とを備える。記憶部３は、画像情報３１と、被害行動情報３２を記憶する。

ここで、運転支援装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の検出部２１、振動検出部２２、判定部２３および情報生成部２４として機能する。

また、制御部２の検出部２１、振動検出部２２、判定部２３および情報生成部２４の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、画像情報３１や被害行動情報３２、各種プログラムの情報等を記憶することができる。なお、運転支援装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

画像情報３１は、撮像装置１０が定期的に撮像した時系列の撮像画像Ｐを含む情報である。また、記憶部３は、後述する情報生成部２４の指示に従って、画像情報３１のうち、運転者１００の被害発生当時に撮像された撮像画像Ｐを被害発生情報として記憶する。被害発生情報における画像情報３１の保存方法については、トリガー式および常時録画式のいずれの方式であってもよいがかかる点については後述する。

制御部２は、運転者１００に対する同乗者１１０の行動を検出し、検出した行動が運転者１００に被害を及ぼす被害行動である場合に、被害行動の発生を示す被害発生情報を生成する。

検出部２１は、撮像装置１０、マイク１１、位置取得部１２および車速センサ１３等の各種情報に基づいて同乗者１１０の行動を検出する。

例えば、検出部２１は、車両Ｃの室内の様子を撮像した撮像画像Ｐに基づいて車両Ｃの運転者１００に対する同乗者１１０の行動を検出する。ここで、図３を用いて、検出部２１の具体的な検出処理について説明する。

図３は、同乗者１１０の身体の特徴点を示す図である。なお、図３には、人の特徴点の一例を示しているに過ぎず、特徴点の位置や数は任意に設定することができる。

図３に示すように、検出部２１は、車内に存在する同乗者１１０の身体の各部の特徴点ｊ１〜ｊ２０を検出し、かかる特徴点ｊ１〜ｊ２０に基づいて同乗者１１０の姿勢や向きを解析することで同乗者１１０の様々な行動を検出する。

具体的には、図３において、同乗者１１０の行動を規定する２０個の特徴点ｊ１〜ｊ２０を一例として示している。なお、特徴点ｊ１〜ｊ４は順に、頭部、肩部中央、旋回部、尻部中央にそれぞれ対応する。また、特徴点ｊ５〜ｊ８は順に、右手先、右手首、右肘、肩部右にそれぞれ対応する。

また、特徴点ｊ９〜ｊ１２は順に、尻部右、右膝、右足首、右足先にそれぞれ対応する。また、特徴点ｊ１３〜ｊ１６は順に、左手先、左手首、左肘、肩部左にそれぞれ対応する。また、特徴点ｊ１７〜ｊ２０は順に、尻部左、左膝、左足首、左足先にそれぞれ対応する。各特徴点ｊ１〜ｊ２０は、例えばＸＹ平面上における座標位置として表現される。

つまり、検出部２１は、同乗者１１０が身体を動かした場合におけるこれら特徴点ｊ１〜ｊ２０の位置関係を把握することで同乗者１１０の姿勢や向きを解析する。

なお、検出部２１は、同乗者１１０の特徴点ｊ１〜ｊ２０を検出する前に、運転者１００の身体の特徴点を予め規定しておくことが好ましい。例えば、検出部２１は、運転支援装置１の起動直後、すなわち同乗者１１０がいない状態で、特徴点の検出処理を行い、運転者１００の特徴点を予め検出しておく。これにより、検出される特徴点が運転者１００のものであるか同乗者１１０のものであるかの判別が可能となる。

振動検出部２２は、例えば加速度センサ１４の検出値に基づいて車両Ｃに発生する振動を検出する。例えば、振動検出部２２は、検出部２１によって検出された同乗者１１０の行動に伴う車両Ｃの振動を検出する。具体的には、振動検出部２２は、検出部２１の検出時刻と、加速度センサ１４の検出値とを対応付けることで、同乗者１１０の行動に伴う車両Ｃの振動を検出する。

なお、車両Ｃが走行しているときに、同乗者１１０の行動に伴う車両Ｃの振動と、走行による車両Ｃの振動とが区別しにくい場合は、車両Ｃが停車しているときに限り振動検出部２２により振動を検出するようにしてもよい。

判定部２３は、検出部２１によって検出された同乗者１１０の行動が運転者１００に被害を及ぼす被害行動であるか否かを判定する。具体的には、判定部２３は、記憶部３に記憶された被害行動情報３２に基づいて被害行動の有無を判定する。

被害行動情報３２は、行動パターン情報３２ａおよび音声パターン情報３２ｂを含んだ情報であり、判定部２３による被害行動の判定基準となる情報である。ここで、図４Ａおよび図４Ｂを用いて被害行動情報３２について説明する。

図４Ａは、行動パターン情報３２ａの説明図である。図４Ｂは、音声パターン情報３２ｂの説明図である。まず、図４Ａを用いて行動パターン情報３２ａについて説明する。図４Ａに示すように、行動パターン情報３２ａには、様々な被害行動のパターンに関する情報が予め登録される。

行動パターン情報３２ａは、例えば、「行動種別」と、「特徴点画像」とを含んだ情報である。「行動種別」は、被害行動の種別を示す情報である。「特徴点画像」は、検出部２１によって検出された同乗者１１０の特徴点ｊ１〜ｊ２０の位置パターンを示す画像の情報である。なお、「特徴点画像」は、静止画であってもよく、動画であってもよい。

例えば、図４Ａには、同乗者１１０が運転者１００の腕等を掴む場合の「掴む」と、同乗者１１０が運転者１００を殴る場合の「殴る」における「特徴点画像」を示した。なお、図４Ａに示す「特徴点画像」のパターンは、代表例に過ぎず、実際には、例えば「殴る」の「特徴点画像」の中には、様々な「殴る」に関するパターンの「特徴点画像」が含まれている。

例えば、「掴む」の「特徴点画像」は、同乗者１１０の右手先の特徴点ｊ５（または左手先の特徴点ｊ１３）（図３参照）が運転者１００の位置に所定時間留まっている動画を示している。

また、例えば、「殴る」の「特徴点画像」は、同乗者１１０の右手先の特徴点ｊ５（または左手先の特徴点ｊ１３）が運転者１００の位置へ所定の移動速度で到達した動画を示している。なお、特徴点ｊ５の移動速度は、例えば、撮像画像Ｐから抽出される特徴点ｊ５のベクトルの大きさから算出可能である。

つまり、判定部２３は、検出部２１が検出した特徴点ｊ１〜ｊ２０と、行動パターン情報３２ａとの比較を行うことによって、同乗者１１０が行った行動が被害行動であるか否かを判定する。そして、判定部２３は、同乗者１１０が行った行動が行動パターン情報３２ａにマッチングする、つまり、被害行動のパターンと一致した場合に、被害行動であると判定する。

このように、判定部２３は、同乗者１１０の身体の特徴点に基づいてパターンマッチングを行うことで、正確に同乗者１１０の被害行動を判定することができる。

なお、判定部２３は、検出部２１によってすべて（図３では２０個）の特徴点ｊ１〜ｊ２０が検出されなくとも、「特徴点画像」の一部の特徴点が検出されれば足りる。つまり、判定部２３は、検出部２１によって検出された同乗者１１０の一部の特徴点と、「特徴点画像」の一部の特徴点とが一致した場合に、被害行動として判定してもよい。

また、同乗者は座席に座っているため、被害行動をおこす場合でも下半身が動くことは少ないため、「特徴点画像」は上半身だけのデータにしてもよい。これによりメモリ容量を削減できる。

さらに、判定部２３は、図４Ｂに示す音声パターン情報３２ｂを用いて、同乗者１１０の発話内容を加味して被害行動を判定してもよい。図４Ｂに示すように、音声パターン情報３２ｂは、例えば、「音声種別」と「文字情報」とを含んだ情報である。

図４Ｂに示すように、音声パターン情報３２ｂは、例えば同乗者１１０が運転者１００に危害を加える前に発したり、運転者１００を威嚇するために発したりする危険キーワードが予め登録された情報である。音声パターン情報３２ｂは、例えば「音声種別」と「文字情報」とが関連付けされた情報である。

判定部２３は、検出部２１がマイク１１から検出した同乗者１１０の発話内容を示す音声に予め定められた危険キーワードが含まれる場合に、かかる音声が被害行動であると判定する。

具体的には、判定部２３は、検出部２１によって検出された音声をテキスト化した音声文字情報に変換し、音声文字情報の中に、音声パターン情報３２ｂの「文字情報」に一致するものがあれば、かかる音声を被害行動として判定する。

つまり、判定部２３は、危険キーワードのような物理的な危害を加える前に発する音声を検出して、例えば警告装置２０により警告を行うことで、同乗者１１０が行おうとしている被害行動を未然に防ぐことができる。

なお、例えば図４Ｂに示す「おい」のように、「文字情報」の文字数が比較的少ない場合、判定部２３は、例えば検出部２１が検出した音声を解析することでかかる音声の抑揚等を検出して被害行動の判定を行うことが好ましい。

また、判定部２３は、同乗者１１０の特徴点ｊ１〜ｊ２０に基づいて被害行動を検出したが、これに限定されず、同乗者１１０に加えて運転者１００の特徴点を加味して被害行動を検出することとしてもよい。かかる点について図５を用いて説明する。

図５は、判定部２３の判定内容を示す図である。図５には、同乗者１１０が運転者１００を掴む状況を撮像した撮像画像Ｐを示している。また、図５には、かかる撮像画像Ｐから検出された運転者１００の特徴点ａｊ１５，ａｊ１６と、同乗者１１０の特徴点ｊ５とを示している。

なお、図５において、図の見易さの観点から運転者１００の左肘および肩部左の特徴点ａｊ１５，ａｊ１６を含む運転者１００の他の特徴点を白丸で示している。また、同乗者１１０の特徴点についても同様に、右手先の特徴点ｊ５を含む他の特徴点を黒丸で示している。

図５に示すように、判定部２３は、検出部２１によって検出された同乗者１１０の行動が運転者１００に触れる接触行動であった場合に、かかる行動を被害行動と判定する。

具体的には、判定部２３は、運転者１００の特徴点（例えば特徴点ａｊ１５，ａｊ１６）および同乗者１１０の特徴点ｊ１〜ｊ２０の座標の位置関係に基づき、検出部２１が検出した行動が接触行動であるか否かを判定する。

例えば、図５に示すように、判定部２３は、運転者１００の左肘および肩部左の特徴点ａｊ１５，ａｊ１６を結ぶ線上に、同乗者１１０の右手先の特徴点ｊ５が重なった場合に、接触行動であると判定する。

このように、同乗者１１０が運転者１００に直接触れたことをトリガーとすることで、被害行動の発生の誤検知を防止することができるとともに、確実に被害行動を検出することができる。

なお、同乗者が乗車賃を運転者に支払う際、お金を運転者に手渡しする場合があるため、これを接触行動であると判定しないようにしておくことが望ましい。そのためには、例えば、停車中であり、かつ同乗者の手先が運転者の手先に接触した場合は、その接触行動は乗車賃の支払い行為であると判定し、被害行動とは判定しないようにすればよい。または、画像で接触行為を判定したときは、音声も加味し、乗車賃の支払いに関する一連の会話（例えば、「○○円です。」「△△円でお釣りお願いします。」「はい、お釣りです。」）であった場合は被害行動とは判定しないようにすればよい。

なお、判定部２３は、２次元平面における特徴点の位置関係に基づいて接触行動の有無を判定する場合に限定されず、例えば撮像装置１０の取付位置に基づいて算出される撮像画像Ｐの奥行方向を加味した３次元空間における特徴点の位置関係に基づいて接触行動の有無を判定してもよい。これにより、判定部２３は、より正確に接触行動を判定することができる。

また、判定部２３は、同乗者１１０が運転者１００に直接触れる行動を被害行動として判定したが、これに限定されず、同乗者１１０が運転者１００に対して間接的に行った行動に基づいて被害行動の有無を判定してもよい。かかる点について、図６を用いて説明する。

図６は、判定部２３の判定内容を示す図である。図６には、後部座席に着座した同乗者１１０が運転者１００の着座する座席を蹴る場面を示している。図６に示すように、同乗者１１０が座席を比較的強く蹴る行動（運転者１００が驚く程度）を行った場合、かかる行動に伴って車両Ｃが振動することが多い。

判定部２３は、かかる振動に着目して被害行動の有無を判定する。具体的には、図６に示すように、判定部２３は、検出部２１によって検出された同乗者１１０の行動が車両Ｃの備品に対して行う対物行動であり、かつ、振動検出部２２によって検出された振動の検出値が所定値以上であった場合に、かかる行動を被害行動と判定する。

そして、例えば対物行動の様子を録画しておくことで、車両Ｃの備品が破損した場合等に、損害賠償を請求する際の有用な証拠として録画した撮像画像Ｐを用いることができる。

なお、車両Ｃの備品に対する対物行動は、運転者１００の着座する座席を蹴る行動以外に、例えば車両Ｃのドアや窓ガラスを叩く行動等であってもよく、運転者１００の運転の妨げや車両Ｃの備品の損害に繋がる行動であればよい。

また、判定部２３は、運転者１００や車両Ｃの備品に対する行動のように、人や物に対して直接的に危害を加える行動の場合に被害行動として判定したが、例えば、同乗者１１０が所持する道具に基づいて被害行動を判定してもよい。

具体的には、判定部２３は、検出部２１によって検出された同乗者１１０の行動が運転者１００に対して被害を与えるための道具の所持であった場合に、かかる行動を被害行動と判定する。

例えば、検出部２１は、撮像画像Ｐに基づいて刃物等の鋭利な金属部材の所持を検出する。より具体的には、検出部２１は、金属部材により光の反射を検出することで刃物の所持を検出する。なお、検出部２１は、例えばパターンマッチングにより刃物を検出することもできる。

また、検出部２１は、鋭利な金属部材の道具に限らず、鈍器等の刃の無い道具や銃等の標的に物体を飛ばすことで被害を与える道具等の所持を検出することとしてもよい。

このように、運転者１００に対して被害を与えることが可能な道具を検出することで、運転者１００がかかる道具によって怪我することを未然に防ぐことができる。

また、判定部２３は、車両Ｃの走行速度を考慮して被害行動の有無を判定してもよい。具体的には、判定部２３は、車両Ｃの走行速度がゼロ、すなわち車両Ｃが停止している場合に、検出部２１による検出感度を同乗者１１０の右または左の手先において高く設定する。

これにより、例えばタクシー等において同乗者１１０が料金の支払いを拒否して運転者１００に危害を加える行動を行おうとした場合に、かかる行動をいち早く検出して運転者１００に通知することができる。したがって、危害を加えようとしている同乗者１１０から運転者１００が容易に逃れることができる。

また、例えば、判定部２３は、運転者１００の生体情報を加味して被害行動を判定してもよい。具体的には、判定部２３は、例えば運転者１００毎に、平常時の脈拍や体温等の生体情報を学習しておき、同乗者１１０の行動によってこれらの生体情報が異常値となった場合に、かかる行動を被害行動と判定する。

これは、同乗者１１０の行動によって受ける被害の程度が運転者１００毎に異なるためである。すなわち、判定部２３は、運転者１００の平常時の生体情報を予め学習しておくことで、運転者１００それぞれに応じて適切な判定処理を行うことができる。

情報生成部２４は、判定部２３によって同乗者１１０の行動が被害行動であると判定された場合に、被害行動の発生を示す被害発生情報を生成する。例えば、情報生成部２４は、同乗者１１０に対して警告する警告情報を被害発生情報として生成する。

具体的には、情報生成部２４は、同乗者１１０に対して音や光を発するための警告情報を生成し、警告装置２０へ出力する。なお、警告装置２０が発する音は、ビープ音等の単一音に限らず、音声であってもよい。

これにより、同乗者１１０が行っている被害行動をやめさせたり、音や光により同乗者１１０を怯ませて運転者１００に逃げる隙を与えたりすることができる。

なお、情報生成部２４は、例えば警告装置２０により警告を行ってもなお同乗者１１０が被害行動を継続させた場合には、被害発生情報を通報装置３０へ出力し、警察などの関係機関へ緊急通報することとしてもよい。

さらに、情報生成部２４は、被害行動当時の車内の様子を録画することで被害発生情報を生成してもよい。具体的には、情報生成部２４は、被害行動が発生した時刻を含む所定期間の撮像画像Ｐを被害発生情報として記憶部３に記憶させる。なお、録画の方式については、トリガー式または常時録画式のいずれであってもよい。

例えばトリガー式の場合、時系列の撮像画像Ｐは、ＲＡＭ等の揮発性メモリにエンドレスで記憶される。情報生成部２４は、判定部２３によって被害行動があったと判定された（トリガー）場合に、現在時刻を含む前後所定期間分の撮像画像Ｐを揮発性メモリから取り出しＨＤＤ等の不揮発性メモリに保存する。これにより、被害発生時刻の前後の期間に撮像された撮像画像Ｐが保存される。

また、例えば常時録画式の場合、時系列の撮像画像Ｐは、ＨＤＤ等の不揮発性メモリに記憶されていき、メモリ容量が満杯になると、最も古い時刻の撮像画像Ｐから順次削除され、新たな時刻の撮像画像Ｐが上書き保存される。

情報生成部２４は、判定部２３によって被害行動があったと判定された場合に、被害発生時刻の前後の期間に撮像された撮像画像Ｐについて上書きを禁止する設定を行う。これにより、上書き禁止された撮像画像Ｐは、新しい時刻の撮像画像Ｐを記憶する際に、上書き削除されずに残ることで保存される。

このように、例えば被害行動の発生当時の様子を録画しておくことで、運転者１００が怪我をして慰謝料等を請求する際に、有用な証拠として提出することができる。

次に、図７を用いて、実施形態に係る運転支援装置１が実行する処理の処理手順について説明する。図７は、実施形態に係る運転支援装置１が実行する処理の処理手順を示すフローチャートである。

図７に示すように、まず、検出部２１は、車両Ｃの室内の様子を撮像した撮像画像Ｐに基づいて車両Ｃの運転者１００に対する同乗者１１０の行動を検出する（ステップＳ１０１）。

つづいて、判定部２３は、検出部２１によって検出された行動が運転者１００に触れる接触行動であるか否かを判定する（ステップＳ１０２）。判定部２３は、検出部２１によって検出された行動が運転者１００に触れる接触行動であった場合（ステップＳ１０２，Ｙｅｓ）、かかる行動を被害行動であると判定する（ステップＳ１０３）。

つづいて、情報生成部２４は、判定部２３によって被害行動であると判定された場合に、被害行動の発生を示す被害発生情報を生成し（ステップＳ１０４）、処理を終了する。

一方、ステップＳ１０２において、判定部２３は、検出部２１によって検出された行動が運転者１００に触れる接触行動でなかった場合（ステップＳ１０２，Ｎｏ）、かかる行動が車両Ｃの備品に対して行う対物行動であるか否かを判定する（ステップＳ１０５）。

つづいて、判定部２３は、検出部２１によって検出された行動が車両Ｃの備品に対して行う対物行動であった場合（ステップＳ１０５，Ｙｅｓ）、振動検出部２２によって検出された振動の検出値が所定値以上であるか否かを判定する（ステップＳ１０６）。

判定部２３は、振動検出部２２によって検出された振動の検出値が所定値以上であった場合（ステップＳ１０６，Ｙｅｓ）、処理をステップＳ１０３へ移行する。

一方、ステップＳ１０５において、判定部２３は、検出部２１によって検出された行動が車両Ｃの備品に対して行う対物行動でなかった場合（ステップＳ１０５，Ｎｏ）、かかる行動が運転者１００に対して被害を与えるための道具の所持であるか否かを判定する（ステップＳ１０７）。

判定部２３は、検出部２１によって検出された行動が運転者１００に対して被害を与えるための道具の所持であった場合（ステップＳ１０７，Ｙｅｓ）、処理をステップＳ１０３へ移行する。

一方、ステップＳ１０６において、判定部２３は、振動検出部２２によって検出された振動の検出値が所定値未満であった場合（ステップＳ１０６，Ｎｏ）、処理をステップＳ１０１へ移行する。

また、ステップＳ１０７において、判定部２３は、検出部２１によって検出された行動が運転者１００に対して被害を与えるための道具の所持でなかった場合（ステップＳ１０７，Ｎｏ）、処理をステップＳ１０１へ移行する。

上述してきたように、実施形態に係る運転支援装置１は、検出部２１と、判定部２３と、情報生成部２４とを備える。検出部２１は、車両Ｃの室内の様子を撮像した撮像画像Ｐに基づいて車両Ｃの運転者１００に対する同乗者１１０の行動を検出する。判定部２３は、検出部２１によって検出された行動が運転者１００に被害を及ぼす被害行動であるか否かを判定する。情報生成部２４は、判定部２３によって被害行動であると判定された場合に、被害行動の発生を示す被害発生情報を生成する。これにより、例えば同乗者１１０に対して警告したり、警察などに通報したりすることで、運転者１００の被害を最小限に抑えることができる。

なお、上述した実施形態では、同乗者１１０が後部座席に存在する場合について説明したが、例えば同乗者１１０が助手席に存在する場合であってもよい。また、同乗者１１０は、一人である場合に限らず、複数であってもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 運転支援装置
２ 制御部
３ 記憶部
１０ 撮像装置
１１ マイク
１２ 位置取得部
１３ 車速センサ
１４ 加速度センサ
２０ 警告装置
２１ 検出部
２２ 振動検出部
２３ 判定部
２４ 情報生成部
３０ 通報装置
３１ 画像情報
３２ 被害行動情報
１００ 運転者
１１０ 同乗者
Ｃ 車両
Ｐ 撮像画像

Claims (9)

1. 車両の室内の様子を撮像した撮像画像に基づいて前記車両の運転者に対する同乗者の行動を検出する検出部と、
   前記検出部によって検出された前記行動が前記運転者に被害を及ぼす被害行動であるか否かを判定する判定部と、
   前記判定部によって前記被害行動であると判定された場合に、前記被害行動の発生を示す被害発生情報を生成する情報生成部と
   を備えることを特徴とする運転支援装置。
2. 前記検出部は、
   前記撮像画像から前記同乗者の身体を示す特徴点を検出することで前記行動を検出し、
   前記判定部は、
   前記行動を示す前記特徴点のパターンが予め定められた前記被害行動のパターンと一致した場合に、前記被害行動であると判定すること
   を特徴とする請求項１に記載の運転支援装置。
3. 前記判定部は、
   前記検出部によって検出された前記行動が前記運転者に触れる接触行動であった場合に、前記行動を前記被害行動と判定すること
   を特徴とする請求項１または２に記載の運転支援装置。
4. 前記行動に伴う前記車両の振動を検出する振動検出部をさらに備え、
   前記判定部は、
   前記行動が前記車両の備品に対して行う対物行動であり、かつ、前記振動検出部によって検出された前記振動の検出値が所定値以上であった場合に、前記行動を前記被害行動と判定すること
   を特徴とする請求項１〜３のいずれか一つに記載の運転支援装置。
5. 前記検出部は、
   前記運転者に対して被害を与えるための道具の所持を前記行動として検出し、
   前記判定部は、
   前記道具の所持を前記被害行動と判定すること
   を特徴とする請求項１〜４のいずれか一つに記載の運転支援装置。
6. 前記検出部は、
   前記同乗者の発話内容を示す音声を前記行動として検出し、
   前記判定部は、
   前記検出部によって検出された前記音声に予め定められた危険キーワードが含まれる場合に、前記音声が前記被害行動であると判定すること
   を特徴とする請求項１〜５のいずれか一つに記載の運転支援装置。
7. 時系列の前記撮像画像を記憶する記憶部をさらに備え、
   前記情報生成部は、
   前記被害行動が発生した時刻を含む所定期間の前記撮像画像を前記被害発生情報として前記記憶部に記憶させること
   を特徴とする請求項１〜６のいずれか一つに記載の運転支援装置。
8. 前記情報生成部は、
   前記同乗者に対して警告する警告情報を前記被害発生情報として生成すること
   を特徴とする請求項１〜７のいずれか一つに記載の運転支援装置。
9. 車両の室内の様子を撮像した撮像画像に基づいて前記車両の運転者に対する同乗者の行動を検出する検出工程と、
   前記検出工程によって検出された前記行動が前記運転者に被害を及ぼす被害行動であるか否かを判定する判定工程と、
   前記判定工程によって前記被害行動であると判定された場合に、前記被害行動の発生を示す被害発生情報を生成する情報生成工程と
   を含むことを特徴とする運転支援方法。

Images