JP2018173861A - 走行支援装置及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザに煩わしさを感じさせることなく、危険因子の判定結果を出力することを可能にした走行支援装置及びコンピュータプログラムを提供する。
【解決手段】車両の周辺環境を撮像した撮像画像を順次機械学習によって生成された学習モデルに入力することによって、入力した撮像画像の各撮像タイミングにおいて車両の周辺環境に生じている周辺状況を認識するとともに、認識された周辺状況に基づいて移動体の周辺環境にある危険因子を判定し、車両の周辺環境において過去に類似する周辺状況における危険因子が生じているか否かに基づいて出力態様を変更して危険因子の判定結果を出力するように構成する。
【選択図】図５

Description

本発明は、移動体の走行支援を行う走行支援装置及びコンピュータプログラムに関する。

近年、例えば車両等の移動体に対する走行支援の一つとして、移動体の周辺にある危険因子を判定し、判定結果を案内することが行われている。危険因子とは移動体が走行する際に注意するべき因子であり、例えば移動体から視認することが難しい位置にある他車両や歩行者等の障害物、交差点付近の歩行者、交差道路から進入する他車両、車線の増減区間、道路に面する建物の出入口等がある。上記のような危険因子を判定する手段としては、例えば移動体の現在位置や方位と地図情報とを比較して判定することや、移動体に搭載されたカメラ、センサ或いは通信機器を用いて判定することが可能である。

例えば特開２０１６−１２６７５６号公報には、車両の移動中において車両に設置された車載カメラ、ドライブレコーダ、スマートフォン等により撮像された車両周辺の現在地点画像を取得し、サーバ装置に予め登録された危険地点画像と現在地点画像との類似性から現在の状況の危険度を判定することが開示されている。

特開２０１６−１２６７５６号公報（第１５−１６、２１頁）

ここで、上記特許文献１では、現在地点画像と危険地点画像との類似性を判断し、現在地点画像と危険地点画像とが類似していれば危険度が高いと判定される。しかしながら、現在地点画像や危険地点画像には、危険因子となる虞の高い要素（例えば交差点に位置する歩行者、交差道路を走行する他車両）に加えて、危険因子となる虞の少ない要素（例えば、歩道を歩行する歩行者、対向車線を走行する他車両）を含む。上記特許文献１では、現在地点画像と危険地点画像との類似性を判断する場合に、危険因子となる虞の高い要素が類似していなかったとしても、危険因子となる虞の少ない要素が類似した結果、危険因子が存在しない可能性が高い場合においても危険度が高いと判定される問題があった。

本発明は前記従来における問題点を解消するためになされたものであり、周辺環境を撮像した撮像画像を機械学習によって生成された学習モデルに入力することによってより正確な危険因子の判定を行うとともに、危険因子の判定結果の出力の際には運転者が危険であると予め認識できている状況では出力態様を変更することについても可能にした走行支援装置及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る走行支援装置は、時間経過に伴って移動体の周辺環境を順次撮像した撮像画像を取得する周辺環境撮像手段と、取得した前記撮像画像を順次機械学習によって生成された学習モデルに入力することによって、入力した前記撮像画像の各撮像タイミングにおいて前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段と、前記危険因子判定手段の判定結果を出力する判定結果出力手段と、前記撮像画像の各撮像タイミングで認識された周辺状況を比較することによって、前記移動体の周辺環境において過去に類似する周辺状況における前記危険因子が生じているか否かを判定する類似判定手段と、を有し、前記判定結果出力手段は、前記類似判定手段の判定結果に応じて出力態様を変更する。
尚、「移動体」とは、車両に限定されず、歩行者、自転車等の道路を移動するものであれば良い。
また、「危険因子」とは、移動体が走行する際に注意するべき因子であり、例えば移動体から視認することが難しい位置にある他車両や歩行者等の障害物、交差点付近の歩行者、交差道路から進入する他車両、車線の増減区間、道路に面する建物の出入口等がある。

また、本発明に係るコンピュータプログラムは、移動体の走行支援を行うプログラムである。具体的には、コンピュータを、時間経過に伴って移動体の周辺環境を順次撮像した撮像画像を取得する周辺環境撮像手段と、取得した前記撮像画像を順次機械学習によって生成された学習モデルに入力することによって、入力した前記撮像画像の各撮像タイミングにおいて前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段と、前記危険因子判定手段の判定結果を出力する判定結果出力手段と、前記撮像画像の各撮像タイミングで認識された周辺状況を比較することによって、前記移動体の周辺環境において過去に類似する周辺状況における前記危険因子が生じているか否かを判定する類似判定手段と、して機能させるとともに、前記判定結果出力手段は、前記類似判定手段の判定結果に応じて出力態様を変更する。

前記構成を有する本発明に係る走行支援装置及びコンピュータプログラムによれば、時間経過に伴って周辺環境を撮像した撮像画像を順次機械学習によって生成された学習モデルに入力することによって、現在の移動体の状況に応じたより正確な危険因子の判定を行うことが可能となる。

本実施形態に係るナビゲーション装置を示したブロック図である。 本実施形態に係る危険因子判定処理プログラムのフローチャートである。 本実施形態に係る学習モデルの概略を示した図である。 周辺環境の全体類似度の算出方法を説明した図である。 周辺環境の特徴類似度の算出方法を説明した図である。

以下、本発明に係る走行支援装置についてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１を示したブロック図である。

図１に示すように本実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ユーザに対して車両周辺の地図やナビゲーション装置１に設定された案内経路に関する情報等を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや危険因子に対する警告等を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、を有している。また、ナビゲーション装置１は、ＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置された車外カメラ１９が接続されている。

以下に、ナビゲーション装置１が有する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や撮像画像ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２としてはハードディスクの代わりにメモリーカードやＣＤやＤＶＤ等の光ディスクを有しても良い。また、地図情報ＤＢ３１や撮像画像ＤＢ３２は外部のサーバに格納させ、ナビゲーション装置１が通信により取得しても良い。

ここで、地図情報ＤＢ３１は、ナビゲーション装置１における経路探索や走行案内に用いられる地図情報が記憶される記憶手段である。例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。

また、撮像画像ＤＢ３２は、時間経過に伴って車外カメラ１９によって順次撮像された撮像画像３５が格納される記憶手段である。尚、車外カメラ１９によって撮像された撮像画像３５は累積的に撮像画像ＤＢ３２に格納され、古い画像から順に削除される。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の危険因子判定処理プログラム（図２参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を有する。例えば、周辺環境撮像手段は、時間経過に伴って車両の周辺環境を順次撮像した撮像画像を取得する。危険因子判定手段は、取得した撮像画像を順次機械学習によって生成された学習モデルに入力することによって、入力した撮像画像の各撮像タイミングにおいて車両の周辺環境に生じている周辺状況を認識するとともに、認識された周辺状況に基づいて車両の周辺環境にある危険因子を判定する。判定結果出力手段は、危険因子判定手段の判定結果を出力する。類似判定手段は、撮像画像の各撮像タイミングで認識された周辺状況を比較することによって、車両の周辺環境において過去に類似する周辺状況における危険因子が生じているか否かを判定する。

操作部１４は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。

また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、ナビゲーション装置１で設定されている案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、液晶ディスプレイ１５の代わりに、ＨＵＤやＨＭＤを用いても良い。また、本実施形態では特に、危険因子の判定結果の案内についても表示する。

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。また、本実施形態では特に、危険因子の判定結果の案内についても出力する。

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１７に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

また、車外カメラ１９は、例えばＣＣＤ等の固体撮像素子を用いたカメラにより構成され、車両のルームミラーの裏側やフロントバンパ等に取り付けられるとともに光軸方向を水平より所定角度下方に向けて設置される。そして、車外カメラ１９は、車両の進行方向前方の周辺環境を撮像する。また、ナビゲーションＥＣＵ１３は後述のように撮像された撮像画像を機械学習に入力することによって、車両周辺にある危険因子を判定する。尚、車外カメラ１９は車両の側方や後方にも配置するように構成しても良い。また、車外カメラ１９の設置位置は運転者の目の位置（視線開始点）と略同一となるように調整するのが望ましい。それによって、危険因子の判定をより適切に行うことが可能となる。

本実施形態に係るナビゲーション装置１において上記機械学習によって判定される危険因子とは、車両が走行する際に注意するべき（案内を行うべき）因子である。例えば車両から視認することが難しい位置にある他車両や歩行者等の障害物、交差点付近の歩行者、交差道路から進入する他車両、車線の増減区間、道路に面する建物の出入口等がある。例えば、「道路に面する建物の出入口」については、歩行者が新たに道路上に出現する可能性のある地点であり、車両が走行する際に注意するべき場所となる。また、「車線の増減区間」については他車両が車線変更を行う可能性のある地点であり、車両が走行する際に注意するべき場所となる。

続いて、上記構成を有する本実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する危険因子判定処理プログラムについて図２に基づき説明する。図２は本実施形態に係る危険因子判定処理プログラムのフローチャートである。ここで、危険因子判定処理プログラムは、車両のＡＣＣ(accessory power supply)がＯＮされた後に所定時間（例えば１ｓｅｃ）間隔で繰り返し実行され、車外カメラ１９で撮像した撮像画像に基づいて車両の周囲にある危険因子を判定し、判定結果を出力するプログラムである。また、以下の図２にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。

先ず、危険因子判定処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は直近に車外カメラ１９で撮像された撮像画像を撮像画像ＤＢ３２から取得し、機械学習によって生成された学習モデルに入力する。ここで、図３は本実施形態に係る学習モデルの概略を示した図である。特に本実施形態では機械学習として多層構造のニューラルネットワーク（ＣＮＮ）を用いた機械学習（Deep Learning）を用いる。

図３に示すように車外カメラ１９で撮像された撮像画像５１を学習モデルに入力すると、先ず畳み込みニューラルネットワーク（以下、畳み込みＣＮＮという）５２に基づく画像処理が行われる。畳み込みＣＮＮ５２では、『畳み込み層』と『プーリング層』を複数回繰り返した後に、危険因子を判定する為の特に重要な特徴マップ５３が出力される。

ここで、『畳み込み層』は入力した画像に対してフィルタをかける（畳み込む）層である。画像の畳み込みによって画像内のパターン（特徴）が検出できるようになる。また、畳み込むフィルタは複数とする。フィルタの数を複数とすることで入力した画像の様々な特徴を捉えることが可能となる。また、フィルタをかけることによって、出力される画像のサイズが小さくなる。出力された画像は特徴マップとも呼ばれる。また、この畳み込み層に用いるフィルタは設計者が設定する必要はなく、学習によって取得することが可能である。尚、学習が進むことによって、危険因子を判定する為の特に重要な特徴を抽出する為に適したフィルタが設定されることとなる。

一方、『プーリング層』は畳み込み層の直後に置かれ、抽出された特徴の位置感度を低下させる。具体的には、畳み込みの出力を粗くリサンプリングすることによって、画像の多少のずれによる違いを吸収する。プーリング層でも入力画像に比べて出力画像のサイズは小さくなる。

その後、畳み込みＣＮＮ５２によって出力された特徴マップ５３を、危険因子判定の為のニューラルネットワーク（以下、危険判定ＣＮＮという）５４の入力層に対して入力する。そして、危険判定ＣＮＮ５４では、入力層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の中間層に対して入力する。そして、中間層においても同様に中間層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の出力層に対して入力する。そして、出力層において中間層から入力されたデータを用いて最終的な危険因子の判定を行い、判定結果が出力される。尚、危険判定ＣＮＮ５４は、学習が進むことによって、上記ウェイト（重み係数）がより適した値に適宜変更され、設定されることとなる。本実施形態では、特に中間層が車両の周辺状況（シーン）の認識を行う層であり、出力層が車両の周辺状況（シーン）から危険因子の判定を行う層となる。

そして、Ｓ２においてＣＰＵ４１は、上述した学習モデルの危険判定ＣＮＮ５４の中間層において、前記Ｓ１で入力された撮像画像５１の撮像タイミングにおいて車両の周辺環境に生じている周辺状況（シーン）を認識する。例えば、図３に示すように中間層ではニューロンとして『手を振る人がいる』、『死角がある』、『コンビニがある』、『人通りが多い』、『前方車両あり』等が存在し、各ニューロンに対してニューロン値を特定することによってシーンの認識が行われる。ニューロン値は０から１までの間で特定され、ニューロン値が高いニューロンは周辺環境において重要な要素（特徴的な要素）となるシーンであり、一方でニューロン値が低いニューロンは、重要でない要素（特徴的でない要素）となるシーンであることを示す。例えば、図３に示す例では『手を振る人がいる』及び『死角がある』に対して高いニューロン値が特定されているので、車両の周辺環境において車両の近傍に手を振る人や死角が存在することを示しており、一方で『コンビニがある』、『人通りが多い』、『前方車両あり』に対して低いニューロン値が特定されているので、コンビニは車両周辺には存在せず、人通りは多くなく、前方車両もいないことを示している。尚、前記Ｓ２のシーンの認識結果は、認識した日時と紐付けてフラッシュメモリ４４等に一定期間保存される。

続いて、Ｓ３においてＣＰＵ４１は、過去の一定期間（例えば直近２０秒間）において前記Ｓ２で行われたシーンの認識結果をフラッシュメモリ４４から読み出す。そして、図４に示すように今回実施された前記Ｓ２において認識されたシーン（以下、最新シーンという）と、読み出された過去のシーン（以下、過去シーンという）とを比較することによって、最新シーンと過去シーンとの全体の類似の度合いを示す全体類似度を算出する。即ち、前記Ｓ３で算出される全体類似度は、車両の周辺環境において生じている危険因子は考慮せずに、周辺環境全体の類似性を判定した値となる。尚、過去シーンは過去の一定期間に認識された全てのシーンを対象としてＳ３の処理を実行する。

以下に前記Ｓ３の全体類似度の算出方法について説明する。
先ずＣＰＵ４１は、中間層に含む全てのニューロン毎に取得した最新シーンと過去シーンのニューロン値の差分を２乗し、全てのニューロンで合計する。その後、合計値を、中間層に含む全てのニューロンの数（Ｎ）で除した値を算出する。更に１から算出値を引いて１００を乗じた値を全体類似度（％）とする。例えば、図４に示す例では以下の式（１）〜（３）により算出される。
（０．９−０．８）^２+（０．８−０．９）^２+（０．０−０．０）^２+（０．１−０．２）^２＋・・・＝Ｘ_１・・・・（１）
Ｘ_１／Ｎ＝Ｘ_２・・・・（２）
（１．０−Ｘ_２）×１００＝全体類似度[％]・・・・（３）

その後、Ｓ４においてＣＰＵ４１は、前記Ｓ３で算出した全体類似度が全て閾値以下か否かを判定する。尚、閾値は適宜変更可能であるが例えば７０％とする。

そして、前記Ｓ３で算出した全体類似度が全て閾値以下であると判定された場合（Ｓ４：ＹＥＳ）、即ち車両の周辺環境において過去一定期間内に類似する周辺状況が生じていないと判定された場合については、Ｓ５へと移行する。

それに対して、前記Ｓ３で算出した全体類似度が閾値より大きい過去シーンがあると判定された場合（Ｓ４：ＮＯ）、即ち車両の周辺環境において過去一定期間内に類似する周辺状況が生じていると判定された場合については、運転者は過去の同様のシーンでの警告によって既に今回のシーンが危険であると予め認識できていると推定する。従って、危険因子判定の判定結果を出力することなく当該危険因子判定処理プログラムを終了する。

Ｓ５においてＣＰＵ４１は、上述した図３に示す学習モデルの危険判定ＣＮＮ５４の出力層において、中間層から入力された車両の周辺状況（シーン）に基づいて、危険因子の判定を行う。尚、危険判定ＣＮＮ５４は、学習が進むことによって、中間層と出力層との間のウェイト（重み係数）がより適した値に適宜変更されるので、同じシーンが中間層から入力された場合であっても学習段階が異なっていれば異なる判定結果となる場合がある。例えば、初期段階では歩行者を重視したウェイト（重み係数）の設定により危険因子の判定が行われていたが、その後、学習が進むことによって他車両が重視されるウェイト（重み係数）の設定へと変更される場合がある。その場合には、同じシーンであっても初期段階では危険因子が無いと判定されていたのに、後期段階では危険因子があると判定される可能性がある。

その後、Ｓ６においてＣＰＵ４１は、上記Ｓ５の危険因子の判定の結果、車両の周辺環境に少なくとも一以上の危険因子があるか否かを判定する。

そして、車両の周辺環境に危険因子があると判定された場合（Ｓ６：ＹＥＳ）には、Ｓ７へと移行する。それに対して、車両の周辺環境に危険因子がないと判定された場合（Ｓ６：ＮＯ）には、危険因子判定の判定結果を出力することなく当該危険因子判定処理プログラムを終了する。

Ｓ７においてＣＰＵ４１は、直近に行われた危険判定ＣＮＮ５４の危険因子の判定処理における中間層の各ニューロンのニューロン値と、中間層と出力層との間のウェイト（重み係数）を取得する。

その後、Ｓ８においてＣＰＵ４１は、過去の一定期間（例えば直近２０秒間）において前記Ｓ２で行われたシーンの認識結果をフラッシュメモリ４４から読み出す。そして、今回実施された前記Ｓ２において認識されたシーン（最新シーン）と、読み出された過去のシーン（過去シーン）について、特に前記Ｓ６の危険因子判定処理において車両周辺に存在すると判定された危険因子に対応するニューロンを比較することによって、最新シーンと過去シーンとの類似の度合いを示す特徴類似度を算出する。尚、前記Ｓ８で算出される特徴類似度は、前記Ｓ３と異なり、特に車両の周辺環境において生じている危険因子に関するシーンについての類似性（即ち、過去に類似する危険因子が生じているか）を判定した値となる。即ち、前記Ｓ８では、過去一定期間において周辺環境全体としては類似している状況が無かったとしても、類似する危険因子（例えば、交差点に歩行者がいる、交差道路から交差点に進入する他車両がある等）が生じている場合には、高い特徴類似度が算出される。尚、過去シーンは過去の一定期間に認識された全てのシーンを対象としてＳ８の処理を実行する。

以下に前記Ｓ８の特徴類似度の算出方法について説明する。
先ずＣＰＵ４１は、最新シーンと過去シーンについて、出力層との間のウェイト（重み係数）が閾値以上のニューロンのニューロン値を取得する。尚、中間層と出力層との間のウェイト（重み係数）は、出力層における危険因子の判定との結びつきを示すものであり、ウェイトが高いニューロンは危険因子の判定結果に強く影響する、即ち前記Ｓ６の危険因子判定処理において車両周辺に存在すると判定された危険因子と対応する（関係の強い）ニューロンとなる。ウェイトの閾値は例えば０．６とする。尚、ニューロン毎のウェイトの値は学習が進むにつれて適宜変更されるので、ウェイトが閾値以上のニューロンについても学習段階に応じて変化することとなる。例えば、図５に示す例では『手を振る人がいる』、『死角がある』、『コンビニがある』、『人通りが多い』が出力層との間のウェイト（重み係数）が閾値以上のニューロンとなる。

次に、ＣＰＵ４１は、ニューロン毎に取得したニューロン値の差分を２乗し、対象となる全てのニューロンで合計する。その後、合計値を、ニューロン値を取得したニューロンの数（図５に示す例では４）で除した値を算出する。更に１から算出値を引いて１００を乗じた値を特徴類似度（％）とする。例えば、図５に示す例では以下の式（４）〜（６）により算出される。
（０．９−０．８）^２+（０．８−０．９）^２+（０．０−０．０）^２+（０．１−０．２）^２＝０．０３・・・・（４）
０．０３／４＝０．００７５・・・・（５）
（１．０−０．００７５）×１００＝９９．２５（特徴類似度[％]）・・・・（６）

但し、前記Ｓ８で算出した特徴類似度は前記Ｓ３で算出した全体類似度に応じて補正しても良い。即ち、危険因子と関連する部分では強い類似性を示したとしても全体として類似していない場合には、特徴類似度を下げる補正を行っても良い。例えば、全体類似度が７０％より低い場合（例えば５０％）には、その差分（７０％−５０％＝２０％）を特徴類似度に乗じた値だけ特徴類似度を下げるようにしても良い。

また、危険因子と関連する部分では類似性が低かったとしても全体として高い類似性を示した場合には、特徴類似度を上げる補正を行っても良い。例えば、全体類似度が７０％より高い場合（例えば９０％）には、その差分（９０％−７０％＝２０％）を特徴類似度に乗じた値だけ特徴類似度を上げるようにしても良い。

次に、Ｓ９においてＣＰＵ４１は、前記Ｓ８で算出された過去シーン毎の特徴類似度の内、最も高い特徴類似度の値に基づいて、危険因子の判定結果の出力態様を選択する。具体的には、特徴類似度が高い場合には、車両の周辺環境において過去に類似する周辺状況における危険因子が生じていると判定される。従って、運転者は過去の同様のシーンでの警告によって既に今回のシーンが危険であると予め認識できている可能性が高いと推定し、特徴類似度が低い場合、即ち車両の周辺環境において過去に類似する周辺状況における危険因子が生じていない場合よりも簡易な出力態様とする。例えば、特徴類似度が７０％未満では液晶ディスプレイ１５による表示とスピーカ１６による音声を危険因子の出力態様として選択する。一方、特徴類似度が７０％以上では液晶ディスプレイ１５による表示のみを危険因子の出力態様として選択する。

その後、Ｓ１０においてＣＰＵ４１は、危険因子の判定結果を出力する。具体的には、前記Ｓ９で選択された出力態様によって行われる。例えば、前記Ｓ８で算出された特徴類似度が７０％未満の場合には、危険因子が存在することへの警告マークを液晶ディスプレイ１５に表示するとともに、「車両の前方に注意してください」との音声案内を行う。一方、前記Ｓ８で算出された特徴類似度が７０％以上の場合には、危険因子が存在することへの警告マークを液晶ディスプレイ１５に表示することのみ行う。

尚、危険因子がどのような種類のものであるかを機械学習によって判別できるのであれば、より具体的に危険因子を特定する案内（例えば「車両の前方死角にある交差道路に注意してください」）を行っても良い。また、危険因子の位置についても案内しても良い。一方、危険因子の出力としては車両制御を行っても良い。その場合には、例えば特徴類似度が７０％以上の場合には減速制御を行い、特徴類似度が７０％未満の場合にはより強い制御である停止制御を行っても良い。また、自動運転車両に対して適用することも可能である。その場合には、例えば危険因子を避ける走行経路を設定する等の制御が可能である。

以上詳細に説明した通り、本実施形態に係るナビゲーション装置１及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両の周辺環境を撮像した撮像画像を順次機械学習によって生成された学習モデルに入力することによって、入力した撮像画像の各撮像タイミングにおいて車両の周辺環境に生じている周辺状況を認識するとともに、認識された周辺状況に基づいて移動体の周辺環境にある危険因子を判定し（Ｓ５）、車両の周辺環境において過去に類似する周辺状況における危険因子が生じているか否かに基づいて出力態様を変更して危険因子の判定結果を出力する（Ｓ１０）ので、現在の車両の状況に応じたより正確な危険因子の判定を行うことが可能となる。また、危険因子の判定結果の出力の際にはユーザが危険であると予め認識できている状況では出力態様を変更することが可能であり、ユーザに煩わしさを感じさせることが無い。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では機械学習として特に多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いているが、その他の機械学習を用いることも可能である。

また、本実施形態では前記Ｓ４において車両の周辺環境において全体類似度が閾値以上の場合（Ｓ４：ＹＥＳ）については、危険因子の判定結果の出力を行わない構成としているが、危険因子の判定結果の出力を行っても良い。但し、出力態様は前記Ｓ１０と比較して簡易な態様とするのが望ましい。

また、本実施形態では危険因子判定処理プログラム（図２）はナビゲーション装置１が実施しているが、ナビゲーション装置以外の車載器が実施する構成としても良い。また、車載器が全ての処理を実施するのではなく、一部の処理を外部サーバが実施することとしても良い。

また、本発明に係る走行支援装置を具体化した実施例について上記に説明したが、走行支援装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
時間経過に伴って移動体の周辺環境を順次撮像した撮像画像（５１）を取得する周辺環境撮像手段（４１）と、取得した前記撮像画像を順次機械学習によって生成された学習モデルに入力することによって、入力した前記撮像画像の各撮像タイミングにおいて前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段（４１）と、前記危険因子判定手段の判定結果を出力する判定結果出力手段（４１）と、前記撮像画像の各撮像タイミングで認識された周辺状況を比較することによって、前記移動体の周辺環境において過去に類似する周辺状況における危険因子が生じているか否かを判定する類似判定手段（４１）と、を有し、前記判定結果出力手段は、前記類似判定手段の判定結果に応じて出力態様を変更する。
上記構成を有する走行支援装置によれば、時間経過に伴って周辺環境を撮像した撮像画像を順次機械学習によって生成された学習モデルに入力することによって、現在の移動体の状況に応じたより正確な危険因子の判定を行うことが可能となる。また、危険因子の判定結果の出力の際にはユーザが危険であると予め認識できている状況では出力態様を変更することが可能であり、ユーザに煩わしさを感じさせることが無い。

また、第２の構成は以下のとおりである。
前記機械学習は、多層構造のニューラルネットワークを用いた機械学習であって、前記類似判定手段（４１）は、中間層におけるニューロンの値を過去の撮像タイミングとの間で比較することによって、前記移動体の周辺環境において過去に類似する周辺状況における危険因子が生じているか否かを判定する。
上記構成を有する走行支援装置によれば、多層構造のニューラルネットワークを用いた機械学習によって、画像の特徴をより深いレベルで学習し、非常に高い精度で特徴を認識できるので、危険因子のより正確な判定が可能となる。また、中間層におけるニューロンの値を比較することによって、移動体の周辺環境において過去に類似する周辺状況が生じているか否かを正確に判定することが可能となる。

また、第３の構成は以下のとおりである。
前記類似判定手段（４１）は、中間層におけるニューロンの内、前記危険因子判定手段（４１）により判定された危険因子に対応するニューロンの値を、過去の撮像タイミングとの間で比較する。
上記構成を有する走行支援装置によれば、特に判定された危険因子と結びつきが強い要素との比較によって過去に類似する周辺状況が生じているか否かを判定するので、移動体の周辺環境において過去に類似する周辺状況が生じているか否かを正確に判定することが可能となる。

また、第４の構成は以下のとおりである。
前記類似判定手段（４１）は、中間層におけるニューロンの内、出力層との間の重み係数が閾値以上のニューロンを、前記危険因子判定手段により判定された危険因子に対応するニューロンとする。
上記構成を有する走行支援装置によれば、中間層におけるニューロンの内、特に判定された危険因子と結びつきが強いニューロンとの比較によって過去に類似する周辺状況が生じているか否かを判定するので、移動体の周辺環境において過去に類似する周辺状況が生じているか否かを正確に判定することが可能となる。

また、第５の構成は以下のとおりである。
前記類似判定手段（４１）は、中間層におけるニューロンの値を過去の撮像タイミングとの間で比較することによって、該過去の撮像タイミングで認識された周辺状況との類似度を算出し、算出された類似度が閾値以上の場合に、前記移動体の周辺環境において過去に類似する周辺状況における危険因子が生じていると判定する。
上記構成を有する走行支援装置によれば、ニューロン値の比較に基づいて算出された類似度を用いることによって、移動体の周辺環境において過去に類似する周辺状況が生じているか否かを正確に判定することが可能となる。

また、第６の構成は以下のとおりである。
前記判定結果出力手段（４１）は、前記移動体の周辺環境において過去に類似する周辺状況における危険因子が生じていると判定された場合には判定結果を出力しない、或いは前記移動体の周辺環境において過去に類似する周辺状況における危険因子が生じていないと判定された場合よりも簡易化して出力する。
上記構成を有する走行支援装置によれば、ユーザが現在の周辺状況を危険であると予め認識できている可能性の高い状況では危険因子の出力態様をより簡易な出力態様へと変更することにより、ユーザに煩わしさを感じさせることが無い。

１ ナビゲーション装置
１３ ナビゲーションＥＣＵ
１９ 車外カメラ
３１ 地図情報ＤＢ
３２ 撮像画像ＤＢ
３３ ２次元地図情報
３４ ３次元地図情報
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ 撮像画像
５２ 畳み込みＣＮＮ
５４ 危険判定ＣＮＮ

Claims (7)

1. 時間経過に伴って移動体の周辺環境を順次撮像した撮像画像を取得する周辺環境撮像手段と、
   取得した前記撮像画像を順次機械学習によって生成された学習モデルに入力することによって、入力した前記撮像画像の各撮像タイミングにおいて前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段と、
   前記危険因子判定手段の判定結果を出力する判定結果出力手段と、
   前記撮像画像の各撮像タイミングで認識された周辺状況を比較することによって、前記移動体の周辺環境において過去に類似する周辺状況における前記危険因子が生じているか否かを判定する類似判定手段と、を有し、
   前記判定結果出力手段は、前記類似判定手段の判定結果に応じて出力態様を変更する走行支援装置。
2. 前記機械学習は、多層構造のニューラルネットワークを用いた機械学習であって、
   前記類似判定手段は、中間層におけるニューロンの値を過去の撮像タイミングとの間で比較することによって、前記移動体の周辺環境において過去に類似する周辺状況における前記危険因子が生じているか否かを判定する請求項１に記載の走行支援装置。
3. 前記類似判定手段は、中間層におけるニューロンの内、前記危険因子判定手段により判定された危険因子に対応するニューロンの値を、過去の撮像タイミングとの間で比較する請求項２に記載の走行支援装置。
4. 前記類似判定手段は、中間層におけるニューロンの内、出力層との間の重み係数が閾値以上のニューロンを、前記危険因子判定手段により判定された危険因子に対応するニューロンとする請求項３に記載の走行支援装置。
5. 前記類似判定手段は、
   中間層におけるニューロンの値を過去の撮像タイミングとの間で比較することによって、該過去の撮像タイミングで認識された周辺状況との類似度を算出し、
   算出された類似度が閾値以上の場合に、前記移動体の周辺環境において過去に類似する周辺状況における前記危険因子が生じていると判定する請求項２乃至請求項４のいずれかに記載の走行支援装置。
6. 前記判定結果出力手段は、前記移動体の周辺環境において過去に類似する周辺状況における前記危険因子が生じていると判定された場合には判定結果を出力しない、或いは前記移動体の周辺環境において過去に類似する周辺状況における前記危険因子が生じていないと判定された場合よりも簡易化して出力する請求項１乃至請求項５のいずれかに記載の走行支援装置。
7. コンピュータを、
   時間経過に伴って移動体の周辺環境を順次撮像した撮像画像を取得する周辺環境撮像手段と、
   取得した前記撮像画像を順次機械学習によって生成された学習モデルに入力することによって、入力した前記撮像画像の各撮像タイミングにおいて前記移動体の周辺環境に生じている周辺状況を認識するとともに、認識された前記周辺状況に基づいて前記移動体の周辺環境にある危険因子を判定する危険因子判定手段と、
   前記危険因子判定手段の判定結果を出力する判定結果出力手段と、
   前記撮像画像の各撮像タイミングで認識された周辺状況を比較することによって、前記移動体の周辺環境において過去に類似する周辺状況における前記危険因子が生じているか否かを判定する類似判定手段と、して機能させる為のコンピュータプログラムであって、
   前記判定結果出力手段は、前記類似判定手段の判定結果に応じて出力態様を変更するコンピュータプログラム。