(実施形態1)
(1)概要
本実施形態に係るイベント予測システム1(図1参照)は、自動車等の移動体100(図1参照)の運転に関連するイベントの発生を予測するためのシステムである。本実施形態では、イベント予測システム1が適用される移動体100が自動車である場合を例に説明する。
ここでいう「イベント」は、例えば、移動体100の運転者が運転に際して危険と感じるような事象を意味する。この種の「イベント」には、例えば、車両同士の衝突、ガードレール等の構造物への車両の衝突、及び歩行者等と車両の接触等の事故、又は、事故には至らないものの事故に直結する可能性の高い事象(いわゆるヒヤリ・ハット)等がある。また、ここでいう「イベントの発生箇所」は、イベントが発生する箇所を意味しており、交差点又は横断歩道等のイベントが発生する場所(地点)、及び、移動体100の周辺の車両、歩行者、又は小動物等のイベントの対象となる特定の物体(部分)の両方を含む。
本実施形態に係るイベント予測システム1は、主として、運転者の死角になる対象物に起因したイベントの発生を予測する。この種のイベントの具体例として、路上駐車されている車両の陰からの歩行者の飛び出し、及び右折(又は左折)待ちの車両の陰からの直進する車両の出現等がある。運転者の視認可能な範囲外で発生するこの種のイベントは、「見えない危険」とも呼ばれる。移動体100の運転者は、通常、この種のイベント(見えない危険)については、移動体100の状況に基づいて、つまり移動体100がどのような状況に置かれているかに基づいて、自身の経験等に照らして予測を行っている。すなわち、一般的に、運転者は、様々なシチュエーションでの移動体100の運転を経験することにより、「見えない危険」を、ある程度予測できるようになる。そのため、運転者の運転の熟練度、運転のセンス、及び運転者の状態(運転者の精神状態等を含む)等によって、「見えない危険」の予見性は大きくばらつくことがある。
イベント予測システム1によれば、この種のイベント(見えない危険)が主として予測されるので、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。したがって、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。要するに、運転者の死角になる対象物に起因したイベントの発生についても予測可能なイベント予測システム1によれば、より安全な運転を実現するように、運転者による移動体100の運転を支援可能となる。
本実施形態に係るイベント予測システム1は、例えば、実際にイベントが発生した際の移動体100の状況を表す履歴情報等から機械学習アルゴリズムによって生成される予測モデルを用いて、イベントの発生を予測する。すなわち、移動体100の状況を表す履歴情報等から生成される予測モデルは、運転者の運転の経験に代えて、イベントの発生を予測可能にする。例えば、移動体100の周辺にどのような物体が存在し、移動体100の移動速度がどの程度で、移動体100がどのような場所を移動中か、といった移動体100の種々の状況からは、イベントの発生を予測することが可能である。
イベント予測システム1でのイベントの予測結果は、例えば、ヘッドアップディスプレイ(HUD:Head-Up Display)、及びマルチインフォメーションディスプレイ等に表示されることによって、運転者に報知されることが好ましい。これにより、運転者の死角になる対象物に起因したイベントの発生が予測される場合には、その旨が運転者に知らされることになり、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。
(2)構成
本実施形態に係るイベント予測システム1は、図1に示すように、移動体100(本実施形態では自動車)に実装された予測ブロック11と、クラウド200(クラウドコンピューティング)に実装された学習ブロック12と、を備えている。
また、イベント予測システム1は、移動体100に搭載された報知部13を更に備えている。また、イベント予測システム1は、移動体100に搭載されたADAS情報入力部14、車両情報入力部15、及び位置情報入力部16を更に備えている。
予測ブロック11と学習ブロック12とは、通信可能に構成されている。予測ブロック11は、移動体100に実装されているため、クラウド200に実装された学習ブロック12との通信は、例えば、通信事業者が提供する携帯電話網(キャリア網)、及びインターネット等の公衆回線網を介して行われる。携帯電話網には、例えば3G(第3世代)回線、LTE(Long Term Evolution)回線等がある。予測ブロック11は、学習ブロック12と、公衆無線LAN(Local Area Network)を介して通信可能に構成されていてもよい。
予測ブロック11は、座標予測部111と、モデル格納部112と、入力情報処理部113と、出力情報処理部114と、を有している。予測ブロック11は、例えば、CPU(Central Processing Unit)及びメモリを主構成とするコンピュータシステムにて構成されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータシステムが予測ブロック11として機能する。プログラムは、ここでは予測ブロック11のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
入力情報処理部113は、ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16に接続されており、移動体情報を取得する。ここでいう「移動体情報」は、移動体100の状況を表す情報である。本実施形態では、移動体情報は、移動体100の周辺の物体に関する情報(「ADAS情報」ともいう)と、移動体100の状態に関する情報(「車両情報」ともいう)と、移動体100の位置に関する情報(「位置情報」ともいう)と、の少なくとも1つを含む。ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16は、それぞれADAS情報、車両情報、及び位置情報の入力インタフェースである。そのため、入力情報処理部113には、ADAS情報入力部14からADAS情報が入力され、車両情報入力部15から車両情報が入力され、位置情報入力部16から位置情報が入力される。入力情報処理部113は、ADAS情報、車両情報、及び位置情報を、移動体情報として座標予測部111に出力する。さらに、入力情報処理部113は、ADAS情報、車両情報、及び位置情報を、後述する予測用情報又は履歴情報として座標予測部111に出力する。すなわち、本実施形態では、移動体情報、予測用情報、及び履歴情報の各々は、ADAS情報、車両情報、及び位置情報の全てを含む情報である。
ADAS情報は、先進運転支援システム(ADAS:Advanced Driver Assistance System)の検出部であるカメラ、ソナーセンサ、レーダ、及びLiDAR(Light Detection and Ranging)等にて検出可能な情報である。ADAS情報の具体例としては、移動体100の周辺を走行中の車両までの移動体100からの距離、この車両の移動体100に対する相対座標、複数の車両同士の車間距離、及びこれらの車両の相対速度等がある。ここで、ADAS情報における移動体100の周辺の物体は、移動体100の周辺にて走行中又は停車中の車両、ガードレール等の構造物の他、歩行者、及び小動物等を含んでいる。
車両情報は、移動体100自体のローカルな状態を表す情報であって、移動体100に搭載されたセンサにて検出可能な情報である。車両情報の具体例としては、移動体100の移動速度(走行速度)、移動体100にかかる加速度、アクセルペダルの踏込量(アクセル開度)、ブレーキペダルの踏込量、舵角、並びにドライバモニタで検出される運転者の脈拍、表情、及び視線等がある。更に、車幅、車高、全長、及びアイポイント等の、移動体100に固有のデータも、車両情報に含まれる。
位置情報は、移動体100の位置に基づく情報であって、自車位置における道路情報等、GPS(Global Positioning System)を用いて検出可能な情報である。位置情報の具体例としては、自車位置における道路の車線数、交差点か否か、丁字路か否か、一方通行か否か、車道幅、歩道の有無、勾配、及びカーブの曲率等がある。
ADAS情報、車両情報、及び位置情報の個々の具体例は、上述した例に限らない。例えば、ドライバモニタが、運転者の顔の向き、眠気レベル、及び感情等を検出可能である場合には、これらの情報(運転者の顔の向き、眠気レベル、及び感情等)も車両情報に含まれる。
座標予測部111は、イベントの発生箇所の移動体100に対する相対座標を予測する。ここでいう「相対座標」は、移動体100の位置を原点(基準点)とした場合の、移動体100の運転に関連するイベントの発生箇所の座標を意味する。本実施形態では一例として、移動体100の左右方向をX軸、移動体100の前後方向をY軸とするX−Y直交座標系を、イベントの発生箇所の移動体100に対する相対座標として適用する。移動体100から見て右方がX軸の「正」、移動体100から見て前方がY軸の「正」であると仮定する。移動体100は平面視において、ある程度の大きさ(面積)を有するので、厳密には、移動体100上の一点(例えば平面視における中心点)が原点(X,Y=0,0)に設定される。同様に、イベントの発生箇所も平面視において、ある程度の大きさ(面積)を有するので、厳密には、イベントの発生箇所上の一点(例えば平面視における中心点)の座標が相対座標となる。
つまり、移動体100を運転中における事故、又はヒヤリ・ハット等のイベントの発生が予測される場合、このイベントの発生が予測される箇所を「発生箇所」としたときの、移動体100から見た発生箇所の相対位置は相対座標によって表される。例えば、移動体100から見て左方に1〔m〕、前方に5〔m〕の箇所にてイベントの発生が予測される場合、イベントの発生箇所の移動体100に対する相対座標は「X,Y=−1,5」となる。
本実施形態では、座標予測部111は、予測モデルと、移動体100に関する予測用情報と、を用いて、イベントの発生箇所の移動体100に対する相対座標を予測するように構成されている。ここにおいて、予測用情報は、移動体100の状況を表す情報であって、入力情報処理部113が取得する移動体情報と同じ情報である。ここでいう「予測モデル」は、学習ブロック12にて、実際にイベントが発生した際の移動体100の状況を表す履歴情報等から機械学習アルゴリズムによって生成される学習済みモデルである。
さらに、座標予測部111は、予測した相対座標、及び移動体情報に基づいて、イベントの発生箇所を推定する。すなわち、座標予測部111は、イベントの発生箇所の移動体100に対する相対座標を予測すると、この相対座標と、入力情報処理部113が取得した移動体情報とに基づいて、発生が予測されるイベントの発生箇所の推定を行う。
一例として、座標予測部111は、移動体100の周辺に存在しており、相対座標が示す位置に存在する物体を、イベントの発生箇所として推定するように構成されている。「イベントの発生箇所」は、上述したように交差点又は横断歩道等のイベントが発生する場所、及び、移動体100の周辺の車両、歩行者、又は小動物等のイベントの対象となる特定の物体の両方を含むが、本実施形態では後者(特定の物体)を推定対象とする。座標予測部111の具体的な処理については、「(3.2)予測動作」の欄で説明する。
また、座標予測部111は、イベントが発生した際における移動体100の状況を表す履歴情報を、学習ブロック12に送信するように構成されている。ここでいう「履歴情報」は、移動体100の状況を表す情報であって、入力情報処理部113が取得する移動体情報(及び予測用情報)と同じ情報である。すなわち、履歴情報は、移動体100の周辺の物体に関する情報(ADAS情報)と、移動体100の状態に関する情報(車両情報)と、移動体100の位置に関する情報(位置情報)と、の少なくとも1つを含む。ただし、座標予測部111は、履歴情報を学習ブロック12に常時送信するのではなく、イベントが発生した場合にのみ、履歴情報を学習ブロック12に送信する。イベントの発生の有無は、ソナーセンサ、及びレーダ等の検知結果、エアバッグの動作状態、急ブレーキ及び急ハンドルの検知結果、又は、ドライバモニタで測定される運転者の脈拍、及び表情等にて検出可能である。つまり、予測ブロック11は、イベントの発生をトリガにして、例えば、イベントの発生時点の前後の数秒間の履歴情報を学習ブロック12に送信する。このとき、一定時間(例えば0.1秒)間隔で履歴情報が取得されている場合には、イベントの発生時点の前後の数秒間に取得された複数の履歴情報が、学習ブロック12にまとめて送信される。
ここにおいて、座標予測部111は、イベントの発生箇所の移動体100に対する相対座標を表すラベル情報を、履歴情報と共に学習ブロック12に送信する。ラベル情報が表す相対座標は、座標予測部111にて予測される相対座標とは異なり、イベントの発生が検出された場合における、実際のイベントの発生箇所の移動体100に対する相対座標である。複数の履歴情報が学習ブロック12にまとめて送信される場合には、ラベル情報は、複数の履歴情報の各々に対応付けられている。詳しくは後述するが、履歴情報及びラベル情報(相対座標)は、学習ブロック12において予測モデルの生成に用いられる。
モデル格納部112は、座標予測部111での相対座標の予測に使用される予測モデルを格納する。本実施形態では、予測ブロック11と学習ブロック12との間の通信により、学習ブロック12で生成された予測モデルは、学習ブロック12から予測ブロック11に送信(配信)され、モデル格納部112に格納(記憶)される。本実施形態では、モデル格納部112には、1つの予測モデルが格納されていることと仮定する。モデル格納部112は、学習ブロック12から新たな予測モデルを随時取得し、格納している予測モデルを随時更新する。ただし、モデル格納部112には、複数の予測モデルが格納されてもよい。
出力情報処理部114は、座標予測部111、及び報知部13に接続されている。出力情報処理部114には、座標予測部111でのイベントの予測結果が入力される。本実施形態では、相対座標から推定されるイベントの発生箇所が、イベントの予測結果として出力情報処理部114に入力される。出力情報処理部114は、座標予測部111でのイベントの予測結果(ここではイベントの発生箇所)を、報知部13に出力し、報知部13にて報知させる。本実施形態では、報知部13は、イベントの予測結果を表示することにより報知する表示部を有している。そのため、出力情報処理部114は、イベントの予測結果を、表示部にて表示可能な態様のデータとして報知部13に出力する。
報知部13は、相対座標から推定されるイベントの発生箇所を、イベントの予測結果として報知する。つまり、座標予測部111では相対座標からイベントの発生箇所が推定されるので、報知部13は、出力情報処理部114から、イベントの予測結果を受け取ることにより、イベントの発生箇所を報知(本実施形態では表示)する。本実施形態では、報知部13は、3D−HUD131、2D−HUD132、メータ133、及びマルチインフォメーションディスプレイ134を、表示部の一例として有している。3D−HUD131及び2D−HUD132は、移動体100のウインドシールドに下方(ダッシュボード)から画像を投影することで、ウインドシールドで反射された画像を運転者に視認させる。特に、3D−HUD131は、移動体100の前方の路面上に奥行きをもって視認される画像を投影可能である。報知部13での具体的な表示態様については、「(3.2)予測動作」の欄で説明する。
学習ブロック12は、蓄積部121と、生成部122と、を有している。学習ブロック12は、例えば、CPU及びメモリを主構成とするコンピュータシステムにて構成されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータシステムが学習ブロック12として機能する。プログラムは、ここでは学習ブロック12のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
蓄積部121は、イベントが発生した際における移動体100の状況を表す履歴情報を含む複数の学習用データを蓄積する。本実施形態では、座標予測部111から学習ブロック12に送信される、ラベル情報(相対座標)が、履歴情報と共に学習用データとして蓄積部121に蓄積される。つまり、蓄積部121に蓄積される複数の学習用データの各々は、イベントが発生した際における履歴情報と、イベントの発生箇所の移動体100に対する相対座標を表すラベル情報と、を含んでいる。
このように、蓄積部121には、イベントの発生をトリガにして、相対座標を表すラベル情報が付加された状態の履歴情報が、学習用データとして蓄積される。学習用データは、イベントが発生する度に蓄積部121に蓄積され、蓄積部121には複数の学習用データが蓄積される。ここで、蓄積部121に蓄積された複数の学習用データは、生成部122での予測モデルの生成に用いられる学習用データセットである。つまり、複数の学習用データは、履歴情報にアノテーション処理が施されることにより、生成部122での機械学習に適した形に加工された学習用データセットを構成する。
生成部122は、複数の学習用データを用いて、予測モデルを生成する。生成部122は、一定量以上の学習用データを用いて、機械学習アルゴリズムによって予測モデルを生成する。予測モデルは、上述したように、座標予測部111にてイベントの発生箇所の移動体100に対する相対座標を予測するために使用される学習済みモデルである。生成部122で生成された予測モデルは、学習ブロック12から予測ブロック11に送信され、モデル格納部112に格納される。ここで、生成部122は、予測モデルの評価用のサンプルを有しており、予測モデルの評価が向上する度に、予測モデルを予測ブロック11に送信し、モデル格納部112に格納されている予測モデルを更新する。
(3)動作
次に、本実施形態に係るイベント予測システム1の動作について説明する。
(3.1)学習動作
まず、学習ブロック12での予測モデルの生成に係るイベント予測システム1の動作について、図2に示すフローチャートを参照して説明する。
学習ブロック12は、予測ブロック11でのイベントの発生をトリガにして、予測ブロック11から履歴情報を取得する(S11)。さらに、このとき、学習ブロック12は、履歴情報に対応付けられたラベル情報(相対座標)を、履歴情報と併せて取得する。学習ブロック12は、取得したラベル情報を、履歴情報に付加するアノテーション処理を行う(S12)。学習ブロック12は、このようにして得られる、相対座標を表すラベル情報が付加された履歴情報を学習用データとし、この学習用データを、蓄積部121に蓄積する(S13)。
学習ブロック12は、蓄積された学習用データの増加量を表す値(例えばビット数)を蓄積データ増加量とし、蓄積データ増加量と所定値Qとを比較する(S14)。蓄積データ増加量が所定値Q以上であれば(S14:Yes)、学習ブロック12は、生成部122にて予測モデルを生成する(S15)。このとき、生成部122は、蓄積部121に蓄積されている複数の学習用データを用いて、機械学習アルゴリズムによって予測モデルを生成する。生成部122で生成された予測モデルは、学習ブロック12から予測ブロック11に送信され、モデル格納部112に格納される。一方、蓄積データ増加量が所定値Q未満であれば(S14:No)、イベント予測システム1は、ステップS15を飛ばして、学習ブロック12での一連の処理を終了する。
イベント予測システム1は、上記ステップS11〜S15の処理を、予測ブロック11にてイベントが発生する度に繰り返し行うことで、予測モデルを生成する。そして、学習ブロック12は、予測モデルの評価が向上する度に、予測モデルを予測ブロック11に送信し、モデル格納部112に格納されている予測モデルを更新する。
また、学習ブロック12は、イベント予測システム1の運用開始時においては、蓄積部121に予め複数の学習用データを蓄積しておくことにより、予測ブロック11から履歴情報を取得しなくても、予測モデルを生成可能に構成されていることが好ましい。予測モデルについても同様であって、イベント予測システム1の運用開始時においては、学習ブロック12及びモデル格納部112に、予めデフォルトの予測モデルが格納されていることが好ましい。
(3.2)予測動作
次に、予測ブロック11でのイベントの発生箇所の推定に係るイベント予測システム1の動作について、図3に示すフローチャートを参照して説明する。
予測ブロック11は、座標予測部111にて予測用情報を取得する(S21)。このとき、ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16から入力情報処理部113に入力されるADAS情報、車両情報、及び位置情報が、予測用情報として座標予測部111に入力される。予測ブロック11は、取得した予測用情報、及びモデル格納部112に格納されている予測モデルを用いて、座標予測部111にてイベントの発生箇所の移動体100に対する相対座標の予測を行う(S22)。ここで、予測用情報から特定される移動体100の状況が、例えば、移動体100から見て左方に1〔m〕、前方に5〔m〕の箇所にてイベントが発生する可能性が高いと判断されるような状況にあれば、相対座標は「X,Y=−1,5」と予測される。予測用情報の取得(S21)及び相対座標の予測(S22)は、一定時間(例えば0.1秒)間隔で随時実行される。
予測ブロック11は、予測した相対座標が示す位置までの移動体100からの距離を算出し、この距離と規定距離D(例えば70m)とを比較する(S23)。相対座標が示す位置までの移動体100からの距離が規定距離D以下であれば(S23:Yes)、予測ブロック11は、イベントの発生箇所を推定するための処理を開始する。具体的には、予測ブロック11は、座標予測部111にて、移動体100の状況を表す移動体情報を取得する(S24)。このとき、座標予測部111は、ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16から入力情報処理部113に入力されるADAS情報、車両情報、及び位置情報を、予測用情報として取得する。
その後、予測ブロック11は、座標予測部111にて、相対座標及び移動体情報に基づいて、イベントの発生箇所を推定する推定処理(S25)を実行する。このとき、座標予測部111は、相対座標及び移動体情報に基づいて、移動体100の周辺に存在しており、相対座標が示す位置に存在する物体を、イベントの発生箇所として推定する。具体的には、座標予測部111は、予測した相対座標と、移動体情報に含まれるADAS情報、及び位置情報等の情報とを用いて、イベントの発生箇所を推定する。
一例として、図4に示すような状況での、座標予測部111によるイベントの発生箇所の推定処理について説明する。図4は、移動体100の運転者の視野を示す概念図である。図4の例では、移動体100(自車)が走行中の走行車線501、及び対向車線502の各々が2車線の直線道路を想定している。この例において、移動体100の左前方の走行車線501の路肩には、駐車中のトラック301が存在する。移動体100からトラック301までの距離は66〔m〕であると仮定する。
この場合において、相対座標が「X,Y=−3,66」であるとする。そうすると、ADAS情報に含まれる車間距離、相対速度等の情報から、座標予測部111は、移動体100から見て左方に3〔m〕、前方に66〔m〕の位置に、停車中のトラック301が存在することを特定できる。この場合、座標予測部111は、イベントの対象がトラック301であると判断し、このトラック301をイベントの発生箇所と推定する。このように、座標予測部111は、移動体100の周辺に存在しており、相対座標が示す位置に存在する物体を(ここではトラック301)を、イベントの発生箇所として推定する。
座標予測部111での推定処理(S25)が終わると、イベント予測システム1は、座標予測部111で推定されたイベントの発生箇所を、報知部13にて報知する(S26)。図4の例では、3D−HUD131により、イベントの発生箇所として推定されたトラック301の周囲に、マーカ401(ドットハッチングで示す領域)を表示する。これにより、運転者においては、トラック301の周囲に、立体的なマーカ401が重ねて表示されて見えるため、トラック301への注意が喚起される。すなわち、運転者の視界においては、実空間上に3D−HUD131が表示するマーカ401が合成された、拡張現実(AR:Augmented Reality)表示が実現される。
これにより、運転者は、運転者の死角となるトラック301の陰からの歩行者、又は自転車等の飛び出しのように「見えない危険」が潜んでいることを確認できる。このように、本実施形態に係るイベント予測システム1によれば、より安全な運転を実現するように、運転者による移動体100の運転を支援可能である。
一方、予測された相対座標が示す位置までの移動体100からの距離が規定距離Dより大きければ(S23:No)、イベント予測システム1は、ステップS24〜S26を飛ばして、予測ブロック11での一連の処理を終了する。
イベント予測システム1は、上記ステップS21〜S26の処理を、一定時間(例えば0.1秒)間隔で繰り返し行うことで、イベントの発生箇所を推定する。そして、イベント予測システム1は、相対座標が示す位置までの移動体100からの距離が規定距離D以下となる度に(S23:Yes)、イベントの発生箇所を推定し、報知を行う。
また、予測ブロック11でのイベントの発生箇所の推定に係るイベント予測システム1の動作は、図3に示す例に限らない。例えば、移動体情報として、予測用情報と完全に同一の情報を用いる場合には、移動体情報の取得(S24)は省略されてもよい。
(4)補足事項
以下に、本実施形態に係るイベント予測システム1にて予測が可能なイベント(見えない危険)の例を幾つか挙げる。ここでは、イベント予測システム1は、移動体100(自車)を含めて、上方から俯瞰したような画像において、イベントの発生箇所を表示することと仮定する。
まず、図5A、図5B、及び図5Cは、対象物(ここでは停車中のトラック)の陰から、自転車、車両、又は歩行者等が飛び出し得る状況を示している。
図5Aの例では、移動体100である自車300Aが走行中の走行車線501A、及び対向車線502Aの各々が1車線であって、対向車線502Aの路肩に、駐車中の複数台のトラック301A,302A,303Aが存在する。さらに、対向車線502A側の歩道503Aからは、トラック302Aとトラック303Aとの間を通って、自転車304Aが走行車線501Aを横断しようとしている。図5Aのような状況では、イベント予測システム1は、例えば、複数台のトラック301A,302A,303Aの車間距離等の情報から、駐車中の複数台のトラック301A,302A,303Aの周辺に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、駐車中の複数台のトラック301A,302A,303Aの周囲の領域にマーカ401Aを表示する。図5Aに例示するような状況は、複数台のトラック301A,302A,303Aが駐車中である場合に限らず、例えば、複数台のトラック301A,302A,303Aが渋滞により、停車又は極低速で走行している場合等にも生じ得る。
図5Bの例では、移動体100である自車300Bが走行中の走行車線501B、及び対向車線502Bの各々が2車線である。ここで、信号機504Bが赤信号であるため、走行車線501Bにおける自車300Bの左前方には、停車中(信号待ち)の複数台のトラック301B,302Bが存在する。さらに、対向車線502Bには走行中のトラック303Bが存在する。この場合において、走行車線501B側の歩道503B上の駐車スペース505Bからは、トラック301Bとトラック302Bとの間を通って、車両304Bが対向車線502Bに出ようとしている。図5Bのような状況では、イベント予測システム1は、例えば、複数台のトラック301B,302Bの車間距離、信号機504B等の情報から、停車中のトラック301Bの周辺に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、停車中のトラック301Bの周囲の領域にマーカ401Bを表示する。
図5Cの例では、移動体100である自車300Cが走行中の走行車線501C、及び対向車線502Cの各々が1車線であって、走行車線501Cの路肩に、駐車中のトラック301Cが存在する。この場合において、トラック301Cの前方の横断歩道504Cを、対向車線502C側の歩道503Cに向けて、歩行者302Cが横断中である。図5Cのような状況では、イベント予測システム1は、例えば、トラック301Cの移動速度、横断歩道504C等の情報から、駐車中のトラック301Cの周辺に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、駐車中のトラック301Cの周囲の領域にマーカ401Cを表示する。
また、図6A、図6B、及び図6Cは、対象物(ここではトラック)により生じる死角に車両が存在する状況を示している。
図6Aの例では、移動体100である自車300Dが走行中の走行車線501D、及び対向車線502Dの各々が1車線であって、自車300Dの前方の交差点には、左方から右折してくるトラック301Dが存在する。さらに、対向車線502Dには、同交差点内で右折待ちの車両302Dが存在する。図6Aのような状況では、イベント予測システム1は、例えば、トラック301D及び車両302D等の情報から、トラック301Dにて生じる死角に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、トラック301Dにより生じる死角領域にマーカ401Dを表示する。
図6Bの例では、移動体100である自車300Eが走行中の走行車線501E、及び対向車線502Eの各々が2車線であって、自車300Eの前方の交差点には、走行車線501Eにて右折待ちの複数台のトラック301E,302E,303Eが存在する。さらに、対向車線502Eには、同交差点内で右折待ちの車両304Eが存在する。図6Bのような状況では、イベント予測システム1は、例えば、複数台のトラック301E,302E,303E及び車両304E等の情報から、複数台のトラック301E,302E,303Eにより生じる死角に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、複数台のトラック301E,302E,303Eにより生じる死角領域にマーカ401Eを表示する。
図6Cの例では、移動体100である自車300Fが走行中の走行車線501F、及び対向車線502Fの各々が2車線であって、自車300Fは交差点内で右折待ちをしている。さらに、同交差点には、対向車線502Fにて右折待ちの複数台のトラック301F,302F,303Fが存在する。さらに、対向車線502Fには、直進中の車両304Fが存在する。図6Cのような状況では、イベント予測システム1は、例えば、先頭のトラック301F及び車両304F等の情報から、先頭のトラック301Fにより生じる死角に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、トラック301Fにより生じる死角領域にマーカ401Fを表示する。
(5)変形例
実施形態1は、本発明の様々な実施形態の一つに過ぎない。実施形態1は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。また、イベント予測システム1と同様の機能は、イベント予測方法、コンピュータプログラム、又はプログラムを記憶した記憶媒体等で具現化されてもよい。一態様に係るイベント予測方法は、移動体100の運転に関連するイベントが発生した際における移動体100の状況を表す履歴情報を含む複数の学習用データを蓄積し、複数の学習用データを用いて、予測モデルを生成するイベント予測方法である。予測モデルは、イベントの発生箇所の移動体100に対する相対座標を予測するためのモデルである。複数の学習用データの各々は、イベントの発生箇所の移動体100に対する相対座標を表すラベル情報を更に含む。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、蓄積処理と、生成処理と、を実行させるためのプログラムである。蓄積処理は、移動体100の運転に関連するイベントが発生した際における移動体100の状況を表す履歴情報を含む複数の学習用データを蓄積する処理である。生成処理は、複数の学習用データを用いて、イベントの発生箇所の移動体100に対する相対座標を予測するための予測モデルを生成する処理である。複数の学習用データの各々は、イベントの発生箇所の移動体100に対する相対座標を表すラベル情報を更に含む。
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
イベントの発生箇所の推定結果は、報知部13から報知される構成に限らず、例えば、移動体100を制御する車両制御システムに出力されてもよい。この場合、車両制御システムが、イベントの発生箇所の推定結果に応じて、ブレーキ、アクセル、ステアリング等を操作することにより、イベントの発生前に予め減速したり、イベントの発生箇所を回避したりすることができる。これにより、車両制御システムにて、自動運転(完全自動運転、及び一部自動運転の両方を含む)が実現可能となる。
また、イベント予測システム1は、イベントの発生箇所の移動体100に対する相対座標を予測するための予測モデルを生成する機能があればよく、予測モデルから相対座標を予測する機能についてはイベント予測システム1に必須の機能ではない。そのため、イベント予測システム1は、例えば、イベントの発生箇所の移動体100に対する相対座標を予測モデルから予測するための他のシステムに、予測モデルを提供するように構成されていてもよい。すなわち、予測モデルを用いて相対座標を予測する座標予測部111等については、イベント予測システム1に必須の構成ではない。
また、座標予測部111がラベル情報を学習ブロック12に送信する構成に限らず、予測ブロック11における座標予測部111以外の部位が、ラベル情報を学習ブロック12に送信してもよい。さらに、ラベル情報としての相対座標は、移動体100に設けられた予測ブロック11側で、履歴情報に付加されていてもよい。この場合、学習ブロック12は、予測ブロック11から受信したラベル情報付きの履歴情報を、随時、蓄積部121に蓄積する。また、予測ブロック11から学習ブロック12にラベル情報が送信される構成に限らず、学習ブロック12において、予測ブロック11から受信した履歴情報を用いて、ラベル情報を生成してもよい。この場合、ラベル情報の生成、及びラベル情報の履歴情報への付加は、いずれも学習ブロック12において実行されることになる。
また、実施形態1に係るイベント予測システム1は、移動体100とクラウド200とに分離したシステムで具現化されることに限らない。例えば、イベント予測システム1は1つの筐体に収納されていてもよいし、移動体100又はクラウド200に集約されてもよい。例えば、イベント予測システム1が移動体100に集約されている場合、イベント予測システム1は、移動体100において、スタンドアローンで予測モデルの生成をも行うことができる。この場合、例えば、移動体100に組み込まれているEEPROM(Electrically Erasable and Programmable Read-Only Memory)及びECU(Electronic Control Unit)がそれぞれ蓄積部及び生成部として機能する。イベント予測システム1の各構成要素(蓄積部121、生成部122、及び座標予測部111等)は、2つ以上の装置に分散して設けられてもよい。例えば、生成部122が、移動体100とクラウド200とに分散して設けられてもよい。
また、学習ブロック12は、学習用データとなる履歴情報を、1台の移動体100から取得する構成に限らず、複数台の移動体100から取得(収集)してもよい。この場合、学習ブロック12は、複数台の移動体100から取得した履歴情報等を用いて予測モデルを生成し、生成した予測モデルを、複数台の移動体100に送信する。特に、学習ブロック12が多数台の移動体100から学習用データとなる履歴情報を収集する場合、収集された履歴情報の集合は、いわゆるビッグデータを構成する。
また、学習ブロック12は、例えば自動車の販売及びメンテナンス等を行う店舗に設置されていてもよい。この場合、学習ブロック12は、店舗でメンテナンスを受ける複数台の移動体100から、履歴情報を取得することができる。学習ブロック12で生成された予測モデルは、移動体100のメンテナンス時に予測ブロック11に送信される。これにより、移動体100では、メンテナンスの際に予測モデルの更新が可能となる。さらに、学習ブロック12は、例えば、複数の店舗を管理する販売会社又はメーカ等のサーバ装置で具現化されてもよい。この場合、学習ブロック12は、複数の店舗から収集した履歴情報を一元管理でき、これらの履歴情報を用いて予測モデルを生成できる。
また、予測用情報は、移動体100の状況を表す情報であればよく、入力情報処理部113が取得する移動体情報と同じ情報でなくてもよい。例えば、予測用情報における車両情報に含まれている移動体100の移動速度を、移動体情報においては、位置情報から算出される移動速度で代用してもよい。同様に、履歴情報は、移動体100の状況を表す情報であればよく、入力情報処理部113が取得する移動体情報と同じでなくてもよい。
また、報知部13は、3D−HUD131にて拡張現実表示を行う構成に限らず、2D−HUD132、メータ133、又はマルチインフォメーションディスプレイ134等にて、例えば、テキスト表示、又はアニメーション表示を行ってもよい。また、報知部13は、カーナビゲーションシステムのディスプレイ等に、フロントカメラで撮影されたリアルタイムの映像にマーカを合成した映像を表示することで、拡張現実表示を行ってもよい。さらに、報知部13は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末からなる表示部を有していてもよい。
また、報知部13は、イベントの発生箇所を表示することにより報知する構成に限らず、例えば、音声、ハプティックデバイス、又はこれらと表示との組み合わせにより、イベントの発生箇所を報知する構成であってもよい。さらに、報知部13による報知の対象は移動体100の運転者に限らず、例えば、灯具類の点灯、又はクラクション等により、移動体100の後続車、及び移動体100の周辺の歩行者等に対して、報知部13が報知してもよい。
また、座標予測部111による推定及び報知部13による報知を実行するか否かは、例えば、運転者の状態(精神状態を含む)等に基づいて、切り替わってもよい。例えば、運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合、運転者は、イベントの発生の可能性に気付きにくくなることがある。そこで、例えば、車両情報に含まれる、移動体100にかかる加速度、及びドライバモニタの検出結果から、通常時よりも運転者の運転が荒い場合に、座標予測部111による推定を実行するように構成されてもよい。また、例えば、ドライバモニタの検出結果から、運転者がイベントの発生の可能性に気付いていないと判断される場合に、報知部13にて報知を実行するように構成されてもよい。さらに、運転者の状態等に基づいて、報知部13による報知を行うレベルを変化させてもよい。
また、座標予測部111は、移動体100の周辺に存在しており、相対座標が示す位置に存在する物体を、イベントの発生箇所として推定する構成に限らず、交差点又は横断歩道等のイベントが発生する場所を、イベントの発生箇所として推定してもよい。
また、イベントの発生箇所の移動体100に対する相対座標は、二次元直交座標系に限らず、例えば、極座標系であってもよいし、移動体100の高さ方向(鉛直方向)をZ軸として加えた三次元座標系であってもよい。
また、報知部13は、相対座標に基づいて、イベントの予測結果を報知する構成であればよく、相対座標から推定されるイベントの発生箇所を、イベントの予測結果として報知する構成に限らない。例えば、報知部13は、予測した相対座標が示す位置までの移動体100からの距離が規定距離D以下であるときに単にアラートを出したり、この距離を報知したりする構成であってもよい。さらに、報知部13は、相対座標、及び移動体情報等から予測される、イベントの発生時点までの所要時間を報知してもよい。
また、イベント予測システム1で予測されるイベントは、運転者の死角になる対象物に起因したイベント(見えない危険)に限らない。イベント予測システム1は、例えば、事故が多発している地点、トンネルの出口及び入口付近、及び急カーブ等、移動体100の状況に依らずに予測可能なイベントの発生箇所を予測してもよい。
また、イベント予測システム1は、車両と車両との間(車車間)、又は車両と信号機及び道路標識等のインフラ(infrastructure)との間(路車間)で、直接的に通信する、いわゆるV2X(Vehicle to Everything)の通信技術を利用してもよい。V2Xの通信技術によれば、例えば、座標予測部111での相対座標の予測に用いられる予測用情報等を、移動体100が、周辺の車両又はインフラから取得することが可能になる。さらに、報知部13の代わりに、インフラにてイベントの発生箇所を報知させることも可能になる。インフラにてイベントの発生箇所の推定等も行われてもよく、この場合、移動体100には、イベント予測システム1が搭載されなくてもよい。
また、イベント予測システム1は、自動車に限らず、例えば、二輪車、電車、航空機、ドローン、建設機械、及び船舶等、自動車以外の移動体にも適用可能である。さらに、イベント予測システム1は、移動体に限らず、例えば、アミューズメント施設で用いられてもよいし、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。
(実施形態2)
本実施形態に係るイベント予測システム1は、座標予測部111が移動体100を運転する運転者の属性ごとに異なる予測モデルを用いる点で、実施形態1に係るイベント予測システム1と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
すなわち、実施形態1では、座標予測部111は、万人に共通の予測モデルを用いて相対座標を予測しているが、本実施形態では、座標予測部111は、運転者の属性ごとに異なる予測モデルを用いて、相対座標を予測する。ここでいう「運転者の属性」は、運転者の年齢、性別、及び運転の癖(アクセル及びブレーキの踏み方等)等を含む。
本実施形態においては、学習ブロック12は、学習用データとなる履歴情報を複数の運転者から取得する。生成部122は、運転者の属性ごとに予測モデルを生成する。生成部122は、一例として、レコメンドアルゴリズム等で用いられる協調フィルタリングのアルゴリズムを適用し、機械学習を行うことによって、運転者の属性ごとの予測モデルを生成する。
このようにして生成された複数種類の予測モデルの中から、移動体100ごとに、適用する(モデル格納部112に格納する)予測モデルが選択される。つまり、予測ブロック11は、移動体100の運転者の属性に応じて、取得する予測モデルを決定する。これにより、座標予測部111は、運転者の属性ごとに異なる予測モデルを用いて相対座標を予測できる。
本実施形態に係るイベント予測システム1によれば、万人に共通の予測モデルを用いる場合に比べて、座標予測部111での相対座標の予測精度が向上する。
実施形態2の変形例に係るイベント予測システム1では、1台の移動体100において複数の予測モデルが使い分けられる。すなわち、1台の移動体100を家族で共用している場合、又はカーシェアリング等においては、1台の移動体100を複数の運転者が運転する。本変形例によれば、このような場合に、1台の移動体100であっても、運転者ごとに異なる予測モデルが適用可能である。具体的には、運転者が変わる度に、予測ブロック11が運転者の属性に応じた予測モデルを学習ブロック12から取得する。又は、モデル格納部112に複数の予測モデルを格納し、これら複数の予測モデルから、座標予測部111が運転者の属性に応じて使用する予測モデルを選択してもよい。
実施形態2に係るイベント予測システム1の構成(変形例を含む)は、実施形態1(変形例を含む)の構成と適宜組み合わせ可能である。
上記各実施形態で示した図面は、イベント予測システム1の一例を説明するための概念図に過ぎず、実際の態様とは、各部の形状、サイズ、及び位置関係等が適宜異なる。
(まとめ)
以上説明したように、第1の態様に係るイベント予測システム(1)は、蓄積部(121)と、生成部(122)と、を備える。蓄積部(121)は、移動体(100)の運転に関連するイベントが発生した際における移動体(100)の状況を表す履歴情報を含む複数の学習用データを蓄積する。生成部(122)は、複数の学習用データを用いて、イベントの発生箇所の移動体(100)に対する相対座標を予測するための予測モデルを生成する。複数の学習用データの各々は、イベントの発生箇所の移動体(100)に対する相対座標を表すラベル情報を更に含む。
この構成によれば、イベントの発生箇所の移動体(100)に対する相対座標を予測するための予測モデルが生成される。この予測モデルを用いることで、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。そのため、イベント予測システム(1)によれば、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。その結果、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。
第2の態様に係るイベント予測システム(1)は、第1の態様において、履歴情報は、移動体(100)の周辺の物体に関する情報と、移動体(100)の状態に関する情報と、移動体(100)の位置に関する情報と、の少なくとも1つを含む。
この構成によれば、イベント予測システム(1)は、ADAS情報、車両情報、位置情報の少なくとも1つを用いて、相対座標を予測するための予測モデルを生成するため、予測モデルの生成に係る処理負荷を比較的小さく抑えることができる。
第3の態様に係るイベント予測システム(1)は、第1又は2の態様において、予測モデルと、移動体(100)に関する予測用情報と、を用いて、イベントの発生箇所の移動体(100)に対する相対座標を予測する座標予測部(111)を更に備える。
この構成によれば、イベント予測システム(1)にて相対座標が予測されるので、イベント予測システム(1)から外部に予測モデルを与える必要がなく、イベントの発生を予測するための処理をイベント予測システム(1)のみで完結可能である。
第4の態様に係るイベント予測システム(1)は、第3の態様において、座標予測部(111)で予測された相対座標に基づいて、イベントの予測結果を報知する報知部(13)を更に備える。
この構成によれば、イベントの予測結果が報知されるので、運転者等においては、イベントの発生に注意して運転すること等が可能となる。
第5の態様に係るイベント予測システム(1)は、第4の態様において、報知部(13)は、相対座標から推定されるイベントの発生箇所を、イベントの予測結果として報知するように構成されている。
この構成によれば、相対座標から推定されるイベントの発生箇所が報知されるので、運転者等においては、イベントの発生箇所に注意して運転すること等が可能となる。
第6の態様に係るイベント予測システム(1)は、第4又は5の態様において、報知部(13)は、イベントの予測結果を表示することにより報知する表示部を有する。
この構成によれば、イベントの予測結果が表示により報知されるので、運転者等においては、イベントの発生箇所の特定が容易になる。
第7の態様に係るイベント予測システム(1)は、第3〜6のいずれかの態様において、座標予測部(111)は、移動体(100)を運転する運転者の属性ごとに異なる予測モデルを用いるように構成されている。
この構成によれば、万人に共通の予測モデルを用いる場合に比べて、座標予測部(111)での相対座標の予測精度が向上する。
第8の態様に係るイベント予測システム(1)は、イベントの発生箇所を予測する座標予測部(111)を備える。座標予測部(111)は、移動体(100)に関する予測用情報と、移動体(100)の運転に関連するイベントの発生箇所の移動体(100)に対する相対座標を予測するための予測モデルと、を用いて、イベントの発生箇所を予測する。
この構成によれば、予測モデルを用いることで、イベントの発生箇所の移動体(100)に対する相対座標を予測することが可能になる。したがって、イベント予測システム(1)では、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。
第9の態様に係るイベント予測方法は、移動体(100)の運転に関連するイベントが発生した際における移動体(100)の状況を表す履歴情報を含む複数の学習用データを蓄積し、複数の学習用データを用いて、予測モデルを生成するイベント予測方法である。予測モデルは、イベントの発生箇所の移動体(100)に対する相対座標を予測するためのモデルである。複数の学習用データの各々は、イベントの発生箇所の移動体(100)に対する相対座標を表すラベル情報を更に含む。
この態様によれば、イベントの発生箇所の移動体(100)に対する相対座標を予測するための予測モデルが生成される。この予測モデルを用いることで、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。そのため、イベント予測方法によれば、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。その結果、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。
第10の態様に係るプログラムは、コンピュータシステムに、蓄積処理と、生成処理と、を実行させるためのプログラムである。蓄積処理は、移動体(100)の運転に関連するイベントが発生した際における移動体(100)の状況を表す履歴情報を含む複数の学習用データを蓄積する。生成処理は、複数の学習用データを用いて、イベントの発生箇所の移動体(100)に対する相対座標を予測するための予測モデルを生成する。複数の学習用データの各々は、イベントの発生箇所の移動体(100)に対する相対座標を表すラベル情報を更に含む。
この態様によれば、イベントの発生箇所の移動体(100)に対する相対座標を予測するための予測モデルが生成される。この予測モデルを用いることで、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。そのため、このプログラムでは、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。その結果、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。
第11の態様に係る移動体(100)は、第1〜8のいずれかの態様に係るイベント予測システム(1)を備える。
この構成によれば、移動体(100)において、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。
上記態様に限らず、実施形態1及び実施形態2に係るイベント予測システム1の種々の構成(変形例を含む)は、イベント予測方法、及び(コンピュータ)プログラムで具現化可能である。
第2〜第8の態様に係る構成については、イベント予測システム(1)に必須の構成ではなく、適宜省略可能である。