JP2022181640A - 路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラム - Google Patents

Abstract

【課題】音による路面状態判定の精度を向上させる。
【解決手段】路面状態判定装置は、車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定して得られた時系列データを解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成し、生成した解析データを、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得し、取得した識別結果を参照して、前記路面状態を判定する制御部を備える。
【選択図】図４

Description

本開示は、路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラムに関する。

特許文献１には、車両に搭載され、路面状態を判定する装置が開示されている。この装置は、車両位置と地図情報とに基づいて路面の舗装種別を検出し、舗装種別と走行音とに対応する第１の路面状態を判定し、舗装種別と路面画像とに対応する第２の路面状態を判定し、第１の路面状態又は第２の路面状態を他の装置に出力する。

特許文献２には、走行中の車両から発せられた音を評価する装置が開示されている。この装置は、音に基づく時間波形データを取得し、時間波形データの一部に基づき、時間軸、周波数軸、及び信号強度を示す評価画像を生成する。そして、この装置は、過去の評価画像と過去の評価画像に紐付けられた参照データとの間における連関性が記憶された参照データベースを参照し、生成した評価画像に対する評価結果を導出する。

特開２００７－３０９８３２号公報 特開２０２０－１０１４４７号公報

従来の装置は、音による路面状態判定を高精度に行うことができない。

本開示の目的は、音による路面状態判定の精度を向上させることである。

本開示の一態様としての路面状態判定装置は、車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定して得られた時系列データを解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成し、生成した解析データを、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得し、取得した識別結果を参照して、前記路面状態を判定する制御部を備える。
本態様によれば、音による路面状態判定の精度が向上する。

本開示の一実施形態として、前記制御部は、前記識別モデルから取得した識別結果である第１識別結果とは別に、前記道路を前記車両に取り付けられた画像センサにより撮像して得られた画像データに基づいて、前記路面状態の識別結果である第２識別結果を取得し、取得した第１識別結果及び第２識別結果を参照して、前記路面状態を判定する。
本実施形態によれば、路面状態判定の精度が更に向上する。

本開示の一実施形態として、前記画像データは、前記道路の第１地点から第２地点までの路面画像を含み、前記制御部は、前記車両が前記第１地点を通過した第１時点から前記車両が前記第２地点を通過した第２時点までのデータを前記時系列データから抽出し、抽出したデータを解析して前記解析データを生成する。
本実施形態によれば、解析データを画像データと同期させることができる。

本開示の一実施形態として、前記第１識別結果及び前記第２識別結果は、それぞれ前記路面状態が複数のクラスのそれぞれに該当する確率を含み、前記制御部は、前記第１識別結果及び前記第２識別結果に含まれる確率を比較することで、前記路面状態が該当するクラスを判定する。
本実施形態によれば、音による識別の結果と、画像による識別の結果とのうち、より信頼できそうな結果を採用することができる。

本開示の一実施形態として、前記制御部は、前記音が測定されたときの気象を示す気象データを取得し、取得した気象データに基づいて、前記第１識別結果及び前記第２識別結果のそれぞれに含まれる確率にクラスごとの重み付けを行う。
本実施形態によれば、路面状態判定の精度が更に向上する。

本開示の一実施形態として、前記制御部は、前記音が測定された時間帯に応じて、前記第１識別結果及び前記第２識別結果のそれぞれに重み付けを行う。
本実施形態によれば、音による識別の結果と、画像による識別の結果とのうち、より時間帯に適した結果を採用することができる。

本開示の一実施形態として、前記制御部は、前記音が測定されたときの外気温に応じて、前記第１識別結果及び前記第２識別結果のそれぞれに重み付けを行う。
本実施形態によれば、音による識別の結果と、画像による識別の結果とのうち、より外気温に適した結果を採用することができる。

本開示の一実施形態として、前記制御部は、外部環境に起因する情報に応じて、前記第１識別結果及び前記第２識別結果に重み付けを行う。
本実施形態によれば、路面状態判定の精度が更に向上する。

本開示の一実施形態として、前記制御部は、ある範囲の周波数のデータを前記時系列データから抽出し、抽出したデータを解析して前記解析データを生成する。
本実施形態によれば、音による路面状態判定の精度が更に向上する。

本開示の一実施形態として、前記制御部は、ある範囲の信号強度のデータを前記時系列データから抽出し、抽出したデータを解析して前記解析データを生成する。
本実施形態によれば、音による路面状態判定の精度が更に向上する。

本開示の一実施形態として、前記識別モデルは、機械学習を行った学習済みモデルを含む。
本実施形態によれば、多くのデータを識別モデルに学習させることで、音による路面状態判定の精度を向上させることができる。

本開示の一実施形態として、前記解析データは、スペクトログラム又はスカログラムを含む。
本実施形態によれば、音による路面状態判定の効率が向上する。

本開示の一態様としての路面状態判定システムは、前記路面状態判定装置と、前記音センサとを備える。
本態様によれば、音による路面状態判定の精度が向上する。

本開示の一態様としての車両は、前記路面状態判定システムを備える。
本態様によれば、音による路面状態判定を車両で行うことができる。

本開示の一態様としての路面状態判定方法は、車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定し、前記測定結果として得られた時系列データをコンピュータにより解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成し、前記解析データを、前記コンピュータにより、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得し、前記識別結果を前記コンピュータにより参照して、前記路面状態を判定する、というものである。
本態様によれば、音による路面状態判定の精度が向上する。

本開示の一態様としてのプログラムは、車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定して得られた時系列データを解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成する処理と、前記解析データを、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得する処理と、前記識別結果を参照して、前記路面状態を判定する処理とをコンピュータに実行させる。
本態様によれば、音による路面状態判定の精度が向上する。

本開示によれば、音による路面状態判定の精度が向上する。

本開示の実施形態に係る路面状態判定システムの構成を示す図である。 本開示の実施形態に係る路面状態判定の手順を示す図である。 本開示の実施形態に係る解析データの例を示す図である。 本開示の実施形態に係る路面状態判定装置の構成を示すブロック図である。 本開示の実施形態に係る路面状態判定システムの動作を示すフローチャートである。 本開示の実施形態に係る路面状態判定装置の動作を示すフローチャートである。 本開示の実施形態に係る路面状態判定装置の動作を示すフローチャートである。

以下、本開示の一実施形態について、図を参照して説明する。

各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

図１を参照して、本実施形態に係る路面状態判定システム１０の構成を説明する。

路面状態判定システム１０は、路面状態判定装置２０と、画像センサ３０と、音センサ４０とを備える。

路面状態判定装置２０は、コンピュータである。路面状態判定装置２０は、本実施形態ではＰＣであるが、スマートフォン若しくはタブレットなどのモバイル機器、クラウドコンピューティングシステム若しくはその他のコンピューティングシステムに属するサーバ機器、又は専用機器であってもよい。「ＰＣ」は、personal computerの略語である。

画像センサ３０は、道路１１を走行する車両５０に取り付けられる。具体的には、画像センサ３０は、車両５０の前方を撮像できるように、車両５０の前方に向けてダッシュボード上又はバックミラー近傍に取り付けられる。画像センサ３０は、例えば、ＣＭＯＳセンサ、ＣＣＤセンサ、又はこれらのいずれかを内蔵したカメラである。「ＣＭＯＳ」は、complementary metal oxide semiconductorの略語である。「ＣＣＤ」は、charge coupled deviceの略語である。画像センサ３０は後方を撮像できるようにしてもよい。

音センサ４０も、車両５０に取り付けられる。具体的には、音センサ４０は、車両５０のタイヤから発生する音を測定できるようにタイヤ近傍に取り付けられる。音センサ４０は、本実施形態では前輪近傍に取り付けられるが、後輪近傍に取り付けられてもよい。音センサ４０は、例えば、マイクロフォンである。

車両５０は、例えば、ガソリン車、ディーゼル車、ＨＶ、ＰＨＶ、ＥＶ、又はＦＣＶなどの任意の種類の自動車である。「ＨＶ」は、hybrid vehicleの略語である。「ＰＨＶ」は、plug-in hybrid vehicleの略語である。「ＥＶ」は、electric vehicleの略語である。「ＦＣＶ」は、fuel cell vehicleの略語である。

図１、図２、及び図３を参照して、本実施形態の概要を説明する。

音センサ４０は、車両５０が道路１１を走行しているときに発生する音を測定する。路面状態判定装置２０は、測定結果として得られた時系列データ６１を解析して、図３に示すような解析データ６３を生成する。解析データ６３は、周波数成分ごとの信号強度の経時変化を示すデータである。路面状態判定装置２０は、生成した解析データ６３に基づいて、道路１１の路面状態の識別結果である第１識別結果を取得する。具体的には、路面状態判定装置２０は、解析データ６３を第１識別モデル７１に入力することで、第１識別結果を第１識別モデル７１から取得する。路面状態判定装置２０は、取得した第１識別結果を参照して、路面状態を判定する。したがって、本実施形態によれば、音による路面状態判定の精度が向上する。図３の解析データ６３は、同じ路面であっても走行速度によって変化するため、識別結果を取得する際には走行速度を一定範囲内に統一するか、又は走行速度によって補正を行うのが好ましい。

第１識別モデル７１は、路面状態を識別するための任意の識別モデルでよいが、本実施形態では、機械学習を行った学習済みモデルを含む。例えば、過去に音センサ４０により得られた時系列データを解析して過去の解析データを生成し、この解析データに実際の路面状態をラベルとして紐付けることで、機械学習用の教師データを作成することができる。そして、この教師データを用いて、ニューラルネットワーク又はディープラーニングなど、既知の機械学習アルゴリズムによる機械学習を行うことで、第１識別モデル７１としての学習済みモデルを生成することができる。本実施形態によれば、多くのデータを第１識別モデル７１に学習させることで、音による路面状態判定の精度を向上させることができる。

本実施形態では、第１識別モデル７１は、第１識別結果として、ラベルごとの確率を出力する。ラベルごとの確率とは、路面状態が各ラベルに対応するクラスに該当する確率のことである。すなわち、本実施形態では、第１識別結果は、路面状態が複数のクラスのそれぞれに該当する確率を含む。

本実施形態では、複数のクラスとして、「乾燥」、「半湿」、「潤湿」、「シャーベット」、「積雪」、「圧雪」、及び「凍結」という７つのクラスが定義されるが、これら７つのクラスの代わりに、「乾燥」、「半湿」、「潤湿」、「シャーベット」、及び「雪」の５つのクラスなど、任意の２つ以上のクラスが定義されてよい。

解析データ６３は、本実施形態ではスペクトログラムを含むが、スカログラムなど、別の周波数解析の手法を用いて生成された画像、又は任意の周波数解析の手法を用いて生成された、画像以外の形式のデータを含んでもよい。図３は、解析データ６３の例として、第１スペクトログラム６４、第２スペクトログラム６５、及び第３スペクトログラム６６を示している。各スペクトログラムにおいて、横軸は時間軸、縦軸は周波数軸、色の濃淡は信号強度を表している。第１スペクトログラム６４は、車両５０が半湿状態の路面を走行しているときに発生した音のスペクトログラムの例である。第２スペクトログラム６５は、車両５０が潤湿状態の路面を走行しているときに発生した音のスペクトログラムの例である。第３スペクトログラム６６は、車両５０がシャーベット状態の路面を走行しているときに発生した音のスペクトログラムの例である。

画像センサ３０は、道路１１を撮像する。路面状態判定装置２０は、第１識別結果とは別に、撮像画像として得られた画像データ６２に基づいて、道路１１の路面状態の識別結果である第２識別結果を取得する。具体的には、路面状態判定装置２０は、画像データ６２を第２識別モデル７２に入力することで、第２識別結果を第２識別モデル７２から取得する。路面状態判定装置２０は、第１識別結果だけでなく、取得した第２識別結果も参照して、路面状態を判定する。したがって、本実施形態によれば、路面状態判定の精度が更に向上する。

第２識別モデル７２は、路面状態を識別するための任意の識別モデルでよいが、本実施形態では、機械学習を行った学習済みモデルを含む。例えば、過去に画像センサ３０により得られた画像データに実際の路面状態をラベルとして紐付けることで、機械学習用の教師データを作成することができる。そして、この教師データを用いて、ニューラルネットワーク又はディープラーニングなど、既知の機械学習アルゴリズムによる機械学習を行うことで、第２識別モデル７２としての学習済みモデルを生成することができる。本実施形態によれば、多くのデータを第２識別モデル７２に学習させることで、画像による路面状態判定の精度を向上させることができる。

本実施形態では、第２識別モデル７２は、第２識別結果として、ラベルごとの確率を出力する。すなわち、本実施形態では、第２識別結果は、第１識別結果と同じように、路面状態が複数のクラスのそれぞれに該当する確率を含む。

図４を参照して、本実施形態に係る路面状態判定装置２０の構成を説明する。

路面状態判定装置２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５とを備える。

制御部２１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部２１は、路面状態判定装置２０の各部を制御しながら、路面状態判定装置２０の動作に関わる処理を実行する。

記憶部２２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２には、路面状態判定装置２０の動作に用いられるデータと、路面状態判定装置２０の動作によって得られたデータとが記憶される。

通信部２３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェース、ＬＴＥ、４Ｇ規格、若しくは５Ｇ規格などの移動通信規格に対応したインタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。「ＬＡＮ」は、local area networkの略語である。「ＬＴＥ」は、Long Term Evolutionの略語である。「４Ｇ」は、4th generationの略語である。「５Ｇ」は、5th generationの略語である。通信部２３は、路面状態判定装置２０の動作に用いられるデータを受信し、また路面状態判定装置２０の動作によって得られるデータを送信する。

入力部２４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、カメラ、又はマイクロフォンである。入力部２４は、路面状態判定装置２０の動作に用いられるデータを入力する操作を受け付ける。入力部２４は、路面状態判定装置２０に備えられる代わりに、外部の入力機器として路面状態判定装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。「ＵＳＢ」は、Universal Serial Busの略語である。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。

出力部２５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。出力部２５は、路面状態判定装置２０の動作によって得られるデータを出力する。出力部２５は、路面状態判定装置２０に備えられる代わりに、外部の出力機器として路面状態判定装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。

路面状態判定装置２０の機能は、本実施形態に係るプログラムを、制御部２１としてのプロセッサで実行することにより実現される。すなわち、路面状態判定装置２０の機能は、ソフトウェアにより実現される。プログラムは、路面状態判定装置２０の動作をコンピュータに実行させることで、コンピュータを路面状態判定装置２０として機能させる。すなわち、コンピュータは、プログラムに従って路面状態判定装置２０の動作を実行することにより路面状態判定装置２０として機能する。

プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムは、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

路面状態判定装置２０の一部又は全ての機能が、制御部２１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、路面状態判定装置２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。

図５を参照して、本実施形態に係る路面状態判定システム１０の動作を説明する。この動作は、本実施形態に係る路面状態判定方法に相当する。

ステップＳ１において、画像センサ３０は、道路１１を撮像する。撮像画像として得られた画像データ６２は、車両５０に搭載されたフラッシュメモリ又は磁気記録装置などの媒体に記憶されるか、又は車両５０に搭載された通信機により、インターネットなどのネットワークを介して外部に送信される。道路１１が撮像されるのと略同時に、音センサ４０は、車両５０が道路１１を走行しているときに発生する音を測定する。測定結果として得られた時系列データ６１は、画像データ６２と同じように、車両５０に搭載された媒体に記憶されるか、又は車両５０に搭載された通信機により、ネットワークを介して外部に送信される。

ステップＳ２において、路面状態判定装置２０の制御部２１は、ステップＳ１で得られた時系列データ６１を解析して、周波数成分ごとの信号強度の経時変化を示す解析データ６３を生成する。この処理は、任意の手順で実行されてよいが、本実施形態では、図６に示すような手順で実行される。

図６のステップＳ２０１において、制御部２１は、通信部２３、又はＵＳＢなどの規格に対応した他のインタフェースを介して、ステップＳ１で車両５０に搭載された媒体に記憶された時系列データ６１を取得する。あるいは、制御部２１は、通信部２３を介して、ステップＳ１で車両５０に搭載された通信機により送信された時系列データ６１を受信することで、時系列データ６１を取得する。

図６のステップＳ２０２において、制御部２１は、ある範囲の周波数のデータを、ステップＳ２０１で取得した時系列データ６１から抽出するとともに、ある範囲の信号強度のデータを時系列データ６１から抽出する。すなわち、制御部２１は、一定範囲の周波数、かつ一定範囲の信号強度のデータを時系列データ６１から抽出する。周波数の範囲は、１ｋＨｚ以上２０ｋＨｚ以下が好ましい。信号強度の範囲は、４０ｄＢ以上６０ｄＢ以下が好ましい。すなわち、制御部２１は、１ｋＨｚ以上２０ｋＨｚ以下の周波数、かつ４０ｄＢ以上６０ｄＢ以下の信号強度のデータを時系列データ６１から抽出することが好ましい。

図６のステップＳ２０３において、制御部２１は、ステップＳ２０２で抽出したデータを解析して解析データ６３を生成する。具体的には、制御部２１は、ステップＳ２０２で抽出したデータの周波数解析を行ってスペクトログラムを生成する。

ステップＳ３において、路面状態判定装置２０の制御部２１は、ステップＳ２で生成した解析データ６３に基づいて第１識別結果を取得する。具体的には、制御部２１は、解析データ６３を、道路１１の路面状態を識別するための第１識別モデル７１に入力することで、路面状態の識別結果を第１識別結果として第１識別モデル７１から取得する。本実施形態では、第１識別結果は、路面状態が「乾燥」、「半湿」、「潤湿」、「シャーベット」、「積雪」、「圧雪」、及び「凍結」という７つのクラスのそれぞれに該当する確率を含む。

ステップＳ４において、路面状態判定装置２０の制御部２１は、ステップＳ１で得られた画像データ６２に基づいて第２識別結果を取得する。具体的には、制御部２１は、通信部２３、又はＵＳＢなどの規格に対応した他のインタフェースを介して、ステップＳ１で車両５０に搭載された媒体に記憶された画像データ６２を取得する。あるいは、制御部２１は、通信部２３を介して、ステップＳ１で車両５０に搭載された通信機により送信された画像データ６２を受信することで、画像データ６２を取得する。制御部２１は、路面画像を、取得した画像データ６２から抽出する。路面画像を抽出する方法としては、固定ピクセル数の領域を路面画像として切り出す方法、画像解析を行って認識された路面領域を路面画像として切り出す方法、又は機械学習を用いて識別された路面領域を路面画像として切り出す方法など、任意の方法が用いられてよい。路面画像が車線ごとに切り出されてもよい。制御部２１は、抽出した路面画像を、道路１１の路面状態を識別するための第２識別モデル７２に入力することで、路面状態の識別結果を第２識別結果として第２識別モデル７２から取得する。本実施形態では、第２識別結果は、第１識別結果と同じように、路面状態が「乾燥」、「半湿」、「潤湿」、「シャーベット」、「積雪」、「圧雪」、及び「凍結」という７つのクラスのそれぞれに該当する確率を含む。

ステップＳ５において、路面状態判定装置２０の制御部２１は、ステップＳ３及びステップＳ４でそれぞれ取得した第１識別結果及び第２識別結果を参照して、路面状態を判定する。この処理は、任意の手順で実行されてよいが、本実施形態では、図７に示すような手順で実行される。

図７のステップＳ５０１において、制御部２１は、ステップＳ１で音が測定された時間帯に応じて、第１識別結果及び第２識別結果のそれぞれに重み付けを行う。例えば、制御部２１は、時間帯が、画像による路面状態判定の精度が落ちやすい夜間であれば、第１識別結果に含まれる確率への重み付けを、第２識別結果に含まれる確率への重み付けよりも大きくする。制御部２１は、時間帯が、画像による路面状態判定の精度が上がりやすい昼間であれば、第２識別結果に含まれる確率への重み付けを、第１識別結果に含まれる確率への重み付けと同じか、又は第１識別結果に含まれる確率への重み付けよりも大きくする。

図７のステップＳ５０２において、制御部２１は、ステップＳ１で音が測定されたときの外気温に応じて、第１識別結果及び第２識別結果のそれぞれに重み付けを行う。例えば、制御部２１は、外気温が、ブラックアイスバーンが生じるほど低ければ、第１識別結果に含まれる確率への重み付けを、第２識別結果に含まれる確率への重み付けよりも大きくする。制御部２１は、外気温が、ブラックアイスバーンが生じないほど高ければ、第２識別結果に含まれる確率への重み付けを、第１識別結果に含まれる確率への重み付けと同じか、又は第１識別結果に含まれる確率への重み付けよりも大きくする。

図７のステップＳ５０３において、制御部２１は、ステップＳ５０１及びステップＳ５０２でそれぞれ重み付けされた第１識別結果及び第２識別結果に含まれる確率を比較することで、路面状態が該当するクラスを判定する。例えば、制御部２１は、第１識別結果及び第２識別結果において確率が全体で最も高いクラスを、路面状態が該当するクラスとして判定する。仮に第１識別結果に含まれる「乾燥」、「半湿」、及び「潤湿」の確率がそれぞれ１０％、８０％、及び１０％であり、第２識別結果に含まれる「乾燥」、「半湿」、及び「潤湿」の確率がそれぞれ５０％、３０％、及び２０％であったとする。その場合、第１識別結果に含まれる「半湿」の確率が全体で最も高いため、制御部２１は、路面状態が半湿状態であると判定する。あるいは、制御部２１は、第１識別結果及び第２識別結果において確率の平均が最も高いクラスを、路面状態が該当するクラスとして判定してもよい。仮に第１識別結果に含まれる「乾燥」、「半湿」、及び「潤湿」の確率がそれぞれ３０％、４０％、及び３０％であり、第２識別結果に含まれる「乾燥」、「半湿」、及び「潤湿」の確率がそれぞれ５０％、３０％、及び２０％であったとする。その場合、「乾燥」の確率の平均が最も高いため、制御部２１は、路面状態が乾燥状態であると判定する。

上述のように、本実施形態では、路面状態判定装置２０の制御部２１は、車両５０が道路１１を走行しているときに発生する音を車両５０に取り付けられた音センサ４０により測定して得られた時系列データ６１を解析して、周波数成分ごとの信号強度の経時変化を示す解析データ６３を生成する。制御部２１は、生成した解析データ６３を、道路１１の路面状態を識別するための第１識別モデル７１に入力することで、路面状態の識別結果を第１識別モデル７１から取得する。制御部２１は、取得した識別結果を参照して、路面状態を判定する。したがって、本実施形態によれば、音による路面状態判定の精度が向上する。

本実施形態では、路面状態判定装置２０の制御部２１は、第１識別モデル７１から取得した識別結果である第１識別結果とは別に、道路１１を車両５０に取り付けられた画像センサ３０により撮像して得られた画像データ６２に基づいて、路面状態の識別結果である第２識別結果を取得する。制御部２１は、取得した第１識別結果及び第２識別結果を参照して、路面状態を判定する。したがって、本実施形態によれば、路面状態判定の精度が更に向上する。

本実施形態の一変形例として、解析データ６３を画像データ６２と同期させてもよい。そのような変形例において、画像データ６２が、道路１１の第１地点から第２地点までの路面画像を含むとする。図６のステップＳ２０２において、路面状態判定装置２０の制御部２１は、車両５０が第１地点を通過した第１時点から車両５０が第２地点を通過した第２時点までのデータを時系列データ６１から抽出する。この変形例によれば、ある時点の時間方向前後に幅を持ったデータである解析データ６３について、その幅を路面画像に含まれる道路１１の区間の長さと合わせることができる。すなわち、時間軸での同期をとることができる。

本実施形態の一変形例として、天気予報などの気象情報を反映してもよい。そのような変形例において、路面状態判定装置２０の制御部２１は、音が測定されたときの気象を示す気象データを取得する。制御部２１は、取得した気象データに基づいて、第１識別結果及び第２識別結果のそれぞれに含まれる確率にクラスごとの重み付けを行う。この変形例によれば、路面状態判定の精度が更に向上する。

気象情報は、外部環境に起因する情報の一例である。図７のステップＳ５０１で参照される時間帯情報、及び図７のステップＳ５０２で参照される外気温情報も、それぞれ外部環境に起因する情報の一例である。外部環境に起因する情報として、気象情報、時間帯情報、及び外気温情報とは別の情報を反映してもよい。すなわち、路面状態判定装置２０の制御部２１は、気象情報、時間帯情報、及び外気温情報とは別の、外部環境に起因する情報に応じて重み付けを行ってもよい。

本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

例えば、路面状態判定装置２０は、車載機器であってもよい。すなわち、車両５０は、路面状態判定システム１０を備えていてもよい。この例によれば、音による路面状態判定を車両５０で行うことができる。

例えば、画像センサ３０は、省略されてもよい。そのような例において、路面状態判定装置２０の制御部２１は、第２識別結果を参照せずに、路面状態を判定する。あるいは、画像センサ３０の代わりに加速度センサ又は赤外線センサを音センサ４０と組み合わせて路面状態を判定してもよい。

例えば、ステップＳ１からステップＳ５の一連の処理は、１００メートルなど、車両５０が走行する一定距離の区間ごとに実行されてもよい。あるいは、ステップＳ１の処理が区間ごとに実行された後、各区間で得られたデータについて、ステップＳ２からステップＳ５の一連の処理が実行されてもよい。あるいは、ステップＳ１からステップＳ５の一連の処理は、一定時間ごとに実行されてもよい。

例えば、図７のステップＳ５０１、ステップＳ５０２、又はこれらの両方の処理が省略されてもよい。

本開示は、路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラムに関する。

１０：路面状態判定システム、 １１：道路、 ２０：路面状態判定装置、 ２１：制御部、 ２２：記憶部、 ２３：通信部、 ２４：入力部、 ２５：出力部、 ３０：画像センサ、 ４０：音センサ、 ５０：車両、 ６１：時系列データ、 ６２：画像データ、 ６３：解析データ、 ６４：第１スペクトログラム、 ６５：第２スペクトログラム、 ６６：第３スペクトログラム、 ７１：第１識別モデル、 ７２：第２識別モデル

Claims (16)

1. 車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定して得られた時系列データを解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成し、生成した解析データを、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得し、取得した識別結果を参照して、前記路面状態を判定する制御部を備える路面状態判定装置。
2. 前記制御部は、前記識別モデルから取得した識別結果である第１識別結果とは別に、前記道路を前記車両に取り付けられた画像センサにより撮像して得られた画像データに基づいて、前記路面状態の識別結果である第２識別結果を取得し、取得した第１識別結果及び第２識別結果を参照して、前記路面状態を判定する請求項１に記載の路面状態判定装置。
3. 前記画像データは、前記道路の第１地点から第２地点までの路面画像を含み、
   前記制御部は、前記車両が前記第１地点を通過した第１時点から前記車両が前記第２地点を通過した第２時点までのデータを前記時系列データから抽出し、抽出したデータを解析して前記解析データを生成する請求項２に記載の路面状態判定装置。
4. 前記第１識別結果及び前記第２識別結果は、それぞれ前記路面状態が複数のクラスのそれぞれに該当する確率を含み、
   前記制御部は、前記第１識別結果及び前記第２識別結果に含まれる確率を比較することで、前記路面状態が該当するクラスを判定する請求項２又は請求項３に記載の路面状態判定装置。
5. 前記制御部は、前記音が測定されたときの気象を示す気象データを取得し、取得した気象データに基づいて、前記第１識別結果及び前記第２識別結果のそれぞれに含まれる確率にクラスごとの重み付けを行う請求項４に記載の路面状態判定装置。
6. 前記制御部は、前記音が測定された時間帯に応じて、前記第１識別結果及び前記第２識別結果のそれぞれに重み付けを行う請求項２から請求項５のいずれか１項に記載の路面状態判定装置。
7. 前記制御部は、前記音が測定されたときの外気温に応じて、前記第１識別結果及び前記第２識別結果のそれぞれに重み付けを行う請求項２から請求項６のいずれか１項に記載の路面状態判定装置。
8. 前記制御部は、外部環境に起因する情報に応じて、前記第１識別結果及び前記第２識別結果に重み付けを行う請求項２から請求項７のいずれか１項に記載の路面状態判定装置。
9. 前記制御部は、ある範囲の周波数のデータを前記時系列データから抽出し、抽出したデータを解析して前記解析データを生成する請求項１から請求項８のいずれか１項に記載の路面状態判定装置。
10. 前記制御部は、ある範囲の信号強度のデータを前記時系列データから抽出し、抽出したデータを解析して前記解析データを生成する請求項１から請求項９のいずれか１項に記載の路面状態判定装置。
11. 前記識別モデルは、機械学習を行った学習済みモデルを含む請求項１から請求項１０のいずれか１項に記載の路面状態判定装置。
12. 前記解析データは、スペクトログラム又はスカログラムを含む請求項１から請求項１１のいずれか１項に記載の路面状態判定装置。
13. 請求項１から請求項１２のいずれか１項に記載の路面状態判定装置と、
    前記音センサと
    を備える路面状態判定システム。
14. 請求項１３に記載の路面状態判定システムを備える車両。
15. 車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定し、
    測定結果として得られた時系列データをコンピュータにより解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成し、
    前記解析データを、前記コンピュータにより、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得し、
    前記識別結果を前記コンピュータにより参照して、前記路面状態を判定する路面状態判定方法。
16. 車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定して得られた時系列データを解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成する処理と、
    前記解析データを、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得する処理と、
    前記識別結果を参照して、前記路面状態を判定する処理と
    をコンピュータに実行させるプログラム。

Images