[go: up one dir, main page]

JP2024118248A - 事故検出装置、事故検出方法及び学習器の生成方法 - Google Patents

事故検出装置、事故検出方法及び学習器の生成方法 Download PDF

Info

Publication number
JP2024118248A
JP2024118248A JP2023024587A JP2023024587A JP2024118248A JP 2024118248 A JP2024118248 A JP 2024118248A JP 2023024587 A JP2023024587 A JP 2023024587A JP 2023024587 A JP2023024587 A JP 2023024587A JP 2024118248 A JP2024118248 A JP 2024118248A
Authority
JP
Japan
Prior art keywords
accident
vehicle
minor
learning device
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023024587A
Other languages
English (en)
Inventor
賢健 和田
Masatake Wada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2023024587A priority Critical patent/JP2024118248A/ja
Publication of JP2024118248A publication Critical patent/JP2024118248A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Figure 2024118248000001
【課題】車両の小さな事故を検出することが可能な技術を提供すること。
【解決手段】事故検出装置5は、学習器29と音取得部25と事故情報取得部27とを備える。学習器29は、車両3が損傷する事故であって当該車両3が走行可能な事故である小さな事故と、小さな事故が発生した場合に車両3の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器である。音取得部25は、乗員が発する音声を取得するように構成されている。事故情報取得部27は、学習器29に、音取得部25にて取得した乗員の音声を入力し、学習器29の演算処理を実施することにより、小さな事故の発生の可能性を示す情報を取得するように構成されている。
【選択図】図2

Description

本開示は、車両に発生した小さな事故を検出することができる技術に関する。
従来、車両に発生した音を利用して、車両に発生した異常を検出する装置が知られている。例えば、下記特許文献1には、車両を利用する際に通常発生する音を記録しておき、音センサで検出した音が、所定値を超える大音量の場合や、通常の音とは異なる周波数パターンの場合には、車両に何らの異常が発生したと判断する技術が開示されている。
特開2011-095880号公報
しかしながら、発明者の詳細な検討の結果、従来の技術について、下記のような課題が見出された。
例えば、車体を擦ったような小さな音などは、車両が通常発生する音にまぎれてしまうことがある。そのため、例えば、車体を擦ったような小さな事故は、上述した従来技術では検出することが難しいことがあった。
本開示の一局面は、車両において、小さな事故を検出することが可能な技術を提供することを目的としている。
a)本開示の一態様は、学習器(29)と音取得部(25)と事故情報取得部(27)とを備えた事故検出装置(5)に関するものである。
学習器は、車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、小さな事故が発生した場合に車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器である。
音取得部は、乗員が発する音声を取得するように構成されている。
事故情報取得部は、学習器に、音取得部にて取得した乗員の音声を入力し、学習器の演算処理を実施することにより、小さな事故の発生の可能性を示す情報を取得するように構成されている。
このような構成により、本開示では、従来の技術では検出が容易でないような小さな事故を容易に検出することが可能となる。
具体的には、本開示では、上述した構成の学習器に、音取得部にて取得した乗員の音声を入力して、学習器の演算処理を実施することにより、小さな事故の発生の可能性を示す情報を取得することができる。よって、その情報に基づいて、小さな事故を検出することができる。
つまり、本開示では、乗員の音声を学習器に入力することによって、学習器から小さな事故の発生の可能性を示す情報を取得することができる。よって、従来では検出することができなかったような小さな事故(例えば、車体を擦ったような事故)があった場合でも、例えば、小さな事故を示唆するような乗員の音声等が得られれば、小さな事故を検出することが可能である。
b)本開示の他の態様は、第1学習器(29a)と第1音取得部(25a)と第1事故情報取得部(27a)とを備えた事故検出装置(5)に関するものである。
第1学習器は、車両が損傷する事故であって当該車両が走行可能な事故である小さな事故と、小さな事故が発生した場合に車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器である。
第1音取得部は、乗員が発する音声を取得するように構成されている。
第1事故情報取得部は、学習器に、第1音取得部にて取得した乗員の音声を入力し、第1学習器の演算処理を実施することにより、小さな事故の発生の可能性を示す第1情報を取得するように構成されている。
このような構成により、本開示では、従来の技術では検出が容易でないような小さな事故を容易に検出することが可能となる。
具体的には、本開示では、上述した構成の第1学習器に、第1音取得部にて取得した乗員の音声を入力して、第1学習器の演算処理を実施することにより、小さな事故の発生の可能性を示す第1情報を取得することができる。よって、その第1情報に基づいて、小さな事故を検出することができる。
c)本開示の更に他の態様は、車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、小さな事故が発生した場合に車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器(29)を用い、前記学習器に、乗員の音声を入力し、学習器の演算処理を実施することにより、小さな事故の発生の可能性を示す情報を取得する、事故検出方法である。
このような構成により、本開示では、従来の技術では検出が容易でないような小さな事故を容易に検出することが可能となる。
具体的には、本開示では、上述した構成の学習器に、乗員の音声を入力して、学習器の演算処理を実施することにより、小さな事故の発生の可能性を示す情報を取得することができる。よって、その情報に基づいて、小さな事故を検出することができる。
d)本開示の更に他の態様は、車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、小さな事故が発生した場合に車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器(29)の生成方法である。
この学習器の生成方法では、小さな事故において乗員であれば発する可能性のある音声を準備し、小さな事故と小さな事故において乗員であれば発する可能性のある音声とを紐付けして学習させることによって、学習器を生成することができる。
また、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
第1実施形態における全体システムの構成を示す説明図である。 第1実施形態における車両制御部を機能的に示すブロック図である。 第1実施形態の各ECUのハード構成を示すブロック図である。 AIでイベント検出する場合の学習用の音の特徴を示す説明図である。 第1実施形態の全システムにおける処理を示すフローチャートである。 第1実施形態のユーザ登録の処理を示すフローチャートである。 第1実施形態のイベントのスコアの設定の処理を示すフローチャートである。 AIで2次解析する場合の学習用の音の特徴を示す説明図である。 第2実施形態の全体スコアの設定の処理を示すフローチャートである。 第3実施形態のイベントのスコアの設定の処理を示すフローチャートである。 第4実施形態のイベント検知の処理を示すフローチャートである。
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
[1.第1実施形態]
本第1実施形態では、車両(例えば、自動車)に適用される装置であって、小さな事故を検出可能な事故検出装置について説明する。なお、ここで、小さな事故とは、車両が損傷する事故であって当該車両が走行可能な事故である。
[1-1.全体構成]
図1に示すように、本第1実施形態では、全体のシステム(即ち、全体システム)1は、車両3側の構成と車両3外の構成とが通信可能に接続された構成を有する。
車両3側の構成としては、車両3に搭載された車両側電子制御装置(即ち、車両側ECU)5と、車両側ECU5に接続された各電子部品7と、を備えている。なお、ECUは、電子制御装置の略である。
車両3外の構成としては、車両クラウド9とサービサークラウド11とを備えており、車両クラウド9とサービサークラウド11とは、例えば、インターネット等の広域通信網を介して通信可能に接続されている。なお、車両クラウド9側と車両3側とは、無線通信によって情報の送受信が可能である。
[1-2.各構成]
以下、上述した各構成について詳細に説明する。
<車両外の構成>
車両クラウド9は、車両クラウド9の動作を制御する(即ち、車両クラウド9を機能させるために各種の処理等を行う)クラウド側ECU13を備えている。クラウド側ECU13は、機能的に、各種のデータを記憶するクラウド側記憶部15と、各種の演算処理等を行うクラウド側制御部17と、を備えている。
クラウド側記憶部15は、後述するように、車両3側ECU5から送信された各種の情報、例えば、車両3にて発生した小さな事故に関する情報を蓄積することができる機能を有する。
クラウド側制御部17は、例えば、サービサークラウド11との通信を行う機能や、サービサーの管理(例えば、サービサーのIDの記憶や、サービサーとどのような情報をどのようなタイミングでやり取りするかの管理など)を行う機能を有する。
サービサークラウド11は、事業者(即ち、サービサー)側が利用するクラウドである。なお、事業者としては、レンタカー、カーシェアリング等のように、1台又は複数台の車両3を異なるドライバが利用する業態の事業者が挙げられる。また、それ以外に、例えば、ある会社等において、1台又は複数台の車両3を異なるドライバが利用する業態の事業者が挙げられる。つまり、ある車両3に対してそれを利用する利用者(例えば、ドライバ)が複数いる事業者が挙げられる。
サービサークラウド11は、後述するように、車両クラウド9から小さな事故に関する情報を取得することができるように構成されている。なお、この小さな事故の情報は、車両クラウド9から所定のタイミングで(例えば、小さな事故を検出した場合や、周期的に)自動的にサービサークラウド11に送信されていてもよいし、サービサークラウド11からの要求によって送信するようにしてもよい。
<車両側の構成>
車両側ECU5は、機能的に、車両3の動作を制御する車両側制御部19と、各種のデータを記憶する車両側記憶部21と、を備えている。
車両側制御部19は、人の音声や音声以外の音を処理する音処理部23を備えている。なお、音処理部23の動作を行うための構成として、音声を判断して音声に関する処理を行うことができる音声判断モジュール24を備えている。
なお、以下では、乗員等の人の音声以外の音を物音と表現することがあり、音声と物音とを含めて音と表現することがある。
車両側記憶部21は、車両側ECU5にて取得した各種のデータを記憶する(即ち、過去データを格納する)ように構成されている。例えば、音処理部23の処理によって取得した情報、即ち、車両3にて発生した小さな事故の音に関する情報を格納することができる。
ここで、車両側制御部19の機能について、図2に基づいて、更に具体的に説明する。
図2に示すように、車両側制御部19は、音処理部23と音取得部25と事故情報取得部27とを備えている。
音処理部23は、学習器29を備えており、学習器29としては、後述する第1学習器29aと第2学習器29bとを備えている。なお、ここでは、第1学習器29aは、最初に小さな事故の検知に用いられ、第2学習器29bは、最初の小さな事故の検知の後に(即ち、2次的に)、小さな事故の確認や小さな事故の程度の検知(即ち、後述するスコアの設定)のために用いられるが、同じ構成の学習器を用いてもよい。
学習器29のうち、第1学習器29aは、車両3が損傷する事故であって当該車両3が走行可能な事故である小さな事故と、小さな事故が発生した場合に車両の乗員であれば発する可能性のある人の音声と、の関係を紐付けして学習した学習器である。
また、第2学習器29bは、前記小さな事故と、小さな事故が発生した場合に、車両3が発する可能性のある音、又は、車両3の周囲にて発生する可能性のある音、又は、車両3の乗員であればなされる可能性のある会話の内容と、の関係を紐付けして学習した学習器である。
音取得部25は、各マイク31、33から、乗員が発する音声、車両3が発する物音、車両の周囲の物音等の音のデータを取得するように構成されている。この音取得部25にて取得された音のデータは、音処理部23に入力されるように構成されている。
なお、音取得部25としては、後述する、第1音取得部25a、第2音取得部25b、第3取得部25c、第4音取得部25dが挙げられる。
事故情報取得部27は、学習器29に、音取得部25にて取得した音声等の音を入力し、学習器29の演算処理を実施することにより、小さな事故の発生の可能性を示す情報を取得するように構成されている。
なお、事故情報取得部27としては、後述する、第1事故情報取得部27a、第2事故情報取得部27b、第3事故情報取得部27c、第4事故情報取得部27d、第5事故情報取得部27eが挙げられる。
前記図1に示すように、車両側ECU5に接続される電子部品7としては、車両3の車体に配置されて、車体にて発生した音や車両3の周囲の音等を収集する車体マイク31と、車内に配置されて、乗員の音声や車内で発生した音等を収集できる車内マイク33と、が挙げられる。
また、電子部品7としては、車体に配置されて、車両3の周囲を撮影できる車体カメラ35と、車内に配置されて、乗員や車内を撮影できる車内カメラ37と、が挙げられる。
さらに、電子部品7としては、車内に配置されて、乗員に対して文字等の表示が可能な例えば液晶ディスプレイ等の表示装置39と、車内に配置されて、音声や警告音等を出力できるスピーカ41と、が挙げられる。
なお、電子部品7として、例えば、車両3の状態を検出するための各種のセンサ、例えば車速センサ等の車両センサ43を用いてもよい。
[1-3.ECUの構成]
ここで、各ECU5、13のハード構成ついて、図3に基づいて簡単に説明する。
図3に示すように、クラウド側ECU13は、クラウド側制御部17の機能を実施するためのコンピュータであるクラウド側マイコン51と、クラウド側記憶部15の機能を実施するためのクラウド側メモリ53と、車両3側との通信を行うクラウド側通信機55とを備えている。
なお、クラウド側マイコン51は、周知のCPU51a、ROM51b、RAM51c等を備えている。クラウド側メモリ53としては、周知の不揮発性メモリであるフラッシュメモリ等やハードディスク等が挙げられる。
一方、車両側ECU5も、クラウド側ECU13と同様に、車両側制御部19の機能を実施するための車両側マイコン57と、車両側記憶部21の機能を実施するための車両側メモリ59と、車両クラウド9側(即ち、クラウド側通信機55)との通信を行う車両側通信機61とを備えている。
車両側マイコン57も、周知のCPU57a、ROM57b、RAM57c等を備える。また、図示しないフラッシュメモリ等の不揮発性メモリを備える。
なお、車両側マイコン57により、音声判断モジュール24の機能を実現でき、音声判断モジュール24で使用される音声のデータは、フラッシュメモリ等に記憶されてもよい。
また、クラウド側メモリ53や車両側メモリ59としては、周知の不揮発性メモリであるフラッシュメモリ等やハードディスク等が挙げられる。
クラウド側ECU13や車両側ECU5により実行される各種機能は、CPU51a、57aが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、ROM51b、57bが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
なお、クラウド側ECU13や車両側ECU5の各種機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
[1-4.学習器の生成方法]
次に、学習器29の生成方法について説明する。
本第1実施形態で用いる学習器29は、周知の深層学習(即ち、ディープラーニング)による学習によって生成された人口知能(即ち、AI)である。なお、AIとは、artificial intelligenceの略である。なお、ディープラーニング以外に、周知の他の機械学習による学習器を採用してもよい。
なお、ディープラーニングとは、ニューラルネットワークの技術を用い、大量のデータからAI自らが自律的にパターンを学習する手法である。即ち、大量のデータから自分で物事を分類するルール(例えば、特徴量)を見つけ出す技術である。なお、音声等を学習するディープラーニングの技術としては、例えば、End-to-Endモデル等が知られている。
前記学習器29(例えば、第1学習器29a)とは、車両3が損傷する事故であって当該車両3が走行可能(即ち、自力での走行可能)な事故である小さな事故と、小さな事故が発生した場合に車両3の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器である。
なお、小さな事故が発生した場合に車両3の乗員であれば発する可能性のある音声としては、一部又は全体に、実際に小さな事故が発生した場合に実際に乗員が発した音声を採用してもよい。つまり、実際の音声を学習するようにしてもよい。
また、第2学習器29bとしては、音声を用いるのではなく、車両3が損傷する事故であって当該車両3が走行可能な事故である小さな事故と、小さな事故が発生した場合に発生する可能性のある、車両3が発する音(即ち、物音)や周囲の物音など(即ち、音声以外の物音)と、の関係を紐付けして学習した学習器を採用できる。
なお、小さな事故が発生した場合に発生の可能性がある、車両3が発する物音や周囲にて発生する物音としては、一部又は全体に、実際に小さな事故が発生した場合に実際に車両3が発した物音や周囲にて発生した物音を採用してもよい。つまり、実際の物音を学習するようにしてもよい。
或いは、第2学習器29bとしては、第1学習器29aと同様な学習器を採用できる。例えば、小さな事故と、小さな事故の発生の前及び/又は後に乗員にてなされる可能性のある会話と、を紐付けして学習した学習器を採用できる。
なお、小さな事故が発生した場合に乗員にてなされる可能性のある会話としては、一部又は全体に、実際に小さな事故が発生した場合に実際に乗員にてなされた会話を採用してもよい。つまり、実際の会話を学習するようにしてもよい。
上述した第1学習器29aを生成する方法としては、周知のディープラーニングの手法を採用できる。具体的には、予め、小さな事故において乗員が発する可能性のある多くの音声を準備し、小さな事故と小さな事故において乗員が発する可能性のある音声とを紐付けして学習させることによって、第1学習器29aを生成することができる。なお、人の音声を学習する場合の第2学習器29bも同様である。
例えば、後に言及する図4に示すように、乗員等の人の音声を学習させる場合には、「驚いた声」、「怒りの声」、「動揺の声」等に該当する音声や、小さい事故に関係する単語、例えば、「擦った」、「ぶつかった」、「危ない」、「飛び石」等の言葉を、小さな事故を示す音声として学習させる。なお、「笑い声」、「楽しい声」、「うれしい声」のような音声は、小さな事故を示す音声としないようにする。
つまり、第1学習器29aや第2学習器29bで、人の音声を学習する場合には、学習させる声として、小さな事故が発生した場合に乗員が発する可能性のある音声、例えば、所定の感情が表われる音声、及び/又は、小さな事故の描写を含む言葉を含む音声を採用できる。
また、第2学習器29bが音声を利用しない学習器の場合にも、周知のディープラーニングの手法を採用できる。具体的には、予め、小さな事故において車両3等が発する可能がある物音(例えば、車体音や周囲の音など)を準備し、小さな事故と小さな事故において発生する可能性がある物音とを紐付けして学習させることによって、第2学習器29bを生成することができる。
[1-5.制御処理]
<全体の処理>
まず、全体システム1にて実施される全体の処理について説明する。
図5に示すように、ステップ(以下、S)100にて、乗員自身が乗車する車両3(即ち、自車両)の動作が可能な状態、例えば、イグニッションスイッチやスタートスイッチがオンの状態で、車体マイク31や車内マイク33により、小さな事故を検知するために、音声や物音等の音を取得する。例えば、自車両の走行中や停車中に、音を取得する。
具体的には、例えば、車体マイク31により、自車両の車体から発する物音(即ち、車体音)や、自車両の周囲から聞こえるクラクション等の物音を取得する。また、車内マイク33により、乗員の音声や車内で発生する物音を取得する。
なお、取得した音は、小さな事故の検知のために、一旦、RAM57cなどのメモリに記憶する。なお、取得した音は、後述するように、小さな事故を検知するための処理を行った後に、小さな事故に対応する音(即ち、小さな事故を示す音)を、車両側メモリ59に記憶する。
また、車体マイク31や車内マイク33によって音を取得する際には、車体カメラ35や車内カメラ37によって、車両3の周囲の画像や車内の画像を取得し、その画像のデータ(即ち、画像データ)を記録してもよい。
なお、取得した画像は、車両3側において、一旦、RAM57cなどのメモリに記憶する。また、後述するように、小さな事故が検知された場合には、小さな事故に対応する画像を、車両側メモリ59に記憶する。
続くS110では、後に詳述するように、第1学習器29aや第2学習器29bを用いて、乗員の音声や車両3の物音に基づいて、小さな事故を検知する処理を行い、その検知処理に基づいて、小さな事故を検知したか否かを判定する。ここで、肯定判断されるとS120に進み、一方否定判断されるとS150に進む。
なお、ここで、「小さな事故を検知する」という内容には、「小さな事故が発生した可能性があることを検知する」という内容を含む(以下、同様)
S120では、前記S110にて小さな事故が発生したと判断されたので、小さな事故に対応する(即ち、小さな事故を検知する際の根拠となるデータである)音声や物音を、車両側メモリ59に記憶する。また、この際に、小さな事故に対応する画像、即ち、小さな事故の根拠となる音が発生した際又はその前後の所定期間の画像を、前記音と関連づけて、車両側メモリ59に記憶する。
なお、ここで、前後としては、小さな事故の発生の時、詳しくは、小さな事故に対応する音が発生したタイミングの、前又は後、或いは、前及び後を採用できる。
また、上述処理以外に、小さな事故が発生したと判断された場合には、その判断の根拠となる音の発生の時間や、音が発生した際の車両3の場所の情報を、その音の情報と関連づけて、車両側メモリ59に記憶してもよい。更に、音が発生した際の車速等の車両3の作動状態も、車両側メモリ59に同様に記憶してもよい。
続くS130では、前記S110で記憶された情報、即ち、小さな事故が発生した際に記憶された各種の情報を、車両クラウド9に送信する。
なお、前記S100~S130での処理が、車両側ECU5にて実施される処理である。
続くS140では、車両クラウド9にて、車両側ECU5から送信された情報、即ち、小さな事故が発生したと判断された際に車両側メモリ59に記憶された情報(即ち、小さな事故に対応した情報)を、クラウド側メモリ53に記憶する。
また、S140では、前記小さな事故に対応した情報を、サービサークラウド11に送信し、S150に進む。この、サービサークラウド11に送信する情報としては、前記小さな事故に対応した情報の全てあってもよいが、その一部の情報や、情報を要約した情報(例えば、後述する全体スコア等の情報)であってもよい。なお、サービサークラウド11から要求があった場合に、前記情報を送信するようにしてもよい。
なお、このS140での処理が、車両クラウド9にて実施される処理である。
S150では、車両3の返却時であるか否かを判定する。ここで肯定判断されるとS160に進み、一方否定判断されるとS100に戻る。
なお、車両3で返却時であるか否かは、例えば、レンタカー等の事業者であるサービサーが保有する装置から車両3に対して送信される信号等に基づいて判断することもできる。または、サービサークラウド11から車両クラウド9を介して車両3に対して送信される信号等に基づいて判断することもできる。
S160では、サービサーの受付等で、車両3の使用料金等の精算が行われる。
続くS170では、サービサークラウド11から得られる小さな事故に対応する情報に基づいて、小さな事故を検知したか否かを判断する。ここで肯定判断されるとS180に進み、一方否定判断されると、一旦本処理を終了する。
なお、ここで、サービサーは、サービサークラウド11に対して、小さな事故に対応する情報を要求し、その要求に基づいて、車両クラウド9から小さな事故に対応する情報を取得してもよい。
S180では、サービサークラウド11から小さな事故が発生したとの情報が得られたので、車両3を念入りチェックし、一旦本処理を終了する。
なお、前記S150~S180での処理が、サービサー側で実施される対応である。
以下、上述した全体の処理のうち、小さな事故を検知するための処理について詳細に説明する。
<ユーザ登録の処理>
このユーザ登録処理とは、車両3の利用者(例えば、ドライバ)が、車両3を利用する前(例えば、会社の車両3等を利用する前)に、車両側ECU5にて実施する処理、即ち、ドライバの音声を用いて学習器29に学習させる処理である。
図6に示すように、S200では、ドライバが車両3の利用を開始する前に、音声登録を実施する。具体的には、小さい事故に対応する音声(即ち、言葉)を、小さい事故と紐付けして学習器29に学習させるために、学習器29が学習する所定のモードにおいて、ドライバは、車内マイク33に向かって、小さい事故に対応する多くの言葉を話すようにする。
続くS210では、車内マイク33によって収集されたドライバの音声、即ち、小さい事故に対応したドライバの音声による音声データを、学習器29に入力する。
続くS220では、学習器29は、学習器29に入力されたドライバの音声を、小さな事故に対応する言葉として学習する。
続くS230では、学習器29は、学習したデータ(即ち、学習データ)を、学習器29用のデータベースに保存し、一旦本処理を終了する。
即ち、小さい事故に対応したドライバの音声を、小さな事故と紐付けして学習した学習データをデータベース(例えば、音声判断モジュール24のメモリで使用されるデータベース)に保存し、一旦本処理を終了する。これにより、小さな事故とドライバの音声との関係を紐付けして学習した学習器29が生成される。
一方、ユーザ登録処理をしない場合には、学習器29として、ドライバに限定しない一般の人(例えば、複数の人)の音声を学習した学習器を使用することができる。詳しくは、小さい事故に対応する音声、即ち、小さい事故が発生した場合に乗員によって発せられる可能性のある言葉等の音声を、小さい事故と紐付けして学習して生成した学習器29を使用することができる。
なお、以下では、このようなドライバの音声に限定しない音声を学習した学習器29を一般学習器と称し、ドライバの音声を学習した学習器29を、特定学習器と称することがある。
<イベント検知の処理>
このイベント検知の処理は、車両側ECU5にて実施される処理である。なお、ここで、イベントの検知とは、小さな事故の発生の可能性を示す事象(即ち、イベント)の検知を示している。
本処理は、例えば、車両3のイグニッションスイッチやスタートスイッチがオンとなった場合に実施される。例えば、通常は、車両3が走行中に実施されるが、車両3が作動中であれば、停車中に実施してもよい。
図7に示すように、S300にて、各マイク31、33にて収集した音のデータ(即ち、音声等を含む音データ)を取得する。
続くS310では、ドライバの学習データがあるか否かを判定する。即ち、学習器29として、ドライバの音声を学習した学習器29(即ち、特定学習器)があるか否かを判定する。ここで否定判断されるとS320に進み、一方肯定判断されるとS350に進む。
S320では、ドライバの音声を学習した特定学習器が無いので、上述したAIである一般学習器に、車内マイク33等で収集した音声を含む音データを入力する。また、車体マイク31で収集した音声(即ち、車両3の周囲の人の音声)を含む音データも入力してもよい。
続くS330では、一般学習器によって、入力された音データに基づいて、小さな事故を検知する処理を行う。詳しくは、一般学習器に今回取得された音データを入力し、上述したディープラーニングによって学習した学習器29(例えば、第1学習器29a)の処理を実施することにより、その音データに基づいて小さな事故を検知する。
つまり、小さな事故が発生した可能性を検知するための処理を実施する。詳しくは、ディープラーニングにより学習された第1学習器29aにて、入力される音データに対応する事象を検出するために実施される周知の演算処理を実施することにより、小さな事故の発生の可能性を示す第1情報を取得する。
なお、この場合の一般学習器として、例えば、前記図4に示すように、一般の複数の人の音声のうち、小さな事故に対応する「驚いた声」等の音声や「擦った」等の音声を、小さな事故に紐付けして学習した第1学習器29aが挙げられる。
続くS340では、一般学習器によって実施された処理によって、小さな事故(即ち、イベント)が検知されたか否かを判定する。ここで肯定判断されるとS390に進み、一方否定判断されるとS380に進む。
一方、前記S310で否定判断されて進むS350では、ドライバの音声を学習した第1学習器29aである特定学習器が有るので、この特定学習器に、車内マイク33等で収集した音声を含む音データを入力する。また、車体マイク31で収集した音声を含む音データも入力してもよい。
続くS360では、特定学習器によって、入力された音データに基づいて、小さな事故を検知する処理を行う。詳しくは、特定学習器に今回取得された音データを入力し、上述した学習器29の処理を実施することにより、その音データに基づいて、小さな事故を検知する。つまり、小さな事故が発生した可能性を検知するための処理を実施する。
なお、この特定学習器として、例えば、前記図4に示すように、乗員の音声のうち、小さな事故に対応する「驚いた声」等の音声や「擦った」等の音声を、小さな事故に紐付けして学習した第1学習器29aが挙げられる。
続くS370では、特定学習器によって実施された処理によって、小さな事故(即ち、イベント)が検知されたか否かを判定する。ここで肯定判断されるとS390に進み、一方否定判断されるとS380に進む。
S380では、前記S340又はS370で、小さな事故が検出されなかったので、イベント検知なしとして、一旦本処理を終了する。
一方、S390では、前記S340又はS370で、小さな事故が検知されたので、イベント検知有りとして、S400に進む。なお、このイベント検知を示す情報が第1情報である。
S400では、イベントの発生の前後の所定期間における音(ここでは、物音)のデータを抽出し、第2学習器29bで2次解析を実施する。
具体的には、前記所定期間における物音のデータを、小さな事故と物音とを紐付けして学習した第2学習器29bに入力し、第2学習器29bにて演算処理を実施することにより、小さな事故の発生の可能性を示す第2情報を取得する。
つまり、ディープラーニングにより学習された第2学習器29bにて、入力されるデータに対応する事象を検出するために実施される周知の演算処理を実施することにより、小さな事故の発生の可能性を示す第2情報を取得する。
なお、イベントの発生の時期としては、小さな事故を検知する際に利用した音声(即ち、小さな事故を検知する際に根拠となる音声)の発生時期(即ち、取得時期)が挙げられる。また、イベントの発生の前後としては、イベントの発生の前又は後、或いは、イベントの発生の前及び後が挙げられる。
ここで、図8に基づいて、2次解析で使用する学習用の音の特徴について説明する。
各マイク31、33で収集した音が、例えば、車体(即ち、ボディ)に何かが衝突する衝突音、自車両に他車両のドアが当たった場合のドアパン音、自車両の車体を何かが擦った音、クラクション音、自車両の車体に飛び石が当たった音等の場合には、小さな事故が発生した可能性が高いと考えられる。従って、その場合には、小さな事故が発生した可能性の程度を示す指標(即ち、後述するスコア)の値を高くする(即ち、大きくする)。
一方、小さな事故が発生した可能性が低い音の場合、例えば、会話で発生されたイベント検出音(即ち、「ドン」等の音声)、ドライバ以外の発言、車内の衝撃音、TVやラジオの音、電話の音等は、スコアの値を低くする。
また、車両3のアスファルト等を走行する走行音、エンジンから発生するエンジン音、風雨等の環境音、ドアの開閉等の作動音は、小さな事故が発生した可能性に該当しない音とする。
なお、上述した各種の音は、周知の音響分析等により検知することができる。例えば、所定以上の音量に対する音が、所定の周波数解析を行って所定の周波数パターンを有する場合には、当該周波数パターンを有する音とみなすことが可能である。
図7に戻り、続くS410では、イベントの発生の前後の所定期間における乗員の会話の内容(即ち、会話に含まれる単語等の音声)のデータを抽出し、AI(即ち、第2学習器29b)で2次解析を実施する。なお、この第2学習器29bとしては、上述した音声を学習した第1学習器29aを用いてもよい。
具体的には、前記所定期間における会話内容の音データを、小さな事故と会話内容とを紐付けして学習した第2学習器29bに入力し、第2学習器29bにて演算処理を実施することにより、小さな事故の可能性を示す第2情報を取得する。
この2次解析で使用する学習用の音の特徴については、前記図4に示した特徴を利用できる。具体的には、各イベント検出音に該当する「驚いた声」等や「小さい事故に対応する単語」が検出された場合には、そうでない場合に比べてスコアを高くする。
なお、会話に代えて、単にドライバ等の乗員の発する単語等の音声のデータを抽出して、2次解析を実施してもよい。
続くS420では、前記S400及びS410の2次解析の結果(即ち、第2情報)に基づいて、小さな事故の発生の可能性の程度を示すスコアを決定する。
なお、S400及びS410の両方を実施する処理に代えて、S400及びS410のどちらか一方の処理を行ってスコアを決定してもよい。
具体的には、S400の物音に関する処理により、小さな事故の発生の可能性がある音が検知された場合には、その音の内容や種類に応じて、スコアを設定する。
例えば、前記図8に示すようなボディの衝突音等が検知された場合には、それらの音が検知されなかった場合に比べて、スコアを所定の高い値に設定する。また、それらの音が複数検知された場合には、検知された音の数によって、スコアを高く設定する(例えば、検知された音の数が多くなるほど、スコアを高くするようにしてもよい)。
また、S410の会話の内容に関する処理により、小さな事故の発生の可能性がある会話が検知された場合には、その会話の内容(例えば、使用された言葉)に応じて、スコアを設定する。
例えば、前記図4に示すような「驚いた声」や「擦った」等の言葉等が検知された場合には、それらの言葉等が検知されなかった場合に比べて、スコアを所定の高い値に設定する。また、それらの音声が複数検知された場合には、検知された音声の数によって、スコアを高く設定する(例えば、検知された音声の数が多くなるほど、スコアを高くするようにしてもよい)。
なお、前記S400及びS410の両方の処理を行う場合には、両方の処理で得られた両方のスコアを用いて総合的にイベントのスコアを算出してもよい。例えば、両方の処理で得られた各スコアを合計してイベントのスコア等を設定してもよい。
続くS430では、S420にて決定したイベントのスコアとイベントに対応する音データとを、例えば車両側メモリ59に記憶し、一旦本処理を終了する。
なお、車両側メモリ59には、イベントのスコアと音データ以外に、イベントが発生した際の車速等の車両3の状態を示すデータを記憶してもよい。
また、これらのデータは、上述したように、車両3側から車両クラウド9側に送信されて、クラウド側メモリ53に記憶される。
なお、本第1実施形態は、小さな事故の発生の可能性の程度を示す指標(例えば、イベントのスコア)を、車両クラウド9やサービサークラウド11を介して、サービサーに提供することができるように構成されている。
<スコアの説明>
ここで、スコアについて、まとめて説明する。このスコアは、小さな事故の発生確率に対応した値であり、発生確率が高い場合にはスコアの値が高く、発生確率が低い場合にはスコアの値が低い。
従って、例えば、上述のように、第2学習器29bによって、小さな事故の発生の前後の所定期間による物音や音声に基づいて、小さな事故が検知された場合(即ち、小さな事故に対応する事象が検知された場合)には、イベントのスコアとして、所定のスコアを設定することができる。
なお、ここでは、第1学習器29aによってイベントが検知された段階では、イベントのスコアを設定しないようにしている。
また、第1学習器29aによって、小さな事故が検知された場合に、最初のイベントのスコアを設定し、さらに、第2学習器29bによって、再度小さな事故が検知された場合には、最初のイベントのスコアに、第2学習器29bによる2回目のイベントのスコアを加味して、総合的にイベントのスコアを設定してもよい。
例えば、第1学習器29aによって、小さな事故が検知された場合に、最初のイベントのスコアを小さく(即ち、小さな事故の発生確率を小さく)設定し、さらに、第2学習器29bによって、再度小さな事故が検知された場合には、最初のイベントのスコアよりもスコアが大きくなる(即ち、小さな事故の発生確率を大きくする)ように、総合的にイベントのスコアを設定してもよい。
[1-6.効果]
本第1実施形態によれば、以下の効果が得られる。
(1a)本第1実施形態は、車両3が損傷する事故であって当該車両3が走行可能な事故である小さな事故(即ち、イベント)と、小さな事故が発生した場合に車両3の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器29(例えば、第1学習器29a)を備える。そして、この学習器29に、音取得部25(例えば、第1音取得部25a)にて取得した乗員の音声を入力し、学習器29の演算処理を実施することにより、小さな事故の発生の可能性を示す情報を取得する。よって、この取得した情報に基づいて、小さな事故を検出することができる。
このような構成により、本第1実施形態では、従来の技術では検出が容易でないような小さな事故を容易に検出することが可能となる。つまり、本第1実施形態では、乗員の音声を学習器29に入力することによって、学習器29から小さな事故の発生の可能性を示す情報を取得することができる。よって、従来では検出することができなかったような小さな事故(例えば、車両3を擦ったような事故)があった場合でも、小さな事故を示唆するような乗員の音声等が得られれば、小さな事故を検出することが可能である。
(1b)本第1実施形態では、事故情報取得部27にて取得した情報に基づいて、小さな事故の発生の可能性の程度を示す指標(例えば、イベントのスコアや、総合的なスコア)を出力するように構成されている。
従って、この指標に基づいて、小さな事故の発生を精度良く検出することができる。例えば、スコアが高い場合には、小さな事故が発生した可能性が高いことを認識することが可能となる。
(1c)本第1実施形態では、小さな事故と、小さな事故が発生した場合に車両3が発する可能性のある音(即ち、物音)と、の関係を紐付けして学習した第2学習器29bを用いることができる。そして、車両3が発する音を取得して、第2学習器29bに、車両3が発する音を入力し、第2学習器29bの演算処理を実施することにより、小さな事故の発生の可能性を示す第2情報を取得することができる。よって、この第2情報を利用して、イベントのスコアを求めることができる。
(1d)本第1実施形態では、小さな事故と、小さな事故が発生した場合に車両3の周囲にて発生する可能性のある音(即ち、物音)と、の関係を紐付けして学習した第2学習器29bを用いることができる。そして、車両3の周囲の音を取得して、第2学習器29bに、車両3の周囲の音を入力し、第2学習器29bの演算処理を実施することにより、小さな事故の発生の可能性を示す第2情報を取得することができる。よって、この第2情報を利用して、イベントのスコアを求めることができる。
(1e)本第1実施形態では、小さな事故と、小さな事故が発生した場合に車両の乗員であればなされる可能性のある会話の内容と、の関係を紐付けして学習した第2学習器29bを用いることができる。そして、会話の内容を取得して、第2学習器29bに、会話の内容を入力し、第2学習器29bの演算処理を実施することにより、小さな事故の発生の可能性を示す第2情報を取得することができる。よって、この第2情報を利用して、イベントのスコアを求めることができる。
(1f)本第1実施形態では、第1学習器29aで学習する音声として、車両3のドライバの音声を採用できる。
(1g)本第1実施形態では、小さな事故と、小さな事故の発生時の前及び/又は後に発生する可能性のある音と、を紐付けして学習した第2学習器29bを用いることができる。具体的には、第1情報において、小さな事故の発生の可能性が示されている場合に、小さな事故の発生時の前及び/又は後の所定期間における音のデータを、2次分析音データとして特定することができる。そして、第2学習器29bに、特定した2次分析音データを入力して、第2学習器29bの演算処理を実施することにより、小さな事故の発生の可能性を示す第2情報を取得することができる。
従って、第1情報と第2情報とに基づいて、小さな事故の発生の可能性の程度を示す指標(即ち、イベントのスコア)を出力することができる。
(1h)本第1実施形態では、2次分析音データとして、車両3が発する音(即ち、物音)を含むことができる。その場合には、第2学習器29bとして、小さな事故と、小さな事故が発生した場合に前記車両3が発する可能性がある音と、を紐付けして学習した学習器を採用できる。
(1i)本第1実施形態では、2次分析音データとして、車両3の乗員が発する音声を含むことができる。その場合には、第2学習器29bは、小さな事故と、小さな事故の発生の前及び/又は後に乗員にてなされる可能性のある人の会話と、を紐付けして学習した学習器を採用できる。
(1j)本第1実施形態では、小さな事故と紐付けして学習器29(例えば、第1学習器29aや第2学習器29b)にて学習される音声として、所定の感情が表われる音声、及び/又は、小さな事故の描写を含む言葉を含む音声を採用できる。
(1k)本第1実施形態では、小さな事故と紐付けして第2学習器29bにて学習される車両3の発する音(即ち、物音)として、車両3に対する衝突音、ドアパン音、車両3をこすった音、車両3に飛び石が当たった音のうち、少なくとも1種を採用できる。
(1l)本第1実施形態では、車両3がレンタカーやカーシェアリング等の事業者に管理されている場合に、車両3の小さな事故に関する情報を適切に提供できる。具体的には、小さな事故の発生の可能性の程度を示す指標(例えば、イベントのスコア)、及び/又は、小さな事故の発生の可能性の程度を示す指標に基づいて乗員による車両3の利用開始からの所定期間における小さな事故の発生の可能性を示す総合的な指標(例えば、全体スコア)を、事業者に提供することができる。
従来技術を、レンタカーやカーシェアリングのように、同じ車両3を複数の人数で使用する場合に適用した場合には、車体を擦ったような小さな事故を検出することは容易ではない。そのため、車両3の使用後にレンタカー等の事業者等が車両3をチェックしても、車両3の破損等が分からないことがある。
そのため、後日、車両3の破損が発見された場合でも、いつの時点で(即ち、だれが使用した際に)事故が発生したかを特定することは難しいので、例えば、修理費を請求すること等が難しいことが考えられる。
しかし、本第1実施形態では、車両3が返却された場合には、サービサークラウド11を介して、車両3に小さな事故が発生したことを示す情報を得ることが可能であるので、車両3返却された際に車両3を入念にチェックすることにより、小さな事故による車両3の破損を、従来より確実に把握することが可能になる。
[1-7.対応関係]
次に、本第1実施形態と本開示との関係について説明する。
車両3は車両に対応し、車両側ECU5は事故検出装置に対応し、学習器29は学習器に対応し、第1学習器29aは第1学習器に対応し、第2学習器29bは第2学習器に対応し、音取得部25は音取得部に対応し、事故情報取得部27は事故情報取得部に対応する。
[2.第2実施形態]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、以下では主として第1実施形態との相違点について説明する。なお、第1実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
本第2実施形態では、小さな事故の発生の可能性の程度示す指標(即ち、イベントのスコア)に基づいて、乗員による車両3の利用開始からの所定期間(例えば、利用終了時まで)における小さな事故の発生の可能性を示す総合的な指標(即ち、全体スコア)を算出する。
以下、図9のフローチャートに基づいて説明する。
本第2実施形態では、図9に示すように、S500~S630の処理を行う。なお、このS500~S630の処理は、第1実施形態の図7におけるS300~S430の処理と同様であるので、その説明は省略する。
そして、S630に続くS640では、S630で記憶されたイベントのスコアを用いて、全体スコアを決定する。
続くS650では、S640で決定された全体スコアを、車両側メモリ59に記憶し、一旦本処理を終了する。
次に、上述した全体スコアの決定方法について説明する。全体スコアの決定方法としては、下記(S1)~(S3)の方法を採用できる。
(S1)乗員による車両3の利用開始からの所定期間、例えば、利用開始から利用終了(例えば、車両3の返却時)までの所定期間において、イベントのスコアの最大値を全体スコアとしてもよい。例えば、前回より大きなイベントのスコアとなった場合に、イベントのスコアを更新して、全体スコアとしてもよい。
(S2)前記所定期間におけるイベントのスコアを積算して、全体スコアとしてもよい。
(S3)前記所定期間におけるイベントのスコアの時間平均を算出して、全体スコアとしてもよい。
さらに、本第2実施形態は、小さな事故の発生の可能性の程度を示す指標(例えば、イベントのスコア)、及び/又は、小さな事故の発生の可能性の程度示す指標に基づいて乗員による車両3の利用開始からの所定期間における小さな事故の発生の可能性を示す総合的な指標(例えば、全体スコア)を、車両クラウド9やサービサークラウド11を介して、サービサーに提供することができるように構成されている。
本第2実施形態は、第1実施形態と同様な効果を奏する。
また、本第2実施形態では、イベントのスコアだけでなく、全体スコアを算出するので、全体スコアを用いて、小さな事故の発生の可能性の程度を精度良く判断することができるという利点がある。
[3.第3実施形態]
第3実施形態は、基本的な構成は第1実施形態と同様であるため、以下では主として第1実施形態との相違点について説明する。なお、第1実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
本第3実施形態は、第1実施形態において、乗員の音声を学習した特定学習器がない場合、即ち、一般の人の声を学習した一般学習器しかない場合の簡易化した例である。
図10に示すように、本第3実施形態では、S700にて、各マイク31、33から音声等を含む音を取得する。
続くS710では、音データを一般学習器に入力する。
続くS710では、一般学習器によって、入力された音データに基づいて、小さな事故を検知する処理を行う。
続くS340では、一般学習器によって実施された処理によって、小さな事故(即ち、イベント)が検知されたか否かを判定する。ここで肯定判断されるとS750に進み、一方否定判断されるとS740に進み、一旦本処理を終了する。
S750~S790の処理は、前記第1実施形態の図7のS390~S430の処理と同様であるので、その説明は省略する。
本第3実施形態では、乗員の音声を学習した特定学習器がない場合でも、小さな事故を検知して、イベントのスコアを求めることができる。
[4.第4実施形態]
第4実施形態は、基本的な構成は第1実施形態と同様であるため、以下では主として第1実施形態との相違点について説明する。なお、第1実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
本第4実施形態では、第2学習器29bを用いないで、小さな事故を検知する場合の簡易化した例である。
図11に示すように、本第4実施形態では、S800にて、各マイク31、33から音声等を含む音を取得する。
続くS810では、音データを一般学習器等の学習器29である第1学習器29aに入力する。
続くS810では、第1学習器29aによって、入力された音データに基づいて、小さな事故を検知する処理を行う。
続くS82では、第1学習器29aによって実施された処理によって、小さな事故(即ち、イベント)が検知されたか否かを判定する。ここで肯定判断されるとS830に進み、一方否定判断されると、一旦本処理を終了する。
S830~S850の処理は、前記第1実施形態の図5のS120~S140の処理と同様であるので、その説明は省略する。
本第4実施形態では、第2学習器29bを使用することなく、小さな事故を検知することが可能である。
[5.第5実施形態]
第5実施形態は、基本的な構成は第1実施形態と同様であるため、以下では主として第1実施形態との相違点について説明する。なお、第1実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
第5実施形態では、2次分析音データとして、車両3の乗員が発する音声を含んでおり、第2学習器29bとして、小さな事故の非発生と小さな事故の非発生時においてなされる可能性のある乗員の会話とを紐付けして学習した学習器を採用できる。
小さな事故が発生していない場合には、小さな事故と関係のない言葉による会話が行われると考えられる。例えば、前記図4に示すような、「擦った」、「ぶつかった」等のような小さな事故を示唆する言葉ではなく、それ以外の、例えば、「速い」、「到着」等のように、小さな事故の非発生時において乗員が発するような言葉が発せられる可能性がある。
従って、第2学習器29bとして、小さな事故の非発生と小さな事故の非発生時においてなされる可能性のある乗員の会話とを紐付けして学習した学習器を採用することにより、小さな事故ではない場合を検知できる。よって、小さな事故でない場合を、小さな事故と誤判定することを抑制できる。
例えば、第1学習器29aで、小さな事故が検知された場合であっても、第2学習器29bにて、小さな事故の検知の前後の所定期間の乗員の会話から、小さな事故ではない可能性が高いと判断された場合には、最終的に小さな事故ではないと判断することが可能である。なお、この処理は、例えば前記図7のS410にて実施することが可能である。
或いは、最初に第1学習器29aを用いて、小さな事故を検知(即ち、イベントを検知)して、イベントのスコアを所定値に設定した場合でも、次に第2学習器29bを用いて、そのイベントのスコアを低減することにより、小さな事故の発生の可能性は低いと判断してもよい。例えば、前記図7のS420等の処理の際に、イベントのスコアを設定することができる。
本第5実施形態は、第1実施形態と同様な効果を奏する。また、小さな事故の検知を精度良く行うことが可能である。
[6.第6実施形態]
第6実施形態は、基本的な構成は第1実施形態と同様であるため、以下では主として第1実施形態との相違点について説明する。なお、第1実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
第6実施形態では、第2学習器29bとして、車両3内の衝撃音を、小さな事故の非発生と紐付けして学習した学習器を採用できる。
車内マイク33によって取得された車両3内の衝撃音は、小さな事故とは関係のない音である可能性が高い。
従って、第2学習器29bとして、小さな事故の非発生と車両3内で発生する各種の音を紐付して学習した学習器を採用することにより、小さな事故ではない場合を検知できる。よって、小さな事故でない場合を、小さな事故と誤判定することを抑制できる。
例えば、第1学習器29aで、小さな事故が検知された場合であっても、第2学習器29bにて、車両3内の衝撃音から、小さな事故ではない可能性が高いと判断された場合には、最終的に小さな事故ではないと判断することが可能である。なお、この処理は、例えば前記図7のS400にて実施することが可能である。
或いは、最初に第1学習器29aを用いて、小さな事故を検知(即ち、イベントを検知)し、イベントのスコアを所定値に設定した場合でも、次に第2学習器29bを用いて、そのイベントのスコアを低減することにより、小さな事故の発生の可能性は低いと判断してもよい。例えば、前記図7のS420等の処理の際に、このようにイベントのスコアを設定することができる。
本第6実施形態は、第1実施形態と同様な効果を奏する。また、小さな事故の検知を精度良く行うことが可能である。
[7.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
(7a)例えば、ドライバの音声を登録した場合には、その登録した音声を利用して、学習器による音声の判断の精度を上げることができる。
例えば、ドライバの音声の周波数等の特徴から音素を分析して、音声を認識する音声認識技術が知られているので、その音声認識技術を利用して、学習器による音声の判断の精度を上げることができる。
具体的には、予めドライバの音声を登録する処理を行っておき(即ち、音声認識技術によって、ドライバの音声の特徴を学習しておき)、実際の走行時等に、マイクで収集した音から前記音声認識技術を用いてドライバの音声を抽出する。そして、この抽出したドライバの音声を、第1学習器に入力して、小さな事故を検知する方法が挙げられる。
つまり、マイクで収集する音には、音声を含む各種の音があるので、予めドライバの音声である可能性がある音を抽出して第1学習器等に入力することにより、小さな事故を精度良く検知することができる。
なお、実施形態等では、所定の構成(例えば、学習器)に、第1、第2等の序数を付しているが、各構成を区別できればよいので、例えばA学習器、B学習器等のように、個別に名称を付してもよい。
(7b)小さな事故の発生の可能性のある音として、クラクション音を利用する場合には、自車両のクラクション音に限らず、他車両のクラクション音も利用することができる。
(7c)ドライバの音声とドライバ以外の乗員の音声とは、例えば、音声が聞こえる方向等から区別することができる。また、予めドライバの音声が登録されている場合には、登録されている音声の特徴に基づいて、ドライバの音声とドライバ以外の音声とを区別することができる。
(7d)TVやラジオ等の音声と実際の乗員の音声とは、例えば、TVやラジオ等の場合に提供される情報から区別することができる。例えば、TVやラジオがオンであり、CMや音楽が流されている場合は、TVやラジオ等の音声の可能性が高いと判断してもよい。或いは、センサ等により乗員の数を認識できる場合には、乗員の数を超える種類の音声が認識された場合には、TVやラジオ等の音声の可能性が高いと判断してもよい。
(7e)本開示に記載の事故検知装置およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。
あるいは、本開示に記載の事故検知装置およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。
もしくは、本開示に記載の事故検知装置およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。事故検知装置に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
(7f)上述した事故検知装置の他、当該事故検知装置を構成要素とする構成(例えば、学習器)、当該事故検知装置のコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移有形記録媒体、制御方法など、種々の形態で本開示を実現することもできる。
(7g)上記各実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の実施形態の構成に対して付加または置換してもよい。
[本明細書が開示する技術思想]
[項目1]
車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器(29)と、
前記乗員が発する音声を取得するように構成された音取得部(25)と、
前記学習器に、前記音取得部にて取得した前記音声を入力し、前記学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す情報を取得するように構成された事故情報取得部(27)と、
を備えた、事故検出装置(5)。
[項目2]
項目1に記載の事故検出装置であって、
前記事故情報取得部にて取得した前記情報に基づいて、前記小さな事故の発生の可能性の程度を示す指標を出力するように構成された、
事故検出装置。
[項目3]
車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した第1学習器(29a)と、
前記乗員が発する音声を取得する第1音取得部(25a)と、
前記第1学習器に、前記第1音取得部にて取得した前記乗員が発する音声を入力し、前記第1学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第1情報を取得するように構成された第1事故情報取得部(27a)と、
を備えた、事故検出装置(5)。
[項目4]
項目3に記載の事故検出装置であって、
前記小さな事故と、前記小さな事故が発生した場合に前記車両が発する可能性のある音と、の関係を紐付けして学習した第2学習器(29b)と、
前記車両が発する音を取得する第2音取得部(25b)と、
前記第2学習器に、前記第2音取得部にて取得した前記音を入力し、前記第2学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第2情報を取得するように構成された第2事故情報取得部(27b)と、
を更に備えた、事故検出装置。
[項目5]
項目3又は4に記載の事故検出装置であって、
前記小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であればなされる可能性のある会話の内容と、の関係を紐付けして学習した第2学習器(29b)と、
前記会話の内容を取得するように構成された第3音取得部(25c)と、
前記第2学習器に、前記第3音取得部にて取得した前記乗員の会話を入力し、前記第2学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第2情報を取得するように構成された第3事故情報取得部(27c)と、
を更に備えた、事故検出装置。
[項目6]
請求項3~5のいずれか1項に記載の事故検出装置であって、
前記第1学習器(29a)で学習する前記音声は、前記車両のドライバの音声である、
事故検出装置。
[項目7]
項目3~6のいずれか1項に記載の事故検出装置であって、
前記小さな事故と、前記小さな事故が発生した場合に前記車両の周囲にて発生する可能性のある音と、の関係を紐付けして学習した第2学習器(29b)と、
前記車両の周囲の音を取得するように構成された第4音取得部(25d)と、
前記第2学習器に、前記第4音取得部にて取得した前記音を入力し、前記第2学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第2情報を取得するように構成された第4事故情報取得部(27d)と、
を更に備えた、事故検出装置。
[項目8]
項目3~7のいずれか1項に記載の事故検出装置であって、
前記小さな事故と、当該小さな事故の発生時の前及び/又は後に発生する可能性のある音と、を紐付けして学習した第2学習器(29b)と、
前記第1情報において、前記小さな事故の発生の可能性が示されている場合に、前記小さな事故の発生時の前及び/又は後の所定期間における前記音のデータを、2次分析音データとして特定するように構成された2次データ特定部(S400、S410)と、
前記第2学習器に、前記2次データ特定部にて特定した前記2次分析音データを入力し、前記第2学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第2情報を取得するように構成された第5事故情報取得部(25e)と、
を更に備え、
前記第1情報と前記第2情報とに基づいて、前記小さな事故の発生の可能性の程度を示す指標を出力するように構成された、
事故検出装置。
[項目9]
項目8に記載の事故検出装置であって、
前記2次分析音データは、前記車両が発する音を含み、
前記第2学習器は、前記小さな事故と、前記小さな事故が発生した場合に前記車両が発する可能性がある音と、を紐付けして学習した学習器である、
事故検出装置。
[項目10]
項目8又は9に記載の事故検出装置であって、
前記2次分析音データは、前記車両の乗員が発する音声を含み、
前記第2学習器は、前記小さな事故の非発生と、前記小さな事故の非発生時においてなされる可能性のある前記乗員の会話と、を紐付けして学習した学習器である、
事故検出装置。
[項目11]
項目8~10のいずれか1項に記載の事故検出装置であって、
前記2次分析音データは、前記車両の乗員が発する音声を含み、
前記第2学習器は、前記小さな事故と、前記小さな事故の発生の前及び/又は後に前記乗員にてなされる可能性のある人の会話と、を紐付けして学習した学習器である、
事故検出装置。
[項目12]
請求項4~11のいずれか1項に記載の事故検出装置であって、
前記小さな事故と紐付けして前記第2学習器にて学習される前記車両の発する可能性のある音は、
前記車両に対する衝突音、ドアパン音、前記車両を擦った音、前記車両に飛び石が当たった音のうち、少なくとも1種を含むように構成されている、
事故検出装置。
[項目13]
項目4~12のいずれか1項に記載の事故検出装置であって、
前記第2学習器は、前記車両内の衝撃音を、前記小さな事故の非発生と紐付けして学習した学習器である、
事故検出装置。
[項目14]
項目2、8~13のいずれか1項に記載の事故検出装置であって、
前記小さな事故の発生の可能性の程度示す指標に基づいて、前記乗員による車両の利用開始からの所定期間における前記小さな事故の発生の可能性を示す総合的な指標を算出するように構成された、
事故検出装置。
[項目15]
項目1~14のいずれか1項に記載の事故検出装置であって、
前記小さな事故と紐付けして前記学習器にて学習される前記音声は、
所定の感情が表われる音声、及び/又は、前記小さな事故の描写を含む言葉を含む音声である、
事故検出装置。
[項目16]
項目1~15のいずれか1項に記載の事故検出装置であって、
前記車両が事業者に管理されている場合に、
前記小さな事故の発生の可能性の程度を示す指標の情報、及び/又は、前記小さな事故の発生の可能性の程度示す指標に基づいて前記乗員による前記車両の利用開始からの所定期間における前記小さな事故の発生の可能性を示す総合的な指標の情報を、前記事業者に提供するように構成された、
事故検出装置。
[項目17]
車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器(29)を用い、
前記学習器に、前記乗員の音声を入力し、前記学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す情報を取得する、
事故検出方法。
[項目18]
車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器(29)を生成する方法であって、
前記小さな事故において前記乗員であれば発する可能性のある音声を準備し、前記小さな事故と、前記小さな事故において前記乗員であれば発する可能性のある音声と、を紐付けして学習させることによって、前記学習器を生成する、
学習器の生成方法。
1…全体システム、3…車両、5…車両側ECU、9…車両クラウド、11…サービサークラウド、13…クラウド側ECU、25…音取得部、27…事故情報取得部、29…学習器、29a…第1学習器、29b…第2学習器

Claims (18)

  1. 車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器(29)と、
    前記乗員が発する音声を取得するように構成された音取得部(25)と、
    前記学習器に、前記音取得部にて取得した前記音声を入力し、前記学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す情報を取得するように構成された事故情報取得部(27)と、
    を備えた、事故検出装置(5)。
  2. 請求項1に記載の事故検出装置であって、
    前記事故情報取得部にて取得した前記情報に基づいて、前記小さな事故の発生の可能性の程度を示す指標を出力するように構成された、
    事故検出装置。
  3. 車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した第1学習器(29a)と、
    前記乗員が発する音声を取得する第1音取得部(25a)と、
    前記第1学習器に、前記第1音取得部にて取得した前記乗員が発する音声を入力し、前記第1学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第1情報を取得するように構成された第1事故情報取得部(27a)と、
    を備えた、事故検出装置(5)。
  4. 請求項3に記載の事故検出装置であって、
    前記小さな事故と、前記小さな事故が発生した場合に前記車両が発する可能性のある音と、の関係を紐付けして学習した第2学習器(29b)と、
    前記車両が発する音を取得する第2音取得部(25b)と、
    前記第2学習器に、前記第2音取得部にて取得した前記音を入力し、前記第2学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第2情報を取得するように構成された第2事故情報取得部(27b)と、
    を更に備えた、事故検出装置。
  5. 請求項3に記載の事故検出装置であって、
    前記小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であればなされる可能性のある会話の内容と、の関係を紐付けして学習した第2学習器(29b)と、
    前記会話の内容を取得するように構成された第3音取得部(25c)と、
    前記第2学習器に、前記第3音取得部にて取得した前記乗員の会話を入力し、前記第2学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第2情報を取得するように構成された第3事故情報取得部(27c)と、
    を更に備えた、事故検出装置。
  6. 請求項3に記載の事故検出装置であって、
    前記第1学習器(29a)で学習する前記音声は、前記車両のドライバの音声である、
    事故検出装置。
  7. 請求項3に記載の事故検出装置であって、
    前記小さな事故と、前記小さな事故が発生した場合に前記車両の周囲にて発生する可能性のある音と、の関係を紐付けして学習した第2学習器(29b)と、
    前記車両の周囲の音を取得するように構成された第4音取得部(25d)と、
    前記第2学習器に、前記第4音取得部にて取得した前記音を入力し、前記第2学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第2情報を取得するように構成された第4事故情報取得部(27d)と、
    を更に備えた、事故検出装置。
  8. 請求項3に記載の事故検出装置であって、
    前記小さな事故と、当該小さな事故の発生時の前及び/又は後に発生する可能性のある音と、を紐付けして学習した第2学習器(29b)と、
    前記第1情報において、前記小さな事故の発生の可能性が示されている場合に、前記小さな事故の発生時の前及び/又は後の所定期間における前記音のデータを、2次分析音データとして特定するように構成された2次データ特定部(S400、S410)と、
    前記第2学習器に、前記2次データ特定部にて特定した前記2次分析音データを入力し、前記第2学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す第2情報を取得するように構成された第5事故情報取得部(25e)と、
    を更に備え、
    前記第1情報と前記第2情報とに基づいて、前記小さな事故の発生の可能性の程度を示す指標を出力するように構成された、
    事故検出装置。
  9. 請求項8に記載の事故検出装置であって、
    前記2次分析音データは、前記車両が発する音を含み、
    前記第2学習器は、前記小さな事故と、前記小さな事故が発生した場合に前記車両が発する可能性がある音と、を紐付けして学習した学習器である、
    事故検出装置。
  10. 請求項8に記載の事故検出装置であって、
    前記2次分析音データは、前記車両の乗員が発する音声を含み、
    前記第2学習器は、前記小さな事故の非発生と、前記小さな事故の非発生時においてなされる可能性のある前記乗員の会話と、を紐付けして学習した学習器である、
    事故検出装置。
  11. 請求項8に記載の事故検出装置であって、
    前記2次分析音データは、前記車両の乗員が発する音声を含み、
    前記第2学習器は、前記小さな事故と、前記小さな事故の発生の前及び/又は後に前記乗員にてなされる可能性のある会話と、を紐付けして学習した学習器である、
    事故検出装置。
  12. 請求項4に記載の事故検出装置であって、
    前記小さな事故と紐付けして前記第2学習器にて学習される前記車両の発する可能性のある音は、
    前記車両に対する衝突音、ドアパン音、前記車両を擦った音、前記車両に飛び石が当たった音のうち、少なくとも1種を含むように構成されている、
    事故検出装置。
  13. 請求項4に記載の事故検出装置であって、
    前記第2学習器は、前記車両内の衝撃音を、前記小さな事故の非発生と紐付けして学習した学習器である、
    事故検出装置。
  14. 請求項2又は8に記載の事故検出装置であって、
    前記小さな事故の発生の可能性の程度示す指標に基づいて、前記乗員による車両の利用開始からの所定期間における前記小さな事故の発生の可能性を示す総合的な指標を算出するように構成された、
    事故検出装置。
  15. 請求項1に記載の事故検出装置であって、
    前記小さな事故と紐付けして前記学習器にて学習される前記音声は、
    所定の感情が表われる音声、及び/又は、前記小さな事故の描写を含む言葉を含む音声である、
    事故検出装置。
  16. 請求項1に記載の事故検出装置であって、
    前記車両が事業者に管理されている場合に、
    前記小さな事故の発生の可能性の程度を示す指標の情報、及び/又は、前記小さな事故の発生の可能性の程度示す指標に基づいて前記乗員による前記車両の利用開始からの所定期間における前記小さな事故の発生の可能性を示す総合的な指標の情報を、前記事業者に提供するように構成された、
    事故検出装置。
  17. 車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器(29)を用い、
    前記学習器に、前記乗員の音声を入力し、前記学習器の演算処理を実施することにより、前記小さな事故の発生の可能性を示す情報を取得する、
    事故検出方法。
  18. 車両(3)が損傷する事故であって当該車両が走行可能な事故である小さな事故と、前記小さな事故が発生した場合に前記車両の乗員であれば発する可能性のある音声と、の関係を紐付けして学習した学習器(29)を生成する方法であって、
    前記小さな事故において前記乗員であれば発する可能性のある音声を準備し、前記小さな事故と、前記小さな事故において前記乗員であれば発する可能性のある音声と、を紐付けして学習させることによって、前記学習器を生成する、
    学習器の生成方法。
JP2023024587A 2023-02-20 2023-02-20 事故検出装置、事故検出方法及び学習器の生成方法 Pending JP2024118248A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023024587A JP2024118248A (ja) 2023-02-20 2023-02-20 事故検出装置、事故検出方法及び学習器の生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023024587A JP2024118248A (ja) 2023-02-20 2023-02-20 事故検出装置、事故検出方法及び学習器の生成方法

Publications (1)

Publication Number Publication Date
JP2024118248A true JP2024118248A (ja) 2024-08-30

Family

ID=92504343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023024587A Pending JP2024118248A (ja) 2023-02-20 2023-02-20 事故検出装置、事故検出方法及び学習器の生成方法

Country Status (1)

Country Link
JP (1) JP2024118248A (ja)

Similar Documents

Publication Publication Date Title
JP7091807B2 (ja) 情報提供システムおよび情報提供方法
US20180350366A1 (en) Situation-based conversation initiating apparatus, system, vehicle and method
CN110660201B (zh) 到站提醒方法、装置、终端及存储介质
JP2021033048A (ja) 車載装置、発声を処理する方法およびプログラム
US9311930B2 (en) Audio based system and method for in-vehicle context classification
JP2017090611A (ja) 音声認識制御システム
CN110503949B (zh) 对话系统、具有对话系统的车辆和对话处理方法
KR20200006739A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
CN110767215A (zh) 一种训练语音识别模型、识别语音的方法及装置
JP2017090612A (ja) 音声認識制御システム
CN114758653A (zh) 对话系统、具有对话系统的车辆以及控制对话系统的方法
CN115113739A (zh) 用于生成表情符号的装置、车辆和用于生成表情符号的方法
CN108780644A (zh) 运输工具、用于在语音输入范围内调整允许的语音停顿长度的系统和方法
CN111739524B (zh) 智能体装置、智能体装置的控制方法及存储介质
JP2009113659A (ja) 車両用ノイズキャンセル装置
CN117746879A (zh) 一种车内外声音交流方法、系统及车辆
JP7020098B2 (ja) 駐車場評価装置、駐車場情報提供方法およびプログラム
JP7347244B2 (ja) エージェント装置、エージェントシステム及びプログラム
CN117999210A (zh) 驾驶状态的异常提醒方法、装置、汽车及存储介质
JP2024118248A (ja) 事故検出装置、事故検出方法及び学習器の生成方法
JP2019191477A (ja) 音声認識装置及び音声認識方法
US20230290342A1 (en) Dialogue system and control method thereof
CN112927688A (zh) 用于车辆的语音交互方法及系统
CN118798618A (zh) 一种车辆工作流的生成方法、设备、介质及程序产品
JPH08211892A (ja) 音声認識装置