JP2021096539A - Warning device for driver, warning method, and safety system using them - Google Patents
Warning device for driver, warning method, and safety system using them Download PDFInfo
- Publication number
- JP2021096539A JP2021096539A JP2019225955A JP2019225955A JP2021096539A JP 2021096539 A JP2021096539 A JP 2021096539A JP 2019225955 A JP2019225955 A JP 2019225955A JP 2019225955 A JP2019225955 A JP 2019225955A JP 2021096539 A JP2021096539 A JP 2021096539A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- target
- driver
- noise
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】運転者の周囲の環境音を最適化して、車両の乗員に不快感を与えることなく、異常事態を確実に知らせることのできる、全く新規な発想の注意喚起装置を提供することを目的とする。【解決手段】本発明は、車両を運転中のドライバに対して、危険な状況の前兆を知らせる注意喚起装置であり、車両の周辺にある物体を検出する物体センサと;ドライバの周辺に存在する環境音を検出する音声検出装置と;前記物体センサの出力に基づき、危険の兆候がある物体をターゲットとして検出するとともに、前記ターゲットが発する音以外の音をノイズとして特定する演算装置と;前記ノイズと逆位相のキャンセル信号を生成する信号生成器と;前記キャンセル信号を車両の車室内に出力するスピーカとを備える。【選択図】図1PROBLEM TO BE SOLVED: To provide a completely new concept alerting device capable of optimizing the environmental sound around a driver and surely notifying an abnormal situation without causing discomfort to a vehicle occupant. And. The present invention is a warning device for notifying a driver who is driving a vehicle of a sign of a dangerous situation, and an object sensor that detects an object in the vicinity of the vehicle; and exists in the vicinity of the driver. A voice detection device that detects environmental sounds; an arithmetic device that detects an object with a sign of danger as a target based on the output of the object sensor, and identifies sounds other than the sound emitted by the target as noise; It is provided with a signal generator that generates a cancellation signal having a phase opposite to that of the vehicle; and a speaker that outputs the cancellation signal into the passenger compartment of the vehicle. [Selection diagram] Fig. 1
Description
本発明は、車両のドライバに対して聴覚的に危険を知らせる注意喚起装置に関する。
The present invention relates to an alert device that audibly informs a driver of a vehicle of danger.
車両内の乗員の安全を確保する方法として、事故の発生を未然に防ぐアクティブセーフティと、実際に事故が発生したときに被害を軽減するパッシブセーフティという技術がある。 As a method of ensuring the safety of occupants in a vehicle, there are technologies called active safety that prevents accidents from occurring and passive safety that reduces damage when an accident actually occurs.
パッシブセーフティの代表的なものとして、エアバッグがある。エアバッグは、例えば、自動車のステアリングホイールの中心付近から膨張して運転者を保護する、いわゆる運転者用エアバッグや、インストルメントパネルから膨出して助手席の乗員を保護する助手席用エアバッグや、自動車の窓の内側で下方向に展開して車両横方向の衝撃や横転、転覆事故時に乗員を保護するカーテンエアバッグや、車両横方向の衝撃時に乗員を保護すべくシートの側部で展開するサイドエアバッグなどの様々な形態がある。 Airbags are a typical example of passive safety. Airbags are, for example, so-called driver airbags that inflate from near the center of the steering wheel of an automobile to protect the driver, and passenger airbags that inflate from the instrument panel to protect passengers in the passenger seat. Also, on the side of the seat to protect the occupants in the event of a lateral impact, rollover, or overturn accident of the vehicle by deploying downward inside the window of the automobile. There are various forms such as side airbags to be deployed.
一方、アクティブセーフティは、異常事態の監視と、異常事態が確認された場合の正常状態への回復(または異常事態の回避)動作に分類される。異常事態の監視動作としては、カメラ、レーダー、ライダー等を用いた周辺の物体(車両、歩行者、自転車)との衝突可能性の把握がある。異常事態の前兆を検知したときには、警報音を発したり、警報ランプを点滅させたりすることがある。 On the other hand, active safety is classified into monitoring an abnormal situation and recovering to a normal state (or avoiding an abnormal situation) when an abnormal situation is confirmed. The monitoring operation of an abnormal situation includes grasping the possibility of collision with surrounding objects (vehicles, pedestrians, bicycles) using a camera, radar, rider, or the like. When a sign of an abnormal situation is detected, an alarm sound may be emitted or an alarm lamp may be blinked.
しかしながら、異常事態の前兆を知らせる警報音や、警報ランプは、ドライバを驚かせ、あるいは、不快にさせてしまう場合がある。例えば、大きな警報音によってドライバが一瞬ドキッとすると、ハンドル操作を誤ったりして、却って危険な状態を引き起こす恐れがある。
However, an alarm sound or an alarm lamp that signals a sign of an abnormal situation may surprise or offend the driver. For example, if the driver is momentarily shocked by a loud alarm sound, the steering wheel may be operated incorrectly, causing a dangerous situation.
本発明は上記のような状況に鑑みてなされたものであり、安全のため、運転者の周囲の環境音を最適化して、車両の乗員に不快感を与えることなく、異常事態を確実に知らせることのできる、全く新規な発想の注意喚起装置を提供することを目的とする。 The present invention has been made in view of the above situations, and for safety reasons, the environmental noise around the driver is optimized to reliably notify an abnormal situation without causing discomfort to the occupants of the vehicle. The purpose is to provide an alert device with a completely new idea that can be used.
上記課題を解決するために、本発明は、車両を運転中のドライバに対して、危険な状況の前兆を知らせる注意喚起装置であり、車両の周辺にある物体を検出する物体センサと;ドライバの周辺に存在する環境音を検出する音声検出装置と;前記物体センサの出力に基づき、危険の兆候がある物体をターゲットとして検出するとともに、前記ターゲットが発する音以外の音をノイズとして特定する演算装置と;前記ノイズと逆位相のキャンセル信号を生成する信号生成器と;前記キャンセル信号をドライバに対して出力するスピーカとを備える。 In order to solve the above problems, the present invention is a warning device that notifies a driver driving a vehicle of a sign of a dangerous situation, and an object sensor that detects an object in the vicinity of the vehicle; A voice detection device that detects environmental sounds existing in the vicinity; an arithmetic device that detects an object with a sign of danger as a target based on the output of the object sensor, and identifies sounds other than the sound emitted by the target as noise. And; a signal generator that generates a cancel signal having a phase opposite to that of the noise; and a sensor that outputs the cancel signal to the driver.
ここで、「車両」とは、自動車、トラック、バス等を含む比較的広い概念であり、人間によって運転操作される車両、乗り物を意味する。
「危険な状況」とは、接触や衝突の可能性がある状況を含む概念である。
「前兆」とは、必ずしも危険な状況の直前の状況のみを意味するものではなく、ドライバが注意をしていれば容易に回避できる程度の状況を意味することもある。
「物体」とは、車両(自動車、トラック、バス等)、オートバイ等を含むものであり、音を発するものといえる。
「環境音」としては、自車両及び周辺車両の走行音、クラクション、工事現場の音、人間の声、足音、咳、自然の音(風、鳥、動物等)、自車のキャビン内で聞こえる音楽、ラジオ、会話等を含むものであり、ドライバが認識可能なあらゆる音と言うことができる。
Here, the "vehicle" is a relatively broad concept including an automobile, a truck, a bus, and the like, and means a vehicle or a vehicle that is driven and operated by a human being.
A "dangerous situation" is a concept that includes situations where there is a possibility of contact or collision.
"Omen" does not necessarily mean only the situation immediately before a dangerous situation, but may also mean a situation that can be easily avoided if the driver is careful.
The "object" includes a vehicle (automobile, truck, bus, etc.), a motorcycle, etc., and can be said to emit sound.
"Environmental sounds" include running sounds of own vehicle and surrounding vehicles, horns, construction site sounds, human voices, footsteps, coughing, natural sounds (wind, birds, animals, etc.), and can be heard in the cabin of the own vehicle. It includes music, radio, conversation, etc., and can be said to be any sound that the driver can recognize.
本発明によれば、ターゲットが発する音に対して、それ以外の音(ノイズ)を相対的に弱くすることで、ターゲットが発する音が強調され、当該ターゲットによる危険状況の前兆を知ることができる。ここで、ノイズのキャンセル量(低減割合)によって、ターゲットの存在を更に強調したり、弱めたりすることができる。このため、危険状況の兆候がある場合に、ドライバが自然に危険状態の発生の可能性を知ることができ、不快感を避けることができる。
なお、本発明に基づく思想は、ノイズの音(レベル)を低減させるものであるが、ターゲットが発する音を適度に増幅することで、運転者の周囲の音を最適化して運転者の注意をターゲットに引きつける(カクテルパーティー効果)、ターゲットの知覚的存在をより強調することもできる。
According to the present invention, by making other sounds (noise) relatively weaker than the sound emitted by the target, the sound emitted by the target is emphasized, and it is possible to know the precursor of a dangerous situation by the target. .. Here, the presence of the target can be further emphasized or weakened depending on the amount of noise cancellation (reduction rate). Therefore, when there are signs of a dangerous situation, the driver can naturally know the possibility of a dangerous situation and avoid discomfort.
The idea based on the present invention is to reduce the noise sound (level), but by appropriately amplifying the sound emitted by the target, the sound around the driver is optimized to pay the driver's attention. It can also attract the target (cocktail party effect) and emphasize the perceptual presence of the target.
前記物体センサは、少なくとも、電波を利用したレーダーセンサ、レーザー光を利用したライダー(LiDAR)センサ、カメラのうちの、少なくとも1つを含むことができる。これらのセンサ類は、エアバッグや自動ブレーキ等の安全システムの一部として車両に搭載されていることが多く、これを利用することができる。 The object sensor may include at least one of a radar sensor using radio waves, a lidar (LiDAR) sensor using laser light, and a camera. These sensors are often mounted on vehicles as part of safety systems such as airbags and automatic braking, and can be used.
前記音声検出装置は、前記車両のガラス部分に設けられた加速度センサ及び/又は前記車両の外側に設けられたマイクロフォンを含むことができる。いずれにしても、環境音を集音(検出)できるものであれば、他の原理に基づいた機器を採用することができる。ここで、前記音声検出装置は、前記車両の車室内に設けられたマイクロフォンを更に含むことができる。 The voice detection device may include an accelerometer provided on the glass portion of the vehicle and / or a microphone provided on the outside of the vehicle. In any case, a device based on another principle can be adopted as long as it can collect (detect) environmental sounds. Here, the voice detection device can further include a microphone provided in the vehicle interior of the vehicle.
前記スピーカは、ドライバを包囲するような位置に設けることができる。また、ドライバのヘッドレストに設けた場合には、同乗者に影響を与えることなく、ドライバのみが危険状態の兆候を知ることができる。 The speaker can be provided at a position surrounding the driver. Further, when it is provided in the headrest of the driver, only the driver can know the sign of the dangerous state without affecting the passengers.
前記演算装置は、種々の音声を認識するアルゴリズムに基づいて、前記環境音を分類する構成とすることができる。そして、前記信号生成器は、前記分類された音声データに基づいて前記キャンセル信号を生成することができる。
ここで、アルゴリズムは、DL(ディープラーニング)、CNN(畳み込みニューラルネットワーク)、ML(マシンラーニング、(教師あり/教師なし))、その他のモデルベースの分類アルゴリズムを含み、音を特徴等によって分類したものであり、既に存在する商用のデータベースを利用することができる。
また、「データベース」は、外部データソースとして、インターネット等のネットワークを通じて最新のデータをその都度取得するように構成することもできる。
The arithmetic unit can be configured to classify the environmental sounds based on algorithms that recognize various voices. Then, the signal generator can generate the cancel signal based on the classified voice data.
Here, the algorithms include DL (deep learning), CNN (convolutional neural network), ML (machine learning, (supervised / unsupervised)), and other model-based classification algorithms, and the sounds are classified according to their characteristics, etc. It is a thing, and an existing commercial database can be used.
Further, the "database" can be configured to acquire the latest data each time through a network such as the Internet as an external data source.
前記演算装置は、当該車両に対する前記物体の位置、前記物体と当該車両との方向や距離を含む情報に基づいて、前記ターゲットを特定することができる。
例えば、自車の斜め後方から近づいてくるオートバイであれば、ある程度の距離まで接近した時に(死角に入った時点で)、ターゲットとして検出、特定することができる。ターゲットの音は、ADAS (先進運転支援システム) によって検出された物体の位置と距離などの情報によって特定することができる。
The arithmetic unit can identify the target based on information including the position of the object with respect to the vehicle and the direction and distance between the object and the vehicle.
For example, a motorcycle approaching from diagonally behind the vehicle can be detected and identified as a target when it approaches a certain distance (when it enters a blind spot). The sound of the target can be identified by information such as the position and distance of the object detected by ADAS (advanced driver assistance system).
前記信号生成器は、前記ノイズとして特定された複数種類の音を、各々同じ割合で弱めるような前記キャンセル信号を生成したり、前記ノイズの全てを前記ターゲットが発する音よりも小さくなるようにしたりすることができる。
なお、本発明で採用するキャンセル信号は、対象となる音と逆位相の音であり、一般的な(公知の)ノイズキャンセリング技術を適用することができる。
The signal generator may generate the cancel signal that weakens a plurality of types of sounds identified as the noise at the same ratio, or make all of the noise smaller than the sound emitted by the target. can do.
The cancel signal adopted in the present invention is a sound having a phase opposite to that of the target sound, and a general (known) noise canceling technique can be applied.
音は空気が振動し、耳へと伝わるものであるため、真逆の空気の振動を発生させれば、その波同士が打ち消しあって、音自体を消すことができる。これがノイズキャンセリングの原理である。ノイズをマイクロフォンで拾いあげ、逆の音波をスピーカから再生することで、ノイズを低減させることができる。 Since the sound vibrates in the air and is transmitted to the ears, if the vibration of the air is generated in the opposite direction, the waves cancel each other out and the sound itself can be extinguished. This is the principle of noise canceling. Noise can be reduced by picking up the noise with a microphone and reproducing the reverse sound wave from the speaker.
前記信号生成器は、前記ターゲットが検出された後の所定の時間だけ、前記キャンセル信号を出力するように構成することができる。 The signal generator can be configured to output the cancel signal for a predetermined time after the target is detected.
上述した注意喚起装置を備えた車両用安全システムは、前記信号生成器から前記所定の時間、前記キャンセル信号が出力されたにもかかわらず、更に危険な状態になった場合に作動する他の安全装置を備えている。
ここで、前記安全装置は、安全制御システム(ステアリング制御システム、ブレーキ制御システム)、警報装置の少なくとも1つを含むことができる。
The vehicle safety system equipped with the above-mentioned alert device is another safety system that operates when the signal generator outputs the cancel signal for the predetermined time but becomes more dangerous. It is equipped with a device.
Here, the safety device can include at least one of a safety control system (steering control system, brake control system) and an alarm device.
例えば、斜め後方から近づいてくるオートバイがターゲットとして検出されている状況で、ドライバがオートバイに近づく方向にステアリングを操作しようとした場合には、衝突の危険があるため、緊急度を増して警報装置を起動し、又は他の安全装置を起動することができる。 For example, in a situation where a motorcycle approaching from diagonally behind is detected as a target, if the driver tries to operate the steering in the direction approaching the motorcycle, there is a risk of collision, so the urgency is increased and the alarm device Can be activated, or other safety devices can be activated.
本発明は、また、運転中のドライバに対して、危険な状況の前兆を知らせる注意喚起方法において、車両の周辺にある物体を検出する物体検出工程と;ドライバの周辺に存在する環境音を検出する音声検出工程と;前記物体検出工程において検出された物体のうち、危険の兆候がある物体をターゲットとして検出する工程と;前記ターゲットが発する音以外の音をノイズとして特定する工程と;前記ノイズと逆位相のキャンセル信号を生成する工程と;前記キャンセル信号をドライバに対して出力する工程とを備える。
The present invention also includes an object detection step of detecting an object in the vicinity of the vehicle and an environmental sound existing in the vicinity of the driver in a method of alerting the driver while driving to notify the precursor of a dangerous situation. Sound detection step; A step of detecting an object having a sign of danger as a target among the objects detected in the object detection step; a step of specifying a sound other than the sound emitted by the target as noise; A step of generating a cancel signal having the opposite phase to the above; and a step of outputting the cancel signal to the driver are provided.
以下、本発明の実施例に係る安全システムについて、添付図面に基づいて詳細に説明する。
図1は、本発明の実施例に係る車両用安全システム(注意喚起装置を含む)の構成を示すブロック図である。図2は、本実施例に係る注意喚起装置のマイクロフォンや加速度センサ(集音装置)の配置を示す上面図である。
Hereinafter, the safety system according to the embodiment of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram showing a configuration of a vehicle safety system (including a warning device) according to an embodiment of the present invention. FIG. 2 is a top view showing the arrangement of the microphone and the acceleration sensor (sound collector) of the alert device according to the present embodiment.
本実施例に係る車両用安全システムは、車両を運転中のドライバに対して、危険な状況の前兆を知らせる注意喚起機能を有するものであり、車両の周辺にある物体を検出する物体センサ10と;ドライバの周辺に存在する環境音を検出する音声検出装置(集音器)12と;物体センサ10の出力に基づき、危険の兆候がある物体をターゲットとして検出するとともに、ターゲットが発する音以外の音をノイズとして特定する演算装置24と;ノイズと逆位相のキャンセル信号を生成する信号生成器26と;キャンセル信号を車両の車室内に出力するスピーカ14とを備える。
The vehicle safety system according to the present embodiment has a warning function for notifying a driver who is driving a vehicle of a sign of a dangerous situation, and has an
本実施例においては、ターゲットが発する音に対して、それ以外の音(ノイズ)を相対的に弱くすることで、ターゲットが発する音が強調され、当該ターゲットによる危険状況の前兆を知ることができる。ここで、ノイズのキャンセル量(低減割合)によって、ターゲットの存在を更に強調したり、弱めたりすることができる。なお、ノイズの音(レベル)を低減させるのに加えて、ターゲットが発する音を適度に増幅することで、ターゲットの存在をより強調することもできる。 In this embodiment, by making the other sounds (noise) relatively weaker than the sound emitted by the target, the sound emitted by the target is emphasized, and the precursor of a dangerous situation by the target can be known. .. Here, the presence of the target can be further emphasized or weakened depending on the amount of noise cancellation (reduction rate). In addition to reducing the noise sound (level), the presence of the target can be further emphasized by appropriately amplifying the sound emitted by the target.
物体センサ10は、レーダーセンサ10aと、ライダー(LiDAR)センサ10bと、カメラ10cとを含む。
The
図2に示すように、音声検出装置12は、車両の外側に設けられたマイクロフォン12aと、車両のガラス部分に設けられた加速度センサ12bとを含むことができる。なお、環境音を集音(検出)できるものであれば、他の原理に基づいた機器を採用することができる。また、音声検出装置12は、車両の車室内に設けられたマイクロフォンを更に含むことができ、車室内の音を検出できるようになっている。
As shown in FIG. 2, the
スピーカ14は、車室内においてドライバを包囲するような位置の他に、ドライバが着座するシートのヘッドレストに設けることができる。
The
上述したセンサ10(10a,10b,10c)と、音声検出装置12と、スピーカ14は、インターフェース18を介してECU20に接続される。
The sensor 10 (10a, 10b, 10c) described above, the
ECU20は、インターフェース18に接続された入出力装置22と、CPU24と、メモリ(RAM)28と、音声信号プロセッサ26とを含んでいる。ECU20には、音声データベース16に格納された膨大な音声データが供給可能になっている。そして、データベース16は、膨大な数の音を周波数等によって細かく分類したデータが収容されており、既に存在する商用のデータベースを利用することができる。また、データベース16は、ECU20に直接連結された記録メディアの他に、インターネット等のネットワークを通じてデータをその都度取得、保存するように構成することもできる。
The
CPU24は、格納された音認識のアルゴリズムに基づいて、音声検出装置12で検出された環境音を分類するように構成されている。アルゴリズムは、DL、CNN、ML(教師あり/教師なし)、その他のモデルベースの分類アルゴリズムを含み、音を特徴によって分類したものである。
The
音声信号プロセッサ26は、分類された音声データに基づいて、逆位相のキャンセル信号を生成する。音声信号プロセッサ26は、ターゲットが検出された後の所定の時間だけ、キャンセル信号を出力するように構成されている。ノイズのキャンセル方法(ターゲット音の強調方法)については、後述する。
The
CPU24は、車両に対する物体の位置、物体と当該車両との方向や距離を含む情報に基づいて、ADAS検出されたターゲットの音を特定するようになっている。
例えば、車両(自車)の斜め後方から近づいてくるオートバイであれば、ある程度の距離まで接近した時に(死角に入った時点で)、ターゲットとして検出、特定することによって、ADASは警告(注意喚起動作)を開始することを決定する。
The
For example, in the case of a motorcycle approaching from diagonally behind the vehicle (own vehicle), ADAS warns (warns) by detecting and identifying it as a target when approaching a certain distance (when entering the blind spot). (Operation) is decided to start.
本実施例に係る安全システムは、所定の時間に、音声信号プロセッサ26からキャンセル信号が出力されたにもかかわらず、更に危険な状態になった場合に作動する他の安全装置30を備えている。
安全装置30は、警報装置38、安全制御システム40の少なくとも1つを含む構成となっている。安全制御システム40は、ブレーキを制御するためのブレーキ制御システム40aと、ステアリングホイールを制御するステアリング制御システム40bとを含むんでいる。
The safety system according to the present embodiment includes another
The
図3は、本実施例に係る注意喚起方法の工程を示すフローチャートである。また、図4は、図3に示すフローチャートの中の工程S4、S5を詳細に示すフローチャートである。図5及び図6は、本発明の機能を概略的に示す模式図である。図7及び図8は、本発明における音声処理工程を説明するためのグラフである。 FIG. 3 is a flowchart showing the process of the attention calling method according to the present embodiment. Further, FIG. 4 is a flowchart showing steps S4 and S5 in detail in the flowchart shown in FIG. 5 and 6 are schematic views schematically showing the functions of the present invention. 7 and 8 are graphs for explaining the voice processing process in the present invention.
まず、図3に示すように、センサ10によって車両の周辺の状況を常時監視し(S1)、CPU20において、車両の周辺に存在する物体を検出する(S2)。次に、CPU20において、センサ10からの信号に基づき、検出された物体の中に危険状況の兆候のある物体をターゲットとして特定する(S3)。例えば、車両の斜め後方から近づいてくるオートバイが、当該車両の死角に入った時に、そのオートバイをターゲットとして特定する。
First, as shown in FIG. 3, the
また、マイクロフォンや加速度センサ等の集音装置12a,12bによって、車内及び車外の音を360°の範囲で検出する(S4−1)。検出された音は、CPU24において、音認識のアルゴリズムに基づいて分類し(S4−2)、ターゲットの音とそれ以外の音(ノイズ)とを判別する(S4−3)。その後、警告(注意喚起動作)を開始する決定を行う(S4−4)。
Further, the sounds inside and outside the vehicle are detected in a range of 360 ° by the
次に、音声信号プロセッサ26において、ノイズと逆位相のキャンセル信号を生成し(S5−1)、スピーカ14からキャンセル信号を所定の時間だけ出力し、ノイズの音量(強度)を下げることで、ターゲットの音を強調する。このような処理のイメージを、図5に示す。なお、図6に示すように、ノイズに対するキャンセル信号だけでなく、ターゲットの音自体もスピーカ14から出力するようにしてもよい。
Next, the
その後、センサ10からの信号によって、更に危険な状況になった場合には、安全装置30を作動させることができる(S7)。
例えば、後方から近づいてくるオートバイが車両の死角に入ったことによって、当該オートバイがターゲットとして特定され、当該オートバイの音を強調することでドライバに注意を喚起した状況でありながら、ドライバがオートバイに近づく方向にステアリングを操作しようとした場合には、衝突の危険があるため、安全制御システム40を介入させて、ステアリング制御システム40bによるステアリングの制御を行うことができる。ステアリング制御システム40bによる制御としては、強制的(自動的)にステアリング操作を行うことや、ステアリングの操作が重くなるように負荷を与えることや、ステアリング操作自体を不能にするような制御が可能である。
After that, if the signal from the
For example, when a motorcycle approaching from behind enters the blind spot of the vehicle, the motorcycle is identified as a target, and the driver calls attention to the driver by emphasizing the sound of the motorcycle. If the steering is operated in the approaching direction, there is a risk of collision. Therefore, the safety control system 40 can be intervened to control the steering by the
また、別の例としては、車両が交差点にさしかかった時に、右からトラックが信号無視をして交差点に進入してきた、又は、進入しそうな勢いで走行していることで、当該トラックがターゲットとして特定されたとする。ここで、当該トラックの音を強調することでドライバに注意を喚起したが、ドライバによるブレーキ操作が遅れた場合には、安全制御システム40を介入させて、ブレーキ制御システム40aによるブレーキ制御を行う。例えば、強制的にブレーキを作動させて、車両を減速させたり、自動停止させたりすることができる。
なお、安全制御システム40のブレーキ制御システム40aと、ステアリング制御システム40aの何れか一方又は両方を同時に作動させることもできる。
As another example, when a vehicle approaches an intersection, the truck has entered the intersection by ignoring the signal from the right, or is running at a momentum that is likely to enter, and the truck is the target. Suppose it is identified. Here, the driver was alerted by emphasizing the sound of the track, but when the brake operation by the driver is delayed, the safety control system 40 is intervened to control the brake by the
It is also possible to operate either or both of the
次に、図7及び図8を参照して、ノイズのレベル調整の例について説明する。ここで、図7及び図8において、上段に示されたグラフは、キャンセル信号を出力する前の無調整な状態の音の強度パターンを示し、下段に示されたグラフは、キャンセル信号を出力することでターゲットの音が強調された状態の音の強度パターンを示している。 Next, an example of noise level adjustment will be described with reference to FIGS. 7 and 8. Here, in FIGS. 7 and 8, the graph shown in the upper row shows the intensity pattern of the sound in the unadjusted state before the cancel signal is output, and the graph shown in the lower row outputs the cancel signal. This shows the sound intensity pattern when the target sound is emphasized.
図7に示す例においては、ノイズ1〜ノイズ8の全てのノイズに対して、各々同じ割合(10%程度)で弱めるような制御を行っている。すなわち、ターゲットが発する音とは無関係に、ノイズ1〜ノイズ8の強度を弱めている。本発明において、ノイズキャンセルの度合い(ノイズの低減率)は重要であり、10%〜30%とすることが好ましい。仮に、ノイズの90%をキャンセルすると、ターゲットの音が強調されすぎて、ドライバに不快感を与えたり、驚かせてしまう恐れがある。なお、ノイズのキャンセル度合いは、個々のノイズに対してだけでなく、ノイズ全体の強度(音量)に対して適用することもできる。 In the example shown in FIG. 7, control is performed so as to weaken all the noises 1 to 8 at the same ratio (about 10%). That is, the intensity of noise 1 to noise 8 is weakened regardless of the sound emitted by the target. In the present invention, the degree of noise cancellation (noise reduction rate) is important, and is preferably 10% to 30%. If 90% of the noise is canceled, the target sound will be overemphasized, which may cause discomfort or surprise to the driver. The noise cancellation degree can be applied not only to individual noise but also to the intensity (volume) of the entire noise.
一方、図8に示す例においては、ノイズ1〜ノイズ8の全てをターゲットが発する音よりも弱くなるような制御を行っている。すなわち、ノイズ1〜ノイズ8の強度のバラツキとは無関係に、ターゲットが発する音を基準にして、全体のノイズ1〜ノイズ8の強度を弱めている。このような方法は、制御自体がシンプルになるというメリットがあるが、急激な音響変化、すなわち、ターゲット音の過度な強調が生じやすい。 On the other hand, in the example shown in FIG. 8, all of the noises 1 to 8 are controlled to be weaker than the sound emitted by the target. That is, the intensity of the overall noise 1 to noise 8 is weakened based on the sound emitted by the target, regardless of the variation in the intensity of the noise 1 to the noise 8. Such a method has an advantage that the control itself is simple, but sudden acoustic changes, that is, excessive emphasis on the target sound is likely to occur.
(本発明の技術的範囲の解釈)
以上、本発明の実施例について説明したが、本発明は上記実施例に何ら限定されるものではなく、特許請求の範囲に表現された技術思想の範囲内で適宜変更可能なものである。
(Interpretation of the technical scope of the present invention)
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments and can be appropriately modified within the scope of the technical idea expressed in the claims.
Claims (19)
車両の周辺にある物体を検出する物体センサと;
ドライバの周辺に存在する環境音を検出する音声検出装置と;
前記物体センサの出力に基づき、危険の兆候がある物体をターゲットとして検出するとともに、前記ターゲットが発する音以外の音をノイズとして特定する演算装置と;
前記ノイズと逆位相のキャンセル信号を生成する信号生成器と;
前記キャンセル信号をドライバに対して出力するスピーカとを備えることを特徴とする注意喚起装置。 It is a warning device that alerts the driver who is driving the vehicle of a danger situation.
With an object sensor that detects objects around the vehicle;
With a voice detector that detects environmental sounds around the driver;
Based on the output of the object sensor, an arithmetic unit that detects an object with a sign of danger as a target and identifies sounds other than the sound emitted by the target as noise;
With a signal generator that generates a cancellation signal that is out of phase with the noise;
A warning device including a speaker that outputs the cancel signal to the driver.
前記信号生成器は、前記分類された音声データに基づいて前記キャンセル信号を生成することを特徴とする請求項1乃至6の何れか1項に記載の注意喚起装置。 The arithmetic unit has a configuration for classifying the environmental sounds based on various sound recognition algorithms.
The alerting device according to any one of claims 1 to 6, wherein the signal generator generates the cancel signal based on the classified voice data.
前記信号生成器から前記所定の時間、前記キャンセル信号が出力されたにもかかわらず、更に危険な状態になった場合に作動する他の安全装置を備えたことを特徴とする車両用安全システム。 A vehicle safety system provided with the alert device according to claim 1.
A vehicle safety system comprising another safety device that operates when the signal generator outputs the cancel signal for the predetermined time but becomes a more dangerous state.
車両の周辺にある物体を検出する物体検出工程と;
ドライバの周辺に存在する環境音を検出する音声検出工程と;
前記物体検出工程において検出された物体のうち、危険の兆候がある物体をターゲットとして検出する工程と;
前記ターゲットが発する音以外の音をノイズとして特定する工程と;
前記ノイズと逆位相のキャンセル信号を生成する工程と;
前記キャンセル信号をドライバに対して出力する工程とを備えたことを特徴とする注意喚起方法。 In a method of alerting a driver who is driving a vehicle to inform him of a dangerous situation,
With the object detection process that detects objects around the vehicle;
With a voice detection process that detects environmental sounds around the driver;
Among the objects detected in the object detection step, the step of detecting an object with a sign of danger as a target;
A process of identifying sounds other than the sound emitted by the target as noise;
The process of generating a cancellation signal having a phase opposite to that of the noise;
A method for calling attention, which comprises a step of outputting the cancel signal to the driver.
前記キャンセル信号を生成する工程は、前記分類された音声データに基づいて実行されることを特徴とする請求項14に記載の注意喚起方法。 The step of identifying the noise includes a step of classifying the environmental sound based on a sound recognition algorithm.
The attention-calling method according to claim 14, wherein the step of generating the cancel signal is executed based on the classified voice data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019225955A JP2021096539A (en) | 2019-12-13 | 2019-12-13 | Warning device for driver, warning method, and safety system using them |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019225955A JP2021096539A (en) | 2019-12-13 | 2019-12-13 | Warning device for driver, warning method, and safety system using them |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021096539A true JP2021096539A (en) | 2021-06-24 |
Family
ID=76431349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019225955A Pending JP2021096539A (en) | 2019-12-13 | 2019-12-13 | Warning device for driver, warning method, and safety system using them |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021096539A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115685797A (en) * | 2021-07-26 | 2023-02-03 | 欧温星球控股股份有限公司 | Remote assistance device, remote assistance system and remote assistance method |
WO2024232245A1 (en) * | 2023-05-10 | 2024-11-14 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
US12333215B2 (en) | 2023-01-19 | 2025-06-17 | Toyota Jidosha Kabushiki Kaisha | Display system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006023588A (en) * | 2004-07-08 | 2006-01-26 | Denso Corp | In-vehicle noise suppressing system |
JP2008206688A (en) * | 2007-02-26 | 2008-09-11 | Denso Corp | Doze warning device |
JP2009078628A (en) * | 2007-09-25 | 2009-04-16 | Denso Corp | Vehicular notifying system |
JP2018041394A (en) * | 2016-09-09 | 2018-03-15 | トヨタ自動車株式会社 | Vehicle Information Presentation Device |
-
2019
- 2019-12-13 JP JP2019225955A patent/JP2021096539A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006023588A (en) * | 2004-07-08 | 2006-01-26 | Denso Corp | In-vehicle noise suppressing system |
JP2008206688A (en) * | 2007-02-26 | 2008-09-11 | Denso Corp | Doze warning device |
JP2009078628A (en) * | 2007-09-25 | 2009-04-16 | Denso Corp | Vehicular notifying system |
JP2018041394A (en) * | 2016-09-09 | 2018-03-15 | トヨタ自動車株式会社 | Vehicle Information Presentation Device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115685797A (en) * | 2021-07-26 | 2023-02-03 | 欧温星球控股股份有限公司 | Remote assistance device, remote assistance system and remote assistance method |
US12333215B2 (en) | 2023-01-19 | 2025-06-17 | Toyota Jidosha Kabushiki Kaisha | Display system |
WO2024232245A1 (en) * | 2023-05-10 | 2024-11-14 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111361552B (en) | automatic driving system | |
US10351148B2 (en) | System and method for sound direction detection in a vehicle | |
CN107709079B (en) | System and method for detecting external events for use in a vehicle | |
JP3429727B2 (en) | In-car information system | |
JP2021096539A (en) | Warning device for driver, warning method, and safety system using them | |
EP2944516A1 (en) | Warning to a pedestrian in dangerous situation | |
CN113002421B (en) | Vehicle exterior safety prompting method and device | |
JP2005062911A (en) | Vehicle controller | |
JP2008149917A (en) | Ambient sound informing device for vehicle | |
JP5382155B2 (en) | Alarm device and method thereof | |
CN108327626A (en) | Audible alert signal detection for motor vehicles | |
JP5050720B2 (en) | Alarm device and method thereof | |
US11872937B2 (en) | Severity prediction system and method | |
JPH06344839A (en) | Alarm and guide device for vehicle | |
US11328604B2 (en) | Individual alert system and method | |
KR20220054504A (en) | Vehicle and control method for the same | |
JP5782793B2 (en) | In-vehicle device controller | |
JP5862461B2 (en) | Vehicle notification sound control device | |
JP3687156B2 (en) | Rear-end collision warning device for automobiles | |
US20200198652A1 (en) | Noise adaptive warning displays and audio alert for vehicle | |
JP7569015B2 (en) | Exit assistance device | |
JP2006193069A (en) | Vehicle alarm device | |
KR20110131899A (en) | Collision Hazard Warning Device and Control Method Using Vehicle Camera Rotation | |
JPH092152A (en) | Alarm device | |
JP3736003B2 (en) | Vehicle alarm device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231122 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240319 |