JP2009244959A - Driving support device and driving support method - Google Patents
Driving support device and driving support method Download PDFInfo
- Publication number
- JP2009244959A JP2009244959A JP2008087747A JP2008087747A JP2009244959A JP 2009244959 A JP2009244959 A JP 2009244959A JP 2008087747 A JP2008087747 A JP 2008087747A JP 2008087747 A JP2008087747 A JP 2008087747A JP 2009244959 A JP2009244959 A JP 2009244959A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- vehicle
- driver
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、運転者の視線移動の広さに応じて車両を制御する運転支援装置及び運転支援方法に関する。 The present invention relates to a driving support apparatus and a driving support method for controlling a vehicle in accordance with a driver's line-of-sight movement.
運転者の意識状態が運転操作に影響を与えることが知られており、走行中の運転者の眠けや漫然運転を検出して、運転者を注意喚起する技術が知られている。また、漫然運転等のため意識状態が低下した状態では、運転者の走行状況に対する対応が遅れがちになるため、漫然運転が検出された場合、漫然運転が検出されていない場合よりも障害物との関係において早期に運転者に警告する運転者状態判定装置が提案されている(例えば、特許文献1参照。)。 It is known that a driver's consciousness state affects driving operation, and a technique for alerting a driver by detecting sleep of a driver who is traveling or casual driving is known. Also, in a state where the state of consciousness has declined due to absurd driving, etc., the driver's response to the driving situation tends to be delayed, so when the absurd driving is detected, it is more likely to be an obstacle than when the absurd driving is not detected A driver state determination device that warns the driver at an early stage in this relationship has been proposed (see, for example, Patent Document 1).
特許文献1では、視線方向の停留状態に基づき漫然運転を検出する。しかしながら、視線方向の停留時間が長いからといって常に漫然運転しているとは限らないため、視線方向のみで漫然運転か否かを判定すると不要警報を増大してしまうという不都合がある。
In
この点について、運転者の視線の移動範囲が狭い場合に運転者に警告する漫然運転検出装置において、車速が高速な場合は低速な場合よりも警告するか否かを判定する視線の移動範囲の閾値を小さくする漫然運転検出装置が提案されている(例えば、特許文献2参照。)。高速走行時には閾値を超えやすくなるので、高速で移動することで必然的に視線の移動範囲が狭くなっても、漫然運転と誤判定することを防止できる。
しかしながら、特許文献2記載の漫然運転検出装置では高速な走行状況において漫然運転と誤判定することを防止しうるが、低速な走行状況において漫然運転と誤判定するおそれがあった。例えば、渋滞中であれば先行車又は先々行車の移動状況を把握しながら、自車両の運転者が運転操作するため、視線の移動範囲が狭くなりがちである。したがって、特許文献2記載の漫然運転検出装置は、低速走行時に漫然運転であると誤判定するおそれがあるという問題があった。 However, although the mischievous driving detection device described in Patent Document 2 can prevent misjudgment as mischievous driving in a high-speed driving situation, there is a risk of misjudging as mischievous driving in a low-speed driving situation. For example, if the vehicle is in a traffic jam, the driver of the own vehicle performs a driving operation while grasping the movement state of the preceding vehicle or the preceding vehicle, so that the range of movement of the line of sight tends to be narrow. Therefore, the random driving detection device described in Patent Document 2 has a problem that it may be erroneously determined to be a random driving when traveling at a low speed.
本発明は、上記課題に鑑み、運転者の視線移動に応じて運転者を支援する運転支援装置等において、運転者の状態を精度よく検出して誤判定を低減する運転支援装置及び運転支援方法を提供することを目的とする。 In view of the above problems, the present invention provides a driving support device and a driving support method that detect a driver's state accurately and reduce erroneous determination in a driving support device that supports the driver according to the driver's line of sight movement. The purpose is to provide.
上記課題に鑑み、本発明は、運転者の視線移動に基づき運転者を支援する運転支援装置において、車速を検出する車速センサと、視線移動の大きさに基づき支援するか否かを判定する支援判定手段(例えば、警報判定部14)と、を有し、支援判定手段は、車速が小さい場合ほど視線移動が小さいことを許容して支援量を抑制する、ことを特徴とする。 In view of the above problems, the present invention provides a vehicle speed sensor that detects a vehicle speed and assistance for determining whether to assist based on the magnitude of the line of sight movement in a driving assistance device that assists the driver based on the line of sight movement of the driver. Determination means (for example, warning determination unit 14), and the support determination means is characterized in that the smaller the vehicle speed is, the smaller the movement of the line of sight is allowed, and the smaller the support amount is.
本発明によれば、車速が小さい場合ほど視線移動が小さいことを許容して支援をしないと判定する、先行車との車間距離が短くなる低速走行状態では支援を禁止でき、運転者に煩わしさを感じさせることを低減できる。 According to the present invention, as the vehicle speed is smaller, it is determined that the movement of the line of sight is smaller and the assistance is not performed, and the assistance can be prohibited in a low-speed traveling state in which the distance between the preceding vehicle and the preceding vehicle is shortened. Can be reduced.
また、本発明は、運転者の視線移動に基づき運転者を支援する運転支援装置において、車速を検出する車速センサを有し、車速が所定以下の低速走行状態か否かを判定する車両状態判定手段と、視線移動の大きさに基づき支援するか否かを判定する支援判定手段(例えば、警報判定部14)と、を有し、支援判定手段は、視線が正面方向に停留していると判定された場合であって、かつ、車両状態判定手段が低速走行状態であると判定した場合、支援量を抑制する、ことを特徴とする。 In addition, the present invention provides a vehicle state determination that includes a vehicle speed sensor that detects a vehicle speed and determines whether or not the vehicle speed is a low-speed traveling state that is equal to or lower than a predetermined value in a driving assistance device that assists the driver based on movement of the driver's line of sight. And a support determination unit (for example, an alarm determination unit 14) that determines whether or not to support based on the magnitude of the line of sight movement, and the support determination unit has the line of sight stopped in the front direction. If it is determined, and the vehicle state determination means determines that the vehicle is in a low-speed traveling state, the amount of support is suppressed.
本発明によれば、低速走行状態であると判定した場合には支援を禁止するので、先行車との車間距離が短くなる低速走行状態では支援を禁止でき、運転者に煩わしさを感じさせることを低減できる。 According to the present invention, since assistance is prohibited when it is determined that the vehicle is traveling at a low speed, the assistance can be prohibited in a low-speed traveling state in which the distance between the preceding vehicle and the preceding vehicle is short, and the driver feels bothered. Can be reduced.
運転者の視線移動に応じて運転者を支援する運転支援装置において、運転者の状態を精度よく検出する運転支援装置及び運転支援方法を提供することができる。 In a driving support device that supports a driver in accordance with the movement of the driver's line of sight, a driving support device and a driving support method that accurately detect the state of the driver can be provided.
以下、本発明を実施するための最良の形態について図面を参照しながら実施例を挙げて説明する。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.
図1は、視線方向の停留を模式的に説明する図の一例である。自車両30は渋滞列の一部を走行しており、前方を先行車及び先々行車が徐行と停止を繰り返しながら走行している。渋滞列を走行中は、自車両30の運転者は先行車との適切な車間距離を保つため視線の移動範囲は狭くなりがちであり、また、先々行車が大型車両の場合など状況によっては先々行車を注視して走行するためさらに視線の移動範囲が狭くなる場合がある。
FIG. 1 is an example of a diagram for schematically explaining stopping in the sight line direction. The
ところで、運転支援装置100は、視線移動の態様に基づき視線が停留しているか否かを判定し、視線が停留していると判定された場合は運転者が漫然運転しているおそれがあると判定する。視線移動の態様は、例えば、所定時間内における視線の水平方向の最大角度、所定角度毎に区切った場合の角度範囲毎の停留時間、左から右(又は右から左)方向への視線が移動するまでの平均的な時間、等で指標化される。水平方向の最大角度を指標とした場合、判定閾値(角度)を小さくすると視線が停留していると判定されにくくなり、角度範囲毎の停留時間を指標とした場合、判定閾値(時間)を大きくすると視線が停留していると判定されにくくなり、視線が移動するまでの平均的な時間を指標とした場合、判定閾値(時間)を大きくすると視線が停留していると判定されにくくなる。
By the way, the
このように視線移動の態様毎に判定閾値を定めることができるが、本実施例では一例として所定時間内における視線の水平方向の最大角度(以下、移動範囲という)により視線の停留を判定するものとする。この場合、低速走行時には視線の移動範囲が判定閾値を超えにくくなり、漫然運転していなくても漫然運転していると誤判定されるおそれがある。誤判定されると例えば、運転者に警報音の吹鳴など支援が提供されるため煩わしさを感じさせてしまう。 In this way, a determination threshold can be set for each line-of-sight movement mode. In this embodiment, as an example, the stop of the line-of-sight is determined by the maximum horizontal angle of the line of sight within a predetermined time (hereinafter referred to as a movement range). And In this case, when the vehicle is traveling at a low speed, the moving range of the line of sight hardly exceeds the determination threshold, and it may be erroneously determined that the driver is driving freely even if the driver is not driving freely. If it is erroneously determined, for example, the driver is provided with assistance such as sounding an alarm sound, which makes the driver feel bothered.
そこで、本実施形態の運転支援装置100は、低速走行をもたらす自発的な運転操作が検出された場合には、視線が停留していても支援を禁止することで運転者に煩わしさを感じさせることを防止する。
Therefore, the
図2は、運転支援装置100の機能ブロック図の一例を示す。運転支援装置100は制御部20により制御される。制御部20は、所定のECU(electronic control unit)を実体とし、専用線やCAN(controller area network)等の車載LANを介してドライバモニタセンサ11、車速センサ12、交通情報受信部13、ストップランプスイッチ14及び警報アクチュエータ18と接続されている。
FIG. 2 shows an example of a functional block diagram of the
また、制御部20は、CPU、ASIC(Application Specific Integrated Circuit)、RAM、ROM、スイッチ素子及び入出力インターフェイス等を備えたコンピュータを有し、CPUがプログラムを実行するか又はASIC等のハードウェアにより実現される、視線方向検出部15、警報判定部16及び車両状態判別部17を有する。なお、これらの各機能は1つのECUのみで実現される必要はなく、複数のECUに分散して実現されてもよい。
The
〔視線方向の検出〕
視線方向の検出について説明する。視線方向検出部15はドライバモニタセンサ11が撮影した運転者の顔画像から運転者の視線方向を検出する。ドライバモニタセンサ11は、光軸を自車両30の後方かつやや上方に向けて、例えばステアリングコラムに配置された撮影手段である。ドライバモニタセンサ11は、カメラ及び赤外線投光器を一体に有し、カメラのレンズはステアリングホイールの中心を通る鉛直軸線上に配置され、運転者の顔を正面から撮影する。
[Detection of gaze direction]
The detection of the gaze direction will be described. The gaze
赤外線投光器はカメラの左右両側に同数ずつ配置されている。赤外線投光器は、運転者の顔部へ向けて近赤外光を投光するLEDランプであり、夜間における運転者の顔の撮影や瞳孔の検出を容易にする。 The same number of infrared projectors are arranged on the left and right sides of the camera. The infrared projector is an LED lamp that projects near-infrared light toward the driver's face, and facilitates shooting of the driver's face and detection of the pupil at night.
カメラはCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成され、赤外線投光器が照射する赤外光に感度を有しており、入射した光を電気信号に変換したあと所定階調のデジタルデータ(顔画像)を生成する。また、この赤外線投光器が照射する光は運転者の瞳孔に進入し、瞳孔部の輝度が周囲の眼の輝度と異なるようになるため、瞳孔の位置及び大きさが検出される。 The camera is composed of CCD (Charge Coupled Device), CMOS (Complementary Metal Oxide Semiconductor), etc., and is sensitive to the infrared light emitted by the infrared projector. Digital data (face image). In addition, the light emitted from the infrared projector enters the driver's pupil, and the luminance of the pupil portion becomes different from the luminance of the surrounding eyes, so that the position and size of the pupil are detected.
運転者の顔向きの検出について説明する。ドライバモニタセンサ11が撮影した顔画像は順次、視線方向検出部15に入力され、メモリに記憶されていく。
The detection of the driver's face orientation will be described. Face images captured by the
まず、視線方向検出部15は、顔画像から顔のおよその位置(顔の輪郭)を検出する。例えば、順次入力される顔画像の間で、同じ画素位置の画素値(輝度)を比較し、所定以上に画素値が異なる画素の画素値の差をその画素位置と共に記憶していく。そして、所定数の顔画像について同じ画素位置の画素値の差をカウントしていくと、輪郭部の画素位置のカウント数が増大する。顔画像には背景なども写っているが、背景は静止しているため、顔の左右の端部は最もカウント数が大きくなるので、カウント数の縦方向のヒストグラムを作りその積分値のピークが横方向の顔の輪郭位置となる。このようにして、顔位置の左右の端部が決定される。
First, the gaze
ついで、視線方向検出部15は、顔画像のエッジ情報から顔の特徴点を検出する。エッジ情報により、顔の特徴点(眉、上下の瞼、鼻孔、口角、上下の唇の境など)は、肌に比べ輝度の変化の大きい画素として検出される。例えば、Sobel等、公知のエッジ検出アルゴリズムを用いれば、輝度小から大、輝度大から小の2種類のエッジ情報に囲まれる顔の各パーツの輪郭が得られる。
Next, the line-of-sight
視線方向検出部15は、エッジ情報から顔の上下の輪郭位置及び中央線を検出する。人の顔の眼や鼻などの特徴点は左右対称に配置されているので、左右のエッジ情報の数がほぼ均等になる鉛直方向の線が顔の中央線となる。例えば、顔画像を左右に2分割する仮想の縦線を設定し、その縦線を基準に左右のエッジ情報の数をそれぞれカウントする。左右のエッジ情報の数の差を閾値と比較し、閾値以下となる縦線又はエッジ情報の数の差が最小となる縦線を顔の中央線と決定する。
The line-of-sight
視線方向検出部15は、得られた中央線に基づき運転者の顔向きを検出する。すなわち、中央線から左又は右の輪郭位置までの距離に基づき、正面方向とゼロ度とした左右方向の顔向き度を例えば5〜10度刻み程度に検出する。
The line-of-sight
視線方向の検出について説明する。視線方向は例えば角膜反射法により検出する。角膜反射法は、角膜上の赤外線投光器の光の虚像が、角膜と眼球の回転中心の違いにより、眼球運動に伴って平行移動することを利用して視線方向を検出する。したがって、顔画像から角膜反射点21と瞳孔中心22を検出することで視線方向が求められる。
The detection of the gaze direction will be described. The line-of-sight direction is detected by, for example, a corneal reflection method. The corneal reflection method detects the line-of-sight direction by utilizing the fact that the virtual image of the light of the infrared projector on the cornea moves in parallel with the eye movement due to the difference between the rotation centers of the cornea and the eyeball. Therefore, the line-of-sight direction is obtained by detecting the
図3は視線方向の検出を模式的に示す図の一例である。瞳孔は眼の瞳孔以外の部分よりも暗く写る傾向がある。このため、例えば赤外線投光器の点滅と撮影を同期させ、点灯時の顔画像と消灯時の顔画像との画素値の差分を演算すると、瞳孔のみが光に反応して画素値が変化するので、瞳孔以外の画素値は差分によりゼロ又は無視できる小さい値になり、瞳孔だけが画素値の差分が大きくなるので、瞳孔を検出しやすくできる。瞳孔の大きさは成人で2〜6mm程度の範囲で変化するが、平均的にはおよそ4mm程度である。人間の場合、瞳孔は円形なのでその中心を瞳孔中心22の位置として決定する。
FIG. 3 is an example of a diagram schematically showing detection of the line-of-sight direction. The pupil tends to appear darker than the portion of the eye other than the pupil. For this reason, for example, when the blinking of the infrared projector and shooting are synchronized, and the difference in pixel value between the face image when turned on and the face image when turned off is calculated, only the pupil reacts to the light and the pixel value changes. The pixel values other than the pupil become zero or a small value that can be ignored due to the difference, and the difference in pixel value increases only for the pupil, so that the pupil can be easily detected. The size of the pupil varies in the range of about 2 to 6 mm in adults, but on average is about 4 mm. In the case of human beings, the pupil is circular, so the center is determined as the position of the
同様に、角膜反射点21は、赤外線投光器が点灯した場合にのみ検出される輝度の高い点なので、点灯時の顔画像と消灯時の顔画像との画素値の差分から明瞭に検出される。
Similarly, the
瞳孔中心22の位置と角膜反射点21の位置は、原点を例えばドライバモニタセンサ11の所定部を原点とする3次元座標における位置となる。角膜反射点21と瞳孔中心22の位置に対する実際の人間の視線方向には個人差があるので、角膜反射点21と瞳孔中心22の位置と視線方向の関係を較正するため、この座標系において座標の知られた1点Qを運転者に注視させ、その時の角膜反射点21と瞳孔中心22の位置を求める。この位置は、3次元上の位置なのでシートポジションやリクライニング角度から自車両30の前後方向の距離を含めて検出するか、より好ましくはステレオカメラにより直接3次元の位置として検出することが好ましい。
The position of the
したがって、ドライバモニタセンサ11から瞳孔中心22までのベクトルEOが明らかとなり、既知の座標Qと瞳孔中心22までのベクトルEQも明らかとなる。また、ベクトルEOとベクトルEQとのなす角αが求められる。
Therefore, the vector EO from the
ついで、角膜反射点21と瞳孔中心22の位置から、角膜反射点21と瞳孔中心22の距離rを求める。この距離rは3次元座標上の距離である。また、この距離rとなす角αには線形関係があり、r=f(α)という関係が求めれる。
Next, the distance r between the
この関係式を求めると、未知の一点を注視した際の視線ベクトルは、その時の瞳孔中心22、角膜反射点21、から求めたr‘を関係式に代入することでα’から算出できることになる。なお、α又はα‘はそれぞれ水平方向と仰角方向の2つの成分で表されるが、本実施形態では水平方向の成分に基づき判定する。そして、必要であれば、既に検出された顔向きに基づき視線方向を補正して最終的な視線方向が得られる。
When this relational expression is obtained, the line-of-sight vector at the time of gazing at an unknown point can be calculated from α ′ by substituting r ′ obtained from the
〔車両状態の判別〕
車両状態の判別について説明する。本実施形態で検出したい車両状態とは、上記のように視線の移動範囲が狭くても漫然運転とは限らない車両状況であるので、自発的な運転操作が検出される状態、例えば、低速走行状態、渋滞状態、頻繁なブレーキ操作、等が検出される車両状態である。
・低速走行状態
車両状態判別部17は車速センサ12が検出する車速情報から自車両30が低速走行していることを検出する。車両状態判別部17は車速が所定値以下の場合、低速な車速で走行しなければならない走行状況にあり運転者が自発的に運転操作していると判別する。なお、車速が所定以下であっても停止している場合は運転操作していると言えないので、所定以下とはゼロより大きいことをいう。
[Determination of vehicle status]
The vehicle state determination will be described. The vehicle state to be detected in the present embodiment is a vehicle state that is not necessarily a random driving even if the movement range of the line of sight is narrow as described above, so that a spontaneous driving operation is detected, for example, low speed driving This is a vehicle state in which a state, a traffic congestion state, frequent braking operations, and the like are detected.
Low-speed traveling state The vehicle state determination unit 17 detects that the
また、走行中は信号など一時的に車速が低下することがあるので、低速走行の状態が所定時間(例えば、5分〜10分以上)継続した場合にのみ、車両状態判別部17が低速走行状態であると判別する。なお、低速走行の継続時間は特に限定しなくても、視線の停留の検出に所定時間の経過が必要となるので、視線の停留の判定時に必然的に限定される。
・渋滞時
自車両30が走行している道路が渋滞しているか否かは、自車両30の内部で検出する方法と、外部から交通情報を受信する方法がある。自車両30が検出する場合、低速走行の検出と同様に、低速走行の状態が所定時間(例えば、5分〜10分以上)継続した場合に、車両状態判別部17は自車両30が渋滞に巻き込まれていると判別する。
Further, since the vehicle speed may temporarily decrease during traveling, the vehicle state determination unit 17 operates at low speed only when the low-speed traveling state continues for a predetermined time (for example, 5 minutes to 10 minutes or more). It is determined that the state is present. Even if the duration of low-speed traveling is not particularly limited, a predetermined time must be elapsed to detect the stop of the line of sight, so that it is necessarily limited when determining the stop of the line of sight.
-At the time of traffic congestion There are a method of detecting whether the road on which the
また、交通情報を受信する場合、交通情報受信部13は、VICS(Vehicle Information and Communication System)がFM方法、電波ビーコン又は光ビーコンを媒体に配信する交通情報を受信して、渋滞の有無やリンク等の旅行時間に基づき、車両状態判別部17は走行中の道路が渋滞しているか否かを判別する。また、プローブカーの走行情報をセンタ(サーバ)が収集して配信する態様の交通情報によっても同様に、渋滞しているか否かを判別できる。なお、自車両30の位置は、GPS((Global Positioning System)を搭載したナビゲーションシステムにより明らかとなっている。
・頻繁なブレーキ操作
ブレーキ操作の頻度が大きい場合、視線が停留していてもブレーキ操作を繰り返す状態では潜在意識が活性化されているとしてよいので、運転者が自発的に運転操作していると推定できる。例えば、車両状態判別部17は所定時間(例えば5分程度)のブレーキペダルの操作回数Nを検出し、操作回数Nに基づき自車両30がブレーキを頻繁にかける車両状況(渋滞等)にあるか否かを判別する。なお、操作回数Nは、例えばストップランプスイッチ14のオンの回数、マスタシリンダ圧が所定値以上になった回数、ブレーキペダルストロークセンサが検出する操作回数等から検出される。
In addition, when receiving traffic information, the traffic
・ Frequent brake operation If the frequency of brake operation is large, the subconscious may be activated in the state where the brake operation is repeated even if the line of sight is stopped. Can be estimated. For example, the vehicle state determination unit 17 detects the number N of brake pedal operations for a predetermined time (for example, about 5 minutes), and is the vehicle situation (congestion etc.) where the
〔警報判定〕
警報判定部16は、以下の規則に基づき警報アクチュエータ18に警報を要求する。
1.視線方向検出部15が検出する所定時間内の視線の移動範囲が判定閾値以内の場合
2.1の条件を満たしても、車両状態判別部17が「自発的に運転操作していると見なせる車両状況」であると判別した場合、警報の出力を禁止する。
[Alarm judgment]
The
1. When the range of movement of the line of sight within a predetermined time detected by the line-of-sight
したがって、「自発的に運転操作していると見なせる車両状況」では、視線方向が停留しても警報を吹鳴しないので、運転者に煩わしさを感じさせることを防止できる。 Therefore, in the “vehicle situation that can be regarded as driving voluntarily”, an alarm is not sounded even if the line-of-sight direction stops, so that the driver can be prevented from feeling bothered.
警報アクチュエータ18は、音声メッセージを出力するスピーカ、警報音を出力するブザー発生部、警告メッセージを表示するディスプレイ、シートやステアリングホイールなどに振動を発生させる振動モータ、等である。警報判定部16は警報アクチュエータ18の1以上を組み合わせて支援するよう、警報アクチュエータ18に要求する。
The
〔動作手順〕
図4は、運転支援装置100が漫然運転を検出して運転者を支援する手順を示すフローチャート図の一例である。図4のフローチャート図は、例えばイグニッションがオンの状態で運転支援装置100のスイッチがオンの場合にスタートし、所定のサイクル時間毎に繰り返し実行される。
[Operation procedure]
FIG. 4 is an example of a flowchart illustrating a procedure in which the driving
ドライバモニタセンサ11が撮影した顔画像毎に、視線方向検出部15が運転者の視線方向を検出し、検出された視線方向のうち古いものから削除しながら所定時間の視線方向を記憶していく(S10)。これにより、所定時間における視線の移動範囲が明らかとなる。なお、移動範囲だけでなく、所定角度毎に区切った場合の角度範囲毎の停留時間や、左から右(又は右から左)方向への視線が移動するまでの平均的な時間、の1以上の指標に基づき視線が停留したか否かを判定してもよい。
For each face image photographed by the
警報判定部16は、検出した視線の移動範囲に基づき視線が停留しているか否かを判定する(S20)。視線が停留していない場合(S20のNo)、支援する必要がないので図4の処理は終了する。
The
視線が停留している場合(S20のYes)、警報判定部16は停留した方向が正面方向か否かを判定する(S30)。正面方向でない方向で視線が停留している場合(S30のNo)、運転者がわきみやナビ画面等を注視しているおそれがあるので警報判定部16は警報アクチュエータ18に警報の出力を要求する(S70)。警報アクチュエータ18は、例えばブザー音を出力したり、スピーカから「わきみに注意しましょう」等のメッセージを出力したり、シートやステアリングホイールに振動を生じさせる。また、運転者の視線方向が既知なので、視線方向のディスプレイに同様のメッセージを表示してもよい。
When the line of sight is stopped (Yes in S20), the
視線が正面方向に停留している場合(S30のYes)、車両状態判別部17は車両状態を検出し(S40)、車両状態に基づき運転者が自発的な運転をしているか否か(漫然運転でないか否か)を判定する(S50)。 When the line of sight is stopped in the front direction (Yes in S30), the vehicle state determination unit 17 detects the vehicle state (S40), and whether or not the driver is driving spontaneously based on the vehicle state (rarely) It is determined whether it is not driving | operation (S50).
上記のように、自発的な運転か否かの判定には例えば3つの態様がある。なお、この3つの態様のうちいずれか1つから自発的な運転か否かを判定してもよいし、2以上の組み合わせに基づき判定してもよい。
・低速走行状態(図5(a))
車両状態を検出するため、車両状態判別部17は車速センサ12から車速情報を取得する(S40A)。そして、車速が「0〜V〔km/h〕」の範囲に入るか、すなわち低速走行状態か否かを判定する(S50A)。低速走行なので車速Vは例えば20km/hである。
・渋滞時(図5(b))
車両状態を検出するため、車両状態判別部17はVICS等から交通情報を取得する(S40B)。そして、自車両30が現在走行している道路が渋滞しているか否かを判定する(S50B)。
・頻繁なブレーキ操作(図5(c))
車両状態を検出するため、車両状態判別部17は所定時間におけるブレーキ操作の回数を取得する(S40C)。そして、ブレーキの操作回数Nが所定値以上か否かを判定する(S50C)。
As described above, there are, for example, three modes for determining whether or not the driving is spontaneous. In addition, you may determine whether it is a voluntary driving | operation from any one among these three aspects, and you may determine based on a combination of 2 or more.
・ Low-speed driving condition (Fig. 5 (a))
In order to detect the vehicle state, the vehicle state determination unit 17 acquires vehicle speed information from the vehicle speed sensor 12 (S40A). Then, it is determined whether or not the vehicle speed falls within the range of “0 to V [km / h]”, that is, whether or not the vehicle is running at a low speed (S50A). Since the vehicle is traveling at a low speed, the vehicle speed V is 20 km / h, for example.
・ During traffic jam (Fig. 5 (b))
In order to detect a vehicle state, the vehicle state determination part 17 acquires traffic information from VICS etc. (S40B). Then, it is determined whether the road on which the
・ Frequent brake operation (Fig. 5 (c))
In order to detect a vehicle state, the vehicle state determination part 17 acquires the frequency | count of the brake operation in predetermined time (S40C). Then, it is determined whether or not the brake operation frequency N is equal to or greater than a predetermined value (S50C).
図4に戻り、自発的に運転操作していない場合(S50のNo)、正面方向に視線が停留していることになるので、警報アクチュエータ18に警報の出力を要求する(S70)。警報アクチュエータ18は、例えばブザー音を出力したり、スピーカから「正面方向に視線が留まっています。漫然運転に注意しましょう」等のメッセージを出力したり、シートやステアリングホイールに振動を生じさせる。また、視線方向のディスプレイ(例えば、ヘッドアップディスプレイ)に同様のメッセージを表示してもよい。
Returning to FIG. 4, when the driving operation is not performed spontaneously (No in S50), since the line of sight is stopped in the front direction, the
自発的に運転操作していると判定された場合(S50のYes)、車両状態判別部17は警報判定部16に支援の禁止を要求する(S60)。すなわち、視線が正面方向に停留していても、運転者が自発的に運転操作していると見なせる場合は警報等を禁止することで不要警報を低減できる。なお、支援を禁止するのでなく、例えば、警報音の音量を低減したり、警報音を変えるなどして、支援量を低減してもよい。すなわち、より緊急度の低い態様で支援することで、自発的な運転をしていても最小限の支援を提供することが可能となる。
When it is determined that the vehicle is voluntarily driving (S50: Yes), the vehicle state determination unit 17 requests the
以上説明したように本実施例の運転支援装置100は、車両状態から自発的な運転操作が検出された場合は視線の停留に対し支援を禁止するので、不要警報を低減することができる。不要警報を低減すれば燃費を向上させることにもつながる。
As described above, the driving
なお、本実施例では警報の禁止を例に説明したが、その他の車両制御に同様に適用することができる。例えば、PCS(プリクラッシュセーフティシステム)では、障害物との衝突の可能性をTTC(Time To Collision)に置き換え、TTCに基づき、a衝突の可能性がある場合、b衝突の可能性が高い場合、c衝突が不可避の場合、等に場合分けしてそれぞれのタイミングで車両制御を実行する。例えば、PCSではa衝突の可能性がある場合に運転者に警報音を吹鳴し、b衝突の可能性が高い場合には自動制動を加えるなどの支援を提供することが多い。 In the present embodiment, the prohibition of alarm has been described as an example, but it can be similarly applied to other vehicle controls. For example, in PCS (pre-crash safety system), the possibility of collision with an obstacle is replaced with TTC (Time To Collision), and when there is a possibility of a collision based on TTC, there is a high possibility of b collision , C When the collision is unavoidable, the vehicle control is executed at each timing according to the case. For example, PCS often provides assistance such as sounding a warning sound to the driver when there is a possibility of a collision, and applying automatic braking when the possibility of a collision is high.
また、LWD(Lane Warning Departure)では、走行レーンを区切る車線区分線(以下、白線という)をカメラで撮影し、自車両30の進行方向と車速から所定時間T秒後に白線を逸脱するおそれがあると判定すると、運転者に警報音を吹鳴する。
In addition, in LWD (Lane Warning Departure), a lane division line (hereinafter referred to as a white line) that divides a driving lane is photographed by a camera, and there is a possibility of deviating from the white line after a predetermined time T seconds from the traveling direction of the
そして、PCSやLWDのような車両制御では、運転者の居眠りや漫然運転に対し支援のタイミングを早めることができるが、本実施例の運転支援装置100を適用することで、視線の停留が検出されても、自発的に運転操作している車両状態であれば、支援を禁止することができる。すなわち、早期に支援を開始する状況では、不要な支援となることが早期に支援しない場合よりも高くなるおそれがあるが、本実施例では支援自体を禁止するのでより効果的に不要警報等を低減できる。
In vehicle control such as PCS and LWD, the timing of assistance can be advanced with respect to the driver's snoozing and casual driving. However, by applying the driving
実施例1では、自発的に運転操作している車両状態の場合に警報を禁止したが、本実施例では別の態様で、自発的に運転操作している場合、誤警報を低減する運転支援装置100について説明する。本実施例では、自発的に運転操作している車両状態を検出した場合、警報を禁止するのでなく判定閾値を車速に応じて可変とする運転支援装置100について説明する。
In the first embodiment, the warning is prohibited in the case of the vehicle state where the driving operation is voluntarily performed. However, in the present embodiment, the driving support for reducing the false alarm when the driving operation is voluntarily performed in another mode. The
図6(a)は、運転支援装置100の機能ブロック図の一例を示す。なお、図6(a)において図2と同一部分には同一の符号を付しその説明は省略する。図6(a)の運転支援装置100は判定閾値調整部19を有する。判定閾値調整部19は、車速に応じて視線が停留しているか否かを判定する判定閾値を増減する。実施例1において説明したように、渋滞などで車速が小さい場合は運転者が自発的に運転操作している可能性があるので、車速が小さいほど視線の移動範囲が狭いことを許容できることが好ましくなる。このため、判定閾値調整部19は車速が小さいほど判定閾値が小さくなるように判定閾値を増減する。
FIG. 6A shows an example of a functional block diagram of the driving
図6(b)は車速と判定閾値の関係を示す閾値マップの一例である。閾値マップは例えば、制御部20の不揮発メモリに予め記憶されている。図示するように、車速が小さいと判定閾値も小さくなり、視線の移動範囲が判定閾値を超えやすくなるので、車速が小さいと視線が停留していると判定する頻度を低減できる。
FIG. 6B is an example of a threshold map showing the relationship between the vehicle speed and the determination threshold. The threshold map is stored in advance in a nonvolatile memory of the
図7は、運転支援装置100が漫然運転を検出して運転者を支援する手順を示すフローチャート図の一例である。なお、図7において図4と同一ステップには同一の符号を付しその説明は簡単に行う。
FIG. 7 is an example of a flowchart illustrating a procedure in which the driving
ドライバモニタセンサ11が撮影した顔画像毎に、視線方向検出部15が運転者の視線方向を検出し、検出された視線方向のうち古いものから削除しながら所定時間の視線方向を記憶していく(S10)。ついで、判定閾値調整部19は、車速センサ12から取得した車速に基づき判定閾値を調整する(S15)。
For each face image photographed by the
警報判定部16は、車速に応じて調整した判定閾値に基づき視線が停留しているか否かを判定する(S20)。したがって、車速が小さい場合、視線が停留しているとは判定されにくい。
The
以降の処理は、実施例1と同様である。すなわち、視線が正面方向に停留している場合であって、車両状態に基づき運転者が自発的な運転をしていると判定される場合(S50のYes)、車両状態判別部17は警報判定部16に警報の禁止を要求する(S60)。すなわち、視線が正面方向に停留していても、運転者が自発的に運転操作していると見なせる場合は警報を禁止することで不要警報を低減できる。
The subsequent processing is the same as in the first embodiment. That is, when the line of sight is stopped in the front direction and it is determined that the driver is voluntarily driving based on the vehicle state (Yes in S50), the vehicle state determination unit 17 determines the alarm. The
したがって、本実施例によれば、実施例1の効果に加え、低速走行時には視線の停留と判定しにくくなるので、さらに不要警報を防止することができる。 Therefore, according to the present embodiment, in addition to the effects of the first embodiment, it is difficult to determine that the line of sight is stopped when traveling at a low speed, and thus an unnecessary alarm can be further prevented.
実施例1、2では、自発的に運転操作している車両状態の場合に警報を禁止したが、低速走行時であっても覚醒度が低下し漫然運転となる場合があると考えられる。このため、自発的な運転操作が検出されても一律に警報を禁止することが好ましくない場合がある。そこで、本実施例では、自発的に運転操作している車両状態を検出した場合、再度、視線が停留しているか否かを判定し、視線が停留している場合には警報を出力する運転支援装置100について説明する。
In the first and second embodiments, the alarm is prohibited in the case of a vehicle state where the driving operation is voluntarily performed. However, it is considered that the awakening level may be lowered and the driving may be abrupt even during low-speed driving. For this reason, even if a spontaneous driving operation is detected, it may not be preferable to uniformly prohibit the alarm. Therefore, in this embodiment, when the state of the vehicle that is voluntarily driving is detected, it is determined again whether or not the line of sight is stopped, and when the line of sight is stopped, an alarm is output. The
機能ブロック図については図6(a)と同様である。本実施例では、自発的に運転操作していると判定された後、警報判定部16は第2の判定閾値にて視線が停留しているか否かを判定する。第2の判定閾値は、実施例2と同様に例えば車速に応じて、判定閾値調整部19が増減する。したがって、自発的に車両操作していると判定されても、極端に視線の移動範囲が狭いような場合には運転者に支援を提供することが可能となる。
The functional block diagram is the same as that shown in FIG. In this embodiment, after it is determined that the driver is driving spontaneously, the
図8は、運転支援装置100が漫然運転を検出して運転者を支援する手順を示すフローチャート図の一例である。なお、図8において図4と同一ステップの説明は省略する。
FIG. 8 is an example of a flowchart illustrating a procedure in which the driving
図8ではステップS50の手順までは図4と同じである。したがって、ステップS20の判定の際の判定閾値は車速にかかわらず一定である。 In FIG. 8, the procedure up to step S50 is the same as in FIG. Therefore, the determination threshold value at the time of determination in step S20 is constant regardless of the vehicle speed.
ステップS50において自発的に運転操作していると判定された場合(S50のYes)、判定閾値調整部19は、車速センサ12から取得した車速に基づき判定閾値を調整する(S51)。 If it is determined in step S50 that the vehicle is spontaneously operated (Yes in S50), the determination threshold adjustment unit 19 adjusts the determination threshold based on the vehicle speed acquired from the vehicle speed sensor 12 (S51).
警報判定部16は、車速に応じて調整した第2の判定閾値に基づき視線が停留しているか否かを判定する(S52)。第2の判定閾値は、車速が小さいほど、視線が停留しているとは判定されにくいように調整されている。
The
したがって、第2の判定閾値により視線が停留していると判定される場合は、運転者の視線の移動範囲が狭すぎると見なすことができる。このため、視線が停留していると判定された場合(S52のYes)、警報判定部16は、警報アクチュエータ18に警報の出力を要求する(S70)。警報アクチュエータ18は、例えばブザー音を出力したり、スピーカから「正面方向に視線が留まっています。漫然運転に注意しましょう」等のメッセージを出力したり、シートやステアリングホイールに振動を生じさせる。また、視線方向のディスプレイ(例えば、ヘッドアップディスプレイ)に同様のメッセージを表示してもよい。
Therefore, when it is determined that the line of sight is stopped by the second determination threshold, it can be considered that the movement range of the driver's line of sight is too narrow. For this reason, when it is determined that the line of sight is stationary (Yes in S52), the
視線が停留していると判定されない場合(S52のNo)、車両状態判別部17は警報判定部16に支援の禁止を要求する(S60)。すなわち、視線が正面方向を向いていても、低速走行状態の場合、渋滞などのため運転者が自発的に運転操作していると見なせるので、視線が停留していても警報を禁止することで不要警報を回避できる。
When it is not determined that the line of sight is stopped (No in S52), the vehicle state determination unit 17 requests the
以上説明したように本実施例の運転支援装置100は、低速走行時等には視線の停留に対し警告を禁止するので不要警報を防止することができ、さらに、視線の移動範囲が極端に狭いような場合には運転者を支援できるので低速走行時の漫然運転を確実に防止できる。
As described above, the driving
11 ドライバモニタセンサ
12 車速センサ
15 視線方向検出部
16 警報判定部
17 車両状態判別部
18 警報アクチュエータ
19 判定閾値調整部
100 運転支援装置
DESCRIPTION OF
Claims (6)
車速を検出する車速センサと、
視線移動の大きさに基づき支援するか否かを判定する支援判定手段と、を有し、
前記支援判定手段は、車速が小さい場合ほど視線移動が小さいことを許容して支援量を抑制する、
ことを特徴とする運転支援装置。 In a driving support device that supports the driver based on the movement of the driver's line of sight,
A vehicle speed sensor for detecting the vehicle speed;
Support determination means for determining whether or not to support based on the magnitude of eye movement,
The support determination means suppresses the support amount by allowing the line of sight movement to be smaller as the vehicle speed is lower.
A driving support device characterized by that.
車速を検出する車速センサを有し、
車速が所定以下の低速走行状態か否かを判定する車両状態判定手段と、
視線移動の大きさに基づき支援するか否かを判定する支援判定手段と、を有し、
前記支援判定手段は、視線が正面方向に停留していると判定された場合であって、かつ、前記車両状態判定手段が低速走行状態であると判定した場合、支援量を抑制する、
ことを特徴とする運転支援装置。 In a driving support device that supports the driver based on the movement of the driver's line of sight,
It has a vehicle speed sensor that detects the vehicle speed,
Vehicle state determination means for determining whether or not the vehicle speed is a low speed traveling state below a predetermined value;
Support determination means for determining whether or not to support based on the magnitude of eye movement,
The support determination means suppresses the amount of support when it is determined that the line of sight is stationary in the front direction and when the vehicle state determination means determines that the vehicle is in a low speed running state,
A driving support device characterized by that.
前記支援判定手段は、視線が正面方向に停留していると判定された場合であって、かつ、前記車両状態判定手段が渋滞列を走行中であると判定した場合、支援を禁止する、
ことを特徴とする請求項2記載の運転支援装置。 The vehicle state determination means determines whether or not the vehicle is traveling in a traffic jam row, not whether or not it is in a low-speed traveling state,
The support determination means prohibits support when it is determined that the line of sight is stationary in the front direction and when the vehicle state determination means determines that the vehicle is traveling in a traffic jam line,
The driving support apparatus according to claim 2, wherein:
前記支援判定手段は、視線が正面方向に停留していると判定された場合であって、かつ、前記車両状態判定手段がブレーキ操作頻度が所定値以上であると判定した場合、支援を禁止する、
ことを特徴とする請求項2記載の運転支援装置。 The vehicle state determination means determines whether or not the brake operation frequency is a predetermined value or more, not whether or not the vehicle is in a low-speed traveling state,
The support determination unit prohibits support when it is determined that the line of sight is stationary in the front direction and the vehicle state determination unit determines that the brake operation frequency is equal to or higher than a predetermined value. ,
The driving support apparatus according to claim 2, wherein:
調整前の判定閾値により視線が正面方向に停留していると判定され、かつ、低速走行状態であると判定された場合であっても、
前記支援判定手段は、視線移動が小さいことを許容するよう調整された判定閾値により視線移動が小さいと判定する場合、運転者を支援する、
ことを特徴とする請求項2記載の運転支援装置。 A determination threshold adjustment unit that adjusts a determination threshold to allow a smaller line of sight movement as the vehicle speed is smaller;
Even if it is determined that the line of sight is stationary in the front direction by the determination threshold before adjustment, and it is determined that the vehicle is in a low-speed traveling state,
The support determination means assists the driver when determining that the line of sight movement is small by a determination threshold adjusted to allow the line of sight movement to be small.
The driving support apparatus according to claim 2, wherein:
車速センサが検出した車速が小さい場合ほど、視線移動が小さいことを許容して支援量を抑制する、
ことを特徴とする運転支援方法。 In the driving support method of the driving support device that supports the driver when the driver's eye movement is small,
The smaller the vehicle speed detected by the vehicle speed sensor, the smaller the movement of the line of sight, and the smaller the support amount.
A driving support method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008087747A JP2009244959A (en) | 2008-03-28 | 2008-03-28 | Driving support device and driving support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008087747A JP2009244959A (en) | 2008-03-28 | 2008-03-28 | Driving support device and driving support method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009244959A true JP2009244959A (en) | 2009-10-22 |
Family
ID=41306806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008087747A Pending JP2009244959A (en) | 2008-03-28 | 2008-03-28 | Driving support device and driving support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009244959A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011248746A (en) * | 2010-05-28 | 2011-12-08 | Hino Motors Ltd | Vigilance level reduction alarm device, vigilance level reduction alarm method, and program |
| JP2012114557A (en) * | 2010-11-22 | 2012-06-14 | Nec Saitama Ltd | Display device, display control method, program and electronic apparatus |
| JP2014064634A (en) * | 2012-09-25 | 2014-04-17 | Kyocera Corp | Image processing apparatus, line-of-sight specifying apparatus, and pupil image detecting program and method |
| JP2014210076A (en) * | 2013-04-19 | 2014-11-13 | 株式会社ユニバーサルエンターテインメント | Game machine and management method for game machine |
| JP2014532930A (en) * | 2011-11-07 | 2014-12-08 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | Method and apparatus for alerting car drivers in the absence of attention |
| US8907797B2 (en) | 2011-12-26 | 2014-12-09 | Denso Corporation | Driver monitoring apparatus |
| JP2015092408A (en) * | 2015-01-22 | 2015-05-14 | 株式会社ユピテル | On-vehicle electric apparatus and program |
| JP2016024540A (en) * | 2014-07-17 | 2016-02-08 | 株式会社クボタ | Traveling work machine and automatic steering system used therefor |
| JP2017135742A (en) * | 2011-12-16 | 2017-08-03 | マイクロソフト コーポレーション | Providing a user interface experience based on inferred vehicle conditions |
| JP2018116495A (en) * | 2017-01-18 | 2018-07-26 | トヨタ自動車株式会社 | Driver status detection device |
| JP2019200544A (en) * | 2018-05-15 | 2019-11-21 | 三菱電機株式会社 | Safety driving assist device |
| US10551930B2 (en) | 2003-03-25 | 2020-02-04 | Microsoft Technology Licensing, Llc | System and method for executing a process using accelerometer signals |
| WO2020059807A1 (en) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | Vehicle monitoring device |
| JP2020166309A (en) * | 2019-03-28 | 2020-10-08 | アイシン・エィ・ダブリュ株式会社 | Driving support system, driving support method, and driving support program |
| CN112204652A (en) * | 2018-05-31 | 2021-01-08 | 哈曼国际工业有限公司 | System and method for steady-state vehicle sound synthesis |
| JP2021131707A (en) * | 2020-02-19 | 2021-09-09 | いすゞ自動車株式会社 | Driving assistance device |
| US20210370956A1 (en) * | 2020-06-01 | 2021-12-02 | Toyota Jidosha Kabushiki Kaisha | Apparatus and method for determining state |
| CN119206678A (en) * | 2024-11-22 | 2024-12-27 | 中国第一汽车股份有限公司 | A method, device, equipment and readable storage medium for monitoring driver's emotions |
-
2008
- 2008-03-28 JP JP2008087747A patent/JP2009244959A/en active Pending
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10551930B2 (en) | 2003-03-25 | 2020-02-04 | Microsoft Technology Licensing, Llc | System and method for executing a process using accelerometer signals |
| JP2011248746A (en) * | 2010-05-28 | 2011-12-08 | Hino Motors Ltd | Vigilance level reduction alarm device, vigilance level reduction alarm method, and program |
| JP2012114557A (en) * | 2010-11-22 | 2012-06-14 | Nec Saitama Ltd | Display device, display control method, program and electronic apparatus |
| JP2014532930A (en) * | 2011-11-07 | 2014-12-08 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | Method and apparatus for alerting car drivers in the absence of attention |
| US9908410B2 (en) | 2011-11-07 | 2018-03-06 | Robert Bosch Gmbh | Method and device for warning the driver of a motor vehicle in the event of lack of attention |
| JP2017135742A (en) * | 2011-12-16 | 2017-08-03 | マイクロソフト コーポレーション | Providing a user interface experience based on inferred vehicle conditions |
| US8907797B2 (en) | 2011-12-26 | 2014-12-09 | Denso Corporation | Driver monitoring apparatus |
| JP2014064634A (en) * | 2012-09-25 | 2014-04-17 | Kyocera Corp | Image processing apparatus, line-of-sight specifying apparatus, and pupil image detecting program and method |
| JP2014210076A (en) * | 2013-04-19 | 2014-11-13 | 株式会社ユニバーサルエンターテインメント | Game machine and management method for game machine |
| JP2016024540A (en) * | 2014-07-17 | 2016-02-08 | 株式会社クボタ | Traveling work machine and automatic steering system used therefor |
| JP2015092408A (en) * | 2015-01-22 | 2015-05-14 | 株式会社ユピテル | On-vehicle electric apparatus and program |
| JP2018116495A (en) * | 2017-01-18 | 2018-07-26 | トヨタ自動車株式会社 | Driver status detection device |
| US10604160B2 (en) | 2017-01-18 | 2020-03-31 | Toyota Jidosha Kabushiki Kaisha | Driver condition detection system |
| JP2019200544A (en) * | 2018-05-15 | 2019-11-21 | 三菱電機株式会社 | Safety driving assist device |
| US11443729B2 (en) | 2018-05-31 | 2022-09-13 | Harman International Industries, Incorporated | System and method for steady state vehicle sound synthesis |
| JP2021530725A (en) * | 2018-05-31 | 2021-11-11 | ハーマン インターナショナル インダストリーズ, インコーポレイテッド | Systems and methods for steady-state vehicle speech synthesis |
| CN112204652B (en) * | 2018-05-31 | 2024-11-15 | 哈曼国际工业有限公司 | System and method for steady-state vehicle sound synthesis |
| CN112204652A (en) * | 2018-05-31 | 2021-01-08 | 哈曼国际工业有限公司 | System and method for steady-state vehicle sound synthesis |
| JP7360399B2 (en) | 2018-05-31 | 2023-10-12 | ハーマン インターナショナル インダストリーズ, インコーポレイテッド | System and method for steady state vehicle sound synthesis |
| US11267478B2 (en) | 2018-09-20 | 2022-03-08 | Isuzu Motors Limited | Vehicle monitoring device |
| JP2020047087A (en) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | Vehicle monitoring device |
| WO2020059807A1 (en) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | Vehicle monitoring device |
| JP7180228B2 (en) | 2018-09-20 | 2022-11-30 | いすゞ自動車株式会社 | Vehicle monitoring device |
| JP2020166309A (en) * | 2019-03-28 | 2020-10-08 | アイシン・エィ・ダブリュ株式会社 | Driving support system, driving support method, and driving support program |
| JP7322745B2 (en) | 2020-02-19 | 2023-08-08 | いすゞ自動車株式会社 | Driving support device |
| JP2021131707A (en) * | 2020-02-19 | 2021-09-09 | いすゞ自動車株式会社 | Driving assistance device |
| US20210370956A1 (en) * | 2020-06-01 | 2021-12-02 | Toyota Jidosha Kabushiki Kaisha | Apparatus and method for determining state |
| CN113753057A (en) * | 2020-06-01 | 2021-12-07 | 丰田自动车株式会社 | State determination device and state determination method |
| JP2021189852A (en) * | 2020-06-01 | 2021-12-13 | トヨタ自動車株式会社 | Condition determination device and condition determination method |
| JP7302534B2 (en) | 2020-06-01 | 2023-07-04 | トヨタ自動車株式会社 | State determination device and state determination method |
| US11919522B2 (en) | 2020-06-01 | 2024-03-05 | Toyota Jidosha Kabushiki Kaisha | Apparatus and method for determining state |
| CN119206678A (en) * | 2024-11-22 | 2024-12-27 | 中国第一汽车股份有限公司 | A method, device, equipment and readable storage medium for monitoring driver's emotions |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009244959A (en) | Driving support device and driving support method | |
| US10723365B2 (en) | Driving assistance device | |
| US7209833B2 (en) | Collision possibility determination device | |
| JP5664784B2 (en) | Vehicle information transmission device | |
| JP5109750B2 (en) | Driver state detection device, consciousness state detection method | |
| JP2018181061A (en) | Driving support device | |
| CN101512617A (en) | Driving Information Provider | |
| JP6631545B2 (en) | Dependency estimator | |
| WO2019176391A1 (en) | Drive recorder, display control method, and program | |
| JP6223143B2 (en) | Driving support device and driving support method | |
| US20210016804A1 (en) | Driving assistance apparatus | |
| JP2008204107A (en) | Careless warning device, vehicle equipment control method of careless warning device, and vehicle control device program | |
| JP2016055801A (en) | On-vehicle display device | |
| JP2017027180A (en) | Vehicle control apparatus and vehicle control method | |
| JP6811743B2 (en) | Safe driving support device | |
| JP2017182776A (en) | Vehicle periphery monitoring apparatus and computer program | |
| JP4337130B2 (en) | Control device for driving device | |
| JP4337131B2 (en) | Mobile control device | |
| JP7276082B2 (en) | Driver state estimation device | |
| JP5576198B2 (en) | Armpit judging device | |
| US20240336192A1 (en) | Monitoring device, storage medium storing computer program for monitoring, and monitoring method | |
| JP4857891B2 (en) | Driving support device and program | |
| JP2007286898A (en) | Operation support device and program | |
| JP6415968B2 (en) | COMMUNICATION DEVICE, WARNING DEVICE, DISPLAY DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| CN116252801A (en) | Monitoring device, nonvolatile storage medium and monitoring method |