[go: up one dir, main page]

JP2009244959A - Driving support device and driving support method - Google Patents

Driving support device and driving support method Download PDF

Info

Publication number
JP2009244959A
JP2009244959A JP2008087747A JP2008087747A JP2009244959A JP 2009244959 A JP2009244959 A JP 2009244959A JP 2008087747 A JP2008087747 A JP 2008087747A JP 2008087747 A JP2008087747 A JP 2008087747A JP 2009244959 A JP2009244959 A JP 2009244959A
Authority
JP
Japan
Prior art keywords
line
sight
vehicle
driver
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008087747A
Other languages
Japanese (ja)
Inventor
Osamu Ozaki
修 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008087747A priority Critical patent/JP2009244959A/en
Publication of JP2009244959A publication Critical patent/JP2009244959A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a driving support device and a driving support method capable of precisely detecting the state of a driver in a driving support device in a driving support device for supporting a driver according to the movement of the line of sight of the driver. <P>SOLUTION: The driving support device 100 for supporting a driver based on the movement of the line of sight of a driver includes: a vehicle speed sensor 12 for detecting a vehicle speed; and a support determination means 14 for determining whether to support the driver based on the scale of the movement of the line of sight. The support determination means 14 suppresses the amounts of support by permitting the movement of the line of sight to be smaller according as the vehicle speed is small. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、運転者の視線移動の広さに応じて車両を制御する運転支援装置及び運転支援方法に関する。   The present invention relates to a driving support apparatus and a driving support method for controlling a vehicle in accordance with a driver's line-of-sight movement.

運転者の意識状態が運転操作に影響を与えることが知られており、走行中の運転者の眠けや漫然運転を検出して、運転者を注意喚起する技術が知られている。また、漫然運転等のため意識状態が低下した状態では、運転者の走行状況に対する対応が遅れがちになるため、漫然運転が検出された場合、漫然運転が検出されていない場合よりも障害物との関係において早期に運転者に警告する運転者状態判定装置が提案されている(例えば、特許文献1参照。)。   It is known that a driver's consciousness state affects driving operation, and a technique for alerting a driver by detecting sleep of a driver who is traveling or casual driving is known. Also, in a state where the state of consciousness has declined due to absurd driving, etc., the driver's response to the driving situation tends to be delayed, so when the absurd driving is detected, it is more likely to be an obstacle than when the absurd driving is not detected A driver state determination device that warns the driver at an early stage in this relationship has been proposed (see, for example, Patent Document 1).

特許文献1では、視線方向の停留状態に基づき漫然運転を検出する。しかしながら、視線方向の停留時間が長いからといって常に漫然運転しているとは限らないため、視線方向のみで漫然運転か否かを判定すると不要警報を増大してしまうという不都合がある。   In patent document 1, a rough driving is detected based on the stationary state of a gaze direction. However, because the stopping time in the line-of-sight direction is long, it does not always mean that the driver is driving freely, and there is an inconvenience that an unnecessary alarm is increased when it is determined whether or not the driver is driving only in the line-of-sight direction.

この点について、運転者の視線の移動範囲が狭い場合に運転者に警告する漫然運転検出装置において、車速が高速な場合は低速な場合よりも警告するか否かを判定する視線の移動範囲の閾値を小さくする漫然運転検出装置が提案されている(例えば、特許文献2参照。)。高速走行時には閾値を超えやすくなるので、高速で移動することで必然的に視線の移動範囲が狭くなっても、漫然運転と誤判定することを防止できる。
特開平6−251273号公報 特開平8−178712号公報
About this point, in the vague driving detection device that warns the driver when the movement range of the driver's line of sight is narrow, the range of movement of the line of sight that determines whether to warn when the vehicle speed is high than when the vehicle speed is low An abrupt driving detection device that reduces the threshold value has been proposed (see, for example, Patent Document 2). Since the threshold value is easily exceeded during high-speed driving, even if the moving range of the line of sight is inevitably narrowed by moving at a high speed, it is possible to prevent erroneous determination as a rough driving.
JP-A-6-251273 JP-A-8-178712

しかしながら、特許文献2記載の漫然運転検出装置では高速な走行状況において漫然運転と誤判定することを防止しうるが、低速な走行状況において漫然運転と誤判定するおそれがあった。例えば、渋滞中であれば先行車又は先々行車の移動状況を把握しながら、自車両の運転者が運転操作するため、視線の移動範囲が狭くなりがちである。したがって、特許文献2記載の漫然運転検出装置は、低速走行時に漫然運転であると誤判定するおそれがあるという問題があった。   However, although the mischievous driving detection device described in Patent Document 2 can prevent misjudgment as mischievous driving in a high-speed driving situation, there is a risk of misjudging as mischievous driving in a low-speed driving situation. For example, if the vehicle is in a traffic jam, the driver of the own vehicle performs a driving operation while grasping the movement state of the preceding vehicle or the preceding vehicle, so that the range of movement of the line of sight tends to be narrow. Therefore, the random driving detection device described in Patent Document 2 has a problem that it may be erroneously determined to be a random driving when traveling at a low speed.

本発明は、上記課題に鑑み、運転者の視線移動に応じて運転者を支援する運転支援装置等において、運転者の状態を精度よく検出して誤判定を低減する運転支援装置及び運転支援方法を提供することを目的とする。   In view of the above problems, the present invention provides a driving support device and a driving support method that detect a driver's state accurately and reduce erroneous determination in a driving support device that supports the driver according to the driver's line of sight movement. The purpose is to provide.

上記課題に鑑み、本発明は、運転者の視線移動に基づき運転者を支援する運転支援装置において、車速を検出する車速センサと、視線移動の大きさに基づき支援するか否かを判定する支援判定手段(例えば、警報判定部14)と、を有し、支援判定手段は、車速が小さい場合ほど視線移動が小さいことを許容して支援量を抑制する、ことを特徴とする。   In view of the above problems, the present invention provides a vehicle speed sensor that detects a vehicle speed and assistance for determining whether to assist based on the magnitude of the line of sight movement in a driving assistance device that assists the driver based on the line of sight movement of the driver. Determination means (for example, warning determination unit 14), and the support determination means is characterized in that the smaller the vehicle speed is, the smaller the movement of the line of sight is allowed, and the smaller the support amount is.

本発明によれば、車速が小さい場合ほど視線移動が小さいことを許容して支援をしないと判定する、先行車との車間距離が短くなる低速走行状態では支援を禁止でき、運転者に煩わしさを感じさせることを低減できる。   According to the present invention, as the vehicle speed is smaller, it is determined that the movement of the line of sight is smaller and the assistance is not performed, and the assistance can be prohibited in a low-speed traveling state in which the distance between the preceding vehicle and the preceding vehicle is shortened. Can be reduced.

また、本発明は、運転者の視線移動に基づき運転者を支援する運転支援装置において、車速を検出する車速センサを有し、車速が所定以下の低速走行状態か否かを判定する車両状態判定手段と、視線移動の大きさに基づき支援するか否かを判定する支援判定手段(例えば、警報判定部14)と、を有し、支援判定手段は、視線が正面方向に停留していると判定された場合であって、かつ、車両状態判定手段が低速走行状態であると判定した場合、支援量を抑制する、ことを特徴とする。   In addition, the present invention provides a vehicle state determination that includes a vehicle speed sensor that detects a vehicle speed and determines whether or not the vehicle speed is a low-speed traveling state that is equal to or lower than a predetermined value in a driving assistance device that assists the driver based on movement of the driver's line of sight. And a support determination unit (for example, an alarm determination unit 14) that determines whether or not to support based on the magnitude of the line of sight movement, and the support determination unit has the line of sight stopped in the front direction. If it is determined, and the vehicle state determination means determines that the vehicle is in a low-speed traveling state, the amount of support is suppressed.

本発明によれば、低速走行状態であると判定した場合には支援を禁止するので、先行車との車間距離が短くなる低速走行状態では支援を禁止でき、運転者に煩わしさを感じさせることを低減できる。   According to the present invention, since assistance is prohibited when it is determined that the vehicle is traveling at a low speed, the assistance can be prohibited in a low-speed traveling state in which the distance between the preceding vehicle and the preceding vehicle is short, and the driver feels bothered. Can be reduced.

運転者の視線移動に応じて運転者を支援する運転支援装置において、運転者の状態を精度よく検出する運転支援装置及び運転支援方法を提供することができる。   In a driving support device that supports a driver in accordance with the movement of the driver's line of sight, a driving support device and a driving support method that accurately detect the state of the driver can be provided.

以下、本発明を実施するための最良の形態について図面を参照しながら実施例を挙げて説明する。   Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.

図1は、視線方向の停留を模式的に説明する図の一例である。自車両30は渋滞列の一部を走行しており、前方を先行車及び先々行車が徐行と停止を繰り返しながら走行している。渋滞列を走行中は、自車両30の運転者は先行車との適切な車間距離を保つため視線の移動範囲は狭くなりがちであり、また、先々行車が大型車両の場合など状況によっては先々行車を注視して走行するためさらに視線の移動範囲が狭くなる場合がある。   FIG. 1 is an example of a diagram for schematically explaining stopping in the sight line direction. The host vehicle 30 travels in a part of the traffic jam column, and the preceding vehicle and the preceding vehicle travel in the forward direction while repeating slowing down and stopping. While driving in a traffic jam, the driver of the host vehicle 30 tends to narrow the range of line of sight in order to maintain an appropriate inter-vehicle distance from the preceding vehicle. In some cases, the range of movement of the line of sight becomes narrower because the vehicle travels while gazing at the car.

ところで、運転支援装置100は、視線移動の態様に基づき視線が停留しているか否かを判定し、視線が停留していると判定された場合は運転者が漫然運転しているおそれがあると判定する。視線移動の態様は、例えば、所定時間内における視線の水平方向の最大角度、所定角度毎に区切った場合の角度範囲毎の停留時間、左から右(又は右から左)方向への視線が移動するまでの平均的な時間、等で指標化される。水平方向の最大角度を指標とした場合、判定閾値(角度)を小さくすると視線が停留していると判定されにくくなり、角度範囲毎の停留時間を指標とした場合、判定閾値(時間)を大きくすると視線が停留していると判定されにくくなり、視線が移動するまでの平均的な時間を指標とした場合、判定閾値(時間)を大きくすると視線が停留していると判定されにくくなる。   By the way, the driving assistance device 100 determines whether or not the line of sight is stopped based on the mode of movement of the line of sight, and if it is determined that the line of sight is stopped, the driver may be driving loosely. judge. The line-of-sight movement is, for example, the maximum horizontal angle of the line of sight within a predetermined time, the stopping time for each angle range when divided for each predetermined angle, and the line of sight moving from left to right (or right to left) It is indexed by the average time to complete. When the maximum horizontal angle is used as an index, if the determination threshold (angle) is decreased, it is difficult to determine that the line of sight is stopped. When the stop time for each angle range is used as an index, the determination threshold (time) is increased. Then, it is difficult to determine that the line of sight is stopped, and when the average time until the line of sight moves is used as an index, it is difficult to determine that the line of sight is stopped if the determination threshold (time) is increased.

このように視線移動の態様毎に判定閾値を定めることができるが、本実施例では一例として所定時間内における視線の水平方向の最大角度(以下、移動範囲という)により視線の停留を判定するものとする。この場合、低速走行時には視線の移動範囲が判定閾値を超えにくくなり、漫然運転していなくても漫然運転していると誤判定されるおそれがある。誤判定されると例えば、運転者に警報音の吹鳴など支援が提供されるため煩わしさを感じさせてしまう。   In this way, a determination threshold can be set for each line-of-sight movement mode. In this embodiment, as an example, the stop of the line-of-sight is determined by the maximum horizontal angle of the line of sight within a predetermined time (hereinafter referred to as a movement range). And In this case, when the vehicle is traveling at a low speed, the moving range of the line of sight hardly exceeds the determination threshold, and it may be erroneously determined that the driver is driving freely even if the driver is not driving freely. If it is erroneously determined, for example, the driver is provided with assistance such as sounding an alarm sound, which makes the driver feel bothered.

そこで、本実施形態の運転支援装置100は、低速走行をもたらす自発的な運転操作が検出された場合には、視線が停留していても支援を禁止することで運転者に煩わしさを感じさせることを防止する。   Therefore, the driving support device 100 according to the present embodiment makes the driver feel bothered by prohibiting the support even when the line of sight is stopped when a spontaneous driving operation that causes low-speed driving is detected. To prevent that.

図2は、運転支援装置100の機能ブロック図の一例を示す。運転支援装置100は制御部20により制御される。制御部20は、所定のECU(electronic control unit)を実体とし、専用線やCAN(controller area network)等の車載LANを介してドライバモニタセンサ11、車速センサ12、交通情報受信部13、ストップランプスイッチ14及び警報アクチュエータ18と接続されている。   FIG. 2 shows an example of a functional block diagram of the driving support device 100. The driving support device 100 is controlled by the control unit 20. The control unit 20 has a predetermined electronic control unit (ECU) as an entity, and a driver monitor sensor 11, a vehicle speed sensor 12, a traffic information reception unit 13, a stop lamp via an in-vehicle LAN such as a dedicated line or a CAN (controller area network). The switch 14 and the alarm actuator 18 are connected.

また、制御部20は、CPU、ASIC(Application Specific Integrated Circuit)、RAM、ROM、スイッチ素子及び入出力インターフェイス等を備えたコンピュータを有し、CPUがプログラムを実行するか又はASIC等のハードウェアにより実現される、視線方向検出部15、警報判定部16及び車両状態判別部17を有する。なお、これらの各機能は1つのECUのみで実現される必要はなく、複数のECUに分散して実現されてもよい。   The control unit 20 includes a computer having a CPU, an ASIC (Application Specific Integrated Circuit), a RAM, a ROM, a switch element, an input / output interface, and the like, and the CPU executes a program or by hardware such as an ASIC. The visual line direction detection unit 15, the warning determination unit 16, and the vehicle state determination unit 17 are realized. Each of these functions does not have to be realized by only one ECU, and may be realized by being distributed to a plurality of ECUs.

〔視線方向の検出〕
視線方向の検出について説明する。視線方向検出部15はドライバモニタセンサ11が撮影した運転者の顔画像から運転者の視線方向を検出する。ドライバモニタセンサ11は、光軸を自車両30の後方かつやや上方に向けて、例えばステアリングコラムに配置された撮影手段である。ドライバモニタセンサ11は、カメラ及び赤外線投光器を一体に有し、カメラのレンズはステアリングホイールの中心を通る鉛直軸線上に配置され、運転者の顔を正面から撮影する。
[Detection of gaze direction]
The detection of the gaze direction will be described. The gaze direction detection unit 15 detects the driver's gaze direction from the driver's face image captured by the driver monitor sensor 11. The driver monitor sensor 11 is a photographing unit disposed on a steering column, for example, with the optical axis directed toward the rear and slightly above the host vehicle 30. The driver monitor sensor 11 integrally includes a camera and an infrared projector, and the camera lens is arranged on a vertical axis passing through the center of the steering wheel to photograph the driver's face from the front.

赤外線投光器はカメラの左右両側に同数ずつ配置されている。赤外線投光器は、運転者の顔部へ向けて近赤外光を投光するLEDランプであり、夜間における運転者の顔の撮影や瞳孔の検出を容易にする。   The same number of infrared projectors are arranged on the left and right sides of the camera. The infrared projector is an LED lamp that projects near-infrared light toward the driver's face, and facilitates shooting of the driver's face and detection of the pupil at night.

カメラはCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成され、赤外線投光器が照射する赤外光に感度を有しており、入射した光を電気信号に変換したあと所定階調のデジタルデータ(顔画像)を生成する。また、この赤外線投光器が照射する光は運転者の瞳孔に進入し、瞳孔部の輝度が周囲の眼の輝度と異なるようになるため、瞳孔の位置及び大きさが検出される。   The camera is composed of CCD (Charge Coupled Device), CMOS (Complementary Metal Oxide Semiconductor), etc., and is sensitive to the infrared light emitted by the infrared projector. Digital data (face image). In addition, the light emitted from the infrared projector enters the driver's pupil, and the luminance of the pupil portion becomes different from the luminance of the surrounding eyes, so that the position and size of the pupil are detected.

運転者の顔向きの検出について説明する。ドライバモニタセンサ11が撮影した顔画像は順次、視線方向検出部15に入力され、メモリに記憶されていく。   The detection of the driver's face orientation will be described. Face images captured by the driver monitor sensor 11 are sequentially input to the line-of-sight direction detection unit 15 and stored in the memory.

まず、視線方向検出部15は、顔画像から顔のおよその位置(顔の輪郭)を検出する。例えば、順次入力される顔画像の間で、同じ画素位置の画素値(輝度)を比較し、所定以上に画素値が異なる画素の画素値の差をその画素位置と共に記憶していく。そして、所定数の顔画像について同じ画素位置の画素値の差をカウントしていくと、輪郭部の画素位置のカウント数が増大する。顔画像には背景なども写っているが、背景は静止しているため、顔の左右の端部は最もカウント数が大きくなるので、カウント数の縦方向のヒストグラムを作りその積分値のピークが横方向の顔の輪郭位置となる。このようにして、顔位置の左右の端部が決定される。   First, the gaze direction detection unit 15 detects the approximate position of the face (face outline) from the face image. For example, pixel values (luminance) at the same pixel position are compared between sequentially input face images, and the difference between pixel values of pixels having pixel values different from a predetermined value or more is stored together with the pixel position. Then, if the difference in pixel values at the same pixel position is counted for a predetermined number of face images, the number of pixel positions counted in the contour portion increases. Although the face image shows the background, etc., the background is stationary, so the left and right edges of the face have the largest number of counts. It becomes the contour position of the face in the horizontal direction. In this way, the left and right ends of the face position are determined.

ついで、視線方向検出部15は、顔画像のエッジ情報から顔の特徴点を検出する。エッジ情報により、顔の特徴点(眉、上下の瞼、鼻孔、口角、上下の唇の境など)は、肌に比べ輝度の変化の大きい画素として検出される。例えば、Sobel等、公知のエッジ検出アルゴリズムを用いれば、輝度小から大、輝度大から小の2種類のエッジ情報に囲まれる顔の各パーツの輪郭が得られる。   Next, the line-of-sight direction detection unit 15 detects a feature point of the face from the edge information of the face image. Based on the edge information, facial feature points (such as eyebrows, upper and lower eyelids, nostrils, mouth corners, and upper and lower lip borders) are detected as pixels having a large luminance change compared to skin. For example, if a known edge detection algorithm such as Sobel is used, the contour of each part of the face surrounded by two types of edge information of low brightness to high brightness and high brightness to low brightness can be obtained.

視線方向検出部15は、エッジ情報から顔の上下の輪郭位置及び中央線を検出する。人の顔の眼や鼻などの特徴点は左右対称に配置されているので、左右のエッジ情報の数がほぼ均等になる鉛直方向の線が顔の中央線となる。例えば、顔画像を左右に2分割する仮想の縦線を設定し、その縦線を基準に左右のエッジ情報の数をそれぞれカウントする。左右のエッジ情報の数の差を閾値と比較し、閾値以下となる縦線又はエッジ情報の数の差が最小となる縦線を顔の中央線と決定する。   The line-of-sight direction detection unit 15 detects the upper and lower contour positions and the center line of the face from the edge information. Since feature points such as the eyes and nose of a human face are arranged symmetrically, a vertical line in which the number of pieces of left and right edge information is almost equal is the center line of the face. For example, a virtual vertical line that divides the face image into left and right is set, and the number of left and right edge information is counted based on the vertical line. The difference in the number of left and right edge information is compared with a threshold, and the vertical line that is equal to or smaller than the threshold or the vertical line that minimizes the difference in the number of edge information is determined as the center line of the face.

視線方向検出部15は、得られた中央線に基づき運転者の顔向きを検出する。すなわち、中央線から左又は右の輪郭位置までの距離に基づき、正面方向とゼロ度とした左右方向の顔向き度を例えば5〜10度刻み程度に検出する。   The line-of-sight direction detection unit 15 detects the face direction of the driver based on the obtained center line. That is, based on the distance from the center line to the left or right contour position, the degree of face orientation in the left-right direction, which is zero degrees with respect to the front direction, is detected, for example, in increments of about 5 to 10 degrees.

視線方向の検出について説明する。視線方向は例えば角膜反射法により検出する。角膜反射法は、角膜上の赤外線投光器の光の虚像が、角膜と眼球の回転中心の違いにより、眼球運動に伴って平行移動することを利用して視線方向を検出する。したがって、顔画像から角膜反射点21と瞳孔中心22を検出することで視線方向が求められる。   The detection of the gaze direction will be described. The line-of-sight direction is detected by, for example, a corneal reflection method. The corneal reflection method detects the line-of-sight direction by utilizing the fact that the virtual image of the light of the infrared projector on the cornea moves in parallel with the eye movement due to the difference between the rotation centers of the cornea and the eyeball. Therefore, the line-of-sight direction is obtained by detecting the corneal reflection point 21 and the pupil center 22 from the face image.

図3は視線方向の検出を模式的に示す図の一例である。瞳孔は眼の瞳孔以外の部分よりも暗く写る傾向がある。このため、例えば赤外線投光器の点滅と撮影を同期させ、点灯時の顔画像と消灯時の顔画像との画素値の差分を演算すると、瞳孔のみが光に反応して画素値が変化するので、瞳孔以外の画素値は差分によりゼロ又は無視できる小さい値になり、瞳孔だけが画素値の差分が大きくなるので、瞳孔を検出しやすくできる。瞳孔の大きさは成人で2〜6mm程度の範囲で変化するが、平均的にはおよそ4mm程度である。人間の場合、瞳孔は円形なのでその中心を瞳孔中心22の位置として決定する。   FIG. 3 is an example of a diagram schematically showing detection of the line-of-sight direction. The pupil tends to appear darker than the portion of the eye other than the pupil. For this reason, for example, when the blinking of the infrared projector and shooting are synchronized, and the difference in pixel value between the face image when turned on and the face image when turned off is calculated, only the pupil reacts to the light and the pixel value changes. The pixel values other than the pupil become zero or a small value that can be ignored due to the difference, and the difference in pixel value increases only for the pupil, so that the pupil can be easily detected. The size of the pupil varies in the range of about 2 to 6 mm in adults, but on average is about 4 mm. In the case of human beings, the pupil is circular, so the center is determined as the position of the pupil center 22.

同様に、角膜反射点21は、赤外線投光器が点灯した場合にのみ検出される輝度の高い点なので、点灯時の顔画像と消灯時の顔画像との画素値の差分から明瞭に検出される。   Similarly, the corneal reflection point 21 is a point with high luminance that is detected only when the infrared projector is turned on, and thus is clearly detected from the difference in pixel values between the face image when turned on and the face image when turned off.

瞳孔中心22の位置と角膜反射点21の位置は、原点を例えばドライバモニタセンサ11の所定部を原点とする3次元座標における位置となる。角膜反射点21と瞳孔中心22の位置に対する実際の人間の視線方向には個人差があるので、角膜反射点21と瞳孔中心22の位置と視線方向の関係を較正するため、この座標系において座標の知られた1点Qを運転者に注視させ、その時の角膜反射点21と瞳孔中心22の位置を求める。この位置は、3次元上の位置なのでシートポジションやリクライニング角度から自車両30の前後方向の距離を含めて検出するか、より好ましくはステレオカメラにより直接3次元の位置として検出することが好ましい。   The position of the pupil center 22 and the position of the corneal reflection point 21 are positions in three-dimensional coordinates with the origin as, for example, a predetermined portion of the driver monitor sensor 11. Since there are individual differences in the actual human line-of-sight direction with respect to the positions of the corneal reflection point 21 and the pupil center 22, in order to calibrate the relationship between the position of the corneal reflection point 21 and the pupil center 22 and the line-of-sight direction, coordinates are used in this coordinate system. The driver is gazed at one known point Q, and the positions of the corneal reflection point 21 and the pupil center 22 at that time are obtained. Since this position is a three-dimensional position, it is preferable to detect the position including the distance in the front-rear direction of the host vehicle 30 from the seat position and the reclining angle, or more preferably to detect directly as a three-dimensional position using a stereo camera.

したがって、ドライバモニタセンサ11から瞳孔中心22までのベクトルEOが明らかとなり、既知の座標Qと瞳孔中心22までのベクトルEQも明らかとなる。また、ベクトルEOとベクトルEQとのなす角αが求められる。   Therefore, the vector EO from the driver monitor sensor 11 to the pupil center 22 is clarified, and the known coordinate Q and the vector EQ to the pupil center 22 are also clarified. Further, an angle α formed by the vector EO and the vector EQ is obtained.

ついで、角膜反射点21と瞳孔中心22の位置から、角膜反射点21と瞳孔中心22の距離rを求める。この距離rは3次元座標上の距離である。また、この距離rとなす角αには線形関係があり、r=f(α)という関係が求めれる。   Next, the distance r between the corneal reflection point 21 and the pupil center 22 is obtained from the positions of the corneal reflection point 21 and the pupil center 22. This distance r is a distance on three-dimensional coordinates. Further, the angle α formed with the distance r has a linear relationship, and a relationship r = f (α) is obtained.

この関係式を求めると、未知の一点を注視した際の視線ベクトルは、その時の瞳孔中心22、角膜反射点21、から求めたr‘を関係式に代入することでα’から算出できることになる。なお、α又はα‘はそれぞれ水平方向と仰角方向の2つの成分で表されるが、本実施形態では水平方向の成分に基づき判定する。そして、必要であれば、既に検出された顔向きに基づき視線方向を補正して最終的な視線方向が得られる。   When this relational expression is obtained, the line-of-sight vector at the time of gazing at an unknown point can be calculated from α ′ by substituting r ′ obtained from the pupil center 22 and the corneal reflection point 21 at that time into the relational expression. . Note that α or α ′ is represented by two components in the horizontal direction and the elevation direction, respectively. In this embodiment, the determination is made based on the horizontal component. If necessary, the final gaze direction is obtained by correcting the gaze direction based on the already detected face orientation.

〔車両状態の判別〕
車両状態の判別について説明する。本実施形態で検出したい車両状態とは、上記のように視線の移動範囲が狭くても漫然運転とは限らない車両状況であるので、自発的な運転操作が検出される状態、例えば、低速走行状態、渋滞状態、頻繁なブレーキ操作、等が検出される車両状態である。
・低速走行状態
車両状態判別部17は車速センサ12が検出する車速情報から自車両30が低速走行していることを検出する。車両状態判別部17は車速が所定値以下の場合、低速な車速で走行しなければならない走行状況にあり運転者が自発的に運転操作していると判別する。なお、車速が所定以下であっても停止している場合は運転操作していると言えないので、所定以下とはゼロより大きいことをいう。
[Determination of vehicle status]
The vehicle state determination will be described. The vehicle state to be detected in the present embodiment is a vehicle state that is not necessarily a random driving even if the movement range of the line of sight is narrow as described above, so that a spontaneous driving operation is detected, for example, low speed driving This is a vehicle state in which a state, a traffic congestion state, frequent braking operations, and the like are detected.
Low-speed traveling state The vehicle state determination unit 17 detects that the host vehicle 30 is traveling at a low speed from the vehicle speed information detected by the vehicle speed sensor 12. When the vehicle speed is equal to or lower than a predetermined value, the vehicle state determination unit 17 determines that the driver is driving the vehicle voluntarily in a driving situation where the vehicle must travel at a low vehicle speed. In addition, since it cannot be said that it is driving | operating when it has stopped even if the vehicle speed is below predetermined value, it means that below predetermined value is larger than zero.

また、走行中は信号など一時的に車速が低下することがあるので、低速走行の状態が所定時間(例えば、5分〜10分以上)継続した場合にのみ、車両状態判別部17が低速走行状態であると判別する。なお、低速走行の継続時間は特に限定しなくても、視線の停留の検出に所定時間の経過が必要となるので、視線の停留の判定時に必然的に限定される。
・渋滞時
自車両30が走行している道路が渋滞しているか否かは、自車両30の内部で検出する方法と、外部から交通情報を受信する方法がある。自車両30が検出する場合、低速走行の検出と同様に、低速走行の状態が所定時間(例えば、5分〜10分以上)継続した場合に、車両状態判別部17は自車両30が渋滞に巻き込まれていると判別する。
Further, since the vehicle speed may temporarily decrease during traveling, the vehicle state determination unit 17 operates at low speed only when the low-speed traveling state continues for a predetermined time (for example, 5 minutes to 10 minutes or more). It is determined that the state is present. Even if the duration of low-speed traveling is not particularly limited, a predetermined time must be elapsed to detect the stop of the line of sight, so that it is necessarily limited when determining the stop of the line of sight.
-At the time of traffic congestion There are a method of detecting whether the road on which the host vehicle 30 is traveling is congested, or a method of receiving traffic information from the outside. When the host vehicle 30 detects, similarly to the detection of the low-speed driving, when the low-speed driving state continues for a predetermined time (for example, 5 minutes to 10 minutes or more), the vehicle state determination unit 17 causes the host vehicle 30 to become congested. It is determined that it is involved.

また、交通情報を受信する場合、交通情報受信部13は、VICS(Vehicle Information and Communication System)がFM方法、電波ビーコン又は光ビーコンを媒体に配信する交通情報を受信して、渋滞の有無やリンク等の旅行時間に基づき、車両状態判別部17は走行中の道路が渋滞しているか否かを判別する。また、プローブカーの走行情報をセンタ(サーバ)が収集して配信する態様の交通情報によっても同様に、渋滞しているか否かを判別できる。なお、自車両30の位置は、GPS((Global Positioning System)を搭載したナビゲーションシステムにより明らかとなっている。
・頻繁なブレーキ操作
ブレーキ操作の頻度が大きい場合、視線が停留していてもブレーキ操作を繰り返す状態では潜在意識が活性化されているとしてよいので、運転者が自発的に運転操作していると推定できる。例えば、車両状態判別部17は所定時間(例えば5分程度)のブレーキペダルの操作回数Nを検出し、操作回数Nに基づき自車両30がブレーキを頻繁にかける車両状況(渋滞等)にあるか否かを判別する。なお、操作回数Nは、例えばストップランプスイッチ14のオンの回数、マスタシリンダ圧が所定値以上になった回数、ブレーキペダルストロークセンサが検出する操作回数等から検出される。
In addition, when receiving traffic information, the traffic information receiving unit 13 receives traffic information distributed by the VICS (Vehicle Information and Communication System) to the FM method, radio wave beacon or optical beacon, and the presence or absence of traffic congestion or a link Based on the travel time, the vehicle state determination unit 17 determines whether or not the traveling road is congested. Similarly, it is possible to determine whether or not the vehicle is congested by the traffic information in a mode in which the center (server) collects and distributes the traveling information of the probe car. Note that the position of the host vehicle 30 is made clear by a navigation system equipped with GPS (Global Positioning System).
・ Frequent brake operation If the frequency of brake operation is large, the subconscious may be activated in the state where the brake operation is repeated even if the line of sight is stopped. Can be estimated. For example, the vehicle state determination unit 17 detects the number N of brake pedal operations for a predetermined time (for example, about 5 minutes), and is the vehicle situation (congestion etc.) where the host vehicle 30 frequently applies brakes based on the number of operations N? Determine whether or not. The number of operations N is detected from, for example, the number of times the stop lamp switch 14 is turned on, the number of times that the master cylinder pressure has become a predetermined value or more, the number of operations detected by the brake pedal stroke sensor, and the like.

〔警報判定〕
警報判定部16は、以下の規則に基づき警報アクチュエータ18に警報を要求する。
1.視線方向検出部15が検出する所定時間内の視線の移動範囲が判定閾値以内の場合
2.1の条件を満たしても、車両状態判別部17が「自発的に運転操作していると見なせる車両状況」であると判別した場合、警報の出力を禁止する。
[Alarm judgment]
The alarm determination unit 16 requests an alarm from the alarm actuator 18 based on the following rules.
1. When the range of movement of the line of sight within a predetermined time detected by the line-of-sight direction detection unit 15 is within the determination threshold value, even if the condition of 2.1 is satisfied, the vehicle state determination unit 17 “a vehicle that can be regarded as driving autonomously” If it is determined that the status is “Status”, alarm output is prohibited.

したがって、「自発的に運転操作していると見なせる車両状況」では、視線方向が停留しても警報を吹鳴しないので、運転者に煩わしさを感じさせることを防止できる。   Therefore, in the “vehicle situation that can be regarded as driving voluntarily”, an alarm is not sounded even if the line-of-sight direction stops, so that the driver can be prevented from feeling bothered.

警報アクチュエータ18は、音声メッセージを出力するスピーカ、警報音を出力するブザー発生部、警告メッセージを表示するディスプレイ、シートやステアリングホイールなどに振動を発生させる振動モータ、等である。警報判定部16は警報アクチュエータ18の1以上を組み合わせて支援するよう、警報アクチュエータ18に要求する。   The alarm actuator 18 is a speaker that outputs a voice message, a buzzer generating unit that outputs an alarm sound, a display that displays a warning message, a vibration motor that generates vibration on a seat, a steering wheel, or the like. The alarm determination unit 16 requests the alarm actuator 18 to support in combination with one or more alarm actuators 18.

〔動作手順〕
図4は、運転支援装置100が漫然運転を検出して運転者を支援する手順を示すフローチャート図の一例である。図4のフローチャート図は、例えばイグニッションがオンの状態で運転支援装置100のスイッチがオンの場合にスタートし、所定のサイクル時間毎に繰り返し実行される。
[Operation procedure]
FIG. 4 is an example of a flowchart illustrating a procedure in which the driving support device 100 detects a rough driving and supports the driver. The flowchart of FIG. 4 starts when, for example, the ignition is turned on and the switch of the driving support apparatus 100 is turned on, and is repeatedly executed every predetermined cycle time.

ドライバモニタセンサ11が撮影した顔画像毎に、視線方向検出部15が運転者の視線方向を検出し、検出された視線方向のうち古いものから削除しながら所定時間の視線方向を記憶していく(S10)。これにより、所定時間における視線の移動範囲が明らかとなる。なお、移動範囲だけでなく、所定角度毎に区切った場合の角度範囲毎の停留時間や、左から右(又は右から左)方向への視線が移動するまでの平均的な時間、の1以上の指標に基づき視線が停留したか否かを判定してもよい。   For each face image photographed by the driver monitor sensor 11, the gaze direction detection unit 15 detects the gaze direction of the driver and stores the gaze direction for a predetermined time while deleting the oldest gaze direction from the detected gaze directions. (S10). Thereby, the moving range of the line of sight in a predetermined time becomes clear. One or more of not only the moving range but also the stopping time for each angle range when divided for each predetermined angle and the average time until the line of sight moves from left to right (or right to left). Whether or not the line of sight has stopped may be determined based on the index.

警報判定部16は、検出した視線の移動範囲に基づき視線が停留しているか否かを判定する(S20)。視線が停留していない場合(S20のNo)、支援する必要がないので図4の処理は終了する。   The warning determination unit 16 determines whether or not the line of sight is stopped based on the detected movement range of the line of sight (S20). If the line of sight has not stopped (No in S20), there is no need to support, so the processing in FIG. 4 ends.

視線が停留している場合(S20のYes)、警報判定部16は停留した方向が正面方向か否かを判定する(S30)。正面方向でない方向で視線が停留している場合(S30のNo)、運転者がわきみやナビ画面等を注視しているおそれがあるので警報判定部16は警報アクチュエータ18に警報の出力を要求する(S70)。警報アクチュエータ18は、例えばブザー音を出力したり、スピーカから「わきみに注意しましょう」等のメッセージを出力したり、シートやステアリングホイールに振動を生じさせる。また、運転者の視線方向が既知なので、視線方向のディスプレイに同様のメッセージを表示してもよい。   When the line of sight is stopped (Yes in S20), the warning determination unit 16 determines whether the stopped direction is the front direction (S30). When the line of sight is stopped in a direction other than the front direction (No in S30), the alarm determination unit 16 requests the alarm actuator 18 to output an alarm because there is a possibility that the driver is watching the side or the navigation screen. (S70). For example, the alarm actuator 18 outputs a buzzer sound, outputs a message such as “Let's be careful” on the speaker, or causes vibrations in the seat or the steering wheel. Further, since the driver's line-of-sight direction is known, a similar message may be displayed on the display of the line-of-sight direction.

視線が正面方向に停留している場合(S30のYes)、車両状態判別部17は車両状態を検出し(S40)、車両状態に基づき運転者が自発的な運転をしているか否か(漫然運転でないか否か)を判定する(S50)。   When the line of sight is stopped in the front direction (Yes in S30), the vehicle state determination unit 17 detects the vehicle state (S40), and whether or not the driver is driving spontaneously based on the vehicle state (rarely) It is determined whether it is not driving | operation (S50).

上記のように、自発的な運転か否かの判定には例えば3つの態様がある。なお、この3つの態様のうちいずれか1つから自発的な運転か否かを判定してもよいし、2以上の組み合わせに基づき判定してもよい。
・低速走行状態(図5(a))
車両状態を検出するため、車両状態判別部17は車速センサ12から車速情報を取得する(S40A)。そして、車速が「0〜V〔km/h〕」の範囲に入るか、すなわち低速走行状態か否かを判定する(S50A)。低速走行なので車速Vは例えば20km/hである。
・渋滞時(図5(b))
車両状態を検出するため、車両状態判別部17はVICS等から交通情報を取得する(S40B)。そして、自車両30が現在走行している道路が渋滞しているか否かを判定する(S50B)。
・頻繁なブレーキ操作(図5(c))
車両状態を検出するため、車両状態判別部17は所定時間におけるブレーキ操作の回数を取得する(S40C)。そして、ブレーキの操作回数Nが所定値以上か否かを判定する(S50C)。
As described above, there are, for example, three modes for determining whether or not the driving is spontaneous. In addition, you may determine whether it is a voluntary driving | operation from any one among these three aspects, and you may determine based on a combination of 2 or more.
・ Low-speed driving condition (Fig. 5 (a))
In order to detect the vehicle state, the vehicle state determination unit 17 acquires vehicle speed information from the vehicle speed sensor 12 (S40A). Then, it is determined whether or not the vehicle speed falls within the range of “0 to V [km / h]”, that is, whether or not the vehicle is running at a low speed (S50A). Since the vehicle is traveling at a low speed, the vehicle speed V is 20 km / h, for example.
・ During traffic jam (Fig. 5 (b))
In order to detect a vehicle state, the vehicle state determination part 17 acquires traffic information from VICS etc. (S40B). Then, it is determined whether the road on which the host vehicle 30 is currently traveling is congested (S50B).
・ Frequent brake operation (Fig. 5 (c))
In order to detect a vehicle state, the vehicle state determination part 17 acquires the frequency | count of the brake operation in predetermined time (S40C). Then, it is determined whether or not the brake operation frequency N is equal to or greater than a predetermined value (S50C).

図4に戻り、自発的に運転操作していない場合(S50のNo)、正面方向に視線が停留していることになるので、警報アクチュエータ18に警報の出力を要求する(S70)。警報アクチュエータ18は、例えばブザー音を出力したり、スピーカから「正面方向に視線が留まっています。漫然運転に注意しましょう」等のメッセージを出力したり、シートやステアリングホイールに振動を生じさせる。また、視線方向のディスプレイ(例えば、ヘッドアップディスプレイ)に同様のメッセージを表示してもよい。   Returning to FIG. 4, when the driving operation is not performed spontaneously (No in S50), since the line of sight is stopped in the front direction, the alarm actuator 18 is requested to output an alarm (S70). For example, the alarm actuator 18 outputs a buzzer sound, outputs a message from the speaker such as “Look at the front direction. Be careful about driving casually”, or generate vibration on the seat or the steering wheel. Moreover, you may display the same message on the display (for example, head-up display) of a gaze direction.

自発的に運転操作していると判定された場合(S50のYes)、車両状態判別部17は警報判定部16に支援の禁止を要求する(S60)。すなわち、視線が正面方向に停留していても、運転者が自発的に運転操作していると見なせる場合は警報等を禁止することで不要警報を低減できる。なお、支援を禁止するのでなく、例えば、警報音の音量を低減したり、警報音を変えるなどして、支援量を低減してもよい。すなわち、より緊急度の低い態様で支援することで、自発的な運転をしていても最小限の支援を提供することが可能となる。   When it is determined that the vehicle is voluntarily driving (S50: Yes), the vehicle state determination unit 17 requests the warning determination unit 16 to prohibit the support (S60). In other words, even when the line of sight is stopped in the front direction, unnecessary warnings can be reduced by prohibiting warnings and the like when the driver can be regarded as voluntarily driving. Instead of prohibiting support, the amount of support may be reduced by, for example, reducing the volume of the alarm sound or changing the alarm sound. In other words, by providing support in a less urgent manner, it is possible to provide a minimum amount of support even when driving spontaneously.

以上説明したように本実施例の運転支援装置100は、車両状態から自発的な運転操作が検出された場合は視線の停留に対し支援を禁止するので、不要警報を低減することができる。不要警報を低減すれば燃費を向上させることにもつながる。   As described above, the driving assistance device 100 according to the present embodiment prohibits the assistance for the stop of the line of sight when a spontaneous driving operation is detected from the vehicle state, so that unnecessary warnings can be reduced. Reducing unnecessary warnings will also improve fuel efficiency.

なお、本実施例では警報の禁止を例に説明したが、その他の車両制御に同様に適用することができる。例えば、PCS(プリクラッシュセーフティシステム)では、障害物との衝突の可能性をTTC(Time To Collision)に置き換え、TTCに基づき、a衝突の可能性がある場合、b衝突の可能性が高い場合、c衝突が不可避の場合、等に場合分けしてそれぞれのタイミングで車両制御を実行する。例えば、PCSではa衝突の可能性がある場合に運転者に警報音を吹鳴し、b衝突の可能性が高い場合には自動制動を加えるなどの支援を提供することが多い。   In the present embodiment, the prohibition of alarm has been described as an example, but it can be similarly applied to other vehicle controls. For example, in PCS (pre-crash safety system), the possibility of collision with an obstacle is replaced with TTC (Time To Collision), and when there is a possibility of a collision based on TTC, there is a high possibility of b collision , C When the collision is unavoidable, the vehicle control is executed at each timing according to the case. For example, PCS often provides assistance such as sounding a warning sound to the driver when there is a possibility of a collision, and applying automatic braking when the possibility of a collision is high.

また、LWD(Lane Warning Departure)では、走行レーンを区切る車線区分線(以下、白線という)をカメラで撮影し、自車両30の進行方向と車速から所定時間T秒後に白線を逸脱するおそれがあると判定すると、運転者に警報音を吹鳴する。   In addition, in LWD (Lane Warning Departure), a lane division line (hereinafter referred to as a white line) that divides a driving lane is photographed by a camera, and there is a possibility of deviating from the white line after a predetermined time T seconds from the traveling direction of the host vehicle 30 and the vehicle speed. If it is determined, a warning sound is emitted to the driver.

そして、PCSやLWDのような車両制御では、運転者の居眠りや漫然運転に対し支援のタイミングを早めることができるが、本実施例の運転支援装置100を適用することで、視線の停留が検出されても、自発的に運転操作している車両状態であれば、支援を禁止することができる。すなわち、早期に支援を開始する状況では、不要な支援となることが早期に支援しない場合よりも高くなるおそれがあるが、本実施例では支援自体を禁止するのでより効果的に不要警報等を低減できる。   In vehicle control such as PCS and LWD, the timing of assistance can be advanced with respect to the driver's snoozing and casual driving. However, by applying the driving assistance device 100 of this embodiment, the stop of the line of sight is detected. Even if the vehicle is in a state where the vehicle is autonomously operated, assistance can be prohibited. In other words, in the situation where support is started early, unnecessary support may be higher than in the case where support is not provided early, but in this example, the support itself is prohibited, so unnecessary warnings, etc. are more effectively issued. Can be reduced.

実施例1では、自発的に運転操作している車両状態の場合に警報を禁止したが、本実施例では別の態様で、自発的に運転操作している場合、誤警報を低減する運転支援装置100について説明する。本実施例では、自発的に運転操作している車両状態を検出した場合、警報を禁止するのでなく判定閾値を車速に応じて可変とする運転支援装置100について説明する。   In the first embodiment, the warning is prohibited in the case of the vehicle state where the driving operation is voluntarily performed. However, in the present embodiment, the driving support for reducing the false alarm when the driving operation is voluntarily performed in another mode. The apparatus 100 will be described. In the present embodiment, a driving support device 100 is described in which, when a state of a vehicle that is voluntarily driving is detected, an alarm is not prohibited but a determination threshold is variable according to the vehicle speed.

図6(a)は、運転支援装置100の機能ブロック図の一例を示す。なお、図6(a)において図2と同一部分には同一の符号を付しその説明は省略する。図6(a)の運転支援装置100は判定閾値調整部19を有する。判定閾値調整部19は、車速に応じて視線が停留しているか否かを判定する判定閾値を増減する。実施例1において説明したように、渋滞などで車速が小さい場合は運転者が自発的に運転操作している可能性があるので、車速が小さいほど視線の移動範囲が狭いことを許容できることが好ましくなる。このため、判定閾値調整部19は車速が小さいほど判定閾値が小さくなるように判定閾値を増減する。   FIG. 6A shows an example of a functional block diagram of the driving support device 100. In FIG. 6A, the same parts as those in FIG. The driving support device 100 in FIG. 6A includes a determination threshold value adjustment unit 19. The determination threshold adjustment unit 19 increases or decreases the determination threshold for determining whether or not the line of sight is stopped according to the vehicle speed. As described in the first embodiment, when the vehicle speed is low due to traffic jams or the like, it is possible that the driver is voluntarily driving the vehicle. Therefore, it is preferable that the movement range of the line of sight can be allowed to be smaller as the vehicle speed is lower. Become. Therefore, the determination threshold adjustment unit 19 increases or decreases the determination threshold so that the determination threshold decreases as the vehicle speed decreases.

図6(b)は車速と判定閾値の関係を示す閾値マップの一例である。閾値マップは例えば、制御部20の不揮発メモリに予め記憶されている。図示するように、車速が小さいと判定閾値も小さくなり、視線の移動範囲が判定閾値を超えやすくなるので、車速が小さいと視線が停留していると判定する頻度を低減できる。   FIG. 6B is an example of a threshold map showing the relationship between the vehicle speed and the determination threshold. The threshold map is stored in advance in a nonvolatile memory of the control unit 20, for example. As shown in the figure, when the vehicle speed is low, the determination threshold value is also small, and the range of movement of the line of sight tends to exceed the determination threshold value. Therefore, when the vehicle speed is low, the frequency of determining that the line of sight is stopped can be reduced.

図7は、運転支援装置100が漫然運転を検出して運転者を支援する手順を示すフローチャート図の一例である。なお、図7において図4と同一ステップには同一の符号を付しその説明は簡単に行う。   FIG. 7 is an example of a flowchart illustrating a procedure in which the driving support apparatus 100 detects a rough driving and supports the driver. In FIG. 7, the same steps as those in FIG.

ドライバモニタセンサ11が撮影した顔画像毎に、視線方向検出部15が運転者の視線方向を検出し、検出された視線方向のうち古いものから削除しながら所定時間の視線方向を記憶していく(S10)。ついで、判定閾値調整部19は、車速センサ12から取得した車速に基づき判定閾値を調整する(S15)。   For each face image photographed by the driver monitor sensor 11, the gaze direction detection unit 15 detects the gaze direction of the driver and stores the gaze direction for a predetermined time while deleting the oldest gaze direction from the detected gaze directions. (S10). Next, the determination threshold adjustment unit 19 adjusts the determination threshold based on the vehicle speed acquired from the vehicle speed sensor 12 (S15).

警報判定部16は、車速に応じて調整した判定閾値に基づき視線が停留しているか否かを判定する(S20)。したがって、車速が小さい場合、視線が停留しているとは判定されにくい。   The warning determination unit 16 determines whether or not the line of sight is stopped based on the determination threshold adjusted according to the vehicle speed (S20). Therefore, when the vehicle speed is low, it is difficult to determine that the line of sight is stopped.

以降の処理は、実施例1と同様である。すなわち、視線が正面方向に停留している場合であって、車両状態に基づき運転者が自発的な運転をしていると判定される場合(S50のYes)、車両状態判別部17は警報判定部16に警報の禁止を要求する(S60)。すなわち、視線が正面方向に停留していても、運転者が自発的に運転操作していると見なせる場合は警報を禁止することで不要警報を低減できる。   The subsequent processing is the same as in the first embodiment. That is, when the line of sight is stopped in the front direction and it is determined that the driver is voluntarily driving based on the vehicle state (Yes in S50), the vehicle state determination unit 17 determines the alarm. The unit 16 is requested to prohibit the alarm (S60). That is, even if the line of sight is stopped in the front direction, unnecessary alarms can be reduced by prohibiting alarms when the driver can be regarded as driving autonomously.

したがって、本実施例によれば、実施例1の効果に加え、低速走行時には視線の停留と判定しにくくなるので、さらに不要警報を防止することができる。   Therefore, according to the present embodiment, in addition to the effects of the first embodiment, it is difficult to determine that the line of sight is stopped when traveling at a low speed, and thus an unnecessary alarm can be further prevented.

実施例1、2では、自発的に運転操作している車両状態の場合に警報を禁止したが、低速走行時であっても覚醒度が低下し漫然運転となる場合があると考えられる。このため、自発的な運転操作が検出されても一律に警報を禁止することが好ましくない場合がある。そこで、本実施例では、自発的に運転操作している車両状態を検出した場合、再度、視線が停留しているか否かを判定し、視線が停留している場合には警報を出力する運転支援装置100について説明する。   In the first and second embodiments, the alarm is prohibited in the case of a vehicle state where the driving operation is voluntarily performed. However, it is considered that the awakening level may be lowered and the driving may be abrupt even during low-speed driving. For this reason, even if a spontaneous driving operation is detected, it may not be preferable to uniformly prohibit the alarm. Therefore, in this embodiment, when the state of the vehicle that is voluntarily driving is detected, it is determined again whether or not the line of sight is stopped, and when the line of sight is stopped, an alarm is output. The support device 100 will be described.

機能ブロック図については図6(a)と同様である。本実施例では、自発的に運転操作していると判定された後、警報判定部16は第2の判定閾値にて視線が停留しているか否かを判定する。第2の判定閾値は、実施例2と同様に例えば車速に応じて、判定閾値調整部19が増減する。したがって、自発的に車両操作していると判定されても、極端に視線の移動範囲が狭いような場合には運転者に支援を提供することが可能となる。   The functional block diagram is the same as that shown in FIG. In this embodiment, after it is determined that the driver is driving spontaneously, the alarm determination unit 16 determines whether or not the line of sight is stopped at the second determination threshold. As in the second embodiment, the second determination threshold is increased or decreased by the determination threshold adjustment unit 19 according to the vehicle speed, for example. Therefore, even if it is determined that the vehicle is being operated voluntarily, it is possible to provide assistance to the driver when the movement range of the line of sight is extremely narrow.

図8は、運転支援装置100が漫然運転を検出して運転者を支援する手順を示すフローチャート図の一例である。なお、図8において図4と同一ステップの説明は省略する。   FIG. 8 is an example of a flowchart illustrating a procedure in which the driving support apparatus 100 detects a rough driving and supports the driver. In FIG. 8, the description of the same steps as those in FIG. 4 is omitted.

図8ではステップS50の手順までは図4と同じである。したがって、ステップS20の判定の際の判定閾値は車速にかかわらず一定である。   In FIG. 8, the procedure up to step S50 is the same as in FIG. Therefore, the determination threshold value at the time of determination in step S20 is constant regardless of the vehicle speed.

ステップS50において自発的に運転操作していると判定された場合(S50のYes)、判定閾値調整部19は、車速センサ12から取得した車速に基づき判定閾値を調整する(S51)。   If it is determined in step S50 that the vehicle is spontaneously operated (Yes in S50), the determination threshold adjustment unit 19 adjusts the determination threshold based on the vehicle speed acquired from the vehicle speed sensor 12 (S51).

警報判定部16は、車速に応じて調整した第2の判定閾値に基づき視線が停留しているか否かを判定する(S52)。第2の判定閾値は、車速が小さいほど、視線が停留しているとは判定されにくいように調整されている。   The warning determination unit 16 determines whether or not the line of sight is stopped based on the second determination threshold adjusted according to the vehicle speed (S52). The second determination threshold is adjusted so that the smaller the vehicle speed, the more difficult it is to determine that the line of sight is stationary.

したがって、第2の判定閾値により視線が停留していると判定される場合は、運転者の視線の移動範囲が狭すぎると見なすことができる。このため、視線が停留していると判定された場合(S52のYes)、警報判定部16は、警報アクチュエータ18に警報の出力を要求する(S70)。警報アクチュエータ18は、例えばブザー音を出力したり、スピーカから「正面方向に視線が留まっています。漫然運転に注意しましょう」等のメッセージを出力したり、シートやステアリングホイールに振動を生じさせる。また、視線方向のディスプレイ(例えば、ヘッドアップディスプレイ)に同様のメッセージを表示してもよい。   Therefore, when it is determined that the line of sight is stopped by the second determination threshold, it can be considered that the movement range of the driver's line of sight is too narrow. For this reason, when it is determined that the line of sight is stationary (Yes in S52), the alarm determination unit 16 requests the alarm actuator 18 to output an alarm (S70). For example, the alarm actuator 18 outputs a buzzer sound, outputs a message from the speaker such as “Look at the front direction. Be careful about driving casually”, or generate vibration on the seat or the steering wheel. Moreover, you may display the same message on the display (for example, head-up display) of a gaze direction.

視線が停留していると判定されない場合(S52のNo)、車両状態判別部17は警報判定部16に支援の禁止を要求する(S60)。すなわち、視線が正面方向を向いていても、低速走行状態の場合、渋滞などのため運転者が自発的に運転操作していると見なせるので、視線が停留していても警報を禁止することで不要警報を回避できる。   When it is not determined that the line of sight is stopped (No in S52), the vehicle state determination unit 17 requests the warning determination unit 16 to prohibit support (S60). In other words, even if the line of sight is facing in the front direction, it can be considered that the driver is voluntarily driving due to traffic congestion etc. in the low speed driving state, so even if the line of sight stops, the warning is prohibited. Unnecessary alarms can be avoided.

以上説明したように本実施例の運転支援装置100は、低速走行時等には視線の停留に対し警告を禁止するので不要警報を防止することができ、さらに、視線の移動範囲が極端に狭いような場合には運転者を支援できるので低速走行時の漫然運転を確実に防止できる。   As described above, the driving support device 100 according to the present embodiment prohibits a warning for the stop of the line of sight when traveling at a low speed or the like, so that an unnecessary alarm can be prevented and the movement range of the line of sight is extremely narrow. In such a case, the driver can be supported, so that it is possible to reliably prevent the driver from driving at a low speed.

視線方向の停留を模式的に説明する図の一例である。It is an example of the figure which illustrates the stop of a gaze direction typically. 運転支援装置の機能ブロック図の一例である。It is an example of the functional block diagram of a driving assistance device. 視線方向の検出を模式的に示す図の一例である。It is an example of the figure which shows the detection of a gaze direction typically. 運転支援装置が漫然運転を検出して運転者に警告する手順を示すフローチャート図の一例である(実施例1)。(Example 1) which is an example of the flowchart figure which shows the procedure in which a driving assistance device detects a rough driving and warns a driver. 自発的な運転か否かを判定手順の例を示す図である。It is a figure which shows the example of the determination procedure whether it is a voluntary driving | operation. 運転支援装置の機能ブロック図の一例である。It is an example of the functional block diagram of a driving assistance device. 運転支援装置が漫然運転を検出して運転者に警告する手順を示すフローチャート図の一例である(実施例2)。(Example 2) which is an example of the flowchart figure which shows the procedure which a driving assistance device detects a rough driving and warns a driver. 運転支援装置が漫然運転を検出して運転者に警告する手順を示すフローチャート図の一例である(実施例3)。(Example 3) which is an example of the flowchart figure which shows the procedure which a driving assistance device detects a rough driving and warns a driver.

符号の説明Explanation of symbols

11 ドライバモニタセンサ
12 車速センサ
15 視線方向検出部
16 警報判定部
17 車両状態判別部
18 警報アクチュエータ
19 判定閾値調整部
100 運転支援装置
DESCRIPTION OF SYMBOLS 11 Driver monitor sensor 12 Vehicle speed sensor 15 Gaze direction detection part 16 Alarm determination part 17 Vehicle state determination part 18 Alarm actuator 19 Determination threshold value adjustment part 100 Driving support device

Claims (6)

運転者の視線移動に基づき運転者を支援する運転支援装置において、
車速を検出する車速センサと、
視線移動の大きさに基づき支援するか否かを判定する支援判定手段と、を有し、
前記支援判定手段は、車速が小さい場合ほど視線移動が小さいことを許容して支援量を抑制する、
ことを特徴とする運転支援装置。
In a driving support device that supports the driver based on the movement of the driver's line of sight,
A vehicle speed sensor for detecting the vehicle speed;
Support determination means for determining whether or not to support based on the magnitude of eye movement,
The support determination means suppresses the support amount by allowing the line of sight movement to be smaller as the vehicle speed is lower.
A driving support device characterized by that.
運転者の視線移動に基づき運転者を支援する運転支援装置において、
車速を検出する車速センサを有し、
車速が所定以下の低速走行状態か否かを判定する車両状態判定手段と、
視線移動の大きさに基づき支援するか否かを判定する支援判定手段と、を有し、
前記支援判定手段は、視線が正面方向に停留していると判定された場合であって、かつ、前記車両状態判定手段が低速走行状態であると判定した場合、支援量を抑制する、
ことを特徴とする運転支援装置。
In a driving support device that supports the driver based on the movement of the driver's line of sight,
It has a vehicle speed sensor that detects the vehicle speed,
Vehicle state determination means for determining whether or not the vehicle speed is a low speed traveling state below a predetermined value;
Support determination means for determining whether or not to support based on the magnitude of eye movement,
The support determination means suppresses the amount of support when it is determined that the line of sight is stationary in the front direction and when the vehicle state determination means determines that the vehicle is in a low speed running state,
A driving support device characterized by that.
前記車両状態判定手段は、低速走行状態か否かでなく、車両が渋滞列を走行しているか否かを判定し、
前記支援判定手段は、視線が正面方向に停留していると判定された場合であって、かつ、前記車両状態判定手段が渋滞列を走行中であると判定した場合、支援を禁止する、
ことを特徴とする請求項2記載の運転支援装置。
The vehicle state determination means determines whether or not the vehicle is traveling in a traffic jam row, not whether or not it is in a low-speed traveling state,
The support determination means prohibits support when it is determined that the line of sight is stationary in the front direction and when the vehicle state determination means determines that the vehicle is traveling in a traffic jam line,
The driving support apparatus according to claim 2, wherein:
前記車両状態判定手段は、低速走行状態か否かでなく、ブレーキ操作頻度が所定値以上か否かを判定し、
前記支援判定手段は、視線が正面方向に停留していると判定された場合であって、かつ、前記車両状態判定手段がブレーキ操作頻度が所定値以上であると判定した場合、支援を禁止する、
ことを特徴とする請求項2記載の運転支援装置。
The vehicle state determination means determines whether or not the brake operation frequency is a predetermined value or more, not whether or not the vehicle is in a low-speed traveling state,
The support determination unit prohibits support when it is determined that the line of sight is stationary in the front direction and the vehicle state determination unit determines that the brake operation frequency is equal to or higher than a predetermined value. ,
The driving support apparatus according to claim 2, wherein:
車速が小さい場合ほど、視線移動が小さいことを許容するよう判定閾値を調整する判定閾値調整手段を有し、
調整前の判定閾値により視線が正面方向に停留していると判定され、かつ、低速走行状態であると判定された場合であっても、
前記支援判定手段は、視線移動が小さいことを許容するよう調整された判定閾値により視線移動が小さいと判定する場合、運転者を支援する、
ことを特徴とする請求項2記載の運転支援装置。
A determination threshold adjustment unit that adjusts a determination threshold to allow a smaller line of sight movement as the vehicle speed is smaller;
Even if it is determined that the line of sight is stationary in the front direction by the determination threshold before adjustment, and it is determined that the vehicle is in a low-speed traveling state,
The support determination means assists the driver when determining that the line of sight movement is small by a determination threshold adjusted to allow the line of sight movement to be small.
The driving support apparatus according to claim 2, wherein:
運転者の視線移動が小さい場合に運転者を支援する運転支援装置の運転支援方法において、
車速センサが検出した車速が小さい場合ほど、視線移動が小さいことを許容して支援量を抑制する、
ことを特徴とする運転支援方法。
In the driving support method of the driving support device that supports the driver when the driver's eye movement is small,
The smaller the vehicle speed detected by the vehicle speed sensor, the smaller the movement of the line of sight, and the smaller the support amount.
A driving support method characterized by the above.
JP2008087747A 2008-03-28 2008-03-28 Driving support device and driving support method Pending JP2009244959A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008087747A JP2009244959A (en) 2008-03-28 2008-03-28 Driving support device and driving support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008087747A JP2009244959A (en) 2008-03-28 2008-03-28 Driving support device and driving support method

Publications (1)

Publication Number Publication Date
JP2009244959A true JP2009244959A (en) 2009-10-22

Family

ID=41306806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008087747A Pending JP2009244959A (en) 2008-03-28 2008-03-28 Driving support device and driving support method

Country Status (1)

Country Link
JP (1) JP2009244959A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248746A (en) * 2010-05-28 2011-12-08 Hino Motors Ltd Vigilance level reduction alarm device, vigilance level reduction alarm method, and program
JP2012114557A (en) * 2010-11-22 2012-06-14 Nec Saitama Ltd Display device, display control method, program and electronic apparatus
JP2014064634A (en) * 2012-09-25 2014-04-17 Kyocera Corp Image processing apparatus, line-of-sight specifying apparatus, and pupil image detecting program and method
JP2014210076A (en) * 2013-04-19 2014-11-13 株式会社ユニバーサルエンターテインメント Game machine and management method for game machine
JP2014532930A (en) * 2011-11-07 2014-12-08 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh Method and apparatus for alerting car drivers in the absence of attention
US8907797B2 (en) 2011-12-26 2014-12-09 Denso Corporation Driver monitoring apparatus
JP2015092408A (en) * 2015-01-22 2015-05-14 株式会社ユピテル On-vehicle electric apparatus and program
JP2016024540A (en) * 2014-07-17 2016-02-08 株式会社クボタ Traveling work machine and automatic steering system used therefor
JP2017135742A (en) * 2011-12-16 2017-08-03 マイクロソフト コーポレーション Providing a user interface experience based on inferred vehicle conditions
JP2018116495A (en) * 2017-01-18 2018-07-26 トヨタ自動車株式会社 Driver status detection device
JP2019200544A (en) * 2018-05-15 2019-11-21 三菱電機株式会社 Safety driving assist device
US10551930B2 (en) 2003-03-25 2020-02-04 Microsoft Technology Licensing, Llc System and method for executing a process using accelerometer signals
WO2020059807A1 (en) * 2018-09-20 2020-03-26 いすゞ自動車株式会社 Vehicle monitoring device
JP2020166309A (en) * 2019-03-28 2020-10-08 アイシン・エィ・ダブリュ株式会社 Driving support system, driving support method, and driving support program
CN112204652A (en) * 2018-05-31 2021-01-08 哈曼国际工业有限公司 System and method for steady-state vehicle sound synthesis
JP2021131707A (en) * 2020-02-19 2021-09-09 いすゞ自動車株式会社 Driving assistance device
US20210370956A1 (en) * 2020-06-01 2021-12-02 Toyota Jidosha Kabushiki Kaisha Apparatus and method for determining state
CN119206678A (en) * 2024-11-22 2024-12-27 中国第一汽车股份有限公司 A method, device, equipment and readable storage medium for monitoring driver's emotions

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10551930B2 (en) 2003-03-25 2020-02-04 Microsoft Technology Licensing, Llc System and method for executing a process using accelerometer signals
JP2011248746A (en) * 2010-05-28 2011-12-08 Hino Motors Ltd Vigilance level reduction alarm device, vigilance level reduction alarm method, and program
JP2012114557A (en) * 2010-11-22 2012-06-14 Nec Saitama Ltd Display device, display control method, program and electronic apparatus
JP2014532930A (en) * 2011-11-07 2014-12-08 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh Method and apparatus for alerting car drivers in the absence of attention
US9908410B2 (en) 2011-11-07 2018-03-06 Robert Bosch Gmbh Method and device for warning the driver of a motor vehicle in the event of lack of attention
JP2017135742A (en) * 2011-12-16 2017-08-03 マイクロソフト コーポレーション Providing a user interface experience based on inferred vehicle conditions
US8907797B2 (en) 2011-12-26 2014-12-09 Denso Corporation Driver monitoring apparatus
JP2014064634A (en) * 2012-09-25 2014-04-17 Kyocera Corp Image processing apparatus, line-of-sight specifying apparatus, and pupil image detecting program and method
JP2014210076A (en) * 2013-04-19 2014-11-13 株式会社ユニバーサルエンターテインメント Game machine and management method for game machine
JP2016024540A (en) * 2014-07-17 2016-02-08 株式会社クボタ Traveling work machine and automatic steering system used therefor
JP2015092408A (en) * 2015-01-22 2015-05-14 株式会社ユピテル On-vehicle electric apparatus and program
JP2018116495A (en) * 2017-01-18 2018-07-26 トヨタ自動車株式会社 Driver status detection device
US10604160B2 (en) 2017-01-18 2020-03-31 Toyota Jidosha Kabushiki Kaisha Driver condition detection system
JP2019200544A (en) * 2018-05-15 2019-11-21 三菱電機株式会社 Safety driving assist device
US11443729B2 (en) 2018-05-31 2022-09-13 Harman International Industries, Incorporated System and method for steady state vehicle sound synthesis
JP2021530725A (en) * 2018-05-31 2021-11-11 ハーマン インターナショナル インダストリーズ, インコーポレイテッド Systems and methods for steady-state vehicle speech synthesis
CN112204652B (en) * 2018-05-31 2024-11-15 哈曼国际工业有限公司 System and method for steady-state vehicle sound synthesis
CN112204652A (en) * 2018-05-31 2021-01-08 哈曼国际工业有限公司 System and method for steady-state vehicle sound synthesis
JP7360399B2 (en) 2018-05-31 2023-10-12 ハーマン インターナショナル インダストリーズ, インコーポレイテッド System and method for steady state vehicle sound synthesis
US11267478B2 (en) 2018-09-20 2022-03-08 Isuzu Motors Limited Vehicle monitoring device
JP2020047087A (en) * 2018-09-20 2020-03-26 いすゞ自動車株式会社 Vehicle monitoring device
WO2020059807A1 (en) * 2018-09-20 2020-03-26 いすゞ自動車株式会社 Vehicle monitoring device
JP7180228B2 (en) 2018-09-20 2022-11-30 いすゞ自動車株式会社 Vehicle monitoring device
JP2020166309A (en) * 2019-03-28 2020-10-08 アイシン・エィ・ダブリュ株式会社 Driving support system, driving support method, and driving support program
JP7322745B2 (en) 2020-02-19 2023-08-08 いすゞ自動車株式会社 Driving support device
JP2021131707A (en) * 2020-02-19 2021-09-09 いすゞ自動車株式会社 Driving assistance device
US20210370956A1 (en) * 2020-06-01 2021-12-02 Toyota Jidosha Kabushiki Kaisha Apparatus and method for determining state
CN113753057A (en) * 2020-06-01 2021-12-07 丰田自动车株式会社 State determination device and state determination method
JP2021189852A (en) * 2020-06-01 2021-12-13 トヨタ自動車株式会社 Condition determination device and condition determination method
JP7302534B2 (en) 2020-06-01 2023-07-04 トヨタ自動車株式会社 State determination device and state determination method
US11919522B2 (en) 2020-06-01 2024-03-05 Toyota Jidosha Kabushiki Kaisha Apparatus and method for determining state
CN119206678A (en) * 2024-11-22 2024-12-27 中国第一汽车股份有限公司 A method, device, equipment and readable storage medium for monitoring driver's emotions

Similar Documents

Publication Publication Date Title
JP2009244959A (en) Driving support device and driving support method
US10723365B2 (en) Driving assistance device
US7209833B2 (en) Collision possibility determination device
JP5664784B2 (en) Vehicle information transmission device
JP5109750B2 (en) Driver state detection device, consciousness state detection method
JP2018181061A (en) Driving support device
CN101512617A (en) Driving Information Provider
JP6631545B2 (en) Dependency estimator
WO2019176391A1 (en) Drive recorder, display control method, and program
JP6223143B2 (en) Driving support device and driving support method
US20210016804A1 (en) Driving assistance apparatus
JP2008204107A (en) Careless warning device, vehicle equipment control method of careless warning device, and vehicle control device program
JP2016055801A (en) On-vehicle display device
JP2017027180A (en) Vehicle control apparatus and vehicle control method
JP6811743B2 (en) Safe driving support device
JP2017182776A (en) Vehicle periphery monitoring apparatus and computer program
JP4337130B2 (en) Control device for driving device
JP4337131B2 (en) Mobile control device
JP7276082B2 (en) Driver state estimation device
JP5576198B2 (en) Armpit judging device
US20240336192A1 (en) Monitoring device, storage medium storing computer program for monitoring, and monitoring method
JP4857891B2 (en) Driving support device and program
JP2007286898A (en) Operation support device and program
JP6415968B2 (en) COMMUNICATION DEVICE, WARNING DEVICE, DISPLAY DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
CN116252801A (en) Monitoring device, nonvolatile storage medium and monitoring method