JP2018108784A - Inattention determination system and method - Google Patents
Inattention determination system and method Download PDFInfo
- Publication number
- JP2018108784A JP2018108784A JP2017000109A JP2017000109A JP2018108784A JP 2018108784 A JP2018108784 A JP 2018108784A JP 2017000109 A JP2017000109 A JP 2017000109A JP 2017000109 A JP2017000109 A JP 2017000109A JP 2018108784 A JP2018108784 A JP 2018108784A
- Authority
- JP
- Japan
- Prior art keywords
- threshold value
- vehicle
- look
- user
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 description 23
- 210000001508 eye Anatomy 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、脇見判定装置及び方法に関する。 The present invention relates to an aside look determination apparatus and method.
従来、交通事故発生防止策の一つとして脇見運転を防止するための脇見判定装置が提案されている（例えば、特許文献１を参照）。このような脇見判定装置において、ドライバの注意を喚起するためにドライバの脇見運転状態を検出したときに警告を発する等の方法が考えられる。 2. Description of the Related Art Conventionally, as a measure for preventing traffic accidents, a side-by-side determination device for preventing side-by-side driving has been proposed (see, for example, Patent Document 1). In such an aside look determination device, a method such as issuing a warning when a driver's look aside driving state is detected in order to alert the driver is conceivable.
しかしながら、従来の脇見判定装置では、例えば、車両の走行速度を確認するためにドライバが一時的に速度表示器を見た場合でもドライバが車両前方を見ていないためにドライバが脇見運転をしていると誤って判断されて警告が発されるおそれがある。 However, in the conventional look-ahead determination device, for example, even if the driver temporarily looks at the speed indicator to check the traveling speed of the vehicle, the driver does not look forward to the vehicle because the driver does not look forward. May be mistakenly determined to cause a warning.
本発明は、ユーザの脇見状態を適切に判定することができる脇見判定装置及び方法を提供することを目的とする。 An object of the present invention is to provide an aside look determination apparatus and method that can appropriately determine a look aside of a user.
上記目的を実現するため、本発明に係る脇見判定装置は、ユーザの視線方向を検知する視線方向検知部と、ユーザが脇見状態であるか否かを、ユーザの視線方向が運転中に見るべき方向以外の脇見方向である時間と閾値との比較結果に基づいて判定する脇見判定部と、車両の走行状態及びユーザの脇見方向における視線方向の少なくとも一方に応じて閾値を変更する閾値変更部と、を有する、ことを特徴とする。 In order to achieve the above object, the aside look determination device according to the present invention should look at the gaze direction detection unit that detects the gaze direction of the user and whether or not the user is looking aside while driving. A side look determination unit for determining based on a comparison result between a time that is a side look direction other than the direction and a threshold value, and a threshold value change unit that changes the threshold value according to at least one of the vehicle running state and the line-of-sight direction in the user side look direction It is characterized by having.
また、閾値変更部は、ユーザが視認している車両の表示器、ユーザが視認している車両の表示器に表示されている情報の内容又はユーザの視線方向のエリアに応じて閾値を変更することが好ましい。 In addition, the threshold value changing unit changes the threshold value according to the display device of the vehicle visually recognized by the user, the content of information displayed on the display device of the vehicle visually recognized by the user, or the area of the user's line-of-sight direction. It is preferable.
また、閾値変更部は、ユーザが運転する車両が手動運転と自動運転の何れであるかに応じて閾値を変更することが好ましい。 Moreover, it is preferable that a threshold value change part changes a threshold value according to whether the vehicle which a user drives is manual driving or automatic driving.
さらに、本発明に係る脇見判定方法は、脇見判定装置が、ユーザの視線方向を検知し、脇見判定装置が、ユーザが脇見状態であるか否かを、ユーザの視線方向が運転中に見るべき方向以外の脇見方向である時間と閾値との比較結果に基づいて判定し、脇見判定装置が、車両の走行状態及びユーザの前記脇見方向における視線方向の少なくとも一方に応じて前記閾値を変更する、ことを含む、ことを特徴とする。 Furthermore, in the method of determining a look-ahead according to the present invention, the look-ahead determination device should detect the user's gaze direction, and the look-ahead determination device should see whether the user's gaze direction is during driving. A determination is made based on a comparison result between a time that is a look-aside direction other than the direction and a threshold value, and the look-ahead determination device changes the threshold value according to at least one of the vehicle running state and the line-of-sight direction in the user's look-ahead direction. It is characterized by including.
本発明によれば、ユーザの脇見状態を適切に判定することができる。 ADVANTAGE OF THE INVENTION According to this invention, a user's looking-aside state can be determined appropriately.
以下の図面を参照して、本発明に係る脇見判定装置及び方法について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明との均等物に及ぶ点に留意されたい。 With reference to the following drawings, an aside look determination apparatus and method according to the present invention will be described. However, it should be noted that the technical scope of the present invention is not limited to these embodiments, and extends to equivalents to the invention described in the claims.
図１は、実施形態に係る脇見判定装置の構成図である。図１に示す脇見判定装置１は、光源１１と、車内カメラ１２と、車両状態センサ１３と、ナビゲーション装置１４と、制御部１５とを有する。 FIG. 1 is a configuration diagram of an armpit determination device according to an embodiment. The aside look determination device 1 shown in FIG. 1 includes a light source 11, an in-vehicle camera 12, a vehicle state sensor 13, a navigation device 14, and a control unit 15.
光源１１は、運転席に着座したドライバの顔のような撮像対象に可視光線等の光を照射する。ドライバは、ユーザの一例である。車内カメラ１２は、可視光カメラ等によって構成され、運転席に着座したドライバの顔を撮像対象とし、ドライバの顔を含む顔画像を制御部１５に供給する。車両状態センサ１３は、例えば、車速センサ、ジャイロセンサ、ヨーレートセンサ、及び舵角センサ等を有する。車両状態センサ１３では、車速センサは脇見判定装置１を装着した車両の速度を検出し、ジャイロセンサは車体の姿勢及び進行方向を検知し、ヨーレートセンサはヨーレート（車両の重心の上下方向軸周りの回転角速度）を検知する。舵角センサは、ドライバにより操作されるステアリングホイールの舵角（操舵角度）又はステアリングホイールの舵角に応じた実舵角（転舵角度）を検出する。車両状態センサ１３は、車速、姿勢、ヨーレート、操舵角度、転舵角度等の検出結果を示す信号を制御部１５に供給する。 The light source 11 irradiates an imaging target such as a driver's face seated in the driver's seat with light such as visible light. A driver is an example of a user. The in-vehicle camera 12 is configured by a visible light camera or the like, and takes a driver's face seated in the driver's seat as an imaging target and supplies a face image including the driver's face to the control unit 15. The vehicle state sensor 13 includes, for example, a vehicle speed sensor, a gyro sensor, a yaw rate sensor, a steering angle sensor, and the like. In the vehicle state sensor 13, the vehicle speed sensor detects the speed of the vehicle on which the armpit determination device 1 is mounted, the gyro sensor detects the posture and traveling direction of the vehicle body, and the yaw rate sensor detects the yaw rate (around the vertical axis of the center of gravity of the vehicle). Rotational angular velocity) is detected. The steering angle sensor detects the steering angle (steering angle) of the steering wheel operated by the driver or the actual steering angle (steering angle) corresponding to the steering angle of the steering wheel. The vehicle state sensor 13 supplies a signal indicating detection results such as a vehicle speed, a posture, a yaw rate, a steering angle, and a turning angle to the control unit 15.
ナビゲーション装置１４は、タッチパネル機能を備えた液晶等のディスプレイ１４ａと、ドライバが操作を行うハードスイッチ等の操作部１４ｂと、装置全体を制御する制御部１４ｃとを有する。ナビゲーション装置１４は、不図示のＧＰＳ衛星から不図示のＧＰＳ受信機を介して受信したＧＰＳ信号に基づいて車両の位置情報を取得して案内情報をドライバに提供する。ディスプレイ１４ａの画面がドライバから視認可能なように、ナビゲーション装置１４は、車両のインストルメントパネル等に設置される。 The navigation device 14 includes a display 14a such as a liquid crystal provided with a touch panel function, an operation unit 14b such as a hard switch operated by a driver, and a control unit 14c that controls the entire device. The navigation device 14 acquires vehicle position information based on a GPS signal received from a GPS satellite (not shown) via a GPS receiver (not shown), and provides guidance information to the driver. The navigation device 14 is installed on an instrument panel or the like of the vehicle so that the screen of the display 14a is visible from the driver.
ドライバの各種の指示は、操作部１４ｂとタッチパネルとしてのディスプレイ１４ａとによって受け付けられる。制御部１４ｃは、ＣＰＵ、ＲＡＭ及びＲＯＭ等を備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。 Various instructions of the driver are received by the operation unit 14b and the display 14a as a touch panel. The control unit 14c is a computer including a CPU, a RAM, a ROM, and the like, and various functions including a navigation function are realized by the CPU performing arithmetic processing according to a predetermined program.
ナビゲーション装置１４は、操作部１４ｂ又はタッチパネルの操作に応答して、自動運転支援に関する指示信号を、ＣＰＵ、ＲＡＭ及びＲＯＭ等を備えたコンピュータによって構成された不図示の車両制御ユニットに送信する。車両制御ユニットは、ナビゲーション装置１４からの指示に基づいて、所定のプログラムに従ってＣＰＵが演算処理を行うことで自動運転支援機能を実現する。車両の自動運転及び車両の手動運転はそれぞれ車両の走行状態の一例である。 In response to an operation on the operation unit 14b or the touch panel, the navigation device 14 transmits an instruction signal related to automatic driving support to a vehicle control unit (not shown) configured by a computer including a CPU, a RAM, a ROM, and the like. The vehicle control unit realizes an automatic driving support function by the CPU performing arithmetic processing according to a predetermined program based on an instruction from the navigation device 14. The automatic driving of the vehicle and the manual driving of the vehicle are examples of the running state of the vehicle.
制御部１５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことにより脇見判定機能を含む各種の機能が実現される。制御部１５は、照射制御部１５ａと、撮像制御部１５ｂと、顔画像取得部１５ｃと、視線方向検知部１５ｄと、車両状態取得部１５ｅと、脇見判定部１５ｆと、閾値変更部１５ｇとを有する。制御部１５が有するこれらの各部は、制御部１５が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、制御部１５が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして脇見判定装置１に実装されてもよい。 The control unit 15 is a computer including a CPU, a RAM, a ROM, and the like, and various functions including an aside look determination function are realized by the CPU performing arithmetic processing according to a predetermined program. The control unit 15 includes an irradiation control unit 15a, an imaging control unit 15b, a face image acquisition unit 15c, a gaze direction detection unit 15d, a vehicle state acquisition unit 15e, an aside look determination unit 15f, and a threshold change unit 15g. Have. Each of these units included in the control unit 15 is a functional module implemented by a program executed on a processor included in the control unit 15. Alternatively, each of these units included in the control unit 15 may be mounted on the aside look determination device 1 as an independent integrated circuit, a microprocessor, or firmware.
照射制御部１５ａは、光源１１による光の照射を制御する。撮像制御部１５ｂは、車内カメラ１２による撮像を制御する。顔画像取得部１５ｃは、車内カメラ１２から供給される顔画像を取得し、視線方向検知部１５ｄに供給する。 The irradiation control unit 15 a controls light irradiation by the light source 11. The imaging control unit 15b controls imaging by the in-vehicle camera 12. The face image acquisition unit 15c acquires the face image supplied from the in-vehicle camera 12 and supplies the face image to the line-of-sight direction detection unit 15d.
視線方向検知部１５ｄは、ドライバの視線方向を検知する。視線方向検知部１５ｄは、顔画像取得部１５ｃから供給される顔画像からドライバの左右の眼球を検知対象物とした特徴量算出、形状判別等の認識処理を行う。視線方向検知部１５ｄは、認識処理の結果に基づいて、例えば、目頭の位置、眼の最高及び瞳孔の中心位置、角膜表面における赤外線の反射像であるプルキエニ像の中心位置、眼球中心位置等を用いた所定の視線検知処理によりドライバの視線方向及び注視点を検知する。目頭の位置を用いた視線検知処理を行う場合、視線方向検知部１５ｄは、顔画像取得部１５ｃから供給される顔画像に含まれるドライバの目頭及び虹彩をそれぞれ基準点及び動点として設定し、目頭に対する虹彩の位置に基づいてドライバの視線方向を検知する。例えば、図２Ａに示すようにドライバの虹彩Ｅ１がドライバの目頭Ｅ２が離れている場合には、ドライバの視線方向は、ドライバの正面方向に対して左側に所定の角度だけ傾斜した方向となる。一方、図２Ｂに示すようにドライバの虹彩Ｅ１がドライバの目頭Ｅ２に近い場合には、ドライバの視線方向は、ドライバの正面方向に対して右側に所定の角度だけ傾斜した方向となる。 The line-of-sight direction detection unit 15d detects the line-of-sight direction of the driver. The line-of-sight direction detection unit 15d performs recognition processing such as feature amount calculation and shape determination using the left and right eyeballs of the driver as detection objects from the face image supplied from the face image acquisition unit 15c. Based on the result of the recognition processing, the line-of-sight direction detection unit 15d determines, for example, the position of the eye, the highest position of the eye and the center position of the pupil, the center position of the Purchieny image that is an infrared reflection image on the cornea surface, the center position of the eyeball, and the like. The driver's gaze direction and gaze point are detected by the predetermined gaze detection process used. When performing gaze detection processing using the position of the eye, the gaze direction detection unit 15d sets the driver's eye and iris included in the face image supplied from the face image acquisition unit 15c as a reference point and a moving point, respectively. The driver's line-of-sight direction is detected based on the position of the iris with respect to the eye. For example, when the driver's iris E1 is away from the driver's eye E2 as shown in FIG. 2A, the driver's line-of-sight direction is inclined to the left by a predetermined angle with respect to the front direction of the driver. On the other hand, when the driver's iris E1 is close to the driver's eye E2 as shown in FIG. 2B, the driver's line-of-sight direction is inclined to the right by a predetermined angle with respect to the driver's front direction.
車両状態取得部１５ｅは、車両状態センサ１３から供給される検出結果の信号に基づいて車両の走行状態に関する車両情報を取得し、閾値変更部１５ｇに供給する。例えば、車両状態取得部１５ｅは、車両情報として、車両の速度、車体の姿勢、車両の進行方向及び旋回方向、及びステアリングホイールの舵角（操舵角度）に応じた実舵角（転舵角度）の情報を取得する。 The vehicle state acquisition unit 15e acquires vehicle information related to the running state of the vehicle based on the detection result signal supplied from the vehicle state sensor 13, and supplies the vehicle information to the threshold value changing unit 15g. For example, the vehicle state acquisition unit 15e uses, as the vehicle information, the actual steering angle (steering angle) corresponding to the vehicle speed, the posture of the vehicle body, the traveling direction and turning direction of the vehicle, and the steering angle (steering angle) of the steering wheel. Get information about.
脇見判定部１５ｆは、ドライバが脇見状態（運転中に見るべき方向以外を見ている状態）であるか否かを、ドライバの視線方向が運転中に見るべき方向以外の脇見方向である時間と閾値との比較結果に基づいて判定する。脇見判定部１５ｆは、ドライバの視線方向が脇見方向である時間が第１の値以上であるか否かを判定してもよい。第１の値は、ドライバが脇見方向にある視認対象を必要以上に凝視しているためにドライバが脇見状態であると判断するための基準となる閾値の一例である。脇見方向にある視認対象の一例は、ナビゲーション装置、計器等の表示器である。脇見方向にある視認対象の他の例は、エアコン操作部である。また、脇見判定部１５ｆは、ドライバの視線方向が運転中に見るべき方向である時間が第２の値未満であるか否かを判定してもよい。第２の値は、ドライバが運転中に見るべき方向にある視認対象を一瞬だけ見た直後に脇見方向にある視認対象を見た場合にドライバが脇見状態であると判断するための基準となる閾値の一例である。 The look-ahead determination unit 15f determines whether or not the driver is in a look-aside state (a state in which the driver is looking in a direction other than the direction to be seen during driving), and a time in which the driver's line-of-sight direction is a look-aside direction other than the direction to be seen in the drive. The determination is made based on the comparison result with the threshold value. The look-ahead determination unit 15f may determine whether or not the time during which the driver's line-of-sight direction is the look-ahead direction is equal to or greater than the first value. The first value is an example of a threshold value that serves as a reference for determining that the driver is looking aside because the driver is staring more than necessary in the viewing direction. An example of a visual recognition target in the looking-aside direction is a display device such as a navigation device or a meter. Another example of the visual target in the sideways direction is an air conditioner operation unit. The look-ahead determination unit 15f may determine whether or not the time during which the driver's line-of-sight direction is to be viewed during driving is less than the second value. The second value is a reference for determining that the driver is in the side-by-side state when the driver sees the visual object in the side-by-side direction immediately after seeing the visual target in the direction to be seen during driving. It is an example of a threshold value.
ドライバの視線方向が運転中に見るべき方向にある視認対象は、車両の走行状態に応じて異なる。例えば、車両の直進時におけるドライバが運転中に見るべき方向にある視認対象は、図３Ａにおいて実線で示すように、前方領域（フロント）ａとなる。また、車両の直進時における脇見方向にある視認対象の例は、図３Ａにおいて破線で示すように、左サイドミラーｂ、右サイドミラーｃ、バックミラーｄ、ディスプレイｅ（又はその表示内容）及び計器ｆ（又はその表示内容）となる。左サイドミラーｂ、右サイドミラーｃ及びバックミラーｄは、ドライバの視線方向のエリアの一例である。 The visual recognition target in which the driver's line-of-sight direction is to be viewed during driving differs depending on the traveling state of the vehicle. For example, the visual recognition target that is in the direction that the driver should see while driving when the vehicle is traveling straight ahead is a front region (front) a as shown by a solid line in FIG. 3A. Further, examples of the visual recognition target in the sideways direction when the vehicle goes straight are as shown by the broken line in FIG. 3A, the left side mirror b, the right side mirror c, the rearview mirror d, the display e (or its display contents), and the instrument. f (or its display content). The left side mirror b, the right side mirror c, and the rearview mirror d are examples of areas in the driver's line-of-sight direction.
一方、車両の右折時におけるドライバが運転中に見るべき方向にある視認対象は、図３Ｂにおいて実線で示すように、右前方領域ａ’、右サイドミラーｃ及び右領域（右サイド）ｇとなる。また、車両の右折時における脇見方向にある視認対象の例は、図３Ｂにおいて破線で示すように、左サイドミラーｂ、バックミラーｄ、ディスプレイｅ（又はその表示内容）及び計器ｆ（又はその表示内容）となる。車両の直進及び車両の右折はそれぞれ、車両の走行状態の一例である。車両の走行状態の他の例として、車両の左折、後進、高速走行、低速走行、高速道路での走行、一般道での走行等がある。例えば、車両状態取得部１５ｅは、ＥＴＣ(Electronic Toll Collection System)からのＥＴＣ情報を不図示の車載機器から取得したときに車両の走行状態が高速道路での走行であると判断する。 On the other hand, as shown by the solid line in FIG. 3B, the visual recognition objects in the direction that the driver should see while driving when turning right are the right front area a ′, the right side mirror c, and the right area (right side) g. . Further, examples of the visual recognition target in the sideways direction when turning right of the vehicle are, as shown by broken lines in FIG. 3B, the left side mirror b, the rearview mirror d, the display e (or display content thereof), and the instrument f (or display thereof). Content). The straight traveling of the vehicle and the right turn of the vehicle are examples of the traveling state of the vehicle, respectively. Other examples of the running state of the vehicle include left turn of the vehicle, reverse travel, high speed travel, low speed travel, travel on a highway, travel on a general road, and the like. For example, the vehicle state acquisition unit 15e determines that the traveling state of the vehicle is traveling on an expressway when ETC information from ETC (Electronic Toll Collection System) is acquired from an in-vehicle device (not shown).
脇見判定部１５ｆは、ドライバの視線方向が脇見方向である時間が第１の値以上であると判定したときにドライバが脇見状態であると判定する。脇見判定部１５ｆは、ドライバに警報の報知を行うために、触覚的伝達装置、視覚的伝達装置及び聴覚的伝達装置等の不図示の伝達装置に脇見判定信号を供給する。脇見判定部１５ｆは、ドライバが脇見状態であるか否かの判定を行うために第１の値と第２の値の少なくとも一方を用いてもよい。 The looking-aside determination unit 15f determines that the driver is in the looking-aside state when determining that the time during which the driver's line-of-sight direction is the looking-ahead direction is equal to or greater than the first value. The aside look determination unit 15f supplies an aside look determination signal to a transmission device (not shown) such as a tactile transmission device, a visual transmission device, and an auditory transmission device in order to notify the driver of an alarm. The look-ahead determination unit 15f may use at least one of the first value and the second value to determine whether or not the driver is in the look-aside state.
閾値変更部１５ｇは、脇見判定部１５ｆが用いる閾値すなわち第１の値又は第２の値を、車両の走行状態及びドライバの脇見方向における視線方向に応じて変更する。閾値変更部１５ｇは、直進、右折、左折、後進、高速走行、低速走行、高速道路での走行、一般道での走行等の車両の走行状態に対応する複数の閾値テーブルを有する。閾値変更部１５ｇは、車両状態取得部１５ｅから供給された車両情報に基づいて対応する閾値テーブルを選択すると共に、視線方向検知部１５ｄにより検知されたドライバの視線方向にある視認対象に対応する閾値を選択し、選択した閾値を脇見判定部１５ｆに供給する。また、閾値変更部１５ｇは、車両の走行状態及びドライバの脇見方向における視線方向の少なくとも一方に応じて閾値すなわち第１の値又は第２の値を変更してもよい。 The threshold value changing unit 15g changes the threshold value used by the aside look determination unit 15f, that is, the first value or the second value, according to the traveling state of the vehicle and the line-of-sight direction of the driver. The threshold value changing unit 15g has a plurality of threshold value tables corresponding to the traveling state of the vehicle such as straight ahead, right turn, left turn, reverse travel, high speed travel, low speed travel, travel on a highway, travel on a general road, and the like. The threshold value changing unit 15g selects a corresponding threshold value table based on the vehicle information supplied from the vehicle state acquiring unit 15e, and also corresponds to a threshold value corresponding to a visual target in the line-of-sight direction of the driver detected by the line-of-sight direction detection unit 15d. And the selected threshold value is supplied to the aside determination unit 15f. Further, the threshold value changing unit 15g may change the threshold value, that is, the first value or the second value according to at least one of the traveling state of the vehicle and the line-of-sight direction in the driver's looking-aside direction.
図４は、ドライバの脇見方向にある視認対象と閾値との関係を表す閾値テーブルの一例を示す図である。図４に示す例では、車両が直進するときの閾値テーブルを表し、ドライバが視認している車両の表示器の表示内容・状態に応じて第１の値に対応する閾値が設定されている。図４に示す例において、センターディスプレイがナビ表示、交通情報表示、緊急情報表示及び表示オフであるときには、第１の値に対応する閾値をそれぞれＡ秒、Ｂ秒、Ｃ秒及びＡ秒に設定している。また、計器（メータパネル）の状態が昼間表示、夜間表示及び表示ＯＦＦの状態であるときには、第１の値に対応する閾値をそれぞれＢ秒、Ｄ秒及びＡ秒に設定している。また、エアコン操作部の状態がＯＮの状態及びＯＦＦの状態であるときには、第１の値に対応する閾値をそれぞれＡ秒及びＥ秒に設定している。さらに、脇見方向にある視認対象がセンターディスプレイ、計器（メータパネル）及びエアコン操作部以外（例えば、左サイドミラー、右サイドミラー及びバックミラー等のドライバの視線方向のエリア）であるときには、第１の値に対応する閾値をＦ秒に設定している。一例では、Ａ秒は２秒を示し、Ｂ秒は１秒を示しＣ秒は４秒を示し、Ｄ秒は３秒を示し、Ｅ秒は０．５秒を示し、Ｆ秒は１秒を示す。 FIG. 4 is a diagram illustrating an example of a threshold value table that represents the relationship between the visual recognition target in the driver's sideways direction and the threshold value. The example shown in FIG. 4 represents a threshold value table when the vehicle goes straight, and a threshold value corresponding to the first value is set according to the display content / state of the display device of the vehicle visually recognized by the driver. In the example shown in FIG. 4, when the center display is navigation display, traffic information display, emergency information display and display off, the threshold values corresponding to the first value are set to A second, B second, C second and A second, respectively. doing. Further, when the state of the instrument (meter panel) is the daytime display, the nighttime display, and the display OFF state, the threshold values corresponding to the first value are set to B seconds, D seconds, and A seconds, respectively. Further, when the air conditioner operation unit is in the ON state and the OFF state, the threshold values corresponding to the first value are set to A seconds and E seconds, respectively. Furthermore, when the visual target in the sideways direction is other than the center display, instrument (meter panel), and air conditioner operation unit (for example, the area in the line of sight of the driver such as the left side mirror, right side mirror, and rearview mirror), the first The threshold corresponding to the value of is set to F seconds. In one example, A seconds indicates 2 seconds, B seconds indicates 1 second, C seconds indicates 4 seconds, D seconds indicates 3 seconds, E seconds indicates 0.5 seconds, and F seconds indicates 1 second. Show.
閾値変更部１５ｇは、ドライバが視認している車両の表示器に表示されている情報の内容に応じて閾値が設定されている閾値テーブルを用いる場合、視認されている車両の表示器に表示されている情報の内容に応じて第１の値に対応する閾値を変更し、変更された閾値を脇見判定部１５ｆに供給する。脇見判定部１５ｆは、閾値変更部１５ｇから供給された閾値を用いて脇見判定を行う。 When using a threshold value table in which threshold values are set in accordance with the content of information displayed on the display device of the vehicle that the driver is viewing, the threshold value changing unit 15g is displayed on the display device of the vehicle that is being viewed. The threshold value corresponding to the first value is changed according to the content of the information being stored, and the changed threshold value is supplied to the aside determination unit 15f. The aside look determination unit 15f performs the aside look determination using the threshold supplied from the threshold change unit 15g.
脇見判定装置１は、ドライバの脇見方向にある視認対象に応じて第１の値に対応する閾値が設定されている閾値テーブルとして、ドライバが視認している車両の表示器に表示されている情報の内容に応じて閾値が設定されている閾値テーブルを用いる代わりに、ドライバが視認している車両の表示器に表示されている情報の内容又は状態に関係なく当該表示器の種類（ユーザが視認している車両の表示器）に応じて閾値が設定されている閾値テーブルを用いてもよい。この場合、閾値変更部１５ｇは、ドライバが視認している車両の表示器の種類に応じて閾値すなわち第１の値を変更する。例えば、ユーザが視認している車両の表示器がセンターディスプレイである場合には、第１の値に対応する閾値を、センターディスプレイに表示されている情報の内容に関係なくＡ秒に設定し、ユーザが視認している車両の表示器が計器（メータパネル）である場合には、第１の値に対応する閾値を、計器の表示状態に関係なくＢ秒に設定する。 The look-ahead determination device 1 is information displayed on the display of the vehicle that the driver is viewing as a threshold table in which thresholds corresponding to the first value are set according to the visual recognition target in the driver's look-ahead direction. Instead of using a threshold table in which thresholds are set according to the contents of the display, the type of the display (the user can visually check) regardless of the content or state of the information displayed on the display of the vehicle that the driver is viewing. A threshold table in which thresholds are set in accordance with the display of the vehicle being used) may be used. In this case, the threshold value changing unit 15g changes the threshold value, that is, the first value in accordance with the type of the display device of the vehicle that is visually recognized by the driver. For example, when the vehicle indicator that the user is viewing is the center display, the threshold value corresponding to the first value is set to A seconds regardless of the content of the information displayed on the center display, When the display device of the vehicle visually recognized by the user is a meter (meter panel), the threshold value corresponding to the first value is set to B seconds regardless of the display state of the meter.
また、脇見判定装置１は、ドライバの脇見方向にある視認対象に応じて第１の値に対応する閾値が設定されている閾値テーブルと共に又はその代わりに、ドライバが運転中に見るべき方向にある視認対象に応じて第２の値に対応する閾値が設定されている閾値テーブルを用いてもよい。この場合、閾値変更部１５ｇは、ドライバが運転中に見るべき方向にある視認対象に応じて第２の値に対応する閾値を変更する。さらに、閾値変更部１５ｇが走行状態に対応する複数の閾値テーブルを有する場合、閾値テーブルにおいて設定される第１の値に対応する閾値は、走行状態に応じて決定される。例えば、車両が右折又は左折のときの閾値を車両が直進のときの閾値より短くし、車両の高速走行のときの閾値を車両の低速走行の時の閾値より短くし、車両の高速道路での走行のときの閾値を車両の一般道での走行のときの閾値より短くする。これにより、直進時よりも右左折時、低速時よりも高速時、一般道よりも高速道を走行時の方が、ドライバに対する警報の報知を迅速に行うことができる。これらの設定は一例であり、より前方等への注意が必要な走行状態における閾値を、より短く設定すればよい。 Further, the side-by-side determination apparatus 1 is in the direction that the driver should see during driving together with or instead of the threshold table in which the threshold corresponding to the first value is set according to the visual recognition target in the driver's side-by-side direction. You may use the threshold value table in which the threshold value corresponding to a 2nd value was set according to the visual recognition target. In this case, the threshold value changing unit 15g changes the threshold value corresponding to the second value according to the visual recognition target in the direction that the driver should see during driving. Furthermore, when the threshold value changing unit 15g has a plurality of threshold value tables corresponding to the traveling state, the threshold value corresponding to the first value set in the threshold table is determined according to the traveling state. For example, the threshold when the vehicle turns right or left is shorter than the threshold when the vehicle goes straight, the threshold when the vehicle is traveling at high speed is shorter than the threshold when the vehicle is traveling at low speed, The threshold for traveling is set shorter than the threshold for traveling on a general road of the vehicle. Accordingly, the driver can be alerted more quickly when turning right or left than when traveling straight, when traveling faster than when traveling at low speed, and when traveling on an expressway rather than when driving on ordinary roads. These settings are merely examples, and the threshold value in a running state that requires more attention to the front or the like may be set shorter.
また、閾値変更部１５ｇは、自動運転支援に関する指示信号がナビゲーション装置１４から供給されたときに第１の値に対応する閾値を変更してもよい。例えば、自動運転支援に関する指示信号がナビゲーション装置１４から供給されたときには、図４に示す表において第１の値に対応する閾値として設定されたＡ，Ｂ，Ｃ，Ｄ及びＥをα（α＝２〜∞）倍にした表を用いる（α＝∞の場合には、事実上脇見判定信号を生成しない。）。また、自動運転支援に関する指示信号がナビゲーション装置１４から供給されたときに、図４に示す表において第１の値に対応する閾値として設定されたＡ，Ｂ，Ｃ，Ｄ，Ｅ及びＦをα倍にした表を用いてもよい。また、閾値変更部１５ｇは、自動運転支援に関する指示信号がナビゲーション装置１４から供給されたときに図４に示す表の第１の値に対応する閾値として設定されたＡ，Ｂ，Ｃ，Ｄ及びＥを個別に設定してもよい（例えば、Ａ，Ｂ，Ｃ，Ｄ及びＥをそれぞれα倍にする。）。また、閾値変更部１５ｇは、自動運転支援に関する指示信号がナビゲーション装置１４から供給されたときに図４に示す表の第１の値に対応する閾値として設定されたＡ，Ｂ，Ｃ，Ｄ，Ｅ及びＦを個別に設定してもよい。また、自動運転支援のレベルに応じてαの値を変更してもよい。この場合、例えば、車両が完全自動運転のときにはα＝∞とし、車両が追従走行のときにはα＝２とする。さらに、閾値変更部１５ｇは、自動運転支援に関する指示信号がナビゲーション装置１４から供給されたときに脇見判定部１５ｆの脇見判定を中断するように制御してもよい。 Moreover, the threshold value changing unit 15g may change the threshold value corresponding to the first value when an instruction signal related to automatic driving support is supplied from the navigation device 14. For example, when an instruction signal related to automatic driving support is supplied from the navigation device 14, A, B, C, D and E set as threshold values corresponding to the first value in the table shown in FIG. 2 to ∞) is used (if α = ∞, no side-by-side determination signal is actually generated). Further, when an instruction signal related to automatic driving support is supplied from the navigation device 14, A, B, C, D, E, and F set as threshold values corresponding to the first value in the table shown in FIG. A doubled table may be used. Further, the threshold value changing unit 15g is configured such that A, B, C, D and the threshold values corresponding to the first value in the table shown in FIG. 4 when an instruction signal related to automatic driving support is supplied from the navigation device 14. E may be set individually (for example, A, B, C, D, and E are each multiplied by α). Further, the threshold changing unit 15g sets A, B, C, D, and A set as thresholds corresponding to the first values in the table shown in FIG. 4 when an instruction signal related to automatic driving support is supplied from the navigation device 14. E and F may be set individually. Further, the value of α may be changed according to the level of automatic driving support. In this case, for example, α = ∞ when the vehicle is fully automatic driving, and α = 2 when the vehicle is following-running. Furthermore, the threshold value changing unit 15g may perform control so that the side-by-side determination by the side-by-side determination unit 15f is interrupted when an instruction signal related to automatic driving support is supplied from the navigation device 14.
本実施の形態では、制御部１４ｃ、制御部１５及び不図示の車両制御ユニットを個別の構成要素として構成しているが、制御部１４ｃ、制御部１５及び不図示の車両制御ユニットの少なくとも二つを一体にしてもよい。また、自動運転支援に関する指示信号をナビゲーション装置１４から供給するものとしたが、これに限らず、自動運転支援を行うユニットをナビゲーション装置１４と別に設けてもよい。なお、本実施の形態における自動運転支援とは、上記の完全自動運転や追従走行以外にも自動ブレーキなどを含んでもよい。 In the present embodiment, the control unit 14c, the control unit 15, and a vehicle control unit (not shown) are configured as individual components, but at least two of the control unit 14c, the control unit 15, and a vehicle control unit (not shown) are configured. May be integrated. In addition, although the instruction signal related to the automatic driving support is supplied from the navigation device 14, the present invention is not limited thereto, and a unit that performs the automatic driving support may be provided separately from the navigation device 14. Note that the automatic driving support in the present embodiment may include an automatic brake in addition to the above-described fully automatic driving and following driving.
図５は、図１に示す脇見判定装置による脇見判定手順の一例を示すフローチャートである。このフローは、予め記憶されているプログラムに基づいて、主に制御部１５により、脇見判定装置１の各要素と協働して実行される。このフローは、車両の走行中に所定時間ごと（例えば、０．１秒ごと）に実行される。このフローにおいて、ドライバの視線方向が脇見方向である継続時間Ｃ１を計測するための不図示の第１のタイマ及びドライバの視線方向が運転中に見るべき方向である継続時間Ｃ２を計測するための不図示の第２のタイマが用いられる。なお、第１のタイマ及び第２タイマは、たとえば車両が走行中は常にカウントが進んでおり、リセットによってカウント値がゼロに戻るものとする。先ず、視線方向検知部１５ｄは、ドライバの視線方向を検知し（ステップＳ１）、ドライバの視線方向が脇見方向であるか否か判断する（ステップＳ２）。 FIG. 5 is a flowchart showing an example of a side-by-side determination procedure by the side-by-side determination apparatus shown in FIG. This flow is executed mainly by the control unit 15 in cooperation with each element of the side-by-side determination device 1 based on a program stored in advance. This flow is executed every predetermined time (for example, every 0.1 second) while the vehicle is traveling. In this flow, a first timer (not shown) for measuring a duration C1 in which the driver's line-of-sight direction is a look-ahead direction and a duration C2 in which the driver's line-of-sight direction is a direction to be seen during driving are measured. A second timer (not shown) is used. Note that the counts of the first timer and the second timer are always advanced while the vehicle is running, for example, and the count value returns to zero by resetting. First, the line-of-sight direction detection unit 15d detects the line-of-sight direction of the driver (step S1), and determines whether the line-of-sight direction of the driver is a look-ahead direction (step S2).
ドライバの視線方向が脇見方向である場合、閾値変更部１５ｇは、車両の走行状態を検出する。車両の走行状態は、自動運転支援に関する指示信号の有無及び車両状態取得部１５ｅから供給された車両情報に基づいて検出される。そして、閾値変更部１５ｇは、検出した走行状態及びドライバの脇見方向にある視認対象に基づいて、第１の値に対応する閾値Ｔ１を設定する（ステップＳ３）。 When the driver's line-of-sight direction is the looking-aside direction, the threshold value changing unit 15g detects the traveling state of the vehicle. The traveling state of the vehicle is detected based on the presence / absence of an instruction signal related to automatic driving support and the vehicle information supplied from the vehicle state acquisition unit 15e. Then, the threshold value changing unit 15g sets a threshold value T1 corresponding to the first value based on the detected traveling state and the visual recognition target in the driver's sideways direction (step S3).
次に、閾値変更部１５ｇは、不図示の第２のタイマをリセットする（ステップＳ４）。次に、脇見判定部１５ｆは、継続時間Ｃ１が閾値Ｔ１より大きいか否か判断する（ステップＳ５）。 Next, the threshold value changing unit 15g resets a second timer (not shown) (step S4). Next, the look-ahead determination unit 15f determines whether or not the duration C1 is greater than the threshold T1 (step S5).
継続時間Ｃ１が閾値Ｔ１より大きい場合、脇見判定部１５ｆは、ドライバに警報の報知を行うために脇見判定信号を伝達装置に供給し（ステップＳ６）、制御部１５は処理を終了する。それに対し、継続時間Ｃ１が閾値Ｔ１以下である場合、制御部１５は処理を終了する。 When the duration C1 is larger than the threshold value T1, the aside look determination unit 15f supplies a look aside determination signal to the transmission device in order to notify the driver of an alarm (step S6), and the control unit 15 ends the process. On the other hand, when the duration C1 is equal to or less than the threshold value T1, the control unit 15 ends the process.
ステップ２においてドライバの視線方向が脇見方向でない（すなわち、ドライバの視線方向が運転中に見るべき方向である）と判断された場合、脇見判定部１５ｆは、継続時間Ｃ２が閾値Ｔ２より大きいか否か判断する（ステップＳ７）。 When it is determined in step 2 that the driver's line-of-sight direction is not the look-ahead direction (that is, the driver's line-of-sight direction is the direction to be seen during driving), the look-ahead determination unit 15f determines whether the duration C2 is greater than the threshold T2. (Step S7).
閾値Ｔ２は、第２の値に対応し、例えば、３秒である。また、閾値変更部１５ｇは、閾値Ｔ２を、車両の直進時と右左折時とで異なるように設定してもよい。例えば、右左折時の閾値Ｔ２を直進時の閾値Ｔ２よりも長くする（例えば、車両の直進時の閾値Ｔ２を３秒にするとともに車両の右左折時の閾値を５秒にする）。または車両の高速走行のときの閾値を車両の低速走行の時の閾値より長くし、車両の高速道路での走行のときの閾値を車両の一般道での走行のときの閾値より長くしてもよい。さらに自動運転支援時の閾値をそれ以外の時の閾値より短くしてもよく、自動運転支援のレベルに応じて閾値を変更してもよい（例えば完全自動運転時は短く、追従走行時は長くする）。 The threshold value T2 corresponds to the second value and is, for example, 3 seconds. Further, the threshold value changing unit 15g may set the threshold value T2 so as to differ between when the vehicle goes straight and when turning right and left. For example, the threshold value T2 for turning left and right is set to be longer than the threshold value T2 for straight traveling (for example, the threshold value T2 for straight traveling of the vehicle is set to 3 seconds and the threshold value for turning right and left of the vehicle is set to 5 seconds). Or even if the threshold value when the vehicle is traveling at a high speed is longer than the threshold value when the vehicle is traveling at a low speed, and the threshold value when the vehicle is traveling on a highway is longer than the threshold value when the vehicle is traveling on a general road Good. Furthermore, the threshold value at the time of automatic driving assistance may be shorter than the threshold value at other times, and the threshold value may be changed according to the level of automatic driving assistance (for example, it is short during fully automatic driving and long during following driving) To do).
継続時間Ｃ２が閾値Ｔ２より大きい場合、脇見判定部１５ｆは、不図示の第１のタイマをリセットし（ステップＳ８）、制御部１５は処理を終了する。それに対し、継続時間Ｃ２が閾値Ｔ２以下である場合、制御部１５は処理を終了する。継続時間Ｃ２は、ドライバの視線方向が運転中に見るべき方向である状態が連続している時間である。ドライバの視線方向が脇見方向であり、警報の報知がなされた結果、ドライバが視線を運転中に見るべき方向（例えば前方等）に向けたものの、すぐに再び脇見方向を向いてしまうような場合が考えられる。このような場合はドライバの前方等に対する注意が十分であるとは言えない。本実施の形態では継続時間Ｃ２が閾値Ｔ２以下である期間は、不図示の第１のタイマはリセットされないため、この期間にドライバが再び脇見をした場合はただちに警報の報知がなされドライバに前方等への注意を促すことができる。また、上述したように車両の走行状態等によって閾値を設定することで、走行状態等に応じた適切な強さでドライバに前方等への注意を促すことができる。なお、上述した閾値の設定は一例であり、より前方等への注意が必要な走行状態における閾値を、より長く設定すればよい。 If the duration C2 is greater than the threshold T2, the aside look determination unit 15f resets a first timer (not shown) (step S8), and the control unit 15 ends the process. On the other hand, when the duration C2 is equal to or less than the threshold value T2, the control unit 15 ends the process. The duration C2 is a time during which the state in which the driver's line-of-sight direction is the direction to be seen during driving is continued. When the driver's line-of-sight direction is a look-ahead direction, and the warning is issued, the driver turns the line-of-sight to the direction to be seen while driving (for example, forward), but immediately turns to the look-ahead direction again Can be considered. In such a case, it cannot be said that attention to the front of the driver is sufficient. In the present embodiment, the first timer (not shown) is not reset during a period in which the duration C2 is equal to or less than the threshold value T2. Therefore, if the driver looks aside again during this period, an alarm is immediately notified and the driver is forwarded. Can call attention to. Moreover, by setting the threshold value according to the traveling state of the vehicle as described above, the driver can be alerted to the front or the like with an appropriate strength according to the traveling state. Note that the above-described setting of the threshold value is an example, and the threshold value in a traveling state that requires more attention to the front or the like may be set longer.
また、図５のフローにおいて、制御部１５は、車両が自動運転であるか否かをステップＳ１の前に判断し、車両が自動運転である場合には脇見判定を行わないようにしてもよい。また、図５のフローにおいて、閾値変更部１５ｇが走行状態及びドライバの脇見方向にある視認対象に基づいて閾値Ｔ２を設定してもよい。 Further, in the flow of FIG. 5, the control unit 15 may determine whether or not the vehicle is in automatic driving before step S <b> 1, and may not perform the aside look determination when the vehicle is in automatic driving. . Further, in the flow of FIG. 5, the threshold value changing unit 15g may set the threshold value T2 based on the running state and the visual recognition target in the driver's sideways direction.
本実施形態に係る脇見判定装置は、脇見判定の閾値を車両の走行状態及びドライバの視線方向に応じて変更することによって、ドライバの脇見状態を適切に判定することができる。本実施形態に係る脇見判定装置は、脇見判定の閾値を車両の走行状態及びドライバの視線方向に応じて変更するので、ドライバが車両の速度計、燃料計等の表示器に表示された運転に必要な情報を確認したときでも脇見状態であると誤って判断するおそれが低い。なお、脇見判定の閾値を車両の走行状態及びドライバの視線方向の少なくとも一方に応じて変更した場合でも、ドライバの脇見状態を適切に判定することができ、ドライバが車両の速度計、燃料計等の表示器に表示された運転に必要な情報を確認したときでも脇見状態であると誤って判断するおそれが低くなる。 The look-ahead determination apparatus according to the present embodiment can appropriately determine the look-ahead state of the driver by changing the threshold for the look-ahead determination according to the driving state of the vehicle and the line-of-sight direction of the driver. The armpit determination device according to the present embodiment changes the threshold of the armpit determination according to the driving state of the vehicle and the driver's line-of-sight direction, so that the driver can perform driving displayed on a display device such as a speedometer or a fuel meter of the vehicle. Even when necessary information is confirmed, there is a low risk of misjudging that it is in a state of looking aside. In addition, even when the threshold value for the look-aside determination is changed according to at least one of the driving state of the vehicle and the line-of-sight direction of the driver, the driver's look-aside state can be determined appropriately, and the driver can measure the vehicle speedometer, fuel gauge, etc. Even when the information required for driving displayed on the display is confirmed, there is a low risk of erroneously determining that the person is looking aside.
さらに、本実施形態に係る脇見判定装置は、ドライバが視認している車両の表示器に表示されている情報の内容に応じて閾値を変更するので、ドライバが運転に直接必要ない情報（例えば、エンタテイメントに関する情報）を見ているときには脇見状態であると正確に判断することができる。また、ドライバが視認している車両の表示器又はドライバの視線方向のエリア（例えば、左サイドミラー、右サイドミラー、バックミラー等）に応じて閾値を変更してもよく、この場合も、ドライバが運転に直接必要ない情報を見ているときには脇見状態であると正確に判断することができる。 Furthermore, the armpit determination device according to the present embodiment changes the threshold according to the content of the information displayed on the display of the vehicle that the driver is viewing, so information that the driver does not need for driving directly (for example, It is possible to accurately determine that the person is looking aside when watching information related to entertainment. In addition, the threshold value may be changed according to the vehicle indicator or the area in the line of sight of the driver (for example, the left side mirror, the right side mirror, the rearview mirror, etc.). When looking at information that is not directly required for driving, it can be accurately determined that the person is looking aside.
また、本実施形態に係る脇見判定装置は、ドライバの視線方向が運転中に見るべき方向にある視認対象に応じて脇見判定の閾値を変更することによって、ドライバの視線方向が脇見方向となることを許可する時間及びドライバの視線方向が運転中に見るべき方向となる必要がある時間を適切に設定することができる。 In addition, the look-ahead determination device according to the present embodiment changes the threshold of the look-ahead determination according to the visual target in which the driver's line-of-sight direction should be viewed during driving, so that the driver's line-of-sight direction becomes the look-ahead direction. It is possible to appropriately set the time during which the driver is permitted and the time during which the driver's line-of-sight direction needs to be the direction to be seen during driving.
さらに、本実施形態に係る脇見判定装置は、ドライバが運転する車両が手動運転と自動運転の何れであるかに応じて脇見判定の閾値を変更することによって、自動運転中に必要以上の警告を抑制することができる。 Furthermore, the side-by-side determination device according to the present embodiment changes the threshold of side-by-side determination according to whether the vehicle driven by the driver is manual driving or automatic driving, thereby giving more warnings than necessary during automatic driving. Can be suppressed.
本発明をスマートフォン等の携帯端末等に適用し、スマートフォン等に表示されるアプリケーションの種類とユーザの状況（居場所、歩行中であるか否か等）に応じて脇見状態であるか否かを判定するための閾値を変化させてもよい。 The present invention is applied to a mobile terminal such as a smartphone, and it is determined whether or not the user is in a state of looking aside according to the type of application displayed on the smartphone or the like and the situation of the user (location, whether or not walking, etc.) You may change the threshold value for doing.
１ 脇見判定装置
１１ 光源
１２ 車内カメラ
１３ 車両状態センサ
１４ ナビゲーション装置
１４ａ ディスプレイ
１４ｂ 操作部
１４ｃ、１５ 制御部
１５ａ 照射制御部
１５ｂ 撮像制御部
１５ｃ 顔画像取得部
１５ｄ 視線方向検知部
１５ｅ 車両状態取得部
１５ｆ 脇見判定部
１５ｇ 閾値変更部
DESCRIPTION OF SYMBOLS 1 Side look determination apparatus 11 Light source 12 Vehicle camera 13 Vehicle state sensor 14 Navigation apparatus 14a Display 14b Operation part 14c, 15 Control part 15a Irradiation control part 15b Imaging control part 15c Face image acquisition part 15d Gaze direction detection part 15e Vehicle state acquisition part 15f Aside look determination part 15g Threshold change part
Claims (4)
ユーザが脇見状態であるか否かを、ユーザの視線方向が運転中に見るべき方向以外の脇見方向である時間と閾値との比較結果に基づいて判定する脇見判定部と、
車両の走行状態及びユーザの前記脇見方向における視線方向の少なくとも一方に応じて前記閾値を変更する閾値変更部と、
を有する、ことを特徴とする脇見判定装置。 A gaze direction detection unit that detects the gaze direction of the user;
An aside look determination unit that determines whether or not the user is looking aside based on a comparison result between a time when the user's line-of-sight direction is a look aside direction other than the direction to be seen during driving and a threshold value;
A threshold value changing unit that changes the threshold value in accordance with at least one of the line-of-sight direction in the running state of the vehicle and the user's look-ahead direction;
An aside look determination device characterized by comprising:
前記脇見判定装置が、ユーザが脇見状態であるか否かを、ユーザの視線方向が運転中に見るべき方向以外の脇見方向である時間と閾値との比較結果に基づいて判定し、
前記脇見判定装置が、車両の走行状態及びユーザの前記脇見方向における視線方向の少なくとも一方に応じて前記閾値を変更する、
ことを含む、ことを特徴とする脇見判定方法。 The armpit judging device detects the user's gaze direction,
The aside look determination device determines whether or not the user is looking aside based on a comparison result between the time when the user's line-of-sight direction is a look aside direction other than the direction to be seen during driving and a threshold value,
The aside look determination device changes the threshold value according to at least one of the line-of-sight direction in the running state of the vehicle and the side look direction of the user;
A method of judging a side look including the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017000109A JP2018108784A (en) | 2017-01-04 | 2017-01-04 | Inattention determination system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017000109A JP2018108784A (en) | 2017-01-04 | 2017-01-04 | Inattention determination system and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018108784A true JP2018108784A (en) | 2018-07-12 |
Family
ID=62843989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017000109A Pending JP2018108784A (en) | 2017-01-04 | 2017-01-04 | Inattention determination system and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018108784A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020170312A (en) * | 2019-04-02 | 2020-10-15 | 三菱電機株式会社 | On-vehicle device, attention information distribution server, attention information distribution system, and attention information distribution method |
| JP2022038604A (en) * | 2020-08-27 | 2022-03-10 | 株式会社Subaru | Vehicle control device for vehicle |
| US11741727B2 (en) | 2020-06-16 | 2023-08-29 | Toyota Jidosha Kabushiki Kaisha | Driver monitoring system for judging distracted driving |
| WO2024071298A1 (en) | 2022-09-28 | 2024-04-04 | トヨタ自動車株式会社 | Driving assistance device |
| JPWO2024261839A1 (en) * | 2023-06-20 | 2024-12-26 | ||
| US12223746B2 (en) | 2021-03-31 | 2025-02-11 | Subaru Corporation | Distracted-driving monitoring apparatus for vehicle |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008174092A (en) * | 2007-01-18 | 2008-07-31 | Aisin Seiki Co Ltd | Speed control device |
| JP2014016702A (en) * | 2012-07-06 | 2014-01-30 | Yazaki Corp | Driver state detection device and driver state notification device |
| JP2014089579A (en) * | 2012-10-30 | 2014-05-15 | Mitsubishi Motors Corp | Inattentive driving warning apparatus for vehicle |
| JP2018013811A (en) * | 2016-07-18 | 2018-01-25 | 株式会社デンソー | Driver state determination device and driver state determination program |
-
2017
- 2017-01-04 JP JP2017000109A patent/JP2018108784A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008174092A (en) * | 2007-01-18 | 2008-07-31 | Aisin Seiki Co Ltd | Speed control device |
| JP2014016702A (en) * | 2012-07-06 | 2014-01-30 | Yazaki Corp | Driver state detection device and driver state notification device |
| JP2014089579A (en) * | 2012-10-30 | 2014-05-15 | Mitsubishi Motors Corp | Inattentive driving warning apparatus for vehicle |
| JP2018013811A (en) * | 2016-07-18 | 2018-01-25 | 株式会社デンソー | Driver state determination device and driver state determination program |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020170312A (en) * | 2019-04-02 | 2020-10-15 | 三菱電機株式会社 | On-vehicle device, attention information distribution server, attention information distribution system, and attention information distribution method |
| JP7273594B2 (en) | 2019-04-02 | 2023-05-15 | 三菱電機株式会社 | In-vehicle device, caution information distribution server, caution information distribution system, and caution information distribution method |
| US11741727B2 (en) | 2020-06-16 | 2023-08-29 | Toyota Jidosha Kabushiki Kaisha | Driver monitoring system for judging distracted driving |
| JP2022038604A (en) * | 2020-08-27 | 2022-03-10 | 株式会社Subaru | Vehicle control device for vehicle |
| US12223746B2 (en) | 2021-03-31 | 2025-02-11 | Subaru Corporation | Distracted-driving monitoring apparatus for vehicle |
| WO2024071298A1 (en) | 2022-09-28 | 2024-04-04 | トヨタ自動車株式会社 | Driving assistance device |
| JPWO2024261839A1 (en) * | 2023-06-20 | 2024-12-26 | ||
| WO2024261839A1 (en) * | 2023-06-20 | 2024-12-26 | 三菱電機モビリティ株式会社 | Inattention detection device, occupant monitoring device, server device, and inattention detection method |
| JP7781346B2 (en) | 2023-06-20 | 2025-12-05 | 三菱電機モビリティ株式会社 | Inattentive driving detection device, occupant monitoring device, server device, and inattentive driving detection method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3330148B1 (en) | Automatic driving system for vehicles | |
| JP2018108784A (en) | Inattention determination system and method | |
| US10040350B2 (en) | Control apparatus and related method | |
| JP6705437B2 (en) | Inattentive judgment device, inattentive judgment method, and program for inattentive judgment | |
| JP5278461B2 (en) | Gaze detection device and gaze detection method | |
| US10800328B2 (en) | Head-up display and program | |
| CN113631411B (en) | Display control device, display control method, and recording medium | |
| JP5855206B1 (en) | Transmission display device for vehicle | |
| JP2013196359A (en) | Driving assistance device | |
| JP6693427B2 (en) | Driver status detector | |
| JP2014181020A (en) | Travel control device | |
| JP2018156172A (en) | Vehicle display system and method for controlling vehicle display system | |
| JP2015232859A (en) | Safety confirmation support system and safety confirmation support method | |
| JP2016055801A (en) | On-vehicle display device | |
| EP3875299A1 (en) | Attention-based notifications | |
| JP2009244959A (en) | Driving support device and driving support method | |
| WO2008041497A1 (en) | Alarm device for vehicle and alarm method for vehicle | |
| CN105711511A (en) | Method for operating a head-up display, presentation apparatus, vehicle | |
| CN107850989A (en) | For the methods, devices and systems of information to be presented in vehicle | |
| CN113168525A (en) | Device and method for detecting distraction of driver of vehicle | |
| JP7327199B2 (en) | warning controller | |
| JP2017126151A (en) | Sight line detection device and sight line detection method | |
| US11643012B2 (en) | Driving assistance device, driving situation information acquisition system, driving assistance method, and program | |
| JP6098476B2 (en) | Driving assistance device | |
| US20240336192A1 (en) | Monitoring device, storage medium storing computer program for monitoring, and monitoring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190930 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210601 |