JP2008305190A - Drowsiness warning device and automobile - Google Patents
Drowsiness warning device and automobile Download PDFInfo
- Publication number
- JP2008305190A JP2008305190A JP2007151959A JP2007151959A JP2008305190A JP 2008305190 A JP2008305190 A JP 2008305190A JP 2007151959 A JP2007151959 A JP 2007151959A JP 2007151959 A JP2007151959 A JP 2007151959A JP 2008305190 A JP2008305190 A JP 2008305190A
- Authority
- JP
- Japan
- Prior art keywords
- warning
- change mode
- driver
- mode data
- dozing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010041349 Somnolence Diseases 0.000 title claims abstract description 12
- 230000008859 change Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 46
- 238000010586 diagram Methods 0.000 description 33
- 210000003128 head Anatomy 0.000 description 16
- 210000005252 bulbus oculi Anatomy 0.000 description 15
- 230000004424 eye movement Effects 0.000 description 14
- 230000004886 head movement Effects 0.000 description 14
- 238000012790 confirmation Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000004397 blinking Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 208000032140 Sleepiness Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000037321 sleepiness Effects 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000881 depressing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【課題】居眠りを確実に検出し、運転者に警告することが可能な居眠り警告装置を提供すること。
【解決手段】運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、変化態様データ取得手段により取得された変化態様データと記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、判断手段により所定の条件か満たされていると判断されたとき、運転者に警告をするための処理を行う警告手段とを備えたことを特徴とする居眠り警告装置。
【選択図】図1To provide a dozing alarm device capable of reliably detecting dozing and alerting a driver.
An image capturing means for continuously capturing at least a head including a driver's face and image data obtained by image capturing by the image capturing means are acquired. Storage means for storing operation pattern data to be compared with change mode data acquisition means, change mode data acquired by change mode data acquisition means, change mode data acquired by change mode data acquisition means, and storage means On the basis of the operation pattern data stored in the operation means, and determining means for determining whether or not the change mode data satisfies a predetermined condition, and driving when the determination means determines that the predetermined condition is satisfied A drowsiness warning device, comprising: warning means for performing processing for warning a person.
[Selection] Figure 1
Description
本発明は、居眠り警告装置及び自動車に関する。 The present invention relates to a drowsiness warning device and an automobile.
従来から、居眠り運転を防止するために、運転前に疲労を回復しておく等の事前の取り組みを運転者が各自で行うことが必要とされている。このような取り組みは、実際に眠気が発生する前段階に行うものであり、運転者に依存するものである。また、事前に取り組みを行っていても、眠気が発生する場合もある。 Conventionally, in order to prevent a drowsy driving, it is necessary for each driver to take a prior approach such as recovering fatigue before driving. Such an approach is carried out before the actual occurrence of sleepiness and depends on the driver. In addition, even if efforts are made in advance, sleepiness may occur.
実際に眠気が発生した場合に、居眠り運転を防止するために、従来、まばたきや眼球の動作に基づいて居眠り運転であるか否かを判定し、運転者に対して警告を行う装置が存在する(例えば、特許文献1〜4参照)。 In order to prevent drowsy driving when sleepiness actually occurs, conventionally, there is a device that determines whether or not it is drowsy driving based on blinking or eyeball movement and warns the driver. (For example, see Patent Documents 1 to 4).
しかしながら、まばたきや眼球の動作は、移動量が比較的少ないため、特許文献1〜4の装置では、その移動量を検出することができない場合があるといった問題があった。また、運転者が、眼鏡をかけている場合には、外部からの光の反射により、誤検出が多発するおそれがあった。また、車内が暗い場合には、眼の位置自体を検出できないといった問題があった。そのため、居眠り運転を確実に認識し、運転者に警告することができないといった問題があった。 However, since the amount of movement of blinking and eyeball movement is relatively small, the devices of Patent Documents 1 to 4 have a problem that the amount of movement may not be detected. Further, when the driver is wearing glasses, erroneous detection may occur frequently due to reflection of light from the outside. In addition, when the interior of the vehicle is dark, there is a problem that the position of the eye itself cannot be detected. For this reason, there is a problem that it is impossible to reliably recognize the drowsy driving and warn the driver.
本発明は、上述した課題に鑑みてなされたものであり、その目的は、居眠りを確実に検出し、運転者に警告することが可能な居眠り警告装置及び自動車を提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a drowsiness warning device and an automobile capable of reliably detecting a drowsiness and warning a driver.
上述した課題を解決するために、本発明は、以下のようなものを提供する。
(1) 運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、
上記撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、
上記変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、
上記変化態様データ取得手段により取得された変化態様データと上記記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、
上記判断手段により所定の条件か満たされていると判断されたとき、運転者に警告をするための処理を行う警告手段と
を備えたことを特徴とする居眠り警告装置。
In order to solve the above-described problems, the present invention provides the following.
(1) imaging means for continuously imaging at least the head including the driver's face;
Change mode data acquisition means for acquiring change mode data indicating a video change mode from video data obtained by imaging by the imaging unit;
Storage means for storing operation pattern data to be compared with change aspect data acquired by the change aspect data acquisition means;
A determination unit that determines whether or not the change mode data satisfies a predetermined condition based on the change mode data acquired by the change mode data acquisition unit and the operation pattern data stored in the storage unit;
A drowsiness warning device comprising: warning means for performing processing for giving a warning to a driver when the determination means determines that a predetermined condition is satisfied.
(1)の発明によれば、撮像手段(例えば、モニターカメラ)により運転者の顔面を含む少なくとも頭部を撮影して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データする。そして、この変化態様データと、予め記憶されている、変化態様データとの比較対象となる動作パターンデータ(例えば、まばたき、眼球の動作、頭部の上下動を含む動作パターンを示すデータ)とに基づいて、変化態様データが所定の条件を満たすか否かを判断し、所定の条件を満たすと判断されたとき、運転者に警告をするための処理が行われる。まばたきや眼球の動作だけではなく、これらを含む少なくとも頭部の動作にも基づいて運転者に警告を行うため、例えば、眼にゴミが入った場合のように、居眠りをしていない場合であるにも関わらず警告されるといったことを少なくすることができ、運転者が居眠りをしている場合にだけ的確に警告を行うとことができる。
また、まばたきや眼球の動作が検出できないとき(例えば、運転者が眼鏡をかけているときや車内が著しく暗いとき)には、例えば、まばたきや眼球の動作を用いずに頭部の上下動等を検出することにより、居眠りをしているか否かを判定することができる。従って、運転者や外部の状況による影響によって警告ができなくなる可能性を低減することができる。
According to the invention of (1), the change mode data indicating the change mode of the video is acquired from the video data obtained by photographing at least the head including the driver's face by the imaging means (for example, monitor camera). Change mode data. Then, this change mode data and pre-stored motion pattern data to be compared with the change mode data (for example, data indicating a motion pattern including blinking, eye movement, and head vertical movement). Based on this, it is determined whether or not the change mode data satisfies a predetermined condition. When it is determined that the predetermined condition is satisfied, a process for warning the driver is performed. In order to warn the driver not only based on blinking and eye movement but also based on at least the movement of the head including these, for example, when the eyes do not fall asleep like garbage However, it is possible to reduce warnings despite the fact that the warning can be performed accurately only when the driver is asleep.
In addition, when blinking or eye movement cannot be detected (for example, when the driver is wearing glasses or the inside of the vehicle is extremely dark), for example, the head is moved up and down without using blinking or eye movement. By detecting this, it can be determined whether or not the patient is dozing. Therefore, it is possible to reduce the possibility that the warning cannot be performed due to the influence of the driver or the external situation.
さらに、本発明は、以下のようなものを提供する。
(2) 上記(1)の居眠り警告装置であって、
警告の解除を入力することが可能な解除入力手段と、
上記解除入力手段から警告の解除入力があった場合に、警告を中止する警告中止手段と
を備えたことを特徴とする。
Furthermore, the present invention provides the following.
(2) The dozing alarm device according to (1) above,
A release input means for inputting a warning release;
And a warning canceling means for canceling the warning when there is a warning canceling input from the canceling input means.
(2)の発明によれば、警告の解除入力があった場合に、警告を中止するため、運転者は、解除入力の操作により自らが居眠り状態にあったことを強く認識することができる。また、警告の解除入力があった場合に、警告を中止するため、必要以上の警告が行われることにより、却って運転の妨げとなることを防止することができる。 According to the invention of (2), since the warning is canceled when the warning cancellation input is received, the driver can strongly recognize that he / she was in a dozing state by the operation of the cancellation input. In addition, when a warning canceling input is received, the warning is stopped, so that it is possible to prevent the operation from being hindered by giving more warnings than necessary.
さらに、本発明は、以下のようなものを提供する。
(3) 制動手段を備えた乗り物に設けられた上記(1)又は(2)の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、上記乗り物を減速又は停止させる信号を前記制動手段に出力する制動信号出力手段
を備えたことを特徴とする。
Furthermore, the present invention provides the following.
(3) The dozing warning device according to the above (1) or (2) provided on a vehicle provided with braking means,
And a brake signal output means for outputting a signal for decelerating or stopping the vehicle to the braking means when no warning cancellation input is received from the release input means within a predetermined period after the start of warning. To do.
(3)の発明によれば、警告の開始後、所定期間内に警告の解除入力がなかった場合に、乗り物を減速又は停止させる信号を出力するため、警告しても眠りから覚めない場合に事故が発生する確率を低減することができる。 According to the invention of (3), when the warning is not input within a predetermined period after the warning is started, a signal for decelerating or stopping the vehicle is output. The probability that an accident will occur can be reduced.
さらに、本発明は、以下のようなものを提供する。
(4) 上記(3)の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、該乗り物が減速又は停止することを外部に報知する処理を行う報知手段
を備えたことを特徴とする。
Furthermore, the present invention provides the following.
(4) The dozing alarm device of (3) above,
And a notification means for performing processing for notifying the vehicle that the vehicle decelerates or stops when there is no warning cancellation input from the cancellation input means within a predetermined period after the start of the warning. .
(4)の発明によれば、警告の開始後、所定期間内に警告の解除入力がなかった場合に、該乗り物が減速又は停止することを外部に報知する処理を行う(例えば、自動車のハザードランプを点滅させる処理を行う)ため、外部の者(例えば、後続車の運転者)は、該乗り物の動きに注意を払うことができ、追突してしまう等の二次災害を防止することか可能になる。 According to the invention of (4), when there is no warning cancellation input within a predetermined period after the start of the warning, a process of notifying the vehicle that the vehicle is decelerating or stopping is performed (for example, an automobile hazard) To prevent secondary accidents such as rear-end collisions, so that outsiders (for example, the driver of the following vehicle) can pay attention to the movement of the vehicle. It becomes possible.
さらに、本発明は、以下のようなものを提供する。
(5) 上記(1)〜(4)のいずれか1の居眠り警告装置であって、
前記警告手段は、居眠りの期間に応じた警告をするための処理を行うことを特徴とする。
Furthermore, the present invention provides the following.
(5) The dozing alarm device according to any one of (1) to (4) above,
The warning means performs a process for giving a warning according to a dozing period.
(5)の発明によれば、居眠りの期間に応じた警告をする(例えば、10秒居眠りした場合に、5秒居眠りした場合よりも大きな警告音を発する)ための処理を行う。一般的に、居眠りの期間が長いほど、意識の低下のレベルが高い。従って、居眠りの期間に応じた警告をするための処理を行うことにより、意識の低下のレベルに応じて、より確実に運転者に警告することが可能になる。 According to the invention of (5), a process for giving a warning according to the period of dozing (for example, when a 10-second doze is made, a larger warning sound than when a doze is taken for 5 seconds) is performed. In general, the longer the dozing period, the higher the level of consciousness loss. Therefore, by performing the process for giving a warning according to the period of dozing, it is possible to warn the driver more reliably according to the level of consciousness reduction.
さらに、本発明は、以下のようなものを提供する。
(6) 上記(1)〜(5)のいずれか1の居眠り警告装置を備えたことを特徴とする自動車。
Furthermore, the present invention provides the following.
(6) An automobile comprising the drowsiness warning device according to any one of (1) to (5) above.
(6)の発明によれば、自動車を運転する運転者に居眠りを警告することができる。 According to the invention of (6), it is possible to warn the driver who drives the car that he is dozing.
本発明によれば、居眠りを確実に検出し、運転者に警告することが可能になる。 According to the present invention, it is possible to reliably detect dozing and warn the driver.
本発明の実施形態について図面に基づいて説明する。
図1は、本発明の一実施形態に係る自動車を模式的に示す側面図である。
図2は、図1に示した自動車の上面図である。なお、図2では、車内の様子を把握できるように屋根を省略して記載している。
自動車50には、居眠り警告装置10が備えられている。居眠り警告装置10は、制御部12と、モニタカメラ22と、確認ボタン24とを備えている。図2に示すように、モニタカメラ22は、ダッシュボード56の手前に設けられたステアリングホイール52の上部に設けられており、運転者の顔面を含む頭部を撮像する。モニタカメラ22により撮像して得られた映像データは、制御部12に送信される。そして、この映像データは、オプティカルフローデータに変換され、このオプティカルフローデータが解析されることにより、運転者が居眠りしているか否かが判断される。具体的には、映像データから変換されたオプティカルフローデータが後述する居眠り判定用動作パターンデータ(図4参照)と一致するか否かを判断することにより、運転者が居眠りしているか否かが判断される。なお、オプティカルフローについては後に詳述する。運転者が居眠りをしていると判断されると、スピーカ(図3参照)から警告音が出力される。確認ボタン24は、ステアリングホイール52の下部に設けられており、運転者がこの確認ボタン24を操作することにより警告音の出力が中止される。確認ボタン24は、本発明の解除入力手段に相当するものである。
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a side view schematically showing an automobile according to an embodiment of the present invention.
FIG. 2 is a top view of the automobile shown in FIG. In FIG. 2, the roof is omitted so that the inside of the vehicle can be grasped.
The
図3は、図1に示した居眠り警告装置の内部構成を模式的に示すブロック図である。
居眠り警告装置10は、CPU14とROM16とRAM18とを備えている。
ROM16は、不揮発性メモリであり、CPU14によって実行されるプログラムや、CPU14が処理を行う際に用いられるデータ等を記憶している。また、ROM16は、居眠り判定用動作パターンデータ(図4参照)を記憶している。ROM16は、本発明の記憶手段に相当する。RAM18は、揮発性メモリであり、CPU14の処理結果等に応じたデータを一時的に記憶する。
FIG. 3 is a block diagram schematically showing the internal configuration of the dozing alarm device shown in FIG.
The dozing
The
CPU14には、スピーカ20とモニタカメラ22と確認ボタン24とが接続されている。
モニタカメラ22は、運転者を撮像し、撮像して得られた映像データをCPU14に送信する。モニタカメラ22は、撮像手段として機能するものである。CPU14は、モニタカメラ22から受信した映像データに基づいて後述するオプティカルフローを算出し、オプティカルフローデータを取得する。オプティカルフローデータは、本発明における変化態様データに相当する。
A
The
スピーカ20は、警告音や警告メッセージを出力するためのものである。CPU14は、オプティカルフローデータに基づいて、運転者が居眠りしているか否かを判断し、居眠りしていると判断した場合には、警告音や警告メッセージをスピーカ20に出力させる。このとき、5秒間以上、運転者が居眠りをしていると判断した場合には、レベル1の警告を行い、さらにその後5秒間以上、運転者が居眠りしていると判断した場合には、レベル2の警告を行う。そして、さらにその後5秒間以上、運転者が居眠りしていると判断した場合には、レベル3の警告を行う。なお、本実施形態では、レベル1の警告は、所定の音量の警告音(例えば、「ピ、ピ、ピ、ピ・・・」)をスピーカ20から出力することであり、レベル2の警告は、レベル1の警告時よりも大きな音量の警告音をスピーカ20から出力することであり、レベル3の警告は、レベル2の警告時よりも大きな音量の警告音とともに、警告メッセージ(例えば、「危険です」)をスピーカから出力することである。なお、本発明において、警告は、居眠りと判断される期間に応じた警告を行うのであれば、この例に限定されず、シートやステアリングホイールに微弱な電流を流すこととしてもよく、自動車が備えるエアーコンディショナーから風(例えば、冷風)を送出することとしてもよい。
The
確認ボタン24は、運転者により操作されることにより警告中止要求信号を出力する。CPU14は、この警告中止要求信号を受信すると、スピーカ20からの警告音、警告メッセージの出力を中止する。
The
CPU14には、通信用インターフェイス26を介してブレーキ装置70とランプ点灯制御装置80とが接続されている。CPU14は、15秒以上運転者が居眠りをしていると判断した場合に、ブレーキ装置70に対して自動車50を停止させるための停止信号を送信する。また、CPU14は、15秒以上運転者が居眠りをしていると判断した場合に、ランプ点灯制御装置80に対してハザードランプを点灯させるためのハザードランプ点灯指示信号を送信する。
A
図4は、居眠り判定用動作パターンデータの一例を示す図である。
居眠り判定用動作パターンデータは、運転者が居眠り運転をしていると判断するための動作パターンを示すデータであり、図4に示すように、眼球動作パターンデータと頭部動作パターンデータとが含まれる。眼球動作パターンデータは、運転者の眼球の左右動作を示すデータであり、運転者が左右確認を行った際の眼球の動きをオプティカルフローデータとしたものである。頭部動作パターンデータは、運転者の頭部の上下動作を示すデータであり、運転者が居眠りした際に起こり得る頭部のゆれをオプティカルフローデータとしたものである。眼球動作パターンデータ及び頭部動作パターンデータは、本発明における、オプティカルフローデータとの比較対象となる動作パターンデータである。
以下では、図5を用いて、眼球動作パターンデータAに係るオプティカルフローについて説明し、図6を用いて、頭部動作パターンデータAに係るオプティカルフローについて説明する。
FIG. 4 is a diagram illustrating an example of operation pattern data for dozing determination.
The doze determination operation pattern data is data indicating an operation pattern for determining that the driver is dozing, and includes eye movement pattern data and head movement pattern data as shown in FIG. It is. The eye movement pattern data is data indicating the left and right movements of the driver's eyeball, and the movement of the eyeball when the driver checks the left and right is optical flow data. The head movement pattern data is data indicating the vertical movement of the driver's head, and is an optical flow data that is a head shake that may occur when the driver falls asleep. The eye movement pattern data and the head movement pattern data are movement pattern data to be compared with the optical flow data in the present invention.
Hereinafter, the optical flow related to the eye movement pattern data A will be described with reference to FIG. 5, and the optical flow related to the head movement pattern data A will be described using FIG.
図5は、眼球動作に係るオプティカルフローを説明するための図である。
オプティカルフローとは、画像中の各画素間の速度ベクトルである。オプティカルフローを算出する方法としては、まず、第一の画像内において、複数の画素から構成される画素ブロックを事前に設定する。次に、第一の画像に続く第二の画像内において、この画素ブロックを検出する。そして、この二つの画像内の各画素ブロックの移動を検出する。これにより、モニタカメラ22の撮像領域内における物体のオプティカルフローを算出することができる。
FIG. 5 is a diagram for explaining an optical flow related to eye movement.
An optical flow is a velocity vector between pixels in an image. As a method of calculating the optical flow, first, a pixel block composed of a plurality of pixels is set in advance in the first image. Next, this pixel block is detected in the second image following the first image. Then, the movement of each pixel block in the two images is detected. Thereby, the optical flow of the object in the imaging region of the
図5(a)の左側の図は、モニタカメラ22により撮像された運転者の様子を示す図である。
図5(a)の左側の図に示すように、モニタカメラ22により得られる画像には、運転者60の頭部を正面から撮像した様子が映し出されている。
図5(a)の右側の図は、図5(a)の左側の図の状態であるときのオプティカルフローを示す図である。
モニタカメラ22は、0.2秒ごとに映像データを処理端末10に送信する。そして、処理端末10は、送信されてくる各映像データから、0.2秒ごとにオプティカルフローを算出する。図5(a)の右側の図では、オプティカルフローが得られていない。これは、0.2秒前から現在まで、画像に変化がなかったことを示している。
The diagram on the left side of FIG. 5A is a diagram showing the state of the driver imaged by the
As shown in the diagram on the left side of FIG. 5A, the image obtained by the
The diagram on the right side of FIG. 5A is a diagram showing the optical flow in the state of the diagram on the left side of FIG.
The
図5(b)の左側の図は、図5(a)の右側の図の状態から0.2秒後の様子を示す図であり、図5(a)の右側の図は、図5(b)の左側の図の状態であるときのオプティカルフローを示す図である。
図5(b)の左側の図では、図5(a)の左側の図の状態から人物60の眼球が右側に移動している以外は、図5(a)の左側の図と同じである。
図5(b)の右側の図では、人物60の眼球部分の各画素ブロックP(P1、P2)が右側に移動したことを示すオプティカルフローが得られている。これは、0.2秒前(図5(a)の左側の図の状態)から現在(図5(b)の左側の図の状態)までの間に、各画素ブロックPが右側に移動したことを示している。このオプティカルフローを示すデータは、眼球動作パターンデータAに相当する。
The diagram on the left side of FIG. 5 (b) is a diagram showing a state 0.2 seconds after the state of the diagram on the right side of FIG. 5 (a), and the diagram on the right side of FIG. It is a figure which shows an optical flow in the state of the figure on the left side of b).
The left diagram in FIG. 5B is the same as the left diagram in FIG. 5A except that the eyeball of the
In the diagram on the right side of FIG. 5B, an optical flow indicating that each pixel block P (P1, P2) of the eyeball portion of the
図6は、頭部動作に係るオプティカルフローを説明するための図である。
図6(a)の左側の図は、モニタカメラ22により撮像された運転者の様子を示す図であり、図6(a)の右側の図は、図6(a)の左側の図の状態であるときのオプティカルフローを示す図である。
図6(a)の左側の図に示すように、モニタカメラ22により得られる画像には、運転者60の頭部を正面から撮像した様子が映し出されている。また、図6(a)の右側の図では、オプティカルフローが得られていない。これは、0.2秒前から現在まで、画像に変化がなかったことを示している。
FIG. 6 is a diagram for explaining an optical flow related to head movement.
6A is a diagram showing the state of the driver imaged by the
As shown in the diagram on the left side of FIG. 6A, the image obtained by the
図6(b)の左側の図は、図6(a)の右側の図の状態から0.2秒後の様子を示す図であり、図6(a)の右側の図は、図6(b)の左側の図の状態であるときのオプティカルフローを示す図である。
図6(b)の左側の図では、図6(a)の左側の図の状態から人物60の頭部が手前下側側に移動している以外は、図6(a)の左側の図と同じである。
図6(b)の右側の図では、人物の頭頂部付近の各画素ブロックP(P10〜P14)が下側且つ外側に広がるベクトルが示されている。このオプティカルフローを示すデータは、頭部動作パターンデータAに相当する。
The diagram on the left side of FIG. 6B is a diagram showing a state 0.2 seconds after the state of the diagram on the right side of FIG. 6A, and the diagram on the right side of FIG. It is a figure which shows an optical flow in the state of the figure on the left side of b).
6B, the left side view of FIG. 6A, except that the head of the
The right side of FIG. 6B shows a vector in which each pixel block P (P10 to P14) near the top of the person spreads downward and outward. Data indicating this optical flow corresponds to head movement pattern data A.
図7は、図1に示した自動車が備えるブレーキ装置の内部構成を模式的に示すブロック図である。
ブレーキ装置70では、ブレーキペダル72がホイルシリンダ73に接続され、ホイルシリンダ73にはブレーキ75が接続されている。ホイルシリンダ73では、運転者60のブレーキペダル72の踏み込み操作に応じてブレーキ液圧が発生する。ブレーキ75は、ブレーキ液圧に応じた制動力を発生させる。
FIG. 7 is a block diagram schematically showing the internal configuration of the brake device provided in the automobile shown in FIG.
In the
ブレーキ装置70は、ブレーキ制御装置74とブレーキ制御装置74に接続されたブレーキアクチュエータ78とを備えており、ブレーキアクチュエータ78は、ホイルシリンダ73に接続されている。ブレーキ制御装置74は、通信用インターフェイス76を介して居眠り警告装置10に接続されていて、居眠り警告装置10から停止信号を受信すると、ブレーキアクチュエータ78を動作させてホイルシリンダ73にブレーキ液圧を発生させる。ブレーキ装置70は、本発明における制動手段に相当する。
The
図8は、居眠り警告装置において実行される居眠り判定処理のサブルーチンを示すフローチャートである。
まず、CPU14は、エンジンが始動すると、モーションキャプチャを開始する(ステップS10)。この処理において、CPU14は、モニタカメラ22による撮像を開始し、得られる映像データからオプティカルフローデータを取得する。なお、モーションキャプチャは、エンジンが停止するまで、繰り返し実行される。CPU14は、モニタカメラ22により撮像して得られた映像データから、オプティカルフローデータを取得する変化態様データ取得手段として機能する。
FIG. 8 is a flowchart showing a subroutine of dozing determination processing executed in the dozing warning device.
First, the
次に、ステップS12において、CPU14は、経過時間t=0をセットし、経過時間tの計時を開始する。ステップS12の処理を実行するとき、CPU14は、計測手段として機能する。
次に、ステップS14において、CPU14は、後述する警告処理を実行し、本サブルーチンを終了する。
Next, in step S12, the
Next, in step S14, the
図9は、居眠り警告装置において実行される警告処理のサブルーチンを示すフローチャートである。
まず、CPU14は、取得したオプティカルフローデータ(ステップS10参照)がROM16に記憶されている眼球動作パターンデータ(図4参照)のいずれかと一致するか否かを判断する(ステップS20)。オプティカルフローデータが眼球動作パターンデータのいずれにも一致しないと判断された場合、CPU14は、経過時間tが5秒以上であるか否かを判断する(ステップS22)。経過時間tが5秒以上であると判断した場合、CPU14は、取得したオプティカルフローデータが、ROM16に記憶されている頭部動作パターンデータ(図4参照)のいずれかと一致するか否かを判断する(ステップS24)。なお、本明細書中、オプティカルフローデータと動作パターンデータ(眼球動作パターンデータ、頭部動作パターンデータ)とが一致するとは、所定の処理により数値化したオプティカルフローデータと動作パターンデータとの値が所定の範囲内にある(類似度が高い)場合を含む。ステップS20及びステップS24の処理を実行するとき、CPU14は、判断手段として機能する。
FIG. 9 is a flowchart showing a subroutine of warning processing executed in the dozing alarm device.
First, the
ステップS24において取得したオプティカルフローデータが頭部動作パターンデータのいずれかと一致すると判断した場合、CPU14は、経過時間tが10秒以上であるか否かを判断する(ステップS26)。経過時間tが10秒以上ではないと判断した場合、CPU14は、レベル1の警告(スピーカ20からの警告音の出力)を行う(ステップS30)。一方、経過時間tが10秒以上であると判断した場合、CPU14は、経過時間tが15秒以上であるか否かを判断する(ステップS28)。経過時間tが15秒以上ではないと判断した場合、CPU14は、レベル2の警告(レベル1よりも大きな音量でのスピーカ20からの警告音の出力)を行う(ステップS32)。経過時間tが15秒以上であると判断した場合、CPU14は、レベル3の警告(レベル2よりも大きな音量の警告音と所定の警告メッセージとのスピーカ20からの出力)を行う(ステップS34)。ステップS30、ステップS32又はステップS34の処理を実行するとき、CPU14は、警告手段として機能する。
If it is determined that the optical flow data acquired in step S24 matches any of the head movement pattern data, the
ステップS30、ステップS32又はステップS34の処理の後、CPU14は、確認入力があったか否かを判断する。この処理において、CPU14は、確認ボタン24が操作されることにより出力される警告中止要求信号を受信したか否かを判断する。確認入力があったと判断した場合、CPU14は、スピーカ20からの警告音(及び警告メッセージ)の出力を中止し(ステップS46)、処理をステップS48に移す。ステップS46の処理を実行するとき、CPU14は、警告中止手段として機能する。
After the process of step S30, step S32, or step S34, the
ステップS20においてオプティカルフローデータが眼球動作パターンデータのいずれかに一致すると判断した場合、ステップS24においてオプティカルフローデータが頭部動作パターンデータのいずれにも一致しないと判断した場合、又は、ステップS46の処理の後、CPU14は、経過時間tをt=0にし(ステップS48)、本サブルーチンを終了する。
If it is determined in step S20 that the optical flow data matches any of the eye movement pattern data, if it is determined in step S24 that the optical flow data does not match any of the head movement pattern data, or the process of step S46 After that, the
ステップS36において確認入力がなかったと判断した場合、CPU14は、レベル3の警告中であるか否かを判断する(ステップS38)。レベル3の警告中ではない場合、本サブルーチンを終了する。一方、レベル3の警告中であると判断した場合、CPU14は、ブレーキ装置70に自動車50を停止させるための停止信号を送信する(ステップS40)。ステップS40の処理を実行するとき、CPU14は、制動信号出力手段として機能する。停止信号を受信したブレーキ装置70では、ブレーキアクチュエータ78を動作させてホイルシリンダ73にブレーキ液圧を発生させ、制動力を発生させる。これにより、自動車50は減速を開始し、最終的に停止することとなる。従って、警告しても眠りから覚めない場合に事故が発生する確率を低減することができる。
If it is determined in step S36 that there is no confirmation input, the
次に、ステップS42において、CPU14は、ランプ点灯制御装置80にハザードランプを点灯させるためのハザードランプ点灯指示信号を送信する。ステップS42の処理を実行するとき、CPU14は、自動車50が減速又は停止することを外部に報知する処理を行う報知手段として機能する。ハザードランプ点灯指示信号を受信したランプ点灯制御装置80では、ハザードランプが点灯される。従って、後続車の運転者は、この自動車50の動きに注意を払うことができ、追突してしまう等の二次災害を防止することが可能になる。
Next, in step S42, the
次に、ステップS44において、CPU14は、緊急停止後処理を行う。この処理において、CPU12は、緊急停止をしたことを報知するメッセージをスピーカ20から出力する。そして、確認ボタン24からの入力信号があるまで待機し、入力信号があったことを条件として、ブレーキ装置70に対してブレーキを解除するための信号を送信するとともに、ランプ点灯制御装置80にハザードランプ点灯を中止するための信号を送信する。ステップS44の処理の後、本サブルーチンを終了する。
Next, in step S44, the
以上、居眠り警告装置10及び自動車50によれば、モニタカメラ22により運転者の顔面を含む少なくとも頭部を撮影して得られた映像データから、オプティカルフローデータを取得する。そして、このオプティカルフローデータと、予め記憶されている動作パターンデータ(眼球動作パターンデータ、頭部動作パターンデータ)とに基づいて、オプティカルフローデータが動作パターンデータのいずれかと一致するか否かにより、運転者が居眠りをしているか否かを判断し、運転者が居眠りをしていると判断したとき、運転者に警告をするための処理(警告音等の出力)が行われる。眼球の動作だけでなく、眼球の動作と頭部の動作とに基づいて運転者に警告を行うため、例えば、眼にゴミが入った場合のように、居眠りをしていない場合であるにも関わらず警告されるといったことを少なくすることができ、運転者が居眠りをしている場合にだけ的確に警告を行うとことができる。
また、眼球の動作が検出できないとき(例えば、運転者が眼鏡をかけているときや車内が著しく暗いとき)には、例えば、眼球の動作を用いずに頭部の上下動等を検出することにより、居眠りをしているか否かを判定することができる。従って、運転者や外部の状況による影響によって警告ができなくなる可能性を低減することができる。
As described above, according to the snoozing
In addition, when the movement of the eyeball cannot be detected (for example, when the driver is wearing spectacles or when the interior of the vehicle is extremely dark), for example, the vertical movement of the head is detected without using the movement of the eyeball. Thus, it can be determined whether or not the patient is dozing. Therefore, it is possible to reduce the possibility that the warning cannot be performed due to the influence of the driver or the external situation.
また、警告の解除入力があった場合に、警告を中止するため、運転者60は、解除入力の操作により自らが居眠り状態にあったことを強く認識することができる。また、警告の解除入力があった場合に、警告を中止するため、必要以上の警告が行われることにより、却って運転の妨げとなることを防止することができる。
In addition, since the warning is canceled when the warning cancellation input is received, the
また、居眠り警告装置10及び自動車50によれば、居眠りの期間に応じた警告をするための処理を行う。一般的に、居眠りの期間が長いほど、意識の低下のレベルが高い。従って、居眠りの期間に応じた警告をするための処理を行うことにより、意識の低下のレベルに応じて、より確実に運転者に警告することが可能になる。
Moreover, according to the
本実施形態では、取得したオプティカルフローデータが、眼球動作パターンデータのいずれかに一致し、且つ、頭部動作パターンデータのいずれにも一致しない場合に、運転者に警告を行う場合について説明した。すなわち、本実施形態では、本発明における所定の条件が、眼球動作パターンデータのいずれかに一致し、且つ、頭部動作パターンデータのいずれにも一致しないこと、である場合について説明した。しかし、本発明における所定の条件は、運転者が居眠りをしているか否かを判定するための条件であれば、特に限定されず、変化態様データ(オプティカルフローデータ)が目蓋の動作パターンを示す目蓋動作パターンデータと一致すること、であってもよく、オプティカルフローデータが眼球動作パターンデータと目蓋動作パターンデータとの双方に一致するデータを含むものであり、且つ、頭部動作パターンデータのいずれも含まないものであること、であってもよい。 In the present embodiment, the case where the driver is warned when the acquired optical flow data matches any of the eye movement pattern data and does not match any of the head movement pattern data has been described. That is, in the present embodiment, a case has been described in which the predetermined condition according to the present invention matches any of the eyeball movement pattern data and does not match any of the head movement pattern data. However, the predetermined condition in the present invention is not particularly limited as long as it is a condition for determining whether the driver is asleep or not, and the change mode data (optical flow data) indicates the movement pattern of the eyelid. The optical flow data includes data that matches both the eyeball movement pattern data and the eyelid movement pattern data, and the head movement pattern. It may be that none of the data is included.
また、本実施形態では、運転者の頭部を撮像する場合について説明したが、本発明においては、運転者を撮像すればよく、例えば、運転者の手や足を撮像することとしてもよい。運転者の手を撮像することとする場合、運転者が直線の道路を走行する際にハンドルを微量操作して進路を修正する手の動作を、比較対象となる動作パターンデータとして記憶手段に記憶しておけばよい。また、運転者の足を撮像することとする場合、運転者が一定速度で走行する際にアクセルを微量操作して速度を修正する足の動作を、比較対象となる動作パターンデータとして記憶手段に記憶しておけばよい。 Further, in the present embodiment, the case of imaging the driver's head has been described. However, in the present invention, the driver may be imaged, for example, the driver's hands and feet may be imaged. When taking an image of the driver's hand, when the driver travels on a straight road, the operation of the hand that corrects the course by manipulating a small amount of the steering wheel is stored in the storage means as operation pattern data to be compared. You just have to. In addition, when imaging the driver's foot, when the driver travels at a constant speed, the operation of the foot that corrects the speed by operating the accelerator in a small amount is stored in the storage means as operation pattern data to be compared. Just remember.
本実施形態では、本発明における乗り物が自動車である場合について説明したが、本発明における乗り物は運転が運転するものであればこの例に限定されず、例えば、電車、船舶、潜水艦、航空機であってもよい。 In the present embodiment, the case in which the vehicle in the present invention is an automobile has been described. However, the vehicle in the present invention is not limited to this example as long as driving is performed, and examples thereof include trains, ships, submarines, and aircraft. May be.
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、各手段等の具体的構成は、適宜設計変更可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。 The embodiment of the present invention has been described above, but only specific examples are illustrated, and the present invention is not particularly limited. The specific configuration of each unit and the like can be appropriately changed. The effects described in the embodiments of the present invention are only the most preferable effects resulting from the present invention, and the effects of the present invention are limited to those described in the embodiments of the present invention. is not.
10 居眠り警告装置
12 制御部
14 CPU
16 ROM
18 RAM
20 スピーカ
22 モニタカメラ
24 確認ボタン
26 通信用インターフェイス
50 自動車
52 ステアリングホイール
56 ダッシュボード
60 運転者
70 ブレーキ装置
72 ブレーキペダル
73 ホイルシリンダ
74 ブレーキ制御装置
75 ブレーキ
76 通信用インターフェイス
78 ブレーキアクチュエータ
80 ランプ点灯制御装置
10
16 ROM
18 RAM
20
Claims (6)
前記撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、
前記変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、
前記変化態様データ取得手段により取得された変化態様データと前記記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、
前記判断手段により所定の条件を満たすと判断されたとき、運転者に警告をするための処理を行う警告手段と
を備えたことを特徴とする居眠り警告装置。 Imaging means for continuously imaging at least the head including the face of the driver;
Change mode data acquisition means for acquiring change mode data indicating a video change mode from video data obtained by imaging by the imaging unit;
Storage means for storing operation pattern data to be compared with change mode data acquired by the change mode data acquisition unit;
A determination unit that determines whether or not the change mode data satisfies a predetermined condition based on the change mode data acquired by the change mode data acquisition unit and the operation pattern data stored in the storage unit;
A drowsiness warning device comprising: warning means for performing processing for warning the driver when the judgment means judges that a predetermined condition is satisfied.
前記解除入力手段から警告の解除入力があった場合に、警告を中止する警告中止手段と
を備えたことを特徴とする請求項1に記載の居眠り警告装置。 A release input means for inputting a warning release;
The dozing warning device according to claim 1, further comprising warning canceling means for canceling a warning when a warning canceling input is received from the canceling input means.
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、前記乗り物を減速又は停止させる信号を前記制動手段に出力する制動信号出力手段を備えたことを特徴とする居眠り警告装置。 The dozing warning device according to claim 1 or 2, which is provided on a vehicle provided with braking means,
A brake signal output means is provided for outputting a signal for decelerating or stopping the vehicle to the braking means when there is no warning release input from the release input means within a predetermined period after the start of warning. A doze alarm device.
を備えたことを特徴とする請求項3に記載の居眠り警告装置。 And a notification means for performing a process of notifying the vehicle that the vehicle decelerates or stops when there is no warning cancellation input from the cancellation input means within a predetermined period after the start of the warning. The dozing alarm device according to claim 3.
前記警告手段は、前記計測手段が計測した期間に応じた警告をするための処理を行うことを特徴とする請求項1〜4のいずれか1に記載の居眠り警告装置。 Measuring means for measuring a period determined by the determining means when the predetermined condition is satisfied,
The doze warning device according to any one of claims 1 to 4, wherein the warning means performs a process for giving a warning according to a period measured by the measurement means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007151959A JP2008305190A (en) | 2007-06-07 | 2007-06-07 | Drowsiness warning device and automobile |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007151959A JP2008305190A (en) | 2007-06-07 | 2007-06-07 | Drowsiness warning device and automobile |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008305190A true JP2008305190A (en) | 2008-12-18 |
Family
ID=40233860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007151959A Pending JP2008305190A (en) | 2007-06-07 | 2007-06-07 | Drowsiness warning device and automobile |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008305190A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013008299A1 (en) * | 2011-07-11 | 2013-01-17 | トヨタ自動車株式会社 | Vehicle emergency withdrawal device |
| JP2014044707A (en) * | 2012-08-01 | 2014-03-13 | Nissan Motor Co Ltd | Driver's emergency support device and driver's emergency support method |
| JP2016085563A (en) * | 2014-10-24 | 2016-05-19 | 株式会社デンソー | On-vehicle control device |
| EP2878508A4 (en) * | 2012-07-24 | 2016-08-17 | Toyota Motor Co Ltd | DRIVER ASSISTING DEVICE |
| EP2878507A4 (en) * | 2012-07-24 | 2016-08-31 | Toyota Motor Co Ltd | DRIVER ASSISTING DEVICE |
| JP2017060164A (en) * | 2015-09-18 | 2017-03-23 | 株式会社東芝 | Street information processing system, client and server applied to street information processing system, and methods and programs thereof |
| KR20180119258A (en) * | 2017-04-25 | 2018-11-02 | 만도헬라일렉트로닉스(주) | Driver state sensing system, driver state sensing method, and vehicle including thereof |
| JP2020047085A (en) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | Vehicle monitoring device |
| JP7631852B2 (en) | 2021-02-05 | 2025-02-19 | マツダ株式会社 | Driver State Estimation Device |
-
2007
- 2007-06-07 JP JP2007151959A patent/JP2008305190A/en active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5316706B2 (en) * | 2011-07-11 | 2013-10-16 | トヨタ自動車株式会社 | Emergency vehicle evacuation device |
| US9205816B2 (en) | 2011-07-11 | 2015-12-08 | Toyota Jidosha Kabushiki Kaisha | Vehicle emergency evacuation device |
| WO2013008299A1 (en) * | 2011-07-11 | 2013-01-17 | トヨタ自動車株式会社 | Vehicle emergency withdrawal device |
| EP2878508A4 (en) * | 2012-07-24 | 2016-08-17 | Toyota Motor Co Ltd | DRIVER ASSISTING DEVICE |
| EP2878507A4 (en) * | 2012-07-24 | 2016-08-31 | Toyota Motor Co Ltd | DRIVER ASSISTING DEVICE |
| JP2014044707A (en) * | 2012-08-01 | 2014-03-13 | Nissan Motor Co Ltd | Driver's emergency support device and driver's emergency support method |
| JP2016085563A (en) * | 2014-10-24 | 2016-05-19 | 株式会社デンソー | On-vehicle control device |
| US11070622B2 (en) | 2015-09-18 | 2021-07-20 | Kabushiki Kaisha Toshiba | Street information processing system, client and server applied to street information processing system, and method and program of the same |
| JP2017060164A (en) * | 2015-09-18 | 2017-03-23 | 株式会社東芝 | Street information processing system, client and server applied to street information processing system, and methods and programs thereof |
| KR20180119258A (en) * | 2017-04-25 | 2018-11-02 | 만도헬라일렉트로닉스(주) | Driver state sensing system, driver state sensing method, and vehicle including thereof |
| US10369926B2 (en) | 2017-04-25 | 2019-08-06 | Mando Hella Electronics Corporation | Driver state sensing system, driver state sensing method, and vehicle including the same |
| KR101950476B1 (en) * | 2017-04-25 | 2019-04-29 | 만도헬라일렉트로닉스(주) | Driver state sensing system, driver state sensing method, and vehicle including thereof |
| JP2020047085A (en) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | Vehicle monitoring device |
| WO2020059800A1 (en) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | Vehicular monitoring device |
| CN112740300A (en) * | 2018-09-20 | 2021-04-30 | 五十铃自动车株式会社 | vehicle monitoring device |
| US11403858B2 (en) | 2018-09-20 | 2022-08-02 | Isuzu Motors Limited | Vehicular monitoring device |
| JP7180227B2 (en) | 2018-09-20 | 2022-11-30 | いすゞ自動車株式会社 | Vehicle monitoring device |
| CN112740300B (en) * | 2018-09-20 | 2023-07-07 | 五十铃自动车株式会社 | Monitoring Devices for Vehicles |
| JP7631852B2 (en) | 2021-02-05 | 2025-02-19 | マツダ株式会社 | Driver State Estimation Device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6341055B2 (en) | In-vehicle control device | |
| JP6331875B2 (en) | In-vehicle control device | |
| JP5288045B2 (en) | Emergency vehicle evacuation device | |
| JP2008305190A (en) | Drowsiness warning device and automobile | |
| JP6213282B2 (en) | Driving assistance device | |
| JP5527411B2 (en) | Emergency vehicle evacuation device | |
| US9558414B1 (en) | Method for calculating a response time | |
| CN106463065B (en) | Driving incapability state detection device for driver | |
| JP6593486B2 (en) | In-vehicle control device and in-vehicle system | |
| JP2016045714A (en) | On-vehicle control device | |
| WO2016021142A1 (en) | Driver monitoring device | |
| JP7047821B2 (en) | Driving support device | |
| JP2009244959A (en) | Driving support device and driving support method | |
| JP6730096B2 (en) | Occupant condition monitoring device | |
| JP6256433B2 (en) | Driver status detection device | |
| KR20150061943A (en) | Device for detecting the status of the driver and method thereof | |
| KR20170035035A (en) | Apparatus and method for preventing drowsy driving | |
| JP2019133488A (en) | Driving support device and driving support method | |
| JP2005087284A (en) | Wakefulness determining device and wakefulness determining method | |
| JP2021089652A (en) | Driver monitor, driver state estimation method and program | |
| KR20230159774A (en) | Method and apparatus for emergency response | |
| KR20130026857A (en) | Apparatus for preventing dozing at the wheel | |
| JP2024112588A (en) | Driver monitor device, driver monitor method, and computer program for driver monitor | |
| JP2023072268A (en) | Driver state determination method and device | |
| JP7393738B2 (en) | Driver state estimation device |