[go: up one dir, main page]

JP2008305190A - Drowsiness warning device and automobile - Google Patents

Drowsiness warning device and automobile Download PDF

Info

Publication number
JP2008305190A
JP2008305190A JP2007151959A JP2007151959A JP2008305190A JP 2008305190 A JP2008305190 A JP 2008305190A JP 2007151959 A JP2007151959 A JP 2007151959A JP 2007151959 A JP2007151959 A JP 2007151959A JP 2008305190 A JP2008305190 A JP 2008305190A
Authority
JP
Japan
Prior art keywords
warning
change mode
driver
mode data
dozing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007151959A
Other languages
Japanese (ja)
Inventor
Mitsuaki Yamada
光昭 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universal Entertainment Corp
Original Assignee
Aruze Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aruze Corp filed Critical Aruze Corp
Priority to JP2007151959A priority Critical patent/JP2008305190A/en
Publication of JP2008305190A publication Critical patent/JP2008305190A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】居眠りを確実に検出し、運転者に警告することが可能な居眠り警告装置を提供すること。
【解決手段】運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、変化態様データ取得手段により取得された変化態様データと記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、判断手段により所定の条件か満たされていると判断されたとき、運転者に警告をするための処理を行う警告手段とを備えたことを特徴とする居眠り警告装置。
【選択図】図1
To provide a dozing alarm device capable of reliably detecting dozing and alerting a driver.
An image capturing means for continuously capturing at least a head including a driver's face and image data obtained by image capturing by the image capturing means are acquired. Storage means for storing operation pattern data to be compared with change mode data acquisition means, change mode data acquired by change mode data acquisition means, change mode data acquired by change mode data acquisition means, and storage means On the basis of the operation pattern data stored in the operation means, and determining means for determining whether or not the change mode data satisfies a predetermined condition, and driving when the determination means determines that the predetermined condition is satisfied A drowsiness warning device, comprising: warning means for performing processing for warning a person.
[Selection] Figure 1

Description

本発明は、居眠り警告装置及び自動車に関する。 The present invention relates to a drowsiness warning device and an automobile.

従来から、居眠り運転を防止するために、運転前に疲労を回復しておく等の事前の取り組みを運転者が各自で行うことが必要とされている。このような取り組みは、実際に眠気が発生する前段階に行うものであり、運転者に依存するものである。また、事前に取り組みを行っていても、眠気が発生する場合もある。 Conventionally, in order to prevent a drowsy driving, it is necessary for each driver to take a prior approach such as recovering fatigue before driving. Such an approach is carried out before the actual occurrence of sleepiness and depends on the driver. In addition, even if efforts are made in advance, sleepiness may occur.

実際に眠気が発生した場合に、居眠り運転を防止するために、従来、まばたきや眼球の動作に基づいて居眠り運転であるか否かを判定し、運転者に対して警告を行う装置が存在する(例えば、特許文献1〜4参照)。 In order to prevent drowsy driving when sleepiness actually occurs, conventionally, there is a device that determines whether or not it is drowsy driving based on blinking or eyeball movement and warns the driver. (For example, see Patent Documents 1 to 4).

特開平7−93700号公報JP-A-7-93700 特開平8−147584号公報JP-A-8-147484 特開平11−304428号公報JP-A-11-304428 特開2006−193057号公報JP 2006-193057 A

しかしながら、まばたきや眼球の動作は、移動量が比較的少ないため、特許文献1〜4の装置では、その移動量を検出することができない場合があるといった問題があった。また、運転者が、眼鏡をかけている場合には、外部からの光の反射により、誤検出が多発するおそれがあった。また、車内が暗い場合には、眼の位置自体を検出できないといった問題があった。そのため、居眠り運転を確実に認識し、運転者に警告することができないといった問題があった。 However, since the amount of movement of blinking and eyeball movement is relatively small, the devices of Patent Documents 1 to 4 have a problem that the amount of movement may not be detected. Further, when the driver is wearing glasses, erroneous detection may occur frequently due to reflection of light from the outside. In addition, when the interior of the vehicle is dark, there is a problem that the position of the eye itself cannot be detected. For this reason, there is a problem that it is impossible to reliably recognize the drowsy driving and warn the driver.

本発明は、上述した課題に鑑みてなされたものであり、その目的は、居眠りを確実に検出し、運転者に警告することが可能な居眠り警告装置及び自動車を提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a drowsiness warning device and an automobile capable of reliably detecting a drowsiness and warning a driver.

上述した課題を解決するために、本発明は、以下のようなものを提供する。
(1) 運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、
上記撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、
上記変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、
上記変化態様データ取得手段により取得された変化態様データと上記記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、
上記判断手段により所定の条件か満たされていると判断されたとき、運転者に警告をするための処理を行う警告手段と
を備えたことを特徴とする居眠り警告装置。
In order to solve the above-described problems, the present invention provides the following.
(1) imaging means for continuously imaging at least the head including the driver's face;
Change mode data acquisition means for acquiring change mode data indicating a video change mode from video data obtained by imaging by the imaging unit;
Storage means for storing operation pattern data to be compared with change aspect data acquired by the change aspect data acquisition means;
A determination unit that determines whether or not the change mode data satisfies a predetermined condition based on the change mode data acquired by the change mode data acquisition unit and the operation pattern data stored in the storage unit;
A drowsiness warning device comprising: warning means for performing processing for giving a warning to a driver when the determination means determines that a predetermined condition is satisfied.

(1)の発明によれば、撮像手段(例えば、モニターカメラ)により運転者の顔面を含む少なくとも頭部を撮影して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データする。そして、この変化態様データと、予め記憶されている、変化態様データとの比較対象となる動作パターンデータ(例えば、まばたき、眼球の動作、頭部の上下動を含む動作パターンを示すデータ)とに基づいて、変化態様データが所定の条件を満たすか否かを判断し、所定の条件を満たすと判断されたとき、運転者に警告をするための処理が行われる。まばたきや眼球の動作だけではなく、これらを含む少なくとも頭部の動作にも基づいて運転者に警告を行うため、例えば、眼にゴミが入った場合のように、居眠りをしていない場合であるにも関わらず警告されるといったことを少なくすることができ、運転者が居眠りをしている場合にだけ的確に警告を行うとことができる。
また、まばたきや眼球の動作が検出できないとき(例えば、運転者が眼鏡をかけているときや車内が著しく暗いとき)には、例えば、まばたきや眼球の動作を用いずに頭部の上下動等を検出することにより、居眠りをしているか否かを判定することができる。従って、運転者や外部の状況による影響によって警告ができなくなる可能性を低減することができる。
According to the invention of (1), the change mode data indicating the change mode of the video is acquired from the video data obtained by photographing at least the head including the driver's face by the imaging means (for example, monitor camera). Change mode data. Then, this change mode data and pre-stored motion pattern data to be compared with the change mode data (for example, data indicating a motion pattern including blinking, eye movement, and head vertical movement). Based on this, it is determined whether or not the change mode data satisfies a predetermined condition. When it is determined that the predetermined condition is satisfied, a process for warning the driver is performed. In order to warn the driver not only based on blinking and eye movement but also based on at least the movement of the head including these, for example, when the eyes do not fall asleep like garbage However, it is possible to reduce warnings despite the fact that the warning can be performed accurately only when the driver is asleep.
In addition, when blinking or eye movement cannot be detected (for example, when the driver is wearing glasses or the inside of the vehicle is extremely dark), for example, the head is moved up and down without using blinking or eye movement. By detecting this, it can be determined whether or not the patient is dozing. Therefore, it is possible to reduce the possibility that the warning cannot be performed due to the influence of the driver or the external situation.

さらに、本発明は、以下のようなものを提供する。
(2) 上記(1)の居眠り警告装置であって、
警告の解除を入力することが可能な解除入力手段と、
上記解除入力手段から警告の解除入力があった場合に、警告を中止する警告中止手段と
を備えたことを特徴とする。
Furthermore, the present invention provides the following.
(2) The dozing alarm device according to (1) above,
A release input means for inputting a warning release;
And a warning canceling means for canceling the warning when there is a warning canceling input from the canceling input means.

(2)の発明によれば、警告の解除入力があった場合に、警告を中止するため、運転者は、解除入力の操作により自らが居眠り状態にあったことを強く認識することができる。また、警告の解除入力があった場合に、警告を中止するため、必要以上の警告が行われることにより、却って運転の妨げとなることを防止することができる。 According to the invention of (2), since the warning is canceled when the warning cancellation input is received, the driver can strongly recognize that he / she was in a dozing state by the operation of the cancellation input. In addition, when a warning canceling input is received, the warning is stopped, so that it is possible to prevent the operation from being hindered by giving more warnings than necessary.

さらに、本発明は、以下のようなものを提供する。
(3) 制動手段を備えた乗り物に設けられた上記(1)又は(2)の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、上記乗り物を減速又は停止させる信号を前記制動手段に出力する制動信号出力手段
を備えたことを特徴とする。
Furthermore, the present invention provides the following.
(3) The dozing warning device according to the above (1) or (2) provided on a vehicle provided with braking means,
And a brake signal output means for outputting a signal for decelerating or stopping the vehicle to the braking means when no warning cancellation input is received from the release input means within a predetermined period after the start of warning. To do.

(3)の発明によれば、警告の開始後、所定期間内に警告の解除入力がなかった場合に、乗り物を減速又は停止させる信号を出力するため、警告しても眠りから覚めない場合に事故が発生する確率を低減することができる。 According to the invention of (3), when the warning is not input within a predetermined period after the warning is started, a signal for decelerating or stopping the vehicle is output. The probability that an accident will occur can be reduced.

さらに、本発明は、以下のようなものを提供する。
(4) 上記(3)の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、該乗り物が減速又は停止することを外部に報知する処理を行う報知手段
を備えたことを特徴とする。
Furthermore, the present invention provides the following.
(4) The dozing alarm device of (3) above,
And a notification means for performing processing for notifying the vehicle that the vehicle decelerates or stops when there is no warning cancellation input from the cancellation input means within a predetermined period after the start of the warning. .

(4)の発明によれば、警告の開始後、所定期間内に警告の解除入力がなかった場合に、該乗り物が減速又は停止することを外部に報知する処理を行う(例えば、自動車のハザードランプを点滅させる処理を行う)ため、外部の者(例えば、後続車の運転者)は、該乗り物の動きに注意を払うことができ、追突してしまう等の二次災害を防止することか可能になる。 According to the invention of (4), when there is no warning cancellation input within a predetermined period after the start of the warning, a process of notifying the vehicle that the vehicle is decelerating or stopping is performed (for example, an automobile hazard) To prevent secondary accidents such as rear-end collisions, so that outsiders (for example, the driver of the following vehicle) can pay attention to the movement of the vehicle. It becomes possible.

さらに、本発明は、以下のようなものを提供する。
(5) 上記(1)〜(4)のいずれか1の居眠り警告装置であって、
前記警告手段は、居眠りの期間に応じた警告をするための処理を行うことを特徴とする。
Furthermore, the present invention provides the following.
(5) The dozing alarm device according to any one of (1) to (4) above,
The warning means performs a process for giving a warning according to a dozing period.

(5)の発明によれば、居眠りの期間に応じた警告をする(例えば、10秒居眠りした場合に、5秒居眠りした場合よりも大きな警告音を発する)ための処理を行う。一般的に、居眠りの期間が長いほど、意識の低下のレベルが高い。従って、居眠りの期間に応じた警告をするための処理を行うことにより、意識の低下のレベルに応じて、より確実に運転者に警告することが可能になる。 According to the invention of (5), a process for giving a warning according to the period of dozing (for example, when a 10-second doze is made, a larger warning sound than when a doze is taken for 5 seconds) is performed. In general, the longer the dozing period, the higher the level of consciousness loss. Therefore, by performing the process for giving a warning according to the period of dozing, it is possible to warn the driver more reliably according to the level of consciousness reduction.

さらに、本発明は、以下のようなものを提供する。
(6) 上記(1)〜(5)のいずれか1の居眠り警告装置を備えたことを特徴とする自動車。
Furthermore, the present invention provides the following.
(6) An automobile comprising the drowsiness warning device according to any one of (1) to (5) above.

(6)の発明によれば、自動車を運転する運転者に居眠りを警告することができる。 According to the invention of (6), it is possible to warn the driver who drives the car that he is dozing.

本発明によれば、居眠りを確実に検出し、運転者に警告することが可能になる。 According to the present invention, it is possible to reliably detect dozing and warn the driver.

本発明の実施形態について図面に基づいて説明する。
図1は、本発明の一実施形態に係る自動車を模式的に示す側面図である。
図2は、図1に示した自動車の上面図である。なお、図2では、車内の様子を把握できるように屋根を省略して記載している。
自動車50には、居眠り警告装置10が備えられている。居眠り警告装置10は、制御部12と、モニタカメラ22と、確認ボタン24とを備えている。図2に示すように、モニタカメラ22は、ダッシュボード56の手前に設けられたステアリングホイール52の上部に設けられており、運転者の顔面を含む頭部を撮像する。モニタカメラ22により撮像して得られた映像データは、制御部12に送信される。そして、この映像データは、オプティカルフローデータに変換され、このオプティカルフローデータが解析されることにより、運転者が居眠りしているか否かが判断される。具体的には、映像データから変換されたオプティカルフローデータが後述する居眠り判定用動作パターンデータ(図4参照)と一致するか否かを判断することにより、運転者が居眠りしているか否かが判断される。なお、オプティカルフローについては後に詳述する。運転者が居眠りをしていると判断されると、スピーカ(図3参照)から警告音が出力される。確認ボタン24は、ステアリングホイール52の下部に設けられており、運転者がこの確認ボタン24を操作することにより警告音の出力が中止される。確認ボタン24は、本発明の解除入力手段に相当するものである。
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a side view schematically showing an automobile according to an embodiment of the present invention.
FIG. 2 is a top view of the automobile shown in FIG. In FIG. 2, the roof is omitted so that the inside of the vehicle can be grasped.
The automobile 50 is provided with a dozing alarm device 10. The dozing alarm device 10 includes a control unit 12, a monitor camera 22, and a confirmation button 24. As shown in FIG. 2, the monitor camera 22 is provided on an upper part of a steering wheel 52 provided in front of the dashboard 56 and images the head including the driver's face. Video data obtained by imaging with the monitor camera 22 is transmitted to the control unit 12. The video data is converted into optical flow data, and the optical flow data is analyzed to determine whether or not the driver is asleep. Specifically, it is determined whether or not the driver is asleep by determining whether or not the optical flow data converted from the video data matches the operation pattern data for doze determination (see FIG. 4) described later. To be judged. The optical flow will be described in detail later. If it is determined that the driver is asleep, a warning sound is output from the speaker (see FIG. 3). The confirmation button 24 is provided below the steering wheel 52. When the driver operates the confirmation button 24, the output of the warning sound is stopped. The confirmation button 24 corresponds to the cancel input means of the present invention.

図3は、図1に示した居眠り警告装置の内部構成を模式的に示すブロック図である。
居眠り警告装置10は、CPU14とROM16とRAM18とを備えている。
ROM16は、不揮発性メモリであり、CPU14によって実行されるプログラムや、CPU14が処理を行う際に用いられるデータ等を記憶している。また、ROM16は、居眠り判定用動作パターンデータ(図4参照)を記憶している。ROM16は、本発明の記憶手段に相当する。RAM18は、揮発性メモリであり、CPU14の処理結果等に応じたデータを一時的に記憶する。
FIG. 3 is a block diagram schematically showing the internal configuration of the dozing alarm device shown in FIG.
The dozing warning device 10 includes a CPU 14, a ROM 16, and a RAM 18.
The ROM 16 is a non-volatile memory and stores programs executed by the CPU 14, data used when the CPU 14 performs processing, and the like. In addition, the ROM 16 stores doze determination operation pattern data (see FIG. 4). The ROM 16 corresponds to storage means of the present invention. The RAM 18 is a volatile memory, and temporarily stores data corresponding to the processing result of the CPU 14.

CPU14には、スピーカ20とモニタカメラ22と確認ボタン24とが接続されている。
モニタカメラ22は、運転者を撮像し、撮像して得られた映像データをCPU14に送信する。モニタカメラ22は、撮像手段として機能するものである。CPU14は、モニタカメラ22から受信した映像データに基づいて後述するオプティカルフローを算出し、オプティカルフローデータを取得する。オプティカルフローデータは、本発明における変化態様データに相当する。
A speaker 20, a monitor camera 22, and a confirmation button 24 are connected to the CPU 14.
The monitor camera 22 images the driver and transmits video data obtained by the imaging to the CPU 14. The monitor camera 22 functions as an imaging unit. The CPU 14 calculates an optical flow, which will be described later, based on the video data received from the monitor camera 22, and acquires the optical flow data. The optical flow data corresponds to the change mode data in the present invention.

スピーカ20は、警告音や警告メッセージを出力するためのものである。CPU14は、オプティカルフローデータに基づいて、運転者が居眠りしているか否かを判断し、居眠りしていると判断した場合には、警告音や警告メッセージをスピーカ20に出力させる。このとき、5秒間以上、運転者が居眠りをしていると判断した場合には、レベル1の警告を行い、さらにその後5秒間以上、運転者が居眠りしていると判断した場合には、レベル2の警告を行う。そして、さらにその後5秒間以上、運転者が居眠りしていると判断した場合には、レベル3の警告を行う。なお、本実施形態では、レベル1の警告は、所定の音量の警告音(例えば、「ピ、ピ、ピ、ピ・・・」)をスピーカ20から出力することであり、レベル2の警告は、レベル1の警告時よりも大きな音量の警告音をスピーカ20から出力することであり、レベル3の警告は、レベル2の警告時よりも大きな音量の警告音とともに、警告メッセージ(例えば、「危険です」)をスピーカから出力することである。なお、本発明において、警告は、居眠りと判断される期間に応じた警告を行うのであれば、この例に限定されず、シートやステアリングホイールに微弱な電流を流すこととしてもよく、自動車が備えるエアーコンディショナーから風(例えば、冷風)を送出することとしてもよい。 The speaker 20 is for outputting a warning sound and a warning message. Based on the optical flow data, the CPU 14 determines whether or not the driver is asleep. If the CPU 14 determines that the driver is asleep, the CPU 14 outputs a warning sound or a warning message to the speaker 20. At this time, if it is determined that the driver is asleep for more than 5 seconds, a level 1 warning is given, and if it is determined that the driver is asleep for more than 5 seconds, the level is Warning 2 is performed. Then, if it is determined that the driver is asleep for more than 5 seconds, a level 3 warning is given. In the present embodiment, the level 1 warning is to output a warning sound of a predetermined volume (for example, “pi, pi, pi, pi ...”) from the speaker 20, and the level 2 warning is , Outputting a warning sound having a louder volume than that at the level 1 warning from the speaker 20, and the warning at the level 3 is accompanied by a warning message (for example, “dangerous” Is output from the speaker. In the present invention, the warning is not limited to this example as long as the warning is performed according to the period determined to be asleep, and a weak current may be supplied to the seat or the steering wheel. It is good also as sending a wind (for example, cold wind) from an air conditioner.

確認ボタン24は、運転者により操作されることにより警告中止要求信号を出力する。CPU14は、この警告中止要求信号を受信すると、スピーカ20からの警告音、警告メッセージの出力を中止する。 The confirmation button 24 outputs a warning stop request signal when operated by the driver. When the CPU 14 receives the warning stop request signal, the CPU 14 stops outputting the warning sound and the warning message from the speaker 20.

CPU14には、通信用インターフェイス26を介してブレーキ装置70とランプ点灯制御装置80とが接続されている。CPU14は、15秒以上運転者が居眠りをしていると判断した場合に、ブレーキ装置70に対して自動車50を停止させるための停止信号を送信する。また、CPU14は、15秒以上運転者が居眠りをしていると判断した場合に、ランプ点灯制御装置80に対してハザードランプを点灯させるためのハザードランプ点灯指示信号を送信する。 A brake device 70 and a lamp lighting control device 80 are connected to the CPU 14 via the communication interface 26. CPU14 transmits the stop signal for stopping the motor vehicle 50 with respect to the brake device 70, when it is judged that the driver is dozing for 15 seconds or more. When the CPU 14 determines that the driver is asleep for 15 seconds or more, the CPU 14 transmits a hazard lamp lighting instruction signal for lighting the hazard lamp to the lamp lighting control device 80.

図4は、居眠り判定用動作パターンデータの一例を示す図である。
居眠り判定用動作パターンデータは、運転者が居眠り運転をしていると判断するための動作パターンを示すデータであり、図4に示すように、眼球動作パターンデータと頭部動作パターンデータとが含まれる。眼球動作パターンデータは、運転者の眼球の左右動作を示すデータであり、運転者が左右確認を行った際の眼球の動きをオプティカルフローデータとしたものである。頭部動作パターンデータは、運転者の頭部の上下動作を示すデータであり、運転者が居眠りした際に起こり得る頭部のゆれをオプティカルフローデータとしたものである。眼球動作パターンデータ及び頭部動作パターンデータは、本発明における、オプティカルフローデータとの比較対象となる動作パターンデータである。
以下では、図5を用いて、眼球動作パターンデータAに係るオプティカルフローについて説明し、図6を用いて、頭部動作パターンデータAに係るオプティカルフローについて説明する。
FIG. 4 is a diagram illustrating an example of operation pattern data for dozing determination.
The doze determination operation pattern data is data indicating an operation pattern for determining that the driver is dozing, and includes eye movement pattern data and head movement pattern data as shown in FIG. It is. The eye movement pattern data is data indicating the left and right movements of the driver's eyeball, and the movement of the eyeball when the driver checks the left and right is optical flow data. The head movement pattern data is data indicating the vertical movement of the driver's head, and is an optical flow data that is a head shake that may occur when the driver falls asleep. The eye movement pattern data and the head movement pattern data are movement pattern data to be compared with the optical flow data in the present invention.
Hereinafter, the optical flow related to the eye movement pattern data A will be described with reference to FIG. 5, and the optical flow related to the head movement pattern data A will be described using FIG.

図5は、眼球動作に係るオプティカルフローを説明するための図である。
オプティカルフローとは、画像中の各画素間の速度ベクトルである。オプティカルフローを算出する方法としては、まず、第一の画像内において、複数の画素から構成される画素ブロックを事前に設定する。次に、第一の画像に続く第二の画像内において、この画素ブロックを検出する。そして、この二つの画像内の各画素ブロックの移動を検出する。これにより、モニタカメラ22の撮像領域内における物体のオプティカルフローを算出することができる。
FIG. 5 is a diagram for explaining an optical flow related to eye movement.
An optical flow is a velocity vector between pixels in an image. As a method of calculating the optical flow, first, a pixel block composed of a plurality of pixels is set in advance in the first image. Next, this pixel block is detected in the second image following the first image. Then, the movement of each pixel block in the two images is detected. Thereby, the optical flow of the object in the imaging region of the monitor camera 22 can be calculated.

図5(a)の左側の図は、モニタカメラ22により撮像された運転者の様子を示す図である。
図5(a)の左側の図に示すように、モニタカメラ22により得られる画像には、運転者60の頭部を正面から撮像した様子が映し出されている。
図5(a)の右側の図は、図5(a)の左側の図の状態であるときのオプティカルフローを示す図である。
モニタカメラ22は、0.2秒ごとに映像データを処理端末10に送信する。そして、処理端末10は、送信されてくる各映像データから、0.2秒ごとにオプティカルフローを算出する。図5(a)の右側の図では、オプティカルフローが得られていない。これは、0.2秒前から現在まで、画像に変化がなかったことを示している。
The diagram on the left side of FIG. 5A is a diagram showing the state of the driver imaged by the monitor camera 22.
As shown in the diagram on the left side of FIG. 5A, the image obtained by the monitor camera 22 shows a state in which the head of the driver 60 is imaged from the front.
The diagram on the right side of FIG. 5A is a diagram showing the optical flow in the state of the diagram on the left side of FIG.
The monitor camera 22 transmits video data to the processing terminal 10 every 0.2 seconds. Then, the processing terminal 10 calculates an optical flow every 0.2 seconds from each transmitted video data. In the diagram on the right side of FIG. 5A, an optical flow is not obtained. This indicates that the image has not changed from 0.2 seconds ago to the present time.

図5(b)の左側の図は、図5(a)の右側の図の状態から0.2秒後の様子を示す図であり、図5(a)の右側の図は、図5(b)の左側の図の状態であるときのオプティカルフローを示す図である。
図5(b)の左側の図では、図5(a)の左側の図の状態から人物60の眼球が右側に移動している以外は、図5(a)の左側の図と同じである。
図5(b)の右側の図では、人物60の眼球部分の各画素ブロックP(P1、P2)が右側に移動したことを示すオプティカルフローが得られている。これは、0.2秒前(図5(a)の左側の図の状態)から現在(図5(b)の左側の図の状態)までの間に、各画素ブロックPが右側に移動したことを示している。このオプティカルフローを示すデータは、眼球動作パターンデータAに相当する。
The diagram on the left side of FIG. 5 (b) is a diagram showing a state 0.2 seconds after the state of the diagram on the right side of FIG. 5 (a), and the diagram on the right side of FIG. It is a figure which shows an optical flow in the state of the figure on the left side of b).
The left diagram in FIG. 5B is the same as the left diagram in FIG. 5A except that the eyeball of the person 60 moves to the right from the state in the left diagram in FIG. .
In the diagram on the right side of FIG. 5B, an optical flow indicating that each pixel block P (P1, P2) of the eyeball portion of the person 60 has moved to the right side is obtained. This is because each pixel block P has moved to the right between 0.2 seconds ago (the state in the left diagram in FIG. 5A) and the present (the state in the left diagram in FIG. 5B). It is shown that. Data indicating this optical flow corresponds to eyeball movement pattern data A.

図6は、頭部動作に係るオプティカルフローを説明するための図である。
図6(a)の左側の図は、モニタカメラ22により撮像された運転者の様子を示す図であり、図6(a)の右側の図は、図6(a)の左側の図の状態であるときのオプティカルフローを示す図である。
図6(a)の左側の図に示すように、モニタカメラ22により得られる画像には、運転者60の頭部を正面から撮像した様子が映し出されている。また、図6(a)の右側の図では、オプティカルフローが得られていない。これは、0.2秒前から現在まで、画像に変化がなかったことを示している。
FIG. 6 is a diagram for explaining an optical flow related to head movement.
6A is a diagram showing the state of the driver imaged by the monitor camera 22, and the diagram on the right side of FIG. 6A is the state of the diagram on the left side of FIG. 6A. It is a figure which shows the optical flow when it is.
As shown in the diagram on the left side of FIG. 6A, the image obtained by the monitor camera 22 shows a state in which the head of the driver 60 is imaged from the front. Further, in the diagram on the right side of FIG. 6A, an optical flow is not obtained. This indicates that the image has not changed from 0.2 seconds ago to the present time.

図6(b)の左側の図は、図6(a)の右側の図の状態から0.2秒後の様子を示す図であり、図6(a)の右側の図は、図6(b)の左側の図の状態であるときのオプティカルフローを示す図である。
図6(b)の左側の図では、図6(a)の左側の図の状態から人物60の頭部が手前下側側に移動している以外は、図6(a)の左側の図と同じである。
図6(b)の右側の図では、人物の頭頂部付近の各画素ブロックP(P10〜P14)が下側且つ外側に広がるベクトルが示されている。このオプティカルフローを示すデータは、頭部動作パターンデータAに相当する。
The diagram on the left side of FIG. 6B is a diagram showing a state 0.2 seconds after the state of the diagram on the right side of FIG. 6A, and the diagram on the right side of FIG. It is a figure which shows an optical flow in the state of the figure on the left side of b).
6B, the left side view of FIG. 6A, except that the head of the person 60 has moved from the state of the left side of FIG. 6A to the lower front side. Is the same.
The right side of FIG. 6B shows a vector in which each pixel block P (P10 to P14) near the top of the person spreads downward and outward. Data indicating this optical flow corresponds to head movement pattern data A.

図7は、図1に示した自動車が備えるブレーキ装置の内部構成を模式的に示すブロック図である。
ブレーキ装置70では、ブレーキペダル72がホイルシリンダ73に接続され、ホイルシリンダ73にはブレーキ75が接続されている。ホイルシリンダ73では、運転者60のブレーキペダル72の踏み込み操作に応じてブレーキ液圧が発生する。ブレーキ75は、ブレーキ液圧に応じた制動力を発生させる。
FIG. 7 is a block diagram schematically showing the internal configuration of the brake device provided in the automobile shown in FIG.
In the brake device 70, a brake pedal 72 is connected to a wheel cylinder 73, and a brake 75 is connected to the wheel cylinder 73. In the wheel cylinder 73, brake fluid pressure is generated in response to the driver 60 depressing the brake pedal 72. The brake 75 generates a braking force according to the brake fluid pressure.

ブレーキ装置70は、ブレーキ制御装置74とブレーキ制御装置74に接続されたブレーキアクチュエータ78とを備えており、ブレーキアクチュエータ78は、ホイルシリンダ73に接続されている。ブレーキ制御装置74は、通信用インターフェイス76を介して居眠り警告装置10に接続されていて、居眠り警告装置10から停止信号を受信すると、ブレーキアクチュエータ78を動作させてホイルシリンダ73にブレーキ液圧を発生させる。ブレーキ装置70は、本発明における制動手段に相当する。 The brake device 70 includes a brake control device 74 and a brake actuator 78 connected to the brake control device 74, and the brake actuator 78 is connected to the wheel cylinder 73. The brake control device 74 is connected to the dozing warning device 10 via the communication interface 76. When receiving a stop signal from the dozing warning device 10, the brake control device 74 operates the brake actuator 78 to generate the brake hydraulic pressure in the wheel cylinder 73. Let The brake device 70 corresponds to the braking means in the present invention.

図8は、居眠り警告装置において実行される居眠り判定処理のサブルーチンを示すフローチャートである。
まず、CPU14は、エンジンが始動すると、モーションキャプチャを開始する(ステップS10)。この処理において、CPU14は、モニタカメラ22による撮像を開始し、得られる映像データからオプティカルフローデータを取得する。なお、モーションキャプチャは、エンジンが停止するまで、繰り返し実行される。CPU14は、モニタカメラ22により撮像して得られた映像データから、オプティカルフローデータを取得する変化態様データ取得手段として機能する。
FIG. 8 is a flowchart showing a subroutine of dozing determination processing executed in the dozing warning device.
First, the CPU 14 starts motion capture when the engine is started (step S10). In this process, the CPU 14 starts imaging with the monitor camera 22 and acquires optical flow data from the obtained video data. Note that motion capture is repeatedly executed until the engine is stopped. The CPU 14 functions as a change mode data acquisition unit that acquires optical flow data from video data obtained by imaging with the monitor camera 22.

次に、ステップS12において、CPU14は、経過時間t=0をセットし、経過時間tの計時を開始する。ステップS12の処理を実行するとき、CPU14は、計測手段として機能する。
次に、ステップS14において、CPU14は、後述する警告処理を実行し、本サブルーチンを終了する。
Next, in step S12, the CPU 14 sets an elapsed time t = 0 and starts measuring the elapsed time t. When executing the process of step S12, the CPU 14 functions as a measuring unit.
Next, in step S14, the CPU 14 executes a warning process to be described later, and ends this subroutine.

図9は、居眠り警告装置において実行される警告処理のサブルーチンを示すフローチャートである。
まず、CPU14は、取得したオプティカルフローデータ(ステップS10参照)がROM16に記憶されている眼球動作パターンデータ(図4参照)のいずれかと一致するか否かを判断する(ステップS20)。オプティカルフローデータが眼球動作パターンデータのいずれにも一致しないと判断された場合、CPU14は、経過時間tが5秒以上であるか否かを判断する(ステップS22)。経過時間tが5秒以上であると判断した場合、CPU14は、取得したオプティカルフローデータが、ROM16に記憶されている頭部動作パターンデータ(図4参照)のいずれかと一致するか否かを判断する(ステップS24)。なお、本明細書中、オプティカルフローデータと動作パターンデータ(眼球動作パターンデータ、頭部動作パターンデータ)とが一致するとは、所定の処理により数値化したオプティカルフローデータと動作パターンデータとの値が所定の範囲内にある(類似度が高い)場合を含む。ステップS20及びステップS24の処理を実行するとき、CPU14は、判断手段として機能する。
FIG. 9 is a flowchart showing a subroutine of warning processing executed in the dozing alarm device.
First, the CPU 14 determines whether or not the obtained optical flow data (see step S10) matches any of the eye movement pattern data (see FIG. 4) stored in the ROM 16 (step S20). When it is determined that the optical flow data does not match any of the eye movement pattern data, the CPU 14 determines whether or not the elapsed time t is 5 seconds or more (step S22). When determining that the elapsed time t is 5 seconds or more, the CPU 14 determines whether or not the acquired optical flow data matches any of the head movement pattern data (see FIG. 4) stored in the ROM 16. (Step S24). In this specification, the optical flow data and the movement pattern data (eye movement pattern data, head movement pattern data) coincide with each other when the values of the optical flow data and the movement pattern data quantified by a predetermined process are calculated. This includes the case where it is within a predetermined range (high similarity). When executing the processing of step S20 and step S24, the CPU 14 functions as a determination unit.

ステップS24において取得したオプティカルフローデータが頭部動作パターンデータのいずれかと一致すると判断した場合、CPU14は、経過時間tが10秒以上であるか否かを判断する(ステップS26)。経過時間tが10秒以上ではないと判断した場合、CPU14は、レベル1の警告(スピーカ20からの警告音の出力)を行う(ステップS30)。一方、経過時間tが10秒以上であると判断した場合、CPU14は、経過時間tが15秒以上であるか否かを判断する(ステップS28)。経過時間tが15秒以上ではないと判断した場合、CPU14は、レベル2の警告(レベル1よりも大きな音量でのスピーカ20からの警告音の出力)を行う(ステップS32)。経過時間tが15秒以上であると判断した場合、CPU14は、レベル3の警告(レベル2よりも大きな音量の警告音と所定の警告メッセージとのスピーカ20からの出力)を行う(ステップS34)。ステップS30、ステップS32又はステップS34の処理を実行するとき、CPU14は、警告手段として機能する。 If it is determined that the optical flow data acquired in step S24 matches any of the head movement pattern data, the CPU 14 determines whether or not the elapsed time t is 10 seconds or more (step S26). When determining that the elapsed time t is not 10 seconds or more, the CPU 14 issues a level 1 warning (outputs a warning sound from the speaker 20) (step S30). On the other hand, when determining that the elapsed time t is 10 seconds or longer, the CPU 14 determines whether or not the elapsed time t is 15 seconds or longer (step S28). When determining that the elapsed time t is not 15 seconds or more, the CPU 14 issues a level 2 warning (output of a warning sound from the speaker 20 at a volume higher than level 1) (step S32). When determining that the elapsed time t is 15 seconds or more, the CPU 14 performs a level 3 warning (output of a warning sound having a volume larger than level 2 and a predetermined warning message from the speaker 20) (step S34). . When executing the process of step S30, step S32 or step S34, the CPU 14 functions as a warning means.

ステップS30、ステップS32又はステップS34の処理の後、CPU14は、確認入力があったか否かを判断する。この処理において、CPU14は、確認ボタン24が操作されることにより出力される警告中止要求信号を受信したか否かを判断する。確認入力があったと判断した場合、CPU14は、スピーカ20からの警告音(及び警告メッセージ)の出力を中止し(ステップS46)、処理をステップS48に移す。ステップS46の処理を実行するとき、CPU14は、警告中止手段として機能する。 After the process of step S30, step S32, or step S34, the CPU 14 determines whether or not there is a confirmation input. In this process, the CPU 14 determines whether or not a warning stop request signal output by operating the confirmation button 24 has been received. When determining that there is a confirmation input, the CPU 14 stops outputting the warning sound (and warning message) from the speaker 20 (step S46), and moves the process to step S48. When executing the process of step S46, the CPU 14 functions as a warning stopping unit.

ステップS20においてオプティカルフローデータが眼球動作パターンデータのいずれかに一致すると判断した場合、ステップS24においてオプティカルフローデータが頭部動作パターンデータのいずれにも一致しないと判断した場合、又は、ステップS46の処理の後、CPU14は、経過時間tをt=0にし(ステップS48)、本サブルーチンを終了する。 If it is determined in step S20 that the optical flow data matches any of the eye movement pattern data, if it is determined in step S24 that the optical flow data does not match any of the head movement pattern data, or the process of step S46 After that, the CPU 14 sets the elapsed time t to t = 0 (step S48), and ends this subroutine.

ステップS36において確認入力がなかったと判断した場合、CPU14は、レベル3の警告中であるか否かを判断する(ステップS38)。レベル3の警告中ではない場合、本サブルーチンを終了する。一方、レベル3の警告中であると判断した場合、CPU14は、ブレーキ装置70に自動車50を停止させるための停止信号を送信する(ステップS40)。ステップS40の処理を実行するとき、CPU14は、制動信号出力手段として機能する。停止信号を受信したブレーキ装置70では、ブレーキアクチュエータ78を動作させてホイルシリンダ73にブレーキ液圧を発生させ、制動力を発生させる。これにより、自動車50は減速を開始し、最終的に停止することとなる。従って、警告しても眠りから覚めない場合に事故が発生する確率を低減することができる。 If it is determined in step S36 that there is no confirmation input, the CPU 14 determines whether or not a level 3 warning is in progress (step S38). If the level 3 warning is not in progress, this subroutine is terminated. On the other hand, if it is determined that the warning of level 3 is being performed, the CPU 14 transmits a stop signal for stopping the automobile 50 to the brake device 70 (step S40). When executing the process of step S40, the CPU 14 functions as a braking signal output means. In the brake device 70 that has received the stop signal, the brake actuator 78 is operated to generate a brake fluid pressure in the wheel cylinder 73 to generate a braking force. Thereby, the automobile 50 starts to decelerate and finally stops. Therefore, it is possible to reduce the probability that an accident will occur if a warning does not wake up from sleep.

次に、ステップS42において、CPU14は、ランプ点灯制御装置80にハザードランプを点灯させるためのハザードランプ点灯指示信号を送信する。ステップS42の処理を実行するとき、CPU14は、自動車50が減速又は停止することを外部に報知する処理を行う報知手段として機能する。ハザードランプ点灯指示信号を受信したランプ点灯制御装置80では、ハザードランプが点灯される。従って、後続車の運転者は、この自動車50の動きに注意を払うことができ、追突してしまう等の二次災害を防止することが可能になる。 Next, in step S42, the CPU 14 transmits a hazard lamp lighting instruction signal for lighting the hazard lamp to the lamp lighting control device 80. When executing the process of step S42, the CPU 14 functions as a notifying means for performing a process of notifying the outside that the automobile 50 is decelerated or stopped. In the lamp lighting control device 80 that has received the hazard lamp lighting instruction signal, the hazard lamp is turned on. Accordingly, the driver of the succeeding vehicle can pay attention to the movement of the automobile 50 and can prevent a secondary disaster such as a rear-end collision.

次に、ステップS44において、CPU14は、緊急停止後処理を行う。この処理において、CPU12は、緊急停止をしたことを報知するメッセージをスピーカ20から出力する。そして、確認ボタン24からの入力信号があるまで待機し、入力信号があったことを条件として、ブレーキ装置70に対してブレーキを解除するための信号を送信するとともに、ランプ点灯制御装置80にハザードランプ点灯を中止するための信号を送信する。ステップS44の処理の後、本サブルーチンを終了する。 Next, in step S44, the CPU 14 performs post-emergency stop processing. In this process, the CPU 12 outputs a message for notifying that an emergency stop has occurred from the speaker 20. Then, it waits until there is an input signal from the confirmation button 24, and on the condition that there is an input signal, a signal for releasing the brake is transmitted to the brake device 70 and a hazard is given to the lamp lighting control device 80. Send a signal to stop the lamp lighting. After the process of step S44, this subroutine is terminated.

以上、居眠り警告装置10及び自動車50によれば、モニタカメラ22により運転者の顔面を含む少なくとも頭部を撮影して得られた映像データから、オプティカルフローデータを取得する。そして、このオプティカルフローデータと、予め記憶されている動作パターンデータ(眼球動作パターンデータ、頭部動作パターンデータ)とに基づいて、オプティカルフローデータが動作パターンデータのいずれかと一致するか否かにより、運転者が居眠りをしているか否かを判断し、運転者が居眠りをしていると判断したとき、運転者に警告をするための処理(警告音等の出力)が行われる。眼球の動作だけでなく、眼球の動作と頭部の動作とに基づいて運転者に警告を行うため、例えば、眼にゴミが入った場合のように、居眠りをしていない場合であるにも関わらず警告されるといったことを少なくすることができ、運転者が居眠りをしている場合にだけ的確に警告を行うとことができる。
また、眼球の動作が検出できないとき(例えば、運転者が眼鏡をかけているときや車内が著しく暗いとき)には、例えば、眼球の動作を用いずに頭部の上下動等を検出することにより、居眠りをしているか否かを判定することができる。従って、運転者や外部の状況による影響によって警告ができなくなる可能性を低減することができる。
As described above, according to the snoozing warning device 10 and the automobile 50, the optical flow data is acquired from the video data obtained by photographing at least the head including the driver's face by the monitor camera 22. And based on this optical flow data and pre-stored motion pattern data (eyeball motion pattern data, head motion pattern data), whether or not the optical flow data matches any of the motion pattern data, When it is determined whether or not the driver is asleep, and it is determined that the driver is asleep, a process for warning the driver (output of a warning sound or the like) is performed. In order to warn the driver not only based on the movement of the eyeball but also based on the movement of the eyeball and the movement of the head, for example, even when the eyes are dusty, Regardless of this, it is possible to reduce the number of warnings, and it is possible to give a warning accurately only when the driver is asleep.
In addition, when the movement of the eyeball cannot be detected (for example, when the driver is wearing spectacles or when the interior of the vehicle is extremely dark), for example, the vertical movement of the head is detected without using the movement of the eyeball. Thus, it can be determined whether or not the patient is dozing. Therefore, it is possible to reduce the possibility that the warning cannot be performed due to the influence of the driver or the external situation.

また、警告の解除入力があった場合に、警告を中止するため、運転者60は、解除入力の操作により自らが居眠り状態にあったことを強く認識することができる。また、警告の解除入力があった場合に、警告を中止するため、必要以上の警告が行われることにより、却って運転の妨げとなることを防止することができる。 In addition, since the warning is canceled when the warning cancellation input is received, the driver 60 can strongly recognize that he / she was in a dozing state by the operation of the cancellation input. In addition, when a warning canceling input is received, the warning is stopped, so that it is possible to prevent the operation from being hindered by giving more warnings than necessary.

また、居眠り警告装置10及び自動車50によれば、居眠りの期間に応じた警告をするための処理を行う。一般的に、居眠りの期間が長いほど、意識の低下のレベルが高い。従って、居眠りの期間に応じた警告をするための処理を行うことにより、意識の低下のレベルに応じて、より確実に運転者に警告することが可能になる。 Moreover, according to the dozing warning device 10 and the automobile 50, a process for giving a warning corresponding to the period of dozing is performed. In general, the longer the dozing period, the higher the level of consciousness loss. Therefore, by performing the process for giving a warning according to the period of dozing, it is possible to warn the driver more reliably according to the level of consciousness reduction.

本実施形態では、取得したオプティカルフローデータが、眼球動作パターンデータのいずれかに一致し、且つ、頭部動作パターンデータのいずれにも一致しない場合に、運転者に警告を行う場合について説明した。すなわち、本実施形態では、本発明における所定の条件が、眼球動作パターンデータのいずれかに一致し、且つ、頭部動作パターンデータのいずれにも一致しないこと、である場合について説明した。しかし、本発明における所定の条件は、運転者が居眠りをしているか否かを判定するための条件であれば、特に限定されず、変化態様データ(オプティカルフローデータ)が目蓋の動作パターンを示す目蓋動作パターンデータと一致すること、であってもよく、オプティカルフローデータが眼球動作パターンデータと目蓋動作パターンデータとの双方に一致するデータを含むものであり、且つ、頭部動作パターンデータのいずれも含まないものであること、であってもよい。 In the present embodiment, the case where the driver is warned when the acquired optical flow data matches any of the eye movement pattern data and does not match any of the head movement pattern data has been described. That is, in the present embodiment, a case has been described in which the predetermined condition according to the present invention matches any of the eyeball movement pattern data and does not match any of the head movement pattern data. However, the predetermined condition in the present invention is not particularly limited as long as it is a condition for determining whether the driver is asleep or not, and the change mode data (optical flow data) indicates the movement pattern of the eyelid. The optical flow data includes data that matches both the eyeball movement pattern data and the eyelid movement pattern data, and the head movement pattern. It may be that none of the data is included.

また、本実施形態では、運転者の頭部を撮像する場合について説明したが、本発明においては、運転者を撮像すればよく、例えば、運転者の手や足を撮像することとしてもよい。運転者の手を撮像することとする場合、運転者が直線の道路を走行する際にハンドルを微量操作して進路を修正する手の動作を、比較対象となる動作パターンデータとして記憶手段に記憶しておけばよい。また、運転者の足を撮像することとする場合、運転者が一定速度で走行する際にアクセルを微量操作して速度を修正する足の動作を、比較対象となる動作パターンデータとして記憶手段に記憶しておけばよい。 Further, in the present embodiment, the case of imaging the driver's head has been described. However, in the present invention, the driver may be imaged, for example, the driver's hands and feet may be imaged. When taking an image of the driver's hand, when the driver travels on a straight road, the operation of the hand that corrects the course by manipulating a small amount of the steering wheel is stored in the storage means as operation pattern data to be compared. You just have to. In addition, when imaging the driver's foot, when the driver travels at a constant speed, the operation of the foot that corrects the speed by operating the accelerator in a small amount is stored in the storage means as operation pattern data to be compared. Just remember.

本実施形態では、本発明における乗り物が自動車である場合について説明したが、本発明における乗り物は運転が運転するものであればこの例に限定されず、例えば、電車、船舶、潜水艦、航空機であってもよい。 In the present embodiment, the case in which the vehicle in the present invention is an automobile has been described. However, the vehicle in the present invention is not limited to this example as long as driving is performed, and examples thereof include trains, ships, submarines, and aircraft. May be.

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、各手段等の具体的構成は、適宜設計変更可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。 The embodiment of the present invention has been described above, but only specific examples are illustrated, and the present invention is not particularly limited. The specific configuration of each unit and the like can be appropriately changed. The effects described in the embodiments of the present invention are only the most preferable effects resulting from the present invention, and the effects of the present invention are limited to those described in the embodiments of the present invention. is not.

本発明の一実施形態に係る自動車を模式的に示す側面図である。1 is a side view schematically showing an automobile according to an embodiment of the present invention. 図1に示した自動車の上面図である。It is a top view of the motor vehicle shown in FIG. 図1に示した居眠り警告装置の内部構成を模式的に示すブロック図である。It is a block diagram which shows typically the internal structure of the dozing warning apparatus shown in FIG. 居眠り判定用動作パターンデータの一例を示す図である。It is a figure which shows an example of the operation pattern data for dozing determination. 眼球動作に係るオプティカルフローを説明するための図である。It is a figure for demonstrating the optical flow which concerns on an eyeball operation | movement. 頭部動作に係るオプティカルフローを説明するための図である。It is a figure for demonstrating the optical flow which concerns on head movement. 図1に示した自動車が備えるブレーキ装置の内部構成を模式的に示すブロック図である。It is a block diagram which shows typically the internal structure of the brake device with which the motor vehicle shown in FIG. 1 is provided. 居眠り警告装置において実行される居眠り判定処理のサブルーチンを示すフローチャートである。It is a flowchart which shows the subroutine of the dozing determination process performed in the dozing alarm device. 居眠り警告装置において実行される警告処理のサブルーチンを示すフローチャートである。It is a flowchart which shows the subroutine of the warning process performed in the dozing warning device.

符号の説明Explanation of symbols

10 居眠り警告装置
12 制御部
14 CPU
16 ROM
18 RAM
20 スピーカ
22 モニタカメラ
24 確認ボタン
26 通信用インターフェイス
50 自動車
52 ステアリングホイール
56 ダッシュボード
60 運転者
70 ブレーキ装置
72 ブレーキペダル
73 ホイルシリンダ
74 ブレーキ制御装置
75 ブレーキ
76 通信用インターフェイス
78 ブレーキアクチュエータ
80 ランプ点灯制御装置
10 dozing alarm device 12 control unit 14 CPU
16 ROM
18 RAM
20 Speaker 22 Monitor Camera 24 Confirmation Button 26 Communication Interface 50 Car 52 Steering Wheel 56 Dashboard 60 Driver 70 Brake Device 72 Brake Pedal 73 Wheel Cylinder 74 Brake Control Device 75 Brake 76 Communication Interface 78 Brake Actuator 80 Lamp Lighting Control Device

Claims (6)

運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、
前記撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、
前記変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、
前記変化態様データ取得手段により取得された変化態様データと前記記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、
前記判断手段により所定の条件を満たすと判断されたとき、運転者に警告をするための処理を行う警告手段と
を備えたことを特徴とする居眠り警告装置。
Imaging means for continuously imaging at least the head including the face of the driver;
Change mode data acquisition means for acquiring change mode data indicating a video change mode from video data obtained by imaging by the imaging unit;
Storage means for storing operation pattern data to be compared with change mode data acquired by the change mode data acquisition unit;
A determination unit that determines whether or not the change mode data satisfies a predetermined condition based on the change mode data acquired by the change mode data acquisition unit and the operation pattern data stored in the storage unit;
A drowsiness warning device comprising: warning means for performing processing for warning the driver when the judgment means judges that a predetermined condition is satisfied.
警告の解除を入力することが可能な解除入力手段と、
前記解除入力手段から警告の解除入力があった場合に、警告を中止する警告中止手段と
を備えたことを特徴とする請求項1に記載の居眠り警告装置。
A release input means for inputting a warning release;
The dozing warning device according to claim 1, further comprising warning canceling means for canceling a warning when a warning canceling input is received from the canceling input means.
制動手段を備えた乗り物に設けられた請求項1又は2に記載の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、前記乗り物を減速又は停止させる信号を前記制動手段に出力する制動信号出力手段を備えたことを特徴とする居眠り警告装置。
The dozing warning device according to claim 1 or 2, which is provided on a vehicle provided with braking means,
A brake signal output means is provided for outputting a signal for decelerating or stopping the vehicle to the braking means when there is no warning release input from the release input means within a predetermined period after the start of warning. A doze alarm device.
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、前記乗り物が減速又は停止することを外部に報知する処理を行う報知手段
を備えたことを特徴とする請求項3に記載の居眠り警告装置。
And a notification means for performing a process of notifying the vehicle that the vehicle decelerates or stops when there is no warning cancellation input from the cancellation input means within a predetermined period after the start of the warning. The dozing alarm device according to claim 3.
前記所定の条件が満たされていると前記判断手段により判断される期間を計測する計測手段を備え、
前記警告手段は、前記計測手段が計測した期間に応じた警告をするための処理を行うことを特徴とする請求項1〜4のいずれか1に記載の居眠り警告装置。
Measuring means for measuring a period determined by the determining means when the predetermined condition is satisfied,
The doze warning device according to any one of claims 1 to 4, wherein the warning means performs a process for giving a warning according to a period measured by the measurement means.
請求項1〜5のいずれか1に記載の居眠り警告装置を備えたことを特徴とする自動車。 An automobile comprising the drowsiness warning device according to any one of claims 1 to 5.
JP2007151959A 2007-06-07 2007-06-07 Drowsiness warning device and automobile Pending JP2008305190A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007151959A JP2008305190A (en) 2007-06-07 2007-06-07 Drowsiness warning device and automobile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007151959A JP2008305190A (en) 2007-06-07 2007-06-07 Drowsiness warning device and automobile

Publications (1)

Publication Number Publication Date
JP2008305190A true JP2008305190A (en) 2008-12-18

Family

ID=40233860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007151959A Pending JP2008305190A (en) 2007-06-07 2007-06-07 Drowsiness warning device and automobile

Country Status (1)

Country Link
JP (1) JP2008305190A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013008299A1 (en) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 Vehicle emergency withdrawal device
JP2014044707A (en) * 2012-08-01 2014-03-13 Nissan Motor Co Ltd Driver's emergency support device and driver's emergency support method
JP2016085563A (en) * 2014-10-24 2016-05-19 株式会社デンソー On-vehicle control device
EP2878508A4 (en) * 2012-07-24 2016-08-17 Toyota Motor Co Ltd DRIVER ASSISTING DEVICE
EP2878507A4 (en) * 2012-07-24 2016-08-31 Toyota Motor Co Ltd DRIVER ASSISTING DEVICE
JP2017060164A (en) * 2015-09-18 2017-03-23 株式会社東芝 Street information processing system, client and server applied to street information processing system, and methods and programs thereof
KR20180119258A (en) * 2017-04-25 2018-11-02 만도헬라일렉트로닉스(주) Driver state sensing system, driver state sensing method, and vehicle including thereof
JP2020047085A (en) * 2018-09-20 2020-03-26 いすゞ自動車株式会社 Vehicle monitoring device
JP7631852B2 (en) 2021-02-05 2025-02-19 マツダ株式会社 Driver State Estimation Device

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5316706B2 (en) * 2011-07-11 2013-10-16 トヨタ自動車株式会社 Emergency vehicle evacuation device
US9205816B2 (en) 2011-07-11 2015-12-08 Toyota Jidosha Kabushiki Kaisha Vehicle emergency evacuation device
WO2013008299A1 (en) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 Vehicle emergency withdrawal device
EP2878508A4 (en) * 2012-07-24 2016-08-17 Toyota Motor Co Ltd DRIVER ASSISTING DEVICE
EP2878507A4 (en) * 2012-07-24 2016-08-31 Toyota Motor Co Ltd DRIVER ASSISTING DEVICE
JP2014044707A (en) * 2012-08-01 2014-03-13 Nissan Motor Co Ltd Driver's emergency support device and driver's emergency support method
JP2016085563A (en) * 2014-10-24 2016-05-19 株式会社デンソー On-vehicle control device
US11070622B2 (en) 2015-09-18 2021-07-20 Kabushiki Kaisha Toshiba Street information processing system, client and server applied to street information processing system, and method and program of the same
JP2017060164A (en) * 2015-09-18 2017-03-23 株式会社東芝 Street information processing system, client and server applied to street information processing system, and methods and programs thereof
KR20180119258A (en) * 2017-04-25 2018-11-02 만도헬라일렉트로닉스(주) Driver state sensing system, driver state sensing method, and vehicle including thereof
US10369926B2 (en) 2017-04-25 2019-08-06 Mando Hella Electronics Corporation Driver state sensing system, driver state sensing method, and vehicle including the same
KR101950476B1 (en) * 2017-04-25 2019-04-29 만도헬라일렉트로닉스(주) Driver state sensing system, driver state sensing method, and vehicle including thereof
JP2020047085A (en) * 2018-09-20 2020-03-26 いすゞ自動車株式会社 Vehicle monitoring device
WO2020059800A1 (en) * 2018-09-20 2020-03-26 いすゞ自動車株式会社 Vehicular monitoring device
CN112740300A (en) * 2018-09-20 2021-04-30 五十铃自动车株式会社 vehicle monitoring device
US11403858B2 (en) 2018-09-20 2022-08-02 Isuzu Motors Limited Vehicular monitoring device
JP7180227B2 (en) 2018-09-20 2022-11-30 いすゞ自動車株式会社 Vehicle monitoring device
CN112740300B (en) * 2018-09-20 2023-07-07 五十铃自动车株式会社 Monitoring Devices for Vehicles
JP7631852B2 (en) 2021-02-05 2025-02-19 マツダ株式会社 Driver State Estimation Device

Similar Documents

Publication Publication Date Title
JP6341055B2 (en) In-vehicle control device
JP6331875B2 (en) In-vehicle control device
JP5288045B2 (en) Emergency vehicle evacuation device
JP2008305190A (en) Drowsiness warning device and automobile
JP6213282B2 (en) Driving assistance device
JP5527411B2 (en) Emergency vehicle evacuation device
US9558414B1 (en) Method for calculating a response time
CN106463065B (en) Driving incapability state detection device for driver
JP6593486B2 (en) In-vehicle control device and in-vehicle system
JP2016045714A (en) On-vehicle control device
WO2016021142A1 (en) Driver monitoring device
JP7047821B2 (en) Driving support device
JP2009244959A (en) Driving support device and driving support method
JP6730096B2 (en) Occupant condition monitoring device
JP6256433B2 (en) Driver status detection device
KR20150061943A (en) Device for detecting the status of the driver and method thereof
KR20170035035A (en) Apparatus and method for preventing drowsy driving
JP2019133488A (en) Driving support device and driving support method
JP2005087284A (en) Wakefulness determining device and wakefulness determining method
JP2021089652A (en) Driver monitor, driver state estimation method and program
KR20230159774A (en) Method and apparatus for emergency response
KR20130026857A (en) Apparatus for preventing dozing at the wheel
JP2024112588A (en) Driver monitor device, driver monitor method, and computer program for driver monitor
JP2023072268A (en) Driver state determination method and device
JP7393738B2 (en) Driver state estimation device