[go: up one dir, main page]

JP2008188108A - Arousal level estimation device - Google Patents

Arousal level estimation device Download PDF

Info

Publication number
JP2008188108A
JP2008188108A JP2007023262A JP2007023262A JP2008188108A JP 2008188108 A JP2008188108 A JP 2008188108A JP 2007023262 A JP2007023262 A JP 2007023262A JP 2007023262 A JP2007023262 A JP 2007023262A JP 2008188108 A JP2008188108 A JP 2008188108A
Authority
JP
Japan
Prior art keywords
precipitation
dozing
state
time
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007023262A
Other languages
Japanese (ja)
Inventor
Yoshiyuki Hatakeyama
善幸 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007023262A priority Critical patent/JP2008188108A/en
Publication of JP2008188108A publication Critical patent/JP2008188108A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】降水がある場合でも覚醒度を高精度に推定可能な覚醒度推定装置を提供することを課題とする。
【解決手段】被験者の覚醒度を推定する覚醒度推定装置1であって、被験者の覚醒度に応じて変化する特徴量を抽出する特徴量抽出手段12と、特徴量抽出手段12で抽出した特徴量に基づいて被験者の覚醒度を推定する推定手段13,14,15と、降水状態を検出する降水状態取得手段3,10とを備え、推定手段13,14,15は、降水状態取得手段3,10で検出した降水が多い場合には少ない場合に比べて被験者の覚醒度が高いと推定し易くすることを特徴とする。
【選択図】図1
An object of the present invention is to provide a wakefulness estimation device capable of estimating a wakefulness level with high accuracy even when there is precipitation.
A wakefulness estimation device (1) for estimating a degree of arousal of a subject, a feature amount extraction means (12) for extracting a feature quantity that changes in accordance with the degree of wakefulness of the subject, and a feature extracted by the feature amount extraction means (12). The estimation means 13, 14, 15 for estimating the degree of arousal of the subject based on the amount and the precipitation state acquisition means 3, 10 for detecting the precipitation state are provided. The estimation means 13, 14, 15 are the precipitation state acquisition means 3. , 10 is characterized in that it is easier to estimate that the degree of arousal of the subject is higher than when there is little precipitation detected.
[Selection] Figure 1

Description

本発明は、高精度に覚醒度を推定する覚醒度推定装置に関する。   The present invention relates to an arousal level estimation apparatus that estimates arousal level with high accuracy.

車両の運転者に安全な走行を行わせるために、運転者の眠気(覚醒度)を判定する装置が開発されている。眠気判定装置としては、例えば、心拍、脳波、瞬きなどから眠気に応じて変化する特徴量を抽出し、その特徴量を閾値と比較することによって眠気を判定するものがある。特に、特許文献1に示す装置では、天候情報を取得し、雨などの降水が激しくなるほど眠気が強くなると予測する。
特開2003−61939号公報 特開2002−219968号公報 特開2003−325489号公報 特開2002−127780号公報 特開2002−36905号公報
In order to make a driver of a vehicle perform safe driving, an apparatus for determining a driver's sleepiness (awakening level) has been developed. As a drowsiness determination device, for example, there is a device that extracts drowsiness by extracting a feature amount that changes according to drowsiness from heartbeat, brain waves, blinks, and the like, and compares the feature amount with a threshold value. In particular, the apparatus shown in Patent Document 1 acquires weather information and predicts that drowsiness becomes stronger as precipitation such as rain becomes more intense.
JP 2003-61939 A JP 2002-219968 A JP 2003-325489 A JP 2002-127780 A JP 2002-36905 A

しかし、降水がある場合、実際には、運転者は、その降水が外部からの刺激となり、その刺激によって居眠りし難くなる(覚醒度が高くなる)。したがって、特許文献1に示す装置では、降水がある場合、運転者が居眠りしていると誤判定する虞がある。   However, when there is precipitation, the driver actually becomes a stimulus from the outside, and the stimulus makes it difficult to fall asleep (the degree of arousal increases). Therefore, in the apparatus shown in Patent Document 1, when there is rain, there is a risk of erroneous determination that the driver is asleep.

そこで、本発明は、降水がある場合でも覚醒度を高精度に推定可能な覚醒度推定装置を提供することを課題とする。   Therefore, an object of the present invention is to provide a wakefulness estimation device capable of estimating the wakefulness with high accuracy even when there is rain.

本発明に係る覚醒度推定装置は、被験者の覚醒度を推定する覚醒度推定装置であって、被験者の覚醒度に応じて変化する特徴量を抽出する特徴量抽出手段と、特徴量抽出手段で抽出した特徴量に基づいて被験者の覚醒度を推定する推定手段と、降水状態を検出する降水状態検出手段とを備え、推定手段は、降水状態検出手段で検出した降水が多い場合には少ない場合に比べて被験者の覚醒度が高いと推定し易くすることを特徴とする。   The arousal level estimation device according to the present invention is a wakefulness level estimation device that estimates a subject's arousal level, and includes a feature amount extraction unit that extracts a feature amount that changes according to the subject's arousal level, and a feature amount extraction unit. The estimation means for estimating the awakening level of the subject based on the extracted feature amount and the precipitation state detection means for detecting the precipitation state, and the estimation means is small when there is a lot of precipitation detected by the precipitation state detection means. It is easy to estimate that the subject's arousal level is high compared to.

この覚醒度推定装置では、特徴量抽出手段により被験者の覚醒度(眠気)に応じて変化する特徴量を抽出する。覚醒度に応じて変化する特徴量は、例えば、心拍から抽出した特徴量、脳波から抽出した特徴量、呼吸から抽出した特徴量、瞬きから抽出した特徴量、唇の動きから抽出した特徴量、体の動き(背伸び、体ひねりなど)から抽出した特徴量である。そして、覚醒度推定装置では、推定手段により特徴量に基づいて被験者の覚醒度を推定する。特に、覚醒度推定装置では、降水状態検出手段により降水状態を検出する。降水は、大気中の水蒸気が変化して落下する現象であり、雨、雪、雹、霰などによる降水である。降水がある場合、路面状況や視界の変化などによって事故リスクが高くなったり、フロントガラスへの雨滴などの接触による視覚刺激が発生する。これらの要因が被験者に対して外部刺激となって特徴量(生理指標など)が変化し、被験者の覚醒度が高くなる(居眠りし難くなる)と推測できる。そこで、覚醒度推定装置は、推定手段により降水が多い場合には少ない場合に比べて被験者の覚醒度が高いと推定し易くする。このように、覚醒度推定装置では、降水がある場合、特徴量に対して通常より覚醒度が高く推定されるようにすることにより、降水による刺激によって特徴量が変化している状況でも覚醒度を高精度に推定することができる。   In this arousal level estimation device, a feature amount that changes in accordance with a subject's arousal level (sleepiness) is extracted by a feature amount extraction unit. The feature quantity that changes according to the arousal level is, for example, a feature quantity extracted from a heartbeat, a feature quantity extracted from an electroencephalogram, a feature quantity extracted from respiration, a feature quantity extracted from blink, a feature quantity extracted from lip movement, It is a feature quantity extracted from body movement (back stretch, body twist, etc.). In the awakening level estimation device, the awakening level of the subject is estimated based on the feature amount by the estimation unit. In particular, in the arousal level estimation device, the precipitation state is detected by the precipitation state detection means. Precipitation is a phenomenon in which water vapor in the atmosphere changes and falls, and is precipitation due to rain, snow, hail, hail and the like. When there is precipitation, the risk of accidents increases due to changes in road surface conditions and visibility, and visual stimulation occurs due to contact with raindrops on the windshield. It can be inferred that these factors are external stimuli for the subject, and the characteristic amount (physiological index, etc.) changes, and the subject's arousal level increases (becomes difficult to fall asleep). Therefore, the awakening level estimation device makes it easy to estimate that the awakening level of the subject is higher when the precipitation is high than when the precipitation level is low. In this way, in the awakening level estimation device, when there is precipitation, the awakening level is estimated to be higher than usual with respect to the characteristic amount, so that the awakening level can be improved even in a situation where the characteristic amount is changed due to a stimulus due to precipitation. Can be estimated with high accuracy.

本発明は、降水がある場合には覚醒度が高いと推定し易くすることにより、降水がある場合でも覚醒度を高精度に推定することができる。   The present invention makes it easy to estimate that the degree of arousal is high when there is precipitation, so that the degree of arousal can be estimated with high accuracy even when there is precipitation.

以下、図面を参照して、本発明に係る覚醒度推定装置の実施の形態を説明する。   Hereinafter, embodiments of an arousal level estimation apparatus according to the present invention will be described with reference to the drawings.

本実施の形態では、本発明に係る覚醒度推定装置を、車両に搭載され、運転者の居眠り状態を検出する居眠り検出装置に適用する。本発明に係る居眠り検出装置は、運転者の生理状態を表す指標を計測し、その指標から抽出した特徴量に基づいて居眠り状態(覚醒度が低い状態)を検出し、居眠り状態を検出した場合には運転者が居眠り状態であることを告知する。   In the present embodiment, the wakefulness estimation device according to the present invention is applied to a dozing detection device that is mounted on a vehicle and detects a driver's dozing state. When the dozing detection device according to the present invention measures an index representing a driver's physiological state, detects a dozing state (a state of low arousal level) based on a feature amount extracted from the index, and detects a dozing state Tells the driver that he is asleep.

ここで、降水と運転者の覚醒度(眠気)との関係について説明する。多数の運転者に対して運転中に居眠り状態となったときの天候について調査したところ、降雨や降雪などの降水があるときには居眠り状態になった運転者が少なく、晴天や曇天のときには居眠り状態になった運転者が多いという結果が得られた。特に、連続して降水が続く場合にはこの傾向が顕著になる。このように、降水のときに居眠り状態の発生率が低くなる(覚醒度が高くなる)要因としては、路面状況や視界状況などの変化によって事故の発生リスクが高くなることを運転者が認識しており、運転者が通常より注意を払って運転することやフロントガラスの雨滴などの接触による視覚刺激が運転者に与えられることが考えられる。この2つの要因は運転者に対して刺激として影響を与えるので、この刺激の影響によって運転者の生理状態が変化する。つまり、降水があるときの生理状態と降水がないときの生理状態とは異なる。このように生理状態が変化した結果、居眠りが起こり難くなる(覚醒度を高くする)と推測できる。したがって、生理指標(特徴量)に基づいて居眠り状態を検出する場合、降水の有無によって生理指標の変化に対する検出感度、すなわち居眠り状態の検出感度(判定条件)を変える必要があり、降水がない場合より検出感度を鈍くする必要がある。   Here, the relationship between precipitation and the driver's arousal level (sleepiness) will be described. When we investigated the weather when many drivers fell asleep during driving, few drivers fell asleep when there was rainfall such as rain or snowfall, and fell asleep during clear or overcast weather. The result that there were many drivers who became. This tendency is particularly noticeable when precipitation continues. In this way, the driver recognizes that the risk of accidents increases due to changes in road surface conditions and visibility conditions as a factor that reduces the incidence of dozing state during precipitation (the degree of arousal increases). Therefore, it is conceivable that the driver is more careful than usual and that the driver is given a visual stimulus by contact with raindrops on the windshield. Since these two factors affect the driver as a stimulus, the physiological state of the driver changes due to the influence of the stimulus. In other words, the physiological state when there is precipitation is different from the physiological state when there is no precipitation. As a result of the change in the physiological state in this way, it can be estimated that it becomes difficult for the patient to fall asleep (the degree of arousal is increased). Therefore, when detecting a dozing state based on physiological indices (features), it is necessary to change the detection sensitivity to changes in physiological indices, that is, the detection sensitivity (judgment condition) of the dozing state depending on the presence or absence of precipitation. It is necessary to lower the detection sensitivity.

図1〜図2を参照して、本実施の形態に係る居眠り検出装置1について説明する。図1は、本実施の形態に係る居眠り検出装置の構成図である。図2は、眠気レベル、降水がある場合と降水がない場合の居眠り判定用の特徴量の大きさ及び居眠り判定用の閾値の関係の一例を示すグラフである。   With reference to FIGS. 1-2, the dozing detection apparatus 1 which concerns on this Embodiment is demonstrated. FIG. 1 is a configuration diagram of a snoozing detection apparatus according to the present embodiment. FIG. 2 is a graph showing an example of the relationship between the drowsiness level, the size of the feature quantity for dozing determination when there is rain and when there is no precipitation, and the threshold value for dozing determination.

居眠り検出装置1は、運転者の眠気(覚醒度)に応じて変化する特徴量と居眠り判定用の閾値とを比較し、特徴量が閾値より大きくなった場合に居眠り状態と判定する。特に、居眠り検出装置1では、降水に関係なく居眠り状態を高精度に判定するために、居眠り判定用の閾値を可変とする。そのために、居眠り検出装置1は、指標計測手段2、降水状態取得手段3、出力手段4、ECU[Electronic Control Unit]5を備え、ECU5に降水有無判断部10、降水有無判断結果格納バッファ11、特徴量抽出部12、降水有無判断結果判定部13、居眠り検出部14、降水対応部15、居眠り検出有無判断部16、居眠り出力部17が構成される。   The dozing detection device 1 compares the feature amount that changes according to the driver's sleepiness (arousal level) with the threshold for dozing determination, and determines that the feature amount is larger than the threshold value, so that the dozing state is determined. In particular, in the dozing detection apparatus 1, in order to determine the dozing state with high accuracy regardless of precipitation, the threshold for dozing determination is made variable. For this purpose, the dozing detection apparatus 1 includes an index measurement unit 2, a precipitation state acquisition unit 3, an output unit 4, and an ECU [Electronic Control Unit] 5. The ECU 5 includes a precipitation presence / absence determination unit 10, a precipitation presence / absence determination result storage buffer 11, A feature amount extraction unit 12, a precipitation presence / absence determination result determination unit 13, a dozing detection unit 14, a precipitation handling unit 15, a dozing detection presence / absence determination unit 16, and a dozing output unit 17 are configured.

なお、本実施の形態では、降水状態取得手段3及び降水有無判断部10が特許請求の範囲に記載する降水状態検出手段に相当し、特徴量抽出部12が特許請求の範囲に記載する特徴量抽出手段に相当し、降水有無判断結果判定部13、居眠り検出部14及び降水対応部15が特許請求の範囲に記載する推定手段に相当する。   In the present embodiment, the precipitation state acquisition unit 3 and the precipitation presence / absence determination unit 10 correspond to the precipitation state detection unit described in the claims, and the feature amount extraction unit 12 includes the feature amounts described in the claims. Corresponding to the extraction means, the precipitation presence / absence judgment result determination section 13, the dozing detection section 14 and the precipitation handling section 15 correspond to the estimation means described in the claims.

指標計測手段2は、運転者の眠気を判断するための体調を表す各種指標を計測する手段である。指標計測手段2では、各指標を計測し、計測した指標を示す指標信号をECU5に送信する。指標計測手段2としては、例えば、心拍センサ、脳波センサ、脈波センサ、呼吸センサ、運転者の顔や体などを撮像するカメラとその撮像画像を処理する画像処理装置である。カメラを用いる手段では、撮像画像から運転者の顔の瞬き、唇の動きなどを検出したり、あるいは、運転者の体の背伸び、体のひねりなどを検出する。   The index measuring means 2 is a means for measuring various indices representing the physical condition for judging the driver's sleepiness. The index measuring means 2 measures each index and transmits an index signal indicating the measured index to the ECU 5. The index measuring means 2 is, for example, a heartbeat sensor, an electroencephalogram sensor, a pulse wave sensor, a respiration sensor, a camera that images the driver's face or body, and an image processing device that processes the captured image. The means using the camera detects the blink of the driver's face, the movement of the lips, etc. from the captured image, or detects the driver's body stretching, twisting of the body, and the like.

降水状態取得手段3は、雨や雪などによる降水状態を取得する手段であり、例えば、車両への雨滴量を直接検出する雨滴感知センサ、天候情報を外部から取得するためのVICS[Vehicle Information and Communication System]などである。降水状態取得手段3では、降水状態を取得し、その降水状態を示す降水状態信号をECU5に送信する。   The precipitation state acquisition means 3 is a means for acquiring a precipitation state due to rain, snow, etc. For example, a raindrop sensor for directly detecting the amount of raindrops on the vehicle, a VICS [Vehicle Information and VICS for acquiring weather information from the outside, etc. Communication System]. The precipitation state acquisition means 3 acquires the precipitation state and transmits a precipitation state signal indicating the precipitation state to the ECU 5.

出力手段4は、出力対象に対して運転者が居眠り状態であることや運転者に対して休息を促すような告知をするための手段あるいは運転者の覚醒度を高めるための手段である。出力手段4では、ECU5から出力信号を受信すると、各手段に応じた出力を行う。出力手段4としては、例えば、音で告知する手段(ブザー、オーディオ、ラジオ、クラクション)、光で告知する手段(メータ照明、室内照明)、触覚や温冷覚で告知する手段(シートに埋設した振動装置、エアコンの風や温度変化)、においで告知する手段(芳香剤の噴射)、システムへのコマンド出力である。出力対象としては、例えば、運転者、運転席以外に座っている乗員、トラックやタクシなどの営業車の運行を管理する管理者、車両制御システムである。   The output means 4 is a means for notifying the output target that the driver is asleep or for prompting the driver to rest or a means for increasing the driver's arousal level. When the output means 4 receives the output signal from the ECU 5, the output means 4 outputs according to each means. As the output means 4, for example, means for notifying by sound (buzzer, audio, radio, horn), means for notifying by light (meter lighting, room lighting), means for notifying by tactile sense or hot / cold sense (embedded in a sheet) Vibration device, air conditioner wind and temperature changes), smell notification means (fragrance injection), command output to the system. Examples of the output target include a driver, an occupant sitting outside the driver's seat, a manager who manages the operation of a business vehicle such as a truck or a taxi, and a vehicle control system.

ECU5は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]などからなり、居眠り検出装置1を統括制御する。ECU5では、起動すると、一定時間毎に指標計測手段2からの指標信号及び降水状態取得手段3からの降水状態信号を取り入れ、指標信号の指標及び降水状態信号の降水状態を各バッファに格納し、一定時間毎の時系列データとして保持する。また、ECU5では、ROMに格納される各プログラムをCPUで実行することによって各処理部10,12〜17を構成し、一定時間毎に各処理部10,12〜17の処理を行う。   The ECU 5 includes a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], and the like, and comprehensively controls the dozing detection device 1. When the ECU 5 is activated, it takes in the index signal from the index measuring means 2 and the precipitation state signal from the precipitation state acquisition means 3 at regular intervals, stores the indicator of the indicator signal and the precipitation state of the precipitation state signal in each buffer, It is stored as time-series data at regular intervals. Moreover, in ECU5, each process part 10,12-17 is comprised by running each program stored in ROM with CPU, and the process of each process part 10,12-17 is performed for every fixed time.

降水有無判断部10は、一定時間毎に、降水状態取得手段3で取得した降水状態に基づいて、降水があるか否かを判断する。例えば、雨滴量が所定量以上の場合に、降水があると判断する。この所定量としては、実験などによって設定され、運転者に対する刺激となり、生理状態を変化させる程度の雨滴量が設定される。そして、降水有無判断部10は、その判断結果を降水有無判断結果格納バッファ11に記憶させる。   The precipitation presence / absence determination unit 10 determines whether there is precipitation based on the precipitation state acquired by the precipitation state acquisition unit 3 at regular time intervals. For example, when the amount of raindrops is a predetermined amount or more, it is determined that there is precipitation. The predetermined amount is set by an experiment or the like, and a raindrop amount that is a stimulus to the driver and changes the physiological state is set. Then, the precipitation presence / absence determination unit 10 stores the determination result in the precipitation presence / absence determination result storage buffer 11.

降水有無判断結果格納バッファ11は、RAMの所定の領域に構成され、降水有無判断部10での降水有無の判断結果を時系列で格納するためのバッファである。   The precipitation presence / absence determination result storage buffer 11 is a buffer that is configured in a predetermined area of the RAM and stores the determination result of precipitation presence / absence in the precipitation presence / absence determination unit 10 in time series.

特徴量抽出部12は、指標計測手段2で計測した各指標から居眠り状態を判定するための特徴量を抽出する。抽出される特徴量は、眠気(覚醒度)に応じて変化するパラメータであり、眠気が強くなるほど値が大きくなるように設定される。さらに、特徴量抽出部12は、各指標の特徴量から居眠り状態を判定するための閾値THの基本値を求める。 The feature quantity extraction unit 12 extracts a feature quantity for determining a doze state from each index measured by the index measurement unit 2. The extracted feature amount is a parameter that changes according to sleepiness (awakening level), and is set so that the value increases as sleepiness increases. Further, the feature extraction unit 12 obtains the basic value of the threshold TH 2 for determining the dozing state from the feature of each indicator.

ここでは、特徴量を抽出する一例として心拍センサで計測された心拍から特徴量を抽出する場合について説明する。まず、特徴量抽出部12では、心拍の時系列データにバンドパスフィルタ処理を施し、心拍の時系列データから所定の通過帯域(例えば、0.1Hz〜30Hz)の成分を取り出す。次に、特徴量抽出部12では、心拍の時系列データから心拍タイミング検出用の閾値TH以上となっている波形部分を切り出す。そして、特徴量抽出部12では、切り出した波形部分が最大となるタイミングを1とし、他のタイミングを0として2値化する。次に、特徴量抽出部12では、2値化した1となる各心拍タイミングtから次の1となる心拍タイミングti+1までの時間を求め、その時間間隔(ti+1−t)を各心拍タイミングtに付与する。この各心拍タイミングtに付与される時間情報が、心拍周期の情報となる。次に、特徴量抽出部12では、心拍周期の情報を補完して心拍周期の曲線を求め、心拍周期の時系列データを得る。 Here, a case will be described in which feature amounts are extracted from heartbeats measured by a heartbeat sensor as an example of extracting feature amounts. First, the feature amount extraction unit 12 performs a band pass filter process on the time series data of the heartbeat, and extracts a component of a predetermined pass band (for example, 0.1 Hz to 30 Hz) from the time series data of the heartbeat. Next, the feature quantity extraction section 12 cuts out when the threshold TH 0 or more and going on corrugated portion for heartbeat timing detected from series data of the heartbeat. Then, the feature amount extraction unit 12 binarizes with the timing when the cut-out waveform portion is maximized as 1 and the other timing as 0. Next, the feature amount extraction unit 12 obtains a time from each heartbeat timing t i that is binarized 1 to the next heartbeat timing t i + 1 that becomes 1, and sets the time interval (t i + 1 −t i ) for each time interval. It is applied to the heart rate timing t i. Time information given to the each heartbeat timing t i becomes the information of the cardiac cycle. Next, the feature amount extraction unit 12 obtains a heartbeat period curve by complementing the information of the heartbeat period, and obtains time-series data of the heartbeat period.

次に、特徴量抽出部12では、任意のタイムスタンプである基準時間Tより前の解析単位区間幅Ttermにおける心拍周期の時系列データに対して高速フーリエ変換処理を施す。次に、特徴量抽出部12では、高速フーリエ変換によって解析単位区間幅Tterm毎に得られたパワースペクトルにおいて予め設定した周波数帯帯域毎に振幅パワースペクトルに対して積分処理を施す。周波数帯帯域は、計測される心拍についてゆらぎ(変化)が強く現れる周波数帯帯域とすればよい。そして、特徴量抽出部12では、一定時間が経過して基準時間Tになる毎に、解析単位区間幅Ttermにおける心拍周期の時系列データに対して高速フーリエ変換処理を施し、解析単位区間幅Tterm毎に振幅パワースペクトルに対して積分処理を施す。ここで得られる振幅スペクトルパワーの時系列データが、心拍ゆらぎの時系列データである。   Next, the feature amount extraction unit 12 performs fast Fourier transform processing on time-series data of the heartbeat period in the analysis unit section width Tterm before the reference time T that is an arbitrary time stamp. Next, the feature amount extraction unit 12 performs an integration process on the amplitude power spectrum for each preset frequency band in the power spectrum obtained for each analysis unit interval width Tterm by fast Fourier transform. The frequency band may be a frequency band in which fluctuations (changes) appear strongly with respect to the measured heartbeat. Then, the feature amount extraction unit 12 performs fast Fourier transform processing on the time-series data of the heartbeat period in the analysis unit section width Tterm every time a fixed time elapses and reaches the reference time T, thereby obtaining the analysis unit section width Tterm. Every time, the integration processing is performed on the amplitude power spectrum. The time series data of the amplitude spectrum power obtained here is the time series data of heartbeat fluctuation.

次に、特徴量抽出部12では、心拍ゆらぎの時系列データに対して微分処理を施す。次に、特徴量抽出部12では、現在時刻tからtd前の時刻を終端とする解析区間幅Aを設定する。そして、特徴量抽出部12では、解析区間幅Aでの心拍ゆらぎの微分値の時系列データの平均値meanと標準偏差sdを算出し、式(1)により閾値THを算出する。 Next, the feature amount extraction unit 12 performs a differentiation process on the time series data of heartbeat fluctuation. Next, the feature amount extracting unit 12 sets an analysis section width A to terminate td before time from the current time t 0. Then, the feature quantity extraction section 12 calculates an average value mean and the standard deviation sd of the time-series data of the differential value of the heartbeat fluctuation of the analysis section width A, and calculates the threshold value TH 1 by the equation (1).

Figure 2008188108
Figure 2008188108

平均値meanから標準偏差sdの3倍離れた値を閾値THに設定するで、心拍ゆらぎ微分値が閾値THを超えることは99%あり得ないことになり、統計的に有意差のある心拍ゆらぎの特徴的変化を検出することができる。 By setting the three-fold away the standard deviation sd from the mean value mean the threshold value TH 1, the heartbeat fluctuation differential value exceeds the threshold value TH 1 will be impossible 99%, a statistically significant difference A characteristic change of heartbeat fluctuation can be detected.

次に、特徴量抽出部12では、各時刻毎に心拍ゆらぎの微分値が閾値THを超えたか否かを判定する。現在時刻tから過去に遡って一定時間に、心拍ゆらぎの微分値が閾値THを超えていない場合、特徴量抽出部12では、次の時刻t0+1において閾値THを更新する。一方、現在時刻tから過去に遡って一定時間に、心拍ゆらぎの微分値が閾値THを超えている場合、特徴量抽出部12では、次の時刻t0+1において閾値THを更新せずに、閾値THとして現在時刻tの閾値THを維持する。これによって、閾値THを超えた心拍ゆらぎの微分値を閾値設定に用いることを防止し、運転者の眠気の変化を精度良く判定することが可能となる。 Next, the feature amount extraction unit 12 determines whether the differential value of the heartbeat fluctuation exceeds a threshold value TH 1 for each time. Constant time prior to the current time t 0 in the past, if the differential value of the heartbeat fluctuation does not exceed the threshold value TH 1, the feature amount extraction unit 12, and updates the threshold value TH 1 at the next time t 0 + 1. On the other hand, a certain time prior to the current time t 0 in the past, if the differential value of the heartbeat fluctuation exceeds the threshold value TH 1, the feature amount extraction unit 12, without updating the threshold TH 1 at the next time t 0 + 1 In addition, the threshold value TH 1 at the current time t 0 is maintained as the threshold value TH 1 . This prevents the use of the differential value of the heartbeat fluctuation exceeding the threshold value TH 1 to the threshold setting, it becomes possible to accurately determine the change in the driver drowsiness.

次に、特徴量抽出部12では、各周波数帯について、心拍ゆらぎの微分値が閾値THを超えた有無を判断する。そして、特徴量抽出部12では、所定の時間間隔毎に、閾値THを超えた心拍ゆらぎの特徴的変化をカウントし、閾値超え密度の時系列データを求める。この閾値超え密度の時系列データは、心拍ゆらぎの特徴的変化の発生頻度であり、居眠り状態を判定するための最終的な特徴量である。 Next, the feature amount extraction unit 12, for each frequency band, determines whether the differential value of the heartbeat fluctuation exceeds a threshold value TH 1. Then, the feature amount extraction unit 12, a predetermined time interval, counting the characteristic change of the heartbeat fluctuation exceeding the threshold value TH 1, obtaining the time-series data of the above threshold density. The time-series data of the density exceeding the threshold is the occurrence frequency of the characteristic change of the heartbeat fluctuation, and is the final feature amount for determining the dozing state.

次に、特徴量抽出部12では、閾値超え密度の時系列データから時系列データの前半の特定区間Aの時系列データを取り出す。そして、特徴量抽出部12では、特定区間Aにおける時系列データから閾値超え密度最大値MMを抽出し、式(2)により閾値THを算出する。この式(2)で求められる閾値THは、居眠り状態を判定するための閾値の基本値となる。 Next, the feature quantity extraction unit 12 extracts time-series data of the specific section A in the first half of the time-series data from the time-series data having the density exceeding the threshold. Then, the feature amount extraction unit 12 extracts the above threshold density maximum value MM from time-series data in a specific section A, calculates a threshold value TH 2 by the equation (2). Threshold TH 2 obtained by the formula (2) is a basic value of the threshold value for determining the dozing state.

Figure 2008188108
Figure 2008188108

scaleは任意の実数であり、paramは任意の変数(例1:MM、例2:特定区間Aにおける閾値超え密度の標準偏差)であり、scaleとparamの値は統計的に有意差のあるゆらぎの特徴的変化が検出されるように調整すればよい。   scale is an arbitrary real number, param is an arbitrary variable (example 1: MM, example 2: standard deviation of density exceeding threshold in specific interval A), and the values of scale and param are statistically significant fluctuations Adjustments may be made so that a characteristic change is detected.

降水有無判断結果判定部13は、降水有無判断結果格納バッファ11に格納されている降水有無の判断結果に基づいて、現在、降水があるか否かを判定する。降水がない場合、降水有無判断結果判定部13は、降水対応部15での処理を実行させずに、居眠り検出部14での処理を実行させる。一方、降水がある場合、降水有無判断結果判定部13では、降水対応部15での処理を実行させた後に、居眠り検出部14での処理を実行させる。   The precipitation presence / absence determination result determination unit 13 determines whether or not there is currently precipitation based on the determination result of precipitation presence / absence stored in the precipitation presence / absence determination result storage buffer 11. When there is no precipitation, the precipitation presence / absence determination result determination unit 13 causes the dozing detection unit 14 to execute processing without executing the processing in the precipitation handling unit 15. On the other hand, if there is precipitation, the precipitation presence / absence determination result determination unit 13 causes the precipitation handling unit 15 to execute processing and then causes the dozing detection unit 14 to execute processing.

居眠り検出部14は、特徴量抽出部12で抽出した各指標の特徴量が閾値THを超えているか否かを判定する。この閾値THとしては、降水対応部15での処理を実行している場合には降水対応部15で求めた閾値TH(補正値)を用い、降水対応部15での処理を実行していない場合には特徴量抽出部12で求めた閾値TH(基本値)を用いる。特徴量が閾値THを超えていない場合、居眠り検出部14は、居眠り状態ではない(覚醒度が高い)と判定する。特徴量が閾値THを超えた場合、居眠り検出部14は、閾値THを超えている時間を測定し、その測定時間が時間閾値THを超えている場合には居眠り状態(覚醒度が低い)と判定する。 Doze detecting section 14 determines whether the feature quantity of each indicator extracted by the feature amount extraction unit 12 exceeds the threshold value TH 2. As the threshold TH 2 , when the process in the precipitation handling unit 15 is executed, the threshold TH 2 (correction value) obtained by the precipitation handling unit 15 is used, and the process in the precipitation handling unit 15 is executed. If not, the threshold TH 2 (basic value) obtained by the feature quantity extraction unit 12 is used. When the characteristic amount does not exceed the threshold value TH 2, it determines doze detecting section 14 is not a doze state (high degree of awakening). When the characteristic amount exceeds the threshold value TH 2, doze detecting section 14 measures the time that has exceeded the threshold value TH 2, snooze state (awakening degree when the measured time exceeds the time threshold TH 3 Low).

ここでは、居眠り状態を検出する一例として上記した心拍の特徴量(閾値超え密度の時系列データ)を用いて居眠り状態を検出する場合について説明する。居眠り検出部14では、特徴量抽出部12で求めた心拍の閾値超え密度の時系列データから時系列データの前半の特定区間A以降の時系列データを取り出す。そして、居眠り検出部14では、特定区間A以降の時系列データにおいて閾値THを超えているか否かを判定する。閾値THを超えていない場合、居眠り検出部14では、居眠り状態でないと判定する。一方、閾値THを超えた場合、居眠り検出部14では、閾値THを超えている時間を測定する。この閾値THを超えているデータは、統計的に有意差のあるゆらぎの特徴的変化であり、眠気が強いことを示している。そして、居眠り検出部14では、閾値THを超えている時間が時間閾値THを超えているか否かを判定する。時間閾値THを超えていない場合、居眠り検出部14では、居眠り状態でないと判定する。一方、時間閾値THを超えた場合、居眠り検出部14では、運転者は居眠り状態と判定する。なお、閾値THを超えている時間は、連続的に超えている時間でもよいし、あるいは、所定時間内に離散的に超えている時間の積算時間でもよい。 Here, as an example of detecting the dozing state, a case where the dozing state is detected using the above-described heartbeat feature amount (time-series data of density exceeding the threshold) will be described. The dozing detection unit 14 extracts time series data after the specific section A in the first half of the time series data from the time series data of the density exceeding the threshold value of the heart rate obtained by the feature amount extraction unit 12. Then, in the doze detecting section 14 determines whether or exceeds the threshold value TH 2 at the time series data after specific section A. If it does not exceed the threshold value TH 2, the doze detecting section 14 determines that not doze state. On the other hand, if the threshold is exceeded TH 2, the doze detecting section 14 measures the time that has exceeded the threshold value TH 2. Data exceeds this threshold TH 2 is a characteristic change in the statistically a significant difference fluctuation indicates that drowsiness is strong. Then, it is determined whether the doze detecting section 14, the time exceeds the threshold value TH 2 exceeds the time threshold TH 3. If it does not exceed the time threshold TH 3, the doze detecting section 14 determines that not doze state. On the other hand, if it exceeds the time threshold value TH 3, the doze detecting section 14, the driver determines the doze state. The time exceeding the threshold value TH 2, the may be the time that has exceeded continuously, or may be integrated time of time that exceeds discretely within a predetermined time.

降水対応部15は、特徴量抽出部12で求めた閾値THの基本値に閾値補正量Bを加算し、その加算値を閾値THの補正値とする。閾値補正量Bは、複数の被験者に対する実験に基づいて、降水がある場合と降水がない場合における眠気の強さの変化と各指標の特徴量の大きさの変化との関係から予め設定される。降水がある場合、上記したように降水による刺激によって運転者の生理状態が変化し、特徴量が相対的に大きくなると予測できる。そこで、閾値THを大きくして、降水がない場合より居眠り状態を検出し難くする。 Precipitation corresponding unit 15 adds the threshold value correction amount B to the basic value of the threshold TH 2 obtained by the feature amount extraction unit 12 and the addition value becomes a correction value of the threshold TH 2. The threshold correction amount B is set in advance based on an experiment for a plurality of subjects based on the relationship between changes in the intensity of drowsiness in the presence of precipitation and in the absence of precipitation and the change in the feature amount of each index. . When there is precipitation, as described above, it can be predicted that the physiological state of the driver changes due to the stimulation by precipitation, and the feature amount becomes relatively large. Therefore, by increasing the threshold value TH 2, hard to detect dozing state than without precipitation.

ここでは、降水対応の一例として上記した心拍の特徴量を用いて閾値THを求める場合について説明する。降水対応部15では、特定区間Aにおける閾値超え密度最大値MMと心拍について設定されている閾値補正量Bを用いて、式(3)により閾値THを算出する。この式(3)で求められる閾値THは、居眠り状態を判定するための閾値の補正値となる。 Here, the case of obtaining the threshold value TH 2 by using the feature amount of the heartbeat described above as an example of the precipitation correspondence. The rainfall corresponding section 15, by using the threshold value correction amount B set for above threshold density maximum value MM and heart in a specific section A, calculates a threshold value TH 2 by the equation (3). Threshold TH 2 obtained by the formula (3) is a correction value of the threshold value for determining the dozing state.

Figure 2008188108
Figure 2008188108

ここでは、閾値TH(補正値)を式(3)で求めたが、式(2)で求めた閾値TH(基本値)に閾値補正量Bを加算してもよい。 Here, the threshold value TH 2 (correction value) is obtained by Expression (3), but the threshold value correction amount B may be added to the threshold value TH 2 (basic value) obtained by Expression (2).

居眠り検出有無判断部16は、居眠り検出部14で居眠り状態を検出したか否かを判断する。居眠り検出部14で居眠り状態を検出していない場合、居眠り検出有無判断部16は、居眠り出力部17での処理を実行させない。一方、居眠り検出部14で居眠り状態を検出した場合、居眠り検出有無判断部16では、居眠り出力部17での処理を実行させる。   The dozing detection presence / absence determination unit 16 determines whether the dozing detection unit 14 has detected a dozing state. When the dozing state is not detected by the dozing detection unit 14, the dozing detection presence / absence determination unit 16 does not execute the process in the dozing output unit 17. On the other hand, when the dozing state is detected by the dozing detection unit 14, the dozing detection presence determination unit 16 causes the dozing output unit 17 to execute processing.

居眠り出力部17は、居眠り状態であることを告知するために、出力信号を出力手段4に送信する。   The dozing output unit 17 transmits an output signal to the output unit 4 in order to notify that the dozing state is in the dozing state.

図2には、運転中の運転者の眠気レベルF(一点鎖線)、降水がない場合の特徴量C(実線)と降水がある場合の特徴量C’(破線)、基本値の閾値TH(実線)と補正値の閾値TH’(破線)の時間変化の一例を示している。眠気レベルFは、運転者の顔の画像に基づく眠気の官能評価で求められる眠気のレベルであり、D0〜D5までの6段階で表され、D0が最も弱く(覚醒度が最も高い状態)であり、D5が最も強い(覚醒度が最も低い状態)。特徴量は、眠気が強いときに大きくなるような特徴量である。特に、降水がある場合、特徴量C’は、降水がない場合の特徴量Cに比較し、相対的に大きくなる。 FIG. 2 shows the drowsiness level F (dotted line) of the driver during driving, the characteristic amount C (solid line) when there is no precipitation, the characteristic amount C ′ (dashed line) when there is precipitation, and the threshold TH 2 of the basic value. An example of a time change between the (solid line) and the threshold value TH 2 ′ (broken line) of the correction value is shown. The sleepiness level F is a sleepiness level obtained by sensory evaluation of sleepiness based on a driver's face image, and is expressed in six stages from D0 to D5, with D0 being the weakest (state of highest arousal). Yes, D5 is the strongest (state with the lowest arousal level). The feature amount is a feature amount that increases when sleepiness is strong. In particular, when there is precipitation, the feature value C ′ is relatively larger than the feature value C when there is no precipitation.

降水がある場合、特徴量C’が大きくなるので、閾値THを基本値のまま維持すると、符号A1で示す箇所において特徴量C’が閾値TH(基本値)を所定時間超え、居眠り状態が検出される。この箇所では運転者の眠気レベルFは実際には弱いが、閾値TH(基本値)に基づく判定では居眠り状態が誤検出される。 When there is precipitation, the feature value C ′ increases. Therefore, if the threshold value TH 2 is maintained at the basic value, the feature value C ′ exceeds the threshold value TH 2 (basic value) for a predetermined time at the location indicated by the reference symbol A1, and the doze state Is detected. Although the driver's sleepiness level F is actually weak at this point, the dozing state is erroneously detected in the determination based on the threshold value TH 2 (basic value).

そこで、補正値の閾値TH’に変えると、符号A1で示す箇所において特徴量C’が閾値TH’(補正値)を超えないので、居眠り状態が検出されない。このように、運転者の眠気レベルFが弱いときには、閾値TH’(補正値)に基づく判定では居眠り状態が誤検出されない。一方、符号A2,A3で示す箇所では眠気レベルFが強くなってきており、それに対応して特徴量C’も大きくなり、この箇所において特徴量C’が閾値TH’(補正値)を離散的に超え、その超えたときの積算時間が所定時間超え、居眠り状態が検出される。このように、運転者の眠気レベルFが実際に強くなってきたときには、閾値TH’(補正値)に基づく判定でも居眠り状態が検出される。 Therefore, when the correction value is changed to the threshold value TH 2 ′, the feature amount C ′ does not exceed the threshold value TH 2 ′ (correction value) at the location indicated by the reference symbol A1, so that the dozing state is not detected. Thus, when the drowsiness level F of the driver is weak, the dozing state is not erroneously detected in the determination based on the threshold value TH 2 ′ (correction value). On the other hand, the drowsiness level F is increased at the locations indicated by the reference signs A2 and A3, and the feature value C ′ is also increased correspondingly. At this location, the feature value C ′ is discrete from the threshold value TH 2 ′ (correction value). The accumulated time when the time exceeds the predetermined time exceeds a predetermined time, and a dozing state is detected. Thus, when the driver's drowsiness level F actually increases, the dozing state is detected even in the determination based on the threshold value TH 2 ′ (correction value).

ここでは、眠気状態として検出する目標レベルとしては、眠気レベルのD2レベルとしている。したがって、降水時には閾値THを大きくしないと、眠気レベルのD2未満でも居眠り状態と検出してしまう。しかし、降水時には閾値THを大きくすることによって、眠気レベルD2未満での誤検出を抑制することができる。 Here, the target level detected as the sleepiness state is the D2 level of the sleepiness level. Therefore, at the time of rainfall when not increase the threshold TH 2, be less than drowsiness level D2 will detect a doze state. However, by increasing the threshold value TH 2 at the time of rainfall, it is possible to suppress erroneous detection of less than drowsiness level D2.

図1を参照して、居眠り検出装置1の動作について説明する。特に、ECU5における処理については図3にフローチャートに沿って説明する。図3は、図1のECUにおける処理の流れを示すフローチャートである。   With reference to FIG. 1, operation | movement of the dozing detection apparatus 1 is demonstrated. In particular, the processing in the ECU 5 will be described with reference to the flowchart in FIG. FIG. 3 is a flowchart showing the flow of processing in the ECU of FIG.

運転者がエンジンを始動すると、居眠り検出装置1が起動する。そして、居眠り検出装置1では、起動後、以下の動作を繰り返し行う。   When the driver starts the engine, the dozing detection device 1 is activated. And the dozing detection apparatus 1 repeats the following operations after activation.

降水状態取得手段3では、降水状態を取得し、その取得した降水状態を降水状態信号としてECU5に送信する。ECU5では、降水状態信号を受信し、降水状態のデータを所定のバッファに格納する(S1)。そして、ECU5では、その取得した降水状態に基づいて、現在、降水があるか否かを判断し、その判断結果を降水有無判断結果格納バッファ11に記憶させる(S2)。   The precipitation state acquisition means 3 acquires the precipitation state and transmits the acquired precipitation state to the ECU 5 as a precipitation state signal. The ECU 5 receives the precipitation state signal and stores the precipitation state data in a predetermined buffer (S1). Then, the ECU 5 determines whether or not there is currently precipitation based on the acquired precipitation state, and stores the determination result in the precipitation presence / absence determination result storage buffer 11 (S2).

指標計測手段2では、運転者から指標を計測し、その計測した値を指標信号としてECU5に送信する。ECU5では、指標信号を受信し、指標のデータを所定のバッファに格納する(S3)。これによって、指標の時系列データが生成されてゆく。そして、ECU5では、指標の時系列データから特徴量を抽出するとともに、その特徴量から居眠り状態判定用の閾値THの基本値を求める(S4)。 The index measuring means 2 measures an index from the driver and transmits the measured value to the ECU 5 as an index signal. The ECU 5 receives the index signal and stores the index data in a predetermined buffer (S3). Thereby, time-series data of the index is generated. Then, the ECU 5, extracts the feature amount from the time series data of the index to determine the basic values of the threshold TH 2 for determining the dozing state from the feature amount (S4).

ECU5では、降水有無判断結果に基づいて、現在、降水があるか否かを判定する(S5)。S5にて降水があると判定した場合、ECU5では、降水時の居眠り判定に対応するために、閾値THの基本値に閾値補正量Bを加算して閾値THの補正値を求める(S6)。 The ECU 5 determines whether or not there is currently precipitation based on the result of the presence or absence of precipitation (S5). If it is determined that there is no precipitation at S5, the ECU 5, to accommodate dozing determination during precipitation, obtaining a correction value of the threshold TH 2 by adding the threshold value correction amount B to the basic value of the threshold TH 2 (S6 ).

S5にて降水がないと判定した場合又はS6の処理を実行すると、ECU5では、特徴量が閾値THを超えるか否かを判定する(S7)。S6の処理を実行している場合(降水ありの場合)、閾値THとしては補正値(大きい値)であり、居眠り状態の検出レベルが通常より厳しくなっている。S6の処理を実行していない場合(降水なしの場合)、閾値THとして基本値(小さい値)であり、居眠り状態の検出レベルが通常レベルである。特徴量が閾値THを超えていない場合、ECU5は、居眠り状態ではないと判定する(S7)。特徴量が閾値THを超えている場合、ECU5では、閾値THを超えている時間が時間閾値THを超えている場合には居眠り状態検出と判定し、時間閾値THを超えていない場合には居眠り状態でないと判定する(S7)。 When executing the processing in the case or S6 is determined that there is no precipitation in S5, it is determined whether or not the ECU 5, the feature amount exceeds a threshold value TH 2 (S7). When running the process in S6 (case with precipitation), as the threshold TH 2 is a correction value (large value), the detection level of the dozing state is stricter than usual. (Without precipitation) if not executing the processing of S6, a basic value as a threshold value TH 2 (low value), the detection level of the dozing state is normal level. When the characteristic amount does not exceed the threshold value TH 2, ECU 5 determines that it is not the doze state (S7). If the feature amount exceeds the threshold value TH 2, the ECU 5, when the time exceeds the threshold value TH 2 exceeds the time threshold TH 3 is determined to dozing state detection, does not exceed the time threshold TH 3 In this case, it is determined that the device is not in a dozing state (S7).

ECU5では、S7での処理での居眠り状態検出の有無を判定する(S8)。S8にて居眠り状態検出なしと判定した場合、ECU5では、今回の処理を終了し、一定時間経過後に次回の処理を行う。S8にて居眠り状態検出ありと判定した場合、ECU5では、出力信号を出力手段4に送信する(S9)。出力信号を受信すると、出力手段4では、運転者が居眠り状態であること知らせるための出力を行う。この出力によって、運転者が居眠り状態であることに気づきあるいは運転者以外の者が運転者が居眠り状態であることに知って運転者を喚起する。これによって、運転者の眠気が弱まってゆくか、あるいは、運転者が休息を取る。   The ECU 5 determines whether or not a dozing state is detected in the process at S7 (S8). If it is determined in S8 that no dozing state is detected, the ECU 5 ends the current process and performs the next process after a predetermined time has elapsed. If it is determined in S8 that the dozing state is detected, the ECU 5 transmits an output signal to the output means 4 (S9). When the output signal is received, the output means 4 performs an output for notifying that the driver is in a dozing state. By this output, the driver notices that the driver is dozing, or a person other than the driver knows that the driver is dozing and alerts the driver. As a result, the sleepiness of the driver is weakened or the driver takes a rest.

この居眠り検出装置1によれば、降水がある場合には居眠り状態を通常より検出し難くすることにより、降水による刺激によって運転者の特徴量が大きくなっている状況でも居眠り状態の誤検出を抑制でき、居眠り検出精度が向上する。また、居眠り検出装置1によれば、居眠り判定用の閾値THを変更するだけの簡単な方法により、居眠り状態を通常より検出し難くすることができる。 According to this drowsiness detection device 1, by making it difficult to detect a dozing state than usual when there is rain, it is possible to suppress erroneous detection of a dozing state even in a situation where a driver's feature amount is increased due to a stimulus due to precipitation. This improves the accuracy of detection of falling asleep. Further, according to the doze detecting device 1, the simple way simply by changing the threshold value TH 2 for determination dozing it can be difficult to detect the dozing state than normal.

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。   As mentioned above, although embodiment which concerns on this invention was described, this invention is implemented in various forms, without being limited to the said embodiment.

例えば、本実施の形態では車両の運転者の居眠りを判定する居眠り検出装置に適用したが、他の乗り物の運転者、各種プラントの監視者、夜間の従業者などの様々な人の居眠りを判定するために利用してもよい。   For example, in this embodiment, the present invention is applied to a drowsiness detection device that determines the drowsiness of a driver of a vehicle. However, the drowsiness of various people such as other vehicle drivers, various plant supervisors, and nighttime workers is determined. May be used to

また、本実施の形態では居眠り判定するための装置に適用したが、CD−ROMなどの記憶媒体に格納されたプログラムやインタネットなどのネットワークを介して利用可能なプログラムなどに適用し、このようなプログラムをコンピュータ上で実行することによって居眠りを判定する構成としてもよい。   In the present embodiment, the present invention is applied to a device for determining doze. However, the present invention is applied to a program stored in a storage medium such as a CD-ROM or a program that can be used via a network such as the Internet. It is good also as a structure which determines a dozing by running a program on a computer.

また、本実施の形態では心拍の特徴量を利用して居眠り状態を判定する一例を示したが、脳波、脈波、呼吸、瞬き、顔や体のアクションなどから求められる眠気(覚醒度)に応じて変化する特徴量を利用して居眠り状態を判定する構成としてもよいし、あるいは、これらの特徴量を幾つか組み合わせて居眠り状態を判定する構成としてもよい。また、心拍の特徴量の求める方法も、例で示した方法以外の方法も適用可能である。   In the present embodiment, an example of determining a doze state using the feature amount of the heartbeat has been described. However, the sleepiness (wakefulness) obtained from brain waves, pulse waves, breathing, blinking, face and body actions, and the like is shown. A configuration may be adopted in which a dozing state is determined using feature amounts that change in response, or a configuration in which a dozing state is determined by combining several of these feature amounts may be employed. In addition, a method other than the method shown in the example can be applied to the method for obtaining the heartbeat feature amount.

また、本実施の形態では降水対応処理として閾値THを降水のある場合とない場合とに応じて1段階だけ大きくする構成としたが、降水量に応じて閾値THを複数段階で大きくしてゆく構成としてもよい。つまり、降水量が多いほど、運転者に対する刺激が大きくなり、特徴量が大きく変化すると予測されるので、閾値補正量Bとして大きい値を設定する。 In the present embodiment, the threshold TH 2 is increased by one step depending on whether the precipitation is present or not, but the threshold TH 2 is increased in a plurality of steps according to the amount of precipitation. It is good also as a structure to go. That is, the greater the amount of precipitation, the greater the driver's irritation and the greater the feature amount is predicted to change, so a larger value is set as the threshold correction amount B.

また、本実施の形態では特徴量に対する閾値THを変更することによって居眠り状態を検出し難くする構成としたが、居眠り状態を検出し難くする方法としては特徴量に対する閾値THを変更する以外の方法でも適用可能であり、例えば、特徴量が閾値THを超えた時間に対する時間閾値THを変更することによって居眠り状態を検出し難くするようにしてもよいし、特徴量を求めるときに居眠り状態と検出され難い特徴量として求めるようにしてもよい。 Also, except in this embodiment it has a configuration to make it difficult to detect the dozing state by changing the threshold value TH 2 for the feature quantity, which changes the threshold value TH 2 for the feature quantity as a way to make it difficult to detect a doze state also is applicable in the process, for example, may be difficult to detect the dozing state by changing the time threshold TH 3 versus time characteristic amount exceeds the threshold value TH 2, when determining the characteristic quantity You may make it obtain | require as a feature-value which is hard to be detected as a dozing state.

また、本実施の形態では特徴量から居眠り状態判定用の閾値THを求める構成としたが、閾値THを予め設定した値としてもよい。 In the present embodiment, the threshold TH 2 for determining the dozing state is obtained from the feature amount. However, the threshold TH 2 may be set in advance.

また、本実施の形態では居眠り状態(覚醒度が低い状態)か否か検出する構成としたが、覚醒度(眠気レベル)を段階的に推定する構成としてもよい。   Further, in the present embodiment, it is configured to detect whether or not it is a dozing state (a state of low arousal level), but it may be configured to estimate the arousal level (drowsiness level) step by step.

本実施の形態に係る居眠り検出装置の構成図である。It is a block diagram of the dozing detection apparatus which concerns on this Embodiment. 眠気レベル、降水がある場合と降水がない場合の居眠り判定用の特徴量の大きさ及び居眠り判定用の閾値の関係の一例を示すグラフである。It is a graph which shows an example of a drowsiness level, the magnitude | size of the feature-value for dozing determination in the case where there is precipitation, and the case where there is no precipitation, and the threshold value for dozing determination. 図1のECUにおける処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process in ECU of FIG.

符号の説明Explanation of symbols

1…居眠り検出装置、2…指標計測手段、3…降水状態取得手段、4…出力手段、5…ECU、10…降水有無判断部、11…降水有無判断結果格納バッファ、12…特徴量抽出部、13…降水有無判断結果判定部、14…居眠り検出部、15…降水対応部、16…居眠り検出有無判断部、17…居眠り出力部   DESCRIPTION OF SYMBOLS 1 ... Dozing detection apparatus, 2 ... Index measurement means, 3 ... Precipitation state acquisition means, 4 ... Output means, 5 ... ECU, 10 ... Presence / absence judgment part, 11 ... Presence / absence judgment result storage buffer, 12 ... Feature quantity extraction part , 13 ... Precipitation presence / absence determination result determination part, 14 ... Dozing detection part, 15 ... Precipitation corresponding part, 16 ... Dozing detection existence determination part, 17 ... Dozing output part

Claims (1)

被験者の覚醒度を推定する覚醒度推定装置であって、
被験者の覚醒度に応じて変化する特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量に基づいて被験者の覚醒度を推定する推定手段と、
降水状態を検出する降水状態検出手段と
を備え、
前記推定手段は、前記降水状態検出手段で検出した降水が多い場合には少ない場合に比べて被験者の覚醒度が高いと推定し易くすることを特徴とする覚醒度推定装置。
A wakefulness estimation device for estimating a subject's wakefulness,
Feature quantity extraction means for extracting feature quantities that change according to the degree of arousal of the subject;
Estimating means for estimating the arousal level of the subject based on the feature amount extracted by the feature amount extracting means;
A precipitation state detecting means for detecting the precipitation state,
The estimation means makes it easier to estimate that a subject's arousal level is higher when there is a lot of precipitation detected by the precipitation state detection means than when the precipitation level is low.
JP2007023262A 2007-02-01 2007-02-01 Arousal level estimation device Withdrawn JP2008188108A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007023262A JP2008188108A (en) 2007-02-01 2007-02-01 Arousal level estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007023262A JP2008188108A (en) 2007-02-01 2007-02-01 Arousal level estimation device

Publications (1)

Publication Number Publication Date
JP2008188108A true JP2008188108A (en) 2008-08-21

Family

ID=39748780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007023262A Withdrawn JP2008188108A (en) 2007-02-01 2007-02-01 Arousal level estimation device

Country Status (1)

Country Link
JP (1) JP2008188108A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009261516A (en) * 2008-04-23 2009-11-12 Toyota Motor Corp Estimation device for wakefulness level
JP2010134533A (en) * 2008-12-02 2010-06-17 Toyota Motor Corp Sleepiness detection device
JP2011065561A (en) * 2009-09-18 2011-03-31 Yupiteru Corp In-vehicle electronic equipment and program
US8140149B2 (en) 2008-07-04 2012-03-20 Toyota Jidosha Kabushiki Kaisha Drowsiness detector
JP2014021664A (en) * 2012-07-17 2014-02-03 Toyota Motor Corp Wobble determining device
JP2014504191A (en) * 2010-12-10 2014-02-20 ティーケー ホールディングス インク. Vehicle driver monitoring system
JP2016182242A (en) * 2015-03-26 2016-10-20 パイオニア株式会社 Drowsiness calculation device
JP2017148604A (en) * 2015-07-22 2017-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Method for predicting arousal level and arousal level prediction apparatus
JP2019093175A (en) * 2019-02-05 2019-06-20 パイオニア株式会社 Drowsiness calculation device
US10716502B2 (en) 2015-07-22 2020-07-21 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
JP2021003560A (en) * 2020-08-26 2021-01-14 パイオニア株式会社 Drowsiness calculation device

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009261516A (en) * 2008-04-23 2009-11-12 Toyota Motor Corp Estimation device for wakefulness level
US8823792B2 (en) 2008-04-23 2014-09-02 Toyota Jidosha Kabushiki Kaisha Wakefulness level estimation apparatus
US8140149B2 (en) 2008-07-04 2012-03-20 Toyota Jidosha Kabushiki Kaisha Drowsiness detector
JP2010134533A (en) * 2008-12-02 2010-06-17 Toyota Motor Corp Sleepiness detection device
JP2011065561A (en) * 2009-09-18 2011-03-31 Yupiteru Corp In-vehicle electronic equipment and program
JP2014504191A (en) * 2010-12-10 2014-02-20 ティーケー ホールディングス インク. Vehicle driver monitoring system
JP2014021664A (en) * 2012-07-17 2014-02-03 Toyota Motor Corp Wobble determining device
JP2016182242A (en) * 2015-03-26 2016-10-20 パイオニア株式会社 Drowsiness calculation device
JP2017148604A (en) * 2015-07-22 2017-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Method for predicting arousal level and arousal level prediction apparatus
US10716502B2 (en) 2015-07-22 2020-07-21 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
US11045127B2 (en) 2015-07-22 2021-06-29 panasonic intellectual property Method for predicting arousal level and arousal level prediction apparatus
US11412970B2 (en) 2015-07-22 2022-08-16 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
US11744497B2 (en) 2015-07-22 2023-09-05 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
US12144626B2 (en) 2015-07-22 2024-11-19 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
JP2019093175A (en) * 2019-02-05 2019-06-20 パイオニア株式会社 Drowsiness calculation device
JP2021003560A (en) * 2020-08-26 2021-01-14 パイオニア株式会社 Drowsiness calculation device

Similar Documents

Publication Publication Date Title
JP2008188108A (en) Arousal level estimation device
CN101686816B (en) Sleepiness judging device
KR101384439B1 (en) Device for judging degree of awakening and method for judging degree of awakening
US8576081B2 (en) Physiological condition estimation device and vehicle control device
US8427326B2 (en) Method and system for detecting the physiological onset of operator fatigue, drowsiness, or performance decrement
US8823792B2 (en) Wakefulness level estimation apparatus
CN102098955B (en) Method and device for the detection of microsleep events
JP6387892B2 (en) Sleepiness detection device
JP5447657B2 (en) Biological condition determination device
SE535765C2 (en) Vehicles with a safety system with prediction of driver fatigue
JP5045492B2 (en) Awakening level estimation device
JP4701694B2 (en) Arousal level determination device and arousal level determination method
CN105072986A (en) Driving assistance device, driving assistance method, information-providing device, information-providing method, navigation device and navigation method
JP4529394B2 (en) Driver's vehicle driving characteristic estimation device
JP2015033457A (en) Driving state estimation device and driving state estimation method
JP5333284B2 (en) Biological condition determination device
JP4910547B2 (en) Sleepiness determination apparatus and sleepiness determination program
JP2012061222A (en) Driver condition estimating device
JP4867215B2 (en) Physiological / psychological state determination device, physiological / psychological state determination method, reference data generation device, and reference data generation method.
JP2010184067A (en) Biological state prediction device
JP4811255B2 (en) State estimation device
JP2008099884A (en) State estimation device
JPH09154835A (en) Snooze detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100114

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110322