JP2002279411A

JP2002279411A - 運転注意力検出装置および居眠り運転検出装置

Info

Publication number: JP2002279411A
Application number: JP2001082904A
Authority: JP
Inventors: Masayuki Kaneda; 雅之金田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-03-22
Filing date: 2001-03-22
Publication date: 2002-09-27
Anticipated expiration: 2021-03-22
Also published as: JP3812355B2

Abstract

(57)【要約】【課題】運転注意力や居眠り検出精度を向上させる。【解決手段】ＴＶカメラ７により運転者５の顔画像を
撮影し、この画像全体から眼の位置位置検出回路１５に
より眼の位置を検出する。撮影した各画像データ毎に、
眼の位置検出回路１５による眼の検出が成功したかどう
かを判定し、その成功回数をカウントアップし、タイマ
により計測された所定時間に対する前記カウントアップ
した眼の検出ＯＫ数、すなわち眼の検出ＯＫ率を、眼の
検出ＯＫ時間率演算回路１９が演算する。この眼の検出
ＯＫ率の演算結果から、運転注意力検出回路２１が運転
者の注意力を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、運転者の顔の画
像データを処理して運転注意力や居眠り状態を検出する
運転注意力検出装置および居眠り運転検出装置に関す
る。

【０００２】

【従来の技術】従来の居眠り運転検出装置としては、例
えば特開平１０−４０３６１号や特開平１０−１４３６
６９号公報に記載されたようなものがある。これら公報
記載のものは、運転者の顔画像から眼の位置を検出し、
その後、眼の追跡をしながら開閉眼検出を行い、眼を閉
じている時間が所定以上になったことを判定して居眠り
状態を検出している。

【０００３】

【発明が解決しようとする課題】しかしながら、上記し
た従来の技術では、運転注意力が高く安全確認などを頻
繁に行っているような状況下では、顔の動きが大きくか
つ速くなるため、眼を正しく捉え続けることが難しくな
り、眼の検出精度や、眼の追跡精度が悪化することにな
る。このため、単位時間当たりで考えると、少ない開閉
眼判定結果や、誤った眼の開度値を用いた居眠り検出を
行わざるを得なくなり、居眠り検出精度を高く維持でき
なくなって、誤警報を発生する可能性がある。

【０００４】そこで、この発明は、運転注意力や居眠り
検出精度を向上させることを目的としている。

【０００５】

【課題を解決するための手段】前記目的を達成するため
に、請求項１の発明は、運転者の顔の画像データを処理
して運転注意力を検出する運転注意力検出装置におい
て、前記運転者の顔画像を撮影する画像撮影手段と、こ
の画像撮影手段が撮影した画像全体から眼の位置を検出
する眼の位置検出手段と、前記撮影した各画像データ毎
に、前記眼の位置検出手段による眼の検出が成功したか
どうかを判定し、その成功回数をカウントアップする眼
の検出ＯＫ数積算手段と、所定時間を計測する所定時間
計測手段と、この所定時間計測手段による所定時間計測
値に対する前記眼の検出ＯＫ数積算手段による眼の検出
ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する眼の検
出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手段の演
算結果から運転者の注意力を検出する運転注意力検出手
段とを有する構成としてある。

【０００６】請求項２の発明は、運転者の顔の画像デー
タを処理して運転注意力を検出する運転注意力検出装置
において、前記運転者の顔画像を撮影する画像撮影手段
と、この画像撮影手段が撮影した画像全体から眼の位置
を検出する眼の位置検出手段と、前記画像全体からの眼
の位置検出手段で検出した眼の位置を基準に少なくとも
片方の眼を含む領域を設定する所定領域設定手段と、こ
の所定領域設定手段が設定した所定領域内において眼の
位置を検出する所定領域内眼の位置検出手段と、前記撮
影した各画像データ毎に、前記所定領域内眼の位置検出
手段による眼の検出が成功したかどうかを判定し、その
成功回数をカウントアップする眼の検出ＯＫ数積算手段
と、所定時間を計測する所定時間計測手段と、この所定
時間計測手段による所定時間計測値に対する前記眼の検
出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づく
眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段と、
この眼の検出ＯＫ率演算手段の演算結果から運転者の注
意力を検出する運転注意力検出手段とを有する構成とし
てある。

【０００７】請求項３の発明は、請求項２の発明の構成
において、所定領域設定手段による所定領域の設定を、
マニュアル操作により解除する解除手段を設けた構成と
してある。

【０００８】請求項４の発明は、請求項２の発明の構成
において、所定領域設定手段による所定領域の設定を、
眼の検出ＯＫ率演算手段による眼の検出ＯＫ率の演算結
果により解除する解除手段を設けた構成としてある。

【０００９】請求項５の発明は、運転者の顔の画像デー
タを処理して運転注意力を検出する運転注意力検出装置
において、前記運転者の顔画像を撮影する画像撮影手段
と、この画像撮影手段が撮影した画像全体から眼の位置
を検出する眼の位置検出手段と、この眼の位置検出手段
で検出した眼の位置を基準に眼の追跡領域を設定し、前
記撮影した各画像データ毎に眼の追跡領域を更新する眼
の追跡処理手段と、この眼の追跡処理手段による眼の追
跡処理が正しく行われているかどうかを確認しながら眼
の追跡時間を積算していく眼の追跡時間積算手段と、所
定時間を計測する所定時間計測手段と、この所定時間計
測手段による所定時間計測値に対する前記眼の追跡時間
積算手段による眼の追跡時間積算値に基づく眼の追跡時
間率を演算する眼の追跡時間率演算手段と、この眼の追
跡時間率演算手段の演算結果から運転者の注意力を検出
する運転注意力検出手段とを有する構成としてある。

【００１０】請求項６の発明は、請求項１ないし５のい
ずれかの発明の構成において、運転注意力検出手段に車
両状態検出センサの信号を入力し、車両の走行状態に応
じて運転注意力判定基準を切り替えるようにした構成と
してある。

【００１１】請求項７の発明は、請求項１ないし６のい
ずれかの発明の構成において、運転注意力検出手段に個
人データの記憶内容を入力し、運転行動の個人情報に応
じて運転注意力判定基準を切り替えるようにした構成と
してある。

【００１２】請求項８の発明は、請求項１ないし７のい
ずれかの発明の構成において、運転注意力検出手段に車
室内光環境計測センサの信号を入力し、車室内の光環境
の悪化を推定して眼の検出ができないことを判定するよ
うにした構成としてある。

【００１３】請求項９の発明は、運転者の顔の画像デー
タを処理して居眠り運転を検出する居眠り運転検出装置
において、前記運転者の顔画像を撮影する画像撮影手段
と、この画像撮影手段が撮影した画像全体から眼の位置
を検出する眼の位置検出手段と、前記撮影した各画像デ
ータ毎に、前記眼の位置検出手段による眼の検出が成功
したかどうかを判定し、その成功回数をカウントアップ
する眼の検出ＯＫ数積算手段と、所定時間を計測する所
定時間計測手段と、この所定時間計測手段による所定時
間計測値に対する前記眼の検出ＯＫ数積算手段による眼
の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する
眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手
段の演算結果から運転者の注意力を検出する運転注意力
検出手段と、前記眼の位置検出手段により眼の位置検出
に成功したときに眼の開度値を算出する眼の開度値算出
手段と、この眼の開度値算出手段によって得られる値を
用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼
判定手段の開閉眼判定結果に基づいて、前記運転注意力
検出手段が検出した運転注意力に応じた居眠り検出を行
う居眠り運転検出手段とを有する構成としてある。

【００１４】請求項１０の発明は、運転者の顔の画像デ
ータを処理して居眠り運転を検出する居眠り運転検出装
置において、前記運転者の顔画像を撮影する画像撮影手
段と、この画像撮影手段が撮影した画像全体から眼の位
置を検出する眼の位置検出手段と、前記画像全体からの
眼の位置検出手段で検出した眼の位置を基準に少なくと
も片方の眼を含む領域を設定する所定領域設定手段と、
この所定領域設定手段が設定した所定領域内において眼
の位置を検出する所定領域内眼の位置検出手段と、前記
撮影した各画像データ毎に、前記所定領域内眼の位置検
出手段による眼の検出が成功したかどうかを判定し、そ
の成功回数をカウントアップする眼の検出ＯＫ数積算手
段と、所定時間を計測する所定時間計測手段と、この所
定時間計測手段による所定時間計測値に対する前記眼の
検出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づ
く眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段
と、この眼の検出ＯＫ率演算手段の演算結果から運転者
の注意力を検出する運転注意力検出手段と、前記所定領
域内眼の位置検出定手段により眼の検出に成功したとき
に眼の開度値を算出する眼の開度値算出手段と、この眼
の開度値算出手段によって得られる値を用いて開閉眼判
定を行う開閉眼判定手段と、この開閉眼判定手段の開閉
眼判定結果に基づいて、前記運転注意力検出手段が検出
した運転注意力に応じた居眠り検出を行う居眠り検出手
段とを有する構成としてある。

【００１５】請求項１１の発明は、運転者の顔の画像デ
ータを処理して居眠り運転を検出する居眠り運転検出装
置において、前記運転者の顔画像を撮影する画像撮影手
段と、この画像撮影手段が撮影した画像全体から眼の位
置を検出する眼の位置検出手段と、この眼の位置検出手
段で検出した眼の位置を基準に眼の追跡領域を設定し、
前記撮影した各画像データ毎に眼の追跡領域を更新する
眼の追跡処理手段と、この眼の追跡処理手段による眼の
追跡処理が正しく行われているかどうかを確認しながら
眼の追跡時間を積算していく眼の追跡時間積算手段と、
所定時間を計測する所定時間計測手段と、この所定時間
計測手段による所定時間計測値に対する前記眼の追跡時
間積算手段による眼の追跡時間積算値に基づく眼の追跡
時間率を演算する眼の追跡時間率演算手段と、この眼の
追跡時間率演算手段の演算結果から運転者の注意力を検
出する運転注意力検出手段と、眼の追跡処理が正しく行
われているときに眼の開度値を算出する眼の開度値算出
手段と、この眼の開度値算出手段によって得られる値を
用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼
判定手段の開閉眼判定結果に基づいて、前記運転注意力
検出手段が検出した運転注意力に応じた居眠り検出を行
う居眠り検出手段とを有する構成としてある。

【００１６】

【発明の効果】請求項１の発明によれば、所定時間にお
ける眼の検出ＯＫ率を演算して運転注意力を検出するよ
うにしたため、安全確認などによって顔が頻繁に動いて
いる状態を判定でき、運転注意力を高精度に検出するこ
とができる。

【００１７】請求項２の発明によれば、画像全体からの
眼の位置検出を初期状態に限定し、以降の処理は検出し
た眼を含む所定領域内で行うようにしたため、眼の位置
検出処理を短時間で行うことができ、眼の検出精度も向
上させることができる。

【００１８】請求項３の発明によれば、所定領域設定手
段による所定領域の設定をマニュアル操作による解除す
る解除手段を設け、画像全体からの眼の位置検出を任意
に行えるようにしたため、運転者の姿勢の崩れや、運転
者の交替などで眼の位置がズレてしまった場合に対応さ
せることができる。

【００１９】請求項４の発明によれば、所定領域設定手
段による所定領域の設定を眼の検出ＯＫ率の演算結果に
より解除する解除手段を設け、画像全体からの眼の位置
検出を自動的に行えるようにしたため、運転者の姿勢の
崩れや、運転者の交替などで眼の位置がズレてしまった
場合に対応させることができる。

【００２０】請求項５の発明によれば、画像全体からの
眼の位置検出を初期状態に限定し、以降の処理は眼の追
跡処理に切り替えるようにしたため、眼の検出処理を短
時間で行うことができ、請求項１およびび２で用いてい
る眼の検出ＯＫ率と同等の意味合いを持つ眼の追跡時間
率を高い精度で演算することができる。

【００２１】請求項６の発明によれば、運転注意力検出
手段に車両状態検出センサの信号を入力し、車両の走行
状態に応じて運転注意力判定基準を切り替えるようにし
たため、市街地走行など安全確認頻度が高い場合と、高
速道路走行など比較的安全確認頻度が低い場合とを区別
することができ、運転注意力の検出精度をさらに向上さ
せることができる。

【００２２】請求項７の発明によれば、運転注意力検出
手段に個人データの記憶内容を入力し、運転行動の個人
情報に応じて運転注意力判定基準を切り替えるようにし
たため、各種走行シーンに応じた運転者の安全確認頻度
や確認方法の個人差に対応することができ、運転注意力
の検出精度をさらに向上させることができる。

【００２３】請求項８の発明によれば、運転注意力検出
手段に車室内光環境計測センサの信号を入力し、車室内
の光環境の悪化を推定して眼の検出ができないことを判
定するようにしたため、運転注意力の検出精度をさらに
向上させることができる。

【００２４】請求項９の発明によれば、所定時間におけ
る眼の検出ＯＫ率を演算して運転注意力を検出するよう
にしたため、安全確認などによって顔が頻繁に動いてい
る状態を判定でき、運転注意力を高精度に検出すること
ができるとともに、運転注意力に応じて居眠り検出を行
えるようにしたため、安全確認などで顔の動く頻度が高
いときは居眠り検出レベルを下げ、顔の動く頻度が低下
したときには居眠り検出レベルを上げることで、居眠り
検出精度を向上させることができる。

【００２５】請求項１０の発明によれば、画像全体から
の眼の位置検出を初期状態に限定し、以降の処理は検出
した眼を含む所定領域内で行うようにしたため、眼の位
置検出処理を短時間で行うことができ、眼の検出精度も
向上させることができるとともに、運転注意力に応じた
居眠り検出を行えるようにしたため、安全確認などで顔
の動く頻度が高いときは居眠り検出レベルを下げ、顔の
動く頻度が低下したときには居眠り検出レベルを上げる
ことで、居眠り検出精度を向上させることができる。

【００２６】請求項１１の発明によれば、画像全体から
の眼の位置検出を初期状態に限定し、以降の処理は眼の
追跡処理に切り替えるようにしたため、眼の検出処理を
短時間で行うことができ、請求項１およびび２で用いて
いる眼の検出ＯＫ率と同等の意味合いを持つ眼の追跡時
間率を高い精度で演算することができるとともに、運転
注意力に応じた居眠り検出を行えるようにしたため、安
全確認などで顔の動く頻度が高いときは居眠り検出レベ
ルを下げ、顔の動く頻度が低下したときには居眠り検出
レベルを上げることで、居眠り検出精度を向上させるこ
とができる。

【００２７】

【発明の実施の形態】以下、この発明の実施の形態を図
面に基づき説明する。

【００２８】図１は、この発明の第１の実施形態を示す
運転注意力検出装置の全体構成図である。自動車１のイ
ンストルメントパネル３には、運転者５の顔部分を正面
から撮影する画像撮影手段としてのＴＶカメラ７が設置
されている。ＴＶカメラ７には、Ａ−Ｄ変換器９，画像
メモリ１１，画像データ演算回路１３，眼の位置検出手
段としての眼の位置検出回路１５，眼の検出ＯＫ数積算
手段および眼の検出ＯＫ率演算手段を含む眼の検出ＯＫ
時間率演算回路１９，運転注意力検出手段としての運転
注意力検出回路２１が順次接続されている。

【００２９】ＴＶカメラ７で撮影されたアナログ画像
は、Ａ−Ｄ変換器９を介してデジタル量の入力画像デー
タとして画像メモリ１１に入力され格納される。

【００３０】画像データ演算回路１３は、画像メモリ１
１に格納された画像データに対して前処理を行いコンピ
ュータ処理に適した状態にデータ変換を行う。眼の位置
検出回路１５は、画像データ演算回路１３で変換された
画像データを対象として運転者５の眼の位置を検出す
る。眼の検出ＯＫ時間率演算回路１９は、時系列的に取
り込まれる各画像データの眼の検出ＯＫ時間率を演算す
る。運転注意力検出回路２１は、眼の検出ＯＫ時間率演
算回路１９の演算結果に基づいて運転注意力を検出す
る。

【００３１】上記した画像データ演算回路１３，眼の位
置検出回路１５，眼の検出ＯＫ時間率演算回路１９，運
転注意力検出回路２１は、ＣＰＵ，ＲＯＭ，ＲＡＭなど
からなるマイクロコンピュータで構成され、このマイク
ロコンピュータは、所定時間を計測する所定時間計測手
段としての図示しないタイマを内蔵している。

【００３２】次に、上記構成による運転注意力検出装置
の動作の流れを、図２のフローチャートおよび図３〜５
の説明図を用いて説明する。ＴＶカメラ７で撮影された
画像が、Ａ−Ｄ変換器９および画像メモリ１１を経て画
像データ演算回路１３に入力される。ここで、所定時間
を計測するタイマをスタートさせ（ステップ２０１）、
画像全体からの眼の位置検出を眼の位置検出回路１５で
行い、検出に成功したか否かを眼の検出ＯＫ時間率演算
回路１９により判定する（ステップ２０２）。

【００３３】画像全体からの眼の位置検出例を図３で説
明すると、同図（ａ）に示すように、運転者５が車両前
方を注視しているときは、眼の存在する領域がある領域
内に留まり、また、眼の形や眉，鼻，口などとの相対位
置関係も定義付けて眼の位置検出をすることができる。
一方図３（ｂ）に示すように、運転者５が安全確認など
により車両前方以外を見ているときは、前述した定義付
けられた条件では眼の検出ができない状態となる。

【００３４】前記ステップ２０２で、画像全体からの眼
の位置検出に成功したときは、眼の検出ＯＫ時間率演算
回路１９における眼の検出ＯＫカウンタのカウントアッ
プを行う（ステップ２０３）。逆に、ステップ２０２で
眼の位置検出に失敗したときは、運転者５が前を見てい
なかったものとし、タイマによる所定時間が経過したか
どうか判定する（ステップ２０４）。

【００３５】ここで、所定時間が経過していない場合
は、前記ステップ２０２に戻り同様の処理を繰り返す。
上記ステップ２０４で、所定時間が経過したと判定され
た場合は、所定時間内での眼の検出ＯＫ積算値に基づき
判定された眼の検出ＯＫ率を眼の検出ＯＫ時間率演算回
路１９で演算し（ステップ２０５）、この演算結果を用
いて運転者５の運転注意力を検出する（ステップ２０
６）。

【００３６】この運転注意力の検出方法を図４および図
５を用いて説明する。図４は所定区間Ｎの１フレーム毎
の眼の検出結果を示したものである。ＯＫと表示してい
るものは、図３（ａ）のように運転者５が前を見ている
状態にあったため、滞りなく眼の位置検出ができた場合
であり、ＮＧと表示しているものは、図３（ｂ）のよう
に運転者５が前方以外を見ている状態にあったため、眼
の位置検出ができなかった場合である。

【００３７】所定時間内の眼の検出ＯＫ率の演算は、所
定時間内の眼の位置検出のＯＫ回数を積算することで行
う。その時系列変化を示したものが図５である。図５の
横軸は所定区間毎の経過時間、縦軸は所定区間内での眼
の検出ＯＫ度数を示している。

【００３８】図４の所定区間Ｎを眼の検出ＯＫ度数で図
示すると図５のような関係になる。図５に示すような所
定区間の眼の検出ＯＫ率（所定区間内での眼の検出ＯＫ
度数）を用いることにより、運転者５が前を注視してい
る時間比率が分かり、よって、運転者５が周囲に常に気
を配り安全確認を行っている状態では眼の検出ＯＫ率
が、１００％近くの値を示すことはない。

【００３９】しかし、運転者５の覚醒度が低下し、また
安全確認頻度が減少する環境下になると、顔の動きが少
なくなることから所定区間内の眼の検出ＯＫ率が高い状
態が続くので、運転者５の注意力が低下していると判定
することができ、またこの場合居眠り運転になり易い環
境下にあるとも言える。このように運転注意力が低下し
ている場合には、音声やディスプレイ表示などにより警
報を出力して運転者５に報知する。

【００４０】図２のステップ２０６で運転注意力の検出
後は、眼の検出ＯＫカウンタをクリアするとともに、タ
イマのリセットを行った後（ステップ２０７）、ステッ
プ２０２に戻って次の所定時間の運転注意力の検出に移
行する。

【００４１】上記した第１の実施形態によれば、所定区
間Ｎにおける眼の検出ＯＫ度数を演算した上で、運転者
５の運転注意力を検出しているので、安全確認などによ
って顔が頻繁に動いている状態を判定でき、運転注意力
を高精度に検出することができる。

【００４２】次に、この発明の第２の実施形態による運
転注意力検出装置の動作の流れを、図６に示すフローチ
ャートおよび図７の説明図を用いて説明する。この第２
の実施形態は、第１の実施形態による前記図１と同様の
構成であるが、この場合、眼の位置検出回路１５は、画
像全体から検出した眼の位置を基準に少なくとも片方の
眼を含む領域を設定する所定領域設定手段と、この所定
領域設定手段が設定した所定領域内において眼の位置を
検出する所定領域内眼の位置検出手段を含んでいる。

【００４３】図６のフローチャートは、図２のフローチ
ャートに対し、ステップ６０２とステップ６０３を追加
して画像全体からの眼の位置検出処理を初期状態に限定
し、図７（ａ)および（ｂ)に示すような前方を見ている
状態での眼を含む所定領域Ｓを設定し、眼の検出範囲を
限定することで、眼の位置検出処理の高速化を図るとと
もに、眼の検出精度を向上させている。

【００４４】ここでは、図２のフローチャートに対する
図６のフローチャートの追加および変更ステップの内容
を説明する。プログラムの起動後、図２のフローチャー
トと同様に所定時間を計測するタイマをスタートさせ
（ステップ６０１）、画像全体からの眼の位置検出を眼
の位置検出回路１５により行った後（ステップ６０
２）、検出された眼の位置を基準に所定領域Ｓを眼の位
置検出回路１５により設定する（ステップ６０３）。

【００４５】その後、上記設定した所定領域Ｓ内を対象
として眼の位置検出を繰り返し、所定領域Ｓ内での眼の
位置検出に成功したかどうかを、眼の検出ＯＫ時間率演
算回路１９により判定する（ステップ６０４）。ここ
で、眼の位置検出に成功した場合には、眼の検出ＯＫカ
ウンタのカウントアップを行って（ステップ６０５）所
定時間経過したかを判断し（ステップ６０６）、逆に眼
の位置検出に失敗した場合には、所定時間経過したかの
判断に移行する（ステップ６０６）。以降の処理につい
ては、図２のフローチャートと同様の動作であるため、
説明は省略する。

【００４６】このように第２の実施形態によれば、画像
全体からの眼の位置検出を初期状態のみに限定し、以降
の処理は検出した眼を含む所定領域Ｓ内で行うようにし
たため、眼の位置検出処理を短時間で行うことができる
とともに、眼の検出精度も向上させることができる。

【００４７】次に、上記した第２の実施形態の応用例１
の動作の流れを、図８のフローチャートを用いて説明す
る。図８のフローチャートは、図６のフローチャートに
対し、ステップ８０４を追加している。構成としては、
所定領域Ｓの設定をマニュアル操作によりキャンセル
（解除）できる解除手段としてのリセットスイッチを設
けている。所定領域Ｓの設定を解除することで、運転者
５の姿勢の崩れや、運転者５の交替などで眼の位置がズ
レてしまった場合に対応することができる。

【００４８】ここでは、図６のフローチャートに対する
図８のフローチャートの追加ステップの内容を説明す
る。運転者５の姿勢が崩れたときや、運転者５が交替し
たときなどに、リセットスイッチを操作することによっ
て、ステップ８０４でリセットスイッチの操作を認識
し、ステップ８０２に戻って画像全体からの眼の位置検
出を再度行い、眼を含む所定領域Ｓの設定に移行する
（ステップ８０３）。

【００４９】次に、第２の実施形態の応用例２の動作の
流れを、図９および図１０のフローチャートを用いて説
明する。図９および図１０のフローチャートは、図６の
フローチャートに対し、ステップ９０４，ステップ９０
８，ステップ１００２，ステップ１００３を追加して、
眼の検出ＯＫ率の演算結果により、所定領域の設定を自
動的にキャンセル（解除）できるようにすることで、運
転者５の姿勢の崩れや、運転者５の交替などで眼の位置
がズレてしまった場合に対応することができる。すなわ
ち、この場合、眼の検出ＯＫ時間率演算回路１９は、所
定領域Ｓの設定を解除する解除手段を含んでいる。

【００５０】ここでは、図６のフローチャートに対する
図９および図１０のフローチャートの追加ステップの内
容を説明する。運転者５の姿勢が崩れたときや、運転者
５が交替したときなどにより、既に設定されている所定
領域Ｓ内に眼が定常的に入らなくなったことを、所定時
間毎に眼の検出ＯＫ率が０かどうかで判定し（ステップ
１００２）、眼の検出ＯＫ率が０と判定されたときに、
その状況の発生数をカウントアップする（ステップ１０
０３）。

【００５１】また、上記した眼の検出ＯＫ率が０の所定
時間発生回数が所定値を越えたと判定されたときは（ス
テップ９０４）、眼の検出ＯＫ率”０”カウンタをクリ
アした後（ステップ９０８）、画像全体からの眼の位置
検出を再度行い（ステップ９０２）、眼を含む所定領域
Ｓを設定に移行する（ステップ９０３）。

【００５２】図１１は、この発明の第３の実施形態を示
す運転注意力検出装置の全体構成図である。この装置
は、図１の構成における眼の検出ＯＫ時間率演算回路１
９に代えて、眼の追跡時間率演算手段としての眼の追跡
時間率演算回路２３を設けている。この眼の追跡時間率
演算回路２３は、撮影した各画像データ毎に眼の追跡領
域を更新する眼の追跡処理手段および、眼の追跡処理手
段による眼の追跡処理が正しく行われているかどうかを
確認しながら眼の追跡時間を積算していく眼の追跡時間
積算手段を含んでいる。前記した眼の追跡時間率演算手
段は、所定時間計測手段であるタイマの所定時間計測値
に対する眼の追跡時間積算手段による眼の追跡時間積算
値に基づき眼の追跡時間率を演算する。

【００５３】次に、上記した第３の実施形態における運
転注意力検出装置の動作の流れを、図１２のフローチャ
ートおよび図１３，図１４，図１５の説明図を用いて説
明する。まず、所定時間を計測するタイマをスタートさ
せ（ステップ１１０１）、所定時間が経過したかどうか
を判定する（ステップ１１０２）。ここで所定時間経過
していないと判定されたときは、眼の追跡領域が設定さ
れているかどうかを眼の追跡時間率演算回路２３により
判定する（ステップ１１０３）。

【００５４】眼の追跡領域とは、図１３に示すように片
方の眼を含む横長の小さめの短形領域Ｔで定義してい
る。この追跡領域Ｔは、車両の振動など、ちょっとした
眼の位置の動きに対応できる大きさとしている。ステッ
プ１１０３で眼の追跡領域が設定されていないと判定さ
れた場合は、画像全体からの眼の位置検出処理を行う
（ステップ１１０４）。

【００５５】続いて、眼の位置検出が正しく行われたか
どうかを判定する（ステップ１１０５）。例えば運転者
が横を見ているような場合は、眼の検出が当然正常には
行われないため、ステップ１１０２に戻り、次の画像デ
ータを対象とした眼の位置検出処理を行う。逆に、ステ
ップ１１０５で眼が正しく検出できた場合は、眼の追跡
領域を設定する（ステップ１１０６）。

【００５６】ここで、眼の追跡方法について図１３を用
いて説明する。眼の位置の検出直後、つまり第１フレー
ムでは図１３（ａ）に示すように、検出した眼の位置を
中央にして眼の追跡領域が設定される。その後、眼の追
跡状態が正常かどうかが判定され（ステップ１１０
７）、正常と判定されたときは、眼の追跡時間の積算を
行い（ステップ１１０８）、ステップ１１０２に戻る。

【００５７】一旦、眼の追跡領域が設定されると、ステ
ップ１１０２からステップ１１０３ステップ１１０７ま
での処理を繰り返す。このループが一回転することによ
り、次に取り込んだ画像データ、つまり、眼の追跡を始
めて第２フレームの処理に移っていることになり、図１
３（ｂ）に示すようになる。図１３（ｂ）の眼の追跡領
域Ｔは、第１フレームで設定された位置にあるのに対
し、現在の眼の位置は２フレーム目に取り込まれた画像
データであるため、顔の動きなどにより眼の中心点は目
の追跡領域Ｔに対しズレてくる。しかし、眼が眼の追跡
領域Ｔ内にある限り眼の追跡は行うことができる。

【００５８】この後、眼の追跡処理が正常に行われてい
る場合は、同様の処理を繰り返す。図１３（ｃ），
（ｄ）は、第３フレーム，第４フレームでそれぞれ取り
込まれる顔画像データでの眼の位置と眼の追跡領域Ｔと
の位置関係を示したものである。また、ステップ１１０
７で眼の追跡が正しく行われていないと判定された場合
は、眼の追跡領域Ｔをクリアし（ステップ１１０９）、
ステップ１１０２に戻る。

【００５９】眼が正しく追跡できているかどうかの判定
は、眼の追跡領域Ｔ内に、運転者５が車両前方を見てい
るときの眼の特徴量（大きさ、形、濃度値など）を持つ
データが存在するか否かで行うことができる。ステップ
１１０９で眼の追跡領域をクリアしてステップ１１０２
に戻り、ステップ１１０３に移行した場合は、ステップ
１１０４に移行して再度画像全体からの眼の位置検出処
理を行うことになる。

【００６０】この一連の処理を繰り返しているときに、
ステップ１１０２でタイマによる計測時間が所定時間経
過と判定されたときは、所定時間における眼の追跡時間
率を眼の追跡時間率演算回路２３により演算する（ステ
ップ１１１０）。この演算方法を図１４を用いて説明す
る。

【００６１】ステップ１１０２で所定時間の経過が判定
されるまでは、初期状態や、眼の追跡状態に入っても眼
を見失ってしまった場合に回る眼の位置検出ループＡ
と、眼の検出に成功し、眼の追跡が正常に行われている
ときに回る眼の追跡ループＢがある。図１４の白と黒の
バー状で示したものは、白い部分が、眼の検出処理でル
ープＡを回っている時間を表しており、黒い部分が、眼
の追跡処理でループＢを回っている時間を表している。

【００６２】図１２のステップ１１０８では、所定区間
の眼の追跡時間の積算を行っており、ステップ１１１０
では、所定時間に占める眼の追跡時間の積算値の割合を
求めている。所定時間の眼の追跡時間率の演算後は、運
転注意力の検出を行うが（ステップ１１１１）、この検
出処理は、図１５に示す所定区間毎の経過時間における
眼の追跡時間率の変化で行っている。

【００６３】これは、第１の実施形態と同様に、運転者
５の覚醒度が低下してきたときに、安全確認などの頻度
が低下し顔の動きが少なくなることを、眼の追跡時間率
が高くなる傾向で捕らえている。その後、眼の追跡時間
の積算値をクリアし、タイマのリセットを行い（ステッ
プ１１１２）、各所定時間の眼の追跡時間率を演算す
る。

【００６４】上記した第３の実施形態によれば、画像全
体からの眼の位置検出を初期状態のみに限定し、以降の
処理は眼の追跡処理に切り替えるので、眼の検出処理を
短時間で行うことができ、第１の実施形態で用いている
眼の検出ＯＫ率と同等の意味合いを持つ眼の追跡時間率
を高い精度で演算することができる。

【００６５】図１６は、この発明の第４の実施形態を示
す運転注意力検出装置の全体構成図である。この実施形
態は、第１の実施形態の構成に、車速センサや、運転者
５の操作状態を検出するアクセル，ブレーキ，ステアリ
ングの各センサや、ナビゲーションシステムなどからな
る車両状態検出センサ２５を追加したものである。車両
状態検出センサ２５からの信号を、運転注意力検出回路
２１に入力することにより、安全確認の頻度が高い市街
地走行と、比較的安全確認頻度が低い高速道路走行とを
区別し、これにより運転注意力の検出精度をさらに高め
ることが可能となる。

【００６６】図１７は、この発明の第５の実施形態を示
す運転注意力検出装置の全体構成図である。この実施形
態は、図１６に示した第４の実施形態の構成に、個人デ
ータメモリ２７を追加したものである。運転注意力検出
回路２１に、車両状態検出センサ２５の信号と、個人デ
ータメモリ２７の記憶内容とを入力し、車両の走行状態
や運転行動の個人情報に応じて運転注意力判定基準を切
り替えられるようにし、各走行シーンに応じた運転者５
の安全確認頻度や確認方法の個人差に対応することで、
さらに運転注意力の検出精度を高めることが可能とな
る。

【００６７】なお、図１７の構成において、車両状態検
出センサ２５を設けずに、個人データメモリ２７の記憶
内容のみを運転注意力検出回路２１に入力するようにし
ても構わない。

【００６８】図１８は、この発明の第６の実施形態を示
す運転注意力検出装置の全体構成図である。この実施形
態は、図１６に示した第４の実施形態の構成に、照度セ
ンサ，天候を推定する気圧計，方位計，日時を把握する
ためのカレンダ機能付きの時計などからなる車室内光環
境センサ２９を追加したものである。運転注意力検出回
路２１に、車両状態検出センサ２５の信号と、車室内光
環境センサ２９の信号を入力し、車両の走行状態に合わ
せ車室内の光環境の悪化を推定し、眼の検出ができない
原因が運転者５の顔の動き以外にあることを判定するこ
とで、さらに運転注意力の検出精度を高めることが可能
となる。

【００６９】なお、車室内光環境センサ２９を図１７の
構成に追加して設け、車両状態検出センサ２５の信号、
個人データメモリ２７の記憶内容および車室内光環境セ
ンサ２９の信号を運転注意力検出回路２１にそれぞれ入
力するようにしても構わない。また、図１８の構成にお
いて、車両状態検出センサ２５を設けずに、車室内光環
境センサ２９の信号のみを運転注意力検出回路２１に入
力するようにしても構わない。さらに、上記した図１６
ないし図１８にて図１に対して追加したそれぞれの構成
は、図１１に示してある眼の追跡時間率を演算する第３
の実施形態に追加して構成してもよい。

【００７０】図１９は、この発明の第７の実施形態を示
す居眠り運転検出装置の全体構成図で、図２０はその動
作を示すフローチャートである。この実施形態は、図１
１に示した第３の実施形態に係わる運転注意力検出装置
に、眼の位置検出回路１５により眼の位置検出に成功し
たときに眼の開度値を算出する眼の開度値算出手段とし
ての眼の開度値算出回路３１と、この眼の開度値算出回
路３１によって得られる値を用いて開閉眼判定を行う開
閉眼判定手段としての開閉眼判定回路３３と、この開閉
眼判定回路３３の開閉眼判定結果に基づいて、運転注意
力検出回路２１が検出した運転注意力に応じた居眠り検
出を行う居眠り検出手段としての居眠り検出回路３５と
を追加して設けている。

【００７１】図２０のフローチャートは、図１２に示し
た第３の実施形態に係わる運転注意力検出装置のフロー
チャートに、ステップ１８０７，ステップ１８１０，ス
テップ１８１１を追加し、居眠り運転検出装置に適応さ
せたものである。

【００７２】なお、上記図１９にて図１１に追加した各
構成要素は、図１に示した第１の実施形態に追加しても
よく、したがって図２０にて追加したステップ処理は、
第１の実施形態および第２の実施形態にも対応できるも
のである。また、前記した図１６ないし図１８にて図１
に対して追加したそれぞれの構成を、図１９に追加して
設けても構わない。

【００７３】この第７の実施形態では、第３の実施形態
のフローチャートである図１２と異なるステップのみを
説明する。ステップ１８０７では、眼の追跡領域内で捕
らえられる眼のデータの開度値の算出処理を行う。ステ
ップ１８１０では、ステップ１８０７で求めた眼の開度
値を用いて開閉眼判定を行う。ステップ１８１１ではス
テップ１８１３で所定時間毎に検出される運転注意力に
応じた居眠り検出を行う。

【００７４】居眠り検出に運転注意力の検出結果を合わ
せることにより、安全確認などの頻度が低下して眼の追
跡時間率が高くなったときに居眠り検出精度を上げ、ま
た安全確認などの頻度が高く眼の追跡時間率が低いとき
は居眠り検出精度を下げることで、高い居眠り検出精度
が確保でき、警報出力する際の誤警報を防止することが
できる。

【００７５】なお、眼の位置検出、眼の追跡方法、眼の
開度値の算出、開閉眼の判定方法、覚醒度の判定方法
は、本出願人による「特開平１０−４０３６１号」や
「特開平１０−１４３６６９号」公報により周知である
ため詳細の説明は省略している。

【図面の簡単な説明】

【図１】この発明の第１の実施形態を示す運転注意力検
出装置の全体構成図である。

【図２】この発明の第１の実施形態の動作を示すフロー
チャートである。

【図３】この発明の第１の実施形態における眼の位置検
出方法に関する説明図で、（ａ）は運転者が前方を注視
している状態の画像、（ｂ）は運転者が前方以外を見て
いる状態の画像である。

【図４】この発明の第１の実施形態の所定区間における
眼の検出結果を示した眼の検出ＯＫ率の演算方法に関す
る説明図である。

【図５】この発明の第１の実施形態の所定区間毎の経過
時間に対する所定区間内での眼の検出ＯＫ度数を示す説
明図である。

【図６】この発明の第２の実施形態に係わる運転注意力
検出装置の動作を示すフローチャートである。

【図７】この発明の第２の実施形態の所定領域設定方法
に関する説明図で、（ａ）は運転者が前方を注視してい
る状態の画像、（ｂ）は運転者が前方以外を見ている状
態の画像である。

【図８】この発明の第２の実施形態の応用例１の動作を
示すフローチャートである。

【図９】この発明の第２の実施形態の応用例２の動作を
示すフローチャートである。

【図１０】この発明の第２の実施形態の応用例２の動作
を示すフローチャートである。

【図１１】この発明の第３の実施形態を示す運転注意力
検出装置の全体構成図である。

【図１２】この発明の第３の実施形態の動作を示すフロ
ーチャートである。

【図１３】この発明の第３の実施形態による眼の追跡領
域の設定、追跡方法に関する説明図である。

【図１４】この発明の第３の実施形態の所定区間におけ
る眼の検出処理時間と眼の追跡処理時間とを示した眼の
追跡時間率の演算方法に関する説明図である。

【図１５】この発明の第３の実施形態による所定区間毎
の経過時間に対する所定区間内での眼の追跡時間率を示
す説明図である。

【図１６】この発明の第４の実施形態を示す運転注意力
検出装置の全体構成図である。

【図１７】この発明の第５の実施形態を示す運転注意力
検出装置の全体構成図である。

【図１８】この発明の第６の実施形態を示す運転注意力
検出装置の全体構成図である。

【図１９】この発明の第７の実施形態を示す居眠り運転
検出装置の全体構成図である。

【図２０】この発明の第７の実施形態の動作を示すフロ
ーチャートである。

【符号の説明】５運転者７ＴＶカメラ（画像撮影手段）１５眼の位置検出回路（眼の位置検出手段，所定領域
設定手段，所定領域内眼の位置検出手段）１９眼の検出ＯＫ時間率演算回路（眼の検出ＯＫ数積
算手段、眼の検出ＯＫ率演算手段）２１運転注意力検出回路（運転注意力検出手段）２３眼の追跡時間率演算回路（眼の追跡処理手段、眼
の追跡時間積算手段、眼の追跡時間率演算手段）２５車両状態検出センサ２７個人データメモリ２９車室内光環境計測センサ３１眼の開度値算出回路（眼の開度値算出手段）３３開閉眼判定回路（開閉眼判定手段）３５居眠り検出回路（居眠り検出手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/20 ３００Ｇ０６Ｔ 7/60 １５０Ｂ 7/60 １５０Ｇ０８Ｇ 1/16 ＦＧ０８Ｇ 1/16 Ａ６１Ｂ 3/10 ＢＦターム(参考） 3D037 FA05 4C038 PP05 PQ04 PS07 5B057 AA16 BA02 BA30 CA02 CA08 CA12 CA16 CB02 CB08 CB12 CB16 CC03 CE09 DA07 DA08 DC04 DC06 5H180 AA01 CC04 LL20 5L096 AA03 AA06 BA04 BA18 CA04 DA02 EA35 FA45 FA59 FA69 HA05

Claims

【特許請求の範囲】

【請求項１】運転者の顔の画像データを処理して運転
注意力を検出する運転注意力検出装置において、前記運
転者の顔画像を撮影する画像撮影手段と、この画像撮影
手段が撮影した画像全体から眼の位置を検出する眼の位
置検出手段と、前記撮影した各画像データ毎に、前記眼
の位置検出手段による眼の検出が成功したかどうかを判
定し、その成功回数をカウントアップする眼の検出ＯＫ
数積算手段と、所定時間を計測する所定時間計測手段
と、この所定時間計測手段による所定時間計測値に対す
る前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積
算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率
演算手段と、この眼の検出ＯＫ率演算手段の演算結果か
ら運転者の注意力を検出する運転注意力検出手段とを有
することを特徴とする運転注意力検出装置。
【請求項２】運転者の顔の画像データを処理して運転
注意力を検出する運転注意力検出装置において、前記運
転者の顔画像を撮影する画像撮影手段と、この画像撮影
手段が撮影した画像全体から眼の位置を検出する眼の位
置検出手段と、前記画像全体からの眼の位置検出手段で
検出した眼の位置を基準に少なくとも片方の眼を含む領
域を設定する所定領域設定手段と、この所定領域設定手
段が設定した所定領域内において眼の位置を検出する所
定領域内眼の位置検出手段と、前記撮影した各画像デー
タ毎に、前記所定領域内眼の位置検出手段による眼の検
出が成功したかどうかを判定し、その成功回数をカウン
トアップする眼の検出ＯＫ数積算手段と、所定時間を計
測する所定時間計測手段と、この所定時間計測手段によ
る所定時間計測値に対する前記眼の検出ＯＫ数積算手段
による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を
演算する眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ
率演算手段の演算結果から運転者の注意力を検出する運
転注意力検出手段とを有することを特徴とする運転注意
力検出装置。
【請求項３】所定領域設定手段による所定領域の設定
を、マニュアル操作により解除する解除手段を設けたこ
とを特徴とする請求項２記載の運転注意力検出装置。
【請求項４】所定領域設定手段による所定領域の設定
を、眼の検出ＯＫ率演算手段による眼の検出ＯＫ率の演
算結果により解除する解除手段を設けたことを特徴とす
る請求項２記載の運転注意力検出装置。
【請求項５】運転者の顔の画像データを処理して運転
注意力を検出する運転注意力検出装置において、前記運
転者の顔画像を撮影する画像撮影手段と、この画像撮影
手段が撮影した画像全体から眼の位置を検出する眼の位
置検出手段と、この眼の位置検出手段で検出した眼の位
置を基準に眼の追跡領域を設定し、前記撮影した各画像
データ毎に眼の追跡領域を更新する眼の追跡処理手段
と、この眼の追跡処理手段による眼の追跡処理が正しく
行われているかどうかを確認しながら眼の追跡時間を積
算していく眼の追跡時間積算手段と、所定時間を計測す
る所定時間計測手段と、この所定時間計測手段による所
定時間計測値に対する前記眼の追跡時間積算手段による
眼の追跡時間積算値に基づく眼の追跡時間率を演算する
眼の追跡時間率演算手段と、この眼の追跡時間率演算手
段の演算結果から運転者の注意力を検出する運転注意力
検出手段とを有することを特徴とする運転注意力検出装
置。
【請求項６】運転注意力検出手段に車両状態検出セン
サの信号を入力し、車両の走行状態に応じて運転注意力
判定基準を切り替えるようにしたことを特徴とする請求
項１ないし５のいずれかに記載の運転注意力検出装置。
【請求項７】運転注意力検出手段に個人データの記憶
内容を入力し、運転行動の個人情報に応じて運転注意力
判定基準を切り替えるようにしたことを特徴とする請求
項１ないし６のいずれかに記載の運転注意力検出装置。
【請求項８】運転注意力検出手段に車室内光環境計測
センサの信号を入力し、車室内の光環境の悪化を推定し
て眼の検出ができないことを判定するようにしたことを
特徴とする請求項１ないし７のいずれかに記載の運転注
意力検出装置。
【請求項９】運転者の顔の画像データを処理して居眠
り運転を検出する居眠り運転検出装置において、前記運
転者の顔画像を撮影する画像撮影手段と、この画像撮影
手段が撮影した画像全体から眼の位置を検出する眼の位
置検出手段と、前記撮影した各画像データ毎に、前記眼
の位置検出手段による眼の検出が成功したかどうかを判
定し、その成功回数をカウントアップする眼の検出ＯＫ
数積算手段と、所定時間を計測する所定時間計測手段
と、この所定時間計測手段による所定時間計測値に対す
る前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積
算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率
演算手段と、この眼の検出ＯＫ率演算手段の演算結果か
ら運転者の注意力を検出する運転注意力検出手段と、前
記眼の位置検出手段により眼の位置検出に成功したとき
に眼の開度値を算出する眼の開度値算出手段と、この眼
の開度値算出手段によって得られる値を用いて開閉眼判
定を行う開閉眼判定手段と、この開閉眼判定手段の開閉
眼判定結果に基づいて、前記運転注意力検出手段が検出
した運転注意力に応じた居眠り検出を行う居眠り運転検
出手段とを有することを特徴とする居眠り運転検出装
置。
【請求項１０】運転者の顔の画像データを処理して居
眠り運転を検出する居眠り運転検出装置において、前記
運転者の顔画像を撮影する画像撮影手段と、この画像撮
影手段が撮影した画像全体から眼の位置を検出する眼の
位置検出手段と、前記画像全体からの眼の位置検出手段
で検出した眼の位置を基準に少なくとも片方の眼を含む
領域を設定する所定領域設定手段と、この所定領域設定
手段が設定した所定領域内において眼の位置を検出する
所定領域内眼の位置検出手段と、前記撮影した各画像デ
ータ毎に、前記所定領域内眼の位置検出手段による眼の
検出が成功したかどうかを判定し、その成功回数をカウ
ントアップする眼の検出ＯＫ数積算手段と、所定時間を
計測する所定時間計測手段と、この所定時間計測手段に
よる所定時間計測値に対する前記眼の検出ＯＫ数積算手
段による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率
を演算する眼の検出ＯＫ率演算手段と、この眼の検出Ｏ
Ｋ率演算手段の演算結果から運転者の注意力を検出する
運転注意力検出手段と、前記所定領域内眼の位置検出定
手段により眼の検出に成功したときに眼の開度値を算出
する眼の開度値算出手段と、この眼の開度値算出手段に
よって得られる値を用いて開閉眼判定を行う開閉眼判定
手段と、この開閉眼判定手段の開閉眼判定結果に基づい
て、前記運転注意力検出手段が検出した運転注意力に応
じた居眠り検出を行う居眠り検出手段とを有することを
特徴とする居眠り運転検出装置。
【請求項１１】運転者の顔の画像データを処理して居
眠り運転を検出する居眠り運転検出装置において、前記
運転者の顔画像を撮影する画像撮影手段と、この画像撮
影手段が撮影した画像全体から眼の位置を検出する眼の
位置検出手段と、この眼の位置検出手段で検出した眼の
位置を基準に眼の追跡領域を設定し、前記撮影した各画
像データ毎に眼の追跡領域を更新する眼の追跡処理手段
と、この眼の追跡処理手段による眼の追跡処理が正しく
行われているかどうかを確認しながら眼の追跡時間を積
算していく眼の追跡時間積算手段と、所定時間を計測す
る所定時間計測手段と、この所定時間計測手段による所
定時間計測値に対する前記眼の追跡時間積算手段による
眼の追跡時間積算値に基づく眼の追跡時間率を演算する
眼の追跡時間率演算手段と、この眼の追跡時間率演算手
段の演算結果から運転者の注意力を検出する運転注意力
検出手段と、眼の追跡処理が正しく行われているときに
眼の開度値を算出する眼の開度値算出手段と、この眼の
開度値算出手段によって得られる値を用いて開閉眼判定
を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼
判定結果に基づいて、前記運転注意力検出手段が検出し
た運転注意力に応じた居眠り検出を行う居眠り検出手段
とを有することを特徴とする居眠り運転検出装置。