JP2009045418A - 眠気判定装置，プログラムおよび眠気判定方法 - Google Patents

Abstract

【課題】 眠気の度合の判定を阻害する外乱要因の影響を受けずに、眠気を判定することができる技術を提供する。
【解決手段】 本発明の居眠り防止システム１は、運転者３の顔画像を撮影する撮影装置１０と、顔画像に基づいて眠気の度合を判定する眠気判定装置２０と、警報装置３０，首元空調装置４０，シートベルト振動装置５０，および，ブレーキ制御装置６０と、から構成される。
眠気判定装置２０は、撮影装置１０により撮影された画像から算出された左右の口角の距離，眉と目の距離，頭部傾き角度，眉頭の中点と目頭の中点間の距離，眉頭間の距離，鼻下端の中点と目頭の中点間の距離，口端の中点と目頭の中点間の距離，下唇下端と目頭の中点間の距離，上まぶたと下まぶた間の距離，左右鼻孔外側端間の距離，上唇上端と目頭の中点間の距離に基づいて眠気の有無を判断し、その判断結果の組み合わせにより眠気の度合を判定する。
【選択図】図２

Description

本発明は、対象者の顔面の動作に基づいて眠気の度合を判定する眠気判定装置，プログラムおよび眠気判定方法に関する。

従来から、車両の運転者の居眠り運転を防止するため、車両内に搭載したカメラで運転者の顔を撮影し、得られた画像を処理して眠気の度合を判定する装置が提案されている。
このような装置では、得られた画像から運転者の目を特定し、その目の開度，視線などを検出して、それらに基づいて居眠り状態であるか否かを判定することが一般的である。例えば、目の開度を連続的に検出することで、目の開度の検出精度を向上して対象者が居眠り状態であることを検出する装置が提案されている（特許文献１参照）。
特開平１１−６６３０４号公報

しかし、目の動きは、車両の走行している環境によって変化することが多い。例えば、運転者の目に日光が射した場合、眠気に関わらず通常より目を細める動作を行うことがある。また、高速道路と街中とでは眠気に関わらず運転手のミラーの確認頻度は異なる。

目の動きは対象者の眠気とは直接的に関連するものの、上述したように眠気の度合の判定を阻害する外乱要因も多く、目のみで眠気の度合を判定するためには、数多くの外乱対策をとる必要があった。

本発明は、このような問題に鑑みてなされたものであり、眠気の度合の判定を阻害する外乱要因の影響を受けずに、眠気を判定することができる眠気判定装置，プログラムおよび眠気判定方法を提供することを目的とする。

上述した問題を解決するためになされた請求項１に記載の眠気判定装置は、左右の口角の距離，眉と目の距離，頭部傾き角度，眉頭の中点と目頭の中点間の距離，眉頭間の距離，鼻下端の中点と目頭の中点間の距離，口端の中点と目頭の中点間の距離，下唇下端と目頭の中点間の距離，上まぶたと下まぶた間の距離，鼻下左右両端間の距離，上唇上端と目頭の中点間の距離，の各表情情報うち、少なくとも２つ以上を取得し、取得された前記表情情報それぞれに基づいて眠気の有無または程度を判断し、該判断の結果の組み合わせに基づいて眠気の度合を判定することを特徴とする。

通常、眠気の度合が変化すると、顔の表情が変化する。図１に、表情を変化させる１１の表情筋を示す。図中の矢印は、各表情筋が収縮した場合の皮膚の動作方向を示す。眠気の度合が変化すると、各表情筋が弛緩・収縮することにより皮膚が移動し、表情が変化する。また、眠気が強くなると、頭部を直立して維持することが困難になり、頭部が傾いてしまう。

よって、眠気に伴う表情筋の動きを反映する顔特徴点間の距離および頭部の傾きを測定することで、眠気の度合を判定することができる。
上述した構成の眠気判定装置であれば、左右の口角の距離，眉と目の距離，頭部傾き角度，眉頭の中点と目頭の中点間の距離，眉頭間の距離，鼻下端の中点と目頭の中点間の距離，口端の中点と目頭の中点間の距離，下唇下端と目頭の中点間の距離，上まぶたと下まぶた間の距離，鼻下左右両端間の距離，上唇上端と目頭の中点間の距離，の表情情報のうち、いずれか２つ以上の表情情報に基づいて眠気の度合を判定することができる。そのため、眠気の度合の判定に、目の情報以外も利用することができる。よって、目の情報の取得を阻害する外乱要因の影響を受けた場合も眠気の度合を判定することができる。

また、上述した眠気判定装置では、上述した表情情報それぞれに基づく眠気の有無または程度の判断結果を、少なくとも２つ以上組み合わせて眠気の度合を判定する。上述した各情報は、後述する［眠気表情特徴の眠気の度合に対する傾向を確認する試験］で示すように、それぞれ変化が現れる眠気の度合が異なる。例えば、左右の口角の距離は軽度の眠気にて変化が発生し、眉と目の距離は中度の眠気にて変化が発生し、頭部傾き角度は強度の眠気にて変化が発生する。そのため、それらの情報を組み合わせて眠気の度合を判定することで、眠気の度合いを複数の段階にて判定することができることから、単一の情報に基づく眠気の判定に比べて、眠気の度合をより詳細に判定することができる。

ところで、取得した表情情報に基づいて眠気の有無または程度を判断する具体的な方法は特に限定されない。例えば、取得した表情情報に示される距離や角度の値が予め定められた基準範囲内にあるか否かにより眠気を判断する方法が考えられる。また、それ以外の方法で眠気を判断する構成としては、請求項２に記載したように、覚醒時に取得された表情情報と、眠気を判断すべきタイミングで取得された表情情報とを比較することで眠気の有無または程度を判断し、その結果の組み合わせから眠気の度合を判定する構成が考えられる。

このように構成された眠気判定装置であれば、覚醒時との比較により表情が変化したことを検出できるので、眠気の有無または程度の判断を適切に行うことができる。
なお、上述した表情情報を取得する具体的な方法については特に限定されない。例えば、電極を顔面に貼り付け、上述した表情筋の動作の大きさに比例して発生する微弱な電気を検出して、上述した各表情情報を検出することが考えられる。

また、上述した方法以外の方法で眠気を判断する方法としては、対象者の顔を撮影し、その顔画像を画像処理することで上述した各表情情報を検出する方法が考えられる。そのためには、請求項１または請求項２に記載の構成を、請求項３に記載の眠気判定装置のように構成するとよい。

この眠気判定装置は、顔画像を示す画像データに基づいて、少なくとも顔面の構成要素の位置または頭部の傾き角度を示す位置・角度情報を検出し、該位置・角度情報に基づいて、前記表情情報を取得するように構成されている。

このように構成された眠気判定装置であれば、撮影手段により撮影された顔画像を示す画像データに基づいて、眠気の度合を判定することができる。よって、上述した各表情情報を検出するための電極などを、眠気の度合を判定する対象者に直接取り付けることなく、簡便に眠気の度合を判定することができる。

また、請求項３に記載した眠気判定装置は、請求項４に記載した眠気判定装置のように、撮影手段を備えた車両に搭載されて用いられるものであってもよい。この場合は、撮影手段により撮影された顔画像を示す画像データに基づいて、上述した位置・角度情報を検出し、該位置・角度情報に基づいて前記表情情報を取得し、それらに基づいて眠気の度合を判定するように構成するとよい。

このように構成された眠気判定装置であれば、車両に搭載して用いることができるので、車両の運転者を対象として眠気の度合を判定することができる。
なお、眠気の度合の判定結果に応じて運転者の居眠りを防止する動作を行う装置を車両に備え、その装置と連携することで、運転者の居眠りを防止することができる。例えば、上記眠気判定装置をカーナビゲーションシステムと連携して、眠気の度合の判定結果に応じた画面表示および音声出力をすることが考えられる。また、眠気の度合の判定結果に応じて、運転者に送風する装置，シートベルトを振動させる装置，ブレーキを制御する装置などを動作させてもよい。

また、上述した表情情報に基づいて判断された眠気の有無または程度から眠気の度合を判定する具体的な方法は特に限定されない。例えば、表情情報それぞれから眠気の有無を判断し、その判断結果における眠気有りと眠気なしの数に応じて眠気の度合を判定してもよい。そのためには、請求項１から４のいずれかに記載の眠気判定装置を、請求項５に記載した眠気判定装置のように構成するとよい。

この眠気判定装置は、表情情報それぞれに基づいて眠気の有無を判断し、この判断された表情情報のうち、眠気有りと判断された表情情報の割合に応じて眠気の度合を判定する。

このように構成された眠気判定装置は、眠気の判断を行った表情情報のうち、眠気有りと判断されたものの割合に応じて眠気の度合を判定する。よって、すべての表情情報に基づく眠気の判断の結果を判定結果に反映することができる。その結果、ある表情情報が、眠気を伴わない表情の変化によって眠気有りと誤って判断された場合であっても、眠気の度合の判定は他の表情情報による判断結果と合わせて行われるため、眠気の度合が誤って判定されることを抑制できる。

また、上述したものと異なる方法で眠気の度合を判定するために、表情情報それぞれから眠気の程度を判断し、その判断結果から眠気の度合を判定してもよい。そのためには、請求項１から４のいずれかに記載の眠気判定装置を、請求項６に記載した眠気判定装置のように構成するとよい。

この眠気判定装置は、表情情報それぞれに基づいて眠気の程度を判断し、この眠気の程度の組み合わせに基づいて眠気の度合を判定する。
このように構成された眠気判定装置であれば、各表情情報の眠気の程度を複数段階に分類した高次の情報に基づいて眠気の度合を判定できるので、より適切に眠気の度合を判定することができる。なお、眠気の程度に関する判断結果の具体的な取り扱いとしては、例えば、眠気の程度を数値に変換し、全ての表情情報における数値の平均値，最頻値などから眠気の度合と判定することが考えられる。

また、請求項７に記載の眠気判定装置のような方法で眠気の度合を判定してもよい。
この眠気判定装置は、左右の口角の距離，眉と目の距離，頭部傾き角度のうち少なくとも２つ以上を取得するものであって、前記頭部傾き角度に基づいて眠気ありと判断することを条件Ａとし、前記眉と目の距離に基づいて眠気ありと判断することを条件Ｂとし、前記左右の口角の距離に基づいて眠気ありと判断することを条件Ｃとする。そして、この眠気判定装置は、これらの条件に基づいて眠気の度合を判定する。

具体的には、前記条件Ａが満たされる場合に強度眠気と判定する。また、前記条件Ｂが満たされると共に、前記条件Ａが満たされない場合に、前記強度眠気よりも眠気の度合が低い中度眠気と判定する。また、前記条件Ｃが満たされると共に、前記条件Ａおよび前記条件Ｂが満たされない場合に、前記中度眠気よりも眠気の度合が低い軽度眠気と判定する。そして、前記条件Ａ，条件Ｂ，条件Ｃのいずれも満たされない場合に、眠気なしと判定する。

上述したように、左右の口角の距離は軽度の眠気にて変化が発生し、眉と目の距離は中度の眠気にて変化が発生し、頭部傾き角度は強度の眠気にて変化が発生する。よって、このような方法で眠気の度合を判定する眠気判定装置であれば、表情情報取得手段が左右の口角の距離，眉と目の距離，頭部傾き角度のいずれについても情報を取得する場合には、強度眠気，中度眠気，軽度眠気，眠気なし，の４段階で眠気の度合を判定することができる。また、表情情報取得手段が、上述した情報のうち２つを取得する場合には、強度眠気，中度眠気，軽度眠気，のうちいずれか２つと、眠気なしとの３段階で眠気の度合を判定することができる。

また、請求項８に記載のプログラムは、請求項１から請求項７のいずれかに記載の表情情報取得手段および眠気判定手段として機能させるための処理手順を、コンピュータシステムに実行させるためのプログラムである。

このようなプログラムにより制御されるコンピュータシステムは、請求項１から請求項７のいずれかに記載の眠気判定装置の一部を構成することができる。
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して、眠気判定装置やこれを利用するユーザに提供されるものである。

また、請求項９に記載の眠気判定方法は、左右の口角の距離，眉と目の距離，頭部傾き角度，眉頭の中点と目頭の中点間の距離，眉頭間の距離，鼻下端の中点と目頭の中点間の距離，口端の中点と目頭の中点間の距離，下唇下端と目頭の中点間の距離，上まぶたと下まぶた間の距離，鼻下左右両端間の距離，上唇上端と目頭の中点間の距離，のうち、少なくとも２つ以上に基づいて眠気の有無または程度を判断して、該判断の結果の組み合わせに基づいて眠気の度合を判定する方法である。

このような方法により眠気の度合の判定を行う場合、請求項１から請求項７のいずれかに記載の眠気判定装置と同様の作用，効果を得ることができる。

［実施例１］
（１．１）全体構成
実施例１における居眠り防止システム１は、車両２に搭載されて用いられるものであり、図２に示すように、運転者３の顔画像を撮影する撮影装置１０と、顔画像に基づいて眠気の度合を判定する眠気判定装置２０と、判定された眠気の度合に応じて居眠り運転による事故防止のための動作を行う複数の装置（警報装置３０，首元空調装置４０，シートベルト振動装置５０，および，ブレーキ制御装置６０）と、から構成される。

これらのうち、撮影装置１０は、車両２における運転者３の正面方向にて運転者３に向けて配置されており、運転者３の正面の顔画像を所定の時間間隔（例えば、１／３０ｓ）で撮影するように構成されている。

また、眠気判定装置２０は、図３に示すように、制御部２１，受信部２２，入力部２３，記憶部２４，出力部２５，などを備えている。
この眠気判定装置２０の制御部２１は、記憶部２４に記憶されているプログラムに従って、眠気判定装置２０全体を制御する。

また、この制御部２１は、撮影装置１０により撮影された顔画像を示す画像データを受信部２２より受信する毎に、内蔵するメモリ（以降、「内蔵メモリ」という）にその画像データを記憶させる。その後、その画像データに基づいて、後述する制御部メイン処理，覚醒時データ収集処理，運転時データ収集処理，表情情報取得処理，眠気判定処理を行う。そして、眠気判定処理において、眠気の度合を眠気レベル０（眠気なし），眠気レベル１（軽度眠気），眠気レベル２（中度眠気），眠気レベル３（強度眠気），のいずれかと判定する。

入力部２３は、後述する制御部メイン処理を開始するための開始ボタン，居眠り防止システム１の全ての処理および動作を終了させる終了ボタンなどを備えている。
記憶部２４は、データを記憶する記憶領域として、制御部２１を制御するプログラム用の記憶領域、後述する各種データを記憶するための記憶領域などを有している。

出力部２５は、制御部２１により判定された眠気の度合に応じて、警報装置３０，首元空調装置４０，シートベルト振動装置５０，および，ブレーキ制御装置６０に対し、以下に記す居眠り防止の動作をさせるための信号を出力する。

上述した装置のうち、警報装置３０は、ディスプレイおよびスピーカを備えている。この警報装置３０は、制御部２１により判定された眠気の度合に応じて、運転者３に居眠り運転の注意を促す表示（例えば、眠気レベル１と判定された場合は「早めに休憩を取りましょう」、眠気レベル２と判定された場合は「注意してください」、眠気レベル３と判定された場合は「運転を中止してください」など）をディスプレイに出力すると共に、上述した表示内容をスピーカにて音声で出力する。

また、首元空調装置４０は、運転者３のシートにおけるヘッドレストに配置されており、制御部２１により眠気レベル１〜３のいずれかであると判定されたときに、運転者３の首元に送風する。

また、シートベルト振動装置５０は、シートベルトの引き込み機構に備えられており、制御部２１により眠気レベル２または眠気レベル３であると判定されたときに、シートベルトを振動させる。

また、ブレーキ制御装置６０は、ブレーキを自動的に作動させる装置である。これは、制御部２１により眠気レベル３であると判定されたときに、ブレーキを作動させ、車両の走行を強制的に停止させたり、順次減速させたりする。
（１．２）眠気判定装置２０の制御部２１による処理
以下に、実施例１における居眠り防止システム１の眠気判定装置２０が備える制御部２１により実行される各種処理について説明する。
（１．２．１）制御部メイン処理
以下に、制御部２１による制御部メイン処理の処理手順を、図４に基づいて説明する。この制御部メイン処理は、入力部２３に備えられた開始ボタンを押すことによって開始される。

この制御部メイン処理では、まず、覚醒時における運転者３の顔面の情報を収集する覚醒時データ収集処理を行う（ステップ１、以降ステップをＳと記載する）。ここでは、運転者３の眠気を判定する基準となる覚醒時の顔面の情報として、Ｌ１ｂ，Ｌ２ｂ，αｂ，θｂを収集する。この覚醒時データ収集処理について詳しくは後述する。なお、ここでいうＬ１とは、左右の口角の距離情報であり、Ｌ２とは、眉と目の距離情報であり、αとは、頭部の前後への傾き角度情報であり、θとは、頭部の左右への傾き角度情報である。

次に、運転者３の顔面の情報を収集する運転時データ収集処理を行う（Ｓ２）。ここでは運転者３の顔面の情報として、Ｌ１ｄ，Ｌ２ｄ，αｄ，θｄを収集する。この運転時データ収集処理について詳しくは後述する。

次に、運転者３の眠気の度合を判定する眠気判定処理を行う（Ｓ３）。
ここでは、まず、Ｓ１において算出されたＬ１ｂ，Ｌ２ｂ，αｂ，θｂと、Ｓ２において算出されたＬ１ｄ，Ｌ２ｄ，αｄ，θｄとを比較することで、Ｌ１，Ｌ２，α，θそれぞれに基づく眠気の有無を判断する。

そして、その判断結果の組み合わせにより、眠気レベル０（眠気なし），眠気レベル１（軽度眠気），眠気レベル２（中度眠気），眠気レベル３（強度眠気）のいずれかに眠気の度合を判定する。この眠気判定処理について詳しくは後述する。

次に、入力部２３の終了ボタンが押されたか否かがチェックされる（Ｓ４）。終了ボタンが押されていなければ（Ｓ４：ＮＯ）、処理がＳ２に戻る。一方、終了ボタンが押されていれば（Ｓ４：ＹＥＳ）、本処理を終了する。

なお、この制御部メイン処理は、車両２におけるエンジン等の動力部が停止して車両全体の制御が終了した際にも終了する。
（１．２．２）覚醒時データ収集処理
以下に、制御部２１による覚醒時データ収集処理の処理手順を、図５に基づいて説明する。この覚醒時データ収集処理は、制御部メイン処理のＳ１にて実行される。

この覚醒時データ収集処理では、まず、データの初期化を行う（Ｓ２１）。ここでは、この時点で制御部２１の内蔵メモリに記憶されている画像データの削除と、記憶部２４に記憶されている各種データの削除と、を行う。

次に、変数ｉを０に設定する（Ｓ２２）。
次に、運転者３の顔面の情報を検出する表情情報取得処理を行う（Ｓ２３）。ここでは、撮影装置１０により撮影された顔画像を示す画像データに基づき、Ｌ１，Ｌ２，α，θを、所定の回数（ｍ回）算出し、記憶部２４に記憶する。このとき、記憶部２４には、Ｌ１，Ｌ２，α，θがそれぞれｍ個ずつ記憶されている。

なお、Ｌ１は、左右の口角の距離であり、眠気を感じると口周りが緩むことで小さくなる。また、Ｌ２は、左目頭および左目尻の中心点と、左眉中心と、の距離（以降、単に「眉目間の距離」という）であり、眠気を感じると大きくなる。また、αは、頭部の前後への傾きを示す角度である。また、θは、頭部の左右への傾きを示す角度である。この表情情報取得処理について詳しくは後述する。

次に、Ｓ２３にて算出されたｍ個のＬ１，Ｌ２，α，θに基づき、その代表値Ｌ１ａ，Ｌ２ａ，αａ，θａを算出する（Ｓ２４）。
ここでは、まず、記憶部２４に記憶されたＬ１，Ｌ２，α，θをすべて読み出す。そして、Ｌ１，Ｌ２，α，θそれぞれにおける度数分布に基づき、眠気の亢進に伴い値が小さくなるＬ１に関しては、累積相対度数が最小値より５％に該当する値をＬ１ａとして算出する。一方、眠気の亢進に伴い値が大きくなるＬ２，α，θに関しては、累積相対度数が最大値より５％に該当する値をＬ２ａ，αａ，θａとして算出する。

そして、このように算出されたＬ１ａ，Ｌ２ａ，αａ，θａそれぞれの値を記憶部２４に記憶し、記憶部２４に記憶されていたＬ１，Ｌ２，α，θを削除する。記憶部２４には、上述したＬ１ａ，Ｌ２ａ，αａ，θａの値がそれぞれ複数個記憶できるようになっており、Ｓ２４にて上述した値が算出される毎に、記憶部２４に記憶される上述した値それぞれの個数は１つずつ増加していくこととなる。

その後、変数ｉをインクリメント（ｉ＝ｉ＋１）して（Ｓ２５）、変数ｉが所定数ｎ未満ならば（Ｓ２６：ＹＥＳ）、処理がＳ２３に戻る。一方、変数ｉが所定数ｎ未満でなければ（Ｓ２６：ＮＯ）、処理がＳ２７に移行する。このとき、記憶部２４には、Ｌ１ａ，Ｌ２ａ，αａ，θａがそれぞれｎ個ずつ記憶されている。

次に、後述する眠気判定処理で用いられるＬ１ｂ，Ｌ２ｂ，αｂ，θｂを算出する（Ｓ２７）。
このＳ２７では、Ｓ２４にて記憶部２４に記憶されたＬ１ａ，Ｌ２ａ，αａ，θａを全て読み出し、それぞれの正規分布を作成する。これらの正規分布における平均値をμ，標準偏差をσとしたときに、眠気の亢進に伴い値が小さくなるＬ１に対応するＬ１ａに関しては、μ−２σに該当する値をＬ１ｂとして算出する。一方、眠気の亢進に伴い値が大きくなるＬ２，α，θに対応するＬ２ａ，αａ，θａに関しては、μ＋２σに該当する値をそれぞれＬ２ｂ，αｂ，θｂとして算出する。

そして、このように算出したＬ１ｂ，Ｌ２ｂ，αｂ，θｂそれぞれの値を記憶部２４に記憶し、記憶部２４に記憶されていたＬ１ａ，Ｌ２ａ，αａ，θａを削除する。
その後、本処理を終了して、制御部メイン処理に戻る。
（１．２．３）運転時データ取得処理
以下に、制御部２１による運転時データ収集処理の処理手順を、図６に基づいて説明する。この覚醒時データ収集処理は、制御部メイン処理のＳ２にて実行される。

この運転時データ収集処理では、まず、運転者３の顔面の情報を検出する表情情報取得処理を行う（Ｓ３１）。ここでは、覚醒時データ収集処理のＳ２３と同様に、ｍ個のＬ１，Ｌ２，α，θを取得する。この表情情報取得処理について、詳しくは後述する。

次に、Ｓ３１にて算出されたＬ１，Ｌ２，α，θに基づき、その代表値Ｌ１ｄ，Ｌ２ｄ，αｄ，θｄを算出する（Ｓ３２）。
ここでは、まず、記憶部２４に記憶されたＬ１，Ｌ２，α，θをすべて読み出す。そして、Ｌ１，Ｌ２，α，θそれぞれにおける度数分布に基づき、眠気の亢進に伴い値が小さくなるＬ１に関しては、累積相対度数が最小値より５％に該当する値をＬ１ｄとして算出する。一方、眠気の亢進に伴い値が大きくなるＬ２，α，θに関しては、累積相対度数が最大値より５％に該当する値をＬ２ｄ，αｄ，θｄとして算出する。

そして、このように算出されたＬ１ｄ，Ｌ２ｄ，αｄ，θｄそれぞれの値を記憶部２４に記憶し、記憶部２４に記憶されていたＬ１，Ｌ２，α，θを削除する。
その後、本処理を終了して、制御部メイン処理に戻る。
（１．２．４）表情情報取得処理
以下に、制御部２１による表情情報取得処理の処理手順を、図７に基づいて説明する。この表情情報取得処理は、覚醒時データ収集処理におけるＳ２３，運転時データ収集処理におけるＳ３１にて実行される。

この表情情報取得処理では、まず、変数ｊを０に設定する（Ｓ４１）。
次に、撮影装置１０により撮影された顔画像を示す画像データを受信部２２より取得する（Ｓ４２）。

次に、Ｓ４２にて取得した画像データに基づき、顔面の構成要素の位置・角度を示す位置・角度情報を検出する（Ｓ４３）。
ここでは、図８に示すように、左目頭（ｘ₁，ｙ₁，ｚ₁），右目頭（ｘ₂，ｙ₂，ｚ₂），左目尻（ｘ₃，ｙ₃，ｚ₃），左眉頭（ｘ₄，ｙ₄，ｚ₄），右眉頭（ｘ₅，ｙ₅，ｚ₅），左眉中心上端（ｘ₆，ｙ₆，ｚ₆），左鼻孔外側端（右鼻孔と反対側に位置する端部）（ｘ₇，ｙ₇，ｚ₇），右鼻孔外側端（左鼻孔と反対側に位置する端部）（ｘ₈，ｙ₈，ｚ₈），左口角（ｘ₉，ｙ₉，ｚ₉），右口角（ｘ₁₀，ｙ₁₀，ｚ₁₀），下唇下端（ｘ₁₁，ｙ₁₁，ｚ₁₁），上まぶた（ｘ₁₂，ｙ₁₂，ｚ₁₂），下まぶた（ｘ₁₃，ｙ₁₃，ｚ₁₃），上唇上端（ｘ₁₄，ｙ₁₄，ｚ₁₄）の各顔特徴点の位置と、頭部の前後への傾き角度情報αおよび頭部の左右への傾き角度情報θと、を検出する。なお、上述したαおよびθは、頭部が前後，左右のいずれに傾いた場合であっても、正の値として検出する。

上述した位置・角度情報は、顔画像を示す画像データから検出するが、実用化を考慮して１台のカメラで撮影した画像を用いて処理できることを前提とし、その画像から顔特徴点を検出してそれらの間の距離を検出する方法を採る。

顔特徴点の検出は、形状抽出やパターン照合を用いて画像上の２次元座標を検出する方法が一般的であるが、本実施例では顔向きが変化した場合でも正確に特徴点間距離を検出する必要があるため、顔特徴点は３次元座標として検出する。具体的には、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）を用いて、１台のカメラで撮影した顔画像から特徴点の３次元座標を検出し、その座標から特徴量となる顔特徴点間の距離を計算する。ＡＡＭとは、多数の特徴点からなる形態およびテクスチャ情報を持つ２次元モデル（図９（ａ）参照）と、形態のみからなる３次元モデル（図９（ｂ）参照）とを用いて、画像にこれらのモデルをフィッティングさせていくことにより特徴点の３次元座標および頭部の傾きの角度を検出する手法である。

次に、Ｓ４３による検出結果に基づいて、左右の口角の距離情報Ｌ１および眉と目の距離情報Ｌ２を、後述する計算式にて算出し、Ｓ４３にて検出されたαおよびθと共に記憶部２４に記憶する（Ｓ４４）。

上述した各情報のうち、Ｌ１は、左右の口角の距離であり、次に示す式で計算される。
Ｌ１＝[（ｘ₉−ｘ₁₀）²＋（ｙ₉−ｙ₁₀）²＋（ｚ₉−ｚ₁₀）²]^0.5
また、Ｌ２は、眉と目の距離（左目頭と左目尻の中心と、左眉中心上端と、の距離）であり、次に示す式で計算される。

Ｌ２＝[（ｘ₆−（ｘ₁＋ｘ₃）／２）²＋（ｙ₆−（ｙ₁＋ｙ₃）／２）²＋（ｚ₆−（ｚ₁＋ｚ₃）／２）²]^0.5
そして、このように算出したＬ１，Ｌ２およびＳ４３で検出したα，θそれぞれの値を記憶部２４に記憶する。記憶部２４には、上述した値がそれぞれ複数個記憶できるようになっており、Ｓ４４にてＬ１，Ｌ２が算出される毎に、記憶部２４に記憶されるＬ１，Ｌ２，α，θそれぞれの個数は１つずつ増加していくこととなる。

このＳ４４の後、変数ｊをインクリメント（ｊ＝ｊ＋１）して（Ｓ４５）、変数ｊが所定数ｍ未満ならば（Ｓ４６：ＹＥＳ）、処理がＳ４２に戻る。一方、変数ｊが所定数ｍ未満でなければ（Ｓ４６：ＮＯ）、本処理が終了する。
（１．２．５）眠気判定処理
以下に、制御部２１による眠気判定処理の処理手順を、図１０に基づいて説明する。この眠気判定処理は、制御部メイン処理のＳ３にて実行される。

この眠気判定処理では、まず、変数Ｌ１ｆ，Ｌ２ｆ，αｆ，θｆを０に設定する（Ｓ６１）。
次に、覚醒時データ収集処理のＳ２７において算出されたＬ１ｂの値と、運転時データ収集処理のＳ３２において算出されたＬ１ｄの値と、を比較する（Ｓ６２）。

このとき、Ｌ１ｄの値がＬ１ｂの値以下であれば（Ｓ６２：ＹＥＳ）、つまり、覚醒時と比較して左右口角間の距離が小さくなっていれば、変数Ｌ１ｆを１に設定し（Ｓ６３）、処理がＳ６４へ移行する。一方、Ｌ１ｄの値がＬ１ｂの値以下でなければ（Ｓ６２：ＮＯ）、処理がＳ６４へ移行する。

次に、覚醒時データ収集処理のＳ２７において算出されたＬ２ｂの値と、運転時データ収集処理のＳ３２において算出されたＬ２ｄの値と、を比較する（Ｓ６４）。
このとき、Ｌ２ｄの値がＬ２ｂの値以上であれば（Ｓ６４：ＹＥＳ）、つまり、覚醒時と比較して眉目間の距離が大きくなっていれば、変数Ｌ２ｆを１に設定し（Ｓ６５）、処理がＳ６６へ移行する。一方、Ｌ２ｄの値がＬ２ｂの値以上でなければ（Ｓ６４：ＮＯ）、処理がＳ６６へ移行する。

次に、覚醒時データ収集処理のＳ２７において算出されたαｂの値と、運転時データ収集処理のＳ３２において算出されたαｄの値と、を比較する（Ｓ６６）。
このとき、αｄの値がαｂの値以上であれば（Ｓ６６：ＹＥＳ）、つまり、覚醒時と比較して頭部の前後への傾きが大きくなっていれば、変数αｆを１に設定し（Ｓ６７）、処理がＳ６８へ移行する。一方、上述した条件を満たさなければ、（Ｓ６６：ＮＯ）、変数αｆを変更することなく、処理がＳ６８へ移行する。

次に、覚醒時データ収集処理のＳ２７において算出されたθｂの値と、運転時データ収集処理のＳ３２において算出されたθｄの値と、を比較する（Ｓ６８）。
このとき、θｄの値がθｂの値以上であれば（Ｓ６８：ＹＥＳ）、つまり、覚醒時と比較して頭部の左右への傾きが大きくなっていれば、変数θｆを１に設定し（Ｓ６９）、処理がＳ７０へ移行する。一方、上述した条件を満たさなければ、（Ｓ６８：ＮＯ）、変数θｆを変更することなく、処理がＳ７０へ移行する。

次に、変数Ｌ１ｆ，Ｌ２ｆ，αｆ，θｆがいずれも０であれば（Ｓ７０：ＹＥＳ）、眠気レベル０（眠気なし）と判定し（Ｓ７１）、処理がＳ７７に移行する。一方、変数Ｌ１ｆ，Ｌ２ｆ，αｆ，θｆがいずれも０でなければ（Ｓ７０：ＮＯ）、処理がＳ７２に移行する。

次に、変数Ｌ２ｆ，αｆ，θｆがいずれも０であれば（Ｓ７２：ＹＥＳ）、眠気レベル１（軽度眠気）と判定し（Ｓ７３）、処理がＳ７７に移行する。一方、変数Ｌ２ｆ，αｆ，θｆがいずれも０でなければ（Ｓ７２：ＮＯ）、処理がＳ７４に移行する。

次に、変数αｆ，θｆいずれも０であれば（Ｓ７４：ＹＥＳ）、眠気レベル２（中度眠気）と判定し（Ｓ７５）、処理がＳ７７に移行する。一方、変数αｆ，θｆがいずれも０でなければ（Ｓ７４：ＮＯ）、眠気レベル３（強度眠気）と判定する（Ｓ７６）。

次に、判定された眠気の度合に基づいて、警報装置３０，首元空調装置４０，シートベルト振動装置５０，および，ブレーキ制御装置６０に動作を行わせる信号を出力部２５に出力させる（Ｓ７７）。ここでは、眠気レベル０と判定された場合には上述したいずれの装置にも動作を行わせない。眠気レベル１と判定された場合には、警報装置３０および首元空調装置４０に動作を行わせる。眠気レベル２と判定された場合には、警報装置３０，首元空調装置４０，および，シートベルト振動装置５０に動作を行わせる。眠気レベル３と判定された場合には、それら全ての装置に動作を行わせる。

次に、記憶部２４からＬ１ｄ，Ｌ２ｄ，αｄ，θｄを削除する（Ｓ７８）。その後、本処理を終了して、制御部メイン処理に戻る。
（１．３）効果
このように構成された実施例１における眠気判定装置２０であれば、左右の口角の距離，眉と目の距離，および，頭部傾き角度に基づいて眠気の度合を判定することができる。そのため、眠気の度合の判定に、目の開度などの目の情報を必要としない。よって、目の情報の取得を阻害する外乱要因の影響を受けないので、目の開度，瞳孔径，視線などの目の情報のみに基づいては眠気の度合が判定できない場合であっても、眠気の度合を判定することができる。

また、上述した眠気判定装置２０であれば、撮影装置１０により撮影された顔画像を示す画像データに基づいて、眠気の度合を判定することができる。よって、左右の口角の距離，眉と目の距離，頭部傾き角度を検出するための電極などを、眠気の度合を判定する対象者に直接取り付けることなく、簡便に眠気の度合を判定することができる。

さらに、左右の口角の距離は軽度の眠気にて変化が発生し、眉と目の距離は中度の眠気にて変化が発生し、頭部傾き角度は強度の眠気にて変化が発生する。よって、このような方法で眠気の度合を判定する眠気判定装置２０であれば、強度眠気，中度眠気，軽度眠気，および，眠気なし，の４段階で眠気の度合を判定することができる。

また、上述したこのように構成された居眠り防止システム１は、車両２に搭載して用いることができるので、車両２の運転者３を対象として眠気の度合を判定することができる。

また、上述した居眠り防止システム１においては、眠気判定装置２０が警報装置３０と連携しており、眠気の度合の判定結果に応じた画面表示および音声出力を行う。また、眠気の度合の判定結果に応じて、首元空調装置４０，シートベルト振動装置５０，ブレーキ制御装置６０が動作する。そのため、運転者３に対して眠気の度合に応じた適切な居眠り防止対応を行うことができ、居眠り運転による事故を未然に防止できる。
（１．４）対応関係
以上説明した実施形態において、図７におけるＳ４３，Ｓ４４が本発明における表情情報取得手段であり、図１０の眠気判定処理が本発明における眠気判定手段であり、撮影装置１０が本発明における撮影手段である。
［実施例２］
（２．１）全体構成
実施例２における居眠り防止システム１は、基本的に実施例１と同じ構成である。しかしながら、制御部２１による処理が一部変更されているため、変更された処理を以下に示す。
（２．２）制御部２１による処理
以下に、実施例２における居眠り防止システム１の眠気判定装置２０が備える制御部２１により実行される各種処理について説明する。この実施例２は、上述した実施例１と比べて、制御部メイン処理，覚醒時データ収集処理，運転時データ収集処理，および，眠気判定処理の処理方法が異なる。
（２．２．１）制御部メイン処理
以下に、実施例２における制御部メイン処理の処理手順を、図１１に基づいて説明する。この制御部メイン処理は、入力部２３に備えられた開始ボタンを押すことによって開始される。

この制御部メイン処理では、まず、覚醒時における運転者３の顔面の情報を収集する覚醒時データ収集処理２を行う（Ｓ１０１）。ここでは、運転者３の眠気を判定する基準となる覚醒時の顔面の情報として、Ｌ１ａ，Ｌ２ａ，αａ，θａをそれぞれｎ個ずつ取得する。実施例２における覚醒時データ収集処理について詳しくは後述する。

次に、運転者３の顔面の情報を取得する運転時データ収集処理を行う（Ｓ１０２）。ここでは運転者３の顔面の情報として、Ｌ１ｄ，Ｌ２ｄ，αｄ，θｄをそれぞれｎ個ずつ取得する。実施例２における運転時データ収集処理について詳しくは後述する。

次に、運転者３の眠気の度合を判定する眠気判定処理を行う（Ｓ１０３）。
ここでは、Ｓ１０１において算出されたＬ１ａ，Ｌ２ａ，αａ，θａそれぞれｎ個と、Ｓ１０２において算出されたＬ１ｄ，Ｌ２ｄ，αｄ，θｄそれぞれｎ個と、に基づき、対応のあるｔ検定を行う。その検定結果に基づいて、左右の口角の距離情報Ｌ１，眉と目の距離情報Ｌ２，頭部の前後への傾き角度情報α，および，頭部の左右への傾き角度情報θそれぞれに基づく眠気の有無を判断し、その判断結果の組み合わせにより眠気の度合を判定する。実施例２における眠気判定処理について詳しくは後述する。

次に、入力部２３の終了ボタンが押されたか否かがチェックされる（Ｓ１０４）。終了ボタンが押されていなければ（Ｓ１０４：ＮＯ）、処理がＳ１０２に戻る。一方、終了ボタンが押されていれば（Ｓ１０４：ＹＥＳ）、本処理を終了する。

なお、この制御部メイン処理は、車両２におけるエンジン等の動力部が停止して車両全体の制御が終了した際にも終了する。
（２．２．２）覚醒時データ収集処理
以下に、実施例２における覚醒時データ収集処理の処理手順を、図１２に基づいて説明する。

この覚醒時データ収集処理において、Ｓ１２１〜Ｓ１２６の処理は、実施例１の覚醒時データ収集処理におけるＳ２１〜Ｓ２６と同様の処理である。Ｓ１２６にて変数ｉが所定数ｎ未満でなければ（Ｓ１２６：ＮＯ）、実施例１の覚醒時データ収集処理のＳ２７に該当する処理を行うことなく、本処理を終了して、制御部メイン処理に戻る。

なお、実施例１においては、覚醒時データ収集処理が終了した時点で、記憶部２４にはＬ１ｂ，Ｌ２ｂ，αｂ，θｂが記憶されていたが、実施例２においては、この時点で、記憶部２４にＬ１ａ，Ｌ２ａ，αａ，θａがそれぞれｎ個ずつ記憶されているという点で異なる。
（２．２．３）運転時データ収集処理
以下に、実施例２における運転時データ収集処理の処理手順を、図１３に基づいて説明する。この運転時データ収集処理は、制御部メイン処理のＳ１０２にて実行される。

この運転時データ収集処理では、まず、変数ｋを０に設定する（Ｓ１４１）。
次に、実施例１にて述べた表情情報取得処理を行い、ｍ個のＬ１，Ｌ２，α，θを算出する（Ｓ１４２）。

次に、Ｓ１４２にて算出されたｍ個のＬ１，Ｌ２，α，θに基づき、その代表値Ｌ１ｄ，Ｌ２ｄ，αｄ，θｄを算出する（Ｓ１４３）。ここでは、実施例１の運転時データ収集処理のＳ３２と同様の処理を行って代表値を算出する。

そして、このように算出したＬ１ｄ，Ｌ２ｄ，αｄ，θｄそれぞれの値を記憶部２４に記憶する。記憶部２４には、上述した値がそれぞれ複数個記憶できるようになっており、Ｓ１４３にて上述した値を算出する毎に、記憶部２４に記憶されるそれぞれの値の数は１つずつ増加していくこととなる。

その後、変数ｋをインクリメント（ｋ＝ｋ＋１）して（Ｓ１４４）、変数ｋが所定数ｎ未満ならば（Ｓ１４５：ＹＥＳ）、処理がＳ１４２に戻る。一方、変数ｋが所定数ｎ未満でなければ（Ｓ１４５：ＮＯ）、本処理を終了して、制御部メイン処理に戻る。このとき、記憶部２４には、Ｌ１ｄ，Ｌ２ｄ，αｄ，θｄがそれぞれｎ個ずつ記憶されている。
（２．２．４）眠気判定処理
以下に、実施例２における眠気判定処理の処理手順を、図１４に基づいて説明する。この眠気判定処理は、制御部メイン処理のＳ１０３にて実行される。

この眠気判定処理では、まず、変数Ｌ１ｆ，Ｌ２ｆ，αｆ，θｆを０に設定する（Ｓ１６１）。
次に、覚醒時データ収集処理のＳ１２４において算出されたＬ１ａの値ｎ個と、運転時データ収集処理のＳ１４３において算出されたＬ１ｄの値ｎ個と、に基づいて、対応のあるｔ検定を行う（Ｓ１６２）。この眠気判定処理において、対応のあるｔ検定の有意水準は５％とする。

このとき、Ｌ１ｄの平均がＬ１ａの平均に対して有意に小さければ（Ｓ１６２：ＹＥＳ）、つまり、覚醒時と比較して左右口角間の距離が小さくなっていれば、変数Ｌ１ｆを１に設定し（Ｓ１６３）、処理がＳ１６４へ移行する。一方、Ｌ１ｄの平均がＬ１ａの平均に対して有意に小さくなければ（Ｓ１６２：ＮＯ）、処理がＳ１６４へ移行する。

次に、覚醒時データ収集処理のＳ１２４において算出されたＬ２ａの値ｎ個と、運転時データ収集処理のＳ１４３において算出されたＬ２ｄの値ｎ個と、に基づいて、対応のあるｔ検定を行う（Ｓ１６４）。

このとき、Ｌ２ｄの平均がＬ２ａの平均に対して有意に大きければ（Ｓ１６４：ＹＥＳ）、つまり、覚醒時と比較して眉目間の距離が大きくなっていれば、変数Ｌ２ｆを１に設定し（Ｓ１６５）、処理がＳ１６６へ移行する。一方、Ｌ１ｄの平均がＬ１ａの平均に対して有意に大きくなければ（Ｓ１６４：ＮＯ）、処理がＳ１６６へ移行する。

次に、覚醒時データ収集処理のＳ１２４において算出されたαａの値ｎ個と、運転時データ収集処理のＳ１４３において算出されたαｄの値ｎ個と、に基づいて、対応のあるｔ検定を行う（Ｓ１６６）。

このとき、αｄの平均がαａの平均に対して有意に大きければ（Ｓ１６６：ＹＥＳ）、つまり、覚醒時と比較して頭部の前後への傾きが大きくなっていれば、変数αｆを１に設定し（Ｓ１６７）、処理がＳ１６８へ移行する。一方、上述した条件を満たさなければ（Ｓ１６６：ＮＯ）、変数αｆを変更することなく、処理がＳ１６８へ移行する。

次に、覚醒時データ収集処理のＳ１２４において算出されたθａの値ｎ個と、運転時データ収集処理のＳ１４３において算出されたθｄの値ｎ個と、に基づいて、対応のあるｔ検定を行う（Ｓ１６８）。

このとき、θｄの平均がθａの平均に対して有意に大きければ（Ｓ１６８：ＹＥＳ）、つまり、覚醒時と比較して頭部の左右への傾きが大きくなっていれば、変数θｆを１に設定し（Ｓ１６９）、処理がＳ１７０へ移行する。一方、上述した条件を満たさなければ（Ｓ１６８：ＮＯ）、変数θｆを変更することなく、処理がＳ１７０へ移行する。

次に、変数Ｌ１ｆ，Ｌ２ｆ，αｆ，θｆがいずれも０であれば（Ｓ１７０：ＹＥＳ）、眠気レベル０（眠気なし）と判定し（Ｓ１７１）、処理がＳ１７７に移行する。一方、変数Ｌ１ｆ，Ｌ２ｆ，αｆ，θｆがいずれも０でなければ（Ｓ１７０：ＮＯ）、処理がＳ１７２に移行する。

次に、変数Ｌ２ｆ，αｆ，θｆがいずれも０であれば（Ｓ１７２：ＹＥＳ）、眠気レベル１（軽度眠気）と判定し（Ｓ１７３）、処理がＳ１７７に移行する。一方、変数Ｌ２ｆ，αｆ，θｆがいずれも０でなければ（Ｓ１７２：ＮＯ）、処理がＳ１７４に移行する。

次に、変数αｆ，θｆがいずれも０であれば（Ｓ１７４：ＹＥＳ）、眠気レベル２（中度眠気）と判定し（Ｓ１７５）、処理がＳ１７７に移行する。一方、変数αｆ，θｆがいずれも０でなければ（Ｓ１７４：ＮＯ）、眠気レベル３（強度眠気）と判定する（Ｓ１７６）。

次に、判定された眠気の度合に基づいて、警報装置３０，首元空調装置４０，シートベルト振動装置５０，および，ブレーキ制御装置６０に動作を行わせる信号を出力部２５に出力させる（Ｓ１７７）。ここでは、実施例１の眠気判定処理のＳ７７と同様の処理を行う。

次に、記憶部２４からＬ１ｄ，Ｌ２ｄ，αｄ，θｄを削除する（Ｓ１７８）。その後、本処理を終了して、制御部メイン処理に戻る。
（２．３）効果
実施例２に記載の眠気判定装置２０または居眠り防止システム１においても、実施例１と同様の効果を得ることができる。さらに本実施例２においては、眠気判定処理において、眠気の有無の判断（Ｓ１７０，Ｓ１７２，Ｓ１７４）を対応のあるｔ検定にて行っているため、その判定結果がより信頼性の高いものとなっており、上述した実施例１と比べて誤判定を少なくすることができる。
（２．４）対応関係
以上説明した実施形態において、図７におけるＳ４３，Ｓ４４が本発明における表情情報取得手段であり、図１４の眠気判定処理が本発明における眠気判定手段であり、撮影装置１０が本発明における撮影手段である。
［実施例３］
（３．１）全体構成
実施例３における居眠り防止システム１は、基本的に実施例１と同じ構成である。しかしながら、制御部２１による処理が異なるため、その処理を以下に説明する。
（３．２）制御部２１による処理
以下に、実施例３における居眠り防止システム１の眠気判定装置２０が備える制御部２１により実行される各種処理について説明する。
（３．２．１）制御部メイン処理
以下に、実施例３における制御部メイン処理の処理手順を、図１５に基づいて説明する。この制御部メイン処理は、入力部２３に備えられた開始ボタンを押すことによって開始される。

この制御部メイン処理では、まず、表情情報取得処理を行う（Ｓ２０１）。ここでは、撮影装置１０が撮影した運転者３の顔画像に基づいて、表情情報として左右の口角の距離（Ｌ１），眉と目の距離（Ｌ２），眉頭の中点と目頭の中点間の距離（Ｌ３），眉頭間の距離（Ｌ４），鼻下端の中点と目頭の中点間の距離（Ｌ５），口端の中点と目頭の中点間の距離（Ｌ６），下唇下端と目頭の中点間の距離（Ｌ７），上まぶたと下まぶた間の距離（Ｌ８），鼻下左右両端間の距離（Ｌ９），上唇上端と目頭の中点間の距離（Ｌ１０），頭部の前後への傾き角度（α），頭部の左右への傾き角度（θ）の各表情情報を算出して、記憶部２４に記憶する。この表情情報取得処理について、詳しくは後述する。なお、このＳ２０１にて算出された表情情報は、Ｓ２０１が実行されるごとに記憶部２４に蓄積される。

次に、規定の時間が経過したか否かがチェックされる（Ｓ２０２）。規定の時間（例えば、５ｍｉｎ）経過していなければ（Ｓ２０２：ＮＯ）、所定の時間（例えば、５ｓ）待機した後、処理がＳ２０１に戻る。一方、規定の時間経過していれば（Ｓ２０２：ＹＥＳ）、処理がＳ２０３に移行する。

次に、眠気を判定する基準となる覚醒時情報を算出する（Ｓ２０３）。ここでは、Ｓ２０１にて記憶部２４に複数回記憶された各表情情報をすべて読み出す。そして、読み出された各表情情報それぞれによって正規分布を作る。このとき、Ｌ１，Ｌ８およびＬ９は、眠気が亢進するにつれて値が小さくなるため、基準となる覚醒時情報の値を小さく設定する。よって、Ｌ１，Ｌ８およびＬ９に関しては、平均値をμ，標準偏差をσとしたときに、μ−２σに該当する値をＬ１，Ｌ８，Ｌ９それぞれの覚醒時情報として記憶部２４に記憶する。一方、Ｌ２〜Ｌ７，Ｌ１０，α，θに関しては、それぞれにより作られる正規分布におけるμ＋２σに該当する値をＬ２〜Ｌ７，Ｌ１０，α，θそれぞれの覚醒時情報として記憶部２４に記憶する。

次に、表情情報取得処理を行う（Ｓ２０４）。ここでは、上述したＳ２０１と同様に、各表情情報を算出し、記憶部２４に記憶する。
次に、運転者３の眠気の度合を判定する眠気判定処理を行う（Ｓ２０５）。ここでは、Ｓ２０３で算出された覚醒時情報と、Ｓ２０４で算出された表情情報と、を記憶部２４から読み出して比較し、眠気の度合を判定する。この眠気判定処理について、詳しくは後述する。

その後、Ｓ２０４で算出された表情情報を記憶部２４から消去し、処理がＳ２０４に戻る。
なお、本処理は、入力部２３の終了ボタンが押された場合，および，車両２におけるエンジン等の動力部が停止して車両全体の制御が終了した場合に終了する。
（３．２．２）表情情報取得処理
以下に、実施例３における表情情報取得処理の処理手順を、図１６に基づいて説明する。この表情情報取得処理は、制御部メイン処理におけるＳ２０１，Ｓ２０４にて実行される。

この表情情報取得処理では、まず、撮影装置１０により撮影された顔画像を示す画像データを受信部２２より取得する（Ｓ２２１）。
次に、Ｓ２２１にて取得した画像データに基づき、顔面の構成要素の位置・角度を示す位置・角度情報を検出する（Ｓ２２２）。ここでは、実施例１の表情情報取得処理のＳ４３と同様に、ＡＡＭを用いて、左目頭（ｘ₁，ｙ₁，ｚ₁），右目頭（ｘ₂，ｙ₂，ｚ₂），左目尻（ｘ₃，ｙ₃，ｚ₃），左眉頭（ｘ₄，ｙ₄，ｚ₄），右眉頭（ｘ₅，ｙ₅，ｚ₅），左眉中心上端（ｘ₆，ｙ₆，ｚ₆），左鼻孔外側端（右鼻孔と反対側に位置する端部）（ｘ₇，ｙ₇，ｚ₇），右鼻孔外側端（左鼻孔と反対側に位置する端部）（ｘ₈，ｙ₈，ｚ₈），左口角（ｘ₉，ｙ₉，ｚ₉），右口角（ｘ₁₀，ｙ₁₀，ｚ₁₀），下唇下端（ｘ₁₁，ｙ₁₁，ｚ₁₁），上まぶた（ｘ₁₂，ｙ₁₂，ｚ₁₂），下まぶた（ｘ₁₃，ｙ₁₃，ｚ₁₃），上唇上端（ｘ₁₄，ｙ₁₄，ｚ₁₄）の各位置と、頭部の前後への傾き角度情報αおよび頭部の左右への傾き角度情報θと、を検出する。なお、上述したαおよびθは、頭部が前後，左右のいずれに傾いた場合であっても、正の値として検出する。

次に、Ｓ２２２による検出結果に基づいて、上述した表情情報Ｌ１〜Ｌ１０を算出する（Ｓ２２３）。
上述した表情情報のうち、Ｌ１は、左右の口角の距離（左口角と右口角との距離）であり、上述した左口角と右口角とに基づき、次に示す式で計算される。

Ｌ１＝[（ｘ₉−ｘ₁₀）²＋（ｙ₉−ｙ₁₀）²＋（ｚ₉−ｚ₁₀）²]^0.5
また、Ｌ２は、眉と目の距離（左目頭と左目尻の中心と、左眉中心上端と、の距離）であり、次に示す式で計算される。

Ｌ２＝[（ｘ₆−（ｘ₁＋ｘ₃）／２）²＋（ｙ₆−（ｙ₁＋ｙ₃）／２）²＋（ｚ₆−（ｚ₁＋ｚ₃）／２）²]^0.5
また、Ｌ３は、眉頭の中点と目頭の中点間の距離（左眉頭と右眉頭の中心と、左目頭と右目頭の中心と、の距離）であり、次に示す式で計算される。

Ｌ３＝[（（ｘ₄＋ｘ₅）／２−（ｘ₁＋ｘ₂）／２）²＋（（ｙ₄＋ｙ₅）／２−（ｙ₁＋ｙ₂）／２）²＋（（ｚ₄＋ｚ₅）／２−（ｚ₁＋ｚ₂）／２）²]^0.5
また、Ｌ４は、眉頭間の距離（左眉頭と右眉頭との距離）であり、次に示す式で計算される。

Ｌ４＝[（ｘ₄−ｘ₅）²＋（ｙ₄−ｙ₅）²＋（ｚ₄−ｚ₅）²]^0.5
また、Ｌ５は、鼻下端の中点と目頭の中点間の距離（左鼻孔外側端と右鼻孔外側端の中心と、左目頭と右目頭の中心と、の距離）であり、次に示す式で計算される。

Ｌ５＝[（（ｘ₇＋ｘ₈）／２−（ｘ₁＋ｘ₂）／２）²＋（（ｙ₇＋ｙ₈）／２−（ｙ₁＋ｙ₂）／２）²＋（（ｚ₇＋ｚ₈）／２−（ｚ₁＋ｚ₂）／２）²]^0.5
また、Ｌ６は、口端の中点と目頭の中点間の距離（左口角と右口角の中心と、左目頭と右目頭の中心と、の距離）であり、次に示す式で計算される。

Ｌ６＝[（（ｘ₉＋ｘ₁₀）／２−（ｘ₁＋ｘ₂）／２）²＋（（ｙ₉＋ｙ₁₀）／２−（ｙ₁＋ｙ₂）／２）²＋（（ｚ₉＋ｚ₁₀）／２−（ｚ₁＋ｚ₂）／２）²]^0.5
また、Ｌ７は、下唇下端と目頭の中点間の距離（下唇下端と、左目頭と右目頭の中心と、の距離）であり、次に示す式で計算される。

Ｌ７＝[（ｘ₁₁−（ｘ₁＋ｘ₂）／２）²＋（ｙ₁₁−（ｙ₁＋ｙ₂）／２）²＋（ｚ₁₁−（ｚ₁＋ｚ₂）／２）²]^0.5
また、Ｌ８は、上まぶたと下まぶた間の距離であり、次に示す式で計算される。

Ｌ８＝[（ｘ₁₂−ｘ₁₃）²＋（ｙ₁₂−ｙ₁₃）²＋（ｚ₁₂−ｚ₁₃）²]^0.5
また、Ｌ９は、鼻下左右両端間の距離（左鼻孔外側端と、右鼻孔外側端と、の距離）であり、次に示す式で計算される。

Ｌ９＝[（ｘ₇−ｘ₈）²＋（ｙ₇−ｙ₈）²＋（ｚ₇−ｚ₈）²]^0.5
なお、鼻孔の外側端間の距離に替えて、左右の鼻翼の外側端間の距離をＬ９として用いてもよい。その場合は、上述したＳ２２２にて、左右それぞれの鼻翼の外側端の位置を検出する構成とするとよい。

また、Ｌ１０は、上唇上端と目頭の中点間の距離（上唇上端と、左目頭と右目頭の中心と、の距離）であり、次に示す式で計算される。
Ｌ１０＝[（ｘ₁₄−（ｘ₁＋ｘ₂）／２）²＋（ｙ₁₄−（ｙ₁＋ｙ₂）／２）²＋（ｚ₁₄−（ｚ₁＋ｚ₂）／２）²]^0.5
このようにして算出したＬ１〜Ｌ１０およびＳ２２３で検出したα，θそれぞれの値を記憶部２４に記憶する。その後、本処理を終了して、制御部メイン処理に戻る。
（３．２．３）眠気判定処理
以下に、実施例３における眠気判定処理の処理手順を、図１７に基づいて説明する。この眠気判定処理は、制御部メイン処理のＳ２０５にて実行される。

この眠気判定処理が開始されると、まず、表情情報それぞれにおける眠気の有無を判断する（Ｓ２４１）。ここでは、制御部メイン処理のＳ２０３で算出したＬ１〜Ｌ１０，α，θそれぞれの覚醒時情報と、Ｓ２０４で算出した表情情報Ｌ１〜Ｌ１０，α，θそれぞれとを比較し、眠気の有無を判断する。

なお、表情情報と覚醒時情報との比較と眠気の有無の対応関係を表１に示す。

この表１の対応関係に従って、眠気の有無を判断する。

次に、Ｓ２４１で判断した表情情報のうち、眠気有りと判断された表情情報の数が７以上か否かチェックする（Ｓ２４２）。
眠気有りと判断された表情情報の数が７以上であれば（Ｓ２４２：ＹＥＳ）、眠気レベルを３（強度眠気）と判定し（Ｓ２４３）、処理がＳ２４９に移行する。一方、７以上でなければ（Ｓ２４２：ＮＯ）、処理がＳ２４４に移行する。

次に、眠気有りと判断された表情情報の数が５以上か否かチェックする（Ｓ２４４）。
眠気有りと判断された表情情報の数が５以上であれば（Ｓ２４４：ＹＥＳ）、眠気レベルを２（中度眠気）と判定し（Ｓ２４５）、処理がＳ２４９に移行する。一方、５以上でなければ（Ｓ２４４：ＮＯ）、処理がＳ２４６に移行する。

次に、眠気有りと判断された表情情報の数が３以上か否かチェックする（Ｓ２４６）。眠気有りと判断された表情情報の数が３以上であれば（Ｓ２４６：ＹＥＳ）、眠気レベルを１（軽度眠気）と判定する（Ｓ２４７）。一方、３以上でなければ（Ｓ２４６：ＮＯ）、眠気レベルを０（眠気無し）と判定する（Ｓ２４８）。その後、処理がＳ２４９に移行する。

次に、判定された眠気の度合に基づいて、警報装置３０，首元空調装置４０，シートベルト振動装置５０，および，ブレーキ制御装置６０に動作を行わせる信号を出力部２５に出力させる（Ｓ２４９）。ここでは、実施例１の眠気判定処理のＳ７７と同様の処理を行う。その後、本処理を終了して、制御部メイン処理に戻る。
（３．３）効果
実施例３に記載の居眠り防止システム１においても、実施例１および実施例２と同様に、目の情報のみに基づいては眠気の度合が判定できない場合であっても、顔面の表情の動きを検出する電極などを、眠気の度合を判定する対象者に直接取り付けることなく、簡便に眠気の度合を判定することができる。

さらに、本実施例においては、実施例１，２と比較して多数の表情情報に基づいて眠気を判定しているため、その判定結果がより信頼性の高いものとなる。
（３．４）対応関係
以上説明した実施形態において、図１６におけるＳ２２２，Ｓ２２３が本発明における表情情報取得手段であり、図１７の眠気判定処理が本発明における眠気判定手段であり、撮影装置１０が本発明における撮影手段である。
［実施例４］
（４．１）全体構成
実施例４における居眠り防止システム１は、基本的に実施例３と同じ構成であり、制御部メイン処理，表情情報取得処理は実施例３と同様の処理であるが、実施例３における眠気判定処理の処理に替えて、以下に説明する眠気判定処理が実行される。
（４．２）眠気判定処理
以下に、実施例４における居眠り防止システム１の制御部２１により実行される眠気判定処理を、図１８に基づいて説明する。本処理は、実施例３の制御部メイン処理のＳ２０５にて実行される。

この眠気判定処理では、まず、顔傾きが覚醒時情報より大きいか否かを判定する（Ｓ２６１）。具体的には、制御部メイン処理のＳ２０３で算出したα，θの覚醒時情報と、Ｓ２０４で算出した表情情報α，θとをそれぞれ比較し、表情情報α，θのいずれか一方でも覚醒時情報より大きければ（Ｓ２６１：ＹＥＳ）、眠気レベルを３（強度眠気）と判定し（Ｓ２６２）、処理がＳ２６８に移行する。一方、表情情報α，θのいずれも覚醒時情報より大きくなければ（Ｓ２６１：ＮＯ）、処理がＳ２６３に移行する。

次に、眉と目の距離が覚醒時情報より大きいか否かを判定する（Ｓ２６３）。具体的には、制御部メイン処理のＳ２０３で算出したＬ２の覚醒時情報と、Ｓ２０４で算出した表情情報Ｌ２とを比較し、表情情報Ｌ２が覚醒時情報より大きければ（Ｓ２６３：ＹＥＳ）、眠気レベルを２（中度眠気）と判定し（Ｓ２６４）、処理をＳ２６８に移行する。一方、表情情報Ｌ２が覚醒時情報より大きくなければ（Ｓ２６３：ＮＯ）、処理がＳ２６５に移行する。

次に、口角間距離が覚醒時情報より小さいか否かを判定する（Ｓ２６５）。具体的には、制御部メイン処理のＳ２０３で算出したＬ１の覚醒時情報と、Ｓ２０４で算出した表情情報Ｌ１とを比較し、表情情報Ｌ１が覚醒時情報より小さければ（Ｓ２６５：ＹＥＳ）、眠気レベルを１（軽度眠気）と判定する（Ｓ２６６）。一方、表情情報Ｌ１が覚醒時情報より小さくなければ（Ｓ２６５：ＮＯ）、眠気レベルを０（眠気無し）と判定する（Ｓ２６７）。その後、処理がＳ２６８に移行する。

次に、判定された眠気の度合に基づいて、警報装置３０，首元空調装置４０，シートベルト振動装置５０，および，ブレーキ制御装置６０に動作を行わせる信号を出力部２５に出力させる（Ｓ２６８）。ここでは、実施例１の眠気判定処理のＳ７７と同様の処理を行う。その後、本処理を終了して、制御部メイン処理に戻る。
（４．３）効果
実施例４に記載の居眠り防止システム１においても、実施例１〜実施例３と同様に、目の情報のみに基づいては眠気の度合が判定できない場合であっても、顔面の表情の動きを検出する電極などを、眠気の度合を判定する対象者に直接取り付けることなく、簡便に眠気の度合いを判定することができる。
［変形例］
以上、本発明の実施例について説明したが、本発明は、上記各実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、上記各実施例においては、撮影装置１０により撮影した顔画像を示す画像データに基づいて、顔面の動作を取得する構成について例示した。しかし、顔面の動作を取得できれば、その具体的な構成は特に限定されない。

例えば、電極を顔面に貼り付け、顔の筋肉が動くときにその力の大きさに比例して発生する微弱な電気を検出して、口周り緩み，眉上がり，頭部傾きなどを取得してもよい。
また、上記各実施例において、眠気判定装置２０による処理は、入力部２３に備えられた開始ボタンを押すことによって開始される構成を例示したが、それ以外の条件を満たすことによって開始される構成としても良い。

例えば、車両２におけるエンジン等の動力部が起動した際に同時に処理を開始する構成や、車両内に車両の進行速度を測定する車速センサが備えられており、車速センサが所定の速度（例えば、３０ｋｍ／ｈ）を超えたことを検出したときに処理を開始する構成などが考えられる。

また、上記各実施例において、頭部の傾きに関する情報として、前後頭部傾き角度情報αと左右頭部傾き角度情報θとをいずれも取得する構成を例示した。しかし、いずれか一方のみを取得する構成としてもよい。

また、上記各実施例においては、左右の口角の距離，眉と目の距離，頭部傾き角度，眉頭の中点と目頭の中点間の距離，眉頭間の距離，鼻下端の中点と目頭の中点間の距離，口端の中点と目頭の中点間の距離，下唇下端と目頭の中点間の距離，上まぶたと下まぶた間の距離，鼻下左右両端間の距離，上唇上端と目頭の中点間の距離，のうちいずれかの表情情報に基づいて眠気の度合を判定する構成について例示した。しかし、視線などを検出して、それらに基づいて眠気の有無を検出し、その検出結果と、上述した情報とを組み合わせて眠気の度合を判定してもよい。

また、上記実施例３においては、眠気判定処理で説明したように、１２の表情情報それぞれに基づいて眠気の有無を判断し、眠気有りと判断された表情情報の数に応じて眠気の度合を判定する構成を例示した。しかしながら、眠気の有無を判断する表情情報は１２に限定されず、また、眠気の度合のしきい値となる数も７，５，３に限定されない。

また、上述した眠気判定処理は、各表情情報に基づいて、眠気の有無ではなく、眠気の程度を判断するように構成してもよい。その場合、眠気の度合は、眠気の程度の平均により判定してもよいし、眠気の程度の最頻値により判定してもよい。なお、眠気の程度は、覚醒時情報と比較してどの程度乖離しているかによって判断するとよい。

また、上記実施例４においては、頭部傾き角度（顔傾き），眉と目の距離，左右の口角間距離に基づいて眠気の度合を判定する構成を例示したが、その他の表情情報を用いて眠気の度合を判定してもよい。また、覚醒時情報と表情情報との比較は、統計的検定を用いた有意性判定による比較でもよい。
［眠気表情特徴の眠気の度合に対する傾向を確認する試験］
以下に、上述した眠気表情特徴の眠気の度合に対する傾向を確認するための試験を説明する。

本試験では、まず、対象者が覚醒状態から居眠り状態となるまでの顔面の変化を連続的に撮影した。そして、評価者がその撮影した映像を見て対象者の眠気のレベルを官能評価でレベル０〜５に分類し、それぞれの眠気のレベルにおいて、左右口角の距離，眉目間の距離，前後の頭部傾き，左右の頭部傾き，眉頭の中点と目頭の中点間の距離，眉頭間の距離，鼻下端の中点と目頭の中点間の距離，口端の中点と目頭の中点間の距離，下唇下端と目頭の中点間の距離，上まぶたと下まぶた間の距離，左鼻孔外側端と右鼻孔外側端の距離，上唇上端と目頭の中点間の距離をそれぞれ１０回程度測定した。

眠気のレベルは、全く眠くなさそうな状態をレベル０，やや眠そうな状態をレベル１，眠そうな状態をレベル２，かなり眠そうな状態をレベル３，耐え難いほど眠そうな状態をレベル４，眠っている状態をレベル５とした。

上述したもののうち、左右口角の距離，眉目間の距離，前後の頭部傾き，左右の頭部傾き，の測定結果のグラフを図１９（ａ）〜（ｄ）に示す。各グラフは、横軸に眠気のレベル、縦軸に左右目頭間を１０とした場合の相対距離を示す。

太枠で囲まれた部分は、各測定結果において、眠気のレベル０の測定結果とその他のレベルの測定結果とに関して、対応のあるｔ検定を行い、有意の差があると判定された部分である。なお、口角の間の距離および頭部傾きは有意水準５％、眉目間の距離は有意水準１％にて検定した。

図１９から分かるように、口角間の距離は眠気のレベル１から有意の差があり、眉目間の距離は眠気のレベル３から有意の差があり、頭部傾きは眠気のレベル５から有意の差が表れた。

このように、口周り緩み，眉上がり，頭部傾きは、それぞれ変化が表れる眠気の度合が異なる。よって、これらの表情特徴を組み合わせることによって、それらを単独で用いたときと比べてより多くの段階に眠気の度合を分けて判定することができる。

また、眉頭の中点と目頭の中点間の距離，眉頭間の距離，鼻下端の中点と目頭の中点間の距離，口端の中点と目頭の中点間の距離，下唇下端と目頭の中点間の距離，上まぶたと下まぶた間の距離，左鼻孔外側端と右鼻孔外側端の距離，上唇上端と目頭の中点間の距離，の測定結果のグラフを図２０〜図２７に示す。図２０〜図２４および図２７では、眠気の亢進に応じて各距離が大きくなっていき、図２５および図２６では、眠気の亢進に応じて距離が小さくなっていくことが示されている。よって、上述した各実施例のような手法で眠気の度合が判定できることが分かる。

表情筋を示す図 居眠り防止システムを示す側面図 眠気判定装置を示すブロック図 実施例１の制御部メイン処理の手順を示すフローチャート 実施例１の覚醒時データ収集処理の手順を示すフローチャート 実施例１の運転時データ収集処理の手順を示すフローチャート 実施例１の表情情報取得処理の手順を示すフローチャート 顔特徴点を示す図 ＡＡＭの２Ｄモデルと３Ｄモデルとを示す図 実施例１の眠気判定処理の手順を示すフローチャート 実施例２の制御部メイン処理の手順を示すフローチャート 実施例２の覚醒時データ収集処理の手順を示すフローチャート 実施例２の運転時データ収集処理の手順を示すフローチャート 実施例２の眠気判定処理の手順を示すフローチャート 実施例３の制御部メイン処理の手順を示すフローチャート 実施例３の表情情報取得処理の手順を示すフローチャート 実施例３の眠気判定処理の手順を示すフローチャート 実施例４の眠気判定処理の手順を示すフローチャート 眠気表情特徴の眠気の度合に対する傾向を確認する試験の結果 眉頭の中点と目頭の中点間の距離と、眠気レベルの関係 眉頭間の距離と、眠気レベルの関係 鼻下端の中点と目頭の中点間の距離と、眠気レベルの関係 口端の中点と目頭の中点間の距離と、眠気レベルの関係 下唇下端と目頭の中点間の距離と、眠気レベルの関係 上まぶたと下まぶた間の距離と、眠気レベルの関係 左鼻孔外側端と右鼻孔外側端間の距離と、眠気レベルの関係 上唇上端と目頭の中点間の距離と、眠気レベルの関係

符号の説明

１…居眠り防止システム、２…車両、３…運転者、１０…撮影装置、２０…眠気判定装置、２１…制御部、２２…受信部、２３…入力部、２４…記憶部、２５…出力部、３０…警報装置、４０…首元空調装置、５０…シートベルト振動装置、６０…ブレーキ制御装置。

Claims (9)

1. 表情情報Ａ〜Ｋのうち、少なくとも２つ以上を取得する表情情報取得手段と、
   前記表情情報取得手段により取得された前記表情情報それぞれに基づいて眠気の有無または程度を判断し、該判断の結果の組み合わせに基づいて眠気の度合を判定する眠気判定手段と、を備える
   ことを特徴とする眠気判定装置。
   （Ａ）左右の口角の距離
   （Ｂ）眉と目の距離
   （Ｃ）頭部傾き角度
   （Ｄ）眉頭の中点と目頭の中点間の距離
   （Ｅ）眉頭間の距離
   （Ｆ）鼻下端の中点と目頭の中点間の距離
   （Ｇ）口端の中点と目頭の中点間の距離
   （Ｈ）下唇下端と目頭の中点間の距離
   （I）上まぶたと下まぶた間の距離
   （Ｊ）鼻下左右両端間の距離
   （Ｋ）上唇上端と目頭の中点間の距離
2. 前記眠気判定手段は、覚醒時に取得された前記表情情報と、眠気を判断すべきタイミングで取得された前記表情情報と、を比較することで眠気の有無または程度を判断し、該判断の結果の組み合わせに基づいて眠気の度合を判定する
   ことを特徴とする請求項１に記載の眠気判定装置。
3. 前記表情情報取得手段は、顔画像を示す画像データに基づいて、少なくとも顔面の構成要素の位置または頭部の傾き角度を示す位置・角度情報を検出し、該位置・角度情報に基づいて、前記表情情報を取得する
   ことを特徴とする請求項１または請求項２に記載の眠気判定装置。
4. 車両に搭載されて用いられるものであって、
   前記表情情報取得手段は、該車両に備えられた撮影手段により撮影された前記画像データに基づいて、前記位置・角度情報を検出する
   ことを特徴とする請求項３に記載の眠気判定装置。
5. 前記眠気判定手段は、前記表情情報取得手段により取得された前記表情情報それぞれに基づいて眠気の有無を判断し、該判断された前記表情情報のうち、眠気有りと判断された前記表情情報の割合に応じて眠気の度合を判定する
   ことを特徴とする請求項１から請求項４のいずれかに記載の眠気判定装置。
6. 前記眠気判定手段は、前記表情情報取得手段により取得された前記表情情報それぞれに基づいて眠気の程度を判断し、該眠気の程度の組み合わせに基づいて眠気の度合を判定する
   ことを特徴とする請求項１から請求項４のいずれかに記載の眠気判定装置。
7. 前記眠気判定手段は、
   前記左右の口角の距離，前記眉と目の距離，前記頭部傾き角度，の各表情情報うち、少なくとも２つ以上の前記表情情報を取得し、
   前記頭部傾き角度に基づいて眠気ありと判断することを条件Ａとし、前記眉と目の距離に基づいて眠気ありと判断することを条件Ｂとし、前記左右の口角の距離に基づいて眠気ありと判断することを条件Ｃとし、
   前記条件Ａが満たされる場合には、眠気の度合を、強度眠気と判定し、
   前記条件Ｂが満たされると共に、前記条件Ａが満たされない場合には、眠気の度合を、前記強度眠気よりも眠気の度合が低い中度眠気と判定し、
   前記条件Ｃが満たされると共に、前記条件Ａおよび前記条件Ｂが満たされない場合には、眠気の度合を、前記中度眠気よりも眠気の度合が低い軽度眠気と判定し、
   前記条件Ａ，条件Ｂ，条件Ｃのいずれも満たされない場合には、眠気なしと判定する
   ことを特徴とする請求項１から請求項４のいずれかに記載の眠気判定装置。
8. 請求項１から７のいずれかに記載の表情情報取得手段および眠気判定手段として機能させるための処理手順を、コンピュータシステムに実行させるためのプログラム。
9. 左右の口角の距離，眉と目の距離，頭部傾き角度，眉頭の中点と目頭の中点間の距離，眉頭間の距離，鼻下端の中点と目頭の中点間の距離，口端の中点と目頭の中点間の距離，下唇下端と目頭の中点間の距離，上まぶたと下まぶた間の距離，鼻下左右両端間の距離，上唇上端と目頭の中点間の距離，のうち、少なくとも２つ以上を取得して、
   該取得された前記２つ以上の情報それぞれに基づいて眠気の有無または程度を判断して、該判断の結果の組み合わせに基づいて眠気の度合を判定する
   ことを特徴とする眠気判定方法。