JP2008191784A - 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム - Google Patents

Abstract

【課題】横方向の細長影が顔画像に発生しても、眼の開閉の誤判定を抑制する閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラムを提供すること。
【解決手段】顔画像から横方向に連続した横エッジを取得する横エッジ取得手段１２ｃと、取得された横エッジと所定位置との距離の変化に基づき眼の開閉を判定する開閉検出手段１２ｂと、を有する閉眼検知装置１０において、顔画像に細長影が発生するか否かを判定する判定手段１２ｅと、判定手段の判定結果に応じて、開閉検出手段１２ｂを制御する開閉検出制御手段１２ｄと、を有することを特徴とする。
【選択図】図４

Description

本発明は、顔画像から眼の開閉を判定する閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラムに関し、特に、横方向に連続した横エッジと所定位置との距離の変化に基づき眼の開閉を判定する閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラムに関する。

運転者の顔画像を撮影し、顔画像から眼の開閉を検出する技術が提案されている（例えば、特許文献１参照。）。特許文献１では、顔画像の特徴情報に合致する特徴量を抽出して眼の位置及び眼の周りの固定的な顔の基準特徴量（眼鏡フレームや眉）を検出し、この眼鏡フレームや眉から上瞼までの距離により眼の開閉を判定する。
特開２００１−３０７０７６号公報

しかしながら、特許文献１記載では、眼鏡フレームや眉のエッジが横方向に連続していることを特徴量として眼の開閉を検出しているため、運転者の顔に横方向に長い細長影が映り込んだ場合、その陰影を眼鏡フレームや眉と判定し、眼の開閉を誤判定するおそれがある。

本発明は、上記課題に鑑み、横方向の細長影が顔画像に発生しても、眼の開閉の誤判定を抑制する閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラムを提供することを目的とする。

上記課題に鑑み、本発明は、顔画像から横方向に連続した横エッジを取得する横エッジ取得手段と、取得された横エッジと所定位置との距離の変化に基づき眼の開閉を判定する開閉検出手段と、を有する閉眼検知装置において、顔画像に細長影が発生するか否かを判定する判定手段と、判定手段の判定結果に応じて、開閉検出手段を制御する開閉検出制御手段と、を有することを特徴とする。

本発明によれば、開閉検出手段を制御することで、顔画像に細長影が発生による眼の開閉の誤判定を抑制することができる。

また、本発明の一形態において、判定手段は、車両が特定の地物の近辺を走行している場合に顔画像に細長影が発生すると判定する、ことを特徴とする。

本発明によれば、地物によって発生する細長影により眼の開閉を誤判定することを防止できる。地物は、例えば吊り橋のように横方向に長いものである。

また、本発明の一形態において、判定手段は、車両のワイパーが作動している場合に顔画像に細長影が発生すると判定することを特徴とする。本発明によれば、車両装置によってもたらされる細長影により誤判定することを防止できる。

また、本発明の一形態において、ワイパーが顔画像に細長影を発生させる位置にくるタイミングを取得するタイミング取得手段を有し、開閉検出制御手段は、タイミング取得手段が取得したタイミングに応じて開閉検出手段を制御する、ことを特徴とする。

本発明によれば、ワイパーの作動と同じタイミングで映る細長影はワイパーによるものと判定して、眼の開閉を検知することができる。

横方向の細長影が顔画像に発生しても、眼の開閉の誤判定を抑制する閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラムを提供することができる。

以下、本発明を実施するための最良の形態について図面を参照しながら実施例を挙げて説明する。本実施形態の閉眼検知装置１０は、瞼が横方向に連続したエッジ情報を有することを利用して顔画像から眼の開閉を検出する閉眼検知装置１０において、光の影響により眼の周囲に横方向に長いエッジの陰影（以下、単に細長影という）が生じた場合、特に、運転者が眼鏡、サングラス（以下、単に眼鏡という）を装着している場合、吊り橋や半地下道路などの光景がレンズに映り込み、瞼が誤検出となることを、例えばナビ情報、車両情報を利用して回避する。

図１は、閉眼検知装置１０を備えた居眠り検知装置１のシステム構成図の一例を示す。閉眼検知装置１０は、顔カメラ１１及び顔画像処理ＥＣＵ（Electronic Control Unit）１２、ナビＥＣＵ１４及び衝突判断ＥＣＵ１３から構成され、眼検知装置１０がさらにＣＡＮ（Controller Area Network）など車内ＬＡＮを介してコンビネーションメータ１５、ブレーキＥＣＵ１６及びミリ波レーダ装置１７と接続されて居眠り検知装置１が構成されている。

顔画像処理ＥＣＵ１２は、顔カメラ１１により撮影された顔画像を画像処理して運転者の顔が正面方向に対し左右のどのくらい角度を向いているか示す顔向き度、及び、どのくらい眼が開いているかを示す眼の開度（上瞼と下瞼の距離）を、衝突判断ＥＣＵ１３に送出する。

衝突判断ＥＣＵ１３は、顔向き度とその継続時間から脇見運転を検知し、また、閉眼と判定される眼の開度とその継続時間から居眠り運転を検知し、コンビネーションメータ１５を利用して警報音を吹鳴しまた警告ランプなどを点灯する。また、衝突判断ＥＣＵ１３は、ミリ波レーダ装置１７が検出した障害物までの距離及び相対速度に基づき、障害物との衝突の可能性を判定し、衝突の可能性が高い場合は警報音を吹鳴し、衝突が不可避となるとブレーキＥＣＵ１６に車両の強制的な制動を要求する。衝突判断ＥＣＵ１３は、運転者の顔向き度が所定以上の場合や所定時間以上の閉眼が継続して検出されている場合には、警報の吹鳴や車両の制動を早期に実行する。

顔カメラ１１は、運転者の顔を正面やや下方から臨む位置、例えば、コンビネーションパネル内やステアリングコラム上に配置される。顔カメラ１１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）の光電変換素子を有し、入射した光をその強度に応じて光電変換して、所定の輝度階調（例えば、２５６階調）のデジタル画像（顔画像）を出力する。

ナビＥＣＵ１４は、地球を周回するＧＰＳ衛星から発信される電波を捕捉しその到達時間と光速からＧＰＳ衛星までの距離を算出する。好ましくは４つ以上のＧＰＳ衛星と自車両の距離を算出し、各ＧＰＳ衛星との距離を半径とする球面が交差する点を自車両の位置として検出する。これに、走行距離及び走行方向を累積しながら自律航法により車両の現在位置を推定し、さらに推定した自車両の位置を地図に対応づけるマップマッチング法により、地図上に表示する自車両の位置を補正する。この地図には道路網を表すリンクとノードに加え、吊り橋、陸橋、半地下道路、信号、ガソリンスタンドなどの地物の位置が記憶されている。

顔画像処理ＥＣＵ１２及び衝突判断ＥＣＵ１３は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となりまた一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、データのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。

ＣＰＵがプログラム（特許請求の範囲における閉眼検知のためのプログラム）２５を実行することで、正面方向を基準にした顔向き度を検知する顔向き検知手段１２ａ、横方向に連続した横エッジを取得する横エッジ取得手段１２ｃ、横エッジと所定位置との距離の変化に基づき眼の開閉を判定する開閉検出手段１２ｂと、顔画像に細長影が発生するか否かを判定する判定手段１２ｅ、判定手段１２ｅの判定結果に応じて開閉検出手段１２ｂを制御する開閉検出制御手段１２ｄが実現され、また、衝突判断ＥＣＵ１３のＣＰＵがプログラムを実行することで、継続した閉眼時間を計測する閉眼時間計測手段１３ａが実現される。

〔眼の開閉検出〕
始めに眼の開度の検出について簡単に説明する。図２は、閉眼検知装置１０が眼の開閉を検出する手順のフローチャート図を示す。閉眼検知装置１０は、順次入力される顔画像から、顔の輪郭、中央線、鼻孔位置、眼球追跡領域、を順に確定し、眼球追跡領域の眼の開閉を顔画像毎に検出する。なお、いったん眼球追跡領域が設定された後は、その中の眼の開閉の検出を繰り返し、眼の開閉が検出されない状態が継続すると改めて顔の輪郭から検出をやり直す。

まず、顔向き検知手段１２ａは、顔画像から顔のおよその位置として顔の輪郭を検出する（Ｓ１）。顔画像には背景なども写っているが、背景は静止しているため、画素値の変化する領域の左右の端部から横方向の顔の輪郭を検出する。例えば、顔向き検知手段１２ａは、順次入力される顔画像の間で画素値（輝度）が所定以上に異なる画素の画素値の差をその位置情報と共に記憶しておき、所定数の顔画像について同じ位置の画素値の差をカウントし、カウントした値の縦方向のヒストグラムを作りその積分値のピークを横方向の顔の輪郭位置とする。

顔の上下方向の輪郭はエッジ情報から検出する。エッジ情報により、顔のパーツ、眉、まぶた、鼻孔、口角、上下の唇の境、など、肌に比べ輝度の変化の大きい画素が検出される。なお、エッジ情報の抽出には例えばＳｏｂｅｌのエッジ検出アルゴリズムを用い、これにより、輝度小から大、輝度大から小の２種類のエッジ情報に囲まれる顔の各パーツの輪郭が得られる。

また、人の顔の眼や鼻などのパーツは左右対称に配置されているので、顔向き検知手段１２ａは左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する（Ｓ２）。運転者が横方向を向くと中央線と横方向の輪郭の相対位置が変わるので、中央線を監視することで顔向きを追跡することができる。

そして、得られた顔の中央線から例えば左側に黒画素の連続した領域（エッジ情報で囲まれた領域）を、上側（眉毛側）から走査して片方の眉を検出する。眉は左右対称にあると考えてよいので、中央線の反対側に同様の黒画素の連続領域があればその左右の眉位置を顔の上側の輪郭として決定する。また、眉位置よりも下側であって顔の中央線を跨ぎ所定以上に連続したエッジ情報を抽出し、当該エッジ情報を上下の唇の境とみなし、そのやや下方を顔の下側の輪郭として決定する。このようにして、顔の上下方向の輪郭位置が得られる。

ついで、開閉検出手段１２ｂは鼻孔位置を検出する（Ｓ３）。開閉検出手段１２ｂは、顔の中心線を通るやや縦長の鼻孔検出領域を唇のエッジよりも上方に設定する。開閉検出手段１２ｂは、形状や大きさ、輝度など鼻孔の特徴を備える特徴点を、２値化処理、パターンマッチング、所定以上の面積の黒画素の塊が検出されるか否か、等により検出し、またもう１つの鼻孔が検出された鼻孔から一定距離内に並んで存在することを利用して他方の鼻孔を検出する。

開閉検出手段１２ｂは、鼻孔と眼の位置の関係の統計データを利用して、鼻孔位置に対して定められる所定の領域を眼球追跡領域として設定する（Ｓ４）。２つの鼻孔の中点に対し眼球の位置は、距離ｒ・方向θにより指定され、統計データから例えば眼球位置が所定以上の割合で入る距離ｒの範囲・方向θの範囲から眼球追跡領域を設定する。

そして、横エッジ取得手段１２ｃは、眼球追跡領域から瞼の横エッジを取得する（Ｓ５）。横エッジ取得手段１２ｃは、例えば、眼球追跡領域からエッジ情報を取得して、眼球追跡領域の左上頂点の画素列から、上から下向きに向かって輝度大から小（肌色から瞼）のエッジを検索し、エッジが検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、上瞼の画素位置が得られる。同様にして横エッジ取得手段１２ｃは下瞼の画素位置を取得する。なお、下瞼位置は、上瞼位置の両端を直線で結ぶことで検出してもよい。

このようにして得られた上瞼位置はエッジ情報又は黒画素が連続したものであるので、これをさらに曲線に近似して所定以上の曲率の曲線が得られた場合に上瞼位置を検出することで精度よく上瞼位置を検出できる。

なお、眼球追跡領域を２値化して横方向に画素を走査して横方向に所定以上に連続した黒画素を検出することで、上下の瞼位置を検出してもよい。

また、顔画像は連続的に撮影されるので、このようにして検出された上瞼の位置が、所定数の顔画像が得られる間に大きく変わるか否かにより上瞼の位置の精度を向上できる。
これは、運転者は所定時間内にまばたきすることから上瞼の位置は他の眼の部分(例えば下瞼や、眉毛やメガネのフレーム)に比べてより大きく動くことが分かっているため、上瞼の位置が大きく動く場合は上瞼の位置を正確に検出していると考えられるからである。

ついで、開閉検出手段１２ｂは、眼球追跡領域の上瞼と下瞼を監視することで眼の開度を検出する（Ｓ５）。開閉検出手段１２ｂは、上瞼と下瞼の画素位置の差（上下の距離）を左から順に算出し、最大となる画素数を眼の開度とする。運転者が目を閉じている場合も上下の瞼の位置から同様な処理過程により眼の開度が検出される。開閉検出手段１２ｂはサイクル時間毎に撮影される顔画像から眼の開度を検出し、順次衝突判断ＥＣＵ１３に送出する。

そして、閉眼時間計測手段１３ａは、眼の開閉を判定するための閾値と眼の開度を比較して、閾値以上であれば開状態、閾値より小さければ閉状態と判定し、閉眼が連続した場合は閉眼時間を継続して計測する。

本実施例では、車両が吊り橋、陸橋、半地下道路など横に長い地物又はその近辺を走行している場合、眼の開閉を未検出とする閉眼検知装置１０について説明する。なお、本実施例では好適例として運転者が眼鏡を装着している場合を例に説明するが、必ずしも眼鏡を装着していなくても適用できる。

図３は、運転者の眼鏡に周囲の吊り橋や半地下道路などの光景が映り込んだ顔画像の一例を示す。図３では運転者の眼鏡の左側レンズ３０にエッジ２１，２２が映り込んでいる。このような映り込みは、車両が吊り橋や半地下道路など横方向に長い地物を走行したり、そのような地物の長い壁に沿って走行している場合に発生しやすい。上述のとおり、横エッジ取得手段１２ｃは、眼球追跡領域において瞼２４に相当する横方向に長いエッジ情報を検出しているため、眼鏡に映り込む影がエッジ２１、２２を生じさせる細長影の場合、上下瞼を誤検出する可能性がある。

また、横エッジ取得手段１２ｃは、上瞼の位置が移動すること（まばたき）により上瞼の位置を確定しているため、例えば、地物に設けられたすき間から光が断続的に運転者の顔に照射されるような場合さらに誤検出のおそれが高まる。

閉眼が開眼と誤検出された場合、居眠りの検出が遅れたり居眠りの検出が困難になり、逆に、開眼が閉眼と誤検出された場合、覚醒状態の運転者に警報音が吹鳴されることになるため好ましくない。

そこで、本実施例の閉眼検出装置１０の判定手段１２ｅは、車両の位置に応じてナビＥＣＵ１４から吊り橋、半地下道路等の横方向に長い地物の情報を取得し、横方向に長い地物又はその近辺を走行するか否かを判定する。そして、開閉検出制御手段１２ｄは、横方向に長い地物を走行すると判定された場合、開閉検出手段１２ｂの眼の開閉を未検出とする。したがって、閉眼検知装置１０は、眼の開閉が検出されても眼の開閉は検出されないと出力する。

図４は、閉眼検知装置１０が眼の開閉を未検出にする手順のフローチャート図を示す。図４のフローチャート図は、顔画像が撮影される度又は所定数の顔画像が撮影されるたびに実行される。

まず、開閉検出制御手段１２ｄは、運転者が眼鏡を装着しているか否かを判定する（Ｓ１０）。眼鏡の装着の有無は、例えばブリッジ２３を検出することで行う。開閉検出制御手段１２ｄは、鼻孔位置よりも上に顔の中心線を跨ぐ連続したエッジ情報があるか否かを、縦方向の画素列毎に下から上方向に走査（走査線ａ〜ｃ）し、エッジが横方向に連続している場合、運転者が眼鏡を装着していると判定する。また、ブリッジ２３が検出された場合、さらに、眼球追跡領域の各辺から内側に所定幅の黒画素（フレーム）が連続して検出されるか否かを検出し、眼鏡を装着しているか否かを判定してもよい。

運転者が眼鏡を装着していない場合（Ｓ１０のＮｏ）、開閉検出制御手段１２ｄはそのまま処理を終了し、開閉検出手段１２ｂは眼の開度を検出する。

運転者が眼鏡を装着している場合（Ｓ１０のＹｅｓ）、判定手段１２ｅは車両の近辺に横方向に長い地物が存在するか否かを判定する（Ｓ２０）。判定手段１２ｅは対象となる地物の種別（吊り橋、半地下道路、等）のリストを予めＥＥＰＲＯＭ等に記憶しておく。車両の位置及び進行方向はナビＥＣＵ１４から明らかとなっているので、例えば、リンクが切り替わる毎にリストに記憶された地物が進行方向にあるか否かを検出しておく。なお、車両の近辺とは、リストに記憶された地物を走行している場合やその地物に沿って走行する場合である。また、眼鏡への映り込みや、顔に投影される陰影は、光の影響によるものなので、映り込み等が生じやすい時間帯を記憶しておき、その時間帯のみリストの地物が近辺にあると判定してもよい。

横方向に長い地物が存在していない場合（Ｓ２０のＮｏ）、開閉検出制御手段１２ｄはそのまま処理を終了し、開閉検出手段１２ｂは眼の開度を検出する。

横方向に長い地物が存在する場合（Ｓ２０のＹｅｓ）、開閉検出制御手段１２ｄは、眼の開閉を未検出にする（Ｓ３０）。開閉検出制御手段１２ｄは、例えば、開閉検出手段１２ｂによる眼の開度の検出を禁止したり、開閉検出手段１２ｂが検出した眼の開度を未検出と置き換えて、衝突判断ＥＣＵ１３に送出する。

以上のように、本実施例の閉眼検知装置１０は、瞼を誤検出させるおそれのある陰影が生じる場所では、眼の開閉を未検出とすることで誤った閉眼検出を防止し、眼の開閉を精度よく検出することができる。

本実施例では、作動したワイパーが眼鏡に映り込む場合に眼の開閉を未検出とする閉眼検知装置１０について説明する。ワイパーが作動すると、ワイパーの位置と顔画像を撮影するタイミングによっては、ワイパーの影が眼球追跡領域にさしかかり、この影を瞼として誤検出するおそれがある。また、横方向に連続したエッジ又は黒画素を検出する場合でもワイパーの影を瞼位置と誤検出したり、曲線近似して上瞼位置を検出する場合に上瞼にワイパーの影が重なると上瞼のカーブがなくなり閉眼と誤判定されるおそれがある。

この現象は、運転者が眼鏡を装着している場合に検出されることがあり、さらに、積雪地域を走行している場合により顕著となる。これは、積雪により眼鏡が照らされ、眼鏡からの照り返しを撮影しやすくなるためと考えられる。

また、上述したように、瞼の位置を検出する上で本実施形態の閉眼検知装置１０は、まばたきにより上瞼が動くことを利用して瞼の検出精度を向上させているため、ワイパーのように撮影される度に位置の変わるものが眼鏡に映り込むと、撮影されたワイパーを瞼位置と誤検出しやすくなる。

そこで、本実施形態では、ワイパーの作動時、より好ましくは眼鏡を装着した状態かつ積雪地域においてワイパーが作動した場合、眼の開閉を未検出とする。

図５は、本実施形態の閉眼検知装置１０を備えた居眠り検知装置１のシステム構成図の一例を示す。なお、図５において、図１と同一構成部分には同一の符号を付しその説明は省略する。

本実施例の閉眼検知装置１０は、エアコンＥＣＵ１８及びワイパー１９を有する点で異なる。エアコンＥＣＵ１８は、乗員により設定された車室内の希望温度と、室内・外の温度や日射をセンサにより検出し、これらの影響を自動検知・自動補正し、車室内温度を希望温度に維持するよう、温度、風量及び吹き出し口等を制御する。また、エアコンＥＣＵ１８は、温度制御の過程で検出する外気温を顔画像処理ＥＣＵ１２に送出する。

ワイパー１９は、取り付け部を中心に揺動して操作されるレバー型のスイッチ２０により作動する。例えば、スイッチ２０の揺動方向の位置に基づき、ワイパー１９が間欠作動、低速作動又は高速作動する。また、雨滴を拭うワイパー１９は、リンク部材に連結されたワイパーアームの一端を中心に所定角度範囲を揺動するが、その揺動位置、すなわちワイパーアームの角度又はモータの回転角度（以下、単に位置という）を検出しており、顔画像処理ＥＣＵ１２に送出する。したがって、顔画像処理ＥＣＵ１２は、ワイパー１９の作動の有無及び揺動しているワイパー１９の位置を検出している。

また、本実施形態のナビＥＣＵ１４は、積雪のあり得る寒冷地の寒冷地情報を有し、判定手段１２ｅが参照可能となっている。寒冷地情報は、その地域の位置情報に加え積雪のある季節を対応づけて有するように構成してもよい。

〔ワイパー１９作動時における眼の開閉検出の禁止〕
図６は、ワイパー１９が作動している場合に、閉眼検知装置１０が眼の開閉を未検出にする手順のフローチャート図を示す。

図６のフローチャート図は、例えば、スイッチ２０によりワイパー１９がオンになるとスタートし、判定手段１２ｅはスイッチ２０がオンか否かを判定する（Ｓ１０１）。

ワイパー１９のスイッチ２０がオンの場合（Ｓ１０１のＹｅｓ）、開閉検出制御手段１２ｄは運転者が眼鏡を装着しているか否かを判定する（Ｓ１０２）。眼鏡の装着の有無の判定は、実施例１と同様である。眼鏡を装着していない場合（Ｓ１０２のＮｏ）、開閉検出制御手段１２ｄはそのまま処理を終了し、開閉検出手段１２ｂは眼の開度を検出する。

運転者が眼鏡を装着している場合（Ｓ１０２のＹｅｓ）、開閉検出制御手段１２ｄは、眼の開閉を未検出にする（Ｓ１０３）。開閉検出制御手段１２ｄは、例えば、開閉検出手段１２ｂによる眼の開度の検出を禁止したり、開閉検出手段１２ｂが検出した眼の開度を未検出と置き換えて、衝突判断ＥＣＵ１３に送出する。

このように、運転者が眼鏡を装着している状態でワイパー１９が作動している場合、開閉検出制御手段１２ｄが眼の開閉を禁止するので、眼鏡にワイパー１９が映り込んで眼の開閉が誤検出されることを防止できる。

〔積雪がある地域ではワイパー１９作動時に開閉検出を禁止する〕
また、さらに積雪のある地域では眼の開閉の検出を禁止してもよい。図７は、積雪のある地域においてワイパー１９が作動している場合に、閉眼検知装置１０が眼の開閉を未検出にする手順のフローチャート図を示す。

図７のフローチャート図は、例えば、所定時間毎に繰り返して実行される。
まず、判定手段１２ｅは、積雪のある地域を走行しているか否かを判定する（Ｓ１００）。積雪があるか否かは、
・外気温が所定温度（例えば摂氏０度）以下の場合
・ナビＥＣＵ１４が保持する寒冷地情報に登録された寒冷地を走行している場合
・ＶＩＣＳ、天気予報等によりチェーン規制、積雪や降雪注意報・警報が配信されている場合、
・制動距離が所定以上の場合（路面が凍結している）
又は、これらの組み合わせ等、に基づき判定する。

積雪がある場合、判定手段１２ｅはスイッチ２０がオンか否かを判定する（Ｓ１０１）。

ワイパー１９のスイッチ２０がオンの場合（Ｓ１０１のＹｅｓ）、開閉検出制御手段１２ｄは運転者が眼鏡を装着しているか否かを判定する（Ｓ１０２）。眼鏡の装着の有無の判定は、実施例１と同様である。眼鏡を装着していない場合（Ｓ１０２のＮｏ）、開閉検出制御手段１２ｄはそのまま処理を終了し、開閉検出手段１２ｂは眼の開度を検出する。

運転者が眼鏡を装着している場合（Ｓ１０２のＹｅｓ）、開閉検出制御手段１２ｄは、眼の開閉を未検出にする（Ｓ１０３）。開閉検出制御手段１２ｄは、例えば、開閉検出手段１２ｂによる眼の開度の検出を禁止したり、開閉検出手段１２ｂが検出した眼の開度を未検出と置き換えて、衝突判断ＥＣＵ１３に送出する。

このように、積雪のある地域を走行する場合であって、かつ、運転者が眼鏡を装着している状態でワイパー１９が作動している場合、開閉検出制御手段１２ｄが眼の開閉を禁止するので、眼鏡にワイパー１９が映り込んで眼の開閉が誤検出されることを防止できる。また、積雪の有無を判定するので、眼の開閉を誤検出しやすい状況では眼の開閉の検出を中止し、積雪がなければ眼の開閉を検出することができる。

〔ワイパー１９の位置に応じた眼の開閉検出の禁止〕
ワイパー１９が作動している場合、又は、積雪のある地域でワイパー１９が作動している場合に眼の開閉の検出を禁止すると、積雪はあるが眼の開閉を検出可能な場合でも眼の開閉を検出できないこととなる。しかしながら、ワイパー１９は設定された周期でフロントガラス下方の収納位置に戻るため、フロントガラス下方のワイパー１９が運転者の眼鏡に映り込まない位置にある場合であれば、眼の開閉を検出することが可能である。そこで、ワイパー１９の位置に応じて眼の開閉検出を禁止する閉眼検知装置１０について説明する。

タイミング取得手段１２ｆは、ワイパー１９が眼鏡に映り込みにくい位置を予め記憶していて、ワイパー１９が所定のサイクル時間毎に送出する位置情報に基づき、ワイパー１９が眼鏡に映り込んでいるか否かを判定する。ワイパー１９は周期的に位置を変えるので、タイミング取得手段１２ｆは、顔画像が撮影されたタイミングが、眼鏡に映り込む位置とそうでない位置のどちらの周期に属するかを判定すれば、ワイパー１９が眼鏡に映り込む位置にあったか否かを判定できる。そして、撮影された顔画像の撮影タイミングが、ワイパー１９が眼鏡に映り込んでいるタイミングの場合、開閉検出制御手段１２ｄは眼の開閉の検出を禁止し、撮影された顔画像の撮影タイミングが、ワイパーが眼鏡に映り込んでいないタイミングの場合、開閉検出制御手段１２ｄは眼の開閉の検出を禁止せず開閉検出手段１２ｂが眼の開閉を検出する。

図８は、ワイパー１９の位置に応じて、閉眼検知装置１０が眼の開閉を未検出にする手順のフローチャート図を示す。

まず、判定手段１２ｅは、積雪のある地域を走行しているか否かを判定する（Ｓ１００）。積雪の判定は図７と同様である。

積雪がある場合（Ｓ１００のＹｅｓ）、開閉検出制御手段１２ｄは運転者が眼鏡を装着しているか否かを判定する（Ｓ１０２）。眼鏡の装着の有無の判定は、実施例１と同様である。眼鏡を装着していない場合（Ｓ１０２のＮｏ）、開閉検出制御手段１２ｄはそのまま処理を終了し、開閉検出手段１２ｂは眼の開度を検出する。

運転者が眼鏡を装着している場合（Ｓ１０２のＹｅｓ）、タイミング取得手段１２ｆは、当該顔画像の撮影時、ワイパー１９が眼鏡に映り込む位置にあったか否かを判定する（Ｓ１１０）。

ワイパー１９が眼鏡に映り込む位置にあった場合（Ｓ１１０のＹｅｓ）、開閉検出制御手段１２ｄは、眼の開閉を未検出にする（Ｓ１０３）。開閉検出制御手段１２ｄは、例えば、開閉検出手段１２ｂが撮影された顔画像から眼の開度を検出することを禁止したり、開閉検出手段１２ｂが検出した眼の開度を未検出と置き換えて、衝突判断ＥＣＵ１３に送出する。

また、ワイパー１９が眼鏡に映り込む位置にない場合（Ｓ１１０のＮｏ）、開閉検出制御手段１２ｄはそのまま処理を終了し、開閉検出手段１２ｂは眼の開度を検出する。

ワイパー１９の位置を検出することで、積雪地域で眼鏡を装着して走行していても一律に眼の開閉の検出を禁止するのでなく、ワイパー１９の位置に応じて眼の開閉を検出することができる。

なお、本実施例では、積雪によりワイパー１９の細長影が映る場合を説明したが、積雪のある地域では実施例１の横方向に長い地物や路面なども顔画像に映りやすくなるため、積雪のある地域において横方向に長い地物の近辺を走行する場合に、眼の開閉を未検出としてもよい。

以上のように、本実施形態の閉眼検知装置１０は、横方向の細長影が顔画像に発生しても、眼の開閉の誤検出を防止し精度よく検出することができる。

閉眼検知装置を備えた居眠り検知装置のシステム構成図の一例である。 閉眼検知装置が眼の開閉を検出する手順のフローチャート図である。 運転者の眼鏡に周囲の吊り橋や半地下道路などの光景が映り込んだ顔画像の一例である。 閉眼検知装置が眼の開閉を未検出にする手順のフローチャート図である。 閉眼検知装置を備えた居眠り検知装置のシステム構成図の一例である。 ワイパーが作動している場合に、閉眼検知装置が眼の開閉を未検出にする手順のフローチャート図である。 積雪のある地域においてワイパーが作動している場合に、閉眼検知装置１０が眼の開閉を未検出にする手順のフローチャート図である。 ワイパーの位置に応じて、閉眼検知装置が眼の開閉を未検出にする手順のフローチャート図である。

符号の説明

１ 居眠り検知装置
１１ 顔カメラ
１２ 顔画像処理ＥＣＵ
１２ａ 顔向き検知手段
１２ｂ 開閉検出手段
１２ｃ 横エッジ取得手段
１２ｄ 開閉検出制御手段
１２ｅ 判定手段
１２ｆ タイミング取得手段
１３ 衝突判断ＥＣＵ
１３ａ 閉眼時間計測手段
１４ ナビＥＣＵ
１５ コンビネーションメータ
１６ ブレーキＥＣＵ
１７ ミリ波レーダ装置
１８ エアコンＥＣＵ
１９ ワイパー
２０ スイッチ
２５ プログラム

Claims (8)

1. 顔画像から横方向に連続した横エッジを取得する横エッジ取得手段と、取得された横エッジと所定位置との距離の変化に基づき眼の開閉を判定する開閉検出手段と、を有する閉眼検知装置において、
   顔画像に細長影が発生するか否かを判定する判定手段と、
   前記判定手段の判定結果に応じて、前記開閉検出手段を制御する開閉検出制御手段と、
   を有することを特徴とする閉眼検知装置。
2. 前記判定手段は、車両が特定の地物の近辺を走行している場合に顔画像に細長影が発生すると判定する、
   ことを特徴とする請求項１記載の閉眼検知装置。
3. 前記地物は、吊り橋であることを特徴とする請求項２記載の閉眼検知装置。
4. 前記判定手段は、車両のワイパーが作動している場合に顔画像に細長影が発生すると判定する、
   ことを特徴とする請求項１記載の閉眼検知装置。
5. ワイパーが顔画像に細長影を発生させる位置にくるタイミングを取得するタイミング取得手段を有し、
   前記開閉検出制御手段は、前記タイミング取得手段が取得したタイミングに応じて前記開閉検出手段を制御する、
   ことを特徴とする請求項４記載の閉眼検知装置。
6. 請求項１記載の閉眼検知装置と、
   前記開閉検出手段が検出した目の開度に基づき連続した閉眼時間を計測する閉眼時間計測手段と、
   前記閉眼時間が所定時間以上の場合に、運転者に警告する警告手段と、
   を有することを特徴とする居眠り検知装置。
7. 顔画像から横方向に連続した横エッジを取得し、取得された横エッジと所定位置との距離の変化に基づき眼の開閉を判定する閉眼検知装置の閉眼検知方法において、
   判定手段が、顔画像に細長影が発生するか否かを判定するステップと、
   前記判定手段による判定の結果に応じて、開閉検出制御手段が、眼の開閉を未検出にするステップと、
   を有することを特徴とする閉眼検知方法。
8. 顔画像から横方向に連続した横エッジを取得し、取得された横エッジと所定位置との距離の変化に基づき眼の開閉を判定する開眼検知のためのプログラムであって、
   判定手段が、顔画像に細長影が発生するか否かを判定するステップと、
   前記判定手段の判定結果に応じて、開閉検出手段が、眼の開閉を未検出とするステップと、
   をコンピュータに実行させることを特徴とする閉眼検知のためのプログラム。

Images