JP2014082585A - 状態監視装置及び状態監視プログラム - Google Patents

Abstract

【課題】運転者の眼の位置に基づいて行われる顔認識につき、その正確性の確保が可能な状態監視技術の提供。
【解決手段】状態監視装置１００は、車両１に搭載され、運転者の顔画像５１を用いて運転者の状態を監視する。状態監視装置１００は、規定領域ＰＡに位置すると想定される運転者の顔面に向けて、投光部１５から照明光を出射させる。そして状態監視装置１００は、規定領域ＰＡから入射する入射光を受光することによって撮影される第一顔画像５１と、入射光から赤色帯域の光を減衰させた減衰光を受光することによって撮影される第二顔画像５２とを取得する。ここで、運転者の眼の候補となる明部５５，５６が第一顔画像５１に複数撮影された場合には、これらのうちで第二顔画像５２に撮影されていない明部５５が、眼であると判定される。以上の処理にて特定された眼の位置に基づき、顔認識を行う処理が実施される。
【選択図】図２

Description

本発明は、移動体に搭載され、移動体を操縦する操縦者の顔面を撮影した顔画像を用いて当該操縦者の状態を監視する技術に関する。

従来、車両等の移動体に搭載される状態監視装置は、操縦者の状態を監視するために、操縦者の顔面を撮影した顔画像を用いた顔認識を行っている。こうした顔認識を行うために、状態監視装置は、操縦者の顔面が位置する領域として予め規定された規定領域に向けて光を出射させる構成と、規定領域から入射する光を受光することで顔面を撮影する構成と、撮影された顔画像における眼の位置に基づいて顔面を認識する構成とを備えている。

上述したような顔面を認識する構成の一種である特許文献１の画像処理装置は、赤眼を利用した顔面の認識を行なっている。詳しく説明すると、フラッシュの発光を伴って撮影された顔画像では、人物の眼は、赤色の明部として写り得る。こうした赤眼現象は、フラッシュの光のうちで主に赤色の帯域の光が網膜の血管によって反射されるために生じる現象である。この赤眼は、当該赤眼の周囲に対して高いコントラストを獲得している。故に、画像処理装置は、赤色の明部の位置に基づくことで、顔画像における眼の位置を正確に特定し得るのである。

特開２００３―３０６４７号公報

さて、本発明の発明者は、上述の赤眼を利用した顔認識を、状態監視装置に採用することを試みた。すると、以下のような問題を生じることが判明した。その問題は、環境光の少ない状態において、フラッシュ等の発光手段によって規定領域を照明しつつ、眼鏡を掛けた操縦者を撮影した場合に主に生じる。この場合、撮影される顔画像には、操縦者の赤眼だけでなく、眼鏡に映り込んだ発光手段が、明部として撮影されてしまう。このように、操縦者の眼の周囲に、眼の候補となる明部が複数撮影されてしまうと、顔画像における眼の位置の特定が、誤ったものとなり得る。すると、眼の位置に基づいて行われる顔認識の正確性が、確保されなくなってしまうおそれがあった。

本発明は、上記問題点に鑑みてなされたものであって、その目的は、眼の位置に基づいて行われる顔認識の正確性につき、確保が可能な状態監視装置及び状態監視プログラムを提供することである。

上記目的を達成するために、請求項１に記載の発明は、移動体（１）に搭載され、移動体を操縦する操縦者の顔面を撮影した顔画像（５１，５２）を用いて当該操縦者の状態を監視する状態監視装置であって、顔面が位置する領域として予め規定された規定領域（ＰＡ）に向けて、赤色から近赤外の帯域の光を出射させる発光手段（１５，Ｓ１０１）と、規定領域から入射する入射光を受光することで撮影される第一顔画像（５１）を、顔画像として取得する第一画像取得手段（２５，Ｓ１０２）と、入射光から赤色の帯域の光を減衰させた減衰光を受光することによって撮影される第二顔画像（５２）を、第一顔画像とは別の顔画像として取得する第二画像取得手段（２５，Ｓ１０２）と、操縦者の眼の候補となる明部（５５，５６）が第一顔画像に複数撮影された場合に、複数の明部のうちで第二顔画像に撮影されていない明部（５５）を、眼であると判定する眼判定手段（２７，Ｓ１０８）と、眼判定手段によって判定された眼の位置に基づいて、顔面を認識する顔認識手段（２４，Ｓ１０９）と、を備えることを特徴としている。

また請求項８に記載の発明は、移動体（１）に搭載され、移動体を操縦する操縦者の顔面を撮影した顔画像（５１，５２）を用いて当該操縦者の状態を監視する処理をコンピュータに実行させる状態監視プログラムであって、顔面が位置する領域として予め規定された規定領域（ＰＡ）に向けて、赤色から近赤外の帯域の光を出射させる発光ステップ（Ｓ１０１）と、規定領域から入射する入射光を受光することで撮影される第一顔画像（５１）を、顔画像として取得する第一画像取得ステップ（Ｓ１０２）と、入射光から赤色の帯域の光を減衰させた減衰光を受光することによって撮影される第二顔画像（５２）を、第一顔画像とは別の顔画像として取得する第二画像取得ステップ（Ｓ１０２）と、操縦者の眼の候補となる明部（５５，５６）が第一顔画像に複数撮影された場合に、複数の明部のうちで第二顔画像に撮影されていない明部（５５）を、眼であると判定する眼判定ステップ（Ｓ１０８）と、眼判定ステップによって判定された眼の位置に基づいて、顔面を認識する顔認識ステップ（Ｓ１０９）と、をコンピュータに実行させることを特徴としている。

これらの構成及び処理によれば、減衰光を受光することによって撮影される第二顔画像では、入射光から赤色の帯域の光が減衰させられているので、操縦者の眼は、明部として写り難い。故に、操縦者の眼の候補となる明部が第一顔画像に複数撮影された場合に、これらの明部のうちで第二顔画像に撮影されていないものを眼と判定することにより、操縦者の眼鏡に発光手段が映り込んだ場合でも、顔画像における眼の位置は、正確に特定され得る。したがって、眼の位置に基づいて行われる顔認識の正確性が、確保可能となる。

本発明の第一実施形態による状態監視装置の車両における配置を説明するための図である。 第一実施形態による状態監視装置の電気的構成を説明するためのブロック図である。 状態監視装置の機械的構成を説明するための斜視図である。 第一顔画像の一例を模式的に示す図である。 撮像素子の構成を説明するための模式図である。 第二顔画像の一例を模式的に示す図である。 画像認識部によって実施される処理を示すフローチャートである。 第二実施形態による状態監視装置の電気的構成を説明するためのブロック図である。 第三実施形態による状態監視装置の電気的構成を説明するためのブロック図である。 図５の変形例を示す模式図である。

以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。こうした複数の実施形態に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

本発明の第一実施形態による状態監視装置１００は、図１に示すように、「移動体」としての車両１に搭載され、車両を操縦する操縦者（以下、「運転者」という）の状態を監視するドライバステータスモニタである。状態監視装置１００は、図２に示すように、撮像部１０、発光部１５、及び制御回路２０、並びにこれらの構成を収容する筐体６０（図３参照）を備えている。また状態監視装置１００は、車両に搭載されたアクチュエーション部９０及び車両制御装置９６と接続されている。

図１，２に示す撮像部１０は、ステアリングコラム８１の上面に設置された状態監視装置１００において、運転者の顔面を撮影した顔画像５１（図４も参照）を生成する装置である。ステアリングコラム８１の上面に設置された状態監視装置１００において、運転者の顔面を撮影した顔画像５１（図４も参照）を生成する装置である。撮像部１０は、車両１の室内において予め規定された規定領域ＰＡを撮影する。この規定領域ＰＡには、運転席に着座した運転者の顔面が位置すると想定される領域が含まれている。こうした規定領域ＰＡは、具体的には、運転者の各眼のアイレンジから想定されるアイリプスに基づいて規定され、例えば、アイリプスの９９パーセンタイルを包含するように規定される。

撮像部１０は、所謂近赤外線カメラであって、撮像素子１１に、光学レンズ及び光学フィルタ等を組み合わせることによって構成されている。撮像素子１１は、撮像面に沿って配列された複数の画素により、受光した光の強度に応じた電気信号を生じさせる。撮像素子１１は、撮像面を規定領域ＰＡに向けた姿勢にて配置されている。撮像素子１１は、制御回路２０からの制御信号に基づいて露光状態となり、規定領域ＰＡから入射する入射光を受光する。これにより、白と黒の濃淡によって描画されたモノクロームの顔画像５１が生成される。こうして撮影された顔画像５１は、撮像部１０から制御回路２０に逐次出力される。

投光部１５は、複数の発光ダイオード１６を有している。各発光ダイオード１６は、撮像部１０を挟むように配置されており（図３参照）、赤色から近赤外の帯域の照明光を規定領域ＰＡに向けて出射させる。発光ダイオード１６の発光のオン状態及びオフ状態は、制御回路２０から供給される電流によって制御される。

制御回路２０は、撮像部１０、投光部１５、及びアクチュエーション部９０等と接続されており、これらの構成の作動を制御する回路である。制御回路２０は、各種の演算処理を行うプロセッサ、演算処理の作業領域として機能するＲＡＭ、及び演算処理に用いられるプログラム等が格納されたフラッシュメモリ等を備えたマイクロコンピュータを中心に構成されている。加えて制御回路２０は、撮像部１０及び投光部１５等に電力を供給する電源回路を備えている。

制御回路２０は、予め記憶された状態監視プログラムをプロセッサによって実行することにより、発光制御部２１、撮像制御部２３、画像認識部２４、状態判定部３１、及び警告制御部３３等の複数の機能ブロックを備える。

発光制御部２１は、投光部１５の発光制御に関連する機能ブロックである。発光制御部２１は、所定の電流を発光ダイオード１６に印加することで、発光ダイオード１６の発光状態にさせる。発光制御部２１は、画像認識部２４の演算した制御値に基づくことで、撮像部１０が露光状態とされるタイミングに合わせて、投光部１５から照明光を出射させる。

撮像制御部２３は、撮像部１０の撮像制御に関連する機能ブロックである。撮像制御部２３は、画像認識部２４の演算した制御値に基づいて、撮像部１０における露光開始のタイミング、ゲイン、露光時間等を制御する。

画像認識部２４は、顔画像５１等の画像処理に関連する機能ブロックである。画像認識部２４は、運転者の顔面を抽出可能な顔画像５１を取得するため、撮像部１０における撮像条件及び投光部１５における発光条件を設定する。そして画像取得部２１は、設定した撮像条件及び発光条件に則った作動を撮像部１０及び投光部１５に実施させるため、これらを制御する撮像制御部２３及び発光制御部２１にて用いられる制御値を演算する。こうして撮影された顔画像５１を、画像認識部２４は、撮像部１０から取得する。そして画像認識部２４は、取得した顔画像５１の画像処理により、運転者の顔の向き及び各眼の開き具合（以下「開眼度」という）に関連する値や、運転者の眠気の度合いに関連する値等を演算する。

状態判定部３１は、画像取得部２１によって演算された値と予め設定された閾値とを比較する。この比較処理により、状態判定部３１は、例えば脇見運転の兆候や居眠り運転の兆候等が検出されたか否かを推定する。そして、上述した兆候を検出した状態判定部３１は、運転者に警告を実施すべき状態が生じていると判定する。

警告制御部３３は、アクチュエーション部９０と接続されている。警告制御部３３は、状態判定部３１によって運転者に警告すべき状況が生じていると判定された場合に、アクチュエーション部９０に制御信号を出力する。こうして警告制御部３３は、アクチュエーション部９０を作動させることにより、運転者に警告を行う。

筐体６０は、図３に示すように、本体部材６３、フロントカバー部材６６、及び図示しないリヤカバー部材等によって構成されている。

本体部材６３は、投光部１５及び撮像部１０等の実装されたサブ基板６２を保持している。サブ基板６２には、制御回路２０の形成されたメイン基板６１が、当該サブ基板６２と直交する姿勢にて取り付けられている。本体部材６３には、挿通孔６４及び配光部６５が設けられている。挿通孔６４は、本体部材６３の水平方向における中央部分に設けられており、サブ基板６２に実装された撮像部１０を挿通させる。挿通孔６４は、サブ基板６６に設けられた遮光のための孔部と協働して、投光部１５と撮像部１０との間にて遮光機能を発揮することで、投光部１５から撮像部１０への光の漏れを防いでいる。配光部６５は、挿通孔６４を水平方向において挟むように配置されており、サブ基板６２に実装された投光部１５と対向している。配光部６５は、投光部１５から放射された光を透過させつつ、規定領域ＰＡ（図１参照）に配光する。

フロントカバー部材６６には、可視光フィルタ６７が設けられている。可視光フィルタ６７は、顔画像５１（図４参照）の生成に用いられる赤色から近赤外の帯域の光を主に透過させると共に、顔画像５１の生成に不要な可視光帯域の光を遮蔽する。可視光フィルタ６７は、フロントカバー部材６６において配光部６５と対向する位置に形成された開口６８を覆っている。リヤカバー部材は、本体部材６３を挟んでフロントカバー部材６６とは反対側に配置されている。リヤカバー部材は、各基板６１，６２を覆うことにより、これらを雰囲気中の塵及び埃等から保護している。

図２に示すアクチュエーション部９０には、車両１（図１参照）に搭載された、例えばスピーカ９１、シート振動装置９３、及び空調装置９５等が含まれている。スピーカ９１は、警告制御部３３からの制御信号に基づいて音声データを再生することにより、運転者に注意を喚起する。シート振動装置９３は、運転席の座面の内部等に設置されており、警告制御部３３からの制御信号に基づいて運転席を振動させることにより、運転者に注意を喚起する。空調装置９５は、警告制御部３３からの制御信号に基づいて車両１の室内に外気を導入させる等の作動により、運転者に注意を喚起する。

次に、状態監視装置１００によって撮影される顔画像５１についてさらに詳しく説明する。

図４に示すように、環境光の少ない状態下において、照明光を規定領域ＰＡに照射しつつ運転者の顔面を撮影した場合、運転者の両眼は、明部５５として写る。こうした所謂赤眼現象は、環境光及び照明光に含まれる赤色帯域の光が網膜の毛細血管によって反射されるために生じる。この赤眼は、当該赤眼の周囲に対して高いコントラストを獲得している。故に、画像認識部２４（図２参照）は、顔画像５１に写る明部５５の位置に基づくことで、当該顔画像５１における眼の位置を正確に特定し得る。

しかし、環境光の少ない状態において、照明光を規定領域ＰＡに照射しつつ、眼鏡を掛けた運転者が撮影されたとする。この場合、撮影される顔画像５１には、運転者の所謂赤眼だけでなく、眼鏡に映り込んだ発光ダイオード１６（図２参照）が、明部５６として撮影されてしまう。このように、運転者の両眼の周囲に、眼の候補となる明部５５，５６が複数撮影されてしまうと、顔画像５１における眼の位置の特定が、誤ったものとなり得る。すると、眼の位置に基づいて行われる顔認識の正確性が、確保されなくなってしまうおそれがあった。

以上の問題を解決して顔認識の精度を向上させるために、図２の状態監視装置１００の備える構成、及び制御回路２０によって実施される処理を、以下詳細に説明する。

図５に示すように、撮像素子１１には、被覆領域７７と非被覆領域７６とが形成されている。被覆領域７７は、撮像面においてカラーフィルタ７８によって覆われた領域である。カラーフィルタ７８は、赤色帯域の光を減衰させつつ、近赤外帯域の光を通過させる。故に、被覆領域７７は、規定領域ＰＡ（図１参照）から入射してカラーフィルタ７８を通過した光であって、赤色帯域の光が減衰された減衰光を受光する。非被覆領域７６は、被覆領域７７から外れて位置しており、カラーフィルタ７８によって覆われてない領域である。故に、非被覆領域７６は、規定領域ＰＡから入射する入射光を受光する。

撮像素子１１は、水平方向Ｈ及び垂直方向Ｖのそれぞれに例えば６４０×４８０の画素を配列してなる所謂ＶＧＡサイズの素子である。撮像素子１１は、複数の画素として、第一画素７０及び第二画素７３を有している。第一画素７０は、カラーフィルタ７８に覆われていない画素である。故に、第一画素７０の全域が非被覆領域７６となる。第二画素７３は、カラーフィルタ７８によって覆われた画素である。故に、第二画素７３の全域が被覆領域７７となる。撮像面に設けられる第二画素７３の数は、第一画素７０の数よりも少なくされている。故に、撮像素子１１の撮像面においては、被覆領域７７の面積は、非被覆領域７６の面積よりも、狭くされている。

以上の撮像素子１１の構成により、第一画素７０からの出力に基づいて、図２に示す撮像部１０は、入射光の受光することによって撮影された顔画像（以下、便宜的に「第一顔画像」と記載する）５１を生成する。また撮像部１０は、第二画素７３（図５参照）からの出力に基づいて、減衰光を受光することによって撮影された顔画像（以下、便宜的に「第二顔画像」と記載する）５２を生成する。以上によれば、第一顔画像５１の画素数は、第二顔画像５２の画素数よりも多くなる。さらに、撮像部１０は、第一画素７０（図５参照）からの出力を取得しつつ、第二画素７３からの出力を取得することができる。よって、第一顔画像５１及び第二顔画像５２は、実質的に同時に撮影された画像となる。

これら第一顔画像５１及び第二顔画像５２を用いた高精度な顔認識を実現するため、画像認識部２４は、サブ機能ブロックとして、第一画像取得ブロック２５、第二画像取得ブロック２６、暗所判定ブロック２８、及び眼判定ブロック２７を有する。

第一画像取得ブロック２５は、撮像部１０から第一顔画像５１を取得する。一方、第二画像取得ブロック２６は、撮像部１０から第二顔画像５２を、第一顔画像５１とは別の顔画像として取得する。

暗所判定ブロック２８は、車両制御装置９６から取得した情報に基づいて、車両１（図１参照）の室内が暗所であるか否かを判定する。車両制御装置９６は、車両１に搭載された種々の機器を制御する装置である。車両制御装置９６は、その機能の一つとして、車両１の前照灯の作動を制御することができる。暗所判定ブロック２８は、車両１の前照灯の状態情報に基づいて、当該前照灯が点灯状態である場合に、車両１の室内が暗所であると判定する。一方で、暗所判定ブロック２８は、前照灯が消灯状態である場合に、車両１の室内が暗所でないと判定する。尚、車両制御装置９６による前照灯の点灯状態及び消灯状態の切り替えは、車両１（図１参照）に搭載された外光センサの検出結果に基づいて行われてもよく、ステアリングコラム８１（図１参照）に設けられた切替スイッチの操作状態に基づいて行われてもよい。

眼判定ブロック２７は、図４に示す運転者の眼の候補となる明部５５，５６が第一顔画像５１に複数撮影された場合に、当該眼の候補となる複数の明部５５，５６から、実際の眼に対応する明部がいずれであるかを判定する。詳記すると、図６に示すように、減衰光を受光することによって撮影される第二顔画像５２では、入射光から赤色帯域の光が減衰させられているので、運転者の眼は、赤眼となり難い。即ち、第二顔画像５２では、運転者の眼は、図４の如く明部５５として写り難い。故に、第一顔画像５１に撮影された眼の候補となる明部５５，５６のうちで、図５の第二顔画像５２に撮影されていないものが、実際の眼による明部５５である蓋然性が高いこととなる。

以上説明した原理に基づき、図２に示す眼判定ブロック２７は、第一顔画像５１と第二顔画像５２とを比較する処理を行うことで、第一顔画像５１に写る複数の明部５５，５６（図４参照）のうちで、第二顔画像５２に撮影されていなかった明部５５を、眼と判定する。こうした眼の位置を特定する判定は、暗所判定ブロック２８によって室内が暗所でると判定されたこと条件として、実施される。

次に、ここまで説明した眼の位置を特定する判定を実現するために、画像認識部２４によって実施される処理を、図７に基づいて詳細に説明する。図７に示す処理は、車両１（図１参照）のイグニッションがオン状態とされることにより、画像認識部２４によって開始される。

Ｓ１０１では、発光制御部２１から投光部１５に発光を指示する制御信号を出力すると共に、撮像制御部２３から撮像部１０に撮影を支持する制御信号を出力しＳ１０２に進む。このＳ１０１にて出力された制御信号に基づいて、投光部１５は、規定領域ＰＡに向けて照明光を出射させる。そして、撮像部１０は、照明光を含む規定領域ＰＡからの光を受光することで、第一顔画像５１及び第二顔画像５２を撮影する。

Ｓ１０２では、Ｓ１０１にて出力された制御信号に基づく第一顔画像５１及び第二顔画像５２を、第一画像取得ブロック２５及び第二画像取得ブロック２６によって取得し、Ｓ１０３に進む。

Ｓ１０３では、車両制御装置９６から取得している前照灯の状態情報に基づき、車両１の室内が暗所であるか否かを判定する。Ｓ１０３にて肯定判定をした場合には、Ｓ１０５に進む。一方で、Ｓ１０３にて否定判定をした場合には、Ｓ１０４に進む。Ｓ１０４では、赤眼を利用しない顔認識の処理を実施し、Ｓ１１０に進む。一方で、Ｓ１０３によって肯定判定がなされたことを条件として実施されるＳ１０５では、Ｓ１０２にて取得された第一顔画像５１を画像処理することにより、当該画像５１から、運転者の眼の候補となる明部５５，５６を抽出し、Ｓ１０６に進む。

Ｓ１０６では、Ｓ１０５にて実施された画像処理の結果、眼の近傍領域として予め想定された範囲に、眼の候補となる明部５５，５６が複数撮影されているか否かを判定する。Ｓ１０６にて、否定判定をした場合には、Ｓ１０７に進む。Ｓ１０７では、Ｓ１０５にて抽出された赤眼である明部５５を利用して顔認識を実施し、Ｓ１１０に進む。一方で、Ｓ１０６にて肯定判定をした場合には、Ｓ１０８に進む。

Ｓ１０８では、第一顔画像５１及び第二顔画像５２を比較することにより、第一顔画像５１に撮影された複数の明部５５，５６のうちで、第二顔画像５２に撮影されていない明部５５を、運転者の眼であると判定し、Ｓ１０９に進む。Ｓ１０９では、Ｓ１０８にて眼であると判定された赤眼である明部５５を利用して顔認識を実施し、Ｓ１１０に進む。

Ｓ１１０では、Ｓ１０４、Ｓ１０７及びＳ１０９のいずれかによる顔認識の結果を状態判定部３１に出力し、Ｓ１１１に進む。このＳ１１０にて出力された顔認識の結果に基づいて、状態判定部３１は、脇見運転の兆候や居眠り運転の兆候等、運転者に警告を実施すべき状態が生じているか否かを判定する。

Ｓ１１１では、車両１のイグニッションのオン状態が継続されているか否かを判定する。イグニッションがオフ状態とされたことで、Ｓ１１１にて否定判定をした場合には、処理を終了する。一方で、Ｓ１１１にて肯定判定をした場合には、Ｓ１０１に戻る。

ここまで説明した第一実施形態によれば、減衰光を受光することによって撮影される第二顔画像５２では、入射光から赤色の帯域の光が減衰させられているので、運転者の眼は、明部５５として写り難い。故に、第一顔画像５１に複数撮影された明部５５，５６のうちで、第二顔画像５２に撮影されていない明部５５が、眼と判定される。これにより、運転者の眼鏡に発光ダイオード１６が映り込んだ場合でも、第一顔画像５１における眼の位置は、正確に特定され得る。したがって、眼の位置に基づいて行われる顔認識の正確性が、確保可能となる。

加えて第一実施形態に用いられる撮像素子１１では、その一部である第二画素７３が被覆領域７７としてカラーフィルタ７８で覆われている。故に、撮像部１０は、一つの撮像素子１１から、第二顔画像５２を生成するための出力と、第一顔画像５１を生成するための出力とを共に得ることができる。よって、撮像素子１１の一部をカラーフィルタ７８によって覆う構成は、第一顔画像５１及び第二顔画像５２を比較することで眼の位置を特定する状態監視装置１００に特に好適なのである。

また第一実施形態における第二顔画像５２は、主に眼の位置を特定するために必要な顔画像である。故に、第二顔画像５２は、第一顔画像５１ほど鮮明でなくてもよい。よって、撮像素子１１における第二画素７３の数は、第一画素７０の数よりも少なくされている。これにより、被覆領域７７の面積が非被覆領域７６の面積よりも狭くなるので、非被覆領域７６からの出力に基づく第一顔画像５１は、高い解像度を維持し、且つ照明光を有効に利用した鮮明な画像となり得る。したがって、第一顔画像５１を用いた画像認識部２４による顔認識の正確性は、確実に確保可能となる。

さらに第一実施形態によれば、撮像部１０は、実質的に同じタイミングにて取得される出力に基づいて、第一顔画像５１と第二顔画像５２とを生成することができる。故に、第一顔画像５１及び第二顔画像５２間の撮影タイミングの差は、実質的に消失し得る。以上により、第一顔画像５１及び第二顔画像５２間にて、撮影された運転者の位置にずれが生じる事態は、回避され得る。したがって、第一顔画像５１と第二顔画像５２との比較によって特定される眼の位置の正確性、ひいては顔認識の正確性は、いっそう確保可能となる。

また加えて第一実施形態では、第一顔画像５１と第二顔画像５２との比較による眼の位置の特定は、車両１の室内が暗所である旨の判定を条件として、実施される。上述したように、赤眼による明部５５と、発光ダイオード１６の眼鏡への映り込みによる明部５６とが共に第一顔画像５１に写るのは、主に環境光の少ない条件下である。故に、室内が暗所である旨の判定を条件として、眼の位置を特定する処理が実施されることによれば、顔認識の精度を高く維持したうえで、状態監視装置１００における処理の負荷の軽減が可能となる。

尚、第一実施形態において、車両１が特許請求の範囲に記載の「移動体」に相当し、撮像部１０が特許請求の範囲に記載の「撮像手段」に相当し、投光部１５が特許請求の範囲に記載の「発光手段」に相当し、画像認識部２４が特許請求の範囲に記載の「顔認識手段」に相当し、第一画像取得ブロック２５が特許請求の範囲に記載の「第一画像取得手段」に相当し、第二画像取得ブロック２６が特許請求の範囲に記載の「第二画像取得手段」に相当し、眼判定ブロック２７が特許請求の範囲に記載の「眼判定手段」に相当し、暗所判定ブロック２８が特許請求の範囲に記載の「暗所判定手段」に相当し、カラーフィルタ７８が特許請求の範囲に記載の「減衰フィルタ」に相当し、ステップＳ１０１が特許請求の範囲に記載の「発光ステップ」に相当し、ステップＳ１０２が特許請求の範囲に記載の「第一画像取得ステップ」及び「第二画像取得ステップ」に相当し、ステップＳ１０８が特許請求の範囲に記載の「眼判定ステップ」に相当し、ステップＳ１０９が特許請求の範囲に記載の「顔認識ステップ」に相当する。

（第二実施形態）
図８に示される本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態による状態監視装置２００は、第一実施形態の撮像部１０（図２参照）に替えて、第一撮像部１１０及び第二撮像部２１０を有している。以下、図８に基づいて、第一顔画像５１及び第二顔画像５２を取得するための状態監視装置２００の構成を詳しく説明する。

第一撮像部１１０及び第二撮像部２１０は、共に近赤外線カメラであって、第一実施形態の撮像部１０に相当する構成である。第一撮像部１１０は、第一実施形態の撮像素子１１（図５参照）に相当する第一撮像素子１１１を有しており、当該素子１１１の撮像面を規定領域ＰＡ（図１参照）に向けた姿勢にて配置されている。第一撮像素子１１１は、規定領域ＰＡから入射する入射光を受光する。以上の構成により、第一撮像部１１０は、第一撮像素子１１１からの出力に基づいて第一顔画像５１を生成し、画像認識部２４に逐次出力する。

第二撮像部２１０は、撮像素子１１（図５参照）に相当する第二撮像素子２１１、及び赤色帯域の光を減衰させるカラーフィルタ２７８を有している。第二撮像部２１０は、第二撮像素子２１１の撮像面を規定領域ＰＡ（図１参照）に向けた姿勢にて配置されている。第二撮像素子２１１は、カラーフィルタ２７８によって覆われることで減衰光を受光する。以上の構成により、第二撮像部２１０は、第二撮像素子２１１からの出力に基づいて第二顔画像５２を生成し、画像認識部２４に逐次出力する。

以上の構成では、第一撮像素子１１１の全域が非被覆領域７６となり、第二撮像素子２１１の全域が被覆領域７７となる。第二実施形態では、各撮像素子１１１，２１１の画素ピッチ及び画素数は、互いに同一とされている。故に、被覆領域７７の面積は、非被覆領域７６の面積と実質的に等しくなる。

撮像制御部２３は、第一撮像部１１０及び第二撮像部２１０のそれぞれに制御信号を出力する。撮像制御部２３は、発光制御部２１が投光部１５の発光ダイオード１６を発光状態にするタイミングに合わせて、第一撮像素子１１１及び第二撮像素子２１１を共に露光状態とする。このように、撮像制御部２３が第一撮像素子１１１及び第二撮像素子２１１の撮影タイミングを同期させることにより、第一顔画像５１及び第二顔画像５２は、実質的に同じタイミングにて撮影される。

以上の構成により、第一画像取得ブロック２５は、第一撮像素子１１１を用いて撮影された第一顔画像５１を第一撮像部１１０から取得する。一方で、第二画像取得ブロック２６は、第二撮像素子２１１を用いて撮影された第二顔画像５２を第二撮像部２１０から取得する。このように、第一顔画像５１及び第二顔画像５２を撮影するための撮像部は、別々に設けられていてもよい。

ここまで説明した第二実施形態でも、減衰光を用いて撮影される第二顔画像５２が、第二撮像部２１０によって生成される。故に、第一顔画像５１と第二顔画像５２との比較による眼の位置の特定が可能となるので、眼の位置に基づいて行われる顔認識の正確性は、確保される。

加えて第二実施形態では、第二撮像部２１０が、第一撮像部１１０とは別の構成として設けられている。故に、各撮像素子１１１，２１１として採用される撮像素子の自由度が、確保され得る。以上の構成では、第一顔画像５１及び第二顔画像５２を眼の位置の特定に好適な解像度にて取得することが、いっそう容易となる。

尚、第二実施形態において、第一撮像部１１０が特許請求の範囲に記載の「第一撮像手段」に相当し、第二撮像部２１０が特許請求の範囲に記載の「第二撮像手段」に相当し、カラーフィルタ２７８が特許請求の範囲に記載の「減衰フィルタ」に相当する。

（第三実施形態）
図９に示される本発明の第三実施形態は、第一実施形態の別の変形例である。第三実施形態による状態監視装置３００は、第一実施形態の撮像部１０（図２参照）に替えて、撮像部３１０を有している。以下、図９に基づいて、第一顔画像５１及び第二顔画像５２を取得するための状態監視装置３００の構成を詳しく説明する。

撮像部３１０は、撮像素子１１に加えて、カラーフィルタ３７８及び切替機構３１３を有している。カラーフィルタ３７８は、赤色帯域の光を減衰させ且つ近赤外帯域の光を通過させる構成である。カラーフィルタ３７８は、撮像素子１１を覆うことが可能な大きさに形成されている。切替機構３１３は、カラーフィルタ３７８を移動させるための機構である。

以上の撮像部３１０には、撮影モードとして、減衰撮影モードと非減衰撮影モードとが互いに切り替え可能に設けられている。減衰撮影モードでは、撮像部３１０は、切替機構３１３の作動により、撮像素子１１の撮像面を覆う位置にカラーフィルタ３７８を移動させている。このように、カラーフィルタ３７８によって撮像素子１１を覆うことで、撮像素子１１は、減衰光を受光することとなる。故に、撮像部３１０は、撮像素子１１からの出力に基づいて、第二顔画像５２を生成することができる。

一方で、非減衰撮影モードでは、撮像部３１０は、切替機構３１３の作動により、撮像素子１１の撮像面からカラーフィルタ３７８を退避させている。故に、撮像素子１１は、入射光を受光することとなる。以上により、撮像部３１０は、撮像素子１１からの出力に基づいて、第一顔画像５１を生成することができる。

撮像制御部２３は、減衰撮影モードと非減衰撮影モードとが交互に繰り返されるよう、撮像部３１０に制御信号を出力する。これにより、撮像部３１０では、第一顔画像５１及び第二顔画像５２が、僅かの時間差にて、交互に撮影される。よって、画像認識部２４においては、非減衰撮影モードにて撮影された第一顔画像５１の第一画像取得ブロック２５による取得と、減衰撮影モードにて撮影された第二顔画像５２の第二画像取得ブロック２６による取得とが、交互に実施される。尚、発光制御部２１は、各撮影モードにおいて撮像素子１１が露光状態とされるタイミングに合わせて、投光部１５から照明光を出射させる。

ここまで説明した第三実施形態でも、減衰光を用いて撮影される第二顔画像５２が、撮像部３１０の減衰撮影モードにて生成される。これにより、第一顔画像５１と第二顔画像５２との比較による眼の位置の特定が可能となるので、眼の位置に基づいて行われる顔認識の正確性は、確保される。

尚、第三実施形態において、撮像部３１０が特許請求の範囲に記載の「撮像手段」に相当し、カラーフィルタ３７８が特許請求の範囲に記載の「減衰フィルタ」に相当する。

（他の実施形態）
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記第一実施形態のさらに別の変形例１では、撮像素子１１（図５参照）に替えて、図１０に示す撮像素子４１１が用いられている。撮像素子４１１の有する第二画素４７３には、カラーフィルタ７８によって覆われたサブ画素４７４が設けられている。以上の構成による撮像部４１０は、第一画素７０からの出力と、第二画素４７３においてサブ画素４７４を除く領域からの出力とに基づいて、第一顔画像５１（図４参照）を生成する。加えて、撮像部４１０は、サブ画素４７４からの出力に基づいて、第二顔画像５２（図４参照）を生成する。このように、被覆領域７７をサブ画素４７４として設ける形態でも、第一実施形態と同様に、近赤外線に対する撮像素子４１１の感度を維持しつつ、第一顔画像５１と共に第二顔画像５２を撮影することができる。

上記第二実施形態の変形例では、一つの撮像部に、第一撮像素子及び第二撮像素子が設けられている。この撮像部には、規定領域ＰＡからの入射光を各撮像素子に分割して到達させるスプリッタと、スプリッタ及び第二撮像素子間に位置するカラーフィルタとがさらに設けられている。以上の構成のように、非被覆領域を形成する第一撮像素子と、被覆領域を形成する第二撮像素子は、一つの撮像部に共に設けられていてもよい。

上記実施形態の変形例では、暗所判定ブロックが省略されている。これにより、車両の室内が暗所であるか否かに係らず、眼判定ブロックは、複数の眼の候補となる明部が第一顔画像５１に撮影された場合に、これらの明部のうちから、眼に対応する明部を特定する判定を実施する。

上記第一実施形態の変形例では、第一画素の画素数と第二画素の画素数とが同程度に設定されている。これにより、被覆領域の面積は、非被覆領域の面積と同程度となる。また、さらに別の変形例では、第二画素の画素数は、第一画素の画素数より多くされている。これにより、被覆領域の面積は、非被覆領域の面積よりも狭くなっている。

上記第三実施形態の変形例では、切替機構によるカラーフィルタの設置及び退避が、電気的に実施されてもよい。例えば、カラーフィルタは、電圧の印加によって赤色帯域の光を遮断する構成であってもよい。こうした形態では、カラーフィルタに電圧を印加する構成が、切替機構に相当する。

上記実施形態の変形例では、カラーフィルタを設ける画素の割合、レイアウトは、適宜変更可能である。例えば、カラーフィルタを有する画素は、撮像素子において眼の近傍領域を写す範囲に絞って設けられていてもよい。

上記第一実施形態の変形例では、撮像部において、非被覆領域からの出力を取得するタイミングと、被覆領域からの出力を取得するタイミングとが異なっている。また、上記第二実施形態の変形例では、第一撮像部において第一撮像素子からの出力を取得するタイミングと、第二撮像部において第二撮像素子からの出力を取得するタイミングが異なっている。以上のように、第一顔画像及び第二顔画像間における撮影タイミングのずれは、許容可能である。

上記実施形態における各撮像素子には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサが適宜採用可能である。また、撮像素子によって検出される光の周波数帯域は、近赤外帯域に限定されず、近赤外帯域に加えて可視光帯域が含まれていてもよい。さらに、発光ダイオードは、撮像素子の仕様に対応するように、放射する光の周波数帯域、個数、及び配置等を適宜変更されることが望ましい。

上記実施形態において、ステアリングコラム８１の上面とされていた撮像部及び状態監視装置の設置位置は、規定領域ＰＡの撮影が可能であれば、適宜変更されてよい。状態監視装置は、例えばインスツルメントパネルの上面に設置されていてもよく、又はサンバイザ近傍の天井部分に取り付けられていてもよい。さらに、撮像部は、状態監視装置の本体部分とは別体で、規定領域ＰＡの撮影に好適な位置に設けられていてもよい。

上記実施形態における規定領域ＰＡの決定方法は、適宜変更されてよい。例えば、規定領域ＰＡは、アイリプスの９５パーセンタイルを包含するように規定されてもよい。さらに、規定領域ＰＡの決定方法は、アイリプスから決定する方法に限定されない。例えば、人種、性別、及び年齢等が異なる複数の運転者を実際に運転席に着座させることにより、規定領域ＰＡを実験的に決定してもよい。こうした規定領域ＰＡは、運転動作に伴う顔面の移動を想定したうえで、規定されることが望ましい。

上記実施形態において、状態監視プログラムを実行した制御回路２０によって提供されていた複数の機能は、上述の制御装置と異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供されてよい。例えば、プログラムによらないで所定の機能を果たすアナログ回路によって、各機能ブロック及びサブ機能ブロックに相当する機能が提供されていてもよい。

上記実施形態では、車両に搭載されて、車両の運転者の状態を監視する状態監視装置に本発明を適用した例を示した。しかし、本発明は、車両用の所謂ドライバステータスモニタだけでなく、車両以外の船舶及び航空機等の各種移動体（輸送機器）にて、その操縦者の状態を監視する状態監視装置に適用することが可能である。

ＰＡ 規定領域、１ 車両（移動体）、１０，３１０，４１０ 撮像部（撮像手段）、１１０ 第一撮像部、２１０ 第二撮像部、１１，４１１ 撮像素子、１１１ 第一撮像素子、２１１ 第二撮像素子、１５ 投光部（発光手段）、２４ 画像認識部（顔認識手段）、２５ 第一画像取得ブロック（第一画像取得手段）、２６ 第二画像取得ブロック（第二画像取得手段）、２７ 眼判定ブロック（眼判定手段）、２８ 暗所判定ブロック（暗所判定手段）、５１ 第一顔画像（顔画像）、５２ 第二顔画像（顔画像）、５５，５６ 明部、７６ 非被覆領域、７７ 被覆領域、７８，２７８，３７８ カラーフィルタ（減衰フィルタ）、１００，２００，３００ 状態監視装置

Claims (8)

1. 移動体（１）に搭載され、前記移動体を操縦する操縦者の顔面を撮影した顔画像（５１，５２）を用いて当該操縦者の状態を監視する状態監視装置であって、
   前記顔面が位置する領域として予め規定された規定領域（ＰＡ）に向けて、赤色から近赤外の帯域の光を出射させる発光手段（１５，Ｓ１０１）と、
   前記規定領域から入射する入射光を受光することで撮影される第一顔画像（５１）を、前記顔画像として取得する第一画像取得手段（２５，Ｓ１０２）と、
   前記入射光から赤色の帯域の光を減衰させた減衰光を受光することによって撮影される第二顔画像（５２）を、前記第一顔画像とは別の前記顔画像として取得する第二画像取得手段（２６，Ｓ１０２）と、
   前記操縦者の眼の候補となる明部（５５，５６）が前記第一顔画像に複数撮影された場合に、複数の前記明部のうちで前記第二顔画像に撮影されていない明部（５５）を、前記眼であると判定する眼判定手段（２７，Ｓ１０８）と、
   前記眼判定手段によって判定された前記眼の位置に基づいて、前記顔面を認識する顔認識手段（２４，Ｓ１０９）と、を備えることを特徴とする状態監視装置。
2. 赤色帯域の光を減衰させる減衰フィルタ（７８）と、前記減衰フィルタによって覆われることで前記減衰光を受光する被覆領域（７７）及び前記被覆領域から外れた位置にて前記入射光を受光する非被覆領域（７６）を形成する撮像素子（１１）と、を有し、前記非被覆領域からの出力に基づく前記第一顔画像及び前記被覆領域からの出力に基づく前記第二顔画像を生成する撮像手段（１０）、をさらに備え、
   前記第一画像取得手段は、前記非被覆領域を用いて撮影された前記第一顔画像を前記撮像手段から取得し、
   前記第二画像取得手段は、前記被覆領域を用いて撮影された前記第二顔画像を前記撮像手段から取得することを特徴とする請求項１に記載の状態監視装置。
3. 前記撮像素子において、前記被覆領域の面積は、前記非被覆領域の面積よりも狭いことを特徴とする請求項２に記載の状態監視装置。
4. 前記撮像手段は、前記非被覆領域からの出力を取得しつつ、前記被覆領域からの出力を取得することを特徴とする請求項２又は３に記載の状態監視装置。
5. 前記入射光を受光する第一撮像素子（１１１）を有し、前記第一撮像素子からの出力に基づいて前記第一顔画像を生成する第一撮像手段（１１０）と、
   赤色帯域の光を減衰させる減衰フィルタ（２７８）によって覆われることで前記減衰光を受光する第二撮像素子（２１１）を有し、前記第二撮像素子からの出力に基づいて前記第二顔画像を生成する第二撮像手段（２１０）と、をさらに備え、
   前記第一画像取得手段は、前記第一撮像素子を用いて撮影された前記第一顔画像を前記第一撮像手段から取得し、
   前記第二画像取得手段は、前記第二撮像素子を用いて撮影された前記第二顔画像を前記第二撮像手段から取得することを特徴とする請求項１に記載の状態監視装置。
6. 前記入射光を受光する撮像素子（３１１）及び赤色帯域の光を減衰させる減衰フィルタ（３７８）を有し、前記減衰フィルタによって前記撮像素子を覆うことで、前記減衰光を受光する当該撮像素子からの出力に基づいて前記第二顔画像を生成する減衰撮影モードと、前記減衰フィルタを前記撮像素子の撮像面から退避させることで、前記入射光を受光する当該撮像素子からの出力に基づいて前記第一顔画像を生成する非減衰撮影モードと、が切り替え可能な撮像手段（３１０）、をさらに備え、
   前記第一画像取得手段は、前記非減衰撮影モードにて撮影された前記第一顔画像を前記撮像手段から取得し、
   前記第二画像取得手段は、前記減衰撮影モードにて撮影された前記第二顔画像を前記撮像手段から取得することを特徴とする請求項１に記載の状態監視装置。
7. 前記移動体の室内が暗所であるか否かを判定する暗所判定手段（２８，Ｓ１０３）、をさらに備え、
   前記眼判定手段は、前記暗所判定手段によって前記室内が暗所でると判定されたこと条件として、前記操縦者の眼の候補となる明部が前記第一顔画像に複数撮影された場合に、複数の前記明部のうちで前記第二顔画像に撮影されていない明部を、前記眼であると判定することを特徴とする請求項１〜６のいずれか一項に記載の状態監視装置。
8. 移動体（１）に搭載され、前記移動体を操縦する操縦者の顔面を撮影した顔画像（５１，５２）を用いて当該操縦者の状態を監視する処理をコンピュータに実行させる状態監視プログラムであって、
   前記顔面が位置する領域として予め規定された規定領域（ＰＡ）に向けて、赤色から近赤外の帯域の光を出射させる発光ステップ（Ｓ１０１）と、
   前記規定領域から入射する入射光を受光することで撮影される第一顔画像（５１）を、前記顔画像として取得する第一画像取得ステップ（Ｓ１０２）と、
   前記入射光から赤色の帯域の光を減衰させた減衰光を受光することによって撮影される第二顔画像（５２）を、前記第一顔画像とは別の前記顔画像として取得する第二画像取得ステップ（Ｓ１０２）と、
   前記操縦者の眼の候補となる明部（５５，５６）が前記第一顔画像に複数撮影された場合に、複数の前記明部のうちで前記第二顔画像に撮影されていない明部（５５）を、前記眼であると判定する眼判定ステップ（Ｓ１０８）と、
   前記眼判定ステップによって判定された前記眼の位置に基づいて、前記顔面を認識する顔認識ステップ（Ｓ１０９）と、をコンピュータに実行させることを特徴とする状態監視プログラム。

Images