JP2016115117A - 判定装置および判定方法 - Google Patents

Abstract

【課題】運転者の顔および目の状態をより正確に判定すること。【解決手段】判定装置は、被験者の三次元顔形状と、被験者の目の位置と、目の形状の変化の状態と形状パラメータとが対応付けられた変化情報とが登録された三次元顔モデルを記憶する記憶部と、撮像装置で撮像された運転者の撮像画像を、三次元顔形状と照合して、目の位置を特定する照合部と、形状パラメータを変化させて、撮像画像における目の状態に対応する形状パラメータを特定する形状パラメータ判定部と、撮像画像における目の開眼の状態を示す開眼度を算出する開眼度算出部と、開眼度と、特定された形状パラメータとに基づいて、運転者の顔および目の状態を判定する判定部と、を備えた。【選択図】図４

Description

本発明は、判定装置および判定方法に関する。

近年、撮像された静止画像または動画像に含まれる顔の位置および向き、ならびに目および口等の顔部品の状態を検出する顔検出技術の開発が進められている。例えば、車両においては、運転者の顔検出結果から開閉眼判定を行って、居眠り運転等を検知し、警報等の所定の処理を行うことができる。

従来から、居眠り運転等を検知するために、運転者の開閉眼の状態を検知する他、車両運動等の運転挙動から居眠り運転等の推定情報を用いる技術が知られている（例えば、特許文献１参照）。また、顔検出結果から得られる運転者の目の上下瞼間距離である開眼度と瞼形状の双方を利用して運転者の開閉眼状態を検知し、居眠り運転等を検知する技術も知られている（例えば、特許文献２参照）。

しかしながら、運転者が下方を向いた場合に目の上下瞼間距離である開眼度が低下して開閉眼判定を誤る場合もあることから、これを回避するために、運転者のまぶたの輪郭形状から運転者が下方視をしているか否かを判定して運転者の眠気を検知する技術が知られている（例えば、特許文献３、４参照）。

特開２００８−１６５３４８号公報 特開２００４−１９２５５１号公報 特開２００８−１７１０６５号公報 特開２００８−１６７８０６号公報

しかしながら、従来技術では、まぶた形状だけで下方視と判定できない場合もある。また、従来技術では、二次元画像上でのまぶたの形状は、顔とカメラ間の相対的な角度関係に従って、見えが変化する。このため、従来技術では、運転者の顔および目の状態を正確に判定することが困難である。

そこで、本発明の課題の一つは、運転者の顔および目の状態をより正確に判定することができる判定装置および判定方法を提供することである。

本発明の判定装置は、被験者の三次元顔形状と、被験者の目の位置と、前記目の形状の変化の状態と形状パラメータとが対応付けられた変化情報とが登録された三次元顔モデルを記憶する記憶部と、撮像装置で撮像された運転者の撮像画像を、前記三次元顔形状と照合して、前記目の位置を特定する照合部と、前記形状パラメータを変化させて、前記撮像画像における前記目の状態に対応する形状パラメータを特定する形状パラメータ判定部と、前記撮像画像における前記目の開眼の状態を示す開眼度を算出する開眼度算出部と、前記開眼度と、特定された前記形状パラメータとに基づいて、前記運転者の顔および目の状態を判定する判定部と、を備えた。上記構成により、誤判断を回避して、より正確に運転者の顔および目の状態を判断することができる。

また、本発明の判定装置において、前記判定部は、前記開眼度と、特定された前記形状パラメータとに基づいて、前記運転者が下方視の状態であるか否かを判定する。上記構成により、誤判断を回避して、より正確に運転者の下方視を判断することができる。

また、本発明の判定装置において、前記三次元顔モデルにおける前記目の形状の変化の状態は、前記目の標準の状態から前記被験者の下方視の状態までの変化を示し、前記判定部は、前記開眼度が閉眼を示す範囲内である場合に、特定された前記形状パラメータが下方視を示す範囲内にあるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合に、前記運転者は下方視状態であると判定する。上記構成により、誤判断を回避して、より正確に運転者の下方視を判断することができる。

また、本発明の判定装置において、前記判定部は、前記開眼度が閉眼を示す範囲内である場合であって、特定された前記形状パラメータが下方視を示す範囲外である場合には、前記運転者は閉眼状態であると判定する。上記構成により、誤判断を回避して、より正確に運転者の閉眼状態を判断することができる。

また、本発明の判定装置は、前記運転者が閉眼状態であると判定された場合、および前記運転者が下方視状態であると判定された場合には、前記運転者に警告を促す動作を行う処理部、をさらに備えた。上記構成により、運転者の脇見運転や居眠り運転を防止することができる。

また、本発明の判定装置は、前記被験者の撮像画像に基づいて、前記三次元顔形状と前記目の位置とを含む三次元顔構造データと、前記目の形状の変化の状態と前記形状パラメータとが対応付けられた前記変化情報と、を求める計測部と、計測された前記三次元顔構造データと前記変化情報とを、前記三次元顔モデルとして前記記憶部に登録するモデル生成部と、をさらに備えた。上記構成により、上記構成により、誤判断を回避して、より正確に運転者の顔および目の状態を判断することができる。

また、本発明の判定方法は、判定装置で実行される判定方法であって、前記判定装置は、被験者の三次元顔形状と、被験者の目の位置と、前記目の形状の変化の状態と形状パラメータとが対応付けられた変化情報とが登録された三次元顔モデルを記憶する記憶部、を備え、撮像装置で撮像された運転者の撮像画像を、前記三次元顔形状と照合して、顔の向きを特定し、特定された前記顔の向きにおける前記目の位置を特定する照合部と、前記形状パラメータを変化させて、前記撮像画像における前記目の状態に対応する形状パラメータを特定し、前記撮像画像における前記目の開眼の状態を示す開眼度を算出し、前記開眼度と、特定された前記形状パラメータとに基づいて、前記運転者の顔および目の状態を判定する。上記構成により、誤判断を回避して、より正確に運転者の顔および目の状態を判断することができる。

図１は、本実施形態にかかる車両の車室の一部が透視された状態が示された斜視図である。 図２は、本実施形態にかかる撮像装置の配置の一例を示す図である。 図３は、本実施形態にかかる判定システムの一例を示すブロック図である。 図４は、本実施形態のＥＣＵの機能的構成を示すブロック図である。 図５は、本実施形態の三次元顔モデルの一例を説明するための模式図である。 図６は、本実施形態の三次元顔モデルに登録された変化情報の一例を示す模式図である。 図７は、本実施形態における三次元顔モデルの生成処理の手順の一例を示すフローチャートである。 図８は、本実施形態にかかる判定処理の手順の一例を示すフローチャートである。 図９は、本実施形態における三次元顔モデルにおける顔のモデルＭについて作成されるテンプレートＴを示す模式図である。

以下、本実施形態の判定装置を車両１に搭載した例をあげて説明する。

本実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示されるように、車両１の車体２は、運転者（不図示）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。

また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。

また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置や音声出力装置が設けられている。表示装置は、例えば、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）や、ＯＥＬＤ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ ｄｉｓｐｌａｙ）等である。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、タッチパネル等、透明な操作入力部で覆われている。乗員は、操作入力部を介して表示装置の表示画面に表示される画像を視認することができる。また、乗員は、表示装置の表示画面に表示される画像に対応した位置において手指等で操作入力部を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。

また、図２に示すように、ハンドルコラム２０２には、撮像装置２０１が設置されている。この撮像装置２０１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等である。撮像装置２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角及び姿勢が調整されている。この撮像装置２０１は、運転者３０２の顔を順次撮影し、撮影により得た画像についての画像データを順次出力する。

次に、本実施形態にかかる車両１における判定装置を有する判定システムについて説明する。図３は、本実施形態にかかる判定システム１００の構成の一例を示すブロック図である。図３に例示されるように、判定システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部等の操作信号等を、受け取ることができる。ここで、ＥＣＵ１４は、判定装置の一例である。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＲＯＭ１４ｂ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ１４ｃ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

図４は、本実施形態のＥＣＵ１４の機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、入力部４０１と、顔データ計測部４０２と、モデル生成部４０３と、照合部４０４と、形状パラメータ判定部４０５と、開眼度算出部４０６と、下方視判定部４０７と、処理部４０８と、三次元顔モデル４１０とを主に備えている。図４に示される、三次元顔モデル４１０を除く各構成は、ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェアで実現するように構成しても良い。

三次元顔モデル４１０は、ＳＳＤ１４ｆ等の記憶媒体に保存されている。三次元顔モデル４１０は、統計的顔形状モデルであり、平均的な被験者の三次元顔形状と、被験者の目や口、鼻等の顔部品の位置と、被験者の目の形状の変化情報とが登録されている。三次元顔モデル４１０は、一例として、ＣＬＭ（Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ），ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ），ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）を用いることができるが、これらに限定されるものではない。

本実施形態のＥＣＵ１４は、この三次元顔モデル４１０を用いて、運転者の顔をトラッキングしながら、運転者の顔の向きと運転者の目の位置を検出し、運転者の上下瞼間の距離である開眼度を求め、目の形状に対応した形状パラメータを特定し、開眼度と形状パラメータに基づいて、運転者が下方を見ている状態（下方視の状態）であるか否か、開眼しているか否かを判定している。詳細について以下説明する。

図５は、本実施形態の三次元顔モデル４１０の一例を説明するための模式図である。図５では、例示的な顔のモデルＭを示している。モデルＭは、例えば１００人の被験者から得られた顔形状から平均的な顔の立体的形状を示し、それぞれ所定の顔部品を表す複数の特徴点Ｐを含んでいる。特徴点Ｐは、任意の点を原点とした座標により表される。図５に示す例では、眉、目、鼻、口および輪郭を表す特徴点Ｐを示しているが、モデルＭは図５に示したものとは異なる特徴点Ｐを含んでもよい。

三次元顔モデル４１０には、さらに、変化情報が登録されている。変化情報は、運転者の顔の表情や動作の変化に伴う運転者の目の形状の段階的な変化と、段階ごとの形状パラメータとが対応付けられたデータである。具体的には、変化状態として、顔が無表情で正面を向いて目が開いている状態を標準の状態とし、この標準の状態から表情が笑顔になるまでの目の形状の段階的な変化、標準の状態から目を閉じるまでの目の形状の段階的な変化、標準の状態から下を向く（下方視）までの目の形状の段階的な変化等の各状態が形状パラメータと対応付けられて三次元顔モデル４１０に登録されている。

図６は、本実施形態の三次元顔モデル４１０に登録された変化情報の一例を示す模式図である。図６に示す例では、標準の目の状態から目を閉じるまでの目の形状の段階的な変化が段階ごとに異なる値をとる形状パラメータ１と対応付けられている。また、標準の目の状態から笑顔になるまでの目の形状の段階的な変化が段階ごとに異なる値をとる形状パラメータ２と対応付けられている。さらに、標準の目の状態から下方視までの目の形状の段階的な変化が段階ごとに異なる値をとる形状パラメータ３と対応付けられている。それぞれの形状パラメータ１，２，３は、いずれも標準の目の状態から変化後の目の形状の状態に向かうに従って、値が段階的に小さくなる。

但し、これに限定されるものではなく、変化後の状態に向かうに従って、値が大きくなるように形状パラメータを構成してもよい。または、変化の種類に応じて、値が大きくなったり小さくなったり等異なる変化となるように、形状パラメータを構成してもよい。

なお、変化情報として登録される目の形状の変化は、図６に示す例に限定されるものではなく、他に、標準の目の状態からあくびをしたときまでの目の形状の段階的な変化、標準の目の状態から目を凝らす状態までの目の形状の段階的な変化、標準の目の状態から目を見開いた状態までの目の形状の段階的な変化を、段階ごとに形状パラメータと対応付けて三次元顔モデル４１０に登録するように構成することができる。

三次元顔モデル４１０の生成は、図４に示す、入力部４０１、顔データ計測部４０２、モデル生成部４０３により、以下のように行われる。図７は、本実施形態における三次元顔モデル４１０の生成処理の手順の一例を示すフローチャートである。

まず、管理者等は、３Ｄスキャナ等で例えば１００人の被験者の顔を撮像する（Ｓ１１）。また、Ｓ１１では、上記多数の被験者のそれぞれに対し、標準の顔の状態から、笑顔や、目を閉じた状態、下向きの状態等の種々の変化の動作を行わせて、３Ｄスキャナ等で撮像する。なお、被験者の人数は１００人に限定されるものではない。

入力部４０１は、かかる撮像画像を入力する。そして、顔データ計測部４０２は、入力された撮像画像から、複数人の被験者の顔形状、目や口等の顔部品の特徴点を抽出して、平均的な顔形状、顔部品の位置等の三次元顔構造データを計測する（Ｓ１２）。ここで、顔データ計測部４０２は、計測部の一例である。

さらに、Ｓ１２では、顔データ計測部４０２は、Ｓ１１で撮像した被験者の種々の変化の動作の撮像画像から、例えば、非特許文献「Active Appearance Model 探索による目領域構造の自動抽出 森山 剛 金出 武雄 Jeffrey F. Cohn 小沢 慎治『画像の認識・理解シンポジウム（ＭＩＲＵ２００６）』」に示されるような三次元顔モデル作成の手順に従って、主成分分析等の統計的データ解析手法により、目の形状の段階的な変化の状態に対応する形状パラメータを抽出する。

具体的には、撮像画像中の目の輪郭を構成する各点の座標を並べたベクトルをｘで表すと、ｘは形状を表す。顔データ計測部４０２は、これを標準の目の状態から変化後の状態までの全ての撮像画像について平均し、平均形状ｘ_avを求める。顔データ計測部４０２は、標準の目の状態から変化後の状態までの各ｘのｘ_avとの偏差を主成分分析して、固有ベクトルＰ_sを求める。このとき、ｘは次の（１）式で表される。

ｘ＝ｘ_av＋Ｐ_sｂ_s・・・（１）
ここで、ｂ_sは主成分得点ベクトルであり、これを形状パラメータと呼ぶ。すなわち、顔データ計測部４０２は、（１）式から形状パラメータｂ_sを求める。

そして、顔データ計測部４０２は、目の形状の段階的な変化の状態と形状パラメータとを対応付けて図６に示したような変化情報を生成する。

モデル生成部４０３は、計測された三次元顔構造データである平均的な顔形状、顔部品の位置、および上記変化情報を、三次元顔モデル４１０として生成する（Ｓ１３）。これにより、平均的な顔のモデルが三次元顔モデル４１０に登録されて生成されることになる。

次に、本実施形態の判定処理について説明する。図８は、本実施形態にかかる判定処理の手順の一例を示すフローチャートである。まず、撮像装置２０１が運転者を撮像する（Ｓ３１）。撮像は一定時間間隔で周期的に行われる。撮像された運転者の撮像画像は、照合部４０４へ入力される。

照合部４０４は、運転者の二次元の撮像画像と、三次元顔モデル４１０を構成する三次元顔構造データに適合させる（Ｓ３２）。すなわち、照合部４０４は、モデルフィッティングとモデルのトラッキングを行う。これにより、照合部４０４は、運転者の顔の向きを特定（推定）し、さらに、三次元顔モデル４１０上での目の位置の検索を行い特定（推定）することになる。

ここで、本実施形態において、モデルフィッティングは、統計的顔形状モデルである三次元顔モデル４１０に図７の手順で作成された平均的な顔のモデルを初期状態として用い、該モデルの特徴点Ｐを撮像画像の顔の各部分に位置させることによって、該顔に近似したモデルＭを生成する。

また、本実施形態において、モデルのトラッキングでは、モデルフィッティングにおいてモデルＭが生成された後に、Ｓ３１で周期的に撮像される運転者の撮像画像中の顔に合うようにモデルＭを継続的に適合させる。本実施形態では、テンプレートを用いることによってモデルのトラッキングを行っている。

図９は、本実施形態における三次元顔モデル４１０における顔のモデルＭについて作成されるテンプレートＴを示す模式図である。テンプレートＴは、画像中のモデルＭの特徴点Ｐを含む所定範囲の領域を有する。例えば、テンプレートＴは、眉を表す特徴点Ｐを含む領域、目を表す特徴点Ｐを含む領域、鼻を表す特徴点Ｐを含む領域、口を表す特徴点Ｐを含む領域および輪郭を表す特徴点Ｐを含む領域を有する。テンプレートＴの各領域は、１または２以上の特徴点と対応しており、該特徴点の座標と紐付けられている。すなわち、テンプレートＴが有する領域の画像中の位置が決まれば、該領域に対応する特徴点Ｐの座標を算出することができる。

本実施形態に係るモデルのトラッキングでは、テンプレートＴが有する各領域の画像中の位置を決定し、該各領域の位置を用いてモデルＭの該画像中の角度、位置および大きさを決定する。そして、モデルＭに対してこれらの決定された角度、位置および大きさを適用することによって、モデルＭを該画像に適合させることができる。テンプレートＴが有する領域の位置および数は、モデルのトラッキングが可能である限り任意に選択され得る。

図８に戻り、Ｓ３２により適合された三次元顔モデルにより、目の位置が特定されるため、形状パラメータ判定部４０５は、三次元眼モデルを作成する。そして、形状パラメータ判定部４０５は、二次元の撮像画像を三次元眼モデルに適合させる（Ｓ３３）。すなわち、形状パラメータ判定部４０５は、形状パラメータを変化させ、形状パラメータに対応する目の形状と撮像画像の目の形状とを照合する。形状パラメータ判定部４０５は、撮像画像中の目の形状に対応する形状パラメータを三次元顔モデル４１０から特定する。

次に、開眼度算出部４０６は、撮像画像における運転者の開眼度を算出する（Ｓ３４）。開眼度は、運転者の開眼の状態を示すものであり、本実施形態では、上下瞼間の距離である。開眼度算出部４０６による開眼度の算出手法としては、撮像画像の画素から算出する等の公知の手法を用いる。なお、本実施形態では、開眼度として上下瞼間の距離を用いているが、開眼の状態を示すものであれば、これに限定されるものではない。

下方視判定部４０７は、Ｓ３３で特定された形状パラメータと、Ｓ３４で算出された開眼度に基づいて、運転者が開眼の状態か閉眼の状態かを判定する。具体的には、以下の処理が行われる。

下方視判定部４０７は、Ｓ３４で算出された開眼度が、所定の閉閾値以下であるか否かを判断する（Ｓ３５）。ここで、閉閾値は、目が閉じている状態を示す最大の上下瞼間距離である。従って、開眼度が閉閾値以下であることは、目が閉じている可能性があることを意味する。閉閾値は予め定められており、ＲＯＭ１４ｂやＳＳＤ１４ｆ等に記憶されている。

開眼度が閉閾値より大きい場合には（Ｓ３５：Ｎｏ）、下方視判定部４０７は、運転者の目は開眼の状態であると判断する（Ｓ３８）。そして、処理は終了する。

一方、Ｓ３５で、開眼度が閉閾値以下である場合には（Ｓ３５：Ｙｅｓ）、下方視判定部４０７は、Ｓ３３で特定された形状パラメータが所定の下方視閾値以下であるか否かを判断する（Ｓ３６）。ここで、下方視閾値は、運転者が下方視をしているときの目の形状の形状パラメータの最大値である。従って、形状パラメータが下方視閾値以下の範囲である場合には、目の形状が下方視のときの目の形状の範囲であることを意味する。下方視閾値は予め定められており、ＲＯＭ１４ｂやＳＳＤ１４ｆ等に記憶されている。なお、下方視閾値は、個人毎に定められるものであってもよい。また、状況に応じて下方視閾値を変化させるように構成してもよい。

なお、本実施形態では、形状パラメータが下方視閾値以下の場合に目の形状が下方視の範囲としているが、これは、図６を用いて上述したとおり、標準の目の形状が下方視に近づくに従って、本実施形態の形状パラメータが小さくなるように設定されているからである。従って、形状パラメータの設定の仕方によっては、下方視の範囲の境界となる下方視閾値の定め方は異なってくる。

Ｓ３６で、形状パラメータが下方視閾値以下の場合には（Ｓ３６：Ｙｅｓ）、下方視判定部４０７は、運転者が下方視を行っていると判断する（Ｓ４０）。すなわち、Ｓ３５の判断で、開眼度は閉閾値以下で上下瞼間の距離は小さいが、形状パラメータは下方視の範囲内にあるため、下方視判定部４０７は、運転者は下方視を行っているため上下瞼間の距離が小さくなっているのであり、開眼の状態であると判断するのである。これにより、より正確に運転者の下方視および開眼状態を検出することができる。この場合、開眼状態ではあるが、運転者は運転中に、前方をみずに、スマートフォン等の操作等で下方をみていることが考えられる。このため、処理部４０８は、前方を向かせるための警報２を、モニタ装置１１の音声出力装置から出力させる（Ｓ４１）。そして、処理は終了する。

一方、Ｓ３６で、形状パラメータが下方視閾値より大きい場合には（Ｓ３６：Ｎｏ）、下方視判定部４０７は、運転者は閉眼の状態であると判断する（Ｓ３７）。すなわち、Ｓ３５の判断で、開眼度は閉閾値以下で上下瞼間の距離は小さくなっており、形状パラメータからも下方視の範囲内ではないため、下方視判定部４０７は、運転者は目を閉じていると判断する。これにより、より正確に運転者の閉眼状態を検出することができる。この場合、運転者が居眠り運転をしている可能性が高いため、処理部４０８は、モニタ装置１１の音声出力装置から警報１を出力する（Ｓ３９）。なお、本実施形態では、警報１を出力しているが、運転者に警告を促して居眠りの状態から起こすような動作を行うものであれば、これに限定されるものではない。

このように本実施形態では、三次元顔モデル４１０に、目の形状の変化に対応した形状パラメータを登録して、開眼度の他この形状パラメータを用いて運転者の開閉眼および下方視などの表情や動作等を判断しているので、顔と撮像装置２０１の相対位置や角度に依存しない顔の表情や動作等の推定（特定）が可能となる。このため、本実施形態によれば、誤判断を回避して、より正確に運転者の開閉眼や下方視等の顔および目の状態を判断することができる。

また、本実施形態では、運転者の顔の目の形状を、二次元の撮像画像だけでなく、三次元の顔モデルを用いて推定（特定）しているので、撮像装置２０１に対する垂直方向の相対的な顔の位置および顔の向きの影響を受けることが少ない。このため、本実施形態によれば、より正確に目の形状を推定することができ、これにより、より正確に運転者の開閉眼や下方視等の顔および目の状態を判定することができる。

また、本実施形態では、三次元顔モデルに撮像画像をフィッティングしているので、目の上下左右まぶたに対して同時にフィッティングすることになり、上下左右まぶたで独立に曲線を検出する従来技術に比べて、撮像画像中のノイズに対してロバストに開閉眼や下方視等の顔および目の状態の検出を行うことができる。

また、本実施形態では、運転者が下方視や閉眼状態であると判定された場合には、処理部４０８は、運転者に警告を促す動作の一例として警報を、モニタ装置１１の音声出力装置から出力させるので、運転者の脇見運転や居眠り運転を防止することができる。

本実施形態では、三次元顔モデル４１０に、標準の目の状態から下方視に至るまでの目の形状の変化を形状パラメータとともに登録して、下方視の判定を行っているが、下方視以外の判定を行うように、三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成してもよい。

例えば、三次元顔モデル４１０に、さらに、標準の目の状態からあくびをしたときまでの目の形状の段階的な変化を形状パラメータとともに登録し、あくびの判定を行うように三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成することができる。

また、三次元顔モデル４１０に、さらに、標準の目の状態から目を凝らす状態までの目の形状の段階的な変化までの目の形状の段階的な変化を形状パラメータとともに登録し、まぶしくて目を細めたことを判定するように、三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成してもよい。

また、形状パラメータを、上記非特許文献「Active Appearance Model 探索による目領域構造の自動抽出 森山 剛 金出 武雄 Jeffrey F. Cohn 小沢 慎治『画像の認識・理解シンポジウム（ＭＩＲＵ２００６）』」や非特許文献「Costen, N., Cootes, T.F., Taylor, C.J.: Compensating for ensemble-specificity effects when building facial models. Image and Vision Computing 20, 673−682」に示されているように、個人内差と個人間差とに分類して登録されるように三次元顔モデル４１０を構成してもよい。

また、本実施形態では、運転者の開閉眼の判定を正確に行うために、下方視の判定を行っているが、これに限定されるものではない、インタフェースとの対話等、人間的なやり取りにおいて、本実施形態の手法の下方視の検出を用いるように、三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
１４ ＥＣＵ
２０１ 撮像装置
４０１ 入力部
４０２ 顔データ計測部
４０３ モデル生成部
４０４ 照合部
４０５ 形状パラメータ判定部
４０６ 開眼度算出部
４０７ 下方視判定部
４０８ 処理部
４１０ 三次元顔モデル

Claims (7)

1. 被験者の三次元顔形状と、被験者の目の位置と、前記目の形状の変化の状態と形状パラメータとが対応付けられた変化情報とが登録された三次元顔モデルを記憶する記憶部と、
   撮像装置で撮像された運転者の撮像画像を、前記三次元顔形状と照合して、前記目の位置を特定する照合部と、
   前記形状パラメータを変化させて、前記撮像画像における前記目の状態に対応する形状パラメータを特定する形状パラメータ判定部と、
   前記撮像画像における前記目の開眼の状態を示す開眼度を算出する開眼度算出部と、
   前記開眼度と、特定された前記形状パラメータとに基づいて、前記運転者の顔および目の状態を判定する判定部と、
   を備えた判定装置。
2. 前記判定部は、前記開眼度と、特定された前記形状パラメータとに基づいて、前記運転者が下方視の状態であるか否かを判定する、
   請求項１に記載の判定装置。
3. 前記三次元顔モデルにおける前記目の形状の変化の状態は、前記目の標準の状態から前記被験者の下方視の状態までの変化を示し、
   前記判定部は、前記開眼度が閉眼を示す範囲内である場合に、特定された前記形状パラメータが下方視を示す範囲内にあるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合に、前記運転者は下方視状態であると判定する、
   請求項２に記載の判定装置。
4. 前記判定部は、前記開眼度が閉眼を示す範囲内である場合であって、特定された前記形状パラメータが下方視を示す範囲外である場合には、前記運転者は閉眼状態であると判定する、
   請求項３に記載の判定装置。
5. 前記運転者が閉眼状態であると判定された場合、および前記運転者が下方視状態であると判定された場合には、前記運転者に警告を促す動作を行う処理部、
   をさらに備えた請求項３または４に記載の判定装置。
6. 前記被験者の撮像画像に基づいて、前記三次元顔形状と前記目の位置とを含む三次元顔構造データと、前記目の形状の変化の状態と前記形状パラメータとが対応付けられた前記変化情報と、を求める計測部と、
   計測された前記三次元顔構造データと前記変化情報とを、前記三次元顔モデルとして前記記憶部に登録するモデル生成部と、
   をさらに備えた請求項１〜５のいずれか一つに記載の判定装置。
7. 判定装置で実行される判定方法であって、
   前記判定装置は、被験者の三次元顔形状と、被験者の目の位置と、前記目の形状の変化の状態と形状パラメータとが対応付けられた変化情報とが登録された三次元顔モデルを記憶する記憶部、を備え、
   撮像装置で撮像された運転者の撮像画像を、前記三次元顔形状と照合して、顔の向きを特定し、特定された前記顔の向きにおける前記目の位置を特定する照合部と、
   前記形状パラメータを変化させて、前記撮像画像における前記目の状態に対応する形状パラメータを特定し、
   前記撮像画像における前記目の開眼の状態を示す開眼度を算出し、
   前記開眼度と、特定された前記形状パラメータとに基づいて、前記運転者の顔および目の状態を判定する、
   ことを含む判定方法。

Images