JP2009025894A - 顔画像検出方法及び顔画像処理装置 - Google Patents

Abstract

【課題】顔画像の検出精度の向上を図った顔画像検出方法及び顔画像処理装置を提供すること。
【解決手段】撮像された画像の一方向の輝度分布Ｂ_ｎを生成し、生成された輝度分布Ｂ_ｎに基づいて、輝度値補正を実行しない第１の領域Ｇ_ｎ及びこの第１の領域Ｇ_ｎより輝度値が低く輝度値補正を実行する第２の領域Ｈ_ｎを判定する。そして、第１の領域Ｇ_ｎの輝度値に基づいて、第２の領域Ｈ_ｎにおける予想輝度値の分布である予想輝度分布Ｊ_ｎを演算し、第２の領域の代表点Ｐ_ｎにおける輝度値（実輝度値）Ｓ_ｎ及び予想輝度値Ｔ_ｎを比較して、この比較に基づいて、第２の領域Ｈ_ｎの輝度値を補正する。これにより、顔の一部分（第１の領域）の輝度値に基づいて、輝度値補正を実行することができる。
【選択図】図４

Description

本発明は、人物の顔を検出する顔画像検出方法及び顔画像処理装置に関する。

従来、このような分野では、例えば近赤外線カメラを用いて人物の顔を撮像し、撮像された画像データに基づいて画像処理を行って顔画像を検出している。具体的には、撮像された画像中において、周囲と比較して明るい領域を顔であるとしている。このような技術において、例えば外乱光の入射等により顔の半分側が暗い場合には、顔の中心軸を境界として左右両側の輝度を比較してコントラストの高低を判断し、コントラストの高い側の輝度値をコントラストの低い側の輝度値として顔の中心軸を基点に折り返すことで、輝度値の補正を実行していた（例えば、特許文献１参照）。
特開２００５−４９９７９号公報

しかしながら、上記特許文献１に記載の従来技術では、顔の中心軸を境界として左右対称に折り返すことで、輝度値の補正を実行しているため、外乱光の入射位置が変化して、コントラストの高低の境界が顔の中心軸からずれた場合には、補正後の顔画像を正確に検出することできないという問題があった。

本発明は、このような課題を解決するために成されたものであり、顔画像の検出精度の向上を図った顔画像検出方法及び顔画像処理装置を提供することを目的とする。

本発明による顔画像検出方法は、撮像された画像に基づいて顔画像を検出する顔画像検出方法において、画像の一方向の輝度分布を生成する輝度分布生成工程と、輝度分布に基づいて、輝度値の補正を実行しない第１の領域及び第１の領域より輝度値が低く輝度値の補正を実行する第２の領域を判定する補正領域判定工程と、第１の領域における輝度分布に基づいて予想された予想輝度値の分布である予想輝度分布を演算する予想輝度分布演算工程と、第２の領域の所定位置における輝度値及び予測輝度値を比較する輝度値比較工程と、輝度値比較工程による比較結果に基づいて、第２の領域の輝度値を補正する輝度値補正工程と、を備えることを特徴としている。

また、本発明による顔画像処理装置は、撮像された画像に基づいて顔画像を検出する顔画像処理装置において、画像の一方向の輝度分布を生成する輝度分布生成手段と、輝度分布に基づいて、輝度値の補正を実行しない第１の領域及び第１の領域より輝度値が低く輝度値の補正を実行する第２の領域を判定する補正領域判定手段と、第１の領域における輝度分布に基づいて予想された予想輝度値の分布である予想輝度分布を演算する予想輝度分布演算手段と、第２の領域の所定位置における輝度値及び予想輝度値を比較する輝度値比較手段と、輝度値比較手段による比較結果に基づいて、第２の領域の輝度値を補正する輝度値補正手段と、を備えることを特徴としている。

このような顔画像検出方法及び顔画像処理装置によれば、撮像された画像の一方向の輝度分布を生成し、生成された輝度分布に基づいて、輝度値補正を実行しない第１の領域及びこの第１の領域より輝度値が低く輝度値補正を実行する第２の領域を判定する。そして、第１の領域の輝度値に基づいて、第２の領域における予想輝度値の分布である予想輝度分布を演算し、第２の領域の代表点における輝度値（実輝度値）及び予想輝度値を比較して、この比較に基づいて、第２の領域の輝度値を補正する。これにより、補正を実行しない第１の領域の輝度値に基づいて、予想輝度分布を生成し、第２の領域の代表点の予想輝度値及び輝度値（実測値）を比較して、第２の領域の輝度値補正を実行するため、顔の一部分（第１の領域）の輝度値に基づいて、輝度値補正を実行することが可能となる。そのため、コントラストの境界が顔の中心軸に沿っていない場合であっても、精度良く輝度値の補正を実行することができる。

ここで、代表点は、第２の領域内における最大輝度値が検出された位置であることが好ましい。最大輝度値が検出された位置は、第２の領域内で最も精度良く輝度値が検出された位置であると想定することができる。これにより、最大輝度値が検出された位置を代表点として、この代表点における予想輝度値及び輝度値を比較し、この比較結果に基づいて、第２領域の輝度値を補正することが可能となる。そのため、顔の検出精度を向上させることができる。

本発明の顔画像検出方法及び顔画像処理装置によれば、顔の一部分の輝度値に基づいて、予想輝度値を算出し、この予想輝度値と実測された輝度値との比較に基づいて、輝度値補正を実行することで、コントラストの境界が顔の中心軸に沿っていない場合であっても、輝度値補正を精度良く実行することが可能となり、顔の検出精度を向上させることができる。

以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る顔画像処理装置を示すブロック図、図２は、顔画像撮像カメラによって撮像された顔画像の一例を示すものであり、輝度補正実行前の顔画像を示す図である。

図１に示す顔画像処理装置１０は、車両等に搭載され運転者Ｄの顔画像を検出するものである。この顔画像処理装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、顔画像撮像カメラ１２からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４を備えている。

顔画像撮像カメラ１２は、例えばコラムカバー１６の上面に設定され、運転者Ｄの顔画像を取得するものである。顔画像撮像カメラ１２は、例えば、近赤外線カメラであり、近赤外線投射装置（不図示）から照射した近赤外線光が物体（運転者Ｄの顔）に反射した反射光を受光することによって、運転者Ｄの顔を撮像する。顔画像撮像カメラ１２では、例えば、毎秒３０フレームの画像を取得することができる。

顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部１８となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Ｄの顔画像を検出する。検出された顔画像は、例えば、運転者Ｄの覚醒度判定、脇見判定等に利用される。

ここで、本実施形態の顔画像処理装置１０は、図２に示すように、例えば、運転者Ｄの顔の一部の輝度値が低下した場合に、輝度値の補正を実行して、顔画像の検出精度を向上させる機能を有している。そして、顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部１８に記憶されているプログラムを実行することで、輝度分布生成部２０、補正領域判定部２２、予想輝度曲線生成部２４、輝度値比較部２６、輝度値補正部２８、画像処理部３０が構成される。また、記憶部１８には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また、記憶部１８は、撮像された画像データを一時記憶する記憶手段として機能する。

輝度分布生成部２０は、顔画像撮像カメラ１２にからの入力された画像の各点における輝度値を算出して輝度分布を作成する。輝度分布生成部２０では、運転者Ｄの顔を横方向に延在する複数の列（以下、「横列」という）Ａ_ｎに分割し、横列Ａ_ｎ毎に輝度分布を作成する。図３は、撮像された顔画像に基づいて生成された輝度分布を示すグラフである。図３では、図２中の横列Ａ_ｎにおける輝度分布Ｂ_ｎを示すものであり、横軸に顔の横方向（図示左右方向）の位置を示し、縦軸に輝度値を示している。一点鎖線で示すＬ_０は、顔の中心軸Ｌ_０を示している。顔の中心軸Ｌ_０は、運転者Ｄの顔の中心を通り上下方向に延在するものである。顔の中心軸Ｌ_０は、顔画像の輝度値が十分であり、輝度値補正の必要が無いときに取得された画像に基づいて設定されている。また、破線で示すＦ_１，Ｆ_２は、顔領域を囲むように設定された矩形枠Ｆの左右両端Ｆ_１，Ｆ_２を示すものである。矩形枠Ｆは、顔画像の輝度値が十分であり、輝度値補正の必要が無いときに取得された画像に基づいて設定されている。輝度分布生成部２０では、上下方向に配列された横列Ａ_ｎの全てについて輝度分布の生成を行う。

補正領域判定部２２は、輝度分布生成部２０で生成された輝度分布Ｂ_ｎに基づいて、輝度値の補正を必要としない領域（以下、「第１領域」という）Ｇ_ｎと、この第１領域Ｇ_ｎより輝度値が低く輝度値の補正を必要とする領域（以下、「第２領域」という）Ｈ_ｎとを判定する。補正領域設定部２２では、輝度分布Ｂ_ｎを参照し、輝度値の高低（コントラストの高低）を判定し、輝度値の高い方を第１領域Ｇ_ｎと設定し、輝度値の低い方を第２領域Ｈ_ｎと設定する。

なお、第１領域Ｇ_ｎ及び第２領域Ｈ_ｎの判定は、例えば、過去のデータに基づいて設定された基準値との比較によって行ってもよく、この場合には、輝度値が基準値より高い領域について第１領域と設定し、輝度値が基準値以下の領域について第２領域と設定する。また、補正領域判定部２２は、輝度分布Ｂ_ｎの変化率（傾き）に基づいて、第１領域Ｇ_ｎ、第２領域Ｈ_ｎを設定してもよく、この場合には、変化率の大きい位置を第１領域Ｇ_ｎ及び第２領域Ｈ_ｎの境界として設定する。なお、「輝度値の補正を必要としない領域（第１領域）」とは、輝度値が十分であり、輝度値の補正を実行することなく、顔部品（眼、鼻、口）等の特徴点を検出できる領域である。また、「輝度値の補正を必要とする領域（第２領域）」とは、輝度値が不十分であり、顔部品等の特徴点を正確に検出できない領域である。

また、図３に示すデータでは、第１領域Ｇ_ｎと第２領域Ｈ_ｎとの境界が顔の中心軸Ｌ_０となっているが、第１の領域Ｇ_ｎと第２領域Ｈ_ｎとの境界は、顔の中心軸Ｌ_０になるとは限らない。例えば、顔の右側の３分の１の範囲の輝度値が基準値より高く、顔の左側の３分の２の範囲の輝度値が基準値以下の場合、顔の右側の３分の１の範囲が、第１領域Ｇ_ｎと設定され、顔の左側の３分の２の範囲が、第２領域Ｈ_ｎと設定される。

予想輝度曲線生成部２４は、第１領域Ｇ_ｎにおける輝度分布Ｂ_ｎに基づいて、図４に示す予想輝度曲線（予想輝度分布）Ｊ_ｎを生成する。図４は、予想輝度曲線を示すグラフである。予想輝度曲線生成部２４では、例えば、輝度分布Ｂ_ｎの変化率を算出して、顔領域の端部を示す立ち上がり部Ｋ_ｎを検出する。予想輝度曲線生成部２４は、この検出された立ち上がり部Ｋ_ｎに沿う正規分布（ガウス分布）曲線を設定し、この正規分布曲線を予想輝度曲線Ｊ_ｎとして生成する。

輝度値比較部２６は、第２領域Ｈ_ｎの代表点Ｐ_ｎにおける輝度値（実輝度値）Ｓ_ｎ及び予想輝度値Ｔ_ｎを比較して、予想輝度比（補正係数）Ｒ_ｎ（＝予想輝度値Ｔ_ｎ／輝度値Ｓ_ｎ）を算出する。ここで、代表点Ｐ_ｎは、第２領域Ｈ_ｎ内における最大輝度値が検出された位置である。図４では、第２領域Ｈ_ｎ内における最大輝度値Ｓ_ｎに対応する顔の横方向の位置が代表点Ｐ_ｎとなり、代表点Ｐ_ｎにおける予想輝度曲線Ｊ_ｎ上の点が予想輝度値Ｔ_ｎとなる。

輝度値補正部２８は、輝度値比較部２６による比較結果である予想輝度比Ｒ_ｎに基づいて、第２領域の輝度値を補正する。具体的には、輝度分布Ｂ_ｎに予想輝度比Ｒ_ｎ乗算することで輝度値の補正を実行する。図５は、予想輝度曲線に基づいて補正された輝度分布を示すグラフである。図５では、図２中の横列Ａ_ｎにおける補正後の輝度分布Ｃ_ｎを示すものであり、横軸に顔の横方向の位置を示し、縦軸に輝度値を示している。図５では、第２領域Ｈ_ｎの輝度値は、予想輝度比Ｒ_ｎによって補正されたものである。例えば予想輝度比Ｒ_ｎが「３．０」である場合、輝度分布Ｂ_ｎ（実輝度値）を３倍することで輝度値の補正を実行する。

図６は、顔画像撮像カメラによって撮像された顔画像の一例を示すものであり、輝度補正実行後の顔画像を示す図である。画像処理部３０は、補正後の画像データに基づいて画像処理を行う。補正が実行されなかった場合には、顔画像撮像カメラ１２から入力された画像信号に基づいて画像処理を行う。画像処理部３０は、画像処理を行い、運転者Ｄの顔の輪郭線を示す顔輪郭エッジＥ_１を抽出すると共に、運転者Ｄの顔領域Ｅを検出する。画像処理部３０は、周囲より明るい部分を顔領域Ｅとして検出する。また、画像処理部３０は、運転者Ｄの顔向き角度の算出、及び顔特徴点（例えば、眼、鼻孔、口等）の抽出を行う。

次に、このように構成された顔画像処理装置１０を用いた顔画像検出方法について説明する。図７は、顔画像処理ＥＣＵで実行されるメイン処理の動作手順を示すフローチャートである。メイン処理は、顔画像処理装置１０の起動中において所定のタイミングで繰り返し実行される。まず、顔画像処理ＥＣＵ１４は、顔画像撮像カメラ１２から運転者Ｄの顔を撮像した画像信号を入力する（Ｓ１）。

次に、顔画像処理ＥＣＵ１４は、輝度値補正処理（Ｓ２）を行う。図８は、顔画像処理ＥＣＵで実行される輝度値補正処理の動作手順を示すフローチャートである。輝度値補正処理では、顔画像処理ＥＣＵ１４は、前回に顔領域Ｅを検出しているか否かを判定する（Ｓ１１）。前回に顔領域Ｅを検出していると判定された場合には、ステップＳ１２に進み、前回に顔領域Ｅを検出していると判定されなかった場合には、輝度値補正処理を終了し、図７に示すメイン処理のステップＳ３に進む。

ステップＳ１２では、顔画像処理ＥＣＵ１４は、前回の顔領域Ｅに関するデータを入力する。次に、顔画像処理ＥＣＵ１４は、入力された顔領域Ｅに関するデータに基づいて横列Ａ_ｎ毎に輝度分布Ｂ_ｎを生成する（Ｓ１３、輝度分布生成工程）。

続いて、顔画像処理ＥＣＵ１４は、輝度分布Ｂ_ｎに基づいて輝度値の高低を判定し、輝度値の補正を必要としない第１領域Ｇ_ｎと、輝度値の補正を必要とする第２領域とを設定し、輝度値の補正を実行する必要があるか否かを判定する（Ｓ１４、補正領域判定工程）。輝度値の補正を実行する必要がないと判定された場合には、輝度値補正処理を終了し、図７に示すメイン処理のステップＳ３に進む。輝度値の補正を実行する必要があると判定された場合には、ステップＳ１５に進む。

ステップＳ１５では、顔画像処理ＥＣＵ１４は、第１領域Ｇ_ｎにおける輝度分布Ｂ_ｎに基づいて顔の横方向の予想輝度曲線Ｊ_ｎを作成する（Ｓ１５、予想輝度分布演算工程）。次に、顔画像処理ＥＣＵ１４は、輝度分布Ｂ_ｎに基づいて、第２領域Ｈ_ｎ内の最大輝度値Ｓ_ｎを抽出し、代表点Ｐ_ｎを決定する（Ｓ１６）。

続いて、顔画像処理ＥＣＵ１４は、予想輝度曲線Ｊ_ｎを参照して、代表点Ｐ_ｎにおける予想輝度値Ｔ_ｎを抽出する（Ｓ１７）。次に、顔画像処理ＥＣＵ１４は、代表点Ｐ_ｎにおける予想輝度比Ｒ_ｎを算出する（Ｓ１８、輝度値比較工程）。

続いて、顔画像処理ＥＣＵ１４は、第２領域Ｈ_ｎの輝度値補正を実行する（Ｓ１９、輝度値補正工程）。具体的には、顔画像処理ＥＣＵ１４は、輝度分布Ｂ_ｎ（実輝度値）に予想輝度比Ｒ_ｎを乗算して、補正後の輝度値を算出する。顔画像処理ＥＣＵ１４は、顔の上下方向に隣接する全ての横列Ａ_ｎ（図２参照）について、輝度値補正処理を実行した後に、メイン処理のステップＳ３に進む。

顔画像処理ＥＣＵ１４は、図７に示すように、ステップＳ２の輝度値補正処理の後、輝度値補正後のデータに基づいて、顔輪郭エッジを抽出し（Ｓ３）、顔領域を検出する（Ｓ４）。次に、顔画像処理ＥＣＵ１４は、運転者Ｄの顔向き角度を算出し（Ｓ５）、顔の特徴点を抽出する（Ｓ６）。

このような顔画像処理装置１０及び顔画像検出方法によれば、撮像された画像の横列Ａ_ｎに沿って輝度分布Ｂ_ｎを生成し、生成された輝度分布Ｂ_ｎに基づいて、輝度値補正を実行しない第１領域Ｇ_ｎ及びこの第１領域Ｇ_ｎより輝度値が低く輝度値補正を実行する第２領域Ｈ_ｎを判定する。そして、第１領域Ｇ_ｎの輝度分布Ｂ_ｎに沿うように、予想輝度曲線として正規分布を設定し、第２領域Ｈ_ｎの代表点Ｐ_ｎにおける予想輝度比Ｒ_ｎを算出し、この予想輝度比Ｒ_ｎに基づいて、第２領域Ｈ_ｎの輝度値を補正する。このため、顔の一部分（第１領域）の輝度値に基づいて、輝度値補正を実行している。その結果、コントラストの境界が顔の中心軸に沿っていない場合であっても、精度良く輝度値の補正を実行することができる。

ここで、第２領域Ｈ_ｎ内における最大輝度値が検出された位置を代表点Ｐ_ｎとしているので、顔画像の検出精度が一層向上されている。最大輝度値が検出された位置は、第２領域Ｈ_ｎ内で最も精度良く輝度値が検出された位置であると想定することができるため、最大輝度値が検出された位置を代表点として、この代表点における予想輝度比Ｒ_ｎを算出し、この予想輝度比Ｒ_ｎに基づいて、第２領域Ｈ_ｎの輝度値を補正することで、顔画像の検出精度を一層向上させることができる。

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。上記実施形態では、車両を操縦する運転者の顔画像を検出しているが、例えば、飛行機、鉄道、プラント、機械等を扱うその他の運転者、操作者の顔画像を検出する場合に、本発明を適用してもよい。また、建造物の入口等に顔画像撮像カメラを設置し、訪問者の顔画像を検出する場合に本発明を適用してもよい。

また、上記実施形態では、顔の横方向に輝度分布を生成しているが、顔の上下方向や、その他の方向に、輝度分布を生成してもよい。

また、上記実施形態では、代表点Ｐ_ｎにおける輝度値（実輝度値）及び予想輝度値の比である予想輝度比Ｒ_ｎを算出し、この予想輝度比Ｒ_ｎに基づいて、輝度値の補正を実行しているが、予想輝度値と輝度値との差を算出し、算出された差分を加算することで、輝度値の補正を実行してもよい。

また、上記実施形態では、第２領域内における最大輝度値が検出された位置を代表点としているが、予想輝度値と輝度値との差に基づいて、代表点を設定してもよい。

また、第１領域及び第２領域を複数に分割することで、輝度値の補正を詳細に行うようにしてもよい。

また、上記実施形態では、横列Ａ_ｎ毎に予想輝度比Ｒ_ｎ（補正係数）を設定しているが、一つの横列Ａ_ｎの補正係数を用いて、他の横列Ａｎの輝度値補正を実行してもよい。

また、上記実施形態では、正規分布を予想輝度曲線としているが、その他の近似式を用いて、予想輝度分布を算出してもよい。要は、輝度値補正を実行しない第１領域の輝度分布に基づいて、予想輝度分布を生成すればよい。

本発明の実施形態に係る顔画像処理装置を示すブロック図である。 顔画像撮像カメラによって撮像された顔画像の一例を示すものであり、輝度補正実行前の顔画像を示す図である。 撮像された顔画像に基づいて生成された輝度分布を示すグラフである。 予想輝度曲線を示すグラフである。 予想輝度曲線に基づいて補正された輝度分布を示すグラフである。 顔画像撮像カメラによって撮像された顔画像の一例を示すものであり、輝度補正実行後の顔画像を示す図である。 顔画像処理ＥＣＵで実行されるメイン処理の動作手順を示すフローチャートである。 顔画像処理ＥＣＵで実行される輝度値補正処理の動作手順を示すフローチャートである。

符号の説明

１０…顔画像処理装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…コラムカバー、１８…記憶部、２０…輝度分布生成部、２２…補正領域判定部、２４…予想輝度曲線生成部、２６…輝度値比較部、２８…輝度値補正部、３０…画像処理部、Ａ_ｎ…顔領域の横方向に延在する列、Ｂ_ｎ…輝度分布、Ｃ_ｎ…補正後の輝度分布、Ｄ…運転者、Ｅ…顔領域、Ｅ_１…顔輪郭エッジ、Ｇ_ｎ…補正を必要としない領域（第１の領域）、Ｈ_ｎ…補正を必要とする領域（第２の領域）、Ｊ_ｎ…予想輝度曲線（予想輝度分布）、Ｋ_ｎ…立ち上がり部、Ｐ_ｎ…代表点、Ｒ_ｎ…予想輝度比（補正係数）、Ｓ_ｎ…代表点における輝度値、Ｔ_ｎ…代表点における予想輝度値。

Claims (3)

1. 撮像された画像に基づいて顔画像を検出する顔画像検出方法において、
   前記画像の一方向の輝度分布を生成する輝度分布生成工程と、
   前記輝度分布に基づいて、輝度値の補正を実行しない第１の領域及び前記第１の領域より輝度値が低く輝度値の補正を実行する第２の領域を判定する補正領域判定工程と、
   前記第１の領域における輝度分布に基づいて予想された前記一方向の予想輝度値の分布である予想輝度分布を演算する予想輝度分布演算工程と、
   前記第２の領域の代表点における輝度値及び予測輝度値を比較する輝度値比較工程と、
   前記輝度値比較工程による比較結果に基づいて、前記第２の領域の輝度値を補正する輝度値補正工程と、を備えることを特徴とする顔画像検出方法。
2. 前記代表点は、前記第２の領域内における最大輝度値が検出された位置であることを特徴とする請求項１記載の顔画像検出方法。
3. 撮像された画像に基づいて顔画像を検出する顔画像処理装置において、
   前記画像の一方向の輝度分布を生成する輝度分布生成手段と、
   前記輝度分布に基づいて、輝度値の補正を実行しない第１の領域及び前記第１の領域より輝度値が低く輝度値の補正を実行する第２の領域を判定する補正領域判定手段と、
   前記第１の領域における輝度分布に基づいて予想された前記一方向の予想輝度値の分布である予想輝度分布を演算する予想輝度分布演算手段と、
   前記第２の領域の代表点における輝度値及び予想輝度値を比較する輝度値比較手段と、
   前記輝度値比較手段による比較結果に基づいて、前記第２の領域の輝度値を補正する輝度値補正手段と、を備えることを特徴とする顔画像処理装置。

Images