JP2011221672A - 画像処理装置、画像処理方法、プログラム、および電子装置 - Google Patents

Abstract

【課題】省電力化を実現しつつ、ポスチャやジェスチャによる操作を高い精度で検出する。
【解決手段】スタンバイモードＭ１では、所定のフレームレートＲで撮像を行う。これにより、２値化画像はフレームレートＲ／２で生成される。アクティブモードＭ２では、検出された手領域の形状や動きに基づいて、ユーザが手を用いて行うジェスチャなどが検出され、それに応じて、電子装置の動作が制御される。第１スリープモードＭ３では、フレームレートをスタンバイモードＭ１よりも低下させる。第２スリープモードＭ４では、人の肌における反射強度が大きい方の波長λ１のみを照射して第１の画像だけがフレームレートＲ／４で撮像される。ストップモードＭ５では、動作制御部１８から制御対象とする電子装置に対して電源オフを指示するための操作信号が出力される。本発明は、テレビジョン受像機、携帯電話機などの電子装置に適用できる。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、プログラム、および電子装置に関し、例えば、撮像により得られる画像からユーザの手を検出し、検出した手によるポスチャやジェスチャに応じて電子装置の動作を制御する場合に用いて好適な画像処理装置、画像処理方法、プログラム、および電子装置に関する。

人物を撮像して得られる画像上から、顔や手などのように肌が露出している領域（以下、肌領域と称する）を検出する肌検出技術が存在する（例えば、特許文献１参照）。

この肌検出技術では、近赤外域の波長λ１の光を出力するLED(light emitting diode)によって照射された状態の被写体（人物）を撮像した第１の画像と、波長λ１とは異なる近赤外域の波長λ２の光を出力するLEDによって照射された状態の被写体を撮像した第２の画像とを取得する。そして、第１の画像と第２の画像との輝度の相違に基づいて肌領域を検出している。

なお、近赤外域の波長λ１，λ２は、人の肌の反射特性を利用して決定される。

図１は、人の肌に対する反射特性を示している。なお、この反射特性は、人の肌の色（人種）の違いや日焼け等の状態に拘らず一般性があるものである。同図において、横軸は、人の肌に照射される照射光の波長を示しており、縦軸は、人の肌に照射された照射光の反射率を示している。

人の肌に照射された照射光の反射率は、800nm付近をピークとして、900nm付近から急激に減少し、1000nm付近を極小値として再び上昇することが知られている。具体的には、例えば、人の肌に対して、870nmの光を照射して得られる反射光の反射率は63％であり、950nmの光を照射して得られる反射光の反射率は50％である。

これは、人の肌について特有のものであり、人の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000nm付近において、反射率の変化は緩やかであることが知られている。

このような反射特性を利用して波長λ１，λ２が決定されている。

特開２００６−４７０６７号公報

上述した肌検出技術を電子装置（例えば、テレビジョン受像機）に採用すれば、人の肌を検知している間はユーザが存在していると判断して所定の動作を行い、人の肌を検知できなくなったらユーザがいなくなったと判断して所定の動作を休止するなど、ユーザの存在の有無に応じた動作制御を行うことが可能となる。

さらに、この肌検出技術を応用し、ユーザが自身の手を用いて予め決められている姿勢をつくったり（ポスチャ(posture)）、動きを行ったり（ジェスチャ(gesture)）するようにし、これを電子装置が検出してポスチャやジェスチャに応じた所定の動作を実行するようにすることが考えられる。

しかしながら、そのような電子装置を実現しようとした場合、操作を意図していないユーザの動きを所定のポスチャによる操作またはジェスチャによる操作として検知し、誤動作してしまうことが発生し得るので、検知の精度を上げる必要がある。

また、そのような電子装置を実現しようとした場合、ユーザが存在し得る範囲を常に波長λ１，λ２の照射光で照射して撮像を行う必要があるので、これには非常に多くの電力を要してしまう。

本発明はこのような状況に鑑みてなされたものであり、省電力化を実現しつつ、ポスチャやジェスチャによる操作を行なおうとするユーザの意図を、高い精度で検出できるようにするものである。

本発明の第１の側面である画像処理装置は、画像上から人の肌を表す肌領域を検出する画像処理装置において、第１の波長の光を被写体に照射する第１の照射手段と、第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、前記第１の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１の画像を生成し、前記第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、前記第１の画像と前記第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより前記肌領域を検出するとともに、検出した前記肌領域から手領域を検出し、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて動作モードを決定する画像処理手段と、アクティブモードにおいてのみ、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、前記被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方を識別する識別手段とを含み、前記画像処理手段は、検出された前記手領域の動きのない状態が所定時間継続した場合、前記動作モードを前記アクティブモードに決定する。

前記画像処理手段は、検出した１以上の前記肌領域のうち、平均輝度が最も高いものを前記手領域として検出するようにすることができる。

前記画像処理手段は、検出された前記手領域の重心座標の時系列変化が閾値以下である場合、前記動きのない状態と判断するようにすることができる。

前記画像処理手段は、前記動作モードを、前記第１および第２の照射手段を所定のフレームレートＲに対応付けて動作させるスタンダードモード、前記第１および第２の照射手段を前記所定のフレームレートＲに対応付けて動作させるとともに、前記識別手段を動作させるアクティブモード、前記第１および第２の照射手段を前記所定のフレームレートＲよりも低いフレームレートに対応付けて動作させる第１スリープモード、前記第２の照射手段を動作させず、前記第１の照射手段を前記所定のフレームレートＲよりも低いフレームレートに対応付けて動作させる第２スリープモード、または、動作を終了させるストップモードのいずれかに決定するようにすることができる。

前記画像処理手段は、さらに、前記第２スリープモードにおいて、時間的に前後して撮像された２枚の前記第１の画像の対応する画素どうしの輝度差分値に基づいて、前記ユーザの動きの有無を検出するようにすることができる。

前記第１の波長は630nmから1000nmの範囲の値であり、前記第２の波長は900nmから1100nmの範囲の値であり、前記第２の波長は、前記第１の波長よりも大きいようにすることができる。

本発明の第１の側面である画像処理方法は、第１の波長の光を被写体に照射する第１の照射手段と、第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、前記第１の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１の画像を生成し、前記第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、前記第１の画像と前記第２の画像に基づいて、人の肌を表す肌領域を検出する画像処理手段とを備える画像処理装置の画像処理方法において、前記画像処理手段による、前記第１の画像と前記第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより前記肌領域を検出し、前記肌領域から手領域を検出し、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、検出された前記手領域の動きのない状態が所定時間継続した場合には動作モードをアクティブモードに決定し、アクティブモードにおいてのみ、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、前記被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方を識別するステップを含む。

本発明の第１の側面であるプログラムは、第１の波長の光を被写体に照射する第１の照射手段と、第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、前記第１の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１の画像を生成し、前記第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、前記第１の画像と前記第２の画像に基づいて、人の肌を表す肌領域を検出する画像処理手段とを備える画像処理装置の制御用のプログラムであって、前記第１の画像と前記第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより前記肌領域を検出し、前記肌領域から手領域を検出し、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、検出された前記手領域の動きのない状態が所定時間継続した場合には動作モードをアクティブモードに決定し、アクティブモードにおいてのみ、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、前記被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方を識別するステップを含む処理を画像処理装置のコンピュータに実行させる。

本発明の第１の側面によれば、第１の画像と第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより肌領域が検出され、肌領域から手領域が検出され、少なくとも肌領域または手領域の一方の時系列の検出結果に基づいて、検出された手領域の動きのない状態が所定時間継続した場合には動作モードがアクティブモードに決定される。そして、アクティブモードにおいてのみ、少なくとも肌領域または手領域の一方の時系列の検出結果に基づいて、被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方が識別される。

本発明の第２の側面である電子装置は、第１の波長の光を被写体に照射する第１の照射手段と、第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、前記第１の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１の画像を生成し、前記第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、前記第１の画像と前記第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより画像上の肌領域を検出するとともに、検出した前記肌領域から手領域を検出し、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて動作モードを決定する画像処理手段と、アクティブモードにおいてのみ、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、前記被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方を識別し、識別結果に応じた操作信号を発生する識別手段と、発生された前記操作信号に従って所定の処理を実行する操作信号対応手段とを含み、前記画像処理手段は、検出された前記手領域の動きのない状態が所定時間継続した場合、前記動作モードを前記アクティブモードに決定する。

本発明の第２の側面によれば、第１の画像と第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより肌領域が検出され、肌領域から手領域が検出され、少なくとも肌領域または手領域の一方の時系列の検出結果に基づいて、検出された手領域の動きのない状態が所定時間継続した場合には動作モードがアクティブモードに決定される。そして、アクティブモードにおいてのみ、少なくとも肌領域または手領域の一方の時系列の検出結果に基づいて、被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方が識別され、識別結果に応じた操作信号が発生されて、操作信号に従って所定の処理が実行される。

本発明の第１の側面によれば、省電力化を実現しつつ、ポスチャやジェスチャによる操作を高い精度で検出することができる。

本発明の第２の側面によれば、省電力化を実現しつつ、ポスチャやジェスチャによる操作を高い精度で検出し、電子装置を制御することができる。

人の肌の反射特性を示す図である。 本発明を適用した操作検出装置の構成例を示すブロック図である。 操作検出装置の状態遷移を示す図である。 状態遷移処理を説明するフローチャートである。 スタンバイモードの処理を説明するフローチャートである。 スタンバイモードの処理におけるフレームレートを示す図である。 第１スリープモードの処理におけるフレームレートを示す図である。 第２スリープモードの処理におけるフレームレートを示す図である。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜１．実施の形態＞
［操作検出装置の構成例］
図２は、本発明の一実施の形態である操作検出装置の構成例を示している。この操作検出装置１０は、撮像した画像から検出対象物２０である人の手を検出し、その手によるポスチャまたはジェスチャの少なくとも一方に応じて所定の動作を制御するようにしたものである。

すなわち、この操作検出装置１０を、制御対象とする電子装置に組み込めば、ユーザは自身の手で所定のポスチャやジェスチャを行うことにより、当該電子装置を操作することができる。

例えば、操作検出装置１０をテレビジョン受像機に組み込めば、ユーザは自身の手による所定のポスチャやジェスチャを行うことにより、チャンネルを切り替えたり、音量調整したり、電源をオフとしたりすることができる。もちろん、テレビジョン受像機以外の電子装置、例えば、パーソナルコンピュータ、携帯電話機などに操作検出装置１０を組み込むことも可能であるが、以下の本実施例では典型的にはテレビジョン受像機に組み込んだ場合の例を説明する。

操作検出装置１０は、制御部１１、LED制御部１２、照射光源(LED)１３−１、照射光源 (LED)１３−２、撮像部１４、撮像制御部１５、画像処理部１６、メモリ１７、および動作制御部１８から構成される。

制御部１１は、操作検出装置１０の各部の動作を統括して制御する。また、制御部１１は、画像処理部１６から通知されるモード切替信号に基づいて、操作検出装置１０の動作モードを切り替える。なお、操作検出装置１０は、スタンバイモード、アクティブモード、第１スリープモード、第２スリープモード、またはストップモードのいずれかの動作モードに設定されて動作するものとする。動作モードの詳細については、図３を参照して後述する。

LED制御部１２は、制御部１１からの制御に従い、照射光源１３−１および１３−２の発光タイミング、および照射レベルを制御する。

照射光源１３−１は、LEDから構成され、LED制御部１２の制御に従い、発光スペクトルのピークが近赤外域の波長λ１である照射光（以下、波長λ１の光と称する）を発光する。照射光源１３−２は、LEDから構成され、LED制御部１２の制御に従い、発光スペクトルのピークが近赤外域の波長λ２である照射光（以下、波長λ２の光と称する）を発光する。発光された照射光は、被写体（いまの場合、操作検出装置１０が組み込まれる電子装置のユーザ）に照射される。各光源を構成するLEDの個数は、操作検出装置が組み込まれる機器の使用状態において被写体を一様に照射するように適宜決定される。

なお、波長λ１は630nmから1000nmの範囲の値、波長λ２は900nmから1100nmの範囲の値であって、且つ、波長λ１よりも波長λ２の方が長波長（λ１＜λ２）であれば肌検出は可能である。ただし可視光を照射してユーザが不快感を抱くような場合には、波長λ１も800nmから1000nmの近赤外域に設定するとよい。

撮像部１４は、集光レンズ、およびCMOSなどの撮像素子を内蔵しており、撮像制御部１５からの制御に従い、被写体からの反射光を受光して画像を生成する。以下、照射光源１３−１がλ１の照射光を発光しているときに撮像、生成される画像を第１の画像とし、照射光源１３−２がλ２の照射光を発光しているときに撮像、生成される画像を第２の画像とする。
なお、撮像部１４には近赤外域のみを透過するバンドパスフィルタを設けてもよい。

撮像制御部１５は、制御部１１からの制御に従い、撮像部１４の撮像タイミング、輝度増幅のゲインなどを制御する。また、撮像制御部１５は、撮像部１４により生成された第１および第２の画像を画像処理部１６に出力する。

画像処理部１６は、第１の画像と第２の画像との対応する画素どうしの輝度Ｙ１，Ｙ２の差分値ｄ（＝Ｙ１−Ｙ２）を画素値とする差分画像を生成し、差分値ｄを所定の閾値と比較することにより２値化して２値化画像を生成する。この２値化画像に基づいて、被写体の肌領域を特定する。テレビジョン受像機の例では肌領域としてユーザがジェスチャやポスチャ操作をするために撮像部に向けた手に加えて、ユーザの顔も肌領域として検出される場合が多い。そこでさらに、画像処理部１６は、肌領域に特定された領域のうち、テレビジョン受像機に組み込まれた操作検出装置の照射光源近くに差し出されるために平均輝度が最も高い領域を、操作に使用される操作用肌領域（本実施例の場合は手領域）に特定し、その重心座標を算出する。生成された２値化画像は、手領域とその重心の位置を示す座標情報とともにメモリ１７に記録される。また、画像処理部１６は、メモリ１７に記録した２値化画像などに基づいて、モード切替信号を発生して制御部１１に通知する。

上記例では輝度値の差分を用いたが、肌領域とそれ以外の領域の反射率の相違が検出できれば、輝度値の比などを用いてもよい。

また、本実施例のテレビジョン受像機に組み込んだ例では、操作に使用される肌領域は手領域としたが、携帯電話機など小型の機器を近傍で操作する場合は、特に指領域を用いたり、場合によっては照射光源との距離により決まる輝度値に基づいて指の先端部のみを用いてもよい。また、携帯電話機の場合に撮像部でユーザの顔が検出されない場合、上記処理の一部を省略することもできる。

またテレビジョン受像機の場合でも、逆に輝度値の低い顔領域に基づいてジェスチャ操作を行なうようにしてもよい。

動作制御部１８は、メモリ１７に記録された２値化画像などに基づき、ユーザによるポスチャまたはジェスチャの少なくとも一方を検出し、検出結果に基づく操作信号を発生する。この操作信号は、操作検出装置１０が組み込まれている、制御対象の電子装置に通知されて、電子装置が所定の動作を実行することになる。

［動作モードの種類について］
次に、操作検出装置１０の動作モードについて説明する。図３は、操作検出装置１０のモード遷移を示している。

上述したように、動作モードは、スタンバイモードＭ１、アクティブモードＭ２、第１スリープモードＭ３、第２スリープモードＭ４、およびストップモードＭ５の５種類があり、操作検出装置１０は、５種類の動作モードのうちのいずれかに設定された状態で動作する。

電源がオンとされたとき、操作検出装置１０はスタンバイモードＭ１に設定される。スタンバイモードＭ１では、所定のフレームレートＲ（例えば、30fps乃至60fpsの値。以下、60fpsと仮定する）で撮像を行う。これにより、第１および第２の画像はそれぞれフレームレートＲ／２（いまの場合、30fps）で得ることができ、差分画像および２値化画像もフレームレートＲ／２で生成されることになる。さらに、スタンバイモードＭ１では、２値化画像に基づいて手領域を検出する。

スタンバイモードＭ１において、ジェスチャやポスチャの操作に使用される操作用肌領域である手領域が検出され、その動きが所定時間（例えば、0.5秒間）以上静止していた場合、ユーザが手を用いたジェスチャなどをこれから行うため、操作検出装置１０に向けて手を静止していると判断し、動作モードをアクティブモードＭ２に遷移させる。このように、手を操作検出装置１０に向けて静止していると判断した場合にのみ、アクティブモードＭ２に遷移することにより、例えば、ユーザではない人が操作検出装置１０の前を横切ったときに、偶然、その手が検出されたとしてもアクティブモードＭ２に遷移することはない。
なおユーザが手を用いたジェスチャ操作を行なおうとする意図を表す場合、手を静止させずにテレビジョン受像機に向かって手を振る人も出てくる可能性がある。この場合、手領域もしくは手領域の重心が画像の所定の範囲（例えば撮像画像の横幅の３分の２以内や、撮像画像の画面の面積の２分の１以内等）に所定時間以上留まっていれば、動作モードをアクティブモードＭ２に遷移させることも考えられる。また、手が静止していた場合は比較的短時間で操作の意図を判断し、手を振っているような場合は、比較的長時間（数秒）で判断するようにすることで、より使い勝手を向上させることができる。

また携帯電話機の場合には、撮像部の前に指を持っていけば基本的にジェスチャ操作を意図していると考えられるので、所定時間、撮像範囲内のどこかに操作に使用される操作用肌領域があればアクティブモードＭ２に遷移してもよい。

アクティブモードＭ２では、検出された手領域の形状や動きに基づいて、ユーザが手を用いて行うジェスチャなどが検出され、その検出結果に応じて、電子装置の動作が制御される。アクティブモードＭ２において、手領域の検出されない時間が所定時間（例えば、１０秒間）を経過した場合、動作モードはスタンバイモードＭ１に遷移される。

スタンバイモードＭ１において、アクティブモードＭ２への遷移が行われないまま所定時間（例えば、1分間）が経過した場合、動作モードは第１スリープモードＭ３に遷移される。

第１スリープモードＭ３では、フレームレートをスタンバイモードＭ１よりも低下させる。例えば、１／２にした場合、第１および第２の画像はそれぞれフレームレートＲ／４（いまの場合、15fps）で撮像され、差分画像および２値化画像もフレームレートＲ／４で生成されることになる。そして、２値化画像に基づき、所定面積以上の肌領域が検出された場合には、動作モードがスタンバイモードＭ１に遷移される。反対に、所定面積以上の肌領域が検出されないまま所定時間（例えば、３分間）が経過した場合には、動作モードが第２スリープモードＭ４に遷移される。
なお本実施例では第１スリープモードＭ３でフレームレートを低下させるようにしたが、スタンバイモードＭ１で同様にフレームレートを低下させてもよい。スタンバイモードＭ１では上述のようにユーザがジェスチャやポスチャの操作を始める意図を手などの肌領域の動きから検出できればよいので、必ずしもアクティブモードＭ２ほどの高速性は要求されないため、フレームレートを低下させても問題はない。

第２スリープモードＭ４では、波長が短く人の肌における反射強度が大きい方の波長λ１のみを照射する。これは１つには入手が容易で安価な一般的な撮像素子は400nmから800nm程度の可視光領域で感度が高くなっており、これより波長の長い近赤外領域では急激に感度が落ちているためである。典型的な撮像素子の例では、870nmでの感度は950nmでの感度の２倍程度である。

また光源に用いるLEDの発光効率も一般的には950nmよりも870nmの方が高く、典型的なLEDの例では発光効率も２倍程度である。従って総合的には、950nmの光源のLEDの方が、870nmの光源のLEDよりも消費電力は４倍程度大きいので、長波長側のλ２を消灯すれば消費電力は約５分の１にまで低減される。

またこのとき、第１の画像だけが例えばフレームレートＲ／４（いまの場合、15fps）で撮像される。そして、時系列で連続して撮像された第１の画像の対応する画素どうしの輝度の差分値を算出して、その差分値が０ではない画素（すなわち、動きがある領域の画素）の数が所定数以上である場合、動作モードは第１スリープモードＭ３に遷移されるようにしてもよい。反対に、連続して撮像された第１の画像の対応する画素どうしの輝度の差分値が０である画素（すなわち、動きがない領域の画素）の数が所定数以上検出された状態で所定時間（例えば、１０分間）が経過した場合、操作検出装置１０の前にユーザがいない可能性があると判断して、動作モードはストップモードＭ５に遷移させてもよい。

しかしながら、実際にはユーザの動きが無くても、じっとしたままテレビを見ていることも考えられるので、スタンバイモードに遷移して肌領域である例えば人の顔がないことを、数分置きに確認して本当にユーザがいないことを確認してからストップモードＭ５に移行すればさらによい。

また上記の例では第２スリープモードＭ４では、波長λ２の光源のみを消灯するようにしたが、λ１、λ２を共に消灯した時に撮像素子で撮像した撮像画像の輝度が所定の値以上の場合には、周囲が明るいところで使われると判断して、λ１、λ２の両方を消灯するようにしてもよい。明るい場所で使われている場合は、λ１を点灯しなくても、時系列で連続して撮像した画像の対応する輝度の差分値などから、画像内で動きのある画素を検出できるためである。このようにすることで、更に消費電力を低減することができる。

以上のように第２スリープモードは、ユーザの動きを検出するモードである。ユーザがジェスチャやポスチャ操作を始める場合、本実施例の場合にはユーザが手をテレビジョン受像機に向かって手を差し出すための動きがあるのが普通である。従って第２スリープモードは肌検出を始めるための「肌検出トリガーモード」といってもよい。従ってここで動きがあると判断された場合に、直接スタンバイモードに移行してもよい。

本発明が携帯電話機のようなハンドヘルド型のモバイル機器に搭載された場合も同様に考えてよい。すなわち携帯電話機の撮像素子の前に指を差し出す操作は通常の使い勝手ではないので、撮像素子でユーザの何らかの動きが検出された場合、それをトリガーとして肌検出スタンバイモードにすることで、省電力を実現しながら応答性を高めることができる。

ストップモードＭ５では、動作制御部１８から制御対象とする電子装置に対して電源オフを指示するための操作信号が出力される。また、操作検出装置１０自身の電源もオフとされる。したがって、ストップモードＭ５から他の動作モードに遷移することはなく、再び電源がオンとされた場合には、スタンバイモードＭ１に設定されることになる。

なおストップモードで、本操作検出装置が搭載される電子装置の電源をオフとせずに、操作検出装置１０自身のみの電源をオフすることも考えられる。どちらを選択するかは電子装置の製品形態による。例えば携帯電話機で液晶画面の裏側に配置された撮像手段でユーザの指を検出するような場合、通常の使用時においても撮像素子の前にユーザはいないため、動きがないからといって、電子装置の電源をオフすることは適切とは限らない。また電子装置によっては、ストップモード自体を設けなくてもよい。

［動作説明］
次に、上述した動作モード間の状態遷移処理について、図４を参照して説明する。図４は、状態遷移処理を説明するフローチャートである。

この状態遷移処理は電源がオンとされたときに開始される。ステップＳ１において、制御部１１は、動作モードをスタンバイモードＭ１に設定する。これに応じ、操作検出装置１０の各部は、図６に示すようなフレームレートＲにて撮像を行うスタンバイモードＭ１の処理を実行する。

図５は、スタンバイモードＭ１の処理を詳述するフローチャートである。

ステップＳ１１において、照射光源１３−１は、LED制御部１２の制御に従い、波長λ１の光を発光する。ステップＳ１２において、撮像部１４は、撮像制御部１５からの制御に従い、被写体からの反射光を受光して第１の画像を生成して画像処理部１６に出力する。

ステップＳ１３において、照射光源１３−２は、LED制御部１２の制御に従い、波長λ２の光を発光する。ステップＳ１４において、撮像部１４は、撮像制御部１５からの制御に従い、被写体からの反射光を受光して第２の画像を生成して画像処理部１６に出力する。

ステップＳ１５において、画像処理部１６は、第１の画像と第２の画像との対応する画素どうしの輝度Ｙ１，Ｙ２の差分値ｄ（＝Ｙ１−Ｙ２）を画素値とする差分画像を生成する。さらに、画像処理部１６は、ステップＳ１６において、差分画像の各画素値である差分値ｄを所定の閾値と比較することにより２値化し、肌領域とその他の領域とを示す２値化画像を生成する。

ステップＳ１７において、画像処理部１６は、２値化画像上の各肌領域に対してラベリングを行う。さらに、ステップＳ１８において、ラベリングされた各肌領域の平均輝度を、元の第１または第２の画像から算出し、平均輝度が最も大きい肌領域を手領域と判断して手領域の重心座標を算出する。そして、フレームレートＲ／２で生成される２値化画像およびその手領域と重心を示す座標情報をメモリ１７に記録する。

図３に戻る。ステップＳ２において、画像処理部１６は、メモリ１７に順次記録した２値化画像およびその手領域と重心を示す座標情報に基づいて、ユーザの手が所定時間（例えば、0.5秒間）以上静止しているか否かを判定する。ここで、静止しているとは、手領域の重心の変化量が所定の閾値以内である場合を含むものとする。なお、重心座標を利用する他にも、例えば、肌領域の面積の変化率が１０％以内であるとか、肌領域を円で近似した時の楕円率の変化率を使うなどの方法を組み合わせることで静止状態の判定精度を上げるようにしてもよい。

ステップＳ２において、ユーザの手が所定時間以上静止していると判定された場合、処理はステップＳ３に進められる。

ステップＳ３において、画像処理部１６は、アクティブモードＭ２への遷移を指示するモード切替信号を制御部１１に出力する。このモード切替信号に応じ、制御部１１は、動作モードをアクティブモードＭ２に設定する。これに応じ、操作検出装置１０の各部は、スタンバイモードＭ１と同様にフレームレートＲにて撮像を行うアクティブモードＭ２の処理を実行する。

なお、アクティブモードＭ２の処理では、スタンバイモードＭ１の処理に加え、動作制御部１８が、メモリ１７に順次記録した２値化画像およびその手領域と重心を示す座標情報に基づいて、ユーザが手を用いて行うポスチャ、またはジェスチャの少なくとも一方が検出され、その検出結果に応じて、電子装置の動作が制御される。

ステップＳ４において、画像処理部１６は、メモリ１７に順次記録した２値化画像に基づいて、手領域が検出されないまま所定時間（例えば、１０秒間）が経過したか否かを判定する。ここで、手領域が検出されれば、処理はステップＳ３に戻されて、アクティブモードＭ２の処理が継続される。反対に、手領域が検出されないまま所定時間が経過した場合、処理はステップＳ１に戻されて、動作モードがスタンバイモードＭ１に遷移される。

なお、スタンバイモードＭ１におけるステップＳ２において、アクティブモードＭ２に遷移されないまま所定時間（例えば、1分間）が経過した場合、処理はステップＳ５に進められる。

ステップＳ５において、画像処理部１６は、第１スリープモードＭ３への遷移を指示するモード切替信号を制御部１１に出力する。このモード切替信号に応じ、制御部１１は、動作モードを第１スリープモードＭ３に設定する。これに応じ、操作検出装置１０の各部は、図７に示すように、スタンバイモードＭ１の半分のフレームレートＲ／２にて撮像を行う第１スリープモードＭ３の処理を実行する。

ステップＳ６において、画像処理部１６は、メモリ１７に順次記録した２値化画像に基づいて、所定面積以上の肌領域が検出されたか否かを判定する。所定面積以上の肌領域が検出されたと判定された場合、処理はステップＳ１に戻されて、動作モードがスタンバイモードＭ１に遷移される。反対に、所定面積以上の肌領域が検出されないまま所定時間（例えば、３分間）が経過した場合、処理はステップＳ７に進められる。

ステップＳ７において、画像処理部１６は、第２スリープモードＭ４への遷移を指示するモード切替信号を制御部１１に出力する。このモード切替信号に応じ、制御部１１は、動作モードを第２スリープモードＭ４に設定する。これに応じ、操作検出装置１０の各部は、図８に示すように、スタンバイモードＭ１の１／４のフレームレートＲ／４にて第１の画像のみを撮像する第２スリープモードＭ４の処理を実行する。

ステップＳ６において、画像処理部１６は、連続して撮像された第１の画像の対応する画素どうしの輝度の差分値を算出し、その差分値が０ではない画素（すなわち、動きがある領域の画素）の数が所定数以上であるか否かを判定する。そして、動きがある領域の画素数が所定数以上であると判定された場合、処理はステップＳ５に戻されて、動作モードが第１スリープモードＭ３に遷移される。反対に、動きがある領域の画素数が所定数よりも少ないと判定された場合、処理はステップＳ９に進められる。

ステップＳ９において、画像処理部１６は、連続して撮像された第１の画像の対応する画素どうしの輝度の差分値が０である画素（すなわち、動きがない領域の画素）の数が所定数以上検出された状態で所定時間（例えば、１０分間）が経過したか否かを判定する。ここで、所定時間が経過するまでは、処理はステップＳ７に戻される。そして、動きのない領域が検出されたまま所定時間が経過したと判定された場合、処理はステップＳ１０に進められる。

ステップＳ１０において、画像処理部１６は、ストップモードＭ５への遷移を指示するモード切替信号を制御部１１に出力する。このモード切替信号に応じ、制御部１１は、動作モードをストップモードＭ５に設定する。これに応じ、操作検出装置１０の動作制御部１８は、制御対象とする電子装置に対して電源オフを指示するための操作信号を出力する。また、操作検出装置１０自身の電源もオフとされる。以上で状態遷移処理は終了される。

以上説明したように、操作検出装置１０の状態遷移処理によれば、スタンバイモードＭ１ではポスチャやジェスチャを検出せず、アクティブモードＭ２においてそれらを検知するので、誤検出による誤動作を抑止できる。

また、スタンバイモードＭ１において、肌領域のうち平均輝度が最も高い領域を操作に使用される操作用肌領域として検出し、それが画像の所定の範囲内に所定時間収まっている場合にのみ、アクティブモードＭ２に遷移するので、ユーザの操作を意図しない動きや、装置の前を横切っていくユーザ以外の人の動きを、ジェスチャやポスチャのための動きと誤検出することはない。すなわち、ユーザは、手をかざしたり、手を振ったりという自然な動作を行った後に、ポスチャやジェスチャを実行すればよい。

第１スリープモードＭ３では、スタンダードモードＭ１よりもフレームレートを下げているので、照射光源１３−１および１３−２が照射光を発光するために要する電力を抑制できる。従って省電力化が実現される。

さらに、第２スリープモードＭ４では、撮像素子において同じ輝度レベルを実現するためには、波長λ２を発光する照射光源１３−２よりも消費電力が小さく、且つ、反射強度が大きい波長λ１を発光する照射光源１３−１のみが動作するので、第１スリープモードＭ３よりもさらなる省電力化が実現される。

なお、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０ 操作検出装置， １１ 制御部, １２ LED制御部， １３， LED， １４ 撮像部， １５ 撮像制御部， １６ 画像処理部， １７ メモリ， １８ 動作制御部

Claims (9)

1. 画像上から人の肌を表す肌領域を検出する画像処理装置において、
   第１の波長の光を被写体に照射する第１の照射手段と、
   第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、
   前記第１の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１の画像を生成し、前記第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、
   前記第１の画像と前記第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより前記肌領域を検出するとともに、検出した前記肌領域から手領域を検出し、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて動作モードを決定する画像処理手段と、
   アクティブモードにおいてのみ、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、前記被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方を識別する識別手段と
   を含み、
   前記画像処理手段は、検出された前記手領域の動きのない状態が所定時間継続した場合、前記動作モードを前記アクティブモードに決定する
   画像処理装置。
2. 前記画像処理手段は、検出した１以上の前記肌領域のうち、平均輝度が最も高いものを前記手領域として検出する
   請求項１に記載の画像処理装置。
3. 前記画像処理手段は、検出された前記手領域の重心座標の時系列変化が閾値以下である場合、前記動きのない状態と判断する
   請求項２に記載の画像処理装置。
4. 前記画像処理手段は、前記動作モードを、
   前記第１および第２の照射手段を所定のフレームレートＲに対応付けて動作させるスタンダードモード、
   前記第１および第２の照射手段を前記所定のフレームレートＲに対応付けて動作させるとともに、前記識別手段を動作させるアクティブモード、
   前記第１および第２の照射手段を前記所定のフレームレートＲよりも低いフレームレートに対応付けて動作させる第１スリープモード、
   前記第２の照射手段を動作させず、前記第１の照射手段を前記所定のフレームレートＲよりも低いフレームレートに対応付けて動作させる第２スリープモード、
   または、
   動作を終了させるストップモード
   のいずれかに決定する
   請求項２に記載の画像処理装置。
5. 前記画像処理手段は、さらに、前記第２スリープモードにおいて、時間的に前後して撮像された２枚の前記第１の画像の対応する画素どうしの輝度差分値に基づいて、前記ユーザの動きの有無を検出する
   請求項４に記載の画像処理装置。
6. 前記第１の波長は630nmから1000nmの範囲の値であり、
   前記第２の波長は900nmから1100nmの範囲の値であり、
   前記第２の波長は、前記第１の波長よりも大きい
   請求項２に記載の画像処理装置。
7. 第１の波長の光を被写体に照射する第１の照射手段と、
   第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、
   前記第１の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１の画像を生成し、前記第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、
   前記第１の画像と前記第２の画像に基づいて、人の肌を表す肌領域を検出する画像処理手段と
   を備える画像処理装置の画像処理方法において、
   前記画像処理手段による、
   前記第１の画像と前記第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより前記肌領域を検出し、
   前記肌領域から手領域を検出し、
   少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、検出された前記手領域の動きのない状態が所定時間継続した場合には動作モードをアクティブモードに決定し、
   アクティブモードにおいてのみ、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、前記被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方を識別する
   ステップを含む画像処理方法。
8. 第１の波長の光を被写体に照射する第１の照射手段と、
   第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、
   前記第１の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１の画像を生成し、前記第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、
   前記第１の画像と前記第２の画像に基づいて、人の肌を表す肌領域を検出する画像処理手段と
   を備える画像処理装置の制御用のプログラムであって、
   前記第１の画像と前記第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより前記肌領域を検出し、
   前記肌領域から手領域を検出し、
   少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、検出された前記手領域の動きのない状態が所定時間継続した場合には動作モードをアクティブモードに決定し、
   アクティブモードにおいてのみ、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、前記被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方を識別する
   ステップを含む処理を画像処理装置のコンピュータに実行させるプログラム。
9. 第１の波長の光を被写体に照射する第１の照射手段と、
   第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、
   前記第１の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１の画像を生成し、前記第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、
   前記第１の画像と前記第２の画像の対応する画素どうしの輝度差分値を閾値と比較することにより画像上の肌領域を検出するとともに、検出した前記肌領域から手領域を検出し、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて動作モードを決定する画像処理手段と、
   アクティブモードにおいてのみ、少なくとも前記肌領域または前記手領域の一方の時系列の検出結果に基づいて、前記被写体であるユーザによるポスチャ操作またはジェスチャ操作の少なくとも一方を識別し、識別結果に応じた操作信号を発生する識別手段と、
   発生された前記操作信号に従って所定の処理を実行する操作信号対応手段と
   を含み、
   前記画像処理手段は、検出された前記手領域の動きのない状態が所定時間継続した場合、前記動作モードを前記アクティブモードに決定する
   電子装置。

Images