JP2011095985A

JP2011095985A - 画像表示装置

Info

Publication number: JP2011095985A
Application number: JP2009249012A
Authority: JP
Inventors: 静二 ▲高▼野; Seiji Takano
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-10-29
Filing date: 2009-10-29
Publication date: 2011-05-12

Abstract

【課題】撮像画像に基づくユーザの操作指示に係るコマンドの誤認識を防止する。
【解決手段】画像を表示する表示部４と、前記表示部に表示される画像を鑑賞する操作者に対して赤外光を射出する発光部５と、前記操作者により反射された赤外光を撮像する撮像部１４と、前記撮像部により撮像した撮像画像に基づいて前記操作者の顔を検出する顔検出部１８と、前記顔検出部により検出された前記操作者の前記撮像画像における顔の位置に基づいて前記操作者の手を検出するための手検出領域を設定する手検出領域設定部２６と、前記手検出領域において前記操作者の手を検出する手検出部２８と、前記手検出部による検出結果に基づいて前記操作者の手の動作、形状又は位置を操作指示として認識するコマンド認識部３２と、前記コマンド認識部により認識された前記操作指示に基づいて、前記表示部に表示する画像の表示態様を制御する表示制御部１３とを備える。
【選択図】図３

Description

本発明は、画像表示装置に関するものである。

ユーザを撮像するカメラを備え、カメラにより撮像された撮像画像に基づいてユーザの操作指示に係るコマンドを認識する画像表示装置が知られている（例えば、特許文献１参照）。この画像表示装置においては、ユーザがカメラに対して手を振ったことをトリガとしてコマンド認識を開始している。

特開２００９−７５６８５号公報

しかし、この画像表示装置においては、コマンド認識に係るトリガとなるユーザの手の動作を撮像画像全体において常に観察しなければならずユーザの操作指示に係るコマンド認識処理にかかる負荷が大きかった。また、特に暗所にあってはトリガであるユーザの手の動作を誤認識する虞があった。

本発明の目的は、撮像画像に基づくユーザの操作指示に係るコマンドの誤認識を防止することができる画像表示装置を提供することである。

本発明の画像表示装置は、画像を表示する表示部と、前記表示部に表示される画像を鑑賞する操作者に対して赤外光を射出する発光部と、前記操作者により反射された赤外光を撮像する撮像部と、前記撮像部により撮像した撮像画像に基づいて前記操作者の顔を検出する顔検出部と、前記顔検出部により検出された前記操作者の前記撮像画像における顔の位置に基づいて前記操作者の手を検出するための手検出領域を設定する手検出領域設定部と、前記手検出領域において前記操作者の手を検出する手検出部と、前記手検出部による検出結果に基づいて前記操作者の手の動作、形状又は位置を操作指示として認識するコマンド認識部と、前記コマンド認識部により認識された前記操作指示に基づいて、前記表示部に表示する画像の表示態様を制御する表示制御部とを備えることを特徴とする。

本発明の画像表示装置によれば、ユーザの操作指示に係るコマンドの認識処理にかかる負荷を軽減しつつ、暗所においてもコマンドの誤認識を防止することができる。

本発明の第１の実施の形態に係るＤＰＦの前面を示す図である。本発明の第１の実施の形態に係るＤＰＦの背面を示す図である。本発明の第１の実施の形態に係るＤＰＦのシステム構成を示すブロック図である。本発明の第１の実施の形態に係るＤＰＦの手検出領域を説明するための図である。本発明の第１の実施の形態に係るＤＰＦのコマンド認識処理を示すフローチャートである。本発明の第２の実施の形態に係るＤＰＦのコマンド認識処理を示すフローチャートである。本発明の他の実施の形態に係るＤＰＦの手検出領域を説明するための図である。本発明の他の実施の形態に係るＤＰＦの手検出領域を説明するための図である。

以下、図面を参照して本発明の第１の実施の形態に係る画像表示装置についてデジタルフォトフレーム（以下、ＤＰＦという。）を例に説明する。図１は、第１の実施の形態に係るＤＰＦの前面を示す図であり、図２は背面を示す図である。ＤＰＦ２の前面には、画像や時刻等の情報を電気的に表示するＬＣＤ等により構成される表示部４、表示部４に表示される画像を鑑賞するユーザに対して赤外光を射出する赤外線ＬＥＤ５、ユーザにより反射された赤外光を撮像する撮像レンズ６が設けられている。また、ＤＰＦ２の背面には、ＤＰＦ２を設置するために用いられる支持部材８が設けられている。

図３は、第１の実施の形態に係るＤＰＦのシステム構成を示すブロック図である。ＤＰＦ２はＣＰＵ１２を備え、ＣＰＵ１２には、赤外線ＬＥＤ５、後述するコマンドに基づいて表示部４の表示態様を制御する表示制御部１３、被写体により反射され撮像レンズ６を介した赤外光を撮像する撮像素子等を備える撮像部１４、撮像部１４により撮像された撮像画像を所定のフレーム数または所定時間分記憶するメモリ１６、撮像画像のデータから特徴点や特定の形状等を抽出することにより顔認識データを生成しユーザの顔を検出する顔検出部１８、顔認識データから検出した顔の面積を算出する顔面積算出部２０、検出した顔の検出時間を計測する検出時間計測部２２、検出した顔の動作速度を検出する顔動作検出部２４、検出した顔の位置を基準にしてユーザの手を検出するための手検出領域を設定する手検出領域設定部２６、設定した手検出領域において特徴点や特定の形状等を抽出することによりユーザの手を検出する手検出部２８、検出した手の撮像画像における面積を算出する手面積算出部３０、手検出領域において検出したユーザの手の動作、形状または位置を認識する手動作認識部３２、所定の手の動作、形状または位置に対応付けて操作指示に係るコマンドを記憶する手動作記憶部３４、表示部４に表示する画像や情報を記憶するメモリカード３６が接続されている。ここで、撮像部１４はモノクロの撮像素子を備えることにより被写体により反射された赤外線を撮像する。

図４は、第１の実施の形態に係るＤＰＦの手検出領域を説明するための図である。撮像画像４０において顔検出部１８によりユーザの顔３８が検出されると、検出された顔の略中心を基準としてＸ軸方向に±ａ_１ピクセル、Ｙ軸方向に±ｂ_１ピクセルの手検出領域４２を設定する。従って、手検出部２８は、手検出領域４２内にある手４４の検出を行うが、手検出領域４２外にある手４６の検出は行わない。また、矢印４８で示すように手検出領域４２は、顔の動作に合わせて移動する。

次に、図５に示すフローチャートを参照して第１の実施の形態に係るＤＰＦのコマンド認識処理について説明する。赤外線ＬＥＤ５によりＤＰＦ２の前方方向の表示部４に表示される画像を鑑賞するユーザに対して赤外光の射出を行い（ステップＳ１）、撮像部１４により被写体光に含まれる赤外光の撮像を行うと（ステップＳ２：Ｙ）、所定フレーム数または所定時間分の撮像画像データをメモリ１６に記憶する（ステップＳ３）。撮像部１４による撮像が行われない場合には（ステップＳ２：Ｎ）、撮像が行われるまで待機する。

次に、顔検出部１８は、撮像された画像データから人物の顔の検出を行い、顔が検出されたか否かを判定する（ステップＳ４）。顔が検出された場合には、ステップＳ５〜Ｓ９に示す操作意思判定条件に合致するか否かを判定することにより、顔が検出された人物にＤＰＦ２を操作する意思があるか否かを判定する。即ち、操作意思判定条件を満たすことをトリガとして、顔が検出された人物をユーザとして判定する。一方、顔が検出されなかった場合には、ステップＳ１の処理に戻る。

なお、複数の人物の顔が検出された場合には、ＤＰＦ２に最も近い距離に位置する人物の顔を検出してもよいし、予め登録された人物を検出してもよい。ＤＰＦに最も近い距離に位置する人物の顔を検出する場合には、例えば、赤外線ＬＥＤ５により赤外光が射出されてから被写体により反射され、ＤＰＦ２の撮像部１４において受光するまでの時間を計測することにより、ＤＰＦ２と人物の顔との距離を求めてもよい。

ステップＳ４において顔が検出された場合には、操作意思判定条件として、まず、顔検出部１８により検出された顔の位置が特定領域にあるか否かを判定する（ステップＳ５）。ここで、例えば顔の位置が画像の中央付近である場合には、顔の位置が特定領域にあると判定する。一方、顔の検出位置が画像の端である場合には、顔の位置が特定領域外にあると判定する。顔の位置が特定領域にない場合には（ステップＳ５：Ｎ）、ステップＳ１の処理に戻る。

顔の位置が特定領域にある場合には（ステップＳ５：Ｙ）、ステップＳ６の処理に進み、次の操作意思判定条件に合致するか否かを判定する。即ち、顔面積算出部２０により算出された撮像画像における顔の面積が所定の面積以上を占めるか否かを判定する（ステップＳ６）。所定の面積以上占める場合には、顔が検出された人物にＤＰＦ２を操作する意思があると判断し、ステップＳ１０の処理に進む。

一方、検出された顔面積が画像において所定の面積以下である場合には（ステップＳ６：Ｎ）、検出時間測定部２２により測定される顔検出時間が所定時間以上であるか否かを判定する（ステップＳ７）。顔検出時間が所定時間以上である場合、即ち、ユーザが表示部４を所定時間以上連続して見ている場合には、顔が検出された人物にＤＰＦ２を操作する意思があるものと判断し、ステップＳ１０の処理に進む。

一方、顔検出時間が所定時間以下である場合には（ステップＳ７：Ｎ）、顔動作検出部２４により検出された顔の動作速度が所定速度以下であるか否かを判定する（ステップＳ８）。所定速度以下である場合には顔が検出された人物にＤＰＦ２を操作する意思があるものと判断し、ステップＳ１０の処理に進む。

一方、顔の動作速度が所定速度以上である場合には（ステップＳ８：Ｎ）、顔面積算出部２０により算出された撮像画像における顔面積及び手面積算出部３０により算出された撮像画像における手面積を用いて顔面積と手面積の比を算出し、面積比が所定の範囲にあるか否かを判定する（ステップＳ９）。面積比が所定の範囲にある場合には、顔が検出された人物にＤＰＦ２を操作する意思があるものと判断し、ステップＳ１０の処理に進む。一方、顔と手の面積比が所定の範囲内にない場合には（ステップＳ９：Ｎ）、処理を終了する。

ステップＳ５〜Ｓ９の処理において顔が検出された人物にＤＰＦ２を操作する意思があると判断された場合には、顔が検出された人物をユーザと判定し、ユーザの手を検出するための手検出領域を設定する（ステップＳ１０）。このとき、図４に示すようにユーザの顔の略中心を基準としてＸ軸方向に±ａ_１ピクセル、Ｙ軸方向に±ｂ_１ピクセルの手検出領域４２を設定する。

そして手検出部２８により手検出領域４２においてユーザの手を検出すると（ステップ１１：Ｙ）、ＣＰＵ１２は手動作認識部３２の制御を開始し手の動作、形状または位置を解析する（ステップＳ１２）。特に限定されるものではないが、手の形状、位置を解析する場合は、例えば、撮影画像の１フレームを解析し、また、動作を解析する場合は、複数フレームの解析をする。なお、手検出領域４２内で手が複数検出された場合には、ＤＰＦ２に距離が最も近い手の動作、形状または位置を解析してもよいし、手面積算出部３０により算出された手面積が最も大きい手の動作、形状または位置を解析してもよい。

解析した手の動作、形状または位置が手動作記憶部３４に記憶されている手の動作、形状または位置に該当する場合には（ステップＳ１３：Ｙ）、認識された手の動作、形状または位置に対応付けられた操作指示に係るコマンドを実行する（ステップＳ１４）。例えば、手を左から右へ動かす動作である場合には、画像送りを実行する。また、手を開いた状態から閉じる動作である場合には電源をオフする処理を実行する。また、手のひらをＤＰＦ２に対して向けた状態で近づけると表示部４に表示されている画像の拡大、遠ざけると画像の縮小を実行する。なお、ＤＰＦ２が表示部４による表示を行わずに撮像部１４による撮像を行うスリープ状態において、手を閉じた状態から開く動作をした場合にスリープ状態から起動状態に回復する処理を実行してもよい。なお、手の動作、形状または位置だけでなく、例えば、両腕を交差させ×印が形成された場合には電源をオフする処理を実行してもよい。なお、ステップS１３の処理のあと、メモリ１６に記憶された所定フレーム数または所定時間分の撮像画像データは削除してもよい。

また、ステップＳ１１において手が検出されなかった場合、ステップＳ１３において解析した手の動作、形状または位置が手動作記憶部３４に記憶されている手の動作、形状または位置に該当しない場合には、ステップＳ１の処理に戻る。

本実施の形態に係るＤＰＦによれば、操作意思判定を行い操作意思が認められる人物について手動作認識を行うため、ユーザが意図しないＤＰＦの動作を防ぐことができる。

また、人物の顔を検出し、検出された顔が特定領域にあることを条件として操作意思判定を行うため、ユーザの操作指示に係るコマンド認識処理にかかる負荷を軽減することができる。

また、手検出領域内で手が検出されない場合には手動作認識を行わないため、ユーザの操作指示に係るコマンド認識処理にかかる負荷を軽減することができ、ユーザ以外の手の動作等の認識によるユーザの意図しないＤＰＦの動作を防ぐことができる。

また、赤外光を撮像するため暗所においてもユーザの操作指示に係るコマンド認識を行うことができる。また、赤外光を撮像するためモノクロカメラで構成することもでき、製造コストを下げることが可能である。

なお、上述の実施の形態においては、顔検出部１８により検出された人物が複数である場合には１の人物について操作意思判定を行う構成としたが、検出された複数の人物全てについて操作意思判定を行い、操作意思が認められる人物について手検出領域を設定し手の検出を行う構成としてもよい。

次に図面を参照して本発明の第２の実施の形態に係るＤＰＦのコマンド認識処理について説明する。第１の実施の形態においてはコマンド認識処理を所定のフレーム数または所定時間分の撮像画像について行う構成としたが、この第２の実施の形態においては、手が検出された後は手を追尾してコマンド認識処理を行う構成に変更したものである。従って、第１の実施の形態と同一の構成についての詳細な説明は省略し、異なる部分のみについて詳細に説明する。また、第１の実施の形態と同一の構成には同一の符号を付して説明する。

図６は、第２の実施の形態に係るコマンド認識処理を示すフローチャートである。赤外線ＬＥＤ５によるＤＰＦ２の前方方向の表示部４に表示される画像を鑑賞するユーザに対する赤外光の射出を開始し（ステップＳ２１）、撮像部１４による被写体光に含まれる赤外光の撮像を開始すると（ステップＳ２２：Ｙ）、撮像画像データのメモリ１６への記憶を開始する（ステップＳ２３）。撮像部１４による撮像が開始されない場合には（ステップＳ２２：Ｎ）、撮像が開始されるまで待機する。

次に、顔検出部１８は、撮像された画像データから人物の顔の検出を行い、顔が検出されたか否かを判定する（ステップＳ２４）。顔が検出された場合には、ステップＳ２５〜Ｓ２９に示す操作意思判定条件に合うか否かを判定することにより、顔が検出された人物にＤＰＦ２を操作する意思があるか否かを判定する。一方、顔が検出されなかった場合には、顔が検出されるまで待機する。

ステップＳ２５〜Ｓ３０に示す処理は図５のフローチャートのステップＳ５〜Ｓ１０に示す処理と同様であるため説明は省略する。なお、ステップＳ２５において顔の位置が特定領域にない場合及びステップＳ２９において顔と手の面積比が所定の範囲内にない場合には、ステップＳ２４の処理に戻り新たな撮像画像データについて顔が検出された否かの判定を行う。

そして手検出部２８により手検出領域４２においてユーザの手を検出すると（ステップ３１：Ｙ）、ＣＰＵ１２は手動作認識部３２の制御を開始し手の動作、形状また位置を解析する（ステップＳ３２）。解析した手の動作が手動作記憶部３４に記憶されている手の動作、形状または位置に該当する場合には（ステップＳ３３：Ｙ）、手の動作、形状または位置に対応付けられた操作指示に係るコマンドを実行する（ステップＳ３４）。

また、ステップＳ３１において手が検出されなかった場合、ステップＳ３３において解析した手の動作、形状または位置が手動作記憶部３４に記憶されている手の動作、形状または位置に該当しない場合には、ステップＳ３５に示す処理に進む。

次に、操作意思判定条件の全てを満たさなくなったか否かを判定し（ステップＳ３５）、操作意思判定条件を満たさない場合には処理を終了する。即ち、i）ユーザの顔が特定領域にあることを満たさない場合には撮像を停止し（ステップＳ３６）、処理を終了する。また、ii）画像におけるユーザの顔面積が所定の面積以上であること、iii）顔検出時間が所定時間以上であること、vi）ユーザの顔の動作速度が一定速度以下であること、v）顔と手の面積比が所定の範囲内であることの４条件の何れをも満たさない場合には、撮像を停止し（ステップＳ３６）、処理を終了する。一方、上述の顔検出条件i）を満たしかつ、ii）〜v）の何れかを満たす場合には、ステップＳ３１に戻り、新たな撮像画像データについて手が検出されたか否かを判定し処理を継続する。

また、人物の顔が検出され、検出された顔が特定領域にあることを条件として操作意思判定を行い、さらに一旦顔検出を行った後は顔検出を行わないため、ユーザの操作指示に係るコマンド認識にかかる負荷を軽減することができる。また、ステップＳ３５で手が検出されなかった場合に処理を終了してもよい。

なお、上述の各実施の形態においては手を検出し手の動作、形状または位置を解析する構成を例に説明したが、図７に示すように肘や肩等の支点を検出する構成としてもよい。この場合には、検出された人物の顔３８を基準にＸ軸方向に±ａ_２ピクセル、Ｙ軸方向に−ｂ_２ピクセルの支点検出領域５０を設定する。支点検出領域５０に例えば支点である肘５２があり、かつ、手検出領域４２に手４４がある場合にのみ手検出部２８は手の検出を行い、手動作認識部３２は手の動作、形状または位置の解析を行う。従って、高精度に手の検出を行うことができる。また、暗所においても高精度にユーザの操作指示に係るコマンド認識を行うことができる。また、この場合においても矢印４８，５２に示すように顔３８の動きに合わせて手検出領域４２及び支点検出領域５０は移動する。

また、図８に示すようにユーザの右手または左手の一方の動きのみを検出する構成としてもよい。この場合には、検出された人物の顔３８を基準にＸ軸方向に＋ａ_３ピクセルまたは−ａ_３ピクセル、Ｙ軸方向に−ｂ_３ピクセルの点を手検出領域５６の中心位置５８とする。ここで、図８においては、ユーザの右手を検出する場合を例として人物の顔３８を基準にＸ軸方向に−ａ_３ピクセル、Ｙ軸方向に−ｂ_３ピクセルの点を中心位置５８としている。そして、中心位置５８を基準にＸ軸方向に±ａ_４ピクセル、Ｙ軸方向に±ｂ_４ピクセルの手検出領域５６を設定する。従って、一方の手の動作、形状また位置のみを検出することができ、手の動作、形状または位置の誤検出によるユーザの望まないＤＰＦ２の動作を防ぐことができる。また、矢印６０に示すように手検出領域５６は、顔３８の動きに合わせて移動する。

また、上述の各実施の形態においては、操作意思判定としてi）ユーザの顔が特定領域にあることを満たし、かつ、ii）画像におけるユーザの顔面積が所定の面積以上であること、iii）顔検出時間が所定時間以上であること、vi）ユーザの顔の動作速度が一定速度以下であること、v）顔と手の面積比が所定の範囲内であることの４条件のうち１つを満たせば操作意思があるものとする構成としたが、i）〜v）の操作意思判定条件のうち予め定められた所定数の条件を満たした場合に操作意思があるものと判定する構成としてもよいし、特定の操作意思判定の条件を所定数組み合わせた判定基準を満たした場合に操作意思があるものと判定する構成としてもよい。また、例えばi）を満たす場合等、i）〜v）の操作意思判定条件のうち何れか１つを満たす場合に操作意思があるものと判定する構成としてもよい。

また、同様に上述の実施の形態におけるコマンド認識処理の終了条件として上述のi）を満たさない場合、または、ii）〜v）の何れをも満たさない場合にコマンド認識処理を終了する構成したが、i）〜v）の条件をすべて満たさなくなった場合にコマンド認識処理を終了する構成としてもよい。また、これらのうち予め定められた所定数の条件を満たさなくなった場合にコマンド認識処理を終了する構成としてもよいし、特定の操作意思判定の条件を所定数組み合わせた判定基準を満たさなくなった場合にコマンド認識処理を終了する構成としてもよい。

２…ＤＰＦ、４…表示部、５…赤外線ＬＥＤ、１２…ＣＰＵ、１３…表示制御部、１４…撮像部、１６…メモリ、１８…顔検出部、２０・・・顔面積算出部、２６…手検出領域設定部、２８…手検出部、３０…手面積算出部、３２…手動作認識部、３４…手動作記憶部

Claims

画像を表示する表示部と、
前記表示部に表示される画像を鑑賞する操作者に対して赤外光を射出する発光部と、
前記操作者により反射された赤外光を撮像する撮像部と、
前記撮像部により撮像した撮像画像に基づいて前記操作者の顔を検出する顔検出部と、
前記顔検出部により検出された前記操作者の前記撮像画像における顔の位置に基づいて前記操作者の手を検出するための手検出領域を設定する手検出領域設定部と、
前記手検出領域において前記操作者の手を検出する手検出部と、
前記手検出部による検出結果に基づいて前記操作者の手の動作、形状又は位置を操作指示として認識するコマンド認識部と、
前記コマンド認識部により認識された前記操作指示に基づいて、前記表示部に表示する画像の表示態様を制御する表示制御部と
を備えることを特徴とする画像表示装置。
前記手検出領域設定部は、前記顔検出部による検出結果に基づいて、前記操作者の手を検出するための手検出領域を設定するか否かを判定することを特徴とする請求項１記載の画像表示装置。
前記操作者の手の動作、形状又は位置を所定の操作指示と対応付けて記憶する記憶部を備え、
前記コマンド認識部が、前記操作者の手の動作、形状又は位置が前記記憶部に記憶されている前記手の動作、形状又は位置であると認識する場合には、前記表示制御部は、前記手の動作、形状又は位置に対応付けられた操作指示を実行することを特徴とする請求項１又は２に記載の画像表示装置。
前記顔検出部は、前記手検出領域設定部による前記操作者の手を検出するための前記手検出領域が設定された場合には、前記操作者の顔の検出を停止することを特徴とする請求項１〜３の何れか一項に記載の画像表示装置。
前記顔検出部により検出された前記操作者の前記撮像画像における顔の面積を算出する顔面積算出部と、
前記手検出部により検出された前記操作者の前記撮像画像における手の面積を算出する手面積算出部と、
前記顔の面積と前記手の面積とを比較する面積比較部と
を備え、
前記手検出領域設定部は、前記面積比較部における比較結果に基づいて前記操作者の手を検出するための前記手検出領域を設定することを特徴とする請求項１〜４の何れか一項に記載の画像表示装置。