JP5921981B2 - 映像表示装置および映像表示方法 - Google Patents

Description

本発明は、ユーザのジェスチャー操作を画像認識して、操作に対する応答を表示させる映像表示装置および映像表示方法に関する。

従来、ＴＶやレコーダといった映像装置、あるいは、ＰＣなどの情報処理機器に対して、ユーザは、キーボードやマウスなどのポインティングデバイスを使ってデータ入力や指示入力をしたり、リモコンによりチャンネル操作・表示操作をするのが一般的であった。

ところが、近年では、画像認識技術の向上により、特に、ゲーム機や操作ガイド機器の分野において、ユーザのジェスチャーを画像認識し、ユーザの操作を判断して、機器を動作させる手法が提案されている。

例えば、特許文献１には、手指の形状、動作を認識して、操作を判定する画像認識装置が開示されている。また、特許文献２には、ユーザの手を認識して、ユーザが操作を行うための操作領域を設定し、ユーザの手の位置が操作領域の周囲に近づいたときには、ユーザの手の位置が動く方向に追随して、操作領域を移動させる映像表示装置、および、その表示制御方法が開示されている。

特許第４３１８０５６号公報 特開２０１１‐８１５０６号公報

特許文献１および特許文献２では、ユーザの手の周囲に設定された所定の空間（以降、操作領域と記す）内の手の動きのパターンを、ジェスチャーの操作として認識する機能を提供する仕組みが開示されている。

しかしながら、これらの特許文献で開示される仕組みでは、ユーザが手のジェスチャーで、画面に対して操作をおこなう際に、ユーザが操作する位置と、例えばプロジェクタやテレビで表示される操作対象の画面の位置が、ある程度遠く離れている場合に、ユーザは自分の手の周囲にある前記操作領域と、操作対象の画面との、位置の対応関係を理解するのが難しいという課題がある。

さらに、特許文献１および特許文献２では、前記操作領域における手の位置に対応して、画面上にポインタを表示することが記載されている。しかし、ユーザが操作する際に、ユーザの手が前記操作領域の外側に外れたときに、手が前記操作領域に対してどの方向や、どの程度の距離で離れたかを、ユーザが直感的に把握することができないという課題がある。特にジェスチャーによる操作は、空中での手の動きによる操作であり、触覚等によるユーザへの物理的なフィードバックが存在しない。従って、上記の課題が、ユーザの円滑な操作を妨げる問題として顕著となる。

本発明は、上記課題を解決するためになされたもので、その目的は、ユーザが手のジェスチャーで映像表示装置を操作する際に、ユーザの手が、前記操作領域の外側に外れた場合に、映像表示装置が、手が前記操作領域に対してどの方向や、どの程度の距離で離れたかの状況をユーザが理解できるように提示し、ユーザが直感的に操作の状況を把握しながら円滑に操作できるようにすることにある。

上記目的を達成するために、例えば特許請求の範囲に記載の構成を採用する。

本発明によれば、ユーザの手を認識して、手が前記操作領域から外れた際の前記フィードバック表示を提示することによって、ユーザに操作が有効な操作領域の範囲を認知させることが可能となり、円滑な操作が可能となる。

本発明の第一の実施形態の映像表示装置の構成図である。 本発明の第一の実施形態に係る映像表示装置１００に対してユーザが操作する概観を説明する図である。 本発明の第一の実施形態に係る映像表示装置１００によるフィードバック表示の提示方法の一例について説明する図である。 本発明の第一の実施形態に係る映像表示装置１００によるフィードバック表示の提示方法の第二の例について説明する図である。 本発明の第一の実施形態に係る映像表示装置１００によるフィードバック表示の提示方法の第三および第四の例について説明する図である。 本発明の第一の実施形態に係る映像表示装置１００によるフィードバック表示の設定処理の手順を示すフローチャートである。 本発明の第一の実施形態に係る映像表示装置１００による操作領域が３次元であるときのフィードバック表示の提示方法について説明する図である。 本発明の第二の実施形態の映像表示装置の構成図である。 本発明の第二の実施形態に係る映像表示装置１００による操作領域の外側におけるジェスチャー操作の検出方法について説明する図である。 本発明の第二の実施形態に係る映像表示装置１００による操作領域の外側でジェスチャー操作の検出処理の手順を示すフローチャートである。 本発明の第三の実施形態に係る映像表示装置１００による操作領域およびフィードバック表示の提示方法の一例について説明する図である。 本発明の第三の実施形態に係る映像表示装置１００による操作領域およびフィードバック表示の設定処理の手順を示すフローチャートである。 本発明の第三の実施形態に係る映像表示装置１００による操作領域およびフィードバック表示の第二の例提示方法について説明する図である。

以下、本発明に係る各実施形態を、図１ないし図１３を用いて説明する。

以下、本発明に係る第一の実施形態を、図１ないし図６を用いて説明する。

本実施形態の映像表示装置は、ユーザの手が操作を行える操作領域内にある状態から、操作領域から外れた状態に変化したときに、手が操作領域に対してどの方向へ、どの程度の距離で離れたかをユーザに伝えるための前記フィードバック表示を提示する機能を提供するものである。

図１は、本発明の第一の実施形態の映像表示装置の構成図である。

本実施形態の映像表示装置１００は、例えばテレビやプロジェクタなどであり、図１に示されるように、入力部１１０、システム制御部１２０、映像信号処理部１３０、表示部１４０からなる。

入力部１１０は、ユーザの手の位置情報が含まれるデータを取得する装置であり、例えば、ＴＯＦ（Time of flight）センサ機能を有する赤外線カメラ、ステレオカメラ、ＲＧＢカメラなどである。入力部１１０に用いるカメラは、特に、限定されず、ユーザに対して画像認識し、手の位置を検出するために最終的に、得た画像をセンシングデータに変換するための撮像画像を得る機能を有すればよい。また入力部１１０は、カメラではなく、ユーザが手で持って操作をおこなう空中マウスや空中コントローラなどの、ユーザの手の位置が検出できるセンシングデータを取得するポインティングデバイスなどでもよい。

システム制御部１２０は、ユーザの手の位置を検出し、適切な位置に操作領域を設定するためのデータ処理をおこなう部分である。システム制御部１２０は、ＣＰＵが、メモリ上に記憶されているソフトウェアモジュールを実行することにより実現してもよいし、専用のハードウェア回路により実現してもよい。

システム制御部１２０は、手の位置検出部１２１、位置判定処理部１２２、操作領域設定部１２３、フィードバック表示設定部１２５の機能を実現する部分を有する。

手の位置検出部１２１は、入力部１１０で取得したセンシングデータから手の位置を検出する部分である。位置判定処理部１２２は、手の位置と操作領域の位置関係を判定する部分である。操作領域設定部１２３は、操作領域を設定する部分である。フィードバック表示設定部１２５は、前記フィードバック表示を設定する部分である。

映像信号処理部１３０は、システム制御部１２０から指示とデータを受け取り、表示部１４０に表示するための映像信号を作成する部分である。

表示部１４０は、映像信号に基づき、ユーザに映像信号を表示する部分であり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、プロジェクタ、などの静止画像や動画像を表示可能な表示装置である。

次に、図２を用いて本発明の第一の実施形態に係る映像表示装置１００による前記フィードバック表示の設定処理について説明する。

図２は、本発明の第一の実施形態に係る映像表示装置１００をユーザが操作する際の概観について説明する図である。

本発明の第一の実施形態に係る映像表示装置１００の表示部１４０は、例えばテレビのディスプレイ１０や、プロジェクタの投射面１７となる。

本発明の第一の実施形態に係る映像表示装置１００の操作イメージは、図２（ａ）に示されるように、ユーザ３０が操作対象の画面である表示部１４０で表示される操作画面１８を見ながら仮想的な操作領域２０内でジェスチャーにより操作し、当該操作を映像表示装置１００が画像認識をし、その認識結果に基づいて操作に対応する表示を行う
本実施形態で、特に、キーポイントとなるのは、手の位置を検出することである。本実施形態の映像表示装置１００の入力部１１０は、例えば赤外線カメラ１２であり、赤外線を用いた測距機能を有することにより、画面から手までの距離を測定できるものとする。手３２は、出っ張っており、ユーザ３０の体の中で、赤外線カメラ１２により認識しやすい部分であるといえる。

図２（ｂ）に、本実施形態における赤外線カメラ１２と、撮像領域面２２と、操作領域２０と、操作画面１８の関係が示されている。

撮像領域面２２は、ユーザの手の位置において、赤外線カメラ１２が撮像可能な範囲を表す面である。操作画面１８は、ユーザに提示するための動画像のコンテンツ、操作メニューや、前記フィードバック表示などを表示する領域である。本実施形態の映像表示装置１００の操作画面１８上に、静止画像１９と、フィードバック表示設定部１２５で設定された、操作領域２０におけるユーザの手の位置を表すポインタ２６が表示される。ここで静止画像１９の大きさは、操作画面１８の大きさと同じとし、操作画面１８に静止画像１９の全体が見える。なお、操作画面１８上に表示されるものは、静止画像の他に、動画、アニメーション、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）映像などでもよい。また、ポインタ２６は、図２（ｂ）では、矢印のアイコンで示されているが、手の形をしたアイコン、丸、四角などの基本図形のアイコン、その他アニメのキャラクタのアイコンなどで示されてもよい。

映像表示装置１００が、画像認識をして、ユーザの手３２を検出すると、次に、手を認識した位置に応じて、操作画面１８に対応する操作領域２０を決定する。操作領域２０は、ユーザ３０に操作をおこなわせるための仮想的な領域であり、ユーザ３０が立っている位置の赤外線カメラ１２の撮像領域面２２の中に作られるものとする。また、操作領域２０は、操作画面１８を、ユーザの手前の撮像領域面２２上に、拡大・縮小したものであり、最初に、操作領域２０を決定されたときには、ユーザ３０の手３２が、中心にくるようにする。そして、操作領域２０は、手３２の位置から操作画面１８までの距離に応じて、手を伸ばした方向の延長線上が画面を指示するような領域として決定され、ちょうど、ハンズフリーのレーザポインタを使うようなイメージで、ユーザ３０は、映像表示装置１００に対して指示を与えることができる。

なお、図２（ｂ）に示されるように、操作領域２０が決定された際に、ユーザ３０に映像表示装置１００に対する指示が可能であることを示すために、ポインタ２６を表示するが、ポインタ２６を表示せずに、操作画面１８内の映像の明るさを変えることなどにより、操作が無効な状態から操作が可能となったことを提示するようにしてもよい。

また、図２（ｃ）に示されるように、本発明の映像表示装置では、操作を行わせるための操作領域は、２次元の面ではなく、操作領域２０ａのような３次元操作領域であってもよい。

ここで、ユーザは操作領域２０または操作領域２０ａ内で、手の回転、手振り、押込みなどの所定のジェスチャー操作を行うことで映像表示装置１００に対する指示を与え、操作画面１８には、その指示の実行結果や前記フィードバック表示が表示される。 次に、図３ないし図６を用いて本発明の第一の実施形態に係る映像表示装置１００による操作領域の設定処理と、前記フィードバック表示の設定方法について説明する。

図３は、映像表示装置１００が認識するユーザの手３２の位置と前記フィードバック表示の対応関係を示しており、ユーザの手の位置が操作領域２０から外れたときに、操作領域２０に対する手の位置や方向、距離に応じて操作画面１８に表示する前記フィードバック表示について説明する図である。

本実施形態の映像表示装置１００では、ユーザが映像表示装置１００に対して手３２を出し、最初に操作領域２０が設定されたときに、図３（ａ）に示されるようにポインタ２６が操作画面１８の中央に表示される。図３（ｂ）に示されるように、ユーザが操作領域２０の右の方向に手３２を動かすと、ポインタ２６はそれに応じて操作画面１８の右方向に移動して、表示される。

ここで、図３（ｃ）に示されるように、図３（ｂ）の状態から、ユーザが手３２を右下方向に動かし、操作領域２０の外側に移動させると、映像表示装置１００は、静止画像１９およびポインタ２６を、操作画面１８に対して右下方向へずらして表示させる。このとき、ポインタ２６は操作画面１８の外側にあるため、操作画面１８には表示されない。また、静止画像１９の左上の枠が見えるようになる。

同様に、図３（ｄ）に示されるように、図３（ｂ）の状態から、ユーザが手３２を右上方向に動かし、操作領域２０の外側に移動させると、映像表示装置１００は、静止画像１９およびポインタ２６を、操作画面１８に対して右上方向へずれて表示する。このとき、ポインタ２６は操作画面１８の外側にあるため、操作が面１８には表示されない。また、静止画像１９の左下の枠が見えるようになる。

図３（ｃ）および（ｄ）では、ユーザの手３２が操作領域２０から外れたときに、静止画像１９の位置は手に追従して動く。すなわち、操作領域２０と同じ大きさを持つ仮想面２００の位置と操作画面１８の位置とが対応している。つまり、ユーザの手３２が操作領域２０から出たときに、操作画面１８に対する静止画像１９のずれ方向およびずれる距離は、操作領域２０に対する仮想面２００のずれ方向および距離に対応する。

ここで、ユーザの手３２が操作領域２０から外れた際に、ユーザが見た静止画像１９のずれる方向が、ユーザの手３２の動く方向の逆であってもよい。すなわち、図４に示されるように、ユーザの手３２が操作領域２０から外れたときに、静止画像１９の位置は操作領域２０の位置と対応し、操作画面１８の位置は仮想面２００の位置と対応させてもよい。

図４（ａ）に示されるように、図３（ｂ）の状態から、ユーザが手３２を右下方向に動かし、操作領域２０の外側に移動させると、映像表示装置１００は、静止画像１９を、操作画面１８に対して左上方向へずらして表示させる。このとき、ポインタ２６は操作画面１８の内側に表示され、静止画像１９の右下の枠が見えるようになる。

また同様に、図４（ｂ）に表示されるように、図３（ｂ）の状態から、ユーザが手３２を右上方向に動かし、操作領域２０の外側に移動させると、映像表示装置１００は、静止画像１９を、操作画面１８に対して左下方向へずらして表示させる。このとき、ポインタ２６は操作画面１８の内側に表示され、静止画像１９の表示がずれて、右上の枠が見えるようになる。

なお、図３（ｃ）、図３（ｄ）、図４（ａ）と図４（ｂ）に図示しないが、操作領域２０および仮想面２００は撮像領域面２２の中にある。

なお、上記ではユーザの手３２が操作領域２０の外側に外れた際に、ポインタ２６を操作画面１８内に表示しないことによって、ユーザに操作が無効であることを提示しているが、手３２が操作領域２０の外側に外れた場合に、例えば操作画面１８の全体明るさを低くすることなどで、ユーザに操作が無効であることを提示してもよい。

このように、本実施形態の映像表示装置１００は、ユーザの手３２が操作領域２０の内側から外側に出て、且つユーザの手３２が撮像領域２２の内側にある場合に、ユーザの手３２が操作領域２０に対して外れている位置や方向、距離に応じて、操作画面１８のフィードバック表示によりユーザに伝える。

次に、図５を用いて、ユーザの手３２が操作領域２０から外れたときのフィードバック表示の別の例について説明する。

図５(ａ)および図５（ｂ）には、ユーザの手３２が操作領域２０から外れたときの、操作画面１８における別のフィードバック表示の一例が示される。

図５（ａ）に示されるように、図３（ｂ）に示された状態から、ユーザが手３２を右下方向に動かし、操作領域２０の外側に移動させると、ポインタ２６が操作画面１８の右下の端に消え、操作領域２０に対するユーザの手３２が外れた方向や距離に応じて、画面の右下の端に点滅するフィードバックアイコン２７が表示される。

同様に、図５（ｂ）に示されるように、図３（ｂ）に示された状態から、ユーザが手３２を右上方向に動かし、操作領域２０の外側に移動させると、操作領域２０に対するユーザの手３２の外れた方向や距離に応じて、操作画面１８の右上の端に点滅するフィードバックアイコン２７が表示される。ここで、ユーザの手３２が操作領域２０からどの程度の距離で離れているかをユーザが理解できるように、フィードバックアイコン２７の点滅間隔およびアイコンの大きさを操作領域２０から手３２の離れた距離に応じて変更する。フィードバックアイコン２７の点滅間隔およびアイコンの大きさと、ユーザの手３２と操作領域２０の距離の対応関係の一例を図５（ｃ）に示す。

図５（ｄ）および図５（ｅ）にはユーザの手３２が操作領域２０から外れたときの、操作画面１８における別のフィードバック表示の一例が示される。

図５（ｄ）に示されるように、図３（ｂ）に示された状態から、ユーザが手３２を右下方向に動かし、操作領域２０の外側に移動させると、ポインタ２６が操作画面１８の右下の端に消え、操作領域２０に対するユーザの手３２の外れた方向や距離に応じて、操作画面１８に表示されている静止画像１９の右下辺りにあたかも画面の一部が右下方向に引っ張られ、歪んでいるような表示効果２８が表示される。

同様に、図５（ｅ）に示されるように、図３（ｂ）に示された状態から、ユーザが手３２を右上方向に動かし、操作領域２０の外側に移動させると、操作画面１８に表示されている静止画像１９の右上辺りにあたかも画面の一部が右上方向に引っ張られ歪んでいるような表示効果２８が表示される。なお、表示効果２８の歪みの大きさおよび歪みの方向は、操作領域２０に対して手３２が外れた方向や距離に対応する。

次に、図６を用いて、映像表示装置１００のフィードバック表示の設定処理の手順について説明する。

図６は、本発明の第一の実施形態に係る映像表示装置１００によるフィードバック表示の設定処理の手順を示すフローチャートである。

操作画面１８上でのフィードバック表示設定処理は、図１に示したシステム制御部１２０が行う処理である。

まず、システム制御部１２０は、入力部１１０からのデータを解析して、ユーザ３０の手３２の認識処理を行う。

そして、手３２を認識したときには（Ｓ６００）、手３２の位置に合わせて操作領域２０を設定する（Ｓ６０１）。このとき、操作画面１８上にポインタ２６が表示される。

次に、手３２の位置の変化を認識し、手３２の位置に応じて、操作画面１８上のポインタ２６の位置を動かす（Ｓ６０２）。

さらに、再び、手３２が認識できているかを判定し（Ｓ６０３）、手３２が認識できないときには、操作領域２０を削除する（Ｓ６０６）。このとき、操作画面１８上のポインタ２６も消去され、処理はＳ６００に戻る。

手３２が認識できており、手３２の位置が操作領域２０の内側から、操作領域２０の外側に出た場合には（Ｓ６０４：Ｙｅｓ）、手３２と操作領域２０との相対位置を計算し（Ｓ６０７）、手３２と操作領域２０との相対位置を用いて、フィードバック表示設定部は操作画面１８に対して、図３（ｃ）、図３（ｄ）、図４（ａ）、図４（ｂ）、図５（ａ）、図５（ｂ）、図５（ｄ）および図５（ｅ）に示したようにポインタ２６が操作領域２０から外れていることを表現する前記フィードバック表示を設定する（Ｓ６０８）。さらに、操作領域２０に対する手３２の距離が所定の閾値よりも大きいかを判定する（Ｓ６０９）。操作領域２０に対する手３２の距離がある閾値よりも大きい場合は（Ｓ６０９：Ｙｅｓ）、手３２が操作領域から外れている前記フィードバック表示を終了し（Ｓ６１０）、操作領域２０を削除する（Ｓ６０６）。このとき、操作画面１８上のポインタ２６も消去され、処理はＳ６００に戻る。このとき、例えば操作画面１８は、図３（ｃ）、図３（ｄ）、図４（ａ）、図４（ｂ）、図５（ａ）、図５（ｂ）、図５（ｄ）および図５（ｅ）に示される前記フィードバック表示を提示する状態から、元の状態（ポインタ２６が無い図３（ａ））にすぐ戻してもよいが、操作領域２２から手の外れた位置や方向をユーザにより分かりやすく伝えるために、アニメーションなどで少しずつ表示を変化させて操作画面１８の元の状態までに、戻してもよい。

一方、操作領域２０に対する手３２の距離が所定の閾値よりも小さい場合は（Ｓ６０９：Ｎｏ）、処理はＳ６０２に戻る。なお、手３２が認識できており、手３２の位置が操作領域２０の内側にあり（Ｓ６０４：Ｎｏ）、ユーザ３２が所定の操作で操作終了を指示したときには（Ｓ６０５）、処理を終了し、そうでないときには処理はＳ６０２に戻る。

なお、上述の所定の閾値は、撮像領域の範囲であることが望ましい。すなわち、撮像領域外に手が移動した場合には、処理ができずに終了する。

以上より、本発明の第三の実施形態では、映像表示装置１００は、手３２が操作領域２０の内側から、操作領域２０の外側に移動した際に、操作領域２０に対する手３２の位置や方向、距離を前記フィードバック表示によりユーザに提示する機能を提供するものである。

以上より、ユーザの手が操作領域から外れたことを意味する前記フィードバック表示を行うことにより、ユーザは操作が有効な操作領域に対する自分の手の位置を把握することができ、操作を円滑に行うことができる。

次に図７を用いて、操作領域が３次元空間である場合について説明する。

図７（ａ）に示されるように、ユーザの手３２の位置が操作領域２０ａの内側にある場合には、映像表示装置１００の操作画面１８上にポインタ２６が表示さる。この状態から、図７（ｂ）に示されるように、ユーザが手を奥行方向に動かして、操作領域２０ａから出たときに、操作画面１８上では、あたかも静止画像１９が奥行方向に遠のいたように表示される。また、図７（ｃ）に示されるように、ユーザが手３２をユーザの手前方向に動かして、操作領域２０ａから出たときに、操作画面１８上では、あたかも静止画像１９が手前に近づいたように表示される。このとき、操作が無効（ユーザによる手３２の操作は反映されない）であることを表現するために、例えば操作画面１８は暗く表示される。

このように、本発明の映像表示装置の映像表示装置１００は、ユーザの手が、操作が有効である所定の空間領域から外れた際に、画面上にその状態を示すフィードバック表示を行うため、ユーザは円滑に操作を行うことができる。

以下、本発明に係る第二の実施形態を、図８ないし図１０を用いて説明する。

第一の実施形態の映像表示装置１００の表示制御方法は、手が操作領域内にある状態から、操作領域から外れた状態に変化したときに、ユーザに手が操作領域に対してどの方向にどの程度の距離で離れたかを提示する機能を提供するものであった。本実施形態では第一の実施形態の表示制御方法に加えて、手が操作領域に対して離れている状態を利用してジェスチャー操作を検出する機能を提供するものである。

図８は、本発明の第二の実施形態の映像表示装置の構成図である。

本実施形態の映像表示装置１００でも、図８に示されるように、入力部１１０、システム制御部１２０、手の位置検出部１２１、位置判定処理部１２２、操作領域設定部１２３、フィードバック表示設定部１２５、映像信号処理部１３０、表示部１４０からなることは、第一の実施形態と同様であるが、システム制御部１２０にジェスチャー検出部１２６を有することが異なっている。

ジェスチャー検出部１２６は、カメラ１２の撮像範囲内において、ユーザの手３２の所定の動きパターンである、いわゆるジェスチャーが行われたか否かを検出する部分である。

図９は、本発明の第二の実施形態に係る映像表示装置１００による操作領域の外側におけるジェスチャー操作の検出方法について説明する図である。

図５（ａ）および図５（ｂ）に示されたようにユーザの手３２が、操作領域２０内にある状態から、操作領域２０の外側に出たときに、ユーザの手３２が操作領域２０に対して離れた位置や方向、距離に応じて、画面の右下の端に点滅するフィードバックアイコン２７が表示される。このとき、ジェスチャー検出部１２６は、ユーザの手３２が操作領域２０の外側、且つ撮像領域２２内側にあるときに、ユーザの手３２の動きが、映像表示装置１００への指示に当たる所定の動きパターンであるか否かを判定する。ここで、前記所定の動きパターンは例えば図９（ａ）に示される上下に手振りをする動きや、図９（ｂ）に示される操作領域２０の外側を手３２が一周回る動きや、ユーザが手を押込む動きや、ユーザが手を回転する動きなどの動きのパターンである。前記所定の動きパターンが検出されたら、映像表示１００はそれを指示として解釈し、所定の操作を実行する。本発明の第二の実施形態の映像表示装置１００は、ユーザの手３２が操作領域２０から外れており、且つ前記所定の手の動きパターンが検出された際に、画面１８上にポップアップメッセージ２９を表示する。映像表示装置１００が実行する操作として、ポップアップメッセージ２９を表示する他に、例えばプレゼンテーションのページめくり操作、ディスプレイの電源を切る操作などでもよい。

以上より、手３２は操作領域２０から外れたことを認識したうえで、あえてその状態である所定の動きパターンを認識することにより、映像表示装置１００に対してより多様な操作が可能となる。

図１０は、本発明の第二の実施形態に係る映像表示装置１００によるフィードバック表示の設定処理と、操作領域の外側でのジェスチャー操作の検出処理の手順を示すフローチャートである。

まず、システム制御部１２０は、入力部１１０からのデータを解析して、ユーザ３０の手３２の認識処理を行う。

そして、手３２を認識したときには（Ｓ８００）、手３２の位置に合わせて操作領域２０を設定する（Ｓ８０１）。このとき、操作画面１８上にポインタ２６が表示される。

次に、手３２の位置の変化を認識し、手３２の位置に応じて、操作画面１８上のポインタ２６の位置を動かす（Ｓ８０２）。

さらに、再び、手３２が認識できているかを判定し（Ｓ８０３）、手３２が認識できないときには、操作領域２０を削除する（Ｓ８０８）。このとき、操作画面１８上のポインタ２６も消去され、処理はＳ８００に戻る。

手３２が認識できており、手３２の位置が操作領域２０の内側から、操作領域２０の外側に出た場合には（Ｓ８０４：Ｙｅｓ）、手３２と操作領域２０との相対位置を計算し（Ｓ８０８）、手３２と操作領域２０との相対位置を用いて、フィードバック表示設定部は操作画面１８に対して、ポインタ２６が操作領域２０から外れていることを表現する前記フィードバック表示を設定する（Ｓ８０８）。さらに、操作領域２０に対する手３２の距離が所定の閾値よりも大きいかを判定する（Ｓ８０９）。操作領域２０に対する手３２の距離が所定の閾値よりも大きい場合は（Ｓ８０９：Ｙｅｓ）、手３２が操作領域から外れている前記フィードバック表示を終了し（Ｓ８１２）、操作領域２０を削除する（Ｓ８０６）。このとき、操作画面１８上のポインタ２６も消去され、処理はＳ８００に戻る。一方、操作領域２０に対する手３２の距離が所定の閾値よりも小さい場合は（Ｓ８０９：Ｎｏ）、手振りや手の回転のどの所定の動きパターンがユーザによって行われたかを判定し（Ｓ８１０）、そのときは、例えば図９に示されたように画面上のポップアップメッセージを提示するなどの該所定の動きパターンに対応させた所定の動作を実行する（Ｓ８１１）。そしてＳ８０２に戻る。なお、手３２が認識できており、手３２の位置が操作領域２０の内側にあり（Ｓ８０４：Ｎｏ）、ユーザ３２が所定の操作で操作終了を指示したときには（Ｓ８０５）、処理を終了し、そうでないときには処理はＳ８０３に戻る。

このように、本発明の第二の実施形態の表示制御方法によれば、手が操作領域から外れたときに、ユーザにその状況を提示して、さらにその状況を利用して、所定の手の動きパターンを操作として検出し、映像表示装置のより多様な入力操作が可能となる。

以下、本発明に係る第三の実施形態を、図１１ないし図１３を用いて説明する。

第一の実施形態の映像表示装置１００の表示制御方法は、手が操作領域内にある状態から、操作領域から外れた状態に変化したときに、ユーザに手が操作領域に対してどの方向にどの程度の距離で離れたかを提示する機能を提供するものであった。本実施形態では、第一の実施形態の表示制御方式に加え、２つ目の操作領域を設けて、手が操作領域内にある状態から、第一の操作領域から外れた状態に変化したときに、ユーザに手が操作領域に対してどの方向にどの程度の距離で離れたかを提示し、第二の操作領域から手が外れたときに、手の移動に応じて操作領域を追従させるインタフェースを提供するものである。

まず、本発明の第三の映像表示装置１００の構成について説明する。

本発明の第三の映像表示装置１００の構成は、図１に示される第一の実施形態の映像表示装置と同様であり、入力部１１０、システム制御部１２０、手の位置検出部１２１、位置判定処理部１２２、操作領域設定部１２３、フィードバック表示設定部１２５、映像信号処理部１３０、表示部１４０からなる。本実施形態の映像表示装置１００は、ユーザの手３２を検出したときに、操作領域設定部１２３を用いて２つの操作領域を設定する。

次に、図１１を用いて、本発明の第三の実施形態の映像表示装置１００の操作領域について説明する。

図１１の第一の操作領域２０は、第一実施形態ないし第二の実施形態の操作領域と同様に、赤外線カメラ１２の撮像領域面２２の中において、ユーザの手３２を認識した位置に応じて決定される、ユーザ３０の操作が有効となる仮想的な領域であり、操作画面１８に対応する領域である。ここで、ユーザの手３２が第一の操作領域２０内に検出されれば、操作画面１８上にポインタ２６が表示される。

第二の操作領域１５０１は、第一の操作領域２０と同様に、赤外線カメラ１２の撮像領域２２の中に作られる仮想的な領域であり、第二の操作領域１５０１の大きさは、第一の操作領域２０より大きく、第二の操作領域１５０１の位置は、例えば第一の操作領域２０と同じ中心位置で設定される。

本発明の第三の実施形態の映像表示装置１００は、ユーザの手３２が最初に認識されたときに、図１１（ａ）に示されるようにユーザの手３２の周囲に第一の操作領域２０および第二の操作領域１５０１を設定する。このとき、第一の操作領域２０の中心は、ユーザの手３２であり、操作画面１８の中心にポインタ２６が表示される。図１1（ｂ）に示されるように、ユーザの手３２が第一の操作領域２０の外側へ出て、尚且つ、第二の操作領域１５０１の内側にある場合、映像表示装置１００は、ポインタを右下方向に消し、第一の操作領域２０に対する手３２の位置や方向、距離に応じて、操作画面１８に表示されている静止画像１９を右下方向にずらして表示させる。このとき、ユーザの手３２が第一操作領域２０から出たときの操作画面１８に対する静止画像１９のずれ方向は、第一の操作領域２０に対する仮想面２００のずれ方向と対応する。また、静止画像１９のずれ幅は、第一の操作領域２０に対して手３２が外れた距離に対応する。

ここで、図１１（ｃ）に示されるように、ユーザが手３２をさらに右下方向に動かして、第二操作領域１５０１の右下辺を越えたと認識されたとき、映像表示装置１００は、第二の操作領域１５０１に対する手３２の位置や方向、距離に追従して、第一操作領域２０および第二の操作領域１５０１を右下方向に移動させる。

ここで、操作画面１８に、操作領域が移動可能な領域範囲を表す図形１５０２と、その移動可能な領域範囲に対する現在の操作領域の位置を表す図形１５０３が表示される。本実施形態では、図形１５０２は例えば撮像領域面２２と対応し、図形１５０３は第二の操作領域１５０１と対応する。図１１（ｃ）に示されるように、ユーザの手３２が第二の操作領域１５０１の外側に出たとき、第一の操作領域２０と第二の操作領域１５０１がその手の動きにより移動されるが、それに従って図形１５０２における図形１５０３の表示位置が変化する。

なお、第一の操作領域２０は、第二の操作領域１５０１と常に同時に移動するため、図形１５０２と図形１５０３の表示は、第一の操作領域２０が移動可能な範囲をも表すこととなる。つまり、図形１５０２と図形１５０３による前記フィードバック表示を提示することにより、ユーザは自分の手３２の周囲にある操作領域が移動可能な範囲を理解することができる。

このように、第二の操作領域１５０１を設けることにより、ユーザは、自分の手３２が操作領域から外れたことを、前記フィードバック表示で確認ができ、さらにその操作領域を任意の位置に移動させることができる。

次に、図１２を用いて本発明の第三の実施形態に係る映像表示装置１００による操作領域の設定およびフィードバック表示の設定処理の手順について説明する。

図１２は、本発明の第三の実施形態に係る映像表示装置１００による操作領域の設定およびフィードバック表示の設定処理の手順を示すフローチャートである。

第一の操作領域２０および第二操作領域１５０１の設定処理は、図１に示されたシステム制御部１２０が行う処理である。

まず、システム制御部１２０は、入力部１１０からのデータを解析して、ユーザ３０の手３２の認識処理を行う。

そして、手３２を認識したときには（Ｓ７００）、手３２の位置に合わせて操作領域２０を設定する（Ｓ７０１）。このとき、操作画面１８上にポインタ２６が表示される。

次に、手３２の位置の変化を認識し、手３２の位置に応じて、操作画面１８上のポインタ２６の位置を動かす（Ｓ７０２）。

さらに、再び、手３２が認識できているかを判定し（Ｓ７０３）、手３２が認識できないときには、操作領域２０を削除する（Ｓ７０６）。このとき、操作画面１８上のポインタ２６も消去され、処理はＳ７００に戻る。

手３２が認識できており、手３２の位置が第一の操作領域２０の内側から、第一の操作領域２０の外側に出た場合には（Ｓ７０４：Ｙｅｓ）、手３２と第一の操作領域２０との相対位置を計算し（Ｓ７０７）、手３２と第一の操作領域２０との相対位置を用いて、図１０（ｂ）に示されたような前記フィードバック表示を設定し（Ｓ７０８）、操作画面１８に表示する。さらに、手３２が認識できており、手３２の位置が第二の操作領域１５０１の外側に外れたかを判定し（Ｓ７０９）、そのときには、手３２の移動に応じて、第二の操作領域１５０１および第一の操作領域２０を移動させる。すなわち、第二の操作領域１５０１および第一の操作領域２０を手３２の動きに追従して移動させる（Ｓ７１０）。次に、図１１（ｃ）に示されたように第一の操作領域の移動可能な範囲の位置を表現する前記フィードバック表示を更新し（Ｓ７１１）、そして、Ｓ７０２に戻る。手３２が認識できており、手３２の位置が操作領域２０の外側に移動しない場合（Ｓ７０４：Ｎｏ）に、ユーザ３２が所定の操作で操作終了を指示したときには（Ｓ７０５）、処理を終了する。

なお、ユーザの手３２が第一の操作領域２０から外れて、まだ第二の操作領域１５０１の内側となったときには、２つの操作領域を手の動きと追従して移動させ、そして、ユーザの手３２が第二の操作領域１５０１から外れたときには、第二の操作領域１５０１に対して手３２が外れた方向や距離に応じて、操作画面１８上に、手が操作領域から外れていることを示す前記フィードバック表示を設定するようにしてもよい。

つまり、本発明の第三の実施形態の映像表示装置１００は、ある手の位置を検出するタイミングにおいて、図１３（ａ）に示されるように、手が第一の操作領域２０の中にあり、次の手の位置を検出するタイミングにおいて、図１３（ｂ）に示されるように、手３２が第一の操作領域２０の外側に出て、かつ、まだ第二の操作領域１５０１の内側にあるときには、第一の操作領域２０に対する手３２の位置や方向、距離に追従して、第一の操作領域２０および第二の操作領域１５０１を移動させる。そして、図１３（ｃ）に示されるように、図１３（ａ）に示される状態から、次の手の位置を検出するタイミングで、手３２が第二の操作領域１５０１の外側に出た（つまり、ユーザの手３２は図１３（ｂ）に示される状態になったときよりも速く移動された）ときは、第二の操作領域１５０１に対して、手３２が外れた方向や距離に応じて、操作画面１８上に、手３２が操作領域から外れていることを示すフィードバック画面を提示する。この仕組みにより、ユーザは手を動かし、操作領域から小さく外した場合には操作領域を手の動きに追従して移動させることができ、操作領域から大きく外した場合に、操作画面上の前記フィードバック表示により、手が操作領域から外れていることを認識することができる。

このように、本発明の映像表示装置の表示制御方法によれば、操作中にユーザの手が設定された仮想の操作領域から外れた際に、画面上でその状況を前記フィードバック表示で分かりやすく伝えられ、さらに一度設定した操作領域が、ユーザが手の動きに応じて動的に変更されるため、キャリブレーションのタイミングを途中で決める必用がなく、操作性を向上させることができる。

以上、第一の実施形態ないし第三の実施形態で説明してきたように、操作中にユーザの手が設定された仮想の操作領域から外れた際に、画面上でその状況をフィードバック表示で分かりやすく伝えられるため、ユーザが操作を円滑に行える。

１００…映像表示装置、１１０…入力部、１３０…映像信号処理部、１４０…表示部、１２１…手の位置検出部、１２２…位置判定処理部、１２３…操作領域設定部、１２４…手振り動作検出部、１０…ディスプレイ、１２…赤外線カメラ、１４…ＬＥＤ、１６…レンズ、１８…操作画面、１９…静止画像、２０…操作領域、２２…撮像領域面、２６…ポインタ、３０…ユーザ、３２…手

Claims (6)

1. ユーザの画像を撮像して、前記画像の画像データに対して画像認識を行い、当該画像認識の結果に基づいて、当該ユーザの操作の状況を提示する映像表示装置であって、
   前記ユーザに提示する映像を表示する表示部と、前記画像認識の結果に基づいて撮像領域面上で前記ユーザの手の位置の周囲に当該ユーザが操作可能な操作領域を設定すると共に、撮像領域内の当該ユーザの手の位置を検出した結果に基づいて当該ユーザの手の位置が当該操作領域の範囲外にある場合にその操作状況を前記表示部に表示させる制御部と、を備え、
   前記制御部は、前記操作領域とは別の第二の操作領域を設定し、前記ユーザの手の位置が当該第二の操作領域の範囲外に移動した場合に、当該操作領域及び当該第二の操作領域を当該ユーザの手の位置が移動した方向にその距離だけ移動して各操作領域を再設定すると共に、当該再設定された当該第二の操作領域の撮像領域面内の位置を前記表示部に表示させることを特徴とする映像表示装置。
2. 請求項１記載の映像表示装置において、
   前記制御部は、前記ユーザの手の位置が前記操作領域の範囲外にある場合に、当該操作領域から当該ユーザの手の位置までの距離と方向が分かるように前記表示部に表示させることを特徴とする映像表示装置。
3. 請求項１記載の映像表示装置において、
   前記制御部は、前記ユーザの手の位置が前記操作領域の範囲外にある場合であって、当該ユーザの手が所定の動きをした場合には、当該所定の動きを所定の操作として検出し、当該所定の操作に対する表示を前記表示部に行わせることを特徴とする映像表示装置。
4. ユーザの画像を撮像して、前記画像の画像データに対して画像認識を行い、当該画像認識の結果に基づいて、当該ユーザの操作の状況を提示する映像表示方法であって、
   映像表示装置に備えられる表示部により、前記ユーザに提示する映像を表示する表示ステップと、映像表示装置に備えられる制御部により、前記画像認識の結果に基づいて撮像領域面上で前記ユーザの手の位置の周囲に当該ユーザが操作可能な操作領域を設定すると共に、撮像領域内の当該ユーザの手の位置を検出した結果に基づいて当該ユーザの手の位置が当該操作領域の範囲外にある場合にその操作状況を前記表示ステップでの前記表示部に表示させる制御ステップと、を有し、
   前記制御ステップでは、前記制御部により、前記操作領域とは別の第二の操作領域を設定し、前記ユーザの手の位置が当該第二の操作領域の範囲外に移動した場合に、当該操作領域及び当該第二の操作領域を当該ユーザの手の位置が移動した方向にその距離だけ移動して各操作領域を再設定すると共に、当該再設定された当該第二の操作領域の撮像領域面内の位置を前記表示ステップでの前記表示部に表示させることを特徴とする映像表示方法。
5. 請求項４記載の映像表示方法において、
   前記制御ステップでは、前記制御部により、前記ユーザの手の位置が前記操作領域の範囲外にある場合に、当該操作領域から当該ユーザの手の位置までの距離と方向が分かるように前記表示ステップでの前記表示部に表示させることを特徴とする映像表示方法。
6. 請求項４記載の映像表示方法において、
   前記制御ステップでは、前記制御部により、前記ユーザの手の位置が前記操作領域の範囲外にある場合であって、当該ユーザの手が所定の動きをした場合には、当該所定の動きを所定の操作として検出し、当該所定の操作に対する表示を前記表示ステップでの前記表示部に行わせることを特徴とする映像表示方法。

Images