JP2013239089A - 表示制御装置、表示制御方法、情報表示システム、およびプログラム。 - Google Patents

Abstract

【課題】使用者の操作に用いる手指を簡便に判断する情報表示装置。
【解決手段】使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、使用者の身体の空間上の位置を検出する検出センサからの検出結果に基づいて、使用者の顔の向きに使用者の手が位置したことを認識したことに応じて、当該使用者の手を操作用の手として特定する特定部と、前記操作用の手の動きを認識して、表示装置の表示内容に対する操作指示を取得する指示取得部と、操作指示に応じて表示装置の表示内容を制御する表示制御部と、を備える表示制御装置を提供する。
【選択図】図１

Description

本発明は、表示制御装置、表示制御方法、情報表示システム、およびプログラムに関する。

従来、使用者のジェスチャー等を検出して情報の選択および表示等の指示を入力させ、当該使用者と、当該使用者の指示等に応じた情報とを表示する情報表示装置が知られている。（例えば、特許文献１および２参照）。
特許文献１ 特開２００１−２１６５２７号公報
特許文献２ 特開２０１０−７２７４９号公報
特許文献３ 特開２００６−２７７６６６号公報
特許文献４ 特表２００８−５１１０６９号公報
特許文献５ 特表２０１１−５０５６３９号公報

しかしながら、このような情報表示装置において、使用者の操作に用いる手指を簡便に判断することは難しかった。また、使用者の熟練の度合いによって、当該使用者の操作入力に対して感じる難易度の差が大きく、初心者用の入力ガイド表示は、熟練者にとっては煩わしい表示となってしまい、熟練者用にガイドを表示しないと初心者は入力方法に手間取ってしまうことがあった。

本発明の第１の態様においては、使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、使用者の身体の空間上の位置を検出する検出センサからの検出結果に基づいて、使用者の顔の向きに使用者の手が位置したことを認識したことに応じて、当該使用者の手を操作用の手として特定する特定部と、前記操作用の手の動きを認識して、表示装置の表示内容に対する操作指示を取得する指示取得部と、操作指示に応じて表示装置の表示内容を制御する表示制御部と、を備える表示制御装置、表示制御方法、情報表示システム、およびプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る情報表示システム１０の構成例を使用者２０と共に示す。 本実施形態に係る情報表示システム１０の変形例を使用者２０と共に示す。 本実施形態に係る情報表示システム１０の動作フローを示す。 本実施形態に係る表示制御装置３００として機能するコンピュータ１９００のハードウェア構成の一例を示す。

以下、本発明の実施の形態を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。

図１は、本実施形態に係る情報表示システム１０の構成例を使用者２０と共に示す。情報表示システム１０は、使用者の熟練度に応じて操作に用いる手指を判断し、当該使用者の操作指示等に応じた情報を表示する。本実施形態において、情報表示システム１０は、使用者２０の指示等に応じた情報を表示する例を説明する。

使用者２０は、情報表示システム１０に手指等のジェスチャー等で指示を入力し、ゲーム、メールの送受信、Ｗｅｂの閲覧、ソーシャルネットワークへの参加、画像または動画の閲覧、および文書編集等、情報の表示およびアプリケーションの実行等を指示する。情報表示システム１０は、表示装置１００と、検出センサ装置２００と、表示制御装置３００とを備える。

表示装置１００は、表示領域１１０に、使用者２０の指示に応じた情報を表示する。表示装置１００は、当該情報と共に、使用者２０を表示してもよい。表示装置１００は、使用者が複数いる場合、表示領域１１０を複数に分割し、当該複数の使用者に対応する情報を対応する表示領域にそれぞれ表示してもよい。また、表示装置１００は、使用者２０のシルエットを表示してもよい。

表示装置１００は、二次元画像または三次元画像を表示する、液晶ディスプレイ、プラズマディスプレイまたは有機エレクトロルミネッセンスディスプレイ等の電子表示装置であってよい。図１に示す例における表示領域１１０には、第１使用者２０の指示に応じて、カーソル、情報１１６およびアイコン等が表示される。

カーソルは、使用者２０の操作用の手２２に対応して表示される。表示装置１００が使用者２０の情報と共に使用者２０の鏡像を表示する場合、カーソルは、使用者２０の操作用の手２２の鏡像でよい。また、カーソルは、矢印等の図形であってもよい。ここで、表示装置１００が使用者２０を表示しない場合、カーソルは、予め定められた形状のポインタ画像でよい。また、カーソルは、使用者２０の指示または予め定めた設定により、表示されなくてもよい。図１は、カーソル表示をオフにした例を示す。

情報１１６は、例えば、ウィンドウ表示される文書、画像、動画、またはＷｅｂコンテンツである。これに代えて、情報１１６は、使用者２０が実行させたアプリケーションの実行画面であってもよい。

検出センサ装置２００は、使用者２０の身体の空間上の位置を検出する。検出センサ装置２００は、表示装置１００を使用する使用者が複数いる場合、当該複数の使用者を検出してよい。検出センサ装置２００は、使用者２０の身体の一部または全体の二次元および／または三次元空間上の位置を検出してよい。検出センサ装置２００は、例えば、光波測距センサおよび／またはビデオカメラ等の撮像部を有する。

光波測距センサは、光波測距を用いて距離データの画像を生成し、生成した距離データの画像から使用者を検出する。一例として、光波測距センサは、赤外線等の光を照射する投光器、集光レンズ等の光学系、および、複数の画素を含み、画素毎に使用者からの反射光の検出時間を測定する測距素子を有する。光波測距センサは、使用者に赤外線等を照射し、その反射光を光学系により測距素子の受光面上に結像させ、測距素子の各画素が測定した反射光の検出時間を画像内の各画素の輝度値等に対応付けすることで、使用者の光波測距センサからの距離情報を含む画像を取得する。

このように、光波測距センサは、三次元空間上の位置情報と共に使用者の画像を取得するので、使用者と背景画像とを分離することができる。また、光波測距センサは、このような検出を連続して実行することで、使用者の体の動き等を検出することができる。また、光波測距センサは、使用者を体、頭、上腕、下腕、手指、上腿、および下腿等に分離して各部を検出し、各部毎の検出を連続することで使用者のジェスチャーを精度よく検出してよい。

撮像部は、使用者を撮像する。撮像部は、１又は複数のビデオカメラを有し、使用者２０を含む画像を取得して使用者２０を検出する。撮像部は、撮像した画像より、画像処理によって各使用者を検出してよい。例えば、撮像部は、使用者２０を時間的に連続して撮像した連続画像から、一つ前に撮像された画像との差分を算出した複数の差分画像を取得して、使用者２０の動き等を検出する。これに代えて、撮像部は、２以上の視点から使用者２０の画像を撮像して使用者２０の視差画像を取得し、当該視差画像の視差情報に基づいて、使用者２０の動き等を検出してもよい。

ここで、検出センサ装置２００は、上記の光波測距センサおよび撮像部を有し、使用者２０の距離情報および動画像をそれぞれ検出し、使用者２０の動きの検出感度を向上させてよい。検出センサ装置２００は、使用者２０の検出結果を表示制御装置３００に供給する。

表示制御装置３００は、使用者の手の動きに応じて表示装置１００の表示内容を制御する。即ち、表示制御装置３００は、検出センサ装置２００の検出結果を入力し、使用者２０の動きの検出結果から当該使用者２０の指示を特定し、当該指示に応じて表示装置１００の表示内容を制御する。表示制御装置３００は、指示取得部３１０と、特定部３２０と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０と、を有する。

指示取得部３１０は、使用者２０の操作用の手２２の動きを認識して、表示装置１００の表示内容に対する操作指示を取得する。指示取得部３１０は、検出センサ装置２００に接続され、検出センサ装置２００の検出結果に基づき、使用者２０の動きから使用者２０の指示を検出する。

例えば、指示取得部３１０は、表示装置１００の前で人が立ち止まったことに応じて、当該立ち止まった人を使用者２０として認識して使用者２０のジェスチャー入力の検出を開始する。また、指示取得部３１０は、使用者２０が表示装置１００の前から立ち去ったことに応じて、当該使用者２０のジェスチャー入力の検出を停止して使用者２０としての認識を解除してよい。指示取得部３１０は、使用者の人数の増減を検出してよい。

また、指示取得部３１０は、使用者２０の右手または左手を操作用の手２２とし、表示装置１００に表示された情報等への選択、選択解除、移動、および実行等の指示を検出してよい。また、指示取得部３１０は、表示装置１００が情報をＧＵＩによる操作入力を有するウィンドウ表示する場合に、当該操作入力に対応する使用者２０の手指等からの指示を検出してよい。

例えば、指示取得部３１０は、使用者２０が手のひらまたは指を表示装置１００の表示面に向けて押す動作を検出することで、情報の選択、ボタンの押し下げ、およびウィンドウの切り替え等の指示を検出する。また、使用者２０が手のひらまたは指を表示装置１００の表示面に向けて繰り返し押す動作を検出することで、アプリケーションの実行等の指示を検出してよい。

また、使用者２０が画面上の情報を選択した後に、選択した手のひらまたは指を移動させる動作を検出することで、情報の画面上での移動、および移動先のアプリケーション実行等の指示を検出してよい。ここで、指示取得部３１０は、使用者２０が選択指示をし、かつ、選択指示をした手指の表示装置１００における表示位置に情報が表示されている場合、使用者２０の当該情報の選択を検出してよい。指示取得部３１０は、検出センサ装置２００が撮像部等を有し、撮像した画像を送信する場合は、使用者２０を撮像した画像を入力する画像入力部として機能してよい。

特定部３２０は、使用者２０の身体の空間上の位置を検出する検出センサ装置２００からの検出結果に基づいて、使用者２０の顔の向きに使用者２０の手が位置したことを認識したことに応じて、当該使用者２０の手を操作用の手２２として特定する。図１において、使用者２０は、使用者２０の顔の向きに右手を移動させた例を示す。特定部３２０は、このような使用者２０の顔と右手の動作から、当該使用者２０の右手を操作用の手２２として特定する。

例えば、特定部３２０は、検出センサ装置２００からの検出結果に基づいて、使用者２０の顔の向きと顔の輪郭を特定する。一例として、特定部３２０は、使用者２０の顔の輪郭を通り、顔の向きに垂直な断面が当該輪郭とほぼ同じ形状の筒状の空間領域を、使用者の顔の向きに合わせて形成し、当該空間領域内に使用者２０の手が位置したことを認識したことに応じて、その手を操作用の手２２として特定する。ここで、特定部３２０が形成する筒状の空間領域を、図１において点線で示す。当該空間領域は、特定部３２０が仮想的に形成する領域であり、使用者２０の顔の向きの変化に応じて当該空間領域の位置も変化する。

これに代えて、特定部３２０は、検出センサ装置２００からの検出結果に基づいて、使用者２０の顔の向きを特定してもよい。一例として、特定部３２０は、使用者２０の顔に接する予め定められた形状および面積の平面を底面とし側面を顔の向きと平行にした、使用者２０の顔の位置から顔の向きの方向へ予め定められた長さの柱状の空間領域を仮想的に形成する。特定部３２０は、当該柱状の空間領域内に位置した使用者２０の手を操作用の手２２として特定してよい。ここで、予め定められた形状は、例えば、円形、楕円形、多角形等の形状である。

人間の顔の輪郭の広さは個人間で大きな差異はないことから、このように、底面を予め定められた面積に固定することによって、使用者２０の輪郭を特定する必要が無くなるため、演算処理にかかる負荷を軽減できる。また、柱状の空間領域の長さを予め定められた長さにすれば、使用者２０と検出センサ装置２００との間に使用者２０以外の物が通過しても、柱状の空間領域を遮って通過する可能性は低くすることができ、誤認識を防止することができる。

特定部３２０は、使用者２０の顔の向きを特定する。この場合、特定部３２０は、画像処理等によって、使用者２０の頭部、顔の輪郭、鼻の位置、目の位置、および／または口の位置等を検出することによって、使用者２０の顔の向きを算出してよい。また、特定部３２０は、使用者２０の画像から視線の方向を検出してもよい。この場合、特定部３２０は、使用者２０の目の白目および黒目の画像から、黒目の向いている方向を検出して視線の方向を判断してよい。

また、特定部３２０は、検出センサ装置２００からの検出結果に基づいて、使用者２０の操作モードを特定する。例えば、特定部３２０は、使用者２０の操作モードを、初心者用の操作モードまたは熟練者用の操作モードに特定する。本実施例において、初心者用の操作モードを第１の操作モードとし、熟練者用の操作モードを第２の操作モードとする。特定部３２０は、特定した使用者２０の操作用の手２２および使用者２０の操作モードの情報を、記憶部３３０に記憶する。

記憶部３３０は、使用者２０に対して表示すべき情報を記憶する。記憶部３３０は、文書、画像、動画、Ｗｅｂコンテンツ、ＵＲＬ、およびアプリケーション等の情報を記憶してよい。また、記憶部３３０は、使用者２０が複数の場合は、それぞれの使用者に対応する情報を、それぞれの使用者に対応づけて記憶してよい。

また、記憶部３３０は、使用者の動作パターンを記憶してもよい。この場合、指示取得部３１０は、記憶された動作パターンと検出された使用者の動作とを比較することで、使用者のジェスチャー入力による指示を検出することができる。また、記憶部３３０は、それぞれの使用者の画像情報を記憶してもよい。この場合、指示取得部３１０は、記憶された使用者と検出された使用者とを比較し、使用者がマッチングした場合に、当該使用者が過去に表示した情報を現在の表示領域１１０に表示させる指示を検出したと判断してよい。

実行部３４０は、指示取得部３１０が検出したアプリケーションの実行の指示に応じて、当該アプリケーションを実行する。実行部３４０は、予め記憶されたメール送受信、文書編集、画像表示、動画再生、Ｗｅｂブラウザ、および表示システム１０の設定等のアプリケーションプログラムを実行してよい。また、実行部３４０は、アプリケーションのインストールおよびアンインストール等を、指示に応じて実行してよい。

実行部３４０は、当該アプリケーションの実行画面を表示させるべく、実行画面の情報を当該使用者２０に対応づけて記憶部３３０に記憶してよい。また、実行部３４０は、当該アプリケーションの実行画面を表示領域１１０に表示させるべく、実行画面の情報を表示制御部３５０に供給してもよい。

表示制御部３５０は、使用者２０の操作指示に応じて表示装置１００の表示内容を制御する。表示制御部３５０は、記憶部３３０に記憶された使用者２０に対応付けられた情報を、表示領域１１０に表示してよい。また、表示制御部３５０は、記憶部３３０の記憶が更新される毎に、更新された情報を表示領域１１０に表示してよい。また、表示制御部３５０は、指示取得部３１０の検出した指示に応じた情報を表示してもよい。

表示制御部３５０は、使用者２０が表示指示した情報を、表示領域１１０にウィンドウ表示させてよい。また、表示制御部３５０は、使用者２０の指示に応じた情報を、使用者２０を撮像した画像と共に表示制御してもよい。これに代えて、表示制御部３５０は、指示に応じた情報を、使用者２０を撮像したシルエット画像と共に表示制御してもよい。

表示制御部３５０は、使用者２０の画像に重ねて、当該情報を表示制御してよい。これに代えて、表示制御部３５０は、当該情報に重ねて、当該使用者２０の画像を表示制御してよい。表示制御部３５０は、予め定められた表示優先順位に応じて、使用者２０の情報および使用者の画像を重ねて表示してよい。

図１の例において、表示制御部３５０は、使用者２０の指示に応じた情報１１６等を、対応する表示領域１１０にウィンドウ表示する。また、表示制御部３５０は、使用者２０の操作用の手２２に対応づけられたカーソル、アプリケーションのアイコン、および使用者２０の画像等を、表示領域１１０に表示する。

カーソル制御部３６０は、使用者２０の操作指示に応じて、表示装置１００に表示された操作対象を選択するカーソルを表示させる。即ち、カーソル制御部３６０は、使用者２０の操作用の手２２の移動等を検出した検出結果を指示取得部３１０から受け取り、当該操作用の手２２の移動に対応して、カーソルを表示および移動させる指示を表示制御部３５０に供給する。

カーソル制御部３６０は、使用者２０の顔または目が向いている方向に操作用の手２２がある場合には、使用者の顔または目と手の延長上にカーソルを表示してよい。この場合、カーソル制御部３６０は、指示取得部３１０から操作用の手２２の中心位置の座標および使用者２０の顔または目の座標等を含む操作指示を取得し、使用者２０の操作用の手２２の動きに応じてカーソルを表示装置１００の表示領域１１０内で動かしてよい。

また、カーソル制御部は、使用者２０の顔が向いている方向に操作用の手２２がない場合には、使用者２０の手の移動に応じてカーソルを表示制御してよい。この場合、カーソル制御部３６０は、指示取得部３１０から操作用の手２２の中心位置の座標を含む操作指示を取得し、使用者２０の操作用の手２２の動きに応じてカーソルを表示装置１００の表示領域１１０内で動かしてよい。カーソル制御部３６０は、カーソルの表示領域１１０内の座標情報を表示制御部３５０に供給してよい。

以上の表示装置１００は、表示制御装置３００の表示制御に応じた表示内容を表示する。また、情報表示システム１０は、使用者２０を検出し、検出した使用者２０のジェスチャー入力に応じた情報を表示領域１１０に表示する。情報表示システム１０は、使用者２０の操作用の手２２を、使用者２０のジェスチャー入力によって特定しつつ、使用者２０の入力モードを特定する。

図２は、本実施形態に係る情報表示システム１０の変形例を使用者２０と共に示す。本変形例の情報表示システム１０において、図１に示された本実施形態に係る情報表示システム１０の動作と略同一のものには同一の符号を付け、説明を省略する。本変形例の情報表示システム１０の表示装置１００は、特定領域１２０を有する。

特定領域１２０は、使用者２０による操作用の手指の指示を検出する検出部の一部である。特定領域１２０は、表示領域１１０内に表示されてよく、これに代えて、表示領域１１０外に設けられてよい。特定領域１２０は、表示装置１００に、複数設けられてよい。本例において、特定領域１２０は、表示領域１１０内の使用者２０から見て右上部および左上部に表示される例を説明する。特定領域１２０は、予め定められた色、模様、形状等で表示されてよい。

特定領域１２０は、表示装置１００の動作中において常に表示されなくてよく、この場合、使用者２０のカーソル等が当該特定領域１２０近辺に移動した場合に表示されることが望ましい。これに代えて、特定領域１２０は、表示装置１００の動作中において表示されてよく、この場合、使用者２０のカーソル等が当該特定領域１２０近辺に移動した場合に、異なる色、異なる線幅、異なる形状、または点滅等で表示されてよい。

本変形例の特定部３２０は、使用者２０の身体の空間上の位置を検出する検出センサ装置２００からの検出結果に基づいて、使用者２０の顔の位置と表示装置１００の特定領域１２０との間に使用者２０の手が位置したことを認識したことに応じて、当該使用者２０の手を操作用の手２２として特定する。特定部３２０は、このような使用者２０の顔と右手の動作から、当該使用者２０の右手を操作用の手２２として特定する。

ここで、特定部３２０は、使用者２０の顔が特定領域１２０に向き、かつ、使用者２０の顔と表示装置１００の特定領域１２０との間に使用者２０の手が位置したことを認識したことに応じて、当該使用者２０の手を操作用の手として特定してもよい。即ち、本変形例の情報表示システム１０は、特定領域１２０を有し、使用者２０の顔の向きに使用者の手が位置したことを認識したことに応じて、当該使用者２０の操作用の手を特定する。図２は、使用者２０の目と特定領域１２０との間の空間の中に右手を移動させた例を示す。

図３は、本実施形態に係る情報表示システム１０の動作フローを示す。情報表示システム１０は、Ｓ２００からＳ２７０までの処理により、使用者２０の指示に応じた情報を表示装置１００に表示する。

表示制御装置３００は、まず、初期設定として、使用者２０の操作モードを第２の操作モードに設定する（Ｓ２００）。ここで表示制御装置３００は、使用者２０の操作モードを記憶部３３０に記憶してよい。次に、情報表示システム１０は、表示装置１００の前の使用者２０を検出する（Ｓ２１０）。

例えば、指示取得部３１０は、検出センサ装置２００の検出結果に基づき、人が表示装置１００の前に立ったことに応じて、当該人を使用者２０として検出する。指示取得部３１０は、１以上の使用者２０が検出されるまで使用者２０の検出を繰り返す。

次に、指示取得部３１０は、使用者２０の表示装置１００に対する情報表示の指示を検出する（Ｓ２２０）。使用者２０は、情報表示の指示を手指等を用いたジェスチャーによって入力してよい。

例えば、指示取得部３１０は、使用者２０の操作用の手２２が特定されている場合、使用者２０の画像の操作用の手２２に対応する領域の変化を、予め記憶した多数の手の立体パターンの変化、輪郭パターンの変化またはシルエットパターンの変化等とそれぞれ対比する。これにより、指示取得部３１０は、使用者の操作用の手２２のジェスチャー等の動きを検出して、当該ジェスチャー等の動きから操作指示を取得してよい。

また、指示取得部３１０は、カーソルがアイコンと重なった状態で、使用者２０が操作用の手で予め定められたジェスチャー等をしたことを認識した場合、当該アイコンに対応するアプリケーションに関連する操作指示を検出してよい。この場合、指示取得部３１０は、アプリケーションの実行を検出してよく、また、使用者２０がファイル等の情報を選択したままアプリケーションの操作指示を出した場合は、当該ファイルを当該アプリケーションに入力させて実行してよい。

ここで、予め定められたジェスチャーは、開いた手を握った状態にすること、握った手を開くこと、手を左右方向に振ること、手を上下方向に動かすこと、手でボタンを押す動作をすること、手でクリックまたはダブルクリックする動作をすること、手で円を描く動作をすること、手を一定時間静止させること、一部または全ての指を動かすこと、その他の手の運動またはこれらの組み合わせであってよい。

ここで、アプリケーションに関連する指示は、当該アプリケーションの実行、削除、またはプロパティの表示等であってよい。指示取得部３１０は、カーソルがアイコンと重なった状態で、操作用の手２２がボタンを押す動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの実行指示を検出してよい。

また、指示取得部３１０は、カーソルがアイコンと重なった状態で、操作用の手２２が円を描く動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの終了指示を検出してよい。また、指示取得部３１０は、カーソルがアイコンと重なった状態で、操作用の手２２を開いた状態から握った状態にさせ、更に当該操作用の手２２を握った状態のまま移動させたことを検出した場合、操作用の手２２の位置と連動させて当該アイコンをドラッグする指示を検出してよい。

また、指示取得部３１０は、当該操作用の手２２が握った状態から開いた状態になったこと検出した場合、当該アイコンを操作用の手２２の位置でドロップする指示を検出してよい。指示取得部３１０は、使用者が複数の場合、使用者毎に、検出した指示に応じて、当該指示を特定部３２０、実行部３４０、表示制御部３５０、またはカーソル制御部３６０に供給する。

指示取得部３１０は、使用者２０の操作用の手２２が特定されていない場合において、使用者２０の顔の向きに使用者２０のいずれか一方の手が位置したことに応じて、使用者２０が操作用の手を指示する操作特定指示を検出してよい。これに代えて、指示取得部３１０は、使用者２０の顔が特定領域１２０に向き、かつ、使用者２０の顔と特定領域１２０との間の空間内に使用者２０のいずれか一方の手が位置したことに応じて、当該操作特定指示を検出してもよい。

また、指示取得部３１０は、使用者２０の操作用の手２２が特定されている場合において、使用者２０の顔の向きに使用者２０の操作用の手２２が位置したことに応じて、操作特定指示を検出してよい。これに代えて、指示取得部３１０は、使用者２０の顔が特定領域１２０に向き、かつ、使用者２０の顔と特定領域１２０との間に使用者２０の操作用の手２２が位置したことに応じて、当該操作特定指示を検出してよい。

また、指示取得部３１０は、使用者２０の操作用の手２２が特定されている場合において、使用者２０の顔の向きに使用者２０の操作用の手２２とは反対側の手が位置したことに応じて、操作特定指示を検出してよい。これに代えて、指示取得部３１０は、使用者２０の顔が特定領域１２０に向き、かつ、使用者２０の顔と特定領域１２０との間の空間内に使用者２０の操作用の手２２とは反対側の手が位置したことに応じて、当該操作特定指示を検出してよい。

指示取得部３１０は、操作特定指示を検出した場合、当該指示を特定部３２０に供給する（Ｓ２３０）。特定部３２０は、使用者２０の顔の向きに位置した使用者２０の手を、当該使用者２０の操作用の手２２として特定する（Ｓ２４０）。

ここで、特定部３２０は、使用者２０の操作用の手２２が特定されている場合においても、使用者２０の顔の向きに位置した使用者２０の手を、当該使用者２０の操作用の手２２として特定する。これによって、特定部３２０は、使用者２０に、特定された一方の操作用の手２２から特定されていない他方の手へと操作用の手２２を変更させることができる。また、これによって、特定部３２０は、後述するように、使用者２０に、操作モードを変更させることができる。

次に、特定部３２０は、使用者２０の操作モードが第２の操作モードであるか否かを確認する（Ｓ２４２）。特定部３２０は、当該操作モードが記憶部３３０に記憶されている場合は、記憶部３３０から当該情報を得る。

特定部３２０は、使用者２０の操作モードが第２の操作モードの場合、当該操作モードを第１の操作モードに設定する（Ｓ２５０）。即ち、特定部３２０は、初期設定の状態から使用者２０が操作用の手２２を情報表示システム１０に入力させると、当該使用者２０の操作モードを初心者用のモードにする。また、特定部３２０は、使用者２０が操作モードを熟練者用のモードから初心者用のモードに変更したい場合、使用者２０が特定されている操作用の手２２を用いて操作特定指示を出すことで、当該使用者２０の操作モードを初心者用のモードに変更させる。

ここで、特定部３２０は、熟練者モードの使用者２０が操作用の手２２を変更させたい場合に、使用者２０が特定されている操作用の手２２とは反対側の手を用いて操作特定指示を出すと、操作用の手２２を変更すると共に当該使用者２０の操作モードを初心者用のモードに変更させる。このような場合、特定部３２０は、使用者２０が操作特定指示を出して変更させた操作用の手２２を用いて再び操作特定指示を出すことで、操作モードを熟練者モードに戻すことができる。

特定部３２０は、使用者２０の操作モードが第１の操作モードの場合、当該操作モードを第２の操作モードに設定する（Ｓ２６０）。即ち、特定部３２０は、使用者２０が操作モードを初心者用のモードから熟練者用のモードに変更したい場合、使用者２０が特定されている操作用の手２２を用いて操作特定指示を出すことで、当該使用者２０の操作モードを熟練者用のモードに変更させる。

ここで、特定部３２０は、初心者用のモードの使用者２０が操作用の手２２を変更させたい場合に、使用者２０が特定されている操作用の手２２とは反対側の手を用いて操作特定指示を出すと、操作用の手２２を変更すると共に当該使用者２０の操作モードを熟練者用のモードに変更させる。このような場合、特定部３２０は、使用者２０が操作特定指示を出して変更させた操作用の手２２を用いて再び操作特定指示を出すことで、操作モードを初心者用のモードに戻すことができる。

以上のように、特定部３２０は、使用者２０の操作特定指示に応じて、当該使用者２０の操作用の手２２および操作モードを特定する。表示制御装置３００は、特定部３２０の特定の後に、Ｓ２１０に戻り、使用者の検出と、使用者の指示の検出を実行する。

指示取得部３１０は、使用者２０の指示が操作特定指示以外の場合、使用者２０の指示に応じて当該指示を実行部３４０、表示制御部３５０、またはカーソル制御部３６０に供給して対応する情報を表示装置１００に表示する（Ｓ２７０）。即ち、表示制御部３５０は、使用者２０の指示に応じた情報を、表示領域１１０に表示する。

例えば、表示制御部３５０は、指示取得部３１０から供給された指示に基づき、表示装置１００に情報を表示する。例えば、検出センサ装置２００が撮像した使用者の画像を表示する場合、当該画像を指示取得部３１０から受け取り、表示領域１１０に表示する。また、表示制御部３５０は、使用者の情報を移動させる指示を指示取得部３１０から受け取ったことに応じて、当該情報を移動させてよく、また、記憶部３３０が表示位置を記憶している場合は記憶部３３０の情報を更新してよい。

また、表示制御部３５０は、実行部３４０からの実行画面の情報を受け取った場合、表示領域１１０に当該実行画面を表示する。また、表示制御部３５０は、カーソル制御部３６０からのカーソル表示の情報を受け取った場合、表示領域１１０に当該カーソルを表示する。また、表示制御部３５０は、記憶部３３０に記憶された情報に応じて、表示装置１００に当該情報を表示する。

ここで、例えば、表示制御部３５０は、第１の操作モードにおいて、使用者２０の操作指示に応じて、表示装置１００に表示された操作対象を選択するためのカーソルを表示させる。また、表示制御部３５０は、第１の操作モードにおいて、検出センサ装置２００からの情報に基づいて使用者２０の操作用の手２２の位置に対応する画面上の位置を示すシルエット画像を、表示装置１００に表示させてもよい。

このように、表示制御部３５０は、使用者２０の操作モードが初心者モードの場合に、カーソルまたはシルエット画像等の使用者２０のジェスチャー入力を補助する情報を表示する。この場合、表示制御部３５０は、操作説明を記述した文書等をウィンドウ表示させたヘルプウィンドウを、表示領域１１０の情報が表示されていない領域等に表示してもよい。

また、表示制御部３５０は、第２の操作モードにおいては、カーソルを表示しなくてもよい。表示制御部３５０は、使用者２０が熟練者の場合、ジェスチャー入力を補助する情報等を表示しないので、使用者２０は、直感的な操作で速やかに情報を表示させることができる。

ここで、カーソル制御部３６０は、使用者２０の顔が向いている方向に操作用の手２２がない場合には、カーソルを表示させなくてもよい。例えば、使用者２０が熟練者の場合、手の動き等は手元で速やかに実行する場合があるので、カーソル制御部３６０は、このような手元で操作している使用者２０に対して熟練した操作入力をしているとして、カーソルを表示させない。このように、カーソル制御部３６０が使用者２０の操作入力に応じて、カーソルの表示を制御することで、使用者２０の習熟度に応じた情報を表示させることができる。

情報表示システム１０は、Ｓ２１０に戻り、使用者２０の検出と、使用者２０の指示の検出と、使用者２０の指示に応じた情報の表示とを繰り返す。以上の本実施例に係る情報表示システム１０は、使用者２０の指示を検出し、当該指示に応じて操作用の手２２の特定、操作モードの特定、および情報の表示を実行する。

ここで、情報表示システム１０は、使用者２０が表示させていた情報、特定した操作用の手２２の情報、複数回利用した情報またはアプリケーション等の情報、および予め使用者２０が登録した情報等を、使用者２０と対応づけて使用者２０の画像と共に記憶部３３０に記憶させてよい。また、この場合、指示取得部３１０は、使用者２０を検出する場合に画像比較等の処理を実行して、記憶された使用者候補画像と検出された使用者画像が同一であるか否かを検出してよい。

指示取得部３１０は、記憶された使用者候補画像と検出された使用者画像が同一の場合、記憶された使用者２０の操作特定指示があったものとして当該指示を特定部３２０に供給する。特定部３２０は、記憶された使用者２０を認識したことに応じて記憶された操作用の手２２を設定してよい。また、表示制御部３５０は、記憶された使用者２０に対応する情報、アプリケーション等を表示してよい。これによって、情報表示システム１０は、予め登録された使用者２０が表示装置１００の前に立つことで、当該登録された使用者２０に対応する情報を表示することができる。

例えば、情報表示システム１０は、使用者２０が表示装置１００の前に立つと、使用者２０の登録したＵＲＬのウェブサイトを表示するウィンドウを表示領域１１０に表示しつつ、使用者２０に熟練者モードで速やかな入力を開始させることができる。また、記憶された使用者が初心者の場合または初心者モードで入力したい場合は、情報表示システム１０の動作開始と同様に操作特定指示を出すことで、初心者モードに切り替えることができる。

図４は、本実施形態に係る表示制御装置３００として機能するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び、表示装置１００として機能しうる表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部を備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部を制御する。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイス２０３０は、実行部３４０の指示によって外部のネットワークと通信するハードウェアとして機能する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を表示制御装置３００として機能させるプログラムは、指示取得モジュールと、特定モジュールと、記憶モジュールと、実行モジュールと、表示制御モジュールと、カーソル制御モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、指示取得部３１０と、特定部３２０と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０としてそれぞれ機能させてよい。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である指示取得部３１０と、特定部３２０と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の表示制御装置３００が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、予め定められた条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 表示システム、２０ 使用者、２２ 操作用の手、１００ 表示装置、１１０ 表示領域、１１６ 情報、１２０ 特定領域、２００ 検出センサ装置、３００ 表示制御装置、３１０ 指示取得部、３２０ 特定部、３３０ 記憶部、３４０ 実行部、３５０ 表示制御部、３６０ カーソル制御部、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ

Claims (11)

1. 使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、
   当該使用者の身体の空間上の位置を検出する検出センサからの検出結果に基づいて、当該使用者の顔の向きに当該使用者の手が位置したことを認識したことに応じて、当該使用者の手を操作用の手として特定する特定部と、
   前記操作用の手の動きを認識して、前記表示装置の表示内容に対する操作指示を取得する指示取得部と、
   前記操作指示に応じて前記表示装置の表示内容を制御する表示制御部と、
   を備える表示制御装置。
2. 前記特定部は、当該使用者の顔が前記表示装置の特定領域に向き、かつ、当該使用者の顔と前記表示装置の前記特定領域との間に当該使用者の手が位置したことを認識したことに応じて、当該使用者の手を前記操作用の手として特定する請求項１に記載の表示制御装置。
3. 前記特定部は、
   前記センサからの検出結果に基づいて、当該使用者を認識したことに応じて第１の操作モードに特定し、
   当該使用者の顔の向きに当該使用者の手が位置したことを認識したことに応じて第２の操作モードに特定する請求項１または２に記載の表示制御装置。
4. 前記第１の操作モードにおいて、当該使用者の前記操作指示に応じて、前記表示装置に表示された操作対象を選択するカーソルを表示させるカーソル制御部を更に備える請求項３に記載の表示制御装置。
5. 前記カーソル制御部は、当該使用者の顔または目が向いている方向に前記操作用の手がある場合には、当該使用者の顔または目と手の延長上に前記カーソルを表示する請求項４に記載の表示制御装置。
6. 前記表示制御部は、前記第１の操作モードにおいて、前記センサからの情報に基づいて前記操作用の手の位置に対応する画面上の位置を示すシルエット画像を、前記表示装置に表示させる請求項３から５のいずれか一項に記載の表示制御装置。
7. 前記カーソル制御部は、当該使用者の顔が向いている方向に前記操作用の手がない場合には、当該使用者の手の移動に応じて前記カーソルを表示制御する請求項４または５に記載の表示制御装置。
8. 前記カーソル制御部は、当該使用者の顔が向いている方向に前記操作用の手がない場合には、前記カーソルを表示させない請求項４または５に記載の表示制御装置。
9. 当該使用者の身体の空間上の位置を検出する検出センサと、
   前記検出センサの検出結果が入力される請求項１から８のいずれか一項に記載の表示制御装置と、
   前記表示制御装置の制御に応じた表示内容を表示する表示装置と、
   を備える情報表示システム。
10. 使用者の手の動きに応じて表示装置の表示内容を制御する表示制御方法であって、
    当該使用者を撮像した画像を入力する画像入力段階と、
    入力した画像中において、当該使用者の顔の向きに当該使用者の手が位置したことを認識したことに応じて、当該使用者の手を操作用の手として特定する特定段階と、
    前記操作用の手の動きを認識して、前記表示装置の表示内容に対する操作指示を取得する指示取得段階と、
    前記操作指示に応じて前記表示装置の表示内容を制御する表示制御段階と、
    を備える表示制御方法。
11. 請求項１０に記載の表示制御方法を、コンピュータにより実行させるプログラム。

Images