JP2011192081A - 情報処理装置及びその制御方法 - Google Patents

Abstract

【課題】操作者が特定の領域への移動を余儀なくされることなく、異なる空間領域に割り当てられているアプリケーションの起動や操作を行える情報処理装置及びその制御方法を提供すること。
【解決手段】情報処理装置１００は、操作者の位置とその検出対象部位との相対位置を算出する相対位置算出部１０８と、検出対象部位に係るジェスチャー種別を判定するジェスチャー判定部１０９を備える。空間管理部１１０は、前記相対位置及び前記ジェスチャー種別に対応するアプリケーションの管理情報を保持し、操作者が操作指示を行う空間領域を各アプリケーションに割り当てる。操作決定部１１１は、前記相対位置と前記ジェスチャー種別の情報を取得し、該当するアプリケーションに対する操作内容を決定して制御部１０５に通知する。制御部１０５は操作内容に従ってアプリケーションを制御する。
【選択図】図１

Description

本発明は、操作者の身体的な動きを検出してアプリケーションを操作する情報処理装置及びその制御方法に関するものである。

操作者の身振りや手振り（以下、ジェスチャーという）を検知することで、装置の動作を制御するジェスチャーユーザインターフェース（以下、ジェスチャーＵＩという）が普及しつつある。このジェスチャーＵＩでは、従来、機器の操作に使われていたリモートコントローラが不要になるだけでなく、より直感的な操作が可能となるため、将来の機器操作方法として着目されている。しかし操作者が記憶可能であって、かつ再現時に区別可能なジェスチャーの種別（以下、ジェスチャーパターンという）の数は有限である。そのため、テレビジョン受像機のように複数のアプリケーションを同時に実行する機器への適用が困難となる。すなわち各アプリケーションの操作に対して、それぞれに全く異なるジェスチャーパターンを割り当てると、操作者が記憶すべきジェスチャーパターンの数が膨大となり、使いこなすことが難しくなる。

そこで、ジェスチャーパターンの数を減らすために、多くのアプリケーションで用いる操作、例えば上下左右のカーソル移動等の操作を、共通のジェスチャーにすることが考えられる。しかし、この方法ではアプリケーションを指定するためのジェスチャーが別途必要となるため、操作者が記憶すべきジェスチャーパターンの数はその分増加してしまう。従来、ジェスチャーパターンの数を増やすことなく複数のアプリケーションを操作する方法が知られている。特許文献１では、タッチパネル等の平面入力装置において、特定の領域でのジェスチャー操作に、アプリケーションの起動や操作を割り当てている。

特開２０００−３３０７１１号公報

上述した従来の技術では、カメラなどによる撮影画像を用いてジェスチャーの認識手段を機器に講じた場合、該手段は平面における特定の領域のみを判断している。このため操作者は、異なるアプリケーションを操作するために、割り当てに応じて、撮影画像の特定領域に自分が映るように場所を移動しなければならなかった。
そこで本発明は、操作者とジェスチャーの部位との相対的な位置関係に基づいて、複数のアプリケーションの起動や操作を制御する。本発明は、操作者が特定領域に移動することなく、複数のアプリケーションの起動や操作を行う技術の提供を目的とする。

上記課題を解決するために本発明に係る装置は、操作者の動作を検出してアプリケーションを制御する情報処理装置であって、前記操作者における検出対象部位の相対位置を算出する位置算出手段と、前記検出対象部位の形状を判別する判別手段と、前記アプリケーションを制御するための管理情報を保持し、前記操作者の動作により操作指示を行う空間領域を前記アプリケーションに割り当てる空間管理手段と、前記空間領域にて前記操作者の動作により操作指示が行われた場合、前記相対位置に基づいて前記空間領域に対応するアプリケーションを決定し、前記判別手段による判別情報及び前記管理情報を用いて当該アプリケーションに対する操作内容を決定する操作決定手段を備える。

本発明では、前記空間領域をアプリケーション毎に割り当て、設定された空間領域内で行われる動作、つまり操作者の検出対象部位の動きを判別する。これにより、操作者は特定の領域に移動することなく、複数のアプリケーションを操作できるので操作性が向上する。

本発明の一実施形態に係る情報処理装置の構成例を示すブロック図である。 図３乃至８と併せて本発明の第１実施形態を説明するために、情報処理装置と操作者の位置関係を示す概略図である。 空間領域の管理情報の設定手順例を説明するフローチャートである。 ジェスチャーパターンを例示した説明図である。 空間領域の割り当て例を説明する図である。 相対位置の算出手順例を説明するフローチャートである。 撮影画像例を（Ａ）に示し、顔領域及び手領域を（Ｂ）に示し、距離センサ入力部が取得した距離画像例を（Ｃ）に示す図である。 操作内容の判別及び決定の手順例を説明するフローチャートである。 本発明の第２実施形態に係る情報処理装置にて空間領域の再構成手順を説明するフローチャートである。 図１１乃至１３と併せて本発明の第３実施形態を説明するために、空間領域の再構成手順例を説明するフローチャートである。 アプリケーション起動後のＧＵＩ表示例を（Ａ）に示し、空間領域の割り当て例を（Ｂ）に示す図である。 図１１の別例としてＧＵＩ表示及び空間領域の割り当てを説明する図である。 操作内容の決定手順例を説明するフローチャートである。 本発明の第４実施形態に係るＧＵＩ表示と、対応する空間領域の割り当て例を説明する図である。

本発明に係る情報処理装置は、操作者のジェスチャーを検出して各種操作が可能な機器に適用可能であり、以下では、テレビジョン受像装置への適用例を説明する。

（第１実施形態）
図１に示すブロック図を用いて、本実施形態に係る情報処理装置１００を説明する。なお図１の符号１００、１１０、１１１の右横にて括弧内に示す符号については後述する各実施形態において説明する。
チューナ部１０１は、アンテナ１３０を介して放送波を受信する。デコード部１０２は、チューナ部１０１が受信した信号を復号して合成部１０４に出力する。グラフィカルユーザインターフェース（以下、ＧＵＩと記す）描画部１０３は、ＧＵＩ画面の描画データを生成して合成部１０４に出力する。合成部１０４は、復号した映像データとＧＵＩ画面の描画データを合成して表示部１３３に出力する。

制御部１０５は、特定の目的をもったソフトウェア（以下、アプリケーションという）の起動や終了処理を管理し、操作制御を行う。また制御部１０５は空間管理部１１０にアプリケーションの起動や終了を通知する。
カメラ入力部１０６は、情報処理装置１００に接続したカメラ１３１から画像データを取得する。距離センサ入力部１０７は、情報処理装置１００に接続した距離センサ１３２から距離情報（検出情報）を取得する。

相対位置算出部１０８は、カメラ入力部１０６が取得した画像データと、距離センサ入力部１０７が取得した距離情報に基づき、操作者の位置、及びその検出対象部位（ジェスチャー部位）の位置を算出する。相対位置算出部１０８は、操作者の位置とジェスチャー部位との相対位置を算出して操作決定部１１１に通知する。ジェスチャー判別部１０９は、カメラ入力部１０６が取得した画像データに基づいてジェスチャーパターンを判別し、判別結果を操作決定部１１１に通知する。
空間管理部１１０は、前記相対位置と前記ジェスチャーパターンに応じた操作内容情報（以下、空間管理情報という）を保持する。操作決定部１１１は、相対位置算出部１０８が算出した相対位置と、空間管理部１１０が保持する空間管理情報に基づいて操作内容を決定して制御部１０５に通知する。

図２を用いて情報処理装置１００の設置例について説明する。操作者１３５は、情報処理装置１００をジェスチャーＵＩで操作する人物である。情報処理装置１００に接続したカメラ１３１及び距離センサ１３２は、操作者１３５の状態を監視する。カメラ１３１は装置の前景を撮影し、操作者１３５及びそのジェスチャー部位並びにジェスチャーパターンの認識に用いる画像データを取得する。距離センサ１３２はアプリケーションの表示画面から操作者１３５までの距離検出手段であり、例えば超音波アレイセンサが使用され、操作者１３５とそのジェスチャー部位の位置情報を取得する。
次に図３のフローチャートを用いて、アプリケーション操作用の空間領域を空間管理部１１０がアプリケーションに割り当てて設定する手順について説明する。なお、以下の説明において、放送アプリケーション及びメニューアプリケーションが既に起動しているものとし、空間管理部１１０が保持する空間管理情報を表１に示す。

上表１に示す「ジェスチャーパターン」は、例えば図４に示す手の形状を表す。本例にてジェスチャーパターンＡは人指し指だけを上方に立てた状態での手形状を表す。また「空間領域」は図５（Ａ）に示すように、操作者により装置への操作指示が可能な空間領域（以下、ユーザ操作領域という）の一部である。本例では領域Ａ、Ｂのうち領域Ａの方が操作者１３５に近い。

図３のＳ１０１で空間管理部１１０は、制御部１０５からアプリケーションの起動通知を待ち受ける。空間管理部１１０が起動通知を受信するとＳ１０２に進み、空間管理部１１０は、起動通知されたアプリケーションの空間領域を設定する必要性について有無を判断する。空間領域を設定が必要な場合、Ｓ１０３に進むが、その必要がない場合、空間領域の設定処理を終了する。

Ｓ１０３で空間管理部１１０は、ユーザ操作領域に対して新たにアプリケーションを割り当てるための空間領域を設定可能であるか否かを判断する。当該空間領域の設定が可能である場合、Ｓ１０４に進む。また当該空間領域の設定が不可能である場合、例えば多数のアプリケーションが既に起動しているために、新たな空間領域を設定できない場合、Ｓ１０６に進む。ここで空間管理部１１０は制御部１０５に対して、新たな空間領域を設定できない旨のエラー通知を発行し、空間領域の設定処理を終了する。
Ｓ１０４で空間管理部１１０は空間管理情報を参照し、空間領域を設定する。本例では上表１に示すように、ユーザ操作領域として既に空間領域Ａ及びＢが設定されている。空間管理部１１０は新たに起動するアプリケーションのために、図５（Ｂ）に示す空間領域Ｃを設定する。この領域は領域Ｂよりも操作者１３５から離れている。

次のＳ１０５で空間管理部１１０は空間管理情報に関し、空間領域Ｃに対して、新たに起動するアプリケーションを関連付けて登録する。各アプリケーションでのジェスチャーパターンに応じた操作内容のデータは、空間管理部１１０内の記憶領域に保持されており、アプリケーションの起動に対応して空間管理情報に登録される。例えば、新たに起動したアプリケーションが番組表アプリケーションであった場合、登録完了後の空間管理情報を下表２に示す。

表２中の「Ｃ」欄には、ジェスチャーパターンＡ乃至Ｅ、Ｇにそれぞれ対応した操作内容が登録される。
次に、図６のフローチャートを用いて、相対位置算出部１０８による前記相対位置の算出手順について説明する。Ｓ１１１で相対位置算出部１０８は、カメラ入力部１０６より、カメラ１３１の撮影した画像データを取得する。撮影画像は、図７（Ａ）に示すように操作者を被写体とした画像である。Ｓ１１２で相対位置算出部１０８は、取得した画像データより、人間の顔の特徴と合致する領域があるか否かを判断する。例えば、動画像から肌色部分を抽出し、予め用意したテンプレートと照合して顔部分を抽出する方法が挙げられる。人物の顔領域が存在すると判断された場合、Ｓ１１３に進むが、該領域がないと判断された場合、Ｓ１１１に戻る。例えば図７（Ａ）に示す撮影画像から、図７（Ｂ）に示す顔領域１５０の存在が判断された場合、Ｓ１１３に進む。ここで相対位置算出部１０８は、前記画像データより、人間の手の特徴と合致する領域があるか否かを判断する。そのような手領域があると判断された場合、Ｓ１１４に進むが、そうでない場合には再びＳ１１１に戻る。例えば図７（Ｂ）に示す手領域１６０の存在が判断された場合、Ｓ１１４で相対位置算出部１０８は、距離センサ入力部１０７から、距離センサ１３２による距離情報を取得する。例えば、距離情報として図７（Ｃ）に示すように、距離に応じて画素値が変化する画像（距離画像）のデータを用いることができる。また、図２に示すカメラ１３１と距離センサ１３２は、図示のように互いが離れている場合や、撮影範囲が異なる場合がある。その際にはキーストン補正やトリミング等により、両者の撮影範囲を一致させる処理が行われる。

Ｓ１１５で相対位置算出部１０８は、操作者の空間位置を算出する。具体的には、前記撮影画像における顔領域と前記距離画像を用いて、操作者の顔の空間位置を三角測量法で算出する処理が行われる。Ｓ１１６で相対位置算出部１０８は、ジェスチャー部位の空間位置を算出する。具体的には、前記撮影画像における手領域と前記距離画像を用いて、操作者の手の空間位置を三角測量法で算出する処理が行われる。そしてＳ１１７で相対位置算出部１０８は、操作者の顔と手の各空間位置に基づいて、顔の空間位置を原点として設定した場合の、ジェスチャー部位の空間位置（相対位置）を算出する。

次に図８のフローチャートを用いて、制御部１０５に通知するアプリケーションの操作内容を、操作決定部１１１が決定する処理例について説明する。Ｓ１２１で操作決定部１１１は、相対位置算出部１０８より、図６のＳ１１７で算出した前記相対位置を取得する。Ｓ１２２で操作決定部１１１は、空間管理部１１０が保持する空間管理情報を取得する。Ｓ１２３で操作決定部１１１は、前記相対位置及び空間管理情報に基づいて、当該相対位置に対応するユーザ操作領域について、アプリケーションが登録されているか否かを判断する。アプリケーションが登録済みであると判断された場合、Ｓ１２４に進み、該アプリケーションが未登録の場合、Ｓ１２１に戻る。

Ｓ１２４で操作決定部１１１は、前記相対位置に対応するユーザ操作領域で操作可能なアプリケーション（操作対象アプリケーション）を決定する。次のＳ１２５で操作決定部１１１は、ジェスチャー判別部１０９から、ジェスチャーパターンを取得してＳ１２６に進む。ここで操作決定部１１１は、前記の操作対象アプリケーション及びジェスチャーパターンに基づき、ジェスチャーパターンに割り当てられた操作の有無を判断する。取得済みのジェスチャーパターンに対して割り当てられた操作が存在すると判断された場合、Ｓ１２７に進む。一方、そのような操作が割り当てられていないと判断された場合、Ｓ１２１へ戻って、相対位置の再取得処理が行われる。

Ｓ１２７で操作決定部１１１は、前記の操作対象アプリケーションにてジェスチャーパターンに対応する操作内容を決定して制御部１０５に通知する。これにより、操作者の意図するアプリケーション操作が行われる。
第１実施形態によれば、操作者におけるジェスチャー部位の相対位置に応じて、操作対象アプリケーションを変更できる。例えば、操作者はその手を伸ばす距離を変更することで所望のアプリケーションを操作できる。よって、操作者は操作対象アプリケーションを変更するために、自分の姿が撮影されるようにその場所を移動する必要がなく、同じ場所に居ながら複数のアプリケーションを操作することができる。

（第２実施形態）
以下、本発明の第２実施形態に係る情報処理装置２００を説明する。本実施形態の説明にあたり、図１と同様の構成部分については、第１実施形態の場合と同一の符号を用いることで、それらの説明を省略し、相違点である空間管理部（図１の括弧内に示す符号２０１参照）を説明する。
空間管理部２０１は、ジェスチャー判別部１０９からの判別情報と、相対位置算出部１０８からの位置情報を受けて、前記ジェスチャーパターンに応じた操作内容のデータを保持する。また空間管理部２０１は、アプリケーションの起動時に、当該アプリケーションに対する空間領域の設定位置を判断するための情報（アプリケーション起動情報）を保持し、当該情報に基づいて空間領域の位置を入れ替える。

以下、図９のフローチャートを用いて、アプリケーションを操作するための空間領域を空間管理部２０１が設定する手順について説明する。なお、本説明において、放送アプリケーション及びメニューアプリケーションが既に起動しているものとし、また空間管理部２０１の保持する空間管理情報は前記表１に記載した通りとする。Ｓ１０１乃至１０４、Ｓ１０６での処理は図３の場合と同様であり、以下、Ｓ２０５乃至２０７の処理を説明する。
Ｓ２０５で空間管理部２０１は、保持しているアプリケーション起動情報に基づき、空間領域の再割り当てが必要であるか否かを判断する。アプリケーション起動情報の一例を表３に示す。

上表３は、情報処理装置２００が備える各アプリケーションを起動する際に、登録すべき空間領域の配置を規定している。例えば、新たに起動したアプリケーションが番組表アプリケーションの場合、登録すべき空間領域は最前部領域である。空間管理部２０１はこれまでに起動していたアプリケーションの空間領域の移動、すなわち再割り当てが必要であると判断した場合、処理をＳ２０６に進める。一方、再割り当てが不要と判断された場合、Ｓ２０７に進む。なお、登録すべき空間領域が最前部領域とされるアプリケーションを複数起動する場合には、時間的に後で起動したアプリケーションの空間領域が最前部領域として登録される。

Ｓ２０６で空間管理部２０１は、空間領域の再割り当てを行う。具体的には、空間領域Ａに割り当てられている放送アプリケーションを空間領域Ｂにずらし、空間領域Ｂに割り当てられているメニューアプリケーションを空間領域Ｃにずらすシフト処理により再割り当てが行われる。
Ｓ２０７で空間管理部２０１は、空いている空間領域に対して新たに起動するアプリケーションを登録する。各アプリケーションでのジェスチャーパターンに応じた操作内容は、空間管理部２０１がその記憶領域に保持しており、アプリケーションの起動に応じて空間管理情報に登録される。本例では、新たに起動したアプリケーションが番組表アプリケーションであり、空間領域Ａの割り当てが行われる。登録完了後の空間管理情報を表４に示す。

第２実施形態によれば、第１実施形態による効果に加えて、操作者に近い空間領域で操作すると快適に操作可能なアプリケーションに対し、ユーザ操作領域を操作者側に割り当てることで、ジェスチャー操作の負担を軽減できる。

（第３実施形態）
次に本発明の第３実施形態に係る情報処理装置３００を説明する。第１実施形態との相違点は図１に示す空間管理部３０１及び操作決定部３０２の動作であり、以下、これらについて説明する。
空間管理部３０１は、前記相対位置と前記ジェスチャーパターンに応じた操作内容のデータに加えて、空間領域の構成情報を保持する。空間管理部３０１はアプリケーションの起動時に、各アプリケーションの状態に基づき、空間領域の再構成を行う。また操作決定部３０２は、空間管理部３０１が保持している空間管理情報に基づいて操作内容を決定し、決定した操作内容のデータを制御部１０５に送信する。操作決定部３０２は、前記相対位置に応じた操作対象アプリケーションを記憶し、操作対象アプリケーションが切り替わった場合、その旨を制御部１０５に通知する。

以下、図１０のフローチャートを用いて、アプリケーションを操作するための空間領域を空間管理部３０１が設定する手順について説明する。なお、図９と相違するＳ３０４乃至３０６を説明する。本説明において、放送アプリケーション及びメニューアプリケーションが既に起動しているものとし、空間管理部３０１の保持する空間管理情報は前記表１に示す通りとする。

Ｓ１０３で、ユーザ操作領域に対して新たにアプリケーションを割り当てるための空間領域が設定可能であると判断された場合、Ｓ３０４に進む。ここで空間管理部３０１は、制御部１０５よりアプリケーションの表示状態の情報を取得する。「アプリケーションの表示状態」とは、例えばアプリケーションの出力情報を表示する領域（以下、アプリケーションウィンドウという）の配置情報である。本実施形態では、放送アプリケーションとメニューアプリケーションが既に起動しており、番組表アプリケーションが新たに起動された場合について説明する。例えば図１１（Ａ）のように、各アプリケーションウィンドウが表示画面上に配置されているとする。制御部１０５は空間管理部３０１に対して、画面の左から順番に放送アプリケーション、メニューアプリケーション、番組表アプリケーションが表示されている旨を通知する。

Ｓ３０５で空間管理部３０１は、前記Ｓ３０４で取得したアプリケーションの表示状態、例えば表示画面上での配置を示す情報に基づいて空間領域を再構成する。図１１に示す例では、取得済みのアプリケーションの表示状態にて各アプリケーションウィンドウが縦割りに区分けされているため、空間領域についてもこの構成に合わせて、図１１（Ｂ）のように縦割りに構成される。Ｓ３０６で空間管理部３０１は、前記Ｓ３０５で再構成した各空間領域に対し、対応するアプリケーションを登録する。具体的には、空間領域Ａに放送アプリケーションを、空間領域Ｂにメニューアプリケーションを、空間領域Ｃに番組表アプリケーションを割り当てる。

本実施形態ではアプリケーションウィンドウの配置情報に基づく空間領域の再構成を説明したが、アプリケーションウィンドウのサイズや前後の重なり状態に応じて空間領域を再構成してもよい。例えば図１２（Ａ）に示すように、放送アプリケーションウィンドウが画面の左上方に表示され、その下方にメニューアプリケーションウィンドウが表示され、画面の右半部に番組表アプリケーションウィンドウが表示される場合を想定する。ウィンドウの表示面積は、放送アプリケーションウィンドウが最小であり、番組表アプリケーションウィンドウが最大である。空間管理部３０１は、図１２（Ｂ）に示すように、アプリケーションウィンドウのサイズに応じて、ユーザ操作領域を操作者の手前側から割り当てる。本例では、最小サイズの放送アプリケーションウィンドウに対応するユーザ操作領域が操作者１３５に最も近い位置とされ、最大サイズの番組表アプリケーションウィンドウに対応するユーザ操作領域が操作者１３５から最も遠い位置とされる。これらの間にメニューアプリケーションウィンドウに対応するユーザ操作領域が位置する。

次に図１３のフローチャートを用いて、制御部１０５に通知するアプリケーションの操作内容を操作決定部３０２が決定するまでの動作について説明する。Ｓ３１１で操作決定部３０２は、相対位置算出部１０８から前記相対位置の情報を取得する。Ｓ３１２で操作決定部３０２は、空間管理部１１０から前記空間管理情報を取得する。Ｓ３１３で操作決定部３０２は、前記相対位置及び前記空間管理情報に基づき、前記相対位置に対応するユーザ操作領域において、操作対象アプリケーションが登録されているか否かを判断する。操作対象アプリケーションが登録済みであると判断された場合、Ｓ３１４に進み、未登録の場合、Ｓ３１１に戻って操作決定部３０２は相対位置を再び取得する。

Ｓ３１４で操作決定部３０２は、前記相対位置に対応するユーザ操作領域にて操作可能な操作対象アプリケーションを決定する。Ｓ３１５で操作決定部３０２は、記憶済みである、以前の操作対象アプリケーションから、別の操作対象アプリケーションが変更されたか否かを判定する。操作対象アプリケーションが変更された場合、Ｓ３１６に進み、操作対象アプリケーションに変更がない場合、Ｓ３１８に進む。

Ｓ３１６で操作決定部３０２は、変更された操作対象アプリケーションを制御部１０５に通知する。当該通知は、制御部１０５よりＧＵＩ描画部１０３に送られる。例えば操作対象アプリケーションが番組表アプリケーションに変更された場合、図１１（Ａ）に示すような操作対象通知用メッセージ１１００のデータをＧＵＩ描画部１０３が生成する。合成部１０４を経た合成信号は表示部１３３に出力されて番組表アプリケーションウィンドウ内にメッセージ１１００が表示される。なお、本実施形態では操作対象アプリケーションのウィンドウ内に前記操作対象通知のメッセージを表示している。これに限らず、アプリケーション操作を妨げないように、異なるアプリケーションウィンドウに表示する方法や、操作対象が分かるようにウィンドウのフレームに色や模様などに変化を付ける方法を採用してもよい。

図１３のＳ３１７で操作決定部３０２は、変更された操作対象アプリケーションを示す情報を記憶する。Ｓ３１８で操作決定部３０２は、ジェスチャー判別部１０９からジェスチャーパターンを取得する。Ｓ３１９で操作決定部３０２は、操作対象アプリケーションとジェスチャーパターンの各情報に基づき、ジェスチャーパターンに割り当てられた操作が登録済みであるか否かを判断する。対象操作が割り当て済みの操作であると判断された場合、Ｓ３２０に進み、操作決定部３０２は操作内容を制御部１０５に通知する。一方、Ｓ３１９にて対象操作が割り当て済みの操作でないと判断された場合、Ｓ３１１へ戻る。

第３実施形態によれば、第１実施形態による効果に加えて以下の効果を奏する。アプリケーションに関するＧＵＩ画面上の各表示領域の配置と、ユーザ操作領域の割り当て状態が対応するため、操作者はアプリケーションの操作時に空間領域を容易に判断できる。そして操作者は、相対位置に対応するユーザ操作領域にて操作可能なアプリケーションについて、ＧＵＩ画面上に表示するウィンドウの配置から判断できるため、各空間領域に対応するアプリケーションを事前に覚えておく必要がなく、操作負担が軽減される。

（第４実施形態）
次に第４実施形態について図１４を用いて説明する。第１実施形態及び第３実施形態ではアプリケーションの起動状態や表示状態をもとに、空間領域の割り当てを決定していた。第４実施形態では、操作者の絶対位置、すなわち情報処理装置に対して操作者が何処で操作するかを示す情報をさらに組み合わせて、アプリケーションに対する空間領域の割り当てを行う。図１４に示す例では、操作者からみて表示部１３３の表示画面の左側にアプリケーションＡのウィンドウが表示され、右側にアプリケーションＢのウィンドウが表示されている。操作者がアプリケーションＡのウィンドウから距離の近い側、つまり正面に対して左側に寄った場所に居た場合（符号４０１参照）、空間管理部はアプリケーションＡに対してユーザ操作領域を操作者の手前に割り当てる。アプリケーションＢに対するユーザ操作領域はその背後に割り当てられる。一方、操作者がアプリケーションＢのウィンドウから距離の近い側、つまり正面に対して右側に寄った場所に居た場合（符号４０２参照）、空間管理部はアプリケーションＢに対するユーザ操作領域を操作者の手前に割り当てる。アプリケーションＡに対するユーザ操作領域はその背後に割り当てられる。
第４実施形態では、操作者に近い方のアプリケーションのウィンドウに対して、より手前側の空間領域が割り当てられるため、より直感的で容易な操作環境を提供できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００，２００，３００ 情報処理装置
１０５ 制御部
１０６ カメラ入力部
１０７ 距離センサ入力部
１０８ 相対位置算出部
１０９ ジェスチャー判別部
１１０，２０１，３０１ 空間管理部
１１１，３０２ 操作決定部

Claims (8)

1. 操作者の動作を検出してアプリケーションを制御する情報処理装置であって、
   前記操作者における検出対象部位の相対位置を算出する位置算出手段と、
   前記検出対象部位の形状を判別する判別手段と、
   前記アプリケーションを制御するための管理情報を保持し、前記操作者の動作により操作指示を行う空間領域を前記アプリケーションに割り当てる空間管理手段と、
   前記空間領域にて前記操作者の動作により操作指示が行われた場合、前記相対位置に基づいて前記空間領域に対応するアプリケーションを決定し、前記判別手段による判別情報及び前記管理情報を用いて当該アプリケーションに対する操作内容を決定する操作決定手段を備えることを特徴とする情報処理装置。
2. 前記空間管理手段は、前記アプリケーションの起動通知を受けて該アプリケーションに対して前記空間領域及び前記判別情報に対応する前記操作内容のデータを割り当てることを特徴とする、請求項１記載の情報処理装置。
3. 前記空間管理手段は、前記アプリケーションの起動状態に基づいて、操作対象のアプリケーションに対する前記空間領域の割り当てを変更することを特徴とする、請求項１又は２記載の情報処理装置。
4. 前記空間管理手段は、前記アプリケーションの起動時に当該アプリケーションに対する前記空間領域の設定位置を判断するための情報を保持し、該情報を用いて起動時の該アプリケーションに対して前記空間領域を割り当てる位置を決定することを特徴とする、請求項３に記載の情報処理装置。
5. 前記空間管理手段は、前記アプリケーションの出力情報を表示画面上に表示する領域の配置情報を取得して、前記アプリケーションに対して前記空間領域を割り当てる位置を決定することを特徴とする、請求項４記載の情報処理装置。
6. 前記操作決定手段は、前記位置算出手段による位置情報及び前記空間管理手段の保持する管理情報に基づいて、操作可能なアプリケーションを判別し、アプリケーションの操作が可能である旨を表示すべく制御を行うことを特徴とする、請求項１から５のいずれか１項記載の情報処理装置。
7. 前記アプリケーションの表示画面から前記操作者までの距離を検出する距離検出手段をさらに備え、
   前記空間管理手段は、前記操作者の位置情報及び前記距離検出手段による前記距離の検出情報に基づいて、当該距離が短いアプリケーションに対して前記空間領域を前記操作者に近い位置に割り当てることを特徴とする、請求項１から６のいずれか１項記載の情報処理装置。
8. 操作者の動作を検出してアプリケーションを制御する情報処理装置の制御方法であって、
   前記操作者における検出対象部位の相対位置を算出する位置算出ステップと、
   前記検出対象部位の形状を判別する判別ステップと、
   前記操作者の動作により操作指示を行う空間領域を前記アプリケーションに割り当てるステップと、
   前記空間領域にて前記操作者の動作により操作指示が行われた場合、前記相対位置に基づいて前記空間領域に対応するアプリケーションを決定し、前記判別ステップでの判別情報及び前記アプリケーションを制御するための管理情報を用いて当該アプリケーションに対する操作内容を決定するステップを有することを特徴とする情報処理装置の制御方法。

Images