JP2016035625A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】耳の周囲での操作を容易に行うことができる技術が求められていた。【解決手段】本開示によれば、ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部を備えることを特徴とする、情報処理装置が提供される。本開示によれば、検知部によって物体の動きを遠隔検知することができるので、物体の動き、例えばユーザの手の動きを遠隔検知することができる。したがって、耳の周囲での操作を容易に行うことができる。もちろん、本開示による効果はこれに限られない。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

特許文献１は、ヘッドマウントディスプレイ（ＨＭＤ）のテンプル部に棒状の操作部を設ける技術を開示する。この技術では、ユーザは、棒状の操作部を手で操作する。即ち、ユーザは、耳の周囲で操作を行う。

特開２０１４−４９９３４号公報

しかし、この技術では、操作部がユーザにとって見えにくい位置にあるので、ユーザは、テンプル部の周囲で手を動かしながら操作部を探し当てる必要がある。このため、耳の周囲での操作に手間がかかっていた。

このため、耳の周囲での操作を容易に行うことができる技術が求められていた。

本開示によれば、ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部を備えることを特徴とする、情報処理装置が提供される。

本開示によれば、ユーザの耳の周囲に存在する物体の動きを検知部によって遠隔検知することを含む、情報処理方法が提供される。

本開示によれば、コンピュータに、ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御機能を実現させる、プログラムが提供される。

本開示によれば、検知部によって物体の動きを遠隔検知することができる。

以上説明したように本開示によれば、検知部によって物体の動きを遠隔検知することができるので、物体の動き、例えばユーザの手の動きを遠隔検知することができる。したがって、耳の周囲での操作を容易に行うことができる。本開示に係る技術は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。

本開示の実施形態に係る情報処理装置及び情報処理装置が装着された頭部装着部材の一例を示す斜視図である。 イメージセンサの構成を示すブロック図である。 イメージセンサのハードウェア構成図である。 情報処理装置の構成を示すブロック図である。 画像解析装置のハードウェア構成図である。 頭部装着部材を装着したユーザが手を耳の周囲に近づける様子を示す平面図である。 ユーザが耳の周囲の手を動かす方向の一例を示す側面図である。 ユーザが手を前に移動させた状態を示す側面図である。 ユーザが手を耳の周囲に近づけた状態を示す説明図である。 情報処理装置による処理の概要を示すフローチャートである。 情報処理装置による処理の手順を示すフローチャートである。 情報処理装置による処理の手順を示すフローチャートである。 情報処理装置の状態遷移図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 情報処理装置による処理の変形例を示す状態遷移図である。 情報処理装置による処理の変形例を示す状態遷移図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサによる検知対象の変形例を示す説明図である。 手の形状の例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 イメージセンサによって撮像される領域と撮像されない領域とを示す説明図である。 イメージセンサが取得する撮像画像の一例を示す説明図である。 情報処理装置が装着された頭部装着部材の変形例を示す斜視図である。 情報処理装置の構成の変形例を示す斜視図である。 情報処理装置の構成の変形例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理装置の構成
１−１．全体構成
１−２．イメージセンサの構成
１−３．画像解析装置の構成
２．ハンドジェスチャの概要
３．情報処理装置による処理の概要
４．情報処理装置による処理の手順
５．各種変形例
５−１．情報処理装置の第１変形例
５−２．情報処理装置の第２変形例
５−３．情報処理装置の第３変形例
５−４．情報処理装置の第４変形例
５−５．情報処理装置の第５変形例
５−６．情報処理装置の第６変形例
５−７．情報処理装置の第７変形例
５−８．情報処理装置の第８変形例
５−９．情報処理装置の第９変形例
５−１０．情報処理装置の第１０変形例
５−１１．情報処理装置の第１１変形例
５−１２．情報処理装置の第１２変形例
５−１３．情報処理装置の第１３変形例
５−１４．情報処理装置の第１４変形例

＜１．情報処理装置の構成＞
（１−１．全体構成）
まず、図１に基づいて、本実施形態に係る情報処理装置１の全体構成（概要）について説明する。図１に示すように、情報処理装置１は、イメージセンサ（検知部）１０と、画像解析装置２０とを備える。イメージセンサ１０と画像解析装置２０とは信号線３０で連結される。また、画像解析装置２０は操作対象機器２００と信号線４０で連結される。また、イメージセンサ１０及び画像解析装置２０は、頭部装着部材１００に装着される。図１に示される頭部装着部材１００はメガネとなっており、ユーザＵ（図６等参照）の頭部に装着される。もちろん、頭部装着部材１００はメガネに限定されない。他の例としては、ヘッドフォン、ヘッドマウントディスプレイ、ゴーグル、イヤホン、ヘルメット、帽子等が挙げられる。イメージセンサ１０及び画像解析装置２０は、頭部装着部材１００のうち、ユーザＵの耳Ｕ１０に装着される部分、即ちテンプル部１１０に装着される。テンプル部１１０は、熱伝導性の高い素材（例えば金属）で構成されてもよい。これにより、イメージセンサ１０及び画像解析装置２０で発生する熱がテンプル部１１０に効率的に伝ええられるので、イメージセンサ１０及び画像解析装置２０が効率的に冷却される。

イメージセンサ１０は、ユーザＵの耳（右耳）Ｕ１０の周囲に存在する物体を遠隔検知する。ここで、遠隔検知とは、イメージセンサ１０に非接触の物体を検知することを意味する。イメージセンサ１０は、イメージセンサ１０に接触した物体を検知することもできる。イメージセンサ１０による検知の対象となる物体は、例えばユーザＵの手（右手）Ｕ１である。イメージセンサ１０は、具体的には、耳Ｕ１０の周囲を撮像することで撮像画像を取得し、撮像画像に関する撮像画像情報（検知情報）を画像解析装置２０に出力する。

画像解析装置２０は、撮像画像情報に基づいて、物体の動きを解析（認識）し、物体の動きに応じた処理を行う。例えば、画像解析装置２０は、物体の動きに応じた指示情報を生成し、操作対象機器２００に出力する。操作対象機器２００は、指示情報に基づいて、各種の処理を行う。操作対象機器２００は、画像解析装置２０からの指示情報を受信し、指示情報に応じた処理を実行する装置である。操作対象機器２００の種類は特に問われない。操作対象機器２００は、例えば、オーディオ機器、ディスプレイ、パーソナルコンピュータ（デスクトップ型、ノート型含む）、携帯電話、スマートフォン、スマートタブレット、ユーザＵの身体に取り付けるカメラ、車載器などであってもよい。指示情報の具体的な内容は操作対象機器２００に応じて異なる。操作対象機器２００がオーディオ機器となる場合、指示情報は、例えば、早送り、再生、巻き戻し等を指示する情報となる。

特に、操作対象機器２００がユーザＵの身体に取り付けるカメラ（以下、「動作撮像用カメラ」とも称する）となる場合、操作対象機器２００は、ユーザＵが何らの動作を行っている間に撮像を行う。したがって、ユーザＵは、操作対象機器２００の操作を正確に行いにくい場合がある。そこで、操作対象機器２００が動作撮像用カメラとなり、かつ、ユーザＵがスキーを行う場合、ゴーグル（頭部装着部材１００）に情報処理装置１を取り付ける。この場合、ユーザＵは、スキーを楽しみながら、手Ｕを耳Ｕ１０の周囲に移動させて、ハンドジェスチャを行う。これに応じて、イメージセンサ１０は、ハンドジェスチャを遠隔検知する。画像解析装置は、ハンドジェスチャを認識し、ハンドジェスチャに応じた処理（例えば、操作対象機器２００への録画開始、録画終了指示等）を行う。したがって、ユーザＵは、操作対象機器２００を簡単に操作することができる。

したがって、ユーザＵは、手Ｕ１を耳Ｕ１０の周囲まで移動させ、その後、何らかのハンドジェスチャ（手Ｕ１を用いたジェスチャ操作）を行うことで、そのハンドジェスチャに応じた処理を操作対象機器２００に行わせることができる。したがって、本実施形態では、特許文献１に開示された技術のように、操作部を探す手間がかからない。よって、本実施形態では、ユーザＵは、耳Ｕ１０の周囲での操作を容易に行うことができる。

（１−２．イメージセンサ１０の構成）
次に、図１〜図３、及び図６に基づいて、イメージセンサ１０の構成について説明する。図１に示すように、イメージセンサ１０は、頭部装着部材１００のテンプル部１１０に外向きに（すなわち、イメージセンサ１０のレンズ面がテンプル部１１０の外側を向くように）装着される。イメージセンサ１０は、テンプル部１１０に固定されていてもよく、着脱可能であってもよい。ここで、イメージセンサ１０をテンプル部１１０から着脱可能とするための方法としては、例えば、イメージセンサ１０をテンプル部１１０にねじ止めやクリップ等を使って固定することが挙げられる。この場合、ねじを外す、あるいは、クリップを外すことで、頭部装着部材１００から、イメージセンサ１０と画像解析装置２０とを取り外すことが出来る。これにより、頭部装着部材１００は、通常の眼鏡としても使用できる。

また、イメージセンサ１０は、ユーザＵの髪の毛が撮像画像になるべく写らないように、テンプル部１１０の前側（フロント部１２０に近い側）に設けられることが好ましい。

イメージセンサ１０の設置位置はテンプル部１１０に限定されない。すなわち、イメージセンサ１０は、ユーザＵの耳Ｕ１０の周囲を撮像することができればどのような位置に設けられていてもよい。したがって、イメージセンサ１０は、フロント部１２０に装着されてもよい。この場合、イメージセンサ１０の画角を広くするか、あるいは、光軸を耳Ｕ１０の周囲に向けることで、耳Ｕ１０の周囲を撮像することができる。また、図１では、イメージセンサ１０は右耳用のテンプル部１１０に設置される。これは、ユーザＵが右手でハンドジェスチャを行うことを想定したためである。したがって、イメージセンサ１０は、左耳用のテンプル部に設けられても良い。この場合、ユーザＵは、左手でハンドジェスチャを行う。

イメージセンサ１０は、図２に示すように、撮像部（検知部）１１と、通信部１２とを備える。撮像部１１は、ユーザＵの耳Ｕ１０の周囲を撮像する。撮像部１１による検知対象となる物体は、上述したように、例えばユーザＵの手Ｕ１である。図６に撮像部１１の撮像可能範囲（検知可能範囲）１０Ａを示す。撮像可能範囲１０Ａは、耳Ｕ１０の周囲の領域が含まれる。特に、本実施形態では、撮像可能範囲１０Ａは、耳Ｕ１０の開口面に対向する領域を含む。したがって、撮像部１１は、耳Ｕ１０の周囲に存在する物体、特に耳Ｕ１０の開口面に対向する物体を撮像することができる。すなわち、撮像部１１は、耳Ｕ１０の周囲に存在する物体、特に耳Ｕ１０の開口面に対向する物体の動きを遠隔検知することができる。

例えば、図６に示すように、撮像部１１は、ユーザＵが手Ｕ１をユーザＵの前方から耳Ｕ１０の開口面まで移動させた場合に、手Ｕ１を撮像することができる。すなわち、撮像部１１は、手Ｕ１の動きを遠隔検知することができる。もちろん、撮像可能範囲１０Ａは図６に示す例に限られない。すなわち、撮像可能範囲１０Ａは、少なくともユーザＵの耳Ｕ１０の周囲の領域を含んでいればよい。撮像部１１は、撮像によって撮像画像を取得し、撮像画像に関する撮像画像情報を通信部１２に出力する。ここで、撮像画像はカラー画像であり、複数の画素で構成される。各画素には位置情報（座標情報）が関連付けられている。

通信部１２は、信号線３０を介して画像解析装置２０と接続されており、撮像画像情報を画像解析装置２０に出力する。なお、通信部１２は、無線通信によって撮像画像情報を画像解析装置２０に出力してもよい。この場合、信号線３０は不要になる。

図３は、イメージセンサ１０のハードウェア構成を示す。イメージセンサ１０は、ハードウェア構成として、撮像機構１１ａと、通信装置１２ａとを備える。撮像機構１１ａと、通信装置１２ａとは、バス等で連結される。イメージセンサ１０は、これらのハードウェア構成によって、上述した撮像部（検知部）１１と、通信部１２とを実現する。これらのハードウェア構成は、撮像に必要な各種ハードウェア構成、及び電子回路等によって実現される。撮像に必要な各種ハードウェア構成としては、例えばレンズ、撮像素子等で構成される。撮像機構１１ａは、撮像可能範囲１０Ａ内に存在する物体を撮像することで撮像画像を取得する。そして、撮像機構１１ａは、撮像画像に関する撮像画像情報を生成する。したがって、撮像機構１１ａは、イメージセンサ１０の実質的な動作主体となるものである。通信装置１２ａは、信号線３０を介して画像解析装置２０と接続されており、撮像画像情報を画像解析装置２０に出力する。なお、通信装置１２ａは、無線通信によって撮像画像情報を画像解析装置２０に出力してもよい。この場合、信号線３０は不要になる。

（１−３．画像解析装置２０の構成）
次に、図１、図４、及び図５に基づいて、画像解析装置２０の構成について説明する。図１に示すように、画像解析装置２０は、頭部装着部材１００のテンプル部１１０に装置される。画像解析装置２０はテンプル部１１０に固定されていてもよく、着脱可能であってもよい。画像解析装置２０をテンプル部１１０から着脱可能とするための方法は、イメージセンサ１０と同様である。また、画像解析装置２０は、テンプル部１１０に設けられなくてもよい。すなわち、画像解析装置２０は、撮像画像情報を解析する装置なので、撮像画像情報を解析することができればどのような位置に設けられていてもよい。画像解析装置２０の設置位置に関する変形例は後述する。

画像解析装置２０は、図４に示すように、記憶部２１と、通信部２２と、制御部２３とを備える。記憶部２１は、画像解析装置２０が記憶部２１と、通信部２２と、制御部２３とを実現するために必要なプログラムを記憶する。また、記憶部２１は、撮像画像情報、画像解析が行われる際の中間データ、及び画像解析の最終結果等を記憶する。通信部２２は、信号線３０を介してイメージセンサ１０を接続されており、撮像画像情報をイメージセンサ１０から取得する。そして、通信部２２は、撮像画像情報を制御部２３に出力する。また、通信部２２は、信号線４０を介して操作対象機器２００に接続されており、制御部２３から与えられた指示情報を操作対象機器２００に出力する。なお、通信部２２は、イメージセンサ１０及び操作対象機器２００と無線通信を行ってもよく、この場合、信号線３０、４０は不要になる。

制御部２３は、画像解析装置２０内の各構成要素を制御する他、以下の処理を行う。すなわち、制御部２３は、撮像画像情報に基づいて、物体の動きを解析（認識）し、物体の動きに応じた処理を行う。例えば、制御部２３は、物体の動きに応じた指示情報を生成し、操作対象機器２００に出力する。操作対象機器２００は、指示情報に基づいて、各種の処理を行う。

画像解析装置２０は、ハードウェア構成として、メモリ２１ａ、通信装置２２ａ、及びＣＰＵ２３ａを備える。これらのハードウェア構成は、例えばバス等で連結される。画像解析装置２０は、これらのハードウェア構成により、上述した記憶部２１、通信部２２、及び制御部２３を実現する。これらのハードウェア構成は、電子回路等によって実現される。

メモリ２１ａは、ＲＯＭ、ＲＡＭ、不揮発性メモリ等で構成される。メモリ２１ａは、画像解析装置２０が記憶部２１と、通信部２２と、制御部２３とを実現するために必要なプログラムを記憶する。また、メモリ２１ａは、撮像画像情報、画像解析が行われる際の中間データ、及び画像解析の最終結果等を記憶する。

通信装置２２ａは、信号線３０を介してイメージセンサ１０と接続されており、イメージセンサ１０から撮像画像情報を取得する。また、通信装置２２ａは、信号線４０を介して操作対象機器２００に接続されており、指示情報を操作対象機器２００に出力する。なお、通信装置２２ａは、イメージセンサ１０及び操作対象機器２００と無線通信を行ってもよく、この場合、信号線３０、４０は不要になる。ＣＰＵ２３ａは、メモリ２１ａに記憶されたプログラムを読みだして実行する。したがって、ＣＰＵ２３ａは画像解析装置２０の実質的な動作主体となるものである。

なお、イメージセンサ１０、画像解析装置２０、及び操作対象機器２００が信号線３０、４０で連結される場合、通信部２２及び通信装置２２ａは省略されてもよい。この場合、記憶部２１及び制御部２３（すなわち、メモリ２１ａ及びＣＰＵ２３ａ）とイメージセンサ１０及び操作対象機器２００とがバス及び信号線３０、４０を介して直結される。

＜２．ハンドジェスチャの概要＞
次に、図６及び図７に基づいて、上記の情報処理装置１に対してユーザＵが行うハンドジェスチャについて説明する。もちろん、以下に説明するハンドジェスチャは一例であり、ユーザＵは、他の種類のハンドジェスチャを行っても良い。

図６に示すように、イメージセンサ１０は、耳Ｕ１０の周囲の領域を撮像する。耳Ｕ１０の周囲の領域には、耳Ｕ１０の開口面に対向する領域が含まれる。したがって、ユーザＵは、図６及び図７に示すように、手Ｕ１を開いた状態で前方から開口面に向けて移動させ、開口面に対向する位置で一旦静止させる（動作（１））。すなわち、ユーザＵは、手Ｕ１をユーザＵの頭部の側方に移動させる。ここで、本実施形態の方向（例えば、「前方」、「後方」、「側方」等）は、直立したユーザの視線方向を基準とした方向を意味する。すなわち、ユーザの視線が向く方向を前方、前方の逆方向を後方、ユーザ視線と交差する方向を側方とする。また、ユーザＵは、手Ｕ１を前方以外の方向、例えば側方から耳Ｕ１の開口面に向けて移動させても良い。

そして、ユーザＵは、手Ｕ１を閉じる（握る）。その後、ユーザＵは、以下の動作（２）〜（５）のいずれかを行う。すなわち、ユーザＵは、手Ｕ１を閉じたまま、水平かつ前方へ手を移動させる（動作（２））。または、ユーザＵは、手Ｕ１を閉じたまま、水平かつ後方へ手を移動させる（動作（３））。または、ユーザＵは、手を閉じたまま、鉛直下方へ手を移動させる（動作（４））。または、ユーザＵは、手を閉じたまま、鉛直上方へ手を移動させる。後述するように、画像解析装置２０は、動作（１）〜（５）に応じた処理を行う。

このように、本実施形態では、ユーザＵは、ハンドジェスチャをユーザＵの頭部の側方で行う。この理由を図８及び図９に基づいて説明する。ハンドジェスチャは、ユーザＵにとってなるべく楽な姿勢で行われることが好ましい。また、ハンドジェスチャは、なるべくユーザＵの視線を遮らないように行われることが好ましい。そこで、本発明者は、ユーザＵにとって楽な姿勢がどのようなものであるかを検討するために、複数人のユーザＵ（被験者）を使った実験を行った。具体的には、図８に示す姿勢（姿勢Ａ）と図９に示す姿勢（姿勢Ｂ）を各被験者にとってもらった。姿勢Ａは、手Ｕ１を前方に突き出す姿勢であり、姿勢Ｂは、手Ｕ１をユーザＵの頭部の側方に保持する姿勢である。その結果、大半の被験者から、姿勢Ａよりも姿勢Ｂの方が楽な姿勢であるという回答を得た。さらに、姿勢Ａでは、腕および手Ｕ１が前方の視線を遮ることになるが、姿勢Ｂでは、腕および手Ｕ１は視線を遮りにくい。つまり、ユーザＵは、前方の物体（図示省略）を注視しながらハンドジェスチャを行うことが出来る。そこで、本実施形態では、ハンドジェスチャをユーザＵの頭部の側方で行うこととした。

＜３．情報処理装置による処理の概要＞
次に、図１０に基づいて、画像解析装置２０が行う処理の概要について説明する。ステップＳ１において、イメージセンサ１０は、ユーザＵの耳Ｕ１０の周囲を撮像することで撮像画像を取得する。そして、イメージセンサ１０は、撮像画像に関する撮像画像情報を画像解析装置２０に送信する。

画像解析装置２０の通信部２２は、撮像画像情報を取得し、制御部２３に出力する。制御部２３は、撮像画像情報を解析することで、ユーザＵの手Ｕ１の動きを認識する。そして、制御部２３は、解析結果に基づいて、ユーザＵの手Ｕ１がユーザＵの前方から耳Ｕ１０の周囲（すなわち、イメージセンサ１０の撮像可能範囲１０Ａ）に移動してきたか否かを判定する。すなわち、制御部２３は、上述した動作（１）が行われたか否かを判定する。制御部２３は、動作（１）が行われたと判定した場合には、ステップＳ２に進み、動作（１）が行われなかったと判定した場合には、ステップＳ１に戻る。

ステップＳ２において、イメージセンサ１０は、ユーザＵの耳Ｕ１０の周囲を撮像することで撮像画像を取得する。そして、イメージセンサ１０は、撮像画像に関する撮像画像情報を画像解析装置２０に送信する。画像解析装置２０の通信部２２は、撮像画像情報を取得し、制御部２３に出力する。制御部２３は、撮像画像情報を解析することで、ユーザＵの手Ｕ１の動きを認識する。そして、制御部２３は、ユーザの手が耳Ｕ１０の周囲から遠くへ移動した（すなわち、イメージセンサ１０の撮像可能範囲１０Ａからフレームアウトした）か否かを判定する。制御部２３は、ユーザの手が耳Ｕ１０の周囲から遠くへ移動したと判定した場合には、ステップＳ１に戻り、ユーザの手が耳Ｕ１０の周囲にとどまっていると判定した場合には、ステップＳ３に進む。

ステップＳ３において、イメージセンサ１０は、ユーザＵの耳Ｕ１０の周囲を撮像することで撮像画像を取得する。そして、イメージセンサ１０は、撮像画像に関する撮像画像情報を画像解析装置２０に送信する。画像解析装置２０の通信部２２は、撮像画像情報を取得し、制御部２３に出力する。制御部２３は、撮像画像情報を解析することで、ユーザＵの手Ｕ１の動きを認識する。制御部２３は、ユーザＵの手Ｕ１の動きに応じた処理を行う。その後、制御部２３は、本処理を終了する。

＜４．情報処理装置による処理の手順＞
次に、画像解析装置２０による処理の手順を図１１及び図１２に示すフローチャートに沿って説明する。ステップＳ１０において、制御部２３は、タイマが示す時刻ｔをゼロにリセットする。ここで、タイマは記憶部２１に設定される。また、ｔの値は、イメージセンサ１０が撮像を行う毎に１増加する。また、手Ｕ１の状態（Ｍｏｄｅ）をオフ（ＯＦＦ）にする。

ステップＳ２０において、イメージセンサ１０は、ユーザＵの耳Ｕ１０の周囲を撮像することで撮像画像を取得する。そして、イメージセンサ１０は、撮像画像に関する撮像画像情報を画像解析装置２０に送信する。画像解析装置２０の通信部２２は、撮像画像情報を取得し、制御部２３に出力する。制御部２３は、撮像画像情報を解析する。具体的には、制御部２３は、撮像画像から肌色領域を検出する。具体的には、制御部２３は、撮像画像から画素値が肌色である画素を検出する。そして、制御部２３は、検出された画素の数（面積）をＳ（ｔ）とし、重心位置をＭ（ｔ）とする。Ｓ（ｔ）はスカラー値であり、Ｍ（ｔ）は２次元ベクトルである。肌色部分を検出することで、画像内に写っている手の大きさ（Ｓ（ｔ））と、手の位置（Ｍ（ｔ））を知ることが出来る。なお、手及びその動きの認識については、よりロバストな手法を適用してもよい。

ステップＳ３０において、制御部２３は、Ｍｏｄｅの値を調べる。ＭｏｄｅがＯＦＦである場合には、制御部２３は、ステップＳ４０に進む。ＭｏｄｅがＳＴＡＮＤＢＹであるの場合には、制御部２３は、ステップＳ７に進む。制御部２３は、ＭｏｄｅがＲＥＡＤＹとなる場合には、図１２に示すステップＳ１００に進む。

ステップＳ４０において、制御部２３は、時間の経過（すなわち、時刻ｔの増加）とともにＭ（ｔ）が撮像画像の左端からフレームインしたか否かを判定する。ここで、図６に示すように、ユーザＵが前方から手Ｕ１を耳Ｕ１０の周囲に移動させた場合、手Ｕ１は、平面視で撮像可能範囲１０Ａの左側から撮像可能範囲１０Ａに進入する。したがって、この場合、Ｍ（ｔ）は、撮像画像の左端からフレームインする。したがって、ステップＳ４０では、制御部２３は、ユーザＵの手Ｕ１が前方から撮像可能範囲１０Ａに進入したか否かを判定する。

具体的には、制御部２３は、たとえば、過去数フレーム分（例えば５フレーム分）の撮像画像を取得し、これらの撮像画像中のＭ（ｔ）の値を調べる。すなわち、制御部２３は、Ｍ（ｔ）がｔとともに、撮像画像の左端から中心へ移動してきたかを調べる。ここで、Ｍ（ｔ）が撮像画像の左端から中心へ移動する例を図１４〜図１９に示す。図１４〜図１９は、時刻ｔ−５、ｔ−４、ｔ−３、ｔ−２、ｔ−１、ｔ（＝現在時刻）における撮像画像１０Ｂを示す。手画像Ｕ１ａは、ユーザＵの手Ｕ１を示す。図１４〜図１９に示す例では、手画像Ｕ１ａのＭ（ｔ）が時刻ｔの増加とともに撮像画像の左端から中心へ移動している。なお、図１４〜図１９では、手画像Ｕ１ａ以外の画像を省略している。

制御部２３は、制御部２３は、Ｍ（ｔ）が撮像画像の左端からフレームインしたと判定した場合には、ステップＳ５０に進み、それ以外の場合には、ステップＳ９０に進む。ステップＳ５０において、制御部２３は、ＭｏｄｅをＳＴＡＮＤＢＹに設定する。その後、制御部２３は、ステップＳ９０に進む。

ステップＳ６０において、制御部２３は時間の経過（すなわち、時刻ｔの増加）とともにＳ（ｔ）が小さくなったか否かを判定する。ここで、ユーザＵが手Ｕ１を閉じた場合、撮像画像中の肌色領域が狭くなるので、Ｓ（ｔ）が小さくなる。したがって、ステップＳ６０では、制御部２３は、ユーザＵが手Ｕ１を閉じたか否かを判定する。

制御部２３は、具体的には、たとえば、過去の数フレーム分の撮像画像を取得し、これらの撮像画像中のＳ（ｔ）の値を調べる。すなわち、制御部２３は、Ｓ（ｔ）のスカラー値が時刻ｔの増加とともに小さくなったか否かを判定する。なお、手Ｕ１がフレームアウトすることにより、Ｓ（ｔ）の値が徐々に小さくなってしまうことも考えられる。そこで、制御部２３は、より厳密な判断をしたい場合は、Ｍ（ｔ）が時刻ｔの増加によらずほぼ一定（あらかじめ定められた閾値以内の変動）であるか否かをさらに判定してもよい。

制御部２３は、Ｓ（ｔ）が小さくなったと判定した場合には、ステップＳ７０に進み、それ以外の場合には、ステップＳ９０に進む。ステップＳ７０において、制御部２３は、ＭｏｄｅをＲＥＡＤＹに設定する。その後、制御部２３は、ステップＳ９０に進む。

ステップＳ８０において、制御部２３は、時間の経過（すなわち、時刻ｔの増加）とともに、Ｍ（ｔ）がフレームアウトしたか否かを判定する。すなわち、制御部２３は、ユーザＵの手Ｕ１がイメージセンサ１０の撮像可能範囲１０Ａ（すなわち、耳Ｕ１０の周囲）の外側に移動したか否かを判定する。

制御部２３は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のＭ（ｔ）の値を調べる。すなわち、制御部２３は、Ｍ（ｔ）がｔの増加とともに、画像の中心から周辺へ移動し、最終的に撮像画像外に移動したか否かを判定する。制御部２３は、時間の経過とともに、Ｍ（ｔ）がフレームアウトしたと判定した場合には、図１２に示すステップＳ１９０に進む。制御部２３は、それ以外の場合には、ステップＳ９０に進む。

ステップＳ９０において、制御部２３は、単位時間待機し、その後、タイマが示す時刻ｔを１増加させる。その後、制御部２３は、ステップＳ２０に戻る。

図１２に示すステップＳ１００において、制御部２３は、時間の経過（すなわち、時刻ｔの増加）とともに、Ｍ（ｔ）が撮像画像の左端からフレームアウトしたか否かを判定する。ここで、図６及び図７に示すように、ユーザＵが動作（２）を行った場合、手Ｕ１は、平面視で撮像可能範囲１０Ａの中心から左側に移動し、その後、撮像可能範囲１０Ａから外れる。したがって、この場合、Ｍ（ｔ）は、撮像画像の左端からフレームアウトする。したがって、ステップＳ１００では、制御部２３は、ユーザＵが動作（２）を行ったか否かを判定する。

制御部２３は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のＭ（ｔ）の値を調べる。すなわち、制御部２３は、Ｍ（ｔ）がｔの増加とともに、画像の中心から左端へ移動し、最終的に撮像画像外に移動したか否かを判定する。

制御部２３は、ユーザＵが動作（２）を行ったと判定した場合には、ステップＳ１１０に進み、それ以外の場合には、ステップＳ１２０に進む。ステップＳ１２０において、制御部２３は、操作対象機器２００に処理Ｄ１を行うことを指示する旨の指示情報を生成する。通信部２２は、指示情報を操作対象機器２００に送信する。

ここで、処理Ｄ１の内容は操作対象機器２００に応じて異なるが、処理Ｄ１は、ハンドジェスチャの内容に関連付けられることが好ましい。すなわち、動作（２）は、手を前方に移動させるジェスチャ操作となるため、ユーザＵは、何らかの状態量が正方向に変位することをイメージする。そこで、処理Ｄ１は、操作対象機器２００に関連する状態量を正方向に変位させるものであることが好ましい。例えば、操作対象機器２００がオーディオ機器となる場合、処理Ｄ１は早送り、または再生等であることが好ましい。早送り、再生の区別は、例えば、フレームアウトの速さで行われてもよい。すなわち、フレームアウトの速さが所定値以上であれば早送り、所定値未満であれば再生を行えばよい。また、操作対象機器２００がディスプレイとなる場合、処理Ｄ１は、画像拡大等であることが好ましい。フレームアウトの速さと画像拡大の速さとを関連付けてもよい。このように、処理Ｄ１とハンドジェスチャの内容とを関連付けることで、ユーザＵは、より直感的に操作対象機器２００を操作することができる。その後、制御部２３は、ステップＳ１９０に進む。

ステップＳ１２０において、制御部２３は、時間の経過（すなわち、時刻ｔの増加）とともに、Ｍ（ｔ）が撮像画像の右端からフレームアウトしたか否かを判定する。ここで、図６及び図７に示すように、ユーザＵが動作（３）を行った場合、手Ｕ１は、平面視で撮像可能範囲１０Ａの中心から右側に移動し、その後、撮像可能範囲１０Ａから外れる。したがって、この場合、Ｍ（ｔ）は、撮像画像の右端からフレームアウトする。したがって、ステップＳ１００では、制御部２３は、ユーザＵが動作（３）を行ったか否かを判定する。

制御部２３は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のＭ（ｔ）の値を調べる。すなわち、制御部２３は、Ｍ（ｔ）がｔの増加とともに、画像の中心から右端へ移動し、最終的に撮像画像外に移動したか否かを判定する。

制御部２３は、ユーザＵが動作（３）を行ったと判定した場合には、ステップＳ１３０に進み、それ以外の場合には、ステップＳ１４０に進む。ステップＳ１３０において、制御部２３は、操作対象機器２００に処理Ｄ２を行うことを指示する旨の指示情報を生成する。通信部２２は、指示情報を操作対象機器２００に送信する。

ここで、処理Ｄ２の内容は操作対象機器２００に応じて異なるが、処理Ｄ２は、ハンドジェスチャの内容に関連付けられることが好ましい。すなわち、動作（２）は、手を後方に移動させるジェスチャ操作となるため、ユーザＵは、何らかの状態量が負方向に変位することをイメージする。そこで、処理Ｄ２は、操作対象機器２００に関連する状態量を負方向に変位させるものであることが好ましい。例えば、操作対象機器２００がオーディオ機器となる場合、処理Ｄ１は巻き戻し、または逆転再生等であることが好ましい。巻き戻し、逆転再生の区別は、例えば、フレームアウトの速さで行われてもよい。すなわち、フレームアウトの速さが所定値以上であれば巻き戻し、所定値未満であれば逆転再生を行えばよい。また、操作対象機器２００がディスプレイとなる場合、処理Ｄ２は、画像縮小等であることが好ましい。フレームアウトの速さと画像縮小の速さとを関連付けてもよい。このように、処理Ｄ２とハンドジェスチャの内容とを関連付けることで、ユーザＵは、より直感的に操作対象機器２００を操作することができる。その後、制御部２３は、ステップＳ１９０に進む。

ステップＳ１４０において、制御部２３は、時間の経過（すなわち、時刻ｔの増加）とともに、Ｍ（ｔ）が撮像画像の下端からフレームアウトしたか否かを判定する。ここで、図７に示すように、ユーザＵが動作（４）を行った場合、手Ｕ１は、側面視で撮像可能範囲１０Ａの中心から鉛直下方に移動し、その後、撮像可能範囲１０Ａから外れる。したがって、この場合、Ｍ（ｔ）は、撮像画像の下端からフレームアウトする。したがって、ステップＳ１００では、制御部２３は、ユーザＵが動作（４）を行ったか否かを判定する。

制御部２３は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のＭ（ｔ）の値を調べる。すなわち、制御部２３は、Ｍ（ｔ）がｔの増加とともに、画像の中心から下端へ移動し、最終的に撮像画像外に移動したか否かを判定する。ここで、Ｍ（ｔ）が撮像画像の中心から下端に移動する例を図２０〜図２４、図１４に示す。図２０〜図２４、図１４は、時刻ｔ−５、ｔ−４、ｔ−３、ｔ−２、ｔ−１、ｔ（＝現在時刻）における撮像画像１０Ｂを示す。手画像Ｕ１ａは、ユーザＵの手Ｕ１を示す。図２０〜図２４、図１４に示す例では、手画像Ｕ１ａのＭ（ｔ）が時刻ｔの増加とともに撮像画像の中心から下端へ移動している。

制御部２３は、ユーザＵが動作（４）を行ったと判定した場合には、ステップＳ１５０に進み、それ以外の場合には、ステップＳ１６０に進む。ステップＳ１６０において、制御部２３は、操作対象機器２００に処理Ｄ３を行うことを指示する旨の指示情報を生成する。通信部２２は、指示情報を操作対象機器２００に送信する。

ここで、処理Ｄ３の内容は操作対象機器２００に応じて異なるが、処理Ｄ３は、ハンドジェスチャの内容に関連付けられることが好ましい。すなわち、動作（４）は、手を下方に移動させるジェスチャ操作となるため、ユーザＵは、何らかの状態量が負方向に変位することをイメージする。そこで、処理Ｄ３は、操作対象機器２００に関連する状態量を負方向に変位させるものであることが好ましい。例えば、操作対象機器２００がオーディオ機器となる場合、処理Ｄ３は音量ダウン等であることが好ましい。また、操作対象機器２００がディスプレイとなる場合、処理Ｄ２は、画像縮小等であることが好ましい。このように、処理Ｄ３とハンドジェスチャの内容とを関連付けることで、ユーザＵは、より直感的に操作対象機器２００を操作することができる。

ステップＳ１６０において、制御部２３は、時間の経過（すなわち、時刻ｔの増加）とともに、Ｍ（ｔ）が撮像画像の上端からフレームアウトしたか否かを判定する。ここで、図７に示すように、ユーザＵが動作（５）を行った場合、手Ｕ１は、側面視で撮像可能範囲１０Ａの中心から鉛直上方に移動し、その後、撮像可能範囲１０Ａから外れる。したがって、この場合、Ｍ（ｔ）は、撮像画像の上端からフレームアウトする。したがって、ステップＳ１００では、制御部２３は、ユーザＵが動作（５）を行ったか否かを判定する。

制御部２３は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のＭ（ｔ）の値を調べる。すなわち、制御部２３は、Ｍ（ｔ）がｔの増加とともに、画像の中心から上端へ移動し、最終的に撮像画像外に移動したか否かを判定する。

制御部２３は、ユーザＵが動作（５）を行ったと判定した場合には、ステップＳ１７０に進み、それ以外の場合には、ステップＳ１８０に進む。ステップＳ１７０において、制御部２３は、操作対象機器２００に処理Ｄ４を行うことを指示する旨の指示情報を生成する。通信部２２は、指示情報を操作対象機器２００に送信する。

ここで、処理Ｄ４の内容は操作対象機器２００に応じて異なるが、処理Ｄ４は、ハンドジェスチャの内容に関連付けられることが好ましい。すなわち、動作（５）は、手を上方に移動させるジェスチャ操作となるため、ユーザＵは、何らかの状態量が正方向に変位することをイメージする。そこで、処理Ｄ４は、操作対象機器２００に関連する状態量を正方向に変位させるものであることが好ましい。例えば、操作対象機器２００がオーディオ機器となる場合、処理Ｄ４は音量アップ等であることが好ましい。また、操作対象機器２００がディスプレイとなる場合、処理Ｄ２は、画像拡大等であることが好ましい。このように、処理Ｄ４とハンドジェスチャの内容とを関連付けることで、ユーザＵは、より直感的に操作対象機器２００を操作することができる。

ステップＳ１８０において、制御部２３は、時間の経過（すなわち、時刻ｔの増加）とともに、Ｍ（ｔ）が動作（２）〜（５）以外の態様で撮像画像からフレームアウトしたか否かを判定する。このような態様としては、例えば、Ｍ（ｔ）が撮像画像中斜め方向に移動することが挙げられる。

制御部２３は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のＭ（ｔ）の値を調べる。すなわち、制御部２３は、Ｍ（ｔ）がｔの増加とともに斜め方向に移動し、最終的に撮像画像外に移動したか否かを判定する。

制御部２３は、時間の経過（すなわち、時刻ｔの増加）とともに、Ｍ（ｔ）が動作（２）〜（５）以外の態様で撮像画像からフレームアウトしたと判定した場合には、ステップＳ１９０に進み、それ以外の場合には、図１１に示すステップＳ９０に戻る。

ステップＳ１９０において、制御部２３は、手Ｕ１の状態をＯＦＦに遷移（移行）させる。その後、ステップＳ９０に戻る。

図１３は、上記の処理による状態（Ｍｏｄｅ）遷移を示す状態遷移図である。ＭｏｄｅがＯＦＦとなる場合、制御部２３は、Ｍ（ｔ）が撮像画像の左端からフレームインするまで待機する。

制御部２３は、Ｍ（ｔ）が撮像画像の左端からフレームインした場合、手Ｕ１の状態をＯＦＦからＳＴＡＮＤＢＹに遷移させる。制御部２３は、Ｓ（ｔ）が小さくなるまで、即ち、ユーザＵが手Ｕ１を閉じるまで待機する。なお、制御部２３は、Ｍ（ｔ）が撮像画像からフレームアウトした場合、手Ｕ１の状態をＳＴＡＮＤＢＹからＯＦＦに遷移させる。

制御部２３は、Ｓ（ｔ）が小さくなった場合には、手Ｕ１の状態をＳＴＡＮＤＢＹからＲＥＡＤＹに遷移させる。制御部２３は、動作（２）〜（５）のいずれかが行われるまで待機する。制御部２３は、動作（２）〜（５）のいずれかが行われた（即ち、Ｍ（ｔ）が撮像画像の左端、右端、上端、下端の何れかからフレームアウトした）場合には、動作に対応する指示情報を生成する。その後、制御部２３は、手Ｕ１の状態をＯＦＦに遷移させる。制御部２３は、Ｍ（ｔ）が動作（２）〜（５）以外の態様で撮像画像からフレームアウトした場合、指示情報を生成せずに、手Ｕ１の状態をＯＦＦに遷移させる。

このように、本実施形態によれば、ユーザＵは、手Ｕ１を耳Ｕ１０の周囲、例えば開口面に対向する位置に移動させ、ハンドジェスチャを行う。そして、情報処理装置１は、ハンドジェスチャの内容に応じた処理を操作対象機器２００に行わせる。したがって、ユーザは、手Ｕ１を耳Ｕ１０の周囲に手Ｕ１を移動させてハンドジェスチャを行うだけで操作対象機器２００に所望の処理を行わせることができるので、耳Ｕ１０の周囲での操作を容易に行うことができる。

すなわち、本実施形態によれば、情報処理装置１は、ユーザＵの耳Ｕ１０の周囲に存在する物体の動きを遠隔検知するイメージセンサ１０を備える。したがって、イメージセンサ１０は、ユーザＵが手Ｕ１を耳Ｕ１０の周囲に移動させ、ハンドジェスチャを行った場合、このようなハンドジェスチャを遠隔検知することができる。したがって、ユーザＵは、耳の周囲での操作を容易に行うことができる。

ここで、イメージセンサ１０は、ユーザＵの耳Ｕ１０の開口面に対向する位置に存在する物体の動きを遠隔検知する。ここで、耳Ｕ１０の開口面は、ユーザＵにとってわかりやすい位置なので、ユーザＵは、手Ｕ１を容易にこの位置に移動させることができる。したがって、ユーザＵは、耳の周囲での操作を容易に行うことができる。

また、情報処理装置１は、イメージセンサ１０から出力された撮像画像情報に基づいて、物体の動きを認識し、物体の動きに応じた処理を行う。したがって、ユーザは、ハンドジェスチャに応じた処理を情報処理装置１に行わせることができる。

また、情報処理装置１は、イメージセンサ１０から出力された撮像画像情報に基づいて、物体の動きを認識し、物体が特定方向（好適には、ユーザＵの前方）から撮像可能範囲１０Ａ内に進入したか否かを判定する。そして、情報処理装置１は、物体がユーザＵの前方から撮像可能範囲１０Ａ内に進入したと判定した場合には、物体の状態をスタンバイ状態に移行させる。そして、情報処理装置１は、物体の状態がスタンバイ状態に移行した後にイメージセンサ１０から出力された撮像画像情報に基づいて、物体の動きを認識し、物体の動きに応じた処理を行う。

すなわち、本実施形態では、特定の方向（好適には、ユーザＵの前方）から物体（手）が耳Ｕ１０の周囲に移動してきたことをジェスチャ認識開始のトリガーとしている。手Ｕ１をユーザＵの前方から耳Ｕ１０の周囲に移動させる（動作（１））操作は、ユーザＵにとって自然な操作となることが多い。つまり、ユーザＵは、自然な動作を行うだけで、情報処理装置１にジェスチャ認識を行わせることができる。

さらに、情報処理装置１は、物体の状態がスタンバイ状態に移行した後にイメージセンサ１０から出力された撮像可能情報に基づいて、物体の形状が特定形状（例えば手を閉じた形状）であるか否かを判定する。そして、情報処理装置１は、物体の形状が特定形状であると判定した場合には、物体の状態をレディ状態に移行させる。そして、情報処理装置１は、物体の状態がレディ状態に移行した後にイメージセンサ１０から出力された撮像画像情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う。これにより、情報処理装置１は、ジェスチャ認識をより正確に行うことができる。

＜５．各種変形例＞
（５−１．情報処理装置の第１変形例）
次に、図２５に基づいて、情報処理装置１の第１変形例を説明する。第１変形例では、制御部２３は、手Ｕ１の状態がＳＴＡＮＤＢＹとなっている場合に、以下の処理を行う。

すなわち、制御部２３は、撮像画像情報に基づいて、手Ｕ１がタップ動作を行ったか否かを判定する。制御部２３は、タップ動作を行った場合には、操作対象機器２００に処理Ｄ５を行うことを指示する旨の指示情報を生成する。処理Ｄ５の内容はタップ動作の種類（タップ動作の回数等）に応じて異なることが好ましい。例えば、操作対象機器２００がオーディオ機器となる場合、タップ回数に応じて処理Ｄ５が再生、逆転再生、早送り、巻き戻し等になることが好ましい。また、操作対象機器２００がディスプレイとなる場合、タップ回数に応じて処理Ｄ５が画像拡大、画像縮小等になることが好ましい。なお、制御部２３は、手Ｕ１の状態をＳＴＡＮＤＢＹに維持する。

（５−２．情報処理装置の第２変形例）
次に、図２６に基づいて、情報処理装置１の第２変形例を説明する。第２変形例は、図１１〜図１３に示す処理に対してＳＴＡＮＤＢＹ以降の処理が異なる。

具体的には、制御部２３は、手Ｕ１の状態がＳＴＡＮＤＢＹ状態に移行した場合には、Ｓ（ｔ）が小さくなるまで待機する。そして、制御部２３は、Ｓ（ｔ）が小さくなった場合には、Ｓ（ｔ）が所定の閾値以下まで低下したか否かをさらに判定する。そして、制御部２３は、Ｓ（ｔ）が所定の閾値以下まで低下したと判定した場合には、手Ｕ１の状態を第１のＲＥＡＤＹ状態（図１３に示すＲＥＡＤＹ状態）に遷移させる。その後、制御部２３は、図１１〜図１３に示す処理を行う。一方、制御部２３は、Ｓ（ｔ）が所定の閾値より大きいと判定した場合には、手Ｕ１の状態を図２６に示す第２のＲＥＡＤＹ状態に遷移させる。

第２のＲＥＡＤＹ状態は、手Ｕ１が仮想のダイヤルを握っている状態である。第２のＲＥＡＤＹ状態に対応する撮像画像の例を図２７に示す。図２７に示す撮像画像１０Ｂには、仮想のダイヤル１０Ｃを握っている手画像Ｕ１ａが描かれている。この手画像Ｕ１ａのＳ（ｔ）は、図２０等に示す手画像Ｕ１ａのＳ（ｔ）よりも大きい。

そして、制御部２３は、撮像画像情報に基づいて、手Ｕ１が回転したか否かを判定する。制御部２３は、手Ｕ１が回転した場合には、操作対象機器２００に処理Ｄ６を行うことを指示する旨の指示情報を生成する。処理Ｄ６の内容は回転内容（回転方向及び速さ）に応じて異なることが好ましい。例えば、操作対象機器２００がオーディオ機器となる場合、回転内容に応じて処理Ｄ６が再生、逆転再生、早送り、巻き戻し等になることが好ましい。例えば、回転方向が右回転であれば、処理Ｄ６が再生または早送りとなる。これらの区別は、回数の速さによって行われれば良い。また、操作対象機器２００がディスプレイとなる場合、回転内容に応じて処理Ｄ６が画像拡大、画像縮小等になることが好ましい。回転の速さと画像拡大または縮小の速さとを関連付けてもよい。なお、制御部２３は、手Ｕ１の状態を第２のＲＥＡＤＹ状態に維持する。制御部２３は、Ｍ（ｔ）がフレームアウトした場合には、手Ｕ１の状態をＯＦＦに遷移させる。

このように、第２の変形例では、ユーザＵが仮想のダイヤルを掴んで回すハンドジェスチャを行った場合に、当該ハンドジェスチャに対応する処理を行う。すなわち、第２の変形例では、制御部２３は、手Ｕ１の状態を手Ｕ１の形状に応じて異なるＲＥＡＤＹ状態に遷移させる。その後、制御部２３は、手Ｕ１の動きとＲＥＡＤＹ状態の種類とに応じた処理を行う。この場合、ユーザＵは、より多様なハンドジェスチャを行うことができる。

（５−３．情報処理装置の第３変形例）
次に、図２８に基づいて、情報処理装置１の第３変形例について説明する。第３変形例では、図２８に示すように、ユーザＵに、特定の色のついた指輪Ｕ２を指に装着させてハンドジェスチャさせる。指輪Ｕ２は、ユーザＵの手に連動して動く。イメージセンサ１０は、指輪Ｕ２を撮像することで、指輪Ｕ２の動きを遠隔検知する。制御部２３は、ハンドジェスチャを認識する際（例えば、ステップＳ４０、Ｓ６０、Ｓ８０、Ｓ１００、Ｓ１２０、Ｓ１４０、Ｓ１６０、Ｓ１８０を行う際）には、手Ｕ１の動きの代わりに、指輪Ｕ２の動きをハンドジェスチャとして認識する。制御部２３は、イメージセンサ１０が指輪Ｕ２を装着していない手を撮像した場合には、その手をユーザＵ以外の他人の手と認識する。この場合、制御部２３は、ハンドジェスチャの認識を行わない。したがって、第３の変形例では、他人の手によるハンドジェスチャをユーザＵによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。

なお、イメージセンサ１０が遠隔検知可能な物体は、手、指輪に限られないことはもちろんである。イメージセンサ１０は、例えば、棒、ペン等の動きを遠隔検知してもよい。この場合、ユーザＵは、棒、ペン等をイメージセンサ１０の撮像可能範囲１０Ａ内で動かせばよい。

（５−４．情報処理装置の第４変形例）
上記実施形態においては、制御部２３は、手の形状として、開いた状態と握った状態の２つの状態を認識する。第４変形例では、制御部２３は、さらに別の形状を認識する。当該形状の例を図２９に示す。図２９に示す例では、手Ｕ１の親指と小指は伸ばされ、他の３本の指は折り曲げられている。ユーザＵは、例えば上述した動作（１）を行った後、手Ｕ１の形状を図２９に示す形状とする。その後、ユーザＵは、上述した動作（２）〜（５）を行う。制御部２３は、当該ハンドジェスチャを認識し、上述した処理（操作対象機器２００への指示等）を行う。ハンドジェスチャを意識しない他人は、手を図２９に示す形状とすることは殆ど無い。したがって、第４の変形例では、他人の手によるハンドジェスチャをユーザＵによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。

（５−５．情報処理装置の第５変形例）
第５の変形例では、記憶部２１に、予めユーザＵの指紋を登録させておく。そして、制御部２３は、ハンドジェスチャを認識する際（例えば、ステップＳ４０、Ｓ６０、Ｓ８０、Ｓ１００、Ｓ１２０、Ｓ１４０、Ｓ１６０、Ｓ１８０を行う際）に、指紋認識を行う。すなわち、制御部２３は、撮像画像に描かれる指紋と事前登録された指紋とを対比し、これらが一致する場合に、ハンドジェスチャを認識する。したがって、第５の変形例では、他人の手によるハンドジェスチャをユーザＵによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。

（５−６．情報処理装置の第６変形例）
第６変形例では、制御部２３は、ハンドジェスチャを認識する際（例えば、ステップＳ４０、Ｓ６０、Ｓ８０、Ｓ１００、Ｓ１２０、Ｓ１４０、Ｓ１６０、Ｓ１８０を行う際）に、撮像画像中の手画像の向きを解析する。すなわち、図３０及び図３１に示すように、撮像画像１ＢにユーザＵの手画像Ｕ１ａが描かれていれば、その手画像Ｕ１ａの手首は左下あるいは下方向に向き、指先は上あるいは右上方向に向いているはずである。このことは、図７に示された手Ｕ１の位置からも明らかである。逆に、図３２及び図３３に示すように、他人の手画像Ｕ２０ａが撮像画像１Ｂに描かれている場合、手画像２０ａの手首は他の方向（例えば右方向、左上方向等）を向くことが多い。

そこで、制御部２３は、手画像の向きに基づいて、その手画像がユーザＵの手画像Ｕ１ａであるか否かを判定する。そして、制御部２３は、手画像がユーザＵの手画像Ｕ１ａであると判定した場合には、ハンドジェスチャを認識する。したがって、第６の変形例では、他人の手によるハンドジェスチャをユーザＵによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。

（５−７．情報処理装置の第７変形例）
第７変形例では、イメージセンサ１０は、測距も行う。このようなイメージセンサ１０としては、例えばステレオカメラ（上記撮像機構１１ａを２組有するもの）が挙げられる。また、イメージセンサ１０の他の具体例としては、像面の位相差を用いて測距を行うカメラが挙げられる。

そして、制御部２３は、ハンドジェスチャを認識する際（例えば、ステップＳ４０、Ｓ６０、Ｓ８０、Ｓ１００、Ｓ１２０、Ｓ１４０、Ｓ１６０、Ｓ１８０を行う際）に、手がイメージセンサ１０から所定距離（例えば３０ｃｍ）内に存在するか否かを判定する。そして、制御部２３は、手がイメージセンサ１０から所定距離内に存在すると判定した場合には、その手をユーザＵの手Ｕ１と認識し、ハンドジェスチャを認識する。一方、制御部２３は、手からイメージセンサ１０までの距離が所定距離よりも大きいと判定した場合には、その手を他人の手と認識する。この場合、制御部２３は、ハンドジェスチャを認識しない。したがって、第７の変形例では、他人の手によるハンドジェスチャをユーザＵによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。

（５−８．情報処理装置の第８変形例）
上述したように、イメージセンサ１０は、ユーザＵの側方を撮像する。したがって、イメージセンサ１０は、ユーザＵの死角に存在する（すなわち、ユーザＵにとって見えにくい、あるいは見えない）物体を撮像することができる。そこで、制御部２３は、撮像画像に基づいて、ユーザＵの死角からユーザＵに急接近する物体を認識する。例えば、図３４に示すように、撮像画像１Ｂに自動車画像１０Ｄが描かれている場合、制御部２３は、死角に自動車が存在すると判定する。さらに、制御部２３は、自動車がユーザＵに急接近するか否かを判定する。制御部２３は、例えば自動車画像１０Ｄが時間の経過とともに拡大される場合、自動車が急接近すると判定してもよい。この判定は、第７変形例を使用して行われてもよい。制御部２３は、ユーザＵの死角からユーザＵに急接近する物体が存在すると判定した場合には、緊急処理を行う。緊急処理としては、操作対象機器２００の電源をオフする、危険が迫っていることをユーザＵに報知する等の処理が挙げられる。ユーザＵに報知する方法としては、操作対象機器２００を用いて（例えば、操作対象機器２００がオーディオ機器ならスピーカを用いて）報知する方法が挙げられる。他の方法としては、画像解析装置２０にスピーカ等を設置し、このスピーカを用いて報知する方法等が挙げられる。第８変形例によれば、ユーザＵは、自己に急接近する物体が存在することを認識することが出来る。

（５−９．情報処理装置の第９変形例）
制御部２３は、操作対象機器２００の電源のオン／オフに連動して、イメージセンサ１０及び画像解析装置２０の電源のオン／オフを行う。すなわち、操作対象機器２００の電源がオンされると、信号線４０を介して、操作対象機器２００から画像解析装置２０へ、電源をオンする命令（信号）が送られる。この命令を受けて、制御部２３は、イメージセンサ１０及び画像解析装置２０の電源をオンする。オフについても同様である。これにより、操作対象機器２００を使わないときは、イメージセンサ１０および画像解析装置２０でも電力が消費されなくなる。なお、この場合、信号線４０は、双方向の通信に使われる。

（５−１０．情報処理装置の第１０変形例）
制御部２３は、手Ｕ１のＭｏｄｅがＯＦＦとなる場合には、図３５に示すように、イメージセンサ１０の撮像素子のうち、撮像画像１０Ｂの左側領域１０Ｂ−１に対応する部分をオンとし、他の領域１０Ｂ−２をオフとする。すなわち、イメージセンサ１０は、撮像素子のうち、左側領域１０Ｂ−１に相当する部分だけを用いて撮像を行う。すなわち、ハンドジェスチャ認識のトリガーとなる動作（１）が行われる場合、図１４〜図１９に示すように、手画像Ｕ１ａはまず左側領域１０Ｂ−１に描かれる。したがって、この左側領域１０Ｂ−１だけ撮像可能としておけば、ユーザＵが動作（１）を行ったか否かがわかる。第１０変形例によれば、イメージセンサ１０の消費電力がさらに低減される。

（５−１１．情報処理装置の第１１変形例）
制御部２３は、図３６に示すように、撮像画像１０Ｂに縦方向（上下方向）に伸びる複数の線画像１０Ｅが描かれている場合、イメージセンサ１０にユーザＵの髪の毛がかかっていると判定する。この場合、ユーザＵの髪の毛によって撮像が妨害されているので、制御部２３は、撮像妨害時処理を行う。撮像妨害時処理としては、操作対象機器２００の電源をオフする、髪の毛がイメージセンサ１０にかかっていることをユーザＵに報知する等の処理が挙げられる。ユーザＵに報知する方法としては、上述した第８変形例と同様の方法であればよい。第１１変形例によれば、ユーザは、髪の毛によって適切な撮像ができなくなっていることを認識することができる。

（５−１２．情報処理装置の第１２変形例）
図３７は、第１２変形例に係る情報処理装置１を示す。この変形例では、頭部装着部材３００に情報処理装置１が装着されている。頭部装着部材３００はヘッドフォンである。この例では、情報処理装置１は、頭部装着部材３００の耳あて（イヤーカップ）部分に装着されている。装着の態様については図１に示すものと同様である。この変形例によっても、上述した効果と同様の効果が得られる。

（５−１３．情報処理装置の第１３変形例）
図３３は、第１３変形例に係る情報処理装置１を示す。この変形例では、信号線３０が延長され、かつ、画像解析装置２０が頭部装着部材１００から取り外されている。この例では、頭部装着部材１００が軽量化される。ユーザＵ１は、画像解析装置２０を例えば服のポケットなどに入れておけば良い。

（５−１４．情報処理装置の第１４変形例）
上述した情報処理装置１では、イメージセンサ１０を用いて物体を遠隔検知していたが、物体を遠隔検知できるセンサであればどのようなものであっても情報処理装置１に適用可能である。例えば、物体の移動だけを遠隔検知するのであれば、情報処理装置１は、図３９に示すような近接センサ５１〜５４を用いてもよい。

近接センサ５１〜５４は、ケース５０内に配置される。近接センサ５１〜５４は、鉛直方向（ｙ方向）及び水平方向（ｘ方向）にそれぞれ２つずつ配置される。ケース５０は、図１のイメージセンサ１０と同様の位置に配置される。近接センサ５１〜５４は物体が近づいたことを検出できるセンサである。制御部２３は、近接センサ５１〜５４の中で最初に反応したセンサと最後に反応したセンサを特定することで、物体（手）が、最初に反応したセンサの位置から最後に反応したセンサの位置へと移動したことが分かる。制御部２３は、この情報を使ってジェスチャ認識を行えばよい。

なお、上記の各変形例を任意に組み合わせてよいことはもちろんである。例えば、第１変形例と第２変形例とを組み合わせてもよい。この場合、制御部２３は、タップ動作及び仮想のダイヤルを回転させる動作に応じて処理を行う。また、第１または第２変形例と第３変形例〜第７変形例とを組み合わせてもよい。この場合、ユーザＵは、タップ動作、仮想のダイヤルを回転させる動作を行い、制御部２３は、これらに応じた処理を行う。また、制御部２３は、第３変形例〜第７変形例に係る処理（ロバスト性を上げる処理）を上記とともに行う。

また、第８変形例と他の変形例とを組み合わせてもよい。この場合、制御部２３は、他の変形例に係る処理を行う一方で、ユーザＵの死角から物体が急接近してきた場合には、緊急処理を行う。また、第９変形例と他の変形例とを組み合わせてもよい。この場合、制御部２３は、他の変形例に係る処理を行う一方で、操作対象機器２００の電源に連動してイメージセンサ１０及び画像解析装置２０をオフする。

また、第１０変形例と他の変形例とを組み合わせてもよい。この場合、制御部２３は、他の変形例に係る処理を行う一方で、動作（１）が行われるまでは、撮像素子のうち、左側領域１０Ｂ−１に対応する領域飲みをオンにする。

また、第１１変形例と他の変形例とを組み合わせてもよい。この場合、制御部２３は、他の変形例に係る処理を行う一方で、イメージセンサ１０に髪の毛がかかっている場合には、撮像妨害時処理を行う。

また、第１２〜第１４変形例のいずれかと他の変形例とを組み合わせてもよい。この場合、情報処理装置１は、第１２〜第１４変形例のいずれかに示す構成を有する。さらに制御部２３は、他の変形例に係る処理を行う。

なお、上記効果はあくまで例示であって、本実施形態は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部を備えることを特徴とする、情報処理装置。
（２）
前記検知部は、前記ユーザの耳の開口面に対向する位置に存在する物体の動きを遠隔検知する、前記（１）記載の情報処理装置。
（３）
前記検知部は、前記ユーザの手及び前記ユーザの手に連動して動く連動部材のうち、少なくとも一方を遠隔検知する、前記（１）または（２）記載の情報処理装置。
（４）
前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御部を備える、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が特定方向から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記特定方向から前記検知部の検知可能範囲内に進入したと判定した場合には、前記物体の状態をスタンバイ状態に移行させ、
前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記（４）記載の情報処理装置。
（６）
前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体がユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定する、前記（５）記載の情報処理装置。
（７）
前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が特定形状であるか否かを判定し、
前記物体の形状が前記特定形状であると判定した場合には、前記物体の状態をレディ状態に移行させ、
前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記（５）または（６）記載の情報処理装置。
（８）
前記特定形状は複数存在し、
前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致するか否かを判定し、
前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致すると判定した場合には、前記物体の状態を前記物体の形状に応じたレディ状態に移行し、
前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動き及び前記レディ状態の種類に応じた処理を行う、前記（７）記載の情報処理装置。
（９）
前記検知部は、前記ユーザの頭部に装着可能な頭部装着部材に装着される、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記検知部は、前記頭部装着部材のうち、前記ユーザの耳に装着される部分に装着される、前記（９）記載の情報処理装置。
（１１）
前記検知部は、前記ユーザの耳の周囲を撮像可能なイメージセンサである、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
ユーザの耳の周囲に存在する物体の動きを検知部によって遠隔検知することを含む、情報処理方法。
（１３）
前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行うことを含む、前記（１２）記載の情報処理方法。
（１４）
前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、スタンバイ状態に移行し、
前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記（１３）記載の情報処理方法。
（１５）
コンピュータに、
ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御機能を実現させる、プログラム。
（１６）
前記制御機能は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、スタンバイ状態に移行し、
前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記（１５）記載のプログラム。

１ 情報処理装置
１０ イメージセンサ
２０ 画像解析装置
２１ 記憶部
２２ 通信部
２３ 制御部

Claims (16)

1. ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部を備えることを特徴とする、情報処理装置。
2. 前記検知部は、前記ユーザの耳の開口面に対向する位置に存在する物体の動きを遠隔検知する、請求項１記載の情報処理装置。
3. 前記検知部は、前記ユーザの手及び前記ユーザの手に連動して動く連動部材のうち、少なくとも一方を遠隔検知する、請求項１記載の情報処理装置。
4. 前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御部を備える、請求項１記載の情報処理装置。
5. 前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が特定方向から前記検知部の検知可能範囲内に進入したか否かを判定し、
   前記物体が前記特定方向から前記検知部の検知可能範囲内に進入したと判定した場合には、前記物体の状態をスタンバイ状態に移行させ、
   前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、請求項４記載の情報処理装置。
6. 前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体がユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定する、請求項５記載の情報処理装置。
7. 前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が特定形状であるか否かを判定し、
   前記物体の形状が前記特定形状であると判定した場合には、前記物体の状態をレディ状態に移行させ、
   前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、請求項５記載の情報処理装置。
8. 前記特定形状は複数存在し、
   前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致するか否かを判定し、
   前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致すると判定した場合には、前記物体の状態を前記物体の形状に応じたレディ状態に移行し、
   前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動き及び前記レディ状態の種類に応じた処理を行う、請求項７記載の情報処理装置。
9. 前記検知部は、前記ユーザの頭部に装着可能な頭部装着部材に装着される、請求項１記載の情報処理装置。
10. 前記検知部は、前記頭部装着部材のうち、前記ユーザの耳に装着される部分に装着される、請求項９記載の情報処理装置。
11. 前記検知部は、前記ユーザの耳の周囲を撮像可能なイメージセンサである、請求項１記載の情報処理装置。
12. ユーザの耳の周囲に存在する物体の動きを検知部によって遠隔検知することを含む、情報処理方法。
13. 前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行うことを含む、請求項１２記載の情報処理方法。
14. 前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
    前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、前記物体の状態をスタンバイ状態に移行させ、
    前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、請求項１３記載の情報処理方法。
15. コンピュータに、
    ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御機能を実現させる、プログラム。
16. 前記制御機能は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
    前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、前記物体の状態をスタンバイ状態に移行させ、
    前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、請求項１５記載のプログラム。
    

Images