JP2012068713A - 情報処理装置、および情報処理方法 - Google Patents

Abstract

【課題】通信システムにおけるユーザの操作性の向上を図ることが可能な、情報処理装置、および情報処理方法を提供する。
【解決手段】通信対象装置３００と通信を行う通信部１０４と、撮像画像からユーザの顔を含む顔領域を検出する検出部と、検出部において顔領域が検出された場合に、顔領域に基づいて動作領域を顔領域の近傍に設定する動作領域設定部１１０と、撮像画像と基準検出情報とに基づいて、動作領域においてユーザによる所定の動作が行われたことを判定する動作判定部１１２と、動作判定部１１２において所定の動作が行われたと判定された場合、自装置における判定結果と通信対象装置３００における判定結果とに基づく協調制御情報に基づいて処理を行うか否かを判定する協調判定部１１６と、協調して処理を行うと判定された場合に、協調制御情報に基づく処理を選択的に行う処理部１１８とを備える情報処理装置１００が提供される。
【選択図】図１８

Description

本発明は、情報処理装置、および情報処理方法に関する。

近年、電子機器などの装置の高機能化や多機能化がますます進んでおり、ユーザが装置を使用するために当該装置に対して与えなければならない指示の内容は、より多様化、複雑化している。このような中、多くの装置ではユーザインタフェースとしてＧＵＩ（Graphical User Interface）が採用されており、ユーザは、ＣＵＩ（Character User Interface）が採用されている装置を用いる場合よりも、より容易に装置に指示を与えることが可能となっている。

しかしながら、例えば、マウスなどのポインティングデバイスを用いた操作に慣れていないユーザにとっては、ＧＵＩは必ずしも操作性のよいユーザインタフェースではない。そのため、ユーザがより直感的に装置に対して指示を与えることが可能なユーザインタフェースが求められている。

このような中、操作性を向上させるためのユーザインタフェースに係る技術が開発されている。ユーザの体の一部または当該ユーザにより操作される物体の形状や動作を検出して、検出結果に応じた処理を行う技術としては、例えば、特許文献１が挙げられる。

特開２００５−３１７９９号公報

近年、例えば撮像された画像（動画像。以下、「撮像画像」という。）および音声による通話（例えばビデオ通話）に係る通信を行い、複数のユーザ間における当該通話を可能とする情報処理装置が、普及しつつある。ここで、例えば、撮像画像および音声による通話を行っているユーザが当該通話を終了させる場合には、ユーザは、例えば、通話に用いている情報処理装置を操作することまたはリモート・コントローラなどの外部操作デバイスを操作することによって、当該情報処理装置に当該通話に係る通信を終了させる。しかしながら、例えば上記の場合には、通信が終了される前にユーザが上記操作に係る動作を行うこととなるので、通話中の複数のユーザが１つの場所で直接的に話をしているときに別れの挨拶をする場合と比較して、不自然さが残る。

ここで、操作性を向上させるためのユーザインタフェースに係る従来の技術（以下、単に「従来の技術」という。）が適用された情報処理装置（以下、「従来の情報処理装置」という。）は、撮像画像を画像処理することによって、空間上の腕や手のひら、指などを用いたユーザのジェスチャ動作（以下、「ジェスチャ」または単に「動作」と示す。）を検出する。そして、従来の情報処理装置は、ユーザの動作が検出された場合には、検出された動作に対応する処理を行う。よって、従来の情報処理装置のユーザは、ＧＵＩを用いる場合よりもより直感的に当該従来の情報処理装置に指示を与えることが可能となるので、従来の技術を用いることによって、ユーザの操作性を向上させることができる可能性がある。また、従来の情報処理装置のように検出されたユーザの動作に対応する処理を行えば、上記のように撮像画像および音声による通話を終了させる場合であっても、例えば通信の終了に対応付けられたユーザの動作を検出することによって、情報処理装置は、ユーザの動作に応じて通信を終了させることが可能となる。よって、従来の情報処理装置のように検出されたユーザの動作に対応する処理を行うことによって、例えば上記のような、ユーザが情報処理装置または外部操作デバイスを操作することに起因する不自然さを解消させることができる可能性はある。

しかしながら、従来の技術は、空間上の腕や手のひら、指などのユーザの体の少なくとも一部、または当該ユーザにより操作される物体の形状や動作を検出してユーザの動作を検出するので、撮像画像全体に対して画像処理を行わなければならない。そのため、例えば、検出する動作の種類が多ければ多い程、また、当該動作が複雑であればある程、従来の情報処理装置には、画像処理を行うためのより高い処理能力が要求される。ここで、近年、ＰＣ（Personal Computer）などの情報処理装置の高機能化に伴い処理能力が向上しているとはいえ、ユーザインタフェースに多くの計算資源を割いてしまうと、例えば通信を制御する機能などの他の機能を実現するための計算資源が不足する恐れがある。また、上記他の機能を実現するための計算資源の不足が生じた場合には、計算資源の不足が解消されるまで当該機能に係る処理が行われないことから、従来の情報処理装置では、例えば、ユーザを過度に待たせてしまう、または当該機能が実現されないなどの、望ましくない事態が生じうる。

よって、従来の技術を用いた場合には、ユーザの利便性を低下させてしまう恐れがあることから、ユーザの操作性を向上させることができるとは限らない。

また、通信を行っている複数の情報処理装置それぞれが、従来の情報処理装置のように検出されたユーザの動作に対応する処理を行う機能を有する場合には、一の情報処理装置においてユーザの動作に対応する処理が行われることによって、望ましくない事態が生じる恐れがある。上記望ましくない事態としては、例えば、通信を行っている複数の情報処理装置のユーザのうちの一のユーザが、通信を終了させるための所定の動作を行ったときに、他のユーザが通信の終了を所望していないにも関わらず通信が終了してしまうことなどが挙げられる。そして、上記のような、通信を行っている情報処理装置のうちの一の情報処理装置においてユーザの動作に対応する処理が行われることによる望ましくない事態が生じた場合には、ユーザの利便性の低下が生じうることから、ユーザの操作性の向上は望むべくもない。

ここで、従来の技術では、複数の情報処理装置が通信を行う場合について何らの考慮もされていない。よって、従来の技術を用いたとしても、上記ユーザの利便性の低下が生じうる。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の情報処理装置が通信可能な通信システムにおけるユーザの操作性の向上を図ることが可能な、新規かつ改良された情報処理装置、および情報処理方法を提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、１または２以上の通信対象装置と通信を行う通信部と、撮像により得られた動画像である撮像画像からユーザの顔を含む顔領域を検出する検出部と、上記検出部において上記顔領域が検出された場合に、上記顔領域に基づいて、上記ユーザの動作を検出するための上記撮像画像における動作領域を、上記顔領域の近傍に設定する動作領域設定部と、上記撮像画像と、ユーザの所定の動作の検出の基準となる基準検出情報とに基づいて、上記動作領域設定部が設定した上記動作領域においてユーザによる上記所定の動作が行われたことを判定する動作判定部と、上記動作判定部において上記所定の動作が行われたと判定された場合、自装置における判定結果と上記通信対象装置における上記通信対象装置のユーザの所定の動作の判定結果とに基づく協調制御情報に基づいて、上記通信対象装置と協調して処理を行うか否かを判定する協調判定部と、上記協調判定部において上記通信対象装置と協調して処理を行うと判定された場合に、上記動作判定部において判定された上記所定の動作に対応する処理として、上記協調制御情報に基づく処理を選択的に行う処理部と、を備える情報処理装置が提供される。

かかる構成により、複数の情報処理装置が通信可能な通信システムにおけるユーザの操作性の向上を図ることができる。

また、上記基準検出情報には、上記所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられており、上記動作判定部は、上記撮像画像に対して設定された上記動作領域における周期成分を検出し、上記動作領域における周期成分の検出結果と上記周期成分の情報とに基づいて、上記所定の動作が行われたことを判定してもよい。

また、上記動作判定部は、上記基準検出情報、または、特定のユーザが行う所定の動作の検出の基準となる個別検出情報を選択的に用いて、上記動作領域においてユーザによる上記所定の動作が行われたことを判定してもよい。

また、上記個別検出情報には、上記所定の動作、ユーザの周期動作を検出するための周期成分の情報、およびユーザの顔の特徴を示す顔情報が対応付けられており、上記動作判定部は、上記撮像画像に対して設定された上記動作領域における周期成分を検出し、上記撮像画像の上記顔領域から上記顔情報を抽出し、抽出した上記顔情報に対応する上記個別検出情報がある場合には、上記動作領域における周期成分の検出結果と、上記個別検出情報の上記周期成分の情報とに基づいて、上記所定の動作が行われたことを判定してもよい。

また、上記個別検出情報を管理する学習部をさらに備え、上記学習部は、上記動作判定部において上記所定の動作が行われたと判定された場合には、上記動作判定部において検出された周期成分の情報を、判定された上記所定の動作および抽出した上記顔情報に対応する個別検出情報における上記周期成分の情報としてもよい。

また、上記検出部は、上記撮像画像に対して設定された上記動作領域において動体をさらに検出し、上記動作判定部は、上記検出部において動体が検出された場合に、上記所定の動作が行われたことを選択的に判定してもよい。

また、検出部は、矩形の上記顔領域を検出し、上記動作領域設定部は、上記顔領域の水平方向の長さと上記顔領域の垂直方向の長さとに基づく上記動作領域を設定してもよい。

また、上記動作領域設定部は、上記顔領域から上記ユーザの顔の特徴を示す顔情報を抽出し、設定した上記動作領域を、上記顔情報に基づいて再設定してもよい。

また、上記動作領域設定部は、上記顔領域の左近傍または上記顔領域の右近傍のいずれか一方、または、上記顔領域の左近傍および上記顔領域の右近傍の双方に、上記動作領域を設定してもよい。

また、上記動作領域設定部は、上記顔領域の下近傍または上近傍のいずれか一方、または、上記顔領域の下近傍および上記顔領域の上近傍の双方に、１または２以上の上記動作領域をさらに設定し、上記動作判定部は、複数の上記動作領域ごとに上記所定の動作が行われたことを判定し、上記処理部は、上記所定の動作が行われたと判定された動作領域、および判定された上記所定の動作に対応する処理を行ってもよい。

また、上記動作判定部は、上記動作領域外における周期成分は検出しなくてもよい。

また、画像を表示画面に表示する表示部と、上記表示画面の表示方向を撮像し、上記撮像画像を生成する撮像部とをさらに備え、上記検出部は、上記撮像部が生成した上記撮像画像から上記顔領域を検出してもよい。

また、上記動作判定部において上記所定の動作が行われたと判定された場合に、上記所定の動作が行われたと判定したことをユーザに通知する通知処理を行う通知処理部をさらに備え、上記協調判定部は、上記動作判定部において所定の期間継続的に上記所定の動作が行われたと判定された場合に、上記通信対象装置と協調して処理を行うか否かを判定してもよい。

また、上記協調判定部は、上記動作判定部において上記所定の動作が行われたと判定された場合、上記所定の動作が行われたと判定されたことを通知する判定通知情報を、上記通信対象装置へ送信してもよい。

また、上記協調判定部は、上記通信部が上記通信対象装置から送信された上記判定通知情報を受信した場合には、上記通信対象装置において所定の動作が行われたと判定したことをユーザに通知する通知処理を行ってもよい。

また、上記協調判定部は、上記通信部が上記通信対象装置から送信された上記判定通知情報を受信した場合には、上記動作判定部における判定結果と受信した上記判定通知情報とに基づいて上記協調制御情報を生成して、生成した上記協調制御情報を上記通信対象装置へ送信し、生成した上記協調制御情報に基づいて、上記通信対象装置と協調して処理を行うと判定してもよい。

また、上記通信部は、上記協調制御情報を生成する協調制御サーバとさらに通信を行い、上記協調判定部は、上記動作判定部において上記所定の動作が行われたと判定された場合、上記判定通知情報を上記協調制御サーバへ送信し、上記通信部が受信した、上記協調制御サーバから送信された上記協調制御情報に基づいて、上記通信対象装置と協調して処理を行うか否かを判定してもよい。

また、上記動作判定部は、上記所定の動作が行われたと判定された場合、上記所定の動作が上記通信対象装置と協調して処理を行うための動作であるかをさらに判定し、上記動作判定部が上記所定の動作が上記通信対象装置と協調して処理を行うための動作であると判定しない場合には、上記協調判定部は、上記通信対象装置と協調して処理を行うか否かを判定せず、上記処理部は、上記動作判定部において判定された上記所定の動作に対応する処理を行ってもよい。

上記目的を達成するために、本発明の第２の観点によれば、１または２以上の通信対象装置と通信を行うステップと、撮像により得られた動画像である撮像画像からユーザの顔を含む顔領域を検出するステップと、上記検出するステップにおいて上記顔領域が検出された場合に、上記顔領域に基づいて、上記ユーザの動作を検出するための上記撮像画像における動作領域を、上記顔領域の近傍に設定するステップと、上記撮像画像と、ユーザの所定の動作の検出の基準となる基準検出情報とに基づいて、上記設定するステップにおいて設定された上記動作領域においてユーザによる上記所定の動作が行われたことを判定するステップと、上記所定の動作が行われたことを判定するステップにおいて上記所定の動作が行われたと判定された場合、自装置における判定結果と上記通信対象装置における上記通信対象装置のユーザの所定の動作の判定結果とに基づく協調制御情報に基づいて、上記通信対象装置と協調して処理を行うか否かを判定するステップと、上記通信対象装置と協調して処理を行うか否かを判定するステップにおいて上記通信対象装置と協調して処理を行うと判定された場合に、上記所定の動作が行われたことを判定するステップにおいて判定された上記所定の動作に対応する処理として、上記協調制御情報に基づく処理を選択的に行うステップと、を有する情報処理方法が提供される。

かかる方法を用いることにより、複数の情報処理装置が通信可能な通信システムにおけるユーザの操作性の向上を図ることができる。

また、上記基準検出情報には、上記所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられており、上記所定の動作が行われたことを判定するステップでは、上記撮像画像に対して設定された上記動作領域における周期成分が検出され、上記動作領域における周期成分の検出結果と上記周期成分の情報とに基づいて、上記所定の動作が行われたことが判定されてもよい。

本発明によれば、複数の情報処理装置が通信可能な通信システムにおけるユーザの操作性の向上を図ることができる。

本発明の実施形態に係る情報処理装置が設定する動作領域の一例を示す説明図である。 本発明の実施形態に係る情報処理装置が設定する動作領域の一例を示す説明図である。 本発明の実施形態に係る情報処理装置における動作領域設定処理の一例を説明するための説明図である。 本発明の実施形態に係る通知処理が行われることによるユーザへの通知の一例を示す説明図である。 本発明の実施形態に係る通知処理が行われることによる撮像画像の変化の一例を示す説明図である。 本発明の実施形態に係る通知処理が行われることによる撮像画像の変化の他の例を示す説明図である。 本発明の実施形態に係る通知処理が行われることによるユーザへの通知の他の例を示す説明図である。 本発明の実施形態に係る通知処理が行われることによるユーザへの通知の他の例を示す説明図である。 本発明の実施形態に係る通信システムにおける第２の操作性向上アプローチに係る処理の概要を説明するための説明図である。 本発明の実施形態に係る通信システムにおける第２の操作性向上アプローチに係る処理の適用例を示す説明図である。 本発明の実施形態に係る情報処理装置における第１の操作性向上アプローチに係る処理の一例を示す流れ図である。 本発明の実施形態に係る情報処理装置における動作判定処理の一例を示す流れ図である。 本発明の実施形態に係る情報処理装置が個別検出情報を用いて所定の動作が行われたことを検出することの利点を説明するための説明図である。 本発明の実施形態に係る情報処理装置が個別検出情報を用いて所定の動作が行われたことを検出することの利点を説明するための説明図である。 本発明の実施形態に係る情報処理装置における第１の操作性向上アプローチに係る処理の他の例を示す流れ図である。 本発明の実施形態に係る情報処理装置における第２の操作性向上アプローチに係る処理の一例を示す流れ図である。 本発明の実施形態に係る情報処理装置における第２の操作性向上アプローチに係る処理の一例を示す流れ図である。 本発明の第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本発明の第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本発明の第３の実施形態に係る情報処理装置の構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係るアプローチ
２．本発明の実施形態に係る情報処理装置
３．本発明の実施形態に係るプログラム

（本発明の実施形態に係るアプローチ）
本発明の実施形態に係る情報処理装置（以下、「情報処理装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る操作性向上アプローチについて説明する。以下では、情報処理装置１００の外部装置において撮像された撮像画像が情報処理装置１００に入力され、情報処理装置１００が当該撮像画像を処理する構成を主に例に挙げて説明する。なお、本発明の実施形態に係る情報処理装置１００の構成は、上記に限られず、例えば、情報処理装置１００が撮像機能を有し、当該撮像機能を用いて撮像された撮像画像を処理することもできる。また、本発明の実施形態に係る撮像画像とは、撮像により得られた動画像（または、時間軸方向に連続して撮像された静止画像の集合体）である。また、以下に示す本発明の実施形態に係る操作性向上アプローチに係る処理は、本発明の実施形態に係る情報処理方法に係る処理と捉えることができる。

［操作性向上アプローチの概要］
[１]第１の操作性向上アプローチ：ユーザインタフェースに係るアプローチ
上述したように、ユーザの動作を検出して検出された動作に対応する処理を行う場合には、ユーザは、ＧＵＩを用いる場合よりもより直感的に情報処理装置に指示を与えることが可能となる。また、ユーザの動作を検出して検出された動作に対応する処理を行う場合には、例えば上述したような、ユーザが情報処理装置または外部操作デバイスを操作することに起因する不自然さを解消させることが可能である。よって、情報処理装置１００は、撮像画像を画像処理してユーザの動作を検出し、検出された動作に対応する処理を行うことによって、ユーザの操作性の向上を図る。

ここで、従来の情報処理装置のように撮像画像全体に対して画像処理を行う場合には、画像処理を行うためにより高い処理能力が必要とされる。そのため、従来の情報処理装置のようにユーザインタフェースに多くの計算資源を割いてしまうと、他の機能を実現するための計算資源が不足する恐れがある。また、上記他の機能を実現するための計算資源の不足が生じた場合には、例えば、ユーザを過度に待たせてしまう、または当該機能が実現されないなどの、望ましくない事態が生じうる。

そこで、情報処理装置１００では、撮像画像からユーザの顔を含む領域（以下、「顔領域」という。）を検出し、ユーザの動作を検出するための撮像画像における動作領域を、検出により特定された顔領域（以下、「特定された顔領域」と示す場合がある。）の近傍に設定する。そして、情報処理装置１００は、設定された動作領域においてユーザの所定の動作を検出して、検出された所定の動作に対応する処理を行う。ここで、本発明の実施形態に係るユーザの所定の動作とは、情報処理装置１００において動作が行われたか否かが判定される、判定対象のユーザ動作である。また、本発明の実施形態に係るユーザの所定の動作としては、例えば、情報処理装置１００単体に操作に対応する処理を行わせる動作と、情報処理装置１００と１または２以上の通信対象の他の情報処理装置（以下、「通信対象装置」と示す場合がある。）との間で協調して処理を行わせる動作とが挙げられる。情報処理装置１００は、例えば、撮像画像と、後述する基準検出情報または個別検出情報とに基づいて、上記判定を行う。なお、情報処理装置１００と通信対象装置とが協調して処理を行うことについては、後述する第２の操作性向上アプローチにて説明する。

上記のように動作領域を設定することによって、情報処理装置１００は、従来の情報処理装置のように撮像画像全体に対して画像処理を行うのではなく、撮像画像の中の一部の領域に対して画像処理を行うことによりユーザの動作を検出することができる。ここで、情報処理装置１００は、従来の情報処理装置よりもユーザインタフェースに係る計算負荷を大幅に低減することができるので、従来の情報処理装置のように他の機能を実現するための計算資源が不足する恐れはない。また、情報処理装置１００は、例えばデジタルカメラや携帯電話など処理能力がそれ程高くはない装置に実装されている、比較的に軽い処理である顔認識処理によって撮像画像から顔領域を特定して、当該顔領域の近傍に動作領域を設定するので、動作領域の設定に際しても計算負荷が大きくなることはない。よって、情報処理装置１００は、従来の情報処理装置で起こりうる、例えば、ユーザを過度に待たせてしまう、またはユーザインタフェース以外の他の機能が実現されないなどの望ましくない事態の発生を防止することができるので、従来の情報処理装置のようにユーザの利便性を低下させることはない。

したがって、情報処理装置１００は、ユーザの操作性の向上を図ることができる。

また、情報処理装置１００は、顔領域の近傍に設定した動作領域において検出された所定の動作に対応する処理を行うので、例えば、顔領域に対応するユーザ以外の人物や物の動作による所定の動作の誤検出を、撮像画像全体を処理対象とする従来の情報処理装置よりもより低減することが可能となる。したがって、情報処理装置１００は、従来の情報処理装置よりも、ユーザの操作性の向上をさらに図ることができる。

また、情報処理装置１００は、顔領域の近傍に設定した動作領域において検出された所定の動作に対応する処理として、当該所定の動作の意味に関連付けられる処理を行う。例えばユーザが顔の近傍で手を左右に反復的に動かす動作（一般に「さよなら」や「バイバイ」を意味する動作。以下「バイバイ動作」と示す場合がある。）を所定の動作として検出した場合には、情報処理装置１００は、例えば、制御対象の装置（情報処理装置または外部装置）の電源を切る処理や、通信対象装置との間の通信を終了させる（例えば、セッションを切断する）、当該装置から出力される音声（音楽も含む）をミュートにする、当該装置における通信を切断する、など検出した動作の意味に関連付けられる処理を行う。また、例えばユーザが動作領域において手を下から上および上から下へ反復的に動かす動作を所定の動作として検出した場合には、情報処理装置１００は、例えば、制御対象の装置から出力される音声の音量を上げるなど検出した動作の意味に関連付けられる処理を行う。

上記のように、情報処理装置１００が、検出した動作の意味に関連付けられる処理（アフォーダンスが考慮された処理）を行うことによって、ユーザが、自己の動作と情報処理装置１００が行う処理（または、情報処理装置１００が外部装置に行わせる処理）との間に違和感を覚える可能性をより低減させることができる。したがって、情報処理装置１００は、ユーザの操作性の向上をさらに図ることができる。

さらに、情報処理装置１００は、所定の動作が行われたと判定した場合（所定の動作を検出した場合）には、情報処理装置１００において所定の動作が行われたと判定されたことをユーザに通知する通知処理を、さらに行うことができる。また、通知処理を行う場合には、情報処理装置１００は、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われたと判定された場合に、判定された所定の動作に対応する処理を行う。

ここで、本発明の実施形態に係る通知処理としては、例えば、自装置が備える表示部（後述する）の表示画面に表示される画像を変化させること、または、当該表示部が備える点灯デバイスの点灯状態を変化させることによって、視覚的にユーザに通知を行うための処理が挙げられる。つまり、本発明の実施形態に係る通知処理は、情報処理装置１００がユーザに対して行うフィードバック処理と捉えることができる。なお、本発明の実施形態に係る通知処理は、上記に限られない。例えば、情報処理装置１００は、所定の動作が行われたと判定されたことを示す音声を、自装置が備える音声出力デバイス（例えば、後述する音声出力部）や外部音声出力デバイスから出力させるなど、聴覚的にユーザに通知を行うための処理を、通知処理として行うことができる。また、情報処理装置１００は、通知処理として、情報処理装置１００において所定の動作が行われたと判定されたことを外部装置に通知させるための処理実行命令を、ネットワークを介して（または直接的に）外部装置へ送信してもよい。上記によって、情報処理装置１００は、ユーザへの通知を外部装置に行わせることができる。

情報処理装置１００が通知処理を行うことによって、ユーザが行った動作が情報処理１００により認識されたことを、ユーザに把握させることが可能となる。また、情報処理装置１００は、所定の期間継続的に所定の動作が行われたと判定された場合に、判定された所定の動作に対応する処理を行うので、ユーザは、自己の動作をやめることによって、情報処理装置１００における当該動作に対応する処理の実行をキャンセルすることができる。よって、例えば、ユーザが所定の動作を行って情報処理装置１００により認識された後に、ユーザが情報処理装置１００における当該動作に対応する処理の実行のキャンセルを所望する場合や、仮にユーザが行った動作が情報処理装置１００によって誤検出されてしまった場合であっても、ユーザは、自己の動作によって、情報処理装置１００における当該動作に対応する処理の実行を制御することができる。

したがって、情報処理装置１００は、通知処理を行った上で、所定の期間継続的に所定の動作が行われたと判定された場合に判定された所定の動作に対応する処理を選択的に行うことによって、誤検出によるユーザの意図しない処理が実行されることを防止し、ユーザの利便性や操作性をさらに向上させることができる。

情報処理装置１００は、第１の操作性向上アプローチに係る処理として、例えば上記のような処理を行うことによってユーザの操作性の向上を図る。より具体的には、情報処理装置１００は、例えば、下記の〔１〕第１の操作性向上アプローチに係る第１の処理、または〔２〕第１の操作性向上アプローチに係る第２の処理を行うことによって、ユーザの操作性の向上を図る。

〔１〕第１の操作性向上アプローチに係る第１の処理
まず、本発明の実施形態に係る第１の操作性向上アプローチに係る第１の処理について説明する。情報処理装置１００は、例えば下記の（１）の処理〜（４）の処理を行うことによって、ユーザの操作性の向上を図る。

（１）顔領域検出処理
情報処理装置１００は、撮像画像の中からユーザ（被写体）の顔を検出し、顔領域を特定する。ここで、顔領域を特定は、例えば、ユーザの目、鼻、口、骨格などの特徴点の検出や、顔の輝度分布および構造パターンと類似した領域を検出することで行うことができる。なお、本発明の実施形態に係る情報処理装置１００における顔領域検出処理は、上記に限られない。例えば、情報処理装置１００は、処理対象の現フレームと一つ前のフレーム（frame）との差分をとって動体を検出し、当該動体から頭部を特定することにより顔領域を検出することもできる。

また、顔の輝度分布および構造パターンのデータなど、情報処理装置１００における顔領域の特定に係るデータは、例えば、情報処理装置１００が備える記憶部（後述する）に記憶される。なお、本発明の実施形態に係る情報処理装置１００は、例えば情報処理装置１００が備える通信部（後述する）を介してサーバなどの外部装置と通信を行い、当該外部装置から顔領域の特定に係るデータを取得することもできる。

また、情報処理装置１００は、例えば図１に示すように、検出した顔を含み当該顔よりも大きな領域を顔領域として特定するが、情報処理装置１００における顔領域の特定方法は、上記に限られない。例えば、情報処理装置１００は、検出した顔を含む領域のうちの最小の領域（例えば、図２に示すような検出した顔に接する領域）を、顔領域として特定してもよい。

情報処理装置１００は、例えば上記のように顔領域を特定する。ここで、情報処理装置１００が処理する撮像画像は動画像であるので、あるフレームにおいて特定した顔領域の撮像画像における位置が、次のフレームにおいて変化することも起こりうる。そこで、情報処理装置１００は、例えばフレームごとに顔領域検出処理を行う。なお、本発明の実施形態に係る顔領域検出処理を行う頻度は上記に限られず、例えば、情報処理装置１００は、所定のフレームごとや、所定の時間ごとに顔領域検出処理を行ってもよい。

（２）動作領域設定処理
上記（１）の処理（顔領域検出処理）において顔領域が検出されると、情報処理装置１００は、顔領域に基づいて、顔領域の近傍に動作領域を設定する。

図１、図２は、本発明の実施形態に係る情報処理装置１００が設定する動作領域の一例を示す説明図である。図１、図２に示すＦＡは、情報処理装置１００が検出したユーザの顔領域を示しており、図１に示すＭＡ１、ＭＡ２、および図２に示すＭＡ１〜ＭＡ４は、情報処理装置１００が設定した動作領域の一例を示している。以下では、顔領域を「顔領域ＦＡ」、各動作領域を総称して「動作領域ＭＡ」と示す場合がある。ここで、図１、図２に示す顔領域ＦＡ、動作領域ＭＡは、説明の便宜上表したものであり、例えば表示装置などの外部装置の表示画面または情報処理装置１００が備える表示部（後述する）の表示画面に撮像画像が表示される場合には、顔領域ＦＡおよび動作領域ＭＡが明示されなくてよい（以下、同様とする。）。なお、本発明の実施形態に係る情報処理装置１００が、顔領域ＦＡ、動作領域ＭＡが明示された撮像画像を表示画面に表示させることもできることは、言うまでもない。

ここで、図１では、情報処理装置１００が、円形の動作領域を設定した例を示しているが、本発明の実施形態に係る情報処理装置１００が設定する動作領域ＭＡは図１に示す例に限られない。例えば、情報処理装置１００は、図２に示すような矩形の動作領域や、楕円形の動作領域など、様々な形状の動作領域を設定することができる。また、図１では、情報処理装置１００が、顔領域ＦＡの左近傍と顔領域ＦＡの右近傍との双方に、動作領域ＭＡを設定した例を示しているが、本発明の実施形態に係る情報処理装置１００が設定する動作領域ＭＡは上記に限られない。例えば、情報処理装置１００は、顔領域ＦＡの左近傍または顔領域ＦＡの右近傍のいずれか一方に動作領域ＭＡを設定することもできる。また、情報処理装置１００は、例えば図２に示すように、顔領域ＦＡの下近傍に１または２以上の動作領域ＭＡをさらに設定してもよい。また、情報処理装置１００は、例えば、顔領域ＦＡの下近傍または顔領域ＦＡの上近傍のいずれか一方、または、顔領域ＦＡの下近傍および顔領域ＦＡの上近傍の双方に、１または２以上の動作領域ＭＡを設定することもできる。なお、情報処理装置１００が顔領域の近傍に設定する動作領域ＭＡが、上記に限られないことは、言うまでもない。

情報処理装置１００は、図１や図２に示すような動作領域ＭＡを設定することによって、例えば図１のＡに示すような、動作領域ＭＡ外において行われる動作を、所定の動作として検出しない。よって、情報処理装置１００は、撮像画像全体を処理対象とする従来の情報処理装置よりも、所定の動作を誤検出する可能性をより低減することができる。

また、例えば図２に示すように顔領域ＦＡの近傍に複数の動作領域ＭＡを設定することによって、情報処理装置１００は、例えば、複数の動作領域ＭＡそれぞれにおいて所定の動作を検出し、検出された所定の動作に対応する、動作領域ＭＡごとの処理を行うことができる。

ここで、例えば図２に示すように設定する動作領域ＭＡを増やした場合には、図１に示す場合よりも計算負荷は高くなるが、撮像画像全体に対して画像処理を行う従来の情報処理装置における処理と比較すると、計算負荷は大幅に低減される。よって、例えば図２に示すように設定する動作領域ＭＡを増やした場合であっても、従来の情報処理装置のように計算資源が不足する恐れはないので、ユーザの利便性を低下させることはない。

また、上記のように動作領域ＭＡごとに所定の動作に対応する処理を行うことによって、情報処理装置１００は、例えば、ユーザが同じ所定の動作を行った場合であっても検出された動作領域ＭＡごとに異なる処理を行うことが可能となる。つまり、情報処理装置１００は、一の所定の動作に対して複数の処理を割り当てることができる。なお、複数の動作領域ＭＡそれぞれにおいて一の所定の動作が検出された場合に情報処理装置１００が行う処理が、同一であってもよいことは、言うまでもない。

さらに、上記のように動作領域ＭＡごとに所定の動作に対応する処理を行うことによって、情報処理装置１００は、例えば、所定の動作が検出された位置（より厳密には、どの領域で検出されたか）をさらに加味した上で、検出した動作の意味に関連付けられる処理（アフォーダンスが考慮された処理）を行うことができる。したがって、情報処理装置１００は、ユーザの操作性の向上をさらに図ることができる。

〔動作領域設定処理の具体例〕
ここで、情報処理装置１００において動作領域設定処理の一例について、より具体的に説明する。図３は、本発明の実施形態に係る情報処理装置１００における動作領域設定処理の一例を説明するための説明図である。ここで、図３は、図１に示すように顔領域ＦＡの左近傍および右近傍に動作領域ＭＡを設定する場合の処理の一例を示している。

情報処理装置１００は、特定した顔領域ＦＡの幅（水平方向の長さ）ｗと高さ（垂直方向の長さ）ｈとに基づいて動作領域ＭＡを設定する。ここで、図３では、情報処理装置１００が、幅２ｗ、高さ２ｈの矩形の動作領域ＭＡ１、ＭＡ２を設定した例を示している。なお、情報処理装置１００は、例えば、２ｗ、２ｈそれぞれを短径または長径とする楕円（ｗ＝ｈのときは、円となる。）の動作領域ＭＡを設定することもできる。

また、情報処理装置１００は、例えば、図３に示すように特定した顔領域ＦＡに接するように動作領域ＭＡを設定するが、情報処理装置１００における動作領域ＭＡの設定方法は、上記に限られない。例えば、情報処理装置１００は、特定した顔領域ＦＡから所定の画素分離れた位置に動作領域ＭＡを設定することもできる。つまり、本発明の実施形態に係る「顔領域の近傍に動作領域を設定する」とは、例えば、顔領域ＦＡに接する動作領域ＭＡを設定することと、顔領域ＦＡに近接する位置に動作領域ＭＡを設定することとを含む。

情報処理装置１００は、例えば上記のように、特定した顔領域ＦＡの幅ｗと高さｈとに基づいて動作領域ＭＡを設定する。

なお、本発明の実施形態に係る情報処理装置１００における動作領域ＭＡの設定処理は、上記に限られない。例えば、情報処理装置１００は、撮像画像における顔領域ＦＡ内の画像に対して顔認識処理を行って、当該顔領域ＦＡに対応するユーザの年齢や性別などのユーザ属性を推定し、推定結果に基づいて、動作領域ＭＡの領域サイズや位置を調整することもできる。上記のように推定結果に基づいて動作領域ＭＡの領域サイズや位置を調整することによって、例えばユーザが年配の人の場合図２に示す動作領域ＭＡの位置をより下に設定するなど、ユーザの年代や性別に応じた動作領域ＭＡを設定することが可能となる。なお、情報処理装置１００は、例えば骨格や皺、たるみなどの属性情報を顔領域ＦＡから抽出して解析することによってユーザ属性を推定するが、本発明の実施形態に係るユーザ属性を推定する方法は、上記に限られない。例えば、情報処理装置１００は、顔領域ＦＡに対応するユーザの年齢や性別などのユーザ属性を推定することが可能な任意の技術を用いてユーザ属性を推定してもよい。

また、情報処理装置１００は、顔領域ＦＡ内の画像に対して顔認識処理を行ってユーザの顔の特徴を示す顔情報を抽出し、抽出された顔情報に基づいて当該顔領域ＦＡに対応するユーザを特定することによって、動作領域ＭＡを調整することができる。より具体的には、情報処理装置１００は、上記顔情報に基づいてユーザが特定された場合には、特定された当該ユーザ用の動作領域ＭＡを設定する。上記ユーザ用の動作領域ＭＡの設定に係る情報としては、例えば、顔情報と動作領域ＭＡの調整に係る情報とが対応付けて記録されたデータベースが挙げられる。また、上記ユーザ用の動作領域ＭＡの設定に係る情報は、後述する個別検出情報に含まれてもよい。ここで、情報処理装置１００は、例えば、顔領域ＦＡを画像処理することによりユーザの顔の特徴（例えば、骨格の情報や、目・鼻・口の位置関係を示す情報など）を抽出することによって、抽出したユーザの顔の特徴を示す顔情報を取得することができる。また、情報処理装置１００は、例えばユーザ操作に基づいて、動作領域ＭＡの領域サイズの調整量や、動作領域ＭＡの位置の調整量など、動作領域ＭＡの調整に係る情報を取得する。なお、動作領域ＭＡの調整に係る情報には、動作領域ＭＡの設定数を示す情報が含まれていてもよい。上記のようにユーザ用の動作領域ＭＡを設定することによって、ユーザ自身が調整可能な動作領域ＭＡを設定することが可能となるので、情報処理装置１００は、ユーザの自由度をより高め、利便性の向上を図ることができる。

情報処理装置１００は、例えば上記のような処理を行うことによって、顔領域ＦＡに基づいて当該顔領域ＦＡの近傍に動作領域ＭＡを設定する。ここで、上述したように、情報処理装置１００が処理する撮像画像は動画像であるので、あるフレームにおいて特定した顔領域の撮像画像における位置が、次のフレームにおいて変化することも起こりうる。情報処理装置１００は、上記（１）の処理により顔領域ＦＡが特定されるごとに、当該顔領域ＦＡに基づく動作領域ＭＡの設定を行うが、本発明の実施形態に係る情報処理装置１００における動作領域設定処理は、上記に限られない。例えば、情報処理装置１００は、現フレームにおける顔領域ＦＡの前フレームの顔領域ＦＡに対する移動量を検出し、当該移動量が所定の閾値以下（または当該閾値より小さい）場合には、前フレームにおいて設定された動作領域ＭＡを当該移動量に対応するように移動させて設定することもできる。なお、上記前フレームの顔領域ＦＡが、現フレームから１つ前のフレームに限られないことは、言うまでもない（例えば、所定のフレームごとに（１）の処理が行われる場合には、当該所定のフレーム前のフレームが、前フレームとなる。）。

（３）動作判定処理
上記（２）の処理（動作領域設定処理）において動作領域ＭＡが設定されると、情報処理装置１００は、撮像画像と、基準検出情報または個別検出情報とに基づいて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定する。

ここで、本発明の実施形態に係る基準検出情報とは、ユーザ（検出対象）の所定の動作の検出の基準となるデータである。ここで、情報処理装置１００は、例えば、情報処理装置１００の製造者によって製造時に情報処理装置１００に記録されることにより、予め基準検出情報を記憶するが、情報処理装置１００は、基準検出情報を予め記憶する構成に限られない。例えば、情報処理装置１００は、サーバなどの外部装置により生成され基準検出情報を当該外部装置から取得してもよい。基準検出情報としては、例えば、所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられた、データやデータベースが挙げられる。また、本発明の実施形態に係る周期成分の情報としては、例えば撮像画像における輝度変化の周波数の情報が挙げられるが、本発明の実施形態に係る周期成分の情報は、上記に限られない。なお、本発明の実施形態に係る基準検出情報は、上記に限られず、例えば、所定の動作と周期動作ではないユーザのジェスチャを判別するための情報（例えばユーザの手の形が所定の形状であることを判定するためのデータ）とが対応付けられた、データやデータベースであってもよい。以下では、基準検出情報が、所定の動作と周期成分の情報とが所定の動作ごとに対応付けられて記録されたデータベースである場合を例に挙げて説明する。なお、本発明の実施形態に係るデータベースとしては、例えばリレーショナルデータベース（relational database）が挙げられるが、本発明の実施形態に係るデータベースは、上記に限られない。

また、本発明の実施形態に係る個別検出情報とは、特定のユーザが行う所定の動作の検出の基準となるデータである。個別検出情報は、例えば学習部（後述する）により生成や、更新がされる。なお、本発明の実施形態に係る個別検出情報は、サーバなどの外部装置により生成され、情報処理装置１００は、当該外部装置から個別検出情報を取得してもよい。ここで、個別検出情報としては、例えば、所定の動作、ユーザの周期動作を検出するための周期成分の情報、およびユーザの顔の特徴を示す顔情報（ユーザを特定するための情報）が対応付けられた、データやデータベースが挙げられる。なお、本発明の実施形態に係る個別検出情報は、上記に限られず、例えば、所定の動作、周期動作ではないユーザのジェスチャを判別するための情報、および顔情報が対応付けられた、データやデータベースであってもよい。以下では、個別検出情報が、所定の動作、周期成分の情報、および顔情報が所定の動作ごとに対応付けられて記録されたデータベースである場合を例に挙げて説明する。

（３−１）動作判定処理の第１の例
本発明の実施形態に係る動作判定処理の第１の例として、基準検出情報に基づく処理について説明する。情報処理装置１００は、撮像画像に基づいて設定された動作領域ＭＡにおける周期成分を検出する。そして、情報処理装置１００は、動作領域ＭＡにおける検出結果と、基準検出情報の周期成分の情報とに基づいて、所定の動作が行われたか否かを判定する。ここで、情報処理装置１００は、例えばフィッシャー法などを用いて動作領域ＭＡ内の特定点（特定の画素）における特性を解析することによって、所定の動作が行われたか否かを判定するが、本発明の実施形態に係る判定方法は、上記に限られない。また、情報処理装置１００は、例えば、所定の時間ごとの撮像画像や所定のフレーム数ごとの撮像画像を用いて、動作領域ＭＡにおける周期成分を検出するが、本発明の実施形態に係る動作領域ＭＡにおける周期成分の検出方法は、上記に限られない。

（３−２）動作判定処理の第２の例
次に、本発明の実施形態に係る動作判定処理の第２の例として、基準検出情報または個別検出情報を選択的に用いる処理について説明する。情報処理装置１００は、上記（１）の処理により特定された顔領域ＦＡから顔情報を抽出する。また、情報処理装置１００は、抽出された顔情報と個別検出情報とに基づいて、個別検出情報の中に抽出された顔情報と対応する顔情報があるか否かを判定する。ここで、本発明の実施形態に係る顔情報が、例えば骨格の情報、および目・鼻・口の位置関係を示す情報など複数の情報群である場合、情報処理装置１００は、例えば、個別検出情報の中に抽出された顔情報と一致する顔情報があるときに、抽出された顔情報と対応する顔情報があると判定する。なお、本発明の実施形態に係る情報処理装置１００における個別検出情報の中に抽出された顔情報と対応する顔情報があるか否かの判定方法は、上記に限られない。例えば、情報処理装置１００は、個別検出情報の中に、上記複数の情報群のうちの一定数以上の情報が抽出された顔情報と一致する顔情報があるときに、抽出された顔情報と対応する顔情報があると判定してもよい。

情報処理装置１００は、抽出した顔情報に対応する個別検出情報があると判定した場合には、動作領域ＭＡにおける周期成分の検出結果と、個別検出情報に含まれる周期成分の情報とに基づいて、当該周期成分の情報に対応付けられた所定の動作が行われたか否かを判定する。

また、抽出した顔情報に対応する個別検出情報があると判定されなかった場合には、情報処理装置１００は、上記動作判定処理の第１の例と同様に、検出結果と、基準検出情報の周期成分の情報とに基づいて、所定の動作が行われたか否かを判定する。

情報処理装置１００は、例えば上記のように、撮像画像と、基準検出情報または個別検出情報とに基づいて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定する。なお、本発明の実施形態に係る情報処理装置１００における動作判定処理は、上記に限られない。例えば周期動作ではないユーザのジェスチャを判別するための情報を用いて判定を行う場合には、情報処理装置１００は、動作領域ＭＡ内におけるユーザの手の形が、基準検出情報または個別検出情報における上記ジェスチャを判別するための情報に規定される所定の形状であるか否かに基づいて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定することもできる。

また、情報処理装置１００は、所定の動作が行われたと判定された場合、個別検出情報を更新することもできる（いわゆる学習）。より具体的には、所定の動作が行われたと判定された場合には、情報処理装置１００は、例えば、撮像画像に基づき検出された周期成分の情報を、判定された所定の動作および撮像画像から抽出した顔情報に対応する個別検出情報における周期成分の情報とする。また、所定の動作が行われたと判定された場合、情報処理装置１００は、例えば、検出したユーザの手の形を表す情報（例えば関節の位置の情報など）、個別検出情報における上記ジェスチャを判別するための情報とすることもできる。上記のように個別検出情報を更新することによって、情報処理装置１００は、個別検出情報により動作が判定される特定のユーザの所定の動作の判定精度をより向上させ、誤判定の可能性をより低減させることができる。

ここで、情報処理装置１００は、例えば、所定の動作が行われたと判定されるごとに上記別検出情報の更新に係る処理（学習に係る処理）を行うが、情報処理装置１００における処理は、上記に限られない。例えば、情報処理装置１００は、ユーザ操作に基づいて、選択的に上記別検出情報の更新に係る処理（学習に係る処理）を行うこともできる。

また、周期成分の情報を用いて所定の動作が行われたかを判定する場合、情報処理装置１００は、例えば動作領域ＭＡにおける周期成分を検出するごとに所定の動作が行われたか否かを判定するが、本発明の実施形態に係る動作判定処理は、上記に限られない。例えば、情報処理装置１００は、所定の時間ごとの撮像画像や所定のフレーム数ごとの撮像画像に基づいて設定された動作領域ＭＡにおいて動体があるか否かを検出し、動体が検出された場合に、所定の動作が行われたことを選択的に判定してもよい。ここで、周期成分の情報を用いて所定の動作が行われたかを判定するときにおいて、動作領域ＭＡにおいて動体が検出されない場合には、動作領域ＭＡにおいてユーザは動作を行っていない可能性が高い。したがって、上記のように動体が検出された場合に選択的に所定の動作が行われたか否かを判定することによって、情報処理装置１００は、情報処理装置１００における計算負荷を低減しつつ、ユーザの所定の動作の未検出および誤検出を防止することができる。

（４）実行処理
上記（３）の処理（動作判定処理）において所定の動作が行われたことが判定されると、情報処理装置１００は、判定された所定の動作に対応する処理を行う。

より具体的には、情報処理装置１００は、例えば、所定の動作と実行する処理とが対応付けて記録された処理情報を記憶しており、上記（３）の処理結果と処理情報とに基づいて、上記（３）の処理において判定された所定の動作に対応付けられた処理を行う。なお、本発明の実施形態に係る処理情報は、上記に限られない。例えば、情報処理装置１００は、動作領域ＭＡを示す情報（例えば領域番号など）、所定の動作、実行する処理とが対応付けて記録された処理情報を記憶していてもよい。上記の場合には、情報処理装置１００は、所定の動作が行われたと判定された動作領域ＭＡごとに、所定の動作に対応する処理を行うことが可能となる。また、本発明の実施形態に係る処理情報は、例えば、所定の動作ごとのデータであってもよいし、複数の所定の動作に係る情報が記録されたデータベースであってもよい。

また、情報処理装置１００が行う所定の動作に対応する処理としては、例えば自装置が有する機能に係る処理が挙げられるが、本発明の実施形態に係る情報処理装置１００が行う所定の動作に対応する処理は、上記に限られない。例えば、情報処理装置１００は、所定の動作に対応する処理として、所定の動作に対応する処理を外部装置に行わせるための処理実行命令を、ネットワークを介して（または直接的に）外部装置へ送信してもよい。上記によって、情報処理装置１００は、外部装置にユーザの動作に対応する所定の処理を行わせることができる。

情報処理装置１００は、第１の操作性向上アプローチに係る第１の処理として、例えば上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を行うことによって、ユーザによる所定の動作が行われたことを判定し、判定された当該所定の動作に対応する処理を行う。

ここで、情報処理装置１００は、撮像画像に基づいて特定された顔領域ＦＡの近傍に動作領域ＭＡを設定し、設定された動作領域ＭＡにおいてユーザの所定の動作を検出（判定）して、検出された所定の動作に対応する処理を行う。上記のように動作領域ＭＡを設定することによって、情報処理装置１００は、従来の情報処理装置のように撮像画像全体に対して画像処理を行うのではなく、撮像画像の中の一部の領域に対して画像処理を行うことによりユーザの動作を検出することができる。よって、情報処理装置１００は、従来の情報処理装置よりもユーザの所定の動作の検出に係る計算負荷をより低減させることができるので、情報処理装置１００では、従来の情報処理装置で起こりうる、例えば、ユーザを過度に待たせてしまう、またはユーザインタフェース以外の他の機能が実現されないなどの望ましくない事態の発生が防止される。したがって、情報処理装置１００は、従来の技術を用いる場合に生じうるユーザの利便性の低下を防止することができ、また、ユーザの操作性の向上を図ることができる。

〔２〕第１の操作性向上アプローチに係る第２の処理
上記第１の操作性向上アプローチに係る第１の処理を行うことによって、情報処理装置１００は、ユーザの操作性の向上を図ることができる。しかしながら、本発明の実施形態に係る情報処理装置１００における第１の操作性向上アプローチに係る処理は、上記に限られない。例えば、情報処理装置１００は、上述したように、通知処理を行った上で所定の期間継続的に所定の動作が行われたと判定された場合に判定された所定の動作に対応する処理を行うこともできる。そこで次に、本発明の実施形態に係る第１の操作性向上アプローチに係る第２の処理として、通知処理を行う場合における処理について説明する。情報処理装置１００は、例えば下記の（Ｉ）の処理〜（Ｖ）の処理を行うことによって、誤検出によるユーザの意図しない処理が実行されることを防止し、ユーザの利便性や操作性をさらなる向上を図る。

（Ｉ）顔領域検出処理
情報処理装置１００は、上記（１）の処理（顔領域検出処理）と同様に、撮像画像の中からユーザの顔を検出し、顔領域ＦＡを特定する。

（ＩＩ）動作領域設定処理
上記（Ｉ）の処理（顔領域検出処理）において顔領域が検出されると、情報処理装置１００は、上記（２）の処理（動作領域設定処理）と同様に、顔領域ＦＡに基づいて、顔領域ＦＡの近傍に動作領域ＭＡを設定する。

（ＩＩＩ）動作判定処理
上記（ＩＩ）の処理（動作領域設定処理）において動作領域ＭＡが設定されると、情報処理装置１００は、上記（３）の処理（動作判定処理）と同様に、撮像画像と、基準検出情報または個別検出情報とに基づいて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定する。

また、情報処理装置１００は、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われたか否かを判定する。ここで、上記判定されてからの所定の期間としては、例えば、後述する（ＩＶ）の処理を行うのに要する時間が挙げられるが、本発明の実施形態に係る上記判定されてからの所定の期間は、上記に限られない。例えば、本発明の実施形態に係る上記判定されてからの所定の期間は、後述する（ＩＶ）の処理を行うのに要する時間にさらに余裕時間を加えた時間など、情報処理装置１００の製造者などが任意に設定することができる。

（ＩＶ）通知処理
上記（ＩＩＩ）の処理（動作判定処理）において動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定されると、情報処理装置１００は、通知処理を行う。

〔ユーザへの通知の具体例〕
ここで、本発明の実施形態に係る通知処理が行われることによるユーザへの通知の具体例について説明する。以下では、情報処理装置１００が、視覚的にユーザに通知を行うための通知処理を行う場合を例に挙げて説明する。

図４は、本発明の実施形態に係る通知処理が行われることによるユーザへの通知の一例を示す説明図である。ここで、図４は、図４のＢに示すように表示画面（例えば表示装置などの外部装置の表示画面または情報処理装置１００が備える表示部（後述する）の表示画面。以下、同様とする。）に撮像画像が表示され、表示された撮像画像を変化させることにより所定の動作が行われたと判定したことを視覚的に通知する例を示している。つまり、図４は、表示画面に表示される画像を変化させることによって、情報処理装置１００が所定の動作が行われたと判定したことを視覚的に通知する場合の一例を示している。

図５は、本発明の実施形態に係る通知処理が行われることによる撮像画像の変化の一例を示す説明図である。図５は、情報処理装置１００が、撮像画像の動作領域ＭＡ１（ユーザにより所定の動作が行われたと判定された動作領域）に通知オブジェクトを重畳させることにより撮像画像を変化させる例を示している。ここで、図５では、情報処理装置１００が、複数の瞬く星を撮像画像に重畳させる例を示しているが、本発明の実施形態に係る通知オブジェクトは、上記に限られない。ユーザは、表示画面に表示された撮像画像の変化を見ることによって、情報処理装置１００が動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定したことを、視覚的に把握することができる。

なお、本発明の実施形態に係る通知処理が行われることによる撮像画像の変化は、図５に示す通知オブジェクトを重畳させることに限られない。図６は、本発明の実施形態に係る通知処理が行われることによる撮像画像の変化の他の例を示す説明図である。例えば、情報処理装置１００は、図６に示すように、撮像画像におけるユーザにより所定の動作が行われたと判定された動作領域に対応する顔領域ＦＡに向かって、丸状マスクなどを利用したハイライト処理を行うことにより撮像画像を変化させることもできる。上記の場合であっても、ユーザは、表示画面に表示された撮像画像の変化を見ることによって、情報処理装置１００が動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定したことを、視覚的に把握することが可能である。

情報処理装置１００は、例えば上記のように表示画面に表示された撮像画像を変化させることにより、所定の動作が行われたと判定したことを視覚的に通知する。よって、ユーザは、自己の動作をやめることによって、情報処理装置１００における当該動作に対応する処理の実行をキャンセルすることができるので、情報処理装置１００は、誤検出によるユーザの意図しない処理が実行されることを防止し、ユーザの利便性や操作性をさらに向上させることができる。

なお、本発明の実施形態に係る通知処理が行われることによるユーザへの通知は、図４〜図６に示すように表示画面に表示された撮像画像を変化させることに限られない。図７、図８は、本発明の実施形態に係る通知処理が行われることによるユーザへの通知の他の例を示す説明図である。

図７のＣに示すように、情報処理装置１００は、例えばコンテンツを示す画像など表示画面に表示されている画像に、アイコンを重畳させることによって、画像を変化させることもできる。なお、本発明の実施形態に係る表示画面に表示されている画像を変化させる方法は、図７に示すアイコンを重畳させることに限られない。例えば、情報処理装置１００は、ユーザによる所定の動作が検出されてから当該所定の動作に対応する処理を開始するまでの時間を段階的に表示するインジケータなど、様々なオブジェクトを、表示画面に表示されている画像に重畳させることができる。また、情報処理装置１００は、アイコンやインジケータなどのオブジェクトを表示画面に表示されている画像に重畳させるのではなく、表示画面におけるコンテンツを示す画像が表示される表示領域外に、当該オブジェクトを表示させてもよい。上記の場合であっても、ユーザは、表示画面に表示された画像の変化を見ることによって、情報処理装置１００が動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定したことを、視覚的に把握することができる。

また、図８のＤに示すように、表示画面の外部に備えられるＬＥＤ（Light Emitting Diode）などの点灯デバイスを選択的に点灯（または消灯）させることにより、所定の動作が行われたと判定したことを視覚的に通知することもできる。また、情報処理装置１００は、点灯デバイスから発せられる光の色を変化させることによって、所定の動作が行われたと判定したことを視覚的に通知してもよい。上記のように、情報処理装置１００が、表示装置などの外部装置または情報処理装置１００が備える表示部（後述する）が備える点灯デバイスの点灯状態を変化させることによって、ユーザは、情報処理装置１００が動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定したことを、視覚的に把握することができる。

情報処理装置１００は、例えば上記のように、表示画面に表示された画像を変化させることや、点灯デバイスの点灯状態を変化させることによっても、所定の動作が行われたと判定したことを視覚的に通知することができる。なお、上記では、表示画面に表示された画像（撮像画像も含む）を変化させることと、点灯デバイスの点灯状態を変化させることとを個別に示したが、本発明の実施形態に係る情報処理装置１００が、これらを組み合わせて視覚的に通知することができることは、言うまでもない。

情報処理装置１００は、通知処理を行うことによって、情報処理装置１００が動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定したことを、例えば上記のように視覚的にユーザに通知する（または、外部装置に通知させる。）。また、情報処理装置１００は、後述する（Ｖ）の処理（実行処理）において、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われた場合に、当該所定の動作に対応する処理を行う。したがって、ユーザは、自己の動作をやめることによって、情報処理装置１００における当該動作に対応する処理の実行をキャンセルすることができるので、情報処理装置１００は、誤検出によるユーザの意図しない処理が実行されることを防止し、ユーザの利便性や操作性をさらに向上させることができる。なお、上記では、情報処理装置１００が、通知処理を行うことによって視覚的にユーザに通知する例を示したが、例えば情報処理装置１００が通知処理を行うことによって聴覚的に通知を行う場合など、他の方法により通知を行う場合であっても、同様の効果を奏することができることは、言うまでもない。

（Ｖ）実行処理
上記（ＩＩＩ）の処理（動作判定処理）において、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われたことが判定されると、情報処理装置１００は、判定された所定の動作に対応する処理を行う。ここで、情報処理装置１００は、上記（４）の処理（実行処理）と同様に、判定された所定の動作に対応する処理を行う。

情報処理装置１００は、第１の操作性向上アプローチに係る第２の処理として、例えば上記（Ｉ）の処理（顔領域検出処理）〜（Ｖ）の処理（実行処理）を行うことによって、ユーザによる所定の動作が行われたことを判定し、判定された当該所定の動作に対応する処理を行う。

ここで、第１の操作性向上アプローチに係る第２の処理は、基本的に上記第１の操作性向上アプローチに係る第１の処理と同様の処理を有する。したがって、情報処理装置１００は、第１の操作性向上アプローチに係る第２の処理を行うことによって、上記第１の操作性向上アプローチに係る第１の処理を行う場合と同様に、従来の技術を用いる場合に生じうるユーザの利便性の低下を防止することができ、また、ユーザの操作性の向上を図ることができる。

また、第１の操作性向上アプローチに係る第２の処理は、（ＩＶ）の処理によって、情報処理装置１００が動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定したことを、ユーザに通知する（または、外部装置に通知させる。）。また、情報処理装置１００は、（Ｖ）の処理（実行処理）において、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われた場合に、当該所定の動作に対応する処理を行う。よって、ユーザは、自己の動作をやめることによって情報処理装置１００における当該動作に対応する処理の実行をキャンセルすることが可能であるので、自己の動作によって情報処理装置１００における当該動作に対応する処理の実行を制御することができる。したがって、情報処理装置１００は、誤検出によるユーザの意図しない処理が実行されることを防止し、ユーザの利便性や操作性をさらに向上させることができる。

[２]第２の操作性向上アプローチ：協調処理に係るアプローチ
上記第１の操作性向上アプローチに係る処理を行うことによって、情報処理装置１００は、ユーザの利便性の低下を防止し、またユーザの操作性の向上を図りつつ、ユーザの所定の動作に基づいて、当該動作に対応する処理を行うことができる。ここで、上述したように、通信を行っている複数の情報処理装置それぞれが、ユーザの所定の動作に基づいて当該動作に対応する処理を行う場合には、通信を行っている情報処理装置のうちの一の情報処理装置においてユーザの動作に対応する処理が行われることによる望ましくない事態が生じる恐れがある。そこで、次に、複数の情報処理装置１００が通信を行うことが可能な通信システム（以下、「通信システム１０００」と示す場合がある。）において、ユーザの利便性の低下を防止し、ユーザの操作性の向上を図ることが可能な、本発明の第２の操作性向上アプローチについて説明する。

ここで、本発明の実施形態に係る通信システム１０００における通信としては、例えば、撮像画像および音声による通話（例えばビデオ通話）に係る通信が挙げられるが、通信システム１０００における通信は、上記に限られない。例えば、通信システム１０００を構成する情報処理装置１００は、例えば、音声による通話に係る通信や、ゲームソフトウェアやビジネスソフトウェアなどのアプリケーションの実行に係る通信など、様々な通信を行うことができる。

本発明の第２の操作性向上アプローチに係る通信システム１０００を構成する情報処理装置１００それぞれは、上記通信を行っている情報処理装置のうちの一の情報処理装置においてユーザの動作に対応する処理が行われることによる望ましくない事態の発生を防止するために、協調して処理を行う。より具体的には、情報処理装置１００は、例えば下記の（ｉ）の処理〜（ｖ）の処理を行うことによって、通信を行っている情報処理装置１００間で協調して処理を行い、通信システム１０００におけるユーザの操作性の向上を図る。

（ｉ）顔領域検出処理
情報処理装置１００は、上記（１）の処理（顔領域検出処理）と同様に、撮像画像の中からユーザの顔を検出し、顔領域ＦＡを特定する。

（ｉｉ）動作領域設定処理
上記（ｉ）の処理（顔領域検出処理）において顔領域が検出されると、情報処理装置１００は、上記（２）の処理（動作領域設定処理）と同様に、顔領域ＦＡに基づいて、顔領域ＦＡの近傍に動作領域ＭＡを設定する。

（ｉｉｉ）動作判定処理
上記（ｉｉ）の処理（動作領域設定処理）において動作領域ＭＡが設定されると、情報処理装置１００は、上記（３）の処理（動作判定処理）と同様に、撮像画像と、基準検出情報または個別検出情報とに基づいて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定する。

なお、情報処理装置１００は、上記（ＩＩＩ）の処理（動作判定処理）と同様に、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われたか否かを判定してもよい。上記の場合には、例えば、（ｉｉｉ）の処理（動作判定処理）において所定の期間継続的に所定の動作が行われたと判定された場合に、後述する（ｉｖ）の処理（協調判定処理）において、協調して処理を行うか否かが判定される。

また、情報処理装置１００が、上記（ＩＩＩ）の処理（動作判定処理）と同様の処理を行う場合には、上記（ＩＶ）の処理（通知処理）と同様の通知処理をさらに行ってもよい。情報処理装置１００が第２の操作性向上アプローチに係る処理として、通知処理を行う例については、後述する。

さらに、情報処理装置１００は、所定の動作が行われたと判定された場合、当該所定の動作が通信対象装置と協調して処理を行うための動作であるかをさらに判定してもよい。情報処理装置１００は、例えば、基準検出情報および個別検出情報にそれぞれ記録されている、所定の動作が協調のための動作であるか否かを示す情報（例えばフラグなど）に基づいて、上記判定を行う。

（ｉｉｉ）の処理（動作判定処理）において所定の動作が通信対象装置と協調して処理を行うための動作であるかをさらに判定する場合、情報処理装置１００は、例えば、協調して処理を行うための動作であると判定されないときに、後述する（ｉｖ）の処理（協調判定処理）を選択的に行う。また、上記判定において、協調して処理を行うための動作であると判定されない場合には、情報処理装置１００は、例えば、後述する（ｖ）の処理（実行処理）において、上述した（４）の処理（実行処理）と同様に、判定された所定の動作に対応する処理を行う。

例えば上記のように、情報処理装置１００が判定された所定の動作が通信対象装置と協調して処理を行うための動作であるかをさらに判定することによって、情報処理装置１００は、上述した第１の操作性向上アプローチに係る処理と、第２の操作性向上アプローチに係る処理とを選択的に切り替えることが可能となる。したがって、上記の場合には、情報処理装置１００は、ユーザ行った所定の動作に応じて、自装置単体で行う処理と、通信対象装置と協調して行う処理とを判別して処理を実行することができるので、ユーザの利便性や操作性をさらに向上させることができる。

（ｉｖ）協調判定処理
上記（ｉｉｉ）の処理において設定した動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定した場合には、協調制御情報に基づいて、通信対象装置と協調して処理を行うか否かを判定する。より具体的には、情報処理装置１００は、例えば協調制御情報が協調して処理を行うことを示していない場合には、協調して処理を行うと判定しない。また、情報処理装置１００は、例えば協調制御情報が協調して処理を行うことを示している場合には、協調して処理を行うと判定する。

ここで、本発明の実施形態に係る協調制御情報とは、自装置におけるユーザの所定の動作の判定結果と、通信対象装置における通信対象装置のユーザの所定の動作の判定結果とに基づいて生成される情報（データ）である。協調制御情報には、例えば、協調して処理を行うか否かを示す情報（例えばフラグなど）や、実行する処理の内容を示す情報、処理を実行を開始する時間を示す情報などが含まれる。なお、本発明の実施形態に係る協調制御情報に含まれる情報は、上記に限られない。例えば、協調制御情報には、例えばＭＡＣアドレス（Media Access Control address）や情報処理装置１００固有のＩＤなど、制御対象の情報処理装置１００を特定する情報が含まれていてもよい。

また、協調制御情報は、例えば、通信システム１０００を構成する協調制御サーバ（以下、「協調制御サーバ２００」と示す場合がある。）、または、協調制御サーバ２００の機能を有する情報処理装置１００によりに生成される。協調制御情報の生成に係る処理については、図９を参照して後述する。

（ｖ）実行処理
情報処理装置１００は、上記（ｉｖ）の処理（協調判定処理）における判定結果に基づいて、協調制御情報に基づく処理を選択的に行う。

より具体的には、情報処理装置１００は、上記（ｉｖ）の処理（協調判定処理）において、通信対象装置と協調して処理を行うと判定されると、上記（ｉｉｉ）の処理（動作判定処理）において判定された所定の動作に対応する処理として、協調制御情報に基づく処理を行う。また、情報処理装置１００は、上記（ｉｖ）の処理（協調判定処理）において、通信対象装置と協調して処理を行うと判定されない場合には、上記（ｉｉｉ）の処理（動作判定処理）において判定された所定の動作に対応する処理を行わない。

情報処理装置１００は、第２の操作性向上アプローチに係る処理として、例えば上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を行うことによって、通信対象装置との間で協調して処理を行う。ここで、情報処理装置１００は、上記（ｉｖ）の処理（協調判定処理）において、通信対象装置と協調して処理を行うと判定されない場合には、たとえ上記（ｉｉｉ）の処理（動作判定処理）において所定の動作が行われたと判定されたとしても、当該判定された所定の動作に対応する処理を行わない。よって、上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）が行われることによって、上述したような、通信を行っている情報処理装置のうちの一の情報処理装置においてユーザの動作に対応する処理が行われることによる望ましくない事態の発生が防止される。

また、情報処理装置１００は、上述した第１の操作性向上アプローチに係る処理と同様に、設定した動作領域ＭＡにおいてユーザの所定の動作が行われたと判定された場合に、当該動作に対応して処理を行う。よって、情報処理装置１００は、上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を行うことによって、上述した第１の操作性向上アプローチに係る処理と同様に、ユーザの利便性や操作性を向上させることができる。

したがって、情報処理装置１００は、上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を行うことによって、通信システム１０００におけるユーザの利便性の低下を防止し、ユーザの操作性の向上を図ることができる。

〔第２の操作性向上アプローチに係る処理の概要〕
ここで、協調制御サーバ２００が協調制御情報を生成する場合を例に挙げて、通信システム１０００における第２の操作性向上アプローチに係る処理の概要について説明する。図９は、本発明の実施形態に係る通信システム１０００における第２の操作性向上アプローチに係る処理の概要を説明するための説明図である。図９は、通信システム１０００を構成する複数の情報処理装置１００（情報処理装置１００Ａ、情報処理装置１００Ｂ、…）が通信を行っている場合の処理の一例を示している。以下では、説明の便宜上、情報処理装置１００Ａと情報処理装置１００Ｂとの２つの情報処理装置１００が通信を行っている場合を主に例に挙げて、第２の操作性向上アプローチに係る処理の概要を説明する。

情報処理装置１００Ａと情報処理装置１００Ｂとが通信を行っているとき（Ｓ１００）に、情報処理装置１００Ａが設定した動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定した場合、情報処理装置１００Ａは、判定通知情報を協調制御サーバ２００へ送信する（Ｓ１０２）。

ここで、本発明の実施形態に係る判定通知情報とは、所定の動作が行われたと判定されたことを通知するための情報（データ）であり、例えば、ＭＡＣアドレスなどのように生成した情報処理装置１００を示す情報や、判定した所定の動作を示す情報などが含まれる。なお、本発明の実施形態に係る判定通知情報に含まれる情報が、上記に限られないことは、言うまでもない。

ステップＳ１０２において情報処理装置１００Ａから送信された判定通知情報を受信した協調制御サーバ２００は、受信した判定通知情報を、情報処理装置１００Ａの通信対象である情報処理装置１００Ｂへ送信する（Ｓ１０４）。なお、図９では、情報処理装置１００Ｂが、情報処理装置１００Ａが送信した判定通知情報を協調制御サーバ２００を介して受信する例を示しているが、通信システム１０００における処理は、上記に限られない。例えば、情報処理装置１００Ａは、自装置において所定の処理が行われたと判定された場合、情報処理装置１００Ｂに判定通知情報を、協調制御サーバ２００を介さずに送信してもよい。

ステップＳ１０４において協調制御サーバ２００から送信された判定通知情報を受信した情報処理装置１００Ｂは、上記（ｉ）の処理（顔領域検出処理）〜（ｉｉｉ）の処理（動作判定処理）を行い、ユーザによる所定の動作が行われたか否かを判定する。そして、情報処理装置１００Ｂは、上記判定の判定結果に応じた応答を協調制御サーバ２００へ行う（Ｓ１０６）。より具体的には、情報処理装置１００Ｂは、自装置において所定の処理が行われたと判定された場合には、判定通知情報を応答として協調制御サーバ２００へ送信する。なお、情報処理装置１００Ｂは、例えば、通信対象の情報処理装置１００Ａに判定通知情報を送信してもよい。また、情報処理装置１００Ｂは、自装置において所定の処理が行われたと判定されない場合には、協調して処理を行わない旨の応答を協調制御サーバ２００へ行う。つまり、ステップＳ１０６における情報処理装置１００Ｂの応答は、情報処理装置１００Ｂ（情報処理装置１００Ａからみた通信対象装置）におけるユーザの所定の動作の判定結果に該当する。なお、通信対象装置から送信された判定通知情報を受信した場合における、情報処理装置１００の処理の具体例については、後述する。

ステップＳ１０６において情報処理装置１００Ｂから送信された応答を受信した協調制御サーバ２００は、ステップＳ１０２において情報処理装置１００から受信した判定通知情報と、ステップＳ１０６において情報処理装置１００Ｂから受信した応答に基づいて、協調制御情報を生成する（Ｓ１０８：協調制御情報生成処理）。

より具体的には、ステップＳ１０６において情報処理装置１００Ｂから受信した応答が判定通知情報である場合には、協調制御サーバ２００は、例えば、情報処理装置１００Ａ、１００Ｂそれぞれの判定通知情報が示す所定の動作の組合せに対応する処理を特定する。そして、協調制御サーバ２００は、特定した処理を情報処理装置１００Ａ、１００Ｂに協調して実行させるための協調制御情報を生成する。

ここで、協調制御サーバ２００は、例えば、所定の動作の組合せと実行する処理の内容を示す情報とが対応付けて記録された協調管理情報（例えば、データベース）を用いて、上記協調判定処理を行う。また、協調制御サーバ２００は、例えば、所定の動作の意味に関連付けられる処理が上記実行する処理の内容を示す情報として記録された協調管理情報を用いる。よって、協調制御サーバ２００が上記のような協調管理情報を用いて協調制御情報を生成することによって、情報処理装置１００は、検出した動作の意味に関連付けられる処理（アフォーダンスが考慮された処理）を、協調して行うことができる。上記協調管理情報は、例えば、協調制御サーバ２００が備える記憶部（図示せず）に記憶されていてもよいし、協調制御サーバ２００がサーバ（図示せず）などの外部装置から適宜取得してもよい。

なお、協調制御サーバ２００は、例えば、通信を行っている全ての情報処理装置１００から送信された判定通知情報を受信した場合に、通信を行っている情報処理装置１００に協調して処理を行わせると判定するが、協調制御サーバ２００における協調制御情報生成処理は、上記に限られない。例えば、協調制御サーバ２００は、通信を行っている情報処理装置１００のうちの、所定の閾値以上の数（または、当該閾値を超えた数）の情報処理装置１００から送信された判定通知情報を受信した場合に、通信を行っている情報処理装置１００に協調して処理を行わせると判定することもできる。ここで、協調判定処理に係る上記所定の閾値は、例えば協調制御サーバ２００のユーザ（例えば通信システム１０００の管理者など）により設定されるが、予め設定されたものであってもよい。

また、ステップＳ１０６において情報処理装置１００Ｂから受信した応答が協調して処理を行わない旨の応答である場合には、協調制御サーバ２００は、情報処理装置１００Ａ、１００Ｂに所定の動作に対応する処理を実行させないための協調制御情報を生成する。

ステップＳ１０８において協調制御情報を生成すると、協調制御サーバ２００は、生成した協調制御情報を、情報処理装置１００Ａと情報処理装置１００Ｂとにそれぞれ送信する（Ｓ１１０、Ｓ１１２）。

ステップＳ１１０において協調制御サーバ２００から送信された協調制御情報を受信した情報処理装置１００Ａは、受信した協調制御情報に基づいて情報処理装置１００Ｂ（通信対象装置）と協調して処理を行うか否かを判定する（Ｓ１１４）。情報処理装置１００Ａは、例えば、協調制御情報に含まれる協調して処理を行うか否かを示す情報に基づいて、ステップＳ１１４の判定を行う。ここで、図９に示すステップＳ１０２、Ｓ１１４の処理が、上記（ｉｖ）の処理（協調判定処理）に該当する。

また、ステップＳ１１２において協調制御サーバ２００から送信された協調制御情報を受信した情報処理装置１００Ｂは、情報処理装置１００ＡにおけるステップＳ１１４の処理と同様に、受信した協調制御情報に基づいて情報処理装置１００Ａ（通信対象装置）と協調して処理を行うか否かを判定する（Ｓ１１６）。

ここで、情報処理装置１００Ａと情報処理装置１００Ｂとは、ステップＳ１０８において協調制御サーバ２００が生成した協調制御情報に基づいてステップＳ１１４、Ｓ１１６の判定を行う。よって、情報処理装置１００ＡにおけるステップＳ１１４の判定結果と、情報処理装置１００ＢにおけるステップＳ１１６の判定結果とは、一致することとなる。

情報処理装置１００Ａは、ステップＳ１１４における判定結果に基づいて、選択的に協調制御情報に基づく処理を行う（Ｓ１１８）。また、情報処理装置１００Ｂは、ステップＳ１１６における判定結果に基づいて、選択的に協調制御情報に基づく処理を行う（Ｓ１２０）。上記のように、情報処理装置１００ＡにおけるステップＳ１１４の判定結果と、情報処理装置１００ＢにおけるステップＳ１１６の判定結果とは、一致する。したがって、通信システム１０００では、情報処理装置１００Ａおよび情報処理装置１００Ｂそれぞれが協調制御情報に基づいて通信対象装置と協調して処理を行うか否かを判定することによって、情報処理装置１００Ａと情報処理装置１００Ｂとの間における協調した処理が実現される。

通信システム１０００では、例えば図９に示すような処理が行われることによって、通信を行っている複数の情報処理装置１００において、協調制御情報に基づく協調した処理が選択的に行われる。よって、通信システム１０００では、上述したような、通信を行っている情報処理装置のうちの一の情報処理装置においてユーザの動作に対応する処理が行われることによる望ましくない事態の発生が防止される。また、通信システム１０００では、各情報処理装置１００は、上述した第１の操作性向上アプローチに係る処理と同様に、設定した動作領域ＭＡにおいてユーザの所定の動作が行われたと判定された場合に、当該動作に対応して処理を行う。よって、通信システム１０００を構成する各情報処理装置１００は、ユーザの利便性や操作性を向上させることができる。

なお、図９では、協調制御サーバ２００が協調制御情報を生成する場合を例に挙げて、通信システム１０００における第２の操作性向上アプローチに係る処理の概要を説明したが、本発明の実施形態に係る通信システム１０００における第２の操作性向上アプローチに係る処理は、図９に示す例に限られない。例えば、図９に示す情報処理装置１００Ａまたは情報処理装置１００Ｂなど、通信システム１０００を構成するいずれかの情報処理装置１００が、協調制御サーバ２００の機能を有していてもよい。上記の場合であっても、通信システム１０００を構成する各情報処理装置１００は、協調制御情報に基づいて、協調した処理を選択的に行うことができる。

〔第２の操作性向上アプローチに係る処理の適用例〕
図１０は、本発明の実施形態に係る通信システム１０００における第２の操作性向上アプローチに係る処理の適用例を示す説明図である。ここで、図１０は、ユーザＰとユーザＱとが、それぞれの情報処理装置１００を用いてビデオ通話を行っている場合において、ユーザＰおよびユーザＱの双方においてバイバイ動作（所定の動作の一例）が行われることによって、通話が終了する例を示している。図１０のＥに示す一連の画像は、ユーザＱがみている画像（例えば、ユーザＱが所有する情報処理装置１００の表示画面に表示された画像、または、当該情報処理装置１００が外部装置の表示画面に表示させた画像）を示している。また、図１０のＦに示す画像は、ユーザＰがみている画像（例えば、ユーザＰが所有する情報処理装置１００の表示画面に表示された画像、または、当該情報処理装置１００が外部装置の表示画面に表示させた画像）を示している。

ユーザＰとユーザＱとの通話中にユーザＰが所定の動作としてバイバイ動作を行うと（図１０のＧ）、ユーザＰによりバイバイ動作が行われたことがユーザＰおよびユーザＱに通知される（図１０のＨ）。このとき、通信システム１０００では、ユーザＰに対応する一方の情報処理装置１００でしか所定の動作が行われたことを判定していないので、ビデオ通話に係る通信は終了しない。

その後、ユーザＱが所定の動作としてバイバイ動作を行うと（図１０のＩ）、協調してビデオ通話に係る通信を終了させるための協調制御情報が生成される。そして、ユーザＰに対応する情報処理装置１００およびユーザＱに対応する情報処理装置１００の双方が、生成された協調制御情報に基づいて処理を行うことによって、ユーザＰとユーザＱとの間のビデオ通話に係る通信が終了する（図１０のＪ）。

例えば図１０に示すように、通信システム１０００では、通信を行っている情報処理装置１００それぞれにおいてユーザの所定の動作が行われたと判定された場合に、当該所定の動作に対応する処理が情報処理装置１００それぞれにおいて行われる。よって、通信システム１０００では、上述したような、通信を行っている情報処理装置のうちの一の情報処理装置においてユーザの動作に対応する処理が行われることによる望ましくない事態の発生が防止される。

また、第２の操作性向上アプローチに係る処理を行う情報処理装置１００は、第１の操作性向上アプローチに係る処理を行う情報処理装置１００と同様に、判定する所定の動作の意味に関連付けられる処理を行うことが可能である。よって、例えば通信システム１０００における通信が図１０に示すようなビデオ通話に係る通信である場合、通話中のユーザは、１つの場所で直接的に話をしているときに別れの挨拶をする場合と同様の自然な動作を行うことによって、当該通話を終了させることができる。したがって、情報処理装置１００が第２の操作性向上アプローチに係る処理を行うことによって、ユーザの利便性や操作性を向上させることができる。

したがって、第２の操作性向上アプローチに係る処理を行う情報処理装置１００によって、ユーザの利便性や操作性を向上させることが可能な通信システムが実現される。なお、上記では、図１０に示すように通信システム１０００における通信がビデオ通話に係る通信である場合を例に挙げて、第２の操作性向上アプローチに係る処理の適用例を説明したが、本発明の実施形態に係る通信システム１０００における第２の操作性向上アプローチに係る処理の適用例が、図１０に示す例に限られないことは、言うまでもない。

［操作性向上アプローチに係る処理の具体例］
次に、上述した本発明の実施形態に係る第１の操作性向上アプローチを実現するための処理、および上述した第２の操作性向上アプローチを実現するための処理について、より具体的に説明する。

[１]第１の操作性向上アプローチに係る処理
〔１−１〕第１の操作性向上アプローチに係る第１の処理の具体例
図１１は、本発明の実施形態に係る情報処理装置１００における第１の操作性向上アプローチに係る処理の一例を示す流れ図であり、上記第１の操作性向上アプローチに係る第１の処理に対応する処理の一例を示している。以下では、情報処理装置１００が、撮像画像に対して設定された動作領域ＭＡにおける周期成分に基づいて、ユーザの所定の動作を判定する場合の処理を例に挙げて説明する。

情報処理装置１００は、ユーザの動作検出を行うか否かを判定する（Ｓ２００）。ここで、ステップＳ２００の処理は、例えば、情報処理装置１００が動作検出を行う第１の処理モードと動作検出を行わない第２の処理モードとをユーザ操作などに基づいて選択的に切り替える機能を有している場合において、第１の処理モードであるか否かの判定に相当する。つまり、情報処理装置１００が、上記第１の処理モードと第２の処理モードとを切り替える機能を有していない場合などには、情報処理装置１００は、ステップＳ２００の処理を行わなくてもよい。

ステップＳ２００においてユーザの動作検出を行うと判定されない場合には、情報処理装置１００は、操作性向上アプローチに係る処理を終了する。なお、図１１に示す第１の操作性向上アプローチに係る処理は、一度終了すれば再度行われないという類の処理ではなく、情報処理装置１００は、一旦処理が終了しても定期的／非定期的に図１１に示す第１の操作性向上アプローチに係る処理を繰り返すことが可能である。

また、ステップＳ２００においてユーザの動作検出を行うと判定された場合には、情報処理装置１００は、入力された撮像画像に基づいて顔検出を行い、顔領域ＦＡを特定する（Ｓ２０２）。ここで、ステップＳ２０２の処理は、上記（１）の処理（顔領域検出処理）に該当する。また、情報処理装置１００は、例えば、例えば、ユーザの目、鼻、口、骨格などの特徴点の検出や、顔の輝度分布および構造パターンと類似した領域を検出することによって、顔領域ＦＡを特定するが、顔領域ＦＡの特定方法は、上記に限られない。

また、撮像画像に複数のユーザが含まれているときなど、撮像画像から複数の顔領域ＦＡが特定された場合には、情報処理装置１００は、特定された複数の顔領域ＦＡごとに、後述するステップＳ２０４〜Ｓ２１２の処理を行う。

ステップＳ２０２の処理を行うと、情報処理装置１００は、顔領域ＦＡが特定されたか否かを判定する（Ｓ２０４）。ステップＳ２０４において顔領域ＦＡが特定されたと判定されない場合には、情報処理装置１００は、ステップＳ２００からの処理を繰り返す。

また、ステップＳ２０４において顔領域ＦＡが特定されたと判定された場合には、情報処理装置１００は、顔領域ＦＡに基づいて動作領域ＭＡを設定する（Ｓ２０６）。ここで、ステップＳ２０６の処理は、上記（２）の処理（動作領域設定処理）に該当する。また、情報処理装置１００は、例えば図１や図２に示すように、顔領域ＦＡの近傍に動作領域ＭＡを設定するが、情報処理装置１００が設定する動作領域ＭＡは、図１、図２に示す例に限られない。

ステップＳ２０６において動作領域ＭＡが設定される（または再設定される）と、情報処理装置１００は、設定した動作領域ＭＡ内における所定の動作を検出する（Ｓ２０８）。そして、情報処理装置１００は、設定した動作領域ＭＡ内において所定の動作が検出されたか否かを判定する（Ｓ２１０）。ここで、ステップＳ２０８、Ｓ２１０の処理は、上記（３）の処理（動作判定処理）に該当する。

より具体的には、情報処理装置１００は、ステップＳ２０８において、例えば、撮像画像に基づいて設定された動作領域ＭＡにおける周期成分の検出結果と、基準検出情報の周期成分の情報とに基づいて、所定の動作が行われたか否かを検出する（上記動作判定処理の第１の例に該当）。ここで、基準検出情報は、例えば情報処理装置１００が備える記憶部（後述する）に記憶され、情報処理装置１００は、当該記憶部から基準検出情報を読み出して上記検出を行うが、本発明の実施形態に係る情報処理装置１００における処理は、上記に限られない。例えば、情報処理装置１００は、基準検出情報を記憶するサーバなどの外部装置と通信を行って当該外部装置から基準検出情報を取得し、取得された基準検出情報を用いて上記検出を行うこともできる。

なお、本発明の実施形態に係る情報処理装置１００におけるステップＳ２０８の処理は、基準検出情報を用いる処理に限られない。例えば上記動作判定処理の第２の例に示したように、情報処理装置１００は、基準検出情報または個別検出情報を用いる処理を、ステップＳ２０８の処理として行うこともできる。

図１２は、本発明の実施形態に係る情報処理装置１００における動作判定処理の一例を示す流れ図である。ここで、図１２は、上記動作判定処理の第２の例に相当する処理の一例を示している。

情報処理装置１００は、顔領域ＦＡから顔情報を抽出する（Ｓ３００）。そして、情報処理装置１００は、抽出された顔情報と個別検出情報とに基づいて、個別検出情報の中に抽出された顔情報と対応する顔情報があるか否かを判定する（Ｓ３０２）。

ここで、個別検出情報は、例えば情報処理装置１００が備える記憶部（後述する）に記憶され、情報処理装置１００は、当該記憶部から個別検出情報を読み出して上記判定を行うが、本発明の実施形態に係る情報処理装置１００における処理は、上記に限られない。例えば、情報処理装置１００は、個別検出情報を記憶するサーバなどの外部装置と通信を行って当該外部装置から個別検出情報を取得し、取得された個別検出情報を用いて上記判定を行うことができる。また、情報処理装置１００は、個別検出情報を記憶する外部装置にステップＳ３００において抽出した顔情報を送信し、個別検出情報の中に抽出された顔情報と対応する顔情報があるか否かの実質的な判定を当該外部装置に行わせて、当該外部装置から判定結果を取得してもよい。上記の場合であっても、情報処理装置１００は、上記外部装置から取得した判定結果に基づいてステップＳ３０２の処理を行うことができる。

ステップＳ３０２において個別検出情報の中に抽出された顔情報と対応する顔情報があると判定された場合には、情報処理装置１００は、撮像画像に基づいて設定された動作領域ＭＡにおける周期成分の検出結果と、抽出された顔情報と対応する顔情報が含まれる個別検出情報の周期成分の情報とに基づいて所定の動作が行われたことを検出する。

また、ステップＳ３０２において個別検出情報の中に抽出された顔情報と対応する顔情報があると判定されない場合には、情報処理装置１００は、撮像画像に基づいて設定された動作領域ＭＡにおける周期成分の検出結果と、基準検出情報の周期成分の情報とに基づいて所定の動作が行われたことを検出する。

情報処理装置１００は、例えば図１２に示す処理を行うことによって、基準検出情報または個別検出情報を用いて、所定の動作が行われたことを検出することができる。

また、情報処理装置１００が、個別検出情報を用いて所定の動作が行われたことを検出することによって、情報処理装置１００は、個別検出情報に含まれる顔情報に対応する特定のユーザの動作の誤検出や過検出を防止することが可能となる。

図１３、図１４は、本発明の実施形態に係る情報処理装置１００が個別検出情報を用いて所定の動作が行われたことを検出することの利点を説明するための説明図である。

図１３に示すようにユーザＡ、ユーザＢが撮像画像内に存在する場合には、各ユーザの動作領域ＭＡの一部または全部が他のユーザの動作領域ＭＡと重なり合うことが起こりうる。このとき、重なり合う動作領域ＭＡにおいて一方のユーザ（図１３ではユーザＢ）がバイバイ動作を行った場合には、どのユーザが行った動作であるのかを一意に判定することができない恐れがある。ここで、個別検出情報を用いて判定を行う場合には、情報処理装置１００は、行われた動作がユーザＡの動作であるのか、またはユーザＢの動作であるのかを一意に判別することができる。したがって、情報処理装置１００は、個別検出情報を用いて所定の動作が行われたことを検出することによって、図１３に示すようにユーザＡ、ユーザＢが撮像画像内に存在する場合であっても、個別検出情報に含まれる顔情報に対応する特定のユーザの動作の誤検出や過検出を防止することができる。

また、個別検出情報を用いて判定を行うことによって、情報処理装置１００は、ユーザ固有の検出基準で所定の動作を検出するので、図１４に示すように、設定された動作領域ＭＡ内でユーザではないオブジェクトにより周期動作が行われた場合であっても、基準検出情報を用いる場合よりもよりユーザの動作の誤検出や過検出を防止することが可能となる。

再度図１１を参照して、本発明の実施形態に係る情報処理装置１００における操作性向上アプローチに係る処理の一例について説明する。ステップＳ２０８の処理が行われると、情報処理装置１００は、設定した動作領域ＭＡ内において所定の動作が検出されたか否かを判定する（Ｓ２１０）。ステップＳ２１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定されない場合には、情報処理装置１００は、ステップＳ２０２からの処理を繰り返す。

また、ステップＳ２１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合には、情報処理装置１００は、検出された動作に対応する処理を行う（Ｓ２１２）。ここで、ステップＳ２１２の処理は、上記（４）の処理（実行処理）に該当する。

情報処理装置１００は、例えば図１１に示す処理を行うことによって、第１の操作性向上アプローチに係る上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を実現することができる。したがって、情報処理装置１００は、例えば図１１に示す処理を行うことによって、ユーザの操作性の向上を図ることができる。

〔２〕第１の操作性向上アプローチに係る第２の処理の具体例
図１５は、本発明の実施形態に係る情報処理装置１００における第１の操作性向上アプローチに係る処理の他の例を示す流れ図であり、上記第１の操作性向上アプローチに係る第２の処理に対応する処理の一例を示している。以下では、情報処理装置１００が、撮像画像に対して設定された動作領域ＭＡにおける周期成分に基づいて、ユーザの所定の動作を判定する場合における処理を例に挙げて説明する。

情報処理装置１００は、図１１のステップＳ２００と同様に、ユーザの動作検出を行うか否かを判定する（Ｓ４００）。ステップＳ４００においてユーザの動作検出を行うと判定されない場合には、情報処理装置１００は、操作性向上アプローチに係る処理を終了する。なお、図１５に示す第１の操作性向上アプローチに係る処理は、一度終了すれば再度行われないという類の処理ではなく、情報処理装置１００は、一旦処理が終了しても定期的／非定期的に図１５に示す第１の操作性向上アプローチに係る処理を繰り返すことが可能である。

また、ステップＳ４００においてユーザの動作検出を行うと判定された場合には、情報処理装置１００は、図１１のステップＳ２０２と同様に、入力された撮像画像に基づいて顔検出を行い、顔領域ＦＡを特定する（Ｓ４０２）。ここで、ステップＳ４０２の処理は、上記（Ｉ）の処理（顔領域検出処理）に該当する。また、撮像画像に複数のユーザが含まれているときなど、撮像画像から複数の顔領域ＦＡが特定された場合には、情報処理装置１００は、特定された複数の顔領域ＦＡごとに、後述するステップＳ４０４〜Ｓ４１６の処理を行う。

ステップＳ４０２の処理を行うと、情報処理装置１００は、図１１のステップＳ２０４と同様に、顔領域ＦＡが特定されたか否かを判定する（Ｓ４０４）。ステップＳ４０４において顔領域ＦＡが特定されたと判定されない場合には、情報処理装置１００は、ステップＳ４００からの処理を繰り返す。

また、ステップＳ４０４において顔領域ＦＡが特定されたと判定された場合には、情報処理装置１００は、図１１のステップＳ２０６と同様に、顔領域ＦＡに基づいて動作領域ＭＡを設定する（Ｓ４０６）。ここで、ステップＳ４０６の処理は、上記（ＩＩ）の処理（動作領域設定処理）に該当する。

ステップＳ４０６において動作領域ＭＡが設定される（または再設定される）と、情報処理装置１００は、図１１のステップＳ２０８と同様に、設定した動作領域ＭＡ内における所定の動作を検出する（Ｓ４０８）。そして、情報処理装置１００は、設定した動作領域ＭＡ内において所定の動作が検出されたか否かを判定する（Ｓ４１０）。ステップＳ４１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定されない場合には、情報処理装置１００は、ステップＳ４０２からの処理を繰り返す。

また、ステップＳ４１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合には、情報処理装置１００は、所定の動作が検出されたことをユーザに通知する（Ｓ４１２）。ここで、ステップＳ４１２の処理は、上記（ＩＶ）の処理（通知処理）に該当する。

より具体的には、情報処理装置１００は、例えば図４〜図８に示すように、情報処理装置１００が動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定したことを、視覚的にユーザに通知する（または、外部装置に通知させる。）。なお、情報処理装置１００は、例えば、所定の動作が行われたと判定されたことを示す音声を、自装置が備える音声出力デバイス（例えば、後述する音声出力部）や外部音声出力デバイスから出力させるなどによって、聴覚的にユーザに通知する（または、外部装置に通知させる。）こともできる。

また、ステップＳ４１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合には、情報処理装置１００は、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われているか否かを判定する（Ｓ４１４）。ここで、ステップＳ４０８、Ｓ４１０、Ｓ４１４の処理は、上記（ＩＩＩ）の処理（動作判定処理）に該当する。

なお、図１５では、ステップＳ４１２の処理の後にステップＳ４１４の処理が行われている例を示しているが、情報処理装置１００は、ステップＳ４１２の処理とステップＳ４１４の処理とを、ステップＳ４１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定されたことをトリガとして、それぞれ独立に行うことができる。

ステップＳ４１４において所定の期間継続的に所定の動作が行われていると判定されない場合には、情報処理装置１００は、ステップＳ４００からの処理を繰り返す。ここで、所定の期間継続的に所定の動作が行われていると判定されない場合としては、例えば、ステップＳ４１２の処理による通知によって、ユーザが自己の動作を停止した場合が挙げられる。

また、ステップＳ４１４において所定の期間継続的に所定の動作が行われていると判定された場合には、情報処理装置１００は、図１１のステップＳ２１２と同様に、検出された動作に対応する処理を行う（Ｓ４１６）。ここで、ステップＳ４１６の処理は、上記（Ｖ）の処理（実行処理）に該当する。

情報処理装置１００は、例えば図１５に示す処理を行うことによって、第１の操作性向上アプローチに係る上記（Ｉ）の処理（顔領域検出処理）〜（Ｖ）の処理（実行処理）を実現することができる。したがって、情報処理装置１００は、例えば図１５に示す処理を行うことによって、ユーザの操作性の向上を図ることができる。

例えば図１１、図１５に示す処理を行うことによって、情報処理装置１００は、上述した本発明の実施形態に係る第１の操作性向上アプローチを実現する。なお、本発明の実施形態に係る情報処理装置１００における第１の操作性向上アプローチに係る処理が、図１１、図１５に示す処理に限られないことは、言うまでもない。

[２]第２の操作性向上アプローチに係る処理
次に、上述した第２の操作性向上アプローチに係る処理の具体例について説明する。以下では、〔２−１〕通信対象装置から送信された判定通知情報を受信していない場合における情報処理装置１００の処理の一例と、〔２−２〕通信対象装置から送信された判定通知情報を受信した場合における情報処理装置１００の処理の一例とについて、それぞれ説明する。

〔２−１〕通信対象装置から送信された判定通知情報を受信していない場合における処理の具体例
図１６は、本発明の実施形態に係る情報処理装置１００における第２の操作性向上アプローチに係る処理の一例を示す流れ図であり、通信対象装置から送信された判定通知情報を受信していない場合における処理の一例を示している。ここで、図１６は、図１５に示す第１の操作性向上アプローチに係る第２の処理と同様に、上記（ＩＶ）の処理（通知処理）を行う場合における処理の一例を示している。以下では、情報処理装置１００が、撮像画像に対して設定された動作領域ＭＡにおける周期成分に基づいて、ユーザの所定の動作を判定する場合の処理を例に挙げて説明する。また、以下では、図９に示すように、通信システム１０００において協調制御サーバ２００が協調制御情報を生成する場合を例に挙げて説明する。

情報処理装置１００は、図１１のステップＳ２００と同様に、ユーザの動作検出を行うか否かを判定する（Ｓ５００）。ステップＳ５００においてユーザの動作検出を行うと判定されない場合には、情報処理装置１００は、操作性向上アプローチに係る処理を終了する。なお、図１６に示す第２の操作性向上アプローチに係る処理は、一度終了すれば再度行われないという類の処理ではなく、情報処理装置１００は、一旦処理が終了しても定期的／非定期的に図１６に示す第２の操作性向上アプローチに係る処理を繰り返すことが可能である。

また、ステップＳ５００においてユーザの動作検出を行うと判定された場合には、情報処理装置１００は、図１１のステップＳ２０２と同様に、入力された撮像画像に基づいて顔検出を行い、顔領域ＦＡを特定する（Ｓ５０２）。ここで、ステップＳ５０２の処理は、上記（ｉ）の処理（顔領域検出処理）に該当する。また、撮像画像に複数のユーザが含まれているときなど、撮像画像から複数の顔領域ＦＡが特定された場合には、情報処理装置１００は、例えば、特定された複数の顔領域ＦＡごとに、後述するステップＳ５０４〜Ｓ５２０の処理を行う。なお、撮像画像から複数の顔領域ＦＡが特定された場合の処理は、上記に限られない。例えば、本発明の実施形態に係る情報処理装置１００は、顔領域ＦＡに対して顔認証を行って、特定のユーザに対応する顔領域ＦＡに対して、後述するステップＳ５０４〜Ｓ５２０の処理を行ってもよい。

ステップＳ５０２の処理を行うと、情報処理装置１００は、図１１のステップＳ２０４と同様に、顔領域ＦＡが特定されたか否かを判定する（Ｓ５０４）。ステップＳ５０４において顔領域ＦＡが特定されたと判定されない場合には、情報処理装置１００は、ステップＳ５００からの処理を繰り返す。

また、ステップＳ５０４において顔領域ＦＡが特定されたと判定された場合には、情報処理装置１００は、図１１のステップＳ２０６と同様に、顔領域ＦＡに基づいて動作領域ＭＡを設定する（Ｓ５０６）。ここで、ステップＳ５０６の処理は、上記（ｉｉ）の処理（動作領域設定処理）に該当する。

ステップＳ５０６において動作領域ＭＡが設定される（または再設定される）と、情報処理装置１００は、図１１のステップＳ２０８と同様に、設定した動作領域ＭＡ内における所定の動作を検出する（Ｓ５０８）。そして、情報処理装置１００は、設定した動作領域ＭＡ内において所定の動作が検出されたか否かを判定する（Ｓ５１０）。ステップＳ５１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定されない場合には、情報処理装置１００は、ステップＳ５０２からの処理を繰り返す。

また、ステップＳ５１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合には、情報処理装置１００は、図１５のステップＳ４１２と同様に、所定の動作が検出されたことをユーザに通知する（Ｓ５１２）。ここで、ステップＳ５１２の処理は、上記（ＩＶ）の処理（通知処理）と同様の通知処理に該当する。

また、ステップＳ５１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合には、情報処理装置１００は、図１５のステップＳ４１４と同様に、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われているか否かを判定する（Ｓ５１４）。ここで、ステップＳ５０８、Ｓ５１０、Ｓ５１４の処理は、上記（ｉｉｉ）の処理（動作判定処理）に該当する。

ステップＳ５１４において所定の期間継続的に所定の動作が行われていると判定されない場合には、情報処理装置１００は、ステップＳ５００からの処理を繰り返す。ここで、所定の期間継続的に所定の動作が行われていると判定されない場合としては、例えば、ステップＳ５１２の処理による通知によって、ユーザが自己の動作を停止した場合が挙げられる。

また、ステップＳ５１４において所定の期間継続的に所定の動作が行われていると判定された場合には、情報処理装置１００は、情報処理装置１００は、判定通知情報を協調制御サーバ２００へ送信する（Ｓ５１６）。

ステップＳ５１４において判定通知情報を送信すると、情報処理装置１００は、通信対象装置との間で協調して処理を行うか否かを判定する（Ｓ５１８）。情報処理装置１００は、例えば協調制御サーバ２００から送信される協調制御情報に基づいて、ステップＳ５１８の処理を行う。ここで、ステップＳ５１６、Ｓ５１８の処理は、上記（ｉｖ）の処理（協調判定処理）に該当する。

ステップＳ５１８において通信対象装置との間で協調して処理を行うと判定されない場合には、情報処理装置１００は、ステップＳ５００からの処理を繰り返す。

また、ステップＳ５１８において通信対象装置との間で協調して処理を行うと判定された場合には、情報処理装置１００は、協調制御情報に基づく処理を選択的に行う（Ｓ５２０）。ここで、ステップＳ５２０の処理は、上記（ｖ）の処理（実行処理）に該当する。

情報処理装置１００は、例えば図１６に示す処理を行うことによって、第２の操作性向上アプローチに係る上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を実現することができる。したがって、情報処理装置１００は、例えば図１６に示す処理を行うことによって、通信システム１０００においてユーザの利便性や操作性の向上を図ることができる。

〔２−２〕通信対象装置から送信された判定通知情報を受信した場合における処理の具体例
図１７は、本発明の実施形態に係る情報処理装置１００における第２の操作性向上アプローチに係る処理の一例を示す流れ図であり、通信対象装置から送信された判定通知情報を受信した場合における処理の一例を示している。以下では、図１６と同様に、図９に示すように通信システム１０００において協調制御サーバ２００が協調制御情報を生成する場合を例に挙げて説明する。

情報処理装置１００は、通信対象措置から送信された判定通知情報が受信されたか否かを判定する（Ｓ６００）。ステップＳ６００において通信対象措置から送信された判定通知情報が受信されたと判定されない場合には、情報処理装置１００は、通信対象措置から送信された判定通知情報が受信されたと判定されるまで処理を進めない。

また、ステップＳ６００において通信対象措置から送信された判定通知情報が受信されたと判定された場合には、情報処理装置１００は、通信対象措置から送信された判定通知情報が受信されたことをユーザに通知する（Ｓ６０２）。

ここで、情報処理装置１００は、例えば、図１０のＨに示すように、画像を変化させることにより視覚的にユーザに通知するが、ステップＳ６０２におけるユーザへの通知方法は、上記に限られない。例えば、情報処理装置１００は、図８に示すように、点灯デバイスの点灯状態を変化させることによって、通信対象措置から送信された判定通知情報が受信されたことをユーザに視覚的に通知することができる。また、情報処理装置１００は、通信対象措置から送信された判定通知情報が受信されたことを、音声によりユーザに聴覚的に通知してもよい。

また、ステップＳ６００において通信対象措置から送信された判定通知情報が受信されたと判定された場合には、情報処理装置１００は、判定通知情報を送信しているか否かを判定する（Ｓ６０４）。ここで、情報処理装置１００は、図１６に示すステップＳ５１６の処理が既に行われている場合には、判定通知情報を送信していると判定する。つまり、ステップＳ６０４の処理は、受信された判定通知情報が、通信対象装置において図１６に示すステップＳ５１６の処理が行われた結果送信されたものであるのか、または、自装置が送信した判定通知情報に対する応答として通信対象装置から送信されたものであるのか、を判定することに相当する。

なお、図１７では、ステップＳ６０２の処理の後にステップＳ６０４の処理が行われている例を示しているが、情報処理装置１００は、ステップＳ６０２の処理とステップＳ６０４の処理とを、ステップＳ６００において通信対象措置から送信された判定通知情報が受信されたと判定されたことをトリガとして、それぞれ独立に行うことができる。

ステップＳ６０４において判定通知情報を送信していると判定された場合には、情報処理装置１００は、後述するステップＳ６２０の処理を行う。ここで、上記の場合におけるステップＳ６２０の処理は、図１６に示すＳ５１８の処理に該当する。

また、ステップＳ６０４において判定通知情報を送信していると判定されない場合には、情報処理装置１００は、図１１のステップＳ２００と同様に、ユーザの動作検出を行うか否かを判定する（Ｓ６０６）。ステップＳ６０６においてユーザの動作検出を行うと判定されない場合には、情報処理装置１００は、協調して処理を行わない旨の応答を協調制御サーバ２００に対して行い（Ｓ６２４）、処理を終了する。なお、図１７に示す第２の操作性向上アプローチに係る処理は、一度終了すれば再度行われないという類の処理ではなく、情報処理装置１００は、図１７に示す第２の操作性向上アプローチに係る処理を繰り返し行う。

ステップＳ６０６においてユーザの動作検出を行うと判定された場合には、情報処理装置１００は、図１１のステップＳ２０２と同様に、入力された撮像画像に基づいて顔検出を行い、顔領域ＦＡを特定する（Ｓ６０８）。ここで、ステップＳ６０８の処理は、図１６のステップＳ５０２と同様に、上記（ｉ）の処理（顔領域検出処理）に該当する。

ステップＳ６０８の処理を行うと、情報処理装置１００は、図１１のステップＳ２０４と同様に、顔領域ＦＡが特定されたか否かを判定する（Ｓ６１０）。ステップＳ６１０において顔領域ＦＡが特定されたと判定されない場合には、情報処理装置１００は、協調して処理を行わない旨の応答を協調制御サーバ２００に対して行い（Ｓ６２４）、処理を終了する。

なお、図１７では、情報処理装置１００が、ステップＳ６１０の判定を１回行う例を示しているが、通信対象装置から送信された判定通知情報を受信した場合における情報処理装置１００の処理は、上記に限られない。例えば、情報処理装置１００は、所定の回数ステップＳ６１０の判定を繰り返し行っても顔領域ＦＡが特定されない場合に、顔領域ＦＡが特定されたと判定しなくてもよい。

また、ステップＳ６１０において顔領域ＦＡが特定されたと判定された場合には、情報処理装置１００は、図１１のステップＳ２０６と同様に、顔領域ＦＡに基づいて動作領域ＭＡを設定する（Ｓ６１２）。ここで、ステップＳ６１２の処理は、図１６のステップＳ５０６と同様に、上記（ｉｉ）の処理（動作領域設定処理）に該当する。

ステップＳ６１２において動作領域ＭＡが設定される（または再設定される）と、情報処理装置１００は、図１１のステップＳ２０８と同様に、設定した動作領域ＭＡ内における所定の動作を検出する（Ｓ６１４）。そして、情報処理装置１００は、設定した動作領域ＭＡ内において所定の動作が検出されたか否かを判定する（Ｓ６１６）。

ステップＳ６１６において設定した動作領域ＭＡ内において所定の動作が検出されたと判定されない場合には、情報処理装置１００は、協調して処理を行わない旨の応答を協調制御サーバ２００に対して行い（Ｓ６２４）、処理を終了する。

なお、図１７では、情報処理装置１００が、ステップＳ６１６の判定を１回行う例を示しているが、通信対象装置から送信された判定通知情報を受信した場合における情報処理装置１００の処理は、上記に限られない。例えば、情報処理装置１００は、所定の回数ステップＳ６１６の判定を繰り返し行っても所定の動作が検出されない場合に、所定の動作が検出されたと判定しなくてもよい。

ステップＳ６１６において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合には、情報処理装置１００は、判定通知情報を協調制御サーバ２００へ送信する（Ｓ６１８）。ここで、ステップＳ６１８において送信される判定通知情報は、ステップＳ６００において受信された判定通知情報に対する応答に該当する。

なお、図１７では、ステップＳ６１６において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合にステップＳ６１８の処理を行う例を示しているが、通信対象装置から送信された判定通知情報を受信した場合における情報処理装置１００の処理は、上記に限られない。例えば、情報処理装置１００は、ステップＳ６１６において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合に、図１６のステップＳ５１４と同様に、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われているか否かを判定してもよい。上記の場合には、例えば、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われていると判定されたときに、情報処理装置１００は、ステップＳ６１８の処理を行うこととなる。また、上記の場合、例えば、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われていると判定されないときには、情報処理装置１００は、協調して処理を行わない旨の応答を協調制御サーバ２００に対して行い（Ｓ６２４）、処理を終了する。

ステップＳ６１８において判定通知情報を送信すると、情報処理装置１００は、図１６のステップＳ５１８と同様に、通信対象装置との間で協調して処理を行うか否かを判定する（Ｓ６２０）。ここで、ステップＳ６１８、Ｓ６２０の処理は、上記（ｉｖ）の処理（協調判定処理）に該当する。

ステップＳ６２０において通信対象装置との間で協調して処理を行うと判定されない場合には、情報処理装置１００は、処理を終了する。

また、ステップＳ６２０において通信対象装置との間で協調して処理を行うと判定された場合には、情報処理装置１００は、図１６のステップＳ５２０と同様に、協調制御情報に基づく処理を選択的に行う（Ｓ６２２）。ここで、ステップＳ６２２の処理は、上記（ｖ）の処理（実行処理）に該当する。

情報処理装置１００は、例えば図１７に示す処理を行うことによって、第２の操作性向上アプローチに係る上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を実現することができる。したがって、情報処理装置１００は、例えば図１７に示す処理を行うことによって、通信システム１０００においてユーザの利便性や操作性の向上を図ることができる。

例えば図１６、図１７に示す処理を行うことによって、情報処理装置１００は、上述した本発明の実施形態に係る第２の操作性向上アプローチを実現する。なお、本発明の実施形態に係る情報処理装置１００における第２の操作性向上アプローチに係る処理は、図１６、図１７に示す処理に限られない。例えば、情報処理装置１００は、図１６に示すステップ５１０の処理において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合に、判定された所定の動作が通信対象装置と協調して処理を行うための動作であるかをさらに判定してもよい。上記の場合には、情報処理装置１００は、判定された所定の動作が通信対象装置と協調して処理を行うための動作であると判定されたときに、ステップＳ５１２以降の処理を行う。また、情報処理装置１００は、判定された所定の動作が通信対象装置と協調して処理を行うための動作であると判定されない場合には、例えば第１の操作性向上アプローチに係る、図１１のＳ１１２の処理または図１５のステップＳ３１２以降の処理を行う。

例えば上記のように、判定された所定の動作が通信対象装置と協調して処理を行うための動作であるかをさらに判定することによって、情報処理装置１００は、上述した第１の操作性向上アプローチに係る処理と、第２の操作性向上アプローチに係る処理とを選択的に切り替えて実行することが可能となる。したがって、情報処理装置１００は、ユーザ行った所定の動作に応じて、自装置単体で行う処理と、通信対象装置と協調して行う処理とを判別して処理を実行することができるので、ユーザの利便性や操作性をさらに向上させることができる。

（本発明の実施形態に係る情報処理装置）
次に、上述した本発明の実施形態に係る操作性向上アプローチに係る処理を行うことが可能な、本発明の実施形態に係る情報処理装置１００の構成の一例について説明する。

以下では、上記第２の操作性向上アプローチに係る処理を実現することが可能な情報処理装置１００を例に挙げて、本発明の実施形態に係る情報処理装置１００の構成を説明する。なお、本発明の実施形態に係る情報処理装置１００は、例えば、後述する協調判定部を備えず、後述する動作判定部における判定結果に基づいて後述する処理部が選択的に処理を行う構成をとることによって、上記第１の操作性向上アプローチに係る処理を実現することができる。また、本発明の実施形態に係る情報処理装置１００は、例えば、協調判定部を備えていても協調判定部を機能させない構成をとってもよい。上記の構成であっても、本発明の実施形態に係る情報処理装置１００は、上記第１の操作性向上アプローチに係る処理を実現することができる。

また、以下では、情報処理装置１００が、後述する通知処理部を備えることによって、上記（ＩＶ）の処理（通知処理）と同様の通知処理を行う構成を例に挙げて説明する。なお、本発明の実施形態に係る情報処理装置１００は、例えば、後述する通知処理部を備えない構成、または、通知処理部を備えていても通知処理部を機能させない構成であってもよい。また、本発明の実施形態に係る情報処理装置１００は、ユーザ操作などに基づいて後述する通知処理部を選択的に機能させることが可能な構成をとることによって、通知処理を選択的に行う構成をとることもできる。

［第１の実施形態］
図１８は、本発明の第１の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。図１８では、通信システム１０００が例えば図９に示したように協調制御情報を生成する協調制御サーバ２００を有しており、協調制御サーバ２００と、通信対象装置３００（他の情報処理装置１００）、…とが、ネットワーク４００で接続されている例を示している。ここで、上記「ネットワーク４００で接続されている」とは、一の装置と他の装置とがネットワーク４００を介して通信を行っていること、または通信可能な状態にあることをいう。また、ネットワーク４００としては、例えば、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。なお、情報処理装置１００、協調制御サーバ２００、および通信対象装置３００とは、ネットワーク４００を介して通信を行うことに限られず、例えば、直接的に通信を行ってもよい。

また、図１８では、表示画面への画像（静止画像または動画像）の表示と、表示画面の表示方向を撮像することによる撮像画像の生成とを行う表示システム５００を併せて示している。また、図１８では、表示システム５００が、表示を行う表示装置６００と、撮像を行う撮像装置７００とからなる例を示しているが、本発明の実施形態に係る表示システム５００の構成は、上記に限られない。例えば、表示システム５００は、表示装置６００と撮像装置７００とが一体となった装置（例えば撮像機能を有する表示装置）であってもよい。

ここで、表示システム５００が表示画面の表示方向を撮像した撮像画像を生成することによって、当該表示画面を見ているユーザを撮像した撮像画像が得られる。したがって、情報処理装置１００が表示システム５００が生成した撮像画像を処理することによって、情報処理装置１００は、例えば、顔領域ＦＡの特定や動作領域ＭＡの設定、ユーザの所定の動作の検出、顔情報の抽出などの処理をより容易に行うことができる。

図１８を参照すると、情報処理装置１００は、記憶部１０２と、通信部１０４と、入力部１０６と、検出部１０８と、動作領域設定部１１０と、動作判定部１１２と、通知処理部１１４と、協調判定部１１６と、処理部１１８とを備える。

また、情報処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）などを備えてもよい。情報処理装置１００は、例えば、データの伝送路としてのバス（bus）により各構成要素間を接続する。ここで、制御部（図示せず）は、情報処理装置１００全体を制御する役目を果たす。なお、情報処理装置１００では、例えば処理部１１８が制御部（図示せず）としての役目を果たしてもよい。また、ＲＯＭ（図示せず）は、例えば制御部（図示せず）が使用するプログラムや演算パラメータなどの処理用データを記憶する。ＲＡＭ（図示せず）は、例えば制御部（図示せず）などにより実行されるプログラムやデータなどを一時的に記憶する。

〔情報処理装置１００のハードウェア構成例〕
図１９は、本発明の実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。図１９を参照すると、情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。

ＭＰＵ１５０は、ＭＰＵ（Micro Processing Unit）や、画像処理などの各種機能を実現するための複数の回路が集積された集積回路などで構成され、情報処理装置１００全体を制御する制御部（図示せず）として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、検出部１０８、動作領域設定部１１０、動作判定部１１２、通知処理部１１４、協調判定部１１６、および処理部１１８としての役目を果たす。また、ＭＰＵ１５０は、後述する学習部としての役目を果たしてもよい。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部１０２として機能し、例えば、基準検出情報や個別検出情報、処理情報などの様々なデータ（またはデータベース）や、アプリケーションなどを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリ（nonvolatile memory）が挙げられる。また、情報処理装置１００は、情報処理装置１００から着脱可能な記録媒体１５６を備えることもできる。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。また、入出力インタフェース１５８は、入力部１０６としての役目を果たすこともできる。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（後述する）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイス（例えば、表示装置６００などの外部表示デバイス）、撮像デバイス（例えば、撮像装置７００など）などの外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワーク４００を介して（あるいは、直接的に）、例えば協調制御サーバ２００や、通信対象装置３００、表示装置６００、サーバ（図示せず）などの外部装置と無線／有線で通信を行うための通信部１０４として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。

情報処理装置１００は、例えば図１９に示す構成によって、本発明の実施形態に係る操作性向上アプローチに係る処理を行う。なお、本発明の実施形態に係る情報処理装置１００のハードウェア構成は、図１９に示す構成に限られない。

例えば、情報処理装置１００は、音声出力部（後述する）の役目を果たす、ＤＳＰ（Digital Signal Processor）と、増幅器（アンプ）やスピーカなどから構成される音声出力デバイスとを備えてもよい。上記の場合には、情報処理装置１００は、ユーザの所定の動作に対応する処理として、例えば音声のミュートや音量の調整を行うことが可能となる。

また、情報処理装置１００は、例えば、撮像部（後述する）の役目を果たす、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスを備えていてもよい。上記の場合には、情報処理装置１００は、自装置が生成した撮像画像を処理することができる。ここで、レンズ／撮像素子は、例えば、光学系のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、補間処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理、およびコーディング処理などが挙げられる。

また、情報処理装置１００は、例えば、図１９に示す操作デバイス１６０や表示デバイス１６２を備えない構成であってもよい。

再度図１８を参照して、本発明の実施形態に係る情報処理装置１００の構成について説明する。記憶部１０２は、情報処理装置１００が備える記憶手段である。ここで、記憶部１０２としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。

また、記憶部１０２は、例えば、基準検出情報や個別検出情報、処理情報などの様々なデータ（またはデータベース）や、アプリケーションなどを記憶する。図１８では、基準検出情報１７０と、処理情報１７２と、認識情報１７４とが記憶部１０２に記憶されている例を示している。ここで、本発明の実施形態に係る認識情報とは、撮像画像から検出されたユーザに関する情報である。認識情報としては、例えば、撮像画像に含まれるユーザ数や、ユーザの特徴を表す情報、推定されたユーザの感情を示す情報、動体の有無など、情報処理装置１００が撮像画像を解析して得たデータが挙げられる。

通信部１０４は、情報処理装置１００が備える通信手段であり、ネットワーク４００を介して（あるいは、直接的に）、協調制御サーバ２００や、通信対象装置３００、表示装置６００、サーバ（図示せず）などの外部装置と無線／有線で通信を行う。また、通信部１０４は、例えば、制御部（図示せず）や処理部１１８により通信が制御される。ここで、通信部１０４としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０４は、上記に限られない。例えば、通信部１０４は、ネットワーク４００を介して外部装置と通信可能な任意の構成をとることができる。

入力部１０６は、撮像装置７００が撮像により生成した撮像画像を受信する。そして、入力部１０６は、受信した（入力された）撮像画像を検出部１０８へ伝達する。ここで、入力部１０６としては、例えば、ＵＳＢ端子や、ＤＶＩ端子、ＨＤＭＩ端子、各種処理回路などが挙げられるが、入力部１０６は、上記に限られない。例えば、入力部１０６は、外部装置から撮像画像を有線または無線で受信することが可能な任意の構成をとることができる。

なお、入力部１０６は、撮像画像を受信することに限られず、例えば表示装置６００が備える距離センサなどが生成したデータ（例えば、表示画面とユーザとの距離を示す距離データなど）を受信してもよい。上記データが受信された場合には、入力部１０６は、例えば当該データを処理部１１８へ伝達する。上記の場合には、情報処理装置１００は、後述する処理部１１８において、伝達される距離データなどにさらに基づいて、所定の動作に対応する処理を行うことが可能となる。

検出部１０８は、上記（ｉ）の処理（顔領域検出処理）を主導的に行う役目を果たす。より具体的には、検出部１０８は、例えば、撮像画像からユーザの顔を含む顔領域ＦＡを検出し、検出した（特定した）顔領域ＦＡを示す情報と撮像画像とを動作領域設定部１１０へ伝達する。

また、検出部１０８は、動作領域設定部１１０により設定された動作領域ＭＡにおいて動体をさらに検出し、動体が検出されたか否かを動作判定部１１２へ伝達してもよい。上記の場合によって、動作判定部１１２が動体が検出された場合に選択的に後述する処理を行うことが可能となる。よって、情報処理装置１００では、情報処理装置１００における計算負荷の低減と、ユーザの所定の動作の未検出および誤検出の防止とが実現される。

動作領域設定部１１０は、上記（ｉｉ）の処理（動作領域設定処理）を主導的に行う役目を果たす。より具体的には、動作領域設定部１１０は、例えば、検出部１０８において顔領域ＦＡが検出された場合に、顔領域ＦＡに基づいて、動作領域ＭＡを顔領域ＦＡの近傍に設定する。そして、動作領域設定部１１０は、設定した動作領域ＭＡの情報を、例えば検出部１０８および動作判定部１１２へ伝達する。また、動作領域設定部１１０は、検出部１０８から伝達される撮像画像を動作判定部１１２へ伝達する。なお、入力部１０６や検出部１０８が撮像画像を動作判定部１１２へ伝達する構成である場合には、動作領域設定部１１０は、撮像画像を動作判定部１１２へ伝達しなくてもよい。

また、動作領域設定部１１０は、顔領域ＦＡからユーザの顔の特徴を示す顔情報を抽出し、顔領域ＦＡに基づいて設定した動作領域ＭＡを、顔情報に基づいて再設定する（すなわち、動作領域ＭＡの調整を行う）こともできる。

動作判定部１１２は、上記（ｉｉｉ）の処理（動作判定処理）を主導的に行う役目を果たす。より具体的には、動作判定部１１２は、撮像画像と基準検出情報１７０とに基づいて、動作領域設定部１１０が設定した動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定する。ここで、動作領域設定部１１０は、例えば、動作領域ＭＡにおける周期成分を検出し、動作領域ＭＡにおける周期成分の検出結果と基準検出情報１７０における周期成分の情報とに基づいて、所定の動作が行われたことを判定するが、動作領域設定部１１０における処理は、上記に限られない。

そして、動作判定部１１２は、動作領域ＭＡ内において所定の動作が検出されたと判定した場合には、通知処理部１１４へ判定結果を伝達する。ここで、動作判定部１１２は、例えば、動作領域ＭＡ内において所定の動作が検出されたと判定した場合に、所定の動作が検出されたことを示す判定結果を選択的に通知処理部１１４へ伝達するが、動作判定部１１２における処理は、上記に限られない。例えば、動作判定部１１２は、判定に係る処理を行うごとに、判定の結果によらず判定結果を通知処理部１１４へ伝達してもよい。上記の場合には、伝達された判定結果が動作領域ＭＡ内において所定の動作が検出されたことを示すときに、通知処理部１１４が選択的に後述する処理を行うこととなる。

また、動作判定部１１２は、動作領域ＭＡ内において所定の動作が検出されたと判定した場合には、通知処理部１１４への判定結果の伝達と同様に、協調判定部１１６へ判定結果を伝達する。なお、動作判定部１１２における協調判定部１１６への判定結果の伝達に係る処理は、上記に限られない。例えば、動作判定部１１２は、動作領域設定部１１０が設定した動作領域ＭＡ内において所定の動作が検出されたと判定した場合には、所定の動作が行われたと判定してから所定の期間、継続的に所定の動作が行われているか否かをさらに判定してもよい。上記の場合には、動作判定部１１２は、例えば、所定の期間継続的に所定の動作が行われたと判定したときに、所定の期間継続的に所定の動作が行われたことを示す判定結果を協調判定部１１６へ伝達することとなる。

上記のように、動作判定部１１２が所定の期間継続的に所定の動作が行われたことを示す判定結果を協調判定部１１６へ伝達することによって、協調判定部１１６は、協調判定部１１６が行う後述する処理を、ユーザが期間継続的に所定の動作を行った場合に選択的に行うことこととなる。つまり、例えば、通知処理部１１４が行う通知処理による通知によって、ユーザが自己の動作をやめた場合には、協調判定部１１６は処理を行わない。よって、例えば、ユーザが所定の動作を行って情報処理装置１００により認識された後に、ユーザが情報処理装置１００における当該動作に対応する処理の実行のキャンセルを所望する場合や、仮にユーザが行った動作が情報処理装置１００によって誤検出されてしまった場合であっても、ユーザは、自己の動作によって、情報処理装置１００における当該動作に対応する処理の実行を制御することができる。

なお、図１８では示していないが、記憶部１０２に個別検出情報が記憶されている場合、または、個別検出情報を記憶するサーバなどの外部装置と連携して処理を行う場合には、動作判定部１１２は、基準検出情報１７０または個別検出情報を選択的に用いて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定することもできる。

また、動作判定部１１２は、動作領域ＭＡにおける周期成分を検出して所定の動作が行われたことを判定する場合、動作領域ＭＡ外における周期成分を検出しなくてもよい。上記によって、情報処理装置１００は、本発明の実施形態に係る操作性向上アプローチに係る処理の負荷（計算負荷）をより低減することができる。

さらに、動作判定部１１２は、動作領域ＭＡ内において所定の動作が検出されたと判定した場合に、例えば基準検出情報１７０または個別検出情報に基づいて、判定された所定の動作が通信対象装置３００と協調して処理を行うための動作であるかをさらに判定してもよい。また、動作判定部１１２は、例えば、所定の期間継続的に所定の動作が行われているか否かを判定する場合には、当該判定において所定の期間継続的に所定の動作が行われていると判定されたときに、協調に係る上記判定を行う。

ここで、動作判定部１１２は、上記判定により所定の動作が通信対象装置３００と協調して処理を行うための動作であると判定した場合には、協調判定部１１６へ判定結果を伝達する。上記の場合には、情報処理装置１００は、上述した第２の操作性向上アプローチに係る処理を行うこととなる。

また、動作判定部１１２は、上記判定により所定の動作が通信対象装置３００と協調して処理を行うための動作であると判定しない場合には、所定の動作が行われたことを示す判定結果を処理部１１８へ伝達する。上記の場合には、協調判定部１１６は、協調判定部１１６が行う後述する処理を行わず、また、処理部１１８は、第１の操作性向上アプローチに係る上記（４）の処理（実行処理）または上記（Ｖ）の処理（実行処理）と同様に、動作判定部１１２において判定された所定の動作に対応する処理を行うこととなる。つまり、上記の場合には、情報処理装置１００は、上述した第１の操作性向上アプローチに係る処理を行うこととなる。

動作判定部１１２が、例えば上記のように、判定された所定の動作が通信対象装置３００と協調して処理を行うための動作であるかをさらに判定することによって、情報処理装置１００は、上述した第１の操作性向上アプローチに係る処理と、第２の操作性向上アプローチに係る処理とを選択的に切り替えて実行することが可能となる。よって、動作判定部１１２が、例えば上記のように、判定された所定の動作が通信対象装置３００と協調して処理を行うための動作であるかをさらに判定することによって、ユーザの利便性や操作性をさらに向上させることができる。

通知処理部１１４は、第１の操作性向上アプローチに係る上記（ＩＶ）の処理（通知処理）と同様の通知処理を主導的に行う役目を果たす。より具体的には、動作判定部１１２において所定の動作が行われたと判定された場合に、所定の動作が行われたと判定したことをユーザに通知する通知処理を行う。

ここで、通知処理部１１４は、通知処理として、例えば、所定の動作が行われたと判定したことを外部装置に通知させるための処理実行命令を、通信部１０４を介して外部装置へ送信する。上記によって、情報処理装置１００は、外部装置である表示装置６００などに、例えば図４〜図８に示すような視覚的な通知や、聴覚的な通知を行わせることができる。

なお、通知処理部１１４における通知処理は、所定の動作が行われたと判定したことを外部装置に通知させるための処理実行命令を、通信部１０４を介して外部装置へ送信することに限られない。例えば、情報処理装置１００が表示部（後述する）を備える場合には、当該表示部を用いて視覚的に通知を行うことができ、また、情報処理装置１００が音声出力部（後述する）を備える場合には、当該音声出力部を用いて聴覚的に通知を行うこともできる。上記の形態については、後述する第３の実施形態において説明する。

協調判定部１１６は、（ｉｖ）の処理（協調判定処理）を主導的に行う役目を果たす。より具体的には、協調判定部１１６は、動作判定部１１２において設定した動作領域ＭＡにおいてユーザによる所定の動作が行われたと判定された場合には、協調制御情報に基づいて、通信対象装置３００と協調して処理を行うか否かを判定する。そして、協調判定部１１６は、例えば、通信対象装置３００と協調して処理を行うと判定した場合に、判定結果と制御情報とを処理部１１８へ伝達する。

ここで、協調判定部１１６は、動作判定部１１２において所定の動作が行われたと判定されたとき、判定通知情報を通信部１０４を介して通信対象装置３００へ送信する。上記のように判定通知情報を通信対象装置３００へ送信することによって、情報処理装置１００は、ユーザの所定の動作が行われたと判定したことを、通信対象装置３００に伝達することが可能となる。上記によって、通信対象装置３００（他の情報処理装置１００）は、例えば図１０のＨに示すように、通信対象装置３００のユーザに対して、情報処理装置１００（通信対象装置３００からみると通信対象装置に該当）のユーザが所定の動作を行ったことを通知することができる。また、上記によって、通信対象装置３００は、図９のステップＳ１０６に示すように、判定通知情報または協調して処置を行わない旨の応答を、協調制御サーバ２００へ送信することとなる。

また、例えば通信システム１０００において図９に示す処理が行われることにより協調制御サーバ２００において協調制御情報が生成される場合、協調判定部１１６は、動作判定部１１２において所定の動作が行われたと判定されたとき、判定通知情報を協調制御サーバ２００へ送信する。また、協調判定部１１６は、判定通知情報を送信する前に、通信対象装置３００から送信された判定通知情報を通信部１０４が受信した場合には、動作判定部１１２における判定結果に応じた応答を協調制御サーバ２００へ送信する。そして、協調判定部１１６は、受信部１０４が受信した、協調制御サーバ３００から送信された協調制御情報に基づいて、上記判定を行う。

なお、協調判定部１１６における処理は、協調制御サーバ３００が生成した協調制御情報に基づいて通信対象装置３００と協調して処理を行うか否かを判定することに限られない。例えば、協調判定部１１６は、図９のステップＳ１０８の処理（協調制御情報生成処理）を行う機能を有し、協調制御情報を生成してもよい。上記の場合には、協調判定部１１６は、生成した協調制御情報を通信対象装置３００へ送信し、また、生成した当該協調制御情報に基づいて、通信対象装置３００と協調して処理を行うか否かを判定する。つまり、上記の場合には、協調判定部１１６は、協調制御サーバ２００としての役目を果たすこととなる。また、協調判定部１１６は、例えば、通信対象装置３００が協調制御サーバ２００としての役目を果たす場合において、通信対象装置３００が生成した協調制御情報が受信されたときには、通信部１０４が受信した当該協調制御情報に基づいて、上記判定を行う。

また、協調判定部１１６は、通信部１０４が通信対象装置３００から送信された判定通知情報を受信した場合には、通信対象装置３００において所定の動作が行われたと判定したことをユーザに通知する通知処理を行う。ここで、協調判定部１１６は、通知処理として、例えば図１０のＨに示すように、表示画面に表示される画像を変化させることによって視覚的にユーザに通知を行うための処理を行うが、協調判定部１１６における処理は、上記に限られない。例えば、協調判定部１１６は、通知処理部１１４における通知処理と同様に、自装置が備える音声出力デバイス（例えば、後述する音声出力部）や外部音声出力デバイスから出力させるなど、聴覚的にユーザに通知を行うための処理を、通知処理として行うこともできる。また、協調判定部１１６は、例えば通知処理部１１４に通知処理実行命令を伝達することによって、視覚的な通知や聴覚的な通知を行うための処理を、通知処理部１１４に行わせてもよい。

処理部１１８は、上記（ｖ）の処理（実行処理）を主導的に行う役目を果たし、協調判定部１１６における判定結果に基づいて、動作判定部１１２において判定された所定の動作に対応する処理として、協調制御情報に基づく処理を選択的に行う。

より具体的には、処理部１１８は、協調判定部１１６において、通信対象装置３００と協調して処理を行うと判定されると、動作判定部１１２において判定された所定の動作に対応する処理として、協調制御情報に基づく処理を行う。また、処理部１１８は、協調判定部１１６において、通信対象装置３００と協調して処理を行うと判定されない場合には、動作判定部１１２において判定された所定の動作に対応する処理を行わない。よって、処理部１１８が、協調判定部１１６における判定結果に基づいて協調制御情報に基づく処理を選択的に行うことによって、上述したような、通信を行っている情報処理装置のうちの一の情報処理装置においてユーザの動作に対応する処理が行われることによる望ましくない事態の発生が防止される。なお、処理部１１８は、動作判定部１１２において判定された所定の動作に対応する処理を行わない場合には、例えば、ユーザに対して視覚的や聴覚的に行わない旨を通知するための通知処理を行ってもよい。

また、処理部１１８は、所定の動作が行われたことを示す判定結果が動作判定部１１２から伝達された場合には、例えば、処理情報１７２に基づいて、動作判定部１１２において判定された所定の動作に対応する処理を行う（上述した第１の操作性向上アプローチに係る処理）。ここで、処理情報１７２には、例えば所定の動作と実行する処理とが対応付けて記録されている。よって、所定の動作の意味に関連付けられる処理が記録された処理情報１７２を用いることによって、情報処理装置１００は、検出した動作の意味に関連付けられる処理（アフォーダンスが考慮された処理）を行うことができる。

また、処理部１１８は、所定の動作に対応する処理として、所定の動作に対応する処理を外部装置に行わせるための処理実行命令を、通信部１０４を介して送信することもできる。上記によって、情報処理装置１００は、外部装置である表示装置６００などに、検出した所定の動作に対応する処理を行わせることが可能となる。

また、処理部１１８は、例えば、認識情報を記憶部１０２に記録する、または、記憶部１０２に記憶された認識情報１７４を通信部１０４を介してサーバ（図示せず）などの外部装置へ送信するなどの処理を行ってもよい。

第１の実施形態に係る情報処理装置１００は、図１８に示す構成によって、第２の操作性向上アプローチに係る上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を実現することができる。したがって、情報処理装置１００は、例えば図１８に示す構成によって、通信システム１０００におけるユーザの利便性の低下を防止し、ユーザの操作性の向上を図ることができる。

〔第１の実施形態に係る情報処理装置１００の変形例〕
なお、本発明の第１の実施形態に係る情報処理装置１００の構成は、図１８に示す構成に限られない。例えば、第１の実施形態に係る情報処理装置１００は、音声出力デバイスなど、ユーザの所定の動作の意味に関連付けられる処理を実現するためのデバイスや通信対象装置３００との間における協調した処理に係るデバイスなどをさらに備えていてもよい。また、第１の実施形態に係る情報処理装置１００は、記憶部１０２を備えず、基準検出情報１７０や処理情報１７２などの処理に用いる情報を、サーバなどの外部装置から適宜取得して処理を行うこともできる。

［第２の実施形態］
図２０は、本発明の第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。ここで、図２０では、図１８と同様に、協調制御サーバ２００、通信対象装置３００、…、および表示システム５００を併せて示している。

図２０に示す第２の実施形態に係る情報処理装置１００は、図１８に示す第１の実施形態に係る情報処理装置１００と基本的に同様の構成を有するが、図１８に示す第１の実施形態に係る情報処理装置１００と比較すると、第２の実施形態に係る情報処理装置１００は、学習部１２０をさらに備えている。

学習部１２０は、個別検出情報を管理する役目を果たす。学習部１２０は、例えば、動作判定部１１２において所定の動作が行われたと判定された場合には、判定された所定の動作および動作領域設定部１１０により抽出された顔情報に対応する個別検出情報を更新する。より具体的には、学習部１２０は、例えば、動作判定部１１２において検出された周期成分の情報を、判定された所定の動作および動作領域設定部１１０により抽出された顔情報に対応する個別検出情報における周期成分の情報とする。

なお、学習部１２０は、動作判定部１１２において所定の動作が行われたと判定された場合に個別検出情報の更新を行うことに限られず、例えば、動作判定部１１２において所定の期間継続的に所定の動作が行われたと判定された場合に、個別検出情報の更新を行ってもよい。また、検出部１０８が動作領域ＭＡにおける周期成分を検出する機能を有する場合には、学習部１２０は、検出部１０８から伝達される周期成分の情報を、個別検出情報における周期成分の情報としてもよい。

ここで、学習部１２０は、動作判定部１１２において所定の動作が行われたと判定された場合（または、所定の期間継続的に所定の動作が行われたと判定された場合）に自動的に個別検出情報の更新を行うことができるが、学習部１２０における処理は、上記に限られない。例えば、学習部１２０は、操作部（図示せず）から伝達されるユーザ操作に応じた操作信号、またはリモート・コントローラなどの外部操作デバイスから送信された外部操作信号に基づいて、選択的に個別検出情報の更新を行うこともできる。

なお、学習部１２０における個別検出情報の管理は、上記個別検出情報における周期成分の情報を更新することに限られない。例えば、学習部１２０は、動作領域ＭＡの領域サイズの調整や位置の調整に係る情報や、ユーザの所定の動作を判定する期間の情報など、ユーザ固有の情報を、個別検出情報として管理することもできる。また、学習部１２０は、例えば学習用のユーザインタフェースを介したユーザ操作に応じて操作部（図示せず）から伝達される操作信号などに基づいて、動作判定部１１２における判定結果によらず、個別検出情報の生成または更新を行うこともできる。

第２の実施形態に係る情報処理装置１００は、図１８に示す第１の実施形態に係る情報処理装置１００と基本的に同様の構成を有する。よって、第２の実施形態に係る情報処理装置１００は、図２０に示す構成によって、第１の実施形態に係る情報処理装置１００と同様に、第２の操作性向上アプローチに係る上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を実現することができる。したがって、第２の実施形態に係る情報処理装置１００は、例えば図２０に示す構成によって、通信システム１０００におけるユーザの利便性の低下を防止し、ユーザの操作性の向上を図ることができる。

また、第２の実施形態に係る情報処理装置１００は、学習部１２０を備えることによって、例えば、年齢や性別、身体特徴などのようなユーザ固有の条件に応じた情報を、個別検出情報として管理することが可能となる。ここで、図１３、図１４を参照して説明したように、個別検出情報を用いて所定の動作が行われたことを検出することによって、情報処理装置１００は、個別検出情報に含まれる顔情報に対応する特定のユーザの動作の誤検出や過検出を防止する。したがって、学習部１２０が個別検出情報を管理することによって、情報処理装置１００は、個別検出情報に対応する特定のユーザの動作を判定する場合における判定の精度をより高めることができる。

〔第２の実施形態に係る情報処理装置１００の変形例〕
なお、本発明の第２の実施形態に係る情報処理装置１００の構成は、図２０に示す構成に限られない。例えば、第２の実施形態に係る情報処理装置１００は、第１の実施形態に係る情報処理装置１００の変形例と同様に、ユーザの所定の動作の意味に関連付けられる処理を実現するためのデバイスや通信対象装置３００との間における協調した処理に係るデバイスなどをさらに備えていてもよい。また、第２の実施形態に係る情報処理装置１００は、第１の実施形態に係る情報処理装置１００の変形例と同様に、基準検出情報１７０や処理情報１７２などの処理に用いる情報をサーバなどの外部装置から適宜取得して処理を行う構成であってもよい。

［第３の実施形態］
上記では、第１の実施形態に係る情報処理装置１００および第２の実施形態に係る情報処理装置１００として、表示システム５００の撮像装置７００（すなわち、外部装置）が生成した撮像画像を処理する構成を示した。しかしながら、本発明の実施形態に係る情報処理装置１００の構成は、外部装置が生成した撮像画像を処理する構成に限られない。

図２１は、本発明の第３の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。

図２１に示す第３の実施形態に係る情報処理装置１００は、図１８に示す第１の実施形態に係る情報処理装置１００と基本的に同様の構成を有するが、図１８に示す第１の実施形態に係る情報処理装置１００と比較すると、第３の実施形態に係る情報処理装置１００は、撮像部１２２と、表示部１２４と、音声出力部１２６とをさらに備えている。

撮像部１２２は、情報処理装置１００が備える撮像手段であり、表示部１２４が表示する表示画面の表示方向を撮像して、撮像画像を生成する。そして、撮像部１２２は、撮像画像を検出部１０８へ伝達する。撮像部１２２が上記のように表示画面の表示方向を撮像した撮像画像を生成することによって、当該表示画面を見ているユーザを撮像した撮像画像が得られる。したがって、情報処理装置１００は、例えば、顔領域ＦＡの特定や動作領域ＭＡの設定、ユーザの所定の動作の検出、顔情報の抽出など、上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）をより容易に行うことができる。

また、撮像部１２２は、例えば、レンズ／撮像素子と信号処理回路とから構成される、１または２以上の撮像デバイスで構成されるが、撮像部１２２の構成は、上記に限られない。

表示部１２４は、情報処理装置１００が備える表示手段であり、表示画面に様々な情報や画像を表示する。表示部１２４の表示画面に表示される画面としては、例えば、コンテンツを表示するコンテンツ表示画面や、撮像部１２２が生成した撮像画像が表示される画面（コンテンツと重畳して表示されてもよい。）、図１０に示すようにビデオ通話に係る画面、所望する動作を情報処理装置１００に対して行わせるための操作画面などが挙げられる。

音声出力部１２６は、情報処理装置１００が備える音声出力手段であり、例えばコンテンツが示す音声や、情報処理装置１００におけるシステム音声など、様々な音声を出力する。情報処理装置１００が音声出力部１２６を備えることによって、処理部１１８が行うユーザの所定の動作に対応する処理として、例えば音声出力部１２６から出力される音声のミュートや音量の調整などを行うことが可能となる。

また、音声出力部１２６としては、例えば、ＤＳＰ、および増幅器（アンプ）やスピーカなどから構成される音声出力デバイスが挙げられるが、音声出力部１２６の構成は、上記に限られない。

第３の実施形態に係る情報処理装置１００は、図１８に示す第１の実施形態に係る情報処理装置１００と基本的に同様の構成を有する。よって、第３の実施形態に係る情報処理装置１００は、図２１に示す構成によって、第１の実施形態に係る情報処理装置１００と同様に、第２の操作性向上アプローチに係る上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を実現することができる。したがって、第３の実施形態に係る情報処理装置１００は、例えば図２１に示す構成によって、通信システム１０００におけるユーザの利便性の低下を防止し、ユーザの操作性の向上を図ることができる。

〔第３の実施形態に係る情報処理装置１００の変形例〕
なお、本発明の第３の実施形態に係る情報処理装置１００の構成は、図２１に示す構成に限られない。例えば、第３の実施形態に係る情報処理装置１００は、第２の実施形態に係る情報処理装置１００と同様に、学習部１２０をさらに備えていてもよい。また、第３の実施形態に係る情報処理装置１００は、例えば音声出力部１２６を備えない構成であってもよく、また、ユーザの所定の動作の意味に関連付けられる処理を実現するためのデバイスや通信対象装置３００との間における協調した処理に係るデバイスなどをさらに備えていてもよい。さらに、第３の実施形態に係る情報処理装置１００は、第１の実施形態に係る情報処理装置１００の変形例と同様に、基準検出情報１７０や処理情報１７２などの処理に用いる情報をサーバなどの外部装置から適宜取得して処理を行う構成であってもよい。

以上のように、本発明の実施形態に係る情報処理装置１００は、例えば、第１の操作性アプローチに係る上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）、または、第１の操作性アプローチに係る上記（Ｉ）の処理（顔領域検出処理）〜（Ｖ）の処理（実行処理）、または、第２の操作性アプローチに係る上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を行うことによって、ユーザにより所定の動作が行われたことを判定し、判定された当該所定の動作に対応する処理を行う。ここで、情報処理装置１００は、撮像画像に基づいて特定された顔領域ＦＡの近傍に動作領域ＭＡを設定し、設定された動作領域ＭＡにおいてユーザの所定の動作を検出（判定）して、検出された所定の動作に対応する処理を行う。上記のように動作領域ＭＡを設定することによって、情報処理装置１００は、従来の情報処理装置のように撮像画像全体に対して画像処理を行うのではなく、撮像画像の中の一部の領域に対して画像処理を行うことによりユーザの動作を検出することができる。よって、情報処理装置１００は、従来の情報処理装置よりもユーザの所定の動作の検出に係る計算負荷をより低減させることができるので、情報処理装置１００では、従来の情報処理装置で起こりうる、例えば、ユーザを過度に待たせてしまう、またはユーザインタフェース以外の他の機能が実現されないなどの望ましくない事態の発生が防止される。したがって、情報処理装置１００は、従来の技術を用いる場合に生じうるユーザの利便性の低下を防止することができ、また、ユーザの操作性の向上を図ることができる。

また、情報処理装置１００は、顔領域ＦＡの近傍に設定した動作領域ＭＡにおいて検出された所定の動作に対応する処理を行うので、例えば、顔領域ＦＡに対応するユーザ以外の人物や物の動作による所定の動作の誤検出を、撮像画像全体を処理対象とする従来の情報処理装置よりもより低減することが可能となる。したがって、情報処理装置１００は、従来の情報処理装置よりも、ユーザの操作性の向上をさらに図ることができる。

また、情報処理装置１００は、顔領域ＦＡの近傍に設定した動作領域ＭＡにおいて検出された所定の動作に対応する処理として、当該所定の動作の意味に関連付けられる処理を行う。上記のように、情報処理装置１００が、検出した動作の意味に関連付けられる処理（アフォーダンスが考慮された処理）を行うことによって、ユーザが、自己の動作と情報処理装置１００が行う処理（または、情報処理装置１００が外部装置に行わせる処理）との間に違和感を覚える可能性をより低減させることができる。したがって、情報処理装置１００は、ユーザの操作性の向上をさらに図ることができる。

また、情報処理装置１００は、所定の動作が行われたと判定した場合（所定の動作を検出した場合）には、情報処理装置１００において所定の動作が行われたと判定されたことをユーザに通知する通知処理を、さらに行うことができる。また、通知処理を行う場合には、情報処理装置１００は、所定の動作が行われたと判定されてから所定の期間、継続的に所定の動作が行われたと判定された場合に、判定された所定の動作に対応する処理を行う。ここで、情報処理装置１００が通知処理を行うことによって、ユーザが行った動作が情報処理１００により認識されたことをユーザに把握させることが可能となり、また、ユーザは、自己の動作をやめることによって情報処理装置１００における当該動作に対応する処理の実行をキャンセルすることができる。よって、例えば、ユーザが所定の動作を行って情報処理装置１００により認識された後に、ユーザが情報処理装置１００における当該動作に対応する処理の実行のキャンセルを所望する場合や、仮にユーザが行った動作が情報処理装置１００によって誤検出されてしまった場合であっても、ユーザは、自己の動作によって、情報処理装置１００における当該動作に対応する処理の実行を制御することができる。

したがって、情報処理装置１００は、通知処理を行った上で、所定の期間継続的に所定の動作が行われたと判定された場合に判定された所定の動作に対応する処理を選択的に行うことによって、誤検出によるユーザの意図しない処理が実行されることを防止し、ユーザの利便性や操作性をさらに向上させることができる。

さらに、第２の操作性アプローチに係る処理を行う場合、情報処理装置１００は、通信対象装置と協調して処理を行うと判定しないときには、たとえユーザにより所定の動作が行われたと判定したとしても、当該判定された所定の動作に対応する処理を行わない。よって、第２の操作性アプローチに係る処理が行われることによって、上述したような、通信を行っている情報処理装置のうちの一の情報処理装置においてユーザの動作に対応する処理が行われることによる望ましくない事態の発生が防止される。したがって、情報処理装置１００は、第２の操作性アプローチに係る処理を行うことによって、通信システム１０００におけるユーザの利便性の低下を防止し、ユーザの操作性の向上を図ることができる。

以上、本発明の実施形態として情報処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣやサーバなどのコンピュータ、テレビ受像機やサイネージ装置などの表示装置、携帯電話などの携帯型通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、様々な機器に適用することができる。

また、本発明の実施形態として協調制御サーバ２００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣやサーバなどのコンピュータなど、様々な機器に適用することができる。

また、本発明の実施形態として表示システム５００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣなどのコンピュータ、テレビ受像機やサイネージ装置などの表示装置、携帯電話などの携帯型通信装置など、表示と撮像とが可能な様々な機器に適用することができる。なお、本発明の実施形態に係る表示システム５００は、表示を行う機器、撮像を行う機器との組合せであってもよい。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る情報処理装置として機能させるためのプログラム（例えば、第１の操作性アプローチに係る上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を実現するプログラムや、第１の操作性アプローチに係る上記（Ｉ）の処理（顔領域検出処理）〜（Ｖ）の処理（実行処理）、第２の操作性アプローチに係る上記（ｉ）の処理（顔領域検出処理）〜（ｖ）の処理（実行処理）を実現するプログラム）によって、ユーザの操作性の向上を図ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、図１８、図２０、図２１では、本発明の第１〜第３の実施形態に係る情報処理装置１００（変形例も含む）が、検出部１０８、動作領域設定部１１０、動作判定部１１２、通知処理部１１４、協調判定部１１６、および処理部１１８を別体に備える例を示したが、本発明の実施形態に係る情報処理装置の構成は、上記に限られない。例えば、本発明の実施形態に係る情報処理装置は、検出部１０８、動作領域設定部１１０、動作判定部１１２、通知処理部１１４、協調判定部１１６、および処理部１１８を１つの構成要素（例えば、１つの処理回路で実現する）とすることもできる。また、情報処理装置は、例えば、検出部１０８および動作領域設定部１１０を１つの構成要素（例えば１つの画像処理回路で実現される画像処理部とする）とするなど、任意の構成要素を統合することもできる。さらに、情報処理装置は、例えば、認識情報を記録する処理を行う情報記録部（図示せず）を別途備えていてもよい。

また、上記では、コンピュータを、本発明の実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記憶媒体も併せて提供することができる。

上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。

１００、１００Ａ、１００Ｂ 情報処理装置
１０２ 記憶部
１０４ 通信部
１０６ 入力部
１０８ 検出部
１１０ 動作領域設定部
１１２ 動作判定部
１１４ 通知処理部
１１６ 協調判定部
１１８ 処理部
１２０ 学習部
１２２ 撮像部
１２４ 表示部
１２６ 音声出力部
５００ 表示システム
６００ 表示装置
７００ 撮像装置

Claims (20)

1. １または２以上の通信対象装置と通信を行う通信部と、
   撮像により得られた動画像である撮像画像からユーザの顔を含む顔領域を検出する検出部と、
   前記検出部において前記顔領域が検出された場合に、前記顔領域に基づいて、前記ユーザの動作を検出するための前記撮像画像における動作領域を、前記顔領域の近傍に設定する動作領域設定部と、
   前記撮像画像と、ユーザの所定の動作の検出の基準となる基準検出情報とに基づいて、前記動作領域設定部が設定した前記動作領域においてユーザによる前記所定の動作が行われたことを判定する動作判定部と、
   前記動作判定部において前記所定の動作が行われたと判定された場合、自装置における判定結果と前記通信対象装置における前記通信対象装置のユーザの所定の動作の判定結果とに基づく協調制御情報に基づいて、前記通信対象装置と協調して処理を行うか否かを判定する協調判定部と、
   前記協調判定部において前記通信対象装置と協調して処理を行うと判定された場合に、前記動作判定部において判定された前記所定の動作に対応する処理として、前記協調制御情報に基づく処理を選択的に行う処理部と、
   を備える、情報処理装置。
2. 前記基準検出情報には、前記所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられており、
   前記動作判定部は、
   前記撮像画像に対して設定された前記動作領域における周期成分を検出し、
   前記動作領域における周期成分の検出結果と前記周期成分の情報とに基づいて、前記所定の動作が行われたことを判定する、請求項１に記載の情報処理装置。
3. 前記動作判定部は、前記基準検出情報、または、特定のユーザが行う所定の動作の検出の基準となる個別検出情報を選択的に用いて、前記動作領域においてユーザによる前記所定の動作が行われたことを判定する、請求項１、または２のいずれか１項に記載の情報処理装置。
4. 前記個別検出情報には、前記所定の動作、ユーザの周期動作を検出するための周期成分の情報、およびユーザの顔の特徴を示す顔情報が対応付けられており、
   前記動作判定部は、
   前記撮像画像に対して設定された前記動作領域における周期成分を検出し、
   前記撮像画像の前記顔領域から前記顔情報を抽出し、
   抽出した前記顔情報に対応する前記個別検出情報がある場合には、前記動作領域における周期成分の検出結果と、前記個別検出情報の前記周期成分の情報とに基づいて、前記所定の動作が行われたことを判定する、請求項３に記載の情報処理装置。
5. 前記個別検出情報を管理する学習部をさらに備え、
   前記学習部は、前記動作判定部において前記所定の動作が行われたと判定された場合には、前記動作判定部において検出された周期成分の情報を、判定された前記所定の動作および抽出した前記顔情報に対応する個別検出情報における前記周期成分の情報とする、請求項４に記載の情報処理装置。
6. 前記検出部は、前記撮像画像に対して設定された前記動作領域において動体をさらに検出し、
   前記動作判定部は、前記検出部において動体が検出された場合に、前記所定の動作が行われたことを選択的に判定する、請求項２に記載の情報処理装置。
7. 検出部は、矩形の前記顔領域を検出し、
   前記動作領域設定部は、前記顔領域の水平方向の長さと前記顔領域の垂直方向の長さとに基づく前記動作領域を設定する、請求項１、または２のいずれか１項に記載の情報処理装置。
8. 前記動作領域設定部は、前記顔領域から前記ユーザの顔の特徴を示す顔情報を抽出し、
   設定した前記動作領域を、前記顔情報に基づいて再設定する、請求項７に記載の情報処理装置。
9. 前記動作領域設定部は、前記顔領域の左近傍または前記顔領域の右近傍のいずれか一方、または、前記顔領域の左近傍および前記顔領域の右近傍の双方に、前記動作領域を設定する、請求項１、または２のいずれか１項に記載の情報処理装置。
10. 前記動作領域設定部は、前記顔領域の下近傍または上近傍のいずれか一方、または、前記顔領域の下近傍および前記顔領域の上近傍の双方に、１または２以上の前記動作領域をさらに設定し、
    前記動作判定部は、複数の前記動作領域ごとに前記所定の動作が行われたことを判定し、
    前記処理部は、前記所定の動作が行われたと判定された動作領域、および判定された前記所定の動作に対応する処理を行う、請求項９に記載の情報処理装置。
11. 前記動作判定部は、前記動作領域外における周期成分は検出しない、請求項２または４のいずれか１項に記載の情報処理装置。
12. 画像を表示画面に表示する表示部と、
    前記表示画面の表示方向を撮像し、前記撮像画像を生成する撮像部と、
    をさらに備え、
    前記検出部は、前記撮像部が生成した前記撮像画像から前記顔領域を検出する、請求項１、または２のいずれか１項に記載の情報処理装置。
13. 前記動作判定部において前記所定の動作が行われたと判定された場合に、前記所定の動作が行われたと判定したことをユーザに通知する通知処理を行う通知処理部をさらに備え、
    前記協調判定部は、前記動作判定部において所定の期間継続的に前記所定の動作が行われたと判定された場合に、前記通信対象装置と協調して処理を行うか否かを判定する、請求項１、または２のいずれか１項に記載の情報処理装置。
14. 前記協調判定部は、前記動作判定部において前記所定の動作が行われたと判定された場合、前記所定の動作が行われたと判定されたことを通知する判定通知情報を、前記通信対象装置へ送信する、請求項１、または２のいずれか１項に記載の情報処理装置。
15. 前記協調判定部は、前記通信部が前記通信対象装置から送信された前記判定通知情報を受信した場合には、前記通信対象装置において所定の動作が行われたと判定したことをユーザに通知する通知処理を行う、請求項１４に記載の情報処理装置。
16. 前記協調判定部は、
    前記通信部が前記通信対象装置から送信された前記判定通知情報を受信した場合には、前記動作判定部における判定結果と受信した前記判定通知情報とに基づいて前記協調制御情報を生成して、生成した前記協調制御情報を前記通信対象装置へ送信し、
    生成した前記協調制御情報に基づいて、前記通信対象装置と協調して処理を行うと判定する、請求項１４に記載の情報処理装置。
17. 前記通信部は、前記協調制御情報を生成する協調制御サーバとさらに通信を行い、
    前記協調判定部は、
    前記動作判定部において前記所定の動作が行われたと判定された場合、前記判定通知情報を前記協調制御サーバへ送信し、
    前記通信部が受信した、前記協調制御サーバから送信された前記協調制御情報に基づいて、前記通信対象装置と協調して処理を行うか否かを判定する、請求項１、または２のいずれか１項に記載の情報処理装置。
18. 前記動作判定部は、前記所定の動作が行われたと判定された場合、前記所定の動作が前記通信対象装置と協調して処理を行うための動作であるかをさらに判定し、
    前記動作判定部が前記所定の動作が前記通信対象装置と協調して処理を行うための動作であると判定しない場合には、
    前記協調判定部は、前記通信対象装置と協調して処理を行うか否かを判定せず、
    前記処理部は、前記動作判定部において判定された前記所定の動作に対応する処理を行う、請求項１、または２のいずれか１項に記載の情報処理装置。
19. １または２以上の通信対象装置と通信を行うステップと、
    撮像により得られた動画像である撮像画像からユーザの顔を含む顔領域を検出するステップと、
    前記検出するステップにおいて前記顔領域が検出された場合に、前記顔領域に基づいて、前記ユーザの動作を検出するための前記撮像画像における動作領域を、前記顔領域の近傍に設定するステップと、
    前記撮像画像と、ユーザの所定の動作の検出の基準となる基準検出情報とに基づいて、前記設定するステップにおいて設定された前記動作領域においてユーザによる前記所定の動作が行われたことを判定するステップと、
    前記所定の動作が行われたことを判定するステップにおいて前記所定の動作が行われたと判定された場合、自装置における判定結果と前記通信対象装置における前記通信対象装置のユーザの所定の動作の判定結果とに基づく協調制御情報に基づいて、前記通信対象装置と協調して処理を行うか否かを判定するステップと、
    前記通信対象装置と協調して処理を行うか否かを判定するステップにおいて前記通信対象装置と協調して処理を行うと判定された場合に、前記所定の動作が行われたことを判定するステップにおいて判定された前記所定の動作に対応する処理として、前記協調制御情報に基づく処理を選択的に行うステップと、
    を有する、情報処理方法。
20. 前記基準検出情報には、前記所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられており、
    前記所定の動作が行われたことを判定するステップでは、
    前記撮像画像に対して設定された前記動作領域における周期成分が検出され、
    前記動作領域における周期成分の検出結果と前記周期成分の情報とに基づいて、前記所定の動作が行われたことが判定される、請求項１９に記載の情報処理方法。
    
    

Images