JP7031578B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、ユーザまたはユーザを取り巻く環境に応じて出力を行う情報処理装置が盛んに研究開発されている。以下の特許文献１では、ユーザの音声に応じて出力を行う音声対話システムにおいて、容易に設計を行うことができる技術が開示されている。

特開平１０－１１１６９８号公報

ここで、仮に、ユーザの行動に応じて出力を行う場合、ユーザにとって適切な出力が行われない可能がある。例えば、ユーザがデスクで教科書を読んでいる場合と、リビングで雑誌を読んでいる場合において、情報処理装置は、どちらの場合も「読書」という同一の行動が行われていると認識し、「テレビの電源をオフにする」という同一の出力を行う可能性がある。ここで、リビングで雑誌を読んでいるユーザがテレビ鑑賞も行いたい場合には、「テレビの電源をオフにする」という出力は適切ではない。

そこで、本開示は、上記に鑑みてなされたものであり、本開示では、ユーザにとってより適切な出力を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、領域、行動および装置出力の制御内容が関連付けられた制御情報を記憶する記憶部と、ユーザの位置する領域、ユーザの行動および前記制御情報に基づいて出力を行う処理部と、を備える、情報処理装置が提供される。

また、本開示によれば、領域、行動および装置出力の制御内容が関連付けられた制御情報を記憶する機能と、ユーザの位置する領域、ユーザの行動および前記制御情報に基づいて出力を行う機能と、を含む、コンピュータに実現させるためのプログラムが提供される。

また、本開示によれば、領域、行動および装置出力の制御内容が関連付けられた制御情報を記憶することと、ユーザの位置する領域、ユーザの行動および前記制御情報に基づいて出力を行うこと、を含む、コンピュータにより実行される処理方法が提供される。

以上説明したように本開示によれば、ユーザにとってより適切な出力を行うことが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報システムの概要を示す図である。 制御情報の一例を示す図である。 ユーザの位置する領域の特定に用いられる領域の概要を示す図である。 本開示の一実施形態に係る情報処理装置の構成を示す図である。 本開示の一実施形態に係る管理サーバの構成を示す図である。 本開示の一実施形態に係る管理装置の構成を示す図である。 制御情報のバリエーションの一例を示す図である。 制御情報のバリエーションの一例を示す図である。 モードの設定例を示す図である。 制御情報のバリエーションの一例を示す図である。 制御情報に基づく情報処理装置の動作を示すフローチャートである。 コンパニオンアプリを用いた領域の設定例を示す図である。 コンパニオンアプリを用いた領域の設定例を示す図である。 コンパニオンアプリを用いた領域の設定例を示す図である。 コンパニオンアプリを用いた履歴の表示例を示す図である。 履歴の活用例を示す図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．はじめに
２．本開示の一実施形態
２－１．情報処理システムの概要
２－２．各装置の構成
３．制御情報の詳細
３－１．制御情報の設定内容
３－２．制御情報の設定方法
３－３．制御情報に基づく情報処理装置の動作
３－４．領域の設定
４．履歴の利用
５．情報処理装置のハードウェア構成

＜１．はじめに＞
はじめに、近年、画像解析技術、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術またはセンシングデバイスの発展に伴い、自律的に人やデバイスに対して出力を行う情報処理装置が発展している。例えば、センサによってユーザまたはユーザを取り巻く状況を検知し出力を行うソフトウェアであるエージェントについて、従来は、事前に登録されたプログラムや設定に基づいて出力を行うエージェントが中心であった。一方、近年は、人工知能技術が活用され、エージェントが機械学習を行い、事前に登録されたプログラムや設定を自律的に変更することで、あたかも人間のように動作したり、合理的に動作したりするエージェントの研究開発が盛んになっている。

一例として以下のようなエージェントが研究開発されている。
・バイヤーエージェント：ユーザの購入履歴に基づいて、ユーザが好むと思われる商品
をインターネットなどから検索し、自発的にユーザに提示するエージェント。
・パーソナルエージェント：ユーザ個人のために特化して動作するエージェン
ト。ユーザに関連する情報をニュースやメールなどから検索し、自発的にユーザに提
示するエージェント。
・監視エージェント：機器、在庫などの変化を監視し、機器の不良または在庫の枯渇な
どの報告を行うエージェント。
・データマイニングエージェント：多量のデータを解析し、有用な法則や情報を出力す
るエージェント。

本開示の一実施形態として説明する情報処理装置は、エージェントとして機能する装置である。

＜２．本開示の一実施形態＞
[２－１．情報処理システムの概要]
続いて、図１を参照しながら、本開示の一実施形態に係る情報処理システムの概要について説明をする。図１は、本開示の一実施形態に係る情報システムの概要を示す図である。当該情報処理システムは、情報処理装置１００、管理サーバ２００、管理装置３００および、情報処理装置１００によって操作される外部機器を備える。また、管理サーバ２００は、クラウド環境上に存在し、情報処理装置１００と管理サーバ２００はネットワーク４１０によって接続され、管理サーバ２００と管理装置３００はネットワーク４２０によって接続される。外部機器は、情報処理装置１００によって操作されるためのインタフェースが備えられている機器であれば任意である。具体的には、外部機器は、テレビ、スピーカまたは照明などであってもよく、外部機器は、情報処理装置１００と一体型になっていてもよい。

情報処理装置１００は、ユーザまたはユーザを取り巻く環境の検出結果に応じて出力を行う装置である。具体的には、情報処理装置１００は、ユーザまたはユーザを取り巻く状況を検出し、出力の条件および出力の内容が含まれる制御情報に基づいて出力を行う。出力は、情報処理装置１００による処理だけでなく、外部機器に処理をさせるために情報処理装置１００が当該処理に関する情報を外部機器へ送信することも含む。また、情報処理装置１００は、管理サーバ２００とネットワーク４１０を介して接続されることによって、制御情報、履歴、ユーザ情報などを管理サーバ２００へ送信する。送信された各種情報は、管理サーバ２００による情報処理装置１００の管理や機械学習による解析アルゴリズムの改良のために使用される。また、情報処理装置１００は、ユーザに関する通知を管理サーバ２００へ送信する。送信された通知は、管理サーバ２００によって管理装置３００へ送信されることによってユーザへ提供される。

情報処理装置１００は、ユーザまたはユーザを取り巻く状況を検出するために、様々な検出機能を有している。例えば、情報処理装置１００は、マイクのような収音機能、カメラのような撮像機能などを有している。また、これらの検出機能を有する外部機器が、検出した情報を情報処理装置１００へ提供し、情報処理装置１００が提供された情報に基づいて出力を行っても良い。

図１に示す情報処理装置１００の形状は円柱形であるが、情報処理装置１００の形状は任意である。また、情報処理装置１００の設置場所は任意である。例えば、情報処理装置１００は、住宅、オフィス、商業施設、公共施設、交通機関などに設置され得る。本開示の一実施形態としては、情報処理装置１００が住宅の中に設置される例について説明する。また、情報処理装置１００は据え置き型の装置でもよく、自走可能なロボットのような装置でもよい。

ここで、図２を参照して、情報処理装置１００が使用する制御情報の概要について説明する。図２は制御情報の一例を示す図である。図２に示すように、制御情報は、「領域」、「行動」および「装置出力の制御内容」が対応付けられた情報である。領域はユーザの位置に関する情報であり、行動はユーザの行動に関する情報である。情報処理装置１００は、ユーザが当該制御情報に対応する領域に位置し、当該制御情報に対応する行動をとっていることを検出すると、当該領域および行動に対応付けられた出力を行う。例えば、図２の制御情報１０の場合、情報処理装置１００は、ユーザがソファーでテレビ鑑賞を行っていることを検出すると、ユーザへの通知機能をオフにする。制御情報の詳細については後述する。

続いて、図３を参照して、ユーザの位置する領域の概要について説明する。図３は、ユーザの位置する領域の特定に用いられる領域の概要を示す図である。本開示の一実施形態においては、情報処理装置１００は住宅の部屋の中に設置されているとする。そして、本開示の一実施形態における領域は、情報処理装置１００が設置される敷地内（住宅の敷地内）の領域であってもよい。

図３に示された例では、部屋内の複数の領域は、備え付け設備（キッチン３１）、家具（ソファー３２、ダイニングテーブル３３）、家電製品（テレビ３４、照明３５、スピーカ３６）、ゾーン（リラックスゾーン３７、作業ゾーン３８）を含む。ゾーンとは、ユーザによって定義された部屋の構成部分の一種である。図３におけるＡＧＥＮＴ３０は情報処理装置１００を指す。

ここで仮に、ユーザがキッチン３１にいる場合は、ユーザの位置する領域は「キッチン」となり、ユーザがソファー３２に座っている場合は、ユーザの位置する領域は「ソファー」となり、ユーザが作業ゾーン３８にいる場合は、ユーザの位置する領域は「作業ゾーン」となる。また、ユーザがテレビ３４の視聴領域にいる場合は、ユーザの位置する領域は「テレビの視聴領域」となる。このように、備え付け設備、家具、家電製品については、ユーザがそれらを使用する態様に応じて、所定の領域が設定され得る。具体的には、照明３５によって照らされる領域や、スピーカ３６が向けられる領域などである。

管理サーバ２００は、情報処理装置１００を管理する装置である。具体的には、管理サーバ２００は、情報処理装置１００とネットワーク４１０を介して接続されることによって、情報処理装置１００から送信される制御情報、履歴、ユーザ情報などを管理する。管理サーバ２００が管理する情報処理装置１００の台数は任意である。また、管理サーバ２００は、所有者が異なる情報処理装置１００を管理してもよい。また、管理サーバ２００は、これらの情報に基づいて機械学習を行うことで、制御情報の変更や、解析アルゴリズムの改良を行う。

管理サーバ２００は、管理装置３００に対して各種情報を提供する。具体的には、管理サーバ２００は、ネットワーク４２０を介して管理装置３００と接続されることによって、管理装置３００に対して制御情報、履歴、ユーザ情報または通知を提供する。これにより、ユーザは管理装置３００を用いて情報処理装置１００を管理すること、または通知を取得することができる。

管理サーバ２００が設置されるクラウド環境は、パブリッククラウドでもよく、プライベートクラウドでもよい。また、管理サーバ２００はクラウド環境に設置されなくてもよい（つまり仮想化されなくてもよい）。

管理装置３００は、ユーザが情報処理装置１００を管理するための装置である。具体的には、管理装置３００は、管理サーバ２００とネットワーク４２０を介して接続されることによって、制御情報、履歴、ユーザ情報など管理する。例えば、ユーザは、管理装置３００を用いて、制御情報を変更したり、履歴の正誤を入力したり、履歴の修正を行ったり、ユーザ情報を編集したりすることができる。これらの情報は、管理サーバ２００および情報処理装置１００へ提供される。また、管理装置３００は、管理サーバ２００を介して通知を受信することができる。

図示していないが、管理装置３００は、情報処理装置１００とネットワークで接続されていてもよい。これにより、管理装置３００は、管理サーバ２００を介さず情報処理装置１００と通信を行うことができるため、ネットワーク障害や遅延などの影響を軽減することができる。

図１に管理装置３００として示されている装置は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型デバイスおよびスマートフォンであるが、管理装置３００は任意の装置である。例えば、管理装置３００は、通信機能付き腕時計、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、通信機能付き携帯型ゲーム機、通信機能付き携帯型映像プレーヤーまたは通信機能付き音声プレーヤーなどであり得る。

ネットワーク４１０、４２０は、情報処理装置１００、管理サーバ２００および管理装置３００から送信される情報のための有線、または無線の伝送路である。例えば、ネットワーク４１０、４２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク４１０、４２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信網を含んでもよい。

[２－２．各装置の構成]
以上では、情報処理システムの概要について説明した。続いて、図４を参照して、情報処理システムを構成する各装置の構成について説明する。

まず、情報処理装置１００の構成について説明する。情報処理装置１００は、収音部１０１、撮像部１０２、解析部１０３、処理部１０６、発音部１０７、表示部１０８、発光部１０９、通信部１１０、管理部１１１、入力部１１６および記憶部１１７を備える。解析部１０３は、音声解析部１０４および撮像解析部１０５を備える。管理部１１１は、制御情報管理部１１２、ユーザ管理部１１３、領域管理部１１４および履歴管理部１１５を備える。

収音部１０１は、情報処理装置１００の周辺の音を収音し、音声信号として音声解析部１０４へ提供する。

撮像部１０２は、情報処理装置１００の周囲を撮像し、生成した撮像画像を撮像解析部１０５へ提供する。

音声解析部１０４は、収音部１０１から提供された音声信号からユーザの音声を認識し、文字列への変換を行い、発話テキストを取得する。そして当該発話テキストに対して自然言語処理等を行うことで意味解析を行う。意味解析の結果は、処理部１０６へ提供される。また、音声解析部１０４は、認識した音声の特徴に基づいて声を出しているユーザを識別したり、音声の発生源、すなわち発話者の方向を推定したりすることも可能である。

撮像解析部１０５は、撮像部１０２から提供された撮像画像を解析することで、ユーザ、領域（備え付け設備、家具、家電製品またはゾーン）、ユーザの位置する領域、ユーザの行動を特定する。これらの特定方法は任意であり、一例を以下へ記載する。

ユーザの特定方法については、撮像解析部１０５は、撮像画像と予め登録されているユーザの顔画像とのパターンマッチングにより類似度を算出し、この類似度に基づいてユーザを特定してよい。この場合、撮像解析部１０５は、撮像画像に対する登録顔画像の相対的な位置を変えつつ、撮像画像と登録顔画像の間の正規化相互相関値を算出し、その正規化相互相関値の最大値を、撮像画像とその登録顔画像との類似度としてもよい。

ユーザの位置する領域の特定方法については、撮像解析部１０５は、ユーザの特定方法と同様に領域を特定してもよい。具体的には、撮像解析部１０５は、撮像画像と予め登録されている物体画像とのパターンマッチングにより類似度を算出し、この類似度に基づいて物体を特定してよい。この場合、撮像解析部１０５は、撮像画像に対する登録物体画像の相対的な位置を変えつつ、撮像画像と登録物体画像の間の正規化相互相関値を算出し、その正規化相互相関値の最大値を、撮像画像とその登録物体画像との類似度としてもよい。

そして、撮像解析部１０５は、上記で特定したユーザと物体の相対的な位置関係に基づいてユーザの位置する領域を特定する。例えば、撮像解析部１０５は、物体をソファーと特定し、ユーザがソファーの上に乗っている場合には、撮像解析部１０５は、ユーザの位置する領域はソファーであると特定する。

また、撮像解析部１０５は、物体がテレビなどの別途領域の算出が必要な物体であると特定した場合、領域の算出を行う。例えば、撮像解析部１０５は、テレビの向き、テレビの設置位置などからテレビの視聴領域を算出する。その後、特定したユーザが算出されたテレビの視聴領域に含まれる場合には、撮像解析部１０５は、ユーザの位置する領域はテレビの視聴領域であると特定する。

ユーザの行動の特定方法については、撮像解析部１０５は、ユーザの特定方法と同様にユーザの行動を特定してもよい。具体的には、撮像解析部１０５は、撮像画像と予め登録されている行動画像とのパターンマッチングにより類似度を算出し、この類似度に基づいて物体を特定してよい。ここで、行動画像とは、行動を行っているユーザを時系列に撮像した複数の撮像画像を指す。この場合、撮像解析部１０５は、撮像画像におけるユーザを構成するパーツの時系列的な変化と、行動画像におけるユーザを構成するパーツの時系列的な変化とのパターンマッチングを行う。そして、撮像解析部１０５は、特定したユーザの行動情報を処理部１０６へ提供する。

処理部１０６は、解析部１０３からの入力および制御情報に基づいて出力を行う。具体的には、処理部１０６は、制御情報において、撮像解析部１０５から提供されるユーザの位置する領域、ユーザの行動に対応する出力がある場合には、該当の出力を行うように各構成を制御する。処理部１０６は、発音部１０７、表示部１０８、発光部１０９を制御することで出力を行ってもよいし、通信部１１０を介して外部機器に対して出力に関する情報を提供することで、外部機器によって出力が行われてもよい。

発音部１０７は、処理部１０６に制御されることによって、音声信号を音声に変換して出力する。

表示部１０８は、処理部１０６に制御されることによって各種画像を表示する。例えば、表示部１０８は、ユーザが情報処理装置１００をＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）で操作するための操作画像を表示したり、画像や映像などを表示したりすることができる。表示する方法は、ディスプレイへ表示する方法でもよく、壁などに投影して表示する方法でもよい。

発光部１０９は、発光素子により実現され、処理部１０６に制御されることによって全灯、一部点灯、点滅、または点灯位置の変更などを行うことができる。例えば発光部１０９は、処理部１０６に制御されることによって解析部１０３によって認識されたユーザの方向を一部点灯することで、ユーザの方向に視線を向けているように見せることができる。

通信部１１０は、管理サーバ２００および外部機器と通信を行う。例えば、通信部１１０は、ユーザによって制御情報、履歴、ユーザ情報の編集が行われた場合、編集内容を管理サーバ２００へ送信する。また、通信部１１０は、任意のタイミングまたは一定のタイミングで管理サーバ２００と各種情報を送受信することによって、管理サーバ２００と同期をとる。

また、通信部１１０は、処理部１０６から提供される出力に関する情報を外部機器へ送信することで、外部機器が出力を行えるようにする。さらに、通信部１１０は、外部機器が検出した情報を受信した場合、当該情報を処理部１０６へ提供する。これにより、外部機器が備えている検出機能に基づいて情報処理装置１００が出力を行うことが可能となる。

制御情報管理部１１２は、制御情報を管理する。具体的には、制御情報管理部１１２は、ユーザが入力部１１６を介して制御情報の編集（新規追加、変更、削除）を行う場合には、編集内容に基づいて制御情報の編集を行う設定部としても機能する。また、制御情報管理部１１２は、通信部１１０を介して管理サーバ２００と同期を行う場合には、制御情報の同期を行う。そして、制御情報管理部１１２は、編集または同期を行った制御情報を記憶部１１７へ記憶させる。

ユーザ管理部１１３は、当該情報処理システムを使用するユーザの情報を管理する。例えば、ユーザ管理部１１３は、ユーザが入力部１１６を介してユーザ情報の編集を行う場合には、編集内容に基づいてユーザ情報の編集を行う。また、ユーザ管理部１１３は、通信部１１０を介して管理サーバ２００と同期を行う場合には、ユーザ情報の同期を行う。そして、ユーザ管理部１１３は、編集または同期を行ったユーザ情報を記憶部１１７へ記憶させる。

領域管理部１１４は領域を管理する。例えば、領域管理部１１４は、ユーザが入力部１１６を介して領域の編集を行う場合には、編集内容に基づいて領域の編集を行う。また、領域管理部１１４は、通信部１１０を介して管理サーバ２００と同期を行う場合には、領域の同期を行う。そして、領域管理部１１４は、編集または同期を行った領域を記憶部１１７へ記憶させる。また、領域管理部１１４は、撮像部１０２による撮像結果に基づいて領域の編集が行われる場合には、領域管理部１１４は、撮像画像の解析結果に関する情報を受信し、領域を編集する。そして、領域管理部１１４は、編集後の領域を記憶部１１７へ記憶させる。

履歴管理部１１５は、処理部１０６の出力に関する履歴を管理する。例えば、履歴管理部１１５は、出力が行われた日時、ユーザが位置する領域、ユーザの行動、出力の内容、などの情報を履歴として記憶部１１７に記憶させる。

また、履歴管理部１１５は、履歴の編集を行う履歴編集部としても機能する。具体的には、ユーザが入力部１１６を介して、履歴の正誤、履歴の修正を入力した場合、履歴管理部１１５は、当該入力に基づいて履歴を編集する。また、通信部１１０を介して管理サーバ２００と同期を行う場合には、履歴の同期を行う。そして、履歴管理部１１５は、編集または同期を行った履歴を記憶部１１７へ記憶させる。

入力部１１６は、ユーザからの各種入力を受ける。例えば、入力部１１６は、ユーザによって入力される制御情報、領域、履歴、ユーザ情報などに対する編集内容を受け、当該情報を管理部１１１へ提供する。また、入力部１１６は、制御情報の設定のためのユーザによる入力を取得する取得部としても機能する。

記憶部１１７は、上述の各種情報を記憶する。具体的には、記憶部１１７は、制御情報、ユーザ情報、領域、履歴などを記憶する。

次いで、管理サーバ２００の構成について説明する。管理サーバ２００は、通信部２０１、管理部２０２、処理部２０８および記憶部２０９を備える。管理部２０２は、制御情報管理部２０３、ユーザ管理部２０４、領域管理部２０５、履歴管理部２０６および解析アルゴリズム管理部２０７を備える。

通信部２０１は、情報処理装置１００および管理装置３００と通信を行う。例えば、通信部２０１は、情報処理装置１００または管理装置３００から制御情報、領域、履歴、ユーザ情報などが編集された場合に、その編集内容の情報を受信し管理部２０２へ提供する。これにより、管理サーバ２００の各種情報が編集される。

また、通信部２０１は、任意のタイミングまたは一定のタイミングで情報処理装置１００および管理装置３００と、制御情報、領域、履歴、ユーザ情報を送受信することによって、情報処理装置１００および管理装置３００と同期をとる。

また、通信部２０１は、処理部２０８から提供された通知に関する情報に基づいて管理装置３００へ通知を送信する。

制御情報管理部２０３、ユーザ管理部２０４、領域管理部２０５および履歴管理部２０６は、それぞれ制御情報、ユーザ情報、領域、履歴を管理する。通信部２０１が各情報の編集内容の情報を受信した場合には、編集内容に基づいて各情報の編集を行い、編集後の情報を記憶部２０９へ記憶させる。

解析アルゴリズム管理部２０７は、解析用のアルゴリズムを管理する。具体的には、解析アルゴリズム管理部２０７は、情報処理装置１００の音声解析部１０４が使用する音声解析用のアルゴリズム、撮像解析部１０５が使用する画像解析用のアルゴリズムを管理する。解析アルゴリズム管理部２０７は、通信部２０１が情報処理装置１００または管理装置３００から履歴の正誤、履歴の修正などのフィードバックを受信した場合、フィードバックの内容に基づいて解析用のアルゴリズムを改良し、改良後のアルゴリズムを情報処理装置１００へ提供する。

処理部２０８は、管理サーバ２００における各処理を行う。例えば、処理部２０８は、通信部２０１が情報処理装置１００からユーザの通知を受信した場合、この通知を記憶部２０９へ記憶させるとともに、通信部２０１を介して管理装置３００へ送信させる。これらの処理は一例であり、処理部２０８は任意の処理を行い得る。

記憶部２０９は、上述の各種情報を記憶する。具体的には、記憶部２０９は、制御情報、ユーザ情報、領域、履歴、解析アルゴリズム、通知などを記憶する。

次いで、管理装置３００について説明する。管理装置３００は、加速度検出部３０１、位置検出部３０２、解析部３０３、処理部３０４、通信部３０５、表示部３０６、入力部３０７、記憶部３０８を備える。

加速度検出部３０１は、管理装置３００の加速度を検出し、その情報を解析部３０３へ提供する。

位置検出部３０２は、管理装置３００の位置を検出する。具体的には、加速度検出部３０１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信し、ＧＰＳ信号を解析部３０３へ提供する。

解析部３０３は、加速度検出部３０１および位置検出部３０２から提供された各種情報を解析する。具体的には、解析部３０３は、加速度検出部３０１から提供された管理装置３００の加速度に関する情報を解析し、ユーザの行動を特定する。例えば、解析部３０３は、ユーザが停止していること、歩行していること、走行していること、各種交通機関（車、電車、バス、飛行機など）に乗っていることを特定する。また、解析部３０３は、位置検出部３０２から提供されたＧＰＳ信号を解析し、管理装置３００の絶対位置及び絶対方位を特定する。そして、解析部３０３は、これらの解析結果に関する情報を処理部３０４へ提供する。

処理部３０４は、管理装置３００における各処理を行う。例えば、処理部３０４は、通信部３０５を制御することによって、解析部３０３から提供された解析結果に関する情報を管理サーバ２００へ送信させる。これにより、情報処理装置１００が解析部３０３から提供された解析結果に基づいて出力を行うことができる。

また、処理部３０４は、ユーザによって入力部３０７から入力される制御情報、ユーザ情報、領域、履歴に対する編集内容を通信部３０５へ提供して管理サーバ２００へ送信させたり、記憶部３０８へ記憶させたりする。これらの処理は一例であり、処理部３０４は任意の処理を行い得る。

また、処理部３０４は、表示部３０６を制御し、各種情報に基づいて決定した表示内容を表示部３０６に表示させる。

通信部３０５は、管理サーバ２００と通信を行う。例えば、通信部３０５は、ユーザによって制御情報、履歴、ユーザ情報の編集が行われた場合、編集内容を管理サーバ２００へ送信する。また、通信部３０５は、任意のタイミングまたは一定のタイミングで管理サーバ２００と制御情報、履歴、ユーザ情報を送受信することによって、管理サーバ２００と同期をとる。

表示部３０６は、処理部３０４に制御されることによって、ユーザが管理装置３００をＧＵＩで操作するための操作画像を表示する。

入力部３０７は、ユーザからの各種入力を受ける。例えば、入力部３０７は、ユーザによって制御情報、ユーザ情報、領域、履歴に対する編集内容を入力され、当該編集内容を処理部３０４へ提供する。

記憶部３０８は、上述の各種情報を記憶する。具体的には、記憶部３０８は、制御情報、ユーザ情報、領域、履歴などを記憶する。

＜３．制御情報の詳細＞
[３－１．制御情報の設定内容]
以上では、各装置の構成について説明した。続いて、図２および図７～１０を用いて制御情報の設定内容について説明する。

上述したとおり、制御情報は領域、行動および出力を対応付けた情報である。そして、情報処理装置１００は、ユーザが当該制御情報に対応する領域に位置し、当該制御情報に対応する行動をとっていることを検出すると、当該領域および行動に対応付けられた出力を行う。

制御情報に領域と行動の条件が設定される本開示の一実施形態は、制御情報に行動の条件のみが設定される場合と比較して、出力が行われる条件をより詳細に設定することができる。したがって、ユーザは、情報処理装置１００に、ユーザにとってより適切な出力をさせることができる。例えば、ユーザがデスクで教科書を読んでいる場合と、リビングで雑誌を読んでいる場合とで、情報処理装置１００の出力を変えることができる。

また、制御情報は、図２の制御情報１０のように、領域、行動、出力が全て設定されていてもよいし、制御情報１１のように領域と行動のみが設定されていてもよい。領域と行動のみが設定されている場合は、情報処理装置１００は、ユーザが当該制御情報に対応する領域に位置し、当該制御情報に対応する行動をとっていることを検出しても出力を行わない。

また、制御情報における領域は、制御情報１２のように「全ての領域」が設定されてもよい。この場合、情報処理装置１００は、ユーザの位置する領域によらず、制御情報に対応するユーザの行動が検出されると、制御情報に対応する出力を行う。

また、制御情報における行動は、制御情報１３のように「全ての行動」が設定されてもよい。この場合、情報処理装置１００は、ユーザの行動によらず、ユーザが制御情報に対応する領域に位置することが検出されると、制御情報に対応する出力を行う。

また、ユーザは、制御情報を編集することができる。具体的には、ユーザは、情報処理装置１００の入力部１１６または、管理装置３００の入力部３０７から編集内容を入力することで、制御情報を編集することができる。なお、制御情報は全てユーザによって新規追加されてもよいし、予め設定されている制御情報がユーザによって編集されてもよい。

ユーザが制御情報を変更できる本開示の一実施形態は、例えば、制御情報が機械学習によってのみ変更される場合と比較して、出力が行われる条件をよりユーザの希望に合った条件にすることができる。したがって、ユーザは、情報処理装置１００に、ユーザにとってより適切な出力をさせることができる。

また、ユーザは、制御情報１４のように領域をカスタムすることができる。例えば、ユーザは、新たに設置した家具や家電製品を制御情報における領域として新規追加することができる。また、ユーザは、部屋の所定の領域をゾーンとして新規追加することができる。また、ユーザは、改築などのタイミングで備え付け設備を新規追加することができる。

また、ユーザは、制御情報１４のように行動をカスタムすることができる。例えば、ユーザは、「発話」という行動に対して、発話する内容を指定することができる（例：発話「疲れた」、など）。

また、ユーザは、制御情報１４のように出力をカスタムすることができる。例えば、ユーザは、「ＢＧＭ再生」という出力に対して、ＢＧＭのジャンル、アーティスト、再生時間、再生するタイミングまたは音量などを指定することができる。

制御情報の領域、行動、出力がカスタムされることによって、ユーザは所望の制御情報を設定することができる。したがって、ユーザは、情報処理装置１００に、ユーザにとってより適切な出力をさせることができる。

続いて、図７、８を参照して、制御情報のバリエーションについて説明する。図７、８は、制御情報のバリエーションの一例を示す図である。

まず、図７に示す制御情報は、領域、行動、出力に「ユーザ」が加えられた制御情報である。この場合、情報処理装置１００は、制御情報に対応する領域、行動およびユーザの条件が満たされた場合に出力を行う。

制御情報のユーザの指定方法は様々であり得る。例えば、図７の制御情報１５のように、制御情報のユーザには特定の個人（ママ、パパ、氏名など）が設定されてもよい。これにより、情報処理装置１００を特定の個人に適用させることができる。

また、制御情報１６のように、制御情報のユーザにはグループが設定されてもよい。この場合、グループはユーザによって事前に作成され、１人または複数名のユーザがグループメンバーとして登録される。これにより、制御情報の管理を容易にすることができる。例えば、グループメンバーの変更があった場合、制御情報を変更する必要がない（グループメンバーを変更することで対応できる）。

また、制御情報１７のように、制御情報のユーザにはグループ（または特定の個人）と不明者が設定されてもよい。この場合、情報処理装置１００に登録されていないユーザに対しても、情報処理装置１００は適切な出力を行うことができる。例えば、来客時に、家族のプライベートな情報（企業であれば社外秘の情報）が情報処理装置１００によって出力されないようにすることなどができる。

また、制御情報１８のように、制御情報のユーザには不明者のみが設定されてもよい。この場合、情報処理装置１００は警備用の装置としても機能することができる。例えば、不明者の身元を確認し、不明者が不審な行動をとった場合には、ユーザまたは警備会社へ通知することなどができる。

続いて、図８に示す制御情報は、領域、行動、出力に「時間」が加えられた制御情報である。この場合、情報処理装置１００は、制御情報に対応する領域、行動および時間の条件が満たされた場合に出力を行う。

制御情報の時間の指定方法は様々であり得る。例えば、図８に示すように、制御情報の時間には、制御情報１９の「ＡＭ６：００ ～ ＡＭ８：００」などの開始時刻と終了時刻が指定されてもよく、制御情報２０の「夜間」などの時間を表す概念が指定されてもよい。また、制御情報の時間には、特定の日付または期間を表す概念が指定されてもよい。例えば、制御情報の時間には、制御情報２３の「平日朝」、制御情報２４の「毎週月・水・金の朝」、制御情報２５の「祝日の日中」、制御情報２６の「次の三連休」、制御情報２８の「毎月３０日」、制御情報２９の「夏季」などが指定されてもよい。また、制御情報の時間には、具体的な日付と時刻が指定されてもよい。例えば、制御情報の時間には、制御情報２７の「２０１６／０５／１０ ＡＭ８：００ ～ ２０１６／０５／１１ ＰＭ１０：００」などが指定されてもよい。上述の「夜間」、「朝」、「日中」、「夏季」などが指す開始時刻と終了時刻、開始期間と終了期間は別途設定される。また、図示されていないが、制御情報の時間には、ある時刻（ＰＭ１：００など）が指定されてもよい。

制御情報に時間の要素が加えられることにより、情報処理装置１００は時間（または）時刻に応じた出力をすることができる。例えば、図８に示すように、情報処理装置１００は、ベッドにいるユーザに対して、ＡＭ６：００～ＡＭ８：００には、その日の予定を連絡し、夜間には目覚まし時計の設定時間を確認することができる。

また、図７の制御情報２１および図８の制御情報２２のように、制御情報の出力にはモードが設定され得る。モードとは、情報処理装置１００が実行してはいけない出力内容、または情報処理装置１００が実行してもよい出力内容が定義された情報である。ここで、図９を参照してモードの設定内容について説明する。図９は、モードの設定例を示す図である。

図９には、モードと各モードにおいて情報処理装置１００が実行してはいけない出力内容が記載されている。例えば、夜間モードにおいては、情報処理装置１００はＢＧＭ再生を実行してはいけない。図９と同様に、情報処理装置１００が実行してもよい出力内容が定義されてもよい。

制御情報の出力にモードが設定されることによって、情報処理装置１００はシーンに応じた出力をすることができる。例えば、制御情報の出力に、図９に示すお客様モードが設定されることによって、情報処理装置１００に家族写真のスライドショーを上映させないようにすることができる。

なお、情報処理装置１００の様々な検出機能の検出結果に応じて、情報処理装置１００は自律的にモードを設定してもよい。例えば、撮像解析部１０５の解析によって、不明者が検出された場合、情報処理装置１００はお客様モードを設定してもよい。

また、制御情報の領域は、ある領域から他の領域への移動を表す情報であってもよい。具体的には、図１０に示すように、ユーザがある領域に入った場合（図１０における「部屋ＩＮ」「キッチンＩＮ」「帰宅」）または、ユーザがある領域から出た場合（図１０における「部屋ＯＵＴ」「外出」）における情報処理装置１００の出力内容を制御情報に設定することができる。また、図１０に示すように、ユーザがある領域から別のある領域へ移動した場合（図１０における「ダイニングテーブル」から「リラックスゾーン」への移動）における情報処理装置１００の出力内容を制御情報に設定することもできる。

これにより、情報処理装置１００は、ユーザの動線に応じた出力をすることができる。具体的には、情報処理装置１００はユーザがその領域に位置することと、ユーザがその領域に入る動作とを判別することができる。

また、図示していないが、制御情報の領域は、情報処理装置１００が設置される敷地内の領域でなくてもよい。例えば、制御情報の領域は、情報処理装置１００からの距離または特定の場所（会社、学校など）でもよい。これにより、情報処理装置１００が管理装置３００の絶対位置に関する情報を取得することで、情報処理装置１００は管理装置３００に対する出力を制御することができる。例えば、制御情報の領域に「会社」、出力に「通知オフ」が設定されているとする。この場合、情報処理装置１００は、管理装置３００の絶対位置に基づいて管理装置３００（を保持するユーザ）が会社に存在すると特定される場合は、管理装置３００への通知を行わない。

また、図示していないが、制御情報の行動は、管理装置３００の解析によって得られるユーザの行動であってもよい。具体的には、制御情報の行動は、管理装置３００の加速度検出部３０１から得られるユーザの行動（ユーザが停止していること、歩行していること、走行していること、各種交通機関に乗っていることなど）でもよい。これにより、例えば、制御情報の行動に「電車による移動」、出力に「通知オフ」が設定されているとする。この場合、情報処理装置１００は、管理装置３００によって取得される情報に基づいて管理装置３００（を保持するユーザ）が電車移動をしていると特定される場合は、管理装置３００への通知を行わない。

[３－２．制御情報の設定方法]
以上では、制御情報の設定内容について説明した。続いて、制御情報の設定方法について説明する。制御情報の設定は、様々な方法によって実現され得る。以下で説明する方法は、その一例である。

まず、コンパニオンアプリによる設定方法について説明する。ユーザは、情報処理装置１００または管理装置３００にインストールされるアプリケーション（以降、「コンパニオンアプリ」と呼称する）を用いて、領域を設定することができる。

コンパニオンアプリの画面イメージは、図２または図７～８であり得る。コンパニオンアプリを用いた制御情報の設定方法は、任意である。例えば、タッチパネルへのタッチ操作で配置する方法などが挙げられる。

次いで、ヒアリングによる設定方法について説明する。制御情報は、情報処理装置１００からのヒアリングによって設定されることが可能である。例えば、情報処理装置１００は「あなたは、ソファーで読書をしている時、何をしたいですか？」という質問を行う。その質問に対して、ユーザ「音楽が聴きたい」という回答を行うと、設定内容が領域「ソファー」、行動「読書」、出力「ＢＧＭ再生」である制御情報が追加される。情報処理装置１００から行われる質問の内容は様々であり得る。これにより、ＩＴリテラシーの低いユーザも、制御情報の編集を容易に行うことができる。

また、情報処理装置１００からユーザに対して主体的に提案型の質問を行ってもよい。例えば、撮像解析部１０５による解析によって、ユーザが勉強しており、かつテレビの電源がオンになっていることが判明した場合、情報処理装置１００は「あなたが勉強している時、テレビを消しましょうか？」という質問を行う。その質問に対して、ユーザ「はい」という回答を行うと、設定内容が領域「全ての領域（または作業ゾーン、デスクなど）」、行動「勉強」、出力「テレビオフ」である制御情報が追加される。情報処理装置１００から提案型の質問が行われることによって、ユーザは当該設定を行うか否かの判断を行い易い。また、ユーザが気づかない観点の質問が行われることによって、ユーザの潜在的なニーズを制御情報へ反映させることが可能である。

[３－３．制御情報に基づく情報処理装置の動作]
以上では、制御情報の設定方法について説明した。続いて、図１１を参照して、制御情報に基づく情報処理装置１００の動作について説明する。図１１は、制御情報に基づく情報処理装置１００の動作を示すフローチャートである。

まず、情報処理装置１００の処理部１０６は、記憶部１１７から制御情報を取得し、制御情報の読み込みを行う（ステップＳ１０００）。その後、収音部１０１または撮像部１０２による検出結果を解析部１０３が解析し（ステップＳ１００４）、制御情報の条件に対応する解析結果が得られた場合（ステップＳ１００８／Ｙｅｓ）、処理部１０６は出力を行う（ステップＳ１０１２）。制御情報の条件に対応する解析結果が得られない場合（ステップＳ１００８／Ｎｏ）、ステップＳ１０００の処理が行われる（ステップＳ１０１６）。

ここで、図１１に示すフローチャートは適宜変更され得る。例えば、制御情報の条件に対応する解析結果が得られない場合（ステップＳ１００８／Ｎｏ）、ステップＳ１０００へ遷移するのではなく、ステップＳ１００４へ遷移してもよい。つまり、処理部１０６は処理の度に制御情報の読み込みを行わなくてもよい。これにより、処理部１０６による制御情報の読み込みの負荷を軽減することができる。

また、外部機器がステップＳ１００４における検出処理と解析処理を行い、情報処理装置１００は、その解析結果に基づいてステップＳ１００８以降の処理を行っても良い。これにより、情報処理装置１００の撮像部１０２や収音部１０１が検出できない範囲、例えば、別室などの環境の検出結果に基づいた出力を行うことができる。

[３－４．領域の設定]
以上では、制御情報に基づく情報処理装置１００の動作について説明した。続いて、領域の設定方法について説明する。領域の設定は、様々な方法によって実現され得る。以下で説明する方法は、その一例である。

まず、コンパニオンアプリによる設定について説明する。ユーザは、情報処理装置１００または管理装置３００にインストールされるコンパニオンアプリを用いて、領域を設定することができる。領域を設定する際のコンパニオンアプリの画面遷移について、図１２Ａ～Ｃを参照して説明する。図１２Ａ～Ｃは、コンパニオンアプリを用いた領域の設定例を示す図である。なお、以降は、情報処理装置１００が住宅の中で使用されることを想定して説明する。

まず、情報処理装置１００の処理部１０６に制御されることで表示部１０８がコンパニオンアプリのメニュー画面を表示する（画面５０）。次いで、ユーザが入力部１１６を介して部屋のアウトラインを設定する（画面５１）。次いで、ユーザが入力部１１６を介して窓、キッチン、クローゼットなどの備え付け設備を配置する（画面５２）。

次いで、ユーザが入力部１１６を介して、ソファー、テーブル、椅子などの家具を配置し（画面５３）、情報処理装置１００（図中には「ＡＧＥＮＴ」と記載されている）を配置し（画面５４）、テレビ、照明、スピーカなどの家電製品を配置する（画面５５）。そして、ユーザが入力部１１６を介して、リラックスゾーン、作業ゾーンなどのゾーンを設定することで（画面５６）、領域の設定が完了する（画面５７）。この画面遷移は適宜変更され得る。例えば、備え付け設備、家具、情報処理装置１００、家電製品、ゾーンの設定順番は適宜入れ替えられ得る。これにより、ユーザは、直観的な操作で領域を設定することができる。

次いで、音声または撮像画像による設定について説明する。ユーザは、音声または撮像画像によって領域を設定することもできる。具体的には、収音部１０１によって取得された音声信号または、撮像部１０２によって撮像された撮像画像を解析部１０３が解析することによって、情報処理装置１００は領域を設定することができる。

例えば、ユーザが情報処理装置１００に対して「君から右にテレビがあるよ」と発話する。当該音声信号が音声解析部１０４によって意味解析され、意味解析の結果が処理部１０６に提供される。併せて、撮像画像が撮像解析部１０５によって解析され、解析結果が処理部１０６に提供される。処理部１０６は、音声信号の意味解析の結果と撮像画像の解析結果に基づいて、情報処理装置１００の右に位置する物体がテレビであると認識する。そして、処理部１０６は、テレビの３次元的な位置や方向に基づいて、テレビの視聴領域を算出する。

また、ユーザが情報処理装置１００に対して「ここにソファーがあるよ」と発話する。処理部１０６は、音声信号の意味解析の結果と撮像画像の解析結果に基づいて、ユーザが位置する物体がソファーであると認識する。

また、ユーザが情報処理装置１００に対して「あっちにテーブルがあるよ」と発話しながら、テーブルの方向を指さす。処理部１０６は、音声信号の意味解析の結果と撮像画像の解析結果に基づいて、ユーザの腕または指の延長線上にある物体がテーブルであると認識する。これにより、ＩＴリテラシーの低いユーザも、領域の追加などを容易に行うことができる。

次いで、撮像画像による設定について説明する。領域は、撮像画像が解析されることによって設定されてもよい。具体的には、撮像解析部１０５は、情報処理装置１００の撮像部１０２によって取得された撮像画像を解析し、壁、備え付け設備、家具、家電製品の３次元座標を算出する。そして、撮像解析部１０５は、予め登録されている物体画像とのパターンマッチングにより類似度を算出し、この類似度に基づいて物体を特定し、当該物体に対して領域を設定する。なお、上述の方法により物体の特定ができない場合は、ユーザによって当該物体が何であるかを示す情報が付加されてもよい。

これにより、例えば、家具または家電製品などが新たに設置されたり、配置換えが行われたりした場合に、情報処理装置１００が自律的に領域を設定することができるため、ユーザが領域を編集する負荷を削減することができる。

次いで、情報処理装置１００からの問い合わせによる設定について説明する。情報処理装置１００からユーザに対して能動的に問い合わせを行うことで、領域が設定されてもよい。例えば、撮像画像の解析結果に基づいてユーザが位置している領域が特定できない場合は、情報処理装置１００は、ユーザに対して「あなたは、どこに座っていますか？」と質問する。その質問に対してユーザが「ソファーだよ」などと回答することによって、情報処理装置１００は、ユーザが座っている物体はソファーであると認識し、ソファーを領域として追加することができる。

この場合、情報処理装置１００は、ユーザに対して「あなたは、ソファーに座っていますか？」と質問してもよい。その質問に対してユーザが「そうだよ」などと回答することによって、上述のように情報処理装置１００は、ソファーを領域として追加してもよい。

また、情報処理装置１００は、ユーザに対して「ソファーの位置を教えて頂けないでしょうか」など、物体の位置を質問してもよい。その質問に対して、ユーザが発話しながら、ソファーの方向を指さすことなどによって、情報処理装置１００は、ソファーを特定し領域として追加してもよい。

＜４．履歴の利用＞
以上では、領域の設定方法について説明した。続いて、図１３を参照して、履歴の利用について説明する。図１３は、コンパニオンアプリを用いた履歴の表示例を示す図である。

図１３に示すように、ユーザは、コンパニオンアプリを用いて履歴に関する情報を確認することができる。具体的には、ユーザは、コンパニオンアプリを用いて、各時刻におけるユーザの位置する領域、ユーザの行動、情報処理装置１００の出力内容、ユーザを特定する情報（ママ、パパ、氏名など）を確認することができる。コンパニオンアプリの操作方法の一例を以下へ記載する。

コンパニオンアプリにおいて、間取り表示ボタン５７が押下されると、部屋のアウトライン、備え付け設備、家具、家電製品またはゾーンの概要図が表示される。そして、フィルタ機能６０を用いて、所望の条件の履歴のみを抽出することができる。具体的には、ユーザは、時刻、ユーザの位置する領域、ユーザの行動、情報処理装置１００の出力内容またはユーザを特定する情報を用いて、履歴に対してフィルタリングを行うことで、所望の条件の履歴を取得することができる。図１３に示す例では、ユーザを「祐太」、ユーザの位置する領域を「ソファー」、ユーザの行動を「読書」としてフィルタリングを行っている。

また、期間指定ボタン６１を用いることによって、抽出する履歴の期間を指定することができる。図１３に示す例では、１日間の履歴を抽出している。さらに、スライダ６２を用いることによって、表示する履歴の時間を指定することができる。

そして、この概要図中に履歴オブジェクト５８が表示されることで、履歴が存在する領域が示される。ユーザによって、履歴オブジェクト５８が選択されると、履歴の詳細が履歴詳細オブジェクト５９として表示される。図１３に示す例では、履歴詳細オブジェクト５９によって、１１：５２にユーザがソファーで読書をし、情報処理装置１００はＢＧＭを推薦する出力を行ったことが分かる。もちろん、履歴詳細オブジェクト５９にユーザを特定する情報が含まれても良い。これにより、間取り（領域）上に履歴が表示されるため、ユーザの行動や動線を容易にイメージすることができる。

なお、リスト表示ボタン６３が押下されると、履歴の一覧６４が表示される。これにより、ユーザは、スライダ６２の操作や履歴オブジェクト５８の選択などを行うことなく、履歴を取得することができる。また、ユーザは、容易に履歴の一覧データを加工したり、検索したりすることができる。

続いて、図１４を参照して、履歴の正誤の入力、履歴の修正、履歴に基づいた制御情報の変更について説明する。図１４は、履歴の活用例を示す図である。

ユーザは、コンパニオンアプリを用いて履歴に関する情報を確認することができる。そして、図１４に示すように、ユーザは、履歴に誤りがある場合に誤りフラグ７０を付加することができる。図１４に示す例では、ユーザは、ユーザの行動「読書」に誤りフラグ７０を付加することで、読書以外の行動をとっていたことを示すことができる。この例では、行動に対して誤りフラグ７０が付加されているが、日時、領域に対して誤りフラグ７０が付加されてもよい。また、ユーザは、誤りフラグ７０を付加するだけでなく、正しい情報を入力してもよい。

また、図１４に示すように、ユーザは、履歴に不特定情報がある場合には、プルダウンリスト７２を用いて正しい情報に修正することができる。図１４に示す例では、ユーザは、行動を修正している。もちろん、日時、領域が修正されてもよい。また、ユーザは、プルダウンリスト７２ではなく、テキストボックスなどを用いて修正を行ってもよい。

このような履歴の正誤または履歴の修正の情報は、解析アルゴリズムの改良のために使用される。具体的には、これらの情報は、管理サーバ２００に送信され、解析アルゴリズム管理部２０７はこれらの情報に基づいて機械学習を行うことで解析アルゴリズムを改良する。

改良された解析アルゴリズム（または改良された解析アルゴリズムに基づいて作成されたプログラム）は、情報処理装置１００へ提供される。これにより、情報処理装置１００の解析部１０３の解析処理の精度を向上させることができる。ここで、位置の検出処理または行動の検出処理のように、特定のユーザに特化していない検出処理について改良した解析アルゴリズムまたはプログラムは、該当のユーザが保有する情報処理装置１００以外の情報処理装置１００に対して提供されてもよい。また、ユーザの特定処理のように、特定のユーザに特化した処理について改良した解析アルゴリズムまたはプログラムは、該当のユーザが保有する情報処理装置１００のみに提供されてもよい。上記の方法により、ユーザからのフィードバックに基づいて、情報処理装置１００の解析処理の精度を向上させることができる。

また、図１４に示すように、ユーザは、プルダウンリスト７１を用いて履歴に基づいて制御情報を変更することができる。図１４に示す例では、ユーザは、領域「キッチン」、行動「洗い物」に対応する出力「明日のイベント通知」をその他の出力に変更しようとしている。もちろん、ユーザは、プルダウンリスト７１ではなく、テキストボックスなどを用いて制御情報を変更してもよい。これにより、ユーザは、履歴を確認する作業と並行して制御情報を編集することができるため、ユーザの作業不可を軽減することができる。

＜５．情報処理装置のハードウェア構成＞
以上、本開示の一実施形態を説明した。続いて、本開示の一実施形態に係る情報処理装置１００のハードウェア構成例について説明する。

図１５は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示す図である。図１５に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、入力装置９０４と、出力装置９０５と、ストレージ装置９０６と、撮像装置９０７と、通信装置９０８とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。主に、ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３とソフトウェアとの協働により、解析部１０３、処理部１０６および管理部１１１の機能が実現される。

入力装置９０４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置１００のユーザは、該入力装置９０４を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０４は、収音部１０１および入力部１１６に対応する。

出力装置９０５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置、シースルーディスプレイ、及びランプ等の表示装置を含む。さらに、出力装置９０５は、スピーカ及びヘッドホン等の音声出力装置を含む。例えば、出力装置９０５は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。出力装置９０５は、発音部１０７、表示部１０８および発光部１０９に対応する。

ストレージ装置９０６は、データ格納用の装置である。ストレージ装置９０６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９０６は、ＣＰＵ９０１が実行するプログラムや各種データを格納する。ストレージ装置９０６は、記憶部１１７に対応する。

撮像装置９０７は、光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。撮像装置９０７は、撮像部１０２に対応する。

通信装置９０８は、例えば、通信網に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９０８は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはＢｌｕｅｔｏｏｔｈ（登録商標）通信装置を含んでもよい。通信装置９０８は、通信部１１０に対応する。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記の一実施形態ではユーザまたは物体を特定することについて説明したが、ペットなどの生物を特定してもよい。生物を特定する方法は、ユーザまたは物体を特定する方法と同様のパターンマッチングによる特定方法をとり得る。

情報処理装置１００がペットなどの生物を特定することによって、例えば、ユーザとペットが同一の部屋にいる場合に、情報処理装置１００は、ペットの撮像画像のスライドショーを実行するなどの出力を行ってもよい。また、情報処理装置１００は、撮像部１０２によって撮像したペットの撮像画像を管理装置３００へ通知することで、ユーザに対してペットの様子を通知してもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
領域、行動および装置出力の制御内容が関連付けられた制御情報を記憶する記憶部と、
ユーザの位置する領域、ユーザの行動および前記制御情報に基づいて出力を行う処理部と、を備える、
情報処理装置。
（２）
前記情報処理装置は、
前記領域、前記行動および前記出力のユーザによる入力を取得する取得部と、
前記取得部により取得された前記ユーザによる入力に基づいて前記制御情報を設定する設定部と、をさらに備える、
前記（１）に記載の情報処理装置。
（３）
前記領域は、前記情報処理装置が設置される敷地内の領域である、
前記（２）に記載の情報処理装置。
（４）
前記領域は、建物を構成する部屋内の領域である、
前記（３）に記載の情報処理装置。
（５）
前記情報処理装置は、
前記部屋において１または２以上の領域を定義する領域管理部をさらに備え、
前記取得部は、前記１または２以上の領域からユーザにより選択された領域を前記ユーザによる入力として取得する、
前記（４）に記載の情報処理装置。
（６）
前記領域管理部は、ユーザによる入力に基づいて前記１または２以上の領域を定義する、
前記（５）に記載の情報処理装置。
（７）
前記領域管理部は、ユーザによって描画または配置されるオブジェクトによって構成される図に基づいて前記１または２以上の領域を定義する、
前記（６）に記載の情報処理装置。
（８）
前記領域管理部は、ユーザの音声に基づいて前記１または２以上の領域を定義する、
前記（６）に記載の情報処理装置。
（９）
前記情報処理装置は、撮像部をさらに備え、
前記領域管理部は、前記撮像部により得られた撮像画像を解析することにより、前記１または２以上の領域を定義する、
前記（５）に記載の情報処理装置。
（１０）
前記１または２以上の領域は、家具、家電製品または備え付け設備に対応する領域である、前記（５）に記載の情報処理装置。
（１１）
前記ユーザは、特定のユーザ、前記特定のユーザによって構成されるグループまたは前記特定のユーザではないユーザである、
前記（１）に記載の情報処理装置。
（１２）
前記制御情報に含まれる前記領域および行動は、領域へ入出に関する情報である、
前記（１）から（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記制御情報に含まれる前記領域および行動は、第１の領域から第２の領域への移動に関する情報である、
前記（１）から（１１）のいずれか１項に記載の情報処理装置。
（１４）
前記取得部は、前記領域、前記行動および前記出力のユーザの音声による入力を取得し、
前記設定部は、前記取得部により取得された前記ユーザの音声による入力に基づいて前記制御情報を設定する、
前記（２）に記載の情報処理装置。
（１５）
前記記憶部は、前記情報処理装置の処理に関する履歴を記憶し、
前記履歴の正誤または修正に関するユーザによる入力を取得する履歴編集部をさらに備える、
前記（１）から（１４）のいずれか１項に記載の情報処理装置。
（１６）
領域、行動および装置出力の制御内容が関連付けられた制御情報を記憶する機能と、
ユーザの位置する領域、ユーザの行動および前記制御情報に基づいて出力を行う機能と、を含む、
コンピュータに実現させるためのプログラム。
（１７）
領域、行動および装置出力の制御内容が関連付けられた制御情報を記憶することと、
ユーザの位置する領域、ユーザの行動および前記制御情報に基づいて出力を行うこと、を含む、
コンピュータにより実行される処理方法。

１００ 情報処理装置
１０１ 収音部
１０２ 撮像部
１０３ 解析部
１０４ 音声解析部
１０５ 撮像解析部
１０６ 処理部
１０７ 発音部
１０８ 表示部
１０９ 発光部
１１０ 通信部
１１１ 管理部
１１２ 制御情報管理部
１１３ ユーザ管理部
１１４ 領域管理部
１１５ 履歴管理部
１１６ 入力部
１１７ 記憶部
２００ 管理サーバ
３００ 管理装置
４１０、４２０ ネットワーク

Claims (16)

1. 建物を構成する部屋内の領域、ユーザの行動および外部機器の制御内容が関連付けられた制御情報を記憶する記憶部と、
   前記ユーザの位置する領域および前記ユーザの行動を検出する検出機能と、
   前記検出機能により検出された前記ユーザの位置する領域、前記検出機能により検出された前記ユーザの行動および前記制御情報に基づいて、前記検出機能により検出された前記ユーザの位置する領域に一致する前記部屋内の領域と、前記検出機能により検出された前記ユーザの行動とに関連付けられた前記制御内容を求め、前記外部機器に出力する処理部と、を備え、
   前記部屋内の領域は、前記ユーザが家具、家電製品または備え付け設備を使用する位置に応じて設定され、
   前記部屋内の領域、前記ユーザの行動および前記制御内容のユーザによる入力を取得する取得部と、
   前記取得部により取得された前記ユーザによる入力に基づいて前記制御情報を設定する設定部と、をさらに備える、
   情報処理装置。
2. 前記部屋内の領域は、前記情報処理装置が設置される敷地内の領域である、
   請求項１に記載の情報処理装置。
3. 前記検出機能は、
   撮像部と、
   前記撮像部により得られた撮像画像を解析して前記ユーザの位置する領域および前記ユーザの行動を特定する撮像解析部と、をさらに備える、
   請求項１に記載の情報処理装置。
4. 前記情報処理装置は、
   １または２以上の前記部屋内の領域を定義する領域管理部をさらに備え、
   前記取得部は、前記１または２以上の前記部屋内の領域からユーザにより選択された領域を前記ユーザによる入力として取得する、
   請求項１に記載の情報処理装置。
5. 前記領域管理部は、ユーザによる入力に基づいて前記１または２以上の前記部屋内の領域を定義する、
   請求項４に記載の情報処理装置。
6. 前記領域管理部は、ユーザによって描画または配置されるオブジェクトによって構成される図に基づいて前記１または２以上の前記部屋内の領域を定義する、
   請求項５に記載の情報処理装置。
7. 前記領域管理部は、ユーザの音声に基づいて前記１または２以上の前記部屋内の領域を定義する、
   請求項５に記載の情報処理装置。
8. 前記情報処理装置は、撮像部をさらに備え、
   前記領域管理部は、前記撮像部により得られた撮像画像を解析することにより、前記１または２以上の前記部屋内の領域を定義する、
   請求項４に記載の情報処理装置。
9. 前記検出機能は、
   撮像部と、
   前記撮像部により得られた撮像画像を解析して前記ユーザ及び物体を特定し、特定した前記ユーザと前記物体との相対位置関係に基づいて、前記ユーザの位置する領域を特定する撮像解析部と、をさらに備える、
   請求項１に記載の情報処理装置。
10. 前記制御情報は、前記部屋内の領域、前記ユーザの行動および前記外部機器の制御内容に加え、時間が関連付けられた制御情報である、
    請求項１に記載の情報処理装置。
11. 前記撮像解析部は、前記撮像部により得られた前記撮像画像を解析し、前記物体が前記家電製品であると特定した場合、前記ユーザが前記家電製品を使用する位置に応じて設定される所定領域を算出し、算出した前記所定領域に前記ユーザが含まれる場合、算出した前記所定領域を前記ユーザの位置する領域として特定する、
    請求項９に記載の情報処理装置。
12. 前記制御情報に含まれる前記部屋内の領域および前記ユーザの行動は、第１の領域から第２の領域への移動に関する情報である、
    請求項１に記載の情報処理装置。
13. 前記取得部は、前記部屋内の領域、前記ユーザの行動および前記制御内容のユーザの音声による入力を取得し、
    前記設定部は、前記取得部により取得された前記ユーザの音声による入力に基づいて前記制御情報を設定する、
    請求項１に記載の情報処理装置。
14. 前記記憶部は、前記情報処理装置の処理に関する履歴を記憶し、
    前記履歴の正誤または修正に関するユーザによる入力を取得する履歴編集部をさらに備える、
    請求項１に記載の情報処理装置。
15. 建物を構成する部屋内の領域、ユーザの行動および外部機器の制御内容が関連付けられた制御情報を記憶する機能と、
    前記ユーザの位置する領域および前記ユーザの行動を検出する検出機能と、
    前記検出機能により検出された前記ユーザの位置する領域、前記検出機能により検出された前記ユーザの行動および前記制御情報に基づいて、前記検出機能により検出された前記ユーザの位置する領域に一致する前記部屋内の領域と、前記検出機能により検出された前記ユーザの行動とに関連付けられた前記制御内容を求め、前記外部機器に出力する機能と、
    前記ユーザが家具、家電製品または備え付け設備を使用する位置に応じて、前記制御情報に含まれる前記部屋内の領域を設定する機能と、
    前記部屋内の領域、前記ユーザの行動および前記制御内容のユーザによる入力を取得する機能と、
    取得された前記ユーザによる入力に基づいて前記制御情報を設定する機能と、を含む、
    コンピュータに実現させるためのプログラム。
16. 建物を構成する部屋内の領域、ユーザの行動および外部機器の制御内容が関連付けられた制御情報を記憶することと、
    前記ユーザの位置する領域および前記ユーザの行動を検出することと、
    検出された前記ユーザの位置する領域、検出された前記ユーザの行動および前記制御情報に基づいて、検出された前記ユーザの位置する領域に一致する前記部屋内の領域と、検出された前記ユーザの行動とに関連付けられた前記制御内容を求め、前記外部機器に出力することと、
    前記ユーザが家具、家電製品または備え付け設備を使用する位置に応じて、前記制御情報に含まれる前記部屋内の領域を設定することと、
    前記部屋内の領域、前記ユーザの行動および前記制御内容のユーザによる入力を取得することと、
    取得された前記ユーザによる入力に基づいて前記制御情報を設定することと、を含む、
    コンピュータにより実行される処理方法。

Images