WO2019130977A1 - 片付け支援システム及びプログラム - Google Patents

Abstract

片付け支援システム（１０）は、宅内の状況のセンシングの結果を示す宅内状況データを取得する情報取得部（１１０）と、宅内状況データに基づいて宅内の散らかり状況を認識する散らかり状況認識部（１２０）と、宅内状況データに基づいて宅内に居るユーザの行動を認識するユーザ行動認識部（１３０）と、散らかり状況及びユーザの行動に基づいて、宅内の片付けに関する所定のルールに従って、ユーザに提示される片付け支援情報を決定する提示情報決定部（１４０）と、宅内にある情報提示器に、決定された片付け支援情報を音声情報及び視覚情報の少なくとも一方として出力させるための片付け支援信号を出力する出力部（１５０）とを備える。

Description

片付け支援システム及びプログラム

　本発明は、片付けに関する情報を提示してユーザの片付けを支援する技術に関する。

　カメラで撮影した画像の信号によるユーザの行動の認識結果から、ユーザの言語学習を支援するデータを出力する装置が提案されている（特許文献１参照）。

特開２００２－２０７４１３号公報

　このようにユーザの役に立つと考えられるべき情報をユーザの行動の認識結果に応じて変えて示す技術がある。

　しかしながら、ユーザにその情報を役に立てようという意志、又はその意志を起こさせる動機付けがなければ、その情報が実際にユーザの役に立つことはない。

　そこで本開示は、ユーザに上記のような情報を提示するとともに、その情報に基づく行動を起こさせる動機付けを与えることでユーザの行動、特に身の回りの片付け行動を支援するシステム等を提供することを目的とする。

　上記の目的を達成するために、本開示の一態様に係る片付け支援システムは、前記宅内の状況をセンシングするセンサからセンシングの結果を示す宅内状況データを取得する情報取得部と、前記宅内状況データに基づいて前記宅内の散らかり状況を認識する散らかり状況認識部と、前記宅内状況データに基づいて前記宅内に居るユーザの行動を認識するユーザ行動認識部と、前記散らかり状況及び前記ユーザの行動に基づいて、前記宅内の片付けに関する所定のルールに従って、前記ユーザに提示される片付け支援情報を決定する提示情報決定部と、前記宅内にある情報提示器に、前記片付け支援情報を音声情報及び視覚情報の少なくとも一方として出力させるための片付け支援信号を出力する出力部とを備える。

　また、本開示の一態様に係る片付け支援プログラムは、コンピュータが備えるプロセッサに、宅内の状況をセンシングするセンサからセンシングの結果を示す宅内状況データを取得させ、前記宅内状況データに基づいて前記宅内の散らかり状況を認識させ、前記宅内状況データに基づいて前記宅内に居るユーザの行動を認識させ、前記散らかり状況及び前記ユーザの行動に基づいて、前記宅内の片付けに関する所定のルールに従って、前記ユーザに提示される片付け支援情報を決定させ、前記宅内で音声情報及び視覚情報の少なくとも一方を前記ユーザに提示する情報提示器に、前記片付け支援情報の内容を表す音声情報及び視覚情報の少なくとも一方を出力させるための片付け支援信号を出力させる。

　本発明の一態様によれば、ユーザに片付けの対象を示す情報を提示するとともに、その情報に基づく片付け行動を起こさせる動機付けを与えることでユーザの片付け行動を支援するシステム等を提供することを目的とする。

図１は、実施の形態１に係る片付け支援システムの機能構成例を示すブロック図である。 図２は、実施の形態１に係る片付け支援システムのハードウェア構成例を説明するためのブロック図である。 図３は、実施の形態１に係る片付け支援システムが取得する宅内状況データの例を示す模式図である。 図４は、実施の形態１に係る片付け支援システムにおいて実行される宅内状況データからの散らかり状況の認識を説明するための図である。 図５は、実施の形態１に係る片付け支援システムにおいて実行される、畳み込みニューラルネットワークを用いた行動の推定による認識を説明するための図である。 図６は、実施の形態１に係る片付け支援システムにおいて用いられる、片付けルールのデータ構成の例を示す図である。 図７は、実施の形態１に係る片付け支援システムの動作の説明のためのシーケンス図である。 図８は、実施の形態２に係る片付け支援システムの機能構成例を示すブロック図である。 図９は、実施の形態２に係る片付け支援システムにおける、ユーザ行動認識部の動作を示すフロー図である。 図１０は、実施の形態３に係る片付け支援システムの機能構成例を示すブロック図である。 図１１は、実施の形態４に係る片付け支援システムの機能構成例を示すブロック図である。 図１２は、変形例に係る片付け支援システムの機能構成例を示すブロック図である。 図１３は、変形例に係る片付け支援システムの動作の説明のためのシーケンス図である。 図１４Ａは、変形例に係る片付け支援システムの機能構成の他の例を示すブロック図である。 図１４Ｂは、変形例に係る片付け支援システムの機能構成の他の例を示すブロック図である。 図１４Ｃは、変形例に係る片付け支援システムの機能構成の他の例を示すブロック図である。 図１５は、各々が情報提示器として機能する複数台のロボットを備える、その他の実施の形態のひとつに係る片付け支援システムの機能構成例を示すブロック図である。 図１６は、ロボットである情報提示器の機能構成例を示す機能ブロック図である。

　以下、本発明の実施の形態について、図面を参照しながら説明する。以下に説明する実施の形態及びその変形例は、いずれも本発明の一具体例を示すものである。したがって、以下の実施の形態及びその変形例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態等は、一例であって本発明を限定する趣旨ではない。よって、以下の実施の形態及びその変形例における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

　（実施の形態１）
　［概要］
　本実施の形態に係る片付け行動支援システムでは、センサを用いて検知された宅内の状況のデータから、この宅内の散らかり状況及びこの宅内に居るユーザの行動が認識される。そして、認識された散らかり状況及びユーザの行動と、片付けに関する所定のルールとに従って、宅内の片付けを支援するためにユーザに提示される情報の内容とその提示のタイミングとが決定され、ユーザに提示される。

　［構成］
　図１は、本実施の形態に係る片付け支援システム１０の機能構成例を示すブロック図である。また、図２は、実施の形態１に係る片付け支援システムのハードウェア構成例を説明するためのブロック図である。

　片付け支援システム１０は、状況検知部２００、情報取得部１１０、散らかり状況認識部１２０、ユーザ行動認識部１３０、提示情報決定部１４０、出力部１５０、記憶部１６０、及び情報提示器３００を備える。

　状況検知部２００は、宅内の散らかり状況及びこの宅内に居るユーザの行動の認識に用いられるデータを収集する。そのようなデータ（以下、宅内状況データという）は宅内の状況をセンシングするセンサによるセンシングの結果であり、状況検知部２００は、このセンサを備える機器、例えば図２に示されるようなカメラ２００ａを用いて実現される。カメラ２００ａの場合、センサとは具体的にはイメージセンサである。状況検知部２００の実現に用いられるセンサの他の例としては、距離画像センサ及びドップラーセンサが挙げられる。これらのセンサは組み合わせて用いられてもよい。また、カメラ２００ａは複数のイメージセンサを備えるステレオカメラであり、ステレオカメラを用いて状況検知部２００が実現されてもよい。

　情報取得部１１０は、状況検知部２００が出力する信号の入力を受け、状況検知部２００によるセンシングの結果を示す宅内状況データを取得する。宅内状況データとは、例えばイメージセンサが撮影した画像、又はセンサから宅内の物又は人までの距離を示す距離画像等である。図３は、このような宅内状況データの一例である、イメージセンサが撮影した画像の模式図である。この画像は、ある宅内の一室を一方向から撮影した静止画又は動画像に含まれる１つのフレーム画像である。

　散らかり状況認識部１２０は、情報取得部１１０が取得した宅内状況データに基づいて宅内の散らかり状況を認識する。図４は、散らかり状況認識部１２０による宅内状況データからの散らかり状況の認識を説明するための図である。この説明では、図３に示す撮影画像と、この撮影画像の深度（センサ又はカメラから各被写体までの距離）情報（図示なし）とを宅内状況データの例として用いる。

　散らかり状況認識部１２０は、図３に示される撮影画像を図４の（ａ）に示されるように複数のサブ領域に分割する。そして各サブ領域をフーリエ変換して、図４の（ｂ）に示されるようなサブ領域ごとの周波数画像を取得する。図４の矢印は、サブ領域とその周波数画像との対応の例を示す。ただし、矢印では結ばれていない他の６個のサブ領域とその周波数画像との間にも一対一の対応関係がある。なお、図４の例では、撮影画像は９個のサブ領域に分割されているが、サブ領域の個数は９個に限定されない。

　続いて散らかり状況認識部１２０は、サブ領域ごとの周波数画像の高周波成分強度の和と平均深度との積を求める。これは、同じ大きさの２つのサブ領域で、写る範囲に遠近差がある場合、散らかりの程度が同程度であっても、高周波成分強度は、遠い範囲を写すサブ領域の方がより高く出る。このような距離の差による高周波成分の出やすさの違いを、各サブ領域の平均深度を乗じることで補正している。

　さらに散らかり状況認識部１２０は、各サブ領域について求めたこの積を合計する。このようにして得られた値が、片付け支援システム１０では撮影画像に写る空間全体の散らかりの程度を示す値として用いられる。この値は、散らかり状況の認識結果として提示情報決定部１４０に出力される。なお、各サブ領域について求められた積は、各サブ領域に写る範囲の散らかりの程度を示す値として用いられてもよい。

　ユーザ行動認識部１３０は、情報取得部１１０が取得した宅内状況データに基づいて、宅内に居るユーザの行動を認識する。ユーザの行動の認識は、例えば畳み込みニューラルネットワークの手法を用いて実行される。図５は、畳み込みニューラルネットワークを用いた行動の推定による認識を説明するための図である。

　図５の（ｂ）に示される、ユーザ行動認識部１３０で用いられる畳み込みニューラルネットワークは、画像からの行動認識のための事前学習済みのモデルである。図５の（ａ）に示される畳み込みニューラルネットワークへの入力データは、例えば宅内状況データである撮影画像の赤色輝度値、緑色輝度値、及び青色輝度値、つまりＲＧＢ値であり、同図の（ｃ）に示される出力データには、畳み込みニューラルネットワークによる認識結果であるユーザの行動及びその確率が含まれる。図５の例では、最も確率の高い行動として洗濯物干しが推定され、以下、掃除、料理と続く推定された認識結果が出力データに含まれている。このユーザの行動の認識結果は、提示情報決定部１４０に出力される。

　提示情報決定部１４０は、散らかり状況認識部１２０から入力を受けた散らかり状況の認識結果及びユーザ行動認識部１３０から入力を受けたユーザの行動の認識結果に基づいて、ユーザに提示される片付け支援情報を決定する。この決定のために、提示情報決定部１４０はさらに所定のルールを用いる。図１に示される、記憶部１６０に保持されている片付けルールは、本実施の形態におけるこの所定のルールの一例である。また、図６は片付けルールのデータ構成の例を示す図である。

　図６の例では、テーブルの各行の内容が１つの片付けルールに対応する。各片付けルールは、互いに関連付けられた散らかり状況、ユーザの行動、及び片付け支援情報からなる。

　提示情報決定部１４０は、散らかり状況認識部１２０から入力された散らかり状況の認識結果、及びユーザ行動認識部１３０から入力されたユーザの行動の認識結果の最も可能性の高いものを含む行を探す。そしてそのような行が見つかると、ユーザ行動認識部１３０はその行にある片付け支援情報の内容をユーザに提示される片付け支援情報として決定する（片付けルールの適用）。片付け支援情報の内容としては、例えば図６に示されるような、認識されたユーザの行動に応じた片付けを勧めるメッセージが含まれてもよい。このメッセージには、片付けを実行すること又はしないことのユーザ自身の行動又は気分への影響が表されている。このようなメッセージを受け取ることにより、ユーザは、片付けをしようと動機付けられる。

　また、このような所定のルール間には、適用される優先順位があってもよい。例えば、図６のようなテーブル内での各行の並び順が優先順位に従ってもよいし、テーブルに各行にある片付けルールの優先順位を示す列がさらに含まれてもよい。

　決定された片付け支援情報については、提示情報決定部１４０から出力部１５０に通知される。

　出力部１５０は、通知を受けた片付け支援情報を音声情報及び視覚情報の少なくとも一方として情報提示器３００に出力させるための信号を情報提示器３００に送信する。情報提示器３００とは、状況検知部２００による宅内状況データの収集対象である宅内で、ユーザに音声情報又は視覚情報を提示可能な機器、つまり音声の出力又は文字若しくは映像の表示が可能な機器であり、例えばスピーカ、ディスプレイ、又はこれらを含む情報処理端末で実現される。また、宅内の照明器具の照明態様の変化によって片付け支援情報が視覚的にユーザに提示されてもよく、この場合、情報提示器３００は照明器具（例えば図２の照明器具３００ａ）によっても実現され得る。

　情報提示器３００に送信される信号とは、例えば記憶部１６０に記憶されている音声データ（図示なし）のうち、ユーザに提示されるものを示す信号であり、出力部１５０から音声情報の提示が可能な機器に送信される。または、情報提示器３００がそのような音声データを保持している場合には、その音声データを特定して情報提示器３００に再生させるための信号である。

　なお、音声による具体的な片付け支援情報の提示は、宅内に居るユーザが上記で例示した情報提示器３００の画面を見ていない又は見ることができない状態であっても当該ユーザに片付けを実行するきっかけを与えることができるという有益な効果がある。

　また、情報提示器３００に文字又は図形等の映像を表示させるためには、記憶部１６０に記憶されている映像データのうち、ユーザに提示されるものを示す信号が出力部１５０から映像の表示が可能な機器に送信される。または、情報提示器３００がそのような映像データを保持している場合には、その映像データを特定して情報提示器３００に再生させるための信号が送信される。

　また、情報提示器３００が照明器具であってその照明態様を変化させるためには、例えば照明器具を制御するための信号が出力部１５０から照明器具に送信される。

　このように、ユーザの片付けを支援するための動作を情報提示器３００にさせるために出力部１５０から情報提示器３００に送信される信号を、以下ではその示す内容に拘わらず片付け支援信号ともいう。

　ここで、情報取得部１１０、散らかり状況認識部１２０、ユーザ行動認識部１３０、提示情報決定部１４０、出力部１５０、及び記憶部１６０は、図２に示されるように、例えばプロセッサ等の演算装置及び半導体メモリ等の記憶装置を含む、１台以上の情報処理装置１００ａにおいて、プロセッサが、後述の動作に係る処理手順を記述したプログラムを実行することで実現される。なお、記憶装置とは、プロセッサが読み出して実行するこのプログラム、又はその実行の中間生成データ若しくは結果として生成されるデータが電磁的に記録される、一時的又は非一時的な記憶媒体を含む。情報処理装置の種類及び設置場所は様々な態様が可能である。例えば、状況検知部２００による宅内状況データの収集対象である宅内にある、デスクトップ型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、又はスマートフォン等の情報処理端末であってもよい。または、この宅内とは別の場所にあるサーバ型コンピュータであってもよいし、これらの組み合わせであってもよい。

　なお、状況検知部２００及び情報提示器３００は、上記の情報処理装置１００ａと、無線であるか有線であるか、事業者によって提供される通信回線を含むか否かを問わず、上記のようなデータ（を示す信号）をやり取りするために、通信可能に接続される。

　または、状況検知部２００、情報処理装置１００ａ、及び情報提示器３００は、上述のように通信し合う個別の機器でなくてもよい。例えば宅内にあるカメラ付タブレット型コンピュータによって、カメラ２００ａ、情報処理装置１００ａ、及び音声出力器３００ｂが提供されてもよい。また、片付け支援システム１０を実現するために、カメラ２００ａ及び情報処理装置１００ａが担う機能を備える１台の装置が提供されてもよい。

　［動作］
　片付け支援システム１０の動作について説明する。図７は、片付け支援システム１０の動作の説明のためのシーケンス図である。

　まず、宅内の状況をセンシングするセンサが出力するセンシングの結果を示す宅内状況データが、状況検知部２００から情報処理装置１００ａに送信される（ステップＳ２０１）。

　情報処理装置１００ａでは、情報取得部１１０が宅内状況データを取得すると（ステップＳ１０１）、この宅内状況データに基づいて、散らかり状況認識部１２０が宅内の散らかり状況の認識（ステップＳ１０２）を、ユーザ行動認識部１３０がユーザの行動の認識（ステップＳ１０３）を実行する。

　次に情報処理装置１００ａでは、提示情報決定部１４０が、ステップＳ１０３及びステップＳ１０５での認識結果が、いずれかの片付けルールに含まれる条件を満たしているか判定する（ステップＳ１０４）。いずれの片付けルールについても条件が満たされていない場合（ステップＳ１０４でＮＯ）、情報処理装置１００ａでの処理対象は次の宅内状況データになる。いずれかの片付けルールに含まれる条件が満たされている場合（ステップＳ１０４でＹＥＳ）、提示情報決定部１４０は、この片付けルールに含まれる片付け支援情報を、ユーザに提示する片付け支援情報と決定する（ステップＳ１０５）。

　ユーザに提示する片付け支援情報が提示情報決定部１４０で決定されると、出力部１５０は、この片付け支援情報を画像、文字、光又は音声で情報提示器３００に提示させるための片付け支援信号を、情報提示器３００に出力する（ステップＳ１０６）。

　この片付け支援信号を受信（ステップＳ３０１）した情報提示器３００は、片付け支援信号に基づいて画像、文字、光又は音声を出力して片付け支援情報を提示する（ステップＳ３０２）。

　このような一連の手順を含む動作によって、宅内の散らかり状況及びユーザの状況に基づいて選択、決定される片付け支援情報がユーザに提示される。

　なお、片付け支援システム１０における、片付けルールに含まれる条件を用いた判断、ユーザに提示される片付け支援情報の内容及びその提示のタイミングは、ここまでの例示に限定されない。

　例えば上記の説明では、散らかり状況をセンシング対象である宅内の散らかりの程度に関する状況として説明したがこれに限定されない。散らかり状況は、センシング対象の散らかり状況として、状況検知部２００によるセンシング対象の宅内の一部の場所が散らかっている場所、つまりは宅内の片付けられるべき場所が認識されてもよい。または、散らかり状況として、宅内にある片付けられるべき物が認識されてもよい。このような場所又は物も、上述のような画像の解析手法によって認識することができる。

　これらの認識の結果は、例えば認識に用いられた宅内状況データである画像上で、片付けられるべき場所又は物を含むサブ領域を特定する情報、又はこの画像若しくは予め宅内の空間に設定された座標系でのこれらの場所又は位置を示す座標等の形で含んでもよい。また、認識の結果には、場所であれば「テーブルの上」、「床」、「ソファ」、物であれば「新聞」、「おもちゃ」、「衣服」のように、認識された場所又は物の具体的な名称の情報が含まれてもよい。

　そしてこの場合に提示される片付け支援情報は、この宅内の片付けられるべき場所又は物を示す情報であってもよい。このような片付け支援情報の具体例としては、音声又は文字の情報であれば、その場所又は物を示す名称を含む。また、片付け支援信号は、このような音声又は文字を情報提示器３００に表示させるための信号である。

　また、情報提示器３００としての照明器具の照明態様による情報であれば、当該照明器具がその特定の場所又は物を他の箇所よりも明るく照らす、又は他の箇所と異なる色の光で照らす等して、強調照明してもよい。なお、このような照明態様は、照射方向を切り替えて照明可能な１個の照明器具によって実現されてもよいし、宅内の異なる場所を照明する複数個の照明器具で実現されてもよい。また、片付け支援信号は、このような態様での照明を照明器具に実行させるための信号である。この信号は、例えば、強調照明の対象である場所又は物の方向を表す所定の区画又は座標等で示し、またはさらに、強調照明の態様を示してもよい。片付けられるべき物によって異なる態様で強調照明が実行される場合が考えられる。

　また例えば、上述の例では、認識されたユーザの行動が、条件として示される特定の行動に合致することでユーザに提示される片付け支援情報の内容が決定されている。そのバリエーションの一例として、例えば、片付けに関連する所定の行動（以下、片付け関連行動ともいう）に関する認識の結果が、ユーザに片付け支援情報を提示するタイミングの決定に用いられてもよい。

　片付け関連行動とは、例えば、ユーザが家事等の作業又は誰かの世話又は相手をすることを中断することなく片付けに取りかかることができる状態でする行動である。このような行動が認識された場合、提示情報決定部１４０は片付け支援情報の提示をするタイミングであると決定して、片付け支援信号を、出力部１５０から情報提示器３００に出力させてもよい。これにより、ユーザが片付け行動を起こしやすいタイミングで片付けを促すことができる。したがって、提示された片付け支援情報を参考にしてユーザが実際に片付けをするという、片付け支援システム１０の実効性の維持又は向上が図られる。

　また逆に、片付け関連行動とは、ユーザが片付けに取りかかるには何かの作業を中断する必要がある等の不都合な状態にある行動であってもよい。このような行動が認識された場合には、散らかり状況に基づいて片付け支援情報が決定されていても、片付け支援情報を提示するタイミングではないと決定して、出力部１５０から情報提示器３００への片付け支援信号の出力はされない。これにより、片付けについて急かしたり、心理的な負担を与えたりすることで、ユーザを不快にしたり苛立たせたりすることを避けることができる。また、このような感情を招くと、片付け支援システム１０に対するユーザの信頼性が損なわれ、片付け支援システム１０が提示する片付け支援情報をユーザが参考にしなくなるおそれもある。このようなタイミングでの片付け支援情報の提示を避けることで、片付け支援システム１０の実効性の維持又は向上にもつながる。

　なお、このように片付け支援情報を提示するタイミングが、片付け関連行動を実行しているか否かに応じて決定される場合には、片付け支援情報の内容については、散らかり状況のみに基づいて決定されてもよい。この場合、片付け支援情報の内容に含まれるのは、図６に例示されるような認識されたユーザの行動に関連する情報がなく、宅内の散らかりの程度に関する情報、又はさらに散らかっている場所若しくは物についての情報のみであってもよい。

　［効果］
　このように、本実施の形態に係る片付け支援システム１０は、状況検知部２００と、情報取得部１１０と、散らかり状況認識部１２０と、ユーザ行動認識部１３０と、提示情報決定部１４０と、出力部１５０と、情報提示器３００とを備える。

　状況検知部２００は、宅内の状況をセンシングするセンサを備え、センシングの結果を示す宅内状況データを出力し、情報取得部１１０は、この宅内状況データを取得する。宅内状況データに基づいて、散らかり状況認識部１２０は宅内の散らかり状況を認識し、ユーザ行動認識部１３０は宅内に居るユーザの行動を認識する。提示情報決定部１４０は、散らかり状況及びユーザの行動に基づいて、宅内の片付けに関する所定のルールに従って、ユーザに提示される片付け支援情報を決定する。出力部１５０は、宅内で音声情報及び視覚情報の少なくとも一方を前記ユーザに提示する情報提示器３００に、片付け支援情報の内容を表す音声情報及び視覚情報の少なくとも一方を出力させる片付け支援信号を出力する。情報提示器３００は、受け取った片付け支援信号に基づいて音声情報又は視覚情報をユーザに提示する。

　これによりユーザは、宅内の散らかり状況と、その時の自身の行動への、片付けを実行することの良い影響を知ることができ、片付けをしようと動機付けられる。

　また、認識されるユーザの行動とは、ユーザがする片付けに関連する所定の行動であり、提示情報決定部１４０は、所定のルールに従って、ユーザがこの所定の行動を実行しているか否かに応じて、片付け支援情報を提示するタイミングを決定してもよい。

　これにより、ユーザへの片付けの促しが、ユーザが実行しやすいタイミング又はで実行され、片付け支援システム１０の実効性の維持又は向上が図られる。

　また、散らかり状況は、宅内の散らかりの程度、宅内にある片付けられるべき物、及び宅内の片付けられるべき場所の少なくともひとつに関する状況であり、片付け支援情報は、散らかり状況を示す情報を含んでもよい。

　このような片付けの対象に関してより具体的な情報が提示されることで、ユーザにより強い片付けの動機付けを与えることができる。

　また、散らかり状況は、宅内での片付けられるべき物及び宅内の片付けられるべき場所の少なくともひとつに関する状況であり、片付け支援信号は、情報提示器３００として宅内にある照明器具に、宅内での片付けられるべき物又は場所を強調照明させるための信号である。

　これにより、片付けの対象が視覚的に強調されることで、ユーザにより強い片付けの動機付けを与えることができる。

　（実施の形態２）
　次に、実施の形態２に係る片付け支援システムについて説明する。本実施の形態に係る片付け支援システム１０Ａは、所定時間にわたって取得された宅内状況データに基づいてユーザの行動の認識がなされる点において、実施の形態１に係る片付け支援システム１０と相違する。以下、本実施の形態に係る片付け支援システム１０Ａについて、実施の形態１に係る片付け支援システム１０との相違点を中心に図面を用いて説明する。

　［構成］
　図８は、本実施の形態に係る片付け支援システム１０Ａの機能構成例を示すブロック図である。なお、片付け支援システム１０Ａのハードウェア構成は、実施の形態１に係る片付け支援システム１０のハードウェア構成例と共通のものが適用可能であるため、図示及び説明を省略し、以下では共通の参照符号を用いて示す。

　図８に示されるように、片付け支援システム１０Ａでは、記憶部１６０Ａが、実施の形態１における記憶部１６０と異なり、時系列宅内状況データを蓄積する。このような記憶部１６０Ａは、本実施の形態における宅内状況データ蓄積部の例であり、記憶部１６０Ａは、記憶部１６０と同様に情報処理装置１００ａが備える記憶装置を用いて実現される。

　時系列宅内状況データとは、所定時間にわたるセンシングの結果を示す宅内状況データであり、例えば異なる時間に撮影された静止画、又は動画像に含まれる複数のフレーム画像のデータである。ユーザ行動認識部１３０によるユーザの行動の認識が、この時系列宅内状況データに基づいて行われる点も、片付け支援システム１０Ａの実施の形態１に係る片付け支援システム１０との相違点である。

　これにより、瞬間的な宅内の状況を示す宅内状況データに基づく認識よりも、より高い精度の、又はより詳細なユーザの行動の認識をすることができる。

　なお、図８に矢印で示される構成要素間でのデータのやり取りの経路は一例であり変形が可能である。例えば情報取得部１１０は、宅内状況データを情報取得部１１０からではなく、記憶部１６０Ａに蓄積されている時系列宅内状況データから抽出して取得してもよい。また、ユーザ行動認識部１３０は、情報取得部１１０から宅内状況データを取得し、必要に応じて記憶部１６０Ａに蓄積されている時系列宅内状況データを取得してもよい。

　［動作］
　片付け支援システム１０Ａの動作の全体の流れは、図７で示される実施の形態１に係る片付け支援システム１０の動作と共通であるため説明は省略し、ここでは、相違点である、ユーザ行動認識部１３０によるユーザの行動の認識の動作について、具体的な例を用いて説明する。図９は、片付け支援システム１０Ａにおけるユーザ行動認識部１３０の動作のフロー図である。

　例えば時刻ｔ、時刻ｔ－ａ、及び時刻ｔ－ｂ（ｂ＞ａ）のそれぞれで撮像された画像が利用可能であると想定する。

　まず、最も古い時刻ｔ－ｂに撮影された画像のＲＧＢ値のベクトルを非線形変換して特徴量（以下、特徴Ａとする）を抽出する（ステップＳ９１）。

　次に、特徴Ａと、次に古い時刻ｔ－ａに撮影された画像のＲＧＢ値のベクトルとの合成ベクトルを非線形変換して特徴量（以下、特徴Ｂとする）を抽出する（ステップＳ９３）。

　最後に、特徴Ｂを用いて学習済みの畳み込みニューラルネットワークのモデルを用いて、最も新しい時刻ｔに撮影された画像のＲＧＢ値を入力として、ユーザの行動の認識を実行する（ステップＳ９５）。

　［効果］
　このように時系列に沿った複数の静止画の画像データに基づいてユーザの行動を認識することで、より高精度に、又はより詳しくユーザの行動を認識することができる。例えばリモコンを手に持っているユーザの画像のみでは精度よく区別できない、テレビの視聴を開始しようとリモコンを手にした行動と、リモコンを片付ける行動とを区別して認識することができる。

　これにより、片付け支援システム１０Ａは、ユーザに片付け支援行動を提示すべきタイミングの決定を、より精度よく行うことができる。

　（実施の形態３）
　次に、実施の形態３に係る片付け支援システムについて説明する。本実施の形態に係る片付け支援システム１０Ｂは、過去に認識された散らかり状況の継続状況にもさらに基づいて散らかり状況の認識がなされる点において、実施の形態１に係る片付け支援システム１０と相違する。以下、本実施の形態に係る片付け支援システム１０Ｂについて、実施の形態１に係る片付け支援システム１０との相違点を中心に図面を用いて説明する。

　［構成］
　図１０は、本実施の形態に係る片付け支援システム１０Ｂの機能構成例を示すブロック図である。なお、片付け支援システム１０Ｂのハードウェア構成は、実施の形態１に係る片付け支援システム１０のハードウェア構成例と共通のものが適用可能であるため、図示及び説明を省略し、以下では共通の参照符号を用いて示す。

　図１０に示されるように、片付け支援システム１０Ｂでは、記憶部１６０Ｂが、実施の形態１における記憶部１６０と異なり、散らかり状況認識部１２０が認識済みの散らかり状況を時系列で蓄積する。このような記憶部１６０Ｂは、本実施の形態における散らかり状況蓄積部の例であり、記憶部１６０Ｂは、記憶部１６０と同様に情報処理装置１００ａが備える記憶装置を用いて実現される。

　時系列で蓄積される散らかり状況とは、散らかり状況認識部１２０が認識した散らかり状況及びその認識の基になった宅内状況データの時刻又は時間順の情報である。

　［動作］
　片付け支援システム１０Ｂの動作の全体の流れは、図７で示される実施の形態１に係る片付け支援システム１０の動作と共通であるため説明は省略する。本実施の形態については、相違点である時系列宅内状況データに関する散らかり状況認識部１２０の動作の内容について説明する。

　散らかり状況認識部１２０は、宅内状況データに基づいて認識した散らかり状況を提示情報決定部１４０に入力するのみならず、散らかり状況蓄積部として機能する記憶部１６０Ｂに蓄積させる。また、散らかり状況認識部１２０は、情報取得部１１０から入力された最新の宅内状況データに加え、散らかり状況蓄積部に蓄積された散らかり状況にさらに基づいて宅内の散らかり状況の認識を行う。これにより、例えば過去のある時刻にある場所で認識され始めた物が、一定時間を超えて同じ場所で認識され続けている場合に、片付けられるべき物として散らかり状況認識部１２０に認識され、認識結果が提示情報決定部１４０に入力される。

　なお、上記の片付けられるべき物は、蓄積された散らかり状況にさらに基づいて認識される宅内の散らかり状況の例であってこれを限定する物ではない。例えば、一定時間を超えて散らかっている領域が片付けられるべき場所として認識されてもよいし、所定の閾値を超える宅内全体の散らかりの程度が一定時間を超えているか否か、又はその継続時間が散らかり状況として提示情報決定部１４０に入力されてもよい。

　この認識結果の入力を受けた提示情報決定部１４０は、この片付けられるべき物を特定してユーザに示す情報を片付け支援情報に決定してもよい。このような片付け支援情報の内容のユーザへの提示は、情報提示器３００から出力される音声情報に、片付けられるべき物の名称又は場所が含められることでなされてもよいし、視覚情報として、片付けられるべき物が強調照明されることでなされてもよい。

　また、継続している散らかり状況の継続時間についての情報が片付け支援情報に含められてもよい。より具体的には、情報提示器３００から出力される音声情報に、その時間が含められることでなされてもよいし、視覚情報として、片付けられずに放置されている時間が長い物又は場所ほどより強い強調照明、例えばより明るい又はより目立つ色の光による照明が適用されてもよい。

　［効果］
　片付けの対象に関してより具体的な情報が提示されることで、ユーザにより強い片付けの動機付けを与えることができる。

　（実施の形態４）
　次に、実施の形態４に係る片付け支援システムについて説明する。本実施の形態に係る片付け支援システム１０Ｃは、さらにユーザ又は宅内の散らかり状況に関する属性を示す情報に基づいて片付け支援情報を決定する点が実施の形態１に係る片付け支援システム１０と相違する。以下、本実施の形態に係る片付け支援システム１０Ｃについて、実施の形態１に係る片付け支援システム１０との相違点を中心に図面を用いて説明する。

　［構成］
　図１１は、本実施の形態に係る片付け支援システム１０Ｃの機能構成例を示すブロック図である。なお、片付け支援システム１０Ｃのハードウェア構成は、実施の形態１に係る片付け支援システム１０のハードウェア構成例と共通のものが適用可能であるため、図示及び説明を省略する。

　図１１に示されるように、片付け支援システム１０Ｃは、さらに属性情報取得部１７０を備える。属性情報取得部１７０は、ユーザ又は宅内の散らかり状況に関する属性を示す属性情報を取得する。

　属性情報の内容の例としては、ユーザの属性としての片付け支援システム１０Ｃが使用される場所の利用者の数又は構成（例えば家族の構成）が挙げられる。また、宅内の散らかり状況に関する属性の例として、部屋の用途（リビングルーム、書斎、子供部屋等）が挙げられる。

　このような属性情報は、例えば情報処理装置１００ａであるコンピュータのユーザインタフェースを用いてユーザによって情報処理装置１００ａに入力される。そしてこの属性情報は、情報処理装置１００ａにおいてプロセッサがプログラムを実行することで実現される属性情報取得部１７０によって入力として取得される。属性情報取得部１７０が取得した属性情報は、提示情報決定部１４０に入力される。

　実施の形態４において、提示情報決定部１４０は、実施の形態１でも用いられた散らかり状況の認識結果及びユーザの行動の認識結果に加えて、この属性情報に基づいて片付け支援情報を決定する。

　例えば家族の構成に乳児又は幼児が含まれる場合、含まれない場合に比べて、提示情報決定部１４０は散らかりの程度に関する条件を、片付けルールに含まれるものから緩和して用いてもよい。または、提示情報決定部１４０は、家族の構成に乳児又は幼児が含まれる場合と含まれない場合とで、異なる片付けルールのセットを用いてもよい。この場合、家族の構成に乳児又は幼児が含まれる場合に用いられる片付けルールのセットの方が、散らかりの程度に関する条件が緩い。

　これにより、例えば散らかりやすい家族構成で暮らすユーザに対して片付けの促しが頻繁になり過ぎてストレスを与えたり、片付け支援システム１０Ｃの提示する情報を無視したりするような状況の発生が抑えられる。

　また、属性情報が示す部屋の用途に応じて、提示情報決定部１４０は、片付けルールに含まれる散らかりの程度に関する条件を変更して用いてもよい。または、提示情報決定部１４０は、属性情報が示す部屋の用途に応じて、異なる片付けルールのセットを用いてもよい。

　これにより、部屋の用途により異なる物の量、散らかりやすさ、片付けの必要の程度等に応じた適切な頻度でユーザに片付けが促されるよう調整することができる。

　［効果］
　このように、片付け支援情報のユーザへの提示の頻度の調節を可能にすることで、ユーザにとって負担にならないよう片付けの動機付けを与えることができる。

　（変形例）
　上記各実施の形態に係る片付け支援システムでも、ユーザへの片付けの促しの実効性は考慮されているが、変形例として、実効性のさらなる向上又は実効性の持続を図る構成を有する片付け支援システムについて説明する。

　［構成］
　図１２は、本変形例に係る片付け支援システム１０１０の機能構成例を示すブロック図である。なお、片付け支援システム１０１０のハードウェア構成は、実施の形態１に係る片付け支援システム１０のハードウェア構成例と共通のものが適用可能であるため、図示及び説明を省略し、以下では共通の参照符号を用いて示す。以下、片付け支援システム１０１０について、実施の形態１に係る片付け支援システム１０との相違点を中心に説明する。

　図１２に示されるように、片付け支援システム１０１０は片付け支援システム１０の構成に加えて提示情報管理部１９０を備える。

　提示情報管理部１９０は、情報提示器３００によって音声などの形で片付け支援情報がユーザにいったん提示された後の宅内の散らかり状況若しくはユーザの行動、又はその両方に基づいて片付けルールを変更する。提示情報管理部１９０もまた、情報処理装置１００ａにおいて、プロセッサが後述の動作に係る処理手順を記述したプログラムを実行することで実現される。

　［動作］
　片付け支援システム１０１０では、図７に示される一連の動作によって片付け支援情報をユーザに一旦提示すると、この片付け支援情報の提示の態様がユーザにとって効果的であったか否かを判定し、この判定の結果に応じた動作をする。以下に説明するのは、この判定を含む片付け支援システム１０１０の動作である。図１３は、片付け支援システム１０１０の動作の説明のためのシーケンス図であり、図７に示される動作に続く動作を示す。なお、図７に示す動作と共通のステップは共通の参照符号を用いて示し、その説明を省略又は簡略化する場合がある。

　図７でのステップＳ３０２において片付け支援情報が提示された後、状況検知部２００が備えるセンサによって宅内の状況がによってセンシングされる。そしてこのセンサが出力したセンシングの結果を示す宅内状況データが、状況検知部２００から情報処理装置１００ａに送信される（ステップＳ２０１）。

　情報処理装置１００ａでは、この宅内状況データを情報取得部１１０が取得する（ステップＳ１０１）。そしてこの宅内状況データに基づいて、散らかり状況認識部１２０が宅内の散らかり状況の認識（ステップＳ１０２）を、ユーザ行動認識部１３０がユーザの行動の認識（ステップＳ１０３）を実行する。

　次に情報処理装置１００ａでは、提示情報管理部１９０がステップＳ１０２及びステップＳ１０３での認識結果に基づいて、片付けルールを変更する。

　より具体的には、まず、提示情報管理部１９０が、認識結果として受け取った宅内の散らかり状況若しくはユーザの行動、又はその両方から、前回の片付け支援情報の提示（図７のステップＳ３０２）が効果的であったか否かを判定する。

　例えば、宅内状況データが示す宅内の散らかりの程度が、前回、つまり図７でのステップＳ１０２での認識結果よりも低下している場合、片付け支援情報の提示が効果的であったと判定してもよい（ステップＳ１１４でＹＥＳ）。または、宅内状況データが示すユーザの行動が宅内の片付けである場合に、片付け支援情報の提示が効果的であったと判定してもよい（ステップＳ１１４でＹＥＳ）。これらの場合、情報処理装置１００ａでの動作の手順は、提示情報決定部１４０によるステップＳ１０４に進む。

　また例えば、宅内状況データが示す宅内の散らかりの程度が、前回と変わらないか又は上昇している場合に、片付け支援情報の提示が効果的ではなかったと判定する（ステップＳ１１４でＮＯ）。または、宅内状況データが示すユーザの行動が宅内の片付けではなかった場合に、片付け支援情報の提示が効果的ではなかったと判定してもよい（ステップＳ１１４でＮＯ）。これらの場合、提示情報管理部１９０は、前回実行された図７でのステップＳ１０４で条件が満たされていると判定された片付けルールに変更を加える（ステップＳ１１５）。例えば前回のステップＳ１０４では、図６に示される片付けルールのうち、一行目の片付けルールが含む条件が満たされていた場合、ステップＳ１１５では、一行目の片付けルールが含む条件が変更される。より具体的には、例えば散らかり状況の条件に含まれる散らかりの程度の数値が引き上げられてもよい。つまり、変更後のこの条件は、宅内の散らかりの程度が変更前と同等では満たされず、より散らかっている場合に満たされる。引き上げの程度は、例えばプロセッサが実行するプログラムで、または、ユーザ設定によってあらかじめ定められていてもよい。

　次に情報処理装置１００ａでは、提示情報決定部１４０が、今回、つまり図１３でのステップＳ１０２及びステップＳ１０３での認識結果が、いずれかの片付けルールに含まれる条件を満たしているか判定する（ステップＳ１０４）。いずれの片付けルールについても条件が満たされていない場合（ステップＳ１０４でＮＯ）、情報処理装置１００ａでの処理対象は次に受信される宅内状況データになる。いずれかの片付けルールに含まれる条件が満たされている場合（ステップＳ１０４でＹＥＳ）、提示情報決定部１４０はこの片付けルールに含まれる片付け支援情報を、ユーザに提示する片付け支援情報と決定する（ステップＳ１０５）。

　ユーザに提示する片付け支援情報が決定されると、出力部１５０は、この片付け支援情報を画像、文字、光又は音声で情報提示器３００に提示させるための片付け支援信号を、情報提示器３００に出力する（ステップＳ１０６）。

　片付け支援信号を受信（ステップＳ３０１）した情報提示器３００は、受信した片付け支援信号に基づいて画像、文字、光又は音声を出力してユーザに片付け支援情報を提示する（ステップＳ３０２）。

　情報処理装置１００ａがこのように動作することで、ユーザのある行動に対して片付け支援情報が出される散らかりの程度は引き上げられる。例えばユーザが料理をしている時、又はテレビを視聴している時にある片付けルールに則って一旦片付け支援情報が提示されてもその提示の効果が見られなかった場合、次にこの片付けルールに則って片付け支援情報が提示されるのは、宅内がより散らかった状態になってからである。

　これにより、ユーザの何らかの事情、例えばユーザの行動の優先順位、体調、又は好みに応じて、片付け支援情報が提示される頻度が抑えられる。また、散らかりの程度が引き上げられた散らかり条件を含む片付けルールが適用され、この変更後の片付けルールに則っての片付け支援情報の提示に対してユーザが片付け行動をとれば、散らかり状況の条件は維持される。つまり、片付け支援情報が提示される状況が、ユーザの事情に応じて調整される。その結果、情報処理装置１００ａによる片付け支援情報の提示のタイミングがユーザに最適化される。ひいては、例えば情報処理装置１００ａからの片付け支援情報の提示によってユーザが気分を害したり、片付け支援情報の提示をユーザが無視したりする状況の発生が回避され、情報処理装置１００ａの実効性の維持及び長期化が図られる。

　なお、上述した提示情報管理部１９０は、実施の形態２に係る片付け支援システム１０Ａ、実施の形態３に係る片付け支援システム１０Ｂ、及び実施の形態４に係る片付け支援システム１０Ｃの各々と組み合わせた変形例でも同様の効果を奏する。図１４Ａは、片付け支援システム１０Ａの変形例に係る片付け支援システム１０１０Ａの機能構成例を示すブロック図である。図１４Ｂは、片付け支援システム１０Ｂの変形例に係る片付け支援システム１０１０Ｂの機能構成例を示すブロック図である。図１４Ｃは、片付け支援システム１０Ｃの変形例に係る片付け支援システム１０１０Ｃの機能構成例を示すブロック図である。

　なお、片付け支援システム１０１０Ｂでは、提示情報管理部１９０は散らかりの程度を示す閾値の調整に代えて、又は加えて、散らかり状況認識部１２０がある物又は場所を片付けられるべき物又は場所と認識する基準となる一定時間を調整してもよい。これにより、ユーザの事情に関わらず片付け支援情報を繰り返し提示して片付けを促すことで当該ユーザに煩わしさを感じさせてしまう状況を回避することができる。その結果、片付け支援情報によるユーザへの片付けの促しのタイミングの最適化を図ることができる。

　また、片付け支援システム１０１０、１０１０Ａ、１０１０Ｂ及び１０１０Ｃにおける、片付けルールに含まれる条件を用いた判断、ユーザに提示される片付け支援情報の内容及びその提示のタイミング等は、ここまでの例示に限定されない。

　例えば、ステップＳ１１４における片付け支援情報の提示の効果の有無の判定において、散らかり状況の低下の有無は、散らかりの程度に所定の大きさ以上の低下があったか否かに応じて判定されてもよい。

　また、ステップＳ１１４における片付け支援情報の提示の効果の有無の判定は、散らかり状況又はユーザの行動どちらか一方のみが用いられてもよい。例えば、宅内状況データが散らかり状況の低下を示すか否かのみに基づいて判定されてもよい。または、散らかり状況の変化の大きさに拘わらず、ユーザの片付け行動が認識されれば、片付け支援情報の提示の効果があると判定されてもよい。

　また、図１２及び図１４Ａから図１４Ｃの各図に矢印で示される構成要素間でのデータ又は情報のやり取りの経路は一例であり、変形が可能である。例えば出力部１５０から提示情報管理部１９０に向かう矢印は、図６の片付けルールのうち、情報提示器３００に出力させる片付け支援情報を含む片付けルールを示す情報が、図７のステップＳ１０６の後で出力部１５０から提示情報管理部１９０に渡されることを示す。このような情報は、ステップＳ１０５の後で提示情報決定部１４０から提示情報管理部１９０に渡されてもよい。また、このような情報の受け渡しは、記憶部１６０を介して行われてもよい。

　また、片付け関連行動の認識結果に基づいて、ステップＳ１１５での片付けルールの変更において、散らかり状況に関する条件が含む散らかりの程度がより大きな幅で引き上げられてもよい。例えば、ユーザが片付けに取りかかるには不都合な状態にある片付け関連行動がユーザ行動認識部１３０によって認識された場合、提示情報管理部１９０は、そうでない場合に比べて、散らかり状況に関する条件が含む散らかりの程度をより大きな幅で引き上げる片付けルールの変更を行う。これにより、片付け支援システム１０１０は、片付けの促しによってユーザに心理的な負担を与えたり、片付けの促しをユーザに無視させたりするような状況の発生を避けることができ、さらなる実効性の向上又は持続が図られる。

　［効果］
　このように、本変形例に係る片付け支援システム１０１０は、状況検知部２００と、情報取得部１１０と、散らかり状況認識部１２０と、ユーザ行動認識部１３０と、提示情報決定部１４０と、出力部１５０と、提示情報管理部１９０と、情報提示器３００とを備える。

　状況検知部２００は、宅内の状況をセンシングするセンサを備え、センシングの結果を示す宅内状況データを出力し、情報取得部１１０は、この宅内状況データを取得する。宅内状況データに基づいて、散らかり状況認識部１２０は宅内の散らかり状況を認識し、ユーザ行動認識部１３０は宅内に居るユーザの行動を認識する。提示情報決定部１４０は、散らかり状況及びユーザの行動に基づいて、宅内の片付けに関する所定のルールに従って、ユーザに提示される片付け支援情報を決定する。出力部１５０は、宅内で音声情報及び視覚情報の少なくとも一方を前記ユーザに提示する情報提示器３００に、片付け支援情報の内容を表す音声情報及び視覚情報の少なくとも一方として出力させる片付け支援信号を出力する。情報提示器３００は、受け取った片付け支援信号に基づいて音声情報又は視覚情報をユーザに提示する。提示情報管理部１９０は、情報提示器３００がユーザに音声などの形で片付け支援情報を提示した後に宅内の散らかり状況及びユーザ行動認識部１３０が認識したユーザの行動の少なくとも一方に基づいて前記所定のルールを変更する。

　これによりユーザは、宅内の散らかり状況と、その時の自身の行動への、片付けを実行することの良い影響についての情報を自身の事情に応じたタイミングで受け取ることができる。片付け支援システム１０１０によるこのようなユーザへの片付けの動機付けは、より高い実効性を持続することができる。

　（その他の実施形態）
　なお、本発明を上記各実施の形態及びその変形例に基づいて説明してきたが、本発明は、上記の実施の形態及びその変形例に限定されないのはもちろんであり、以下のような場合も本発明に含まれる。

　（１）上記の情報処理装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。上記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成される。

　（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。上記ＲＡＭには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムに従って動作することにより、システムＬＳＩはその機能を達成する。

　また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部又はすべてを含むように１チップ化されていてもよい。

　また、ここでは、システムＬＳＩと呼称したが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

　（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。上記ＩＣカード又は上記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。上記ＩＣカード又は上記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、上記ＩＣカード又は上記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

　（４）上記の各実施の形態ではユーザに片付け支援情報を提示する情報提示器として、照明器具、スピーカ、ディスプレイ、又は情報処理端末を例に挙げたが、これらに限定されない。例えば家庭で用いられるコンパニオンロボット、掃除ロボット等の各種のロボットが情報提示器として機能してもよい。ロボットがスピーカ、光源、又は表示器を備える場合、これらを用いて片付け支援情報を提示してもよい。また、宅内を自動で移動可能なロボットである場合には、片付け支援情報の内容である片付けの対象である物又は場所を指示するために、これらの場所又は物の近傍に移動してもよい。また、音声若しくは光に代えて、又はこれらに加えて、姿勢又は動きで片付けの対象である物又は場所を指示してもよい。このような姿勢又は動きの例として、例えば手の形状をした、又は手に相当する部位で片付けの対象を指したり、顔に相当する部位を片付けの対象に向けたり近づけたりする動作が挙げられる。

　これにより、ユーザにとってより親しみやすい雰囲気で片付け支援情報を提示することができる。

　また、宅内に複数台のロボットがある場合には、片付け支援情報はロボットからユーザに投げかける直接的な提示ではなく、ロボット間のコミュニケーションを用いて間接的にユーザに提示されてもよい。ロボット間のコミュニケーションを用いる提示とは、例えばロボット間のコミュニケーションのための対話又は動作に、片付け情報の内容である片付けの対象である物又は場所の情報が表される形で実行される。または、ロボットとユーザとの一対一のコミュニケーションではなく、ユーザと複数のロボットとの間でのコミュニケーションに、片付けの対象である物又は場所の情報が表れてもよい。

　これにより、情報提示器からの直接的な情報提示に比べて、ユーザに感じさせる応答責任が小さく、煩わしさを与えにくい。その結果、ユーザはこの片付け支援情報に従って片付け行動を開始しやすく、片付け支援システム１０の実効性の維持又は向上にもつながる。

　なお、図１５は、各々が情報提示器として機能する複数台のロボットを備える実施の形態に係る片付け支援システム１０Ｄの機能構成例を示すブロック図である。この例では、３台のロボットが、情報提示器３００Ａ、情報提示器３００Ｂ、及び情報提示器３００Ｃとして片付け支援システム１０Ｄに含まれる。

　また、図１６は、ロボットである情報提示器の機能構成例を情報提示器３００Ａを例に用いて示す機能ブロック図である。

　情報提示器３００Ａは、通信部３１０、制御部３２０、駆動部３３０、表示部３４０、音声出力部３５０、及び記憶部３６０を備える。

　通信部３１０は、情報処理装置１００ａの出力部１５０から送信される片付け支援信号を無線又は有線で受信する。この場合の片付け支援信号は、情報提示器３００Ａに片付け支援情報をユーザに間接的に提示するための動作をさせるための信号であり、例えば、片付け対象の場所若しくは物、又は情報提示器３００Ａの所定の動作モード等を示す。

　制御部３２０は例えばプロセッサで実現され、記憶部３６０に格納されるプログラムを読み出して実行することで、情報提示器３００Ａの動作を制御する。片付け支援のための動作の内容に関する情報は、通信部３１０を介して得られた片付け支援信号を復号して取得する。そしてこの動作を実現するための信号を駆動部３３０、表示部３４０、又は音声出力部３５０に送る。

　駆動部３３０は、ロボットの可動部位を動かすための例えばアクチュエータで実現される機能的構成要素である。制御部３２０から受け取る信号に従って動作し、ロボットの移動又はロボットの各部位の動きを実現する。このような動きによって、片付け対象の場所若しくは物の指示が実現され、又はロボットの表情又はジェスチャーが表現されてもよい。

　表示部３４０は、ディスプレイ又はプロジェクタ等で実現され、制御部３２０から受け取る信号に従って動作し、ユーザに視覚的に感知される情報を提示する。ここでの視覚的に感知される情報の提示とは、片付け対象の場所又は物を示す文字、図形又は記号の表示であってもよいし、映像によるロボットの表情又は情報の表現であってもよい。

　音声出力部３５０は、スピーカで実現され、制御部３２０から受け取る信号に従って動作し、音声による片付け支援情報の提供をする。また、音声は人の言語を表す物ではなくてもよく、例えば動物又は架空のキャラクターの鳴き声、又は電子音等がユーザの注意を惹いたり、ロボット間のコミュニケーションの発生を示すように発せられてもよい。

　記憶部３６０は、ハードディスクドライブ又は半導体メモリ等の記憶装置で実現され、例えば制御部３２０が読み取るプログラムが格納される。また、上記の表示部３４０に表示される映像、音声出力部３５０から出力される音声のデータが格納されていてもよい。

　なお、ロボットである情報提示器の構成は上記の例に限定されない。例えば、駆動部３３０、表示部３４０、及び音声出力部３５０の一部を備えなくてもよい。また例えば、さらにセンサを備えてもよい。このセンサの出力は、当該ロボット内で制御のために処理される情報のデータであってもよいし、通信部３１０を通じて情報取得部１１０に提供される宅内状況データとして用いられてもよい。つまり後者の場合、ロボットの備えるセンサが状況検知部２００として機能する。

　また、ロボットの移動方法は床面の走行等に限定されず、例えばドローンが行うような飛行による移動であってもよい。

　（５）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。

　また、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。

　また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。

　また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

　（６）上記の各実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。例えば、情報処理装置１００ａが備える記憶装置によって、時系列宅内情報データを蓄積する宅内状況データ蓄積部と散らかり状況を時系列で蓄積する散らかり状況蓄積部との両方が実現されてもよい。また、さらに情報処理装置１００ａが備えるプロセッサがプログラムを実行することによって属性情報取得部が実現されてもよい。

　（７）上記の各実施の形態における片付け支援システムは、センサを備えるカメラ等で実現される状況検知部２００、及びスピーカ等で実現される情報提示器３００を含むものとして説明されているが、本発明は状況検知部２００又は情報提示器３００を備えず、その他の構成要素を提供する１台以上の情報処理装置として提供されてもよい。

　本願における「片付け支援システム」の語は、このような本発明の複数の実現態様を区別せず便宜的に用いるものであり、実質的には１台の情報処理装置によって実現される実現態様も含む概念である点に留意されたい。

　１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０１０、１０１０Ａ、１０１０Ｂ、１０１０Ｃ　片付け支援システム
　１００ａ　情報処理装置
　１１０　情報取得部
　１２０　散らかり状況認識部
　１３０　ユーザ行動認識部
　１４０　提示情報決定部
　１５０　出力部
　１９０　提示情報管理部

Claims (14)

1. 　宅内の状況をセンシングするセンサからセンシングの結果を示す宅内状況データを取得する情報取得部と、
   　前記宅内状況データに基づいて前記宅内の散らかり状況を認識する散らかり状況認識部と、
   　前記宅内状況データに基づいて前記宅内に居るユーザの行動を認識するユーザ行動認識部と、
   　前記散らかり状況及び前記ユーザの行動に基づいて、前記宅内の片付けに関する所定のルールに従って、前記ユーザに提示される片付け支援情報を決定する提示情報決定部と、
   　前記宅内にある情報提示器に、前記片付け支援情報を音声情報及び視覚情報の少なくとも一方として出力させるための片付け支援信号を出力する出力部とを備える
   　片付け支援システム。
2. 　前記ユーザの行動は、前記ユーザがする片付けに関連する所定の行動であり、
   　前記提示情報決定部は前記所定のルールに従って、前記ユーザが前記所定の行動を実行しているか否かに応じて、前記片付け支援情報を提示するタイミングを決定する
   　請求項１に記載の片付け支援システム。
3. 　前記散らかり状況は、前記宅内の散らかりの程度、前記宅内にある片付けられるべき物、及び前記宅内の片付けられるべき場所の少なくともひとつに関する状況であり、
   　前記片付け支援情報は、前記散らかり状況を示す情報を含む
   　請求項１又は２に記載の片付け支援システム。
4. 　所定時間にわたって取得した前記宅内状況データを時系列宅内状況データとして蓄積する宅内状況データ蓄積部をさらに備え、
   　前記ユーザ行動認識部は、蓄積された前記時系列宅内状況データに基づいて前記ユーザの行動を認識する
   　請求項１から３のいずれか一項に記載の片付け支援システム。
5. 　前記認識された散らかり状況を時系列で蓄積する散らかり状況蓄積部をさらに備え、
   　前記提示情報決定部は、前記蓄積された散らかり状況にさらに基づいて前記片付け支援情報の内容を決定する
   　請求項１から４のいずれか一項に記載の片付け支援システム。
6. 　前記宅内の散らかり状況の傾向の属性又は前記ユーザの属性を示す属性情報を取得する属性情報取得部をさらに備え、
   　前記提示情報決定部は、さらに前記属性情報に基づいて前記片付け支援情報を決定する
   　請求項１から５のいずれか一項に記載の片付け支援システム。
7. 　前記散らかり状況は、前記宅内の片付けられるべき物及び前記宅内の片付けられるべき場所の少なくともひとつに関する状況であり、
   　前記片付け支援信号は、前記情報提示器として前記宅内にある照明器具に、前記宅内での片付けられるべき物又は前記宅内の片付けられるべき場所を強調照明させるための信号である
   　請求項１から６のいずれか一項に記載の片付け支援システム。
8. 　前記片付け支援情報の内容は、前記情報提示器として前記宅内にある、音声を出力する機能を有する音声出力器からの、片付けを促すメッセージの音声出力であり、
   　前記出力部は、前記音声出力器に前記メッセージの音声出力を実行させる制御信号を送信する
   　請求項１から７のいずれか一項に記載の片付け支援システム。
9. 　さらに、前記情報提示器が前記ユーザに前記片付け支援情報を提示した後に認識された前記宅内の散らかり状況及び前記ユーザの行動の少なくとも一方に基づいて前記所定のルールを変更する提示情報管理部を備える
   　請求項１から８のいずれか一項に記載の片付け支援システム。
10. 　前記提示情報管理部は、前記情報提示器が前記ユーザに前記片付け支援情報を提示した後に認識された前記宅内の散らかり状況又は前記ユーザの行動から、前記ユーザへの片付け支援情報の提示が効果的であったか否かを判定し、
    　前記ユーザへの片付け支援情報の提示が効果的でなかった場合、前記提示情報管理部は、前記所定のルールを変更する
    　請求項９に記載の片付け支援システム。
11. 　前記情報提示器は対話及び動作の少なくとも一方での相互のコミュニケーションが可能な複数のロボットであり、前記片付け支援情報の内容が、前記複数のロボット間の対話又は動作に表されることで前記片付け支援情報が前記ユーザに提示される
    　請求項１から１０のいずれか一項に記載の片付け支援システム。
12. 　前記情報提示器は自動で移動可能なロボットであり、前記片付け支援情報は、前記ロボットが前記宅内の片付けられるべき物又は前記宅内の片付けられるべき場所への移動を含む動作を用いて前記ユーザに提示される
    　請求項１から１０のいずれか一項に記載の片付け支援システム。
13. 　さらに、前記センサ及び前記情報提示器を含む
    　請求項１から１２のいずれか一項に記載の片付け支援システム。
14. 　コンピュータが備えるプロセッサに、
    　宅内の状況をセンシングするセンサからセンシングの結果を示す宅内状況データを取得させ、
    　前記宅内状況データに基づいて前記宅内の散らかり状況を認識させ、
    　前記宅内状況データに基づいて前記宅内に居るユーザの行動を認識させ、
    　前記散らかり状況及び前記ユーザの行動に基づいて、前記宅内の片付けに関する所定のルールに従って、前記ユーザに提示される片付け支援情報を決定させ、
    　前記宅内にある情報提示器に、前記片付け支援情報を音声情報及び視覚情報の少なくとも一方として出力させるための片付け支援信号を出力させる
    　プログラム。

Images